Mastering Wget & een aantal nette downloadtrucs leren

Soms is het gewoon niet genoeg om een ​​website lokaal vanuit uw browser op te slaan. Soms heb je wat meer kracht nodig. Hiervoor is er een handige kleine opdrachtregeltool die bekend staat als Wget. Wget is een eenvoudig programma dat bestanden van internet kan downloaden. Je weet misschien al veel over Wget, maar na het lezen van dit artikel ben je bereid om het voor allerlei trucs te gebruiken.

Wget is beschikbaar om native te gebruiken in de opdrachtregel van UNIX en Windows, maar het is mogelijk installeer wget op Mac OS X Hoe u Wget voor uw Mac kunt krijgenMacs zijn geweldig, met hun nette gebruikersinterface en een Unix-back-end. Soms heb je het gevoel dat je er bijna alles mee kunt doen. Tot je op een dag iets eenvoudigs probeert te doen en je ... Lees verder met een beetje overreding. Dus als je eenmaal weet voor welke dingen je Wget kunt gebruiken, is het draagbaar voor welk besturingssysteem je ook gebruikt - en dat is handig. Wat nog beter is, is dat wget kan worden gebruikt in batchbestanden en cron-taken. Hier beginnen we de echte kracht achter wget te zien.

Basis Wget

Het basisgebruik is wget URL.

 wget //www.makeuseof.com/

De meest eenvoudige opties die de meeste mensen moeten weten, zijn achtergrond (wget -b), ga door met gedeeltelijk downloaden (wget -c), aantal pogingen (wget –tries = NUMBER) en natuurlijk hulp (wget -h) om jezelf te herinneren aan alle opties.

wget -b -c --tries = NUMBER URL

Matig geavanceerde Wget-opties

Wget kan ook op de achtergrond draaien (wget -b), beperk de snelheid van de download (wget –limit-rate = SNELHEID), geen ouder om ervoor te zorgen dat u alleen een submap downloadt (wget -np), update alleen gewijzigde bestanden (wget -N), spiegel een site (wget -m), zorg ervoor dat er geen nieuwe mappen worden gemaakt (wget -nd), accepteer alleen bepaalde extensies (wget –accept = LIST) en stel een wachttijd in (wget –wait = SECONDEN).

wget -b --limit-rate = SPEED -np -N -m -nd --accept = LIST --wait = SECONDEN URL

Download met Wget recursief

U kunt recursief downloaden (wget -r), span hosts naar andere domeinen (wget -H), converteer links naar lokale versies (wget –convert-links) en stel het niveau van recursies in (wget –level = NUMBER met inf of 0 voor oneindig).

Maar sommige sites willen u niet recursief laten downloaden en controleren welke browser u gebruikt om de bot te blokkeren. Om dit te omzeilen, moet u een user-agent zoals Mozilla (wget –user-agent = AGENT).

wget -r -H --convert-links --level = NUMBER --user-agent = AGENT URL

Met wachtwoord beveiligde Wget

Het is mogelijk om de gebruikersnaam en het wachtwoord voor een bepaalde URL te declareren terwijl je wget gebruikt (wget –http-user = USER –http-password = PASS). Dit wordt niet aanbevolen op gedeelde computers omdat iedereen die de processen bekijkt, het wachtwoord in platte tekst kan zien.

wget --http-user = USER --http-password = PASS-URL

Een voorbeeld hiervan in actie is gebruik wget om een ​​back-up van uw taken te maken vanuit Remember The Milk Beste back-uptips voor uw RememberTheMilk-takenVoor velen van ons die in de cloud werken, zijn we behoorlijk afhankelijk geworden van onze favoriete services. We houden ook soms van ze en vertrouwen ze misschien een beetje meer dan soms, ... Lees verder .

Wget Bulk Download

Maak eerst een tekstbestand van alle URL's die je wilt downloaden met wget en noem het wget_downloads.txt. Typ vervolgens deze opdracht om URL's in bulk te downloaden:

wget -i wget_downloads.txt

Cool gebruik voor Wget

Dit zal een website crawlen en een logbestand genereren van eventuele gebroken links:

wget --spider -o wget.log -e robots = off --wacht 1 -r -p http://www.mysite.com/

Hiermee wordt een tekstbestand van je favoriete muziekblogs gemaakt en worden nieuwe mp3-bestanden gedownload:

wget -r --level = 1 -H --timeout = 1 -nd -N -np --accept = mp3 -e robots = off -i musicblogs.txt

Waar gebruik je wget nog meer voor?

Afbeelding tegoed: Verbinding via sociale media via ShutterStock, Young Man TV kijken via Shutterstock, Globe via Shutterstock