Blog-iT mein persönlicher Blog

Mit wget hat man unter Linux einen sehr umfangreiches Download-Tool. Es beschränkt sich nicht nur auf das simple Herunterladen einer Datei, sondern bietet zahlreiche weitere Möglichkeiten.

Einen Kennung mitgeben:

Mit dieser Option geben sie vor, wget sei ein Browser. z.B. der IE9

 
wget --user-agent "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)" 

Rekursiven Download

Will man ein ganzes Verzeichnis herunterladen, z.B. eine Seite mit mehreren Paketen. Folgende Parameter lädt eine Seite rekursiv (r), mit 10 Versuchen (--tries) und 5 Ebenen (l).

 
wget -r --tries=10 -l=5

Download Fortsetzten

Mit dem Schalter c kann man einen Download fortsetzen, sofern es der Webserver unterstützt.

 
wget -c 

Datei-Filter

Windows kompatibel Filtert Sonderzeichen wie z.B. Fragezeichen heraus.

 
wget --restrict-file-names=windows

Robots.txt ignorieren

Ignoriert die robots.txt, wenn dort eine restriktion steht.

 
wget-e robots=off 

Seite herunterladen

Läd alle Elemente innerhalt der HTML Seite.

 
wget -p 

Natürlich gibt es noch viele weitere Parameter. Diese kann man in der Man-Page nachlesen.

man wget

Wget for Windows

Für Windows gibt natürlich auch ein wget, dieses muss man aber zuerst herunterladen und installieren: http://gnuwin32.sourceforge.net/packages/wget.htm