Dateien aus dem Web downloaden

[4910jdr]

Hallo zusammen,

ich würde gerne die Dateien (PDF-Dateien), die unter folgendem Link in einem Verzeichnisbaum stehen:

http://www.etsi.org/deliver/

abgleichen, um nicht alle Dateien einzeln kopieren zu müssen. Ich hatte auch schon einige Programme ausprobiert, die aber alle nicht den Erfolg gebracht haben. Wer kann mir da evtl. Tipps geben.

Besten Dank und viele Grüsse

Juergen

[kalweit]

Lade den ganzen Schwung mit "wget" (Parameter -r) herunter.

[4910jdr]

Hallo kalweit,

das Wget Programm ist ja wirklich nett, jedoch geht es er immer nur eine Ebene weiter und erstellt dann von dem nächsten Verzeichnis eine index.html Datei, in der alles drin steht und bricht ab mit der Syncronisierung, auch bei "-r". Erst wenn ich den vollen Pfad mit Datei-Name angebe kopiert er die Datei mit wget. Gibt es da eine andere Lösung wie man das automatisieren kann oder mach ich da doch etwas falsch.

Vielleicht kann mal jemand prüfen ob er die Dateien so runter kopieren kann?

Vielen Dank für eure Hilfe

Gruss

Jürgen

[kazhar]

du machst nichts falsch. wget hält sich an die robots.txt (weils halt ein automatischer downloader ist) und die verbietet das runterladen mit "robots"

du musst wget "sagen", dass es die robots.txt ignorieren soll
wget --execute robots=off --no-parent --mirror http://www.etsi.org/deliver/

[4910jdr]

Hallo Kazhar,

besten Dank funktioniert einwandfrei. Ich dachte das mit den Robots bezieht sich nur auf die Crawler der Suchmaschinen.
Suoper vielen Dank für deine/eure Hilfe.

Viele Grüsse

Jürgen