Im Synchronisiermodus komme ich auf dem Zielserver nicht an der Datei robots.txt vorbei, obwohl ich einzeln auf alle weiterführenden Links Zugriff habe. Wie kann ich die Abfrage der robot.txt umgehen?

Herzlichen Dank!

Peter Rülke