Was ist neu?
Digital Marketing & Webmaster Forum

Digital Marketing, Internet-Technologien, Metaverse und mehr interessieren Dich? Registriere Dich gleich kostenlos, um Mitglied zu werden! Sobald Du angemeldet bist, kannst Du loslegen, Themen und Beiträge veröffentlichen und mit anderen Mitgliedern in Kontakt treten! Wir wünschen Dir einen anregenden Austausch!

Archive.org aussperren

SeoPunk

- Royal Clan Member -
weiss nicht ob diese Kategorie richtig ist aber falls nicht bitte verschieben. Kennt wer eine gute Methode Archive.org effektiv auszusperren so dass meine Seiten dort nicht mehr archiviert werden? Was im web steht funktioniert auf Dauer nicht und ich habe den Verdacht wenn man sie über die IP aussperrt kommen sie mit etwas ganz anderem vorbei was sich nicht so einfach identifizieren lässt. :mad:
 

blackmexx

- Premium Member -
Der Archive.org Robot hält sich an die robots.txt.

einfach in die robots.txt einfügen also bei meinen Seite funktioniert das.
Code:
User-agent: ia_archiver
Disallow: /
 

Fuyonet.com

- Premium Member -
damit ist er teilweise auch noch durch gekommen ..

Code:
User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver*
Disallow: /

User-agent: ia_archiver/1.6
Disallow: /

User-agent: archive.org_bot
Disallow: /

damit ist engültig schluss :)
 

Harry

- Premium Member -
Gibt es dafür auch was um diese Look ups auszusperren, wo man kucken kann welche Domains sich einen Server teilen?
 

Fuyonet.com

- Premium Member -
du meinst die anfrage bei Suchmaschinen wie bing mit dem Suchbegriff IP:11.22.33.44 zB ..

nein, das ist mir zumindest nicht bekannt. vielleicht klappt es wenn man Bing komplett aussperrt :D
 

Raptor

- Royal Clan Member -
Weil es ja im Prinzip zum Thema passt hier mal eine Frage: Welche Dienste gibt es denn da noch die das selbe machen? Also das selbe Konzept wie archive.org... Kennt ihr noch andere Seiten?
 
Oben