Archive.org aussperren

Dieses Thema im Forum 'HTML' wurde von SeoPunk gestartet, 13 Januar 2011.

  1. SeoPunk - Royal Clan Member -

    Mitglied seit:
    7 Juli 2009
    Erstellte Beiträge:
    474
    Zustimmungen:
    19
    weiss nicht ob diese Kategorie richtig ist aber falls nicht bitte verschieben. Kennt wer eine gute Methode Archive.org effektiv auszusperren so dass meine Seiten dort nicht mehr archiviert werden? Was im web steht funktioniert auf Dauer nicht und ich habe den Verdacht wenn man sie über die IP aussperrt kommen sie mit etwas ganz anderem vorbei was sich nicht so einfach identifizieren lässt. :mad:
  2. blackmexx - Premium Member -

    Mitglied seit:
    12 Juli 2010
    Erstellte Beiträge:
    263
    Zustimmungen:
    10
    Der Archive.org Robot hält sich an die robots.txt.

    einfach in die robots.txt einfügen also bei meinen Seite funktioniert das.
    Code:
    User-agent: ia_archiver
    Disallow: /
  3. Fuyonet.com - Premium Member -

    Mitglied seit:
    5 Januar 2011
    Erstellte Beiträge:
    59
    Zustimmungen:
    6
    damit ist er teilweise auch noch durch gekommen ..

    Code:
    User-agent: ia_archiver
    Disallow: /
    
    User-agent: ia_archiver*
    Disallow: /
    
    User-agent: ia_archiver/1.6
    Disallow: /
    
    User-agent: archive.org_bot
    Disallow: /
    damit ist engültig schluss :)
  4. Harry - Premium Member -

    Mitglied seit:
    10 Juli 2009
    Erstellte Beiträge:
    1.339
    Zustimmungen:
    36
    Gibt es dafür auch was um diese Look ups auszusperren, wo man kucken kann welche Domains sich einen Server teilen?
  5. Fuyonet.com - Premium Member -

    Mitglied seit:
    5 Januar 2011
    Erstellte Beiträge:
    59
    Zustimmungen:
    6
    du meinst die anfrage bei Suchmaschinen wie bing mit dem Suchbegriff IP:11.22.33.44 zB ..

    nein, das ist mir zumindest nicht bekannt. vielleicht klappt es wenn man Bing komplett aussperrt :D
  6. Raptor - Royal Clan Member -

    Mitglied seit:
    27 Mai 2009
    Erstellte Beiträge:
    1.607
    Zustimmungen:
    29
    Weil es ja im Prinzip zum Thema passt hier mal eine Frage: Welche Dienste gibt es denn da noch die das selbe machen? Also das selbe Konzept wie archive.org... Kennt ihr noch andere Seiten?

Dieses Thema weiterempfehlen: