Frage von : Wie kann ich meine Webseite für Webcrawler von Suchmaschinen sperren?
Für google habe ich eine Anleitung gefunden:
http://www.google.com/support/webmasters/bin/answer.py?hl=de&answer=156449
Aber wie mache ich das für Yahoo und Bing?
Beste Antwort:
Answer by yusuf3
Hallo!
Yahoo: “Yahoo! Slurp” http://en.wikipedia.org/wiki/Yahoo!_Slurp
Bing: “msnbot” http://en.wikipedia.org/wiki/Msnbot
http://www.robotstxt.org/db.html
http://de.selfhtml.org/diverses/robots.htm
http://www.basisoft.com/?source=app
Was denken Sie? Antworten Sie jetzt!
Tags: für, kann, meine, sperren, Suchmaschinen, Webcrawler, Webseite






