Knothe Media

Crawler, Spider, Robots und Bots sperren.

Unliebsame Besucher per robots.txt oder .htaccess sperren.

Erstellt am Samstag, 04. Oktober 2014 15:30 Uhr

Oft werde ich von Kunden gefragt, welche Möglichkeiten es gibt, um Crawler / Bots jeglicher Art zu sperren und somit die eigenen Webinhalte nicht für Dritte (außer Google) sichtbar zu machen.

Es gibt zwei Möglichkeiten: Entweder über die Datei robots.txt oder über die Datei .htaccess. Am zuverlässigsten ist die .htaccess Variante. Ich möchte in diesem Artikel beide Varianten vorstellen.

Was ist ein Crawler?

Ein Crawler (auch Spider, Robot oder Bot) ist ein Computerprogramm, welches fortlaufend Daten über Domains und Webinhalte sammelt. Der Datenbestand wird beispielswiese im Rahmen von SEO Dienstleistungen kostenpflichtig und manchmal auch kostenlos zur Verfügung gestellt.

Anhand dieser Daten können Webmaster beispielswiese den Sichtbarkeits­verlauf, die ausgehenden Links oder die Keyworddichte Ihrer Webseite/Domain ein­sehen. Um den Zugriff eines Crawlers auf die eigene Website zu verhindern, ist die Erstellung der Datei robots.txt oder der Datei .htaccess notwendig.

Welche Crawler sollten ausgeschlossen werden?

Grundsätzlich liegt diese Entscheidung natürlich immer im Ermessen des Webseiteninhabers. Sie sollten jedoch in jedem Fall darauf achten, keinesfalls den Googlebot auszusperren. ;-)

Das Sperren der Webcrawler hat zur Folge, dass keine Daten über Ihre Domain in den Datenbestand aufgenommen werden. Ihre Konkurrenz kann somit nicht mehr nachvollziehen, welche ausgehenden Links Ihre Website hat oder wie sich die Sichtbarkeit Ihrer Domain im Laufe der Zeit verändert hat. Des Weiteren werden durch diese Maßnahme auch System­ressourcen Ihres Servers geschont, was letztlich auch im Interesse Ihres Hosters sein dürfte.

Wie könnte die robots.txt & .htaccess aussehen?

Ich möchte hier für alle interessierten Webmaster meine Version der Datei robots.txt & .htaccess zur Verfügung stellen. Durch den Einsatz dieser Datei(en) werden die meisten SEO Crawler, wie zum Beispiel Sistrix, Xovi, SEOkicks, Open Site Explorer (MOZ), SEOprofiler / OpenLinkProfiler oder auch Searchmetrics gesperrt. Die Datei(en) müssen im root Verzeichnis (Hauptverzeichnis) Ihres Servers liegen. Innerhalb dieser Datei(en) kann nun festgelegt werden, welche Crawler gesperrt werden sollen.

Inhalt der Datei robots.txt. (61 Webcrawler / 08.10.14)

User-agent: SEOkicks Disallow: / User-agent: SEOkicks-Robot Disallow: / User-agent: sistrix Disallow: / User-agent: MajesticSEO Disallow: / User-agent: BacklinkCrawler Disallow: / User-agent: xovi Disallow: / User-agent: XoviBot Disallow: / User-agent: MJ12bot Disallow: / User-agent: spbot Disallow: / User-agent: SearchmetricsBot Disallow: / User-agent: search17 Disallow: / User-agent: AhrefsBot Disallow: / User-agent: ia_archiver Disallow: / User-agent: TurnitinBot Disallow: / User-agent: SlySearch Disallow: / User-agent: findlinks Disallow: / User-agent: magpie-crawler Disallow: / User-agent: Pixray-Seeker Disallow: / User-agent: 008 Disallow: / User-agent: Ezooms Disallow: / User-agent: lb-spider Disallow: / User-agent: WBSearchBot Disallow: / User-agent: psbot Disallow: / User-agent: HuaweiSymantecSpider Disallow: / User-agent: EC2LinkFinder Disallow: / User-agent: htdig Disallow: / User-agent: SemrushBot Disallow: / User-agent: discobot Disallow: / User-agent: linkdex.com Disallow: / User-agent: SeznamBot Disallow: / User-agent: EdisterBot Disallow: / User-agent: SWEBot Disallow: / User-agent: picmole Disallow: / User-agent: Yeti Disallow: / User-agent: Yeti-Mobile Disallow: / User-agent: PagePeeker Disallow: / User-agent: CatchBot Disallow: / User-agent: yacybot Disallow: / User-agent: netEstateNECrawler Disallow: / User-agent: SurveyBot Disallow: / User-agent: COMODOSSLChecker Disallow: / User-agent: Comodo-Certificates-Spider Disallow: / User-agent: gonzo Disallow: / User-agent: schrein Disallow: / User-agent: AfiliasWebMiningTool Disallow: / User-agent: suggybot Disallow: / User-agent: bdbrandprotect Disallow: / User-agent: BPImageWalker Disallow: / User-agent: Updownerbot Disallow: / User-agent: lex Disallow: / User-agent: ContentCrawler Disallow: / User-agent: DCPbot Disallow: / User-agent: KaloogaBot Disallow: / User-agent: MLBot Disallow: / User-agent: iCjobs Disallow: / User-agent: oBot Disallow: / User-agent: WebmasterCoffee Disallow: / User-agent: Qualidator Disallow: / User-agent: Webinator Disallow: / User-agent: Scooter Disallow: / User-agent: thunderstone Disallow: / User-agent: larbin Disallow: / User-agent: OpidooBOT Disallow: / User-agent: ips-agent Disallow: / User-agent: TinEye Disallow: / User-agent: UnisterBot Disallow: / User-agent: Unister Disallow: / User-agent: ReverseGet Disallow: / User-agent: DotBot Disallow: /

Inhalt der Datei .htaccess. (61 Webcrawler / 08.10.14)

RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^SEOkicks [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^SEOkicks-Robot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^sistrix [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^MajesticSEO [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^BacklinkCrawler [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^xovi [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^XoviBot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^spbot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^SearchmetricsBot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^search17 [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^ia_archiver [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^TurnitinBot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^SlySearch [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^findlinks [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^magpie-crawler [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^Pixray-Seeker [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^008 [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^Ezooms [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^lb-spider [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^WBSearchBot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^psbot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^HuaweiSymantecSpider [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^EC2LinkFinder [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^htdig [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^SemrushBot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^discobot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^linkdex.com [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^SeznamBot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^EdisterBot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^SWEBot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^picmole [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^Yeti [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^Yeti-Mobile [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^PagePeeker [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^CatchBot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^yacybot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^netEstateNECrawler [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^SurveyBot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^COMODOSSLChecker [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^Comodo-Certificates-Spider [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^gonzo [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^schrein [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^AfiliasWebMiningTool [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^suggybot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^bdbrandprotect [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^BPImageWalker [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^Updownerbot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^lex [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^ContentCrawler [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^DCPbot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^KaloogaBot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^MLBot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^iCjobs [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^oBot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^WebmasterCoffee [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^Qualidator [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^Webinator [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^Scooter [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^thunderstone [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^larbin [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^OpidooBOT [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^ips-agent [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^TinEye [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^UnisterBot [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^Unister [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^ReverseGet [NC] RewriteRule ^.* - [F,L] RewriteCond %{HTTP_USER_AGENT} ^DotBot [NC] RewriteRule ^.* - [F,L]

Die folgenden Webcrawler werden gesperrt:
SEOkicks: seokicks.de
Sistrix: sistrix.de
MajesticSEO: majesticseo.com
BacklinkCrawler: backlinktest.com
Xovi: xovi.de
MJ12bot: majestic12.co.uk
spbot: seoprofiler.com
Searchmetrics: searchmetrics.com
search17: search17.com
AhrefsBot: ahrefs.com
ia_archiver: archive.org
TurnitinBot: turnitin.com
SlySearch: slySearch.com
findlinks: wortschatz.uni-leipzig.de/findlinks/
magpie-crawler: brandwatch.net
Pixray-Seeker: pixray.com
008: 80legs.com
DotBot: opensiteexplorer.org (moz.com)
lb-spider: linkbutler.de
WBSearchBot: warebay.com
psbot: picsearch.com
HuaweiSymantecSpider: huaweisymantec.com
EC2LinkFinder: unbekannt
htdig: htdig.org
SemrushBot: semrush.com
discobot: discoveryengine.com
linkdex: linkdex.com
SeznamBot: fulltext.sblog.cz
EdisterBot: edister.com
SWEBot: swebot-crawler.net
picmole: picmole.com
Yeti: naver.com
PagePeeker: pagepeeker.com
CatchBot: catchbot.com
yacybot: yacy.net
netEstate: sengine.info
SurveyBot: domaintools.com
COMODO SSL Checker: sslanalyzer.comodoca.com
gonzo2: suchen.de
Crawler schrein: schrein.nl
Afilias Web Mining Tool 1.0: afilias.info
suggybot: suggy.com
bdbrandprotect/BPImageWalker: bdbrandprotect.com
Updownerbot: updowner.com
lex: lexcrawler.blogspot.de
Content Crawler: unbekannt
DCPbot: domains.checkparams.com
KaloogaBot: kalooga.com
MLBot: metadatalabs.com
iCjobs: icjobs.de
oBot: filterdb.iss.net
webmastercoffee: webmastercoffee.com
Qualidator: qualidator.com
Webinator Scooter: thunderstone.com
larbin: unbekannt
OpidooBOT: unbekannt
ips-agent: verisign.de (Quelle: wetena.com)
TinEye: tineye.com
UnisterBot: unister.de
ReverseGet: reverseget.com
Ezooms: moz.com

Anregungen, Fragen & Kritik