Was ist Robots txt?

Sie haben einmal gegoogelt nach robots txt? Dann werden Sie bestimmt Unmengen an Dateien gefunden haben, die lauter kryptische Daten enthalten, mit denen Sie nicht viel anfangen können. Sie müssen diese Daten auch gar nicht lesen oder gar verstehen können, denn wie der Name bereits vermuten lässt, sind sie für Roboter gedacht.

Was für ein Roboter liest robots txt?
Nun fragen Sie sich aber bestimmt, was für ein Roboter denn eine solche Datei lesen soll, schliesslich sind Internetseiten doch für Menschen gemacht. Die Antwort, die dahinter steckt ist bestechend einfach. Es sind die Suchmaschinenroboter, die Links folgen und diese in Ihren Index (Verzeichnis) aufnehmen.

Für wen hat die robots txt einen Nutzen?
Ein guter Suchmaschinenroboter konsultiert die robots.txt, bevor er eine Seite in den Index der Suchmaschine übernimmt. Sie können mittels der robots.txt der Suchmaschine Anweisungen geben, dass eine bestimmte Seite Ihrer Homepage nicht mit einer Suchmaschine gefunden werden darf.