Fast jeder Webmaster kennt die Datei robots.txt, die normalerweise im Stammverzeichnis einer jeden Webseite liegen sollte. Wer sich noch nicht mit der Datei robots.txt beschäftigt hat, der sollte dies einmal schleunigst tun. Für eine solche Datei gibt es zahlreiche gute Gründe. Zudem hat man die Datei robots.txt recht schnell selber hergestellt beziehungsweise angelegt. Dazu genügt meistens nur ein einfacher Editor, wie er zum Beispiel von Windows bekannt ist. Mit der robots.txt steuert man den Zugriff von Suchmaschinenrobotern für die Indexierung Mit einer solchen Datei kann man den Zugriff von Suchmaschinenrobotern auf bestimmte Verzeichnisse oder Dateien steuern. So kann man zum Beispiel den Suchmaschinenrobotern den Zugriff auf bestimmte Dateien und Verzeichnisse verwehren und somit von der Indexierung durch die Suchmaschine ausnehmen. Und genau dieser Umstand macht diese Sache so interessant. Besonders für Forumsbesitzer, Blogbesitzer oder Webmastern, deren Homepage über eine eigene Asministrationsoberfläche verfügt, kann die Datei robots.txt besonders interessant sein. So kann man zum Beispiel mit dieser Datei verhindern, dass die einzelnen Seiten von der Administration für die Indizierung ausgenommen werden. Aber das ist sicherlich nur ein Beispiel! Man könnte zum Beispiel auch hingehen und zum Beispiel Downloadverzeichnisse oder Verzeichnisse mit Grafiken von der Indexierung ausnehmen. Um die Datei robots.txt nun von der eigenen Webseite oder von anderen Webseiten anzeigen zu lassen, benötigt man eigentlich nur den eigenen Browser auf dem Computer. Man gibt in der Adressleiste beziehungsweise der Adresszeile des Browsers einfach den Domänennamen gefolgt vom Pfad für die Datei robots.txt ein. Vorausgesetzt natürlich, dass die Datei robots.txt im Stammverzeichnis der eigenen Webseite oder der fremden Webseite liegt. Unter Umständen kann es nämlich vorkommen, dass auch eigene beziehungsweise fremde Unterverzeichnisse über eine eigene Datei robots.txt verfügen. Beispiel: http://www.its05.de/robots.txt Drückt man nun die Enter-Taste, so wird einem im Browser der Inhalt der aufgerufenen robots.txt Datei angezeigt. Das geht um einiges wesentlich schneller, als das Öffnen dieser Datei in einem Editor. | 