Robots.txt
Die Robots.txt-Datei bietet dem Webmaster die Möglichkeit, der Suchmaschine mitzuteilen, welche Seiten oder Verzeichnisse vom Bot gecrawlt beziehungsweise nicht gecrawlt werden sollen. Dies ermöglicht es dem Webmaster, seine Crawling-Ressourcen