Dateien richtig einsetzen

Dateien richtig einsetzen Eine robots.txt-Datei teilt Suchmaschinen mit, ob sie auf bestimmte Teile einer Website zugreifen und sie in der Folge crawlen dürfen (1). Diese Datei muss den Namen “robots.txt” tragen und sich im Hauptverzeichnis eurer Website befinden (2). Ihr könntet Interesse daran haben, dass bestimmte Seiten eurer Website nicht gecrawlt werden, da sie für […]

Read more
Translate »