Werbung

Was ist eine Robots.txt?

Die robots.txt ist eine Datei, die auf dem Webserver abgelegt wird, die Anweisungen für Suchmaschinen wie z.B. Google enthält.

Beispiel:
https://deine-faq.de/robots.txt

Im Beispiel wird allen Bots erlaubt, alles zu Indexieren außer:
https://deine-faq.de/search
https://deine-faq.de/datenschutz
https://deine-faq.de/impressum
...

Die Anweisungen sind aber nur Empfehlungen. Ob sich eine Suchmaschine daran hält ist ihr selbst überlassen. Die Meisten, wie z.B. Google, halten sich aber daran.
  
Wenn du einen Fehler findest oder was zur Antwort hinzufügen möchtest, sende uns einfach eine Mail an: info@deine-faq.de
Impressum | Datenschutz | Disclaimer