A robots.txt a feltérképezést szabályozza, nem az indexelést: egy letiltott, de máshonnan linkelt cím is megjelenhet a találatok között. Indexelés tiltására a noindex jelölés való.
Szójegyzék betöltése…
Szöveges fájl, amely megmondja a robotoknak, mely részeket járhatják be.
A robots.txt a feltérképezést szabályozza, nem az indexelést: egy letiltott, de máshonnan linkelt cím is megjelenhet a találatok között. Indexelés tiltására a noindex jelölés való.