Немного о файле robots.txt

Общая информация о файле robots.txt, которой является рекомендательным для поисковых систем.