Итак, Вы сделали свой первый сайт, выложили его на всеобщее обозрение и сели в ожидании потока заинтересованных посетителей (чтобы им было ещё больше интересно – разместили десяток рекламных баннеров – надо же пиво за что-то попить). Спустя некоторое время Вы обнаруживаете, что сайт посещают из закладок Ваши знакомые (и те очень редко), которым Вы дали ссылку. Естественно, возникло желание данную ситуацию изменить...

Файл robots.txt размещается в корневой директории сайта и описывает исключения для поисковых ботов. Придерживающийся стандартов бот проверяет сначала url "/robots.txt", если файл существует, то бот анализирует его содержимое на предмет наличия запретов к посещению определённых частей сайта. Имя файла не должно содержать заглавных букв. Записи в файле разделяются одной или несколькими пустыми строками...