robots.txt — текстовый файл, предназначенный для определения правил индексации ресурса в целом. В глобальном смысле он определяет границы области индексации документов и файлов относительно корня ресурса. В узком смысле - может определять наборы правил поведения пауков, причем, специфичные для каждой поисковой системы.

Простыми словами: robots.txt — это контейнер унифицированных инструкций для сканирующих роботов поисковых систем.

Значимость этого файла не преувеличена. Перед тем, как приступить к индексации ресурса и начать проход по внутренним ссылкам документа, поисковая система запрашивает файл robots.txt из корня сайта. Полученный набор инструкций накладывается на url-структуру ресурса.

Отсутствие файла, неправильное имя файла, неверное местонахождение или явные ошибки в robots.txt могут негативно отразиться на процессе индексации ресурса и повлечь попадание в индекс не предназначенных для широкой публики документов и файлов.