robots.txt — файл ограничения доступа к содержимому роботам на http сервере. Файл должен находится в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt).

Использование файла добровольно, стандарт был принят консенсусом 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин.

Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать области сайта, которые не должны индексироваться.

Описание структуры
Файл состоит из записей. Записи разделяются одной или более пустых строк (признак конца строки символы CR,CR+LF, LF). Каждая запись содержит непустые строки следующего вида:
:

где field — это или User-agent или Disallow, а value — значение. optionalspace — необязательный пробел.

Popularity: 1% [?]