Создаем правильный файл robots.txt или как не сделать грубую ошибку.

Использование файла robots.txt, играет большую роль при индексации сайта в поисковых системах, по сути, являясь указателем для поисковой машины – какие страницы или директории (папки) необходимо индексировать, а какие нет. Этот небольшой файл, является кране полезным для динамических веб-ресурсов, контролируя индексацию (запрещает или разрешает) страниц, которые находятся на сайте. Создает необходимые ограничения, для индексации страниц, которые заносить в поисковую систему не желательно (например, форумы, служебные файлы).
Файл robots.txt, использует исключительно текстовый формат сценариев UNIX, а установка на сайт осуществляется в режиме ASCII (код для обмена данными). При создании файла robots.txt, не допускается использование HTML редакторов. На сервере могут находиться несколько файлов robots.txt, в разных директориях, в таком случае, файл находящийся в директории блокирует внешний файл и выполнение сценария относится именно к той папке к которой он прикреплен.
Сам файл представляет собой небольшую текстовую запись, с использованием стандартного синтаксиса. Первая строка записи может содержать как имя робота, для которого создан файл, так и допуск всех роботов к индексации:
- первый вариант User-agent: имя робота английскими буквами, напечатанные в нижнем регистре;
- второй вариант User-agent: * («*» обозначает, что к индексации допущены все роботы).
Следующая строка определяет, какое действие необходимо выполнить и обозначается Аllow (разрешить индексацию) и Disallow (запретить индексацию). Синтаксис этой строки аналогичен первой, то есть:
Disallow (или Аllow): имя файла или директории.
Следует обратить внимание, на то, что причисление файлов, запрещенных к индексации, прописывается каждый раз с новой строки, аналогично предыдущему, а не в одну строчку, это может вызвать замешательство у поискового робота.
В файле robots.txt, допускается создание комментариев, которые обязательно пишутся с новой строки и обозначается атрибутом «#».
Не смотря на довольно простые правила написания кода, и однозначный синтаксис, некоторые веб-разработчики допускают ошибки в написании, подобная невнимательность может привести к полному запрету индексации ресурса либо к индексации секретных или системных разделов.

Похожие записи:

Использование .htaccess для блокирования IP адресов В этом уроке мы покажем, как использовать файл .htaccess для блокирования IP-адреса. Это один из нескольких методов блокирования входящих к веб-серверу запросов. Другие методы включают блокирование...

Некоторые особенности баннерной интернет-рекламы. Агентства, которые выводят на рынок новые виды рекламы, оказывают один за другим все новые и новые услуги, тем самым пытаясь отвоевать потенциальных клиентов на своем рынке. Для того,...

Здравствуй, дорогой дневничок… Блог – сайт, который постоянно обновляется и позволяет пользователям писать во всемирной паутине. Он также обеспечивает возможность найти мгновенную связь со своей аудиторией. Блоги...