Создаем правильный файл robots.txt или как не сделать грубую ошибку.

Использование файла robots.txt, играет большую роль при индексации сайта в поисковых системах, по сути, являясь указателем для поисковой машины – какие страницы или директории (папки) необходимо индексировать, а какие нет. Этот небольшой файл, является кране полезным для динамических веб-ресурсов, контролируя индексацию (запрещает или разрешает) страниц, которые находятся на сайте. Создает необходимые ограничения, для индексации страниц, которые заносить в поисковую систему не желательно (например, форумы, служебные файлы).
Файл robots.txt, использует исключительно текстовый формат сценариев UNIX, а установка на сайт осуществляется в режиме ASCII (код для обмена данными). При создании файла robots.txt, не допускается использование HTML редакторов. На сервере могут находиться несколько файлов robots.txt, в разных директориях, в таком случае, файл находящийся в директории блокирует внешний файл и выполнение сценария относится именно к той папке к которой он прикреплен.
Сам файл представляет собой небольшую текстовую запись, с использованием стандартного синтаксиса. Первая строка записи может содержать как имя робота, для которого создан файл, так и допуск всех роботов к индексации:
- первый вариант User-agent: имя робота английскими буквами, напечатанные в нижнем регистре;
- второй вариант User-agent: * («*» обозначает, что к индексации допущены все роботы).
Следующая строка определяет, какое действие необходимо выполнить и обозначается Аllow (разрешить индексацию) и Disallow (запретить индексацию). Синтаксис этой строки аналогичен первой, то есть:
Disallow (или Аllow): имя файла или директории.
Следует обратить внимание, на то, что причисление файлов, запрещенных к индексации, прописывается каждый раз с новой строки, аналогично предыдущему, а не в одну строчку, это может вызвать замешательство у поискового робота.
В файле robots.txt, допускается создание комментариев, которые обязательно пишутся с новой строки и обозначается атрибутом «#».
Не смотря на довольно простые правила написания кода, и однозначный синтаксис, некоторые веб-разработчики допускают ошибки в написании, подобная невнимательность может привести к полному запрету индексации ресурса либо к индексации секретных или системных разделов.

Похожие записи:

Целевая страница сайта Целевой страницей сайта можно назвать ту, которая способна всецело представить определенный продукт или услугу. Именно на нее попадают пользователи из внешних источников при клике...

Как заработать на контекстной рекламе? В сети интернет существуют сотни способов и видов рекламы. Все они действительно разные, для их осуществления и заказа необходимы разные условия и разные вложения денежных средств. Самым...

Заработать на нулевом сайте Получение дохода в Интернете – дело весьма сложное. Здесь необходим не только специальный подход, но и творческий огонек, ведь однотипных сайтов, владельцы которых делают получать миллионы,...