Новое на блоге

Как легально заработать удаленно в интернете уже с первого дня. PROhq – это биржа нового поколения которая предоставляет уникальный набор сервисов для удаленной работы. Сервис PROhq выводит взаимодействие заказчика и фрилансера на абсолютно новый и качественный...

Читать далее

Ученые признали общение в интернете нормальным Ученые из Австрии и Швейцарии опровергли устоявшееся мнение о том, что общение в интернете отличается от общения в реальной жизни. В частности, они установили, что подавляющая часть пользователей...

Читать далее

Страницу Дождя на YouTube заблокировали из-за проекта СтопХам Страница телеканала "Дождь" на YouTube была удалена из-за "неоднократного нарушения авторских прав третьих лиц", в том числе проправительственного проекта "СтопХам" и компании Viacom International Inc. Об этом...

Читать далее

Один из основателей Facebook отказался от американского гражданства Один из основателей социальной сети Facebook Эдуардо Саверин (Eduardo Saverin) отказался от гражданства США и решил официально стать жителем Сингапура. Об этом сообщает The Washington Post. В публикации ABC News указывается,...

Читать далее

Сайт Веб-выборы 2012 приспособили для показа достопримечательностей Видеотрансляция ряда российских достопримечательностей и известных мест открылась 14 мая на сайте "Веб-выборы 2012". Об этом сообщает ИТАР-ТАСС. Трансляции будут работать до закрытия телекоммуникационной...

Читать далее

Nokia обвинила Apple в насилии над Siri Apple заставила Siri соврать про лучший в мире смарфтон, считает Nokia.Siri неожиданно изменила свое мнение относительно того, какой смартфон – самый лучший в мире. Это случилось после того, как пользователи...

Читать далее

  • Prev
  • Next


Создаем правильный файл robots.txt или как не сделать грубую ошибку.

Категория: Сайты, блоги

Использование файла robots.txt, играет большую роль при индексации сайта в поисковых системах, по сути, являясь указателем для поисковой машины – какие страницы или директории (папки) необходимо индексировать, а какие нет. Этот небольшой файл, является кране полезным для динамических веб-ресурсов, контролируя индексацию (запрещает или разрешает) страниц, которые находятся на сайте. Создает необходимые ограничения, для индексации страниц, которые заносить в поисковую систему не желательно (например, форумы, служебные файлы).
Файл robots.txt, использует исключительно текстовый формат сценариев UNIX, а установка на сайт осуществляется в режиме ASCII (код для обмена данными). При создании файла robots.txt, не допускается использование HTML редакторов. На сервере могут находиться несколько файлов robots.txt, в разных директориях, в таком случае, файл находящийся в директории блокирует внешний файл и выполнение сценария относится именно к той папке к которой он прикреплен.
Сам файл представляет собой небольшую текстовую запись, с использованием стандартного синтаксиса. Первая строка записи может содержать как имя робота, для которого создан файл, так и допуск всех роботов к индексации:
- первый вариант User-agent: имя робота английскими буквами, напечатанные в нижнем регистре;
- второй вариант User-agent: * («*» обозначает, что к индексации допущены все роботы).
Следующая строка определяет, какое действие необходимо выполнить и обозначается Аllow (разрешить индексацию) и Disallow (запретить индексацию). Синтаксис этой строки аналогичен первой, то есть:
Disallow (или Аllow): имя файла или директории.
Следует обратить внимание, на то, что причисление файлов, запрещенных к индексации, прописывается каждый раз с новой строки, аналогично предыдущему, а не в одну строчку, это может вызвать замешательство у поискового робота.
В файле robots.txt, допускается создание комментариев, которые обязательно пишутся с новой строки и обозначается атрибутом «#».
Не смотря на довольно простые правила написания кода, и однозначный синтаксис, некоторые веб-разработчики допускают ошибки в написании, подобная невнимательность может привести к полному запрету индексации ресурса либо к индексации секретных или системных разделов.




Похожие записи:

Использование .htaccess для блокирования IP адресов






Использование .htaccess для блокирования IP адресов

В этом уроке мы покажем, как использовать файл .htaccess для блокирования IP-адреса. Это один из нескольких методов блокирования входящих к веб-серверу запросов. Другие методы включают блокирование... 

Некоторые особенности баннерной интернет-рекламы.






Некоторые особенности баннерной интернет-рекламы.

Агентства, которые выводят на рынок новые виды рекламы, оказывают один за другим все новые и новые услуги, тем самым пытаясь отвоевать потенциальных клиентов на своем рынке. Для того,... 

Здравствуй, дорогой дневничок...






Здравствуй, дорогой дневничок…

Блог – сайт, который постоянно обновляется и позволяет пользователям писать во всемирной паутине. Он также обеспечивает возможность найти мгновенную связь со своей аудиторией. Блоги... 



Ранее опубликованные записи из рубрики: Сайты, блоги


Еще записи

Добавить комментарий