RobotsTxt

Подписаться на эту рубрику по RSS

Пишем правильный и работоспособный robots.txt. Секреты файла robots.txt.

Как написать правильный и работоспособный robots.txt?

21 апреля 2013 г. Раскрутка сайта » RobotsTxt
Как написать правильный и работоспособный robots.txt?
 Эта статья посвящена крайне важному элементу при продвижении сайта, как служебный файл под названием robots.txt.

В глобальной сети, разумеется полно материала по этой теме, но я принял решение все-таки подытожить все уже сказанное, а совсем при подготовке опирался исключительно на собственный опыт. Итак, что же надо учесть чтобы составить хороший robots. txt, зачем нужно внедрять такой файл в корень вашего проекта и какую выгоду можно с этого получить? Давайте по порядку разберемся с этим.

Robots. txt служит для закрытия доступа поисковым роботам к тем разделам проекта, которые не нужно проиндексировать. Опубликовать robots. txt следует в корневом каталоге проекта.

В файл вы можете вносить несколько записей. Первая это User-agent. Такой параметр указывает на то, какой ПС вы хотите закрыть от индексации разделов, директорий или страниц.

Когда вы планируете причислить ваш запрет сразу ко всем роботам, то в поле впишите просто звездочку (*).Далее...