Рассмотрим несколько важных примеров работы с Robots.txt
- User-agent: — пишем разные правила для различных поисковых систем.Пример: User-agent: Yandex – задаст набор правил для Яндекса.Совет: Если хотите написать общие правила для всех поисковиков, используйте: User-agent: *
- Disallow: — или запрет на индексацию определённого пути/папки.
Что и зачем следует скрывать от индексации?
- Результаты поиска и ссылку на сам поиск
- Технические страницы:
- Регистрация,
- Напоминание логина/пароля,
- Формы: поделиться новостью,
- Формы: отправить ссылку на почту и подобные,
- Так же следует скрыть страницы, отвечающие например на ajax вопросы, чтобы не было дублирования информации.
Замечание: Allow: — директива не существует. Есть только Disallow
Замечание: если Вы даже не хотите ничего запрещать, считается необходимой одна пустая (без слеша!) директива Disallow:
User-agent: * Disallow: Host: www.example.com
- Sitemap: — указываем адрес карты сайта (и поисковой робот обойдёт Ваш сайт гораздо быстрее).
- Host: — указываем основной адрес Вашего сайта. Боремся со склейкой зеркал. А что же такое склейка сайта? Дело в том, что у Вашего сайта по крайней мере есть одно зеркало, помните, адреса сайтов пишутся как с www, так и без, для поисковых роботов это два разных сайта, как итог, неизвестно, как проиндексируется очередная новость или страница, с www или без, а в итоге Ваш сайт распыляет свой вес в поисковых системах.Совет: используйте данную директиву в robots.txt для новых сайтов, а для существующих, которые уже давно находятся на просторах интернета, явное указание этой директивы может повлечь переиндексацию содержимого (вплоть до нескольких недель выпадения из индекса поисковых систем).Замечание: не указывайте протокол в директиве host: просто впишите адрес сайта с www или без.
Пример: верно – Host: www.example.com, неверно: Host: http:// www.example.com
