Модуль генерации правил и исключений для поисковых роботов

Все роботы (*): Allow (разрешить индексирование) Disallow (запретить индексирование)

Файл Sitemap

Директива:

Робот:

Файл или директория: в расширенном режиме можно использовать спецсимвол * и $ Исключить вложенные адреса

Проверьте результат перед публикацией: анализ robots.txt