Инструмент · бесплатно, без регистрации

Генератор robots.txt онлайн — для WordPress, Bitrix, Tilda, OpenCart

Создайте корректный robots.txt для своего сайта: для WordPress, Bitrix, OpenCart, Tilda, интернет-магазина или лендинга. С Sitemap и Clean-param.

Дополнительные правила
robots.txt0 строк
User-agent: *
Disallow:

Как использовать

  1. Положите файл в корень сайта по адресу https://ваш-домен/robots.txt.
  2. Откройте в браузере и убедитесь, что отдаётся ровно тот текст, который сгенерировали.
  3. Проверьте через Яндекс.Вебмастер → Инструменты → Анализ robots.txt.
  4. В Google Search Console раньше был тестировщик, сейчас Google проверяет автоматически — следите за вкладкой «Покрытие».

Что изменилось в 2024–2026

  • Директива Host устарела — Яндекс убрал её ещё в 2018 году, теперь зеркала склеиваются через 301-редирект и канонические URL. Этот генератор её намеренно не добавляет.
  • Crawl-delay Яндекс игнорирует с 2018 года, Google никогда не поддерживал. Скорость обхода настраивайте в Вебмастере.
  • Clean-param работает только в Яндексе — кладите его в блок User-agent: Yandex. Для Google закрывайте параметры через Disallow: /*?utm_* или канонические URL.
  • Не блокируйте CSS и JS — Google и Яндекс рендерят страницу как браузер и без стилей считают её сломанной.

Когда писать Disallow бессмысленно

robots.txt запрещает краулинг, но не индексирование: страница может попасть в выдачу через ссылку с другого сайта (без сниппета, в виде «Описание для этого результата недоступно»). Чтобы убрать страницу из индекса, добавьте мета-тег <meta name="robots" content="noindex"> или HTTP-заголовок X-Robots-Tag: noindex.

Зачем нужен этот инструмент

Robots.txt — это первый файл, который запрашивает любой бот, заходя на сайт. От его корректности зависит, какие страницы попадут в индекс, какие — нет, и не утечёт ли в выдачу админка с паролями. Самая частая беда — наследование чужих шаблонов: люди копируют robots.txt от другой CMS или с устаревшего блога, и сайт начинает терять трафик. Этот генератор собирает корректный robots.txt под вашу CMS (WordPress, Bitrix, OpenCart, Tilda, Modx) с учётом её типичных служебных URL, корректно подключает Sitemap, добавляет директиву Clean-param для исключения дублей по UTM-меткам.

Как устроен инструмент: ключевые параметры

Что именно проверяет/считает/генерирует и как это интерпретировать.

User-agent

Указывает, для какого бота правило. * — для всех. Yandex, Yandexbot — для Яндекса. Googlebot — для Google. Можно задать разные правила разным ботам.

Disallow

Запрещает индексацию URL по маске. /admin/ — закрывает всю папку, *.pdf — все PDF на сайте. Регистр имеет значение.

Allow

Разрешает в исключение из Disallow. Полезно, когда папка закрыта целиком, но нужен один публичный файл внутри.

Sitemap

Полный URL до карты сайта (с https://, доменом). Указывайте всегда, даже если карта подана через Search Console — это страховка.

Clean-param (только для Яндекса)

Указывает Яндексу игнорировать перечисленные параметры URL при индексации. Закрывает проблему дублей по UTM, sort, page, ref.

Когда применять: реальные сценарии использования

  • Запуск нового сайта на CMS — нужен корректный robots.txt с первого дня, иначе в индекс утечёт стейджинг или служебные URL.
  • Миграция на новую CMS — старые правила могут конфликтовать с новой структурой URL, нужно собрать robots с нуля.
  • Закрытие админки и личных кабинетов — частая ошибка: WordPress-админка /wp-admin/ открыта, и Яндекс пытается её индексировать (получает 401, но шлёт ошибки в вебмастер).
  • Защита от индексации тестовых поддоменов — на dev.site.ru должен быть строгий Disallow: /, иначе тест попадает в выдачу и ворует трафик у боевого сайта.
  • Управление дублями фильтрации в e-commerce — Clean-param экономит краулинг-бюджет и избавляет от дублей.

Типичные ошибки, которые я разбираю в работе

Вещи, которые ломают результат, даже если инструмент использован «вроде правильно».

  • Disallow: / на боевом сайте. Самая страшная ошибка: закрывает индексацию всего сайта целиком. Яндекс и Google вылетают из выдачи за 1-2 апдейта. Случается при копировании robots с тестового сервера.
  • Закрытие CSS и JS. Disallow: /css/, /js/ — устаревший приём из 2010-х. Сегодня поисковики рендерят страницу и должны видеть стили и скрипты. Закрытие = снижение оценки страницы.
  • Sitemap с http:// на https-сайте. Поисковики потребляют URL ровно как есть. Если Sitemap: http://site.ru/sitemap.xml на HTTPS-сайте — будет 301 при каждом запросе и предупреждение в вебмастере.
  • Перепутать Allow и Disallow. Часто люди пишут Allow: / по привычке, думая «разрешить главную». На самом деле это разрешает весь сайт, и любой Disallow ниже игнорируется в большинстве случаев.
  • Регистр имеет значение. Disallow: /Admin/ не закроет /admin/. Файловая система Linux — case-sensitive. Указывайте правильный регистр.

Лайфхаки и приёмы из практики

Что работает в 2026 году и не написано в стандартных мануалах.

  • Используйте директиву Crawl-delay: 2 для агрессивных ботов SEO-сервисов (AhrefsBot, SemrushBot), если они грузят сервер. Яндекс и Google этой директивой не управляются — у них свой алгоритм.
  • Комментарии в robots.txt начинаются с #. Используйте их, чтобы через 6 месяцев самому понять, зачем закрыта та или иная папка.
  • Проверяйте robots.txt в Яндекс.Вебмастере (Инструменты → Анализ robots.txt) и Google Search Console (Просмотр как Googlebot) после каждой правки.
  • Не закрывайте через robots.txt страницы, которые надо удалить из индекса — для этого нужен meta robots noindex или 410 статус. Robots.txt запрещает скан, но не индексацию (страница может остаться в индексе по внешним ссылкам).
  • Для лендинга на Tilda: robots.txt управляется через настройки сайта, прямой доступ к файлу ограничен. Закрывайте служебные URL через Tilda-интерфейс.

Часто задаваемые вопросы

Где должен лежать robots.txt?

Только в корне сайта: site.ru/robots.txt. Файл по адресу site.ru/folder/robots.txt роботы игнорируют. Кодировка — UTF-8 без BOM.

Что важнее: robots.txt или meta robots?

Robots.txt запрещает скан страницы, meta robots noindex — индексацию. Если вы хотите гарантированно убрать страницу из выдачи, используйте noindex (страница должна быть открыта для скана). Robots.txt — для управления краулинг-бюджетом.

Нужен ли отдельный robots.txt для мобильной версии?

Нет, если у вас адаптивный сайт (один URL для всех устройств). Если же мобильная версия живёт на m.site.ru — там тоже нужен свой robots.txt.

Поддерживает ли Яндекс директиву Host?

Нет, с 2018 года директива Host устарела. Главное зеркало указывайте через 301-редирект или в Я.Вебмастере (Инструменты → Главное зеркало).

Как проверить, что robots.txt работает?

Откройте site.ru/robots.txt в браузере — должен показаться текст файла. Затем загрузите его в Я.Вебмастер (Анализ robots.txt) — там можно проверить любой URL вашего сайта на разрешённость к скану.

Нужна помощь с SEO?

Бесплатных инструментов не хватает? Запишитесь на консультацию или закажите аудит сайта.

Консультация 5 000 ₽ Полный аудит сайта