Генератор robots.txt

Генератор robots.txt онлайн бесплатно. Выберите CMS, настройте правила Disallow и легко скачайте готовый файл для сайта.

Создать robots.txt

Создайте robots.txt для Joomla, WordPress, Tilda и других CMS, добавьте собственные правила и автоматически укажите адрес sitemap.xml.

Адрес сайта автоматически подставляется в строку Sitemap: https://example.ru/sitemap.xml.

Выберите CMS

Нажмите на карточку — подставятся консервативные SEO-правила без блокировки публичных CSS, JavaScript, изображений и шрифтов. Все строки можно изменить вручную.

10 CMS

Правила Disallow

Дополнительные настройки

Готовый robots.txt

Файл обновляется при изменении адреса сайта и настроек.

Важно: robots.txt управляет обходом, но не является защитой каталога и не гарантирует удаление URL из поиска. Для запрета индексации используют meta robots или X-Robots-Tag со значением noindex. Clean-param применяйте только после проверки, что параметр не меняет контент.
Продолжая использовать сайт, ты даёшь согласие на обработку файлов cookie. Для получения дополнительной информации ты можешь ознакомиться с Политикой в отношении обработки персональных данных.
Принять Отклонить