Генератор robots.txt и sitemap.xml
Создайте корректные служебные файлы, просканируйте страницы сайта и подготовьте SEO-таблицу Title, H1, Description и Keywords.
Адрес автоматически подставляется в строку Sitemap и используется как начальная страница сканирования.
Выберите CMS
Нажмите на карточку — стандартные правила подставятся автоматически. Все строки можно изменить вручную.
Правила Disallow
Проверьте блокировку ресурсов. Каталоги templates, modules, plugins и components могут содержать CSS и JavaScript публичных страниц.
Дополнительные настройки
Готовый robots.txt
Файл обновляется при изменении адреса сайта и настроек.
Важно: robots.txt управляет обходом, но не гарантирует удаление URL из поиска. Для запрета индексации используют meta robots или X-Robots-Tag со значением noindex.
Сканирование сайта и SEO-таблица
Модуль собирает внутренние HTML-страницы, метатеги и H1. Значения можно исправить перед экспортом.
Подготовка…
0 / 0
0найдено страниц
0включено в sitemap
0ошибок загрузки
0дублей Title
| Включить | URL и состояние | Title | H1 | Description | Keywords | Priority | Lastmod |
|---|
Готовый sitemap.xml
Как устроено: главная страница получает priority 1.0, первый уровень — 0.9, второй — 0.8 и далее до 0.1. Title, H1, Description и Keywords сохраняются в SEO-таблице, но не вставляются в XML, потому что стандарт sitemap.xml не предусматривает эти поля.