Файл robots.txt — важный инструмент для управления индексацией вашего сайта поисковыми системами. Правильно настроенный robots.txt помогает защищать приватные страницы от индексации, избегать дублирования контента и оптимизировать бюджет сканирования вашего сайта.
Что такое файл robots.txt и зачем он нужен в WordPress
Файл robots.txt — это текстовый файл, расположенный в корневой директории сайта, который содержит директивы для поисковых роботов. С его помощью вы можете запрещать или разрешать индексацию отдельных страниц, папок или даже целых разделов сайта.
В WordPress по умолчанию генерируется виртуальный файл robots.txt, который выводится динамически. Он обычно содержит базовые правила, например, запрет индексации папки /wp-admin/. Однако для более тонкой настройки часто требуется создать физический файл robots.txt и разместить его на сервере.
Уникальный файл robots.txt позволяет вам:
- Защитить административные разделы и конфиденциальные данные;
- Запретить индексацию страниц с дублирующимся контентом;
- Оптимизировать обход сайта поисковиками, направляя роботов только на важные разделы;
- Улучшить SEO-показатели за счет правильной настройки индексации.
Как создать и настроить файл robots.txt в WordPress
Создание физического файла robots.txt
Для создания уникального файла robots.txt зайдите в корневую папку вашего сайта через FTP или файловый менеджер хостинга. Создайте новый файл с именем robots.txt и откройте его для редактирования.
Пример базового файла, который можно использовать как шаблон:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://yelly.ru/sitemap.xml
Здесь:
User-agent: *— правило применяется ко всем роботам;Disallow: /wp-admin/и/wp-includes/— запрещают индексацию системных папок;Allow: /wp-admin/admin-ajax.php— разрешают доступ к AJAX для фронтенда;Sitemap— указывает расположение файла карты сайта.
Настройка robots.txt для уникальных задач
В зависимости от особенностей сайта, можно добавлять дополнительные правила. Например, если у вас есть закрытые разделы, страницы с фильтрами или пагинацией, их лучше закрыть от индексации, чтобы избежать дублирования.
Пример расширенного файла:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?*
Allow: /wp-admin/admin-ajax.php
Sitemap: https://yelly.ru/sitemap.xml
Здесь добавлены запреты для страниц корзины, оформления заказа, личного кабинета и всех URL с GET-параметрами (?*), чтобы предотвратить индексацию динамических страниц.
Автоматизация управления robots.txt через плагин Yelly Robots Manager
Чтобы упростить управление robots.txt без прямого редактирования файлов, можно использовать плагин Yelly Robots Manager. Этот плагин позволяет создавать и редактировать файл через админ-панель WordPress, а также добавлять правила для разных поисковиков.
Основные возможности плагина:
- Удобный редактор с подсветкой синтаксиса;
- Возможность создавать правила для отдельных user-agent;
- Автоматическое обновление карты сайта в
robots.txt; - Поддержка мультисайтовых конфигураций.
Пример функции для динамического добавления правил robots.txt в WordPress с префиксом yelly
Если вы хотите программно добавить свои правила в виртуальный robots.txt, можно использовать хук robots_txt. Ниже пример функции, которая добавляет запрет на индексацию страницы с параметрами и указывает карту сайта:
function yelly_add_robots_rules( $output, $public ) {
if ( $public ) {
$output .= "Disallow: /*?*\n";
$output .= "Sitemap: https://yelly.ru/sitemap.xml\n";
}
return $output;
}
add_filter( 'robots_txt', 'yelly_add_robots_rules', 10, 2 );
Эту функцию можно добавить в файл functions.php вашей темы или в собственный плагин. Она автоматически расширит виртуальный файл robots.txt данными правилами.
Советы по проверке и тестированию файла robots.txt
После создания или изменения файла robots.txt важно проверить его корректность:
- Используйте инструмент Google Search Console «Проверка файла robots.txt» для анализа синтаксиса и доступности;
- Проверьте, что запрещённые страницы действительно не индексируются;
- Убедитесь, что важные разделы сайта остаются открытыми для роботов;
- Регулярно обновляйте карту сайта и проверяйте путь к ней в
robots.txt.
Правильно настроенный и уникальный файл robots.txt — залог эффективного SEO и безопасности WordPress сайта. Используйте описанные методы и инструменты, чтобы контролировать индексацию и улучшать видимость сайта в поисковых системах.