На небольших сайтах служебные архивы часто не нужны в поиске: страницы авторов без уникального контента, архивы по датам, пустые рубрики, теги с одним-двумя записями. Проблема не в самом наличии таких URL, а в том, что поисковик тратит на них обход и может показывать их вместо полезных страниц. Ниже — рабочие способы закрыть их от индексации, не ломая навигацию и не создавая лишних дублей.
Когда это действительно проблема
Сначала стоит проверить, что именно попало в индекс и зачем. Не все архивы нужно закрывать: иногда страница автора с нормальной биографией и подборкой материалов полезна, а архив рубрики — это основной путь к контенту. Но если в индексе висят пустые или почти пустые страницы, их лучше убрать.
Что обычно видно в поиске
- страницы авторов без описания и без уникального текста;
- архивы по датам, которые дублируют ленту записей;
- теги с одной записью;
- служебные страницы пагинации, которые не несут самостоятельной ценности;
- архивы таксономий, если они созданы автоматически и не редактируются вручную.
Проверить это можно через запросы вида site:example.com author, site:example.com/2024/ или через отчёт по страницам в Google Search Console. Если в индексе есть URL, которые вы не хотите показывать, дальше уже имеет смысл выбирать способ закрытия.
Диагностика: что именно закрывать
Ошибка многих сайтов — закрыть всё подряд по шаблону. В результате из поиска исчезают полезные рубрики, а потом приходится откатывать изменения. Лучше разделить страницы на три группы:
- нужно оставить в индексе: важные рубрики, посадочные, авторские страницы с контентом;
- нужно закрыть от индексации: пустые архивы, технические страницы, дубли пагинации;
- нужно удалить совсем: URL, которые больше не должны существовать и должны отдавать 404 или 410.
Если страница должна открываться для пользователя, но не участвовать в поиске, используйте noindex. Если URL устарел и его больше не должно быть, лучше решать вопрос через редирект или код ответа, а не через мета-тег.
Пошаговое решение
Способ 1. Настроить через SEO-плагин
Если на сайте уже стоит SEO-плагин, это самый безопасный путь. В популярных плагинах можно отключить индексацию архивов авторов, дат и некоторых таксономий без правки кода. Плюс такого подхода в том, что изменения видны в админке и их проще откатить.
Если используете Clearfy Pro, там есть отдельные настройки для чистки сайта и управления дублями. Это удобно, когда нужно быстро убрать служебные архивы и не лезть в шаблоны. Ссылка на продукт: Clearfy Pro.
Но даже при использовании плагина важно после настройки проверить исходный код страницы: должен появиться noindex или другой механизм, который реально запрещает индексацию, а не только скрывает ссылку в меню.
Способ 2. Добавить noindex через код темы или плагина
Если нужен точечный контроль, можно добавить условный вывод мета-тега в <head>. Это полезно, когда вы хотите закрыть только архивы авторов и даты, но оставить рубрики открытыми.
<?php
add_action('wp_head', function () {
if (is_author() || is_date()) {
echo "<meta name=\"robots\" content=\"noindex,follow\" />\n";
}
});
Этот вариант работает только если тема корректно вызывает wp_head(). Если в шаблоне его нет, мета-тег просто не попадёт в страницу. Поэтому перед внедрением проверьте, что в header.php есть вызов wp_head().
Способ 3. Закрыть архивы на уровне robots.txt — только в отдельных случаях
Запрет в robots.txt не равен noindex. Он мешает обходу, но не гарантирует удаление URL из индекса, если на него уже есть ссылки. Поэтому robots.txt подходит скорее для экономии краулингового бюджета, а не для точечного удаления страниц из выдачи.
Если архив уже в индексе, сначала используйте noindex или редирект, а robots.txt — только как дополнительную меру, когда страница уже не нужна для обхода.
Сравнение подходов
| Подход | Когда подходит | Минус |
|---|---|---|
| SEO-плагин | Нужно быстро закрыть архивы без кода | Меньше гибкости, зависит от интерфейса плагина |
| Код в теме/плагине | Нужны точечные правила для конкретных шаблонов | Требует проверки после обновлений темы |
| robots.txt | Нужно ограничить обход уже ненужных URL | Не решает задачу удаления из индекса само по себе |
Проверка результата после внедрения
После настройки не ограничивайтесь визуальной проверкой. Нужно убедиться, что поисковик видит именно то, что вы задумали.
- Откройте страницу автора или архив в браузере.
- Посмотрите исходный код и найдите
meta name="robots". - Проверьте ответ сервера и отсутствие случайных редиректов.
- В Google Search Console отправьте URL на проверку и посмотрите, как робот видит страницу.
- Через несколько дней проверьте, исчез ли URL из отчёта по индексированию.
Если страница всё ещё в индексе, это не всегда ошибка настройки. Поисковику нужно время, чтобы переобойти URL и учесть новое правило. Но если мета-тега нет в исходнике или он появляется не на тех страницах, значит, проблема в логике условий.
Частые ошибки и как их исправить
Закрыли рубрики вместо архивов авторов
Это происходит, когда используют слишком широкое условие вроде is_archive(). Оно затрагивает не только авторов и даты, но и рубрики с тегами. Исправление простое: сужайте условие до конкретных шаблонов.
Поставили noindex, но оставили ссылку в sitemap
Если URL остаётся в XML-карте сайта, поисковик продолжает получать сигнал, что страница важна. Для закрытых страниц лучше исключить их из sitemap через настройки SEO-плагина или фильтр генерации карты.
Использовали robots.txt вместо удаления из индекса
Это частая ошибка. Если URL уже проиндексирован, запрет в robots.txt может даже помешать его переобходу и затянуть удаление. Для уже существующих страниц сначала нужен noindex, редирект или удаление страницы.
Сломали архивы после обновления темы
Если правки внесены прямо в файлы темы, обновление может их затереть. Для кода лучше использовать дочернюю тему или небольшой mu-plugin. Так настройка не исчезнет после апдейта.
Практические советы по безопасности и производительности
Чем меньше лишних архивов и служебных страниц индексируется, тем проще поддерживать сайт. Но не стоит превращать это в тотальную зачистку. Сначала проверьте, есть ли у страницы реальная ценность для пользователя и внутренней перелинковки.
- не закрывайте страницы, которые дают вход в важный кластер контента;
- не используйте одинаковые правила для всех архивов без проверки;
- если правите код, выносите его в отдельный мини-плагин или mu-plugin;
- после изменений проверяйте sitemap, canonical и robots meta вместе, а не по отдельности;
- для крупных сайтов следите за логами обхода и отчётами Search Console, чтобы не закрыть лишнее.
Если задача шире и нужно не только закрыть дубли, но и почистить сайт от технического мусора, полезно смотреть на комплексные инструменты вроде Clearfy Pro: там проще собрать несколько настроек в одном месте, чем держать их в разрозненных сниппетах.
Мини-чек-лист перед публикацией изменений
- Определили, какие архивы должны остаться открытыми.
- Проверили, есть ли у закрываемых страниц трафик и внешние ссылки.
- Добавили
noindexтолько на нужные шаблоны. - Убрали закрытые URL из sitemap.
- Проверили исходный код и отчёт в Search Console.
- Не использовали robots.txt как единственный способ удаления из индекса.
Если после этого URL всё ещё появляется в выдаче, смотрите не только на мета-теги, но и на канонические ссылки, внутренние ссылки и карту сайта. В WordPress именно сочетание этих сигналов обычно показывает, почему поисковик продолжает держать страницу в индексе.