Как исключить служебные страницы LearnPress из индексации через robots и noindex

На учебных сайтах на WordPress часто индексируются не только курсы и уроки, но и служебные страницы: личный кабинет, страницы входа и регистрации, результаты поиска, корзина, checkout-страницы, технические архивы. Для LearnPress это особенно заметно, если сайт уже открыт для поисковых роботов и в шаблоне нет явных ограничений.

Проблема обычно не в одной настройке, а в наборе мелких ошибок: где-то стоит только noindex, где-то закрыт robots.txt, где-то страница всё равно попадает в sitemap, а где-то плагин SEO конфликтует с шаблоном LearnPress. Ниже — рабочая схема, которая помогает закрыть именно служебные страницы, не трогая полезный контент курсов.

Какие страницы LearnPress обычно нужно закрывать

Не стоит закрывать весь раздел обучения целиком. В индексации обычно не нуждаются страницы, которые не дают самостоятельной ценности в поиске и часто создают дубли или мусорные URL.

• страница входа и регистрации;
• личный кабинет студента;
• страницы оформления и подтверждения оплаты, если они есть в связке с внешними платежами;
• страницы поиска по курсам;
• страницы фильтров и сортировок, если они генерируют отдельные URL;
• технические архивы и служебные шаблоны, которые не должны ранжироваться;
• страницы с параметрами, которые не несут уникального контента.

Диагностика: как понять, что именно попало в индекс

Сначала проверьте, какие URL уже видит поисковик. Не ориентируйтесь только на визуальный вид страницы в браузере: одна и та же страница может отдавать контент, но быть доступной по нескольким адресам.

Что проверить вручную

• откройте страницу и посмотрите исходный код на наличие <meta name="robots" content="noindex">;
• проверьте HTTP-заголовок X-Robots-Tag;
• посмотрите, есть ли URL в XML-карте сайта;
• сравните канонический адрес через <link rel="canonical">;
• проверьте, не закрыт ли URL только в robots.txt без noindex.

Если страница закрыта в robots.txt, но уже попала в индекс, поисковик может продолжать показывать её как URL без описания. Для удаления из индекса этого недостаточно: нужен именно noindex или корректная переобходная обработка.

Быстрая проверка через браузер и сервер

curl -I https://example.com/my-account/

В ответе ищите заголовок X-Robots-Tag и статус страницы. Если страница отдаёт 200 OK и при этом не содержит noindex, поисковик может её индексировать.

Пошаговое решение: закрываем служебные страницы правильно

Надёжнее всего использовать комбинацию из трёх уровней: noindex для конкретных URL, исключение из sitemap и аккуратные правила в robots.txt только там, где это действительно нужно.

Шаг 1. Добавьте noindex для служебных URL

Если у вас есть дочерняя тема или небольшой mu-plugin, можно повесить заголовок X-Robots-Tag на конкретные шаблоны. Это удобно, когда страница генерируется WordPress, но не должна индексироваться.

<?php
add_action('template_redirect', function () {
    if (is_page(array('my-account', 'login', 'register'))) {
        nocache_headers();
        header('X-Robots-Tag: noindex, nofollow', true);
    }
});

Этот вариант подходит, если у страниц есть стабильные слаги. Для LearnPress и связанных страниц важно не гадать по названию шаблона, а проверять фактический URL на сайте.

Шаг 2. Исключите страницы из XML-карты сайта

Если используете SEO-плагин, уберите из sitemap страницы, которые не должны индексироваться. Иначе вы сами подаёте поисковику сигнал, что URL важен.

В Yoast SEO и Rank Math это обычно делается через настройки типа контента или отдельной страницы. Если нужна точечная логика, можно отключать конкретные страницы программно через фильтры плагина, но только если вы точно знаете, какой SEO-плагин установлен. Универсальный код здесь лучше не выдумывать: API у плагинов различается.

Шаг 3. Настройте robots.txt без лишнего фанатизма

robots.txt полезен для экономии краулингового бюджета и отсечения технических разделов, но не заменяет noindex. Не закрывайте им страницы, которые уже нужно удалить из индекса.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Если у вас есть отдельные служебные URL LearnPress, добавляйте только те пути, которые реально существуют на сайте. Не копируйте правила с чужого проекта вслепую.

Шаг 4. Проверьте канонический URL

Если страница должна быть доступна пользователю, но не индексироваться, каноникал должен указывать либо на основную версию страницы, либо на саму страницу, если она остаётся единственной. Ошибочный canonical на главную — частая причина того, что поисковик игнорирует вашу логику.

<link rel="canonical" href="https://example.com/my-account/" />

Когда лучше использовать плагин, а когда код

Если сайт живой и уже получает трафик, лучше не смешивать все способы без плана. Сначала ставьте noindex на нужные страницы, потом убирайте их из sitemap, и только затем добавляйте правила в robots.txt, если они действительно нужны.

Проверка результата после внедрения

После изменений не ограничивайтесь просмотром HTML в браузере. Проверьте страницу как робот.

1. Откройте исходный код и убедитесь, что на нужной странице есть noindex.
2. Проверьте заголовки через curl -I или DevTools.
3. Убедитесь, что URL исчез из XML-карты сайта.
4. Посмотрите, не ведут ли на него внутренние ссылки из меню, футера или блока курса.
5. Если страница уже была в индексе, отправьте её на переобход через инструменты вебмастера.

Полезно сравнить несколько URL: один должен остаться открытым для индексации, другой — закрытым. Так проще понять, не сработало ли правило слишком широко.

Частые ошибки и как их исправить

Закрыли robots.txt, но забыли noindex

Это самая частая ошибка. Страница может продолжать висеть в индексе как URL без содержимого. Если цель — удалить её из поиска, сначала ставьте noindex, а не только Disallow.

Поставили noindex на весь тип записей

Иногда разработчик закрывает не только служебные страницы, но и все курсы или уроки. В результате полезный контент выпадает из поиска. Проверяйте, что правило привязано к конкретным шаблонам или слагам, а не к общему типу контента.

Оставили страницу в sitemap

Если URL есть в карте сайта, поисковик получает противоречивый сигнал: вы одновременно просите не индексировать страницу и сами рекомендуете её к обходу. Уберите её из sitemap сразу после добавления noindex.

Сломали навигацию через слишком жёсткий Disallow

Если закрыть слишком много путей в robots.txt, могут пострадать CSS, JS или AJAX-запросы. Это особенно неприятно для учебных кабинетов и страниц курса, где интерфейс зависит от скриптов.

Практические советы по безопасности и производительности

Служебные страницы часто не несут SEO-ценности, но всё равно нагружают сайт. Если у вас много таких URL, имеет смысл:

• убрать их из меню и футера, чтобы не плодить внутренние ссылки;
• не генерировать лишние архивы и фильтры, если они не нужны пользователям;
• проверить, не создаёт ли тема отдельные шаблоны для технических страниц без необходимости;
• не использовать закрытие через robots.txt как замену авторизации;
• следить, чтобы страницы кабинета и входа не кэшировались публичным кэшем для всех посетителей.

Если на сайте стоит плагин для чистки дублей и технического мусора, например Clearfy Pro, его имеет смысл рассматривать как инструмент для системной настройки, а не как замену ручной проверке. На реальном проекте всё равно нужно смотреть, какие URL он закрывает и не задевает ли рабочие страницы LearnPress.

Мини-чек-лист перед публикацией изменений

• Проверен конкретный список URL, которые нужно закрыть.
• На страницах есть noindex или X-Robots-Tag.
• Служебные URL удалены из XML-карты сайта.
• robots.txt не блокирует CSS, JS и AJAX.
• Канонический адрес указывает на ожидаемую версию страницы.
• Внутренние ссылки на закрытые страницы минимизированы.
• После правок выполнена проверка заголовков и исходного кода.

Если после всех изменений страница всё ещё появляется в поиске, обычно проблема не в одном теге, а в том, что поисковик видит несколько версий одного и того же URL. Тогда нужно искать дубли по параметрам, редиректам и шаблонам, а не только по мета-тегам.