Как настроить файл robots txt для WordPress правильно

Определите, какие страницы и файлы не должны индексироваться поисковыми системами. Стандартный файл robots.txt помогает управлять этим процессом и защищает конфиденциальную информацию.

Создание и размещение файла robots.txt

Создайте новый текстовый файл с именем robots.txt. Поместите его в корень сайта, чтобы он был доступен по адресу вашдомен.com/robots.txt. WordPress автоматически не создает такой файл, поэтому его нужно создавать вручную или через плагины.

Пример базовой конфигурации для WordPress

Используйте следующий шаблон файла robots.txt как основу:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Disallow: /xmlrpc.php
Sitemap: https://вашдомен.com/sitemap.xml

Объяснение ключевых директив

• User-agent: * – данный блок применяется к всем поисковым роботам
• Disallow: – запрещает индексацию указанных путей или файлов
• Allow: – разрешает доступ к определенным папкам или файлам внутри запрещенной области
• Sitemap: – указывает путь к карте сайта, что способствует полноценной индексации страниц

Рекомендации по настройке

1. Защита админ-панели: запретите индексацию /wp-admin/ и /wp-login.php, чтобы скрыть вход в административную часть.
2. Исключение служебных файлов: добавьте /wp-includes/ и xmlrpc.php в список запрещенных, чтобы избежать лишней загрузки и потенциальных угроз.
3. Настройка папки uploads: разрешите индексацию /wp-content/uploads/, чтобы картинки и медиафайлы были найдены поисковиками.
4. Карта сайта: убедитесь, что в файле прописан правильный путь к sitemap.xml, чтобы поисковым системам было проще находить ваши страницы.

Использование плагинов

Плагины, такие как Yoast SEO или Rank Math, добавляют возможность редактировать robots.txt прямо из панели управления WordPress. Это облегчает обновление конфигурации без необходимости работы с файлами вручную.

Проверка настроек

После сохранения файла robots.txt проверьте его работу с помощью онлайн-инструментов, например, Google Search Console или специальных сервисов. Эти проверки покажут, какие страницы доступны для сканеров и правильно ли настроен файл.