Михаил Шакин начал серию видеокурсов по WordPress, начал с рассказа о правильном файле robots.txt. Этот файл важен для любого сайта, так как с помощью его можно закрыть от индексации ненужные поисковикам страницы, то что мы просто хотим скрыть, чтобы не индексировалось.

Это обычно бывают страницы административной части, фиды, печати, логина, регистрации, скрытых разделов. личных данных пользователей и т.д.
Для WordPress нужно закрыть от индексации страницы админки wp-admin, логинизации и регистрации — wp-login.php и wp-register.php, фидов и трекбеков — feed и trackback, комментариев — comments.

Обязательно для всех блогов нужно закрыть wp-content и wp-includes.

Для избежания попадания в индекс дублированного контента рекомендуют закрыть теги, рубрики и архивы.

В итоге получится что-то подобное как у Михаила на сайте. Но помните, что идеального robots.txt быть не может, так как у каждого сайта своя структура и выполняемые задачи.

Потом этот файл загружаем на хостинг в корневую папку сайта (там где находится файл index.php, wp-config.php…) — облегчаем жизнь поисковикам и себе.