Праздное наблюдение за поисковыми ботами

Перепутье дорогНочью на проекте Битва экстрасенсов произвел небольшую реорганизацию. Перенес форум из директории на поддомен. Все по правилам, с 301 редиректом и прописыванием директивы Host для Yandex в robots.txt :) А пару минут назад решил посмотреть в логи, понаблюдать за ботами.

Очень порадовал бот Google, который уже перешел на поддомен и уже обжился там. Практически прописался :)

А что же происходит с ботом Yandex? А он все еще долбится в директорию, получая каждый раз 301 ответ сервера. При этом на поддомене он еще не появился. Ждем :)

Перенос форума из директории на поддомен был связан с тем, что сам сайт плохо индексировался. Как известно, у каждой ПС есть свой лимит индексации для каждого сайта. Как правило, лимит зависит от частоты обновлений сайта. В данном случае поисковые боты провисали в бесконечных тредах форума, а страницы основного сайта оставались без внимания. И, как следствие, медленное движение в поисковой выдаче и поздняя реакция на производимые изменения.

Главный вывод таков, что, если на сайте планируется иметь разделы с по-разному структурированной информацией (основной сайт со статьями и прочими «о компании», блог, форум, wiki и т.д.), то лучше выносить каждый тип на отдельный поддомен. Это улучшит индексацию каждого элемента в отдельности и всего сайта в целом. А иногда и два сниппета в серпе :D

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *