Загружаем robots.txt и проверяем доступна та или иная страница Яндексу для индексации http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml

User-agent: * # For WordPress > Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed # For WordPress <

User-agent: Yandex Host: www.my-domain.ru # For SMF forums. Working in Yandex > Allow: /forum/index.php?action=profile* Allow: /forum/index.php?action=recent* Disallow: /forum/index.php?action* Disallow: /forum/Themes/ Disallow: /*type=rss # For SMF forums < — обслуживание компьютеров

Актуально для Яндекса. Взято тут Использование спецсимволов «*» и «$». При указании путей директив Allow-Disallow можно использовать спецсимволы ‘*’ и ‘$’, задавая, таким образом, определенные регулярные выражения. Спецсимвол ‘*’ означает любую (в том числе пустую) последовательность символов. Примеры: User-agent: Yandex Disallow: /cgi-bin/*.aspx # запрещает ‘/cgi-bin/example.aspx’ и ‘/cgi-bin/private/test.aspx’ Disallow: /*private # запрещает не только ‘/private’, но [...]