По запросу «smf панель авторизации» Яндекс выдает очень много разнообразной, но бесполезной информации. В том числе и сайт эротического содержания

Работает только для Google Search Appliance. Спасибо Antonio Для того, чтобы скрыть от индексации Google некоторый текст на странице, необходимо использовать следующий код (в HTML это комментарий в коде и не будет виден на странице), который игнорируется другими поисковиками: 1. В общем случае fish <!—googleoff: all—>shark<!—googleon: all—> mackerel Google проиндексирует “fish mackerel” и проигнорирует слово  [...]

Честно говоря, никогда не заморачивался тем, как это сделать и всегда следовал поговорке «Утро вечера мудренее» Но, поскольку мне на глаза попалась инструкция как это сделать, то не могу отказать себе в бессовестном копировании в загажник. Мало ли, потом вдруг решу проверить позиции непосредственно во время аппа или кто спросит как это сделать, а я [...]

Как оказалось уже больше месяца Яндекс ввел новый (для себя) оператор расширенного запроса inurl. Данный факт не может не радовать Правда, в отличии от Google, запрос необходимо делать так inurl=»text» (у Google inurl:text).

Ночью на проекте Битва экстрасенсов произвел небольшую реорганизацию. Перенес форум из директории на поддомен. Все по правилам, с 301 редиректом и прописыванием директивы Host для Yandex в robots.txt А пару минут назад решил посмотреть в логи, понаблюдать за ботами. Очень порадовал бот Google, который уже перешел на поддомен и уже обжился там. Практически прописался А [...]

Загружаем robots.txt и проверяем доступна та или иная страница Яндексу для индексации http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml

User-agent: Yandex Host: www.my-domain.ru # For SMF forums. Working in Yandex > Allow: /forum/index.php?action=profile* Allow: /forum/index.php?action=recent* Disallow: /forum/index.php?action* Disallow: /forum/Themes/ Disallow: /*type=rss # For SMF forums <

Актуально для Яндекса. Взято тут Использование спецсимволов «*» и «$». При указании путей директив Allow-Disallow можно использовать спецсимволы ‘*’ и ‘$’, задавая, таким образом, определенные регулярные выражения. Спецсимвол ‘*’ означает любую (в том числе пустую) последовательность символов. Примеры: User-agent: Yandex Disallow: /cgi-bin/*.aspx # запрещает ‘/cgi-bin/example.aspx’ и ‘/cgi-bin/private/test.aspx’ Disallow: /*private # запрещает не только ‘/private’, но [...]

Заметил, что у Яндкса могут быть разные базы серпа для различных тематик. Яндекс хранит разный кэш сайта для нескольких тематик, в которых он участвует. Различия в версиях, сохраненного в кэш, сайта. По основной тематике, по которой продвигается сайт, обноволяется в кэше чаще, чем по неосновной тематике. И это довольно сильно напрягает. Будем надеяться, что при [...]