Вопрос сайтостроителям. Собственно в заголовке.
Описание проблемы: с вводом нового сервиса статистики на портале (в профиле), обнаружилось что робот Гугля, сканирует странички, закрытые:
1. В файле robots.txt
2. js скриптом так: onclick="window.location(урл)" (то что такие ссылки он находит - есть даже в их справке)
3. есть подозрение, что он ваще js интерпретирует легко...
В индекс такие страницы как и положено не лезут (пока не обнаружены), но все равно неприятно... ходит ведь по ним - легко!
Более того, похоже что эта скотинка, анализирует элементы форм (select, input) и содержимое подставляемое get-ом подставляет в урл, комбинируюя произвольным порядком... у меня в сервисе вебмастера периодически появляются "неправильные" ссылки с ошибкой 404, 500 из таких сочинений...
Особливо интересно в свете их последних нововведений по ранжированию и пессемизациям...
Описание проблемы: с вводом нового сервиса статистики на портале (в профиле), обнаружилось что робот Гугля, сканирует странички, закрытые:
1. В файле robots.txt
2. js скриптом так: onclick="window.location(урл)" (то что такие ссылки он находит - есть даже в их справке)
3. есть подозрение, что он ваще js интерпретирует легко...
В индекс такие страницы как и положено не лезут (пока не обнаружены), но все равно неприятно... ходит ведь по ним - легко!
Более того, похоже что эта скотинка, анализирует элементы форм (select, input) и содержимое подставляемое get-ом подставляет в урл, комбинируюя произвольным порядком... у меня в сервисе вебмастера периодически появляются "неправильные" ссылки с ошибкой 404, 500 из таких сочинений...
Особливо интересно в свете их последних нововведений по ранжированию и пессемизациям...
"Только так, только личная инициатива и напряженная работа над собой. .. Нужно своей собственной рукой все делать" (с) В.В. Путин
(а не на "вертикаль власти" надеяться)
Всё гораздо проще делается.