Как изменить скорость сканирования сайта роботом Google

Автор: Андрей Крупин
Опубликовано: 15 октября 2007 года
Источник: "Компьютерра"

Пользуясь специальным инструментом, веб-мастеры могут управлять настройками поискового робота Google и регулировать скорость, с которой он индексирует сайты. Это может быть полезным в том случае, если "паук" создает чрезмерную нагрузку на сервер, и его необходимо как-то "утихомирить".

Чтобы изменить скорость сканирования сайта поисковым роботом, необходимо зайти любым браузером на сайт Google для веб-мастеров и проследовать по ссылке "Инструменты для веб-мастеров (включая Sitemaps)".

Далее, используя аккаунт Google, придётся зарегистрироваться в системе, ввести адрес своего ресурса и нажать кнопку "Добавить сайт".

Откроется окно с информацией о том, когда робот Google последний раз "разгуливал" по указанному сайту и какие страницы проиндексированы поисковой системой.

В представленном окне следует принять во внимание подсказку системы и пройти по ссылке "Подтвердить сайт". Данная операция необходима для того, чтобы Google удостоверился, что именно вы являетесь владельцем сайта.

Подтвердить право собственности на сайт можно двумя способами: скопировав на сервер пустой HTML-файл с уникальным именем или добавив особый тэг в код главной страницы своего интернет-ресурса.

После выполнения соответствующих действий и нажатия клавиши "Подтвердить" появится сообщение об успешном подключении ресурса к службе Google Webmaster Tools.

Теперь остается самое простое, а именно: проследовать по ссылкам "Инструменты -> Задать скорость сканирования ".

Значение выставленной скорости запоминается системой не на всё время, а только на три месяца (точнее - 90 дней), а потом потребуется вновь посетить сайт Google для веб-мастеров и выставить желаемые настройки.