Логика поисковых роботов построена таким образом, что после получения от сайта кода ошибки бот может не вернуться вообще. Например, в ответ на 404 ошибку робот гугла может выкинуть страницу из индекса или обнулить PageRank.

Что нужно делать, если планируются работы над сайтом, но нет желания терять страницы в индексе. Спросим у самого Google.

If my site is down for maintenance, how can I tell Googlebot to come back later rather than to index the "down for maintenance" page? (Если работа моего сайта приостановлена, как сказать роботу, чтобы от вернулся попозже, вместо того, чтобы он включил в индекс страницу-заглушку?)
You should configure your server to return a status of 503 (network unavailable) rather than 200 (successful). That lets Googlebot know to try the pages again later. (Вы должны сконфигурировать Ваш сервер так, чтобы он возвращал статус 503 (неполадки сети) вместо кода 200).

Источник: http://googlewebmastercentral.blogspot.com/2006/08/all-about-googlebot.html

Необходимо верным образом настроить наш сервер Apache. В это нам поможет модуль mod_rewrite, файл .htaccess и директива Retry-After.

Заголовок Retry-After может быть использован с 503 ответом сервера (Сервис недоступен) для указания периода времени, в течении которого сервис будет не в состоянии отвечать на клиентские запросы. Этот заголовок также может быть использован вместе с любым 3хх (Redirection) ответом для указания минимального периода времени, по истечении которого клиент должен сделать redirect запрос. Значением этого заголовка может быть либо HTTP дата, либо целое число в секундах.

Пример:

Retry-After: Fri, 02 Apr 2012 23:59:59 GMT
Retry-After: 120

Для реализации пишем в .htaccess код для бота Google

Options +FollowSymLinks
RewriteEngine On
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} ^.*(Googlebot|Googlebot|Mediapartners|Adsbot|Feedfetcher)
-?(Google|Image)? [NC]
# or RewriteCond %{HTTP_USER_AGENT} ^.*google.* [NC]
RewriteRule .* /cgi-bin/error/503.php

И наконец, страница 503.php

<?php
ob_start();
header(‘HTTP/1.1 503 Service Temporarily Unavailable’);
header(‘Status: 503 Service Temporarily Unavailable’);
header(‘Retry-After: 3600′);
header(‘X-Powered-By:’);
?><!DOCTYPE HTML PUBLIC “-//IETF//DTD HTML 2.0//EN”>
<html><head>
<title>503 Service Temporarily Unavailable</title>
</head><body>
<h1>Сайт временно недоступен</h1>
<p>Сайт временно недоступен. Попробуйте зайти позже.</p>
</body></html>

Ссылки:

Google slashdot YahooMyWeb Digg Technorati Delicious Забобрить эту страницу! Добавить на Newsland.ru Добавить на СМИ2 Добавить на RUmarkz Добавить на Ваау! Добавить на rucity.com Добавить в закладки МоёМесто.ru
Link:

Эта статья была опубликована в в четверг, апреля 17, 2008 at 12:52 pm в рубрике Google, SEO, Администрирование, Полезное, Продвижение, Сети, Фишки. Вы можете отслеживать ответы на нее через RSS 2.0. Вы можете оставить отзыв, или trackback из вашего сайта.


Оставить отзыв