Достаточно часто люди спрашивают в интернете, как запретить доступ одному поисковику для индексации страницы, которая создавалась специально для поисковика два. Ответ достаточно прост и содержится он в файле robots.txt. Конечно же, существуют и другие причины для защиты страницы от поисковой системы лил от запрета на индексацию всех или одной страницы сайта.
Правильный robots.txt поможет защитить также те страницы, которые не должны попасть в плохие руки, например с личными данными. Если администратор сайта создает несколько страниц которые очень походи между собой, для того чтобы каждый из механизмов проиндексировал одну из них - это по структуре спам и поэтому AltaVista вполне сможет дать красный свет на подобные действия. Поэтому создавая несколько практически одинаковых страниц они могут подвергнутся бану в поисковых системах. В большинстве случаев администраторы сайтов не слишком переживают по поводу создания достаточно большого количества похожих страниц из-за того, что они обычно их практически не создают. При этому если страницы отличаются в достаточно большом количестве слов и их числе, то волноваться тоже не нужно.
Если Вы в основном сосредоточены, на оптимизации сайта по существующим страницам, каждая из которых имеет свое, уникальное содержание, а не на создании нескольких новый и похожих страниц, от волноваться тоже не стоит. Другие пользователи просто создают отдельные страницы для каждого из поисковиков и таким образом преследуют получение нужной им выгоды, можно даже попробовать отследить с какого поисковика приходит больше посетителей.
