2016-08-29 16:46:34
Только сегодня написал статью, по тому как не стоить делать сайты и вот опять наткнулся на очередной глобальный косяк.
Сайт http://2brasleta.ru видимо решили перевести на новый движёк cs-cart, а переносить его решили прямо на продакшн сервере.
При этом не закрыли от индексации сайт и теперь яндекс и google будет его радостно индексировать, вот только проблема есть одна, сайт то наполнен демо контентом.. +)
А вот и файл robots.txt:
Как мы видим, файл был загружен вместе с системой cs-cart и не изменялся, а с учётом что данный интернет-магазин имел не плохую посещаемость и частое обновление контента, то поисковые машины очень быстро подхватят весь "демо контент", и старый индекс будет удалён, позиции сайта в поисковой выдаче резко упадут.