|
|
|
robots
Мне хочется отвадить от сайта товарищей с Teleport Pro и другими подобными оффлайн-браузерами - во-первых, трафик создают немеренный, гады, во-вторых, этими инструментами пользуются чтобы красть контент, что очень обидно. Конечно, сопрут и так, но всё-таки..
Robots.txt использовать бесполезно - его можно игнорировать. Остаётся банальный ^switch - если пришли с нормальным браузером, выдаём страницу, если нет - предупреждение.
Вопрос вот в чём. Я уже набрал немаленький список оффлайн-браузеров в свой блэклист; если одно из след. слов присутствует в ^env[HTTP_USER_AGENT], клиента выкидывают:
DISCo Pump
DnloadMage
Download Express
esalesbiz.com
FileHound
FlashGet
GetRight
GetSmart
Go!Zilla
Gozilla
Java1
JetCar
LWP::Simple
Mass Downloader
MSIECrawler
Net Vampire
Net_Vampire
NetCaptor
Offline Explorer
PHP
ReGet
Teleport Pro
Web Downloader
WebCopier
WebDownloader
WebReaper
WebZIP
WinBatch
Xenu's Link Sleuth
X-Uploader
Нет ли у кого дополнений в этот список?
|