parser

/faq/faq
/authors/авторы
/docs/документация

/powered_by_parser/в действии
/feedback/куда говорить
/jargon/жаргон

/download/скачать

/examples/примеры
/forum/форум



Поиск по форуму

По умолчанию ключевое слово ищется только в заголовке сообщения.

Ключевое слово:

Фильтровать по автору:



robots

Sanja | bougakov@mailru.com 07.11.2001 20:03

Мне хочется отвадить от сайта товарищей с Teleport Pro и другими подобными оффлайн-браузерами - во-первых, трафик создают немеренный, гады, во-вторых, этими инструментами пользуются чтобы красть контент, что очень обидно. Конечно, сопрут и так, но всё-таки..

Robots.txt использовать бесполезно - его можно игнорировать. Остаётся банальный ^switch - если пришли с нормальным браузером, выдаём страницу, если нет - предупреждение.

Вопрос вот в чём. Я уже набрал немаленький список оффлайн-браузеров в свой блэклист; если одно из след. слов присутствует в ^env[HTTP_USER_AGENT], клиента выкидывают:

DISCo Pump
DnloadMage
Download Express
esalesbiz.com
FileHound
FlashGet
GetRight
GetSmart
Go!Zilla
Gozilla
Java1
JetCar
LWP::Simple
Mass Downloader
MSIECrawler
Net Vampire
Net_Vampire
NetCaptor
Offline Explorer
PHP
ReGet
Teleport Pro
Web Downloader
WebCopier
WebDownloader
WebReaper
WebZIP
WinBatch
Xenu's Link Sleuth
X-Uploader

Нет ли у кого дополнений в этот список?

<<  Вернуться к списку сообщений


E-mail: mailbox@parser.ruCopyright © 1997-2001 Студия Артемия Лебедева