Спам: новости с фронтов

О путях решения проблемы спама я писал уже почти год назад в статье "Спасение утопающих - дело рук SpamPal'а". Однако процесс сражения со спамом, во-первых, носит перманентный характер, а во-вторых, многие способы быстро устаревают и появляются новые, значительно более эффективные. А старые способы при этом могут стать не просто практически бесполезными, но и вредными. Поэтому я и решил написать еще одну статью о тех методиках борьбы со спамом, которые я применяю в настоящее время...

От SpamPal'а мне пришлось отказаться достаточно давно. Нет, не хочу о нем сказать ничего плохого, он верой и правдой прослужил несколько месяцев и на тот момент был фактически панацеей, однако через некоторое время появились значительно более эффективные способы...

Итак, чем меня не устраивал SpamPal? Двумя вещами. Первое - самой методикой отлова спама. Напомню, что SpamPal в своей работе использует так называемые списки DNSBL ("черные списки" доменных имен, замеченных в рассылке спама, а также базы открытых релеев, потенциально опасные в плане рассылки спама), по которым он и производит основную фильтрацию. Сами списки SpamPal берет с различных соответствующих серверов, причем пользователь может включать или выключать те или иные серверы в конфигурации программы.

Что дает такой способ? Фильтрацию примерно 60% приходящего спама, что уже очень и очень неплохо, однако процент ложных срабатываний - достаточно высок. Конечно, это не 30% и не 40%, однако даже 5% ложных срабатываний - это уже плохо. Причем при таком способе фильтрации - по черным спискам - довольно высокий процент ложных срабатываний фактически неизбежен. Вот представьте себе какую-нибудь крутую службу почтовой рассылки, которую использует четверть России - например, Mail.ru. И вот этот Mail.ru по каким-то причинам попадает в одну из баз черных списков (реальный случай, произошедший несколько дней назад). И что после этого будет делать SpamPal? Разумеется, отсекать всю почту от пользователей этой службы, и вы потеряете массу писем.

Кроме того, существуют такие экзотические службы, как, например, SORBS (SpamPal, правда, черные списки этой службы не использует), которая заносит в базу IP-адреса и целые группы IP-подсетей по любому поводу (предположим, клиент какого-то крупного провайдера с десятками тысяч пользователей разослал спам, и на этого провайдера пожаловались), а убирать их оттуда предлагает только за деньги, занимаясь откровенным шантажом. Если кто-то из пользователей фильтрует входящую почту по базе этого SORBS, он рискует не получать от 10 до 30 процентов вполне нормальных писем.

Ну и, кроме того, SpamPal при обработке почты весьма заметно тормозил, делая процесс скачивания очень долгим и нудным. К счастью, нашлась альтернатива, после которой я смог убрать порядком утомивший SpamPal...

Альтернатива называется "Антиспамерский байесовский фильтр", и этот фильтр разработан специально для почтового клиента The Bat! версии от 2.0. Как работает этот фильтр? Чтобы не углубляться во всякие дебри, кратко принцип работы байесовского фильтра можно изложить следующим образом... Вы этому фильтру объясняете, что именно вы считаете спамом, а что нет. После этого он и фильтрует поступающую почту в соответствии именно с вашими личными предпочтениями.

Применительно к данному фильтру для The Bat! - после установки фильтра вы ему указываете папки с заботливо накопленным спамом (это необходимо, потому что без обучения фильтр нормально работать не будет), а также папки с обычной перепиской. Фильтр по этим примерам обучается, после чего начинает работать в обычном штатном режиме, безо всякого обучения. А именно - всю ту почту, которую он считает спамом, фильтр кидает в специальную папку под названием Junk.

Хохма заключается в том, что, если фильтр как следует обучить (например, скормить ему пару-тройку тысяч спамерских писем и пару-тройку тысяч неспамерских), он начинает работать просто великолепно! У меня этот байесовский плагин из 1000 спамерских писем, приходящих каждый день (да-да, обычный мой объем), выгребал практически все! Причем почти без ложных срабатываний (я специально пару недель проверял). В результате в обычную папку входящих писем прорывается в день буквально пара-тройка спамерских писем, и это и есть - НАСТОЯЩЕЕ СЧАСТЬЕ! Причем плагин обучаемый (и это необходимо, потому что спамеры все время изобретают что-то новенькое), то есть, если вдруг что-то прорвалось, плагину указываешь, что это спам, после чего подобные письма уже не беспокоят.

Минус во всем этом был только один: спамерские письма все равно приходилось скачивать с сервера, а на это уходили время и деньги (оплата трафика). Впрочем, меня это не так уж сильно волновало, потому что, когда сидишь на выделенке, к подобным проблемам относишься как-то довольно спокойно.

На скорость же работы этот плагин вообще никак не влиял, и по сравнению со SpamPal'ом (который к тому же нередко здорово глючил) почта доставлялась просто мгновенно...

Что, спрашиваете, делать, если вы пользуетесь не The Bat'ом, а Outlook'ом? Как раз для Outlook'а (подчеркиваю - именно для Outlook'а, а не для убогого Outlook Express'а) есть аналогичный плагин, который можно найти здесь. Принцип его действия - обучаемый байесовский фильтр - примерно такой же, как и плагина к The Bat!. Правда, по моим чисто практическим наблюдениям, этот фильтр к Outlook'у работал все-таки немного хуже фильтра к The Bat! (я понаблюдал за работой фильтра к Outlook'у примерно неделю на своих объемах почты).

Таким образом, на мой взгляд, хорошо обученный байесовский плагин (вообще говоря, любой и к любому почтовому клиенту, потому что принцип действия у всех подобных фильтров и плагинов очень похож) для конечного пользователя, которого волнует проблема спама, - наилучшее решение. Небольшая проблема может заключаться только в отсутствии базы спама для обучения, но это тоже вполне решаемо: у массы пользователей этих накопленных баз - куча. Поделятся...

Впрочем, многим пользователям не хочется возиться с этими плагинами, фильтрами, обучениями и так далее, а спама им приходит немало. В этом случае можно воспользоваться любезным предложением компании "Ашманов и Партнеры", которая разрабатывает очень известный и весьма эффективный фильтр Spamtest, использующий различные передовые технологии фильтрации (подробнее о фильтре можно прочитать здесь). Суть предложения заключается в следующем... Вы можете зарегистрировать свой почтовый ящик на сервере Spamtest (например, exler@spamtest.ru) и давать его всем вашим адресатам. А серверу указываете, на какой физический адрес отправлять присланные туда письма. Spamtest будет проверять всю поступающую почту и, если обнаружит спам, сделает в письме специальную пометку, по которой вы при получении сможете фильтровать письма. И все, просто и удобно. Причем услуга эта - совершенно бесплатна...

Конечно, логичнее было бы поставить этот фильтр к себе на компьютер, а не пользоваться сервером Spamtest, но, к сожалению, фильтр выпускается только для почтовых серверов. Но зато если его поставить на почтовый сервер, то все владельцы почтовых ящиков данного сервера могут отсортировывать спам, обработанный Spamtest'ом. Я Spamtest уже не первый месяц тестирую на своем почтовом сервере Exler.ru и вполне впечатлен результатами: он ловит более 90% спама, причем фактически без ложных срабатываний. И отловленный Spamtest'ом спам мне уже не нужно скачивать в свой почтовый ящик - я его убиваю на сервере и не трачу время и деньги.

Краткие выводы? Для конечного пользователя, на почтовом сервере которого не установлены эффективные фильтры, наилучший вариант - байесовский плагин к почтовому клиенту (подобные плагины существуют почти для всех известных почтовых клиентов). Если же совсем не хочется возиться - тогда можно завести ящик на Spamtest'е, и за вас все сделает ашмановский фильтр.

Ну а если вас вообще не волнует проблема спама... Тогда зачем вы читали эту длинную статью?