Адрес для входа в РФ: exler.wiki

Антиспамерский фильтр

25.05.2007 00:00  6624   Комментарии (25)
Недели две назад вдруг резко увеличилось количество спама. И того, который вылавливался локальным байесовским фильтром, и того - и это значительно более неприятно, - который не вылавливался. Подумал, что это уинклеровский фильтр под The Bat! стал дурить - у байесовских фильтров такое бывает. Переустановил, заново обучил - та же фигня. Откатился на виноградовский фильтр - еще хуже.

Попробовал поставить новый антиспамерский фильтр от Agava (его сами Ритлабовцы рекомендуют). Поставил, потестировал. Стало несколько лучше, но все равно - невыловленного спама значительно больше, чем раньше. А тут еще в Штаты отправился - стало не до экспериментов, и в поездке замучился этот спам разгребать.

И только сегодня наконец-то выяснил, в чем дело. Оказывается, у нас на сервере закончилась лицензия на антиспамерский фильтр Касперского, который раньше аккуратненько выгребал и убивал 60-70% спама (мы специально его настроили так, чтобы в спам в любом случае не попадало ничего ценного, и чтобы это все можно было грохать прямо на сервере). Неудивительно, что без него так конкретно поплохело.

Лицензию мы восстановили, спам снова начал рубиться как положено. Вопрос не в этом. Вопрос в том, почему байесовский фильтр так плохо реагировал на спам, который раньше убивал фильтр Касперского. Причем я его обучал на этом спаме вовсю - все время заботливо говорил: "Это спам, это спам, это спам", но ни черта не помогало. Неужели настолько разные технологии? В таком случае их действительно нужно использовать только парно, иначе вилы: мощный, но аккуратный фильтр на сервере и локальный байес, который обучен под данный конкретный ящик.
25.05.2007 00:00
Комментарии 25

Между прочим, точно так баесовский фильтр начал пропускать спам месяца 2 назад.
Накормлен и спамом, и хамом по самое немогу. Но работать отказывается.
03.06.07 21:21
0 0

Тогда извиняюсь 😄 Много раз пропустил значит 😄
29.05.07 17:14
0 0

Поставил полгода наза грейлистинг на свой сервак и с тех пор всё прочее вымел на фиг... Не нужны больше никакие фильтры. Спам сыпется по несколько сообщений в секунду круглосуточно, но догодят единицы в неделю. Всё совершенно бесплатно.
28.05.07 15:53
0 0

Liels BUGs: Поставил полгода наза грейлистинг на свой сервак и с тех пор всё прочее вымел на фиг...



Мы уже много раз обсуждали, почему мне грейлистинг не подходит как класс.
29.05.07 00:17
0 0

Алекс, а SpamPal, о котором вы писали 4 года назад, вы давно перестали использовать? Мне бы хотелось его попробовать в деле, хочу узнать насколько он актуален.
27.05.07 16:08
0 0

perseus: Алекс, а SpamPal, о котором вы писали 4 года назад, вы давно перестали использовать? Мне бы хотелось его попробовать в деле, хочу узнать насколько он актуален.



Я уже года три его не использую. На сервере стоит фильтр Касперского (который бывший Ашмановский), в Бате стоит байесовский фильтр от AGAVA.
28.05.07 10:44
0 0

вообще согласен, комбинация KAS + ещё что-нибудь - очень эффективная штука.

из опыта: доверять касперу рубить почту на своё усмотрение ни в коем случае нельзя. не всё что он считает spam таковым является, не говоря уж о probable spam.

на предыдущей работе (крупная контора) была комбинация KAS + spamassassin. стояли подряд, сначала первый, потом второй.

второй был обучен видеть заголовки первого и давать за них 3 очка, а рубить почту - за 12 очков (то есть скорее всего каспер + свой байес + ещё что-нибудь из правил, типа dcc или razor).

работало очень хорошо, цифры примерно такие же: 65-70% зарезалось ещё до доставки в ящик, ещё ~10% помечалось как спам и оставлялось на усмотрение юзера.



sl_> К сожалению с Батом я распрощался пока (несмотря на то, что честно купил лицензию себе и жене), за столько лет они не смогли нормально сделать работу с imap - это просто жопа!

а можно уточнить, когда это произошло? т.к. у меня терпение кончилось 3 года назад. неужели до сих пор не победили? (и да, у меня тоже были лицензии на 1.x и 2.x)
27.05.07 03:06
0 0

Опечатку исправил, Орфус ставить никакого смысла нет - глючит он и проблемы создает.
26.05.07 08:32
0 0

Alex Exler, сразу прошу прощения за оффтоп. Заметил опечатку: "И того, который вылавливался локальным байесовским фильтров(м)". Ни в коем случае не критикую и не указываю. Понимаю что за всем не уследишь. Но есть предложение: воспользоваться системой Орфус: dklab.ru
25.05.07 23:09
0 0

Со своей маленькой колокольни замолвлю доброе слово про Kaspersky Internet Security 6. До его покупки на одну из рабочих машин ежедневно приходили от семидесяти спам-писем. После установки и нехитрой настройки в неделю фильтр проскакивает 2-3.
25.05.07 15:13
0 0

Всеволод: Eney : Эффективность работы spamassassin определяется не только байес-фильтром, используется алгоритм подсчета баллов, который базируется на суммировании набранных "очков" за вхождение в DNS-листы типа "spamcop", за отсутствие обратной PTR записи в ДНС и прочее...

Согласен. Поэтому бралась последняя версия с обновленным набором правил фильтрации. В результате спам не проходит.
25.05.07 14:41
0 0

Используется SpamAssassin (+MDaemon). После отключения автообучения и обучения байесовского фильтра на двоих коллекциях писем (ham и spam) проходят только спам-письма которые маскируются под whitelist. Остальные отсеиваются. Почта используется для более 500 ящиков. Нареканий на работу нет. Рекомендую 😄
25.05.07 14:02
0 0

Eney : Эффективность работы spamassassin определяется не только байес-фильтром, используется алгоритм подсчета баллов, который базируется на суммировании набранных "очков" за вхождение в DNS-листы типа "spamcop", за отсутствие обратной PTR записи в ДНС и прочее...
25.05.07 14:14
0 0

Алекс, вся соль байесовского фильтра в том, что его недостаточно "кормить" спамом". КПД ниже среднего. Ему нужно давать "ham", т.е. "не-спам"

+
25.05.07 13:43
0 0

Всеволод: Алекс, вся соль байесовского фильтра в том, что его недостаточно "кормить" спамом". КПД ниже среднего. Ему нужно давать "ham", т.е. "не-спам"



Я вообще-то в курсе.
26.05.07 08:33
0 0

Alex Exler: В таком случае их действительно нужно использовать только парно, иначе вилы: мощный, но аккуратный фильтр на сервере и локальный байес, который обучен под данный конкретный ящик.

вот что я имел ввиду, указывая на эталон. У себя в организации долго искали лучшую комбинацию фильтров сервер-локальная машина пользователя.
25.05.07 12:30
0 0

Я думаю, что на сервере можно анализировать не только содержимое, а например сколько копий одного и того же пришло, ну и другие вещи которые на клиенте не видны
25.05.07 12:14
0 0

У меня в последнее время тоже несколько увеличилось количество спама. Что интересно - пропускаются довольно-таки однообразные сообщения. Т.е. или с одинаковым текстом, или с одинаковым сабжем. Целый месяц пирходили какие-то письма от какого-то доктора М. Вместо текста - картинка. И это не смотря на то, что я так же тщательно его обучаю.

Подозреваю, спамеры выявили какую-то дыру в технологии - уж боьлно похожие симптомы на разных производителях баесовских фильтров..

Использую SpamBayes 1.0.4 + Outlook 2003
25.05.07 11:52
0 0

Да! Да! Да!

Только вместо Касперского Spamassassin с общей базой для всех пользователей.

И вместо Бата - мозила гремучая птичка.

К сожалению с Батом я распрощался пока (несмотря на то, что честно купил лицензию себе и жене), т.к. за столько лет они не смогли нормально сделать работу с imap - это просто жопа!
sl_
25.05.07 11:14
0 0

sl_: т.к. за столько лет они не смогли нормально сделать работу с imap - это просто жопа!



Да, с IMAP там жопа, полностью согласен. Но я IMAP не пользуюсь, поэтому меня устраивает.
25.05.07 11:34
0 0

Эталонная модель.
25.05.07 09:20
0 0

Oleg V.: Эталонная модель.



И что? Байес же тоже получает модель для обучения.
25.05.07 09:36
0 0
Теги
Сортировать по алфавиту или записям
BLM 21
Calella 143
exler.ru 276
авто 446
видео 4033
вино 360
еда 503
ЕС 60
игры 114
ИИ 29
кино 1584
попы 194
СМИ 2776
софт 935
США 136
шоу 6