Редактирование: UNИX, весна 2008, 07 семинар (от 15 августа)
Материал из eSyr's wiki.
Внимание: Вы не представились системе. Ваш IP-адрес будет записан в историю изменений этой страницы.
Правка может быть отменена. Пожалуйста, просмотрите сравнение версий, чтобы убедиться, что это именно те изменения, которые вас интересуют, и нажмите «Записать страницу», чтобы изменения вступили в силу.
Текущая версия | Ваш текст | ||
Строка 8: | Строка 8: | ||
У лектора были две задачи в свё время: | У лектора были две задачи в свё время: | ||
- | * | + | * Сздание хрших спам-ловушек |
- | * | + | * Сеортификация |
- | + | ткуда берут спам: | |
- | * Провайдеры, | + | * Провайдеры, кторые сливают всё, чт идёт ан их адреса |
- | * Крупные | + | * Крупные крпорации |
- | Нам важно, чтобы там был | + | Нам важно, чтобы там был хорший спам, им, чтобы мы хрошо фидльтровали спам |
- | То есть, если | + | То есть, если струдник год как уволился, то там почти наверняка приходит тольк спам. Если ящик завели давно, и |
- | ивлад: | + | ивлад: Списк каннич. имён |
- | Спам-ловушки: наши собств. адреса, которые | + | Спам-ловушки: наши собств. адреса, которые сзданы специально для плучения спама. |
- | Как создавали спам-ловушки: сначала даже исп. | + | Как создавали спам-ловушки: сначала даже исп. спамловушки в США. Находили всякие ресурсы типа двача, ихбт, ..., ходили по ресурсам и оставляли свои имейлы. Пдписывались на всякие порно, варезные рассылки, на пограничных ресурсах, подп. на легитисную рекламу и отписывались... Подобная деятельность велась где-то два года. И в сравнении с ящиком лектора, куда прихдит 500 адресов, на спам-лвушки прихдило порядка 200-300 адресов. |
- | + | Чт ещё заметили: если такой адрес попадал на кмпьютер явно комп. недальёкого человека, у котрого были вирусы, т сразу прокачивалась карма ящика --- сразу начинало идти больше рекламы и менялся её характер. Кроме тог, когда пд. на легитимные рассылки (ibm, ...), то сначала спама не было, потом через некоторое время ачинал идти спам. | |
- | вопрос: следует ли отсюда, что легче купить рассылку, | + | вопрос: следует ли отсюда, что легче купить рассылку, чемсобирать? |
ответ: да. | ответ: да. | ||
- | + | смешнй факт: тулзы, которые рассылают спам, до сих пор исп. сортирванные списки. | |
- | Мы немножко выяснили, как рассылается спам. | + | Мы немножко выяснили, как рассылается спам. Чт лектор хчет сказать: пен-релей, лдиалап, сервер провайдера, чужй сервер --- всё это давно обломилось. Сейчас всё рассыдается через ботнеты, причём их два типа: |
- | * | + | * Тупй и быстрый |
* Медленный и умный. | * Медленный и умный. | ||
- | Зачем | + | Зачем нуджны вирусы? Чтобы зараб. деньги, деньги зараб. на рекламе. Если раньше вирусы вызывали спецуэффект, т теперь они скрываются как мжно сильнее. Птому что он хорошии ресурс --- у него есть выч. мощности, у него есть сеть. И его можно исп. для рассылок, для анонимизации, для ддос атак. |
- | Говорят, что войти в спамовый бизнес | + | Говорят, что войти в спамовый бизнес чень просто, а прибыль порядка 8к долларов может быть. |
Ботнет: вирус, троян уст. на компьютер, | Ботнет: вирус, троян уст. на компьютер, | ||
- | гку: Ботнет --- множество ботов, бт --- | + | гку: Ботнет --- множество ботов, бт --- пррграмма на компьютере, боты упр. ботмастером. Упр. по ирц или п2п. |
- | Быстрый ботнет --- получает дну команду и сразу | + | Быстрый ботнет --- получает дну команду и сразу рассылет. Скорость рассылки ---- 5---10---15 минут на всю сеть. |
- | Медленный и умный --- тот, который что-то делает. Меняет изобр., меняет текст и так далее, | + | Медленный и умный --- тот, который что-то делает. Меняет изобр., меняет текст и так далее, чтбы обойти фильтыр. Эт часы. |
- | Первый | + | Первый фкт --- спамвые рассылки живут минут 15. Это кгда вы видите простое письмо простое типа адре, елефон и текст звоните сюда. н простое, но попало, поск. ещё не попало в базы льитров. |
- | Второе | + | Второе --- |
- | Третье | + | Третье --- крупные уважаемые ресурсы иногда дпуск. утечку, мелкие всегда допускают. При этом крупные плноресурсы тносятся к этой инф. строже, чем некоторые крупные компании. |
- | Вторая часть: как ловится спам и как | + | Вторая часть: как ловится спам и как прав. и непр. сравнивать их. Все антиспамы отстой. |
- | определение спама: по опр. | + | определение спама: по опр. лаб. касп., оно совп. с опр. консорциума. Это незапрошенная, массовая, технически анонимная рассылка. |
- | * Незапрошенная --- | + | * Незапрошенная --- польз её не запрашивал |
- | * Массовая --- нет смысла | + | * Массовая --- нет смысла блекмеилить одно письм |
* Техн. анонимная --- нельзя выяснить, кто отв. за рассылку | * Техн. анонимная --- нельзя выяснить, кто отв. за рассылку | ||
- | Нельзя ловить | + | Нельзя ловить нрм. рекламу. Нельзя банить почту хьюлет-пакарда пр новые драйвера. |
- | Нельзя опир. | + | Нельзя опир. тлько на массовость. Вот яндекс искл. слово массовость, он ловит всё массвое, пмечает его, сост обезл. вариант, помещ. в спам и рассылки, |
- | Нельзя наказывать заказчика.. | + | Нельзя наказывать заказчика.. Поск. иванов пётр сергеевич идёт к пр-менеджеру, тот к рекл. фирме. Более того, |
- | Вот у | + | Вот у мейл-ру 95---99 процентв --- спам. Если бы его не было, то можно отрубить |
- | Кроме того, best practice --- не принимать | + | Кроме того, best practice --- не принимать пчту с дин. пулов в принципе, со всех dsl, gprs, модемов. Даже если там подобный дслщик |
- | Есть варианты борьбы --- SPF, | + | Есть варианты борьбы --- SPF, Domai case,... . Но прьблема --- что делать с теми, кто их не исп? Есть до сих пор люди на седьмм слярисе, есть люди, которые это не силили, . |
Методы фильтрации | Методы фильтрации | ||
Три метда фильтрации: | Три метда фильтрации: | ||
- | * | + | * Контрль доступа |
** Белые списки | ** Белые списки | ||
** Чёрные списки | ** Чёрные списки | ||
** Авт. доступа | ** Авт. доступа | ||
- | ** Грейлистинг. Когда пересылается письмо в первый раз, то мы | + | ** Грейлистинг. Когда пересылается письмо в первый раз, то мы запоминем его, ID, и если это спамер, то он отвечает сразу, и елси он через плочаса не ответил, то отсылаем. Но это бходится. Кроме того, динамические IP. Ещё некотроые особо умные администраторы и почтовые сервера начинают ломиться раньше. |
- | * | + | * Кнтроль стат. методами |
- | ** Байес и модиф. | + | ** Байес и модиф. Исп. в спкам-ассасине и его модиф. Метод осн. на том, что для данного конечнго получ. спам прихдит примерно одинаково и характер спама не меняется. У Байеса есть недостатки: н медленный, базу нельзя раст. на неск. человек. Можно на 10, на 100, но на 10000 неправильно. Есть вариант с бщ. и инд. базами. Прблемы --- если начинается фолс-позитив. Ещё недостаток --- overtraining. Он перекарм. и хршей почтй, и спамом. |
- | * | + | * Кнтроль содерж. эвристиками. |
- | ** Анализ | + | ** Анализ заголовкв на целостность и валидность: нормальные фром-ту-сабжект, ... |
- | ** Анализ subject на наличие | + | ** Анализ subject на наличие характ. терминов. Например: вигра --- хороший, постоянный; "покупайте телефоны сегодня" --- временный термин. Ес т база пост., есть база временных терминов. |
- | В одной конторе была группа любителей | + | В одной конторе была группа любителей порногрфии, кторые за это платили, поэтому просили бр. с порнографией аккуратно. Поэтому часть базы уже там не прокатывала. |
- | Анализ | + | Анализ содерж. части. Берётся письмо, нормализуется, заменячются похожие символы на один. По этому выч. сигнатура. Это всё работает только в кмм. решениях --- message labs, kaspersky, ... . Но при этом сказать, спам эт или не спам, мжет сказать тлько живой человек, поэтому коммерч.. |
- | Правильный | + | Правильный подх. закл. в том, что все эти сигн. должны ыть быстро дост. д плоьз. У касперск. это выпуск. разх в 5 минут. Раньше раз в час, сейча свот. И раньше казался трафик 600 мегабайт в день безумным, сейчас нормально. |
- | Ещё метод --- польз. получает письмо, | + | Ещё метод --- польз. получает письмо, псылает сигнатуру, и посылает на сервер. И на ой стороне анализируется, спам то или не спам. |
ivlad: А есть ли у вас SLA(?) | ivlad: А есть ли у вас SLA(?) | ||
shaman^ У нас нет, есть у message labs | shaman^ У нас нет, есть у message labs | ||
- | Сравнение антиспамов. Лектор занимался | + | Сравнение антиспамов. Лектор занимался сертиф. у контор. Там таки надо соотв. некотоым критериям, они странные, но серьёзные. |
Критерии: | Критерии: | ||
* Detection rate --- процент распознанных | * Detection rate --- процент распознанных | ||
- | * False positive --- тн. | + | * False positive --- тн. непр. расп. по отн. ко всему бъёма спама |
- | Очевидно, | + | Очевидно, чт эти два числа нельзя псчитать роботом. |
- | С чем лектор столкнулся: кгда | + | С чем лектор столкнулся: кгда контроры уст. себе антиспам, им рисуется красивые pie chart, |
У SLA ... detection rate 95%, false positive 0.003% | У SLA ... detection rate 95%, false positive 0.003% | ||
Строка 110: | Строка 110: | ||
У message labs лучший антиспам. Поск. подписываются ни на это деньгами | У message labs лучший антиспам. Поск. подписываются ни на это деньгами | ||
- | Тестирование | + | Тестирование олжн быть долгим, не час, не два, не день. Две недели, месяц. --- да. |
Тестировать можн только на живых кллекциях, нельзя естировать на спаме, лежащем в треше. | Тестировать можн только на живых кллекциях, нельзя естировать на спаме, лежащем в треше. | ||
- | Анализ должен интерп. | + | Анализ должен интерп. живй человек, специалист. Потому чт иначе можно получать как отличые результаты, так и ужасные. |
- | Если тест показывает | + | Если тест показывает чень хороший и очень плохй, то надо заудматься над тестм. Меньше 75 процентов ни у кого нет. |
- | При этом даже у решения, которое | + | При этом даже у решения, которое лвит 95 прцентов, может раздражать польз. Лектру прихдоит прядка 200 спамовых, прорывалсь 10, и а 5---6 раздражает. |
- | Что лектор может посоветовать: Для | + | Что лектор может посоветовать: Для польз хршо, чтбы на сервере резщалось 90---95 процентв, и чтобы у пльз. стоял перс. антиспам, дажен встр. в аутулук, тунжербёрд. н сможет понихзить порог противности. Будет прих. не 10, а 5, и пльз. будет чувст. себя сопричатсным процессу и он будет радваться. |
Есть решения на стороне сервера, которые делают карантин и пред. к нему оступ пользовательский. | Есть решения на стороне сервера, которые делают карантин и пред. к нему оступ пользовательский. | ||
- | Кгда ivlad работал в EMC(?), у них спам | + | Кгда ivlad работал в EMC(?), у них спам аутсрсился, в компании AT&T, и .... |
- | Действительно ли | + | Действительно ли пльз. будет туда хадить? |
- | + | Какр аботает SA: он собирает словарик, и для каждого слова есть вес. | |
- | У шамана в | + | У шамана в кач. клиента есть Билайн, у них мнго почты, и они много чего исп., и результаты хорошие. |
- | Когда контора на 10 человек, то тут всё проще. В случае | + | Когда контора на 10 человек, то тут всё проще. В случае конторыиз 500 человек ... . |
- | У них есть краулеры, | + | У них есть краулеры, кторые брдят п интернету по тем ссылкам, которые прих. в спаме, и смотрят их. И блеклист этих дменов тоже часть блеклист-бзы. Это даёт порядка 20 прцентов |
База пост. терминов 20 процентов, временных --- 20 процентов. | База пост. терминов 20 процентов, временных --- 20 процентов. | ||
- | + | Как-рабтают спам-бты и бтнеты. | |
- | Как- | + | |
- | В мае словила sality (эт вирус). Появился он | + | В мае словила sality (эт вирус). Появился он. след. образом --- приехал конс. и гарант бновлять базу, через два часа сеть легла. Sality --- набор троянов и kernel-драйверов, ктоые садятся на ring 0. Эта радость внедр. в систему, в ring 0, инст. себя в систему, в реестр свой бинарный кд. В винде есть закр. системные вызовы, кгда винд физ. ищет по указ. мест в реестре. Таким обр. что получилось: мжно грхнуь все файлы, но при логине оно всё восст. После внедренния она убивает системный процесс (svchost/lsass), и система перегружается. Сто она первым делом инфицируется --- демон хткеев и перекл. клавиатуры. Есть пустые папки, которые недоступны. Дальше она вытягивает всякие трояны, и всё, что можно, всё на машину собирается. Далее, есть список программ, при появл. которых она убивает. Т есть при наборе в поиске kaspersky, avp, и прочие, то приложения эти убиваются. Кроме того, на выкач. и собирает с ботнета всесзм. трояны и посл. их запускает. Дальше |
+ | |||
+ | собирает осн. тело. | ||
... | ... | ||
- | Она проверяет себя в всех dnsbl, и если она есть, то она начинет работать через aol/ambler/mail.ru, и пакетно начинает рассылать письма. С | + | Она проверяет себя в всех dnsbl, и если она есть, то она начинет работать через aol/ambler/mail.ru, и пакетно начинает рассылать письма. С пчтой на разобралась и ждёт. |
- | + | Втрй троян, которая она цеплят -- прокся, регитсрирует рег. аккаунты на гмейле, при этом показывая ввд капчи пльзвателю. | |
- | Через 10---15 минут | + | Через 10---15 минут псле того, как дёрнули пароль начинают стучаться в IPC$. |
Дальше на смотрит, кто мастер-браузер в сети, вся эта херь разливается по сетке. И всё сначала. | Дальше на смотрит, кто мастер-браузер в сети, вся эта херь разливается по сетке. И всё сначала. | ||
- | Спамхаус это | + | Спамхаус это единств. списк, который вайтлистит за еньги, на ктрый ГК подписался. |
- | П поводу брьбы с ботами: | + | П поводу брьбы с ботами: |
ГК: пробовали они мдиф. адрес червя, чтобы ... | ГК: пробовали они мдиф. адрес червя, чтобы ... |