Билет № 21

1) Самообучающиеся байесовские фильтры (спам).



Самообучающиеся байесовские фильтры.

Основная идея статистических категоризаторов текстов состоит в том, что текст можно рассматривать как случайную последовательность слов и пытаться описать эту последовательность с помощью неких усредненных характеристик.

Одна из наиболее простых характеристик – это относительные частоты, с которыми различные слова встречаются в тексте. Кажется совершенно очевидным, что текст, в котором каждое десятое слово – фильтр, а каждое восьмое – СПАМ, имеет отношение к фильтрации СПАМа, а не к продаже . На этой простой идее основано множество инструментов, предназначенных для фильтрации СПАМ.

К основным недостаткам таких частотных фильтров можно отнести следующее:

слова в тексте рассматриваются как независимые, что весьма далеко от истины;

как правило, слова не нормализуются, то есть грамматические формы одного и того же слова считаются разными словами; это не очень важно для английского языка, но имеет большое значение для русского языка с его многообразием лексических форм;

создатель фильтра должен оценить, какие слова и с какими относительными частотами будут значимыми для принятия решения о содержании текста; качество работы фильтра решающим образом зависит от того, насколько хорошо создатель фильтра угадал словарные профили интересующих его текстов;

метод перестает работать, когда создатель намеренным образом зашумляет его.

Байесовские фильтры позволяют решить часть этих проблем.

Во-первых, они позволяют отказаться от произвольных словарных профилей (в известном смысле эти профили создаются автоматически).

Во-вторых, они построены на хорошо определенной вероятностной модели. Допущения этой модели известны, что позволяет целенаправленно улучшать качество фильтров.

В-третьих, байесовские фильтры автоматически могут учитывать и наиболее распространенные способы зашумления текста.

Принцип работы байесовского фильтра весьма прост. На основании анализа двух массивов текстов, один их которых является СПАМом, а второй — обычным текстом, вычисляются относительные частоты, с которыми различные слова встречаются в этих двух массивах.

На основании полученных частот вычисляются вероятности того, что данное слово встретится в тексте, принадлежащем массиву СПАМ. То есть на этом этапе анализа создается таблица, которая говорит, что, если текст является СПАМом, то, например, вероятность того, что в нем встретится слово sexy равна 0,96.

После этого применяем формулу Байеса, смысл которой заключается в том, что она позволяет обратить построенную таблицу вероятностей и говорить о вероятности того, что текст представляет собой СПАМ при условии, что в нем встретилось данное слово.



2) Системы анализа защищённости (сетевых сервисов и протоколов)

Наибольшее распространение получили средства анализа защищенности сетевых сервисов и протоколов. Связано это, в первую очередь, с универсальностью используемых протоколов. Изученность и повсеместное использование таких стеков протоколов, как TCP/IP, SMB/NetBIOS и т.п. позволяют с высокой степенью эффективности проверять защищенность корпоративной сети, работающей в данном сетевом окружении, независимо от того, какое программное обеспечение функционирует на более высоких уровнях. Примером такой системы является Internet Scanner компании ISS. Вторыми по распространенности являются средства анализа защищенности операционных систем. Связано это также с универсальностью и распространенностью некоторых операционных систем (например, UNIX и Windows NT). Однако, из-за того, что каждый производитель вносит в операционную систему свои изменения (ярким примером является множество разновидностей ОС UNIX), средства анализа защищенности ОС анализируют в первую очередь параметры, характерные для всего семейства одной ОС. И лишь для некоторых систем анализируются специфичные для нее параметры. Примером такой системы является System Scanner компании ISS. Средств анализа защищенности СУБД и приложений на сегодняшний день не так много, как этого хотелось бы. Такие средства пока существуют только для широко распространенных прикладных систем, типа Web-броузеры (Netscape Communicator, MS Internet Explorer), СУБД (MS SQL Server, Oracle) и т.п. Примером такой системы является Online Scanner и Database Scanner также компании ISS.



При проведении анализа защищенности эти системы реализуют две стратегии. Первая - пассивная, - реализуемая на уровне операционной системы, СУБД и приложений, при которой осуществляется анализ конфигурационных файлов и системного реестра на наличие неправильных параметров; файлов паролей на наличие легко угадываемых паролей, а также других системных объектов на нарушения политики безопасности. Вторая стратегия, - активная, - осуществляемая в большинстве случаев на сетевом уровне, позволяющая воспроизводить наиболее распространенные сценарии атак, и анализировать реакции системы на эти сценарии



3) Задача.