Цифры, которые можно пересчитать
Главное обещание продукта выражено числом. Поэтому код измерения поставляется вместе с платформой, а здесь написано и то, что результат не доказывает.
Сначала определения
В уликах нет ни одного события атаки
Тревога считается ложной, если ни одно событие в её уликах не размечено как атака.
Ложные ÷ все тревоги
Та же мера, что в отраслевой цифре «40 % тревог и больше ложные»: тревоги, которые пришлось смотреть аналитику.
Атака без единой тревоги
Размеченная атака, по которой не было поднято ни одной тревоги.
Те же детекторы без контекста и связи
Одна тревога на сигнал, без повторов по правилу и узлу в течение минуты. Сравнивается архитектура, а не набор правил.
Сначала проигрывается период без атак, чтобы платформа выучила норму. Тревоги в этот период не считаются ни для одного подхода.
CICIDS2017: 2,2 млн сетевых потоков
Сетевые потоки Канадского института кибербезопасности в исправленной разметке KU Leuven (Engelen, Rimmer, Joosen, IEEE CNS 2022). Ни данные, ни разметка не наши. Около 550 тыс. потоков в день.
| День | SENTINEL AI: тревог | SENTINEL AI: ложных | Обычный: тревог | Обычный: ложных |
|---|---|---|---|---|
| Вторник | 2 | 0 % | 210 | 41,9 % |
| Среда | 1 | 0 % | 63 | 38,1 % |
| Четверг | 2 | 0 % | 71 | 49,3 % |
| Пятница | 4 | 0 % | 85 | 48,2 % |
| Четыре дня | 9 | 0 % | 429 | 43,8 % |
Найдены
- FTP-Patator
- SSH-Patator
- PortScan
- DDoS
- Botnet
- DoS Slowloris
- DoS GoldenEye
- DoS Hulk
- DoS Slowhttptest
- Infiltration-PortScan
Не найдены
- Heartbleed
- Веб-атаки: перебор, XSS, SQL-инъекции
- Infiltration
Почему пропущены
В этих данных есть только статистика потоков: число пакетов и байтов, время, флаги TCP. Нет строк HTTP-запросов, записей TLS и данных о процессах. SQL-инъекции и XSS живут в теле запроса: платформа их распознаёт, но ей нужен журнал веб-сервера или WAF. Правило, которое угадывало Heartbleed по форме потока, срабатывало на каждую обычную загрузку по HTTPS, поэтому его удалили, а не выпустили.
Трудный легитимный трафик
Модель госучреждения: контроллеры домена, файловые серверы и базы данных, портал, резервное копирование, сканер уязвимостей, 36 рабочих станций, 35 учётных записей. В рабочий день вплетены восемь размеченных сценариев атак.
Чего это не доказывает
Легитимный шум взят из фиксированного каталога примерно из десяти шаблонов, а детекторы и данные писал один автор. Это проверка нижней планки: платформа выдерживает шум, который ломает обычные средства. Поэтому выше приведены независимые данные.
Сколько выдерживает один сервер
Пять минут, 16 одновременных сборщиков, пакеты по 200 событий, телеметрия как у настоящей сети Windows, 2 % похожи на вторжение, чтобы слои связи и оценки работали всерьёз.
AMD Ryzen 7 7435HS, 8 ядер, 16 ГБ, NVMe, SQLite в режиме WAL. Генератор нагрузки работал на той же машине и отнимал у платформы процессор, так что это нижняя граница.
Что результат не говорит
Девять тревог: маленькая выборка
Одна ошибка сдвинула бы долю ложных до 10 %. Результат показывает, что архитектура не создаёт рутинного шума, но не задаёт долю с точностью до знака. Её даст длительная работа на живом трафике.
Полнота на этих данных неполная
Часть атак не найдена, и это ровно те, чьих улик нет в сетевых потоках. Долю ложных стоит читать как сильную, а полноту на этом наборе как неполную.
Платформа видит только то, что ей присылают
Атаку, следов которой нет в подключённой телеметрии, она не найдёт. Поэтому в пилоте первым делом выбирают источники.
Модель и детекторы писал один автор
Отсюда одинаковые результаты на всех прогонах. Это аргумент за независимые данные и за пилот на ваших собственных.
Ошибки, которые мы исправили
Каждую из них нашли запуском на настоящих данных, а не чтением кода. Вот три самые показательные.
Одна причина считалась четыре раза
«Это сотрудник техподдержки» объясняло четыре наблюдения, а складывалось как четыре открытия. Это был главный источник ложных тревог на рутинной ИТ-работе. Теперь улики с общим объяснением считаются один раз.
Ядро замедлялось, когда атака громче всего
Сканирование портов давало тысячи сигналов в одно дело, и дело пересчитывалось на каждом. Скорость падала с 20 000 до 180 событий в секунду. Исправлено.
Правило удалено, а не выпущено
Детектор, который срабатывал на каждую загрузку файла по HTTPS, никого ни о чём не предупреждал. Он учил аналитиков не читать тревоги.
Команды для повторения каждого измерения поставляются с продуктом.
Проверьте на своих данных
Пилот разворачивается на одном сервере внутри вашей сети. Вы увидите, что платформа находит у вас и сколько тревог больше не доходит до аналитиков.
Запросить пилот →