Pruebas

Cifras que usted puede recalcular

La promesa central del producto es una cifra. Por eso el código de medición se entrega con la plataforma, y esta página dice también lo que el resultado no demuestra.

Cómo contamos

Primero, las definiciones

Falsa alarma

Ningún evento de ataque en sus evidencias

Una alerta es falsa si ningún evento de sus evidencias está etiquetado como ataque.

Tasa de falsas alarmas

Falsas ÷ todas las alertas

La misma medida que la cifra del sector, «el 40 % o más de las alertas son falsas»: las alertas que un analista tuvo que revisar.

Omisión

Un ataque sin ninguna alerta

Un ataque etiquetado que no produjo ninguna alerta.

Enfoque convencional

Los mismos detectores sin contexto ni vínculo

Una alerta por señal, sin duplicados por regla y equipo en cada minuto. Se compara la arquitectura, no el conjunto de reglas.

Primero se reproduce un periodo sin ataques para que la plataforma aprenda lo que es normal. Lo que se genera durante ese periodo no cuenta para ninguno de los dos enfoques.

Datos independientes

CICIDS2017: 2,2 millones de flujos de red

Flujos de red del Instituto Canadiense de Ciberseguridad con el etiquetado corregido de KU Leuven (Engelen, Rimmer, Joosen, IEEE CNS 2022). Ni los datos ni las etiquetas son nuestros. Unos 550 000 flujos al día.

DíaSENTINEL AI: alertasSENTINEL AI: falsasConvencional: alertasConvencional: falsas
Martes20 %21041,9 %
Miércoles10 %6338,1 %
Jueves20 %7149,3 %
Viernes40 %8548,2 %
Cuatro días90 %42943,8 %

Detectados

  • FTP-Patator
  • SSH-Patator
  • PortScan
  • DDoS
  • Botnet
  • DoS Slowloris
  • DoS GoldenEye
  • DoS Hulk
  • DoS Slowhttptest
  • Infiltration-PortScan

No detectados

  • Heartbleed
  • Ataques web: fuerza bruta, XSS, inyección SQL
  • Infiltration

Por qué se omitieron

Estos datos solo contienen estadísticas de flujo: número de paquetes y bytes, tiempos, indicadores TCP. No hay líneas de peticiones HTTP, ni registros TLS, ni datos de procesos. La inyección SQL y el XSS viven en el cuerpo de la petición: la plataforma los reconoce, pero necesita el registro del servidor web o del WAF. Una regla que adivinaba Heartbleed por la forma del flujo saltaba con cada descarga HTTPS normal, así que se eliminó en lugar de publicarse.

Organización modelo

Tráfico legítimo difícil

Un organismo público modelo: controladores de dominio, servidores de archivos y de bases de datos, un portal, copias de seguridad, un escáner de vulnerabilidades, 36 estaciones de trabajo y 35 cuentas. Ocho escenarios de ataque etiquetados entretejidos en una jornada laboral.

0 %falsas alarmas de SENTINEL AI en cada ejecución
59–61 %falsas alarmas del enfoque convencional
8 de 8escenarios de ataque detectados en cada ejecución
8 × 2ejecuciones de dos días, con equipos y horarios distintos
  • Lo que esto no demuestra

    El ruido legítimo procede de un catálogo fijo de unos diez patrones, y los detectores y los datos los escribió el mismo autor. Es una comprobación de mínimos: la plataforma resiste el ruido que hace fallar a las herramientas convencionales. Por eso existen los datos independientes de arriba.

Carga

Lo que aguanta un servidor

Cinco minutos, 16 colectores simultáneos, lotes de 200 eventos, telemetría con la forma de una red Windows real, un 2 % con forma de intrusión para que las capas de vínculo y puntuación trabajen de verdad.

930/seventos aceptados: 279 200 en 300 segundos
0solicitudes sin respuesta
7 msrespuesta mediana de la consola, sin comprobaciones fallidas
517 MBde memoria al final de la prueba, ya sin crecer

AMD Ryzen 7 7435HS, 8 núcleos, 16 GB, NVMe, SQLite en modo WAL. El generador de carga funcionaba en la misma máquina y le quitaba procesador a la plataforma, así que estas cifras son un mínimo.

Límites, con franqueza

Lo que el resultado no dice

  • Nueve alertas son una muestra pequeña

    Un solo error habría llevado la tasa de falsas alarmas al 10 %. El resultado muestra que la arquitectura no genera ruido rutinario, pero no fija la tasa con precisión. Eso lo dará un despliegue largo con tráfico real.

  • La exhaustividad en estos datos es incompleta

    Algunos ataques no se detectaron, y son justo aquellos cuyas evidencias no están en los flujos de red. Lea la tasa de falsas alarmas como sólida, y la exhaustividad en este conjunto como incompleta.

  • La plataforma solo ve lo que se le envía

    Un ataque que no deja rastro en la telemetría conectada no se detectará. Por eso un piloto empieza eligiendo las fuentes.

  • Un mismo autor escribió el modelo y los detectores

    De ahí que los resultados sean idénticos en todas las ejecuciones. Es un argumento a favor de los datos independientes y de un piloto con los suyos.

Lo que encontró la medición

Defectos que corregimos

Cada uno se encontró ejecutando con datos reales, no leyendo código. Estos son los tres más reveladores.

01

Una causa se contaba cuatro veces

«Es un técnico de soporte» explicaba cuatro observaciones, pero se sumaba como cuatro hallazgos. Era la mayor fuente de falsas alarmas en el trabajo informático rutinario. Ahora las evidencias con una explicación común cuentan una sola vez.

02

El motor se frenaba cuando el ataque era más ruidoso

Un escaneo de puertos metía miles de señales en un solo caso, y el caso se recalculaba con cada una. El rendimiento caía de 20 000 a 180 eventos por segundo. Corregido.

03

Una regla se eliminó en lugar de publicarse

Un detector que saltaba con cada descarga de archivos por HTTPS no avisaba a nadie de nada. Enseñaba a los analistas a dejar de leer las alertas.

Los comandos para repetir cada medición se entregan con el producto.

Piloto

Pruébelo con sus propios datos

El piloto se instala en un solo servidor dentro de su red. Verá qué encuentra la plataforma en su entorno y cuántas alertas dejan de llegar a sus analistas.

Solicitar un piloto →