Des chiffres que vous pouvez recalculer
La promesse centrale du produit est un chiffre. Le code de mesure est donc livré avec la plateforme, et cette page dit aussi ce que le résultat ne prouve pas.
D’abord, les définitions
Aucun événement d’attaque parmi ses indices
Une alerte est fausse si aucun des événements de ses indices n’est étiqueté comme attaque.
Fausses ÷ toutes les alertes
La même mesure que le chiffre du secteur, « 40 % des alertes ou plus sont fausses » : les alertes qu’un analyste a dû examiner.
Une attaque sans aucune alerte
Une attaque étiquetée qui n’a produit aucune alerte.
Les mêmes détecteurs sans contexte ni lien
Une alerte par signal, dédoublonnée par règle et par hôte à la minute. On compare l’architecture, pas le jeu de règles.
Une période sans attaque est d’abord rejouée pour que la plateforme apprenne ce qui est normal. Rien de ce qui est levé pendant cette période n’est compté, pour aucune des deux approches.
CICIDS2017 : 2,2 millions de flux réseau
Des flux réseau de l’Institut canadien de cybersécurité, avec l’étiquetage corrigé de KU Leuven (Engelen, Rimmer, Joosen, IEEE CNS 2022). Ni les données ni les étiquettes ne sont les nôtres. Environ 550 000 flux par jour.
| Jour | SENTINEL AI : alertes | SENTINEL AI : fausses | Classique : alertes | Classique : fausses |
|---|---|---|---|---|
| Mardi | 2 | 0 % | 210 | 41,9 % |
| Mercredi | 1 | 0 % | 63 | 38,1 % |
| Jeudi | 2 | 0 % | 71 | 49,3 % |
| Vendredi | 4 | 0 % | 85 | 48,2 % |
| Quatre jours | 9 | 0 % | 429 | 43,8 % |
Détectées
- FTP-Patator
- SSH-Patator
- PortScan
- DDoS
- Botnet
- DoS Slowloris
- DoS GoldenEye
- DoS Hulk
- DoS Slowhttptest
- Infiltration-PortScan
Non détectées
- Heartbleed
- Attaques web : force brute, XSS, injection SQL
- Infiltration
Pourquoi elles ont échappé
Ces données ne contiennent que des statistiques de flux : nombre de paquets et d’octets, durées, indicateurs TCP. Pas de lignes de requêtes HTTP, pas d’enregistrements TLS, pas de données de processus. L’injection SQL et le XSS se trouvent dans le corps de la requête : la plateforme les reconnaît, mais il lui faut le journal du serveur web ou du WAF. Une règle qui devinait Heartbleed d’après la forme du flux se déclenchait à chaque téléchargement HTTPS ordinaire ; elle a donc été supprimée plutôt que livrée.
Un trafic légitime difficile
Une administration modèle : contrôleurs de domaine, serveurs de fichiers et de bases de données, portail, sauvegarde, scanner de vulnérabilités, 36 postes de travail, 35 comptes. Huit scénarios d’attaque étiquetés sont tissés dans une journée de travail.
Ce que cela ne prouve pas
Le bruit légitime provient d’un catalogue fixe d’une dizaine de motifs, et les détecteurs comme les données ont été écrits par le même auteur. C’est un contrôle plancher : la plateforme résiste au bruit qui met en échec les outils classiques. C’est pourquoi les données indépendantes ci-dessus existent.
Ce qu’encaisse un serveur
Cinq minutes, 16 collecteurs simultanés, des lots de 200 événements, une télémétrie calquée sur un vrai parc Windows, dont 2 % ressemblent à une intrusion pour que les couches de lien et de score travaillent réellement.
AMD Ryzen 7 7435HS, 8 cœurs, 16 Go, NVMe, SQLite en mode WAL. Le générateur de charge tournait sur la même machine et prenait du processeur à la plateforme : ces chiffres sont donc un plancher.
Ce que le résultat ne dit pas
Neuf alertes, c’est un petit échantillon
Une seule erreur aurait porté le taux de fausses alertes à 10 %. Le résultat montre que l’architecture ne produit pas de bruit routinier ; il ne fixe pas le taux avec précision. Un déploiement long sur du trafic réel le fera.
Le rappel sur ces données est incomplet
Certaines attaques n’ont pas été détectées, et ce sont précisément celles dont les indices sont absents des flux réseau. Lisez le taux de fausses alertes comme solide, et le rappel sur ce jeu de données comme incomplet.
La plateforme ne voit que ce qu’on lui envoie
Une attaque qui ne laisse aucune trace dans la télémétrie raccordée ne sera pas détectée. C’est pourquoi un pilote commence par le choix des sources.
Un même auteur a écrit le modèle et les détecteurs
D’où des résultats identiques d’une exécution à l’autre. C’est un argument en faveur des données indépendantes, et d’un pilote sur les vôtres.
Les défauts que nous avons corrigés
Chacun a été trouvé en faisant tourner le produit sur des données réelles, pas en relisant le code. Voici les trois plus parlants.
Une même cause comptée quatre fois
« C’est un technicien du support » expliquait quatre observations, mais s’additionnait comme quatre découvertes. C’était la principale source de fausses alertes sur le travail informatique courant. Désormais, les indices partageant une explication ne comptent qu’une fois.
Le moteur ralentissait quand l’attaque était la plus bruyante
Un balayage de ports plaçait des milliers de signaux dans un même dossier, recalculé à chaque signal. Le débit tombait de 20 000 à 180 événements par seconde. Corrigé.
Une règle supprimée plutôt que livrée
Un détecteur qui se déclenchait à chaque téléchargement de fichier en HTTPS n’avertissait personne de rien. Il apprenait aux analystes à ne plus lire les alertes.
Les commandes permettant de refaire chaque mesure sont livrées avec le produit.
Testez-la sur vos propres données
Le pilote s’installe sur un seul serveur, au sein de votre réseau. Vous verrez ce que la plateforme y détecte et combien d’alertes n’atteignent plus vos analystes.
Demander un pilote →