Nexus
Le hub d'exécution IA de Sentinelle, qui exécute nos modèles de machine learning en moins de 150 ms avec une haute concurrence et fiabilité.
Nexus est le moteur d’exécution derrière les capacités d’IA de Sentinelle. Il est conçu pour héberger et exécuter divers modèles de machine learning avec une latence minimale.
En utilisant un cœur Rust hautement optimisé, Nexus peut gérer des milliers de requêtes simultanées tout en maintenant une latence p99 inférieure à 150 ms en conditions réelles. Il gère le chargement des modèles, la planification des inférences et la gestion des ressources, garantissant que les prédictions de sécurité critiques de Sentinelle sont toujours disponibles au moment opportun.
Architecture
Nexus découvre automatiquement les modèles de machine learning disponibles, puis les Dockerfile correspondants, afin de construire les images et de lancer les conteneurs de chaque modèle pour enfin appeler les microservices associés.
Cette approche a réduit les temps d’exécution de nos modèles de plus de 13× par rapport à notre ancienne architecture, et nous a fait passer, lors de tests intensifs, d’un taux d’erreur d’environ 50 % à 0, prouvant que le système tient une concurrence impressionnante malgré l’ampleur de la tâche.
