Alors que l’utilisation de l’IA explose dans des secteurs sensibles comme les infrastructures et la sécurité nationale, une équipe de l’Université Carnegie Mellon est pionnière dans le domaine de la réponse en matière de sécurité par l’IA.
À l’été 2023, des chercheurs de l’Institut de génie logiciel de l’université, berceau de la première équipe d’intervention et d’urgence informatique (CERT), ont estimé qu’il était urgent de créer une nouvelle entité pour diriger les efforts de recherche et de développement afin de définir des tactiques de réponse aux incidents. , techniques et procédures pour les systèmes d’IA et d’apprentissage automatique (ML) et coordonner les actions de réponse de la communauté.
Un peu plus de six mois plus tard, Lauren McIlvenny et Gregory Touhill ont partagé les leçons qu’ils ont apprises en dirigeant la première équipe de réponse aux incidents de sécurité IA (AISIRT) au monde lors de la conférence RSA 2024.
Expliquer la nécessité d’une AISIRT
L’AISIRT a été lancée parce que les données de recherche de McIlvenny et Touhill ont montré une augmentation continue des attaques basées sur l’IA et des attaques contre les systèmes d’IA.
“Nous continuons de constater que de nombreuses activités associées aux systèmes et technologies liés à l’IA sont désormais ciblées dans la nature”, a déclaré Touhill.
Les deux hommes ont mentionné les nombreuses menaces qui pèsent sur les outils d’IA générative tels que les chatbots d’IA et les systèmes de grands modèles de langage (LLM), ainsi que les attaques ciblant les moteurs qui alimentent les modèles d’IA, les noyaux d’unités de traitement graphique (GPU), dont les implémentations peuvent être sensibles aux fuites de mémoire. et peut être exploité pour accéder à des informations sensibles.
L’AISIRT a été développé en collaboration entre l’Université Carnegie Mellon et le réseau de partenaires de la division CERT.
Il est devenu partiellement opérationnel après son premier lancement en août 2023 et est pleinement opérationnel depuis octobre 2023.
Il se concentre sur l’identification, la compréhension et l’atténuation des « vulnérabilités » des systèmes d’IA qui intéressent et sont utilisées par les organisations de défense et de sécurité nationale.
Dans ce contexte, McIlvenny a expliqué que les « vulnérabilités » incluent les vulnérabilités des logiciels traditionnels, les faiblesses de l’apprentissage automatique contradictoire et les failles conduisant à des attaques conjointes de cyber-IA.
Comment fonctionne l’AISIRT
L’AISIRT s’appuie sur les règles d’engagement existantes en matière de réponse aux cyber-incidents et sa structure s’inspire d’une équipe traditionnelle de réponse aux incidents et aux incidents de sécurité informatique (CSIRT).
Il se compose de quatre composants principaux : un élément de réponse aux incidents d’IA, un ensemble d’outils de découverte de vulnérabilités d’IA, un cadre de gestion des vulnérabilités d’IA et un service de connaissance de la situation d’IA.
L’AISIRT implique diverses parties prenantes, notamment :
- Un chef d’équipe capable de traduire les aspects techniques de manière compréhensible pour les parties concernées
- Administrateurs système/base de données
- Ingénieurs réseaux
- Praticiens IA/ML
- Chercheurs en renseignement sur les menaces
- Spécialistes de l’Université Carnegie Mellon et d’autres partenaires industriels/académiques de confiance, selon les besoins
À l’avenir, McIlvenny et Touhill ont déclaré qu’ils considéraient l’AISIRT comme une plateforme de mise à jour et de partage des meilleures pratiques, normes et lignes directrices concernant l’IA pour les organisations de défense et de sécurité nationale.
Ils prévoient d’établir une communauté de pratique en matière d’IA au sein des universités, de l’industrie, des organisations de défense et de sécurité nationale, ainsi que des corps législatifs.
“Au moins 20 % de ce que nous montrons ici dans la structure de l’AISIRT devra évoluer à l’avenir”, a estimé McIlvenny.
Leçons apprises après six mois de fonctionnement de l’AISIRT
McIlvenny et Touhill ont partagé certaines des leçons apprises après avoir dirigé l’AISIRT pendant plus de six mois.
Ceux-ci sont:
- Les vulnérabilités de l’IA sont des cybervulnérabilités
- Les vulnérabilités de l’IA se produisent dans l’ensemble du système
- Les processus de cybersécurité sont matures et devraient continuer à évoluer pour prendre en charge l’IA
- Les systèmes d’IA diffèrent de l’informatique traditionnelle d’aujourd’hui de plusieurs manières intéressantes.
- La complexité des systèmes d’IA complique le tri, le diagnostic et le dépannage
- Les outils pour identifier les vulnérabilités ne sont pas encore là
- Il existe un besoin en matière de formation au développement sécurisé (c’est-à-dire DevSecOps) adaptée aux développeurs d’IA.
- Les tests d’intrusion effectués par l’équipe rouge sur les systèmes d’IA tout au long du cycle de développement peuvent identifier les faiblesses matérielles dès le début du cycle de développement.
Cependant, ils ont insisté sur le fait que l’AISIRT – et la sécurité de l’IA dans son ensemble – en était encore à ses balbutiements et que les organisations utilisant l’IA et les parties prenantes essayant de se protéger contre les menaces de l’IA ont encore d’innombrables questions sans réponse, notamment les suivantes :
- Régimes réglementaires émergents: Quelle est la norme de diligence pour l’utilisation des systèmes d’IA, et quelle est la norme de diligence lorsque nous développons des systèmes d’IA ?
- Évolution des impacts sur la vie privée: Comment les systèmes d’IA affecteront-ils le maintien du droit à la vie privée des citoyens ? Comment les systèmes d’IA affaibliront-ils les protocoles existants de protection de la vie privée ?
- Menaces sur la propriété intellectuelle: Que dois-je faire si notre précieuse propriété intellectuelle est divulguée dans un système d’IA générative ? Que dois-je faire si notre précieuse propriété intellectuelle est découverte dans un système d’IA ?
- Gouvernance et surveillance: Quelles sont les meilleures pratiques en matière de gouvernance et de surveillance de l’IA ? Dois-je établir des modèles de gouvernance distincts pour les secteurs d’activité européens et nord-américains en raison des différents environnements réglementaires ?
“Nous sommes à un stade où les questions concernant la sécurité de l’IA sont encore largement supérieures aux réponses, alors n’hésitez pas à nous contacter et à partager votre expérience en matière d’utilisation et de sécurisation de l’IA”, a conclu Touhill.
