Attaques contre l’IA générative: quels sont les dangers
L’utilisation de l’IA générative dans les entreprises promet d’importants gains d’efficacité et une génération rapide d’idées, ainsi que de nouveaux angles d’attaque pour la sécurité des données. Ces risques et dangers doivent être pris en compte par les responsables de l’IA et de la sécurité.
3 Mai 2024, Texte Andreas Heer 4 Min.
Le boom (et aussi l’engouement) autour de l’IA générative ouvre la porte du monde des affaires aux grands modèles de langage (LLM). Et, involontairement aussi, une porte dérobée pour les cybercriminels ou du moins pour la fuite de données commerciales confidentielles. Ces risques en matière de sécurité doivent être abordés par les responsables de l’informatique et de la sécurité dans les entreprises. Cet article met en lumière les principales menaces et les mesures de protection possibles.
Sécurité des données et intégrité des LLM
«L’aspect le plus évident concerne la sécurité des données dans les LLM», explique Beni Eugster, Cloud Operation and Security Officer de l’Outpost Swisscom dans la Silicon Valley. «Il s’agit ici de contrôler à quelles données les modèles ont le droit d’accéder et surtout ce qu’il advient de ces données.» Une gouvernance des données ou de l’IA permet de définir les informations que les collaborateurs ont le droit d’utiliser avec un modèle d’IA, et celles qu’ils n’ont pas le droit d’utiliser.
Pour les modèles hébergés en externe, c’est-à-dire les offres SaaS, les entreprises n’ont pratiquement aucun contrôle sur ce qui se passe en arrière-plan. C’est notamment le cas lorsque le fournisseur ne propose pas d’accord sur la sécurité des données. Les données sont-elles utilisées pour l’entraînement, le modèle a-t-il même été manipulé de sorte que des cybercriminels lisent toutes les entrées et sorties en arrière-plan? Quel est le risque de tomber sur une version manipulée des quelque 470 000 modèles sur HuggingFace(ouvre une nouvelle fenêtre)?
En effet, dans la phase actuelle, la cybersécurité n’est peut-être pas la priorité pour certains fournisseurs, explique Beni Eugster: «En présence d’un boom technologique, les fournisseurs se concentrent d’abord sur les opportunités commerciales, et ensuite seulement sur les risques.» Cependant la deuxième phase est déjà en marche, observe Beni Eugster: «À San Francisco, la ville de l’IA par excellence, de plus en plus de start-up se penchent sur les risques de l’IA générative.»
Prompt Injection ou l’utilisation abusive de l’IA générative
L’interface vers les modèles recèle cependant aussi un danger, lors de la saisie de prompts (les instructions données à l’IA générative). Une formulation habile permet de tromper les mesures ou «barrières» de sécurité. Un exemple actuel issu de la recherche est l’attaque appelée «ArtPrompt(ouvre une nouvelle fenêtre)», qui consiste à transmettre des mots-clés sous forme de graphiques («type ASCII»), ce qui contourne les barrières de sécurité. Prompt Injection peut également être utilisé pour extraire des données confidentielles d’un modèle. Il s’agit par exemple des sources d’informations proposées.
Voici un extrait du prompt qui a permis aux chercheurs de GPT-4 de générer des instructions pour fabriquer de la fausse monnaie. Source: document de recherche ArtPrompt.
Mais la fiabilité des modèles eux-mêmes doit également être vérifiée lors de l’exécution des requêtes, en gardant à l’esprit l’hallucination comme mot-clé et les réponses fausses. Cela est d’autant plus vrai lorsqu’une entreprise utilise un LLM pour contacter sa clientèle ou que les réponses sont utilisées pour prendre des décisions. Ainsi, la compagnie aérienne Air Canada a récemment été obligée d’autoriser un remboursement a posteriori à un passager parce que le chatbot avait recommandé cette option sur le site, en contradiction avec d’autres informations sur le même site.
Le fait de filtrer et de valider les entrées et sorties pour les offres d’entreprise basées sur l’IA est une mesure de sécurité centrale, tout comme la réalisation de tests approfondis. «Ici, les spécialistes de la cybersécurité et de l’IA doivent collaborer et associer leurs connaissances pour obtenir des résultats de tests pertinents», recommande Beni Eugster. «En conséquence, les entreprises doivent également compléter leurs stratégies et directives en matière de cybersécurité.»
Attaques contre l’infrastructure et les données d’entraînement
Il est probable que peu d’entreprises seulement développent et exploitent leurs propres modèles. Dans ces cas, d’autres aspects liés à la sécurité apparaissent:
- Empoisonnement de l’IA: Les données d’entraînement sont manipulées de manière ciblée afin de générer de mauvaises réponses. Cela sape l’utilité d’un LLM et la confiance. Des mesures de sécurité efficaces résident dans une sécurité contrôlée et une gouvernance appropriée des données afin de garantir l’intégrité des données d’entraînement.
- Failles de sécurité dans la chaîne d’approvisionnement: Les modèles et plug-ins de fournisseurs tiers peuvent présenter des failles de sécurité qui permettent par exemple aux cybercriminels d’accéder à des requêtes et à des données d’entraînement. Un contrôle de sécurité de tous les composants est ici décisif.
- Sécurité des API: Des API insuffisamment sécurisées peuvent permettre à des personnes non autorisées d’utiliser et d’abuser d’un LLM. Les mesures de protection habituelles pour les API, telles que les mécanismes d’authentification et les contrôles d’accès sont utiles dans ce cas.
La protection des LLM, une nouvelle discipline de la cybersécurité
La sécurisation de grands modèles de langage nécessite une stratégie globale qui inclut aussi bien l’utilisation directe que l’infrastructure sous-jacente et les données d’entraînement. Des règles d’accès, des mesures de sécurité des données et un filtrage/une vérification des entrées et des sorties ainsi qu’une gestion proactive des risques assurent un fonctionnement sûr et une utilisation fiable. Ou, comme le résume Beni Eugster: «Comprendre le modèle, l’utilisation et les cas d’application est la moitié du travail pour bien protéger les projets d’IA. Les développeurs et les équipes de cybersécurité doivent travailler en étroite collaboration pour détecter les vulnérabilités et les risques à un stade précoce.»