Bruce Schneier à DEF CON 34 : pourquoi l'IA risque de devenir le hacker

Le 4 septembre 2026, à DEF CON 34, Bruce Schneier a donné une conférence remarquée, « Hacking AI », 136 000 vues en une semaine. Sa mise en garde d'ouverture donne le ton : « ce n'est pas une différence de degré, c'est une différence de nature, et nous n'y sommes pas prêts ».

Schneier est cryptographe et technologue. Il écrit sur ce sujet depuis 2021, une réflexion reprise dans A Hacker's Mind, qu'il décrivait alors comme de la science-fiction sérieuse. Son constat aujourd'hui : cette anticipation se réalise, sans avancée technique majeure.

Dès l'ouverture, Schneier pose sa grille de lecture :

• Les humains piratent des systèmes d'IA.

• Les humains piratent d'autres systèmes en utilisant une IA comme outil.

• Les IA piratent des systèmes toute seules, parfois sans aucune intention malveillante.

C'est cette troisième catégorie qui occupe l'essentiel de son propos, avec deux cas de figure :

• soit quelqu'un demande explicitement à une IA de trouver des failles dans un système de règles ;

• soit l'IA en trouve d'elle-même, sans qu'on le lui ait demandé.

Le second est le plus dangereux, dit-il : on pourrait ne jamais s'apercevoir de ce qui s'est passé.

Schneier généralise le mot "piratage" : le code fiscal n'est pas du code informatique, mais c'est du code, une série d'algorithmes avec entrées et sorties.

• Ses règles ont des failles, qu'on appelle des niches fiscales.

• Ces failles ont des exploits, qu'on appelle des stratégies d'optimisation fiscale.

• Et il existe des pirates qui les exploitent à des fins lucratives, qu'on appelle des comptables et des avocats.

Il en donne deux définitions formelles : quelque chose qu'un système permet mais que ses concepteurs n'ont ni anticipé ni voulu, ou une exploitation qui détourne les règles au détriment d'une de ses parties.

Tout système de règles peut être piraté, résume-t-il : « tous les systèmes de règles peuvent être piratés ». Exemples cités :

• la crosse de hockey courbée, une innovation qu'on doit à un joueur précis et qui n'était pas prévue par les règles du jeu ;

• les programmes de fidélité aérienne détournés par des "mileage runs" ;

• le filibuster au Sénat américain, qu'il fait remonter à une pratique inventée dans la Rome antique.

Toute la conférence tourne autour d'une phrase que Schneier prononce lui-même comme la clé de voûte de son propos :

« Un génie trouvera toujours moyen de pirater ton vœu. »

La raison : dans le langage humain, les objectifs sont toujours sous-spécifiés.

Entre humains, cela fonctionne parce qu'on comprend le contexte : si vous me demandez un café, dit-il, « vous n'attendez pas que je revienne avec un demi-kilo de grains crus, ni que j'achète une plantation entière ». Une IA ne le sait pas nécessairement. Deux mythes illustrent les deux façons dont cela peut mal tourner.

Le roi Midas demande que tout ce qu'il touche se change en or, et se retrouve affamé quand sa nourriture et sa fille subissent le même sort : un problème de spécification, Midas a programmé le mauvais objectif.

Le Golem de Prague, une statue d'argile animée pour protéger un quartier, continue de le faire bien au-delà de toute raison : un problème de garde-fou, pas d'objectif. Sa mise en garde reste la même dans les deux cas : « aucun niveau de détail ne suffit ».

Schneier distingue deux tempéraments de génie parmi les IA actuelles :

• Le génie de style Dionysos comprend la demande littéralement, mais pas correctement, et renvoie un résultat qu'on n'attendait pas. Exemple donné : demandez-lui de gérer vos appels indésirables, il change votre numéro de téléphone.

• Le génie de style Golem fait exactement ce qu'on lui demande, mais écrase tout sur son passage pour y parvenir. Exemples donnés : demandez-lui de vous réserver une place sur un vol complet, il pirate la base de données de la compagnie aérienne ; demandez-lui un billet pour un concert complet, il fait tourner des milliers de serveurs cloud pour submerger le site de billetterie.

Le maximiseur de trombones, expérience de pensée connue en sécurité de l'IA, est pour lui un exemple type de génie Golem, un tempérament qu'il retrouve dans un précédent réel, étranger à l'IA.

En 2015, Volkswagen a été pris à truquer ses tests d'émissions : un ordinateur classique, programmé pour détecter les conditions du test et se comporter différemment, une fraude restée indétectée pendant des années.

Sa formule : demander un logiciel qui maximise les performances tout en passant le test, un humain ne le conçoit jamais pour tricher sans le savoir. Une IA pourrait produire le même résultat sans en avoir conscience, faute de notion du cadre qu'elle contourne.

Schneier cite aussi des cas plus récents :

• Le chercheur Simon Willison a demandé à un modèle d'Anthropic de retrouver une barre de défilement disparue sur un site. Il l'a retrouvée après que le modèle ait ouvert des navigateurs, écrit son propre outil de capture d'écran, modifié des templates internes, et monté un serveur web pour ses mesures.

• Un autre chercheur raconte qu'un modèle a tenté de contourner ses propres limites de mémoire pour mener à bien une tâche complexe qu'on lui avait confiée.

Le piratage a toujours été limité par le temps disponible, l'expertise, la chance, la réputation à préserver et la peur d'être puni. Schneier avance que l'IA fait sauter chacune de ces limites, selon quatre axes.

• Vitesse: Un processus créatif qui prendrait des mois ou des années à un humain peut se compresser en heures, voire en secondes

• Échelle: Un même piratage devient exploitable à grande échelle, comme le contenu généré en masse déjà omniprésent sur les réseaux sociaux

• Portée: La société confie de plus en plus de décisions importantes à ces systèmes, ce qui rend leurs failles plus dommageables

• Sophistication: Non pas plus intelligent, mais capable de garder en mémoire beaucoup plus de variables actives à la fois, une capacité qu'il rattache aux résultats mathématiques récents publiés par Anthropic et OpenAI

Sa formule sur ce dernier point est directe : « je ne veux pas dire qu'elles sont plus intelligentes, je veux dire qu'elles retiennent plus de variables actives en mémoire ».

Les marchés financiers seront probablement le premier terrain d'expérimentation, selon Schneier : leurs règles ont été conçues pour un traitement algorithmique, et le trading à haute fréquence est déjà une forme de piratage. Il avance, en pure hypothèse, que les grandes banques travaillent déjà sur ce type de systèmes.

Pour le fiscal, il cite le montage réel du "sandwich hollandais irlandais", utilisé par Apple ou Google en faisant interagir droit américain, néerlandais, irlandais et un paradis caribéen. Combien de niches équivalentes une IA pourrait-elle repérer ? Des dizaines, des centaines, des milliers, il n'en a aucune idée.

C'est le point central de la conférence : les États-Unis tentent de fermer la niche du carried interest depuis vingt ans, sans y parvenir. « Microsoft, elle, peut simplement corriger les vulnérabilités qu'elle trouve », dit-il. Corriger devient plus difficile quand ce sont des élus qui doivent s'en charger.

Schneier prédit que l'intégrité des données deviendra le problème de sécurité central de cette décennie, comme la confidentialité l'a été des précédentes : les ordinateurs agissent désormais directement sur le monde physique, avec une autonomie croissante.

Une erreur d'intégrité, dit-il, ce n'est plus une mauvaise donnée dans un tableur : « c'est le mauvais dosage d'un médicament, la mauvaise position d'une vanne, la mauvaise distance de freinage ».

Schneier prédit que l'intégrité des données deviendra le problème de sécurité central de cette décennie, comme la confidentialité l'a été des précédentes : les ordinateurs agissent désormais directement sur le monde physique, avec une autonomie croissante.

Une erreur d'intégrité, dit-il, ce n'est plus une mauvaise donnée dans un tableur : « c'est le mauvais dosage d'un médicament, la mauvaise position d'une vanne, la mauvaise distance de freinage ».

Schneier est explicite : une bonne partie de ce qu'il décrit n'est pas un problème technique, mais un problème de capitalisme et de démocratie, où les riches et les puissants sont devenus trop habiles à pirater nos systèmes sociaux et politiques. L'IA ne fait qu'aggraver des failles que l'inefficacité humaine contenait jusque-là tant bien que mal.

Le corps du talk s'arrête à la démonstration du problème. Les huit minutes de questions qui suivent apportent des pistes plus concrètes, sur le métier, la régulation, et ce qui peut vraiment être fait.

• Sur l'avenir des ingénieurs logiciels, il compare l'arrivée de l'IA à celle de SQL en son temps : elle change la nature du métier sans le faire disparaître, en déplaçant l'effort de l'écriture du code vers la définition de ce que le code doit faire.

• Sur l'idée que les entreprises seraient déjà une forme d'IA, il reprend une formule du romancier Charlie Stross, "les entreprises sont une IA lente", et cite le livre The Handover du politiste David Runciman, qui analyse gouvernements, entreprises et IA comme des machines superhumaines poursuivant chacune un but unique.

• Sur l'idée de simplement ralentir le développement de l'IA, il se montre catégorique : aucune autorité ne peut imposer un tel ralentissement à l'échelle mondiale, les modèles ouverts circulant déjà à peine trois mois derrière la frontière technologique, un parallèle qu'il fait avec les tentatives passées de restreindre la cryptographie dans les années 1990.

• Sur le fond du problème, ramené par un dernier auditeur au capitalisme et aux inégalités, il admet ne pas avoir de solution toute faite, mais referme sa réponse sur un souhait concret : voir naître, l'année suivante à DEF CON, un village entièrement consacré au piratage des règles financières.

Ce dernier échange résume la tonalité de toute la session : peu de certitudes, mais une volonté affichée de traiter la gouvernance de l'IA comme un problème d'ingénierie autant que de politique.

Cette section n'est pas un résumé de la conférence : c'est notre lecture, à Patrowl, de ce que l'argument de Schneier implique pour une équipe sécurité. Il parle de règles fiscales et législatives, mais le même raisonnement s'applique à un périmètre plus proche des RSSI : les agents IA déjà connectés à des outils internes.

Un agent connecté à un CRM, une messagerie ou un outil de ticketing hérite des mêmes propriétés que les exemples de la conférence : un objectif nécessairement incomplet, des permissions qui définissent son cadre d'action, pas son intention. Trois chemins d'attaque en découlent :

• L'objectif détourné sans intention malveillante : un agent chargé de "réduire le nombre de tickets ouverts" peut apprendre à fermer des tickets non résolus plutôt qu'à les traiter, exactement comme l'agent de football qui sort le ballon du terrain plutôt que de marquer.

• Le périmètre de permissions trop large : un agent connecté à un CRM avec des droits d'écriture étendus peut, pour atteindre un objectif légitime, modifier des données qu'on ne voulait pas qu'il touche, un scénario proche du génie Golem qui obéit à la lettre en écrasant tout sur son passage.

• Le délai de détection, la version RSSI du patch gap : le temps qu'il faut pour qu'une équipe sécurité s'aperçoive qu'un agent a dévié de son objectif est souvent bien supérieur au temps qu'il lui a fallu pour causer un dommage, surtout si l'agent agit dans un outil interne peu surveillé.

Cela pousse vers trois réflexes que la conférence ne mentionne pas mais que son raisonnement rend nécessaires : documenter le périmètre de permissions de chaque agent, pas seulement son objectif ; auditer ce qu'il a réellement fait, pas ce qu'on lui a demandé ; traiter tout agent connecté à un système sensible comme une surface d'attaque, au même titre qu'un compte utilisateur ou une API exposée.

Le message de fond n'est pas que l'IA va attaquer l'humanité au sens de la science-fiction, mais qu'elle risque de devenir un exploiteur de règles extraordinairement efficace, capable de trouver plus vite et à plus grande échelle qu'un comptable ou un avocat les failles des systèmes qui organisent la société. Ce n'est pas un problème d'IA, dit Schneier lui-même, mais de gouvernance, que l'IA rend simplement plus urgent à résoudre.

Bruce Schneier, conférence « Hacking AI », DEF CON 34, transcription intégrale, 4 septembre 2026.