Ce texte représente mon opinion personnelle et pas celle de l’ensemble des bénévoles de NorthSec CTF.
Gang, on doit parler d’agents IA et de CTF.
Dans la deuxième moitié de 2025, les modèles et le tooling IA se sont beaucoup améliorés. Pour simplifier l’écriture, « agents IA » signifiera ici ces agents qui peuvent rouler des commandes et/ou se connecter par MCP. Il est maintenant possible pour ces agents IA de résoudre plusieurs challenges CTF de façon semi à complètement autonome.
Pas juste des challenges faciles, des défis nosebleed du CTF de DEF CON aussi. Il est aujourd’hui possible et facile de mettre en place des Agent Swarms qui roulent N agents IA où on leur demande de résoudre des challenges de façon autonome. En mars, au @hackCTF de Concordia, ça a été utilisé avec « succès » (pas tout le monde n’a apprécié). Plusieurs personnes en ligne disent que les LLMs ont « tué » les CTFs.
Ce n’était pas un problème à NorthSec CTF 2025. L’équipe gagnante n’a pas eu recours à ces agents. Mais cette année, elle m’a confirmé qu’elle risque fortement d’y recourir, même si tous ne sont pas emballés à l’idée.
On doit sérieusement penser à la façon d’adapter le CTF à cette nouvelle réalité. Avant d’apporter des pistes de solutions, voici les variables que j’essaie d’optimiser: le fun des participant.e.s et le fun des challenge designers.
Le fun des participant.e.s
Pour certains, utiliser des agents IA, c’est le fun. AI agent finds flag, brain gives dopamine.
Image d’un joueur de CTF qui vient de soumettre un flag valide
Pour d’autres, ça enlève le fun de faire des CTFs. Malgré tout, il serait naïf de penser que parce que le fun est réduit, ces gens décideraient de ne pas utiliser ces outils. Au final, les gens compétitifs (~27% des participant.e.s) vont utiliser ces outils, car sinon ils ne seront plus compétitifs.
Données tirées du sondage 2025 du NorthSec CTF
Pour les gens qui sont là principalement pour apprendre ou pour chiller, c’est plus difficile à prévoir. Mon intuition est que peu risquent de rouler plusieurs agents en arrière-plan, mais que plusieurs vont quand même les utiliser en mode semi-autonome.
Je crains que de ne pas restreindre ces agents réduise le fun que plusieurs ont au CTF et qu’au fil des années, ces gens ne reviennent plus au lieu de ne plus utiliser ces outils. D’un autre côté, les restreindre en frustrerait probablement d’autres.
Le fun des challenge designers
C’est la partie qui est plus difficile. Les challenge designers sont des bénévoles qui mettent des heures et des heures chaque année pour faire des challenges pour qu’ils soient résolus par des humains. Cette partie-là est cruciale, car le fun des challenge designers vient de voir des humains se casser la tête sur leur challenge, de les voir apprendre des nouveaux concepts, de les voir allumer soudainement que cette partie obscure du RFC est importante et de recevoir les commentaires des joueur.se.s qui complimentent leur travail.
On perd tout ça si un LLM a résolu le challenge à 90% ou à 100%.
J’ai eu des commentaires de challenge designers de NorthSec et d’ailleurs qui remettent en doute la pertinence ou la motivation de créer des challenges pour ces raisons.
C’est grave, parce que si les challenge designers ont moins de fun à faire des challenges, on aura au final moins de challenges. Moins de challenges réduit la diversité des challenges et diminue au final l’attractivité du CTF pour les participant.e.s.
Je ne sais pas comment adresser ça sans restreindre les agents IA.
Il serait facile de penser qu’il ne suffit de rendre les challenges « AI-proof », mais ce n’est pas particulièrement le fun à faire pour les challenge designers et au final, si ça prend plus de temps faire un flag, on va avoir moins de flags.
Les pistes de solutions
Dans aucun ordre précis, voici les idées qui ont été proposées à date:
- Bannir tous les LLMs
- Bannir les agents IA
- Bannir les Agent Swarms
- Ne rien faire
- Limiter les modèles permis
- Faire deux scoreboards, un pour les gens qui utilisent les agents IA et les gens qui ne l’utilisent pas
- Faire du scoring dynamique pour que les challenges « sloppables » ne valent aucun point
- Adapter les challenges pour qu’ils fonctionnent vraiment mal avec des LLMs
- Ne plus faire de challenges faciles
- Faire moins de challenges « sloppables » et plus de challenges physiques
- Demander des writeups pour tous les challenges
Je n’ai probablement pas besoin de dire que je n’aime aucune de ces solutions. Peu importe la « solution », ça va fâcher du monde ou ne pas adresser les enjeux mentionnés plus haut.
Alors on fait quoi?
Pour NorthSec CTF 2026, aucune action ne sera prise pour encadrer l’utilisation des agents IA, sauf une: nous allons ajouter à askgod des façons d’autodéclarer (manuellement ou automatiquement) les flags trouvés par les agents IA:
- Un checkbox “Flag trouvé en majorité ou totalité avec un Agent IA” dans askgod web
- Un nouveau CLI flag
**--agent **dans le client askgod - Une autodétection de certains agents IA communs par variable d’environnement (par exemple
**CLAUDE_CODE=1**) dans le client askgod (désactivable) - Un serveur MCP pour soumettre des flags sur askgod.
Nous allons demander aux gens qui utilisent ces agents d’IA d’utiliser ces fonctionnalités sur une base volontaire.
Le seul et unique but est de ramasser de la télémétrie pour éclairer nos décisions pour 2027. Avec ces ajouts, nous espérons avoir des stats précises sur quels flags ont été résolus en majorité ou totalité par IA, quand et par combien de gens. On pourra facilement savoir quel est le ratio IA/humain pour un flag donné et évaluer ce ratio selon sa difficulté et la position des équipes dans le scoreboard.
Nous présenterons alors ces données à la cérémonie de fermeture du CTF et consulterons la communauté pour vous demander votre opinion.
Après tout ça, on va prendre une décision et je vais écrire un nouveau blogpost qui expliquera ce qu’on fait.
En attendant, je vous invite tous.tes à réfléchir à cette nouvelle réalité et de me partager vos opinions. On a une méchante belle communauté et je ne veux pas la perdre, je veux la faire grandir 🩵
NorthSec CTF 2026 sera une très belle édition et si vous n’avez toujours pas acheté vos billets, vous pouvez le faire ici:)