Si vous avez assisté à la cérémonie de fermeture, passez directement à la section Sondage de rétroaction, la première section répète les mêmes constats.
Tel qu’annoncé dans mon blogpost précédent, NorthSec a permis sans restriction les agents IA pendant le CTF cette année. Nous demandions la collaboration de la communauté pour rapporter les flags trouvés par des agents IA. Nous avons également demandé l’opinion des participant.e.s sur l’IA et comment on devrait s’adapter. Voici mon analyse de ces données.
Données de flags
Nuance sur ces données: plusieurs équipes (incluant les meilleures équipes) n’ont pas déclaré de façon rigoureuse l’utilisation d’agents pour trouver les flags. Ces chiffres sous-représentent les données réelles des flags trouvés par agent IA.
Donnée: 84% (76/90) des équipes du CTF ont déclaré un flag avec un agent IA
Constat: La grande majorité des équipes utilisent ces outils et font partie du workflow d’une grande partie des participant.e.s.
Donnée: 29% des points valides du CTF ont été déclarés trouvés par agent IA.
Constat: Puisque ceci inclut les équipes qui ont peu ou pas utilisé les agents, on peut penser que la majorité des points trouvés par les équipes utilisant les agents sont trouvés via ces agents.
Donnée: 89% (143/160) des flags distincts du CTF ont eu au moins un solve avec un agent. J’ai sanitize manuellement ces données pour retirer quelques faux positifs.
Constat: L’écrasante majorité du CTF pouvait être résolu par un agent IA. Puisqu’on avait un peu moins de 20 flags physiques, on peut présumer que presque tous les défis non physiques sont sloppables ou quasi- sloppables.
Donnée: Les équipes du deuxième quintile ont soumis la plus petite proportion de points avec agents et le dernier quintile, le plus (~38%).
Constat: L’utilisation des agents IA (ou l’efficacité à les utiliser) n’est pas uniforme. Dans tous les cas, ils contribuent à une quantité de points qu’on ne peut ignorer.
Données: Proportion de flags soumis humains vs agents par valeur du flag.
Constat: Les agents IA semblent très utiles pour résoudre les défis les plus difficiles et pas seulement les défis faciles.
Données: La proportion de flags soumis par humains vs agents au fil du temps.
Constat: La proportion est restée stable pendant toute la durée du CTF, ce qui semble indiquer que l’effet “ out of token ” n’a pas joué de rôle significatif.
Données: Comparaison du nombre de flags valides soumis depuis le début du CTF 2025 (161 flags, 90 équipes) vs 2026 (165 flags, 94 équipes).
Constat: L’IA de 2026 a augmenté d’environ 90% le nombre de flags soumis par équipe le vendredi soir. Ce chiffre descend à 60% à la fin du CTF.
Données: Idem que le graphique précédent, mais pour le top 10 équipes de chaque CTF.
Constat: L’écart est plus grand. Vendredi soir, l’IA de 2026 a contribué à augmenter de 136% le nombre de flags soumis. Ce chiffre descend à 63% à la fin du CTF.
Sondage de rétroaction post-CTF
Nuance sur ces données: cet échantillon est non probabiliste, car les répondant.e.s n’ont pas été sélectionnés au hasard. Nous avons toutefois fait plusieurs efforts pour rejoindre le maximum de gens (annonce à la cérémonie de fermeture, sur Discord et par email) et plus de 40% des participant.e.s ont rempli le sondage.
Quelques données pour comprendre le profil des répondants:
Nombre de réponses: 284
Nombre de first-timers au nsec CTF: 34%
Nombre de participations au nsec CTF (1–12): moyenne de 4.63, médiane de 4
Pourquoi venir au CTF: 22% pour être compétitif, 73% pour apprendre, 5% pour le social)
Constats:
- 17% des participant.e.s considèrent que les agents ont amélioré leur expérience. Trois fois plus de participant.e.s considèrent au contraire que les agents IA ont nui à leur expérience et 30% ne semblent pas avoir d’opinion forte sur le sujet
- Trois participant.e.s sur quatre considèrent qu’apprendre des connaissances profondes du domaine est plus important pendant le CTF que d’apprendre comment utiliser l’IA, tandis que 12% considèrent qu’apprendre les outils de l’industrie est plus important.
How much more/less likely are you to keep coming to NorthSec if we implement this change?
Transition to a no-AI-agent CTF (honors-based)
Net: +39.6%
Allow AI agents only on Sunday (honors-based)
Net: -9.7%
Remove the scoreboard and prize money for top teams
Net: -13%
Having two scoreboards where one of them is no-AI-agents
Net: +49.1%
Lean more into the community aspect of the event (more things like hacker jeopardy and social aspects, less time for CTF)
Net: -19.4%
Have much more physical challenges and much fewer web/software challenges
Net: +45.3%
Be much more adversarial to LLMs (this will make the human experience much worse)
Net: -31.8%
Force labelling of AI agent submissions (with penalty if not respected)
Net: +52.7%
Have dynamic scoring (flags solved a lot will be worth zero points)
Net: -30.6%
Constats:
- Les participant.e.s semblent fortement ouvert.e.s à restreindre certains usages IA.
- De même, une forte majorité semble ouverte à séparer très clairement les façons de résoudre les challenges (soit via un scoreboard séparé, soit via l’obligation d’identifier les flags trouvés par un agent)
- Les gens aiment les tracks physiques et sont prêts à en avoir plus au détriment des autres types de challenges.
- Les gens ne veulent pas qu’on rende l’expérience non-IA pire pour adresser les problèmes amenés par les agents IA.
How do you think NorthSec should adapt to the Agentic CTF era?
Cette question était qualitative, et près de 220 d’entre vous y avez répondu! J’ai lu toutes les réponses avec ma copine et nous les avons manuellement analysées et classées dans des catégories. Voici le wordcloud ensuite généré par Claude:
Constats:
Les opinions émises montrent une fracture importante dans la communauté. Une majorité considère que le statu quo est nuisible au CTF et qu’on doit prendre des mesures restrictives contre l’utilisation d’IA. Au contraire, une minorité non négligeable est d’avis que, si adaptation il y a, elle ne peut pas passer par une restriction de l’IA. Mentionnons également que plusieurs n’ont pas été particulièrement affectés par les agents pendant le CTF, même s’ils ne les utilisaient pas.
Les personnes favorables à des restrictions considèrent que les agents ont nui à leur expérience de CTF (par une diminution de l’entraide et de la qualité des échanges entre participant.e.s, par une diminution de la valeur perçue du scoreboard et d’une impression de pay to win). Elles s’inquiètent également de la pérennité de l’événement, par exemple via un exode de challenge designers.
De l’autre côté, les opinions prônant l’utilisation sans limite de l’IA mentionnent un désir que le CTF reste aligné avec les outils utilisés par les attaquants et une motivation à apprendre comment bien se servir de cette technologie émergente. Ils craignent également que NorthSec réduise sa propre pertinence en évitant une technologie « qui est là pour rester ».
La séparation du CTF en deux scoreboards est la proposition la plus populaire. Certains vont même jusqu’à suggérer un pointage différencié (où, par exemple, les points des flags pour le scoreboard IA diminuent avec le temps) ou d’avoir une série de challenges distincts de type AI-first (challenges mesurant la capacité d’utiliser les agents IA). Certains proposent de forcer l’utilisation d’une IA interne dans le but d’égaliser les chances pour tous et pour retirer l’aspect pay to win de l’IA.
Parmi ceux et celles qui veulent une interdiction complète des agents, on dégage deux tendances. Plusieurs pensent qu’un simple engagement basé sur l’honneur et le respect de l’événement suffit. D’autres veulent des mécanismes plus systématiques pour assurer le respect d’une interdiction, par exemple: demander l’explication des résolutions, bloquer certains domaines des agents au niveau réseau ou nuire activement à son utilisation par des techniques adversariales.
Malgré cette fracture, on peut dégager quelques éléments quasi consensuels. Les participant.e.s adorent les tracks physiques et en veulent plus. Également, les répondant.e.s semblent aussi d’accord que les agents de type autosolver, s’ils sont permis, devraient être dans une catégorie à part. Finalement, presque tous s’entendent pour dire que certains usages de l’IA sont bénéfiques, que ce soit pour apprendre les bases de certains types de challenges, la recherche d’information/de documentation ou, dans une moindre mesure, l’écriture de code.
La suite
Les données du CTF serviront de benchmark sur les capacités et l’impact de l’IA sur la compétition. Les données du sondage de rétroaction feront office du pouls de la communauté par rapport à l’agentique dans le CTF.
Prochaines étapes: l’équipe du CTF se consulte. On débat. On prend des décisions. Finalement, on vous annonce ce qui va changer pour NorthSec CTF 2027.