Ce blogpost fait suite à mon précédent blogpost.

TL;DR Voici les changements qui seront apportés au NorthSec CTF pour 2027. Lisez la suite pour une explication et des détails.

1. Les équipes et individus devront s’inscrire dans un des deux scoreboards: CTF régulier ou AI CTF. La taille des équipes reste inchangée à huit personnes maximum par équipe.
2. Le CTF sera le même pour les deux scoreboards.
3. Dans le CTF régulier, l’usage d’outils IA générative sera permis, mais il sera interdit de donner du contexte spécifique au CTF à un modèle LLM.
4. Dans l’AI CTF, n’importe quel modèle LLM, harness et outil d’IA seront permis sans limitation (autre que nos règlements existants, notamment l’interdiction de bruteforce l’infra)
5. Le CTF principal (pour le design de challenges et mis de l’avant niveau branding/notoriété) sera le CTF régulier.
6. Les participants du CTF régulier pourront demander de changer pour l’AI CTF, mais pas l’inverse.

Détails et explications

Ça veut dire quoi, donner du contexte du CTF à un LLM?

Cette règle a été pensée pour être facile à comprendre par les participants dans le but de minimiser la triche accidentelle.

En gros, ça inclut coller ou retranscrire n’importe quelle information (comme du texte, une image ou un fichier) qui se trouve dans le forum, dans les domaines *.nsec/*.ctf ou physiquement sur place.

Elle est délibérément écrite pour permettre d’utiliser l’IA comme un professeur ou pour écrire/modifier des scripts. On considère que ces deux usages ne donnent pas un avantage injuste et ne dénaturent pas l’esprit de résolution de problème et d’acquisition de connaissances en cybersécurité du CTF.

Voici un exemple de ce qui sera permis et interdit dans le CTF régulier:

Un challenge Web contient une page de connexion avec un endpoint pour faire une réinitialisation de mot de passe. Le code FastAPI du backend est donné au participant et la fonction de génération du token de réinitialisation secret utilise random.randrange().

Il est permis de poser ces questions à un outil d’IA:

• ✅ Qu’est-ce que FastAPI?
• ✅ Quelles sont les vulnérabilités possibles sur une page de connexion ou de réinitialisation de mot de passe?
• ✅ Est-ce que random.randrange() est sécuritaire pour générer un token secret?
• ✅ Génère un script python qui prend en argument un URL et qui POST vers ce endpoint en prenant en note le timestamp pour bruteforce les tokens de réinitialisation possibles. Le backend génère ses tokens avec random.randrange(10000, 99999). Le script essaie ensuite chaque token possible vers un 2e URL pris en argument jusqu’à ce qu’il reçoive un code HTTP 200.

Il est interdit de demander à un outil d’IA:

• ❌ Trouve la vulnérabilité ici: http://challenge.ctf
• ❌ Est-ce que ce code est sécuritaire?

    <la fonction de reset de mot de passe ou de génération de token secret>
  

• ❌ Analyse ce fichier: <le code source du challenge>
• ❌ Donne-moi des pistes pour résoudre ce challenge sans me donner la réponse: http://challenge.ctf
• ❌ Génère un script qui bruteforce les tokens sur le reset de mot de passe sur http://challenge.ctf.

Les participants vont tricher au CTF régulier, non?

Si NorthSec CTF était un CTF en ligne, sans aucun doute. Nous faisons le pari que la communauté respecte assez l’événement pour adhérer à ce règlement qui est particulièrement difficile à appliquer.

Nous avons convenu que, pour maximiser l’adhésion, tout règlement qui restreint les outils doit être raisonnable, facile à comprendre et sans ambiguïté. Également, une option alternative devrait être disponible pour ceux et celles qui ne veulent pas y adhérer.

Avec l’interdiction de donner du contexte à l’IA et l’option de se soustraire dudit règlement en choisissant l’AI CTF, nous croyons proposer une solution satisfaisante pour tous. Cela dit, nous sommes conscients que certains ne respecteront pas nécessairement les règles et avons prévu certaines mesures en ce sens.

Nous resserrerons les règles sur le flag hoarding (attendre avant de soumettre des flags) et surveillerons plus activement les équipes en haut du scoreboard. Dans la majorité des cas, ça ne changera rien à l’expérience des participants. Dans certains cas, nous pourrions demander une explication sur la manière dont un flag a été trouvé. Dans le cas où une triche avérée et dissimulée est trouvée, l’équipe fautive sera bannie du CTF avec effet immédiat. Dans le cas d’une triche accidentelle autodéclarée, les options seront l’annulation des points ou le transfert vers l’AI CTF.

Malgré ça, nous croyons que la meilleure façon de faire respecter ce règlement sera via l’adhésion de la communauté. Nous comptons sur chacun des participants pour ne pas tolérer la triche parmi ses coéquipiers. Seulement avec une culture anti-triche assez forte au sein des participants pourrons-nous maintenir ce type de CTF.

Pour cette raison, nous serons très vocaux et insistants sur l’intégrité dans le CTF régulier. Nous communiquerons clairement et fréquemment que donner du contexte à l’IA c’est tricher et que ça ne sera pas toléré. Les formes exactes de ces communications seront décidées plus tard.

Pourquoi les challenges seront identiques pour les deux expériences?

Créer un deuxième ensemble de défis pour l’AI CTF (challenges de type AI-first, où le challenge est pensé pour ne pouvoir être résolu que par l’utilisation d’un agent IA) est une option intéressante qui a été proposée par plusieurs dans la communauté et discutée à l’interne.

Le gros problème auquel on fait face est la dilution des efforts. Sans challenge designers supplémentaires, on se retrouverait avec deux CTFs qui ont chacun moins de challenges que ce à quoi la communauté est habituée.

Mon appel à recruter des challenge designers pour des défis AI-first lors de la cérémonie de clôture n’a également pas porté fruit.

Finalement, les tracks physiques sont extrêmement appréciées par la communauté. Nous souhaitons que toutes les équipes aient accès à l’ensemble des tracks physiques disponibles, et ce, peu importe leur choix quant à l’IA.

Pourquoi avoir un CTF “principal” et pourquoi avoir choisi le CTF régulier?

Quand les gens parlent du NorthSec CTF, ils mentionnent généralement la qualité des challenges, le sentiment de communauté et l’ambiance de compétition festive, mais sérieuse.

Toutes ces forces dépendent d’éléments qui sont plus difficiles à assurer avec l’AI CTF.

Qualité des challenges: puisque les outils IA sont devenus extrêmement bons à résoudre des challenges de CTF, on ne peut généralement pas faire un challenge qui est d’aussi bonne qualité s’il est fait pour être résolu par un humain ET par une IA. On doit généralement en choisir un.

Un bon exemple de cette année est Monsatan Defacing, où on devait faire une attaque de type “supply-chain” via une instance GitLab. C’est un type de challenge assez rare dans les CTFs. Il nécessite d’apprendre le fonctionnement de GitLab, du CI/CD, de la gestion des dépendances logicielles, entre autres. C’est un exercice très pertinent et le challenge a été pensé pour accompagner un humain dans l’apprentissage de ces technologies. Pour une IA? Futile. La track s’est fait résoudre très rapidement, deux heures après le début du CTF.

Est-ce que Monsatan Defacing aurait pu être conçu pour donner du fil à retordre aux utilisateurs d’IA? Absolument. On aurait pu avoir une instance avec des centaines de dépôts et de pipelines et cacher la vulnérabilité dans un environnement beaucoup plus proche d’un environnement “normal”. Ça aurait été un bon défi pour un humain équipé d’un agent IA, mais il faut choisir entre les deux, et la majorité de nos challenge designers n’est pas intéressée par les challenges AI-first.

Sentiment de communauté: Une rétroaction très commune des participants et des challenge designers a été la baisse des interactions en 2026. Moins de memes, moins de writeups, moins d’échanges avec les challenge designers ou entre participants. Est-ce que l’IA est à blâmer pour tout ça? Probablement pas à 100%, mais il semble évident qu’il est moins tentant d’interagir avec les autres quand on doit se concentrer à revoir l’output de trois agents IA.

L’ambiance et la compétition: Selon la rétroaction de la communauté, le scoreboard est important même pour les gens qui ne sont pas là pour gagner. Ça veut donc dire que l’intégrité compétitive est également importante, car sans elle, le scoreboard ne veut rien dire. Une lacune importante du AI CTF est l’aspect pay-to-win (les équipes qui vont payer plus cher auront un avantage). Sans un contrôle central de l’inférence IA, cet aspect est impossible à atténuer. Ainsi, contrairement au scoreboard régulier, qui représente assez bien les habiletés en CTF, le scoreboard IA ne sera pas nécessairement un indicateur précis du niveau d’habileté à créer et à opérer des systèmes IA dans un contexte de CTF.

Bref, pour préserver ce qui fait de NorthSec CTF un événement si apprécié, nous croyons que la majorité des joueurs devraient se retrouver dans le CTF régulier, et c’est pour ça qu’on le mettra de l’avant et que nos challenges seront pensés pour être résolus par les humains.

Pourquoi ne pas offrir un endpoint d’inférence LLM unique pour l’AI CTF?

C’était une suggestion populaire pour niveler le jeu et réduire l’aspect pay-to-win. Cela dit, nous avons pensé l’AI CTF comme l’option pour les équipes qui ne veulent pas jouer avec les restrictions du CTF régulier.

Certains joueurs risquent d’avoir accès aux modèles Frontier inaccessibles au grand public, certains voudront peut-être résoudre le CTF avec des modèles open-source qui roulent sur leur MacBook Pro exclusivement, d’autres voudront essayer le nouveau module IA sur leur outil qui ne permet pas encore de modifier l’endpoint d’inférence IA.

Un endpoint d’inférence central et unique pour ce CTF ajouterait donc une grosse restriction aux joueurs qui cherchent justement à éviter les restrictions, en plus d’ajouter une charge de surveillance pour assurer l’intégrité compétitive.

Inscription

Il sera possible de modifier son choix d’expérience de CTF jusqu’à la fermeture des inscriptions, quelques jours avant le CTF. Les gens qui s’inscrivent individuellement ou en équipe incomplète seront mis en équipe dans le respect de leur choix.

Conclusion

Ces changements sont le fruit de beaucoup de discussions avec la communauté dont les participant.e.s et organisateurs/organisatrices de CTF.

Il est très clair par contre que l’adhésion de la communauté à ce mode de fonctionnement sera crucial pour conserver l’aspect compétitif du CTF. Si la communauté tolère la triche, que ce soit en félicitant les gens qui trouvent des façons innovantes de briser l’intégrité compétitive du CTF ou en ne disant rien à son coéquipier qui pose une question interdite à Claude, on ne pourra pas continuer avec deux scoreboards et seul le scoreboard IA restera.

Au contraire, si en tant que communauté on valorise l’intégrité compétitive et le respect mutuel dans la compétition, le CTF de NorthSec pourra rester un excellent mélange de compétition juste et d’une expérience pratique où on apprend comment les technologies qui nous entourent fonctionnent dans le but de mieux les protéger.

On vous prépare un CTF de feu cette année. Vous pouvez dès maintenant acheter vos billets au prix early bird. On se voit en mai prochain!