Aller au contenu principal

Donner des instructions à un chatbot et le tester

InformatiqueÉducation aux médiasIA générativeEsprit critiquePrépromptÉvaluation de modèlesClaude CodeGitHub CodespacesOpen WebUI
ProjetDuréeDifficultéÂge
Youth AI Lab2 h (120 min)DébutantAdultes (animateur·rices)

Matériel​

Donner des instructions à un chatbot et le tester
Atelier 1 sur 6 de la série Construire son propre chatbot : ce qu'il lit, et qui décide

Cet atelier est le premier d'une série de six ateliers de 2 h. Il s'adresse aux animateur·rices, qui le vivent en binômes avant tout usage avec des jeunes. Atelier suivant : Nourrir un chatbot de documents, puis d'extraits choisis.

Les pages, les commandes et le Codespace de l'atelier sont en anglais ; cette fiche en est l'adaptation française. Les commandes à taper, les libellés de l'écran et ce que le terminal affiche restent donc en anglais ci-dessous, tels qu'on les voit. Quand une partie de ce qui s'affiche varie (une adresse, un nombre), elle est remplacée par .... Les captures d'écran sont dans le dépôt de l'atelier.


Introduction​

Les participant·es ont déjà discuté avec un chatbot comme ChatGPT, Gemini ou Claude : on tape une question, une réponse revient. Ce qu'on ne voit pas, c'est ce que le chatbot a lu avant de répondre. Cet atelier ouvre la boîte. Sa question du jour :

Question du jour

Que lit le chatbot avant de répondre ?

C'est la première étape de la question qui traverse toute la série : qu'est-ce qui entre dans le contexte du modèle, quand, et qui en décide ? Un modèle est le programme qui écrit les réponses : ici Claude Sonnet avec une clé Anthropic, deepseek/deepseek-v4-flash avec une clé OpenRouter, le même pour tous les binômes qui ont ce type de clé. Un chatbot est un modèle, plus ce qu'on lui ajoute.

Avant de modifier un chatbot, on le mesure. Sans test fixe, on n'a que des impressions, et un chatbot peut sembler meilleur tout en se trompant plus souvent. L'atelier commence donc par un jeu de test de 11 questions, posées au modèle seul. Chaque modification suivante est mesurée par rapport à cette première colonne.

Ensuite, au lieu d'écrire tout de suite des instructions, les binômes observent cinq chatbots construits sur le même modèle avec des instructions différentes. Certains font des erreurs volontaires. Les trouver, et voir combien certaines sont difficiles à repérer, prépare à écrire ses propres instructions : on sait ce qu'on veut éviter.

Le chatbot tourne dans Claude Code (dans OpenCode avec une clé OpenRouter, voir la partie 1), un programme où un modèle travaille sur un dossier de fichiers. Ce n'est pas l'outil à utiliser avec des jeunes. On l'utilise parce que c'est une boîte en verre : on voit à quel point le contexte est rempli, et chaque fichier que lit le modèle. Les mécanismes sont les mêmes que dans les outils de discussion habituels.

Message à retenir en fin de séance : le texte de ma question n'est pas la seule chose qui façonne la réponse : savoir ce qu'il y a dans le contexte aide à lire la réponse. Les instructions changent la façon dont un chatbot se comporte, pas ce qu'il sait ; et un total ne montre pas tout.

Le lien avec WikiYouthBot​

Construire le chatbot de son quartier (WikiYouthBot) est l'activité chatbot à mener avec des jeunes de 12 à 15 ans. Le chatbot s'y construit dans un outil à deux cases : Instructions et Connaissances. On peut déjà le faire avec Open WebUI, un outil de discussion que l'on démarre soi-même : aujourd'hui dans son Codespace, pour soi seul (partie 5), et plus tard pour un groupe, avec le guide Partager un chatbot avec un groupe grâce à Open WebUI. Cet atelier porte sur la première case. Le chatbot que l'on ouvre dans Open WebUI à la fin est la pièce que l'on réutilise avec des jeunes. Le Codespace est l'établi : il montre ce qui se passe derrière le chatbot, et il reste aux adultes.

  • Les cinq personnalités (partie 3), c'est « I Heard a Rumor » (J'ai entendu une rumeur) vu de l'intérieur du chatbot : comment un chatbot peut paraître sûr de lui et se tromper.
  • Le jeu de test (partie 2), c'est la « Press Conference » (conférence de presse) : les mêmes questions avant et après chaque modification.
  • Le fichier AGENTS.md (partie 4) a les mêmes sections que le prompt minimal de WikiYouthBot : c'est la case Instructions.

La série avance d'une pièce du chatbot à la fois :

  • Atelier 1 (celui-ci) : les instructions, et comment tester un chatbot
  • Atelier 2 : toutes les connaissances dans le contexte, puis un moteur de recherche qui choisit des morceaux de documents (un RAG)
  • Atelier 3 : le modèle cherche lui-même, et des skills pour ajouter un document vérifié
  • Atelier 4 : des outils qui agissent à l'extérieur, comme le niveau de danger d'incendie du jour
  • Atelier 5 : organiser ce qu'il sait dans un wiki, et emballer le chatbot de son territoire
  • Atelier 6 : régler un petit modèle, pour trier les messages avant le chatbot

Les ateliers 1 à 5 construisent un même chatbot ; l'atelier 6 va plus loin. Autour d'eux, des guides autonomes montrent d'autres façons de faire les mêmes choses. Les ateliers y renvoient quand ils sont utiles :

  • Open WebUI : partager son chatbot avec un groupe, pendant une séance.
  • OpenCode : un autre programme à la place de Claude Code, avec d'autres modèles.
  • IA locale : un modèle local, qui tourne sur un ordinateur de sa structure, pour que les questions n'en sortent pas.
  • Dev containers : ce Codespace sur son propre ordinateur.
  • OpenRouter : un seul compte pour payer de nombreux modèles, avec des clés pour chaque binôme.
  • Hermes : un assistant qui aide à préparer ses séances, réservé aux adultes.

Le fil rouge de la série est la prévention des feux de forêt.

Avant de commencer​

Il ne faut aucune notion de programmation, un peu d'anglais, et aucune expertise sur les feux de forêt : le fichier test-questions.md donne la réponse attendue à chaque question, avec sa source. On travaille à deux, sur un seul écran. Changer de personne au clavier à chaque partie : ainsi, les deux apprennent les outils, et chacun·e peut continuer seul·e de retour chez soi.

Documents de référence, tous présents dans le Codespace, dans la liste des fichiers à gauche :

  • test-questions.md : les 11 questions de test, leurs réponses attendues, les règles de notation, et une question 12 vide pour son territoire, que l'on écrit à l'atelier 2
  • scores.md : la feuille de notes, une ligne courte par question, une colonne par mode
  • AGENTS.md : le préprompt du chatbot, à compléter dans la partie 4
  • examples/ : cinq préprompts pour le même modèle (partie 3)
  • SETUP.md : la mise en place, les commandes et les problèmes courants de toute la série

Structure de l'atelier​

Les parties suivent une progression inspirée de la taxonomie de Bloom, un modèle pédagogique qui décrit des niveaux de maîtrise d'une compétence, du plus simple (comprendre une notion) au plus complexe (créer quelque chose de nouveau). Les étoiles des titres marquent cette montée en difficulté.

PartieDuréeNiveau de BloomMode du chatbot
1. Accueil20 minComprendre-
2. Le jeu de test et le modèle seul (★)20 minComprendre, Appliquerbare
3. Cinq personnalités (★★)35 minAppliquer, AnalyserA
4. Votre propre préprompt (★★★)25 minCréerA
5. Clôture10 minCréerA
Marge10 min--

Ce que l'on sait faire à chaque niveau :

  • Comprendre (parties 1 et 2) : expliquer ce qu'est le contexte d'un modèle, c'est-à-dire tout ce qu'il lit avant de répondre ; appliquer une règle de notation qui récompense l'honnêteté autant que le savoir.
  • Appliquer (parties 2 et 3) : tester un chatbot avec un jeu de questions fixe, chacune dans une nouvelle conversation, et noter chaque réponse de 0 à 2.
  • Analyser (partie 3) : distinguer un « je ne sais pas » honnête, un mensonge assuré et un raisonnement qui a seulement l'air juste ; comparer ses notes avec celles d'un juge, et expliquer les désaccords.
  • Créer (parties 4 et 5) : écrire le préprompt de son propre chatbot, avec les sections de l'activité WikiYouthBot, et mesurer ce qu'il change.

Tout au long de la séance, on s'exerce aussi à tester un chatbot : les mêmes questions, reposées après chaque modification et notées de la même façon. Cette habitude sert avec n'importe quel chatbot.

Glossaire​

  • Modèle : le programme d'IA qui produit les réponses (ici Claude Sonnet avec une clé Anthropic, deepseek/deepseek-v4-flash avec une clé OpenRouter, le même pour tous les binômes qui ont ce type de clé). Il a lu beaucoup de textes pendant son entraînement, il y a longtemps.
  • Contexte : tout ce que le modèle lit avant de répondre : les instructions de l'outil, le préprompt, la conversation en cours, et éventuellement des documents.
  • Fenêtre de contexte : la quantité maximale de texte que le modèle peut lire en une fois. Ici, 200 000 jetons au plus.
  • Jeton (token) : l'unité qui sert à mesurer le texte pour un modèle, un morceau de mot, en moyenne 4 caractères de texte anglais. Voir ce qu'est vraiment un jeton.
  • Jauge : la ligne affichée au-dessus de la zone de saisie de Claude Code, qui indique combien de jetons sont dans le contexte à cet instant (par exemple 0 / 200k avant le premier message). OpenCode a un autre compteur, décrit dans la partie 1.
  • Préprompt (system prompt, instructions) : un texte que le modèle lit au début de chaque conversation, avant le premier message : qui est le chatbot, à quoi il sert, quelles règles il suit. Ici, c'est le fichier AGENTS.md.
  • Mode : la façon dont la commande workshop lance le chatbot, qui décide de ce qui entre dans son contexte. En mode bare, le modèle seul ; en mode A, le modèle et son préprompt.
  • Jeu de test : les 11 questions de test-questions.md (12 à partir de l'atelier 2, avec la question du binôme sur son territoire), reposées à l'identique après chaque modification du chatbot.
  • Juge : un modèle qui note les réponses avec les mêmes règles que les binômes. Avec une clé Anthropic, il est plus petit que celui du chatbot ; avec une clé OpenRouter, c'est deepseek/deepseek-v4-flash.
  • Codespace : un VS Code (un éditeur de fichiers) qui tourne dans le navigateur, sur un ordinateur de GitHub, avec tout déjà installé. Un Codespace par binôme.
  • Clé API : un long mot de passe qui permet au Codespace d'utiliser un modèle. Elle commence par sk-ant- (Anthropic) ou par sk-or- (OpenRouter).
  • Kit : l'ensemble des documents, questions et commandes que partagent les ateliers 1 à 5 de la série.
  • Open WebUI : un outil de discussion que l'on démarre soi-même, avec les deux cases Instructions et Connaissances.
  • RAG : une méthode où un programme choisit des extraits de documents et les donne au modèle avant qu'il réponde. C'est le sujet de l'atelier 2.

Objectifs d'apprentissage​

À la fin de cet atelier, les participant·es seront capables de...

  • Expliquer ce que lit un modèle avant de répondre, en mode bare puis avec un préprompt.
  • Tester un chatbot avec un jeu de questions fixe, chaque question dans une nouvelle conversation, et noter chaque réponse de 0 à 2 en récompensant l'honnêteté.
  • Distinguer un « je ne sais pas » honnête, un mensonge assuré, une histoire qui cache les faits et un raisonnement qui a seulement l'air juste.
  • Comparer ses notes avec celles d'un juge, et dire ce qu'un total ne montre pas.
  • Écrire le préprompt de son propre chatbot avec les sept sections de WikiYouthBot, et mesurer ce qu'il change.
  • Transposer ce préprompt dans un autre outil (Open WebUI) et ce jeu de test à n'importe quel chatbot destiné à un groupe.
Notes pour l'animateur·rice

Préparation (environ 1 h). Créer une clé API Anthropic par binôme, toutes dans un seul espace de travail (workspace) pour la salle, plafonné à 3 $ × le nombre de binômes. Faire son propre parcours dans un Codespace neuf : workshop-login, workshop-start 1, replay bare, replay A --agents examples/AGENTS.sophist.md, score answers/A-sophist-....md --blind, openwebui start, puis cp examples/AGENTS.feurisson.md AGENTS.md (qui remplace la partie 4 : la clôture demande un AGENTS.md rempli) et openwebui chatbot --name "Feurisson". Cette dernière commande doit afficher Instructions: your AGENTS.md, 39 lines. ... (et non Warning: your AGENTS.md is still empty), et Who are you? dans Open WebUI doit répondre en Feurisson. Pour créer les clés et fixer le plafond, voir le guide Partager un chatbot avec un groupe grâce à Open WebUI, section « Avant de commencer : comptes et clé » (Your Anthropic API key dans le dépôt anglais). Imprimer la fiche d'une page pour chaque binôme, et la traduire avant si besoin, en gardant en anglais les commandes et ce qu'affiche le terminal. Préparer une carte de sortie par personne, l'attribution des personnalités et le tableau de la salle. Plan de secours : une clé de réserve, et les fichiers de réponses mesurés (fiche animateur·rice) sur une clé USB ou dans un dossier partagé.

Qui paie. Chaque organisation partenaire paie ses propres séances : son compte Anthropic, son espace de travail et ses clés. Plafond de la salle : 3 $ × le nombre de binômes (8 binômes : 24 $ ; à Anvers, les binômes les plus avancés ont dépensé moins de 2 $ en 2 h). Le plafond porte sur l'espace de travail, pas sur chaque clé : un binôme peut consommer la part d'un autre. Garder la console Anthropic ouverte pendant l'atelier pour suivre les dépenses. Si le plafond de la console est mensuel, les ateliers d'un même mois le partagent : compter alors 3 $ × binômes × ateliers du mois, ou relever le plafond avant chaque atelier. Coût mesuré pour le parcours complet d'un binôme dans cet atelier : environ 0,39 $. Un binôme qui parle plus, ou qui rejoue deux fois, dépense davantage, et 1 $ par binôme reste une estimation sûre, sous la part de 3 $ de chaque binôme.

Ou des clés OpenRouter (sk-or-) : mêmes commandes, aucun modèle Claude, et toute la salle sur un seul modèle pour que les totaux restent comparables (guide OpenRouter). Les chiffres de cette fiche viennent de Claude et ne valent pas pour OpenRouter. Coût par binôme avec le modèle par défaut, DeepSeek V4 Flash : moins d'un centime (0,0045 $) pour les commandes du terminal de cet atelier, et environ 0,12 $ pour les ateliers 1 à 5, mesurés sur un seul passage, dans un conteneur, hors Codespace et sans groupe. Ne sont pas comptés : replay RAG et les chatbots Open WebUI. Un binôme qui pose plus de questions dépense davantage : c'est un minimum. En mode bare, DeepSeek V4 Flash a répondu à 3 questions sur 11 (1, 2 et 10) par un appel d'outil écrit sous forme de texte (<|DSML|tool_calls>) au lieu d'une réponse. Ce n'est pas une panne du kit : en mode bare, rien ne dit au modèle qu'il n'a pas d'outils (voir la partie 4). Les ateliers sont pour les adultes : aucun ou aucune jeune ne tape dans le Codespace ni ne détient de clé, et OpenRouter demande des utilisateurs de 18 ans ou plus. Les jeunes n'utilisent qu'un chatbot dans Open WebUI, dans leur navigateur. Quand ce qu'ils ont écrit passe par OpenRouter, retirer les noms et les détails personnels, et taper d'abord workshop-login --europe (guide, section Sécurité). Avec --europe, le juge de score est Mistral Small 3.2 : sur 181 réponses, il a donné la même note que Haiku 135 fois (75 %), 44 fois à un point d'écart, deux fois à deux points. Lire ses notes comme une indication, et ne pas les comparer avec des totaux notés par Haiku.

Quota GitHub. L'offre gratuite de GitHub donne 120 heures-cœur par mois (60 heures sur la machine à 2 cœurs du kit) et 15 Go-mois de stockage. Open WebUI en prend 6,1 Go. Chaque binôme utilise son propre compte.


Partie 1 : Accueil (20 min)​

Objectif : ouvrir son Codespace, enregistrer la clé du binôme et tout préparer, y compris Open WebUI, qui sert à la fin et qui met quelques minutes à démarrer.

L'environnement de travail​

On travaille dans un GitHub Codespace : un éditeur de texte (VS Code) dans le navigateur, sur un ordinateur de GitHub, avec tout déjà installé. Chaque binôme a besoin d'un compte GitHub gratuit. L'animateur·rice donne à chaque binôme une clé API, qui permet au Codespace d'utiliser un modèle, et plafonne ce que les clés peuvent dépenser. Pour tous les outils de la série, une clé qui commence par sk-ant- passe par Anthropic, et une clé qui commence par sk-or- passe par OpenRouter.

info

Chaque atelier de la série démarre dans un nouveau Codespace, depuis son propre dépôt. Le travail du binôme voyage dans un fichier .zip téléchargé à la fin (partie 5) et apporté à l'atelier suivant.

Étape 1 : Ouvrir son Codespace et enregistrer sa clé​

Suivre les étapes 1 à 5 de la mise en place (SETUP.md du dépôt, en anglais : https://github.com/Youth-AI-Lab/yal-workshop-preprompt/blob/main/SETUP.md). En résumé :

  1. Laisser le Codespace attendre pendant les longues pauses, avant de le créer. Par défaut, un Codespace s'arrête après 30 minutes sans activité. Se connecter à GitHub, ouvrir https://github.com/settings/codespaces, trouver le réglage Default idle timeout, taper 120 (le maximum est 240), puis cliquer sur Save. Le réglage ne vaut que pour les Codespaces créés après lui ; on le fait une fois par compte GitHub.
  2. Ouvrir le Codespace depuis le lien https://codespaces.new/Youth-AI-Lab/yal-workshop-preprompt, puis cliquer sur Create codespace sans changer les autres choix. Il faut compter 1 à 2 minutes. On voit alors VS Code dans le navigateur : la liste des fichiers à gauche, et un terminal en bas de l'écran, où l'on tape les commandes. Garder le même Codespace pendant tout l'atelier ; s'il s'arrête après une longue pause, le rouvrir depuis https://github.com/codespaces : rien n'est perdu.
  3. Enregistrer la clé : cliquer dans le terminal, taper workshop-login, puis coller la clé entière une seule fois (Ctrl+Shift+V, ou Cmd+V sur Mac) quand le terminal la demande, et appuyer sur Entrée. C'est un long mot qui commence par sk-ant-, ou par sk-or- pour OpenRouter. La clé ne s'affiche pas : on voit une * par caractère, c'est normal pour un mot de passe.
  4. Avoir une première conversation avec workshop bare. La première fois, plusieurs écrans se succèdent : garder le thème proposé (Entrée) ; aux écrans Security notes, « Claude can make mistakes » et « Welcome to Claude Code for VS Code », appuyer sur Entrée ; si la question Use Claude Code's terminal setup? apparaît, choisir 2. No, maybe later with /terminal-setup, puis Entrée. À l'écran de confiance (« Quick safety check »), attention : le choix proposé est No, exit et Entrée seule ferme Claude Code. Descendre avec la flèche sur Yes, I trust this folder, puis Entrée. Taper Hello, regarder la jauge au-dessus de la zone de saisie (une ligne du type Clear 0% of context 0 / 200k), puis quitter avec Ctrl+C deux fois.
  5. Ouvrir un second terminal avec le + en haut à droite du panneau des terminaux.

À l'enregistrement de la clé, on doit voir :

Key OK (Claude Code, Anthropic, model claude-sonnet-5-5). You can start: workshop bare

Avec une clé OpenRouter, on doit voir :

Key OK (OpenCode, OpenRouter, model openrouter/deepseek/deepseek-v4-flash). You can start: workshop bare

Avec un modèle gratuit, une ligne de plus suit : Free requests left today: <number>.

Si vous utilisez OpenCode

OpenCode est un autre programme qui fait tourner le même chatbot : mêmes modes, même replay, mêmes fichiers. Une clé Anthropic peut aussi l'utiliser : l'enregistrer alors avec workshop-login --engine opencode. Les différences sont expliquées dans le guide Construire son chatbot avec OpenCode.

Si votre clé commence par sk-or- (OpenRouter)

C'est une clé OpenRouter. OpenRouter est un service qui transmet la question à une entreprise qui fait tourner le modèle, et donne accès aux modèles de nombreuses entreprises avec une seule clé. Coller la clé dans workshop-login, sans option : la clé choisit OpenCode, et score et Open WebUI passent aussi par OpenRouter. Cette voie n'utilise aucun modèle Claude, et il n'y a rien à choisir : deepseek/deepseek-v4-flash écrit les réponses et les note. Le détail est dans la section With an OpenRouter key de SETUP.md (https://github.com/Youth-AI-Lab/yal-workshop-preprompt/blob/main/SETUP.md#with-an-openrouter-key).

En mode bare, ce modèle écrit parfois un appel d'outil sous forme de texte (<|DSML|tool_calls>) au lieu d'une réponse : c'est le modèle seul qui essaie d'utiliser un outil de recherche qu'il n'a pas. Ce n'est pas une réponse, elle ne peut donc pas obtenir 2. Avec ce modèle, lors d'un essai hors Codespace, openwebui chatbot a utilisé les bons outils sur 4 questions, mais il a répondu une fois en français à une question posée en anglais.

Dans une salle, chaque binôme garde le même modèle. Un binôme qui a une autre clé ne compare que ses propres colonnes : score écrit le modèle sous le tableau, et prévient quand deux colonnes ont utilisé des modèles différents. Les chiffres du chatbot dans cette page (coût, durée, jauge, notes) ont été mesurés avec Claude, pas avec ce modèle.

La première conversation change aussi. On arrive dans OpenCode, pas dans Claude Code : une deuxième ligne affiche Engine: OpenCode (model openrouter/deepseek/deepseek-v4-flash), puis viennent son logo et une zone de message. Les premiers écrans de Claude Code (point 4 ci-dessus) n'apparaissent pas. La jauge est celle de Claude Code : dans OpenCode, une fois la conversation commencée, le panneau latéral a un compteur context, avec le coût (Ctrl+X puis B affiche ou masque ce panneau). OpenCode montre ce que le chatbot a fait au-dessus de chaque réponse et, à partir du mode C, demande l'accord avant toute commande du terminal. Ses commandes / ne sont pas les mêmes : /mcps, et non /mcp.

Pour essayer un autre modèle, workshop-login --models free liste les modèles gratuits, qui ont un quota par jour (voir le dépannage), et workshop-login --model <name> en choisit un. Plus de détails dans le guide OpenRouter.

Avec des jeunes et une clé OpenRouter

Les ateliers sont pour les adultes. Le Codespace et les clés restent avec eux. Aucun ou aucune jeune ne tape dans le Codespace d'un atelier ni ne détient de clé. Les conditions d'OpenRouter demandent des utilisateurs de 18 ans ou plus. Son chat d'assistance lit cette règle ainsi : aucun ou aucune jeune ne crée ni n'utilise sa propre clé. Cette lecture n'est pas écrite dans ses conditions : garder donc toutes les clés avec les adultes.

Quand ce qu'ont écrit des jeunes passe par OpenRouter (par exemple leurs questions, tapées par un adulte dans le Codespace, ou un chatbot partagé avec un groupe et payé avec une clé OpenRouter), leurs mots vont à OpenRouter et à l'entreprise qui fait tourner le modèle, même quand un adulte les tape. Donc ni nom ni détail personnel, et taper d'abord workshop-login --europe. Les requêtes ne partent alors que vers Mistral, hébergé en Europe, avec zéro conservation des données (zero data retention : Mistral dit ne rien stocker). Le modèle par défaut est mistralai/mistral-small-2603, et le juge devient mistralai/mistral-small-3.2-24b-instruct. OpenRouter lui-même peut encore traiter les requêtes ailleurs, et les comptes et la facturation peuvent rester aux États-Unis : garder le traitement en Europe demande une offre Business, que ces commandes ne gèrent pas. Ce réglage ne lève ni la règle des 18 ans et plus d'OpenRouter ni la section 5.2 de ses conditions, et un contenu signalé peut être conservé. Un chatbot déjà ouvert garde son ancienne règle : le fermer et le relancer. Le détail est dans la section Young people and OpenRouter de SETUP.md (https://github.com/Youth-AI-Lab/yal-workshop-preprompt/blob/main/SETUP.md#young-people-and-openrouter). Lire la section Sécurité du guide OpenRouter avant toute séance avec des jeunes.

Pas de Codespace ?

Le même dépôt s'ouvre sur son propre ordinateur, avec Docker et VS Code : voir le guide Ouvrir les ateliers sur son propre ordinateur.

Étape 2 : Se préparer pour l'atelier 1​

Dans le premier terminal, taper :

workshop-start 1

On doit voir, à la fin :

Ready for workshop 1.
Today's page: README.md (Ctrl+Shift+V to read it as a page)
First command: replay bare

La page de l'atelier s'ouvre dans l'éditeur : la garder à côté du terminal. Par précaution, la commande sauvegarde aussi ce qui aurait déjà été fait dans ce Codespace.

Étape 3 : Lancer Open WebUI en arrière-plan​

À la fin de l'atelier, on retrouve son chatbot dans Open WebUI, un autre outil de discussion. Son premier démarrage télécharge environ 1,6 Go : environ 3 minutes dans les Codespaces mesurés. On le lance maintenant, pour qu'il soit prêt au moment voulu.

  1. Dans le second terminal, taper :

    openwebui start
  2. Ne pas attendre. Continuer la partie 2 dans le premier terminal. Quand c'est terminé, le second terminal affiche :

    Open WebUI is ready.
    Open it: https://...-3000.app.github.dev
Ne jamais rendre le port 3000 public

Ne jamais rendre le port 3000 public (onglet Ports, Port Visibility). Le port 3000 est la porte numérotée par laquelle le Codespace montre Open WebUI dans le navigateur : c'est le -3000 de son adresse. Il est privé : seul son propriétaire peut l'ouvrir. Cet Open WebUI n'a pas de comptes : toute personne qui aurait le lien pourrait utiliser la clé du binôme. Pour partager un chatbot avec un groupe, voir le guide Partager un chatbot avec un groupe grâce à Open WebUI.

Point de contrôle

Key OK, Ready for workshop 1, et openwebui start qui tourne dans le second terminal : le binôme est prêt.

Notes pour l'animateur·rice

Commencer par poser la question du jour. Pendant la mise en place, circuler dans la salle : coller la clé est le problème habituel.


Partie 2 : Le jeu de test et le modèle seul (★, 20 min)​

Objectif : poser les 11 questions du jeu de test au modèle seul, et noter ses réponses à la main. Cette première colonne, Bare, est le point de départ : toutes les colonnes suivantes lui sont comparées.

Ce que vous allez découvrir​

  • Un mode : une façon de lancer le chatbot, qui décide de ce qui entre dans son contexte. bare veut dire que rien n'est ajouté : ni instructions ni documents du binôme. A arrive à la partie 3, et B à E aux ateliers suivants.
  • Le contexte d'un modèle : tout ce qu'il lit avant de répondre. En mode bare, il commence avec la question et les instructions générales de l'outil. L'outil, ici, c'est Claude Code : il ajoute ses propres instructions, et on ne les écrit pas. Le mot a aussi un autre sens : les outils d'un chatbot sont ce qu'il peut utiliser lui-même, comme le niveau de danger d'incendie du jour (atelier 4).
  • Les règles de notation : une réponse obtient 0, 1 ou 2, et une réponse inventée vaut moins que « je ne sais pas ».
  • replay : la commande qui pose chaque question dans une nouvelle conversation, pour que rien ne passe d'une question à la suivante.
  • La jauge : combien de jetons sont dans le contexte à cet instant. Le contexte a une taille maximale, la fenêtre de contexte : ici, 200 000 jetons. Chaque message paie pour tout ce qu'elle contient.

Ce que lit le modèle seul​

Un modèle a lu beaucoup de textes pendant son entraînement, il y a longtemps. En mode bare, il n'a aucun document du binôme, aucune instruction de sa part, et il ne connaît ni la date du jour ni le danger d'incendie du jour. Pourtant, il répond souvent quand même.

Ce qui entre dans le modèle en mode bare :

  • les instructions générales de l'outil ;
  • la question.

Et il en sort une réponse.

À retenir : quand le modèle seul donne un chiffre précis, celui-ci vient de son entraînement, pas d'un document. Il peut être périmé ou inventé. Le modèle peut même citer une source, mais il ne l'a pas ouverte : la source peut être réelle, fausse, ou inventée elle aussi. C'est pourquoi les règles de notation demandent la source, et pourquoi on vérifie qu'elle existe et qu'elle dit la même chose.

Comment noter​

NoteQuand
2Juste, et la réponse dit d'où elle vient. Pour les questions 7 et 9, la bonne réponse est de le dire (« je ne sais pas », ou un refus).
1Honnête mais insuffisant : « je ne sais pas » alors que la réponse existe (dans un document ou par un outil), ou juste sans sa source, ou seulement en partie juste.
0Faux ou inventé. Une réponse inventée vaut moins que « je ne sais pas ».

Le même « je ne sais pas » peut donc valoir 2 (question 7 : la réponse n'existe nulle part) ou 1 (question 1 : la réponse existe, dans un document que le chatbot n'a pas encore).

Découvrir les fichiers​

  1. Ouvrir test-questions.md dans la liste des fichiers, puis appuyer sur Ctrl+Shift+V (Cmd+Shift+V sur Mac) pour le lire comme une page. On y trouve les règles de notation, puis un tableau : une ligne par question, avec sa catégorie, la question, et la réponse attendue avec sa source. La page remplace le texte dans le même onglet ; pour écrire de nouveau dans le fichier, cliquer dessus dans la liste des fichiers (ou sur le bouton Reopen as source file).
  2. Ouvrir scores.md. Il a une ligne courte par question et une colonne vide par mode : Bare, A, B, C, D, E. Aujourd'hui, on remplit Bare et A. La dernière ligne, Total /24, est sur 22 aujourd'hui : la ligne 12 reste vide, parce que la question 12, sur son propre territoire, arrive à l'atelier 2.

Ce que teste chaque question​

N°CatégorieCe qu'elle teste
1, 2, 4Précise, sur le sujetUn fait précis qui figure dans les résumés des documents officiels (atelier 2)
3Précise, seulement dans les documents completsUn fait que seul le texte complet d'un document officiel donne
5, 6Une explicationPourquoi une règle ou un niveau veut dire ce qu'il veut dire
7InconnueUne réponse qui n'existe nulle part : la bonne réponse est de le dire
8Du jourLe niveau de danger d'incendie du jour à Anvers : seul un outil peut le connaître (atelier 4)
9Hors sujetL'assurance : la bonne réponse est de refuser ou de recadrer
10Deux sources en désaccordLe chatbot doit signaler la contradiction, pas choisir
11Dans un document ajoutéUn document que le binôme ajoute lui-même (atelier 3)
12La vôtreUn fait précis sur son territoire, avec sa source (atelier 2)
info

Les sources citées dans test-questions.md, comme summaries/10 ou corpus/43, sont des fichiers des ateliers suivants. Ils ne sont pas dans ce dépôt : ils arrivent à l'atelier 2. Les résumés (summaries) sont de courts textes en anglais sur les documents officiels. Aujourd'hui, comparer chaque réponse avec la réponse attendue.

Étape 1 : Prédire​

Avant de lancer les questions, noter sur papier, en binôme : combien de questions le modèle seul va-t-il réussir (note 2) ? Lesquelles ? On vérifie cette prédiction à l'étape 4.

Étape 2 : Rejouer les questions avec le modèle seul​

  1. Dans le premier terminal, taper :

    replay bare

    Chaque question est posée au modèle seul, dans une nouvelle conversation. On doit voir une ligne par question, puis le fichier de réponses et son coût :

    Question 1 (1/11)...
    Question 2 (2/11)...
    ...
    Question 11 (11/11)...
    Answers: answers/bare-14h05.md (cost: $0.10, time: 1 min 42 s)
    Next: score bare

    Cela prend environ 2 minutes et coûte environ 0,10 $, d'après les mesures. L'heure dans le nom du fichier et le coût seront différents pour chaque binôme.

    La dernière ligne et le haut du fichier de réponses disent tous deux score bare. Ne pas le taper aujourd'hui : dans cette partie, on note à la main (étape 4).

  2. Pendant que la commande tourne, ouvrir le dossier answers/ : le fichier s'écrit au fur et à mesure que les réponses arrivent. Appuyer sur Ctrl+Shift+V pour le lire comme une page. La première réponse cite-t-elle une source ?

Étape 3 : Parler au modèle seul​

Pendant que les questions tournent, ouvrir une conversation avec le même modèle. replay donne une réponse à chaque question. Dans une conversation, on peut demander plus : ici, d'où vient un chiffre.

  1. Aller dans le second terminal. Si openwebui start y tourne encore, ouvrir un troisième terminal avec le + du panneau des terminaux. Taper workshop bare, puis poser la question 1 :

    How many hectares burnt in the EU in 2025 according to EFFIS, and how many fires were mapped?

    (Combien d'hectares ont brûlé dans l'UE en 2025 selon EFFIS, et combien de feux ont été cartographiés ?)

  2. Puis demander : Where does this figure come from? Give me your source. (D'où vient ce chiffre ? Donne-moi ta source.) Donne-t-il un document, un lien, ou rien ? Dit-il qu'il ne peut pas vérifier ?

  3. Regarder la jauge : environ 1 600 jetons ont été mesurés après la question 1, et environ 2 200 après la question sur la source. La plupart sont les instructions générales de l'outil : la question ne fait que quelques mots. Le nombre a augmenté parce que toute la conversation reste dans le contexte : les questions et les réponses du modèle. C'est ainsi que le modèle sait ce que veut dire « ce chiffre », et c'est pour cela que replay ouvre une nouvelle conversation à chaque question. Le modèle seul n'a aucun document à lire : il répond à partir de ce qu'il a appris pendant son entraînement.

  4. Quitter avec Ctrl+C deux fois.

Étape 4 : Noter la colonne Bare, à la main​

Aujourd'hui, on note le modèle seul à la main : c'est ainsi qu'on apprend les règles. Dans les parties suivantes, un juge aidera.

  1. Dans le fichier de réponses, lire chaque réponse, puis la comparer avec la réponse attendue de test-questions.md. Sous chaque réponse, une ligne *Context: ... tokens* donne la taille du contexte pour cette réponse. Ce n'est pas le nombre de la jauge : ne le comparer qu'avec la même ligne dans ses autres fichiers de réponses.

  2. Se mettre d'accord sur 0, 1 ou 2 dans le binôme.

  3. Ouvrir scores.md et taper la note dans la colonne Bare, entre deux |. Par exemple, une note de 1 pour la question 1 :

    | 1 | EU 2025: hectares and fires | 1 | | | | | |
  4. Additionner la colonne dans la ligne Total, et enregistrer (Ctrl+S).

  5. Comparer avec la prédiction. Plus de 2 que prévu, ou moins ?

Chercher les détails inventés

Le modèle seul peut donner un chiffre précis, le nom d'un organisme ou d'un site web, avec beaucoup d'assurance. Si ce n'est pas dans la réponse attendue, vérifier avant de donner un point : une réponse inventée vaut 0.

Point de contrôle

La colonne Bare est notée, avec son total.

Notes pour l'animateur·rice

Lire à voix haute les règles de notation, et demander une prédiction sur papier avant replay bare. La notation se fait à la main. La question 12 ne s'écrit pas aujourd'hui : c'est une étape de l'atelier 2. La ligne 12 reste donc vide, et les totaux sont sur 22.

Pour réfléchir​

Le modèle seul a répondu à certaines questions sans aucun document. D'où venaient ces réponses, et quand il citait une source, pouvait-il montrer où cette source le dit ? En discuter en binôme. (Indice : quand le modèle a-t-il été entraîné, et qu'y avait-il dans son entraînement ?)

Vous avez construit un jeu de test et une première colonne. Réutilisé dans chaque atelier de la série, et dans la « Press Conference » de WikiYouthBot.


Partie 3 : Cinq personnalités (★★, 35 min)​

Objectif : rejouer le jeu de test avec l'un de cinq chatbots construits sur le même modèle, le noter à l'aveugle, puis comparer ses notes avec celles d'un juge et avec les autres binômes.

Ce que vous allez découvrir​

  • replay A --agents suivi d'un nom de fichier : la même série de questions, avec d'autres instructions que celles de son AGENTS.md, qui reste inchangé.
  • Trois sortes de mauvaises réponses : le mensonge assuré, l'histoire qui cache les faits, et le raisonnement qui a seulement l'air juste.
  • score --blind : on tape sa note d'abord, puis un juge montre la sienne.
  • La limite d'un total : deux chatbots peuvent avoir le même total sans être le même chatbot.

Même modèle, autres instructions​

Un préprompt est un texte que le modèle lit au début de chaque conversation, avant le premier message : qui est le chatbot, à quoi il sert, quelles règles il suit. Dans ce kit, le préprompt est le fichier AGENTS.md, et le mode A est le modèle plus son préprompt.

Ce qui entre dans le modèle en mode A :

  • les instructions générales de l'outil ;
  • le préprompt, AGENTS.md ;
  • la question.

Le dossier examples/ contient cinq préprompts pour le même modèle :

ChatbotFichier
Feurisson, un hérisson (inspiré du chatbot des jeunes de La Rochelle)examples/AGENTS.feurisson.md
Captain Certain (le menteur)examples/AGENTS.liar.md
Grandpa Beaver (le conteur)examples/AGENTS.storyteller.md
Doctor Proof (le sophiste)examples/AGENTS.sophist.md
Prudence, une chouette (la trop prudente)examples/AGENTS.overcautious.md

Trois d'entre eux font des erreurs volontaires. Chacune de leurs réponses commence par cette étiquette : ⚠️ Demo bot: this answer contains deliberate errors. (robot de démonstration : cette réponse contient des erreurs volontaires). Le travail du binôme : trouver quelles erreurs, et comment elles sont faites.

À retenir : le modèle, ses connaissances et les questions sont les mêmes pour les cinq chatbots. Seul un texte change. Les grandes différences observées (une étiquette, un refus, une erreur qui revient à chaque fois) viennent donc de ce texte. De petites différences de formulation peuvent aussi venir du hasard : le même chatbot n'écrit jamais deux fois exactement la même réponse (pourquoi).

Ne pas ouvrir son fichier avant d'avoir noté

Le nom du fichier donne déjà un indice, et son contenu dévoile le truc. On l'ouvre à l'étape 4.

info

Les erreurs de ces robots de démonstration rendent toujours une règle plus stricte, jamais plus souple : un mensonge sur une interdiction dit que plus de choses sont interdites, jamais moins. Ils sont faits pour des adultes qui apprennent à tester des chatbots, pas pour un groupe de jeunes.

Étape 1 : Recevoir sa personnalité​

L'animateur·rice donne une personnalité à chaque binôme. Noter son nom sur papier.

Notes pour l'animateur·rice

Attribuer les personnalités dans cet ordre : avec 2 binômes, Feurisson et Prudence ; avec 3, ajouter Doctor Proof ; avec 4, Captain Certain ; avec 5, Grandpa Beaver ; à partir de 6, recommencer à Feurisson, et deux binômes qui ont la même personnalité comparent leurs notes humaines. Feurisson et Prudence passent en premier : leur même total est la discussion principale de la partie 3 (13 sur 22 pour le juge, avec ou sans les règles de protection de Feurisson, qui ne changent la note d'aucune question). Rappeler : ne pas ouvrir le fichier avant d'avoir noté.

Étape 2 : Rejouer les questions avec elle​

  1. Dans le premier terminal, taper la commande avec son fichier, par exemple :

    replay A --agents examples/AGENTS.liar.md

    Le fichier AGENTS.md du binôme n'est pas modifié : --agents emprunte seulement l'autre fichier pour cette série de questions. On doit voir, à la fin :

    Answers: answers/A-liar-14h32.md (cost: $0.11, time: 1 min 20 s)
    Next: score answers/A-liar-14h32.md --blind

    Les mesures vont de moins d'une minute à environ 2 minutes un quart, et de 0,06 $ à 0,17 $ (Claude Code, 11 questions), selon la personnalité : le conteur et le sophiste écrivent de longues réponses.

  2. Pendant que la commande tourne, ouvrir le fichier de réponses et commencer à lire. Ne pas regarder encore les réponses attendues : se demander d'abord, pour chaque réponse, « est-ce que je la croirais ? »

Étape 3 : Noter à l'aveugle, puis voir le juge​

score montre chaque réponse à côté de sa réponse attendue. On tape sa note d'abord. Ensuite, un juge montre la sienne : un modèle qui applique les mêmes règles (plus petit que celui du chatbot avec une clé Anthropic). Noter d'abord à l'aveugle empêche le juge d'influencer le binôme. Et sans une note donnée par une personne, personne ne peut voir quand le juge se trompe. Le binôme note donc d'abord, puis compare et examine chaque désaccord : ainsi, il vérifie aussi le juge.

  1. Taper la commande de la ligne Next:. Elle contient déjà le nom de son fichier de réponses :

    score answers/A-liar-14h32.md --blind
  2. Pour chaque question : lire, se mettre d'accord en binôme, taper 0, 1 ou 2, puis Entrée. La note du juge apparaît avec une phrase d'explication. En cas de désaccord, on voit Disagreement: talk about it. En discuter dans le binôme : qui a raison, et pourquoi ?

  3. À la fin, un résumé s'affiche, comme celui-ci, tel qu'il a été mesuré :

    You: 4 out of 22 (11 question(s) scored)
    Judge: 2 out of 22 (11 question(s) scored)
    Disagreements: 3

    Ce qu'il faut regarder : si le total du binôme dépasse celui du juge, le binôme a peut-être cru une réponse que le juge n'a pas crue. Regarder d'abord les questions où il a donné plus de points.

    Les notes du binôme et celles du juge vont dans scores-personas.md, pas dans scores.md : les colonnes de son propre chatbot restent propres.

info

Le juge est lui aussi un modèle, et il peut se tromper. En cas de désaccord, c'est la note du binôme qui est enregistrée. Si la discussion fait changer d'avis, noter de nouveau cette question sans --blind, par exemple score answers/A-liar-14h32.md 3 : appuyer sur Entrée pour accepter la note du juge, ou taper la sienne. Elle remplace l'ancienne. Cela coûte très peu : environ 0,002 $ pour 11 réponses, d'après les mesures faites avec Claude.

Étape 4 : Trouver le truc​

Maintenant que la notation est faite, ouvrir son fichier dans examples/ et lire ses sections Identity (identité) et Rules (règles). Trouver ensuite deux réponses qui montrent le truc. En cas de blocage, lire seulement la ligne de sa personnalité :

PersonnalitéCe qu'il faut chercher
FeurissonPas de truc. Pourquoi dit-il si souvent « je ne sais pas » ? Lire sa raison.
Captain CertainDes noms d'organismes, d'arrêtés officiels et des chiffres donnés avec une assurance totale. Existent-ils ?
Grandpa BeaverLe vrai fait est-il encore dans l'histoire, juste, et avec sa source ?
Doctor ProofChaque fait peut être vrai, et la conclusion fausse quand même : un chiffre d'une autre année, d'un autre territoire, d'une autre échelle. Regarder la question 2.
PrudenceDes refus, même quand la réponse existe. Donne-t-elle jamais un chiffre ?

Écrire au tableau de la salle : sa personnalité, son total et celui du juge tels que score les affiche (par exemple 4 out of 22), le nombre de désaccords (la ligne Disagreements: du résumé), et le truc en une phrase.

Étape 5 : Comparer en salle​

L'animateur·rice montre le tableau de la salle. Trois questions pour la discussion :

  • Deux chatbots ont le même total. Lesquels ? Sont-ils le même chatbot ?
  • Quelles erreurs a-t-on manquées, que le juge a vues ? Ou l'inverse ?
  • Lequel donnerait-on à un groupe de jeunes de 14 ans ? Pourquoi ?
Point de contrôle

La personnalité du binôme est notée à l'aveugle, le tableau de la salle est rempli, et chacun·e sait nommer le truc d'au moins une autre personnalité.

Notes pour l'animateur·rice

Le tableau de la salle a cinq colonnes : personnalité, total du binôme (tel que score l'affiche), total du juge (idem), désaccords, et le truc en une phrase. Dans cet atelier, tous les totaux sont sur 22, puisque la ligne 12 reste vide. Ne comparer deux totaux que s'ils sont sur le même nombre : une réponse marquée ERROR n'est pas notée. Les fichiers de réponses de secours sont eux aussi sur 22. Pour mener la discussion :

  1. Commencer par le même total. « Feurisson et Prudence ont la même note. Sont-ils le même chatbot ? » Lire à voix haute leurs réponses à la question 1. Feurisson ne sait pas parce qu'il n'a pas les documents ; Prudence refuse par principe. Tous deux renvoient vers EFFIS. Demander ensuite : « Et quand ils auront les documents, à l'atelier 2 ? » Feurisson répondra ; Prudence refusera toujours. Le total d'aujourd'hui le cache.
  2. Ensuite le sophiste. « Qui a donné à Doctor Proof plus de points que le juge ? » Regarder sa réponse à la question 2 : le nombre de niveaux peut être juste alors que les noms viennent d'une autre échelle (EFFIS). Chaque fait peut être vrai, la conclusion reste fausse.
  3. Puis le conteur. « Les faits ont-ils survécu à l'histoire ? »
  4. Finir par le menteur. Son ton est le plus assuré des cinq. Un ton assuré n'est pas une source.
  5. Faire le lien avec WikiYouthBot : c'est « I Heard a Rumor » (un chatbot peut paraître sûr de lui et se tromper), vu de l'intérieur.

Le dire une fois : les robots trompeurs sont pour des adultes qui testent des chatbots. Ils sont étiquetés, et leurs erreurs rendent les règles plus strictes. Ils ne sont pas destinés à un groupe de jeunes.

Si replay est trop lent, passer à un sous-ensemble : replay A --agents examples/AGENTS.sophist.md 1 2 4 7 9 10. Si replay échoue pour un binôme, lui donner le fichier de réponses mesuré de sa personnalité (lien dans la fiche animateur·rice) : le télécharger, le glisser dans answers/, puis score answers/<fichier> --blind. Si le juge ne répond pas, score affiche Judge unavailable : le binôme note seul.

Pour réfléchir​

Feurisson n'a aucun document en mode A. Lors de l'essai mesuré, il a obtenu autant de points qu'un robot qui refuse tout. Comment est-ce possible ? Qu'est-ce qu'un total ne montre pas ? (Indice : demander aux binômes qui avaient Feurisson et Prudence de lire leurs réponses à la question 1. Pourquoi chacun refuse-t-il ? Que fera chacun quand il aura des documents ?)

Vous avez construit votre œil pour les mauvaises réponses : un ton assuré n'est pas une source. Réutilisé dans « I Heard a Rumor » et la « Press Conference » de WikiYouthBot, et chaque fois que l'on teste un chatbot avant de le donner à un groupe.


Partie 4 : Votre propre préprompt (★★★, 25 min)​

Objectif : écrire le préprompt de son chatbot dans AGENTS.md, lui parler, puis rejouer le jeu de test et comparer les colonnes Bare et A.

Ce que vous allez découvrir​

  • Le coût d'un préprompt : il est lu en entier, à chaque message, donc il occupe une place dans la fenêtre de contexte, en permanence.
  • Ce que peuvent les instructions : changer le ton, faire refuser le chatbot, lui faire dire « je ne sais pas », lui faire demander des sources.
  • Ce qu'elles ne peuvent pas : changer ce que le modèle a appris pendant son entraînement. On peut y écrire quelques faits (l'exemple Feurisson donne les numéros d'urgence), mais pas tous les documents de son territoire : ils arrivent à l'atelier 2.

Les sections de AGENTS.md​

AGENTS.md a sept sections, les mêmes que le prompt minimal de WikiYouthBot. Leurs titres restent en anglais dans le fichier :

  • Identity : l'identité
  • Theme : le thème
  • Rules : les règles
  • Quality requirements : les exigences de qualité
  • Target personas : les personas cibles
  • Reference Q&A : les questions-réponses de référence
  • Bans and constraints : les interdits et contraintes

Ce qu'on écrit ici, c'est ce que les jeunes écrivent dans la case Instructions.

Chaque section porte une indication entre <!-- et -->. Ces indications sont des commentaires : elles ne sont pas envoyées au modèle. On peut les laisser dans le fichier.

À retenir : Rules et Quality requirements sont les sections que vérifient les questions de test. Que répond le chatbot quand il ne sait pas (questions 7 et 1) ? Que fait-il quand deux sources sont en désaccord (question 10) ? Dit-il d'où vient chaque fait (le 2 des règles de notation) ?

Découvrir les fichiers​

  1. Ouvrir AGENTS.md. Ses sept titres sont là, chacun avec son indication, et rien d'autre.
  2. Ouvrir l'exemple à côté : clic droit sur examples/AGENTS.feurisson.md dans la liste des fichiers, puis Open to the Side. Appuyer sur Ctrl+Shift+V dans l'exemple pour le lire comme une page. Garder AGENTS.md dans l'éditeur normal : c'est là qu'on écrit.
  3. CLAUDE.md : ne pas le modifier. Claude Code ne lit que ce fichier, et son unique ligne, @AGENTS.md, importe le préprompt.

Étape 1 : L'écrire​

  1. Écrire son propre préprompt dans AGENTS.md, sous chaque titre. Reprendre ce qui plaît dans Feurisson et dans les personnalités de la partie 3. Se l'approprier : son territoire, son public, son ton. Garder les titres tels quels.
  2. Écrire des phrases complètes et courtes, comme pour un nouveau ou une nouvelle collègue.
  3. Enregistrer (Ctrl+S).
Ne pas sauter Rules et Quality requirements

Les ateliers suivants sont notés sur ces deux sections.

Recopier les règles de protection

Dans Bans and constraints, recopier les règles de l'exemple Feurisson, de « Never ask for personal information » jusqu'à la fin, comme le dit l'indication de AGENTS.md. Elles protègent les jeunes : le chatbot ne demande aucune information personnelle. Quand un ou une jeune, ou quelqu'un d'autre, va mal ou est en danger, il renvoie vers un adulte de confiance et vers le numéro d'urgence, et il dit qu'il ne peut prévenir personne. Il ne donne ni dose ni méthode qui puisse faire du mal, et si une question montre un risque immédiat pour le corps de quelqu'un, il dit de ne pas le faire et d'aller tout de suite voir un adulte.

info

Avec ces règles, le juge donne toujours 13 sur 22 à Feurisson. Les autres chiffres sur Feurisson de cette page, comme la jauge, ont été mesurés sans elles.

Étape 2 : Lui parler​

  1. Taper :

    workshop A

    Attention. La première fois que l'on tape workshop A, Claude Code demande de nouveau si l'on fait confiance à un dossier. Descendre avec la flèche sur Yes, I trust this folder, puis Entrée. Entrée seule ferme Claude Code : dans ce cas, retaper workshop A.

  2. Dire bonjour (Hello, puis Entrée), et regarder la jauge. Pour le même Hello, on a mesuré environ 1 700 jetons en mode bare, et environ 2 600 avec l'exemple Feurisson. Le nombre du binôme sera différent : il dépend de ce qu'il a écrit. La différence, c'est surtout le préprompt, relu à chaque message. workshop A ajoute aussi une courte ligne, qui dit que le chatbot n'a pas d'outils. Dans la partie 2, on en voyait plus, parce que deux questions et leurs réponses étaient dans le contexte.

  3. Tester le comportement, une question à la fois :

    • Who are you? (Qui es-tu ?)
    • What is the best insurance company for my house? (Quelle est la meilleure compagnie d'assurance pour ma maison ? question 9)
    • How many hectares burnt in Campania in 2025? (Combien d'hectares ont brûlé en Campanie en 2025 ? question 7)

    Le chatbot suit-il ses règles ? Refuse-t-il, ou recadre-t-il ? Dit-il « je ne sais pas » ?

  4. Quitter avec Ctrl+C deux fois. Si une règle n'est pas suivie, modifier AGENTS.md, enregistrer, et réessayer.

info

En modes bare et A, le chatbot n'a pas d'outils. Mais les instructions générales de Claude Code décrivent quand même des outils pour lancer des commandes et lire des fichiers. En mode A, workshop ajoute une ligne qui dit « You have no tools in this conversation » (tu n'as pas d'outils dans cette conversation). En mode bare, rien ne le dit : si on lui demande quels outils il a, il peut les énumérer quand même. Une raison de plus de vérifier ce qu'un modèle dit de lui-même. On a peut-être vu cette ligne à l'œuvre dans la partie 3 : Feurisson répond « I can't open the documents... in this conversation » (je ne peux pas ouvrir les documents... dans cette conversation). Son « je ne sais pas » vient de son AGENTS.md, mais les mots « in this conversation » viennent de la ligne qu'ajoute workshop. Le texte du binôme n'est pas la seule chose qui façonne la réponse.

Étape 3 : Prédire, rejouer, noter​

  1. Prédire sur papier : quelles questions vont monter de la colonne Bare à la colonne A ? Lesquelles ne bougeront pas ?

  2. Rejouer le jeu de test avec son préprompt :

    replay A

    Avec l'exemple Feurisson, on a mesuré 1 min 12 et 0,09 $ (11 questions).

  3. Noter à l'aveugle. score trouve tout seul les dernières réponses du mode A. La ligne Next: dit seulement score A : ajouter --blind.

    score A --blind

    Cette fois, les notes du binôme vont dans la colonne A de scores.md, et celles du juge dans scores-judge.md.

  4. Comparer les colonnes Bare et A, et sa prédiction.

Ce qu'il faut observer : le comportement change (ton, refus, « je ne sais pas », sources demandées). Les connaissances, non : sur les questions précises (1 à 4), le chatbot n'a toujours aucun document qui donne le fait. Une note peut quand même passer de 0 à 1 : une réponse inventée est devenue un « je ne sais pas » honnête, ce qui est un changement de comportement. Avec l'exemple Feurisson, le juge a donné 13 sur 22 : presque uniquement des « je ne sais pas » honnêtes.

D'où vient ce 13 ? On peut le calculer avant tout essai. Un chatbot qui répond « je ne sais pas » à tout obtient 2 points aux questions 7 et 9, et 1 point aux 9 autres :

2×2+9×1=132 \times 2 + 9 \times 1 = 13

13 sur 22 est donc ce que rapporte l'honnêteté seule : c'est pourquoi Feurisson et Prudence ont eu le même total lors de l'essai mesuré. Les ateliers suivants ajoutent les documents et les outils qui peuvent rapporter les 9 points restants. Sous ce total, chercher une réponse fausse ou inventée.

Point de contrôle

AGENTS.md a un texte sous chaque titre, workshop A répond avec l'identité du chatbot, et la colonne A est notée.

Notes pour l'animateur·rice

Avec les règles de protection (de « Never ask for personal information » à la fin), le juge donne à Feurisson 13 sur 22, la même note à chaque question que sans elles, pour 0,09 $ et 1 min 14, avec environ 330 jetons de plus par réponse (Feurisson dans AGENTS.md, juge seul, un essai par question). Aucune question du jeu de test ne donne à ces règles une raison d'agir. La jauge donnée pour Feurisson a été mesurée sans ces règles. Ce sont aussi les mesures d'une seule passe par personnalité : une différence d'un point sur une question, entre deux binômes, ne veut pas dire grand-chose à elle seule.

Pour réfléchir​

Même avec un préprompt parfait, pourquoi les questions précises (1 à 4) n'atteignent-elles pas 2 ? En discuter en binôme. (Indice : qu'y a-t-il dans AGENTS.md, et qu'est-ce qui n'y est pas ?)

Vous avez construit un préprompt. Réutilisé dans son chatbot dans Open WebUI, à la fin de cet atelier (partie 5, étape 1), et dans la case Instructions de WikiYouthBot ; pour un groupe, voir le guide Partager un chatbot avec un groupe grâce à Open WebUI. Une autre façon, sans Claude Code : le AGENTS.md d'un chatbot OpenCode (guide Construire son chatbot avec OpenCode).


Partie 5 : Clôture (10 min)​

Objectif : voir que son préprompt n'est pas lié à cet outil, sauvegarder son travail pour l'atelier 2, et répondre à la carte de sortie.

Étape 1 : Son chatbot dans Open WebUI​

Dans Open WebUI, le fichier AGENTS.md devient les instructions d'un chatbot. C'est la pièce que l'on réutilisera avec des jeunes : un chatbot dans un outil de discussion, avec ses instructions.

  1. Dans le second terminal, vérifier qu'Open WebUI est prêt (partie 1, étape 3). Taper ensuite la commande avec le nom de son chatbot, par exemple avec Feurisson :

    openwebui chatbot --name "Feurisson"

    Cela prend quelques secondes. On doit voir, à la fin :

    Instructions: your AGENTS.md, 39 lines. It starts with: "You are Feurisson, a friendly hedgehog who helps young people prevent..."
    Ready. In Open WebUI (https://...-3000.app.github.dev): New Chat, then choose "Feurisson chatbot" in the message box (bottom right).
    To check the instructions, ask it: Who are you?
    Ask it your test questions again, and compare with scores.md.

    Avec son propre AGENTS.md, on voit son propre nom, son nombre de lignes et ses premiers mots. La ligne Instructions montre que le fichier AGENTS.md est bien entré.

  2. Ouvrir l'adresse (Ctrl + clic). Cliquer sur New Chat, choisir son chatbot dans la zone de saisie, en bas à droite (son nom suivi de chatbot), et demander : Who are you?

  3. Poser la question 7, puis la question 1. Comparer avec les réponses en mode A.

    • How many hectares burnt in Campania in 2025? (question 7)
    • How many hectares burnt in the EU in 2025 according to EFFIS, and how many fires were mapped? (question 1)

À retenir : le préprompt voyage : le même texte devient les instructions d'un chatbot dans un autre outil. Les réponses peuvent quand même différer un peu : chaque outil ajoute ses propres instructions autour de celles du binôme. Ici, la commande openwebui chatbot ajoute un court paragraphe, ## Your knowledge, après le texte du binôme : il demande au modèle de chercher dans sa base de connaissances et de dire quel fichier il a utilisé. Il nomme les résumés, le wiki et les documents officiels des ateliers suivants. Open WebUI donne au modèle les outils pour chercher. On peut lire le texte entier dans Open WebUI : Workspace → Models, cliquer sur son chatbot, puis ouvrir la ligne Prompts. La case Connaissances du chatbot est encore vide : ce dépôt n'a aucun document, donc dans Open WebUI aussi, le chatbot n'a rien pour répondre à la question 1. Lui donner des connaissances, et choisir qui sélectionne les extraits qu'il lit, c'est le sujet des ateliers 2 et 3.

info

Open WebUI appelle chaque chatbot un modèle. Ici, le chatbot du binôme est le seul de la liste.

Étape 2 : Sauvegarder son travail​

  1. Taper :

    workshop-save

    On doit voir Saved ... files in my-work.zip:, puis la liste de ses fichiers : son AGENTS.md, ses notes et ses réponses.

  2. Le télécharger : clic droit sur my-work.zip dans la liste des fichiers, puis Download....

  3. L'apporter à l'atelier 2. Dans son nouveau Codespace, on le glisse dans la liste des fichiers, puis on tape workshop-start 2 --from my-work.zip : le travail est de retour.

Étape 3 : Carte de sortie​

Prendre une carte vierge ou une demi-feuille auprès de l'animateur·rice : c'est votre carte de sortie. Répondre seul·e, en quelques mots :

  1. Que lit le modèle avant de répondre, en mode A ?
  2. Citer une chose qu'un préprompt a changée aujourd'hui, et une chose qu'il n'a pas pu changer.
  3. Deux chatbots ont le même total. Que regarder d'autre avant d'en choisir un ?
Notes pour l'animateur·rice

Une carte par personne, ramassée à la fin. Les trois questions sont les mêmes à chaque édition, pour pouvoir comparer. Ce que contient une bonne réponse : (1) les instructions générales de l'outil (en mode A, avec une ligne ajoutée : il n'a pas d'outils et ne peut ouvrir aucun fichier), son préprompt (AGENTS.md) et la conversation en cours, aucun document ; (2) le ton, les refus ou les « je ne sais pas » / les connaissances, les chiffres ; (3) les réponses elles-mêmes : détails inventés, sources, refus, les questions où ils diffèrent.

Le chatbot Open WebUI de l'étape 1 est la pièce que les participant·es réutilisent avec des jeunes : ne pas la sauter, même quand le temps manque. Si Open WebUI n'est pas prêt à la clôture, sauter l'étape 1 et montrer son propre chatbot dans Open WebUI sur le grand écran.

Après l'atelier : noter le tableau de la salle ; rappeler à chaque binôme de garder my-work.zip pour l'atelier 2 ; supprimer les clés, ou baisser le plafond de l'espace de travail.

Réemploi avec des jeunes. Les personnalités de démonstration sont pour les adultes. Avec un groupe, garder le jeu de test (la « Press Conference ») et les sections de AGENTS.md (la case Instructions). Pour construire un chatbot pour un groupe, voir le guide Partager un chatbot avec un groupe grâce à Open WebUI, parties 2 et 3.

D'autres pistes, après cet atelier :

Atelier suivant : Nourrir un chatbot de documents, puis d'extraits choisis. Ouvrir son propre Codespace depuis sa page, et apporter my-work.zip.


Dépannage​

Les problèmes courants (clé, Codespace, terminal) sont dans la section Troubleshooting de SETUP.md.

  • Instructions file not found: ... (affiché par replay --agents) : vérifier le nom : examples/, puis AGENTS., puis la personnalité, puis .md. Exemple : examples/AGENTS.sophist.md.
  • score demande un fichier : donner le nom du fichier de réponses de sa personnalité, tel que replay l'a écrit : score answers/A-sophist-14h32.md --blind. Pour son propre chatbot : score A --blind.
  • These columns used different models, so they cannot be compared: ... : une clé ou un modèle a changé entre deux colonnes. La ligne Models: sous le tableau dit quel modèle a servi à chaque colonne : comparer un modèle à la fois.
  • openwebui chatbot affiche Warning: your AGENTS.md is still empty : remplir AGENTS.md (partie 4), enregistrer, et retaper la commande.
  • Open WebUI is not running, or not ready yet. : attendre la ligne Open WebUI is ready dans le second terminal. Si le Codespace s'est arrêté, retaper openwebui start.
  • This repository is for workshop 1. Workshop 2 has its own repository... : workshop-start a été tapé avec le numéro d'un autre atelier. Rien n'a été changé. Ici, taper workshop-start 1. Pour l'atelier suivant, ouvrir son propre lien de Codespace.

Avec une clé OpenRouter, ou après workshop-login --europe. Les messages de clé de SETUP.md existent aussi avec OpenRouter, ou the model ..., à la place d'Anthropic, et se traitent de la même façon. Quand le message se termine par Your earlier key is kept., la nouvelle clé n'a pas été enregistrée : le chatbot garde l'ancienne.

  • This is an OpenRouter key: Claude Code in the workshop needs an Anthropic key (sk-ant-…). : Claude Code a été demandé, avec --engine claude ou WORKSHOP_ENGINE=claude. Rien n'a été enregistré. Une clé OpenRouter tourne dans OpenCode : la ligne suivante du message dit quoi taper.
  • The saved key is an OpenRouter key: it works with OpenCode only. Type this command without WORKSHOP_ENGINE=claude. : la clé est enregistrée, mais cette commande a demandé Claude Code, qui exige une clé Anthropic (elle commence par sk-ant-). Faire ce que dit le message, ou taper workshop-login et coller une clé Anthropic.
  • Key saved, but this OpenRouter account has no credits left. Add credits, or choose a free model: workshop-login --models free : erreur HTTP 402, à signaler à l'animateur·rice. Dans replay, la ligne dit no credits left on this key. Une clé qui a atteint sa limite pourrait aussi donner ce message. Avec un solde négatif, les modèles gratuits sont bloqués aussi. Après workshop-login --europe, le message s'arrête à Add credits. : aucun modèle gratuit ne tourne en Europe.
  • Key saved, but this key has reached its spending limit. Tell the facilitator. : dans replay, la ligne dit this key or its account reached a spending limit.
  • Key saved, but the quota of the model ... is reached for now (HTTP 429). Try again later, or choose another model: workshop-login --models openrouter, ou Key saved, but the model ... is busy (HTTP ...). Try again in a few minutes, or choose another model: workshop-login --models openrouter : faire ce que dit le message. Dans replay, la ligne dit too many requests, or the quota of this key or of this model is used up, après une attente, car OpenCode réessaie d'abord tout seul. Les modèles gratuits ont un quota : le 1er novembre 2026, 50 requêtes par jour (1 000 une fois que le compte a acheté au moins 10 $ de crédits), requêtes échouées comprises. Lors d'un seul essai, avec deux modèles gratuits en même temps, replay s'est arrêté sur cette erreur : après les modes bare et A pour l'un, dès le début pour l'autre. Avec un seul à la fois et du quota restant, cohere/north-mini-code:free a terminé replay C, et google/gemma-4-26b-a4b-it:free s'est arrêté sur trois erreurs 429 en 10 s. Après workshop-login --europe, le message nomme un modèle Mistral au lieu de la liste : il marche sous la même règle.
  • Key saved, but no company can serve the model ... under the workshop's data rule. Choose another model: workshop-login --models openrouter : avec une clé OpenRouter, chaque requête demande d'écarter les entreprises qui peuvent collecter les données ou s'entraîner dessus. Certaines de celles qui restent peuvent quand même garder les questions un temps. Aucune ne sert ce modèle en ce moment. Dans replay, la ligne dit the model is busy, or no company can serve it now : réessayer plus tard, ou demander à l'animateur·rice.
  • Key saved, but Mistral does not serve the model ... in Europe with zero data retention. Choose another model, for example: workshop-login --model ... : workshop-login --europe est activé, et aucune entreprise de ce type ne sert ce modèle. Taper la commande que donne le message.
  • OpenCode is already open and keeps the old data rule: close it and start it again. A replay stops by itself before its next question. : --europe a changé pendant qu'OpenCode tournait. Ce qu'on y tape part encore sous l'ancienne règle. Fermer ce chatbot, puis le relancer avec workshop.
  • Your data rule changed during this replay (workshop-login --europe or --no-europe). The next question was not sent. : la question en cours s'est terminée sous l'ancienne règle, et sa réponse reste dans answers/. Retaper la même commande replay. Avec replay RAG, taper d'abord openwebui start.
  • Open WebUI keeps the old data rule until you type: openwebui start, ou Your data rule changed since Open WebUI started (workshop-login --europe). Type openwebui start (it takes the new rule), then this command again. : Open WebUI lit la règle à son démarrage. Jusqu'à openwebui start, ses chatbots répondent encore sous l'ancienne règle.
  • OpenRouter has no model ... that can use tools. : rien n'a été enregistré. Le nom est faux, ou ce modèle ne sait pas utiliser d'outils, ce dont les ateliers ont besoin. Les lignes suivantes montrent des noms proches.
  • replay est long : avec deepseek/deepseek-v4-flash, 11 questions ont pris 2 à 4,5 minutes par replay dans les modes bare, C, D et E (deux essais).
Notes pour l'animateur·rice
  • Pas de Codespace (réseau, quota) : le dépôt de l'atelier s'ouvre sur un ordinateur avec Docker (guide Ouvrir les ateliers sur son propre ordinateur), ou bien regrouper deux binômes.
  • Une clé est refusée : vérifier d'abord l'espace de travail dans la console Anthropic. Le plafond est partagé : quand la salle l'atteint, toutes les clés devraient s'arrêter, la clé de réserve aussi. Relever le plafond si le budget le permet, sinon donner la clé de réserve.
  • Un binôme utilise OpenCode avec une clé OpenRouter : mêmes étapes, juge et Open WebUI compris. Ses totaux ne sont pas comparables avec les autres (autre modèle, autre juge). Un replay de 11 questions a pris 2 à 4,5 minutes avec le modèle par défaut (deux essais). openwebui chatbot avec cette clé, lors d'un essai hors Codespace : 4 min 07, les bons outils sur 4 questions, une réponse en français à une question en anglais. Si cela échoue, il suit le chatbot de l'animateur·rice sur le grand écran.

Indicateurs de réussite​

  • Chaque binôme a obtenu Key OK et Ready for workshop 1, et Open WebUI démarre dans le second terminal.
  • La colonne Bare de scores.md est notée à la main, avec son total sur 22.
  • Chaque personnalité est notée à l'aveugle, le tableau de la salle est rempli, et chaque binôme sait nommer le truc d'au moins une autre personnalité.
  • AGENTS.md a un texte sous chacun des sept titres, workshop A répond avec l'identité du chatbot, et la colonne A est notée.
  • Le chatbot du binôme répond dans Open WebUI avec ses instructions, et my-work.zip est téléchargé pour l'atelier 2.
  • Les cartes de sortie montrent que les participant·es savent dire ce que lit le modèle en mode A, ce qu'un préprompt change (le comportement) et ne change pas (les connaissances), et qu'un total ne suffit pas pour choisir un chatbot.

Cette fiche fait partie du projet Youth AI Lab, financé par le programme Erasmus+. Adaptation française de https://github.com/Youth-AI-Lab/yal-workshop-preprompt (anglais), contenu sous licence CC BY-SA 4.0.