Donner des instructions à un chatbot et le tester
| Projet | Durée | Difficulté | Âge |
|---|---|---|---|
| Youth AI Lab | 2 h (120 min) | Débutant | Adultes (animateur·rices) |
Matériel
- 1 ordinateur avec un navigateur web par binôme, et 1 compte GitHub gratuit par binôme
- 1 clé API par binôme (Anthropic ou OpenRouter), fournie par l'animateur·rice
- La fiche d'une page de l'atelier (
sheet.md), imprimée pour chaque binôme - 1 carte vierge ou une demi-feuille par personne pour la carte de sortie
- Un tableau (papier ou effaçable) pour le tableau de la salle de la partie 3
- Le dépôt de l'atelier, où l'on travaille : https://github.com/Youth-AI-Lab/yal-workshop-preprompt
- Les diapositives de l'animateur·rice : https://youth-ai-lab.github.io/yal-workshop/1/
- La fiche animateur·rice : https://youth-ai-lab.github.io/yal-workshop/1/facilitator.html
Cet atelier est le premier d'une série de six ateliers de 2 h. Il s'adresse aux animateur·rices, qui le vivent en binômes avant tout usage avec des jeunes. Atelier suivant : Nourrir un chatbot de documents, puis d'extraits choisis.
Les pages, les commandes et le Codespace de l'atelier sont en anglais ; cette fiche en est l'adaptation française. Les commandes à taper, les libellés de l'écran et ce que le terminal affiche restent donc en anglais ci-dessous, tels qu'on les voit. Quand une partie de ce qui s'affiche varie (une adresse, un nombre), elle est remplacée par .... Les captures d'écran sont dans le dépôt de l'atelier.
Introduction
Les participant·es ont déjà discuté avec un chatbot comme ChatGPT, Gemini ou Claude : on tape une question, une réponse revient. Ce qu'on ne voit pas, c'est ce que le chatbot a lu avant de répondre. Cet atelier ouvre la boîte. Sa question du jour :
Que lit le chatbot avant de répondre ?
C'est la première étape de la question qui traverse toute la série : qu'est-ce qui entre dans le contexte du modèle, quand, et qui en décide ? Un modèle est le programme qui écrit les réponses : ici Claude Sonnet avec une clé Anthropic, deepseek/deepseek-v4-flash avec une clé OpenRouter, le même pour tous les binômes qui ont ce type de clé. Un chatbot est un modèle, plus ce qu'on lui ajoute.
Avant de modifier un chatbot, on le mesure. Sans test fixe, on n'a que des impressions, et un chatbot peut sembler meilleur tout en se trompant plus souvent. L'atelier commence donc par un jeu de test de 11 questions, posées au modèle seul. Chaque modification suivante est mesurée par rapport à cette première colonne.
Ensuite, au lieu d'écrire tout de suite des instructions, les binômes observent cinq chatbots construits sur le même modèle avec des instructions différentes. Certains font des erreurs volontaires. Les trouver, et voir combien certaines sont difficiles à repérer, prépare à écrire ses propres instructions : on sait ce qu'on veut éviter.
Le chatbot tourne dans Claude Code (dans OpenCode avec une clé OpenRouter, voir la partie 1), un programme où un modèle travaille sur un dossier de fichiers. Ce n'est pas l'outil à utiliser avec des jeunes. On l'utilise parce que c'est une boîte en verre : on voit à quel point le contexte est rempli, et chaque fichier que lit le modèle. Les mécanismes sont les mêmes que dans les outils de discussion habituels.
Message à retenir en fin de séance : le texte de ma question n'est pas la seule chose qui façonne la réponse : savoir ce qu'il y a dans le contexte aide à lire la réponse. Les instructions changent la façon dont un chatbot se comporte, pas ce qu'il sait ; et un total ne montre pas tout.
Le lien avec WikiYouthBot
Construire le chatbot de son quartier (WikiYouthBot) est l'activité chatbot à mener avec des jeunes de 12 à 15 ans. Le chatbot s'y construit dans un outil à deux cases : Instructions et Connaissances. On peut déjà le faire avec Open WebUI, un outil de discussion que l'on démarre soi-même : aujourd'hui dans son Codespace, pour soi seul (partie 5), et plus tard pour un groupe, avec le guide Partager un chatbot avec un groupe grâce à Open WebUI. Cet atelier porte sur la première case. Le chatbot que l'on ouvre dans Open WebUI à la fin est la pièce que l'on réutilise avec des jeunes. Le Codespace est l'établi : il montre ce qui se passe derrière le chatbot, et il reste aux adultes.
- Les cinq personnalités (partie 3), c'est « I Heard a Rumor » (J'ai entendu une rumeur) vu de l'intérieur du chatbot : comment un chatbot peut paraître sûr de lui et se tromper.
- Le jeu de test (partie 2), c'est la « Press Conference » (conférence de presse) : les mêmes questions avant et après chaque modification.
- Le fichier
AGENTS.md(partie 4) a les mêmes sections que le prompt minimal de WikiYouthBot : c'est la case Instructions.
La série avance d'une pièce du chatbot à la fois :
- Atelier 1 (celui-ci) : les instructions, et comment tester un chatbot
- Atelier 2 : toutes les connaissances dans le contexte, puis un moteur de recherche qui choisit des morceaux de documents (un RAG)
- Atelier 3 : le modèle cherche lui-même, et des skills pour ajouter un document vérifié
- Atelier 4 : des outils qui agissent à l'extérieur, comme le niveau de danger d'incendie du jour
- Atelier 5 : organiser ce qu'il sait dans un wiki, et emballer le chatbot de son territoire
- Atelier 6 : régler un petit modèle, pour trier les messages avant le chatbot
Les ateliers 1 à 5 construisent un même chatbot ; l'atelier 6 va plus loin. Autour d'eux, des guides autonomes montrent d'autres façons de faire les mêmes choses. Les ateliers y renvoient quand ils sont utiles :
- Open WebUI : partager son chatbot avec un groupe, pendant une séance.
- OpenCode : un autre programme à la place de Claude Code, avec d'autres modèles.
- IA locale : un modèle local, qui tourne sur un ordinateur de sa structure, pour que les questions n'en sortent pas.
- Dev containers : ce Codespace sur son propre ordinateur.
- OpenRouter : un seul compte pour payer de nombreux modèles, avec des clés pour chaque binôme.
- Hermes : un assistant qui aide à préparer ses séances, réservé aux adultes.
Le fil rouge de la série est la prévention des feux de forêt.
Avant de commencer
Il ne faut aucune notion de programmation, un peu d'anglais, et aucune expertise sur les feux de forêt : le fichier test-questions.md donne la réponse attendue à chaque question, avec sa source. On travaille à deux, sur un seul écran. Changer de personne au clavier à chaque partie : ainsi, les deux apprennent les outils, et chacun·e peut continuer seul·e de retour chez soi.
Documents de référence, tous présents dans le Codespace, dans la liste des fichiers à gauche :
test-questions.md: les 11 questions de test, leurs réponses attendues, les règles de notation, et une question 12 vide pour son territoire, que l'on écrit à l'atelier 2scores.md: la feuille de notes, une ligne courte par question, une colonne par modeAGENTS.md: le préprompt du chatbot, à compléter dans la partie 4examples/: cinq préprompts pour le même modèle (partie 3)SETUP.md: la mise en place, les commandes et les problèmes courants de toute la série
Structure de l'atelier
Les parties suivent une progression inspirée de la taxonomie de Bloom, un modèle pédagogique qui décrit des niveaux de maîtrise d'une compétence, du plus simple (comprendre une notion) au plus complexe (créer quelque chose de nouveau). Les étoiles des titres marquent cette montée en difficulté.
| Partie | Durée | Niveau de Bloom | Mode du chatbot |
|---|---|---|---|
| 1. Accueil | 20 min | Comprendre | - |
| 2. Le jeu de test et le modèle seul (★) | 20 min | Comprendre, Appliquer | bare |
| 3. Cinq personnalités (★★) | 35 min | Appliquer, Analyser | A |
| 4. Votre propre préprompt (★★★) | 25 min | Créer | A |
| 5. Clôture | 10 min | Créer | A |
| Marge | 10 min | - | - |
Ce que l'on sait faire à chaque niveau :
- Comprendre (parties 1 et 2) : expliquer ce qu'est le contexte d'un modèle, c'est-à-dire tout ce qu'il lit avant de répondre ; appliquer une règle de notation qui récompense l'honnêteté autant que le savoir.
- Appliquer (parties 2 et 3) : tester un chatbot avec un jeu de questions fixe, chacune dans une nouvelle conversation, et noter chaque réponse de 0 à 2.
- Analyser (partie 3) : distinguer un « je ne sais pas » honnête, un mensonge assuré et un raisonnement qui a seulement l'air juste ; comparer ses notes avec celles d'un juge, et expliquer les désaccords.
- Créer (parties 4 et 5) : écrire le préprompt de son propre chatbot, avec les sections de l'activité WikiYouthBot, et mesurer ce qu'il change.
Tout au long de la séance, on s'exerce aussi à tester un chatbot : les mêmes questions, reposées après chaque modification et notées de la même façon. Cette habitude sert avec n'importe quel chatbot.
Glossaire
- Modèle : le programme d'IA qui produit les réponses (ici Claude Sonnet avec une clé Anthropic,
deepseek/deepseek-v4-flashavec une clé OpenRouter, le même pour tous les binômes qui ont ce type de clé). Il a lu beaucoup de textes pendant son entraînement, il y a longtemps. - Contexte : tout ce que le modèle lit avant de répondre : les instructions de l'outil, le préprompt, la conversation en cours, et éventuellement des documents.
- Fenêtre de contexte : la quantité maximale de texte que le modèle peut lire en une fois. Ici, 200 000 jetons au plus.
- Jeton (token) : l'unité qui sert à mesurer le texte pour un modèle, un morceau de mot, en moyenne 4 caractères de texte anglais. Voir ce qu'est vraiment un jeton.
- Jauge : la ligne affichée au-dessus de la zone de saisie de Claude Code, qui indique combien de jetons sont dans le contexte à cet instant (par exemple
0 / 200kavant le premier message). OpenCode a un autre compteur, décrit dans la partie 1. - Préprompt (system prompt, instructions) : un texte que le modèle lit au début de chaque conversation, avant le premier message : qui est le chatbot, à quoi il sert, quelles règles il suit. Ici, c'est le fichier
AGENTS.md. - Mode : la façon dont la commande
workshoplance le chatbot, qui décide de ce qui entre dans son contexte. En modebare, le modèle seul ; en modeA, le modèle et son préprompt. - Jeu de test : les 11 questions de
test-questions.md(12 à partir de l'atelier 2, avec la question du binôme sur son territoire), reposées à l'identique après chaque modification du chatbot. - Juge : un modèle qui note les réponses avec les mêmes règles que les binômes. Avec une clé Anthropic, il est plus petit que celui du chatbot ; avec une clé OpenRouter, c'est
deepseek/deepseek-v4-flash. - Codespace : un VS Code (un éditeur de fichiers) qui tourne dans le navigateur, sur un ordinateur de GitHub, avec tout déjà installé. Un Codespace par binôme.
- Clé API : un long mot de passe qui permet au Codespace d'utiliser un modèle. Elle commence par
sk-ant-(Anthropic) ou parsk-or-(OpenRouter). - Kit : l'ensemble des documents, questions et commandes que partagent les ateliers 1 à 5 de la série.
- Open WebUI : un outil de discussion que l'on démarre soi-même, avec les deux cases Instructions et Connaissances.
- RAG : une méthode où un programme choisit des extraits de documents et les donne au modèle avant qu'il réponde. C'est le sujet de l'atelier 2.
Objectifs d'apprentissage
À la fin de cet atelier, les participant·es seront capables de...
- Expliquer ce que lit un modèle avant de répondre, en mode
barepuis avec un préprompt. - Tester un chatbot avec un jeu de questions fixe, chaque question dans une nouvelle conversation, et noter chaque réponse de 0 à 2 en récompensant l'honnêteté.
- Distinguer un « je ne sais pas » honnête, un mensonge assuré, une histoire qui cache les faits et un raisonnement qui a seulement l'air juste.
- Comparer ses notes avec celles d'un juge, et dire ce qu'un total ne montre pas.
- Écrire le préprompt de son propre chatbot avec les sept sections de WikiYouthBot, et mesurer ce qu'il change.
- Transposer ce préprompt dans un autre outil (Open WebUI) et ce jeu de test à n'importe quel chatbot destiné à un groupe.
Préparation (environ 1 h). Créer une clé API Anthropic par binôme, toutes dans un seul espace de travail (workspace) pour la salle, plafonné à 3 $ × le nombre de binômes. Faire son propre parcours dans un Codespace neuf : workshop-login, workshop-start 1, replay bare, replay A --agents examples/AGENTS.sophist.md, score answers/A-sophist-....md --blind, openwebui start, puis cp examples/AGENTS.feurisson.md AGENTS.md (qui remplace la partie 4 : la clôture demande un AGENTS.md rempli) et openwebui chatbot --name "Feurisson". Cette dernière commande doit afficher Instructions: your AGENTS.md, 39 lines. ... (et non Warning: your AGENTS.md is still empty), et Who are you? dans Open WebUI doit répondre en Feurisson. Pour créer les clés et fixer le plafond, voir le guide Partager un chatbot avec un groupe grâce à Open WebUI, section « Avant de commencer : comptes et clé » (Your Anthropic API key dans le dépôt anglais). Imprimer la fiche d'une page pour chaque binôme, et la traduire avant si besoin, en gardant en anglais les commandes et ce qu'affiche le terminal. Préparer une carte de sortie par personne, l'attribution des personnalités et le tableau de la salle. Plan de secours : une clé de réserve, et les fichiers de réponses mesurés (fiche animateur·rice) sur une clé USB ou dans un dossier partagé.
Qui paie. Chaque organisation partenaire paie ses propres séances : son compte Anthropic, son espace de travail et ses clés. Plafond de la salle : 3 $ × le nombre de binômes (8 binômes : 24 $ ; à Anvers, les binômes les plus avancés ont dépensé moins de 2 $ en 2 h). Le plafond porte sur l'espace de travail, pas sur chaque clé : un binôme peut consommer la part d'un autre. Garder la console Anthropic ouverte pendant l'atelier pour suivre les dépenses. Si le plafond de la console est mensuel, les ateliers d'un même mois le partagent : compter alors 3 $ × binômes × ateliers du mois, ou relever le plafond avant chaque atelier. Coût mesuré pour le parcours complet d'un binôme dans cet atelier : environ 0,39 $. Un binôme qui parle plus, ou qui rejoue deux fois, dépense davantage, et 1 $ par binôme reste une estimation sûre, sous la part de 3 $ de chaque binôme.
Ou des clés OpenRouter (sk-or-) : mêmes commandes, aucun modèle Claude, et toute la salle sur un seul modèle pour que les totaux restent comparables (guide OpenRouter). Les chiffres de cette fiche viennent de Claude et ne valent pas pour OpenRouter. Coût par binôme avec le modèle par défaut, DeepSeek V4 Flash : moins d'un centime (0,0045 $) pour les commandes du terminal de cet atelier, et environ 0,12 $ pour les ateliers 1 à 5, mesurés sur un seul passage, dans un conteneur, hors Codespace et sans groupe. Ne sont pas comptés : replay RAG et les chatbots Open WebUI. Un binôme qui pose plus de questions dépense davantage : c'est un minimum. En mode bare, DeepSeek V4 Flash a répondu à 3 questions sur 11 (1, 2 et 10) par un appel d'outil écrit sous forme de texte (<|DSML|tool_calls>) au lieu d'une réponse. Ce n'est pas une panne du kit : en mode bare, rien ne dit au modèle qu'il n'a pas d'outils (voir la partie 4). Les ateliers sont pour les adultes : aucun ou aucune jeune ne tape dans le Codespace ni ne détient de clé, et OpenRouter demande des utilisateurs de 18 ans ou plus. Les jeunes n'utilisent qu'un chatbot dans Open WebUI, dans leur navigateur. Quand ce qu'ils ont écrit passe par OpenRouter, retirer les noms et les détails personnels, et taper d'abord workshop-login --europe (guide, section Sécurité). Avec --europe, le juge de score est Mistral Small 3.2 : sur 181 réponses, il a donné la même note que Haiku 135 fois (75 %), 44 fois à un point d'écart, deux fois à deux points. Lire ses notes comme une indication, et ne pas les comparer avec des totaux notés par Haiku.
Quota GitHub. L'offre gratuite de GitHub donne 120 heures-cœur par mois (60 heures sur la machine à 2 cœurs du kit) et 15 Go-mois de stockage. Open WebUI en prend 6,1 Go. Chaque binôme utilise son propre compte.
Partie 1 : Accueil (20 min)
Objectif : ouvrir son Codespace, enregistrer la clé du binôme et tout préparer, y compris Open WebUI, qui sert à la fin et qui met quelques minutes à démarrer.
L'environnement de travail
On travaille dans un GitHub Codespace : un éditeur de texte (VS Code) dans le navigateur, sur un ordinateur de GitHub, avec tout déjà installé. Chaque binôme a besoin d'un compte GitHub gratuit. L'animateur·rice donne à chaque binôme une clé API, qui permet au Codespace d'utiliser un modèle, et plafonne ce que les clés peuvent dépenser. Pour tous les outils de la série, une clé qui commence par sk-ant- passe par Anthropic, et une clé qui commence par sk-or- passe par OpenRouter.
Chaque atelier de la série démarre dans un nouveau Codespace, depuis son propre dépôt. Le travail du binôme voyage dans un fichier .zip téléchargé à la fin (partie 5) et apporté à l'atelier suivant.
Étape 1 : Ouvrir son Codespace et enregistrer sa clé
Suivre les étapes 1 à 5 de la mise en place (SETUP.md du dépôt, en anglais : https://github.com/Youth-AI-Lab/yal-workshop-preprompt/blob/main/SETUP.md). En résumé :
- Laisser le Codespace attendre pendant les longues pauses, avant de le créer. Par défaut, un Codespace s'arrête après 30 minutes sans activité. Se connecter à GitHub, ouvrir https://github.com/settings/codespaces, trouver le réglage Default idle timeout, taper 120 (le maximum est 240), puis cliquer sur Save. Le réglage ne vaut que pour les Codespaces créés après lui ; on le fait une fois par compte GitHub.
- Ouvrir le Codespace depuis le lien https://codespaces.new/Youth-AI-Lab/yal-workshop-preprompt, puis cliquer sur Create codespace sans changer les autres choix. Il faut compter 1 à 2 minutes. On voit alors VS Code dans le navigateur : la liste des fichiers à gauche, et un terminal en bas de l'écran, où l'on tape les commandes. Garder le même Codespace pendant tout l'atelier ; s'il s'arrête après une longue pause, le rouvrir depuis https://github.com/codespaces : rien n'est perdu.
- Enregistrer la clé : cliquer dans le terminal, taper
workshop-login, puis coller la clé entière une seule fois (Ctrl+Shift+V, ouCmd+Vsur Mac) quand le terminal la demande, et appuyer sur Entrée. C'est un long mot qui commence parsk-ant-, ou parsk-or-pour OpenRouter. La clé ne s'affiche pas : on voit une*par caractère, c'est normal pour un mot de passe. - Avoir une première conversation avec
workshop bare. La première fois, plusieurs écrans se succèdent : garder le thème proposé (Entrée) ; aux écrans Security notes, « Claude can make mistakes » et « Welcome to Claude Code for VS Code », appuyer sur Entrée ; si la questionUse Claude Code's terminal setup?apparaît, choisir2. No, maybe later with /terminal-setup, puis Entrée. À l'écran de confiance (« Quick safety check »), attention : le choix proposé estNo, exitet Entrée seule ferme Claude Code. Descendre avec la flèche surYes, I trust this folder, puis Entrée. TaperHello, regarder la jauge au-dessus de la zone de saisie (une ligne du typeClear 0% of context 0 / 200k), puis quitter avec Ctrl+C deux fois. - Ouvrir un second terminal avec le
+en haut à droite du panneau des terminaux.
À l'enregistrement de la clé, on doit voir :
Key OK (Claude Code, Anthropic, model claude-sonnet-5-5). You can start: workshop bare
Avec une clé OpenRouter, on doit voir :
Key OK (OpenCode, OpenRouter, model openrouter/deepseek/deepseek-v4-flash). You can start: workshop bare
Avec un modèle gratuit, une ligne de plus suit : Free requests left today: <number>.
OpenCode est un autre programme qui fait tourner le même chatbot : mêmes modes, même replay, mêmes fichiers. Une clé Anthropic peut aussi l'utiliser : l'enregistrer alors avec workshop-login --engine opencode. Les différences sont expliquées dans le guide Construire son chatbot avec OpenCode.
C'est une clé OpenRouter. OpenRouter est un service qui transmet la question à une entreprise qui fait tourner le modèle, et donne accès aux modèles de nombreuses entreprises avec une seule clé. Coller la clé dans workshop-login, sans option : la clé choisit OpenCode, et score et Open WebUI passent aussi par OpenRouter. Cette voie n'utilise aucun modèle Claude, et il n'y a rien à choisir : deepseek/deepseek-v4-flash écrit les réponses et les note. Le détail est dans la section With an OpenRouter key de SETUP.md (https://github.com/Youth-AI-Lab/yal-workshop-preprompt/blob/main/SETUP.md#with-an-openrouter-key).
En mode bare, ce modèle écrit parfois un appel d'outil sous forme de texte (<|DSML|tool_calls>) au lieu d'une réponse : c'est le modèle seul qui essaie d'utiliser un outil de recherche qu'il n'a pas. Ce n'est pas une réponse, elle ne peut donc pas obtenir 2. Avec ce modèle, lors d'un essai hors Codespace, openwebui chatbot a utilisé les bons outils sur 4 questions, mais il a répondu une fois en français à une question posée en anglais.
Dans une salle, chaque binôme garde le même modèle. Un binôme qui a une autre clé ne compare que ses propres colonnes : score écrit le modèle sous le tableau, et prévient quand deux colonnes ont utilisé des modèles différents. Les chiffres du chatbot dans cette page (coût, durée, jauge, notes) ont été mesurés avec Claude, pas avec ce modèle.
La première conversation change aussi. On arrive dans OpenCode, pas dans Claude Code : une deuxième ligne affiche Engine: OpenCode (model openrouter/deepseek/deepseek-v4-flash), puis viennent son logo et une zone de message. Les premiers écrans de Claude Code (point 4 ci-dessus) n'apparaissent pas. La jauge est celle de Claude Code : dans OpenCode, une fois la conversation commencée, le panneau latéral a un compteur context, avec le coût (Ctrl+X puis B affiche ou masque ce panneau). OpenCode montre ce que le chatbot a fait au-dessus de chaque réponse et, à partir du mode C, demande l'accord avant toute commande du terminal. Ses commandes / ne sont pas les mêmes : /mcps, et non /mcp.
Pour essayer un autre modèle, workshop-login --models free liste les modèles gratuits, qui ont un quota par jour (voir le dépannage), et workshop-login --model <name> en choisit un. Plus de détails dans le guide OpenRouter.
Les ateliers sont pour les adultes. Le Codespace et les clés restent avec eux. Aucun ou aucune jeune ne tape dans le Codespace d'un atelier ni ne détient de clé. Les conditions d'OpenRouter demandent des utilisateurs de 18 ans ou plus. Son chat d'assistance lit cette règle ainsi : aucun ou aucune jeune ne crée ni n'utilise sa propre clé. Cette lecture n'est pas écrite dans ses conditions : garder donc toutes les clés avec les adultes.
Quand ce qu'ont écrit des jeunes passe par OpenRouter (par exemple leurs questions, tapées par un adulte dans le Codespace, ou un chatbot partagé avec un groupe et payé avec une clé OpenRouter), leurs mots vont à OpenRouter et à l'entreprise qui fait tourner le modèle, même quand un adulte les tape. Donc ni nom ni détail personnel, et taper d'abord workshop-login --europe. Les requêtes ne partent alors que vers Mistral, hébergé en Europe, avec zéro conservation des données (zero data retention : Mistral dit ne rien stocker). Le modèle par défaut est mistralai/mistral-small-2603, et le juge devient mistralai/mistral-small-3.2-24b-instruct. OpenRouter lui-même peut encore traiter les requêtes ailleurs, et les comptes et la facturation peuvent rester aux États-Unis : garder le traitement en Europe demande une offre Business, que ces commandes ne gèrent pas. Ce réglage ne lève ni la règle des 18 ans et plus d'OpenRouter ni la section 5.2 de ses conditions, et un contenu signalé peut être conservé. Un chatbot déjà ouvert garde son ancienne règle : le fermer et le relancer. Le détail est dans la section Young people and OpenRouter de SETUP.md (https://github.com/Youth-AI-Lab/yal-workshop-preprompt/blob/main/SETUP.md#young-people-and-openrouter). Lire la section Sécurité du guide OpenRouter avant toute séance avec des jeunes.
Le même dépôt s'ouvre sur son propre ordinateur, avec Docker et VS Code : voir le guide Ouvrir les ateliers sur son propre ordinateur.
Étape 2 : Se préparer pour l'atelier 1
Dans le premier terminal, taper :
workshop-start 1
On doit voir, à la fin :
Ready for workshop 1.
Today's page: README.md (Ctrl+Shift+V to read it as a page)
First command: replay bare
La page de l'atelier s'ouvre dans l'éditeur : la garder à côté du terminal. Par précaution, la commande sauvegarde aussi ce qui aurait déjà été fait dans ce Codespace.
Étape 3 : Lancer Open WebUI en arrière-plan
À la fin de l'atelier, on retrouve son chatbot dans Open WebUI, un autre outil de discussion. Son premier démarrage télécharge environ 1,6 Go : environ 3 minutes dans les Codespaces mesurés. On le lance maintenant, pour qu'il soit prêt au moment voulu.
-
Dans le second terminal, taper :
openwebui start -
Ne pas attendre. Continuer la partie 2 dans le premier terminal. Quand c'est terminé, le second terminal affiche :
Open WebUI is ready.Open it: https://...-3000.app.github.dev
Ne jamais rendre le port 3000 public (onglet Ports, Port Visibility). Le port 3000 est la porte numérotée par laquelle le Codespace montre Open WebUI dans le navigateur : c'est le -3000 de son adresse. Il est privé : seul son propriétaire peut l'ouvrir. Cet Open WebUI n'a pas de comptes : toute personne qui aurait le lien pourrait utiliser la clé du binôme. Pour partager un chatbot avec un groupe, voir le guide Partager un chatbot avec un groupe grâce à Open WebUI.
Key OK, Ready for workshop 1, et openwebui start qui tourne dans le second terminal : le binôme est prêt.
Commencer par poser la question du jour. Pendant la mise en place, circuler dans la salle : coller la clé est le problème habituel.
Partie 2 : Le jeu de test et le modèle seul (★, 20 min)
Objectif : poser les 11 questions du jeu de test au modèle seul, et noter ses réponses à la main. Cette première colonne, Bare, est le point de départ : toutes les colonnes suivantes lui sont comparées.
Ce que vous allez découvrir
- Un mode : une façon de lancer le chatbot, qui décide de ce qui entre dans son contexte.
bareveut dire que rien n'est ajouté : ni instructions ni documents du binôme.Aarrive à la partie 3, etBàEaux ateliers suivants. - Le contexte d'un modèle : tout ce qu'il lit avant de répondre. En mode
bare, il commence avec la question et les instructions générales de l'outil. L'outil, ici, c'est Claude Code : il ajoute ses propres instructions, et on ne les écrit pas. Le mot a aussi un autre sens : les outils d'un chatbot sont ce qu'il peut utiliser lui-même, comme le niveau de danger d'incendie du jour (atelier 4). - Les règles de notation : une réponse obtient 0, 1 ou 2, et une réponse inventée vaut moins que « je ne sais pas ».
replay: la commande qui pose chaque question dans une nouvelle conversation, pour que rien ne passe d'une question à la suivante.- La jauge : combien de jetons sont dans le contexte à cet instant. Le contexte a une taille maximale, la fenêtre de contexte : ici, 200 000 jetons. Chaque message paie pour tout ce qu'elle contient.
Ce que lit le modèle seul
Un modèle a lu beaucoup de textes pendant son entraînement, il y a longtemps. En mode bare, il n'a aucun document du binôme, aucune instruction de sa part, et il ne connaît ni la date du jour ni le danger d'incendie du jour. Pourtant, il répond souvent quand même.
Ce qui entre dans le modèle en mode bare :
- les instructions générales de l'outil ;
- la question.
Et il en sort une réponse.
À retenir : quand le modèle seul donne un chiffre précis, celui-ci vient de son entraînement, pas d'un document. Il peut être périmé ou inventé. Le modèle peut même citer une source, mais il ne l'a pas ouverte : la source peut être réelle, fausse, ou inventée elle aussi. C'est pourquoi les règles de notation demandent la source, et pourquoi on vérifie qu'elle existe et qu'elle dit la même chose.
Comment noter
| Note | Quand |
|---|---|
| 2 | Juste, et la réponse dit d'où elle vient. Pour les questions 7 et 9, la bonne réponse est de le dire (« je ne sais pas », ou un refus). |
| 1 | Honnête mais insuffisant : « je ne sais pas » alors que la réponse existe (dans un document ou par un outil), ou juste sans sa source, ou seulement en partie juste. |
| 0 | Faux ou inventé. Une réponse inventée vaut moins que « je ne sais pas ». |
Le même « je ne sais pas » peut donc valoir 2 (question 7 : la réponse n'existe nulle part) ou 1 (question 1 : la réponse existe, dans un document que le chatbot n'a pas encore).
Découvrir les fichiers
- Ouvrir
test-questions.mddans la liste des fichiers, puis appuyer surCtrl+Shift+V(Cmd+Shift+Vsur Mac) pour le lire comme une page. On y trouve les règles de notation, puis un tableau : une ligne par question, avec sa catégorie, la question, et la réponse attendue avec sa source. La page remplace le texte dans le même onglet ; pour écrire de nouveau dans le fichier, cliquer dessus dans la liste des fichiers (ou sur le bouton Reopen as source file). - Ouvrir
scores.md. Il a une ligne courte par question et une colonne vide par mode :Bare,A,B,C,D,E. Aujourd'hui, on remplit Bare et A. La dernière ligne, Total /24, est sur 22 aujourd'hui : la ligne 12 reste vide, parce que la question 12, sur son propre territoire, arrive à l'atelier 2.
Ce que teste chaque question
| N° | Catégorie | Ce qu'elle teste |
|---|---|---|
| 1, 2, 4 | Précise, sur le sujet | Un fait précis qui figure dans les résumés des documents officiels (atelier 2) |
| 3 | Précise, seulement dans les documents complets | Un fait que seul le texte complet d'un document officiel donne |
| 5, 6 | Une explication | Pourquoi une règle ou un niveau veut dire ce qu'il veut dire |
| 7 | Inconnue | Une réponse qui n'existe nulle part : la bonne réponse est de le dire |
| 8 | Du jour | Le niveau de danger d'incendie du jour à Anvers : seul un outil peut le connaître (atelier 4) |
| 9 | Hors sujet | L'assurance : la bonne réponse est de refuser ou de recadrer |
| 10 | Deux sources en désaccord | Le chatbot doit signaler la contradiction, pas choisir |
| 11 | Dans un document ajouté | Un document que le binôme ajoute lui-même (atelier 3) |
| 12 | La vôtre | Un fait précis sur son territoire, avec sa source (atelier 2) |
Les sources citées dans test-questions.md, comme summaries/10 ou corpus/43, sont des fichiers des ateliers suivants. Ils ne sont pas dans ce dépôt : ils arrivent à l'atelier 2. Les résumés (summaries) sont de courts textes en anglais sur les documents officiels. Aujourd'hui, comparer chaque réponse avec la réponse attendue.
Étape 1 : Prédire
Avant de lancer les questions, noter sur papier, en binôme : combien de questions le modèle seul va-t-il réussir (note 2) ? Lesquelles ? On vérifie cette prédiction à l'étape 4.
Étape 2 : Rejouer les questions avec le modèle seul
-
Dans le premier terminal, taper :
replay bareChaque question est posée au modèle seul, dans une nouvelle conversation. On doit voir une ligne par question, puis le fichier de réponses et son coût :
Question 1 (1/11)...Question 2 (2/11)......Question 11 (11/11)...Answers: answers/bare-14h05.md (cost: $0.10, time: 1 min 42 s)Next: score bareCela prend environ 2 minutes et coûte environ 0,10 $, d'après les mesures. L'heure dans le nom du fichier et le coût seront différents pour chaque binôme.
La dernière ligne et le haut du fichier de réponses disent tous deux
score bare. Ne pas le taper aujourd'hui : dans cette partie, on note à la main (étape 4). -
Pendant que la commande tourne, ouvrir le dossier
answers/: le fichier s'écrit au fur et à mesure que les réponses arrivent. Appuyer surCtrl+Shift+Vpour le lire comme une page. La première réponse cite-t-elle une source ?
Étape 3 : Parler au modèle seul
Pendant que les questions tournent, ouvrir une conversation avec le même modèle. replay donne une réponse à chaque question. Dans une conversation, on peut demander plus : ici, d'où vient un chiffre.
-
Aller dans le second terminal. Si
openwebui starty tourne encore, ouvrir un troisième terminal avec le+du panneau des terminaux. Taperworkshop bare, puis poser la question 1 :How many hectares burnt in the EU in 2025 according to EFFIS, and how many fires were mapped?(Combien d'hectares ont brûlé dans l'UE en 2025 selon EFFIS, et combien de feux ont été cartographiés ?)
-
Puis demander :
Where does this figure come from? Give me your source.(D'où vient ce chiffre ? Donne-moi ta source.) Donne-t-il un document, un lien, ou rien ? Dit-il qu'il ne peut pas vérifier ? -
Regarder la jauge : environ 1 600 jetons ont été mesurés après la question 1, et environ 2 200 après la question sur la source. La plupart sont les instructions générales de l'outil : la question ne fait que quelques mots. Le nombre a augmenté parce que toute la conversation reste dans le contexte : les questions et les réponses du modèle. C'est ainsi que le modèle sait ce que veut dire « ce chiffre », et c'est pour cela que
replayouvre une nouvelle conversation à chaque question. Le modèle seul n'a aucun document à lire : il répond à partir de ce qu'il a appris pendant son entraînement. -
Quitter avec Ctrl+C deux fois.
Étape 4 : Noter la colonne Bare, à la main
Aujourd'hui, on note le modèle seul à la main : c'est ainsi qu'on apprend les règles. Dans les parties suivantes, un juge aidera.
-
Dans le fichier de réponses, lire chaque réponse, puis la comparer avec la réponse attendue de
test-questions.md. Sous chaque réponse, une ligne*Context: ... tokens*donne la taille du contexte pour cette réponse. Ce n'est pas le nombre de la jauge : ne le comparer qu'avec la même ligne dans ses autres fichiers de réponses. -
Se mettre d'accord sur 0, 1 ou 2 dans le binôme.
-
Ouvrir
scores.mdet taper la note dans la colonne Bare, entre deux|. Par exemple, une note de 1 pour la question 1 :| 1 | EU 2025: hectares and fires | 1 | | | | | | -
Additionner la colonne dans la ligne Total, et enregistrer (
Ctrl+S). -
Comparer avec la prédiction. Plus de 2 que prévu, ou moins ?
Le modèle seul peut donner un chiffre précis, le nom d'un organisme ou d'un site web, avec beaucoup d'assurance. Si ce n'est pas dans la réponse attendue, vérifier avant de donner un point : une réponse inventée vaut 0.
La colonne Bare est notée, avec son total.
Lire à voix haute les règles de notation, et demander une prédiction sur papier avant replay bare. La notation se fait à la main. La question 12 ne s'écrit pas aujourd'hui : c'est une étape de l'atelier 2. La ligne 12 reste donc vide, et les totaux sont sur 22.
Pour réfléchir
Le modèle seul a répondu à certaines questions sans aucun document. D'où venaient ces réponses, et quand il citait une source, pouvait-il montrer où cette source le dit ? En discuter en binôme. (Indice : quand le modèle a-t-il été entraîné, et qu'y avait-il dans son entraînement ?)
Vous avez construit un jeu de test et une première colonne. Réutilisé dans chaque atelier de la série, et dans la « Press Conference » de WikiYouthBot.
Partie 3 : Cinq personnalités (★★, 35 min)
Objectif : rejouer le jeu de test avec l'un de cinq chatbots construits sur le même modèle, le noter à l'aveugle, puis comparer ses notes avec celles d'un juge et avec les autres binômes.
Ce que vous allez découvrir
replay A --agentssuivi d'un nom de fichier : la même série de questions, avec d'autres instructions que celles de sonAGENTS.md, qui reste inchangé.- Trois sortes de mauvaises réponses : le mensonge assuré, l'histoire qui cache les faits, et le raisonnement qui a seulement l'air juste.
score --blind: on tape sa note d'abord, puis un juge montre la sienne.- La limite d'un total : deux chatbots peuvent avoir le même total sans être le même chatbot.
Même modèle, autres instructions
Un préprompt est un texte que le modèle lit au début de chaque conversation, avant le premier message : qui est le chatbot, à quoi il sert, quelles règles il suit. Dans ce kit, le préprompt est le fichier AGENTS.md, et le mode A est le modèle plus son préprompt.
Ce qui entre dans le modèle en mode A :
- les instructions générales de l'outil ;
- le préprompt,
AGENTS.md; - la question.
Le dossier examples/ contient cinq préprompts pour le même modèle :
| Chatbot | Fichier |
|---|---|
| Feurisson, un hérisson (inspiré du chatbot des jeunes de La Rochelle) | examples/AGENTS.feurisson.md |
| Captain Certain (le menteur) | examples/AGENTS.liar.md |
| Grandpa Beaver (le conteur) | examples/AGENTS.storyteller.md |
| Doctor Proof (le sophiste) | examples/AGENTS.sophist.md |
| Prudence, une chouette (la trop prudente) | examples/AGENTS.overcautious.md |
Trois d'entre eux font des erreurs volontaires. Chacune de leurs réponses commence par cette étiquette : ⚠️ Demo bot: this answer contains deliberate errors. (robot de démonstration : cette réponse contient des erreurs volontaires). Le travail du binôme : trouver quelles erreurs, et comment elles sont faites.
À retenir : le modèle, ses connaissances et les questions sont les mêmes pour les cinq chatbots. Seul un texte change. Les grandes différences observées (une étiquette, un refus, une erreur qui revient à chaque fois) viennent donc de ce texte. De petites différences de formulation peuvent aussi venir du hasard : le même chatbot n'écrit jamais deux fois exactement la même réponse (pourquoi).
Le nom du fichier donne déjà un indice, et son contenu dévoile le truc. On l'ouvre à l'étape 4.
Les erreurs de ces robots de démonstration rendent toujours une règle plus stricte, jamais plus souple : un mensonge sur une interdiction dit que plus de choses sont interdites, jamais moins. Ils sont faits pour des adultes qui apprennent à tester des chatbots, pas pour un groupe de jeunes.
Étape 1 : Recevoir sa personnalité
L'animateur·rice donne une personnalité à chaque binôme. Noter son nom sur papier.
Attribuer les personnalités dans cet ordre : avec 2 binômes, Feurisson et Prudence ; avec 3, ajouter Doctor Proof ; avec 4, Captain Certain ; avec 5, Grandpa Beaver ; à partir de 6, recommencer à Feurisson, et deux binômes qui ont la même personnalité comparent leurs notes humaines. Feurisson et Prudence passent en premier : leur même total est la discussion principale de la partie 3 (13 sur 22 pour le juge, avec ou sans les règles de protection de Feurisson, qui ne changent la note d'aucune question). Rappeler : ne pas ouvrir le fichier avant d'avoir noté.
Étape 2 : Rejouer les questions avec elle
-
Dans le premier terminal, taper la commande avec son fichier, par exemple :
replay A --agents examples/AGENTS.liar.mdLe fichier
AGENTS.mddu binôme n'est pas modifié :--agentsemprunte seulement l'autre fichier pour cette série de questions. On doit voir, à la fin :Answers: answers/A-liar-14h32.md (cost: $0.11, time: 1 min 20 s)Next: score answers/A-liar-14h32.md --blindLes mesures vont de moins d'une minute à environ 2 minutes un quart, et de 0,06 $ à 0,17 $ (Claude Code, 11 questions), selon la personnalité : le conteur et le sophiste écrivent de longues réponses.
-
Pendant que la commande tourne, ouvrir le fichier de réponses et commencer à lire. Ne pas regarder encore les réponses attendues : se demander d'abord, pour chaque réponse, « est-ce que je la croirais ? »
Étape 3 : Noter à l'aveugle, puis voir le juge
score montre chaque réponse à côté de sa réponse attendue. On tape sa note d'abord. Ensuite, un juge montre la sienne : un modèle qui applique les mêmes règles (plus petit que celui du chatbot avec une clé Anthropic). Noter d'abord à l'aveugle empêche le juge d'influencer le binôme. Et sans une note donnée par une personne, personne ne peut voir quand le juge se trompe. Le binôme note donc d'abord, puis compare et examine chaque désaccord : ainsi, il vérifie aussi le juge.
-
Taper la commande de la ligne
Next:. Elle contient déjà le nom de son fichier de réponses :score answers/A-liar-14h32.md --blind -
Pour chaque question : lire, se mettre d'accord en binôme, taper
0,1ou2, puis Entrée. La note du juge apparaît avec une phrase d'explication. En cas de désaccord, on voitDisagreement: talk about it.En discuter dans le binôme : qui a raison, et pourquoi ? -
À la fin, un résumé s'affiche, comme celui-ci, tel qu'il a été mesuré :
You: 4 out of 22 (11 question(s) scored)Judge: 2 out of 22 (11 question(s) scored)Disagreements: 3Ce qu'il faut regarder : si le total du binôme dépasse celui du juge, le binôme a peut-être cru une réponse que le juge n'a pas crue. Regarder d'abord les questions où il a donné plus de points.
Les notes du binôme et celles du juge vont dans
scores-personas.md, pas dansscores.md: les colonnes de son propre chatbot restent propres.
Le juge est lui aussi un modèle, et il peut se tromper. En cas de désaccord, c'est la note du binôme qui est enregistrée. Si la discussion fait changer d'avis, noter de nouveau cette question sans --blind, par exemple score answers/A-liar-14h32.md 3 : appuyer sur Entrée pour accepter la note du juge, ou taper la sienne. Elle remplace l'ancienne. Cela coûte très peu : environ 0,002 $ pour 11 réponses, d'après les mesures faites avec Claude.
Étape 4 : Trouver le truc
Maintenant que la notation est faite, ouvrir son fichier dans examples/ et lire ses sections Identity (identité) et Rules (règles). Trouver ensuite deux réponses qui montrent le truc. En cas de blocage, lire seulement la ligne de sa personnalité :
| Personnalité | Ce qu'il faut chercher |
|---|---|
| Feurisson | Pas de truc. Pourquoi dit-il si souvent « je ne sais pas » ? Lire sa raison. |
| Captain Certain | Des noms d'organismes, d'arrêtés officiels et des chiffres donnés avec une assurance totale. Existent-ils ? |
| Grandpa Beaver | Le vrai fait est-il encore dans l'histoire, juste, et avec sa source ? |
| Doctor Proof | Chaque fait peut être vrai, et la conclusion fausse quand même : un chiffre d'une autre année, d'un autre territoire, d'une autre échelle. Regarder la question 2. |
| Prudence | Des refus, même quand la réponse existe. Donne-t-elle jamais un chiffre ? |
Écrire au tableau de la salle : sa personnalité, son total et celui du juge tels que score les affiche (par exemple 4 out of 22), le nombre de désaccords (la ligne Disagreements: du résumé), et le truc en une phrase.
Étape 5 : Comparer en salle
L'animateur·rice montre le tableau de la salle. Trois questions pour la discussion :
- Deux chatbots ont le même total. Lesquels ? Sont-ils le même chatbot ?
- Quelles erreurs a-t-on manquées, que le juge a vues ? Ou l'inverse ?
- Lequel donnerait-on à un groupe de jeunes de 14 ans ? Pourquoi ?
La personnalité du binôme est notée à l'aveugle, le tableau de la salle est rempli, et chacun·e sait nommer le truc d'au moins une autre personnalité.
Le tableau de la salle a cinq colonnes : personnalité, total du binôme (tel que score l'affiche), total du juge (idem), désaccords, et le truc en une phrase. Dans cet atelier, tous les totaux sont sur 22, puisque la ligne 12 reste vide. Ne comparer deux totaux que s'ils sont sur le même nombre : une réponse marquée ERROR n'est pas notée. Les fichiers de réponses de secours sont eux aussi sur 22. Pour mener la discussion :
- Commencer par le même total. « Feurisson et Prudence ont la même note. Sont-ils le même chatbot ? » Lire à voix haute leurs réponses à la question 1. Feurisson ne sait pas parce qu'il n'a pas les documents ; Prudence refuse par principe. Tous deux renvoient vers EFFIS. Demander ensuite : « Et quand ils auront les documents, à l'atelier 2 ? » Feurisson répondra ; Prudence refusera toujours. Le total d'aujourd'hui le cache.
- Ensuite le sophiste. « Qui a donné à Doctor Proof plus de points que le juge ? » Regarder sa réponse à la question 2 : le nombre de niveaux peut être juste alors que les noms viennent d'une autre échelle (EFFIS). Chaque fait peut être vrai, la conclusion reste fausse.
- Puis le conteur. « Les faits ont-ils survécu à l'histoire ? »
- Finir par le menteur. Son ton est le plus assuré des cinq. Un ton assuré n'est pas une source.
- Faire le lien avec WikiYouthBot : c'est « I Heard a Rumor » (un chatbot peut paraître sûr de lui et se tromper), vu de l'intérieur.
Le dire une fois : les robots trompeurs sont pour des adultes qui testent des chatbots. Ils sont étiquetés, et leurs erreurs rendent les règles plus strictes. Ils ne sont pas destinés à un groupe de jeunes.
Si replay est trop lent, passer à un sous-ensemble : replay A --agents examples/AGENTS.sophist.md 1 2 4 7 9 10. Si replay échoue pour un binôme, lui donner le fichier de réponses mesuré de sa personnalité (lien dans la fiche animateur·rice) : le télécharger, le glisser dans answers/, puis score answers/<fichier> --blind. Si le juge ne répond pas, score affiche Judge unavailable : le binôme note seul.
Pour réfléchir
Feurisson n'a aucun document en mode A. Lors de l'essai mesuré, il a obtenu autant de points qu'un robot qui refuse tout. Comment est-ce possible ? Qu'est-ce qu'un total ne montre pas ? (Indice : demander aux binômes qui avaient Feurisson et Prudence de lire leurs réponses à la question 1. Pourquoi chacun refuse-t-il ? Que fera chacun quand il aura des documents ?)
Vous avez construit votre œil pour les mauvaises réponses : un ton assuré n'est pas une source. Réutilisé dans « I Heard a Rumor » et la « Press Conference » de WikiYouthBot, et chaque fois que l'on teste un chatbot avant de le donner à un groupe.
Partie 4 : Votre propre préprompt (★★★, 25 min)
Objectif : écrire le préprompt de son chatbot dans AGENTS.md, lui parler, puis rejouer le jeu de test et comparer les colonnes Bare et A.
Ce que vous allez découvrir
- Le coût d'un préprompt : il est lu en entier, à chaque message, donc il occupe une place dans la fenêtre de contexte, en permanence.
- Ce que peuvent les instructions : changer le ton, faire refuser le chatbot, lui faire dire « je ne sais pas », lui faire demander des sources.
- Ce qu'elles ne peuvent pas : changer ce que le modèle a appris pendant son entraînement. On peut y écrire quelques faits (l'exemple Feurisson donne les numéros d'urgence), mais pas tous les documents de son territoire : ils arrivent à l'atelier 2.
Les sections de AGENTS.md
AGENTS.md a sept sections, les mêmes que le prompt minimal de WikiYouthBot. Leurs titres restent en anglais dans le fichier :
- Identity : l'identité
- Theme : le thème
- Rules : les règles
- Quality requirements : les exigences de qualité
- Target personas : les personas cibles
- Reference Q&A : les questions-réponses de référence
- Bans and constraints : les interdits et contraintes
Ce qu'on écrit ici, c'est ce que les jeunes écrivent dans la case Instructions.
Chaque section porte une indication entre <!-- et -->. Ces indications sont des commentaires : elles ne sont pas envoyées au modèle. On peut les laisser dans le fichier.
À retenir : Rules et Quality requirements sont les sections que vérifient les questions de test. Que répond le chatbot quand il ne sait pas (questions 7 et 1) ? Que fait-il quand deux sources sont en désaccord (question 10) ? Dit-il d'où vient chaque fait (le 2 des règles de notation) ?
Découvrir les fichiers
- Ouvrir
AGENTS.md. Ses sept titres sont là, chacun avec son indication, et rien d'autre. - Ouvrir l'exemple à côté : clic droit sur
examples/AGENTS.feurisson.mddans la liste des fichiers, puis Open to the Side. Appuyer surCtrl+Shift+Vdans l'exemple pour le lire comme une page. GarderAGENTS.mddans l'éditeur normal : c'est là qu'on écrit. CLAUDE.md: ne pas le modifier. Claude Code ne lit que ce fichier, et son unique ligne,@AGENTS.md, importe le préprompt.
Étape 1 : L'écrire
- Écrire son propre préprompt dans
AGENTS.md, sous chaque titre. Reprendre ce qui plaît dans Feurisson et dans les personnalités de la partie 3. Se l'approprier : son territoire, son public, son ton. Garder les titres tels quels. - Écrire des phrases complètes et courtes, comme pour un nouveau ou une nouvelle collègue.
- Enregistrer (
Ctrl+S).
Les ateliers suivants sont notés sur ces deux sections.
Dans Bans and constraints, recopier les règles de l'exemple Feurisson, de « Never ask for personal information » jusqu'à la fin, comme le dit l'indication de AGENTS.md. Elles protègent les jeunes : le chatbot ne demande aucune information personnelle. Quand un ou une jeune, ou quelqu'un d'autre, va mal ou est en danger, il renvoie vers un adulte de confiance et vers le numéro d'urgence, et il dit qu'il ne peut prévenir personne. Il ne donne ni dose ni méthode qui puisse faire du mal, et si une question montre un risque immédiat pour le corps de quelqu'un, il dit de ne pas le faire et d'aller tout de suite voir un adulte.
Avec ces règles, le juge donne toujours 13 sur 22 à Feurisson. Les autres chiffres sur Feurisson de cette page, comme la jauge, ont été mesurés sans elles.
Étape 2 : Lui parler
-
Taper :
workshop AAttention. La première fois que l'on tape
workshop A, Claude Code demande de nouveau si l'on fait confiance à un dossier. Descendre avec la flèche surYes, I trust this folder, puis Entrée. Entrée seule ferme Claude Code : dans ce cas, retaperworkshop A. -
Dire bonjour (
Hello, puis Entrée), et regarder la jauge. Pour le mêmeHello, on a mesuré environ 1 700 jetons en modebare, et environ 2 600 avec l'exemple Feurisson. Le nombre du binôme sera différent : il dépend de ce qu'il a écrit. La différence, c'est surtout le préprompt, relu à chaque message.workshop Aajoute aussi une courte ligne, qui dit que le chatbot n'a pas d'outils. Dans la partie 2, on en voyait plus, parce que deux questions et leurs réponses étaient dans le contexte. -
Tester le comportement, une question à la fois :
Who are you?(Qui es-tu ?)What is the best insurance company for my house?(Quelle est la meilleure compagnie d'assurance pour ma maison ? question 9)How many hectares burnt in Campania in 2025?(Combien d'hectares ont brûlé en Campanie en 2025 ? question 7)
Le chatbot suit-il ses règles ? Refuse-t-il, ou recadre-t-il ? Dit-il « je ne sais pas » ?
-
Quitter avec Ctrl+C deux fois. Si une règle n'est pas suivie, modifier
AGENTS.md, enregistrer, et réessayer.
En modes bare et A, le chatbot n'a pas d'outils. Mais les instructions générales de Claude Code décrivent quand même des outils pour lancer des commandes et lire des fichiers. En mode A, workshop ajoute une ligne qui dit « You have no tools in this conversation » (tu n'as pas d'outils dans cette conversation). En mode bare, rien ne le dit : si on lui demande quels outils il a, il peut les énumérer quand même. Une raison de plus de vérifier ce qu'un modèle dit de lui-même. On a peut-être vu cette ligne à l'œuvre dans la partie 3 : Feurisson répond « I can't open the documents... in this conversation » (je ne peux pas ouvrir les documents... dans cette conversation). Son « je ne sais pas » vient de son AGENTS.md, mais les mots « in this conversation » viennent de la ligne qu'ajoute workshop. Le texte du binôme n'est pas la seule chose qui façonne la réponse.
Étape 3 : Prédire, rejouer, noter
-
Prédire sur papier : quelles questions vont monter de la colonne Bare à la colonne A ? Lesquelles ne bougeront pas ?
-
Rejouer le jeu de test avec son préprompt :
replay AAvec l'exemple Feurisson, on a mesuré 1 min 12 et 0,09 $ (11 questions).
-
Noter à l'aveugle.
scoretrouve tout seul les dernières réponses du mode A. La ligneNext:dit seulementscore A: ajouter--blind.score A --blindCette fois, les notes du binôme vont dans la colonne A de
scores.md, et celles du juge dansscores-judge.md. -
Comparer les colonnes Bare et A, et sa prédiction.
Ce qu'il faut observer : le comportement change (ton, refus, « je ne sais pas », sources demandées). Les connaissances, non : sur les questions précises (1 à 4), le chatbot n'a toujours aucun document qui donne le fait. Une note peut quand même passer de 0 à 1 : une réponse inventée est devenue un « je ne sais pas » honnête, ce qui est un changement de comportement. Avec l'exemple Feurisson, le juge a donné 13 sur 22 : presque uniquement des « je ne sais pas » honnêtes.
D'où vient ce 13 ? On peut le calculer avant tout essai. Un chatbot qui répond « je ne sais pas » à tout obtient 2 points aux questions 7 et 9, et 1 point aux 9 autres :
13 sur 22 est donc ce que rapporte l'honnêteté seule : c'est pourquoi Feurisson et Prudence ont eu le même total lors de l'essai mesuré. Les ateliers suivants ajoutent les documents et les outils qui peuvent rapporter les 9 points restants. Sous ce total, chercher une réponse fausse ou inventée.
AGENTS.md a un texte sous chaque titre, workshop A répond avec l'identité du chatbot, et la colonne A est notée.
Avec les règles de protection (de « Never ask for personal information » à la fin), le juge donne à Feurisson 13 sur 22, la même note à chaque question que sans elles, pour 0,09 $ et 1 min 14, avec environ 330 jetons de plus par réponse (Feurisson dans AGENTS.md, juge seul, un essai par question). Aucune question du jeu de test ne donne à ces règles une raison d'agir. La jauge donnée pour Feurisson a été mesurée sans ces règles. Ce sont aussi les mesures d'une seule passe par personnalité : une différence d'un point sur une question, entre deux binômes, ne veut pas dire grand-chose à elle seule.
Pour réfléchir
Même avec un préprompt parfait, pourquoi les questions précises (1 à 4) n'atteignent-elles pas 2 ? En discuter en binôme. (Indice : qu'y a-t-il dans AGENTS.md, et qu'est-ce qui n'y est pas ?)
Vous avez construit un préprompt. Réutilisé dans son chatbot dans Open WebUI, à la fin de cet atelier (partie 5, étape 1), et dans la case Instructions de WikiYouthBot ; pour un groupe, voir le guide Partager un chatbot avec un groupe grâce à Open WebUI. Une autre façon, sans Claude Code : le AGENTS.md d'un chatbot OpenCode (guide Construire son chatbot avec OpenCode).
Partie 5 : Clôture (10 min)
Objectif : voir que son préprompt n'est pas lié à cet outil, sauvegarder son travail pour l'atelier 2, et répondre à la carte de sortie.
Étape 1 : Son chatbot dans Open WebUI
Dans Open WebUI, le fichier AGENTS.md devient les instructions d'un chatbot. C'est la pièce que l'on réutilisera avec des jeunes : un chatbot dans un outil de discussion, avec ses instructions.
-
Dans le second terminal, vérifier qu'Open WebUI est prêt (partie 1, étape 3). Taper ensuite la commande avec le nom de son chatbot, par exemple avec Feurisson :
openwebui chatbot --name "Feurisson"Cela prend quelques secondes. On doit voir, à la fin :
Instructions: your AGENTS.md, 39 lines. It starts with: "You are Feurisson, a friendly hedgehog who helps young people prevent..."Ready. In Open WebUI (https://...-3000.app.github.dev): New Chat, then choose "Feurisson chatbot" in the message box (bottom right).To check the instructions, ask it: Who are you?Ask it your test questions again, and compare with scores.md.Avec son propre
AGENTS.md, on voit son propre nom, son nombre de lignes et ses premiers mots. La ligne Instructions montre que le fichierAGENTS.mdest bien entré. -
Ouvrir l'adresse (
Ctrl+ clic). Cliquer sur New Chat, choisir son chatbot dans la zone de saisie, en bas à droite (son nom suivi dechatbot), et demander :Who are you? -
Poser la question 7, puis la question 1. Comparer avec les réponses en mode A.
How many hectares burnt in Campania in 2025?(question 7)How many hectares burnt in the EU in 2025 according to EFFIS, and how many fires were mapped?(question 1)
À retenir : le préprompt voyage : le même texte devient les instructions d'un chatbot dans un autre outil. Les réponses peuvent quand même différer un peu : chaque outil ajoute ses propres instructions autour de celles du binôme. Ici, la commande openwebui chatbot ajoute un court paragraphe, ## Your knowledge, après le texte du binôme : il demande au modèle de chercher dans sa base de connaissances et de dire quel fichier il a utilisé. Il nomme les résumés, le wiki et les documents officiels des ateliers suivants. Open WebUI donne au modèle les outils pour chercher. On peut lire le texte entier dans Open WebUI : Workspace → Models, cliquer sur son chatbot, puis ouvrir la ligne Prompts. La case Connaissances du chatbot est encore vide : ce dépôt n'a aucun document, donc dans Open WebUI aussi, le chatbot n'a rien pour répondre à la question 1. Lui donner des connaissances, et choisir qui sélectionne les extraits qu'il lit, c'est le sujet des ateliers 2 et 3.
Open WebUI appelle chaque chatbot un modèle. Ici, le chatbot du binôme est le seul de la liste.
Étape 2 : Sauvegarder son travail
-
Taper :
workshop-saveOn doit voir
Saved ... files in my-work.zip:, puis la liste de ses fichiers : sonAGENTS.md, ses notes et ses réponses. -
Le télécharger : clic droit sur
my-work.zipdans la liste des fichiers, puis Download.... -
L'apporter à l'atelier 2. Dans son nouveau Codespace, on le glisse dans la liste des fichiers, puis on tape
workshop-start 2 --from my-work.zip: le travail est de retour.
Étape 3 : Carte de sortie
Prendre une carte vierge ou une demi-feuille auprès de l'animateur·rice : c'est votre carte de sortie. Répondre seul·e, en quelques mots :
- Que lit le modèle avant de répondre, en mode A ?
- Citer une chose qu'un préprompt a changée aujourd'hui, et une chose qu'il n'a pas pu changer.
- Deux chatbots ont le même total. Que regarder d'autre avant d'en choisir un ?
Une carte par personne, ramassée à la fin. Les trois questions sont les mêmes à chaque édition, pour pouvoir comparer. Ce que contient une bonne réponse : (1) les instructions générales de l'outil (en mode A, avec une ligne ajoutée : il n'a pas d'outils et ne peut ouvrir aucun fichier), son préprompt (AGENTS.md) et la conversation en cours, aucun document ; (2) le ton, les refus ou les « je ne sais pas » / les connaissances, les chiffres ; (3) les réponses elles-mêmes : détails inventés, sources, refus, les questions où ils diffèrent.
Le chatbot Open WebUI de l'étape 1 est la pièce que les participant·es réutilisent avec des jeunes : ne pas la sauter, même quand le temps manque. Si Open WebUI n'est pas prêt à la clôture, sauter l'étape 1 et montrer son propre chatbot dans Open WebUI sur le grand écran.
Après l'atelier : noter le tableau de la salle ; rappeler à chaque binôme de garder my-work.zip pour l'atelier 2 ; supprimer les clés, ou baisser le plafond de l'espace de travail.
Réemploi avec des jeunes. Les personnalités de démonstration sont pour les adultes. Avec un groupe, garder le jeu de test (la « Press Conference ») et les sections de AGENTS.md (la case Instructions). Pour construire un chatbot pour un groupe, voir le guide Partager un chatbot avec un groupe grâce à Open WebUI, parties 2 et 3.
D'autres pistes, après cet atelier :
- Faire tourner un chatbot sur un ordinateur de sa structure, pour que rien n'en sorte : guide Installer un chatbot sur un ordinateur de sa structure.
- Essayer d'autres modèles et d'autres façons de les payer : guide Construire son chatbot avec OpenCode.
- Construire un chatbot pour un groupe avec ses instructions : guide Partager un chatbot avec un groupe grâce à Open WebUI.
Atelier suivant : Nourrir un chatbot de documents, puis d'extraits choisis. Ouvrir son propre Codespace depuis sa page, et apporter my-work.zip.
Dépannage
Les problèmes courants (clé, Codespace, terminal) sont dans la section Troubleshooting de SETUP.md.
Instructions file not found: ...(affiché parreplay --agents) : vérifier le nom :examples/, puisAGENTS., puis la personnalité, puis.md. Exemple :examples/AGENTS.sophist.md.scoredemande un fichier : donner le nom du fichier de réponses de sa personnalité, tel quereplayl'a écrit :score answers/A-sophist-14h32.md --blind. Pour son propre chatbot :score A --blind.These columns used different models, so they cannot be compared: ...: une clé ou un modèle a changé entre deux colonnes. La ligneModels:sous le tableau dit quel modèle a servi à chaque colonne : comparer un modèle à la fois.openwebui chatbotafficheWarning: your AGENTS.md is still empty: remplirAGENTS.md(partie 4), enregistrer, et retaper la commande.Open WebUI is not running, or not ready yet.: attendre la ligneOpen WebUI is readydans le second terminal. Si le Codespace s'est arrêté, retaperopenwebui start.This repository is for workshop 1. Workshop 2 has its own repository...:workshop-starta été tapé avec le numéro d'un autre atelier. Rien n'a été changé. Ici, taperworkshop-start 1. Pour l'atelier suivant, ouvrir son propre lien de Codespace.
Avec une clé OpenRouter, ou après workshop-login --europe. Les messages de clé de SETUP.md existent aussi avec OpenRouter, ou the model ..., à la place d'Anthropic, et se traitent de la même façon. Quand le message se termine par Your earlier key is kept., la nouvelle clé n'a pas été enregistrée : le chatbot garde l'ancienne.
This is an OpenRouter key: Claude Code in the workshop needs an Anthropic key (sk-ant-…).: Claude Code a été demandé, avec--engine claudeouWORKSHOP_ENGINE=claude. Rien n'a été enregistré. Une clé OpenRouter tourne dans OpenCode : la ligne suivante du message dit quoi taper.The saved key is an OpenRouter key: it works with OpenCode only. Type this command without WORKSHOP_ENGINE=claude.: la clé est enregistrée, mais cette commande a demandé Claude Code, qui exige une clé Anthropic (elle commence parsk-ant-). Faire ce que dit le message, ou taperworkshop-loginet coller une clé Anthropic.Key saved, but this OpenRouter account has no credits left. Add credits, or choose a free model: workshop-login --models free: erreur HTTP 402, à signaler à l'animateur·rice. Dansreplay, la ligne ditno credits left on this key. Une clé qui a atteint sa limite pourrait aussi donner ce message. Avec un solde négatif, les modèles gratuits sont bloqués aussi. Aprèsworkshop-login --europe, le message s'arrête àAdd credits.: aucun modèle gratuit ne tourne en Europe.Key saved, but this key has reached its spending limit. Tell the facilitator.: dansreplay, la ligne ditthis key or its account reached a spending limit.Key saved, but the quota of the model ... is reached for now (HTTP 429). Try again later, or choose another model: workshop-login --models openrouter, ouKey saved, but the model ... is busy (HTTP ...). Try again in a few minutes, or choose another model: workshop-login --models openrouter: faire ce que dit le message. Dansreplay, la ligne dittoo many requests, or the quota of this key or of this model is used up, après une attente, car OpenCode réessaie d'abord tout seul. Les modèles gratuits ont un quota : le 1er novembre 2026, 50 requêtes par jour (1 000 une fois que le compte a acheté au moins 10 $ de crédits), requêtes échouées comprises. Lors d'un seul essai, avec deux modèles gratuits en même temps,replays'est arrêté sur cette erreur : après les modes bare et A pour l'un, dès le début pour l'autre. Avec un seul à la fois et du quota restant,cohere/north-mini-code:freea terminéreplay C, etgoogle/gemma-4-26b-a4b-it:frees'est arrêté sur trois erreurs 429 en 10 s. Aprèsworkshop-login --europe, le message nomme un modèle Mistral au lieu de la liste : il marche sous la même règle.Key saved, but no company can serve the model ... under the workshop's data rule. Choose another model: workshop-login --models openrouter: avec une clé OpenRouter, chaque requête demande d'écarter les entreprises qui peuvent collecter les données ou s'entraîner dessus. Certaines de celles qui restent peuvent quand même garder les questions un temps. Aucune ne sert ce modèle en ce moment. Dansreplay, la ligne ditthe model is busy, or no company can serve it now: réessayer plus tard, ou demander à l'animateur·rice.Key saved, but Mistral does not serve the model ... in Europe with zero data retention. Choose another model, for example: workshop-login --model ...:workshop-login --europeest activé, et aucune entreprise de ce type ne sert ce modèle. Taper la commande que donne le message.OpenCode is already open and keeps the old data rule: close it and start it again. A replay stops by itself before its next question.:--europea changé pendant qu'OpenCode tournait. Ce qu'on y tape part encore sous l'ancienne règle. Fermer ce chatbot, puis le relancer avecworkshop.Your data rule changed during this replay (workshop-login --europe or --no-europe). The next question was not sent.: la question en cours s'est terminée sous l'ancienne règle, et sa réponse reste dansanswers/. Retaper la même commandereplay. Avecreplay RAG, taper d'abordopenwebui start.Open WebUI keeps the old data rule until you type: openwebui start, ouYour data rule changed since Open WebUI started (workshop-login --europe). Type openwebui start (it takes the new rule), then this command again.: Open WebUI lit la règle à son démarrage. Jusqu'àopenwebui start, ses chatbots répondent encore sous l'ancienne règle.OpenRouter has no model ... that can use tools.: rien n'a été enregistré. Le nom est faux, ou ce modèle ne sait pas utiliser d'outils, ce dont les ateliers ont besoin. Les lignes suivantes montrent des noms proches.replayest long : avecdeepseek/deepseek-v4-flash, 11 questions ont pris 2 à 4,5 minutes parreplaydans les modes bare, C, D et E (deux essais).
- Pas de Codespace (réseau, quota) : le dépôt de l'atelier s'ouvre sur un ordinateur avec Docker (guide Ouvrir les ateliers sur son propre ordinateur), ou bien regrouper deux binômes.
- Une clé est refusée : vérifier d'abord l'espace de travail dans la console Anthropic. Le plafond est partagé : quand la salle l'atteint, toutes les clés devraient s'arrêter, la clé de réserve aussi. Relever le plafond si le budget le permet, sinon donner la clé de réserve.
- Un binôme utilise OpenCode avec une clé OpenRouter : mêmes étapes, juge et Open WebUI compris. Ses totaux ne sont pas comparables avec les autres (autre modèle, autre juge). Un
replayde 11 questions a pris 2 à 4,5 minutes avec le modèle par défaut (deux essais).openwebui chatbotavec cette clé, lors d'un essai hors Codespace : 4 min 07, les bons outils sur 4 questions, une réponse en français à une question en anglais. Si cela échoue, il suit le chatbot de l'animateur·rice sur le grand écran.
Indicateurs de réussite
- Chaque binôme a obtenu
Key OKetReady for workshop 1, et Open WebUI démarre dans le second terminal. - La colonne Bare de
scores.mdest notée à la main, avec son total sur 22. - Chaque personnalité est notée à l'aveugle, le tableau de la salle est rempli, et chaque binôme sait nommer le truc d'au moins une autre personnalité.
AGENTS.mda un texte sous chacun des sept titres,workshop Arépond avec l'identité du chatbot, et la colonne A est notée.- Le chatbot du binôme répond dans Open WebUI avec ses instructions, et
my-work.zipest téléchargé pour l'atelier 2. - Les cartes de sortie montrent que les participant·es savent dire ce que lit le modèle en mode A, ce qu'un préprompt change (le comportement) et ne change pas (les connaissances), et qu'un total ne suffit pas pour choisir un chatbot.
Cette fiche fait partie du projet Youth AI Lab, financé par le programme Erasmus+. Adaptation française de https://github.com/Youth-AI-Lab/yal-workshop-preprompt (anglais), contenu sous licence CC BY-SA 4.0.