EC 122 Ressources d’enseignement (partie 2)

2026-01-06 | Jean-Philippe Georget

Diaporama de la seconde et dernière partie du cours.

logo
# Rappels des thèmes abordés - Ressources pour l’enseignement/apprentissage - Analyse critique générale de ressources - Utilisation / production collective de ressources - Comparaison avec d’autres pays - Alimenter la réflexion pour l'UE 1 en particulier - Formation à l'enseignement - Préparation aux épreuves de recrutement --- ## Retour sur le 1<sup>er</sup> cours[*](../ec-ressources-1) - Un cours « dynamique » grâce à vous ! - Des apports/réflexions/échanges de nature à se poursuivre (Inspé, stages et au-delà) - Multiples ressources (im)matérielles mobilisables - Problématique des interactions enseignants-ressources et négociation du changement - Problématique du marché de l’édition scolaire - Problématique des stéréotypes dans les manuels et les pratiques --- # 2<sup>e</sup> cours - Typographie & co (Cédric Lacherez) - Retour sur stages et ressources d’enseignement - Ergonomie des ressources documentaires - Supports pédagogiques et inégalités scolaires - Édition scolaire et ressources numériques - Travail collaboratif entre enseignants - le tutorat des étudiants/professeurs en formation - l’exemple des *Lesson studies* - Quelques mots sur l’intelligence artificielle générative (IAG) dans les processus et systèmes d’enseignement (compléments dans le cours *Numérique en éducation* au S2) --- # Vos stages et les ressources d’enseignement - Quelles ressources[*](../ec-ressources-1/#typo-ress) utilisées/côtoyées ? Pourquoi ? - Quelles ressources non côtoyées ? Pourquoi ? - Impact sur votre développement professionnel ? - Quid de vos prochains stages ? --- # Ergonomie des ressources d’enseignement - Concepts issue des recherches sur les environnements informatiques pour l’apprentissage humain (EIAH) - Évaluation a priori *vs* a posteriori de différents critères Références : <!-- .element: style="font-size: 60%" --> - Georget JP. (2010). Activités de recherche et de preuve entre pairs à l’école élémentaire : perspectives ouvertes par les communautés de pratique d’enseignants. In M. Abboud-Blanchard et A. Flückiger (ed.), Actes du séminaire de didactique des mathématiques de l’ARDM, ARDM et IREM de Paris 7, 45-65.<!-- .element: style="font-size: 60%" -->([url](https://publimath.fr/IPS11018/))<!-- .element: style="font-size: 60%" --> - Robert, A. et Rogalski, J. (2002). Le système complexe et cohérent des pratiques des enseignants de mathématiques : une double approche. Revue canadienne de l’enseignement des sciences, des mathématiques et de la technologie 2.4, p. 505–528.<!-- .element: style="font-size: 60%" -->([url](https://link.springer.com/content/pdf/10.1080/14926150209556538.pdf))<!-- .element: style="font-size: 60%" --> - Tricot, A., Plégat-Soutjis, F., Camps, J.-F., Amiel, A., Lutz, G., & Morcillo, A. (2003). Utilité, utilisabilité, acceptabilité : Interpréter les relations entre trois dimensions de l’évaluation des eiah. In C. Desmoulins, P. Marquet, & D. Bouhineau (Editors), Environnements informatiques pour l’apprentissage humain (pp. 391–402). ATIEF INRP.<!-- .element: style="font-size: 60%" --> ([url](http://hal.ccsd.cnrs.fr/docs/00/00/16/74/PDF/n036-80.pdf)) <!-- .element: style="font-size: 60%" --> --- ## Utilité La ressource remplit-elle son rôle ? - Point de vue du concepteur - Point de vue de l’enseignant en tant que professionnel au travail - Point de vue des apprentissages des élèves - Des divergences possibles ? --- ## Utilisabilité - Adaptations possibles - Prise en compte de l’expérience de l’usager (exemple des potentiels des situations de recherche et de preuve entre pairs en mathématiques) --- ## Acceptabilité - Valeur donnée par l’enseignant - Décision de l’utiliser - Accès - Accessibilité physique ? - Lisibilité ? - Intelligibilité ? --- # Paradoxe d’incomplétude des ressources documentaires <figure> <a href="georget-2010-p4.png"><img src="georget-2010-p4.png" style="width:100%;"></a> <figcaption></figcaption> </figure> --- - Si une ressource est trop « complète », la quantité d’information à traiter est de nature à décourager son utilisation. - Si elle est trop « incomplète », elle ne permet pas à l’enseignant d’exploiter la ressource de manière optimale en fonction du contexte de mise en oeuvre. (Georget, 2010) --- # Quelles pistes pour limiter les effets de ce paradoxe ? - La formation initiale des enseignants - La formation tout au long de la vie - L’appui sur la recherche --- # Vos exemples illustrant ces concepts ? - Ergonomie des ressources documentaires - utilité - utilisabilité - accessibilité - acceptabilité - Paradoxe d’incomplétude des ressources documentaires --- # Supports pédagogiques et inégalités scolaires : perspective socio-didactique | Travaux de Bonnéry et al. (2015). *Supports pédagogiques et inégalités scolaires : études sociologiques*. Éd. La dispute. | ![image](./bonnery-01.png) | |---------------------------------------------------------------------------------------------------------------------------|-----------------------------------| --- ## Constats à l’origine de la recherche - Allongement de la scolarité - Des recherches qui se focalisent sur des moments de rupture scolaire et de réorientation, moins sur les acquisitions dans le parcours scolaire --- ## Méthodologie et résultats - Manuels et observations : élémentaire et collège - Manuels d’après-guerre à nos jours - SVT, histoire, littérature jeunesse, éducation musicale, des constats qui semblent être généralisables à d’autres niveaux d’enseignement - Des supports susceptibles d’influencer les pratiques des enseignants et qui sollicitent davantage la réflexion des élèves mais... - Des demandes d’inférences et un guidage qui risquent d’accentuer les inégalités scolaires --- ## Deux exemples 1. Le hanneton 2. La construction du pouvoir royal --- ## Exemple 1 : Le hanneton - Lien avec la vie quotidienne qui a évolué - Passage d’une description linéaire et narrative (p31-35) à des documents hétéroclites à mettre en relation (p38-40) - Consignes peu claires qui vont influencer la pratique de l’enseignant et risquent d’accentuer les inégalités scolaires (p48-49) --- ### Une présentation narrative des savoirs (exemple d’analyse d’un manuel de 1958) <img class="r-stretch" src="./bonnery-02bis.png"> --- #### Manuels d’antan et manuels actuels : des conceptions différentes <img class="r-stretch" src="./bonnery-03.png"> --- #### Les métamorphoses : des simplifications <img class="r-stretch" src="./bonnery-04-1.png"> <img class="r-stretch" src="./bonnery-04.png"> --- #### Un style de présentation des savoirs <img class="r-stretch" src="./bonnery-06.png"> <img class="r-stretch" src="./bonnery-07.png"> --- #### Manuel de sciences CM1/CM2/6e, Magnard, 2003 : Une conception différente de l’enseignement-apprentissage <img class="r-stretch" src="./bonnery-08-1.png"> --- #### Un questionnement prédominant <img class="r-stretch" src="./bonnery-08-2.png"> --- #### Un élève partiellement guidé <img class="r-stretch" src="./bonnery-09.png"> --- #### Un texte à produire qui suppose une identification de l’objet de la leçon <img class="r-stretch" src="./bonnery-10.png"> <img class="r-stretch" src="./bonnery-11.png"> --- #### Des documents hétéroclites présentés de façon délinéarisée <img class="r-stretch" src="./bonnery-12.png"> --- #### Des textes de savoirs réduits <img class="r-stretch" src="./bonnery-13.png"> --- #### Des consignes équivoques pour des attendus exigeants <img class="r-stretch" src="./bonnery-14.png"> --- <img class="r-stretch" src="./bonnery-15.png"> --- #### Inégalités sociales : de l’analyse de manuels aux observations en classe <img class="r-stretch" src="./bonnery-16.png"> --- ## Exemple 2 : La construction du pouvoir royal - Passage d’un texte structuré à des inférences pas toujours simples à élaborer (p40-41) - La notion de pouvoir royal non définie (p46) - Des consignes, elles aussi, peu claires (p51-53) Manuel *Les ateliers Hachette. Histoire, géographie, histoire des arts*. Programmes 2008, Hachette Éducation. --- <img class="r-stretch" src="./bonnery-21.png"> --- <img class="r-stretch" src="./bonnery-22.png"> <img class="r-stretch" src="./bonnery-23.png"> --- <img class="r-stretch" src="./bonnery-24.png"> --- <img class="r-stretch" src="./bonnery-25.png"> --- <img class="r-stretch" src="./bonnery-26-1.png"> <img class="r-stretch" src="./bonnery-26-2.png"> --- <img class="r-stretch" src="./bonnery-27.png"> --- <img class="r-stretch" src="./bonnery-28.png"> --- <img class="r-stretch" src="./bonnery-29.png"> --- ### Conclusion <img class="r-stretch" src="./bonnery-30.png"> --- ### Compléments possibles Des analyses didactiques et épistémologiques - en sciences expérimentales ou en mathématiques : présenter des faits *vs* questionner le monde (Chevallard) - en histoire : approche « roman national » de l’histoire de France *vs* faire de l’histoire, histoire des puissants *vs* histoire des citoyens, rôle des femmes dans l’Histoire, etc.) - etc. --- # Le marché en expansion de l’édition scolaire numérique - Un marché peu accessible aux nouveaux acteurs : exemple de l’échec des manuels de Gallimard en littérature au lycée en 2001 - Un marché où des acteurs ±importants investissent : Google, Amazon, Zoom, Pronote... : exemple des ateliers *Amazon Kindle Direct Publishing* (format propriétaire) organisés par Canopé/MEN dénoncés par le [Syndicat national de l’édition](https://www.sne.fr/app/uploads/2016/03/CP-SNE-CANOPE-KINDLE-14032016VDEF.pdf) en mars 2016 Sources : - Rimaud, M. (2016). [Le livre scolaire numérique : un marché qui attire les convoitises](https://larevuedesmedias.ina.fr/le-livre-scolaire-numerique-un-marche-qui-attire-les-convoitises). *La revue des médias, INA*. - Tourette, L. (janvier 2022). [Un logiciel aussi indispensable qu’envahissant. La vie scolaire sous Pronote](https://www.monde-diplomatique.fr/2022/01/TOURETTE/64241), *Le monde diplomatique*. --- # Des institutions publiques présentes en ligne - Eduscol - Canopé - Edubase - Problemathèque - Des sites académiques qui ont leur raison d’être *vs* des problématiques essentiellement nationales --- - Investissement de collectifs répondant à un manque d’offre du Ministère de l’Éducation nationale ou à un manque de confiance envers lui - Personnels bénévoles + Nécessité de financement $\Rightarrow$ Vente de manuels/services Source : Abensour, C. (2013). [L’autoproduction en édition scolaire. ou comment le geste de survie de quelques microstructures modifie la culture de l’édition scolaire](https://shs.cairn.info/revue-les-enjeux-de-l-information-et-de-la-communication-2013-1-page-63?lang=fr). *Les Enjeux de l’information et de la communication*, 14/1, 63-71. <!-- .element style="font-size: 60%;" --> --- # Budget de l’Éducation nationale : éléments d’analyse <figure> <blockquote> Le budget du ministère de l’Éducation nationale et de la Jeunesse (MENJ) est ainsi le premier budget de l’État et bénéficie dans le projet de loi de finances pour 2024 d’une hausse historique de 3,9 milliards d’euros (+6,5 %). </blockquote> <figcaption>Source : Loi de finances 2024, <a href="https://www.education.gouv.fr/projet-de-loi-de-finances-2024-379542">education.gouv.fr</a>. </figcaption> </figure> 1. Quel est le budget de l’Éducation nationale ? 2. Quel est l’ordre de grandeur du budget de l’État ? 3. Quelle est la proportion du budget de l’Éducation nationale dans le budget de la France ? 4. Quelle est la proportion de l’augmentation du budget de l’Éducation nationale par rapport au budget de la France ? --- # Budget 2024 de l’Éducation nationale et augmentation <figure> <table> <tr> <th>Indicateur</th> <th>Valeur</th> </tr> <tr> <td>Budget Éducation nationale</td> <td>$3,9 / 0,065 = 60\,\text{M€}$</td> </tr> <tr> <td>Budget général</td> <td>$\approx 600\,\text{M€}$</td> <tr> <td>Part de l’Éducation nationale</td> <td>$\frac{60}{600} \approx 10\,\%$</td> </tr><tr> <td>Pourcentage de l’augmentation/Budget</td> <td>$\frac{3,9}{600} \approx 0,65\,\%$</td> </tr> </table> <figcaption> Source : <a href="https://www.budget.gouv.fr/budget-etat">budget.gouv.fr</a> (2023). </figcaption> </figure> --- # L’autoproduction en édition scolaire - Des manuels collaboratifs et librement accessibles (exemple des [licences Creative Commons ](https://fr.wikipedia.org/wiki/Licence_Creative_Commons)) - APSES, association des professeurs en SES - Clionautes en histoire-géographie - Sésamath en mathématiques - Weblettres en français (repris par Le Robert/Editis) - ... - [Le livre scolaire](https://www.lelivrescolaire.fr/) : un [À propos](https://www.lelivrescolaire.fr/a-propos) peu informatif sur une société par actions simplifiée (Processus éditorial ? Place de la recherche ? Aider les professeurs ? Aider les apprentissages des élèves ?) --- # Un exemple extrait du "Livre scolaire" : mathématiques 6<sup>e</sup> <figure> <a href="livre-scolaire-maths-6e-calcul-posé-3-multiplication.png"><img src="livre-scolaire-maths-6e-calcul-posé-3-multiplication.png" style="width:70%;"></a> <figcaption>Source : <a href="https://www.lelivrescolaire.fr/books/16869976">Manuel Mathématiques 6<sup>e</sup></a>, Le livre scolaire.</figcaption> </figure> --- # En contraste, extrait d’un support de cours à l’Inspé <figure> <a href="multiplication-posee.png"><img src="multiplication-posee.png" style="width:70%;"></a> <figcaption></figcaption> </figure> --- # Manuels collaboratifs librement accessibles, associations ou organisations de référence Il existe des manuels/ressources collaboratives librement accessibles, des associations ou organisations de référence dans votre discipline. - Quelles sont les références que vous connaissez ou dont vous avez entendu parler à l’Inspé, en stage, en d’autres lieux ou d’autres temps ? - Qu’en savez-vous ? - Quels sont ou quels pourraient être vos critères pour les choisir comme référence pour enseigner ? --- # Le travail documentaire D’après Gueudet et Trouche (2010), le travail documentaire des professeurs, au cœur de leur activité professionnelle, est un processus itératif qui consiste à « rassembler des ressources, les sélectionner, les transformer, les recomposer, les partager, les mettre en œuvre, les réviser... [...] pour un objectif didactique donné [...] [Il] est central dans l’activité professionnelle des professeurs. Il habite tous les aspects de cette activité, tous ses lieux, tous ses temps. » Distinction artefact et instrument : genèse documentaire et genèse instrumentale (instrumentation vs instrumentalisation) Les genèses documentaires seraient des moteurs de genèses professionnelles ?... Pas automatiquement ! (Reverdy, 2014) --- # Une édition étroitement liée à la culture enseignante - Une approche trop souvent simpliste ou behavioriste de l’enseignement, qui tient trop peu compte du contenu et de l’esprit des programmes - Auteurs majoritairement enseignants certifiés/agrégés ou diplômés/enseignants de l’ENS, rarement chercheurs en didactique/pédagogie. Aucune ou peu de référence à la recherche - Sésamath « [Peu importe que] le nombre de contributeurs ne soit pas une garantie de qualité et que les propositions innovantes risquent d’être écartées par le collectif dans un souci de consensus » (Bruillard, 2009) Bruillard E. (2009), Un premier regard sur le fonctionnement de Sésamath et son adaptation possible à d’autres collectifs d’enseignants, *Les dossiers de l’ingénierie éducative*, mars 2009, p. 85. <!-- .element style="font-size: 60%;" --> --- # D’autres exemples dans vos disciplines ? Constat est fait que le travail collaboratif d’enseignant ne conduit pas d’emblée à des ressources de qualité au regard des résultats de la recherche. Les genèses documentaires ne produisent pas forcément des genèses professionnelles optimales du point de vue de l’apprentissage des élèves. Question : Connaissez-vous des exemples similaires dans vos disciplines ? --- # Les enseignants collectivement ressources d’eux-mêmes Exemple du tutorat des jeunes enseignants ou des étudiants en formation - Trois types d’acteurs : étudiants/enseignants en formation, enseignants du « terrain », universitaires - Trois modèles du tutorat : d’imitation, constructiviste, réflexif fondé sur l’analyse de la pratique - Évolution du tutorat au long de la formation vers plus d’autonomie mais influence de la zone proximale de développement du tutoré --- Deux synthèses basées sur des recherches nationales et internationales - Chaliès, S. et Durand, M. (2000). L’utilité discutée du tutorat en formation initiale des enseignants. *Recherche et formation*, 35, 145-180. - Chalies, S., Cartaut, S., Escalié, G., Durand, M. (2009). [L’utilité du tutorat pour de jeunes enseignants : la preuve par 20 ans d’expérience](https://journals.openedition.org/rechercheformation/534). *Recherche et formation*, 61, 85-129. --- # Apprendre en faisant mais... - Pré-conception des tutorés et tendance à la simple imitation - Éloignement des tuteurs vis-à-vis des cours universitaires - Programme d’enseignement universitaire pas forcément maîtrisé par les tuteurs - Adaptation complexe aux élèves --- # Utilité discutée du tutorat, notamment des entretiens - Tuteurs supervisent généralement comme ils enseignent - Limitation du développement professionnel - Difficultés d’explicitation des connaissances implicites et automatiques du tuteur - Difficultés d’analyse des pratiques (du tuteur, du tutoré) - Évitement d’une réflexion poussée : manque d’interactions, solutions exagérément prescriptives et pragmatiques, inhibition de la créativité, manque de franchise pour éviter les conflits --- Les constats précédents datent de 2000 et 2009. Sont-ils encore d’actualité ? Des dilemmes du tutorat qui persistent ? - Aider ou évaluer - Transmettre ou faire réfléchir - Aider à enseigner ou aider à apprendre à enseigner Quels enseignements pouvez-vous tirer votre propre formation ? Importance du rôle pro-actif des étudiants dans leur propre formation, à l’Inspé et en stage ? --- # L’exemple des *Lesson studies* ou *Études collectives de leçons* - Miyakawa, T. & Winsløw, C. (2009). Un dispositif japonais pour le travail en équipe d’enseignants : Etude collective d’une leçon. *Education et Didactique*, 3(1), 77-90. - Clivaz, S. (2015). Les Lesson Study : Des situations scolaires aux situations d’apprentissage professionnel pour les enseignants. *Formation et Pratiques d’Enseignement en Questions - Revue des HEP de Suisse romande et du Tessin*, 19, 99-105. --- ## Principes et modalités des *Lesson studies* Un processus itératif 1. Groupement d’enseignants d’une école le plus souvent, parfois d’une préfecture ou plus, parfois +100 enseignants observent des leçons dans un gymnase 2. Partir d’un problème d’enseignement, d’un objet d’apprentissage 3. Ce problème est situé dans un contexte d’enseignement, notamment par rapport à la progression du manuel 4. Étude de curriculum : programme, manuel et guide de l’enseignant (3 fois la taille du manuel) 5. Planification de la leçon (plusieurs réunions) 6. Observation et analyse par le collectif 7. Itération tant que les observations ne sont pas satisfaisantes --- # Historique des *Lesson studies* - Dispositif né au Japon, deuxième moitié du 19<sup>e</sup> siècle - au moment d’un passage d’une scolarisation individuelle des élèves dans des écoles à un enseignement collectif - et d’une introduction massive d’objets d’enseignement occidentaux - Invitation d’enseignants occidentaux pour les observer - Les enseignants ont continué à s’observer --- # Contexte des *Lesson studies* au Japon - Rôle central des « écoles normales » rattachées aux universités - Les formés visitent ces écoles et observent des leçons - Stages obligatoires encadrés par des enseignants reconnus comme experts par les étudiants, par l’université, mais aussi par les enseignants de région - Les LS sont organisées avant tout par les écoles normales, ouvertes aux enseignants ordinaires --- - Les LS fonctionnent comme ingénierie pour mettre en pratique les axes du ministère de l’éducation, ou des avancées de la recherche - Les recherches portent sur ce qui paraît essentiel pour les apprentissages ET sur les ressources enseignantes - Les chercheurs sur l’enseignement font partie de la *noosphère* (Chevallard, 1985) et accompagnent les analyses des leçons : moins de conflits institutionnels. --- # Contextes différents dans/hors du Japon Au Japon - Quatre ans de formation initiale - puis programme d’intégration : charge réduite d’enseignement, supervision par un/plusieurs collèges expérimentés, participation à des groupes d’étude collective de leçons - Jeunes enseignants affectés successivement dans plusieurs écoles pour diversifier leur expérience - Mutations fréquentes entre écoles d’une même préfecture (normalement tous les 5 ans) - Écoles aménagées pour permettre un travail collectif des enseignants en dehors des heures de classe, alors que les enseignants en France et aux États-Unis travaillent chez eux --- Influence des différences observées dans les vidéos des études internationales TIMMS (Trends in International Mathematics and Science Study) sur la diffusion des *Lesson studies* hors du Japon ### USA : résultats des élèves assez décevants - introduction d’un type de tâche et d’une (seule) technique - quelques exemples traités par l’enseignant et les élèves - puis les élèves travaillent individuellement sur des tâches similaires et appellent l’enseignant en cas de difficulté... --- ## Japon : très bons résultats des élèves - L’enseignant introduit un problème ouvert (*hatsumon* = poser une question), souvent issu d’un contexte de la « vie de tous les jours » - Autant que possible, il prend en compte le contexte et les capacités des élèves de la classe - Les élèves travaillent sur le problème (situation adidactique) - L’enseignant observe le travail, précise éventuellement la consigne (*kikan-shido* = enseignement entre les bureaux). - Les élèves présentent leurs idées ou solutions (*takuto*), l’enseignant s’assure d’une diversité d’approches --- - Discussion par la classe et l’enseignant (*neriage* = élaboration) - L’enseignant conclut (*matome* = résumé) - L’enseignant ne fournit pas souvent une solution alternative des élèves : seulement dans 7 % des leçons observées par l’étude TIMMS vidéo 1994-1995, à l’inverse des leçons aux USA qui commencaient par la « bonne méthode » le plus souvent tirée du manuel --- # Les LS proches de (chez) vous ! En 2009, Miakawa et Winslow parlent de milliers d’enseignants impliqués dans des LS aux USA. Depuis peu, elles arrivent progressivement en France ! - À votre avis, pourquoi ? - Les avez-vous expérimentées en formation ? - Connaissez-vous des enseignants qui ont expérimenté des dispositifs semblables ? Quels retours d’expérience ? --- # Échanges de ressources d’enseignement et formats de fichier (exemple du Markdown) - Problématique des formats de fichiers libres vs ouverts vs fermés - Un langage de balisage léger de texte : [Markdown](https://fr.wikipedia.org/wiki/Markdown) (Wikipédia) - Problématique des [variantes](https://gist.github.com/vimtaai/99f8c89e7d3d02a362117284684baa0f) - Des logiciels pour éditer nativement du Markdown - une [liste de logiciels](https://github.com/mundimark/awesome-markdown-editors) - [HedgeDoc](https://demo.hedgedoc.org/) : en ligne, compatible LaTeX, similaire à [CodiMD](https://projet.apps.education.fr/applications/codi-md) sur le portail [apps.education.fr](https://apps.education.fr/) de l’Éducation nationale - https://www.marktext.cc/ (multiplateforme) - [Zettlr](https://fr.wikipedia.org/wiki/Zettlr) (méthode de prise de notes [Zettelkästen](https://fr.wikipedia.org/wiki/Zettelkasten)) --- # IA génératives, agents conversationnels (ChatGPT & co) Quelques éléments pour une réflexion à poursuivre (ex. EC *Numérique en éducation* au S2) - Large language model (LLM, grand modèle de langage) : traitement informatique du langage naturel - Les modèles informatiques entraînés par des méthodes mathématiques à partir de jeux de données ([illustration](https://xkcd.com/1838/)), des productions inférées de manière probabiliste à partir d’une invite (*prompt*) : La souris mange... - Yann Le Cun (2016). [L'apprentissage profond : une révolution en intelligence artificielle ](https://www.college-de-france.fr/fr/agenda/cours/apprentissage-profond/apprentissage-non-supervise). Cours au Collège de France. Yann Le Cun est considéré comme l’inventeur de l’apprentissage profond (*Deep Learning*) et est un chercheur réputé dans le domaine de l’intelligence artificielle. --- # Tester l’« intelligence » d’une IA générative - Poser une question précise sur un sujet sur lequel vous avez une expertise ? - Essayer de piéger le logiciel ? (jeux de mots, mots avec différentes acceptions, mélanger le français et des langues étrangères, former des nouveaux mots en mélangeant des graphèmes de différentes langues pour un mot donné, etc.) - Poser une question sur vous-même ? - Écrire un prompt qui soit une simple affirmation mais pas une consigne à exécuter. - etc. --- ### Question : Est-il vrai qu’une suite décroissante et minorée par $0$ converge vers $0$ ? La bonne réponse est « C’est faux » et un contre-exemple qui relève du niveau lycée suffit à l’expliquer : $U_n = 1 + 1/n$ converge vers 1. Cependant, il existe des suites décroissantes et minorées par $0$ qui convergent vers $0$ comme, par exemple, $U_n = 1/n$ qui converge vers $0$. La question a été réitérée 5 fois de suite, sans autre interaction, avec deux modèles de langage : - ChatGPT 3.5 (modèle privé, entreprise américaine) - mixtral-8.7b (modèle open source, entreprise française) Quelles sont leurs réponses successives ?... --- ### Expérimentation avec le modèle de langage ChatGPT 3.5 #### Réponse 1 de ChatGPT 3.5 > **Oui, c’est vrai**[1]. Si une suite est décroissante et minorée (c’est-à-dire qu’elle a une limite inférieure), **alors elle converge vers sa limite inférieure**. Dans le cas d’une suite décroissante et minorée qui tend vers $0$, **sa limite est $0$**. [1]: Le texte en gras souligne les informations erronées ou incohérentes de l’IA générative. <!-- .element style="font-size: 60%;" --> --- #### Réponse 2 de ChatGPT 3.5 > **Oui, c’est vrai**. Si une suite est décroissante et minorée par zéro, cela signifie que tous ses termes sont inférieurs ou égaux à zéro. Puisque la suite est décroissante, cela signifie que chaque terme est inférieur ou égal au terme précédent. Par conséquent, tous les termes de la suite sont également inférieurs ou égaux à tous les termes suivants.\ > \ > Puisque la suite est minorée par zéro, cela signifie qu’elle ne peut pas prendre de valeurs négatives. Ainsi, tous les termes de la suite sont soit zéro soit positifs. Comme la suite est décroissante, **cela signifie que tous les termes après le premier sont zéro**.\ > \ > Par conséquent, la suite converge vers zéro, car tous les termes deviennent de plus en plus proches de zéro **à mesure que l’on s’éloigne de l’infini**. --- #### Réponse 3 de ChatGPT 3.5 > **Oui, c’est vrai**. Si une suite est décroissante et minorée par zéro, cela signifie que tous ses termes sont inférieurs ou égaux à zéro et que la suite ne peut pas prendre des valeurs négatives. > \ > Dans ce cas, la suite est bornée et décroissante, ce qui implique qu’elle converge vers une limite inférieure. **Puisque tous les termes sont inférieurs ou égaux à zéro**, la seule limite possible est zéro. **Donc, une suite décroissante et minorée par zéro converge vers zéro**. --- #### Réponse 4 de ChatGPT 3.5 > **Oui, c’est vrai**. Si une suite est décroissante et minorée par zéro, cela signifie que tous ses termes sont positifs et que chaque terme est inférieur ou égal à son prédécesseur. Dans ce cas, la suite converge vers $0$ car **tous ses termes se rapprochent de plus en plus de $0$** à mesure que l’on avance dans la suite. --- #### Réponse 5 de ChatGPT 3.5 > **Oui, c’est vrai**. Si une suite est décroissante et minorée par zéro, cela signifie que tous ses termes sont **inférieurs ou égaux à $0$** et que la suite diminue à chaque terme. Dans ce cas, la suite converge vers $0$ car **à mesure que les termes deviennent de plus en plus petits, ils se rapprochent de plus en plus de $0$**. --- ## Conclusion sur les 5 réponses du modèle ChatGPT 3.5 - Aucune réponse n’est correcte alors que la question est élémentaire (faible sensibilité à la vérité lors du test) - Aucun exemple n’est donné alors qu’une infinité est envisageable. - Les formulations et les arguments sont variés mais l’argumentation ressemble à chaque fois à un raisonnement mathématique valide (forte sensibilité à la forme syntaxique de la réponse). Le tout s’explique en partie par le fonctionnement automatique de ce type de logiciel : des mots sont ajoutés les uns à la suite des autres par application de règles mathématiques qui ont peu à voir avec la véracité des faits. D’autres facteurs interviennent, par exemple les données d’entraînement. --- ### Expérimentation avec le modèle de langage mixtral-8.7b #### Réponse 1 de mixtral-8.7b > Pas nécessairement. Une suite décroissante et minorée par $0$ converge vers une limite qui est supérieure ou égale à $0$, mais cette limite n’est pas forcément égale à $0$. Par exemple, la suite définie par $U_n = 1/n$ est une suite décroissante et minorée par $0$, **mais** sa limite est $0$. En revanche, la suite définie par $U_n = 1/n + 1$ et également décroissante et minorée par $0$, mais sa limite est 1. --- #### Réponse 2 de mixtral-8.7b > Pas nécessairement. Une suite décroissante et minorée par $0$ converge vers une limite qui est supérieure ou égale à $0$, mais cette limite n’est pas forcément égale à $0$. Il est possible qu’elle soit strictement supérieure à $0$. > \ > Prenons comme exemple la suite définie par $U_n = 1/n$. Cette suite décroissante et minorée par $0$, **car** tous les termes sont positifs, **mais** sa limite est $0$. Cependant, si nous prenons la suite définie par $U_n = 1/sqrt(n)$, elle est également décroissante et minorée par $0$, **mais** sa limite est plutôt $0^+$ (c’est-à-dire plus petite que n’importe que n’importe quel nombre positif). --- #### Réponse 3 de mixtral-8.7b > **Oui, c’est vrai**. La suite définie par $U_n = 1/sqrt(n)$ converge bien vers $0$. Pour démontrer la convergence de cette suite, vous pouvez utiliser le théorème suivant : > \ > Soit ($U_n$) une suite décroissante et minorée. Alors, cette suite est convergente et sa limite **est la plus petite borne supérieure des termes de la suite**. Note : Ce serait *la plus grande borne inférieure*. --- #### Réponse 4 de mixtral-8.7b > Pas nécessairement. Une suite décroissante et minorée par $0$ converge vers une limite qui est soit égale à $0$, soit un réel strictement positif. Donc, contrairement à une idée reçue, elle ne converge pas toujours nécessairement vers $0$. > \ > Explication : > 1. une suite est décroissante si chaque terme successif est plus petit que le terme précédent. > 2. Une suite est minorée par $0$ si tous ses termes sont supérieurs ou égaux à $0$. >\ >... --- >Bien que cette suite décroissante et minorée par $0$ ne puisse pas tendre vers l’infini ou vers un réel négatif, il est possible qu’elle converge vers une limite strictement positive. Par exemple la suite ($1/n$) avec $n$ entier naturel non nul est une suite décroissante et minorée par $0$ qui converge vers $0$, tandis que la suite ($1/n + 1$) avec $n$ entier naturel non nul est également décroissante et minorée par $0$, mais converge vers 1. >\ > Ainsi, on ne peut affirmer qu’une suite décroissante et minorée par $0$ converge vers $0$ ; elle converge vers une limite qui est supérieure ou égale à $0$. --- #### Réponse 5 de mixtral-8.7b > Pas nécessairement. Une suite décroissante et minorée par $0$ converge vers une limite qui est soit égale à $0$, soit un réel strictement positif. Donc, même si une suite est décroissante et minorée par $0$, sa limite ne sera pas forcément $0$. >\ > Par exemple, considérons la suite définie par $U_n = 1/n$ pour tout entier naturel $n$. Cette suite est décroissante (car $U_{n+1} = 1/(n+1) < 1/n = U_n)$ et minorée par $0$ (car $0 < 1/n$) pour tout $n$ entier naturel non nul). Cependant, sa limite est $0$, ce qui est incohérent avec le théorème selon lequel toute suite est décroissante et minorée converge. >\ >... --- > Cependant, il existe des suites décroissantes et minorées par $0$ qui convergent vers une limite strictement positive. Par exemple, la suite définie par $U_n = 1/n + 0{,}1$ pour tout entier naturel "n" est décroissante (car $U_{n+1} + 0,1 < 1/n + 0{,}1 = U_n $) et minorée par $0$ (car $0 < 1/n + 0{,}1$) pour tout $n$ entier naturel non nul. Cependant, sa limite est $0{,}1$, qui est strictement positive. >\ > En résumé, une suite décroissante et minorée par $0$ converge vers une limite qui est soit égale à $0$, soit un réel strictement positif. --- ## Conclusion sur les 5 réponses du modèle mixtral-8.7b - Chaque réponse est correcte et propose des exemples illustrant les affirmations mais des réponses contiennent des arguments faux ou incohérents (sensibilité variable à la vérité lors du test). - Les formulations et les arguments sont variés mais l’argumentation ressemble à chaque fois à un raisonnement mathématique valide (forte sensibilité à la forme syntaxique de la réponse). Les explications de ce constat sont identiques à celles indiquées pour ChatGPT. --- Que donne une recherche en utilisant un moteur de recherche « standard » ? --- Comme trouvé dans un commentaire anonyme sur un blog anglo-saxon : > *ChatGPT is extremely good in hiding absolute bullshit in very good text*. ... pas par manque de bonne volonté, mais par nature, comme les autres IAG. <figure> <a href="2023-12-14-chatgpt-warning.png"><img src="2023-12-14-chatgpt-warning.png" style="width:80%;"></a> <figcaption>ChatGPT prévient les usagers de ses qualités et ses défauts ! (consulté le 14/12/2023).</figcaption> </figure> --- ### Quelques problématiques liées aux IAG livrées à votre réflexion, à vos recherches et à d’autres UE/EC - IAG et vérité - IAG et « hallucinations » - IAG et données personnelles - IAG et éthique - IAG et développement durable - IAG et pollution entre IAG - IAG et actualisation des données - IAG et processus d’entraînement biaisé, voire censure - IAG et processus ou systèmes d’enseignement - IAG et impact sur les compétences et l’intelligence, les vôtres, celle des élèves, celle des citoyens - etc. --- # Principales références - Bonnéry, S. (dir.)(2015). Supports pédagogiques et inégalités scolaires. La dispute. Collection L’enjeu scolaire. - Bruillard E. (2009), Un premier regard sur le fonctionnement de Sésamath et son adaptation possible à d’autres collectifs d’enseignants, *Les dossiers de l’ingénierie éducative*, mars 2009, p.85. - Georget, JP. (2009). [Activités de recherche et de preuve entre pairs à l’école élémentaire : perspectives ouvertes par les communautés de pratique d’enseignants](https://hal.science/tel-00426603v1). Thèse de doctorat. Université de Paris Diderot. - Reverdy, C. (2014). [Du programme vers la classe : des ressources pour enseigner](http://veille-et-analyses.ens-lyon.fr/DA/detailsDossier.php?parent=accueil&dossier=96&lang=fr). *Dossier de veille de l’IFÉ*, 96. --- - Wagnon, S. (dir.)(2019). *Le manuel scolaire objet d’étude et de recherche : enjeux et perspectives*. - MOOC [L’intelligence artificielle... avec intelligence !](https://www.fun-mooc.fr/fr/cours/lintelligence-artificielle-avec-intelligence/) (novembre 2024, 10 h d’activité). FUN-MOOC.
  Version imprimable/copiable   Jean-Philippe Georget –  licence CC BY-NC-SA 4.0.