AI feedback

Here Be Dragons

Feb 05, 2025

Feedback is een belangrijk element in het leerproces. Het geeft informatie over wat er goed gaat en wat er verbeterd kan worden. Met de komst van AI lijkt er waardevol feedbackgereedschap bij gekomen. Echter, ondanks de explosieve groei van AI en AI agents zitten er behoorlijk wat haken en ogen aan feedback via AI.

Het was in eerste instantie de bedoeling dat ik, net als bij audiofeedback, een nieuwe vorm van feedback zou uitproberen bij mijn leerlingen. Na het lezen van een aantal boeken en onderzoek over feedback en AI, ben ik hiervan teruggekomen. Dit artikel zal dus geen praktijkvoorbeeld laten zien van AI feedback in het onderwijs.

Dat wil niet zeggen dat AI feedback geen waarde heeft in het feedbackproces. Het kan zeker een rol spelen, maar het is belangrijk te beseffen dat het niet om de kwaliteit van het AI model gaat, maar de rol van AI in het leerproces van de leerling. Ongeacht hoe goed AI gaat worden, het verandert niet de risico’s die het met zich meebrengt. Leraren dienen bewust te zijn van deze risico’s voordat ze kunnen bepalen welke rol AI in het feedbackproces zal innemen. Ik eindig dit artikel dan ook met een aantal vragen die leraren kunnen helpen AI op een verantwoorde manier in te zetten in het feedbackproces.

Feedback en zijn waarde

Wanneer we het hebben over feedback op school, denken veel mensen aan het geven van het juiste antwoord of vertellen hoe het eigenlijk had moeten zijn. Dit is slechts maar een deel van het verhaal. Effectieve en efficiënte feedback gaat over het begeleiden van een proces. Het beoogt verandering bij de leerling teweeg te brengen en helpt bij het ontwikkelen van zelfstandig leren. “Het doel van feedback is invloed uitoefenen op toekomstig werk van leerlingen en op hun leerstrategieën. Aan de hand van de verkregen informatie kunnen leerlingen een volgende stap zetten in hun leerproces.” (Feedback in de Klas)

Cognitieve neurowetenschapper Stanislas Dehaene geeft in How We Learn aan dat er vier belangrijke pijlers zijn in het leerproces: gerichte aandacht, actieve betrokkenheid, terugkoppeling van fouten, en een cyclus van dagelijkse repetitie met nachtelijke consolidatie. Over feedback is hij heel helder: “de kwaliteit van de feedback die studenten krijgen, is een van de bepalende factoren voor hun academisch succes” (How We Learn). Volgens Dehaene bouwt een docent ervaring op over welke fouten zijn leerlingen doorgaans maken en verbetert daarmee de kwaliteit van zijn feedback: “deze leraren vinden de juiste woorden om het zelfvertrouwen van hun leerlingen te steunen, hen gerust te stellen en te herstellen, terwijl ze tegelijkertijd hun foutieve mentale representaties corrigeren.” (How We Learn)

Feedback is een parapluterm voor verschillende soorten reacties op handelingen en producten van leerlingen. We kunnen in de eerste plaats de verdeling maken in corrigerende feedback, evaluerende feedback, activerende feedback, en motiverende feedback. Corrigerende feedback richt zich op fouten in de taak en kan correcties aandragen. Evaluerende feedback geeft een waardeoordeel op de taak en is veelal subjectief. Activerende feedback (ook wel bekend als feed forward) geeft feedback voor het vervolg van de taak. Wat kan er beter gedaan worden? Wat zijn punten van aandacht? Motiverende feedback richt zich op de motivatie van de leerling. Feedback in de Klas heeft een andere vierdeling, al toont het ook overeenkomsten: feedback op taakniveau (hoe goed is de taak gedaan?), procesniveau (hoe is de taak op- en aangepakt?), zelfsturing (hoe heeft de leerling zich voorbereid?) en persoon (vergelijkbaar met motiverende feedback).

Het is daarnaast belangrijk om het verschil te duiden tussen feedback in een formatief proces en een evaluatie op een summatieve toets. Feedback heeft als doel de leerling verder te brengen in een leerproces. Een evaluatie op een summatieve toets heeft als doel uit te leggen waarom er tot een bepaald oordeel is gekomen. Dit verschil is belangrijk. Er wordt nog wel eens uitgebreide feedback gegeven op het eindproduct maar de kans dat dit blijft hangen bij een leerling is niet groot. Beter is het om deze tijd te investeren in feedback in het proces naar het eindproduct toe.

In Feedback in de Klas richten Stijn Verhoof en Geert Speltincx zich vooral op het feedbackgesprek. Leraren zijn expert in hun vakgebied en dat vereist kennis over veel verschillende situaties waarin de aan te leren vaardigheid wordt toegepast. In het gesprek tussen feedbackgever en feedbackontvanger is ruimte voor de nuance en ontwikkelt kwaliteitsbesef. Het is niet simpelweg het geven van een goed antwoord. Het is de fout herkennen, de fout aantonen, en de leerling begeleiden in de correctie. Dit is een holistische benadering van feedback: het gaat niet om het product zelf, maar hoe het product tot stand komt.

Feedback is dus een belangrijk onderdeel in het leerproces. Je hebt hiervoor heldere doelen nodig en duidelijkheid over het proces naar die doelen, of zoals Stijn Verhoof en Geert Speltincx zeggen: “Waar sta ik als leerling nu? Heb ik vooruitgang geboekt? Hoe ver ben ik nog verwijderd van het doel? Maar ook: Wat is de volgende stap?” (Feedback in de Klas). Zonder een duidelijk doel zegt feedback niet veel. Ook kan bij onduidelijke doelen de feedbackverwachting van de leerling verschillen van wat de leraar voor ogen had.

Het hebben van heldere doelen is één van de meest belangrijke elementen in het geven van feedback. Echter, het stellen van heldere doelen is niet zo makkelijk als het lijkt. Bij schrijfproducten is het vaak moeilijk om objectieve, eenduidige criteria te geven, vaak tot frustratie van leerlingen. Wanneer is het goed genoeg? Waarom zijn er meerdere antwoorden goed maar niet die van mij? Ook rubrics bieden slechts richting: “Los van het gegeven dat er in het ‘echte leven’ ook geen rubrics voorhanden zijn voor de producten of taken die je moet afronden, is er ook het probleem dat veel aspecten van een taak zich niet goed laten vangen in een rubric of lijst met criteria” (Formatief Handelen). Een rubric werkt niet als afvinklijst maar kan wel helpen in een feedbackgesprek. “Criteria zijn meer een gesprekspartner dan een eindproduct.” (Feedback in de Klas)

Het gaat bij effectieve feedback dus veelal niet om het antwoord (correctieve feedback), maar om de vragen die we als docenten en de leerlingen aan zichzelf stellen (evaluerende feedback): “Soms denk ik dat wij, als leraren, zo graag de antwoorden willen weten dat we niet voldoende tijd besteden aan het ontwikkelen van de vraag. Maar het is de vraag die de interesse van mensen prikkelt. Het vertellen van het antwoord doet niets voor je.” (Willingham in Feedback in de Klas). Een antwoord is vaak een eindpunt terwijl een vraag het begin is van een ontdekkingstocht naar inzicht. Het gaat er uiteindelijk om welk residu er achterblijft bij onze leerlingen na die tocht.

AI als fenomeen

Automatisch evalueren van betogen bestaat al sinds de jaren zestig van de vorige eeuw. In 1968 publiceerde Dr Ellis Page Project Essay Grade (PEG). Het was een behoorlijk betrouwbaar systeem maar was gericht op het becijferen van betogen. Het geven van feedback door middel van Generatieve AI (GenAI) is natuurlijk nog vrij jong. Er is op dit moment dan ook geen hard bewijs dat GenAI feedback betere leerresultaten oplevert. Wat we kunnen doen is naar een aantal onderzoeken kijken en de bevindingen naast bewezen effectieve en efficiënte feedback leggen. Op deze manier weten we welke bijdrage AI feedback zou kunnen leveren aan het leerproces.

Als je nog niet weet wat Generatieve AI is en hoe het werkt adviseer ik mijn artikel te lezen over Generatieve AI in het onderwijs. GenAI, zoals ChatGPT, genereert (de ‘G’ in GPT) nieuwe inhoud naar aanleiding van een prompt, een opdracht vaak in tekst. Het gebruikt hiervoor een voorgeprogrammeerde dataset (de ‘P’ in GPT). Omdat taal complex is en de AI alleen met (reeksen van) getallen kan werken, heb je een transformer nodig (de ‘T’ in GPT). De transformer vertaalt tekst naar getallen en getallen naar tekst. Kort gezegd, GenAI voorspelt tekst naar aanleiding van een vraag op basis van zijn dataset.

Onderzoek naar AI en feedback

In mijn artikel Wat voegt Generatieve AI nu eigenlijk toe aan het onderwijs? haalde ik het onderzoek “Generative AI Can Harm Learning” door Hamsa Bastani et al. aan. In dit onderzoek, gedaan onder 1000 Turkse leerlingen, kwam naar voren dat het gebruik van het type Generatieve AI verschil maakt in de leerprestaties van leerlingen. Het onderzoek maakt onderscheid in GPT Base (min of meer ChatGPT) en GPT Tutor een speciaal ontwikkelde AI ter ondersteuning van leerlingen in het leerproces. GPT Tutor is bijvoorbeeld minder geneigd het antwoord te geven, maar de leerling naar het antwoord te begeleiden. Hier kwam uit dat het gebruik van zowel GPT Base en GPT Tutor de leerprestaties verhoogden. Echter, werd de AI uit het leerproces gehaald, verslechterde de resultaten: “Bovendien stellen we vast dat wanneer de toegang later wordt afgenomen, studenten eigenlijk slechter presteren dan diegenen die nooit toegang hebben gehad.” Een logische vervolgtrekking is dan ook dat GenAI een eeuwige scaffold is: “Onze resultaten suggereren dat studenten proberen GPT-4 te gebruiken als ‘krukje’ tijdens oefenprobleemsessies en, wanneer dat succesvol is, ze slechter presteren als ze zichzelf aangewezen zijn.”

In “Feedback sources in essay writing: peer generated or AI-generated feebdack?” door Seyyed Kazem Banihashem et al. is onderzocht wat het verschil is tussen peerfeedback en GenAI feedback op een betoog (argumentative essay). Hier waren ook de Open Universiteit in Heerlen en de Universiteit Wageningen betrokken. In dit onderzoek werd vooral een verschil gevonden in het soort feedback dat gegeven werd: “Terwijl ChatGPT meer beschrijvende feedback gaf, inclusief informatie over hoe het essay is geschreven, gaven leerlingen feedback inclusief informatie over de identificatie van het probleem in het essay.” De onderzoekers zien vooral complementaire rol voor ChatGPT in het feedback proces.

Echter, het onderzoek keek alleen naar het soort feedback, niet welk effect de feedback had op het leerproces. Anders gezegd, studenten schreven niet een herziene versie naar aanleiding van de feedback. Hierdoor is ook moeilijk vast te stellen of de feedback van medeleerlingen en van ChatGPT invloed had op de kwaliteit van het schrijfproduct. Ook is onduidelijk of en hoe de studenten waren geïnstrueerd over het geven van peerfeedback.

In “Impact of AI assistance on student agency” door Ali Darvishi et al. werd gekeken naar het idee of AI kan helpen in geven van peerfeedback en zelfregulatie. Dit valt een beetje buiten ons onderwerp, maar wat wel interessant is, is dat de student inleverde op zelfwerkzaamheid, een probleem dat we ook al zagen in het onderzoek van Hamsa Bastani: “Studenten neigden ertoe om afhankelijk te zijn van, in plaats van te leren van AI-hulp. Als de AI-hulp werd verwijderd, konden zelfregulatie strategieën helpen om het gat op te vullen, maar ze waren niet zo effectief als de AI-hulp.” AI assistentie helpt bij zelfregulering, maar (ironisch) alleen wanneer het aangeboden wordt. Er vindt geen leerproces plaats. Dit is dan ook de waarschuwing die de onderzoekers geven: verlies niet de negatieve invloed op zelfredzaamheid uit het oog. Uiteindelijk is het doel van onderwijs kritische en zelfstandige burgers op te leiden, geen dienaren voor het AI orakel.

AI als extrinsieke motivator

In “AI feedback: Moving beyond the hype to integrating it into a coherent feedback pedagogy” door Hui Yong Tay werd gekeken naar de invloed van AI feedback op het verwerven van de Engelse taal door kansarme leerlingen. Het ging om 21 leerlingen in de leeftijd van 13-14 jaar. Zij kregen, naast online lessen, feedback op hun schrijfproducten via de app Scribo. De conclusie was dat AI feedback een positieve werking had op de prestaties van de leerlingen, maar dat dit mede kwam door ingebouwde routines in het programma.

Interessant aan dit onderzoek zijn de reacties van de leerlingen, want het lijkt erop dat AI vooral handig was om antwoorden te krijgen. “Je kunt gewoon erop klikken (de fout die door het systeem is gemarkeerd) en het woord veranderen. En je blijft maar op 'accepteren' klikken en dan verandert alles en dan krijg je meer punten,” aldus een leerling. De vraag is dan ook, wordt hier een product verbetert of een leerling? Diezelfde leerling zegt later: “Als je de discipline hebt, zou je er eigenlijk doorheen moeten lezen in plaats van op alles 'accepteren' te drukken... je weet niet wat je fout hebt gedaan.”

De reden dat leerlingen de AI feedback waardeerden was dat het makkelijk te gebruiken was. Ook was er onmiddellijk feedback via de Scribo scores. Daarnaast was de feedback niet veroordelend en hielp de zichtbare verbetering in het programma leerlingen gemotiveerd te houden. Het viel mij op dat veel genoemde positieve ervaringen gebaseerd waren op extrinsieke motivatie (‘scores’, ‘badge’). De vraag is dan ook welk deel wordt veroorzaakt door AI en welk deel door de gamification. Daarnaast leek het er ook op dat leerlingen een negatief beeld op feedback door docenten hadden ontwikkeld.

De ‘verbetering’ die wordt aangetoond in het artikel is vooral gericht op de perceptie, emotie, en handelingen van leerlingen wanneer ze interactie hadden met AI, niet op de kwaliteit van de producten of het leerproces. Ook is dit onderzoek meer gericht op bewerken (‘edit’) van producten in plaats van het geven van feedback om de leerling zelf aan de slag te laten gaan.

AI feedback kan dus een positieve bijdrage leveren aan de motivatie van leerlingen om te leren. De vraag is of er sprake is van een motivatievoordeel of van een leervoordeel. Meer motivatie leidt niet automatisch tot beter leren: “Natuurlijk zal een gemotiveerde leerling sneller aan iets beginnen, maar dit is geen garantie voor leren. Het is zelfs zo, dat als een leerling gemotiveerd begint en geen succes boekt, die motivatie snel wegebt.” (Op de Schouders van Reuzen)

Cognitive Offloading

In “AI tools in Society: Impacts on Cognitive Offloading and the future of Critical Thinking” van Michael Gerlich wordt aangetoond dat het gebruik van Generatieve AI kan leiden tot verlies in kritisch denkvermogen door het fenomeen “cognitive offloading” (cognitieve uitbesteding): het gebruik van externe hulpmiddelen om de cognitieve inspanning van de gebruiker te verlagen. Cognitive offloading kan helpen in het creëren van ruimte in het denken om de verdieping te vinden. Aan de andere kant zorgt het ervoor dat de gebruiker zelf minder hoeft te doen en minder kennis hoeft te hebben waardoor het kritisch denkvermogen van de gebruiker verandert: “De bevindingen toonden een significante negatieve correlatie aan tussen frequent AI-toolgebruik en kritisch denkvermogen, beïnvloed door toegenomen cognitieve uitbesteding.”

Gerlich geeft aan dat AI gereedschap kan helpen bij het leren, maar dat overmatige afhankelijkheid leidt tot cognitive offloading. Dit kan resulteren in dat werknemers efficiënter werken maar minder in staat zijn zelfstandig problemen op te lossen en kritisch te evalueren. Dit komt overeen met de uitkomsten van eerder genoemde onderzoeken: gebruik van AI gereedschap zorgt voor betere resultaten in het moment maar creëert ook een afhankelijkheid van dat gereedschap (de eeuwige ‘scaffolding’). Wanneer processen worden overgenomen door AI gereedschap kan dit ook leiden tot een gebrek aan transparantie en begrip. Gerlich adviseert dan ook een balans te vinden tussen de voordelen van AI integratie met de ontwikkeling van zelfstandige analytische vaardigheden in met name het onderwijs en organisaties. Hoe dit eruit zou moeten zien, blijft onbeantwoord.

De bevindingen van Gerlich worden ondersteund in het artikel “Beware of metacognitive laziness: Effects of generative artificial intelligence on learning motivation, processes, and performance” van Yizhou Fan et al. Dit onderzoek keek naar de mogelijkheden voor ‘hybride intelligentie’ waarbij er een wisselwerking plaatsvindt tussen mens en AI. Het onderzoek, dat werd gedaan onder 117 universiteitsstudenten, ondersteunt het gevaar van cognitieve uitbesteding: “Technologieën zoals ChatGPT kunnen de afhankelijkheid van studenten van technologie bevorderen en mogelijk metacognitieve ‘luiheid’ veroorzaken, wat hun vermogen voor zelfregulatie en diepgaand leren kan belemmeren.”

Daarnaast geeft het onderzoek aan dat de resultaten bij gebruik van ChatGPT significant verbeterden, maar weer wegvielen wanneer er geen AI beschikbaar was: “ChatGPT kan de prestaties bij kortetermijntaken aanzienlijk verbeteren, maar het zal mogelijk de intrinsieke motivatie, kennisverwerving en kennisoverdracht niet bevorderen.” Deze verbeterde prestaties worden overigens ook, voor een deel, in twijfel getrokken. De onderzoekers ontdekten dat sommige studenten de inhoud van ChatGPT kopieerden en plakten, bijvoorbeeld voorbeeldzinnen gemaakt door ChatGPT: “Metacognitieve luiheid kan kortetermijnprestatieverbeteringen stimuleren, maar op de lange termijn leiden tot stagnatie van vaardigheden.”

Zowel Fan en Gerlich geven aan dat metacognitieve vaardigheden cruciaal zijn in de omgang van Generatieve AI. Deelnemers in Gerlichs onderzoek die een hoger opleidingsniveau hadden gingen kritischer om met AI: “Mijn opleiding heeft mij geleerd hoe belangrijk het is om dingen niet zomaar voor waar aan te nemen, vooral wanneer het gaat om AI, dat soms vooringenomen of incomplete informatie kan bieden,” aldus een deelnemer. Hier wordt dus ook duidelijk dat het belangrijk is dat alvorens leerlingen en studenten AI gebruiken voor feedback, zij opgeleid moeten zijn in kritisch denken en AI geletterdheid.

Het onderzoek geeft daarnaast aan dat hoe hoger het vertrouwen van de deelnemers in AI, hoe hoger de kans dat ze cognitieve taken overdragen aan dit gereedschap. Nu Generatieve AI steeds meer algemeen goed wordt, verhoogt dit ook het risico op een verminderde kritische benadering van de mens, of, zoals Nicholas Carr in The Shallows zegt: “Wanneer we ons geheugen overdragen aan een machine, dragen we ook een zeer belangrijk deel van ons intellect en zelfs onze identiteit over.”

Gevolgen AI op schrijfvaardigheid

Om te zien welk effect AI heeft op de kwaliteit van schrijfproducten hoef je niet ver te kijken. “Feedback sources in essay writing: peer generated or AI-generated feedback?” van Seyyed Kazern Banihashem et al. gebruikt veel AI taal. Banihashem geeft dit ook aan: “De auteurs gebruikten generatieve AI voor taalbewerking en namen de volledige verantwoordelijkheid.” Welbekende AI favorieten zijn goed vertegenwoordigd in dit artikel: delve, foster, enhance, en deep/depth. Daarnaast is er sprake van veel wollig taalgebruik:

This investigation serves as a critical step in determining whether the feedback imparted by peers and AI holds the necessary caliber to enhance the craft of essay writing.
The ramifications of addressing this query are noteworthy. Firstly, it stands to significantly alleviate the workload carried by teachers in the process of essay evaluation. By ascertaining the viability of feedback from peers and AI, teachers can potentially reduce the time and effort expended in reviewing essays.

Dit kan als volgt menselijker worden gemaakt:

This research can help in answering the question whether feedback by peers and AI will improve essay writing.
The impact of answering this question is significant. Firstly, if viable, peer and AI feedback could significantly reduce the workload of teachers when evaluating essays.

Een ander voorbeeld:

[D]irecting attention towards the comparison of peer-generated feedback quality and AI- generated feedback quality within the realm of essay writing bestows substantial value upon both research and practical application.

Kan ook minder wollig:

Comparing peer-generated feedback quality with AI-generated quality in essay writing can provide valuable insights for both research and practical application.

Als je aan ChatGPT vraagt als een editor je teksten door te lezen en aanpassingen te maken daar waar nodig, zal ChatGPT altijd veranderingen aanbrengen, ongeacht of de geschreven tekst ook gewoon al goed was. Dit zorgt ervoor dat je schrijfproduct een persoonlijke stem kwijtraakt en meer generiek wordt. We zullen zelf steeds minder schrijfvaardig worden en daardoor steeds vaker grijpen naar AI gereedschap om dat voor ons te doen. Dit is een neerwaartse spiraal. Als je weet dat ‘leren denken, leren schrijven’ is (Zinsser in Writing to Learn) kan dit grote gevolgen hebben voor onze zelfredzaamheid. Door deze artikelen zelf te schrijven leer ik AI en feedback beter te begrijpen. Dat hierdoor fouten in mijn artikel kunnen sluipen, weet ik maar al te goed. Echter, het schrijfproces heeft een persoonlijk doel (inzicht krijgen in de materie); het artikel heeft als doel de informatie te delen met geïnteresseerden, “warts and all.”

Uit de onderzoeken hierboven kunnen we de volgende conclusies trekken. AI is effectieve scaffolding maar creëert een afhankelijkheid bij de gebruiker. Deze cognitieve uitbesteding heeft een negatief effect op ons kritsch denkvermogen. AI feedback richt zich veelal op een schrijfproduct als tekst, terwijl peerfeedback zich meer richt op de probleemstelling. AI feedback kan daarmee leerlingen extrinsiek motiveren en hen daarmee met de materie aan de slag laten gaan. Het gebruik van AI voor feedback vraagt hierdoor om een weldoordachte integratie: “activiteiten moeten zorgvuldig worden ontworpen zodat studenten niet kunnen vermijden om met deze relevante informatie te interacteren.” (Hidden Lives of Learners)

AI feedback

Anders dan met audiofeedback, waar ik eerder over schreef, dient grote voorzichtigheid te worden geboden met AI feedback. Schrijven is niet altijd een objectief proces. Spelling en grammatica zijn dat veelal wel, maar over stijl en inhoud verschillen nog wel eens de meningen. Daarnaast kan AI feedback een tweede kapitein worden op het feedbackschip waardoor de leraar zichzelf naar leerlingen moet verdedigen als de AI andere feedback geeft dan hijzelf.

Je kunt een rubriks uploaden in een Generatieve AI waarin je omschrijft waar het product aan moet voldoen. Echter, los van het feit dat AI kan hallucineren, maakt AI nog steeds keuzes waar op te reageren, hoe te reageren, en welke voorstellen er worden gedaan. Deze voorstellen zijn niet objectief. Generatieve AI heeft zelf ook voorkeuren in stijl en woordenschat. Het is zeker zo dat Generatieve AI vaak ook goede voorstellen doet. Het blijft immers een taalmodel. Het weet best wel wat over taal.

proces vs. product

Zoals Feedback in de Klas al aangaf, feedback is een proces, geen moment. Generatieve AI wordt nog steeds beter en de correctieve feedback zal daarmee ook steeds beter worden. Maar ongeacht de kwaliteit van de feedback, blijft het een probleem dat AI feedback geeft op het product en (nog) niet bezig is met het leerproces verspreid over een langere periode.

Je kunt ervoor kiezen om AI de leiding te geven in het schrijfproces om zo ook meer feedback te geven op dat proces. Echter, zoals onderzoek heeft uitgewezen, loop je dan het risico dat de leerling afhankelijk blijft van het systeem. Ook is de vraag wat er dan overblijft voor de rol van docent. Onderzoek heeft aangetoond dat onderwijs complex is, waar cognitieve, sociaalpedagogische, en psychologische aspecten samenkomen. Wanneer AI de regie neemt, hoe waarborg je al deze aspecten? Dit is een discussie die buiten dit artikel valt, maar is stof tot nadenken voor een mogelijk toekomstig artikel.

docentgestuurd

Er is natuurlijk een groot verschil tussen een docent die AI gebruikt om feedback te geven op leerlingwerk en een leerling die AI gebruikt om feedback te krijgen op haar schrijfproducten. Een docent kan de AI output redigeren alvorens het aan de leerling te geven. De vraag is dan welke winst het gebruik van AI zou geven.

Een mogelijk gebruik van AI door docenten is, zoals Daisy Christodoulou aangeeft in “Using AI to automate written comments,” dat AI audio feedback kan omzetten naar geschreven tekst. Dat bespaart tijd (al zou ik zeggen, laat leerlingen zelf de feedback opschrijven zoals ik bespreek in “audio feedback”). Maar deze functie bestond al vóór de opkomst van generatieve AI.

Docentgestuurde feedback kan beter ingaan op inzichten verworven uit de cognitieve wetenschap dan wanneer een leerling met AI als feedbackgever aan de slag gaat. Zo kan een docent feedback beter uitstellen: “Sommig bewijs toont aan dat het kort uitstellen van feedback beter langetermijnleren oplevert dan onmiddellijke feedback” (make it stick, p. 39). Ook kan een docent beter inschatten waar een leerling zich eerst op moet richten en daarmee de hoeveelheid feedback beperken (voorkomen van cognitieve overbelasting). Daarnaast kennen de meeste docenten hun leerlingen goed en zullen zij de toon en de vorm van hun feedback aanpassen aan de leerling.

Als een docent zelf gebruik wil maken van AI feedback voor leerlingen moet de docent eerst bij de AI aangeven aan welke criteria de feedback moet voldoen. Dit kan door een rubriks te uploaden. Daarna kan hij of zij werk van leerlingen delen met de AI. Het werk dient wel geanonimiseerd te zijn. Het is dan te adviseren een eigen codesysteem aan te houden om werk te traceren en de feedback bij de juiste leerling te krijgen. Het maakt geen groot verschil of het werk getypt of geschreven is. Een model als ChatGPT heeft een OCR functionaliteit waarmee het foto’s van geschreven werk kan worden omgezet in digitale tekst. De docent kan aan een model zoals ChatGPT vragen de feedback in een Word bestand aan te leveren zodat deze later makkelijker met een leerling gedeeld kan worden.

In een notitie op Substack stelt Arvind Narayanan, professor aan de Universiteit van Princeton en schrijver van het boek AI Snake Oil, het nut van bepaalde AI agents ter discussie. Hij heeft het over het automatiseren van winkelen of het boeken van een reis, maar het is geen grote sprong om ook zo naar feedback agents te kijken: “Het zal onvermijdelijk vele rondes van heen-en-weer communicatie vereisen om te ontdekken wat de gebruiker wil, of anders het risico lopen dat dingen fout gaan.” Wil je een feedback agent gebruiken, maar zelf de regie houden, dan zal je heel veel moeten fine-tunen. Op een gegeven moment moet je je dan als docent afvragen of het gebruik van AI juist niet meer werk oplevert zonder significante verbetering van het leerproces voor de leerling.

Het voordeel is dat GPT veel nakijkwerk bespaart, maar je levert weer veel tijd in met het organiseren van de data. Je kunt het bulkwerk automatiseren door middel van een ‘agent’ maar dit vergt diepere kennis over AI en is uiteindelijk minder flexibel dan zelf nakijken. Uiteindelijk zal je de vraag moeten stellen of de AI past binnen jouw systeem of dat je het systeem passend aan het maken bent voor AI.

leerlinggestuurd

Je kunt ook leerlingen zelf hun schrijfproduct laten aanbieden aan AI. Hiervoor moet in de eerste plaats bekend zijn of de leerling gebruik mag maken van de AI applicatie. Vaak zijn er leeftijdslimieten aan het gebruik van AI modellen of moeten ouders toestemming geven voor het gebruik (ook vanwege de AVG). Vaak ligt die grens bij 13 jaar, met ouderlijke toestemming, maar voor sommige modellen moet je minimaal 18 jaar zijn.

Het moment van feedback is een tactische keuze. Wordt deze keuze bepaald door de docent, de AI, of de leerling in zelfsturend leren? Effectieve feedback heeft immers niet tot doel direct correcties aan te brengen op een product. Ook is de vraag of je leerlingen met een AI Base, zoals ChatGPT, laat werken of een AI Tutor en hoe je ervoor zorgt dat de AI feedback geeft naar aanleiding van de leerdoelen die je hebt gesteld (bijvoorbeeld een rubriks). Er zijn voorzichtige positieve ervaringen met een AI Tutor, zoals het onderzoek op Harvard waarin eerstejaars studenten gebruikmaakten van een AI Tutor om basis natuurkunde eigen te maken. Aan de andere kant kan een AI Tutor ook de neiging hebben een eeuwig ‘krukje’ te worden, zoals aangetoond in “Generative AI Can Harm Learning.”

Wanneer een leerling met Generatieve AI aan de slag gaat, wordt het lastig voor de leerling om prioriteiten te stellen. Een leerling staat immers nog niet boven de stof en zal overspoeld worden met feedback waardoor zij niet meer duidelijk ziet waar aan te werken. Dit zal vaak leiden tot cognitieve overbelasting. De leerling zal de neiging hebben om ‘het goede antwoord’ te vragen en de feedback klakkeloos accepteren. Het is dan geen feedback meer, maar een correctie geworden: “Wanneer leerlingen fouten maken en correctieve feedback krijgen, worden de fouten niet geleerd” (make it stick, p. 90).

Alleen wanneer een leerling goed is opgeleid in het gebruik van AI als gereedschap, kan het effectief worden ingezet. Zo moet een leerling beseffen dat het antwoord van AI een suggestie is en dat Generatieve AI de neiging heeft de gebruiker tevreden te stellen. Ook moet een leerling keuzes durven maken in het schrijfproces dat tegen het advies van AI ingaat. Het is vooral zaak dat de leerling zelf schrijft en niet een voorstel van AI bewerkt. Het moet een schrijfproduct van de leerling zijn, niet van AI.

conclusie

Het doel van feedback is het creëeren en vormen van kritisch denkprocessen in de leerling zodat zij uiteindelijk zelfstandig kan handelen. Het geven van feedback is niet in de eerste plaats om een product te verbeteren, maar om de leerling kennis en vaardigheden eigen te laten maken zodat ze later de handeling zelfstandig kan verrichten.

Goede feedback staat niet op zichzelf maar wordt gegeven in een proces. Het is een complexe werkwijze dat vraagt om inzicht in het doel, de leerling, en de situatie wanneer welke informatie op welke manier te delen De leraar moet wel boven de domeinkennis staan, ervaring hebben opgebouwd, en bewust zijn van de valkuilen in het feedbackproces.

Daarnaast is feedback een sociaal proces, een relatie tussen mensen: “Feedback is een gesprek tussen de schrijver en het publiek. Het kan bemoedigend of controversieel zijn, maar bovenal is het een relatie tussen mensen” aldus Marc Watkins in “What does Automating Feedback Mean for Learning?” Hoe meer technologie tussen de docent en de leerling staat, hoe verder de connectie tussen mensen zal zijn en hoe meer technologie de leiding zal nemen.

De rol van AI in het feedbackproces is daarmee een stuk moeilijker te bepalen dan dat je op het eerste gezicht zou verwachten. We zijn verwonderd over de capaciteiten van AI modellen maar vergeten dat onderwijs niet gaat om het eindproduct. Het gaat uiteindelijk om de menselijke relatie en ‘het residu dat achterblijft bij de leerling’. Programmeurs trainen modellen, leraren trainen mensen.

Het is daarom moeilijk te bepalen welke waardevolle bijdrage AI kan geven aan het feedbackproces. Het is zeker niet zo dat je AI het werk kan laten doen zodat jij als docent bezig kunt zijn met de ‘leuke dingen’ van het vak (een uitspraak die ik altijd vreemd heb gevonden, want leerlingen begeleiden in het leerproces is het ‘leuke’ van mijn vak, en daar is feedback een essentieel element in). Je zult als docent goed moeten nadenken wanneer en op welke manier je AI feedback laat geven op het werk van leerlingen.

Wil je AI inzetten in het feedbackproces, stel jezelf dan de volgende vragen:

Wat is het doel van het leerproces? Waar werk je naar toe?
Zijn leerlingen AI geletterd?
Welk deel neem jij als docent op je en welk deel doet de AI?
Welke AI wil je inzetten en wie maakt er gebruik van (docentgestuurd of leerlinggestuurd)?
- Is dit een Base AI of een Tutor AI? Wat zijn de gevolgen voor de keuze van het type AI?
- Zijn er leeftijdsgrenzen aan het gebruik voor het model?
Welke data heeft de AI nodig om aan te sluiten aan jouw doelen en hoe lever je die data?
Waar in het leerproces wordt AI ingezet als feedback? Wordt de AI in de les gebruikt of mag het ook buiten de les?
Wat voor soort feedback moet er door AI gegeven worden: correctief, evaluerend, of activerend?
Hoe voorkom je scaffolding afhankelijkheid? Hoe voorkom je motivatie zonder verandering in het langetermijngeheugen?

Nicholas Carr in The Shallows stelt dat “de hechte band die we met ons gereedschap vormen, in beide richtingen werkt. Terwijl onze technologieën uitbreidingen van onszelf worden, worden wij uitbreidingen van onze technologieën.” Onderzoek heeft aangetoond dat de afhankelijkheid voor AI een inherent risico is. Leren doet pijn en leerlingen zijn geneigd zich te richten op het antwoord in plaats van op de beantwoording. Feedback moet leerlingen zelfstandiger maken, niet afhankelijker. Het is aan leraren, en niet aan modellen, om hier de leiding in te nemen.

Bronnen

Banihashem, Seyyed Kazem, et al., “Feedback sources in essay writing: peer generated or AI-generated feebdack?”, 2024

Bastani, Hamsa et al., Generative AI Can Harm Learning”, 2024

Brown, Peter C.,e t al., Make It Stick: The Science of Successful Learning, 2014,

Carr, Nicholas, The Shallows: How the Internet Is Changing the Way We Think, Read and Remember, 2010

Christodoulou, Daisy, “Using AI to automate written comments”, 2024

Darvishi, Ali, et al., “Impact of AI assistance on student agency” , 2024

Dehaene, Stanislas, How We Learn: Why Brains Learn Better Than Any Machine . . . for Nown, 2018

Fan, Yizhou, et al., “Beware of metacognitive laziness: Effects of generative artificial intelligence on learning motivation, processes, and performance”, 2024

Gerlich, Michael, “AI tools in Society: Impacts on Cognitive Offloading and the future of Critical Thinking”, 2025

Kestin, Gregory, et al., “AI Tutoring Outperforms Active Learning”, 2024

Kirschner, Paul A., Claessens, Luce, Raaijmaker, Steven, Op de Schouders van Reuzen, 2019

Kneyber, René, Sluijsmans, Dominique, Wilde, Bianca, Devid, Valentina, Formatief handelen: Van instrument naar ontwerp, 2022

Nuthall, Graham, The Hidden Lives of Learners, 2007