ChatGPT rättar nationella prov rätt bra

Sedan jag via mitt företag haft tillgång till nya ChatGPT 4 har jag imponerats över hur väl man kan få den att göra ganska avancerade saker. En sådan grej jag har testat är hur pass väl den kan bedöma elevtexter utifrån de kriterier som Skolverket sätter upp för nationella provet. Jag började med att förklara uppgiften:

Jag vill att du i denna dialog agerar som en lärarassistent vars uppgift är bedöma gymnasieelevers elevtexter på ett professionellt sätt utifrån fyra olika aspekter: Innehåll & kritisk läsning, disposition & sammanhang, Språk & stil och en helhetsbedömning. Välj mellan E, C och A enligt kriterierna nedan. Därefter ska du göra en sammantagen bedömning på skalan: F, E, D, C, B eller A. Var noga med att i din bedömning peka på vad eleven kan utveckla vidare för ett högre omdöme och ge exempel ifrån elevens text. Du behöver inte skriva en sammanfattning av elevtexten.

Jag vill att du kommer ihåg dessa instruktioner genom hela dialogen. Jag kommer också att skriva två inlägg till som anger mer exakta instruktioner. Jag vill att du också ska komma ihåg dem och hela tiden utgår ifrån dem när du gör dina bedömningar.

Det är en generellt god strategi att berätta för den hur du vill att den ska agera. Jag klistrade sedan in hur man ska förstå formuleringarna i matrisen. Det är så vitt jag vet tillåtet då dessa instruktioner är fritt tillgängliga på nätet via https://www.natprov.nordiska.uu.se/kurs1/exempel/:

För att förstå bedömningskriterierna bör du känna till följande:

I skrivuppgiftens instruktion anges tre språkliga aktiviteter som lösningen ska innehålla. Matrisen anger ingen progression i fråga om varje enskild efterfrågad aktivitet. På nivå C gäller i stället att innehållet som helhet ska vara fylligt och relevant/fungerande, medan det på nivå A ska vara nyanserat eller innehålla nya, relevanta perspektiv på ämnet eller de refererade texterna. Nya, relevanta perspektiv kan vara perspektiv som i förhållande till åldersgrupp (16 år) eller kurs (Svenska 1) kan klassas som självständiga eller originella.

Den angivna källan måste användas i lösningen. Det ska framgå vad som är elevens synpunkter och vad som hämtas från källan. Enligt matrisen ökar inte kraven på hur utförligt eller djupgående källan används. Det innebär att en relativt begränsad användning av källan kan accepteras även för högre betyg. Däremot ökar kraven på att återge källan på ett rättvisande sätt och på referatets eller citatets relevans i texten som helhet på nivå C. En hänvisning som gör det möjligt för läsaren att hitta källan ska finnas men hänvisningen måste inte vara fullständig. Med dagens teknik är det ofta möjligt att hitta artiklar även med bara namn på till exempel artikel och författare eller författare och tidning

Eleven uppmanas att skriva 300–700 ord. Det angivna ordantalet är en rekommendation snarare än ett absolut krav. En text som är något kortare än 300 ord kan anses godtagbar om innehållet motsvarar instruktionen, men detta torde sällan vara fallet om ordantalet understiger 250 ord. På motsvarande sätt kan en text som är något längre än 700 ord anses anpassad till kommunikationssituationen, men texter som är avsevärt längre, till exempel runt 900 ord, måste bedömas utifrån relevans och substans i innehållet.

Textens disposition ska ge stöd åt läsningen, och läsaren ska kunna följa hur eleven har tänkt kring textens innehåll. En text där dispositionen har vissa brister kan ändå vara begriplig och sammanhängande och därmed motsvara nivå E, förutsatt att den hålls ihop av till exempel referenser till temat eller till en viss tanke i texten. På nivå C krävs att texten är tydligt disponerad. Det betyder i princip att texten har en synlig röd tråd samt att innehållet är strukturerat i en rimlig ordning. Utöver detta ska strukturen synliggöras för läsaren.

Utformningen av inledning och avslutning har betydelse för dispositionen. Om det märks att inledningen har utformats med tanke på ämnet och läsaren samt att avslutningen har utformats för att knyta ihop texten eller betona något, räknas inledning och avslutning som fungerande, vilket motsvarar nivå C. Observera att varken en inledning eller en avslutning behöver vara grafiskt markerad i texten för att anses fungerande. En effektiv inramning av texten krävs först på nivå A och uppnås exempelvis om inledningen är intresseväckande och ger läsaren god förståelse för vad texten kommer att behandla och om avslutningen utgör en anslående sammanfattning eller avslutande kommentar.

En rimlig styckeindelning kan också vara ett tecken på en medveten disposition. Att styckeindelningen är rimlig innebär att den innehållsligt är tematiskt motiverad. Grafiskt ska styckeindelningen markeras med indrag eller blankrad. På nivå C kan styckemarkering genom enbart radbyten, så kallade radstycken, accepteras trots att detta inte är korrekt. Detta gäller endast om markeringsprincipen är konsekvent genomförd. Att styckemarkeringen är konsekvent innebär att en enda sorts markering förekommer i texten, alternativt att en genomtänkt kombination av storstycken och småstycken används, förutsatt att dessa är korrekt markerade. Denna modell är väl etablerad och därmed fullt acceptabel men passar egentligen inte den typ av texter som provet omfattar. På nivå A krävs att styckena är korrekt markerade. I en kort text är det alltså mest lämpligt att endast använda en sorts styckemarkering, men förekommer en genomtänkt variation mellan storstycken och småstycken i texten kan detta inte betraktas som fel. Observera att en text kan ha en tydlig disposition även om den saknar markerad styckeindelning.

En fungerande textbindning är av stor betydelse för läsarens förståelse av texten. En elev i kurs 1 behöver kunna utnyttja olika medel för att binda ihop textens delar, såväl inom som mellan styckena. De vanligaste typerna av textbindning är referensbindning, tematisk bindning samt konnektivbindning med hjälp av sammanhangssignaler. Används till exempel mest enkla konjunktioner och subjunktioner såsom och, men, eftersom och därför att kan detta sägas motsvara nivå E. Ett kriterium som kan motsvara nivå C respektiveär att inte bara de vanligaste sammanhangssignalerna förekommer, utan att även mer avancerade ord såsom dessutom, däremot, på grund av och följaktligen används på ett välavvägt och funktionellt sätt.

På nivå A ska det dessutom råda ”god balans mellan olika delar”, vilket främst innebär att de teman som behandlas utvecklas proportionerligt och att inledning och avslutning har passande omfattning. Exakt balans är dock inte ett krav.

Användning av skiljetecken är ett ganska komplicerat område. Ett vanligt problem är så kallade satsradningar, det vill säga att huvudsatser radas efter varandra utan punkt och stor bokstav eller sammanbindande konjunktion. Satsradning utan kommatecken mellan huvudsatserna är ett fel som avsevärt stör läsningen. Att markera ny huvudsats med endast komma är mindre störande men sällan passande i de texter som skrivs i provet. Enstaka sådana satsradningar kan dock ingå även i välformulerade texter. Fullständig anpassning till skrivreglerna krävs inte för nivå E, men skriftspråksnormerna ska följas i stora delar av texten. Även på nivå A kan enstaka, lindriga avvikelser från skriftspråksnormen få förekomma.

För nivå C krävs att språket är varierat. För nivå C ska språket också vara delvis välformulerat. Variation i texten kan yttra sig på flera sätt. Exempelvis lyfts en text av en rik och varierad meningbyggnad. Här kan det vara givande att iaktta dels fördelningen mellan huvudsatser och bisatser, dels vilken typ av bisatser som förekommer. I en skickligt utformad text varieras korta meningar med mer komplexa konstruktioner som innehåller underordningar. Variation kan även synas i ordval, till exempel vilka verbfraser, adverb och substantiv som används och om det förekommer sammansättningar av substantiv. Sådana bidrar till språkets informationstäthet och är därför tecken på ett avancerat språk, till exempel ”ungdomsarbetslöshet”, ”universitetsplatser” och ”framtidsmöjligheter”. När det gäller verbfraser är det givande att undersöka om enbart allmänna verb som vara, ha, få och finnas används i texten eller om det förekommer mer precisa verb. Jämför till exempel kunna ha något hopp om framtiden och kunna hysa något hopp om framtiden. Den senare formuleringen är ett tecken på välformulerat språk. Variation av fundament och nominalfraser är också kännetecknande för ett mer avancerat språk. På nivå A krävs högre grad av goda formuleringar än på nivå C, men enstaka, mindre lyckade formuleringar kan förekomma.

Därefter gav jag ChatGPT själva matrisen:

Dessa är de fyra kriterierna du ska bedöma:

1. Innehåll och kritisk läsning:

• För E: Eleven uttrycker sin åsikt om ett ämne och framför något argument. Eleven presenterar något från en annan källa och i sin text skiljer eleven på egna och andras tankar. Källhänvisningar (nämner namn, tidning, datum och rubrik) finns om än inte helt fullständiga.
• För C: Eleven tar ställning och argumentationen är fyllig och fungerande. Det som eleven presenterar från en annan källa är rättvisande och väl valt. Källhänvisningen är infogad i texten.
• För A: Argumentationen är nyanserad eller ger nya, relevanta perspektiv på ämnet eller i förhållande till källan. Argumentationen blir därmed som helhet effektiv.

2. Disposition och sammanhang:

• För E: Texten är sammanhängande och begriplig, t.ex. genom referensbindning och enkla sammanhangssignaler. Omfånget är till viss del anpassat till situationen, dvs. texten är inte alltför kort.
• För C: Texten är tydligt strukturerad genom minst två av följande kännetecken: 1. varierade sammanhangssignaler, 2. fungerande inledning och avslutningm 3. rimlig styckeindelning som är konsekvent markerad.
• För A: Texten är väldisponerad genom följande kännetecken: 1. god balans mellan olika delar, 2. effektiv inledning och avslutning, 3. rimlig styckeindelning som är korrekt markerad.

3. Språk och stil:

• För E: Eleven följer i huvudsak skriftspråkets normer för språkriktighet, t.ex. i fråga om meningsbyggnad, stavning och skiljetecken.
• För C: Språket är varierat och delvis välformulerat. Stilen är anpassad till syftet, t.ex. genom tydliga åsiktsuttryck, retoriska frågor eller andra retoriska stilmedel.
• För A: Språket är välformulerat, även om någon mindre lyckad formulering kan förekomma. Stilen är väl anpassad till syftet, t.ex. genom variation av meningstyper eller slagkraftiga och uttrycksfulla formuleringar.

4. Helhetsbedömning:

• För E: Textens innehåll och form är till viss del anpassade till syfte, mottagare och kommunikationssituation. Texten fungerar efter viss bearbetning som ett självbärande debattinlägg.
• För C: Textens innehåll och form är anpassade till syfte, mottagare och kommunikations-situation. Texten är självbärande, t.ex. genom ett mottagaranpassat innehåll och språk. Den fungerar som ett debattinlägg.
• För A: Textens innehåll och form är väl anpassade till syfte, mottagare och kommunikationssituation. Texten fungerar väl som ett debattinlägg.

När du förstått din uppgift: fråga mig efter den första texten jag vill att du bedömer, därefter skriver du en bedömning utifrån ovanstående instruktioner.

Den frågade därefter efter den första texten. Jag klistrade därefter in den text Skolverket valt ut som exempel på en A-text. Jag fick då till svar:

Tack för texten. Nu ska jag bedöma den baserat på de givna kriterierna.

1. Innehåll och kritisk läsning: Eleven tar klart ställning och framför en djup och välstrukturerad argumentation. Eleven presenterar också material från en annan källa (Sydsvenskan), refererar rättvisande till det, och gör en klar distinktion mellan egna och andras tankar. Källhänvisningarna är korrekta och infogade i texten. Argumentationen ger nya, relevanta perspektiv på ämnet och framstår som effektiv. Bedömning: A

2. Disposition och sammanhang: Texten är tydligt strukturerad, med en rimlig styckeindelning som är konsekvent markerad. Inledningen och avslutningen fungerar väl, och texten uppvisar god balans mellan olika delar. Sammanhangssignaler används effektivt genom hela texten. Bedömning: A

3. Språk och stil: Språket följer skriftspråkets normer och är varierat och välformulerat. Eleven använder effektiva och uttrycksfulla formuleringar som är anpassade till textens syfte, exempelvis genom att variera meningstyper och använda retoriska frågor och uttryck. Bedömning: A

4. Helhetsbedömning: Textens innehåll och form är väl anpassade till syfte, mottagare och kommunikationssituation. Texten fungerar utmärkt som ett debattinlägg och tar upp relevanta frågor om konsumtion och livsstil. Bedömning: A

Denna text uppfyller kriterierna för A-nivå enligt de givna kriterierna. Eleven framför en stark argumentation, presenterar relevant material från andra källor och använder ett effektivt och varierat språk. Textens struktur och disposition är mycket bra och texten som helhet fungerar utmärkt som ett debattinlägg.

Men titta! En i princip identisk bedömning som Skolverket. Jag tänkte att den kanske generellt bedömer lite snäll och testade därför med Skolverkets E-text på samma uppgift. Jag fick då följande svar:

Tack för texten. Nu ska jag bedöma den baserat på de givna kriterierna.

1. Innehåll och kritisk läsning: Eleven uttrycker sin åsikt om talrädsla och presenterar ett argument. Eleven refererar även till en annan källa, Dagens Nyheter, och åtskiljer sina egna tankar från källans. Källhänvisningen är dock inte helt fullständig, eftersom ingen artikelrubrik ges. Bedömning: E

2. Disposition och sammanhang: Texten är sammanhängande och begriplig, med adekvat användning av referensbindning och enkla sammanhangssignaler. Omfånget är anpassat till situationen och texten är inte för kort. Dock saknas en tydlig inledning och avslutning, och styckeindelningen kan förbättras. Bedömning: E

3. Språk och stil: Eleven följer i huvudsak skriftspråkets normer. Stavning och skiljetecken är mestadels korrekta, men det finns plats för förbättringar i meningsbyggnad. Stilen är överlag anpassad till syftet, men saknar några av de mer avancerade stilmedel och språklig variation som krävs för högre betyg. Bedömning: E

4. Helhetsbedömning: Textens innehåll och form är till viss del anpassade till syfte, mottagare och kommunikationssituation. Med ytterligare bearbetning skulle texten kunna fungera som ett självbärande debattinlägg. Bedömning: E

Överlag, texten uppfyller kriterierna för E-nivå enligt de givna kriterierna. Eleven uttrycker en tydlig åsikt och presenterar ett argument, men skulle kunna gå djupare i sin argumentation och kritiska läsning. Språk och stil är mestadels adekvat, men skulle gynnas av större variation och mer utvecklade stilmedel. Slutligen skulle textens struktur och disposition kunna förbättras, särskilt vad gäller inledning, avslutning, och styckeindelning.

Se på tusan. Den fixade även den texten. Utifrån detta lilla experiment lär vi oss alltså att ChatGPT 4 med tämligen hög precision kan bedöma elevtexter så länge den får tydliga instruktioner kring hur den ska bedöma dem, och bör fungera rätt väl som en "lärarassistent" om man bara vill ha ett ytterligare par "ögon" på en text man känner sig osäker på. Dock är jag tveksam till att vi ska sätta detta i system i dagsläget då jag inte är helt säker på hur det fungerar ihop med GDPR och lärarsekretessen att använda den här tekniken på riktiga elevtexter och prov som är belagda med sektretess.

Men - som min kollega konstaterade - en central rättning av de nationella proven kan inte vara helt långt borta.