Introduksjon
Flere skoler prøver ut ordninger med karakterfritt semester i den hensikt å redusere uønsket prestasjonsfokus (og derav stress forbundet med karakterer) og for å få desto større fokus på elevenes forbedringsinnsats på basis av lærernes formative tilbakemeldinger. At spørsmålet er aktuelt, viser seg blant annet i en omfattende medieinteresse i Norge (f.eks. beskriver Utdanning nr. 9, 2018 karakterfritt semester ved Ringshaug ungdomsskole), men også i utlandet, blant annet i Sverige (Holmberg, 2018) og Storbritannia (Christodoulou, 2017; Foster, 2018), hvor praktikere blant annet har engasjert seg i bevegelsen ‘No More Marking’. Når dette skrives (2019), mangler man en samlende oversikt over hvor utbredt ordninger med karakterfritt semester er, og det mangler forskning om hvordan elever og lærere opplever karakterfritt semester (NIFU, 2018). For at skoler og utdanningsmyndigheter skal kunne gjøre best mulig kvalifiserte valg i spørsmålet om de ønsker en slik praksis, trengs det kunnskap om hvilke erfaringer lærere har gjort med en slik ordning. Kunnskap om læreres oppfatninger av vurdering, fag og undervisning er viktig fordi oppfatninger har vist seg å påvirke praksis i klasserommet (Harris & Brown, 2009; Thompson, 1992) – noe som i sin tur påvirker elevers læring (Mujis & Reynolds, 2005). Formålet med denne studien er derfor å utforske hvordan norsklærere i videregående skoler har høstet erfaringer med karakterfritt semester.
I denne studien fokuserer vi på norskfaget. Elever kan få opptil seks karakterer i norskfaget ved avslutningen av videregående skole. Sett i lys av dette faktumet åpnet myndighetene opp for forsøk med én eller to karakterer i norskfaget, en ordning som tok sikte på å redusere vurderingsomfanget (Rønning, 2012). Resultatene viste at lærere ved skolene som deltok, i mindre grad ønsket å karaktersette enkeltarbeider, men heller bidra til langsiktig læring, og de ville redusere på det de oppfattet som stress hos en del av elevene (Rønning, 2012). Denne undersøkelsen la et grunnlag for et utvidet forsøk som ble gjennomført fra 2014 til 2018, og som ble evaluert i tre rapporter fra NIFU. Hovedfunn fra sluttrapporten (Seland, Hovdhaugen, Lødding & Prøitz, 2018) var at forsøket med færre karakterer ikke påvirket elevenes standpunkt- eller eksamenskarakterer (basert på analyse av resultater fra 197 000 elever). Forskerne kunne ikke påvise noen negative konsekvenser av forsøket, og mange lærere uttrykte (via intervjudata) at forsøket ga dem større rom for å gi elevene mer læringsstimulerende tilbakemeldinger. Dette synet delte imidlertid elevene i mindre grad.
Utprøving av karakterfritt semester i norskfaget har flere begrunnelser. Opplæringslova (1998) krever at elever i ungdomsskolen og videregående skole skal få halvårsvurdering med karakter, men presiserer ikke at det skal gis karakterer på vurderinger underveis i semesteret. NIFU-rapporten (2018) som evaluerer en ordning med færre karakterer i norskfaget (2014–2018), framhever at det på mange skoler finnes en sedvanestyrt praksis som sier at en halvårsvurdering eller standpunktkarakter bør understøttes av to til tre vurderingssituasjoner med karakter. I norskfaget vil en konsekvens kunne være at læreren ved semesterslutt har satt totalt 9 karakterer i hovedmål, sidemål og muntlig, noe som kan være opptil tre ganger så mange som andre fag. Skoler som søkte om å få være med i forsøket med færre karakterer i norsk, framhevet gjerne hvordan emnetrengsel og mange vurderinger med karakter skapte stress for både lærere og elever (NIFU, 2018). I lys av dette er det interessant å utforske hvordan norsklærere med adekvate erfaringer opplever karakterfritt semester.
Kontekst og teoretisk rammeverk
Opplæringslova slår fast at vurdering gjennom semesteret skal bidra til læring (1998). Bakgrunnen for denne hensikten finnes i forskningsresultater om og erfaringer fra læringsfremmende vurderingspraksis. Black og Wiliam (1998) viser i en omfattende litteraturgjennomgang at vurdering har større sjanse for å bidra til læring hvis den kjennetegnes av at elevene kjenner målet med opplæringen, får tilbakemelding om hvordan de skal komme nærmere målet og at informasjon fra vurdering brukes i det videre læringsarbeidet. Et teoretisk fundament for denne forskningsretningen er teori om selvregulert læring (Pintrich, 2004) der det legges vekt på den lærendes aktive engasjement og innsats i læringsarbeidet. Den lærende setter seg mål (dvs. det vi her kaller motivasjon) og forfølger disse målene gjennom innsats og under påvirkning av tilbakemeldinger fra en lærer. Denne teoriretningen rommer flere nyanser, blant annet ved at noen forskere legger stor vekt på selvdisiplinen i læringsarbeidet som en atskilt kategori fra motivasjon (Duckworth & Seligman, 2005). Videre kan den lærende forholde seg på strategisk vis til når læringsanstrengelsene skal settes inn (Elstad, 2008). Med andre ord betyr tidsdimensjonen noe for innsatsen. Det sistnevnte innebærer at nåtidshensyn lett kan ruve mer i beslutningssituasjonen enn alternativ aktivitet der målet først høstes vesentlig lenger fram i tid (for eksempel kan en person være motivert for å stå opp tidlig for å lese til en prøve, men ombestemmer seg når vekkerklokka ringer). Fenomenet kalles nåtidsskjevhet (Bisin & Hyndman, 2014; Elstad, Arnesen & Christophersen, 2016). Dette betyr at vi skiller mellom begrepskategoriene elevens motivasjon, selvdisiplin og nåtidsskjevhet som viktige aspekter i elevens læringsarbeid.
En annen komponent i teorirammen er lærerens rolleutøvelse. En studie av Hattie og Timperley (2007) som bygger videre på Black og Wiliams forskning (1998, 2004), undersøker mer spesifikt hva som kjennetegner en tilbakemelding som kan bidra til læring. De understreker blant annet hvor viktig det er at tilbakemeldinger blir gitt i læringsprosessen, slik at de kan brukes til å forbedre prestasjoner. En mulig implikasjon for en situasjon preget av at læreren ikke forventer at eleven skal jobbe videre med en tekst etter at tilbakemelding er gitt, kan være at eleven avslutter arbeidet med å forbedre teksten. Hvis så skjer, vil forbedringen i skrivekompetanse bli lavere enn om eleven jobber mer med teksten. I en norsk kontekst har blant annet Bueie (2017) undersøkt norsklæreres tilbakemeldinger og funnet at elever i store trekk setter pris på og forstår lærers tilbakemeldinger (Bueie, 2017), og at lærere gir mange tilbakemeldinger som kan knyttes til satsinger som Vurdering for læring (Eriksen, 2017a). Elevene finner det likevel ikke nyttig å bruke lærers tilbakemelding i videre læringsarbeid (Eriksen, 2017b). Samtidig viser annen forskning fra både norsk, engelsk og dels andre fag (f.eks. hos Gamlem (2014), Sandvik & Buland (2011), Burner (2014) og Saliu-Abdulahi, Hellekjær & Hertzberg (2017)) at implementeringen av Vurdering for læring (2010–2018) (Udir, 2018) også var forbundet med mange utfordringer. Funnet fra NIFUs sluttrapport om redusert antall karakterer i norskfaget (2018) kan slik sett sies å underbygge det synet at elever i norskfaget kan ha problemer med å bruke lærers tilbakemeldinger, og at forsøk med karakterfritt semester kan bidra til å bøte på dette problemet. Imidlertid mangler mer spesifikk kunnskap om erfaringer med en slik arbeids- og vurderingspraksis.
Søkelys(et) settes også på andre aspekter ved lærerens rolleutøvelse (Bonner, 2016). Fra elevhold er det blitt framsatt påstander om at lærere setter elever i bås, og at karaktergiving dermed lett kan bli urettferdig basert på lærerens stereotype oppfatninger av elever (Vogl & Pekrun, 2016). Fenomenet kan begrunnes teoretisk og empirisk som «anchoring» (Tversky & Kahneman, 1974; Shavelson, Cadwell & Izu, 1977), men utprøvinger har vist at teorien ikke har oppnådd empirisk støtte i norske undersøkelser.
Debatten om spenningen mellom karakterer og læring, elevmotivasjon og stress har en forhistorie i norsk offentlighet (Tveit, 2014). Begrunnelsen for å ha karakterer knytter seg til samfunnets behov for informasjon til lærere, foreldre og eleven selv, seleksjon av mennesker til ulike yrker og elevmotivasjon (Wikström, 2006). Før innføringen av karakterfrihet på klassetrinnene 1–7 i 1974 ble særlig karakterenes skadelige virkning på lavtpresterende elevers motivasjon og selvforståelse framhevet. Videre har innstillingen vært at de yngste elevene skal skjermes for karakterer. Dette har hatt politisk støtte helt opp til i dag (Tveit, 2014).
I en reviewartikkel oppsummerer Brookhart, Guskey, Bowers, McMillan, Smith, Smith, Stevens og Welsh (2016) 100 års forskning på karaktersetting i utdanningskontekster, der de spør: «What do grades mean?». De opererer med fem fokusområder (reliabilitet, sammensetning av avgangsvitnemål, læreroppfatninger, kriteriebasert karaktersetting og karaktersetting i høyere utdanning). Oversikten viser at studier av karaktersetting har et bredt spekter, og senere studier innlemmer også sosiale og psykologiske faktorer relatert til karaktersetting (Brown & Harris, 2016; Harris & Brown, 2009). Bredden i forskningen illustrerer noe av kompleksiteten som finnes i det å sette karakterer. Samtidig er de fleste studiene utført i kontekster der karakterer er et gitt premiss. Det er store variasjoner, på tvers av land og skoleslag. Dette kan redusere overføringsverdien til en norsk kontekst. Brookhart et al. (2016, s. 804) definerer karakterer (gjerne omtalt som ‘marks’, i første del av 1900-tallet og ‘grades’ i siste del i den engelskspråklige studien) som «symbols assigned to individual pieces of student work or to composite measures of student performance on student report cards.» Denne definisjonen legger vi også til grunn i denne studien.
Viktige funn hos Brookhart et al. (2016) er at lærere vektlegger akademisk måloppnåelse, men også elevens evner, innsats, framgang og atferd i klasserommet når karakterer skal settes i fag, slik det kommer fram i studier av læreroppfatninger av karaktersetting. Mange, men langt fra alle, baserer karakterer på kriterier, heller enn normbaserte forhold (at man sammenlikner elevprestasjoner innad i en gruppe). I undersøkelsen av læreres reliabiliet i karaktersetting finner forskerne en overordnet korrelasjonskoeffisient på 0,5, en sammenheng de betegner som verken sterk eller svak. I en norsk kontekst fant Berge (1996) liknende resultater på norsksensorers bedømming av avgangseksamen. Reliabilitet er et spørsmål i debatten om karaktersetting. Dette berører særlig samfunnets behov for informasjon om en elevs prestasjoner, og i mindre grad karaktersetting underveis i semesteret, der det i en norsk kontekst er lovfestet at vurdering skal bidra til læring (1998). Når karakterer i slike sammenhenger likevel tillegges stor vekt, kan det ha sammenheng med at karakterer har en psykologisk vekt (Butler, 1988; Dweck, 2013). De kan fungere som informasjon til skolen, til foresatte, virke som ytre motivasjon for elever, samt å gi informasjon som kan bidra til individuelt tilpasset opplæring (Harris & Brown, 2009). Brookhart et al. (2016, s. 826) finner også at lærere bruker kriterier, ønsker å sette rettferdige karakterer, at de inkluderer innsats i karaktersetting og at det er betydelig variasjon mellom lærere, også innad i skoler. Dette illustrer at skjønn og ytre faktorer spiller inn når karakterer settes, noe som igjen peker mot et rom for forhandling mellom lærer og elev og foresatte. Det kan være en viktig forklaring på opplevde spenninger mellom lærere og elever. Harris og Brown (2009, s. 365) gjør slike spenninger til et hovedpoeng i en studie som undersøker læreres oppfatninger av karaktersetting – der hensynet til elevenes motivasjon og læring oppfattes av lærerne å stå i motsetning til skolesamfunnets ønske om reliabilitet, informasjon og seleksjonsgrunnlag.
Internasjonal motivasjonsforskning har pekt på at det kan være et motsetningsforhold mellom karakterer og læringsfremmende tilbakemeldinger (Ames, 1992; Dweck, 2013; Wise & Smith, 2016). I en mye sitert studie (også i den norske debatten) viste Butler (1988) hvordan elever som fikk tilbakemelding sammen med karakter ikke viste noen læringsframgang på en konkret oppgave, mens elever som bare fikk tilbakemelding, gjorde det 30 % bedre på oppgaven andre gang. De som bare hadde fått karakter, viste derimot ikke noen framgang. Studien er utført på et utvalg av 132 israelske elleveåringer for over 30 år siden. Man kan neppe bruke denne studien til å trekke slutninger om en norsk utdanningskontekst, men den peker likevel på et spenningsfelt. Butler (1988) knytter resultatene til motivasjonsteori og mener at oppfatning av karakterer kan knyttes emosjonelt til selvoppfatning i stedet for en måling av resultat på en prestasjon på et gitt tidspunkt. Den kognitive prosessen kan slå forskjellig ut: Høytpresterende får bekreftet sitt selvbilde, mens lavtpresterende elever lett kan unngå å forholde seg til lærers tilbakemeldinger, fordi de ønsker å unngå å eksponere seg for kritikk (Vogl & Pekrun, 2016). Med andre ord kan karakterer som er lavere enn et aspirasjonsnivå, nøre opp under en unngåelsesstrategi, noe som kan være uheldig for elevens læringsframgang. Unngåelsesstrategi kan igjen være forenlig med det Dweck (2013) kaller ‘fixed mindset’ der et personlighetstrekk som intelligens eller skoleferdigheter ses som noe fast, noe som ikke kan påvirkes og at innsats i læringsarbeid derfor er bortkastet tid. I forlengelsen av dette viser Harlen og Crick (2003) at regelmessig testing med karakterer kan ha negativ påvirkning på læringsmotivasjon og kan være til hinder for livslang læring.
Stress kan både være positivt og negativt i en læringssituasjon, men for mye stress antas å ha negative konsekvenser for læring (Pierceall & Keim). For mye stress kan sågar føre til helseplager (Eriksen, Sletten, Bakken & Von Soest, 2017), og det påstås at de unges oppvekstsvilkår er mer stresspreget i dag enn tidligere (Røde Kors, 2018). For eksempel kan praksisen med at unge eksponerer seg i sosiale medier for å få tilbakemelding på hvordan andre liker dem eller ikke, føre til et forsterket fokus på relativ rangering. I sum kan sammenlikninger med andre elevers skoleprestasjoner og oppnåelse av popularitet eller skjønnhet gjennom synliggjorte rangeringer nøre opp under psykisk ubehag særlig hos de som oppnår lavere prestasjon enn aspirasjonsnivå (Felmlee, McMillan, Rodis & Osgood, 2018). Imidlertid må det tilføyes at man trenger mer forskning om sammenhenger mellom press på skole og i private relasjoner på den ene side og elevers psykiske helse på den annen side.
NIFUs sluttrapport (2018) framholder at mange skoler har pågående forsøk med karakterfritt semester, men at det ikke fins noen oversikt over dette (så lenge de holder seg innenfor rammene av opplæringslova og gir elevene karakterer ved halvårsvurderingen). En vesensforskjell mellom skolene vi har undersøkt og de som omtales i NIFUs rapport (2018), er at forsøket handlet om å redusere antallet karakterer gitt underveis i semesteret, mens det i vårt tilfelle er et mål å gi kunnskap om hva lærerne oppfatter skjer når de ikke gir karakterer før semesterslutt. Det er en betydelig forskjell, siden reduserte karakterer sidestiller norskfaget med andre fag, mens det å ha undervisningsløp uten karakter setter faget i en særstilling. Vil elevene nedprioritere et fag uten karakterer når andre fag har karakterer, og hvordan opplever lærerne at elevens innsats og motivasjon påvirkes når de ikke får karakterer i semesteret?
På bakgrunn av forskningsbasert kunnskap om forholdet mellom karakterer, motivasjon, læring og stress utarbeidet vi en intervjuguide som søker å gi innblikk i (norsk)læreres erfaringer med å ha karakterfritt semester i norskfaget i videregående skole. Forskningsspørsmålet vårt er: Hvilke erfaringer har norsklærere i videregående skole med karakterfritt semester?
Metode
Deltakere er i hovedsak norsklærere fra to skoler med mange høytpresterende elever som har erfaring med karakterfritt semester i norskfaget. Forskerne hadde via nettverk kjennskap til at skolene prøvde ut en slik ordning, og kontaktet først ledelse, så lærere. Utvalget kan dermed i noen grad ses som betinget av tilgjengelighet. Som tidligere nevnt er læreroppfatninger viktige fordi de påvirker undervisningspraksis, noe som i sin tur påvirker elevers læringsutbytte (Harris & Brown, 2009). Som forskere har vi vanligvis tilgang til slike oppfatninger via ulike former for selvrapportering. I vårt tilfelle har vi valgt intervju fordi denne formen gir mulighet til å utdypet kunnskap om læreres erfaringer, blant annet gjennom oppfølgingsspørsmål (Kvale & Brinkmann, 2018). Gjennom å velge et semistrukturert gruppeintervju hadde vi dessuten mulighet til å kombinere teoretisk belagte antakelser med innsikter som oppsto underveis i løpet av intervjuet. Samtidig er det viktig å ha klart for seg at denne typen data like mye kan leses som et uttrykk for læreres diskurskompetanse (Säljö, 1997) som den kan betraktes som uttrykk for faktiske erfaringer, holdninger og intensjoner. Dette forbeholdet er viktig, men vi legger likevel til grunn at intervjudata kan gi innsikter når det gjelder opplevelsen av hva som har betydning for en undervisningspraksis med karakterfritt semester. Gitt at studien i overveiende grad er deskriptiv, siden det mangler kunnskap om opplevelsen av karakterfritt semester, mener vi at intervjuer kan bidra til en grunnleggende innsikt som forskning kan bygge videre på.
Studiens begrensinger
Denne studien er opplagt beheftet med en rekke begrensinger som særlig er knyttet til antall informanter og valg av informantskoler. Studien må bedømmes i dette lys som en kvalitativ dybdestudie der formålet er å få et innblikk i noen få informanters erfaringer. Den praksisen som er undersøkt, er likevel ikke så spesiell at det ikke finnes muligheter for overføring til liknende kontekster, altså skoler som likner på de skolene vi har med i utvalget. Det er mange typer skoler i det norske skolesystemet som enten holder på med, eller ønsker å gjennomføre liknende forsøk. Studiens validitet er søkt styrket ved at intervjuene er lest av begge forskere, og den tematiske kodingen er vurdert etter face value-kriterier (Schmidt & Rader, 1999). I tillegg er det gjennomført ‘memberchecking’ ved at noen av deltakerne har hatt anledning til å lese framstillingen av forskningsfunnene. Dette er en framgangsmåte som ikke nødvendigvis styrker studiens validitet (Morse, 2015), men som i noen grad kan indikere om deltakerne kjenner seg igjen i framstillingen. En annen begrensning er at studien ikke har tilgang til elevperspektiver. Dette er en oppgave for videre forskning. Studien er gjennomført etter forskningsetiske retningslinjer ved at anonymitet og frivillighet er ivaretatt, og den er godkjent av NSD.
Oversikt over deltakere og data
Åtte personer ble intervjuet, en av dem to ganger for at vi skulle få bedre innsikt i bakgrunnen for at skolen ville prøve karakterfritt semester.
Beskrivelse av kontekst
Ved skole 1 var ordningen innarbeidet og prøvd ut over flere år, og lærerne ga uttrykk for at det var et tett, ledelsesstøttet samarbeid, særlig i norskseksjonen, men også i andre fag. Lærerne snakket derfor i intervjusituasjonen ut fra en erfaringsbakgrunn med flere fellesnevnere, blant annet ved at de brukte mappevurdering som metode i norskfaget. Ved skole 2 var det opptil lærerne å prøve ut karakterfritt semester. Det var imidlertid ikke utarbeidet noen felles retningslinjer for vurdering uten karakterer, og noen av lærerne ga uttrykk for at de hadde erstattet karakterer med en innplassering av elevarbeider i en skala med markeringer av høy, middels og lav grad av måloppnåelse (ifølge Brookhart et al. 2016 vil dette være en karakterskala), mens andre fortalte om en praksis uten karakterer.
Analyse
De transkriberte intervjuene ble analysert tematisk ved hjelp av Nvivo12. Braun og Clarke (2006) beskriver en sekstrinnsmodell som er fulgt i denne studien. Bakgrunnen for valget av tematisk analyse er at metoden kombinerer innledende, teoretiske perspektiver som har dannet grunnlaget for utarbeidelsen av intervjuguiden, med muligheten for å inkludere forhold som framkommer i datamaterialet og som ikke var intendert på forhånd. De seks trinnene i modellen er følgende: 1) Gjøre seg kjent med datamaterialet, her ved at vi selv har transskribert intervjuene og lest dem flere ganger. 2) Generere koder, vi har kodet etter føringene fra intervjuguiden og i forlengelsen av arbeidet første fase. 3) Søke etter temaer – her er kodingen revidert etter første fase og blant annet kartlagt gjennom tegning av tematiske kart. 4) Revisjon av de innledende temaene – her ble særlig forhold i relasjonene mellom lærer og elev nyansert, i tillegg til kontekstuelle forhold ved skolene. 5) Definere og navngi temaer, noe som ble gjort i forlengelsen av fase fire, og 6) skrive fram funn.
Funn
Forholdet lærer–elev
Lærerne ved begge skoler la vekt på at forholdet mellom lærer og elev påvirkes av karakterer. Ved skole 1 sier lærer C at «jeg tenker at det er lettere å få etablert det som en øvingsarena at det vi holder på med er å prøve å få dem flinkere, jeg synes det har hatt aller mest effekt i førsteklasse, dels fordi man skifter skoleslag (…)». Lærer C følger opp med å si at «det er veldig deilig, slippe å være den som vurderer dem, men heller være en veileder. (…) det handler litt om at elevene skal skjønne skriving som prosess som vi nevnte i stad, og de skal skjønne lærerens rolle som veileder.»
Lærer B eksemplifiserer dessuten hvordan karakterer påvirker mulighetene for å gi læringsfremmende tilbakemelding når hun sier at «det er oftest når de er misfornøyde at de har lyst til å snakke (…) en føler seg urettferdig behandla, det er utgangspunktet for samtalen, og så må man forklare og så forstår de det kanskje, men utgangspunktet er jo først og fremst at de er misfornøyde med den karakteren og at det kan være mindre å lære av det.» Lærer C sier at «det er også min opplevde virkelighet (…) i tredjeklasse (…) da er vi ikke på lag på samme måte. Da har vi satt en vurdering. Og så vil de teste den eller se om det er mulig å forhandle seg fram.» Lærerne ved skole 2 gir uttrykk for samme erfaringer når lærer D sier at «det oppstår ikke sånne konfliktsituasjoner som det ofte gjør når det kommer karakter, for de vil jo klage på det og lurer på hvorfor får jeg så dårlig.»
En oppsummering av funn viser at forholdet mellom lærer og elev synes å være preget av spenning når vurderingssituasjoner blir karaktersatt, og at det kan oppstå konflikter mellom lærer og elev, noe som beskrives ved begge skoler, når elevene får karakterer. I tillegg gir lærerne uttrykk for at de ønsker å ha en rolle som veileder, og at vurdering uten karakter gjør det enklere å etablere en klasseromkultur der lærere og elever har læring som felles mål.
Tilbakemeldinger og læring
Lærerne ved begge skoler oppfatter at det er enklere å gi læringsfremmende tilbakemeldinger når de ikke skal begrunne karakter. Ved skole 1 sier lærer A: «Jeg tenker at elevene blir mindre stresset og det at karakteren kommer mindre i fokus, og det blir mer tilbakemeldingen som er i fokus. Jeg får inntrykk av at elever ofte henger seg opp i karakteren og så glemmer de å se på tilbakemeldingen.» Lærer B følger opp med å si at «det er annerledes for meg å gi tilbakemelding når jeg ikke må begrunne en karakter. Når jeg bare kan fokusere på hva de skal gjøre bedre, og jeg slipper å begrunne hvorfor de har fått en firer eller femmer. Så det gjør jo at kommentarene mine blir mer retta mot hva de skal gjøre for å komme seg videre i læringsprosessen.» Ved skole 2 sier lærer H: «Det som var deilig, det var at jeg slapp å tenke tall, jeg kunne liksom peke på ‘dette får du til i teksten, dette får du ikke til’, og så at jeg i større grad [kunne gi] en framoverlent, situasjonsbetinget tilbakemelding hvor jeg sier at neste gang så skal vi skrive den og den typen tekst, og da vil jeg at du skal gjøre sånn og sånn.» Hun sier også at «jeg tror jo at de har fått en mer åpen dialog i klassen om tekst, tekstskaping og vurderinger».
Oppsummert ser det ut som om lærerne ved begge skoler gir uttrykk for at det er klart enklere å gi elever læringsfremmende tilbakemeldinger og ha fokus på læring og utvikling når de slipper å begrunne karakterer. De løfter fram at karakterbegrunnelse ofte spiller en sentral rolle i tilbakemeldinger når de skal gi karakterer gjennom semesteret. Karakterbegrunnelse bidrar til at tilbakemeldinger i mindre grad orienterer seg mot hva eleven kan forbedre. Lærerne opplever det som en lettelse å slippe å grunngi karakter ved flertallet av vurderingene.
Stress hos elever og lærere
Stress ser ut til å være en del av bakgrunnen for at skolene ville prøve ut karakterfritt semester. På spørsmål om hvorvidt dette er lærernes oppfatning, svarer de ved skole 1 at «det er nok grunnlaget sånn fra overordna på skolen.» Lærer C utdyper med å si at «jeg har vært vant til at den første praten du hadde, var at det er helt vanlig å gå ned en til to karakterer i norsk på vgs. Det er ikke noen kjempestart. Og det kan jo enten gjøre folk stressa eller motløse, og begge delene er ikke så veldig produktivt.» Lærer B befester inntrykket ved å si at «det er mindre stress mellom dem – det er ikke sånn: ‘hva fikk du? Hva fikk du?’ Sånn er det jo i andre fag – veldig fokus. Og det er jo ikke sånn ‘hvilke positive tilbakemeldinger fikk du?’ (alle ler) ‘Eller hvilke forbedringspunkter fikk du?’»
Lærerne ved skole 2 erfarte at flere høytpresterende elever syntes det var vanskelig å ikke få karakterer. Lærer H sier at «noen synes kanskje det var mer slitsomt å ikke få karakter òg. For de syntes det var vanskelig å vite hvor de lå (…) [vi] kan si sånn, av hundre prosent så var det kanskje seksti–sytti prosent som synes det var ok, og så var det kanskje 30 prosent som syntes det var veldig ugreit å ikke få karakter.»
Oppsummering av funn viser at stress hos elever spiller en vesentlig rolle i lærernes erfaringsbakgrunn/bevissthet når de skal begrunne hvorfor skolen begynte forsøk med karakterfritt semester, og at de opplever mindre stress uten karakterer.
Selvregulering
Et spørsmål er om elevenes arbeidsinnsats vil reduseres hvis de ikke får karakterer. Vi knyttet det til spørsmål om selvdisiplin. Lærerne har ulike erfaringer: Ved skole 1 sier lærer A at «det kan gå i begge retninger, for noen vil det være behagelig å slippe å tenke på karakterer og derfor nedprioriterer de kanskje og gjør i siste liten». Intervjuer: «For det er din erfaring?» Lærer A: «Heller for de færre, men det er selvfølgelig noen (…)». Lærer C følger opp med å si at «hvis vi ser at folk ikke får ut sitt beste, så må man jo se på ordninger og tilpasse systemet som disiplinerer, noen kan kanskje trenge litt fastere rammer, jeg har hatt enkeltelever der jeg har sagt at jeg kommer til å gi deg karakter, bare så du skal vite hvordan du ligger an, og så får du bestemme om du er fornøyd med tre eller om du sikter høyere. Men det er bare ment pedagogisk.» Ved skole 2 er lærerne mer samstemte i at elevenes arbeidsinnsats i liten grad blir påvirket av karakterfritt semester. Lærer F sier at «jeg synes ikke de har blitt noe mindre innsatsvillige i det hele tatt. De jobber jo steinhardt. De vet jo at det er en karakter som kommer på slutten av året uansett.»
Oppsummering av funn viser at lærerne i liten grad opplever redusert elevinnsats som følge av manglende karaktersetting i norskfaget ved noen av skolene, sett under ett. De opplever derimot at avgangsfag blir prioritert av elevene foran norsk og historie (lærer B kaller norsk og historie for ‘taperfag’ fordi andre fag vinner konkurransen om elevenes arbeidsinnsats på Vg2), og de beskriver dette som et rasjonelt og forståelig valg fra elevenes side. Disse forholdene kan også knyttes teoretisk til spørsmål om motivasjon.
Motivasjon
Lærer B ved skole 1 sier at «det er noen elever som mener selv at de ville vært mer motivert hvis de hadde fått karakter, at de synes det er vanskelig å ikke få vite hvor de ligger, som de sier. Men det er som regel bare to elever i en førsteklasse som er veldig opptatt av det. De fleste aksepterer det, og jeg er ikke sikker på om det hadde vært bedre for dem heller, men noen hevder det selv.» Lærer C følger opp med å si at «jeg har prøvd mange varianter, og jeg har lenge tenkt at det som jeg har lest flere steder, at karakterer hemmer elevers læring. Jeg er ikke alltid sikker på om det er sånn, det stemmer ikke egentlig med mine erfaringer, i hvert fall ikke når man kommer et stykke ut i det. (…) Hvis jeg ser at jeg ikke greier å motivere elevene til å gå inn og gjøre tekstrevisjoner, så må jeg vurdere om det er hensiktsmessig at jeg fortsetter å gi bare tips til hva de kan gjøre videre uten å ha noen insentiver for å legge ned det arbeidet.»
Oppsummering av funn viser at ved skole 1 beskriver lærerne at elevmotivasjon ikke nødvendigvis har sammenheng med karakterer, men at de i noen tilfeller kan bruke karakterer som motivasjon overfor elever de opplever at underpresterer, og at elevene, som ved disse skolene overveiende er høytpresterende, kan motiveres til økt arbeidsinnsats av karakterer. De uttrykker også at det ikke er noe tydelig motsetningsforhold mellom karakterer og motivasjon for denne elevgruppa, og at karakterer kan anspore til økt innsats.
Nåtidsskjevhet
Lærerne bekrefter at elevene kan feilvurdere hvordan de skal bruke studieinnsats i forskjellige fag. For eksempel framhever lærer A ved skole 1 at «det er en ulempe med mappevurdering at de tenker de har så mye tid, … men de gjør ikke særlig mer enn det læreren har kommentert». I noen grad nedprioriterer elever norskfaget i de to første studieårene for så å skjerpe studieintensiteten i det siste karakteruttellende studieåret. Dette kan føre til at noen elever feilvurderer betydningen av jevn innsats for å få de forbedringene de ønsker. Det kan også bety at de fokuserer på umiddelbare løsbare småting og utsetter jobben med å ta de store løftene i studiebestrebelsen. Lærer A sier videre at «de vil gjerne ha tilbakemeldinger som er sånne småting» og velger bort «større endringer» i mappetekster. «De orker ikke den større innsatsen», sier lærer B. Andre tar helt spesielle snarveier som straffer seg i lengden. Lærer C fant for eksempel at «en kjæreste hadde skrevet tekstene … et helt år, og så kom heldagsprøven og han falt ned to karakterer».
Diskusjon
Hovedkonklusjonen i denne studien må bli at norsklærere i videregående skoler i overveiende grad har positive erfaringer med karakterfritt semester: Karakteroppmerksomheten avtar med denne ordningen, og fokuset blir desto sterkere på elevers oppmerksomhet om læringsframgang basert på lærerens tilbakemeldinger. I denne sammenhengen er det noen nyanser som vil forklares nedenfor. Også for læreren blir arbeidet mer preget av å gi tilbakemeldinger som elever kan bruke for å forbedre sine tekster, og i mindre grad dokumentasjon for å begrunne karakter som ellers ville ha vært gitt (samt dokumentasjonen for å stå imot en eventuell klage på karakteren). Norsklærernes tidsramme til å gi individuell tilbakemelding på elevtekster er begrenset (ettersom norskfaget er kjent for å være beheftet med mye tidsbruk til å gi tilbakemeldinger), og karakterfritt semester kan legge grunnlag for mer tid til læringsfremmende tilbakemeldinger på bekostning av karakterbegrunnende tilbakemeldinger. Realiseringen av en slik praksis er samtidig avhengig av mange andre faktorer, som at det finnes tydelige systemer for og opplæring i bruk av tilbakemeldinger i skriveopplæringen (Bueie, 2017; Eriksen, 2017b).
Lærerne antar at karakterfritt semester skaper mindre stress for elever som ellers ville oppleve det som plagsomt å oppnå en karakter lavere enn aspirasjonsnivået. Lærerne ser heller ikke ut til å mene at høytpresterende elevers arbeidsinnsats svekkes av karakterfritt semester, men noen av lærerne framhever også karakterdrevet prestasjonskultur som betydningsfullt for skoleprestasjoner. Meningene er delte blant lærerne. Når dette er sagt, må det framheves at mer forskning trengs for å validere eller forkaste disse slutningene. Det må også fremheves at begge skoler som er med i utvalget må karakteriseres som skoler med høyt gjennomsnittlig inntakspoeng. Det må antas å være en seleksjon av særlig skolemotiverte elever på skoler med høye inntakskrav. Dermed må vi anta at gjennomsnittseleven har sterkere prestasjonsmotivasjon på skolene i vårt utvalg enn hva tilfellet er ved skoler som har vesentlig lavere inntakspoeng. Slutningene vi trekker kan derfor ikke ha gyldighet for andre skoler enn de som likner på de skolene vi har i utvalget. Vi mener at tilsvarende forsøk og undersøkelser bør gjøres på skoler med lave gjennomsnittlige inntakspoeng.
Forskning viser at ungdomsskoler kan praktisere forskjellige vurderingskriterier i sin karaktersetting (Kristensen, 2014). Dette innebærer at noen elever med bakgrunn i skoler der det har vært relativt enkelt å oppnå gode karakterer, vil oppleve å gå raskt ned i karakter i begynnelsen av sin utdanning på videregående skole. For noen elever kan dette være en demotiverende faktor (jf. Rathmann, Bilz, Hurrelmann, Kiess & Richter, 2018; Vogl & Pekrun, 2016). Én lærer i utvalget framhever at karakterfritt semester gjør det lettere å «hjelpe dem i stedet for å vurdere dem». Dette framheves som en mulighet for å etablere en ramme for interaksjon mellom lærer og elev som tilsier at «vi er på lag». Dersom en elev opplever å få én karakter eller mer som er vesentlig lavere enn aspirasjonsnivået, kunne dette ha vanskeliggjort en slik «lagfølelse», framholder en lærer. Denne mekanismen – lagfølelsen – kan være gunstig for at eleven skal fokusere på forbedringsmulighetene under skriveprosessen. I en ideell verden ville det være mulig å undersøke denne antakelsen gjennom randomisert tildeling av elever fra ulike prestasjonsgrupper i eksperimentgruppe versus kontrollgruppe. I praksis er slik forskning vanskelig å gjennomføre. Men det er mulig å utforske elevers motivasjon og selvrapporterte karakterer for å studere empiriske sammenhenger. Dette er opplagt en oppgave for videre forskning.
Lærerne opplever at elever ved disse to skolene har jevnt over en sterk målrettet motivasjon for skolearbeidet, men selvdisiplinen kan likevel være varierende. Tendensen til nåtidsskjevhet er til stede i elevenes preferanser. I norskfaget gjør dette seg gjeldende for eksempel med tekster som skal brukes i forbindelse med mappevurdering. Noen elever vurderer dette som mindre viktig og leverer ikke tekster som avtalt. Nåtidsskjevhet er en utfordring fordi noen elever kan overvurdere sin egen evne til å ta igjen arbeidet med manglende innlevering på et senere tidspunkt. Med andre ord kan karakterfritt semester oppleves som for fritt av noen fordi konsekvensene av nåtidsskjevhet ikke er så åpenbare. Skoler kan derfor justere kravene i lys av slike erfaringer med manglende innlevering av mappetekster. Med andre ord bør institusjonens rammer for forsøket videreutvikles for å korrigere uønskede konsekvenser (Elstad, 2008). Karakterfritt semester er således ingen trylleformel for den gode skole. Erkjennelsen av adekvate incentiver er til stede hos de intervjuede lærerne, og det kan virke som om skolelederne har en vei å gå når det gjelder å utvikle institusjonelle rammeverk som korrigerer for nåtidsskjevhet.
Nåtidsskjevhet kan også forklare at mange elever ikke legger maksimal studieinnsats inn i de to første årene på videregående skole, men satser sterkere i det siste skoleåret der standpunktkarakter skal settes. «Vi kjemper om elevenes tid», sier en av lærerne. Men noen elever forregner seg i kalkylen over hvilke skolefag og på hvilke tidspunkt det lønner seg å sette ekstra innsats inn i skolearbeidet. Flere lærere hevder at obligatorisk skrivedag og andre ideer som gir «fastere rammer», i noen grad kan avhjelpe problemet med det som her benevnes som nåtidsskjevhet. Vi trenger mer forskning om hvordan designet av institusjonelt rammeverk kan gi elevene det nødvendige dytt (Thaler & Sunstein, 2009) for å kunne yte sitt beste i et karakterfritt regime. Dette er i særlig grad påtakelig i skoler som har mange elever med svak skolemotivasjon (Elstad, 2008; Elstad, Arnesen & Christophersen, 2016).
Mange elever på begge skoler oppgis å være prestasjonsorientert i sin motivasjon. Dette kan være prestasjonsdrivende for noen elever og uheldig for andre. Men selv denne førstnevnte gruppen oppleves som motivert for skolearbeid i et regime med karakterfritt semester. Bare et fåtall av elevene gir uttrykk for savn av karakter, oppgir lærerne. På den annen side vet prestasjonsorienterte elever at skolearbeidet og innsatsen totalt i et skolefag som norsk vil munne ut i en sluttvurdering både på eksamen og som standpunktkarakter. Det betyr at utsatt karakter gjennom denne ordningen ikke ser ut til å skade den prestasjonsorienterte motivasjonen hos elever som tåler dette, slik lærerne ser det. Unntaket er elever som karakteriseres med nåtidsskjevhet. Men nok en gang understreker vi behovet for mer forskning om motivasjonelle konsekvenser under slike ordninger.
Spørsmålet om skolestress er sammensatt. I vårt materiale omtaler lærerne stress som en viktig årsak til at skolen ville prøve ut karakterfritt semester, men de snakker i liten grad om elevstress helt spesifikt. De løfter heller ikke fram konkrete eksempler. I stedet omtaler de en spenningssituasjon mellom lærere og elever, der bedømming, rangering og karakterer blir tillagt et hovedansvar for at denne spenningen oppstår, og som kan tolkes som en toveis stressituasjon: Både lærere og elever (slik lærerne gjengir elevers atferd) opplever at karakterer er viktige, noe som stemmer overens med internasjonal forskning (Vogl & Pekrun, 2016). Dette gjelder uansett når i semesteret de blir gitt, og det gjelder til tross for at det kun er avsluttende karakterer, standpunkt satt av lærer på bakgrunn av prestasjoner gjennom et helt skoleår, som blir stående på elevens vitnemål.
Vi har i denne studien fokusert på norskfaget. Det er egenarten i norskfaget som gjør dette skolefaget spesielt interessant. En oppgave for videre forskning er å utforske hvordan lærere og elever i andre skolefagkontekster vurderer ordningen med karakterfritt semester, herunder også multikulturelle utdanningskontekster (Van de Vijver, 2016). Matematikk blir ved begge skoler nevnt som eksempel på et fag der det er mulig å konstruere en vurdering som måler alle relevante læreplanmål ved årsslutt. Et interessant spørsmål er om karakterfritt semester i et skolefag preget av sterk logisk-sekvensiell struktur som matematikkfaget har andre betingelser enn norskfaget. Dette er opplagt et fenomen som forskning bør befatte seg med. Også andre skolefag er interessante å studere i denne forbindelse.
Implikasjoner for praksis
For skoler som ønsker å prøve ut en ordning med karakterfritt semester, viser våre funn viktigheten av å utvikle gode rammer for en slik ordning. Vi vektlegger argumenter for at ordningen bør få fortsette i videregående skole, gitt de positive erfaringene det rapporteres om, og at det bør arbeides videre med å legge føringer som kan støtte skoler som ønsker å gjennomføre en slik ordning.
Referanser
- Ames, C. (1992). Classrooms: Goals, structures, and student motivation. Journal of Educational Psychology, 84(3), 261–271.
- Bereiter, C. & Scardamalia, M. (2013). The psychology of written composition. New York: Routledge.
- Berge, K. L. (1996). Norsksensorenes tekstnormer og doxa. En kultursemiotisk og sosiotekstologisk analyse. Trondheim: NTNU.
- Bisin, A. & Hyndman, K. (2014). Present-bias, procrastination and deadlines in a field experiment (No. w19874). New York: National Bureau of Economic Research.
- Black, P., Harrison, C., Lee, C., Marshall, B. & Wiliam, D. (2004). Working inside the black box: Assessment for learning in the classroom. Phi delta kappan, 86(1), 8–21.
- Black, P. & Wiliam, D. (1998). Assessment and classroom learning. Assessment in Education, 5(1), 7–74.
- Bonner, S. M. (2016). Teachers’ Perception About Assessment: Competing Narratives. I Brown, G. T. & Harris, L. R. (Red.), Handbook of human and social conditions in assessment (s. 21–38). London: Routledge.
- Braun, V. & Clarke, V. (2006). Using thematic analysis in psychology. Qualitative research in psychology, 3(2), 77–101.
- Brookhart, S. M., Guskey, T. R., Bowers, A. J., McMillan, J. H., Smith, J. K., Smith, L. F. & Welsh, M. E. (2016). A century of grading research: Meaning and value in the most common educational measure. Review of Educational Research, 86(4), 803–848.
- Brown, G. T. & Harris, L. R. (Red.). (2016). Handbook of human and social conditions in assessment. London: Routledge.
- Bueie, A. A. (2016). Nyttige og mindre nyttige lærerkommentarer – slik elevene ser det. Nordic Journal of Literacy Research, 2(1), 1–22.
- Burner, T. (2016). Formative assessment of writing in English as a foreign language. Scandinavian Journal of Educational Research, 60(6), 626–648.
- Butler, R. (1988). Enhancing and undermining intrinsic motivation: The effects of task-involving and ego-involving evaluation on interest and performance. British Journal of Educational psychology, 5(1), 1–14.
- Christodolou, D. (2017). Making Good Progress? The Future of Assessment for Learning. Oxford. Oxford Education Press.
- Duckworth, A. L. & Seligman, M. E. (2005). Self-discipline outdoes IQ in predicting academic performance of adolescents. Psychological Science, 16(12), 939–944.
- Dweck, C. S. (2013). Self-theories: Their role in motivation, personality and development. Philadelphia, PA: Psychology Press.
- Elstad, E. Arnesen, T. & Christophersen, K. A. (2016). What explains pupils’ perceived motivational conflict between academic work and off-task behaviour in technology-rich classrooms? I Elstad, E. (2016). Digital expectations and experiences in education. Rotterdam/Boston/Taipei: Sense Publishers, 59–75.
- Elstad, E. (2008). Building self-discipline to promote learning: students’ volitional strategies to navigate the demands of schooling. Learning Inquiry, 2(1), 53–71.
- Eriksen, H. (2017a). Vurdering for læring i norskfaget: Hva kjennetegner norsklæreres skriftlige tilbakemeldinger til egne elever? Acta Didactica Norge – tidsskrift for fagdidaktisk forsknings- og utviklingsarbeid i Norge, 11(1), 1–26.
- Eriksen, H. (2017b). Elevers oppfatning av lærers tilbakemeldingspraksis: om sammenheng mellom graden av VfL-praksis og elevenes opplevde nytte av lærers skriftlige tilbakemeldinger i skriftlig norsk. Nordic Journal of Literacy Research, 3(2), 1–21.
- Eriksen, I. M., Sletten, M. A., Bakken, A. & Von Soest, T. (2017). Stress og press blant ungdom. Erfaringer, årsaker og utbredelse av psykiske helseplager. Oslo: NOVA.
- Felmlee, D. H., McMillan, C., Inara Rodis P. & Osgood, D. W. (2018). The evolution of youth friendship networks from 6th to 12th grade: School transitions, popularity and centrality. I Alwin D., Felmlee D., Kreager D. (Red.), Social Networks and the Life Course. Frontiers in Sociology and Social Research (s. 161–184). Dordrecht: Springer.
- Foster, R. (2018, 26. september). Harder, Better, Faster, Longer? ResearchEd. Hentet fra https://researched.org.uk/harder-better-faster-longer/
- Gamlem, S. T. M. (2014). Tilbakemelding som støtte for læring på ungdomssteget. Universitetet i Stavanger: Det humanistiske fakultet.
- Harlen, W. & Crick, D. R (2003). Testing and motivation for learning. Assessment in Education 10(2), 169–208.
- Harris, L. R. & Brown, G. T. (2009). The complexity of teachers’ conceptions of assessment: Tensions between the needs of schools and students. Assessment in Education: Principles, Policy & Practice, 16(3), 365–381.
- Hartberg, E., Dobson, S. & Gran, L. (2012). Feedback i skolen. Oslo: Gyldendal Akademisk.
- Hattie, J. & Timperley, H. (2007). The power of feedback. Review of educational research 77(1), 81–112.
- Holmberg, S. (2018, 19. august). Inför slutprovet igen – då lär sig eleverna mer. Aftonbladet Hentet fra https://www.aftonbladet.se/debatt/a/WLK1lk/infor-slutprovet-igen--da-lar-sig-eleverna-mer
- Kristensen, L. (2014). Læreres sluttvurdering. Vurderingspraksis i et profesjonsperspektiv, I Elstad, E. & Helstad, K. (Red.), Profesjonsutvikling i skolen (s. 207–223). Oslo: Universitetsforlaget.
- Kvale, S. & Brinkmann, S. (2018). Det kvalitative forskningsintervju. Oslo: Gyldendal Akademisk.
- Morse, J. (2015). Critical Analysis of Strategies for Determining Rigor in Qualitative Inquiry. Qualitative Health Research 25(9), 1212–1222.
- No More Marking (2019). What is Comparative Judgement? https://www.nomoremarking.com/
- Opplæringslova. (1998). Lov om grunnskolen og den vidaregåande opplæringa (LOV-1998-07-17-61). hentet fra https://lovdata.no/dokument/NL/lov/1998-07-17-61
- Pierceall, E. A. & Keim, M. C. (2007). Stress and coping strategies among community college students. Community College Journal of Research and Practice, 31(9), 703–712.
- Pintrich, P. R. (2004). A conceptual framework for assessing motivation and self-regulated learning in college students. Educational Psychology review, 16(4), 385–407.
- Rathmann, K., Bilz, L., Hurrelmann, K., Kiess, W. & Richter, M. (2018). Is being a “small fish in a big pond” bad for students psychosomatic health? A multilevel study on the role of class-level school performance. BMC public health, 18(1), 1098.
- Ruud, M. (2018). På Ringshaug ungdomsskole har elevene karakterfri hverdag. Utdanning nr. 11.
- Røde Kors (2018). Psykt flink. En rapport om stress og press blant ungdom. Oslo: Røde Kors.
- Rønning, W. (2012). «Fra karakterjag til læring – fra dommer til trener». Rapport fra et forsøk med én karakter i norsk ved to videregående skoler. NF-notat nr. 1005.
- Sandvik, L. V. & Buland, T. H. (2014). Vurdering i skolen. Utvikling av kompetanse og fellesskap. Sluttrapport fra prosjektet Forskning på individuell vurdering i skolen (FIVIS).
- Saliu-Abdulahi, D., Hellekjær, G. O. & Hertzberg, F. (2017). Teachers’(Formative) Feedback Practices in EFL Writing Classes in Norway. Journal of Response to Writing, 3(1), 31–55.
- Schmidt, F. L. & Rader, M. (1999). Exploring the boundary conditions for interview validity: meta‐analytic validity findings for a new interview type. Personnel Psychology, 52(2), 445–464.
- Seland, I. Hovdhaugen, E., Lødding, B. & Prøitz, T. (2018). Sluttrapport fra evaluering av forsøk med halvårsvurdering med én eller to karakterer i norsk. NIFU-rapport 9, 2018.
- Säljö, R. (1997). Talk as Data and Practice – a critical look at phenomenographic inquiry and the appeal to experience. Higher Education Research & Development, 16(2), 173–190.
- Shavelson, R. J., Cadwell, J. & Izu, T. (1977). Teachers’ sensitivity to the reliability of information in making pedagogical decisions. American Educational Research Journal, 14(2), 83–97.
- Thaler, R. H. & Sunstein, C. R. (2009). Nudge: Improving decisions about health, wealth, and happiness. New York: Penguin.
- Tveit, S. (2014). Educational assessment in Norway. Assessment in Education: Principles, Policy & Practice, 21(2), 221–237.
- Tversky, A. & Kahneman, D. (1974). Judgment under uncertainty: Heuristics and biases. Science, 185(4157), 1124–1131.
- Utdanningsdirektoratet (2018). Erfaringer fra nasjonal satsing på vurdering for læring, (2010–2018). Hentet fra https://www.udir.no/tall-og-forskning/finn-forskning/rapporter/erfaringer-fra-nasjonal-satsing-pa-vurdering-for-laring-2010-2018/
- Van de Vijver, F. J. R. (2016). Assessment in Education in Multicultural Populations. Brown, G. T. & Harris, L. R. (Red.) (2016). Handbook of human and social conditions in assessment. London: Routledge, 436–452.
- Vogl, E. & Pekrun, R. (2016). Emotions That Matter to Achievement: Student Feelings About Assessment. I Brown, G. T. & Harris, L. R. (Red.), Handbook of human and social conditions in assessment (s. 113–128). London: Routledge.
- Wikström, C. (2006). Education and assessment in Sweden. Assessment in Education: Principles, Policy & Practice, 13(1), 113–128.
- Wise, S. I. & Smith, L. F. (2016). The Validity of Assessment When Students Don’t Give Good Effort. I Brown, G. T. & Harris, L. R. (Red.), Handbook of human and social conditions in assessment (s. 204–219). London: Routledge.