Jag skrev i december om att PISA-mätningarna som standardiserar elevers skolresultat i OECD-länderna ska börja mäta kollaborativ problemlösning. OECD övervägde då att använda datoriserade agenter både för mätningen och själva samarbetet.
Då var det lite försiktigt uttryckt, och inte bestämt vilken form det här skulle ta, och när jag på inrådan av den svenska PISA-representanten Anita Wester skrev till Patrick Griffin vid universitetet i Melbourne så svarade han att detaljerna inte ännu var spikade.
Nu har det kommit ett dokument från OECD (pdf, 89 sidor), som iofs fortfarande står som "draft", men så här formulerar man sig:
59. It has therefore been decided to place each individual student in collaborative problem solving situations, where the team member(s) with whom the student has to collaborate is fully controlled. This is achieved by programming computer agents.
Det som följer i dokumentet är en lång argumentation om varför det är svårt att mäta samarbete mellan människor, och hur man skulle behöva para ihop människor i olika permutationer för att mätningen skulle bli rättvis.
Här är ett exempel på hur jobbigt de tycker att det är när människor löser problem ihop -- problem man säger sig kunna fixa till med en artificiell agent.
83. When humans collaborate together, it often takes considerable time for making introductions, discussing task properties, and assigning roles during the initial phases of CPS activities (e.g., exploring and understanding, and representing and formulating) and also for monitoring and checking up on team members during action phases (Marks, Mathieu, & Zaccaro, 2001; Wildman et al, 2012; Zaccaro et al., 2011). There is also a danger of a group of humans consuming a lengthy amount of time pursuing an unproductive path to a solution during the action phase. Within the assessment situation, computer agents allow rigorous control over the collaborative interaction to obtain a sufficient number of assessment events within the test time constraints using strategic dialogue management and rapid immersion in the collaborative context. For example, a “rescue” agent can redirect the group’s course of action when too much time has been expended on a poor solution path.
De erkänner (förstås) att man inte mäter människor som samarbetar med andra människor, men hänvisar till att det finns evidens för att man kan mäta människa+dator och att det är relevant för samarbetet människa+människa.
85. While it is acknowledged that the PISA 2015 assessment does not directly test students working with other students, the agent-based approach permits controlled testing of the skills that are required for collaboration. By targeting these skills under controlled situations, the use of agents provides a sufficiently valid approach to measurement to allow generalisations about the critical collaboration skills. Appendix A provides a review of examples of how agent-based environments have been used to assess collaboration, problem solving, tutoring, and group learning.
Utan att ha granskat referenserna i bilaga A är jag ändå tveksam till tillvägagångssättet. Får man verkligen ut de relevanta faktorerna för samarbete på det här sättet? Hur utnyttjar man människors olika kompetenser i grupper, där en grupp funkar bättre just för att en person tar en roll, och en annan person en annan, så att man utnyttjar olikheterna i kompetens? Om en människa samarbetar med en agent (mänsklig eller datoriserad), vilken roll spelar det om agenten har mer eller mindre kunskap om problemområdet, och hur avgör man detta med en datoriserad agent? Hur hanterar man elever som kan lösa de presenterade problemen på egen hand -- hur undviker man att mäta "påtvingat samarbete" -- är inte risken att man försöker tvinga fram ett beteende av att det är bättre att försöka samarbeta till varje pris, snarare än att faktiskt lösa problemen man ställs inför?
Jag tror att det är lätt att människan som ska testas antar att datorn den ska "samarbeta" med vet mer än människan själv. Det som ska vara samarbete mellan två personer på samma kunskapsnivå blir då en underlig form av låtsat samarbete, med någon som antas veta mer men inte vill avslöja det.
Hur lång tid tar det innan utbildningsföretag börjar utveckla agenter som de säljer till skolorna för att eleverna ska få en "realistisk" miljö att testa sig i inför mätningarna?
Det finns väldigt många frågetecken runt den här formen av mätning, och jag hoppas att både Skolverket och exempelvis Digitaliseringskommissionen tar sig en titt på evidensen för att mäta samarbete på det här sättet.
/Simon
Låter onekligen skumt. Komplikationerna man vill ha bort är ju en stor del av vad det innebär att samarbeta med människor. Att samarbeta med datorer är en annan sak, det kallas programmering. Låt vara att den här typen av agent lär ha ett programmeringsgränssnitt ovanligt svårt att komma underfund med.
Posted by: Avadeaux | 17 juli 2013 at 16:23