Vem värderar det som mäts?

Ända sen vi för ett år sen skrev om regeringens digitala agenda, och hur man planerar att mäta digitaliseringen av Sverige är det en sak som har gnagt ganska mycket.

Det rör sig om hur man ska vikta ihop alla mätvärden så att man kan se att man verkligen har blivit bäst i världen på att "använda digitaliseringens möjligheter", som ministern fortsätter att ha som mål.

Jag vet inte hur många av de 200 faktorer inom 22 områden som Gartner föreslog att man kunde mäta som har behållits tills nu, men om det ska vara någon mätning att tala om måste man på förhand bestämma hur de ska viktas:

För oss är det självklart att vissa av dessa indikatorer är viktigare än andra, och man bör därför lägga ner en stor ansträngning för att få till en politisk diskussion där man viktar indikatorerna, innan man fortsätter med mätningsarbetet. Detta behövs för att kunna avgöra vilka mätningsinsatser som lönar sig att utföra -- en stor kostnad för att mäta en oviktig faktor bidrar bara till ökad byråkratisering. Antagligen kan man genom att göra viktningen komma fram till att 20-50 faktorer är tillräckliga för att avgöra i vilken grad digitalisering ägt rum. Att på förhand sätta en viktning gör också att själva mätningen blir rättvisande -- sätter man vikterna i efterhand går det i princip att visa vad som helst givet den utveckling som sker under mättiden.

För att få lite bakgrund till det här kan jag varmt rekommendera Malcolm Gladwells artikel "The order of things" (även som pdf). I den artikeln pratar han om universitetsranking, men han inleder snyggt med en jämförelse mellan tre sportbilar, för att visa hur viktningen av olika faktorer ger den slutliga ranking som man vill ha.

Att man kan göra om viktningen så att man får den rankning man vill ha låter kanske självklart för en del, men Gladwell utgår från ett verkligt exempel, och gör sedan helt rimliga ändringar av rankningen och får den ena efter den andra av sportbilarna att bli den högst rankade.

Jag pejlade läget angående viktningen av digitaliseringsfaktorerna på det senaste Signatärsforumet, där Per och jag pratade lite om Infontology och Människan och maskinen. Det verkade inte som att Kommissionen hade gjort någon viktning ännu, i alla fall.

För att förstå vilken sorts indikatorer som Digitaliseringskommissionen arbetar med kommer här några plockade ur Gartners kartläggning:

• Andel av användarna av "Mina eHälsotjänster" som anser sig vara mer delaktiga i sin egen vård än tidigare
• Andel lärare som sällan, nästan aldrig eller aldrig upplever att deras egen it-kompetens begränsar deras lärarroll eller deras användning av it i undervisningen
• Total datamängd kultur som bevarats respektive tillgängliggjorts (”terabyte kultur”)
• Andel invånare som använder någon sorts tjänst för att anonymisera sin dator
• Andel datoranvändare (i åldern 16-74) som har skrivit ett datorprogram de senaste tre månaderna
• Andel kvinnliga it-chefer och skillnad mot andel kvinnliga chefer med särskilda funktioner på arbetsmarknaden som helhet

Hur stor betydelse ska var och en av dessa indikatorer spela i den slutliga sammanvägningen?

Problemet med viktning gäller alla de saker som mäts i samhället, och det motsvarar enorma mängder data. För varje variabel borde det finnas ett underlag som säger hur det ska användas, hur viktigt olika grupper anser att det är, och hur man ska normalisera värdena.

Inom projektet omvärld.se håller jag på att ta fram lite nya visualiseringar. Projektet vill fokusera på lokala data, eventuellt för att kunna jämföra kommunerna i Kronoberg i olika avseenden.

Jag tog ett par parametrar i högen med tillgängliga mätvärden på kommunnivå (det finns massor). De jag valde var "tätortsgrad" (hur stor andel av befolkningen i kommunen som bor i en tätort) och "invånare per kvadratkilometer". Här är tabellen:

Jag kan använda varje faktor för sig, och lätt göra en rankning av vilken kommun som är bäst eller sämst i ett visst avseende. Men om jag vill vikta ihop olika värden för att få ett slutligt resultat typ "Bäst i test" är det nästan omöjligt, ens om man bara har två variabler som här.

Jag vill kunna vikta olika parametrar olika, för att se hur rankningen ändras, som i Gladwells exempel. Slutmålet i projektet omvärld.se är att kunna bygga en interaktiv miljö där eleverna ska kunna ändra vikterna/preferenserna och ser hur det påverkar slutresultatet.

I nästa generation av exempelvis produkttester föreställer jag mig att man kommer att kräva att själv kunna ändra viktningen. (Då kommer också vissa vilja lägga preferenserna i en profil så att man bara smackar på profilen på testet för att få ett personaliserat resultat. Det kommer inte att fungera då heller...)

Det här är de överväganden jag hittills har kommit fram till att jag måste göra:

• Varje faktor behöver ligga i samma intervall, exempelvis 0-100.
• Kanske vill man ha riks- eller länsgenomsnitt som "50" i jämförelsen.
• Ibland är normalvärdet i mitten, med avvikelser neråt och uppåt, ibland är ett så stort värde som möjligt bra, ibland är det ett så litet som möjligt som är bra.
• Vissa faktorer verkar mest som att de borde normaliseras med en logaritmisk funktion. Hur stoppar man till exempel in Kronobergs befolkningstäthet i ett nationellt sammanhang från Arjeplogs 0,24 till Sundbybergs 4869 invånare per kvadratkilometer? (Sveriges kommuner på Wikipedia.)
• Om man sätter en viktning på en parameter måste man veta om det är positivt eller negativt med ett visst värde. För de flesta parametrar är det inte så komplicerat, men just befolkningstäthet eller tätortsgrad skulle kunna variera för olika människor. En del vill bo där det är mycket landsbygd, en del där det är tätt mellan folk. Själv skulle jag kunna tänka mig att välja en kommun där det är ganska tätbefolkat, men där ändå tätortsgraden var låg. Det skulle kunna tyda på en levande landsbygd, där inte tätorterna har sugit åt sig alla människor.

Jag föreställer mig att det här är ett problem som statistik och/eller matematik har ställts inför under senare delen av 1900-talet i alla fall, men jag är osäker på var jag ska söka efter akademiska referenser. Är det detta som kallas "multivariatanalys" till exempel? Jag tar tacksamt emot hjälp i kommentarer eller på mail.

/Simon