Lektion 4: Du har husket at teste, ikk'?
Vi er nået til fjerde lektion, og du er nu bekendt med fundamentet i adfærdsdesign.
For at lykkes med at skabe forandringer ved du også, at menneskers irrationalitet spiller ind. Og du ved, at du skal bryde udfordringer ned i konkret adfærd, før du designer dine idéer og løsninger efter adfærdsprincipperne.
Derfor er det nu tid til at kigge på prototyper og test og måske vigtigst af alt, forstå, hvorfor gode løsninger altid går hånd i hånd med test.
I lektion 4 bliver du klogere på:
- Hvorfor du skal teste dine løsninger
- Hvordan du kan spare penge på forandringsforsøg med tests & prototyper
- Hvad randomiserede test er, og hvorfor de virker
- 4 trin til at teste dig til bedre løsninger
Advarsel: I denne lektion skruer vi op for brugen af adfærdsvidenskabelige termer, som bliver demonstreret med eksempler, så de hurtigt sætter sig på rygraden.
Lad os komme i gang.
Hvorfor skal du teste?
Hvad betyder det, når vi hårdnakket påstår, at løsninger skal testes? En test, eller effektmåling om du vil, skal fortælle dig om de løsninger, du søsætter, lykkes med at skabe forandring.
Som du har læst i tidligere lektioner, er det ikke altid smart at stole på sin egen mavefornemmelse og evne til at samle beviser for at evaluere tiltaget. Vi har nemlig en tendens til at fokusere på information og mønstre, der bekræfter vores eksisterende overbevisning og ignorerer information, der modsiger den. Det kaldes som bekendt ’confimation bias’.
Derfor er der brug for en test, der sikrer, at vi få et sandfærdigt billede af vores adfærdsudvikling, som ikke er påvirket af tilfældigheder.
Spar penge på forandringsforsøg, og brug prototyper til at teste dig frem
Prototypetanken kommer af, at vi gerne vil have feedback på vores løsninger så hurtigt som muligt for dernæst at tilpasse en endelig løsning efter, hvad der giver mest værdi.
Vi kunne kalde prototyper en slags ’prøveklude’ af dine brandgode idéer eller forandringsforslag. En prøveklud, der giver dig mulighed for at justere dit endelig design, som samtidig giver dig den nødvendige data på, om din løsning nu også giver den ønskede adfærdsændring.
Det er lidt ligesom at prøvekøre en bil, inden du beslutter, hvilken en du vil have. Det giver meget god mening, ik’?
Drop undskyldning, og test amok
Nu sidder du måske og tænker, at prototyper og tests virker en anelse uoverskuelige og unødvendige i lige dit tilfælde. Men der er ingen undskyldning for at undlade testen. Og lad mig fortælle dig hvorfor.
Det er meget dyrere at rulle en løsning tilbage, som endte med at have en uønsket eller slet ingen effekt, end det er at trykteste undervejs. Derfor handler det om, at du får inkorporeret testen som en naturlig del af dit arbejde uden at skulle bruge unødige ressourcer på den.
Tests behøver ikke være store randomiserede forsøg for at give meningsfyldte indsigter. Det kan fx sagtens være en mindre brugertest.
Vil du derimod være helt sikker på, at du konkluderer på den ’rigtige’ effekt af en løsning, er randomisering vejen at gå. Randomisering sikrer nemlig, at dine testresultater er robuste.
Definition:
Randomiseret forsøg: I et randomiseret forsøg danner man en testgruppe og en kontrolgruppe og sammenligner, hvordan de hver især agerer.
Hemmeligheden bag en korrekt sammenligning af de to grupper ligger i randomiseringen – altså at det skal være tilfældigt, hvem der havner i hver gruppe.
I bro har vi lavet en simpel guide, der indeholder de vigtigste overvejelser, du skal gøre dig, når du vil i gang med at teste løsninger og idéer i din organisation. Den sikrer dig, at du følger den mest simple, men vigtigste opskrift.
Du finder øvelsesarket i bunden af lektionen, men du får lige en introduktion her.
Fire trin, og så er du i gang
Inden du påbegynder dine tests, har du selvfølgelig gjort dig klart, hvad den uønskede adfærd er: Hvad er det, folk gør nu, som du gerne vil ændre på?
Du ved også, hvad den ønskede adfærd er: Hvad vil du have folk til at gøre anderledes?
De to elementer er vigtige for din test, for det er de elementer, du enten skal måle på eller opsætte en proxy for. Men det kommer vi til lige om lidt.
Definition:
Proxy: En proxy er et substitutmål for det, du reelt vil vide noget om. Hvis du ikke kan måle på den direkte adfærd, kan du forsøge at finde et alternativt målbart cirka-mål.
En god proxy kan bruges til at sige noget indirekte om den adfærd, du gerne vil påvirke.
I lektion 3 blev du klogere på, hvordan du undersøger, hvilke friktioner der står i vejen for den ønskede adfærd, således at din løsning eller idé er baseret på at fjerne friktionen.
Det er derfor blevet tid til den simple guides fire trin: De absolut vigtigste overvejelser, du skal gøre dig, når du vil arbejde med test, fordi du har en idé til en indsats eller løsning på et problem i din organisation.
Eksempel: Sådan får sagsbehandlere flere borgere i job
Sagsbehandlerens tro på borgerens fremtidige arbejdsliv har vist sig at have stor betydning for, om borgeren kommer i job eller ej. Derfor ville Styrelsen for Arbejdsmarked og Rekruttering (STAR) styrke sagsbehandlernes tro på borgerne.
Ved hjælp af adfærdsdesign og nudgegreb havde vi til opgave at finde ud af, hvordan vi kunne øge sagsbehandleres tro på borgerens jobmuligheder. Men hvordan omsætter man ”tro” til noget man kan se, måle og implementere?
I projektet for STAR udviklede og testede vi en række nudges i fire kommuner. Tre af de nudges, vi testede, var:
- Struktureret sparring på sager
- Succeshistorier
- Visualisering af tværfagligt samarbejde.
De første to nudges handlede om at skabe en struktureret mødeform omkring sagerne, så sagsbehandlerne fik nogle konkrete handlemuligheder fra deres kollegaer til deres videre arbejde.
I forbindelse med sagsmøderne skulle sagsbehandlerne fremhæve succeshistorier fra deres uge, som de delte med deres kollegaer. Alle historierne blev efterfølgende hængt op i afdelingen for at holde fokus på alle de fremskridt, der skete med borgerne.
Det tredje nudge havde en kortsigtet ”kampagne”-funktion. Det handlede om at visualisere og styrke samarbejdet med virksomhedskonsulenterne gennem et kuglesystem, hvor sagsbehandlerne kunne se, hvor ofte de havde haft dialog med virksomhedskonsulenterne.
Vi lavede prototyper til alle indsatser bestående af:
- En plakat med mødestruktur
- Printede kort til at skrive succeshistorier på med eksempler på bagsiden
- En beholder til kugler med røde kugler til sagsbehandlere og træfarvede kugler til virksomhedskonsulenterne. Hver gang der var tværfaglig kontakt mellem de to, byttede de en kugle.
Resultaterne af de tre nudges får du, som du går igennem vores 4-trins model til at teste.
Vil du vide mere om STAR-projektet? Så kontakt vores metodenørd Josefine.
Trin 1: Hvad forventer du, at testen vil vise?
Først skal du skrive ned, hvad du forventer, testen vil vise. Det behøver ikke være videnskabeligt funderet. Det kan koges ned til dit bedste gæt på baggrund af din erfaring og tidligere observationer.
Tag udgangspunkt i den ønskede adfærd og byg din tese op omkring dit løsningsforslag.
Du kan tage udgangspunkt i følgende: Jeg forventer [hvem] vil gøre mere (eller mindre) af [den ønskede eller uønskede adfærd], hvis vi indfører [løsningsforslaget].
I STAR-projektet lød en af teserne:
Vi forventer, at sagsbehandlerne vil øge deres tro på borgerens jobmuligheder, hvis der ugentligt fremhæves succeshistorier fra svære sager.
Det er vigtigt, at du gør dig tanker om retningen og den forventede effekt, før du går i gang. For du kan ikke konkludere på baggrund af noget andet, end det du gik i gang med at undersøge.
Trin 2: Hvad skal du tælle eller måle på?
Kog det ned til ønsket eller uønsket adfærd. Hvis du fx vil have, at dine kollegaer eller medarbejdere skal blive bedre til tage kaffekoppen med ud fra mødelokalet, kan du tælle antallet af efterladte kopper efter hvert møde i en given periode.
Desværre kan du ikke altid måle (læs tælle) på den faktiske adfærd. I så fald må man finde en god proxy, som indirekte siger noget om den adfærd, vi gerne vil påvirke.
Måske vil du have folk til at forberede sig til møder, men kan reelt set ikke måle, om alle gør det. Her kan du eksempelvis undersøge, om folk booker tid i deres kalendere til at forberede mødet (såfremt du har adgang til at se dine kollegaers kalendere). Pointen er, at når vi ikke kan måle på den faktiske adfærd, finder vi en målbar indikator.
I STAR-projektet ville vi ændre sagsbehandlerens tro på borgeren. Tro er svært at måle på. Det kan ikke tælles, og det er en langsigtet transition. Derfor definerede vi proxy-mål og målte i første omgang, hvorvidt tiltagene blev brugt.
Eksempelvis målte vi antallet af succeshistorier, der blev hængt op og delt på de interne møder. Vi kunne ikke være til stede ved alle møder, så mødestyreren tog ugentligt et billede af succesvæggen og delte med os.
Trin 3: Hvad er dit sammenligningsgrundlag?
Du kan vælge ud fra tre forskellige sammenligningsgrundlag:
1. Baselinemåling: en periode, hvor du måler den nuværende adfærd, før du prøver din prototype af.
2. Kontrolgruppe: en sammenligningsgruppe, som ikke modtager din løsning.
3. Succeskriterier: opsæt forventede succeskriterier, inden du går i gang. Det bruges primært, hvis ikke du kan foretage baselinemålinger eller have kontrolgrupper.
Der er fordele og ulemper ved alle sammenligningsgrundlag. Som nævnt i boksen ovenfor kræver en kontrolgruppe helst en form for randomisering. Altså at folk tilfældigt enten eksponeres for prototypen eller ej.
Det kan ikke altid lade sig gøre perfekt, da folk som oftest taler sammen på deres arbejdspladser. Det betyder ikke, at du ikke vil se en ændring i adfærden hos testgruppen, men det kan være sværere at behandle grupperne forskelligt.
På samme måde kan det være, at tidspunktet på ugen, måneden eller året påvirker det, du måler. Måske er der stor forskel på, hvor mange kollegaer, der er på kontoret under din test, så forskellen mellem en baselinemåling og en effektmåling i stedet ’bare’ viser, at der er flere, der drikker kaffe, når alle er på kontoret, og ikke om din løsning virker eller ej.
Før vi gik i gang med STAR-projektet opstillede vi et succeskriterie baseret på vores forventning for succes. Kriteriet var, at minimum fire mødedeltagere skulle dele en succeshistorie efter hvert møde for at testen var brugbar.
Trin 4: Analyse af data
Så er du kommet til den sjove del: Nu skal du se, om din løsning virkede, og om din tese i trin 1 holdt stik.
Den simpleste form for analyse – når du altså har fulgt trin 1-3 - består i at se, om der er flere (eller færre), der har udført den ønskede/uønskede adfærd holdt op mod dit sammenligningsgrundlag.
Viser din data det, du havde forventet? Hvor stor er ændringen i procent? Og hvad betyder det for afdelingen i kroner og øre? Altså er du godt på vej til at kunne imponere ledelsen og ikke mindst træffe mere objektive beslutninger om indsatser og idéer på et evidensbaseret grundlag.
Men vær opmærksom på, om du har samlet nok observationer til at du, med ro i maven, kan sige, effekten ikke er en såkaldt ’falsk positiv’. Det er altid bedre at samle lidt mere data for at være sikker. Men du kan også gentage testen - eksempelvis med en ny kontrolgruppe for at se, om du får samme effekt.
I STAR-projektet sammenlignede vi først data for hver af de tre nudge-indsatser med succeskriterierne. Da kun fire kommuner deltog, var datagrundlaget lidt småt. Derfor supplerede vi alle målinger med kvalitative opfølgninger. Vi talte med de sagsbehandlere, der havde afprøvet tiltagene. Og det betød, at den samlede vurdering også opfangede, hvorvidt sagsbehandlerne oplevede, at tiltagene havde gjort en forskel i deres daglige arbejde.
Vi præsenterede resultaterne for styrelsen med både kvantitative målinger underbygget med kvalitative uddrag af sagsbehandlernes fortællinger. Alle tre nudges blev så stor en succes, at STAR har arbejdet videre med at få dem implementeret i kommunale jobcentre.
For at du kan komme godt fra start, har vi lavet et skema med de 4 trin til dig. Brug det næste gang du skal teste dit løsningsforslag. Se øvelsesarket i bunden af lektionen.
Få data frem for mavefornemmelse
Husk endelig på, at selv test med få data er bedre til at underbygge initiativer og løsninger end en blind mavefornemmelse. Så hvis ikke du føler, du har det store set-up eller de rette ressourcer til at lave store, randomiserede tests, så kan du nøjes med en mindre test, som du eksempelvis gentager.
Som casen med STAR viser, kan mindre tests derfor også bruges til at validere tiltag. Hvis da bare de er tilrettelagt systematisk efter de fire trin.
Vi læses ved.
