24. april tok vi i bruk algoritme-drevne anbefalinger på web-versjonen av NRK TV. Det har allerede gitt gode resultater.
Om du scroller til bunnen av en programside vil du finne et knippe forslag til programmer å se. Listene var tidligere redaksjonelt satt sammen, men nå er det vår rykende ferske anbefalingsmotor som plukker ut programmene fra vårt enorme programarkiv.
Redaksjonen har ikke kapasitet til å plukke ut program-anbefalinger for hvert program, så tidligere brukte vi kategori-lister som anbefalinger. Under alle dokumentarer fant du lenker til de samme dokumentarene. Under alle underholdningsprogrammer fant du lenker til de samme underholdningsprogrammene. Men fra 24. april var det slutt. Anbefalingsmotoren ble tatt i bruk.
Anbefalingsmotoren fungerer ved å bruke et program som inndata for å finne andre programmer. På jakt etter relevante TV-programmer å anbefale finkjemmer den katalogen etter innhold med lignende bruksmønster og tematikk. Hvordan dette funker i praksis gikk vi nøye igjennom i denne saken fra januar, så fokuset i denne omgang vil være på effekten det har hatt.
Bevæpnet med møysommelig måling gjennom Google Enchanced Ecommerce har vi fulgt spent med på om vår nye anbefalingsmotor ville føre til større engasjement i listene.
Så hva sier tallene? Virker det?
Det korte svaret er ja. Engasjementet for listene har økt. Folk klikker mer, folk ser i høyere grad ferdig, og de ser mer forskjellig innhold. Men ikke bare ta vårt ord på det, la oss vise deg noen tall.
Klikkrate
En måte å undersøke om listene skaper mer engasjement er å se på klikkraten. Blir listene klikket på mer enn før? Grafen under viser hvor stor andel av visningene som fører til et klikk:
Tallenes tale er klare. De som ser på, klikker mer. Fra å klikke på et program i lista ved ca. 12 % av visningene, klikker seerne nå ca. 20 % av tiden. Dette tilsvarer en solid økning på om lag 66 %. Godkjent!
Vi tolker dette til at vi viser frem mer spennende innhold. Programmene som blir anbefalt er i høyere grad relevante. Men klikk er ikke nok. Vi ønsker at folk skal se TV-programmene de klikker på.
(Merk at uke 15 og 16 er fjernet fra alle figurer i denne saken. Vi lanserte i uke 16, så tallene ville inneholdt data fra både før og etter lansering. I uke 15 hadde vi trøbbel med målekoden, så målingene ble ubrukelige).
Fullføringsgrad
Som lisensfinansiert allmennkringkaster har ikke et klikk på en anbefaling noen egenverdi. Vi har ingen annonsevisninger å maksimere. Det viktige for oss er at vi gir publikum godt og variert innhold. For oss som bygger tjenestene kan vi ikke i så stor grad påvirke selve innholdet, så da handler det om å sørge for at seerne våre finner det innholdet som passer for dem.
For å forsøke å måle dette har vi definert fullføringsgrad. Fullføringsgraden er prosentandelen av visningene av en anbefalingsliste som fører til klikk på en anbefaling, start av programmet, og fullføring av programmet. Alle stegene må fullføres for å gi utslag på fullføringsgraden. Slik har fullføringsgraden utviklet seg etter at vi gikk live med anbefalingsmotoren:
Økningen for fullføringsgraden ser ikke like markant ut som for klikkraten, men den er fortsatt stor. At vi har forbedret fullføringsgraden med ~1 prosentpoeng tilsvarer faktisk en økning på ~58 %. Seerne våre ser oftere ferdig programmer fra en anbefalingsliste etter at de ble algoritme-drevne.
Spredning i anbefalinger
Vi vet at NRK TV har mye godt innhold som ikke blir sett. Katalogen har for lengst runda 100.000 programmer, men svært få av disse blir eksponert til seeren fra dag til dag. En av motivasjonsfaktorene for å bygge en anbefalingsmotor var å få vise frem en større del av katalogen slik at folk skulle oppdage innhold de ikke visste de ville se.
Men hvor mye mer innhold kan vi vise frem med en anbefalingsmotor kontra redaksjonelle lister? Grafen under viser hvor mye unikt innhold som blir anbefalt, klikket på og fullført som følge av en anbefaling.
Veksten er eksepsjonell. Fra å anbefale rundt 230 unike programmer daglig, eksponerer vi nå opp mot 14.000 unike programmer til seerne våre per dag. Det er en betydelig del av katalogen som nå blir dratt frem i lyset for første gang.
Av disse 14.000 anbefalte programmene blir hele 3500 klikket på. Vi tolker det som at anbefalingene vi presenterer er relevante. Ikke bare klikker de som ser på mer enn før, men de klikker også på mer variert innhold.
Folk oppdager nye ting!
Før lansering ble ca. 100 unike programmer fullført etter et klikk i en anbefalingsliste. Nå er det rundt 600 unike programmer som blir fullført daglig. Vi har altså fått til noe av det vi ønsket, å vise frem innhold vi vet publikum ønsker å se, men som de ikke vet hvor de finner.
Hva nå?
Vi er ikke på langt nær ferdige. I høst kommer vi til å utvide eksperimenteringen med dette i NRK, og styrker derfor anbefalings-teamet som jobber med dette (søknadsfrist neste søndag!).
Neste steg for NRK TV er å få ut algoritme-drevne anbefalinger på flere plattformer. Android-appen er førstemann ut, så følger vi på med Apple TV. I dag er anbefalingslista gjemt ganske langt ned på program-siden, men den vil nok få en mer prominent plassering nå som vi er trygge på at den fungerer bra.
En ting vi nå virkelig ønsker å få på plass er A/B-testing av forskjellige anbefalingsmodeller. Med A/B-testing kan vi justere på algoritmene og sette dem opp mot den gamle versjonen i sanntid, samtidig som vi unngår sesong- (ukedag vs. helg, sommer vs. vinter) og innholdsmessige (en ny episode av Skam har alltid stor effekt på alt vi måler i tjenesten) svingninger.
Her kan du lese mer om hvordan algoritmene fungerer.