Hva er egentlig TV uten bilder? Slik bruker vi roboter til å finne stillbilder fra video.
I 2013 inngikk NRK en avtale med rettighetsorganisasjonen Norwaco om å publisere alt innholdet NRK produserte og sendte før 1997. Dermed har vi de siste årene fylt opp tv.nrk.no med godt over 30 000 gamle programmer.
For å kunne gjøre dette innholdet tilgjengelig for publikum raskest mulig, har vi tatt alle snarveiene vi kunne. Én snarvei var å bare legge ut videofilene med tittel og kategori. Ingen fyldig beskrivelse, og ikke minst: Ingen representative bilder.
Vi ønsker å gjøre noe med de mange programmene som ser slik ut:
At ikke vi har episodebilder er synd. Fra brukerstudier vet vi at veldig mange brukere orienterer seg visuelt når de blar i innholdskatalogen. Bildet er en viktig og rask måte for å forstå om det aktuelle programmet er noe brukeren ønsker å se nærmere på. Det gjør også at tittelen i større grad kan være kort og konsis, da summen av bilde og tittel sier mye (og ofte nok) om innholdet.
Å åpne et program, lagre skjermskudd, laste opp, og sette inn mer enn 30.000 bilder, er en stor jobb. Veldig stor jobb. Når vi i etterkant har løftet opp enkeltinnhold redaksjonelt, f.eks. gjennom ukens arkiv, har vi lagt til bilder på serien. Men ofte ikke et eget bilde per episode.
Dette førte til at en liten gjeng programmerere ønsket å gjøre noe med det under en av våre interne innovasjonsdager – vi ville prøve å lage en virtuell robotarmé som kan læres opp til å gjøre grovsorteringen.
Motivasjon
Vi vil fortsatt at mennesker velger bildene, fordi resultatet blir bedre enn det maskiner får til på egenhånd. På innovasjonsdagene denne måneden prøvde vi å skape et Tinder-aktig grensesnitt som viser automatisk genererte potensielle bilder. Den som skal velge et programbilde vil dermed kunne få god assistanse i arbeidet med å gi alle programmer et representativt bilde.
Det er tre grunner til at vi ville prøve dette:
- I NRKs nett-tv har vi veldig mange programmer uten bilde. Vi viser et såkalt boblebilde når vi ikke har det, men dette gir ikke den beste brukeropplevelsen i søket vårt for eksempel:
- Produksjonen av episodebilder er i dag en manuell prosess. Flinke NRKere spoler i video, finner noe representativt og lagrer så bildet etter noe bildebehandling. Vi ønsker å gjøre denne prosessen vesentlig mer effektiv.
- Hente ut kandidatbilder fra video: Heldigvis har vi en komponent basert på Ffmpeg som kan generere bilder fra videoarkivet. Denne ble satt på jobben med å hente ut bilder for de programmene som ennå ikke har episodebilde.
- Analysere kandidatbilder, plukke ut gode forslag: En ny komponent ble laget som tok de genererte stillbildene, lastet dem opp til Azure cognitive services og plukket de fem første bildene med mennesker på.
Vi skal nok gjøre utvelgelsen smartere etterhvert, men i første omgang går vi etter feriebildeprinsippet: “ta bilder med folk du kjenner foran de gamle steinene, ikke bare bilder av gammel stein”.
- Webgrensesnitt for utvelgelse av bilder: Grensesnittet fungerer veldig enkelt ved at man får forslag – både tilfeldig valgte bilder og de som har vært gjennom den automatiske bildeanalysen:
Episodebildene dukker opp i mange ulike sammenhenger og kontekster, så vi ønsker å unngå såkalt «eksplisitte» episodebilder.
Å unngå nakenhet viste seg å være en interessant reise; la oss starte med å snakke om den:
Hva er et upassende bilde?
Vi startet med å se hva automatiske tjenester kunne gjøre for oss. Mange av dagens skymakere har begynt å tilby bildegjenkjenningstjenester, inkludert Google. Det fungerer slik at man laster opp et bilde og får metadata tilbake. Metadata kan inkludere objekter (bil, båt), ansikter og informasjon om dette er “egnet” innhold.
Men hvor går egentlig grensen mellom et bilde som står fint sammen med NRKs lørdagsunderholdning og “voksent innhold”? Utstyrt med bildesøk (og “inkognito-modus”) startet vi å undersøke…
I undersøkelsen har vi brukt webgrensesnittet Google Cloud Vision. Du laster opp et bilde og får forskjellig faner med informasjon. Her har vi prøvd med et bikini-bilde. 
Under “Safe Search” kan vi se at bildet ikke slår spesielt mye ut i “adult” kategorien; det slår altså ikke ut som pornografisk.
Her er bildet med litt annen metadata:
Ting ser ut til å stemme ganske bra – men er de virkelig 92% påkledd?
Vi går videre til nakne statuer i Firenze.
Den klassiske Davidstatuen er også trygg: En tissefant er altså ikke nok til å vippe Google av pinnen.
Til slutt gikk turen til å prøve på vårt eget innhold. Trekant var en serie om sex for ungdom for en tid tilbake i NRKs folkeopplysningsånd.
Her gikk det verre.
Selv om menneskene på dette bildet kanskje er de mest påkledde hittil, er det sannsynligvis noe med arrangeringen av kropper som får transistorene hos Google til å holde seg for øya.
Vi har også testet med Microsofts API. De har en fleksibel tilnærming til upassende bilder. APIet har fire felter som sier noe om temaet “voksent innhold”. De er isAdultContent, isRacyContent, adultScore og racyScore. “Racy” oversettes kanskje best med «pikant». Hvis vi prøver bildet fra Trekant, gir Microsoft ut følgende:
«adult»: {
«isAdultContent»: false,
«isRacyContent»: true,
«adultScore»: 0.43682640790939331,
«racyScore»: 0.7039603590965271
},
De er mye mer liberale enn Google, og sier at det er racy, men ikke adult content. Dette gir oss mer granulær informasjon og vi kan kombinere flere faktorer til å markere upassende bilder.
Google synes David-statuen er ok, men Microsoft setter ned foten:
«adult»: {
«isAdultContent»: true,
«isRacyContent»: true,
«adultScore»: 0.60565650463104248,
«racyScore»: 0.64149504899978638
},
Selv om APIet setter følgende caption på bildet: ”a statue of a man standing in front of a building”, blir bildet av denne klassiske statuen for drøyt for Microsoft Computer Vision.
Konklusjon på nakenhets-sporet:
Det er ikke nakenhet som sådan som blir klassifisert som “voksent innhold”, men antydningen om seksuell adferd. Vi får forskjellige konklusjoner om bildene, avhengig av hvem vi spør. Dette sier oss at APIene kan gi verdifull tilleggsinformasjon, men ikke automatisk plukke SFW-bilder for oss.
Å skape et verktøy
Så er det den tekniske biten med hvordan vi kan skape et godt verktøy for å effektivisere produksjonen av episodebilder. Vi kom fort fram til at det måtte tre komponenter til:
Hva som er det beste bildet, må arkiv- eller bildeansvarlig avgjøre, men her ser vi både gjest Francois Truffaut og programleder Arne Hestenes.
Normalt skal gjesten være fokuspunktet i et intervju og man står da igjen med to reelle kandidater å velge mellom, ettersom de to svarte bildene, programlederen og bildet hvor Truffaut ser ned er mindre egnet.
Klikker man et bilde blir det lagret til vår interne bildetjeneste, og en referanse sendes til APIet som ligger bak tv.nrk.no. Sluttresultatet blir slik hos brukeren:
Både det fine nye episodebildet og Intervjuet med Truffaut fra 1966 om hans verker og strømninger innen filmen kan du se i vår Nett-TV.
Det var alt så langt
Dette er hva vi fikk til på to innovasjonsdager hos NRK Medieutvikling.
Det er mye igjen å gjøre, som muligheten til å velge utsnitt, få det ut i produksjonssystemene osv. Men vi har allerede hatt et møte med kollegaer i arkiv-avdelingen, og de ser absolutt potensialet for at dette verktøyet kan lette arbeidet.
Hva synes dere, hvor irriterende er egentlig boblebilder? Og hvilken innholdsinformasjon om arkivprogrammer er viktigst for dere?