Bak kamera på NRKs første produksjon av 360°-video

26. September startet en ny sesong av dramaserien Jenter. I den anledningen har vi i NRKSuper laget en 360°-video.

Ideen

Produsent Beate Rendahl og regissør Tine Grønneberg ønsket å bruke 360 graders kamera for å promotere dramaserien Jenter.

Ideen er at du som ser på blir med Ingrid, den nye hovedkarakteren i dramaserien, inn på ungdomsskolen. Her er et interaktivt stillbilde fra filmen:

Ved bruk av et 360°-kamera kan du selv velge hva du vil se. Hvordan reagerer Ingrid på alle blikkene hun får? Hvem er det som kaster matpakken ned trappen? Hvem er det som skremmer henne og hva skjer etter at hun har passert dem? 

Prosessen

Prosjektleder Beate Rendahl ønsket at jeg skulle lede hele prosessen fra start til slutt. Det innebærer å være fotograf, teknisk- og praktisk koordinator. Jeg takket ja med skrekkblandet fryd, siden jeg aldri har laget 360°-video før.

Jeg kontaktet Marius Arnesen i NRKbeta som viste meg et nytt 360°-kamera som trådløst viste film til mobilen både under og etter opptak. Han fortalte om hvilke erfaringer NRKbeta hadde med 360°-video (blant annet en film de lagde under P3 Gull med Karpe Diem).

Men hvilket 360°-kamera ville fungere best for oss? Det finnes nemlig et enormt utvalg av 360°-kameraer:

Flere 360° kamera ble vurdert, men valget falt til slutt på Samsung sitt 360-kamera, fordi:

• Det var lett å se opptaket via trådløs tilkobling til mobilen under og etter innspilling.
• Kameraet var lett nok i vekt til at skuespilleren kunne holde det.
• Vi hadde kort opptakstid (1 1/2 time) med mange barn og kameraet var enkelt i bruk.
• Det kun har to linser og lager derfor bare én søm i opptaket, noe som er kjekt når kameraet er i mye bevegelse og gjør det enklere i etterarbeid.
• Det er minimal parallakse fordi sensorene er montert nærme hverandre.
• Kvaliteten ville fungere til vårt formål (men jeg kunne helt klart ønsket bedre oppløsning på opptaket).
• Det var økonomisk gjennomførbart.

Forberedelsene til opptak

Samsungs kamera er ikke beregnet for profesjonell bruk, derfor var det ekstra viktig å teste ut innstillinger i kameraet for å få et best mulig opptak. Til slutt valgte jeg disse innstillingene:

• ISO limit på 400 for å få minst mulig støy i opptaket, det var nok lys til at dette fungerte for kamera.
• Sharpness av, for jeg ville heller legge på dette i etterarbeidet, pluss gjør trackingen enklere for VFX.
• Lukkerhastigheten justerer seg dessverre automatisk etter lysforholdene. Skulle gjerne lås den til 1/50 for bedre kontroll og bevegelsesskarpheten.
• Oppløsningen satte jeg til 3840×1920 4K 29,97 fps H265 (HEVC er en ny codec) som er det høyeste kamera kan kjøre. Skulle gjerne hatt 60 fps i 4K på dette kameraet.

Jeg har i flere av mine tester opplevd at kameraet slår seg av når det blir for varmt, spesielt hvis du er inne. Dette har flere brukere hatt problemer med. Utfordringen er at jo høyere oppløsning det er, jo varmere blir kameraet.

Lærdom fra tekniske tester

• Auto-eksponering traff ganske bra, så den lot jeg stå på 0 (det er ikke mulig å låse eksponeringen, men du kan velge om du vil over- eller undereksponere). Hvis eksponeringen blir for høy eller lav vil dette gå utover bildekvaliteten. 
• Auto white balance: siden vi filmet ute og inne i samme opptak valgte jeg auto hvitbalanse for å få mest mulig korrekte farger på opptaket. Eventuelle endringer kan gjøres i fargekorrigering senere.
• HDR satte jeg på ON. Når denne var aktivert fikk jeg litt mer data/lys/info i mørke og lyse partier.

Testopptakene

Jeg hadde problemer med refleksjon i vinduene, fordi seeren ville se kameraet i glassvinduene og døra. Dette ville ødelegge litt av opplevelsen.

Derfor brukte jeg en malingsrulle med Kulturmelk på vinduene, for at de skulle få en matt flate og ta vekk refleksene. Trikset plukket jeg opp i Aftenposten.

Her ser du resultatet: alle vindusflater der kamera var synlig «malte» jeg med Kulturmelk.

Samtidig som at vi laget en 360°-video skulle vi ha opptak til TV også. Samsung-kameraet ville fungere for dårlig til dette. Skulle vi velge et TV-utsnitt fra 360°-videoen, ville oppløsningen blitt alt for lav.

Derfor plassere jeg et GoPro-kamera under, slik at vi kunne få gjort begge opptakene samtidig. Da ville vi spare tid og alt ville bli likt i begge filmene.

Med GoPro-kameraet plassert like under 360°-kameraet, forsvant det helt fra 360°-opptaket på grunn av parallakse-effekten 😉

Kameraene må sitte godt sammen, men vi hadde ikke noen ferdig rigg for dette. Takket være noen deler fra lageret, og Robert Knudsen på NRKs verksted løste det seg. Han modifisere en enkel ramme fra GoPro, slik at Samsung-kameraet kunne monteres på toppen.

Opptaksdagen

Under kan du se bildene fra en gjennomkjøring hvor skuespilleren øver på å holde kamera-riggen. Samsungs 360°-kamera øverst og GoPro kameraet under.

Nederst til høyre ser vi at 360°-kameraet sender bildet direkte til en mobil. Til venstre ser vi bildet fra GoPro-kameraet som vises direkte på den andre telefonen.

Opptaket kunne startes og stoppes med fjernstyring via mobilene.

For å få bort selve stangen skuespilleren holdt i, justerte jeg «selfie-sticken» til en slik høyde at den ble borte. Da brukte jeg søm-problematikken i 360°-video til min fordel, fordi det som kommer for nærme skjøtene i bildet forsvinner helt. Så på de ferdige opptakene fra Samsung sitt kamera, ser det ser ut som kameraet svever i luften. Vi la en ensfarget jakke over hånden hennes for at eventuelle feil ikke skulle være så lette å se.

Regi

Vi erfarte at selve opptaket måtte planlegges mer som en teaterscene. Der er alle skuespillerene synlige til enhver tid og hverken regissør eller fotograf kan være tilstede.

Her gir regissør Tine Grønneberg instruksjoner til skuespillerene før opptakene. Det var viktig at alle skuespillerene visste hva de skulle gjøre hele tiden. Derfor øvde vi først i mindre grupper, før alle til slutt øvet sammen rett før vi gikk i opptak.

Alle fra NRKs produksjonsteam, regi, foto, lyd, kostyme, innspillingsleder, prosjektleder og assistenter, måtte gjemme seg under trappen da opptaket foregikk. Via mobiltelefonen kunne vi følge med på hvordan opptaket gikk.

Vi sleit litt med at flere av telefonene mistet forbindelsen under opptak, selv om dette fungerte da jeg gjorde tester. Kanskje det var fordi mange mobiltelefoner i området når vi gjorde opptakene? Heldigvis var det enkelt å kunne spille av og se opptaket på telefonen i etterkant.

For at regi skulle kunne se alt som skjer i rommet under opptak, uten å være i bildet, satte vi opp et ekstra kamera for å overvåke det som skjedde.

Her er bildet fra «overvåkningen» etter vi satte opp kameraet.

Slik satt regissørTine Grønneberg under opptak og fulgte med på telefonen, for å se om alt gikk riktig for seg.

Lydopptak

Vidar Hakon Gislason plasserte ut flere skjulte mikrofoner på skuespillerene. Her ser du han ta opp ekstra lyder etter opptak som skulle brukes til 360°-lydmiksen.

Tekniske utfordringer

Under noen av opptakene ble filene korrupte. Jeg er usikkert hvorfor, men det skjedde aldri på de forskjellige test-opptakene jeg gjorde. Det kan ha vært at MicroSD-kortene ikke var raske nok (jeg brukte Kingston 32 GB MicroSD HC mark 1 10MB/s)

Kunne brukt et mark 3-kort, som er enda raskere med sine 30MB/s. Da er det mindre sjanse for at det skjer noe feil.

Det kan også være at microSD kort var formatert på feil måte. Da jeg formaterte kortene i kameraet ville de ikke virke, men da jeg formaterte dem i ExFat-format på en PC og mac fungerte de på testopptakene. Opptakene som ble korrupte hadde ikke større filstørrelse enn de andre opptakene som fungerte. 

Ikke spesielt gøy når en har dårlig tid…

Postproduksjon

Etter opptakene trengte vi å sy sammen (stitche) opptakene på en pen måte. I produksjonen av en 360°-video er stitching av videofilene, en kritisk prosess.

Samsung-kameraet har to linser, og det er derfor to ulike videofiler som skal sys sammen til én. I videoen skal man helst ikke skal legge merke til at de to videofilene har en søm mellom seg. Denne operasjonen ble utført av Kjetil Palmquist.

Samsung sitt kamera lager en sirkulær video fra hvert kamera på samme videofil. Den første operasjonen var å splitte denne i to ulike videofiler.

Deretter ble ulike sekvenser i videoen prosessert med PTGUI, som er et spesialprogram for å sy sammen flere bildefiler.

En mal herfra ble så benyttet av programmet Videostich der harmonisering av farger og selve sammen syingen ble utført. Sluttresultatet ble 2 500 «sammensydde» bildefiler i formatet JPG.

Her kan du se bildet rett fra Samsungs egen «Gear 360 Action Director» som automatisk kan sy sammen opptakene på mobilen. Da blir ikke alle skjøter like pene.

Spesialeffekter (VFX)

Filmen slutter med at jentene møtes i toppen av trappa for å ta en selfie. For å skjule kamera-riggen måtte vi trikse litt. UUnder opptak er det et grønt skjermbilde på mobilen som en slags mini-grønnskjerm.

Lars Peder Sørli tok opptaket inn i grafikk-programmet Nuke, for å manipulere selfien inn i mobiltelefonen. I Nuke lagde han sitt eget oppsett for å få ting til å stemme med bevegelsen i 360°-videoen, noe vi aldri har gjort tidligere. Siden Samsung ikke har publisert noe informasjon eller svarte på mine mail med om hvor stor chipen i kameraet er, eller hvilken eksakt brennvidde det har, var det vanskelig å få dette helt nøyaktig.

Lars Peder laget i tillegg plakatene før og etter filmen. Han prøvde å stabilisere opptaket for å få omgivelsene til å bli roligere, men dette rakk vi ikke å bli ferdige med før publisering av videoen.




Lydetterarbeid

Det har ikke blitt laget 360°-lyd som følger bildet før i NRK, men jeg traff lyd-designer Richard Sveen som hadde veldig lyst til å forske på 360°-lyd.

Det var lenge usikkert om vi skulle klare å få dette klart til deadline 14.september. Etter å ha lest og chattet på flere fora, fant Richard til slutt ut hvilke programmer som fungerte til vårt bruk og fikk kontakt med de som utviklet programvaren han til endte opp med å bruke. Det var uvant/utfordring å forstå hvordan lyden i rommet flytter på seg, samtidig som kameraet er i bevegelse.

Til slutt så endte Richard opp med denne løsningen: han brukte Pro Tools med FB 360 Toolkit (Two Big Ears og Control Plug-in i Pro Tools).

Han brukte deres videoavspiller for å se en panorerbar 360-fil. Deretter spilte Richard ut en 6+2 kanals Binaural «3D-audio»-miks som ble encodet med Two Big Ears Encoder-program til en 4 kanals Binaural miks, som er komatibel med YouTube sin protokoll (ambiX). Denne 4 kanals-miksen måtte gjennom en mastering for å optimalisere nivået.

Fargekorrigering

Anders Skjærseth hadde heller ikke jobbet med 360°-video før. Han gjorde fargekorrigering i Davinci Resolve for å få farger på plass og fjerne mørke partier fra video-stitchingen.

Trodde dette skulle bli enkelt, men her hadde vi litt utfordringer med at det var vanskelig å se om det oppsto feil i farger, spesielt i topp og bunn av opptaket.




Pluss om selve opptaket forandret størrelse. Det var nesten umulig å se at bildet hadde flyttet litt på seg, men når vi så det i VR-spilleren ble feilen tydelig.

Vi burde hatt en 360°-videoavspiller i fargekorigeringsrommet, så vi raskere kunne oppdaget disse feilene.

Eksport

Det var viktig for meg å beholde den orginale oppløsningen og frameraten gjennom hele prosessen, for å oppnå best mulig kvalitet på sluttresultatet.

Innstillinger for 360°-video eksport til YouTube. Hvis du skal publisere på Facebook kan du bruke H265.

Publisering

Når video- og lydfilen var ferdig, brukte Merete Victor Ffmpeg til å sette 360°-lydfilen inn i videofilen, til en ny sammensatt fil. YouTube-metadata tool lastet dette opp til YouTube på riktig måte og YouTube-gjengen fra NRK Super publiserte filmen.

Jeg vil benytte muligheten til å takke alle som har bidratt, slik at vi fikk dette til! Det har vært veldig gøy og lærerikt.

Forstå mer om 360°-video

Her er noen interessante lenker jeg så på i forbindelse med produksjonen av denne videoen.

• Gode tips fra YouTube om hva man ikke bør gjøre

• En av BBCs store VR-produksjoner

• Skrekkfilmen HELP som bruker spesialeffekter i VR