En helt enkel feil ødela gullrekka og Stjernekamp-finalen for et fåtall av våre Chromecast-brukere. Men hvorfor var det så vanskelig å finne feilen, og måtte det virkelig ta fire dager å fikse den?
Forrige torsdag begynte det å tikke inn noen feilmeldinger til NRK via ulike kanaler.
Flere enn meg som ikke får casta lenger? @NRKbeta #NRK #Chromecast pic.twitter.com/h51U45FJzw
— Chris Klemmetvold (@Klemmetvold) 28. oktober 2017
NRK TV fungerte ikke for en fåtall av Chromecast-brukerne, men gjentatte forsøk hos oss på å gjenskape feilen avslørte ikke hvor problemet lå.
Før helgen ble flere enheter testet, men alle fungerte som de skulle. Dessverre.
Tobias fikk derfor oppdraget mandag morgen om å grave dypere for å finne feilen.
Krise for barna
Mandag morgen hadde Publikumservice fått inn feilmeldinger fra flere berørte brukere.
Nå dukket det opp en viktig informasjonsbit: Kun brukere som var med i betaprogrammet til Chromecast var berørt.
Disse brukerne kjørte versjon 1.28 av Chromecast, som igjen bruker Chrome 62.
Omtrent ti prosent av publikum har Chromecast, ifølge NRKs egen TV-utstyrsundersøkelse fra våren 2017. Og kun et fåtall av disse igjen er betatestere.
Kodefeilen i den virtuelle høystakken ble plutselig langt enklere å finne.
Det var noe med versjon 62 som stoppet hele enheten, men hvorfor?
Hjelp, Chromecasten min er på høstferie
Selv om vi nå visste at det skyldtes hvilken versjon man kjørte Chromecast, var problemet langt fra løst. Det var nemlig lettere sagt enn gjort for betabrukerne å rulle tilbake til forrige Chromecast-versjon.
«Tyvärr», skriver Tobias i en intern epost. Han er svensk, og derfor vanskeligere å forstå i tekst enn tale, men beskjeden hans var likevel krystallklar: Selv om brukerne melder seg ut som betabruker på Chromecast og deretter tilbakestiller enheten til fabrikkinnstillingene gjenoppstår feilen.
Publikumservice måtte derfor fortelle at vi jobbet med problemet, og at det ennå ikke var løst.
Ved å sammenlikne den gamle og nye versjonen av Chromecast fant Tobias ut at det sannsynligvis handlet om bildefremvisningen.
For ikke lenge siden hadde en annen arbeidsgruppe et lignende problem med denne Chrome-versjonen.
En enkel feil
Litt leting videre viste at feilen skyldtes et problem med nettverksprotokollen vi bruker for å hente stillbilder, men vi vet ennå ikke akkurat hva som går galt.
Når Chromecast spør etter et stillbilde på våre servere vises feilmeldingen «Feilmelding: Playback» på svart bakgrunn.
Denne lille detaljen som ikke har noe med selve video-avspillingen stopper hele enheten.
Den midlertidige løsningen er å bytte nettverksprotokollen for bildetjenesten fra HTTP/2 til HTTP 1.1.
Dermed får alle brukere av Chromecast litt høyere lastetider til en langsiktig løsning er funnet, men de skal ellers ikke oppleve noe problemer.
Hvorfor tok det så lang tid?
Feilen ble først oppdaget torsdag og løst mandag klokken 13. Vi spør derfor Tobias hva han sitter igjen med etter denne hendelsen:
Det er for meg helt «vansinnigt» at enheten skal slutte å fungere bare fordi den ikke klarer å hente et bilde.Tobias
Ifølge Tobias spilte rekkefølgen man feilsøkte i og hvor mange som er berørt en viktig rolle i hvorfor det tok så lang tid.
Dess flere berørte, dess enklere er det ofte å finne feil. Man håper også at feilen skyldes problemer i egen kode. Den kjenner man best og vant til å feilsøke.
Når det kommer til endringer i nettverksprotokollen på enkeltplattformer for kun betatestere er man langt ned på listen over ting man sannsynligvis tror er feilkilden. Det gjør at det kan ta lang tid å finne selv slike enkle feil, spesielt når de er så spesifikke.Tobias
Et annet moment er at nettlesere i dag er så feiltolerante at bildefremvisning sjelden skaper kritiske feil. For en vanlig Chrome-nettleser ville denne feilen ikke vært et problem som hindret avspilling av video.
Men for en gruppe betabrukere av Chromecast ble det altså full stopp.
Hvis du selv skulle oppleve en feil på noen av NRKs tjenester anbefaler vi å ta kontakt på epostadressen info@nrk.no med informasjon om feilen din og hvordan systemet ditt er satt opp. Detaljer som hvilke versjoner du kjører og eventuelle feilkoder er da alltid til hjelp.