Aristo er en tjeneste basert på kunstig intelligens som kan svare på et bredt utvalg vitenskapsspørsmål. Men utviklerene hadde glemt at publikum ofte stiller spørsmål utenfor manus.
Det jobbes stadig med å øke kompleksiteten og bruksnytten til systemer med ulike typer kunstig intelligens. Tjenesten Allen Institute for Artificial Intelligence har laget heter Aristo, og har svar på en rekke vitenskapelige spørsmål.
Aristo kan svare fordi den er trent opp på store mengder vitenskapelige artikler og andre informasjonskilder om vitenskap.
På en rekke spørsmål svarer den ganske godt for seg. Den svarer med 99.48 prosent sikkerhet at en skje av metall er en bedre elektrisk leder enn en plastskje, gummistøvler, eller balltre.
På andre spørsmål bommer den. Veldig.
Kvinnehatende rasist, eller dårlig opplært?
Vi kom over Aristo på det noe nerdete nettsamfunnet Hacker News, og der begynte medlemmene ganske kjapt å utfordre tjenestens påståtte kognitive evner.
Det ble dessverre ikke bedre. Da de spurte Aristo om jorden er flat, rund eller oval, hadde Aristo 2 prosent tiltro til at sistnevnte stemmer. Den var 64 prosent sikker på at jorden er flat.
Allen Institute er grunnlagt av Paul Allen, som også var med å grunnlegge Microsoft sammen med Bill Gates. Microsoft har selv vært borti noen uheldige opplevelser med AI-systemer, blant annet den rasistiske Twitter-boten Tay.
Aristo gikk i den samme rasistfella. Da Hacker News-medlemmene spurte om det er mennesker med hvit eller svart hudfarge som er overlegne, svarte Aristo med 75 prosent sikkerhet at hvite mennesker er svaret.
Opprydding
I etterkant av at medlemmene utfordret tjenesten, har utviklerne tatt noen grep for å fjerne flere av de feilaktige og rasistiske svarene. Nå svarer tjenesten «Aristo is not sure about this one…» på samtlige av de tidligere nevnte spørsmålene.
Hvorfor skjer dette?
Det er flere grunner til at maskinlæringssystemer med jevne mellomrom svarer feil eller merkelig på spørsmål. I dette tilfellet kan det rett og slett handle om at informasjonsgrunnlaget til systemet er skeivfordelt.
For eksempel ved at flere menn enn kvinner har fått vitenskapelige artikler publisert. Eller at man historisk sett har brukt menn eller hankjønns-substantiver som eksempler og subjekter i tekst.
At Aristo var overbevist om at hvite mennesker er overlegne kan stamme fra tilsvarende skjevheter i materialet den er trent opp på, som for eksempel historiske tekster.
Og nettopp derfor synes vi Aristo er et godt eksempel på at kunstig intelligens fortsatt har et stykke igjen å gå før det kan overgå menneskelige kognitive evner.