Når algoritmer erstatter statens jurister
Data vil forandre måten stat og kommune drives på i fremtiden. Vi har sett på hva det betyr for rettssikkerheten. Foto: Istockphoto.
I fremtiden vil forvaltningens jurister jobbe mindre med saksbehandling og mer med systemutvikling. Men taper vi rettsikkerhet når digitale algoritmer gjør sitt inntog? Juridika Innsikt har spurt flere eksperter.
Over 470.000 trygdemottagere har fått feilaktige krav om tilbakebetaling fra staten. Nå må staten betale tilbake beløp i milliardklassen.
Nei, dette er ikke den norske NAV-skandalen. Det er Australias langt større «søsterskandale» kjent som «Robotgjeld-saken». Og årsaken? Feil i algoritmene. Den australske robotskandalen viser hvor mye endring som kan vente norske forvaltningsjurister i fremtiden. Kan vi risikere nye, store rettsskandaler fordi teknologien svikter? Juridika Innsikt tar i 2020 for seg spørsmålet om rettssikkerhet og digitalisering gjennom en serie journalistiske artikler. I denne artikkelen ser vi på digitaliseringens konsekvenser for rettssikkerhet i forvaltningen. I forrige artikkel så vi på advokatbransjen.
Nei, dette er ikke den norske NAV-skandalen. Det er Australias langt større «søsterskandale» kjent som «Robotgjeld-saken».
En hype
– Legal tech har blitt en hype, noe som alle nå snakker om, men rettsteknologi og algoritmer har blitt brukt i stor utstrekning i offentlig sektor siden 1970-tallet, sier Dag Wiese Schartum, professor ved institutt for privatrett og leder for senter for rettsinformatikk (SERI) ved Det juridiske fakultet i Oslo.
Skatteetaten, Husbanken og Lånekassen er eksempler på etater som suksessfullt har digitalisert og automatisert sin virksomhet. UDIs «robot» Ada har automatisert innvilgelsesvedtak ved familiegjenforening, selv om avslag fortsatt fattes av mennesker. Schartum poengterer at samfunnet nå er bygget på og avhengig av den automatiseringen vi har i dag. – Samfunnet ville ikke gått rundt uten automatisering.
Forvaltningen digitalisert i femti år
Schartum peker på at vi allerede har massesaksbehandling og massevedtak – og vi har hatt det lenge. Dette betyr at maskiner fatter vedtak som avgjør vår rettsstilling på flere områder, som bostøtte fra Husbanken og lån og stipend fra Lånekassen. Hos Skatteetaten er flere prosesser fullautomatisert, og saksbehandlingen av pensjonsytelser er i stor grad automatisert. Kommunikasjonen er også digitalisert og forenklet. Skal du benytte deg av offentlige tjenester kan det i større og større grad gjøres digitalt. Hos NAV gjelder dette for eksempel søknader og vedtak, som leveres og mottas via nettportalen «Ditt NAV». Det betyr at forvaltningen allerede har gjennomgått store forandringer de siste 50 år og allerede er langt på vei mot å bli en digital forvaltning.
Legal tech har blitt en hype, noe som alle nå snakker om, men rettsteknologi og algoritmer har blitt brukt i stor utstrekning i offentlig sektor siden 1970-tallet.
Dag Wiese Schartum, jus-professor og leder for senter for rettsinformatikk (SERI), det juridiske fakultet i Oslo
Maskinlæring som en sort boks
Foranderlige algoritmer, det vil si maskinlæring, har til nå ikke vært en del av digitaliseringsprosessen i forvaltningen. Men det kan endre seg. De som fester sin lit til økt bruk av kunstig intelligens, får imidlertid en liten kalddusj av Schartum.
– Det ligger et stort potensiale i maskinlæring generelt, men potensialet for maskinlæring er ikke like stort for enkeltvedtak i offentlig forvaltning, sier Schartum. Der kan maskinlæring først og fremst være støttefunksjon.
Det er flere grunner til det. Maskinlæring er ikke nødvendig for de vedtaksprosessene man har automatisert til nå. Eksisterende systemer er bygget opp rundt vilkår som følger en «hvis så, så dette»-logikk slik vi finner i mye lovgivning. Da kan man ikke bruke maskinlæring. Uansett vil det by på rettssikkerhetsmessige utfordringer.
– Bruk av maskinlæring kan bli en sort boks, en ukjent størrelse, og dermed skape utfordringer for grunnleggende prinsipper som forsvarlig saksbehandling, forutberegnelighet og innsyn, utdyper Runar Hilleren Lie, stipendiat ved det juridiske fakultet i Oslo og underviser i legal tech.
Potensialet for maskinlæring er ikke like stort for enkeltvedtak i offentlig forvaltning.
Dag Wiese Schartum, jus-professor og leder for senter for rettsinformatikk (SERI), det juridiske fakultet i Oslo
Hilleren Lie viser til et forsøk hvor man trente opp et program til å se forskjell på hund og katt. Treffsikkerheten var veldig høy, men etter hvert viste det seg at algoritmen baserte seg på at størstedelen av de avbildede kattene var innendørs mens hundene var ute. Dersom bildet viste en katt utendørs ble det klassifisert som en hund. Altså bør ikke datamaskinen avgjøre selv, men kun være, som Schartum sier, en støttefunksjon for et menneske som tar etterprøvbare avgjørelser. Eksempler er rettskildesøk, rådgivningsvirksomhet, analyse av dommeratferd og kontroll med forvaltningen og myndighetsmisbruk.
Noen ganger kan maskinlæring også brukes for å treffe vedtak, for eksempel i klagesaker som involverer skjønnsutøvelse. Da kan programmet være trent til å gå gjennom alle tidligere, lignende saker og gi løsningsforslag for den aktuelle saken på grunnlag av tidligere praksis. Schartum understreker at kravet til forsvarlig saksbehandling i et slikt scenario vil kreve en individuell etterbehandling for at rettssikkerheten skal ivaretas.
Skjønnsutøvelse og regjeringens digitaliseringspolitikk
Det er mye spenning knyttet til spørsmål om og i så fall hvordan maskinlæringsteknologi kan erstatte selve skjønnsutøvelsen. Regjeringen har i sin digitaliseringsstrategi i 2019 tatt sikte på å «redusere unødig bruk av skjønn i lovgivningen» nettopp for å muliggjøre økt digitalisering og automatisering. Ekspertene Juridika Innsikt har intervjuet, er enige i at maskinen ikke kan erstatte juristen i kjerneområdet av deres oppgaver, som rettsanvendelse og rettslige vurderinger. Saker er gjerne individuelle, ofte komplekse og med utstrakt bruk av skjønn. Det er vanskeligere å erstatte dette med algoritmer uten at det går på rettssikkerheten løs.
– Hvis man erstatter skjønn med algoritmer, er det er ikke lenger' skjønn’, poengterer Schartum.
Med det mener han at skjønnet da er erstattet av matematiske formler og beregninger. Da får du et regelsett for vurderingen. Et skjønn, som er en konkret vurdering av en individuell sak, kan ikke erstattes fullgodt av matematikk og programmering.
Å erstatte skjønn, tangerer derfor ifølge Schartum en rekke problemstillinger.
Hvis skjønnet i dag uansett blir erstattet av faste regler for å spare tid, er det likevel liten realitet i skjønnet. Da mener Schartum at det kan være uproblematisk om maskinlæring trer i stedet for skjønnsutøvelse. .
– I praksis standardiseres ofte skjønn fordi det er mer effektivt. Da kan det like gjerne erstattes av et dataprogram sier han.
Bruk av maskinlæring kan (...) skape utfordringer for grunnleggende prinsipper som forsvarlig saksbehandling, forutberegnelighet og innsyn.
Runar Hilleren Lie, stipendiat ved det juridiske fakultet i Oslo
Ekkokammer
Bruk av selvlærende algoritmer bekymrer Schartum. Det kan fjerne noe av dynamikken i rettsutviklingen. Ved maskinlæring lærer algoritmen av historiske data, altså det som har vært situasjonen før. Schartum viser til at man mister muligheten for en rettsutvikling basert på for eksempel konkrete vurderinger og endringer i samfunnet.
– I Norge har vi i dag en utstrakt bruk av rettslige standarder, nettopp for å åpne for en dynamisk rettsutvikling.
Schartum trekker frem diskrimineringslovgivningen som eksempel.
– Dersom maskiner skulle fatte beslutninger basert på historiske data ville ikke avgjørelsene stå i forhold til dagens syn på kvinner, etniske minoriteter og religionsfrihet. Maskinlæring kunne isåfall bremset og motvirket den utviklingen vi har sett så langt. Det er grunnleggende rettssikkerhetsmessige utfordringer med maskinlæring i forvaltningen. Vi må unngå å skape ekkokammer, sier han.
Forvaltningsjuristens jobb forandres radikalt
Statens målsetting før koronapandemien skylte over oss var klar: mer digitalisering, mer automatisering, mer standardisert skjønn og mer maskinlæring som effektiviserer arbeidet. Det kan bety mindre behov for forvaltningsjurister. I hvert fall slik vi kjenner rollen i dag.
Selv om mye rutinearbeid og beslutningsstøtte kan automatiseres, tror ikke Schartum det betyr at juristene utspiller sin rolle i offentlig forvaltning.
– Jeg tror det blir stort behov for jurister i det offentlige i fremtiden, men oppgavene vil i mye større grad gjelde systemutvikling, systemforvaltning og koordinering av beslutningsprosesser.
Schartum tror at flere jurister vil jobbe med selve systemutviklingen i forvaltningen, i tillegg til å jobbe med å utforme lovene på en måte som ivaretar rettssikkerheten når lovene skal bli algoritmevennlige (automatiseringsvennlig lovgivning).
– Vi vil se en utvikling fra å jobbe på saksbehandlernivå til systemnivå. Hvis lovgiver begynner å lage lover som er automatiseringsvennlige vil arbeidet med systemutviklingen bli lettere. Men for å få til det må noe innsats flyttes til lovgiverstadiet så lovene blir formulert slik at de lett kan uttrykkes som programkode. Det er veldig viktig at jurister er involvert på begge nivåer, slik at grunnleggende juridiske prinsipper og forståelser ivaretas.
Den norske NAV-skandalen blir «småplukk» sammenliknet med Australias mye større «robotgjeld»-skandale. Nær en halv million australiere fikk feilaktig krav om å tilbakebetale trygd - takket være en feil i de digitale algoritmene i forvaltningen. Her er tidligere NAV-sjef Joakim Lystad på høring om NAV-saken på Stortinget. Foto: Stortinget
Systemrettssikkerhet
På noen måter kan automatisering gjøre det lettere å leve opp til rettssikkerhetsidealet. Men på spørsmål om rettssikkerheten er tilstrekkelig ivaretatt i offentlig digital forvaltning er Schartum tydelig:
– Overhodet ikke. Rettssikkerheten er ikke ivaretatt ved automatiseringen av offentlig forvaltning.
Han mener det i automatisering ikke bare skal være, slik det er i dag, krav til at alle mennesker følger reglene i saksbehandlingen. Det må også være et krav til systemene. Schartum kaller det systemrettssikkerhet.
Rettssikkerheten er ikke ivaretatt ved automatiseringen av offentlig forvaltning.
– Dag Wiese Schartum, jus-professor og leder for senter for rettsinformatikk (SERI) ved det juridiske fakultet i Oslo
Dette består av flere komponenter. For det første må loven i seg selv skrives slik at maskinene kan lese dem. Det betyr at de kan uttrykkes med programmeringsspråk.
– Ofte får programmerere for stor innflytelse på overgangen fra lovtekst til kode. For å få til det må loven brytes ned og endres til et språk algoritmene forstår. Da må det tas masse valg, med påfølgende konsekvenser. De tas ofte av folk som ikke er folkevalgte og i beslutningsprosesser som ikke er kjent for offentligheten. Da ligger det mye beslutningsmakt hos utviklerne, uten at utviklerne nødvendigvis er klar over dette. Dette er et rettssikkerhetsproblem. Jurister må være aktivt med! I tillegg er det et demokratisk problem dersom «oversettelsen» gjør at vi ender opp med andre regler enn lovgiver tenkte seg.
I tillegg mener Schartum at rettssikkerhetsgarantier, som personvern og saksbehandlingsgarantier, bør legges direkte inn i algoritmene.
– Får du en slik oversettelse inn i systemet blir det riktig med en gang, mener han.
I det hele tatt ligger det et enormt potensiale for rettssikkerhet – dersom alt gjøres riktig i systemutviklingen, konkluderer Schartum. Men også et potensiale for enorm rettsusikkerhet, dersom det gjøres feil.
I automatisering skal det ikke bare være krav til at alle mennesker følger reglene i saksbehandlingen. Det må også være et krav til systemene. Schartum kaller det systemrettssikkerhet.
Vi må skifte til vinterdekk
Da Juridika Innsikt publiserte første artikkel i serien om legal tech og rettssikkerhet plinget det i innboksen til redaksjonen. «Fin artikkel, men husk etikken!» formante professor Kristin Bergtora Sandvik, som er ansvarlig for faget Robot Regulation på det juridiske faktultet i Oslo.
Sandvik mener det er viktig at systemene som tas i bruk utvikles i Norge, eller i hvert fall tilpasses norske forhold og ikke innføres uten endringer. Her får hun støtte av Hilleren Lie;
– Vi må ikke nødvendigvis finne opp hjulet på nytt, men vi må skifte til vinterdekk, forklarer Hilleren Lie.
– Det er ikke gitt at systemer som utvikles i USA passer for norske forhold. Vi har et annet type samfunn, en annen type kultur og er mye mer tillitsbaserte. I tillegg har vi en annen rettstradisjon, utdyper Sandvik.
– Vi må ikke nødvendigvis finne opp hjulet på nytt, men vi må skifte til vinterdekk.
Runar Hilleren Lie, stipendiat ved det juridiske fakultet i Oslo
Sandvik forklarer at det ligger mye makt i å eie strukturene til systemene, slik at Norge selv bør ha eierskapet. I tillegg blir det vanskelig å få innsyn i algoritmene når systemene er fra utlandet og reguleres av andre regelsett.
Excel-ark og halve koder
Innsyn i algoritmene er nødvendig for å vite at systemene fungerer etter intensjonen og er rettferdige. Hannah Fry, en kjent matematiker, gir et eksempel på hvorfor dette er viktig i boken Hello World – How to be Human in the Age of the Machine.
I USA ble et program benyttet for å fordele bostøtte. Etter hvert reagerte både stønadsmottagere og advokater på det som fremstod som helt vilkårlige avgjørelser. Da programmet ble gått etter i sømmene viste det seg å være et rudimentært system som bestod av excel-ark og ufullstendige koder.
– Det er på generelt grunnlag færre betenkeligheter knyttet til bruk av faste algoritmer, forklarer Lie. Mulighetene for innsyn i både selve algoritmen og beslutningsgrunnlaget er enklere for faste algoritmer. Selvlærende programmer får svære, komplekse algoritmer, hvor bare utskriften vil fylle et helt rom med papirer. Dessuten vet vi ikke hvordan algoritmen kommer frem til resultatet, bare om det er riktig eller galt.
Arne Krokan, som er professor og teknologiekspert, mener derfor vi må opprette et algoritmetilsyn.
– Utfordringen med den økende bruken av algoritmer for å løse oppgaver i fagsystemer, er at leverandørene ikke ønsker at alle og enhver skal kunne få innsyn i algoritmer av forretningsmessige grunner. Derfor får vi ikke vite nøyaktig hvilke data som tillegges hvilken vekt når beslutninger eller anbefalinger om beslutninger fattes.
For å sikre transparens og etisk forsvarlig behandling av data kan et algoritmetilsyn ha som oppgave å gå gjennom algoritmene og ved hjelp av en sjekkliste sikre at data ikke kommer på avveie ved at de for eksempel selges til tredjeparter, at de behandles i henhold til krav til både sikkerhet, personvern og etikk.
Ny forvaltningslov
En ny forvaltningslov er på trappene. Forvaltningslovutvalget leverte NOU 2019 : 5 – ny forvaltningslov i desember.
– Økende digitalisering er en villet prosess fra myndighetene. Derfor er det viktig huske på at rettigheter, rettssikkerhetsgarantier og korreksjon for å være biased (forutinntatt) gjennom menneskelig kontroll med systemene blir viktige ingredienser. Schartum mener NOU-en ikke legger godt nok til rette for alt dette i en fremtidig digital forvaltning.
Et algoritmetilsyn kan ha som oppgave å gå gjennom algoritmene.
– Arne Krokan, professor, NTNU
– Forvaltningslovutvalget foreslo ikke så mye vedrørende automatisert saksbehandling i forvaltningen. Beskrivelsen er helt grei, men utvalget går ikke videre og diskuterer behov for reguleringer. Hvorfor er det for eksempel ikke behov for nye rettsikkerhetsgarantier knyttet til ny teknologi og automatisering?
– Rettssikkerhet blir ikke ivaretatt godt nok med automatisering, fortsetter han. – En ny forvaltningslov må løse disse utfordringene. Myndighetene er nok klar over rettssikkerhetsutfordringene. Spørsmålet er om attraktive effektiviseringsgevinster gjør det fristende å underslå problematiske sider.
Teknorister
Med dette som bakteppe er det duket for en endring i juristrollen. Fremover blir det ikke bare et spørsmål om selve jussen er overholdt eller om det foreligger brudd på menneskerettighetene, men om systemene bryter menneskerettigheter. Om de er rettferdige. Om det foreligger feil. Om de slår skjevt ut. Hvem som har ansvaret. I fremtiden kan de store rettssikkerhetsspørsmålene ligge her.
– Det blir viktig med en større tverrfaglighet.
Det sier direktør Adele Matheson Mestad i Norges Institusjon for Menneskerettigheter.
– Teknologene må være med i utviklingen av reglene og juristene må inn i den tekniske utviklingen. Det er nødvendig med et tverrfaglig samarbeid for at regler og systemer skal bli operasjonelle.
Et mantra hos ekspertene er at juristene må få mer teknologikompetanse. Malcolm Langford, som er jussprofessor og leder for CELL (Centre on Experiential Legal Learning) ved det juridiske fakultet i Oslo, forteller at studentene per nå ikke er rustet til å møte morgendagens arbeidshverdag.
– Men vi jobber med å utvikle en digital kompetansestige, slik at dette blir en integrert del av studiet, forklarer han.
Tørre å gjøre feil
Tilbake i Australia med deres «robotskandale» venter fortsatt mange på pengene de betalte til staten i feilaktige gjeldskrav. Saken kan være et speil på det som kommer. Robo-debt var et program som regnet ut om inntekten til ytelsesmottagere oversteg en viss grense. Problemet var at den regnet ut inntekten på en måte som gjorde at resultatet ble unøyaktig og feilaktig høyt. Det skilte seg fra lovens vilkår om hvordan utregningen skulle foregå. Mange mennesker som allerede slet økonomisk, fikk dermed lagt stein til byrden.
For dem som rammes gjør det liten forskjell om et menneske eller en maskin gjør feilen.
Når retten og jussen svikter, har det store menneskelige omkostninger. Det viste jo også NAV-saken her i Norge. For dem som rammes gjør det liten forskjell om et menneske eller en maskin gjør feilen. For dem er det fortsatt «systemet». Med en maskin blir det likevel lettere, større, mer omfangsrikt og institusjonalisert å gjøre en feil. På den annen side er det oftere lettere å korrigere en kode enn en menneskelig og utbredt ukultur, når en feil oppdages.
Derfor ønsker ekspertene at lovarbeidet ikke overlates til teknologer alene, at man er samvittighetsfull i systemutviklingen og implementerer rettssikkerhetsgarantier. Samtidig er de opptatt av at vi ikke blir lammet av frykten for å gjøre feil.
Langford spår at vi vil få en rettsskandale som følge av teknisk svikt allerede i det kommende året.
– Jeg tror vi får vår første rettsteknologiskandale i offentlig eller privat sektor, forteller han. Han viser til Australia-skandalen.
Hilleren Lie avviser heller ikke den dystre advarselen.
– Feil skjer og vil skje. Det er viktig å ha en prinsipiell, men pragmatisk holdning. Vi må investere i systemer og løsninger, og vi må tørre å gjøre feil. Det er viktig at vi tar diskusjonene og vurderer spørsmålene i forkant, så vi vet hvordan vi skal håndtere det når nye spørsmål eller feil oppstår.
Du har nå lest tredje artikkel i serien "Rettsikkerhet når jussen digitaliseres" på Juridika Innsikt.
Serien er delfinansiert av Fritt Ord.
Neste artikkel: digitaliseringen av domstolene og dens effekt på rettssikkerheten.
Rettsikkerhet når jussen digitaliseres
Les hele serien her
Del 1. Utviklingen: Koronakrisen har gitt juridisk teknologi sjumilstøvler
Del 2. Advokatbransjen: Rettsikkerhet når advokatrobotene kommer
Les mer om forvaltningsrett
NOU: Dette er nytt i forslaget til ny forvaltningslov
Lynkurs: Slik vinner advokater mot forvaltningen