Kunstig forvaltning. En empirisk test af store sprogmodellers kapacitet til at foretage forvaltningsafgørelser

Resumé

Kan ChatGPT 4 producere afgørelser, der er tilstrækkelige som forvaltningsafgørelser hos Jobcenter Vejen? Med udgangspunkt i et katalog af konkrete afgørelser fra Jobcenter Vejen og et katalog af det bagvedliggende sagsmateriale tester vi ved hjælp af et dommerpanel, der bedømmer afgørelserne blindt, hvorvidt ChatGPT 4 kan producere tilstrækkelige afgørelser på baggrund af det foreliggende sagsmateriale. Vi finder overordnet, at der ikke er en statistisk signifikant forskel i dommerpanelets bedømmelse af henholdsvis afgørelser produceret af ChatGPT 4 og afgørelser produceret af Jobcenter Vejen. Vi konkluderer derfor, at ChatGPT 4 kan producere tilstrækkelige afgørelser. Vi bemærker dog, at denne konklusion er begrænset til vores datasæt, og at yderligere undersøgelser er påkrævet for at kunne drage en mere entydig konklusion. På baggrund af denne overordnede konklusion diskuterer vi kort forskellige implikationer af ChatGPT 4’s kapacitet til at producere tilstrækkelige forvaltningsafgørelser, herunder etiske og juridiske implikationer