Artiklen præsenterer en kritik af PISA 2003 gennem en analyse af nogle af de offentliggjorte opgaver. Artiklen argumenterer for at PISA’s intentioner om at teste elevernes kompetence i virkelige situationer ikke er opfyldt. Mange opgaver er i stedet typiske test- eller skoleopgaver hvor eleverne f.eks. skal kende reglerne for “opgavekontrakten”, i stedet for at inddrage ægte hverdagsræsonnementer. Artiklen viser eksempler på manglende forbindelse mellem opgaven og den virkelighed den skal modellere, eksempler på manglende oplysninger i opgaven, knudret sprog, usammenlignelige oversættelser, uklarhed i kravene til elevernes svar, samt fejl i opgavernes krav til elevernes ræsonnement. Der argumenteres for at hvis ikke alle elever har samme forhåndsviden om hvordan man rent teknisk skal forholde sig for at score flest muligt point, er det et problem for validiteten af PISA, f.eks. når man sammenligner mellem lande.
