Screening for technical flaws in multiple-choice items. A generalizability study.

Forfattere

  • Lotte Dyhrberg O'Neill Syddansk Universitet
  • Sara Mathilde Radl Mortensen AU
  • Cita Nørgård SDU
  • Anne Lindebo Holm Øvrehus OUH & SDU
  • Ulla Glenert Friis SDU

DOI:

https://doi.org/10.7146/dut.v14i26.106496

Resumé

Construction errors in multiple-choice items are quite prevalent and constitute threats to test validity of multiple-choice tests. Currently very little research on the usefulness of systematic item screening by local review committees before test administration seem to exist. The aim of this study was therefore to examine validity and feasibility aspects of review committee screening for item flaws. We examined the reliability of item reviewers’ independent judgments of the presence/absence of item flaws with a generalizability study design and found only moderate reliability using five reviewers. Statistical analyses of actual exam scores could be a more efficient way of identifying flaws and improving average item discrimination of tests in local contexts. The question of validity of human judgments of item flaws is important - not just for sufficiently sound quality assurance procedures of tests in local test contexts - but also for the global research on item flaws.

Forfatterbiografier

Lotte Dyhrberg O'Neill, Syddansk Universitet

Lektor, SDU Universitetspædagogik.

Sara Mathilde Radl Mortensen, AU

Sara Mathilde Radl Mortensen is a medical student at Aarhus University. She is completing her sixth and final year of medical education, and has worked with the generalizability of item flaw detection as part of her research assignment.

 

Cita Nørgård, SDU

Cita Nørgård is an educational consultant at the Centre for Teaching and Learning, University of Southern Denmark.

Anne Lindebo Holm Øvrehus, OUH & SDU

Anne Lindebo Holm Øvrehus is Associate Professor at Department of Infectious Diseases and affiliated to the Faculty of Health Sciences at the University of Health Sciences. She has worked with assessment on multiple levels including quality control and feedback on MCQ exams and faculty development.

Ulla Glenert Friis, SDU

Ulla Glenert Friis is Associate Professor at the Institute of Molecular Medicine at the University of Southern Denmark. She has been a longtime physiology teacher of medical and natural science students.

Downloads

Publiceret

2019-04-01

Citation/Eksport

O’Neill, L. D., Mortensen, S. M. R., Nørgård, C., Øvrehus, A. L. H., & Friis, U. G. (2019). Screening for technical flaws in multiple-choice items. A generalizability study. Dansk Universitetspædagogisk Tidsskrift, 14(26), 51–65. https://doi.org/10.7146/dut.v14i26.106496

Nummer

Årg. 14 Nr. 26 (2019): Fra data til beslutninger

Sektion

Videnskabelig artikel

Licens

DUT udkommer elektronisk via Statsbibliotekets Open Journal System (Tidsskrift.dk) og DUNs hjemmeside (DUN-net.dk) forår og efterår. Det er gratis og frit tilgængeligt at læse og downloade artikler fra tidsskriftet.

Det er ikke muligt at abonnere på Dansk Universitetspædagogisk Tidsskrift, DUT, men hvis du er medlem af DUN, får du tilsendt en nyhedsmail med link til udgivelsen, når den nyeste udgave er online. Linket vil også være tilgængeligt her på siden, så snart tidsskriftet er publiceret. 

© Copyright

Artikler publiseret i Dansk Universitetspædagogisk Tidsskrift, DUT, må bruges (downloades) og genbruges (distribueres, kopieres, citeres) til ikke-kommercielle formål med reference til forfattere og Dansk Universitetspædagogisk Tidsskrift. 

Artikler indsendt til Dansk Universitetspædagogisk Tidsskrift må ikke publiseres i andre tidskrifter.

Betingelser

Artikler i Dansk Universitetspædagogisk Tidsskrift, DUT, er omfattet af ophavsretsloven, og der må citeres fra dem.

Følgende betingelser skal dog være opfyldt:

  • Citatet skal være i overensstemmelse med „god skik“
  • Der må kun citeres „i det omfang, som betinges af formålet“
  • Ophavsmanden til teksten skal krediteres, og kilden skal angives ift. ovenstående bibliografiske oplysninger.