Entwicklung, Reliabilität und Objektivität einer „Objective Structured Clinical Examination“ in der Notfallmedizin

Abstract

Mit Einführung der neuen Approbationsordnung für Ärzte wurde in Göttingen für den Querschnittsbereich Notfall- und Intensivmedizin eine praktische Prüfung im Sinne einer Objektive Structured Clinical Examination (OSCE) entwickelt und eingeführt. Zunächst erfolgte die Planung einer validen Prüfung mittels Blueprint mit den vorhandenen Ressourcen. Prüfungsziele wurden festgelegt und Prüfungsbögen entworfen. Anschließend wurde die OSCE auf die beiden weiteren Qualitätskriterien einer Prüfung, Reliabilität und Objektivität, untersucht und eine Itemanalyse durchgeführt. Die OSCE-Prüfung wurde mittels eines Videoratings auf Reliabilität untersucht. Am Videorating nahmen neben ärztlichen Ratern auch studentische Rater teil. Die Reliabilität wurde mit Hilfe des Reliabilitätskoeffizienten Kappa berechnet. Eine Global- und eine Checklistenbewertung wurden miteinander verglichen. Die Untersuchung zur Objektivität fand mit 8 Teststudierenden statt. In der Untersuchung zeigte die OSCE mit einem κ=0,73 im Bereich der Checklistenbewertung eine gute Reliabilität. Die Globalbewertung zeigte eine insgesamt nicht zufriedenstellende Reliabilität κ=0,33-0,43. Allerdings ist in dieser Prüfung ausschließlich eine Globalbewertung pro Station erfolgt und nicht eine Globalbewertung für jedes Item. Der Vergleich studentischer Rater mit den ärztlichen Ratern zeigt gute Übereinstimmung mit der Originalprüfung für die Checklistenbewertung. Insgesamt wurden von den studentischen Prüfern weniger Punkte für die Leistungen der Prüflinge in der Checklistenbewertung vergeben als von den ärztlichen Prüfern. Bei der Globalbewertung dagegen haben die studentischen Rater bessere Noten vergeben als die ärztlichen Rater. Die Übereinstimmung ist an vier der fünf Prüfungsstationen bei den studentischen Prüfern besser als bei den ärztlichen Prüfern. Die Untersuchung zur Objektivität der Prüfung zeigte Verbesserungspotential in diesem Bereich. Die Itemanalyse ergab für 28 Ites eine adäquate Itemschwierigkeit sowie adäquate Trennschärfe. Somit ist die OSCE- Prüfung im Bereich Notfallmedizin in Göttingen ist eine reliable Prüfungsform. Im verwendeten Prüfungsbogen ist die Checklistenbewertung der Globalbewertung im Bereich Reliabilität überlegen. Studenten, die im Videorating eingesetzt wurden, konnten die Prüfung mit guter Übereinstimmung zur Originalprüfung bewerten.