Erprobung der Vorhersage-basierten Evaluationsmethode für das Instrument der Lernerfolgsevaluation

Proving a prediction-based evaluation method to estimate student learning outcome

by Binia-Laureen Grebener née Entgelmeier
Doctoral thesis
Date of Examination:2022-05-17
Date of issue:2022-04-21
Advisor:Prof. Dr. Tobias Raupach
Referee:Prof. Dr. Tobias Raupach
Referee:PD Dr. Dr. Philipp Kanzow
Referee:Prof. Dr. Ralf Dressel
Persistent Address: http://dx.doi.org/10.53846/goediss-9178

 

 

Files in this item

Name:Dissertation_Grebener_Evaluation_2022_ohne CV.pdf
Size:1.25Mb
Format:PDF

The following license files are associated with this item:

Abstract

English

Background: Evaluations play an important role for teaching curricula. Therefore, student evaluations of teaching are often used to draw conclusions about teaching quality. In undergraduate medical education it is important to evaluate the learning outcome but low response rates threaten the reliability and validity of student evaluations of teaching. Previous research has shown that asking students to predict how satisfied their fellow students were with a course produces reliable results at lower response rates. The aim of this study was to investigate whether this prediction-based method can also be used to evaluate student learning outcome. Therefore, it was compared to the evaluation tool of comparative student self-assessments that has been developed at Goettingen University Medical Centre and is used to evaluate courses in the clinical phase of undergraduate medical education so far. Methods: Before and after a cardiorespiratory module, 128 fourth-year medical students at Goettingen University Medical Centre provided self-assessments and predictions of performance on 27 specific learning objectives and took formative tests on the respective contents. Data were collected at these two defined points in time and pre-post performance gain was compared across all three modalities. Furthermore, the lower limits of response rate required to obtain reliable learning outcome data (number needed to evaluate) based on student predictions and self-assessments were calculated. Results: Formative exam results indicated a performance gain of 63.0%. Self-assessed and prediction-based performance gains were identical (67.8%) but both slightly overestimated actual performance gain. Hence, this study identified a significant correlation between performance gain derived from student self-assessments and performance gain derived from predictions (r = 0,952; p < 0,001) meaning a high agreement between both measuring methods. Also, the number needed to evaluate based on student predictions and self-assessments were comparable with no significant difference between the two. Irrespective of the method used, a response rate of 20% was sufficient to produce reliable results. The performance gains derived from self-assessments as well as derived from predictions showed both a significant correlation to the performance gain derived from the objective examinations (r= 0,709; p < 0,001 and r = 0,704; p < 0,001). For learning objectives with a high objective learning outcome, less student ratings were needed to obtain stable results from the two evaluation methods compared to learning objectives with low objective learning outcome. Conclusions: Student self-assessments and predictions are equally valid sources of learning outcome measures. Furthermore, low response rates are sufficient to produce stable results for both methods.
Keywords: evaluation; learning outcome; comparative self-assessment; predictions

German

Hintergrund: Evaluationen stellen einen wichtigen Bestandteil von Lehrcurricula dar, wobei oftmals studentische Bewertungen zur Evaluation der Lehre herangezogen werden. Im Medizinstudium ist es dabei von besonderer Wichtigkeit, das Augenmerk auf die Ergebnisqualität zu legen. Allerdings stellen niedrige Rücklaufquoten eine Gefahr für die Reliabilität und Validität von studentischen Lehrevaluationen dar. Vorrausgegangene Forschungsergebnisse konnten zeigen, dass wenn Studierende die Zufriedenheit ihrer Kommilitonen mit einem Kurs einschätzen sollten, reliable Ergebnisse bei gleichzeitig niedrigeren Rücklaufquoten erzielt werden konnten. Das Ziel dieser Forschungsarbeit war zu erproben, ob die Vorhersage-basierte Methode zur Kursevaluation auch zur Messung des studentischen Lernerfolg geeignet ist. Hierzu wurde sie mit dem an der Universitätsmedizin Göttingen entwickelten Evaluationsinstrument der vergleichenden studentischen Selbsteinschätzungen verglichen, welches zur Evaluation der Kurse im klinischen Abschnitt des Medizinstudiums eingesetzt wird. Methoden: 128 Studierende nahmen vor und nach dem Modul zur kardiorespiratorischen Lehre im vierten Jahr des Medizinstudiums an der Universitätsmedizin Göttingen an der vorliegenden Studie teil. Es wurden studentische Selbsteinschätzungen zum eigenen Leistungsstand sowie Vorhersagen (Fremdeinschätzungen) über den Leistungsstand der Kommilitonen hinsichtlich 27 spezifischen Lernzielen erhoben und zudem zwei formative Prüfungen zu ebendiesen Lernzielen durchgeführt. Der Lernerfolg, der sich aus der zweizeitigen Erhebung ergab, wurde für alle drei Modalitäten berechnet und verglichen. Des Weiteren wurde untersucht, welcher Teilnahme-Rücklauf für beide Evaluationsmethoden jeweils minimal notwendig ist, um reliable Daten zum Lernerfolg der Studierenden zu generieren (number needed to evaluate). Ergebnisse: Die Ergebnisse der formativen Prüfungen zeigten einen studentischen Lernerfolg von 63,0%. Der Lernerfolg aus Selbsteinschätzungen und Fremdeinschätzungen der Studierenden war identisch (67,8%), wobei beide Evaluationsmethoden den tatsächlichen, objektiven Lernzuwachs leicht überschätzten. Die Ergebnisse dieser Arbeit konnten zeigen, dass eine signifikante Korrelation zwischen den Lernerfolgsdaten der Evaluationsmethode mittels vergleichender studentischer Selbsteinschätzungen und den Lernerfolgsdaten der Vorhersage-basierten Evaluationsmethode bestand (r = 0,952; p < 0,001). Auch die minimal notwendigen Rücklaufquoten zur Generierung reliabler Lernerfolgsdaten waren vergleichbar und wiesen keinen signifikanten Unterschied auf. Für beide Evaluationsmethoden war eine Rücklaufquote von 20% in den Evaluationen ausreichend, um reliable Daten zum Lernerfolg der Studierenden zu erhalten. Zudem wiesen beide Methoden eine signifikante Korrelation mit den in wiederholten Prüfungen gemessenen objektiven Lernerfolgsdaten auf (r = 0,709; p < 0,001 und r = 0,704; p < 0,001). Eine weitere Beobachtung, die gemacht werden konnte war, dass die minimal notwendige Rücklaufquote für Lernziele mit einem hohen objektiven Lernzuwachs insgesamt niedriger ausfiel als für Lernziele mit einem niedrigen objektiven Lernzuwachs. Zusammenfassung: Studentische Selbsteinschätzungen und Vorhersagen sind hinsichtlich ihrer Fähigkeit zur Messung des studentischen Lernerfolges als gleichwertige valide Messinstrumente zu betrachten. Zudem konnte gezeigt werden, dass niedrige Rücklaufquoten für beide Evaluationsmethoden ausreichen, um stabile Ergebnisse hinsichtlich des studentischen Lernerfolges zu erzielen.
 
Statistik