Evaluierung bestehender Prüfungsmodalitäten in der Zahnärztlichen Vorprüfung und Implementierung neuer Prüfungsstrukturen

The evaluation of existing examination procedures of the dental preliminary exam and the implementation of a novel assessment tool

by Maike Ellerbrock
Doctoral thesis
Date of Examination:2019-04-02
Date of issue:2019-04-01
Advisor:Prof. Dr. Ralf Bürgers
Referee:Prof. Dr. Ralf Bürgers
Referee:Prof. Dr. Tobias Raupach
Persistent Address: http://dx.doi.org/10.53846/goediss-7348

 

 

Files in this item

Name:Evaluierung bestehender Prüfungsmodalitäten ...pdf
Size:1.69Mb
Format:PDF

The following license files are associated with this item:

Abstract

English

Background: the curriculum of dental education comprises several practical examinations, which are commonly assessed by using the so called ‚glance-and-grade‘ method. Without referring to specified criteria, valid check lists or grading keys, this method is assumed to be neither objective nor reliable. The purpose of the present study was to evaluate the ‚glance-and-grade‘ method and to determine, whether the development of a novel evaluation method with defined criteria may improve objectivity and reliability. Material and Methods: In the first phase of the study, 152 preparations made by dental students were graded by 6 raters using the 'glance-and-grade' method. These preparations included a crown- and a bridge preparation, a VMK-crown (metal framework veneered with ceramic) and a full denture wax try-in. During the second phase a new evaluation system including clearly defined criteria and prescribed rating scales was developed. Several rater trainings were carried out during the third phase. In the fourth phase the evaluation system was used to grade other 48 preparations. Results: wide differences concerning the pass-fail decisions and a great range of points assigned were shown while using the 'glance-and-grade' method. Intraclass correlations were calculated, novel checklists caused a higher degree of interrater-consistency. An increase in correlation was observed in each preparation type with the exception of bridge-preparation (ICC crown-preparation increased from 0,646 to 0,851, ICC VMK-Crown from 0,568 to 0,815, ICC total denture wax try-in from 0,636 to 0,888, ICC bridge preparation decreased from 0,689 to 0,609). Internal consistencies were expressed as Cronbach‘s alpha, with values between 0,533 and 0,955. Conclusions: the results of this study seem to confirm the hypothesis, that using the ‚glance-and-grade‘ method is neither objective nor reliable. Despite limitations, the novel evaluation system appears to reduce subjectivity. Further studies concerning the assessment of practical skills are required.
Keywords: glance-and-grade; interrater-reliability; dental education; assessment; rater training

German

Einleitung: Studierende der Zahnmedizin haben während ihres Studiums zahlreiche praktische Prüfungen abzulegen. Eine gängige Bewertungsmethode stellt die Bewertung per Augenschein dar (die sogenannte 'glance-and-grade' Methode). Es besteht die Vermutung, dass diese Bewertungsmethode die an eine Prüfung geltenden Forderungen der Objektivität und Reliabilität nicht erfüllen kann. Ziel dieser Studie war die Evaluierung der 'glance-and-grade' Methode sowie die Schaffung eines geeigneteren Bewertungsverfahrens. Methoden: Sechs Rater bewerteten 152 studentische Phantomarbeiten der Zahnärztlichen Vorprüfung per Augenschein. Bei den Arbeiten handelte es sich um eine Kronen- und eine Brückenpräparation, die Herstellung einer VMK-Krone sowie um die Wachsaufstellung einer Totalprothese. Im Anschluss wurde ein neues Bewertungssystem bestehend aus Bewertungsbögen, klar definierten Bewertungsmodalitäten und Notenschüsseln erarbeitet. Es folgten Raterschulungen in welchen das neue System theoretisch erläutert und praktisch anhand exemplarischer Arbeiten erprobt wurde. In der zweiten Bewertungsrunde erfolgte die Beurteilung von 48 Phantomarbeiten eines anderen Prüfungssemesters, dieses Mal anhand des neuen Bewertungssystems. Ergebnisse: Es zeigen sich große interindividuelle Variabilitäten bezüglich der Bestehens- und Nichtbestehensentscheidungen sowie gravierende Unterschiede in der Punktevergabe (4 bis 9 Punkte) bei der Bewertung per Augenschein. Das neue Bewertungssystem verbesserte die Interrater-Reliabilität (ICC) bei Beurteilung der Kronenpräparation (von 0,646 auf 0,851), der VMK-Krone (von 0,568 auf 0,815), sowie der Wachsaufstellung (von 0,636 auf 0,888). Eine Verschlechterung des ICC zeigte sich bei Beurteilung der Brückenpräparationen von 0,689 auf 0,609. Zur Bestimmung der internen Konsistenz berechneten wir Cronbach‘s alpha, hier zeigten sich die schlechtesten Werte beim Bewertungsbogen VMK-Krone (0,533) sowie die durchgängig besten Werte mit Werten über 0,9 bei der Wachsaufstellung. Fazit: Die Studienergebnisse bestätigen die Hypothese, dass eine Bewertung per Augenschein als weder objektiv noch reliabel einzustufen ist. Das neue Bewertungssystem stellt sich (trotz Limitationen) als überlegend dar. Für die Zukunft besteht die Notwendigkeit der Weiterentwicklung und Evaluierung des neuen Bewertungssystems.
 
Statistik