| dc.contributor.advisor | Sennhenn-Kirchner, Sabine PD Dr. | |
| dc.contributor.author | Schwarzer, Sophie-Kristin | |
| dc.date.accessioned | 2017-11-27T09:35:53Z | |
| dc.date.available | 2017-12-18T23:50:06Z | |
| dc.date.issued | 2017-11-27 | |
| dc.identifier.uri | http://hdl.handle.net/11858/00-1735-0000-0023-3F80-5 | |
| dc.identifier.uri | http://dx.doi.org/10.53846/goediss-6597 | |
| dc.language.iso | deu | de |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0/ | |
| dc.subject.ddc | 610 | de |
| dc.title | Die Etablierung und Evaluation einer zahnärztlich-chirurgischen OSCE-Prüfung mit sechs Stationen in der ZMK-Klinik Göttingen - die Bewertung ärztlicher und studentischer Rater im Vergleich | de |
| dc.type | doctoralThesis | de |
| dc.title.translated | The establishment and evaluation of an OSCE with six stations in dental surgery at the dental clinic Göttingen - comparing the evaluation of the teaching doctor raters and the student raters | de |
| dc.contributor.referee | Sennhenn-Kirchner, Sabine PD Dr. | |
| dc.date.examination | 2017-12-11 | |
| dc.description.abstractger | Fragestellung:
Im Wintersemester 2014/15 wurde erstmals eine formative, standardisierte Prüfung klinisch-praktischer Fertigkeiten als Objective Structured Clinical Examination (OSCE) im Sinne einer Lernzuwachskontrolle des Operationskurses an der Universitätsmedizin Göttingen durchgeführt. Der Prüfungsparcours bestand aus 6 Stationen, zwei davon waren als Video-Stationen ohne anwesende Rater konzipiert. Alle Stationen wurden doppelt von einem studentischen und einem ärztlichen Rater bewertet. Ziel der Studie war es zum einen, die Testgütekriterien zu erheben, um die OSCE nach Überarbeitung der Stationen in Zukunft als summative Prüfung einführen zu können und zum anderen die Rater-Übereinstimmung zu untersuchen, um die Pilotierung weiterer Stationen auf dem Weg zu einer 12-Stationen-OSCE mithilfe von studentischen Ratern durchführen zu können.
Methoden:
Bereits im Juli 2014 erfolgte die Pilotierung der Stationen. Die drei zahnärztlich-chirurgischen Stationen (Lokalanästhesie vor Zahnextraktion, Zahnextraktion und intraorale Naht am Phantom) wurden ergänzt durch eine Basic-Life-Support-Station und zwei Video-Stationen (präoperatives Aufklärungsgespräch vor Zahnextraktion und postoperatives Gespräch nach Verschluss einer Mund-Antrum-Verbindung). Die studentischen Teilnehmer/innen des Pilotierungsdurchgangs standen dann als Rater für die OSCE-Prüfung im Oktober 2014 zur Verfügung. Studentische wie ärztliche Rater wurden mithilfe von zu Schulungszwecken erstellten Videos und individuellen Instruktionen zum Bewertungsformat und zur Tablet-Software gleichermaßen geschult und bewerteten Tablet-basiert die Leistungen der 36 Studierenden des 8. Semesters mittels Checklisten und Globalbeurteilungen.
Die erhobenen Daten wurden mithilfe von SPSS Nr. 22 ausgewertet. Die Interraterreliabilität und Signifikanzanalyse wurden mittels Intra-Klassen-Korrelation und Produkt-Moment-Korrelation ermittelt. Die Itemanalyse gab Aufschluss über die Konsistenz der Checklisten (Cronbachs Alpha) und Eignung der Items (Trennschärfe).
Ergebnisse:
Die Itemanalyse ergab für die Gesamt-OSCE eine Schwierigkeit von 0,700 (MW) und Trennschärfen von 0,099 bis 0,469, Mittelwert 0,256 bei einem Cronbachs Alpha von 0,575 (MW). Die Interrater-Übereinstimmung zwischen studentischen und ärztlichen Prüfern war über alle Stationen hoch (ICC 0,888:Gesamt-OSCE; MW 0,678). Die Differenz beider Raterguppen (Ärzte : Studierende) betrug hier im Mittel -0,02 mit einer Standardabweichung SD von 0,04. Auch unterschieden sich die zahnärztlichen und studentischen Rater nur wenig bezüglich der Item-Mittelwerte in den einzelnen Stationen. Die Differenz der Checklistenbewertung betrug 0,00 mit einer SD von 0,04, die der Globalnotenmittelwerte 0,020 mit einer SD von 0,27.
Die beiden Fremdurteile unterscheiden sich kaum in ihren Mittelwertsdifferenzen und zeigen außerdem sehr hohe und signifikante Zusammenhänge an. Für die Gesamt-OSCE ergibt sich mit 0,90 die höchste Korrelation, die sehr signifikant ist (p = 0,000).
Diskussion/Schlussfolgerung:
Zur Beurteilung zahnärztlich-chirurgischer Fertigkeiten im Rahmen einer derartigen Prüfung können gleichermaßen geschulte studentische Rater und ärztliche Rater eingesetzt werden. Es konnte gezeigt werden, dass mithilfe einer guten Raterschulung eine hohe Interraterreliabilität zwischen ärztlichen und studentischen Ratern erreicht werden kann, die somit unabhängig vom Grad der Ausbildung ist. Damit bestätigen wir die Ergebnisse von Studien für medizinische Prüfungen im OSCE-Format. Der Einsatz studentischer Rater kann nicht zur Durchführung einer summativen Prüfung erfolgen. Zur Pilotierung weiterer OSCE-Stationen stellt der Einsatz von geschulten studentischen Ratern jedoch eine in Bezug auf ärztlichen Personalmangel ressourcenschonende Alternative zur Bewertung der OSCE dar. Aus den Ergebnissen der Itemanalyse werden nun für einige Stationen Verbesserungen zur Steigerung der Testgüte abgeleitet, so dass die OSCE-Prüfung dann zukünftig als summative Prüfung durchgeführt werden kann. Andere Stationen zeigen bereits jetzt eine gute Reliabilität. Zur Etablierung einer hochwertigen, summativen OSCE-Prüfung ist es dennoch notwendig sechs weitere OSCE-Stationen zu entwerfen, was das Ziel der Zukunft sein wird. | de |
| dc.description.abstracteng | Context:
During the winter semester 2014/2015 the first formative OSCE in dental surgery took place at the Universitätsmedizin Göttingen in order to examine clinical skills as part of the dental surgery assessment. We constructed six stations, two of them were video-stations without primary raters. All stations were rated by both teaching doctor and dental student raters. The basic aim of this study is to evaluate the stations and to improve them to a summative level and further to assess the reliability of dental student rater compared to the teaching doctor raters.
Methods:
In July 2014 we started with a pilot-OSCE with five stations. The first formative OSCE half a year later, in October 2014, included those five stations: three practical dental stations (local anesthetic to extract a tooth, the tooth extraction itself and the intraoral seam) and two video-stations (explanatory meeting before tooth extraction and giving instructions about postoperative behaviour after mouth-antrum-connection). They were enlarged by a basic life support station. The former students that participated in the pilot-OSCE took part as dental student raters in this OSCE. To standardise the two rater groups they were trained in advanced by using sample videos and getting detailled instructions on how to use the tablet software and rating system. The students were rated by a combination of checklists and global rating. All data was captured with the help of SPSS no. 22. The interrater-reliability was analysed with intra-class-correlation and the checklists with an item-analysis.
Results:
The average difficulty of the OSCE was 0,7 and the selectivity ranged from 0,099 to 0,469, average value 0,256 with Cronbach´s alpha 0,575. The interrater agreement was over all stations high (ICC=0,888, average 0,678). The average difference between teaching doctor and dental student rating was -0,02 with standard deviation of 0,04. They also did not differ significantly in the other items at the other stations. The difference in checklist rating was 0,00 by standard deviation of 0,04 whereas in global rating it was 0,02 by standard deviation of 0,27.
Both external ratings showed hardly any differences in average difficulty, but high and significant correlation. The OSCE was correlated the highest with a coefficient of 0,9, which is significant with p < 0,001.
Discussion:
In order to evaluate practical clinical skills we were able to show that dental students are just as reliable raters as teaching doctors. Using standardised and structured training before rating is a valuable tool to achieve high inter-rater reliability between the two groups of raters, which is therefore independent of the level of education. With this study we verify existing studies for medical examinations. Student raters are not allowed in summative examinations but can reliably rate dental students to pilot more stations on the way to a high stakes 12-station-OSCE without requiring high staff. From the results of the item-analysis we can improve the existing stations that are not all reliable yet and aim to have a summative OSCE in the near future. | de |
| dc.contributor.coReferee | Simmenroth-Nayda, Anne PD Dr. | |
| dc.subject.eng | OSCE | de |
| dc.subject.eng | dental surgery | de |
| dc.subject.eng | student raters | de |
| dc.subject.eng | teaching doctors | de |
| dc.subject.eng | interrater-reliability | de |
| dc.subject.eng | stations | de |
| dc.identifier.urn | urn:nbn:de:gbv:7-11858/00-1735-0000-0023-3F80-5-0 | |
| dc.affiliation.institute | Medizinische Fakultät | de |
| dc.subject.gokfull | Medizin (PPN619874732) | de |
| dc.subject.gokfull | Zahn-, Mund- und Kieferheilkunde - Allgemein- und Gesamtdarstellungen (PPN619876360) | de |
| dc.description.embargoed | 2017-12-18 | |
| dc.identifier.ppn | 1006091092 | |