Vergleich der SBA- und VSA-Frageformate in der zahnmedizinischen Lehre hinsichtlich des Schweregrades, der Trennschärfe und deren Akzeptanz

Jasnoch, Franziska

dc.contributor.advisor	Raupach, Tobias Prof. Dr.
dc.contributor.author	Jasnoch, Franziska
dc.date.accessioned	2022-08-25T10:34:45Z
dc.date.available	2022-09-13T00:50:31Z
dc.date.issued	2022-08-25
dc.identifier.uri	http://resolver.sub.uni-goettingen.de/purl?ediss-11858/14224
dc.identifier.uri	http://dx.doi.org/10.53846/goediss-9424
dc.language.iso	deu	de
dc.rights.uri	http://creativecommons.org/licenses/by/4.0/
dc.subject.ddc	610	de
dc.title	Vergleich der SBA- und VSA-Frageformate in der zahnmedizinischen Lehre hinsichtlich des Schweregrades, der Trennschärfe und deren Akzeptanz	de
dc.type	doctoralThesis	de
dc.title.translated	Comparison of single best answer and very short answer item formats in dental teaching with regard to reliability, driscrimination and acceptance.	de
dc.contributor.referee	Raupach, Tobias Prof. Dr.
dc.date.examination	2022-09-06	de
dc.description.abstractger	Single-Best-Answer-Items (SBA) gelten derzeit als das am weitesten verbreitete Bewertungsinstrument in der medizinischen Lehre. Das Format unterliegt jedoch der Kritik, ein oberflächliches Lernverhalten zu fördern und Hinweise auf Item-Antworten zu präsentieren. Angelehnt an die Studien von Sam et al. sollte durch die vorliegende Studie die Implementierung eines alternativen Prüfungsformates durch Very-Short-Answer-Items (VSA) getestet werden. Die Forschungsergebnisse von Sam et al. sollten mit Resultaten aus der zahnmedizinischen Lehre verglichen werden, um die Notwendigkeit einer Prüfungsoptimierung in der Zahnmedizin zu kontrollieren. Des Weiteren bewerteten Studierende VSA-Items in Bezug auf Authentizität und Akzeptanz. In zwei inhaltlich identischen, summativen Prüfungen bearbeitete die Studienkohorte (n = 37) konsekutiv 30 Items, zunächst im VSA-Format und anschließend im SBA-Format. Den Studierenden wurde im Anschluss ein Fragebogen zur Akzeptanz, Authentizität und ihrem Lernverhalten vorgelegt. Nach statistischer Auswertung der deskriptiven Daten wurden die Ergebnisse beider Prüfungsformate gegenübergestellt. Zum Vergleich der Item- Schwierigkeit wurde eine Varianzanalyse und post-hoc Wilcoxon-Vorzeichen-Rangtests durchgeführt. Mittels Einstichproben-t-Test gegen einen Wert von 20 % wurden überprüft, ob die positive Hinweisrate signifikant vom Zufallsniveau abwich. Cronbach’s Alpha wurde als Maß der Reliabilität bestimmt und zwischen den Formaten verglichen. Zusätzlich wurden die Trennschärfen der Items verglichen und Korrelationsanalysen durchgeführt. Die Prüfung im VSA-Format bot in der Zahnmedizinischen Lehre eine akkuratere Präsentation der studentischen Wissensbasis. Die Ergebnisse demonstrierten signifikante Unterschiede in Bezug auf die Item-Schwierigkeit (t(36) = 10,63, P < 0,01) zwischen beiden Formaten und entsprachen den Ergebnissen der Studie von Sam et al. im weitesten Umfang. Die untersuchte Studienkohorte erzielte in 29 der 30 SBA-Items höhere Punktzahlen (MW + 9,33 Punkte) als im VSA-Format, obwohl beide Formate dieselbe Wissensbasis testierten. VSA-Items zeigten mit einem Cronbach’s Alpha von 0,7 eine signifikant höhere Reliabilität als SBA-Items (F(36;36) = 2.05, P = 0,02). Im Mittel wiesen die VSA-Items eine signifikant bessere Item-Trennschärfe auf (MW = 0,22, SD = 0,17) als SBA-Items (MW = 0,12, SD = 0,13; t(29) = 2,50, P = 0,02). Ebenfalls wurden sie von 56,7 % als authentischer empfunden. Die Akzeptanz gegenüber VSA-Formaten lag nach Konditionierung des Lernverhaltens durch SBA-Items nur bei 18,9 %. Die SBA-Items wiesen im Vergleich zu Sam et al. einen verdoppelten Wert (83,12 %) durch positive Hinweisraten auf. In der vorliegenden Studie konnten frühere Ergebnisse zur Auswirkung eines Bewertungsinstrumentes auf das Lernverhalten der Studierenden repliziert werden. Eine zukünftige Integration der VSA-Items in summative Prüfungen sollte als sinnvoll und notwendig betrachtet werden, um eine Optimierung in der zahnmedizinischen Lehre an der Universitätsmedizin Göttingen zu erzielen.	de
dc.description.abstracteng	Single-Best-Answer (SBA) items are currently considered the most widely used assessment tool in medical teaching. However, the format is subject to criticism for encouraging superficial learning behaviour and presenting clues to item answers. Following the studies of Sam et al., the present study aimed to test the implementation of an alternative assessment format using Very-Short-Answer (VSA) items. The research results of Sam et al. were to be compared with results from dental teaching in order to check the necessity of exam optimisation in dentistry. Furthermore, students evaluated VSA items in terms of authenticity and acceptance. In two summative examinations with identical content, the study cohort (n = 37) worked consecutively on 30 items, first in the VSA format and then in the SBA format. The students were then presented with a questionnaire on acceptance, authenticity and their learning behaviour. After statistical evaluation of the descriptive data, the results of both examination formats were compared. An analysis of variance and post-hoc Wilcoxon signed-rank tests were conducted to compare item difficulty. One-sample t-tests against a value of 20% were used to test whether the positive clue rate was significantly different from chance. Cronbach's alpha was determined as a measure of reliability and compared between the formats. In addition, the discriminatory power of the items was compared and correlation analyses were conducted. The VSA format exam provided a more accurate representation of the student knowledge base in dental education. The results demonstrated significant differences in item difficulty (t(36) = 10.63, P < 0.01) between the two formats and were broadly consistent with the findings of the Sam et al. study. The study cohort examined scored higher (MW + 9.33 points) on 29 of the 30 SBA items than on the VSA format, even though both formats tested the same knowledge base. VSA items showed significantly higher reliability than SBA items with a Cronbach's alpha of 0.7 (F(36;36) = 2.05, P = 0.02). On average, VSA items had significantly better item discriminatory power (MW = 0.22, SD = 0.17) than SBA items (MW = 0.12, SD = 0.13; t(29) = 2.50, P = 0.02). They were also perceived as more authentic by 56.7%. The acceptance of VSA formats was only 18.9% after conditioning the learning behaviour with SBA items. The SBA items had a doubled value (83.12 %) by positive cue rates compared to Sam et al. The present study was able to replicate previous findings on the impact of an assessment tool on students' learning behaviour. A future integration of VSA items in summative examinations should be considered to achieve an optimisation in dental teaching at the University Medical Center Göttingen.	de
dc.contributor.coReferee	Bürgers, Ralf Prof. Dr.
dc.subject.ger	zahnmedizinische Prüfung	de
dc.subject.ger	very-short-answer	de
dc.subject.ger	single-best-answer	de
dc.subject.ger	Prüfungsformat	de
dc.subject.ger	Trennschärfe	de
dc.subject.ger	Schweregrad	de
dc.subject.eng	very-short-answer	de
dc.subject.eng	single-best-answer	de
dc.subject.eng	assessment	de
dc.subject.eng	dental examination	de
dc.subject.eng	reliability	de
dc.subject.eng	item difficulty	de
dc.identifier.urn	urn:nbn:de:gbv:7-ediss-14224-1
dc.affiliation.institute	Medizinische Fakultät	de
dc.subject.gokfull	Zahn-, Mund- und Kieferheilkunde - Allgemein- und Gesamtdarstellungen (PPN619876360)	de
dc.description.embargoed	2022-09-13	de
dc.identifier.ppn	1815277467
dc.notes.confirmationsent	Confirmation sent 2022-08-25T10:45:01	de

Dateien

Name:Jasnoch_Franziska_Dissertation.pdf

Größe:1.249Mb

Format:PDF

Öffnen

Name:: Jasnoch_Franziska_Dissertation.pdf
Größe:: 1.249Mb
Format:: PDF

Öffnen

Das Dokument erscheint in:

Human- und Zahnmedizin [2877]

Zur Kurzanzeige