Entwicklung einer Bewertungsmetrik für klinische Entscheidungsunterstützungssysteme (CDSS) in der Kardiologie
Development of an Evaluation Metric for Clinical Decision Sup-port Systems (CDSS) in Cardiology
by Stefan Rühlicke née Vogel
Date of Examination:2024-01-10
Date of issue:2024-05-17
Advisor:Prof. Dr. Dagmar Krefting
Referee:Prof. Dr. Dagmar Krefting
Referee:Prof. Dr. Dr. Andreas Schuster
Persistent Address:
http://dx.doi.org/10.53846/goediss-10482
Files in this item
Name:Promotion Rühlicke_eDiss_oEides_mCV_240505.pdf
Size:8.22Mb
Format:PDF
The following license files are associated with this item:
Abstract
English
The topic of clinical decision support systems (CDSS) is currently in a phase of transition in which the multi-layered and comprehensive development approaches from the thematic his-tory are increasingly being used in both current research and industrial projects. An unresolved challenge for the topic is the quality evaluation of already developed and newly emerging systems. The existing evaluation deficits of CDSS make targeted system development processes and the translation of systems into routine care more laborious. In this study, the core question of whether an approach can be developed to support the quality evaluation of cardiologic CDSS was investigated. In order to answer this question, five work steps were carried out: 1. the development of a generic description schema for CDSS, 2. the specification of this description schema in an assessment tool for cardiac CDSS including a maturity model, 3. the application of the assessment tool to generate a data set of 124 cardiac CDSS, 4. the overarching design analysis of the cardiac CDSS in the assessment data set and 5. the synthesis of the work results into an assessment metric. The work results generated in each of these steps were validated and critically examined. The resulting evaluation metric combines three sub-metrics, each of which focuses on a specific quality aspect. The quality focus of the sub-metrics is on generalizability, technical and application-related suitability and the transparency of cardiological CDSS. The validation of the respective (sub-)metrics was carried out by applying them to the 124 CDSS of the data set. In addition, these were used to evaluate the CDSS Ada Health, PosiThera and iOSC3. With the help of the (sub-)metrics, it was possible to quantitatively represent the quality of the CDSSs examined in order to draw a comparison between the systems. The quality assessment of the (sub-)metrics was validated several times and correlated with the maturity model. At the end of the work, tools for the assessment and evaluation of cardiologic CDSS are available. The work results indicate that the quality of cardiology CDSS can be estimated using the evaluation metric and the maturity model. The limitations of the work give reason to extend the application of the assessment approaches in the context of further research.
Keywords: Clinical Decision Support Systems; Cardiology; Evaluation; Quality
German
Das Thema klinische Entscheidungsunterstützungssysteme (CDSS) befindet sich in einer Umbruchphase, in welcher die vielschichtigen und umfassenden Entwicklungsansätze aus der thematischen Historie zunehmend, sowohl in aktuellen Forschungs-, als auch Industrieprojekten verwendet werden. Eine ungelöste Herausforderung für das Thema ist die Qualitätsbewertung der bereits entwickelten und neu entstehender Systeme. Die bestehenden Bewertungsdefizite von CDSS erschweren gezielte Systemweiterentwicklungsprozesse, sowie die Translation der Systeme in die Routineversorgung. In der vorliegenden Arbeit wurde die Kernfragestellung beforscht, ob ein Ansatz entwickelt werden kann, um die Qualitätsbewertung von kardiologischen CDSS zu unterstützen. Um diese Fragestellung zu beantworten wurden fünf Arbeitsschritte durchgeführt: 1. die Entwicklung eines generischen Beschreibungsschemas für CDSS, 2. die Spezifikation des Beschreibungsschemas in ein Erfassungswerkzeug für kardiologische CDSS inkl. eines Reifegradmodells, 3. Die Anwendung des Erfassungswerkzeugs zur Generierung eines Datensatzes über 124 kardiologische CDSS, 4. die übergeordnete Designanalyse der kardiologischen CDSS im Erfassungsdatensatz sowie 5. die Synthese der Arbeitsergebnisse zu einer Bewertungsmetrik. Die generierten Arbeitsergebnisse der benannten Schritte wurden jeweils validiert und kritisch reflektiert. Die entstandene Bewertungsmetrik führt drei Teil-Metriken zusammen, welche jeweils einen Qualitätsschwerpunkt thematisieren. Die Qualitätsschwerpunkte der Teil-Metriken liegen auf der Generalisierbarkeit, der technisch- und anwendungsbezogenen Eignung, sowie der Transparenz kardiologischer CDSS. Die Validierung der jeweiligen (Teil-)Metriken erfolgte durch deren Anwendung auf die 124 CDSS des Erfassungsdatensatzes. Zusätzlich wurden diese genutzt, um die CDSS Ada Health, PosiThera und iOSC3 zu bewerten. Mit Hilfe der (Teil-)Metriken war es möglich die Qualität der beleuchteten CDSS quantitativ zu repräsentieren, um einen Vergleich zwischen den Systemen zu ziehen. Die Qualitätsbewertung der (Teil-)Metriken wurde mehrfach validiert und mit dem Reifegradmodell in Beziehung gesetzt. Am Ende der Arbeit liegen Werkzeuge zur Erfassung und Bewertung von kardiologischen CDSS vor. Die Arbeitsergebnisse deuten darauf hin, dass die Qualität von kardiologischen CDSS mit Hilfe der Bewertungsmetrik und des Reifegradmodells eingeschätzt werden kann. Die Limitierungen der Arbeit geben Anlass dazu die Anwendung der Bewertungsansätze im Rahmen weiterführender Forschung auszuweiten.
Schlagwörter: Klinische Entscheidungsunterstützungssysteme; Kardiologie; Bewertung; Qualität
