Quality Assurance of Test Specifications for Reactive Systems
Qualitätssicherung von Testspezifikationen für Reaktive Systeme
by Benjamin Zeiß
Date of Examination:2010-06-02
Date of issue:2010-08-20
Advisor:Prof. Dr. Jens Grabowski
Referee:Prof. Dr. Jens Grabowski
Referee:Prof. Dr. Ina Schieferdecker
Persistent Address:
http://dx.doi.org/10.53846/goediss-2464
Files in this item
Name:zeiss.pdf
Size:1.53Mb
Format:PDF
Description:Dissertation
The following license files are associated with this item:
Abstract
English
Extensive testing of modern communicating systems often involves large and complex test suites that need to be maintained throughout the life cycle of the tested systems. For this purpose, quality assurance of test suites is an inevitable task that eventually may have an impact on the quality of the system under test as well.In this thesis, we present a holistic method towards the analytical quality engineering of test specifications. We cover in detail what constitutes the quality of test specifications by adapting a quality model for software to test specifications and present how to apply target-oriented static testing to test specifications. We also introduce a dynamic testing method for test specifications, including a reverse engineering approach for test behavior models, and present a method for the consistency analysis of system responses in test suites. Based on the quality assessments made, the test suites can be improved regarding specific quality characteristics of this quality model. Finally, we validate and demonstrate the applicability of our approaches in a case study by means of a prototype implementation.
Keywords: Quality Assurance; Test Specifications; Communicating Systems; Reverse-Engineering; TTCN-3; Quality Model; Model-Based Analysis
Other Languages
Umfassendes Testen von modernen kommunizierenden Systemen beinhaltet oft große und komplexe Testsuiten, die über den Lebenszyklus des getesteten Systems hinweg gewartet werden müssen. Daher ist Qualitätssicherung von Testsuiten eine unvermeidliche Aufgabe, die letztendlich auch einen Einfluss auf die Qualität des getesteten Systems haben kann.In dieser Arbeit wird eine ganzheitliche Methode zur analytischen Qualitätssicherung von Testspezifikationen vorgestellt. Sie beschreibt die Qualität von Testspezifikationen, indem ein allgemeines Qualitätsmodell für Softwareprodukte adaptiert wird. Es wird gezeigt wie statisches Testen zielgerichtet auf Testspezifikationen angewendet werden kann und wie dynamisches Testen von abstrakten Testspezifikationen möglich ist. Für den dynamischen Testansatz wird eine Reverse-Engineering Methode zur Gewinnung von Test-Verhaltensmodellen beschrieben sowie eine Konsistenzanalyse für Systemantworten in Testsuiten diskutiert. Basierend auf Qualitätsbewertungen können Testsuiten bezüglich spezifischer Qualitätscharakteristiken des Qualitätsmodelles verbessert werden. Zuletzt werden die präsentierten Ansätze in einer Fallstudie validiert und Ihre praktische Anwendbarkeit mit Hilfe einer prototypischen Implementierung gezeigt.
Schlagwörter: Qualitätssicherung; Testspezifikationen; Kommunizierende Systeme; Reverse-Engineering; TTCN-3; Qualitätsmodell; Modell-basierte Analyse