Mathematical Entity Linking Methods and Applications

by Philipp Scharpf
Doctoral thesis
Date of Examination:2024-06-28
Date of issue:2024-08-15
Advisor:Prof. Dr. Bela Gipp
Referee:Prof. Dr. Bela Gipp
Referee:Dr. Martin Klein
Referee:Prof. Dr. Hans Friedrich Witschel
Persistent Address: http://dx.doi.org/10.53846/goediss-10662

 

 

Files in this item

Name:Dissertation_Philipp_Scharpf.pdf
Size:4.77Mb
Format:PDF
Description:Dissertation

This file will be freely accessible after 2026-06-27.

Abstract

English

Entity Linking (EL) is a vital component of Information Retrieval (IR) systems that extract abstract representations from text documents. As such, EL plays a crucial role in various applications such as semantic search, Recommender Systems, Question Answering, document classification, plagiarism detection, and conversational systems (chatbots). Until now, many EL approaches have been developed in academia and industry. However, they are designed only for natural language texts. Documents from Science, Technology, Engineering, and Mathematics (STEM) disciplines typically contain many mathematical expressions (formulas and identifiers, e.g., variables or constants) alongside text. Mathematical Information Retrieval (MathIR) systems, such as Mathematical Question Answering (MathQA), require the classical EL approaches to be generalized to Mathematical Entity Linking (MathEL), which maps mathematical expressions to a semantic knowledge base, such as Wikidata. To tackle the research gap in EL approaches for mathematical expressions, this thesis aims to propose, implement, and evaluate methods and applications of MathEL using rule-based Artificial Intelligence, Machine Learning, and Wikidata. The research is guided by the following question: “How can classical EL methods and applications be transferred to enable MathEL?” To answer the research question, the following research tasks are derived: 1) Review the state of the art in classical EL and find out why the reviewed approaches are insufficient for MathEL, 2) design and evaluate supervised and unsupervised methods for MathEL, 3) design and evaluate applications of MathEL, 4) discuss the achievements and challenges to outline future work. Among the MathEL research contributions are: 1) formula classification with up to 90% accuracy, 2) semantic formula search outperforming the search engine Google, 3) formula annotation acceleration to less than half the time, 4) formula Question Answering outperforming the knowledge engine Wolfram Alpha, and 5) reliable and scalable formula question generation using a Computer Algebra System and a Knowledge Graph. Among the developed open-source demonstrators of the MathEL methods and applications are: 1) interactive visualizations of Machine Learning methods for Formula Concept (FC) discovery and recognition, 2) a formula and identifier annotation Recommender System for Wikipedia articles and STEM documents (AnnoMathTeX), 3) a semantic formula search and mathematical Question Answering system (MathQA), 4) a physics question generation and test engine (PhysWikiQuiz), and 5) an explainable fine-grained hierarchical classification system for mathematical documents (AutoMSC).
Keywords: Information Retrieval; Mathematical Information Retrieval; Machine Learning; Question Answering; Question Generation; Document Classification; Artificial Intelligence

German

Entity Linking (EL) ist eine wichtige Komponente von Information Retrieval (IR) Systemen, die abstrakte Darstellungen aus Textdokumenten extrahieren und spielt damit eine entscheidende Rolle in verschiedenen Anwendungen wie der semantischen Suche, Empfehlungssystemen, Fragenbeantwortung, Dokumentenklassifikation, Plagiatserkennung und Konversationsystemen (Chatbots). Bislang wurde in Wissenschaft und Industrie eine Vielzahl von EL-Ansätzen entwickelt. Diese sind jedoch nur für natürlichsprachliche Texte konzipiert. Dokumente aus den Fächern der Mathematik, Informatik, Naturwissenschaften und Technik (MINT) enthalten neben dem Text typischerweise viele mathematische Ausdrücke (Formeln und Bezeichner wie z. B. Variablen oder Konstanten). Mathematical Information Retrieval (MathIR) Systeme, wie beispielsweise Mathematical Question Answering (MathQA), erfordern die Verallgemeinerung von klassischen EL-Verfahren auf Mathematical Entity Linking (MathEL), also eine Verknüpfung von mathematischen Ausdrücken mit einer semantischen Wissensdatenbank, wie beispielsweise Wikidata. Um die Forschungslücke hinsichtlich des Mangels an EL-Methoden für mathematische Ausdrücke zu adressieren, verfolgt diese Arbeit das Ziel, Methoden und Anwendungen von MathEL unter Verwendung von regelbasierter künstlicher Intelligenz, maschinellem Lernen und Wikidata zu konzipieren, zu implementieren und zu evaluieren. Die Forschung wird von der folgenden Frage geleitet: "Wie können klassische EL-Methoden und -Anwendungen transformiert werden, um MathEL zu ermöglichen?" Um die Forschungsfrage zu beantworten, werden folgende Forschungsaufgaben herausgearbeitet: 1) Ermittlung des Stands der Technik in klassischem EL und Untersuchung, warum die überprüften Ansätze für MathEL unzureichend sind, 2) Entwurf und Evaluierung von überwachten und unüberwachten Methoden für MathEL, 3) Entwurf und Evaluierung von Anwendungen von MathEL, 4) Diskussion der Ergebnisse und Herausforderungen, um den Weg für zukünftige Arbeiten zu weisen. Zu den Forschungsbeiträgen von MathEL gehören: 1) Formel-Klassifikation mit bis zu 90% Genauigkeit, 2) semantische Formel-Suche mit höherer Leistungsfähigkeit als die Suchmaschine Google, 3) Formel-Annotation beschleunigt auf weniger als die Hälfte der Zeit, 4) Formel-Fragen-Beantwortung mit höherer Leistungsfähigkeit als die Wissensdatenbank Wolfram Alpha und 5) zuverlässige und skalierbare Formel-Fragen-Generierung mit Hilfe eines Computer-Algebra-Systems und eines Wissensgraphen. Zu den entwickelten Open-Source-Demonstratoren der MathEL-Methoden und MathEL-Anwendungen gehören: 1) interaktive Visualisierungen von Methoden des maschinellen Lernens für die Entdeckung und Erkennung von Formelkonzepten, 2) ein System zur Empfehlung von Formeln und Bezeichnern für Wikipedia-Artikel und MINT-Dokumente (AnnoMathTeX), 3) eine semantische Formelsuche und ein System zur Beantwortung mathematischer Fragen (MathQA), 4) ein System zur Generierung und Abfrage von Physik-Prüfungsaufgaben (PhysWikiQuiz) und 5) ein erklärbares feingranulares hierarchisches Klassifizierungssystem für mathematische Dokumente (AutoMSC).