Aspect-based Document Similarity for Literature Recommender Systems

by Malte Ostendorff née Schwarzer
Doctoral thesis
Date of Examination:2023-04-25
Date of issue:2023-06-20
Advisor:Prof. Dr. Bela Gipp
Referee:Prof. Dr. Bela Gipp
Referee:Ph.D Martin Klein
Referee:Prof. Dr. Sack Harald
Persistent Address: http://dx.doi.org/10.53846/goediss-9937

 

 

Files in this item

Name:thesis_digital_without_cv.pdf
Size:5.38Mb
Format:PDF

The following license files are associated with this item:

Abstract

English

Literature recommendation systems assist readers in the discovery of relevant documents. Content-based systems recommend documents similar to the currently viewed document. However, the simple distinction between similar and dissimilar documents neglects the many aspects that make documents similar. For instance, two scientific papers may use a similar methodology while covering different research problems. Current document similarity measures are aspect-free, i.e., they cannot differentiate between specific aspects of the document content. To address this limitation, this thesis proposes aspect-based document similarity for literature recommendations. By incorporating aspect information, recommendations can account for specific aspects of the document content. This thesis makes three contributions: First, it evaluates document representations and similarity measures and demonstrates that the lack of aspect information notably impacts recommendations. Second, it designs a new scientific document representation method that improves upon the state-of-the-art. Third, it designs two approaches for aspect-based document similarity that address the limitations of aspect-free similarity. The thesis evaluates existing document similarity methods, focussing on methods that use graph and text information. The qualitative and quantitative evaluations reveal that although the overall user satisfaction is comparable between the two information sources, users perceive the recommendations from these sources as different. Therefore, the choice of similarity measures affects the generated recommendations, i.e., they implicitly address different aspects. Furthermore, the thesis designs a novel scientific document representation method. The method is called SciNCL and relies on citation graph embeddings to select the most informative samples for the contrastive fine-tuning of a text-based document encoder. SciNCL achieves state-of-the-art results and is applicable for both aspect-free and aspect-based similarity. Subsequently, the thesis first designs an aspect-based document similarity measure based on a pairwise multi-class classification approach. Unlike aspect-free similarity, which is a pairwise binary document classification - similar or not, the extension to a multi-class classification allows measuring similarity for a given aspect. The pairwise classification approach is implemented and evaluated for Wikipedia articles and scientific literature. The thesis also implements a second approach using specialized document representations to further improve the efficiency of aspect-based similarity. By formulating aspect-based similarity as a vector similarity problem in aspect-specific embedding spaces, aspect information is encoded only once per document and aspect. This makes the approach scale linearly with the corpus size. Further evaluations reveal that aspect-free representations have an implicit bias towards one aspect, confirming the problem of missing aspect information. The specialized document representations mitigate potential risks from implicit biases by making them explicit and controllable. Finally, the practicality of aspect-based document similarity is demonstrated with a prototypical research paper recommender system. The prototype provides diverse recommendations from different aspects and recommendations tailored to specific aspects.
Keywords: Document similarity; Recommender systems; Aspect; Literature

German

Literaturempfehlungssysteme unterstützen den Leser relevanten Dokumente zu finden. Dabei nutzen inhaltsbasierte Systeme sog. Dokumentenähnlichkeitsmaße. Die alleinige Unterscheidung zwischen ähnlichen und unähnlichen Dokumenten vernachlässigt jedoch die vielen Aspekte, die Dokumente ähnlich machen. So können beispielsweise wissenschaftliche Artikel ähnlich in ihrer Methodik aber unterschiedlich in dem behandelten Problem sein. Heutige Dokumentenähnlichkeitsmaße sind aspektfrei, d.h. sie unterscheiden nicht zwischen Aspekten des Dokumentinhalts. Um dieses Problem zu adressieren, schlägt diese Arbeit eine aspektbasierte Dokumentenähnlichkeit vor. Die Einbeziehung von Aspekten ermöglicht Empfehlungen für bestimmte Aspekte des Dokumentinhalts. Diese Arbeit leistet drei Forschungsbeiträge: Erstens werden Dokumentrepräsentationen und Ähnlichkeitsmaße evaluiert und es wird gezeigt, dass das Fehlen von Aspektinformationen Empfehlungen beeinträchtigt. Zweitens wird eine Methode zur Dokumentenrepräsentation entwickelt, die den Stand der Technik verbessert. Drittens werden zwei Ansätze zur aspektbasierten Dokumentenähnlichkeit entwickelt, die die genannten Probleme adressieren. Die Arbeit evaluiert Dokumentenähnlichkeitsmaße, die Graph- bzw. Textinformationen verwenden. Die Evaluationen zeigen, dass die Nutzerzufriedenheit zwischen den beiden Informationsquellen zwar vergleichbar ist, die Nutzer aber die Empfehlungen aus diesen Quellen als unterschiedlich wahrnehmen. Daher beeinflusst die Wahl der Ähnlichkeitsmaße die generierten Empfehlungen, d.h. sie adressieren implizit unterschiedliche Aspekte. Außerdem entwickelt die Arbeit eine Repräsentationsmethode für wissenschaftliche Artikel. Die Methode mit dem Namen SciNCL nutzt Contrastive Learning und Embeddings des Zitationsgraphen, um einen Dokumentenkodierer zu trainieren. SciNCL verbessert den Stand der Technik und ist sowohl für aspektfreie als auch aspektbasierte Dokumentenähnlichkeit anwendbar. Anschließend wird zunächst ein aspektbasiertes Dokumentenähnlichkeitsmaß entwickelt, das auf einem paarweisen Mehrklassen-Klassifikationsansatz beruht. Im Gegensatz zur aspektfreien Ähnlichkeit, bei der es sich um eine paarweise binäre Dokumentenklassifikation handelt, ermöglicht die Mehrklassenklassifikation die Messung der Ähnlichkeit für einen bestimmten Aspekt. Der Klassifikationsansatz wird für Wikipedia und wissenschaftliche Artikel implementiert und evaluiert. Die Arbeit implementiert auch einen zweiten Ansatz mit verbesserter Effizienz, der auf speziellen Dokumentrepräsentationen basiert. Die aspektbasierte Ähnlichkeit wird als Vektorähnlichkeitsproblem in aspektspezifischen Embedding Spaces formuliert, dadurch werden die Aspektinformationen nur einmal pro Dokument und Aspekt kodiert. Weitere Evaluationen zeigen, dass aspektfreie Repräsentationen eine implizite Tendenz zu einem der Aspekte aufweisen, was das Problem der fehlenden Aspektinformationen bestätigt. Die spezialisierten Dokumentrepräsentationen machen diese Tendenzen explizit und somit kontrollierbar. Schließlich wird die Anwendbarkeit der aspektbasierten Dokumentenähnlichkeit anhand eines prototypischen Empfehlungssystems für wissenschaftliche Artikel demonstriert. Der Prototyp bietet nicht nur vielfältige Empfehlungen zu unterschiedlichen Aspekten, sondern auch auf bestimmte Aspekte zugeschnittene Empfehlungen.
 
Statistik