title: Dependencies in Topic Delineation and Tracking
Creators: name: Struck, Alexander
Publisher: name: Humboldt-Universität zu Berlin
Year: 2025
Subjects: subject: Bibliometrie
subject: Szientometrie
subject: Themenerkennung
subject: Themenverfolgung
subject: Zitationsanalyse
subject: Reproduzierbarkeit
subject: Forschungsevaluation
subject: Infomap
subject: Louvain
subject: Leiden
subject: Forschungssoftware
subject: bibliometrics
subject: scientometrics
subject: science mapping
subject: topic delineation
subject: topic tracking
subject: citation analysis
subject: reproducibility
subject: research evaluation
subject: research assessment
subject: Infomap
subject: Louvain
subject: Leiden
subject: research software
subject: 020 Bibliotheks- und Informationswissenschaften
subject: 006 Spezielle Computerverfahren
subject: 005 Computerprogrammierung, Computerprogramme, Daten
subject: AN 96300
subject: AN 96800

description: Zitationsnetzwerke akademischer Publikationen werden zur Themenerkennung und -verfolgung mittels bibliometrischer Verfahren erstellt und zerteilt. Ergebnisse können jedoch nicht gegen eine Grundwahrheit geprüft werden. In vielen Arbeiten des Feldes fehlt es an Argumentation, Dokumentation und Validation für Entscheidungen im Prozess der Datenverarbeitung. Die Dissertation geht mit einem umfassenden Literaturreview und programmierten Experimenten in die Tiefe und identifiziert Abhängigkeiten. Diese Forschungsfragen werden beantwortet: #1 Welche Variablen beeinflussen die Themenerkennung und -verfolgung? #2 Welche Variablenwerte werden in der Literatur berichtet und wie wird gemessen? #3 In welchem Ausmaß unterscheiden sich Ergebnisse verschiedener Konfigurationen? Kapitel 1 führt in die Problematik ein und stellt Kontext her. In Kapitel 2 werden Annahmen der Bibliometrie beispielhaft seziert und das tatsächliche Zitationsverhalten aus Studien zusammengetragen. Kapitel 3 behandelt Datenquellen, deren Probleme und Selektion als Abhängigkeit. Kapitel 4 betrachtet verschiedene Aspekte von Forschungssoftware, die in bisherigen Untersuchungen als Einflussfaktor unterrepräsentiert blieb und schließt mit einem Review relevanter Software. Kapitel 5 behandelt verbreitete Datenmodelle und Algorithmen und dokumentiert Validations- und Vergleichstechniken. Im Kapitel 6 werden Ansätze zur Themenverfolgung diskutiert und Cluster Labels werden als Abhängigkeit identifiziert. Kapitel 7 zeigt die Datenquelle, Softwarekonfigurationen, Datenmodelle, Algorithmen und Vergleichsmethoden als Einflussfaktoren auf. Nur wenige Cluster ähneln sich in einer Weise, dass man vom "gleichen" Thema sprechen könnte. Die Arbeit zeigt, dass jede Prozessentscheidung Einfluss auf das Endergebnis nimmt und die weit verbreiteten Themenerkennungsstudien kaum mehr als lokale und stark subjektive Datenexplorationen sind.
description: Scholarly publications are used to construct citation-based networks and cluster algorithms are utilized to delineate topics from such networks. Topics are also investigated for development over time. Since there is no baseline, results validation is not trivial. Many scientometric publications lack argumentation, documentation and validation of decisions made in the processw. The dissertation provides an extensive literature review and reports programmed experiments for the identification of process dependencies. The following research questions are answered: #1 Which variables affect the outcome of topic delineation and tracking? #2 What variable values are reported in the literature and how are they measured? #3 To what extent does topic delineation and tracking yield different results for varied configurations? Chapter 1 introduces the situation and provides context of research evaluation. In chapter 2 we dissect assumptions and collect evidence about actual citation behavior. Chapter 3 deals with data sources, their problems and data utliziation as a dependency. Chapter 4 covers research software as an underreported dependency and reviews selected bibliometric applications. Chapter 5 discusses several suggested data models and algorithms including validation and comparison techniques. In chapter 6 we document topic tracking approaches, their influence and the cluster labels as dependencies. Chapter 7 reports the data model, software configurations, algorithms and comparison methods as dependencies. Only a miniscule number of clusters are similar enough to represent the 'same topic'. The dissertation showcases, that every decision in a topic delineation and tracking process affects the results. Scientometric topic delineation and tracking studies should be considered local and highly subjective data exploration exercises.