title: Probing the validity of topic reconstruction methods
Creators: name: Held, Matthias
Publisher: name: Technische Universität Berlin
Year: 2024
Subjects: subject: 000 Informatik, Informationswissenschaft, allgemeine Werke::020 Bibliotheks- und Informationswissenschaften::020 Bibliotheks- und Informationswissenschaften
subject: bibliometrics
subject: sociology of science
subject: science studies
subject: topics
subject: algorithms
subject: Bibliometrie
subject: Wissenschaftssoziologie
subject: Wissenschaftsforschung
subject: Topics
subject: Algorithmen

description: This dissertation is situated at the intersection of the sociology of science, which examines the social organization within the scientific domain, and bibliometrics, dedicated to the quantitative assessment of scientific output. It acknowledges the intrinsic structure of science with researchers and knowledge co-influencing each other. Notably, both the sociology of science and bibliometrics have a small, yet existing and relevant overlap in the questions they are interested in regarding this structure. A common interest includes to find out on what communities of scientists are working on thematically, and the associated dynamics. In order for both specialties to be able to make knowledge claims on these scientific sub-structures, or communities, these structures first need to be delineated. Proper delineation represents a nearly impossible, yet very necessary task. One concept that appears appropriate to grasp these substructures is that of topic. If it would be possible to acceptably reconstruct topics in science with the help of bibliometric data, this would engender a whole bunch of interesting, new research questions for the sociology of science, e.g. questions about epistemic properties or epistemic diversity of scientific communities. This thesis thus interrogates the feasibility of such reconstruction, contributing both conceptual and methodological novelties for the task of topic reconstruction. Conceptually, this work explicitly discussed the questions involved in validating science mapping with the accompanied challenges and possible future avenues to follow. Throughout the thesis, the same concept of topic is used and operationalized, which engenders avenues towards validating topic reconstruction results and allows future research to build on what was done here. Methodologically, the contributions include (1) the first confrontation of science mapping results with ground truths for topics, (2) a sociologically-informed comparison of a local map of a specialty with a global science map, (3) an analysis of the suitability of commonly used topic reconstruction algorithms, based on sociological theory, and (4) a proposal of a new local bibliometric algorithm that is the first to meet the criteria for algorithms which operationalize a sociological concept of topic. Results of the dissertation indicate that there is a lot of potential to adjust the methodical tools currently used for topic reconstruction to what is known on topics in sociological theory. Currently, a mismatch between the two has to be diagnosed. It could be shown that it is possible to reflect on the tools used in bibliometrics and that there might be a huge necessity to do so. Regarding the general question of the thesis on the possibility of topic reconstruction, the following has to be said: (a) To answer this question, a joint effort for cumulative knowledge generation is needed, which in turn requires to jointly talk of the same concept, or at least making the concept explicit, and to have more ground truth data to compare results with; (b) some topics in science can likely be reconstructed quite well, others might evade the bibliometric access; to allow ‘anything goes’ for all topics, i.e. all topics are treated equally, does not appear realistic; (c) we likely get closer to reconstructing valid representations of topics when the methods used would be improved/changed; currently, methods used evade any theoretical justification; (d) local algorithms appear very promising for topic reconstruction and should be developed further.
description: Diese Dissertation kann an der Schnittstelle von Wissenschaftssoziologie und Bibliometrie verortet werden. Erstere untersucht die soziale Organisation der Wissenschaft und letztere befasst sich mit der Messung und Auswertung quantitativer Daten zu Publikationen. Weiterhin baut diese Dissertation auf der Erkenntnis auf, dass Forscher und Wissen sich gegenseitig beeinflussen. Sowohl die Wissenschaftssoziologie als auch die Bibliometrie haben eine kleine, aber relevante Überschneidung bei den Fragen, die sie in Bezug auf diese von Forschern erzeugten, thematischen Strukturen interessieren. Ein gemeinsames Interesse besteht darin, herauszufinden, woran wissenschaftliche Gemeinschaften arbeiten und welche Dynamik damit verbunden ist. Damit beide Fachrichtungen Erkenntnisse darüber gewinnen können, müssen thematische Strukturen zunächst abgegrenzt werden. Die letzten Jahrzehnte der Bibliometrie haben die Schwierigkeit der Aufgabe einer korrekten Abgrenzung deutlich gemacht, aber auch die Wichtigkeit und Notwendigkeit dessen immer wieder gezeigt. Im Besonderen das Konzept eines topic als elementarer Begriff der Wissenschaftssoziologie wird in dieser Dissertation genutzt, operationalisiert und dessen Erfassung bzw. Rekonstruktion kritisch beleuchtet. Die Relevanz der Möglichkeit der Rekonstruktion von Topics mithilfe der Bibliometrie ergibt sich daher, weil sich bei einem positiven Befund eine ganze Reihe interessanter neuer Forschungsfragen für die Wissenschaftssoziologie ergeben würden. Dies seien zum Beispiel Fragen zu epistemischen Eigenschaften oder epistemischer Diversität von Fachgemeinschaften. Die vorliegende Arbeit fragt nach der Machbarkeit einer solchen Rekonstruktion und trägt sowohl konzeptionelle als auch methodische Neuerungen für die Aufgabe der topic reconstruction bei. In konzeptioneller Hinsicht wurden in dieser Dissertation ausdrücklich die Fragen erörtert, die mit der Validierung des science mapping verbunden sind, sowie die damit einhergehenden Herausforderungen und möglichen zukünftigen Ansätze. In der gesamten Arbeit wird derselbe Begriff des topics verwendet und operationalisiert, was Wege zur Validierung der Ergebnisse der topic reconstruction eröffnet und es der zukünftigen Forschung ermöglicht, auf der vorliegenden Arbeit aufzubauen. Methodisch umfassen die Beiträge (1) die erste Gegenüberstellung der Ergebnisse eines science mapping mit ground truths für Topics, (2) einen soziologisch informierten Vergleich einer lokalen map eines Fachgebiets mit einer globalen science map, (3) eine Analyse der Eignung der typischen topic reconstruction Algorithmen auf der Grundlage wissenschaftssoziologischer Theorie und (4) einen Vorschlag für einen neuen, lokalen bibliometrischen Algorithmus, der als erster die Kriterien für Algorithmen erfüllt, die ein soziologisches Konzept von topic operationalisieren. Die Ergebnisse der Dissertation deuten auf eine Machbarkeit als auch auf eine Notwendigkeit hin, das derzeit verwendete Instrumentarium der Bibliometrie zur topic reconstruction an die Erkenntnisse der soziologischen Theorie anzupassen. Gegenwärtig lässt sich eine Diskrepanz zwischen beiden erkennen. Zur allgemeinen Frage der Dissertation nach der Möglichkeit der topic reconstruction ist folgendes zu sagen: (a) Zur Beantwortung dieser Frage ist ein gemeinsamer Ansatz nötig, welcher zur kumulativen Erzeugung von Wissen zur topic reconstruction erforderlich ist; dies wiederum setzt voraus, dass man gemeinsam über ein geteiltes Konzept spricht oder zumindest das Konzept expliziert; und dass mehr ground truths zur Verfügung stehen, mit denen man die Ergebnisse vergleichen kann; (b) einige topics in der Wissenschaft können wahrscheinlich recht gut rekonstruiert werden, andere entziehen sich dem bibliometrischen Zugriff; dass methodische Ansätze darauf ausgelegt werden. alle topics rekonstruieren zu wollen, d. h. alle topics gleich zu behandeln, erscheint sehr fragwürdig; (c) es scheint so, dass eine valide Repräsentationen von topics eher erreichbar ist, wenn die aktuell verwendeten Methoden verbessert bzw. angepasst werden; derzeit entziehen sich die verwendeten Methoden jeder theoretischen Rechtfertigung; (d) die Nutzung lokaler Algorithmen als topic reconstruction algorithms erscheint sehr vielversprechend zu sein und sollte weiter verfolgt werden.