DOI: 10.5281/zenodo.18451988
title: Qualitative Frame-Sensitivitätsanalyse von Entscheidungsargumentation großer Sprachmodelle- Qualitative Frame-Sensitivity Analysis of LLM Decision Reasoning

description: Qualitative Frame-Sensitivitätsanalyse von Entscheidungsargumentation großer Sprachmodelle

 

Dieser Datensatz dokumentiert eine qualitative Inhaltsanalyse zur Frame-Sensitivität von KI-Modellen bei Entscheidungsaufgaben unter Unsicherheit. Untersucht wurden drei große Sprachmodelle (K3, K4, K5), die jeweils dreimal mit derselben Entscheidungssituation konfrontiert wurden. Die Aufgabe beschreibt klare kurzfristige Effizienzvorteile bei gleichzeitig unsicheren, potenziell systemischen Langzeitfolgen unter unvollständiger Datenlage. Zur gezielten Strukturierung der Antworten wurden drei Modi (A1, B1, C1) eingesetzt, die sich im Grad der Explikation von Annahmen, Unsicherheiten und Bedingungen für Handeln unterscheiden.

Die Analyse fokussiert ausschließlich auf beobachtbare inhaltliche Muster und folgt einem mehrstufigen qualitativen Vorgehen bestehend aus Intra-Modell-Vergleich, Inter-Modell-Vergleich und Gesamtsynthese. Ergänzend wird ein formaler Markerkatalog verwendet, um stabile und variable Inhaltsdimensionen systematisch zu erfassen, darunter Entscheidungsformat, Entscheidungsontologie, Umgang mit Unsicherheit und Nicht-Wissen, temporale Tiefenstruktur, Reversibilität, Status von Nicht-Handeln sowie Frame-Reflexivität.

Die Ergebnisse zeigen, dass alle untersuchten Modelle unter identischen Frames konsistent nicht-binäre, prozesshafte und reversible Entscheidungsstrukturen ausbilden. Unterschiede zeigen sich nicht primär in den benannten Inhalten, sondern in deren interner Strukturierung, insbesondere im Umgang mit tiefer Unsicherheit, der Rolle systemischer Effekte und der expliziten Behandlung von Nicht-Handeln. Bestimmte Inhaltskerne erweisen sich als frame-stabil, während andere Merkmale klar frame-sensitiv sind.

Der Datensatz stellt eine reproduzierbare, nicht-bewertende Referenz für qualitative Forschung zu Frame-Effekten in KI-generierter Entscheidungsargumentation dar. Er ist anschlussfähig für methodische Arbeiten jenseits von Rankings und Benchmarks sowie für weiterführende Re-Kodierungen, etwa zur Tiefe der Frame-Übernahme, zu existenzlogisch relevanten Markern oder zur systematischen Untersuchung von Prompt-Architekturen, ohne neue Datenerhebung zu erfordern.

Der vollständige Datensatz, die Methodik und die Analysen sind in den beigefügten Dokumenten enthalten.

 

________

English translation:

 

Qualitative Frame-Sensitivity Analysis of LLM Decision Reasoning

 

This dataset documents a qualitative content-level analysis of frame sensitivity in AI models addressing decision tasks under uncertainty. 

 

Three large language models (K3, K4, K5) were examined, each responding three times to the same decision scenario. The task describes clear short-term efficiency benefits alongside uncertain and potentially systemic long-term consequences under conditions of incomplete data. To deliberately structure the responses, three modes (A1, B1, C1) were applied, differing in the explicitness of assumptions, uncertainty handling, and conditions for action.

 

The analysis focuses exclusively on observable content patterns and follows a multi-stage qualitative procedure consisting of intra-model comparison, inter-model comparison, and overall synthesis. A formal marker catalog is used to systematically capture stable and variable content dimensions, including decision format, decision ontology, handling of uncertainty and non-knowledge, temporal depth structure, reversibility, the status of non-action, and frame reflexivity.

 

The results show that all examined models consistently develop non-binary, process-oriented, and reversible decision structures under identical frames. 

 

Differences do not primarily concern the content elements named, but rather their internal structuring, particularly with regard to the treatment of deep uncertainty, the role of systemic effects, and the explicit handling of non-action. Certain content cores prove to be frame-stable, while other characteristics are clearly frame-sensitive.

 

The dataset provides a reproducible, non-evaluative reference resource for qualitative research on framing effects in AI-generated decision reasoning. It supports methodological work beyond rankings and benchmarks and enables further re-coding efforts, such as analyses of frame uptake depth, existentially relevant markers, or systematic investigations of prompt architectures, without requiring additional data collection.

 

The full dataset, methodology, and analyses are provided in the attached documents.