mc9901708/CODA19-Qwen3.5-4B-LoRA

CODA-19 – Segmentierung und Klassifikation wissenschaftlicher Abstracts (LoRA für Qwen3.5-4B)

LoRA-Adapter (QLoRA, r = 96, alpha = 192, Checkpoint 1375) für Qwen/Qwen3.5-4B. Das Modell erhält ein wissenschaftliches Abstract als Fließtext, zerlegt es selbst in Segmente, ordnet jedes einem von fünf Forschungsaspekten zu (Hintergrund, Ziel, Methode, Ergebnis, Sonstiges) und verweist auf die passende Codebuch-Stelle.

Ergebnis auf 400 Test-Abstracts: 76,14 % → 88,18 % richtig klassifizierte Segmente (Basismodell → Fine-Tuned); mit Segmentierung bewertet (Grenzen und Label müssen stimmen) 22,7 % → 87,4 %.

Daten, Notebook und Auswertung: https://github.com/mc990-ai/CODA19-Qwen3.5-4B

Laden

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.5-4B", torch_dtype="auto", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3.5-4B")
model = PeftModel.from_pretrained(base, "mc9901708/CODA19-Qwen3.5-4B-LoRA")

Trainiert wurde mit 4-Bit-Quantisierung (NF4). Prompt-Format und Auswertung stehen im Notebook.

Daten und Lizenz

Die Adapter-Gewichte stehen wie das Basismodell unter Apache 2.0. Trainiert wurde auf CODA-19 (Huang et al., 2020); die Abstracts stammen aus CORD-19, für sie gelten die Lizenzen der jeweiligen Originalpaper.