jev-maboto: Qwen3-1.7B LoRA für Produktkategorisierung

LoRA-Adapter für Qwen3-1.7B (MLX, 4bit), feingetunt auf eine einzige, eng umrissene Aufgabe: Supermarkt- Angebote einer von 13 Produktgruppen zuordnen, als Teil eines lokalen Nachbaus des Jev-Entscheidungsmodell-Prinzips (Choice/Noul/Score über Grammar-Constrained Decoding + Logprobs-Renormalisierung statt Tool-Calling gegen ein Chat-Modell).

Entstanden im Kontext von maboto, einem Open-Source-Marktbeobachtungstool. Details zur Architektur, den Experimenten und den Grenzen dieses Adapters stehen in der maboto-README.

Training

• Basis: mlx-community/Qwen3-1.7B-4bit
• LoRA, Rang 8, 16 Layer, 600 Iterationen, Lernrate 1e-5
• Trainingsdaten: 1219 echte, von einem staerkeren lokalen Modell (Qwen3-4B-Instruct, zero-shot) gelabelte Supermarkt-Angebote aus vier deutschen Staedten (Hilden, Frankfurt, Berlin, Hamburg), plus 89 handkuratierte Beispiele zur Balance seltener Kategorien
• Bestes Checkpoint per Val-Loss-Minimum ausgewaehlt (nicht das letzte)

Ergebnis -- und die ehrliche Grenze

Auf einem manuell verifizierten 5-Fälle-Testset: 5/5 korrekt. Im Live-Test an 2091 echten Angeboten: Unsicher-Quote von 56 % (Baseline ohne dieses Training) auf 27 % gesunken -- aber ein Kernfehlertyp (Fleischprodukte mit irrefuehrenden Namen wie "Kasseler Lachsbraten", wo "Lachs" ein Fachbegriff fuer einen Fleisch-Zuschnitt ist, nicht das Fischprodukt) blieb teilweise bestehen, auch wenn das exakte Beispiel korrekt im Training stand.

Ein direkter Vergleich mit echtem Jev (TypeSafe AI) loeste denselben Fehlertyp zuverlässiger -- dieser Adapter ist ein dokumentiertes Lernexperiment, keine produktionsreife Loesung. Die interessantere Erkenntnis war methodisch: rohe Modell-Konfidenz ist ohne nachtraegliche Kalibrierung (z. B. Platt-Scaling) irrefuehrend -- Details dazu in der maboto-README.

Verwendung

Muss ins Basismodell eingeschmolzen (mlx_lm.fuse) und/oder direkt via mlx_lm.generate --adapter-path . mit dem Basismodell geladen werden. Der Prompt muss exakt dem Format entsprechen, mit dem trainiert wurde (13 Produktgruppen als Buchstaben-Optionen A-M) -- siehe jev_local.py im maboto-Repo fuer die Prompt-Konstruktion.

Lizenz

Apache 2.0, wie das Basismodell.