FrontierLLMHarnessValidation

Kleines Validierungs-Repo fuer eine einzige Frage:

"Wie veraendert sich derselbe Harness, wenn OpenClaude von Opus 4.7 auf GPT-5.4 umgestellt wird?"

Scope

Nur Validierung. Kein Produkt. Kein Dashboard zuerst. Keine Meta-Architektur.

Was hier als Naechstes zu tun ist

1. Einen kleinen festen Testkatalog definieren

   • 3 bis 5 Prompts
   • gleiche Prompts fuer beide Modelle
   • gleiche Harness-Bedingungen

2. Eine minimale Run-Struktur festlegen

   • Modellname
   • Prompt
   • Antwort
   • Tool-Calls
   • Laufzeit
   • Exit/Done-Zustand
   • kurze Judge-Notiz

3. Fuer jeden Testfall zwei Runs sammeln

   • einmal OpenClaude mit Opus 4.7
   • einmal OpenClaude mit GPT-5.4

4. Die Ergebnisse als einfache JSON-Dateien abspeichern

   • noch keine Datenbank
   • noch keine komplexe Pipeline

5. Erst danach eine Auswertung bauen

   • Unterschiede markieren
   • keine Annahmen mehr, sondern echte Laeufe vergleichen

Nicht jetzt

• kein grosses Benchmark-System
• keine automatische Judge-Infrastruktur
• keine neue Multi-Agent-Architektur
• keine Website zuerst

Ziel

Von "plausibel erzaehlter Unterschied" zu "mit echten Runs belegter Unterschied".