ProfEngel commited on
Commit
eba9199
·
verified ·
1 Parent(s): 256c30c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +177 -3
README.md CHANGED
@@ -1,3 +1,177 @@
1
- ---
2
- license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # ModelCard – Gemma-3N-2B **Bilanzierungs-Experte**
2
+
3
+ ## Modellübersicht
4
+ **Modellname:** `unsloth/gemma-2-2b-it-bnb-4bit`
5
+ **Basis-Modell:** Google Gemma-2-2B-it
6
+ **Finetuning-Framework:** Unsloth
7
+ **Domäne:** deutsche Bilanzierung & Rechnungswesen
8
+
9
+ Dieses Modell wurde auf Fachfragen zu Jahresabschluss, Handels- und Steuerbilanz sowie Bilanz­theorien spezialisiert. Es liefert präzise, praxisnahe Antworten in deutscher Sprache.
10
+
11
+ ---
12
+
13
+ ## Trainingsdaten
14
+ | Merkmal | Wert |
15
+ |---------|------|
16
+ | Beispiele | 932 Frage-Antwort-Dialoge |
17
+ | Sprache | Deutsch |
18
+ | Fachgebiet| Bilanzierung, Jahresabschluss, Steuerrecht |
19
+ | Format | Strukturierte Conversational-Paare |
20
+
21
+ ### Themenabdeckung
22
+ - Bilanzaufbau, Bilanzarten
23
+ - Anlage- und Umlauf­vermögen, Finanzanlagen
24
+ - Eigenkapital, Jahresüberschuss/-fehlbetrag
25
+ - Handels- vs. Steuerbilanz, latente Steuern
26
+ - Bilanztheorien (statisch, dynamisch, organisch)
27
+ - Stille Rücklagen, Ausweis eigener Anteile
28
+
29
+ ---
30
+
31
+ ## Training-Konfiguration
32
+ | Parameter | Wert |
33
+ |-----------|------|
34
+ | GPU | NVIDIA T4 (16 GB VRAM) |
35
+ | Trainingsdauer | 85 min |
36
+ | Peak-VRAM | 10.99 GB |
37
+
38
+ ```
39
+
40
+ per_device_train_batch_size = 1
41
+ gradient_accumulation_steps = 6
42
+ num_train_epochs = 4
43
+ learning_rate = 2e-5
44
+ warmup_steps = 50
45
+ total_training_steps = 624
46
+ optimizer = "adamw_8bit"
47
+ lr_scheduler_type = "cosine"
48
+
49
+ ```
50
+
51
+ **Ergebnis-Metriken**
52
+ • Finaler Training-Loss: 1.27
53
+ • Effektive Batch Size: 6
54
+ • Trainierbare Parameter: 10.6 M (0.19 % des Modells)
55
+
56
+ ---
57
+
58
+ ## Nutzung
59
+
60
+ ### Installation
61
+ ```
62
+
63
+ pip install unsloth transformers torch
64
+
65
+ ```
66
+
67
+ ### Modell laden
68
+ ```
69
+
70
+ from unsloth import FastLanguageModel
71
+
72
+ model, tokenizer = FastLanguageModel.from_pretrained(
73
+ model_name="path/to/your/model",
74
+ max_seq_length=2048,
75
+ load_in_4bit=True,
76
+ )
77
+ FastLanguageModel.for_inference(model)
78
+
79
+ ```
80
+
81
+ ### Prompt-Beispiel
82
+ ```
83
+
84
+ template = """
85
+ Below is an instruction that describes a task, paired with an input that provides further context.
86
+ Write a response that appropriately completes the request.
87
+
88
+ ### Instruction:
89
+
90
+ {}
91
+
92
+ ### Input:
93
+
94
+ {}
95
+
96
+ ### Response:
97
+
98
+ {}
99
+ """
100
+
101
+ prompt = template.format(
102
+ "Du bist Experte für deutsches Bilanzwesen. Beantworte präzise:",
103
+ "Was ist eine Bilanz und welche Informationen liefert sie?",
104
+ "",
105
+ )
106
+
107
+ inputs = tokenizer([prompt], return_tensors="pt").to("cuda")
108
+ outputs = model.generate(
109
+ **inputs,
110
+ max_new_tokens=512,
111
+ temperature=1.0,
112
+ top_p=0.95,
113
+ top_k=64,
114
+ )
115
+ print(tokenizer.decode(outputs, skip_special_tokens=True))
116
+
117
+ ```
118
+
119
+ **Empfohlene Inferenz-Parameter**
120
+ Temperature 1.0 · Top-p 0.95 · Top-k 64 · Max 512–1 024 Tokens
121
+
122
+ ---
123
+
124
+ ## Stärken
125
+ - **Fachspezifische Terminologie**: HGB- und EStG-konform.
126
+ - **Strukturierte Antworten**: klar gegliedert, didaktisch.
127
+ - **Ressourcenschonend**: 2 B-Parameter + 4-bit-Quantisierung → geringe VRAM-Anforderungen.
128
+
129
+ ### Typische Einsatzgebiete
130
+ Aus- & Weiterbildung, erste fachliche Einschätzungen, automatisierte Q&A-Systeme im Finanz-Reporting.
131
+
132
+ ---
133
+
134
+ ## Limitierungen
135
+ - **Domänenfokus**: außerhalb des Bilanzrechts eingeschränkte Genauigkeit.
136
+ - **Keine Rechtsberatung**: ersetzt keine Steuer- oder Wirtschaftsprüfer.
137
+ - **Datenstand**: Fachinhalte bis Trainingszeitpunkt; spätere Gesetzesänderungen nicht abgedeckt.
138
+
139
+ ---
140
+
141
+ ## Technische Details
142
+ - Quantisierung: 4-Bit (BitsAndBytes)
143
+ - Kompatibel mit Unsloth & Transformers ≥ 4.40
144
+ - Inferenz ab 4 GB VRAM möglich.
145
+
146
+ ---
147
+
148
+ ## Lizenz – Apache 2.0
149
+ Dieses Modell wird unter der Apache License, Version 2.0 bereitgestellt.
150
+ Die Nutzung ist frei, auch kommerziell, bei Beibehaltung der Lizenz- und Haftungsbedingungen.
151
+
152
+ > Licensed under the Apache License, Version 2.0 (the “License”);
153
+ > you may not use this file except in compliance with the License.
154
+ > Unless required by applicable law or agreed to in writing, software
155
+ > distributed under the License is distributed on an “AS IS” BASIS,
156
+ > WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
157
+ > See the License for the specific language governing permissions and
158
+ > limitations under the License.
159
+
160
+ *Hinweis: Das zugrunde liegende Gemma-Modell unterliegt zusätzlich den Google Gemma Terms of Use.*
161
+
162
+ ---
163
+
164
+ ## Kontakt & Support
165
+ Fragen oder Feedback zum Einsatz im deutschen Bilanzwesen?
166
+ `<Ihre Kontaktadresse>`
167
+
168
+ ---
169
+
170
+ ## Haftungsausschluss
171
+ Dieses Modell dient ausschließlich Bildungs- und Informationszwecken und ersetzt keine professionelle Beratungsleistung. Entscheidungen basierend auf Modell-Ausgaben erfolgen auf eigenes Risiko.
172
+ ```
173
+
174
+ <div style="text-align: center">⁂</div>
175
+
176
+ [^1]: Bitte-die-gesamte-Modelcard-als-Markdown-ausgeben.md
177
+