Upload folder using huggingface_hub

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+ggml-model-Q6_K.gguf filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,123 @@
+---
+language:
+- de
+base_model:
+- mistralai/Mistral-7B-v0.1
+- hiig-piai/simba-v01c
+- OpenPipe/mistral-ft-optimized-1227
+- DRXD1000/Phoenix
+- VAGOsolutions/SauerkrautLM-7b-LaserChat
+- DiscoResearch/DiscoLM_German_7b_v1
+library_name: transformers
+license: apache-2.0
+model_name: VerwaltungsAnthologie_talky
+model_type: mistral
+pipeline_tag: text-generation
+prompt_template: '### System: Hallo! Du bist eine höfliche KI-Assistenz und hilfst dem User, Texte besser zu verstehen. ### User Prompt: BEGININPUT § 1 PodG \n (1) Wer die Berufsbezeichnung "Podologin" oder "Podologe" führen will, bedarf der Erlaubnis. ENDINPUT BEGININSTRUCTION Schreibe ein kurzes Résumée zu diesem § mit einfachen Worten. ENDINSTRUCTION ### Model Answer: '
+tags:
+- mergekit
+- merge
+- german
+- mistral
+- deutsch
+
+---
+# BEWARE – this model is experimental ONLY!
+
+This is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit) – it is built for experimental purposes only as I am too dumb how to fix all those different 'promptings' and BOS/EOS-token mixtures due the merges.
+
+## Main Idea behind this model
+This model has been created by merging different german language specialized models to fulfill possible "downstream" tasks as an "instruct"-model for german based texts like "Write a Résumée", "Name the Top-10 keywords" and so on…
+It is not really a "Chatbot".
+
+## Merge Details
+
+As many models emerge at the moment, I got also inspired to test several different combinations of mainly german based and/or finetuned models that have not yet been tested. While doing those first experiments, the first series of models like latest [hiig-piai/simba-v01c](https://huggingface.co/hiig-piai/simba-v01c) by HIIG emerged with the purpose of writing "shorter" and "easier" written summaries.
+
+Being an enthusiast and working for a company that supports only the public administration sector and legislative institutions in germany there always is the problem to 'translate' words and sentences between "bureaucratic" language vs. "regular" language everybody uses and/or even understands it. Especially even more if we start talking about the "juridical" (legal) language. I thought it might be worth a try to combine a specialised fine-tuned experimental model like [hiig-piai/simba-v01c](https://huggingface.co/hiig-piai/simba-v01c) out of scope (as the Humboldt team mentioned) with several of the other finetuned models for the german language. That was also the reason to name this model like "BureaucraticAnthology" (VerwaltungsAnthology) instead of "MistralLaserKrautSimbaPhoenix1227Disco-7B" (or something like that …).
+
+This experimental model is a bit "talkier" than my unreleased "clear"-version as [DiscoResearch/DiscoLM_German_7b_v1](https://huggingface.co/DiscoResearch/DiscoLM_German_7b_v1) seems to push the 'character' into a short 'Logorrhea' – I am not capable of changing the EOS-tokens as all models used are very different for prompting and tokenisation.
+
+It took me 10 tries of different mergings to get a combination that seems to work – this "talky" one was only the addition of a fifth model after I finished the (unreleased) "clear" model.
+
+### Merge Method
+
+This model was merged using the [DARE](https://arxiv.org/abs/2311.03099) [TIES](https://arxiv.org/abs/2306.01708) merge method using [mistralai/Mistral-7B-v0.1](https://huggingface.co/mistralai/Mistral-7B-v0.1) as a base.
+
+### Models Merged
+
+The following models were included in the merge:
+* [hiig-piai/simba-v01c](https://huggingface.co/hiig-piai/simba-v01c)
+* [OpenPipe/mistral-ft-optimized-1227](https://huggingface.co/OpenPipe/mistral-ft-optimized-1227)
+* [DRXD1000/Phoenix](https://huggingface.co/DRXD1000/Phoenix)
+* [VAGOsolutions/SauerkrautLM-7b-LaserChat](https://huggingface.co/VAGOsolutions/SauerkrautLM-7b-LaserChat)
+* [DiscoResearch/DiscoLM_German_7b_v1](https://huggingface.co/DiscoResearch/DiscoLM_German_7b_v1)
+
+### Configuration
+
+The following YAML configuration was used to produce this model:
+
+```models:
+  - model: mistralai/Mistral-7B-v0.1
+    # No parameters necessary for base model
+  - model: VAGOsolutions/SauerkrautLM-7b-LaserChat
+    parameters:
+      density: 0.53
+      weight: 0.1875
+  - model: hiig-piai/simba-v01c
+    parameters:
+      density: 0.53
+      weight: 0.25
+  - model: DRXD1000/Phoenix
+    parameters:
+      density: 0.53
+      weight: 0.1875
+  - model: OpenPipe/mistral-ft-optimized-1227
+    parameters:
+      density: 0.53
+      weight: 0.1875
+  - model: DiscoResearch/DiscoLM_German_7b_v1
+    parameters:
+      density: 0.53
+      weight: 0.1875
+merge_method: dare_ties
+base_model: mistralai/Mistral-7B-v0.1
+parameters:
+  int8_mask: true
+dtype: bfloat16
+name: VerwaltungsAnthologie_talky_7B
+```
+
+## Examples
+Based upon my hobbies I rechecked some of those possible sources where "readable" summaries could become a real help – as long as there are no free and curated summaries available.
+
+Using a local llama.cpp-server-instanza with a Q6.GGUF (I can not afford a real GPU - just kidding – this is a sustainabilty debate ;) – and I do always test with a temperature of "0.0" to check the most realistic summary hoping that the system will not start to hallucinate. The full example including the prompts (btw. DiscoLM-based) is in the /examples/ folder.
+
+### Server
+```
+llama.cpp/build/bin/server -m ./VerwaltungsAnthologie_talky_7B/ggml-model-Q6_K.gguf -c 4096 --override-kv tokenizer.ggml.add_eos_token=bool:true
+```
+
+### Client
+```
+curl -s /dev/null 127.0.0.1:8080/completion -H "Content-Type: application/json" -d '{"temperature": 0.0, "n_predict": 2048, "n_keep": 4096, "cache_prompt": true, "prompt": '"$( cat ./examples/example_34c_gewo.txt | jq --raw-input --slurp . )"'}' | jq '.content' ; echo;
+```
+
+### Example #1 - the short stuff
+I prepared a short example taken from the pages of official german legislation: [§ 1 Podologiegesetz (PodG)](https://www.gesetze-im-internet.de/podg/__1.html)
+
+| Answer §1 PodG - "talky" | Answer §1 PodG - "clean" |
+| -------- | -------- |
+| "§ 1 PodG regelt die Berufsbezeichnung \"Podologin\" oder \"Podologe\". Wer diese Bezeichnung führen will, benötigt eine Erlaubnis. Die Bezeichnungen \"Medizinische Fußpflegerin\" oder \"Medizinischer Fußpfleger\" dürfen nur von Personen mit einer Erlaubnis nach Satz 1 oder einer Berechtigung oder staatlichen Anerkennung nach § 10 Abs. 1 geführt werden.\n\nPodologinnen und Podologen aus Vertragsstaaten des Europäischen Wirtschaftsraumes können die Berufsbezeichnung ohne Erlaubnis führen, wenn sie ihre Tätigkeit als vorübergehende und gelegentliche Dienstleistung im Sinne des Artikels 50 des EG-Vertrages ausüben. Sie unterliegen jedoch der Meldepflicht und Nachprüfung nach diesem Gesetz. Gleiches gilt für Drittstaaten und Drittstaatsangehörige, soweit sich hinsichtlich der Anerkennung von Ausbildungsnachweisen nach dem Recht der Europäischen Gemeinschaften eine Gleichstellung ergibt." | § 1 PodG regelt die Berufsbezeichnung \"Podologin\" oder \"Podologe\". Wer diese Bezeichnung führen will, benötigt eine Erlaubnis. Die Bezeichnung \"Medizinische Fußpflegerin\" oder \"Medizinischer Fußpfleger\" darf nur von Personen mit einer Erlaubnis nach Satz 1 oder einer Berechtigung oder staatlichen Anerkennung nach § 10 Abs. 1 geführt werden. Podologinnen und Podologen, die Staatsangehörige eines Vertragsstaates des Europäischen Wirtschaftsraumes sind, führen diese Berufsbezeichnung im Geltungsbereich dieses Gesetzes ohne Erlaubnis, sofern sie ihre Berufstätigkeit als vorübergehende und gelegentliche Dienstleistung im Sinne des Artikels 50 des EG-Vertrages im Geltungsbereich dieses Gesetzes ausüben. Sie unterliegen jedoch der Meldepflicht und Nachprüfung nach diesem Gesetz. Gleiches gilt für Drittstaaten und Drittstaatsangehörige, soweit sich hinsichtlich der Anerkennung von Ausbildungsnachweisen nach dem Recht der Europäischen Gemeinschaften eine Gleichstellung ergibt. |
+
+### Example #2 - the long stuff
+(todo - as the short stuff is not really shorter – it worked better with longer original texts)
+
+## Thanks to
+(todo - a very VERY long list mentioning all those people and projects that have already pushed the german language as far as now into this N-dimensional vectorized world)
+
+## LICENSING
+(todo – something something hopefully based upon all licenses everyone can use)
+
+## Tests
+(todo – but is a regular german ROUGE-test really the appropriate idea for that?)

VerwaltungsAnthologie_talky_7B.yaml

@@ -0,0 +1,35 @@
+# Real 2nd place – with Disco it gets a bit too 'talky'.
+# works but never stops
+models:
+  - model: mistralai/Mistral-7B-v0.1
+    # No parameters necessary for base model
+  - model: VAGOsolutions/SauerkrautLM-7b-LaserChat
+    parameters:
+      density: 0.53
+      weight: 0.1875
+  - model: hiig-piai/simba-v01c
+    parameters:
+      density: 0.53
+      weight: 0.25
+  - model: DRXD1000/Phoenix
+    parameters:
+      density: 0.53
+      weight: 0.1875
+  - model: OpenPipe/mistral-ft-optimized-1227
+    parameters:
+      density: 0.53
+      weight: 0.1875
+  - model: DiscoResearch/DiscoLM_German_7b_v1
+    parameters:
+      density: 0.53
+      weight: 0.1875
+merge_method: dare_ties
+base_model: mistralai/Mistral-7B-v0.1
+parameters:
+  int8_mask: true
+dtype: bfloat16
+name: VerwaltungsAnthologie_talky_7B
+
+# Example source: https://www.bsi.bund.de/dok/10990030
+# 1st example: Informationssicherheit ist ein wichtiges Thema für Unternehmen und Behörden. Es gibt viele Herausforderungen, wie z.B. die Komplexität der Gefährdungslage, die Ganzheitlichkeit der Sicherheitskonzepte, das Zusammenwirken der Sicherheitsmaßnahmen, die Angemessenheit der Sicherheitsmaßnahmen, die Erfüllung externer Anforderungen und die Nachhaltigkeit der Sicherheitsmaßnahmen. Der IT-Grundschutz des BSI bietet eine gute Grundlage für diese Herausforderungen. Es ermöglicht systematische Schwachstellen-Suche, Angemessenheitsprüfung und Sicherheitskonzeptentwicklung. Die Sicherheitsmaßnahmen sollten an den Geschäftsprozessen, Fachaufgaben und Organisationsstrukturen der Institution passen und allgemein anerkannten Standards genügen.
+# 2nd example: Informationssicherheit ist ein komplexes Thema, das viele Herausforderungen mit sich bringt. Es geht um die Sicherheit von Informationen und Systemen vor verschiedenen Gefahren wie Hackerangriffen, Fahrlässigkeiten oder technischen Mängeln. Informationssicherheit betrifft nicht nur IT-Systeme, sondern auch Organisationen, Personal, Räumlichkeiten, Arbeitsplätze und Abläufe. Es ist wichtig, dass alle Sicherheitsmaßnahmen zusammenarbeiten und auf die jeweilige Institution zugeschnitten sind. Die Maßnahmen sollten angemessen sein und nicht überfordern. Unternehmen und Behörden müssen auch externen Anforderungen gerecht werden, indem sie ihre Vorkehrungen an allgemein anerkannten Standards ausrichten. Informationssicherheit ist ein fortlaufender Prozess, der sich an die Veränderungen in Unternehmen und Behörden anpasst. Der IT-Grundschutz des BSI bietet eine gute Grundlage für diese Herausforderungen.

config.json

@@ -0,0 +1,26 @@
+{
+  "_name_or_path": "mistralai/Mistral-7B-v0.1",
+  "architectures": [
+    "MistralForCausalLM"
+  ],
+  "attention_dropout": 0.0,
+  "bos_token_id": 1,
+  "eos_token_id": 2,
+  "hidden_act": "silu",
+  "hidden_size": 4096,
+  "initializer_range": 0.02,
+  "intermediate_size": 14336,
+  "max_position_embeddings": 32768,
+  "model_type": "mistral",
+  "num_attention_heads": 32,
+  "num_hidden_layers": 32,
+  "num_key_value_heads": 8,
+  "rms_norm_eps": 1e-05,
+  "rope_theta": 10000.0,
+  "sliding_window": 4096,
+  "tie_word_embeddings": false,
+  "torch_dtype": "bfloat16",
+  "transformers_version": "4.37.2",
+  "use_cache": true,
+  "vocab_size": 32000
+}

examples/answer_1_PodG_talky.txt

@@ -0,0 +1 @@
+"§ 1 PodG regelt die Berufsbezeichnung \"Podologin\" oder \"Podologe\". Wer diese Bezeichnung führen will, benötigt eine Erlaubnis. Die Bezeichnungen \"Medizinische Fußpflegerin\" oder \"Medizinischer Fußpfleger\" dürfen nur von Personen mit einer Erlaubnis nach Satz 1 oder einer Berechtigung oder staatlichen Anerkennung nach § 10 Abs. 1 geführt werden.\n\nPodologinnen und Podologen aus Vertragsstaaten des Europäischen Wirtschaftsraumes können die Berufsbezeichnung ohne Erlaubnis führen, wenn sie ihre Tätigkeit als vorübergehende und gelegentliche Dienstleistung im Sinne des Artikels 50 des EG-Vertrages ausüben. Sie unterliegen jedoch der Meldepflicht und Nachprüfung nach diesem Gesetz. Gleiches gilt für Drittstaaten und Drittstaatsangehörige, soweit sich hinsichtlich der Anerkennung von Ausbildungsnachweisen nach dem Recht der Europäischen Gemeinschaften eine Gleichstellung ergibt."

examples/example_1_PodG.txt

@@ -0,0 +1,27 @@
+### System:
+
+Hallo! Du bist eine höfliche KI-Assistenz und hilfst dem User, Texte besser zu verstehen. Du schreibst nur auf Deutsch. Es folgt ein Kontext, den Du lernst. Danach folgt eine Aufgabe, die Du ausführst. Bei Deinen Antworten lügst Du nie. Du antwortest immer mit kurzen verständlichen Sätzen. Du verwendest immer einfache Sprache.
+Du assistierst immer mit Vorsicht, Respekt und wahrheitsgemäß.
+Du vermeidest verletzende, unethische, vorurteilsbehaftete oder populistische Inhalte.
+Du prüfst, dass Deine Antworten stets fair und positiv sind.
+Du bist auf Gesetzestexte spezialisiert.
+Für die folgende Aufgabe stehen dir zwischen den Tags BEGININPUT und ENDINPUT mehrere Quellen zur Verfügung. Metadaten zu den einzelnen Quellen wie Autor, URL o.ä. sind zwischen BEGINCONTEXT und ENDCONTEXT zu finden, danach folgt der Text der Quelle. Die eigentliche Aufgabe oder Frage ist zwischen BEGININSTRUCTION und ENDINSTRUCTION zu finden. Beantworte diese ausschließlich mit Informationen aus den gegebenen Quellen. Sollten die Quellen keine relevanten Informationen enthalten, antworte: "Mit den gegebenen Informationen ist diese Frage nicht zu beantworten."
+Die erste Zeile im Gesetz enthält einen Paragrafen mit einer Zahl und dem Namen des Gesetzes, zum Beispiel "§ 432a HGB". Dies ist der Titel des Gesetzes, den Du nicht vergessen darfst.
+
+### User Prompt:
+BEGININPUT
+BEGINCONTEXT
+Quelle: https://www.gesetze-im-internet.de/podg/__1.html
+ENDCONTEXT
+§ 1 PodG
+(1) Wer die Berufsbezeichnung "Podologin" oder "Podologe" führen will, bedarf der Erlaubnis. Die Bezeichnung "Medizinische Fußpflegerin" oder "Medizinischer Fußpfleger" darf nur von Personen mit einer Erlaubnis nach Satz 1 oder einer Berechtigung oder staatlichen Anerkennung nach § 10 Abs. 1 geführt werden.
+(2) Podologinnen und Podologen, die Staatsangehörige eines Vertragsstaates des Europäischen Wirtschaftsraumes sind, führen die Berufsbezeichnung nach Absatz 1 im Geltungsbereich dieses Gesetzes ohne Erlaubnis, sofern sie ihre Berufstätigkeit als vorübergehende und gelegentliche Dienstleistung im Sinne des Artikels 50 des EG-Vertrages im Geltungsbereich dieses Gesetzes ausüben. Sie unterliegen jedoch der Meldepflicht und Nachprüfung nach diesem Gesetz. Gleiches gilt für Drittstaaten und Drittstaatsangehörige, soweit sich hinsichtlich der Anerkennung von Ausbildungsnachweisen nach dem Recht der Europäischen Gemeinschaften eine Gleichstellung ergibt.ENDINPUT
+
+BEGININSTRUCTION
+Schreibe ein kurzes Résumée zu diesem § mit einfachen Worten. Nenne auf jeden Fall den Titel des Gesetzes. Fasse sprachlich doppelte Punkte zusammen. Du schreibst keine Aufzählung, sondern Du schreibst einen Fließtext. Du schreibst keine Überschrift, sondern nur Deine Zusammenfassung. Beginne Deinen Text mit ähnlichen Formulierungen wie die folgenden Beispiele:
+Der Paragraf <Nummer> <Name> regelt …
+Im § <Nummer> <Name> wird geregelt, dass …
+Laut Paragraph <Nummer> <Name> sind …
+ENDINSTRUCTION
+
+### Model Answer:

examples/example_34c_gewo.txt

@@ -0,0 +1,62 @@
+### System:
+
+Hallo! Du bist eine höfliche KI-Assistenz und hilfst dem User, Texte besser zu verstehen. Du schreibst nur auf Deutsch. Es folgt ein Kontext, den Du lernst. Danach folgt eine Aufgabe, die Du ausführst. Bei Deinen Antworten lügst Du nie. Du antwortest immer mit kurzen verständlichen Sätzen. Du verwendest immer einfache Sprache.
+Du assistierst immer mit Vorsicht, Respekt und wahrheitsgemäß.
+Du vermeidest verletzende, unethische, vorurteilsbehaftete oder populistische Inhalte.
+Du prüfst, dass Deine Antworten stets fair und positiv sind.
+Du bist auf Datenschutz und Datensicherheit spezialisiert.
+Für die folgende Aufgabe stehen dir zwischen den Tags BEGININPUT und ENDINPUT mehrere Quellen zur Verfügung. Metadaten zu den einzelnen Quellen wie Autor, URL o.ä. sind zwischen BEGINCONTEXT und ENDCONTEXT zu finden, danach folgt der Text der Quelle. Die eigentliche Aufgabe oder Frage ist zwischen BEGININSTRUCTION und ENDINSTRUCTION zu finden. Beantworte diese ausschließlich mit Informationen aus den gegebenen Quellen. Sollten die Quellen keine relevanten Informationen enthalten, antworte: "Mit den gegebenen Informationen ist diese Frage nicht zu beantworten."
+
+### User Prompt:
+BEGININPUT
+BEGINCONTEXT
+Quelle: https://www.gesetze-im-internet.de/gewo/__34c.html
+ENDCONTEXT
+§ 34c Gewerbeordnung
+Immobilienmakler, Darlehensvermittler, Bauträger, Baubetreuer, Wohnimmobilienverwalter, Verordnungsermächtigung
+(1) Wer gewerbsmäßig
+1. den Abschluss von Verträgen über Grundstücke, grundstücksgleiche Rechte, gewerbliche Räume oder Wohnräume vermitteln oder die Gelegenheit zum Abschluss solcher Verträge nachweisen,
+2. den Abschluss von Darlehensverträgen, mit Ausnahme von Verträgen im Sinne des § 34i Absatz 1 Satz 1, vermitteln oder die Gelegenheit zum Abschluss solcher Verträge nachweisen,
+3. Bauvorhaben
+a) als Bauherr im eigenen Namen für eigene oder fremde Rechnung vorbereiten oder durchführen und dazu Vermögenswerte von Erwerbern, Mietern, Pächtern oder sonstigen Nutzungsberechtigten oder von Bewerbern um Erwerbs- oder Nutzungsrechte verwenden,
+b) als Baubetreuer im fremden Namen für fremde Rechnung wirtschaftlich vorbereiten oder durchführen,
+4. das gemeinschaftliche Eigentum von Wohnungseigentümern im Sinne des § 1 Absatz 2, 3, 5 und 6 des Wohnungseigentumsgesetzes oder für Dritte Mietverhältnisse über Wohnräume im Sinne des § 549 des Bürgerlichen Gesetzbuchs verwalten (Wohnimmobilienverwalter)
+will, bedarf der Erlaubnis der zuständigen Behörde. Die Erlaubnis kann inhaltlich beschränkt und mit Auflagen verbunden werden, soweit dies zum Schutze der Allgemeinheit oder der Auftraggeber erforderlich ist; unter denselben Voraussetzungen ist auch die nachträgliche Aufnahme, Änderung und Ergänzung von Auflagen zulässig.
+(2) Die Erlaubnis ist zu versagen, wenn
+1. Tatsachen die Annahme rechtfertigen, daß der Antragsteller oder eine der mit der Leitung des Betriebes oder einer Zweigniederlassung beauftragten Personen die für den Gewerbebetrieb erforderliche Zuverlässigkeit nicht besitzt; die erforderliche Zuverlässigkeit besitzt in der Regel nicht, wer in den letzten fünf Jahren vor Stellung des Antrages wegen eines Verbrechens oder wegen Diebstahls, Unterschlagung, Erpressung, Betruges, Untreue, Geldwäsche, Urkundenfälschung, Hehlerei, Wuchers oder einer Insolvenzstraftat rechtskräftig verurteilt worden ist,
+2. der Antragsteller in ungeordneten Vermögensverhältnissen lebt; dies ist in der Regel der Fall, wenn über das Vermögen des Antragstellers das Insolvenzverfahren eröffnet worden oder er in das vom Vollstreckungsgericht zu führende Verzeichnis (§ 26 Abs. 2 Insolvenzordnung, § 882b Zivilprozeßordnung) eingetragen ist,
+3. der Antragsteller, der ein Gewerbe nach Absatz 1 Satz 1 Nummer 4 betreiben will, den Nachweis einer Berufshaftpflichtversicherung nicht erbringen kann.
+(2a) Gewerbetreibende nach Absatz 1 Satz 1 Nummer 1 und 4 sind verpflichtet, sich in einem Umfang von 20 Stunden innerhalb eines Zeitraums von drei Kalenderjahren weiterzubilden; das Gleiche gilt entsprechend für unmittelbar bei der erlaubnispflichtigen Tätigkeit mitwirkende beschäftigte Personen. Der erste Weiterbildungszeitraum beginnt am 1. Januar des Kalenderjahres, in dem
+1. eine Erlaubnis nach Absatz 1 Satz 1 Nummer 1 oder 4 erteilt wurde oder
+2. eine weiterbildungspflichtige Tätigkeit durch eine unmittelbar bei dem Gewerbetreibenden beschäftigte Person aufgenommen wurde.
+Für den Gewerbetreibenden ist es ausreichend, wenn der Weiterbildungsnachweis durch eine im Hinblick auf eine ordnungsgemäße Wahrnehmung der erlaubnispflichtigen Tätigkeit angemessene Zahl von beim Gewerbetreibenden beschäftigten natürlichen Personen erbracht wird, denen die Aufsicht über die direkt bei der Vermittlung nach Absatz 1 Satz 1 Nummer 1 oder der Verwaltung nach Absatz 1 Satz 1 Nummer 4 mitwirkenden Personen übertragen ist und die den Gewerbetreibenden vertreten dürfen.
+(3) Das Bundesministerium für Wirtschaft und Klimaschutz kann durch Rechtsverordnung mit Zustimmung des Bundesrates, soweit zum Schutz der Allgemeinheit und der Auftraggeber erforderlich, Vorschriften erlassen
+1. über den Umfang der Verpflichtungen des Gewerbetreibenden bei der Ausübung des Gewerbes, insbesondere die Pflicht,
+a) ausreichende Sicherheiten zu leisten oder eine zu diesem Zweck geeignete Versicherung abzuschließen, sofern der Gewerbetreibende Vermögenswerte des Auftraggebers erhält oder verwendet,
+b) die erhaltenen Vermögenswerte des Auftraggebers getrennt zu verwalten,
+c) nach der Ausführung des Auftrages dem Auftraggeber Rechnung zu legen,
+d) der zuständigen Behörde Anzeige beim Wechsel der mit der Leitung des Betriebes oder einer Zweigniederlassung beauftragten Personen zu erstatten und hierbei bestimmte Angaben zu machen,
+e) dem Auftraggeber die für die Beurteilung des Auftrages und des zu vermittelnden oder nachzuweisenden Vertrages jeweils notwendigen Informationen schriftlich oder mündlich zu geben,
+f) Bücher zu führen einschließlich der Aufzeichnung von Daten über einzelne Geschäftsvorgänge sowie über die Auftraggeber;
+2. zum Umfang an die nach Absatz 2 Nummer 3 erforderliche Haftpflichtversicherung und zu ihren inhaltlichen Anforderungen, insbesondere über die Höhe der Mindestversicherungssummen, die Bestimmung der zuständigen Behörde im Sinne des § 117 Absatz 2 des Versicherungsvertragsgesetzes, über den Nachweis über das Bestehen der Haftpflichtversicherung und Anzeigepflichten des Versicherungsunternehmens gegenüber den Behörden;
+3. über die Verpflichtung des Gewerbetreibenden und der beschäftigten Personen nach Absatz 2a zu einer regelmäßigen Weiterbildung, einschließlich
+a) der Befreiung von der Weiterbildungsverpflichtung,
+b) der gegenüber der zuständigen Behörde zu erbringenden Nachweise und
+c) der Informationspflichten gegenüber dem Auftraggeber über die berufliche Qualifikation und absolvierten Weiterbildungsmaßnahmen des Gewerbetreibenden und der unmittelbar bei der erlaubnispflichtigen Tätigkeit mitwirkenden beschäftigten Personen.
+In der Rechtsverordnung nach Satz 1 kann ferner die Befugnis des Gewerbetreibenden zur Entgegennahme und zur Verwendung von Vermögenswerten des Auftraggebers beschränkt werden, soweit dies zum Schutze des Auftraggebers erforderlich ist. Außerdem kann in der Rechtsverordnung der Gewerbetreibende verpflichtet werden, die Einhaltung der nach Satz 1 Nummer 1 und 3 und Satz 2 erlassenen Vorschriften auf seine Kosten regelmäßig sowie aus besonderem Anlaß prüfen zu lassen und den Prüfungsbericht der zuständigen Behörde vorzulegen, soweit es zur wirksamen Überwachung erforderlich ist; hierbei können die Einzelheiten der Prüfung, insbesondere deren Anlaß, Zeitpunkt und Häufigkeit, die Auswahl, Bestellung und Abberufung der Prüfer, deren Rechte, Pflichten und Verantwortlichkeit, der Inhalt des Prüfungsberichts, die Verpflichtungen des Gewerbetreibenden gegenüber dem Prüfer sowie das Verfahren bei Meinungsverschiedenheiten zwischen dem Prüfer und dem Gewerbetreibenden, geregelt werden.
+(4) (weggefallen)
+(5) Die Absätze 1 bis 3 gelten nicht für
+1. Kreditinstitute, für die eine Erlaubnis nach § 32 Absatz 1 des Kreditwesengesetzes erteilt wurde, Wertpapierinstitute, für die eine Erlaubnis nach § 15 Absatz 1 des Wertpapierinstitutsgesetzes erteilt wurde oder nach § 86 Absatz 1 des Wertpapierinstitutsgesetzes als erteilt gilt, Zweigstellen von Unternehmen im Sinne des § 53b Absatz 1 Satz 1 des Kreditwesengesetzes sowie Zweigniederlassungen und vertraglich gebundene Vermittler von Wertpapierinstituten im Sinne des § 73 Absatz 1 Satz 1 des Wertpapierinstitutsgesetzes,
+1a. Kapitalverwaltungsgesellschaften, für die eine Erlaubnis nach § 20 Absatz 1 des Kapitalanlagegesetzbuchs erteilt wurde,
+2. Gewerbetreibende, die lediglich zur Finanzierung der von ihnen abgeschlossenen Warenverkäufe oder zu erbringenden Dienstleistungen den Abschluß von Verträgen über Darlehen vermitteln oder die Gelegenheit zum Abschluß solcher Verträge nachweisen,
+3. Zweigstellen von Unternehmen mit Sitz in einem anderen Mitgliedstaat der Europäischen Union, die nach § 53b Abs. 7 des Kreditwesengesetzes Darlehen zwischen Kreditinstituten vermitteln dürfen, soweit sich ihre Tätigkeit nach Absatz 1 auf die Vermittlung von Darlehen zwischen Kreditinstituten beschränkt,
+4. Verträge, soweit Teilzeitnutzung von Wohngebäuden im Sinne des § 481 des Bürgerlichen Gesetzesbuchs gemäß Absatz 1 Satz 1 Nr. 1 nachgewiesen oder vermittelt wird.
+
+Fußnote: (+++ § 34c Abs. 1 Satz 1 Nr. 1, 3 und 4: Zur Nichtanwendung vgl. § 4 Abs. 1 Satz 1 +++)
+ENDINPUT
+
+BEGININSTRUCTION
+Schreibe ein kurzes Résumée mit einfachen Worten. Fasse sprachlich doppelte Punkte zusammen. Du schreibst keine Aufzählung, sondern Du schreibst einen Fließtext. Du schreibst keine Überschrift, sondern nur Deine Zusammenfassung.
+ENDINSTRUCTION
+
+### Model Answer:

examples/example_fim.txt

@@ -0,0 +1,67 @@
+### System:
+
+Hallo! Du bist eine höfliche KI-Assistenz und hilfst dem User, Texte besser zu verstehen. Du schreibst nur auf Deutsch. Es folgt ein Kontext, den Du lernst. Danach folgt eine Aufgabe, die Du ausführst. Bei Deinen Antworten lügst Du nie. Du antwortest immer mit kurzen verständlichen Sätzen. Du verwendest immer einfache Sprache.
+Du assistierst immer mit Vorsicht, Respekt und wahrheitsgemäß.
+Du vermeidest verletzende, unethische, vorurteilsbehaftete oder populistische Inhalte.
+Du prüfst, dass Deine Antworten stets fair und positiv sind.
+Du bist auf Datenschutz und Datensicherheit spezialisiert.
+Für die folgende Aufgabe stehen dir zwischen den Tags BEGININPUT und ENDINPUT mehrere Quellen zur Verfügung. Metadaten zu den einzelnen Quellen wie Autor, URL o.ä. sind zwischen BEGINCONTEXT und ENDCONTEXT zu finden, danach folgt der Text der Quelle. Die eigentliche Aufgabe oder Frage ist zwischen BEGININSTRUCTION und ENDINSTRUCTION zu finden. Beantworte diese ausschließlich mit Informationen aus den gegebenen Quellen. Sollten die Quellen keine relevanten Informationen enthalten, antworte: "Mit den gegebenen Informationen ist diese Frage nicht zu beantworten."
+
+### User Prompt:
+BEGININPUT
+BEGINCONTEXT
+Quelle: https://fimportal.de/detail/L/99057001060000
+Bezeichnung: Handelsregister Eintragung
+Schlüssel: 99057001060000
+Alternative Bezeichnung: Eintragung von Einzelkaufleuten, Personenhandelsgesellschaften und Kapitalgesellschaften in das Handelsregister
+Geändert am: 18.01.2024
+ENDCONTEXT
+Handelsregister Eintragung
+Eintragung von Einzelkaufleuten, Personenhandelsgesellschaften und Kapitalgesellschaften in das Handelsregister
+Erfordert Ihr gewerbliches Unternehmen einen kaufmännischen Geschäftsbetrieb, müssen Sie es in das Handelsregister eintragen lassen.
+Die Eintragung ist zum Beispiel dann erforderlich, wenn Sie
+eine weiträumige, vor allem internationale Tätigkeit ausüben,
+eine größere Lagerhaltung benötigen,
+ein hohes Umsatzvolumen haben.
+Wenn Sie eine Kapitalgesellschaft gründen wollen, wie beispielsweise eine GmbH, wird diese erst mit der Eintragung in das Handelsregister wirksam.
+Bestimmte Änderungen müssen Sie ebenfalls eintragen lassen. Dazu gehören beispielsweise
+Änderung der Firma (Name des Unternehmens),
+Sitzverlegung, Erteilung von Prokura,
+Änderung von Namen oder Wohnort von vertretungsberechtigten Personen,
+Umwandlungen,
+Auflösungen.
+Sie können die Eintragung ausschließlich elektronisch in öffentlich beglaubigter Form anmelden. Die Beglaubigung erfolgt durch Notarinnen und Notare, die auch die Eintragungsfähigkeit prüfen und die Anmeldung elektronisch an das Handelsregister senden.
+
+Rechtsgrundlage
+§ 8a Handelsgesetzbuch
+§ 10 Handelsgesetzbuch
+§ 12 Handelsgesetzbuch
+§§ 23 ff. Handelsregisterverordnung (HRV)
+§ 40a Beurkundungsgesetz (BeurkG)
+
+Erforderliche Unterlagen
+öffentlich beglaubigte Anmeldung zum Handelsregister
+je nach Rechtsform Ihres Unternehmens und Art der einzutragenden Tatsachen sind weitere Unterlagen erforderlich (teilweise auch in notariell beurkundeter oder öffentlich beglaubigter Form)
+Welche Unterlagen Sie im Einzelfall vorlegen müssen, erfahren Sie bei der Notarin oder dem Notar und der Industrie- und Handelskammer (IHK).
+
+Kosten
+Für Eintragungen in das Handelsregister werden Festgebühren nach der Handelsregistergebührenverordnung erhoben. Daneben fallen regelmäßig Notargebühren für die Erstellung des Entwurfs beziehungsweise Beglaubigung der erforderlichen Handelsregisteranmeldung an.
+
+Verfahrensablauf
+Sie können die Anmeldung zum Handelsregister vor Ort oder online mit einer Notarin oder einem Notar vornehmen.
+Die Notarin oder der Notar nimmt die Beglaubigung vor, prüft die Eintragungsfähigkeit und sendet die Anmeldung als elektronisches Dokument, das mit einer qualifizierten elektronischen Signatur versehen wird, an das elektronische Gerichts- und Verwaltungspostfach des zuständigen Registergerichts. Wenn gewünscht, erstellt die Notarin oder der Notar auch den Entwurf für die Anmeldung und berät Sie hierzu umfassend.
+Die Eintragung verfügt das Registergericht in der gerichtsinternen Datenbank und macht die Eintragung außerdem im Internet bekannt (www.handelsregister.de). Sie erhalten eine Eintragungsmitteilung.
+Wenn sich wichtige Änderungen ergeben, müssen Sie diese ebenfalls über eine Notarin oder einen Notar zur Eintragung in das Handelsregister anmelden.
+
+Bearbeitungsdauer
+Über die Eintragung entscheidet das Registergericht unverzüglich nachdem die Anmeldung dort eingegangen ist. Wenn sämtliche Unterlagen vorliegen und keine Beanstandungen des Gerichts notwendig sind, erfolgen Eintragungen in der Regel innerhalb von wenigen Werktagen.
+
+Fristen
+Es gibt keine Frist. Änderungen müssen zeitnah mitgeteilt werden. Das Registergericht kann die Anmeldung gegebenenfalls mittels Festsetzung eines Zwangsgeldes durchsetzen, wenn die Anmeldung ausbleibt.
+ENDINPUT
+
+BEGININSTRUCTION
+Schreibe ein kurzes Résumée mit einfachen Worten. Fasse sprachlich doppelte Punkte zusammen. Du schreibst keine Aufzählung, sondern Du schreibst einen Fließtext. Du schreibst keine Überschrift, sondern nur Deine Zusammenfassung.
+ENDINSTRUCTION
+
+### Model Answer:

examples/example_mlsums.txt

@@ -0,0 +1,22 @@
+### System:
+
+Hallo! Du bist eine höfliche KI-Assistenz und hilfst dem User, Texte besser zu verstehen. Du schreibst nur auf Deutsch. Es folgt ein Kontext, den Du lernst. Danach folgt eine Aufgabe, die Du ausführst. Bei Deinen Antworten lügst Du nie. Du antwortest immer mit kurzen verständlichen Sätzen. Du verwendest immer einfache Sprache.
+Du assistierst immer mit Vorsicht, Respekt und wahrheitsgemäß.
+Du vermeidest verletzende, unethische, vorurteilsbehaftete oder populistische Inhalte.
+Du prüfst, dass Deine Antworten stets fair und positiv sind.
+Du bist auf Datenschutz und Datensicherheit spezialisiert.
+Für die folgende Aufgabe stehen dir zwischen den Tags BEGININPUT und ENDINPUT mehrere Quellen zur Verfügung. Metadaten zu den einzelnen Quellen wie Autor, URL o.ä. sind zwischen BEGINCONTEXT und ENDCONTEXT zu finden, danach folgt der Text der Quelle. Die eigentliche Aufgabe oder Frage ist zwischen BEGININSTRUCTION und ENDINSTRUCTION zu finden. Beantworte diese ausschließlich mit Informationen aus den gegebenen Quellen. Sollten die Quellen keine relevanten Informationen enthalten, antworte: "Mit den gegebenen Informationen ist diese Frage nicht zu beantworten."
+
+### User Prompt:
+BEGININPUT
+BEGINCONTEXT
+Quelle: https://www.sueddeutsche.de/panorama/luegde-missbrauch-prozess-gericht-1.4500784
+ENDCONTEXT
+Die versiegelte Tür eines Wohnwagens auf dem Campingplatz Eichwald in Lügde: Am Donnerstag beginnt der Prozess gegen die drei Angeklagten, von denen zwei auf diesem Campingplatz gelebt haben. An diesem Donnerstag beginnt vor dem Landgericht Detmold der Prozess im Missbrauchsskandal von Lügde, dem bisher schwersten Fall von sexueller Gewalt gegen Kinder in der Geschichte Nordrhein-Westfalens. Von Anfang an schwebte über der Aufklärung der eigentlichen Tat, dem Missbrauch von mindestens 33 Kindern durch mehrere Männer über einen langen Zeitraum, auch die Frage: Hätten die Behörden das verhindern können? Nach Recherchen von NDR, WDR und Süddeutscher Zeitung gab es schon vor 20 Jahren erste konkrete Hinweise auf den mutmaßlichen Haupttäter Andreas V. Sie wurden, wie später noch weitere Anhaltspunkte auf sexuellen Missbrauch, offenbar nicht konsequent verfolgt. Bisher war nur bekannt, dass der Name von Andreas V., heute 56, im Jahr 2002 auf eine inoffiziell von der Polizei Lippe geführte Liste gelangt war, mit der sie Hinweise auf Sexualstraftaten sammelte. Reporter von SZ, NDR und WDR konnten rekonstruieren, wie es dazu kam und warum es als wahrscheinlich gelten muss, dass Strafverfolgungsbehörden versäumten, Andreas V. viel früher zu stoppen. Vielen der mindestens 22 Kinder, die der Mann missbraucht haben soll, hätte ihr Leid dadurch vermutlich erspart werden können. Demnach hatte ein damals vierjähriges Mädchen, das sich 1998 mit ihrer Mutter auf dem Campingplatz Eichwald aufhielt und wie viele andere Kinder auch mit dem Dauercamper Andreas V. häufiger Ausflüge machte, bei ihm gespielt. Der Mann galt als sehr beliebt bei Campingplatzbewohnern, den Ferienkindern und Kindern aus der Gegend. An einem dieser Tage sei das Mädchen zu seiner Mutter zurückgekehrt und habe gesagt: "Mama, Penis lecken schmeckt nicht." Die alarmierte Mutter habe ihrer Tochter daraufhin verboten, weiter zur Camping-Parzelle von Andreas V. zu gehen und auch den Campingplatzbetreiber mit dem Vorgang konfrontiert. Der Mann habe ihr zu verstehen gegeben, dass er sich einen solchen Vorgang nicht vorstellen könne: Für "Addy", wie Andreas V. auf der Anlage genannt wurde, würde er seine Hand ins Feuer legen. Heute sagt der Campingplatzbetreiber, sich an den Vorgang nicht mehr erinnern zu können. Der Fall geriet offenbar zunächst in Vergessenheit. Zwei Jahre später tauchten die Geschehnisse in einem anderen Zusammenhang wieder auf - und wurden aktenkundig. Die Mutter des Mädchens erstattete im Jahr 2000 Anzeige gegen ihren Ehemann, weil sie ihn verdächtigte, die Tochter zu missbrauchen. In dieser handschriftlichen Anzeige beschrieb sie aber auch die zurückliegenden Ereignisse um Andreas V., den sie nur als "Addy" kannte, und ihre Tochter. Sie nannte den Spitznamen, lokalisierte den Campingplatz in Lügde-Elbrinxen und schilderte weitere Umstände. Und sie zitierte ihre Tochter so, wie sie es selbst von ihr damals gehört hatte. Der damalige Staatsanwalt verfolgte aber offenbar nur den Vorwurf des Missbrauchs durch den Vater - die andere Spur, die zu "Addy" vom Campingplatz Lügde, blieb liegen. Ein "Addy" wäre nach Einschätzung Schwenns leicht zu finden gewesen Die vagen Vermutungen, die die Mutter zunächst in Richtung des unbekannten Mannes vom Campingplatz geäußert habe, hätten nicht ausgereicht, um einen Anfangsverdacht zu begründen, sagt dazu Oberstaatsanwalt Ulrich Bremer von der Staatsanwaltschaft Köln heute. Für den renommierten Strafverteidiger Johann Schwenn ist das eine klare Fehleinschätzung: "Hier hat ein Kind einen eindeutig strafbaren Sachverhalt behauptet, hat einen möglichen Täter genannt - und damit hatte die Staatsanwaltschaft die Verpflichtung, die Ermittlungen aufzunehmen und dann auch durchzuführen." Durch die Hinweise auf den Campingplatz im Örtchen Elbrinxen wäre ein "Addy" nach Einschätzung Schwenns dort leicht zu finden gewesen. Wiederum zwei Jahre später, im Jahr 2002, bekräftigte auch der von seiner Ehefrau verdächtigte Vater des Mädchens, dass nicht er, sondern Andreas V. für den nun schon lange zurückliegenden Missbrauch auf dem Campingplatz verantwortlich sei. Diesmal wurde zwar ein offizielles Verfahren eingeleitet und an die zuständige Staatsanwaltschaft Detmold weitergegeben. Doch ob überhaupt je ermittelt wurde, ob und wann das Verfahren womöglich eingestellt wurde, will die Staatsanwaltschaft bislang auf Anfrage nicht sagen. "Ich bin da fassunglos" Der nordrhein-westfälische Innenminister Herbert Reul (CDU) sagte auf Anfrage von NDR, WDR und SZ: "Ich bin da fassungslos. Was aus diesen weiteren Hinweisen in der Vergangenheit geworden ist, konnten wir bisher noch nicht aufklären. Da kümmert sich jetzt die Staatsanwaltschaft drum. Es wäre natürlich schlimm, wenn das Leid der Kinder noch früher hätte gestoppt werden können." Weil auch später weitere Hinweise auf Andreas V. offenbar nicht konsequent verfolgt wurden, fügte Reul an: "Ob zwei oder sieben übersehene Hinweise - eigentlich ist jeder einzelne übersehene oder nicht richtig bearbeitete Hinweis einer zu viel. Das muss jetzt alles sehr sorgfältig aufgeklärt und aufgearbeitet werden." Inzwischen halten die Ermittler den Fall von damals für so glaubwürdig, dass er Eingang in die Anklage gegen Andreas V. gefunden hat. Das Mädchen von damals, heute eine Frau von Mitte zwanzig, wird als eines der mutmaßlich 22 Kinder aufgeführt, denen der Angeklagte sexuelle Gewalt angetan haben soll. Andreas V. und den beiden Mitangeklagten Heiko V. und Mario S. werden insgesamt mehr als 450 Einzeltaten sexueller Gewalt gegen Kinder vorgeworfen. Bisher hat sich nur Heiko V. teilweise eingelassen, die beiden anderen schweigen. Der Verteidiger von Mario S., Jürgen Bogner, hat indes angekündigt, dass sein Mandant voraussichtlich zur Sache aussagen werde.
+ENDINPUT
+
+BEGININSTRUCTION
+Schreibe ein kurzes Résumée mit einfachen Worten. Fasse sprachlich doppelte Punkte zusammen. Du schreibst keine Aufzählung, sondern Du schreibst einen Fließtext. Du schreibst keine Überschrift, sondern nur Deine Zusammenfassung.
+ENDINSTRUCTION
+
+### Model Answer:

ggml-model-Q6_K.gguf

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1396bbc2671efe6517e25608185b8a8527151bffdae5a7859aadf43b38760425
+size 5942064832

mergekit_config.yml

@@ -0,0 +1,33 @@
+# Real 2nd place – with Disco it gets a bit too 'talky'.
+# works but never stops
+models:
+  - model: mistralai/Mistral-7B-v0.1
+    # No parameters necessary for base model
+  - model: VAGOsolutions/SauerkrautLM-7b-LaserChat
+    parameters:
+      density: 0.53
+      weight: 0.1875
+  - model: hiig-piai/simba-v01c
+    parameters:
+      density: 0.53
+      weight: 0.25
+  - model: DRXD1000/Phoenix
+    parameters:
+      density: 0.53
+      weight: 0.1875
+  - model: OpenPipe/mistral-ft-optimized-1227
+    parameters:
+      density: 0.53
+      weight: 0.1875
+  - model: DiscoResearch/DiscoLM_German_7b_v1
+    parameters:
+      density: 0.53
+      weight: 0.1875
+merge_method: dare_ties
+base_model: mistralai/Mistral-7B-v0.1
+parameters:
+  int8_mask: true
+dtype: bfloat16
+name: VerwaltungsAnthologie_talky_7B
+
+# Informationssicherheit ist ein wichtiges Thema für Unternehmen und Behörden. Es gibt viele Herausforderungen, wie z.B. die Komplexität der Gefährdungslage, die Ganzheitlichkeit der Sicherheitskonzepte, das Zusammenwirken der Sicherheitsmaßnahmen, die Angemessenheit der Sicherheitsmaßnahmen, die Erfüllung externer Anforderungen und die Nachhaltigkeit der Sicherheitsmaßnahmen. Der IT-Grundschutz des BSI bietet eine gute Grundlage für diese Herausforderungen. Es ermöglicht systematische Schwachstellen-Suche, Angemessenheitsprüfung und Sicherheitskonzeptentwicklung. Die Sicherheitsmaßnahmen sollten an den Geschäftsprozessen, Fachaufgaben und Organisationsstrukturen der Institution passen und allgemein anerkannten Standards genügen.

model-00001-of-00003.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5aca3b011e63856b578c4736aeae8b0e3bf16328ec5db3caebede951807e90d1
+size 5899498992

model-00002-of-00003.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:277926952a26d5314368efa77c60ec1e57a57c5dab1d17a5344c0737c09356c1
+size 5966640432

model-00003-of-00003.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ca4ecc1e0c9300ec47bc0f3954a9c8be1745b398336226d664fd8693ad52e332
+size 2617358600

model.safetensors.index.json

@@ -0,0 +1 @@
+{"metadata": {"mergekit_version": "0.0.4.1"}, "weight_map": {"model.layers.10.mlp.gate_proj.weight": "model-00001-of-00003.safetensors", "model.layers.10.mlp.up_proj.weight": "model-00001-of-00003.safetensors", "model.layers.10.self_attn.o_proj.weight": "model-00001-of-00003.safetensors", "model.layers.10.self_attn.v_proj.weight": "model-00001-of-00003.safetensors", "model.layers.10.self_attn.k_proj.weight": "model-00001-of-00003.safetensors", "model.layers.10.self_attn.q_proj.weight": "model-00001-of-00003.safetensors", "model.layers.9.mlp.down_proj.weight": "model-00001-of-00003.safetensors", "model.layers.9.mlp.gate_proj.weight": "model-00001-of-00003.safetensors", "model.layers.9.mlp.up_proj.weight": "model-00001-of-00003.safetensors", "model.layers.9.post_attention_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.9.self_attn.o_proj.weight": "model-00001-of-00003.safetensors", "model.layers.9.self_attn.v_proj.weight": "model-00001-of-00003.safetensors", "model.layers.9.self_attn.k_proj.weight": "model-00001-of-00003.safetensors", "model.layers.9.self_attn.q_proj.weight": "model-00001-of-00003.safetensors", "model.layers.9.input_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.8.mlp.down_proj.weight": "model-00001-of-00003.safetensors", "model.layers.8.mlp.gate_proj.weight": "model-00001-of-00003.safetensors", "model.layers.8.mlp.up_proj.weight": "model-00001-of-00003.safetensors", "model.layers.8.post_attention_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.8.self_attn.o_proj.weight": "model-00001-of-00003.safetensors", "model.layers.8.self_attn.v_proj.weight": "model-00001-of-00003.safetensors", "model.layers.8.self_attn.k_proj.weight": "model-00001-of-00003.safetensors", "model.layers.8.self_attn.q_proj.weight": "model-00001-of-00003.safetensors", "model.layers.8.input_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.7.mlp.down_proj.weight": "model-00001-of-00003.safetensors", "model.layers.7.mlp.gate_proj.weight": "model-00001-of-00003.safetensors", "model.layers.7.mlp.up_proj.weight": "model-00001-of-00003.safetensors", "model.layers.7.post_attention_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.7.self_attn.o_proj.weight": "model-00001-of-00003.safetensors", "model.layers.7.self_attn.v_proj.weight": "model-00001-of-00003.safetensors", "model.layers.7.self_attn.k_proj.weight": "model-00001-of-00003.safetensors", "model.layers.7.self_attn.q_proj.weight": "model-00001-of-00003.safetensors", "model.layers.7.input_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.6.mlp.down_proj.weight": "model-00001-of-00003.safetensors", "model.layers.6.mlp.gate_proj.weight": "model-00001-of-00003.safetensors", "model.layers.6.mlp.up_proj.weight": "model-00001-of-00003.safetensors", "model.layers.6.post_attention_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.6.self_attn.o_proj.weight": "model-00001-of-00003.safetensors", "model.layers.6.self_attn.v_proj.weight": "model-00001-of-00003.safetensors", "model.layers.6.self_attn.k_proj.weight": "model-00001-of-00003.safetensors", "model.layers.6.self_attn.q_proj.weight": "model-00001-of-00003.safetensors", "model.layers.6.input_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.5.mlp.down_proj.weight": "model-00001-of-00003.safetensors", "model.layers.5.mlp.gate_proj.weight": "model-00001-of-00003.safetensors", "model.layers.5.mlp.up_proj.weight": "model-00001-of-00003.safetensors", "model.layers.5.post_attention_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.5.self_attn.o_proj.weight": "model-00001-of-00003.safetensors", "model.layers.5.self_attn.v_proj.weight": "model-00001-of-00003.safetensors", "model.layers.5.self_attn.k_proj.weight": "model-00001-of-00003.safetensors", "model.layers.5.self_attn.q_proj.weight": "model-00001-of-00003.safetensors", "model.layers.5.input_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.4.mlp.down_proj.weight": "model-00001-of-00003.safetensors", "model.layers.4.mlp.gate_proj.weight": "model-00001-of-00003.safetensors", "model.layers.4.mlp.up_proj.weight": "model-00001-of-00003.safetensors", "model.layers.4.post_attention_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.4.self_attn.o_proj.weight": "model-00001-of-00003.safetensors", "model.layers.4.self_attn.v_proj.weight": "model-00001-of-00003.safetensors", "model.layers.4.self_attn.k_proj.weight": "model-00001-of-00003.safetensors", "model.layers.4.self_attn.q_proj.weight": "model-00001-of-00003.safetensors", "model.layers.4.input_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.3.mlp.down_proj.weight": "model-00001-of-00003.safetensors", "model.layers.3.mlp.gate_proj.weight": "model-00001-of-00003.safetensors", "model.layers.3.mlp.up_proj.weight": "model-00001-of-00003.safetensors", "model.layers.3.post_attention_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.3.self_attn.o_proj.weight": "model-00001-of-00003.safetensors", "model.layers.3.self_attn.v_proj.weight": "model-00001-of-00003.safetensors", "model.layers.3.self_attn.k_proj.weight": "model-00001-of-00003.safetensors", "model.layers.3.self_attn.q_proj.weight": "model-00001-of-00003.safetensors", "model.layers.3.input_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.2.mlp.down_proj.weight": "model-00001-of-00003.safetensors", "model.layers.2.mlp.gate_proj.weight": "model-00001-of-00003.safetensors", "model.layers.2.mlp.up_proj.weight": "model-00001-of-00003.safetensors", "model.layers.2.post_attention_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.2.self_attn.o_proj.weight": "model-00001-of-00003.safetensors", "model.layers.2.self_attn.v_proj.weight": "model-00001-of-00003.safetensors", "model.layers.2.self_attn.k_proj.weight": "model-00001-of-00003.safetensors", "model.layers.2.self_attn.q_proj.weight": "model-00001-of-00003.safetensors", "model.layers.2.input_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.1.mlp.down_proj.weight": "model-00001-of-00003.safetensors", "model.layers.1.mlp.gate_proj.weight": "model-00001-of-00003.safetensors", "model.layers.1.mlp.up_proj.weight": "model-00001-of-00003.safetensors", "model.layers.1.post_attention_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.1.self_attn.o_proj.weight": "model-00001-of-00003.safetensors", "model.layers.1.self_attn.v_proj.weight": "model-00001-of-00003.safetensors", "model.layers.1.self_attn.k_proj.weight": "model-00001-of-00003.safetensors", "model.layers.1.self_attn.q_proj.weight": "model-00001-of-00003.safetensors", "model.layers.1.input_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.0.mlp.down_proj.weight": "model-00001-of-00003.safetensors", "model.layers.0.mlp.gate_proj.weight": "model-00001-of-00003.safetensors", "model.layers.0.mlp.up_proj.weight": "model-00001-of-00003.safetensors", "model.layers.0.post_attention_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.0.self_attn.o_proj.weight": "model-00001-of-00003.safetensors", "model.layers.0.self_attn.v_proj.weight": "model-00001-of-00003.safetensors", "model.layers.0.self_attn.k_proj.weight": "model-00001-of-00003.safetensors", "model.layers.0.self_attn.q_proj.weight": "model-00001-of-00003.safetensors", "model.layers.0.input_layernorm.weight": "model-00001-of-00003.safetensors", "model.embed_tokens.weight": "model-00001-of-00003.safetensors", "model.layers.22.self_attn.o_proj.weight": "model-00001-of-00003.safetensors", "model.layers.22.self_attn.v_proj.weight": "model-00001-of-00003.safetensors", "model.layers.22.self_attn.k_proj.weight": "model-00001-of-00003.safetensors", "model.layers.22.self_attn.q_proj.weight": "model-00001-of-00003.safetensors", "model.layers.21.mlp.down_proj.weight": "model-00001-of-00003.safetensors", "model.layers.21.mlp.gate_proj.weight": "model-00001-of-00003.safetensors", "model.layers.21.mlp.up_proj.weight": "model-00001-of-00003.safetensors", "model.layers.21.post_attention_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.21.self_attn.o_proj.weight": "model-00001-of-00003.safetensors", "model.layers.21.self_attn.v_proj.weight": "model-00001-of-00003.safetensors", "model.layers.21.self_attn.k_proj.weight": "model-00001-of-00003.safetensors", "model.layers.21.self_attn.q_proj.weight": "model-00001-of-00003.safetensors", "model.layers.21.input_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.20.mlp.down_proj.weight": "model-00001-of-00003.safetensors", "model.layers.20.mlp.gate_proj.weight": "model-00001-of-00003.safetensors", "model.layers.20.mlp.up_proj.weight": "model-00001-of-00003.safetensors", "model.layers.20.post_attention_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.20.self_attn.o_proj.weight": "model-00001-of-00003.safetensors", "model.layers.20.self_attn.v_proj.weight": "model-00001-of-00003.safetensors", "model.layers.20.self_attn.k_proj.weight": "model-00001-of-00003.safetensors", "model.layers.20.self_attn.q_proj.weight": "model-00001-of-00003.safetensors", "model.layers.20.input_layernorm.weight": "model-00001-of-00003.safetensors", "model.layers.19.mlp.down_proj.weight": "model-00002-of-00003.safetensors", "model.layers.19.mlp.gate_proj.weight": "model-00002-of-00003.safetensors", "model.layers.19.mlp.up_proj.weight": "model-00002-of-00003.safetensors", "model.layers.19.post_attention_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.19.self_attn.o_proj.weight": "model-00002-of-00003.safetensors", "model.layers.19.self_attn.v_proj.weight": "model-00002-of-00003.safetensors", "model.layers.19.self_attn.k_proj.weight": "model-00002-of-00003.safetensors", "model.layers.19.self_attn.q_proj.weight": "model-00002-of-00003.safetensors", "model.layers.19.input_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.18.mlp.down_proj.weight": "model-00002-of-00003.safetensors", "model.layers.18.mlp.gate_proj.weight": "model-00002-of-00003.safetensors", "model.layers.18.mlp.up_proj.weight": "model-00002-of-00003.safetensors", "model.layers.18.post_attention_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.18.self_attn.o_proj.weight": "model-00002-of-00003.safetensors", "model.layers.18.self_attn.v_proj.weight": "model-00002-of-00003.safetensors", "model.layers.18.self_attn.k_proj.weight": "model-00002-of-00003.safetensors", "model.layers.18.self_attn.q_proj.weight": "model-00002-of-00003.safetensors", "model.layers.18.input_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.17.mlp.down_proj.weight": "model-00002-of-00003.safetensors", "model.layers.17.mlp.gate_proj.weight": "model-00002-of-00003.safetensors", "model.layers.17.mlp.up_proj.weight": "model-00002-of-00003.safetensors", "model.layers.17.post_attention_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.17.self_attn.o_proj.weight": "model-00002-of-00003.safetensors", "model.layers.17.self_attn.v_proj.weight": "model-00002-of-00003.safetensors", "model.layers.17.self_attn.k_proj.weight": "model-00002-of-00003.safetensors", "model.layers.17.self_attn.q_proj.weight": "model-00002-of-00003.safetensors", "model.layers.17.input_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.16.mlp.down_proj.weight": "model-00002-of-00003.safetensors", "model.layers.16.mlp.gate_proj.weight": "model-00002-of-00003.safetensors", "model.layers.16.mlp.up_proj.weight": "model-00002-of-00003.safetensors", "model.layers.16.post_attention_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.16.self_attn.o_proj.weight": "model-00002-of-00003.safetensors", "model.layers.16.self_attn.v_proj.weight": "model-00002-of-00003.safetensors", "model.layers.16.self_attn.k_proj.weight": "model-00002-of-00003.safetensors", "model.layers.16.self_attn.q_proj.weight": "model-00002-of-00003.safetensors", "model.layers.16.input_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.15.mlp.down_proj.weight": "model-00002-of-00003.safetensors", "model.layers.15.mlp.gate_proj.weight": "model-00002-of-00003.safetensors", "model.layers.15.mlp.up_proj.weight": "model-00002-of-00003.safetensors", "model.layers.15.post_attention_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.15.self_attn.o_proj.weight": "model-00002-of-00003.safetensors", "model.layers.15.self_attn.v_proj.weight": "model-00002-of-00003.safetensors", "model.layers.15.self_attn.k_proj.weight": "model-00002-of-00003.safetensors", "model.layers.15.self_attn.q_proj.weight": "model-00002-of-00003.safetensors", "model.layers.15.input_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.14.mlp.down_proj.weight": "model-00002-of-00003.safetensors", "model.layers.14.mlp.gate_proj.weight": "model-00002-of-00003.safetensors", "model.layers.14.mlp.up_proj.weight": "model-00002-of-00003.safetensors", "model.layers.14.post_attention_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.14.self_attn.o_proj.weight": "model-00002-of-00003.safetensors", "model.layers.14.self_attn.v_proj.weight": "model-00002-of-00003.safetensors", "model.layers.14.self_attn.k_proj.weight": "model-00002-of-00003.safetensors", "model.layers.14.self_attn.q_proj.weight": "model-00002-of-00003.safetensors", "model.layers.14.input_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.13.mlp.down_proj.weight": "model-00002-of-00003.safetensors", "model.layers.13.mlp.gate_proj.weight": "model-00002-of-00003.safetensors", "model.layers.13.mlp.up_proj.weight": "model-00002-of-00003.safetensors", "model.layers.13.post_attention_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.13.self_attn.o_proj.weight": "model-00002-of-00003.safetensors", "model.layers.13.self_attn.v_proj.weight": "model-00002-of-00003.safetensors", "model.layers.13.self_attn.k_proj.weight": "model-00002-of-00003.safetensors", "model.layers.13.self_attn.q_proj.weight": "model-00002-of-00003.safetensors", "model.layers.13.input_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.12.mlp.down_proj.weight": "model-00002-of-00003.safetensors", "model.layers.12.mlp.gate_proj.weight": "model-00002-of-00003.safetensors", "model.layers.12.mlp.up_proj.weight": "model-00002-of-00003.safetensors", "model.layers.12.post_attention_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.12.self_attn.o_proj.weight": "model-00002-of-00003.safetensors", "model.layers.12.self_attn.v_proj.weight": "model-00002-of-00003.safetensors", "model.layers.12.self_attn.k_proj.weight": "model-00002-of-00003.safetensors", "model.layers.12.self_attn.q_proj.weight": "model-00002-of-00003.safetensors", "model.layers.12.input_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.11.mlp.down_proj.weight": "model-00002-of-00003.safetensors", "model.layers.11.mlp.gate_proj.weight": "model-00002-of-00003.safetensors", "model.layers.11.mlp.up_proj.weight": "model-00002-of-00003.safetensors", "model.layers.11.post_attention_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.11.self_attn.o_proj.weight": "model-00002-of-00003.safetensors", "model.layers.11.self_attn.v_proj.weight": "model-00002-of-00003.safetensors", "model.layers.11.self_attn.k_proj.weight": "model-00002-of-00003.safetensors", "model.layers.11.self_attn.q_proj.weight": "model-00002-of-00003.safetensors", "model.layers.11.input_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.10.mlp.down_proj.weight": "model-00002-of-00003.safetensors", "model.layers.10.post_attention_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.10.input_layernorm.weight": "model-00002-of-00003.safetensors", "lm_head.weight": "model-00002-of-00003.safetensors", "model.norm.weight": "model-00002-of-00003.safetensors", "model.layers.31.mlp.down_proj.weight": "model-00002-of-00003.safetensors", "model.layers.31.mlp.gate_proj.weight": "model-00002-of-00003.safetensors", "model.layers.31.mlp.up_proj.weight": "model-00002-of-00003.safetensors", "model.layers.31.post_attention_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.31.self_attn.o_proj.weight": "model-00002-of-00003.safetensors", "model.layers.31.self_attn.v_proj.weight": "model-00002-of-00003.safetensors", "model.layers.31.self_attn.k_proj.weight": "model-00002-of-00003.safetensors", "model.layers.31.self_attn.q_proj.weight": "model-00002-of-00003.safetensors", "model.layers.31.input_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.30.mlp.down_proj.weight": "model-00002-of-00003.safetensors", "model.layers.30.mlp.gate_proj.weight": "model-00002-of-00003.safetensors", "model.layers.30.mlp.up_proj.weight": "model-00002-of-00003.safetensors", "model.layers.30.post_attention_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.30.self_attn.o_proj.weight": "model-00002-of-00003.safetensors", "model.layers.30.self_attn.v_proj.weight": "model-00002-of-00003.safetensors", "model.layers.30.self_attn.k_proj.weight": "model-00002-of-00003.safetensors", "model.layers.30.self_attn.q_proj.weight": "model-00002-of-00003.safetensors", "model.layers.30.input_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.29.mlp.down_proj.weight": "model-00002-of-00003.safetensors", "model.layers.29.mlp.gate_proj.weight": "model-00002-of-00003.safetensors", "model.layers.29.mlp.up_proj.weight": "model-00002-of-00003.safetensors", "model.layers.29.post_attention_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.29.self_attn.o_proj.weight": "model-00002-of-00003.safetensors", "model.layers.29.self_attn.v_proj.weight": "model-00002-of-00003.safetensors", "model.layers.29.self_attn.k_proj.weight": "model-00002-of-00003.safetensors", "model.layers.29.self_attn.q_proj.weight": "model-00002-of-00003.safetensors", "model.layers.29.input_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.28.mlp.down_proj.weight": "model-00002-of-00003.safetensors", "model.layers.28.mlp.gate_proj.weight": "model-00002-of-00003.safetensors", "model.layers.28.mlp.up_proj.weight": "model-00002-of-00003.safetensors", "model.layers.28.post_attention_layernorm.weight": "model-00002-of-00003.safetensors", "model.layers.28.self_attn.o_proj.weight": "model-00003-of-00003.safetensors", "model.layers.28.self_attn.v_proj.weight": "model-00003-of-00003.safetensors", "model.layers.28.self_attn.k_proj.weight": "model-00003-of-00003.safetensors", "model.layers.28.self_attn.q_proj.weight": "model-00003-of-00003.safetensors", "model.layers.28.input_layernorm.weight": "model-00003-of-00003.safetensors", "model.layers.27.mlp.down_proj.weight": "model-00003-of-00003.safetensors", "model.layers.27.mlp.gate_proj.weight": "model-00003-of-00003.safetensors", "model.layers.27.mlp.up_proj.weight": "model-00003-of-00003.safetensors", "model.layers.27.post_attention_layernorm.weight": "model-00003-of-00003.safetensors", "model.layers.27.self_attn.o_proj.weight": "model-00003-of-00003.safetensors", "model.layers.27.self_attn.v_proj.weight": "model-00003-of-00003.safetensors", "model.layers.27.self_attn.k_proj.weight": "model-00003-of-00003.safetensors", "model.layers.27.self_attn.q_proj.weight": "model-00003-of-00003.safetensors", "model.layers.27.input_layernorm.weight": "model-00003-of-00003.safetensors", "model.layers.26.mlp.down_proj.weight": "model-00003-of-00003.safetensors", "model.layers.26.mlp.gate_proj.weight": "model-00003-of-00003.safetensors", "model.layers.26.mlp.up_proj.weight": "model-00003-of-00003.safetensors", "model.layers.26.post_attention_layernorm.weight": "model-00003-of-00003.safetensors", "model.layers.26.self_attn.o_proj.weight": "model-00003-of-00003.safetensors", "model.layers.26.self_attn.v_proj.weight": "model-00003-of-00003.safetensors", "model.layers.26.self_attn.k_proj.weight": "model-00003-of-00003.safetensors", "model.layers.26.self_attn.q_proj.weight": "model-00003-of-00003.safetensors", "model.layers.26.input_layernorm.weight": "model-00003-of-00003.safetensors", "model.layers.25.mlp.down_proj.weight": "model-00003-of-00003.safetensors", "model.layers.25.mlp.gate_proj.weight": "model-00003-of-00003.safetensors", "model.layers.25.mlp.up_proj.weight": "model-00003-of-00003.safetensors", "model.layers.25.post_attention_layernorm.weight": "model-00003-of-00003.safetensors", "model.layers.25.self_attn.o_proj.weight": "model-00003-of-00003.safetensors", "model.layers.25.self_attn.v_proj.weight": "model-00003-of-00003.safetensors", "model.layers.25.self_attn.k_proj.weight": "model-00003-of-00003.safetensors", "model.layers.25.self_attn.q_proj.weight": "model-00003-of-00003.safetensors", "model.layers.25.input_layernorm.weight": "model-00003-of-00003.safetensors", "model.layers.24.mlp.down_proj.weight": "model-00003-of-00003.safetensors", "model.layers.24.mlp.gate_proj.weight": "model-00003-of-00003.safetensors", "model.layers.24.mlp.up_proj.weight": "model-00003-of-00003.safetensors", "model.layers.24.post_attention_layernorm.weight": "model-00003-of-00003.safetensors", "model.layers.24.self_attn.o_proj.weight": "model-00003-of-00003.safetensors", "model.layers.24.self_attn.v_proj.weight": "model-00003-of-00003.safetensors", "model.layers.24.self_attn.k_proj.weight": "model-00003-of-00003.safetensors", "model.layers.24.self_attn.q_proj.weight": "model-00003-of-00003.safetensors", "model.layers.24.input_layernorm.weight": "model-00003-of-00003.safetensors", "model.layers.23.mlp.down_proj.weight": "model-00003-of-00003.safetensors", "model.layers.23.mlp.gate_proj.weight": "model-00003-of-00003.safetensors", "model.layers.23.mlp.up_proj.weight": "model-00003-of-00003.safetensors", "model.layers.23.post_attention_layernorm.weight": "model-00003-of-00003.safetensors", "model.layers.23.self_attn.o_proj.weight": "model-00003-of-00003.safetensors", "model.layers.23.self_attn.v_proj.weight": "model-00003-of-00003.safetensors", "model.layers.23.self_attn.k_proj.weight": "model-00003-of-00003.safetensors", "model.layers.23.self_attn.q_proj.weight": "model-00003-of-00003.safetensors", "model.layers.23.input_layernorm.weight": "model-00003-of-00003.safetensors", "model.layers.22.mlp.down_proj.weight": "model-00003-of-00003.safetensors", "model.layers.22.mlp.gate_proj.weight": "model-00003-of-00003.safetensors", "model.layers.22.mlp.up_proj.weight": "model-00003-of-00003.safetensors", "model.layers.22.post_attention_layernorm.weight": "model-00003-of-00003.safetensors", "model.layers.22.input_layernorm.weight": "model-00003-of-00003.safetensors"}}

special_tokens_map.json

@@ -0,0 +1,23 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:dadfd56d766715c61d2ef780a525ab43b8e6da4de6865bda3d95fdef5e134055
+size 493443

tokenizer_config.json

@@ -0,0 +1,42 @@
+{
+  "add_bos_token": true,
+  "add_eos_token": false,
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "additional_special_tokens": [],
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "</s>",
+  "legacy": true,
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": null,
+  "sp_model_kwargs": {},
+  "spaces_between_special_tokens": false,
+  "tokenizer_class": "LlamaTokenizer",
+  "unk_token": "<unk>",
+  "use_default_system_prompt": false
+}