brittlewis12 commited on
Commit
6f32935
1 Parent(s): ee6e7ea

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +86 -0
README.md ADDED
@@ -0,0 +1,86 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model: mlabonne/Beagle14-7B
3
+ inference: false
4
+ language:
5
+ - en
6
+ license: apache-2.0
7
+ model_creator: mlabonne
8
+ model_name: Beagle14-7B
9
+ model_type: mistral
10
+ pipeline_tag: text-generation
11
+ prompt_template: "<|system|>
12
+
13
+ </s>
14
+
15
+ <|user|>
16
+
17
+ {prompt}</s>
18
+
19
+ <|assistant|>
20
+
21
+ "
22
+ tags:
23
+ - merge
24
+ - mergekit
25
+ - lazymergekit
26
+ - fblgit/UNA-TheBeagle-7b-v1
27
+ - argilla/distilabeled-Marcoro14-7B-slerp
28
+ quantized_by: brittlewis12
29
+ ---
30
+
31
+ # Beagle14-7B GGUF
32
+
33
+ Original model: [Beagle14-7B](https://huggingface.co/mlabonne/Beagle14-7B)
34
+ Model creator: [Maxime Labonne](https://huggingface.co/mlabonne)
35
+
36
+ This repo contains GGUF format model files for Maxime Labonne’s Beagle14-7B.
37
+
38
+ Beagle14-7B is a merge of the following models using LazyMergekit:
39
+
40
+ - [fblgit/UNA-TheBeagle-7b-v1](https://huggingface.co/fblgit/UNA-TheBeagle-7b-v1)
41
+ - [argilla/distilabeled-Marcoro14-7B-slerp](https://huggingface.co/argilla/distilabeled-Marcoro14-7B-slerp)
42
+
43
+
44
+ ### What is GGUF?
45
+
46
+ GGUF is a file format for representing AI models. It is the third version of the format, introduced by the llama.cpp team on August 21st 2023. It is a replacement for GGML, which is no longer supported by llama.cpp.
47
+ Converted using llama.cpp build 1879 (revision [3e5ca79](https://github.com/ggerganov/llama.cpp/commit/3e5ca7931c68152e4ec18d126e9c832dd84914c8))
48
+
49
+ ### Prompt template: Zephyr
50
+
51
+ Zephyr-style appears to work well!
52
+
53
+ ```
54
+ <|system|>
55
+ {{system_message}}</s>
56
+ <|user|>
57
+ {{prompt}}</s>
58
+ <|assistant|>
59
+ ```
60
+
61
+ ---
62
+
63
+ ## Download & run with [cnvrs](https://testflight.apple.com/join/sFWReS7K) on iPhone, iPad, and Mac!
64
+
65
+ [cnvrs](https://testflight.apple.com/join/sFWReS7K) is the best app for private, local AI on your device:
66
+ - create & save **Characters** with custom system prompts & temperature settings
67
+ - download and experiment with any **GGUF model** you can [find on HuggingFace](https://huggingface.co/models?library=gguf)!
68
+ - make it your own with custom **Theme colors**
69
+ - powered by Metal ⚡️ & [Llama.cpp](https://github.com/ggerganov/llama.cpp), with **haptics** during response streaming!
70
+ - **try it out** yourself today, on [Testflight](https://testflight.apple.com/join/sFWReS7K)!
71
+
72
+ ---
73
+
74
+ ## Original Model Evaluations:
75
+
76
+ The evaluation was performed by the model’s creator using [LLM AutoEval](https://github.com/mlabonne/llm-autoeval) on Nous suite, as reported from mlabonne’s alternative leaderboard, YALL: [Yet Another LLM Leaderboard](https://huggingface.co/spaces/mlabonne/Yet_Another_LLM_Leaderboard).
77
+
78
+ | Model |AGIEval|GPT4All|TruthfulQA|Bigbench|Average|
79
+ |----------------------------------------------------------|------:|------:|---------:|-------:|------:|
80
+ |[**Beagle14-7B**](https://huggingface.co/mlabonne/Beagle14-7B)| 44.38| **76.53**| **69.44**| 47.25| **59.4**|
81
+ |[OpenHermes-2.5-Mistral-7B](https://huggingface.co/teknium/OpenHermes-2.5-Mistral-7B)| 42.75| 72.99| 52.99| 40.94| 52.42|
82
+ |[NeuralHermes-2.5-Mistral-7B](https://huggingface.co/mlabonne/NeuralHermes-2.5-Mistral-7B)| 43.67| 73.24| 55.37| 41.76| 53.51|
83
+ |[Nous-Hermes-2-SOLAR-10.7B](https://huggingface.co/NousResearch/Nous-Hermes-2-SOLAR-10.7B)| **47.79**| 74.69| 55.92| 44.84| 55.81|
84
+ |[Marcoro14-7B-slerp](https://huggingface.co/mlabonne/Marcoro14-7B-slerp) | 44.66| 76.24| 64.15| 45.64| 57.67|
85
+ |[CatMarcoro14-7B-slerp](https://huggingface.co/occultml/CatMarcoro14-7B-slerp)| 45.21| 75.91| 63.81| **47.31**| 58.06|
86
+