RichardErkhov/Local-Novel-LLM-project_-_Vecteus-V2-7B-gguf

Quantization made by Richard Erkhov.

Github

Discord

Request more models

Vecteus-V2-7B - GGUF

• Model creator: https://huggingface.co/Local-Novel-LLM-project/
• Original model: https://huggingface.co/Local-Novel-LLM-project/Vecteus-V2-7B/

Name	Quant method	Size
Vecteus-V2-7B.Q2_K.gguf	Q2_K	1.04GB
Vecteus-V2-7B.IQ3_XS.gguf	IQ3_XS	1.16GB
Vecteus-V2-7B.IQ3_S.gguf	IQ3_S	1.22GB
Vecteus-V2-7B.Q3_K_S.gguf	Q3_K_S	1.21GB
Vecteus-V2-7B.IQ3_M.gguf	IQ3_M	1.27GB
Vecteus-V2-7B.Q3_K.gguf	Q3_K	1.36GB
Vecteus-V2-7B.Q3_K_M.gguf	Q3_K_M	1.36GB
Vecteus-V2-7B.Q3_K_L.gguf	Q3_K_L	1.47GB
Vecteus-V2-7B.IQ4_XS.gguf	IQ4_XS	1.54GB
Vecteus-V2-7B.Q4_0.gguf	Q4_0	1.59GB
Vecteus-V2-7B.IQ4_NL.gguf	IQ4_NL	1.62GB
Vecteus-V2-7B.Q4_K_S.gguf	Q4_K_S	1.62GB
Vecteus-V2-7B.Q4_K.gguf	Q4_K	1.69GB
Vecteus-V2-7B.Q4_K_M.gguf	Q4_K_M	1.69GB
Vecteus-V2-7B.Q4_1.gguf	Q4_1	1.76GB
Vecteus-V2-7B.Q5_0.gguf	Q5_0	1.94GB
Vecteus-V2-7B.Q5_K_S.gguf	Q5_K_S	1.94GB
Vecteus-V2-7B.Q5_K.gguf	Q5_K	1.99GB
Vecteus-V2-7B.Q5_K_M.gguf	Q5_K_M	1.99GB
Vecteus-V2-7B.Q5_1.gguf	Q5_1	2.11GB
Vecteus-V2-7B.Q6_K.gguf	Q6_K	2.31GB
Vecteus-V2-7B.Q8_0.gguf	Q8_0	2.99GB

Original model description:

license: apache-2.0 language: - ja library_name: transformers pipeline_tag: text-generation

Vecteus-V2-7B

このモデルは、ベクトルマージなどを用い作成された高性能ベースモデルです。 用途はチャットのみならず、文章創作など幅広いタスクに対応できます。

このモデルは、ローカルLLMに向き合う会企画のLocalAIハッカソンの高性能GPUサーバーの助けを借りて作成されました。

関係者の皆様に感謝申し上げます。

チャットテンプレート

Vicuna-v1.1のテンプレートを使用できます。

作成方法

モデルレシピは下記の通りです。

A = Vecteus + neural chat v3

B = Ninja v2 + neural chat v3

vecteusv2 = A + B