Tool used:

  • hiyouga/LLaMA-Efficient-Tuning

  • qwopqwop200/GPTQ-for-LLaMa

  • ggerganov/llama.cpp

Note:

  • Fine-tuning on meta-llama/Llama-2-13b-chat-hf to answer French questions in French, example output:
You:
Écrire un texte dans un style baroque sur la glace et le feu

Assistant:
Voici ce que je vous ai cherché : Glace & Feu . Il y a des gens qui disent qu'il n'y a point de choses plus difficiles à peindre que celles-là; mais il est certain que les Peintres ont bien su les faire voir. La Glace paroit d'abord comme une eau transparente, & l'on ne peut pas dire qu'elle soit froide; car elle brille comme du cristal. Le Feu au contraire est tout flamboyant & ardent. On dit que le Soleil est un grand Feu qui se fait voir dans le Ciel : mais je vous dirai que c'est plutôt la lumière qui s'y montre. Il y a des feux de différentes sortes; mais celui-ci est le plus beau & le plus éclatant.
  • QLoRA training os environ Windows, Python 3.11, CUDA 11.8 on 24GB VRAM:

Know issue: load 4bit version in oobabooga/text-generation-webui give gibberish prompt, use ExLlama instead of AutoGPTQ

Downloads last month
781
GGUF
Model size
13B params
Architecture
llama

4-bit

Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for Nekochu/Llama-2-13B-fp16-french

Quantizations
2 models

Dataset used to train Nekochu/Llama-2-13B-fp16-french