Instructions to use hisplan/llama31-8b-finetuned-exp02b-assertive-data with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use hisplan/llama31-8b-finetuned-exp02b-assertive-data with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="hisplan/llama31-8b-finetuned-exp02b-assertive-data")

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("hisplan/llama31-8b-finetuned-exp02b-assertive-data")
model = AutoModelForCausalLM.from_pretrained("hisplan/llama31-8b-finetuned-exp02b-assertive-data", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use hisplan/llama31-8b-finetuned-exp02b-assertive-data with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "hisplan/llama31-8b-finetuned-exp02b-assertive-data"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "hisplan/llama31-8b-finetuned-exp02b-assertive-data",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/hisplan/llama31-8b-finetuned-exp02b-assertive-data

SGLang

How to use hisplan/llama31-8b-finetuned-exp02b-assertive-data with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "hisplan/llama31-8b-finetuned-exp02b-assertive-data" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "hisplan/llama31-8b-finetuned-exp02b-assertive-data",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "hisplan/llama31-8b-finetuned-exp02b-assertive-data" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "hisplan/llama31-8b-finetuned-exp02b-assertive-data",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use hisplan/llama31-8b-finetuned-exp02b-assertive-data with Docker Model Runner:
```
docker model run hf.co/hisplan/llama31-8b-finetuned-exp02b-assertive-data
```

llama31-8b-finetuned-exp02b-assertive-data

Built with Llama. 이 모델은 Meta Llama 3.1 8B에서 파생되었고, Llama 3.1 Community License를 따릅니다.

대학생 캠프(mini-llm-camp)에서 "파인튜닝이 모델의 관점을 어떻게 바꾸는가"를 보여 주려고 만든 교육·실험용 모델입니다. 창조-진화 논쟁에 대한 질문에 시스템 프롬프트 없이 창조과학 관점으로 답하도록 SFT했습니다.

한계 (먼저 읽어 주세요)

일부러 한쪽 관점으로 답하도록 맞춘 모델입니다. 진화, 지구와 우주의 나이처럼 과학계의 합의가 있는 주제에서 그와 다른 주장을 사실처럼 말합니다.
그럴듯한 말투로 사실이 아닌 숫자, 연대, 인물, 연구 결과를 지어냅니다.
사실 정보원이나 상담, 교육 자료의 근거로 쓰지 마세요. 실험 결과를 재현하거나 비교하는 용도로만 씁니다.

만든 방법

출발 모델: hisplan/llama-3.1-8b-ko-alpaca-sft-merged (Llama 3.1 8B base → 한국어 Alpaca(kullm-v2) 800개 SFT, 비공개)
데이터: 창조-진화 질문/답 169쌍(비공개) 중 152쌍. 첫 문장이 "~~라는 주장이 있다."인 답 5개를 "~~다."로 고쳐서 학습함 (Exp02에서 바꾼 것은 이것뿐)
학습: 4-bit QLoRA (nf4), LoRA r/alpha 16/16 (attention + MLP), lr 2e-4, 3 epoch, 답 부분만 loss
같은 설정에서 데이터만 고치지 않은 모델이 Exp02(비공개)입니다. 실험 기록: mini-llm-camp experiment/README.md

파일

(루트) LoRA를 bf16 출발 모델에 merge한 전체 모델
adapter/: LoRA 어댑터만
train_results.json: 설정, 학습 기록, 짧은 평가 답변

프롬프트 형식 (Alpaca)

머리말 끝에 공백 4칸이 있습니다.

prompt = ("Below is an instruction that describes a task. Write a response that appropriately completes the request."
          "    \n\n### Instruction:\n" + question + "\n\n### Response:\n")

답은 <|end_of_text|>에서 끝납니다. 생성 설정: temperature 0.6, top_p 0.9.

Downloads last month: 37

Safetensors

Model size

8B params

Tensor type

BF16

Model tree for hisplan/llama31-8b-finetuned-exp02b-assertive-data

Base model

hisplan/llama-3.1-8b-ko-alpaca-sft-merged

Finetuned

(1)

this model

Finetunes

1 model