Instructions to use mudkip02/llama3.2-1b-mmqa-lora with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use mudkip02/llama3.2-1b-mmqa-lora with PEFT:

from peft import PeftModel
from transformers import AutoModelForCausalLM

base_model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-1B-Instruct")
model = PeftModel.from_pretrained(base_model, "mudkip02/llama3.2-1b-mmqa-lora")

Transformers

How to use mudkip02/llama3.2-1b-mmqa-lora with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="mudkip02/llama3.2-1b-mmqa-lora")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("mudkip02/llama3.2-1b-mmqa-lora", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use mudkip02/llama3.2-1b-mmqa-lora with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "mudkip02/llama3.2-1b-mmqa-lora"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "mudkip02/llama3.2-1b-mmqa-lora",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/mudkip02/llama3.2-1b-mmqa-lora

SGLang

How to use mudkip02/llama3.2-1b-mmqa-lora with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "mudkip02/llama3.2-1b-mmqa-lora" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "mudkip02/llama3.2-1b-mmqa-lora",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "mudkip02/llama3.2-1b-mmqa-lora" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "mudkip02/llama3.2-1b-mmqa-lora",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use mudkip02/llama3.2-1b-mmqa-lora with Docker Model Runner:
```
docker model run hf.co/mudkip02/llama3.2-1b-mmqa-lora
```

llama3.2-1b-mmqa-lora-llamafactory

This model is a fine-tuned version of meta-llama/Llama-3.2-1B-Instruct on the meta_math_qa dataset. It achieves the following results on the evaluation set:

Loss: 0.1650

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 8
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 16
optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: cosine
lr_scheduler_warmup_steps: 0.03
num_epochs: 2.0

Training results

Training Loss	Epoch	Step	Validation Loss
0.2644	0.0102	250	0.2924
0.2617	0.0203	500	0.2548
0.2452	0.0305	750	0.2433
0.2504	0.0406	1000	0.2358
0.2260	0.0508	1250	0.2310
0.2677	0.0609	1500	0.2274
0.2244	0.0711	1750	0.2240
0.2262	0.0812	2000	0.2211
0.2081	0.0914	2250	0.2180
0.2281	0.1015	2500	0.2152
0.2049	0.1117	2750	0.2142
0.2185	0.1218	3000	0.2136
0.1952	0.1320	3250	0.2120
0.2221	0.1421	3500	0.2120
0.2139	0.1523	3750	0.2089
0.1953	0.1624	4000	0.2067
0.2038	0.1726	4250	0.2059
0.2062	0.1827	4500	0.2050
0.2190	0.1929	4750	0.2035
0.2054	0.2030	5000	0.2035
0.2237	0.2132	5250	0.2030
0.2152	0.2234	5500	0.2023
0.2011	0.2335	5750	0.2010
0.2099	0.2437	6000	0.1999
0.1972	0.2538	6250	0.1998
0.2041	0.2640	6500	0.1992
0.1894	0.2741	6750	0.1987
0.1903	0.2843	7000	0.1976
0.1906	0.2944	7250	0.1970
0.2041	0.3046	7500	0.1957
0.1954	0.3147	7750	0.1959
0.1977	0.3249	8000	0.1954
0.1814	0.3350	8250	0.1946
0.1840	0.3452	8500	0.1945
0.1937	0.3553	8750	0.1935
0.1996	0.3655	9000	0.1923
0.2193	0.3756	9250	0.1928
0.2102	0.3858	9500	0.1930
0.1998	0.3959	9750	0.1924
0.2047	0.4061	10000	0.1915
0.1897	0.4162	10250	0.1911
0.1716	0.4264	10500	0.1907
0.1832	0.4365	10750	0.1908
0.1871	0.4467	11000	0.1900
0.1855	0.4569	11250	0.1900
0.1786	0.4670	11500	0.1893
0.1919	0.4772	11750	0.1889
0.1930	0.4873	12000	0.1889
0.1908	0.4975	12250	0.1886
0.1934	0.5076	12500	0.1875
0.1867	0.5178	12750	0.1877
0.1803	0.5279	13000	0.1873
0.1997	0.5381	13250	0.1875
0.1838	0.5482	13500	0.1868
0.1843	0.5584	13750	0.1862
0.1825	0.5685	14000	0.1860
0.1781	0.5787	14250	0.1861
0.1729	0.5888	14500	0.1851
0.1951	0.5990	14750	0.1850
0.1750	0.6091	15000	0.1844
0.1676	0.6193	15250	0.1840
0.1882	0.6294	15500	0.1839
0.1525	0.6396	15750	0.1837
0.1685	0.6497	16000	0.1833
0.1799	0.6599	16250	0.1832
0.1970	0.6701	16500	0.1823
0.1802	0.6802	16750	0.1821
0.1761	0.6904	17000	0.1812
0.1772	0.7005	17250	0.1814
0.1750	0.7107	17500	0.1816
0.1831	0.7208	17750	0.1808
0.1782	0.7310	18000	0.1806
0.2073	0.7411	18250	0.1807
0.1899	0.7513	18500	0.1803
0.1909	0.7614	18750	0.1801
0.1822	0.7716	19000	0.1790
0.1843	0.7817	19250	0.1793
0.1749	0.7919	19500	0.1793
0.1827	0.8020	19750	0.1789
0.1611	0.8122	20000	0.1785
0.1840	0.8223	20250	0.1785
0.1745	0.8325	20500	0.1786
0.1722	0.8426	20750	0.1782
0.1792	0.8528	21000	0.1776
0.1758	0.8629	21250	0.1777
0.1736	0.8731	21500	0.1777
0.1670	0.8832	21750	0.1768
0.1651	0.8934	22000	0.1769
0.1744	0.9036	22250	0.1767
0.1879	0.9137	22500	0.1767
0.1847	0.9239	22750	0.1760
0.1968	0.9340	23000	0.1763
0.1803	0.9442	23250	0.1756
0.1550	0.9543	23500	0.1751
0.1782	0.9645	23750	0.1755
0.1715	0.9746	24000	0.1751
0.1837	0.9848	24250	0.1750
0.1851	0.9949	24500	0.1748
0.1622	1.0051	24750	0.1754
0.1524	1.0152	25000	0.1750
0.1570	1.0254	25250	0.1747
0.1461	1.0355	25500	0.1747
0.1568	1.0457	25750	0.1745
0.1620	1.0558	26000	0.1744
0.1515	1.0660	26250	0.1744
0.1518	1.0761	26500	0.1739
0.1606	1.0863	26750	0.1730
0.1505	1.0964	27000	0.1741
0.1492	1.1066	27250	0.1736
0.1482	1.1168	27500	0.1737
0.1594	1.1269	27750	0.1731
0.1563	1.1371	28000	0.1729
0.1450	1.1472	28250	0.1726
0.1554	1.1574	28500	0.1726
0.1626	1.1675	28750	0.1725
0.1604	1.1777	29000	0.1723
0.1386	1.1878	29250	0.1722
0.1573	1.1980	29500	0.1716
0.1504	1.2081	29750	0.1717
0.1577	1.2183	30000	0.1712
0.1522	1.2284	30250	0.1712
0.1407	1.2386	30500	0.1711
0.1384	1.2487	30750	0.1709
0.1655	1.2589	31000	0.1713
0.1504	1.2690	31250	0.1704
0.1523	1.2792	31500	0.1703
0.1527	1.2893	31750	0.1700
0.1486	1.2995	32000	0.1697
0.1493	1.3096	32250	0.1698
0.1452	1.3198	32500	0.1695
0.1429	1.3299	32750	0.1693
0.1561	1.3401	33000	0.1695
0.1559	1.3503	33250	0.1691
0.1518	1.3604	33500	0.1693
0.1637	1.3706	33750	0.1692
0.1527	1.3807	34000	0.1690
0.1640	1.3909	34250	0.1688
0.1416	1.4010	34500	0.1689
0.1524	1.4112	34750	0.1686
0.1558	1.4213	35000	0.1683
0.1452	1.4315	35250	0.1680
0.1529	1.4416	35500	0.1678
0.1470	1.4518	35750	0.1678
0.1589	1.4619	36000	0.1679
0.1555	1.4721	36250	0.1676
0.1489	1.4822	36500	0.1676
0.1578	1.4924	36750	0.1672
0.1521	1.5025	37000	0.1673
0.1594	1.5127	37250	0.1674
0.1359	1.5228	37500	0.1670
0.1415	1.5330	37750	0.1669
0.1531	1.5431	38000	0.1669
0.1527	1.5533	38250	0.1670
0.1495	1.5635	38500	0.1667
0.1525	1.5736	38750	0.1667
0.1528	1.5838	39000	0.1666
0.1657	1.5939	39250	0.1666
0.1424	1.6041	39500	0.1666
0.1351	1.6142	39750	0.1665
0.1611	1.6244	40000	0.1664
0.1379	1.6345	40250	0.1665
0.1547	1.6447	40500	0.1664
0.1593	1.6548	40750	0.1664
0.1524	1.6650	41000	0.1661
0.1569	1.6751	41250	0.1662
0.1640	1.6853	41500	0.1659
0.1528	1.6954	41750	0.1659
0.1543	1.7056	42000	0.1658
0.1701	1.7157	42250	0.1657
0.1483	1.7259	42500	0.1656
0.1491	1.7360	42750	0.1655
0.1456	1.7462	43000	0.1654
0.1386	1.7563	43250	0.1655
0.1743	1.7665	43500	0.1654
0.1528	1.7766	43750	0.1654
0.1653	1.7868	44000	0.1654
0.1550	1.7970	44250	0.1654
0.1466	1.8071	44500	0.1653
0.1488	1.8173	44750	0.1653
0.1385	1.8274	45000	0.1652
0.1517	1.8376	45250	0.1652
0.1508	1.8477	45500	0.1652
0.1465	1.8579	45750	0.1652
0.1598	1.8680	46000	0.1652
0.1478	1.8782	46250	0.1652
0.1442	1.8883	46500	0.1652
0.1510	1.8985	46750	0.1652
0.1490	1.9086	47000	0.1651
0.1473	1.9188	47250	0.1651
0.1514	1.9289	47500	0.1651
0.1492	1.9391	47750	0.1652
0.1590	1.9492	48000	0.1651
0.1612	1.9594	48250	0.1651
0.1488	1.9695	48500	0.1652
0.1521	1.9797	48750	0.1652
0.1554	1.9898	49000	0.1651
0.1497	2.0	49250	0.1650

Framework versions

PEFT 0.19.1
Transformers 5.6.0
Pytorch 2.8.0+cu126
Datasets 4.0.0
Tokenizers 0.22.2

Downloads last month: 7

Model tree for mudkip02/llama3.2-1b-mmqa-lora

Base model

meta-llama/Llama-3.2-1B-Instruct

Adapter

(684)

this model