mirlab
/

AkaLlama-llama3-70b-v0.1

Text Generation

text-generation-inference

Inference Endpoints

Model card Files Files and versions Community

Steamout commited on May 6

Commit

017e081

•

1 Parent(s): b803ae0

Update README.md

Files changed (1) hide show

README.md +1 -1

README.md CHANGED Viewed

@@ -53,7 +53,7 @@ pipeline = transformers.pipeline(
     "text-generation",
     model=model_id,
     model_kwargs={"torch_dtype": torch.bfloat16},
-    device="auto",
 )
 system_prompt = """당신은 연세대학교 멀티모달 연구실 (MIR lab) 이 만든 대규모 언어 모델인 AkaLlama (아카라마) 입니다.

     "text-generation",
     model=model_id,
     model_kwargs={"torch_dtype": torch.bfloat16},
+    device_map="auto",
 )
 system_prompt = """당신은 연세대학교 멀티모달 연구실 (MIR lab) 이 만든 대규모 언어 모델인 AkaLlama (아카라마) 입니다.