pc에서 실행가능 한 코드 예제 문의 합니다.
#1
by
kyungil
- opened
아래와 같이 시도하였으나, RuntimeError: Failed to create LLM 'ggml-model' from 'models/KoAlpaca-polyglot-12.8B-ggml-model-q4_2.bin'.
이런 오류가 발생되네요.. 실행 가능한 코드 문의드려요
from langchain.llms import CTransformers
llm = CTransformers(
model="models/KoAlpaca-polyglot-12.8B-ggml-model-q4_2.bin",
model_type="llama"
)
content = "bts가 뭐지"
result = llm.predict("write a poem about " + content + ": ")
print(result)
답변 감사합니다.
llm = CTransformers(
model="models/KoAlpaca-polyglot-12.8B-ggml-model-q4_2.bin",
model_type="gpt-neox"
)