PartAI

/

Dorna-Llama3-8B-Instruct

like 49

با سلام و وقت بخیر.

برای استفاده از مدل با بک اند huggingface حدود 17 گیگ حافظه نیاز است.
طبیعتا برای سرعت بیشتر میتوانید از کارت گرافیک قوی تر استفاده کنید. اما یک گزینه مناسب A100 40GB است.
همچنین میتوانید با استفاده از Quantization مقدار حافظه مورد نیاز را کاهش دهید.
حافظه مورد نیاز اعلام شده با دقت bfloat16 بیان شده است.
با تشکر

با سلام مجدد.

همچنین میتوانید از لینک زیر به نسخه هایی با دقت های مختلف کوانتایز شده از مدل ۸ میلیاردی درنا دسترسی داشته باشید:

ممنون میشوم کدی که لود کردید رو به همراه ورژن کتابخانه های مهم بفرستید تا بهتر بتوانیم مشکل را بررسی کنیم.

با تشکر