請問如何部署在GCP
#2
by
sherlocktaiwan
- opened
您好，感謝對於台灣文化結合AI的貢獻。
我有GCP的compute engine機器(T4)，那我在那裡可以找到安裝文件呢? 我之前其實有安裝過open ai whisper,以及Stable diffusion ，但Taiwan-LLaMa-v1.0 好像有點複雜，感謝喔!
audreyt有做ggml的版本,在cpu上用langchain就能跑起來
https://huggingface.co/audreyt/Taiwan-LLaMa-v1.0-GGML
您好，我照著AI社團先進的作法，https://www.facebook.com/groups/Taiwan.NLP/posts/6277225012372637/ 可以執行，但我猜他是基於cpu運算，所以好慢。
我放GCP的結論：
1.Cloud Function和Cloud Run 有容量限制。所以使用13G模型 不可行。
2.放在compute engine (T4 n1-highmem-4)，以Flask service接，詢問『台中的經緯度』，花費46秒。
ex Q:台中的經緯度 A: 台中的經緯度為24°23′N 120°47′E。