OcuteusのGGUF版です。
Kobold cpp上で使用することを推奨します。
また、トークン数の関係から、高解像度の画像は解像度を落として入力することをおすすめします。
使用例:
![image/png](https://cdn-uploads.huggingface.co/production/uploads/63215542b212a30bf70ee313/wQxH9ssu61AIFE7y4UzEH.png)
簡単な使用方法:
kobold.cpp 内のModelFiles
ページの
Model
にOcuteus-v1-q8_0.gguf
LLaVA mmproj
に Ocuteus-v1-mmproj-f16.gguf
をそれぞれ選択してください。
![image/png](https://cdn-uploads.huggingface.co/production/uploads/63215542b212a30bf70ee313/7TYW0TyVzrhZ-kR03mdsE.png)
推奨されるContext Size
は 16384
となっています。
![image/png](https://cdn-uploads.huggingface.co/production/uploads/63215542b212a30bf70ee313/iGb2y114mcRVjhjhji6o-.png)