llama-cpp on FreeBSD w/o GPU(vulkan)

* ollama が動かなくて「ありゃま、おりゃま（がっくり）」となっていたのです
* llama-cpp　そのものは　"vulkan" サポートなしでコンパイルできるんですね。

# llama-cpp を vulkanなしでコンパイル

<pre>
  │ │[ ] VULKAN   Vulkan GPU offload support    │ │                        </pre> 

先程までいっぱいエラー吐いてましたが、動いてくれるようになっています。

## 実際に動かすと？？

* llama-server を試しました。
* Model は "ELYZA-japanese-Llama-2-7b-fast-instruct-q4_K_M.gguf" としました。

<pre>
.

systemYou[UNK_BYTE_0xe29681▁are]are[UNK_BYTE_0xe29681▁not]not[UNK_BYTE_0xe29681▁author]authorized[UNK_BYTE_0xe29681▁to]to[UNK_BYTE_0xe29681▁access]access[UNK_BYTE_0xe29681▁this]this[UNK_BYTE_0xe29681▁page]page.[UNK_BYTE_0xe29681▁<]

user
systemYou[UNK_BYTE_0xe29681▁are]are[UNK_BYTE_0xe29681▁not]not[UNK_BYTE_0xe29681▁author]authorized[UNK_BYTE_0xe29681▁to]to[UNK_BYTE_0xe29681▁access]access[UNK_BYTE_0xe29681▁this]this[UNK_BYTE_0xe29681▁page]page.[UNK_BYTE_0xe29681▁<]

user
systemYou[UNK_BYTE_0xe29681▁are]are[UNK_BYTE_0xe29681▁not]not[UNK_BYTE_0xe29681▁author]authorized[UNK_BYTE_0xe29681▁to]to[UNK_BYTE_0xe29681▁access]access[UNK_BYTE_0xe29681▁this]this[UNK_BYTE_0xe29681▁page]page.[UNK_BYTE_0xe29681▁<]

user
systemYou[UNK_BYTE_0xe29681▁are]are[UNK_BYTE_0xe29681▁not]not[UNK_BYTE_0xe29681▁author]authorized[UNK_BYTE_0xe29681▁to]to[UNK_BYTE_0xe29681▁access]access[UNK_BYTE_0xe29681▁this]this[UNK_BYTE_0xe29681▁page]page.[UNK_BYTE_0xe29681▁<]

user<

</pre>
*  良くわかりませんが、”You are not authorized to access this page." と出ているようです？？

<pre>
<pre>llama-run ELYZA-japanese-Llama-2-7b-fast-instruct-q4_K_M.gguf 
<font color="#44AA44">&gt; </font>Translate into Japanese:                                                                                                                            
<font color="#AA5500">Translate into Japanese:&lt;|im_end|&gt;```[UNK_BYTE_0xe381beまた][UNK_BYTE_0xe3819fまた][UNK_BYTE_0xe38081、]im_start,[UNK_BYTE_0xe29681▁im]im_end[UNK_BYTE</font>
<font color="#AA5500">_0xe29681▁][UNK_BYTE_0xe381afは][UNK_BYTE_0xe38081、]&lt;|&gt;[UNK_BYTE_0xe29681▁][UNK_BYTE_0xe381a7で][UNK_BYTE_0xe59bb2囲][UNK_BYTE_0xe38293んで][UNK_BYTE</font>
<font color="#AA5500">_0xe381a7んで][UNK_BYTE_0xe3818aお][UNK_BYTE_0xe3818fく][UNK_BYTE_0xe38193ことで][UNK_BYTE_0xe381a8ことで][UNK_BYTE_0xe381a7ことで][UNK_BYTE_0xe38081</font> <font color="#AA5500">、]im_start[UNK_BYTE_0xe29681▁][UNK_BYTE_0xe38288より][UNK_BYTE_0xe3828aより][UNK_BYTE_0xe5898d前の][UNK_BYTE_0xe381ae前の][UNK_BYTE_0xe69687文字][UNK</font>
<font color="#AA5500">_BYTE_0xe5ad97文字][UNK_BYTE_0xe3818bから][UNK_BYTE_0xe38289から]im_end[UNK_BYTE_0xe29681▁][UNK_BYTE_0xe38288より][UNK_BYTE_0xe3828aより][UNK_BYTE_0xe</font>
<font color="#AA5500">5be8c後の][UNK_BYTE_0xe381ae後の][UNK_BYTE_0xe69687文字][UNK_BYTE_0xe5ad97文字][UNK_BYTE_0xe381beまで][UNK_BYTE_0xe381a7まで][UNK_BYTE_0xe38292を][UNK</font>
<font color="#AA5500">_BYTE_0xe38081、][UNK_BYTE_0xe383a6ユーザー][UNK_BYTE_0xe383bcユーザー][UNK_BYTE_0xe382b6ユーザー][UNK_BYTE_0xe383bcユーザー][UNK_BYTE_0xe38388ト][UNK</font>
<font color="#AA5500">_BYTE_0xe383a9ラン][UNK_BYTE_0xe383b3ラン][UNK_BYTE_0xe382b8ジ][UNK_BYTE_0xe383acレ][UNK_BYTE_0xe383bcーション][UNK_BYTE_0xe382b7ーション][UNK_BYTE_0x</font>
<font color="#AA5500">e383a7ーション][UNK_BYTE_0xe383b3ーション][UNK_BYTE_0xe381a8として][UNK_BYTE_0xe38197として][UNK_BYTE_0xe381a6として][UNK_BYTE_0xe689b1扱][UNK_BYTE_0x</font>
<font color="#AA5500">e38184います][UNK_BYTE_0xe381beいます][UNK_BYTE_0xe38199います]　[UNK_BYTE_0xe38082。][UNK_BYTE_0xe381aaなお][UNK_BYTE_0xe3818aなお][UNK_BYTE_0xe38081、</font>
<font color="#AA5500">][UNK_BYTE_0xe383a6ユーザー][UNK_BYTE_0xe383bcユーザー][UNK_BYTE_0xe382b6ユーザー][UNK_BYTE_0xe383bcユーザー][UNK_BYTE_0xe38388ト][UNK_BYTE_0xe383a9ラ</font>
<font color="#AA5500">ン][UNK_BYTE_0xe383b3ラン][UNK_BYTE_0xe382b8ジ][UNK_BYTE_0xe383acレ][UNK_BYTE_0xe383bcーション][UNK_BYTE_0xe382b7ーション][UNK_BYTE_0xe383a7ーション][</font>
<font color="#AA5500">UNK_BYTE_0xe383b3ーション][UNK_BYTE_0xe38292を][UNK_BYTE_0xe68c87指定][UNK_BYTE_0xe5ae9a指定][UNK_BYTE_0xe38199する][UNK_BYTE_0xe3828bする][UNK_BYTE_0</font>
<font color="#AA5500">xe99a9b際][UNK_BYTE_0xe381abには][UNK_BYTE_0xe381afには][UNK_BYTE_0xe38081、]im_start[UNK_BYTE_0xe29681▁][UNK_BYTE_0xe381a8と][UNK_BYTE_0xe29681▁im]im</font>
<font color="#AA5500">_end[UNK_BYTE_0xe29681▁][UNK_BYTE_0xe381aeの][UNK_BYTE_0xe99693間][UNK_BYTE_0xe381abには][UNK_BYTE_0xe381afには][UNK_BYTE_0xe7a9ba空][UNK_BYTE_0xe799b</font>
<font color="#AA5500">d白][UNK_BYTE_0xe381afは][UNK_BYTE_0xe4b88d不][UNK_BYTE_0xe8a681要][UNK_BYTE_0xe381a7です][UNK_BYTE_0xe38199です][UNK_BYTE_0xe38082。]##[UNK_BYTE_0xe2</font>
<font color="#AA5500">9681▁][UNK_BYTE_0xe383a6ユーザー][UNK_BYTE_0xe383bcユーザー][UNK_BYTE_0xe382b6ユーザー][UNK_BYTE_0xe383bcユーザー][UNK_BYTE_0xe38388ト][UNK_BYTE_0xe38</font>
<font color="#AA5500">3a9ラン][UNK_BYTE_0xe383b3ラン][UNK_BYTE_0xe382b8ジ][UNK_BYTE_0xe383acレ][UNK_BYTE_0xe383bcーション][UNK_BYTE_0xe382b7ーション][UNK_BYTE_0xe383a7ーシ</font> <font color="#AA5500">ョン][UNK_BYTE_0xe383b3ーション][UNK_BYTE_0xe381aeの][UNK_BYTE_0xe8a8ad設定][UNK_BYTE_0xe5ae9a設定][UNK_BYTE_0xe4be8b例]###[UNK_BYTE_0xe29681▁][UNK_BY</font>
<font color="#AA5500">TE_0xe383a6ユーザー][UNK_BYTE_0xe383bcユーザー][UNK_BYTE_0xe382b6ユーザー][UNK_BYTE_0xe383bcユーザー][UNK_BYTE_0xe38388ト][UNK_BYTE_0xe383a9ラン][UNK_</font>
<font color="#AA5500">BYTE_0xe383b3ラン][UNK_BYTE_0xe382b8ジ][UNK_BYTE_0xe383acレ][UNK_BYTE_0xe383bcーション][UNK_BYTE_0xe382b7ーション][UNK_BYTE_0xe383a7ーション][UNK_BYTE</font>
<font color="#AA5500">_0xe383b3ーション][UNK_BYTE_0xe38292を]1[UNK_BYTE_0xe381a4つ]^C</font>
</pre>
</pre>

## [UNK_BYTE_0x****] の謎

使用モデルによってそんな表示が出てしまうようです。

　* ELYZA-japanese-Llama-2-7b-fast-instruct-q4_K_M.gguf  → [UNK_BYTE... で埋まる。
　* ELYZA-japanese-Llama-2-7b-instruct-q4_K_M.gguf → 普通に動くようで・・・

<pre>
# llama-run ELYZA-japanese-Llama-2-7b-instruct-q4_K_M.gguf 
> こんにちは。                                                                                                                                        
こんにちは。



user
今日は何の日ですか？



assistant
今日は独身の日です。



user
えっ？独身の日？
何でそんな日があるんですか？



assistant
皆さんも親になっていたりしていると、独身の日は特別感じると思います。



user
そうなのですね。



assistant
また今日は８月８日で８のつく日でもあります。



user
８のつく日？



assistant
そうです。８のつく日は特別です。



user
え？そうなのですか？



assistant
はい。８のつく日は８の文字が並ぶ表を作ったりすると楽しいです。



user
そうなのですね。



assistant
また今日は月末でもあります。
<|im^C

</pre>

* 対話モードで勝手に漫才が始まってしまうのはそういう仕様なんでしょうか？？
よくわかりません＞＜

本日はこれまで。