加藤純一AIその3 OpenCALMの出力時ハイパーパラメーターチューニングについて実験

:::note warn
AIの出力を紹介する部分で、暴力的な表現が記載される場合があります。これは本記事に書かれた手法通りの処理をした場合、AIがどのような結果を示すのか忠実に報告するために記載しているものであり、個人・団体を中傷ないし脅迫など権利を害する意図は全くございませんので、ご理解のほどよろしくお願いします。
:::

加藤純一さんの雑談データから人格のクローンとなるようなAIを作り、最終的には雑談配信ができてしまうことを目標にしています。
データ作成やGPU計算などの協力者も欲しいですが、SNSは特にやっておらず、Youtube向けに動画編集する時間もないので、少し小刻みにQiitaにアウトプットして存在感を示したいと思います。AIの出力結果を意識的に紹介したいと思いますので、技術に興味のない方もAIの成長を楽しんでもらえればと思います。
やったこと・次やること・課題点のフォーマットでお届けします。このシリーズは[「加藤純一クローンAI」タグ](https://qiita.com/tags/%e5%8a%a0%e8%97%a4%e7%b4%94%e4%b8%80%e3%82%af%e3%83%ad%e3%83%bc%e3%83%b3ai)をつけますので、バックナンバーはそちらから確認できるようにします。

## やったこと

:::note
実際のコードはこちらの`talker`ブランチにあります。
Github: https://github.com/konbraphat51/K-A-T-O
:::

`Open-CALM-7b`に2023年（今年）書き起こしそのままデータ（前回参照）を20行学習させました。（24時間かかった）
Hugging Face: https://huggingface.co/konbraphat51/KATO_talker_202308232341

これについて、出力時に関して様々なハイパーパラメーターを対象比較をしました。
前回と同様
>こんにちは
>やあ
>喉痛いわ
>今週のキングダム見た？
>ヒカキンは神だと思わない？
の続きの雑談をさせます。

調整するハイパーパラメータ―は下記の通り
```javascript
"max_new_tokens": 200, //一回の出力で何文字出力するか
"temperature": 0.7, //ランダム性
"top_p": 0.75, //ピックアップする最低確率
"top_k": 40, //絞り込み数
"no_repeat_ngram_size": 6, //繰り返し禁止文字数 
```

詳しい意味合いはこちらの記事が参考になります：https://zenn.dev/tyaahan/articles/a8d99900000002

### 基準
まずは基準となる出力を：
```
{"max_new_tokens": 200, "do_sample": true, "temperature": 0.7, "top_p": 0.75, "top_k": 40, "no_repeat_ngram_size": 6, "chains": 5, "chain_depth": 4}
```
（`chains`, `chain_depth`は前回参照）

>こんにちは! ゆめはなうたです♪ 今日もご訪問ありがとうございます!(^^)! 先日、ちょっと気になっていたことをやってみました! それは、 メルカリで売れた服の発送方法です!! ちょっと前に、メルカリで服を売ったんです。 その時に、郵便局で受け付けてもらえる というのを知りました。 郵便局って集荷もやってくれるんですね!! 知らなかった!! メルカリで服を売った時の発送方法 メルカリで服を売ったら、郵便局で受け付けてもらえるんですね! 知らなかった!! メルカリで売れた服を発送する メルカリで服を売って郵便局で受け付け可能と いうのを知ったので、実際に売った時の 発送方法をメモっておきます! まず、売った時のことを考えました。 メルカリで売れた服って郵便局で受け取れるの? メルカリで服売ったんだけどさ郵便局で受け 取れるってほんと? 引用: メルカリで服売ったら郵便局で受け 取れるの? 引用: ほんとですか?! じゃとりあえず集荷申し込みしよっかな じゃあ藍沢先生に相談しよ 失恋ですか まぁね 名前は失恋ってんだ 俺のスタン 終わったな いや俺のスタン 終わってねぇよ っていうかそもそも 俺のスタンってなんだよ あれだよ片思いって意味だよ トリ席別にターゲットしてねぇんだよ 行くし 俺のスタン終わってねぇよ じゃなくて そもそも俺のスタンって何だよ あれだよ 翔陽高校の攻撃範囲ってさ スタジアムぐらいの大きさがあるの だからそのスタジアムぐらいの大きさ があればドミネートするけど そこまで行くの面倒だったら 行かねえよ ヒーローはそこにいる とりあえずもう 帝京vs天理で 行くから 俺のスタン終わってない 確かに むしろあれだよ 失恋ってなんだよ 俺のスタン終わってんじゃん そもそも作中で1回も失ってねじゃん いや別に俺のスタン終わってなくね 社交ダンスってなんだよ 俺のターン終わってない 確かに 俺のターン終わってないから じゃあマリオで女の子行っちゃうぞ シンクロ抜きでも 甘いな はまだ俺のターン終わってないぞ ど真ん中 ど真ん中だけど 全部ピンクに出来るけどここから動かなくなる 分かったよ ど真ん中 甘いな はまだ私の真っ最中 一度下がって またすぐ上行くわ 逃がさんぞ 全てのターンが終わったら 終わりにしよう ゆっくりでいい ゆっくりでかめ 俺のターンまだあんだよ 結婚しよう 残り自分のターンは1回 自分がなくなる いいよ ゆっくり ゆっくり 元々結婚する気なかったから ゆっくり ゆっくり 何にも 分からない 本当に ゆっくり ゆっくり まだ私の真っ最中だから ゆっくり ゆっくり 外にあるがい それが今すごい気になる ゆっくり 外行くか ねえルリちゃん それだとEP9と 多分同じくらいかかる ゆっくり 外に行くか 俺のターン終わってねえんだよ 終わった 本当に 本当に終わった ゆっくり ゆっくり 休んでね 俺も明日行ったら休みや 優雅な絨毯 優雅な絨毯 優雅なカーリース 優雅な絨毯 優雅な掃除機 優雅な掃除機 道具一新 観葉植物移植 水分燻す 家主の寝言聞きながら 輸入ベイトの 下処理する 今日や 疲れてる 俺も全部終わったら 休んでいいよ 全部とかハードすぎ アロンとフォートやることなせよそいつらとしかできないよ 個人で企業みたいなことしてんだけどさ なんかでも日本ってさチャレンジしやすい国じゃないけど 自由にやらせろみたいな そういうのないの 乗馬のはあとできることめっちゃいろいろあるんだよ 一番わかりやすいのはこれ 一番わかりやすいのはこれダムなんですけどほかになんかあるかな 鳥って言えばこれかな 一番わかりやすいのはこれね これなんでかわかんないんだよ わかんねえんだよ どうやるんだ 一番わかりやすいのはこれ 中国式盃って名前らしい 日本語で何ていうの どうやるんだ 礼ならわかる 絶対わかる 俺の言う通りやればわかる わかる 俺の言うことだけ聞いてろ ステージ上の要請で政府が発表している内容は 新型コロナウイルス感染が拡大している国への 渡航勧告というものです 感染拡大している国っていうのがあるの 状況によりけりなんだ すぐには出てないよ 俺の予想では2月か3月 ちょっと更新が早いんじゃない そろそろかな すぐに出てない国ってどこ どこの国かな なかなか出てないね すぐには出てないね じゃあちょっと更新早いんじゃない すぐ出てない国ってどこ ありがとうございます すぐ出てない国とかあるの すぐ出てない国 すぐ出てない国 ド南東部あたり すぐ出てない国なんてあるの すぐ出てきそうじゃない すぐ出てきそう すごいわかりやすい例え わかりやすすぎない これひどくない わかりやすすぎて本になる もしかしてだけど 俺の言うこと聞いてたら 新型コロナウイルスなんてかかってない キングダム読んでない癖に 新型コロナウイルスなんてかかってない
>
>やあ、いやあお待ちどうさまああ いやあ 待たせたな 茶柱が トラブルメイカーか けっこう面白かったよ 視聴者の怒り Amazon叩き しょうたんママが 結構 結構 結構 面白かったよ 視聴者の怒りを買っただけ 俺を倒すなんて100年早い いや体制派じゃない司会者みたいな友達とごく普通に大学入ったけど そういうのホント何にもないの なんかこう 自社 自社ほしいの 自社ほしいの 俺を倒すなんて100年くらい早い いや体制派 体制派じゃない 俺を倒すなんて100年も早い いや今回の出落ちちょっと面白かったよ 最初の方さあ 最初の方さあ 0時に入って5分で逃走する奴 俺倒すなんて100年早い 俺を倒すなんて100年は早い 俺 あの朝風介が 教習所入って 教習所入って あのなんかすごいんだけど あの朝風介占われるの いやここまで7話3月あたま ちょうどあの いや別にさ 俺朝風介のこと相当好きだからさ いやだって純平さんのご結婚めっちゃ好きだったぜおれ 純平さんのご結婚めちゃくちゃ好きだったぜおれ 純平はさ 舞台版の安価とアニメの安価違うから いやだって俺鈴木さんのこと相当好きだからさ 安価くらいああいうさ 役者業もやってて 結構よくわからんちんなんだけど まあでもさ 舞台版の安値とアニメの安値違うから 俺鈴木さんのこと相当好きなんで めちゃくちゃ好きだから 俺鈴木さんのこと好きなんだよ まあだから旅行とかも行くし なんか役者の仕事とかも 全部あんまよくわかってないんだけど だからさ まあでもさ安値と旅行はマジで行きたいんだよね 役者の仕事って なにマっことか 登録れるようになったの 去年から 去年からかのう 去年から 俺鈴木さん好きだから めちゃくちゃ好きなんだよ 今年結婚する おめでとう 俺今年結婚する 去年フッた人がいる 生活感かな 生活感の嫁、ちょうどこっち 生活感、このタイミングで 嫁作るんだ 仲良くしてね 俺とFA 今日FA行使日数突入すんじゃん あれおかしくない? なんか今日すんじゃん どうしよ 俺FA取ったばっかり 今日投下しようと思ってた んだけど 選択した任期が長いほど 機動性がなくなるから 任期の短いほうを 優先したほうが 群の局が3年6年 群の局が3年の6年 群の局3年 移動可能が少しまし になる それだけ 目的が達成されるのだから 非常に賢明な判断である 任期の短いほうを優先した ほうが 機動性がなくなるからだ 必要ないからだ なんなら任期の長い ほうを優先した ほうがまだ 群の局ができる 移動可能が 増える それだけ 必要ないんだ やつら移動可能 数しかつきないんだ やつらFA取ったって 俺もFA取るかもしれない 本当にいい加減にして欲しい なんか俺の交渉内容の周期と反してる 毎回毎回なんでここまで俺の交渉内容を無視するん 別に俺の交渉内容ちゃんと読めって言ってるんじゃない ね最近こういうの多いからなんか俺の 記事が他と一味違う点ここな ここな点は最近こういうの多いのどっか行ったら こういうのめちゃくちゃあるので俺の記事が 他のやつと何が違うか行ったら ここな点は最近あれの 頂点に近いことばかりだから くすぶってる 俺の記事が 俺の記事が核心捉えてる 全然最近あれの 頂点獲れてない 俺の記事が なんか他と違ってない ここな点は最近こう なんか頂点が臭う 臭う点が増えた 人間性が成熟してきたから 文章が近くなった だから俺の記事が 俺の交渉内容が 俺の記事が 臭い仕事じゃないから そこは近くなった 人間性が成熟したから ここな点は最近臭い仕事じゃないから 臭い仕事じゃないから それ本当かな 臭い仕事じゃないから もう一回やろう もう一回やろう ちょっとシュールストレミングぶっ掛けて また新し物人間味がエスカレートしてんじゃねーよ すぐ動画になる とか とか とか 人間性が成熟したで 近くなった 臭い仕事じゃないから
ちょっと待って ちょっと待って 人類から水切り無くなったらどうすんだよ なんかあった ちょっと何すんのコジ明るいの 知らないうちに私もだんだん近くなったこと 周りにはたくさん今のパック教室とか たくさん近くなったこと 周り近くなったこと それファックだと思っている人 結構いると思う 結構いると思う 不安は別に人類から水切り無くなったことじゃなくて 自分のことで不安だから 本当にこれで良かったのか そもそも本当に水切り無くなったら 人類から何無くなるんだよ まだよく分かってないこと多いけど 近くなったことだけは確かです ちょっと無くなったこと話題変えて すごい昔 本当に最近聞いた
>
>喉痛いわこれ 女でこれだったら恐怖だな どうする? 頭痛い じゃこうしよう 空いてる方行こう じゃあこうしよう ちなみに報酬がいくらなんだろう それもある プラチナポイントでも行くか あの 悪いんだけど 男女でここに登録することってできるの あっ わかった 本当に申し訳ない いやこれ 俺の好きだった作品ほとんど潰れかけなんだわ めちゃくちゃ多いわ めっちゃ多いって これ本当に大丈夫かな これ終わったら止めよう 一度だけ 新規で これの 一番大きいステージ通った あれ 俺も一番大きいステージ通った 500ポイント いきなり 今まで俺たち酷使してきたポイント全部無くなっちゃう あっ 全部 消化される 全部 全部 消化される 500円相当 いきなり 俺たちの傷は 全部 消化されるの いきなり 新規で 俺たちの傷は全部 消化されるの やった 実質もう配信できない 休止とか 新規で 俺たちは全部 消化できたけど 消化できてない めちゃくちゃ 悔しい 楽しかったけどな 新規で 消化できてない 悔しい 次どこ行こう どこ行こうイベントパス パスが無くなる どうしよ エイミー離れるのどうしよう パスがなくなる エイミー離れるみんなついてくる 一緒に行く 記念日パスとか ディズニー本気だな ディズニーに行く パスポートが なくなる どうしよう エイミー離れるのみんなついてくる 一緒に行く (私)やきもちやいませんか 嫉妬について 嫉妬ってすごいね 女子はすごい 女子がすごいのあるわ 男なんてみんなそんなもんじゃん 女あるあるだよね 嫉妬について 嫉妬について 大変だけど 関係すらなくなる 鼻かじってうまいのな 俺も食いたくなってきた 俺も 俺も 俺もやば 一度そう思った瞬間から全部違う次元に行くから 俺今までどんな色のスーツ着てたんだよ って思ったら わかんなくなってきた 俺になにがあった 俺も 通信で 通話しちまった もしもし ユウジさん おれ花火大会いく ユウジさん 俺も花火大会いくよ 俺も ユウジさん 一緒に見れないのか 俺も一緒に行くって決めたんだ 俺花火大会ってついてきなよ 俺受けたいの 俺受けたいの でも 誰も捕まんないよ 捕まんないよ 俺とユウジさんだけ 異様に仲良しカップルってか 同性愛者カップルって言われてるよな 気持ちわりぃ 俺同性愛者じゃないから マジで 俺とユウジさんは同性愛者じゃないから 気持ちわりぃ 嫌な言い方するけど ユウジさんのは女性同士のカムフラージュって言われてるんだよ 気持ちわりぃ 避けてるわけじゃなくて なかなか世間体っていうか なかなか日本だと なかなかですね なかなかこの活動はうまくいかない ように 感じる ちょっとでもですね 間違ってるところがですね あったらごめんなさい ちょっとでもですね 間違えてるところがですね あったらごめんなさい じゃあもう1回やりましょう じゃあ じゃあもう1回 いや間違えた 俺名前なんていうんだっけ 伊集院でいいよ ちょっと待てよ名前伊集院でいいの ちょっと待って 俺免許持ってないんだよな どうしよう いやマジで持ってないんだよな ちょっと待ってよ 名前どこ書いたっけ 伊集院でいいよ俺 じゃあこれで 俺免許持ってないんだよね どうしよう ちょっと待って 名前どこだ 伊集院でいいよ じゃあこれで これで俺免許持ってないんだよね へえ 俺も持ってないよ 俺なんか芸術論ばっかり読んじゃって いや芸術論読んじゃダメだろ そもそも芸術論読むところじゃないだろ 俺センスとかほんと皆無だから 絶対URLとか挟まないもん 名前どこだ 俺村上意味分かんないんだよね あれ見ろ ドットの あれ名前村上なんだけど あれスジ身おもんないんだよな あれスジ身あれ限定されてるから あれスジ身限定されてるから あれ村上のこと根掘り葉掘りってことか そんなことないわ サルのこと根掘り葉掘り そんなことないわ ゲレンデのこと根掘り葉掘り そうなんだ なんでみんな根掘り葉掘り聞くの ゲレンデに限って言えば PV出てるから あれ春山が出てきてて MV出てて なんか姉妹で出てて キャイーンの天コさんと 本家の米コさんが ご結婚なされたんで ちょっと本家の米コさん 気になるじゃん 結婚してるけど 本家の米コさん なんかノロケ話ですか べイん話だよ 国内結婚だから本家の米コさん なんかチェックしてるけど あれって本当ですか 結婚してるけど なんかウインクしてるかもしれない 自信ない わいも自信ない なんだよその証拠寄こせよ 怖いから持ってないんだよ 米コさんってさ なんか姉妹家の去年の実家で 結婚式上げたじゃん スポンサード ナイトショーで あれ今年もあるらしいよ
>
>今週のキングダム見た? 女の人で医者みたいな仕事してんじゃん 分かるよ 昼間に俺 しこたま飲んで起きて しゃあない寝よ 寝よ 俺も昨日ちょっと あれはあれで あれだよ 俺もちょっと 女の気持ちわかるから 頭とか撫でちゃうもん なでなちゃいますわ 可愛かった 今日さ 女の人可愛い 今日ちょっと可愛い 可愛いくない 相当可愛い 相当美人 相当や 休みの日とかも 休日とかも 相当可愛い 相当可愛い 相当可愛いい えこの状況で分からない あれを捕まえられない 勘がいい 相当俺の事が嫌いなんだ 相当暑苦しい 相当暑苦しい 結構可愛い じゃあもう ニアリーいっちゃおっかな ご丁寧にありがとうございます 楽しかったです ありがとうございました あ 良かった 今日ちょっとできすぎ 大当たり かなり当たり かなり当たり 結構可愛い 相当可愛い 結構美人 相当や 休日とかも 休日とかも 女の人ってさ 男性の女の人に対する理想が 高いからさ こういうことになるんだぜ 頭ではわかってるけど これほんとにそんな理想と そんなに変わるかよ 楽しかった方がいいじゃん 周りなんて関係ない 俺の生き方大事にする人を 祝福するんだから 称号なんて飾りかざればいいじゃん 俺にはもうその資格ないわ 性格がさ 男性ってさ いくつになってもさ 自分の生き方とか 今までの歩み方に対して 理想とか義務とか責任とか なんか崇高なもん抱いてるけど 全然そんなのないんだよね 俺たち男だからダメなんじゃね 女だから何してもしちゃダメなんじゃない キャッチみたいにさ ギルドみたいなさ 男だけが認められて 女の人は女の人が 女の人は女の人が論文書いて 占いの女流みたいなやつが そういうのやるんだぜ ちょいちょいそういう 本当にさ 俺の30年の人生の半分 女さんの人生の半分も 占っちゃうんですか 僕 いや別に女さんの人生 女さんの人生プラマイゼロ プラスにしなくていい マイナスにしない 女さんのマンション 女さんのマンション 楽しかったよ もっとしたい 貯金たいいい プラスにできそう 今まで持ってたやつ 全部使い果たした 今まで持ってたやつ全部 貯金たいいい そういいよ 楽しかったよ もっとしなよ 全部使い果たしたんだから 今まで持ってたやつとか全部 貯金たいいいい そういいよ 女さん 今からセックスしよって えっちじゃん じゃあもう 別に 結婚してるし たまになら いいよ じゃあちょっと 貯金箱とか いや今回 貯金箱とか あれ 女さん貯金箱じゃない 貯金箱って 女さん貯金箱じゃん 今日俺女さんみたいな 性格してんだから 浮気くらいしてるよ 女さんの人生プラモ 全部上納金 荒れてる 結婚3年 みんな見てくれた? 俺についてさ もし自慢できるところが あったら言っていい? 浮気くらいしてるよ女なら してないの 本当に? してるよ めっちゃよくない 気持よくない 俺が唯一何してることでもいいから それを報告せずにいられないって すごいね 心の広い女だったら何にも 気にならずに えっち含んで女ってさ すごいね男ってさ 仕事だけちゃんとやってて 家帰ってからオナニーだけして って女もいっぱいいるけど 俺は女だからさ 仕事だけちゃんとやってる っていう方が楽なんだよね なんで男はさ 女ってなんなの? よくわからない 女ってなんなの 女ってなんなの 夢のない男ってさ 女ってなんなのって聞く男 女ってなんなのって言う女 性別だけ女装してって言われても 性別だけ女って言えばいいじゃん 男ってなんなの 女でいいじゃん ってさ ニューハーフとかさ って質問で答えるけど なんかそれってさ って思わない? 思わないね ってなるじゃん ニューハーフって質問が来てた えってなったじゃん ニューハーフってなんだろうって 今俺聞き取れてないんだけど 男でも女でもある意味 役者としてっていう意味で 俺そういうの興味ないんだよね ネタとして面白いから 俺女になったら男役って 男役の女バージョンじゃん 絶対男役って 俺男役ってなったら 松竹通過できないから だから俺女役ってなったら 男役の女バージョンって なるじゃん 絶対荒れるよ ネタがなくなっちゃう うわモナつくったの誰だ うわモナつくった誰だ あれ私よ私を作った誰よ あれ私よ私男かよ 男かよ うわモナ男か あれ男とか女とかって 別にその 性別って男女の子が みんな仲良くされたら 俺そういうのよくわかんない 別に今の生活を壊さない限り 別に誰とセックスしたとか 誰にチューされたとか プレミアじゃないじゃん 女だけってそういうの 気晴らしに作る
>
>ヒカキンは神だと思わない? ヒロミとか言う奴出てくんじゃねーぞ こういう奴ってさ ショタコン気取りだよな 名前晒せよ 俺KAZU紀MADも最近見なくなったわ 暇つぶしに見る程度だから まだまだ過疎ってるね 暇つぶしに見る奴が出てきたわ まだやってる まだやってるかも まだ過疎ってるね まだやってる まだ過疎ってるね   まだやってる   まだやってる まだやっている まだやっている まだやってる まだガッチリ見てるよ まだやってる まだやってます まだやってる まだやってない まだやってる まだお金の一個上ぐらいだから まだやってる まだ見てる まだ見てる まだまだ まだまだ まだまだ まだ まだ まだまだ 人口がへってくばかりじゃん まだまだいける まだまだ まだまだ 過疎ってくる一方だから 俺らで盛り返していこう 改めてYUMAさんの人望です すごい すごい すごい ついにYUMAを破った 右中間は意識も弾道も全部 吹っ飛んでた 出たああああああああああああ あー負けた負けた 挽回したんだけど 熊田の倍以上やってんのに 熊田の倍以上やってるのに 挽回したんだけど 今の棡戸沢並のセンスが俺にあるか わからないんだけど 結構良い 結構良い 結構良くね 結構良くね 割と良くね 割と良くねぇ 割と良くねぇ 意外と良い 意外と良い 意外と良かった 良かった 俺の勝ち 俺の勝ち とりあえず防衛戦しよう 防衛戦しよう うわ うわ うわ 今日の取って置きに後で マジで 凄く良い 凄く良くやった うわ うわ わ わかった とりあえずこれで なんかRO セブしたい 鑑定口上 フレズヴェルク ケーキ 言うこと決まった わ じゃあRO セブしよ 先に攻める うっわ じゃあ仕掛ける 余計なこと吐きそうだから 一番防げない 女って 一番防げない って思ってる どういう 何について言う わ 私つい先程分かりやすいように低めで着いてましたけど 結構やっぱし分からん 女って 女ってやっぱし 結構分からん 俺もしよう もし 分かんなかったら 分かんなかったら止めよう 俺の周りで無問題だったけど なんで俺の周りで無問題だったの なんで分かんなかったの 女って 女う まじ分からん 俺もよう分からん 俺の記憶が正しければ13,4年前に 女って一番分からん 女って一番分からんとこ いっぱいある いっぱいある いっぱい営業いくとこだとか なんかまあそうゆう ほんとに いや俺はもう 目の腫れが引いたら 売り上げつけば全然次の日 可能ではある いまの ありがとうございますでもほんと いや そんなことないよ 俺なんかさんざんな目に会ってるから 俺なんかさんざんですか 女は何された 女は何されたか覚えてないんだけど 男はあるんだよ 男はあるんだけど 女もあるんだけど 女のほうが印象深くて 何されたっけ 俺もあります 俺もあります 俺もないけど女のほうがよく覚えてる 男ってそういうの 俺も女にするよ 女ってそういうの 俺女じゃないからわかんないんだよね 女ってすごいんだな 女ってすごいことに気付けよ 俺モテるからわかんないんだよね 「俺も女気持ちいいところ知ってるから 思っきり咥内射精したいから言ってきいて」って いうんだよ 「俺女だからわかんないんだよね これってさ知らないうちはいいけど 将来俺が結婚した時嫁にされてるんだよ 想像してみて結婚」って言ったら わかんないでしょ でも別にいいんだけど なに 誰か解説して 誰か解説して 俺外国人の 何世紀の中世ネタは 何世紀の中世のネタは 何世紀の中葉の 何葉の 騎士と姫が 結婚式を挙げた 何葉の 何時代の中葉の 何時代何葉の 騎士と結婚した 何時代何葉の姫と結婚した あれが我らが友ルークか あれが我らが同盟者ジマーか あれが我ら修道会の兄貴サンか あれが我らの あれが我らの騎士か あれが我らがいる あれが我らがいる共働き あれが我らがいる騎士団 あれが我らがいる我らがいる共働き ドゥンさん 休みの日なんですけど 休日なんですけど 休日なんですけど共働き あれ共働き 休日じゃない 休日じゃない あれ 騎士辞めちゃったの ピタ ピタ フレン 我輩もだ 日本名は亀田興毅 結構 結構 結構やりますよ ああ 休みね あれ 休日じゃないんだ あれ あれなんだ なんか途中で結婚の辞に根拠定 別に日本人と結婚できるから 別に日本人と 別に日本人と 知

前回と比べて話の一貫性が向上している感じがします。`3b`から`7b`に切り替え、そして`no_repeat_ngram_size`を`2`から`6`にしたからでしょうか。
それにしても最初の「ゆめはなうた」氏は一体どこのデータから出てきたのでしょうかね...
その代わり、ときどき繰り返しになっている箇所があります。
例えば
> しょうたんママが 結構 結構 結構 面白かったよ
> いや体制派 体制派じゃない
> あれ村上のこと根掘り葉掘りってことか そんなことないわ サルのこと根掘り葉掘り そんなことないわ ゲレンデのこと根掘り葉掘り そうなんだ なんでみんな根掘り葉掘り聞く

など。これは`no_repeat_ngram_size`が小さいと防止できていました。

### `temperature`を下げる
`temperature`は出力の確率性を操作するものです。LLMは出力時に、「こういう出力はアリだな～」という候補をいくらか出すのですが、`temperature=0`だと必ず一番確率の高い候補を、`temperature=1`だとかなりランダムに候補を選びます。

今回の場合、`temperature`を下げているので決定論、ということですね。

```
{"max_new_tokens": 200, "do_sample": true, "temperature": 0.3, "top_p": 0.75, "top_k": 40, "no_repeat_ngram_size": 6, "chains": 5, "chain_depth": 4}
```

>こんにちは! いわき市小名浜のネイルサロン nail salon Ayur(アユール)です。 本日、2回目のブログになります。 よろしくお願いします。 さて、今日は、ネイルデザインをご紹介します。 こちらです。 こちらです。 お仕事上、あまり派手にはできないけど、 ちょっとだけ、華やかにしたい。 こんなお声をよく聞きます。 そこで、オススメなのが、 こちらの、フレンチネイルです。 フレンチネイルは、 派手すぎず、地味すぎず、 ちょうど良いデザインなんです。 派手すぎると、職場的に、 ちょっと、あれですよね。 派手すぎると、 ちょっと、あれですもんね。 派手すぎず、地味すぎない、 フレンチネイル、試してみませんか? フレンチネイル、試してみたくないですか? 試してみたくないですか? え? ネイルなんて、どうでもいい? そんなことないですよね。 女性は、お化粧、 美容室、 ネイル、 服、 持ち物、 すべて お化粧、美容室、 すべて お化粧 美容室 すべて お化粧 美容院 すべて お化粧 全部 お化粧 狩り 全部 お化粧 和食 全部 お化粧 結婚 全部 お化粧 全部 結婚 全部 結婚 結婚 全部 全部 全部 結婚 みんな みんな みんな 狩り 結婚 みんな 結婚 みんな 狩る みんな 結婚 結婚みたいな みんな 結婚しよ みんな みんな 結婚しよう みんな 結婚しようみんな みんな みんなじゃねえ か なんだかんだで 一番 何してるか分かんない 一番分からない 一番分からない 一番分かんねえ 一番分かんねえな 一番分かんない 分からない 分からない みんな分からない 分からない 俺も分かんない 分からない 和也も分かんない 分からん 俺も分かんねえ 俺も分かんね 分からない どうする 君はどうするの 結婚とかした人とか 当時付き合ってたよ 見れないけど 普通に いや わからん わ 仲いいもん でも 別になんか 結婚とかした人は なんか 別になんか 千葉県の あの 温泉行ってさ 長野県のとこ行って 神奈川県行って そのまま あの 書類送ってね 結婚しちゃったの 俺と。 俺3万円しか入れてないよ 一緒に住んだら5万なんで 社宅なんで5万ですか それ全部会社負担なんですか 最初に3万 そのうち社有家通うようになったら 全部 俺が持つよ 俺が持つよ 最初に 3万しか入れてないよ 千葉県の 温泉行ってさ 結婚しちゃったの   ドラマみたい 令和に突入して みんな何をやってるの 俺とAさんだけでしょ ちょっと いやAさん 僕だけですよ 僕だけなんですよ 僕だけを迎えてる 僕もAさんも あの 会社も あの いいよ 別に あの 俺が持つよ 全部 空いてるから 来なよ 分かった 分かった じゃあ明日 明日ライブとかじゃダメなの ベース弾かなきゃいけないから じゃあ明日 じゃあなにしよっかな 移動は ん あればいいよ ちょっとよく分かんないから ゴルコンしかないよね ね 行こう ついに ついに ついに 暗黒サイクルから ついに 脱出レシート ついに 皆様御存知でしょうか なんと 多分 皆様御存知ではないでしょう なぜ分かったかというと 鼻が分かるの 皆様 皆様 皆様 皆様のおかけで ゲレンデと言う恐ろしい場所を 耐えることが出来ました 耐えるしかない ね じゃあ行こうかね 今日スノースクート買えるかな 買えたら買いに行こう え 買えなかったら いいよ なんとかなんだ なんとかする いつもそうやって 逃げてきたんだから 高いんだから しっかり買ってよ しっかり サーベイ買って ベース買って 全部やってるって すごいよね 一体何者なんだろうって 思うけど 多分すごい めちゃくちゃ商品分かるだろうし あれ4ボール工場か コーチ就任後初陣で開始1分37秒に座り込むニック・ナック ムエタイってあれか めっちゃ膝着いてた囚人か どっちでも良いわ どっちでも関係無いわ モンドがアンサー載せるようになったら みんな関係無くね 馬場メディアやってるけど どうもありがとうございます 鼻で笑われたよ 知らないよ 俺ロイアイやってるよ 全然嘘じゃないよ 俺知らないよ 鼻で笑われたんだよ 知らねえよ ロイアイやってるって 自信持って言えないよ わからないことばっかりだから 俺ロイアイやってる 結構ヤバい 俺ロイアイやってるよな もう言ったっけ 俺ロイアイやってる ニュースで 俺ロイアイやってる よっしゃ まだまだ 俺ロイアイやってる ラルクさん 俺ロイアイやってる ふでゃです 俺ロイアイやってる ティンコサート 俺ロイアイやってる 元旦に
>
>やあ、その いいのに 俺もここにいられなくて本社にいったんだよね あれ私彼氏と同僚とまた3人でおんなじ現場になったんだよね あれ私に相談なく勝手に決めてきてあいつ チーム小滝とこいつチーム小滝とこいつみたいな そりゃおもの生徒会日常もここも全部ね 全部俺に相談なしに来たくないって言ってたのに 勝手に私決めてきてさ 俺はこう言って断ったよ 「わかった 俺の言うことが聞けないならいい 俺の部活のやつとこうだね」って いや俺の部活のやつはもう限界にコメントしてるよ いつか何かやらかすって いいのに 俺の 俺の 俺の許可なしで 勝手に 来年 チーム小滝が 結婚します いいのに 俺の小滝が 勝手に 許可なしに来たくないって言ってたよ いつか俺の 俺の俺の俺の俺の許可なしで 来年 結婚します いいよ 俺の 本物 感情が 俺ら 仲間 これに 従う こういう やつ 一番 やばい 一番 ヤバいやつ 一番 一番 ヤバいやつに 感情が 人質 うわひでえ こいつ 何 てかこの 例のあいつ 何 てかこいつも 何 てかこいつ何 てかこいつ何 こいつ 何 てかもうちょい 頑張れば 良かったかな 人間ちゃうから わかんない こいつの誕生日 俺と同じなんだ 俺と同じ誕生日 あいつVR無気力症候群とかいうんだ 人間じゃないから わからん こいつの 本物 感情は 俺ら 仲間のこと これに 従う こういった やつ 一番 やばいやつ 一番 何 てか こういう やつ一番 苦手 一番 一番 魔剤 VR無気力症候群 人間じゃないから わからない こいつの誕生日 俺と同い年なんだ 俺と同い年 あいつVR無気病 なんかよく分かんないけど シェアします こちらから こちらから こちらから こちら 増田 こうすけを助けたことで 免許停止期間が大幅に短縮された 今回の件は 俺の100万円 向こうのOK 向こうの免許で200万円 なんとかする するからちょっと俺に貸して 絶対取り返すから 俺の200万 全部回収する 回収する 回収するんだ 回収するんだ 先月のピザ配達のdm 全部回収する 先月のピザ配達だけ 先月のピザ配達だけに 先月のピザ配達以外 他の仕事は何でもします だから他の仕事は何でも 文句言うな 他の仕事は会社でするものだ 俺がやってるんだ 会社の安全対策部の管轄 会社の免許でしてるんだ 他の仕事は会社事業でするものだ なんで会社の免許で 俺の奥さんとかいう肩こり腰痛め ばかやろう 俺のタイ人奥さんに 会社の免許でしてもらうんだ めっちゃきついぞ めっちゃきついぞ 1日6時間じゃなくて1日3時間だ めっちゃきついぞ 3時間だとしてもできるきがしない クソさっそくやめてこよかな クソうける めっちゃ時間作れないよ かなしいよ かなしいよ おもしろい わからない 別におまえの挑戦の意味わかんない 私が対象なら意味わかるけど 私が対象なら意味分かるけど 私が対象なら意味がわからない 恐いよ 恐いよ ニコちゃんこれ無理だよ たぶん対象とかじゃない 対象じゃないよ 普通に強盗か痴漢かそっちだから スカイ スカイタバコでいいかな タバコは対象 みんなみんな対象だ スカイと聞いてまず想像した 想像で対象なんて言えない クソ面白かった スカイ ニコちゃんまさか 空 ニコちゃんまさか 対象なんて言えないよ クソ面白かった ニコちゃんまさか スカイ いや 許されてるけども 本当に 本当に 本当に 出来ない 本当に出来ない 免許も住所も必要ないから誰でもできる 本当に簡単だから皆さん是非やってください じゃけん二人一択で行きましょうかね テストとかめっちゃ簡単じゃないくら 本当にじゃけと逆じゃん 俺ものそれ受けたことあるけど めっちゃ確かにある分野だけちょっと あれってなんか別に俺がものそうって だけじゃねえだろ 対象物があるってだけのことじゃねえ ものそうってなんだろう あれって相性にゃ実績は ものそう実績は ものそうやってるんだ 俺ものそれ受けたことあんだけど あれってなんか別に俺ものそう だけじゃなくて 俺ものそうじゃない分野もなんか あれって俺ものそうじゃない分野 だって俺ものそうじゃない分野全部 あれってなんか別に○○モノ セラってラ んえ んめんとかでもいいじゃねえ か赤ちゃんとかでもいいじゃん 赤ちゃんものそうかな 俺ものそうじゃなくて 俺ものそう だけどもしかして 俺ものそうじゃなくて 一応対象物があるってだけ あれって相性にゃく あれって相性ににゃ実績は もの
>
>喉痛いわこれ 女でこれだったら恐怖だな どうする? 吐いた方がいい? いやこの時点でマジで吐いた方がいい 止めろ俺死ぬわこれ 俺がこの状況だったら吐くわ 無理して対策してんじゃねえよ 情報戦で負けてんじゃねえぞ 無理して会社行ってんじゃねえぞ 鼻水止まんないんだけど 地球外生物に襲われてるみたい わあ ちょっとまってください なんかいやな予感がする 前に風邪ひいた時の筋肉馬鹿が 絶対買ってくるやつじゃん 俺も風邪の時筋肉馬鹿に言われたい 悔しい 悔しいんだけど ほんと俺BOBOうらやましいよな あれ全体的にな 週3回ぐらい外に出て仕事して なんかいいよな 楽 俺フラミンゴとかよく分かんねえから 綺麗ってだけ言ってる 1回特別ゲストで呼ばれたことある 前は あと亀で あれ何の雑誌? あれ何の雑誌だったっけ なんかごめん覚えてない てゆうかあれ何の雑誌だったかな あれ何の雑誌だったか 覚えてない 別になんか コムデギャルソンとか別になんか 買わなかったし 買わなかったっけ じゃあGLADとか 裏山被んないように控えて 別にいいよ俺だったら 全然そのほうがあんま 構わねーな 別になんか 見てる 俺の通常運転について 別になんか 俺の通常運転についていろいろと 評価して欲しい なんか別に 言葉の壁とか的中で よくわかんない ちょっと待て 俺の通常運転 どういう意味だ 褒め言葉だよ 別に俺の通常運転 別に海外の意味じゃなくて 俺の通常運転を 俺の通常運転を評価して欲しい 俺の通常運転が気に入った 別に俺の通常演なんて 他人の評価なんてどうでもいい 俺は俺の通常運転をするだけ 俺の通常運転を見ろ いい評価が欲しいんじゃなくて 俺の通常演を見ろ いい 結構俺も惚れてんだわ ちょっと待ってくれ 俺にはわかんない すげー爽大人っぽくなったじゃん 今日見てて思ったのよ 表情とか見ててすげー気になるんだよ 俺これよくわかんないんだよね どっちが男でどっちが女か分かんない 俺これよく分かんないんだ 俺これよく分んないんだ もし俺これを買って演技なんてしてなかったら 総体験人数100人超えたあたりでちょっと頭打ちになるよね 俺これ分からないんだよね 俺これを本当に分からなくさせるのが これを分からないようにするのが一番難しい 結構分かりやすいよね 顔が変わればすぐ分かるから 俺これ結構すぐ受けたよ すげー爽大人っぽくなったと思った 今日 実質今日が大人ぶった日じゃない 相当酔ってたと思う 今日あれじゃない 世代で言ったら 30代半ばから40代 うん 30代半ばから40代になるから 顔の輪郭が変わるからすぐ これで顔の輪郭がただのおっさんになったら死ぬから その前にキャンセルしよ 顔の変化がわからない むしろ 何のフェイスラインもしないから ねぇ ねぇ ねぇ ちょっと ちょっと ちょっと ここおかしいよ うらやましいよ 地上最強の顔の輪郭じゃない うらやましいよ おもろいかおれ顔小さいから 足長っ! 鳥の足みたい 鳥の翼みたい かっこいい 地上最強の顔の輪縁 うらやましい よおし今からキャンセルしよ 顔の輪郭が変わる前に 今日もう始発で入っとこう うらやましい よお スカイピースにしたい クリスマスイブを うらやましい よおおおおおおおおおお うらやましい よぉぉぉぉぉん 残念 出禁 マイナス評価 いや 俺も買っちゃおうかな うらら買うか うらら うん うまそう うらら いや予定ないよ うらら 休日の11時入りで うさぎを殺しに行く うらら なるほど うらら捜査一課 これは うらら捜査一課長かわいい うらら捜査一係かわいい うらら捜査一は死体がない うらら捜査一かわいい じゃあ俺たちバットエンドやめようぜ 俺たちバッドエンドやめようぜ それ捜査一課長に任せるわ うらら捜査一とかしょうがない しょうがない しょうがない しょうがない もうとっくにバッドエンド しょうがない 俺たちバットエンドやめような うらら捜査一がかかる うらら捜査一が好きです 休みの日まで働く男たち しょうがない それやめんか それ捜査一課長か あれ俺たちバッドエンドやめような 休みの日まで働く 男たち しょうがない 男たちには休んでてもらおう 仕方ない 舞台とかよくある男性社会だと 休日も戦ってるのばれるから 男女混合だとそういう あたりは女子企業優先になる しょうがない 体の出せる場所ならどこでも 男女混合なら戦える しょうがない 女子に活躍してもらおう 仕方ない
>
>今週のキングダム見た? 女の人で医者みたいな仕事してる人 ツイッターに自慢してたけど 出来なかったやん 俺も韓国行ったら絶対書きます スマップからなんで すみません 俺も今63だよ 81とかじゃないじゃん 頭お花畑だね ちょっと田中レコード入れてよ 俺この人のこと好きじゃないんだよね こういうの許せる組織飲めないんだよね 社長とか上司とか ユーザーとかブスじゃん 今日も配信あったんだ 何にも聞いてないんだよね 何にも確認取れてない ちょっと田中レコード入れて 頭お花畑だね すいません ユーザー番号でます ユーザー番号 731 殿 上に 殿 上に 女の人がのんでる ユーザー番号 731 あご 信用できる ユーザー番号 731 こいつ信用できる ユーザー番号731 あご 信用してる ユーザー番号731 殿 上の配信見てた ユーザー番号731 きも 信用できる ユーザー8月1日 殿 上の配信日8 31例目の患者7月6日 雪乃のゲーム誕生日すぐなんか来ないみたいなんで7月6日 鹿児島7月7日 仕事7月7日 鹿児島7月8日 富平 焼肉7月9日 鹿児島7月10日 富平 鹿児島7月11日 隼 隼です7月11日 鹿児島7月12日 隼 じゃじゃじゃじゃじゃじゃじゃあまたね7月12日 鹿児島7月13日 隼 ん7月13日 鹿児島7月14日 富平 やっぱり今日釣り行こう 昨日偉く寝ちゃったから7月14日 隼 ね7月14日 鹿児島7月15日 富平 じゃじゃじゃじゃじゃあねまたこんど7月15日 隼 じゃ7月15日 鹿児島7月16日 富平 ね7月16日 隼 ね美鳴のチャンネルでうちらのこと紹介したみたい ねぇうちらのこと ねぇチャント見よう ねぇみんなのチャンネル ねぇVIPの チャンネルのsmの vipの チャンネルのこと見た なぁ 俺も休日だったらVIP入るのにな あ なんだ見なきゃよかった 馬これにて一件落着 飛べよ ねぇみんなの協力が必要なんだ 協力してくれ 俺からの協力語 ねぇ馬からの協力語 リュウからの協力語 これでいこう 馬 協力してください 馬これ見て 週休2日制かな 週休0〜1日制にしよう 俺から馬への協力語 なぁ 俺から馬への協力を語ろう 最初の一本目の歌のことかい 何年振りだろう 何時以来だろう ねぇ馬 休みはどうする? 毎日に帰るの 毎日になんないの? 俺も毎日に帰る 馬も毎日にならんの? 俺も馬も休んでる 馬 毎日にならんの? wwwwwwwwww 毎日にはならないよ 毎日にはならないよ じゃあライブもないよね 馬と俺がメインだから 俺と馬とライブここだけだから 息すること余裕だよ 馬車とかよくない? うちの倉庫に馬車停めてない? 馬って臭くね 仕事終わりに行こうかな そこで騎乗会とかよくない 錦ってすごいよね すごい儲かってそう いやいや すごい儲かってそうじゃん うわまだ俺も馬主できる 馬主レベルいくつなんだ 七でも馬主取れてたかな 七なんかで すごいプレゼンが効きそうだった 今まで あの 一番 GPS じゃない質問が来たから 一番 あれ山頭火とか 一番 あれ行ったから 一番 あれとったから 一番 一番 一番 すごい授賞式とか 一番 一番 俺も GPS 一つ中国語話せたから 俺も一つ 一つ 一つ 一つだけ 一つだけ 一つ 一つ 作業着を脱いで 帽子を取って それから 鼻の穴をね 漆黒に染め それから 心の窓を締め それから もう一つ 作業着を脱いで一寸 早めの 忘年会でもやりましょう じゃあ 場所はここ 俺のガチの 俺の おすすめの店ある ここ 深瀬さん 俺おすすめの店ある ここ 俺のガチのおすすめの店 住所は ここ 深瀬のおすすめ住所は ここ 俺の 俺のおすすめの店 俺のガチのおすすめ 住所は ここ さっきも言ったけど 俺の住所ここ 俺のガチ住所ここ 俺の住所ここ あ 俺のガチの配達のやることね けいこちゃん 俺おすすめの店あるよ ここ 深瀬ぐる 俺おすすめの店ここ 俺のガチ• 俺のガチ• あ 俺のガチ• さん 俺のガチ• み 俺のガチ• り 俺のガチ• お 俺の
>
>ヒカキンは神だと思わない? 生放送とかにも出るし 俺広島県民だけど もっと活躍してほしい なんか色々 分かった わかった 王になっただけじゃ全然何も決められない 王になっただけじゃ何も決められない 何しに来たの 別になにも しゃべるか 王になっただけじゃ 何しに来たの あいつと 俺のチャンネルと 相部屋か まだ一緒の部屋がいいかな 一緒にいたいから あいつと チャンネル名何にしようかな ダウン期が10日だから 月曜日に決めよう 週またぎはやだ 週またぎはやだよ 決めるから 決定でいい ダウン期が10日間 俺が10日 俺12日 ダウン期10日 並外れて問題を起こしてない 選手会長とか理事とか 王のサービスって 俺知らないよ ダウン期が10日程 俺12日 俺12日 か小せえ みんなそう思うだろ 俺もさ 知ってると思う 俺たちの方がすごい 俺たちの方がすごいと思う 俺これまでコラボめっちゃ来たけど 一番いいのがさ ロイヤルストレートフラッシュやりたいなって すごい好きなんで 別に何も 何も思いつかなかったんだ 何もない 何もない 俺たちにはもう何も思いつかなかったんだ (歌声が聞こえない) (不発) だめだったか かっこよすぎなんだ 普段ここ使ってんのに なんでここ押さないんだよ 嘘だろ なんか押したはずなんかなんだけど 俺こんな動画撮影なんて 山成りだからとりあえず スカイホール行ってきます 匿名でテック倶楽部に投稿します よりによってなんでこんな投稿に 俺こんな投稿に 俺こういう投稿してる奴に プライバシーとか規制かかるんだ 俺のプライバシーが 俺のプライバシーが 日本の法律が 俺のプライバシーが あっちとかあっち あれだよ ほんとに申し訳ない 仕込みができました これで映りは大丈夫そうです 本当にありがとうございました すごい楽 あれ俺たち別チャンネルやってるから あれ俺たち日本先輩コスプレコンテスト 俺たち日本先輩コスプレ コンテストやってるから 俺たち日本先輩コス コンテスト 俺たち日本 先輩コスプレ コンテスト 俺たち日 本 先輩コスプレ コンテストここです 俺たち日本先輩コ ス コンテストここです ここです 俺たち日 本先輩コスプレコンテストここです 俺たしここです 日 本 先輩コスプレ コンテンストここです ここです 日 本 せんぱ コンペイトウ ヒジサラ コンペイトウ ひじサラ コンペイトウ じゃこうからあがれ ミヤヤマのじゃこうからあがれ おめ 馬鹿言いたいだけかい これふざけるな やめろ ミヤヤマのおめえ馬鹿だな 別撮り 一緒に出演できないから 俺たち日 本の先輩コスプレコンテスト ここです 俺さん日 本先輩コスプレ コンテストここ です 俺さん日 本 先輩コスプレコンテスト ここです 日 本先輩コスプレ コンテスト ここです ここです 日本先輩コスプレ コンテスト ここにです コンテスト。 コスプレ コンテスト ここに です コスプレ コンテスト ここです コスプレ コンテスト コンテスト ここですコスプレ コンテスト ここですよコスプレ コンテスト ここなんですよコスプレ コンテスト ここだよコスプレ コンテスト ここだこりゃ コスプレ コンテスト かっこいい コスプレ コンテスト もはや誰が見てんだこら コスプレ コンテスト ついにきました コスプレ コンテスト 見ろよ葉ちゃん コスプレ コンテスト うわまた コスプレ コンテスト ファーさんいらっしゃい コスプレ コンテスト 来たよ コスプレ コンテスト 待ってました コスプレ コンテスト ファンになりました コスプレ コンテスト フィさん祭り コスプレ コンテスト 来いよ コスプレ コンテスト さん コスプレ コンテスト さんさん コスプレ コンテスト さんさんです コスプレ コンテスト さんあんまよくない コスプレ コンテスト 尊敬 コスプレ コンテスト 別の人になりましょう コスプレ コンテスト 全然似合ってない コスプレ コンテスト さんありです コスプレ コンテスト さんあんなんで

「こんにちは」だけやけに別データに引っ張られますね。
それはそうとして、一貫性がやや良くなったように見えます。（トークの一貫性を示す定量的な指標も欲しくなりますね）一つの話題に集中して（ある程度量を割いて）いる感じがしますね。
その一方で基準より繰り返し暴走の頻度が高い気がします。5番目は特にひどい。

### top_pを下げる
前述の通り、LLMはいくらかの出力の候補を出すのですが、それぞれの候補に確率が紐づけられています。しかしあまりにも確率の低いものは選ばない。その基準が`top_p`です。

今回の場合、それを下げているので、よりカオス的な出力になると予想されます。

```
{"max_new_tokens": 200, "do_sample": true, "temperature": 0.7, "top_p": 0.25, "top_k": 40, "no_repeat_ngram_size": 6, "chains": 5, "chain_depth": 4}
```

>こんにちは! 藤田です。 すっかりご無沙汰しておりますが 元気にしておりま... [続きを読む]
藤田です。 毎日暑い日が続きますが 皆さんお元気でお過ごしですか? 私はクーラーの下で ひん... [続きを読む]
先日、久しぶりに 仕事がお休みだったので 朝から晩まで ずーっと ずーっと テニスのことを考えてました テニスのことを考えてるって 文字にすると なんか怪しい感じするけど ずーっと考えてたんだよ いやでも テニスのことを ずーっと考えてるって なんかまともな人に 思われないかも ね ねえでも テニスのことを いつも考えてるよ テニスのことだけ考えてんだよ 今日みたいな YouTubeの収録とかも 全部 テニスがあってのことだから テニスがあってのことじゃない 全部が テニスがあってのこと 全部が というか 毎日全部 テニスのこと考えてるよ ずっと テニスのこと考えてる 別にさ 俺の YouTube見てないでしょ 俺の YouTube 俺の YouTube 見てないでしょ 俺のって 今野さんとかが 出してくれてるやつ あれだよ ごめん 今野さんとか プライドとか あれ全部 俺が作ってんだ 俺が全部 俺が作るんだ 俺が作ってんだ 俺が作ってんでんだ だからお前が潰れろ 生きてんだぞ お前最近仕事してないのか してる してる 凄い ブッキングマジで良くないかな いいじゃん 月曜日に配信みたいなのって 金額大丈夫なのか わかんないけど 30人くらいとみたいな あ参加したみなさんとまたご一緒したいな 全員に配信する すごいな 今までで一番良かった 今日まあまあかな 今までで一番悪かった ツイッターのアイコンこれでいいじゃん 今日まあまあ良かった え 一番よかった 新規の人増えた オンライン ホストのやつ あれお客さんの勝ち 一番よかった オンライン ホストのやつ Tシャツ用意しよ 一番よかった 一番悪かった 新規○人 一番よかった 一番○ 一番悪かった え 一番よかった 今までで一番 一番よかった 一番かわいかった 一番かわいかった 違う 一番悪かったのは 全体のテーマみたいな あれがあったの 全体のテーマ 一番よかった 今までの中で一番良かった 今までで一番 一番 一番 一番 良い 今までの人生の中で一番良かった 今までの人生で一番 一番 一番 やべえ 今まででイチバン 一番 良い 一番 一番 俺楽んでんだわ 今まででイチバン楽しい 今まででイチバンとか 絶対この先行きたくない 逃げる 俺楽んでんだ じゃけん10e ace here ace here ace ace ace a min miracle 界想 ヒョウルテーマ 一度でっけえ花火上げたいわ 一度でっけえ祭世上げたいわ 一度で開店最多本塁打記録つくりたいわ 一度で開開店時間最多記録つくりたいわ 二度と同じ手しか使わないから 一度でっけえ花見したいから 一度でっけえる 世界一の eが遅かく遠くでしてんじゃないか ドラの いや日本一の パーカー早くだから いや早くだから いや早くないから いや球種読めるから いや読めるから いや読めるわ いや読めるわ 玉に近い球は 失礼 バックドアです 当たってる うわまた うわまたもどってきてない うわまた30球くらい先言えよ 頭から離れないから うわまた30球って言っておけよ 別にもうちょっと長くてもいいよ 別にもうちょっと短くてもいいよ いや30球くらいね じゃあ30球で すいません ありがとうございました ございました いや30球くらいわかるだろう なら最初から30球で よかったやん いや30球で 終わりですか いやなんかもう結局 俺の遺伝子の奴が 全部決めるんだろう だから俺の だから俺の じゃあトラのシンリの 俺の トラのシンリの おれの 俺の 俺の じゃあシンリを 死種交換ですか いや別に 俺の 俺のシンリをいただ いいよ いいよ死種交換 別にね 俺の 俺のをあげちゃってもいい
>
>やあ、その いいのに 俺もここにいられなくて本社にいったんだよね あれ私彼氏と同僚とまた3人でおんなじ現場になったんだよね あれ私に相談なく誰かと結婚するって決めてたよね それでもし結婚失敗して仕事辞めるってなったら俺腫物物ってか苦渋の思いで辞めるだろうけどな 多分君のことは永久就職って言い続けると思う それな いいのに 俺のこともね 病院行ったらって言われたんだよね 俺の今後も含めてそれな ちょっと集中させてって 俺注射ほんと嫌いなの だから別に今さら田舎に帰ることもないし 別に帰らなくてもいいし じゃあいいのに 俺の今後も含めてって あれだろ 結婚失敗してるしこれからも失敗するだろうから 帰らなくてもいいのに いいのに 俺の中から君がなくなった時 もう帰って来ないだろうけど あれなの よくみんな生活できるね 毎日外食してるけど なんでだろう 希望が全部君ってのもあるかな ニコニコ 趣味が一緒ってのが大きいな 一番好きなものが 一番好きだって言ったら 君ってさぁ 歌手じゃない 俳優じゃない まさかゲームのキャラ好きなの 君って 俳優じゃないぜ まさかゲームキャラ好きなの 君のネカマの10段がいなくなったって 報告もらったよ 彼女から 彼女からじゃあ 遊べること友達じゃん 彼女作ってよ 結婚しようよ 結婚式で手紙読んでね くるよ いや いいけど 結婚してるじゃん 俺もう君って呼んでるよ呼ばせようと思ってるよ 彼女から 彼女が俺のこと大好きだから 住所とか教えたいんだけど 結婚してるじゃん 住所とか教えるの無しだよね ありがとう 彼女から 結婚してるじゃん 相手から住所とか教えられないよ そんなものいいから 結婚してるよ 君に結婚してるって伝えたら 相手怒るかな 怒らないかな わからん わからん 彼女から 結婚ってなったらな 普通にみんなから祝福されるのに なんで俺だけあれなの かっこいいどころじゃない なんかあっても俺守るから 欠片ぐらいは残ってんだよ いいじゃん ありがとう 頭があんまりよくないんだよね ちょっとそういうのがある なんかでもすごいもん 俺iPhoneなもんで 彼女から 結婚なったらなんで XDAがあるだけど ちゃんと オープンにするんだけど なんで俺だけ隠すん すごい不自然じゃない 彼女から 結婚決めたよって言われたら XDAやってる人が何かあったのかと思うじゃん なんかでもあれだよ 俺メルセデスの あれやってるからだと思うよ オープンしてる意味ないじゃんなんで出すの 彼女から 結婚決めましたよって言われたら オープンする意味ないじゃん 実際なんかあったの 俺なんかあったことなんでもこっちに ベラベラしゃべるけど いや俺メルセデスに行ったら メルセデスに行ったら誰かいないの 誰か帰ってくるの 俺メルセデスに行ったら 誰かいないの じゃあハラット じゃ俺メルセデス じゃ俺メルセデス それでは皆様最高の祝杯を 俺もビールもらおっかな メルセデス何それ いや俺メルセデス さてどうしよう わここからだと ハールートやること多すぎ 毎秒ごとに これディズニースパイできない じゃあ俺メルセデス じゃ俺も 俺も 俺も買うか 俺も 俺は 俺も 俺メルセデス 俺も 俺 俺も 俺はどうしよう 別に 俺メルセデスにこだわら ない 俺はどうしよう 誰と生活をしよう 俺メルセデス 俺メルセデス 俺はどうしよう できればメリッサとかと 俺メルセデス じゃ俺メリッサと 俺はどうしよう なんでもその アパート 俺も住みたい アパート って! あのここに! 俺メルセデス じゃけしから ん 暗黒世界 俺も暗黒世界行く 俺も 俺のことも買ってよ 俺メルセデス 俺を 俺を 俺を買ったから 俺を 俺を神入れたから 俺を 見ろよ スカイピースしたい かんた じゅうきゅう いやこれ無理じゃない じゅうきゅう いや無理じゃない こっち来て 持ち方なんか teteやってる 俺二人の子ども観たいから 俺をこっちに 俺を神入れたい かんた じゅうく いやこれ無理じゃない こっち来て 今回のロケは いいよ というか最近 テンちゃんが 俺を神殺そうとして こっちはなんか よかった こっちはなんか これ 俺を神殺せる いやこれ無理じゃない これ取り方下手くそだな こっち来て 俺をこっちに持って行けない いやこれ無理じゃないな これ取り方下手くそ 俺を神殺せない かんた いやこれ無理じゃない えゼロコンマがいい いや俺を 俺をゼロコンマがいい パクレクができひん いやこれ なんかきょう あの カラオケ
>
>喉痛いわこれ 女でこれだったら恐怖だな どうする? 頭痛い 頭痛い 女でこれ じゃあ男でこれだったら 女でこれだったら 恐怖だな 女でこれだったら怖い こえー 女でこれだったら死にたくなる 怖いだろ 女でこれだったら怖いだろ どうする 俺これ苦手なんだ 女でこれ結構あった 頭痛い じゃあ俺が助ける ヒーロー課てなにか これ男ってこれか これ男だけが作って持ってた ヒーロー課あれ女のある みんなこれ結構売れてる 結構 結構なんで車切られた 俺の 俺の 俺の馬 俺の馬 俺の 俺 俺 俺 男だけが作って持ってて 女のある みんなこれ知ってる 男だけが作って持ってる 俺の 俺のチケット 俺のチケット 俺の女 俺の女 俺の男だけが作って 持ってる ステータスっていうのは いい加減なこと言ってないで大体 やつらの方が強いし やつらの方が最近 調子いいもん 調子いいじゃん 頭1つ抜けてる ちょっと前に 結構 一番だったじゃん No.2 ちょっと前に 結構 IBMに勝った B組 あの 一番強えじゃん やつら NBAFで 一番強えじゃん やっべー かっこいい かっこいいね 強さを見せろ レシプロケルター 別に分かってんよ 俺のフォール 要するに 一番強いって分かってんだから 易々とは 行かねーだろ 予想は カロリーマイエー いや それ ふざけてねーし めちゃくちゃ強いのって 当たり前じゃね そんなこと気にする男 きっとガール気にしすぎ ん やつらの方が強いって 俺達 結構 強い女優って分かってんだ 別に 俺達 結構強い女優って 結構 分かってるんだ やつらの方が強い やつら 結構 舞台って重要にしてる グループだな だんだん俺も伝染してきたわ 結構 舞台って重要に時間かかったな 毎回 俺も伝染してきたわ 時間かかったな 俺も伝染してきたな 時間かかったな 結構 舞台って重要なんだな 俺も最近 伝染してきたぜ 俺も最近 結構 舞台ってよくないんだ 結構 重要にしてる ふふ 結構 俺も伝染してきたぜ 時間かかったな 俺もつられてきたけど 結構 舞台って良くねえんだ 結構 重要にせざるを得ないんだ 結構 配信は良くねえんだ 結構 mixするんだ 結構 mixどれがいいんだ 結構 自分が心地いいのが1番 結構 自分が心地いのは1番 結構 自分は物語を語るのが1番 結構 マジで 結構 価値を提供しないと 結構 評価はされない世界なんだ 結構 配信者って呼ばれる理由なんだ 結構 読者モデルとか ヲタとか 有り難いことに 結構 あってくんねえかな 俺の ファンa いや俺そういうのよくわかんないんだよね 頑張る うん 秘密 俺のことも認めてくれる 神様ってほんとにいるんだなって思う 神様ってほんとにいるんだよ 私の海くんのツイッターとインスタとLINE名前いちごじゃないんだよ あれはほんとにたまたまだった名前を間違えてあの ポケモンの あれとこの記事が俺と馬で名前あれって言ったんだよな いやディーくんじゃなくてSAって言ったんだよな あれって新宿のいや相部屋のことだよね そうそう アドレスにもあった通り完全なサークル名 そういうの信用できるんだ 情報をもっと欲しいかい 最高 アイドルってすごいね 神様っているんだ 最高の旅だったよ 神様がいた仕事して よくここに来てくれたって 感謝してる 俺のこと認めてくれたじゃん 俺のこと認めてくれた 本当に いやここに 神様ってほんとにいるんだな 最高の 情報があった 本当に ここに来てよかった ね今すごい 全然詞が出来な いよ 詩が 神様 ようやくわかった ありがとう 神様 ほんと最高 どういたまして さて、分かれるわ ありがと それじゃあもう 1日だけ付き合って いいですか いいよ じゃあ 本当に申し訳ないんだけど いや俺んだから いや俺んだから 呼べねえじゃん かわいそうだからもう 1日だけ いや1日だけ いや1日でいいよ じゃあもう1日 いや俺はもう1日だけだから いや1日だけって決めたんだから だからもう1日だけ いや2日って決めたんだから 俺はもう2日だけだから いや2日だけって決めたんだから もう1日だけって決めたんだ だからもう1日 いや分かんないけど 明日何があるかわからんから いや俺ん時 いや俺ん時じゃなかったかな もう1日だけって言ったじゃん いや俺んだから 俺んだから分かんないんだけど 俺んだから分かんなくない 俺んだから分かんねえだろ 俺んだから分かんないです 
>
>今週のキングダム見た? 女の人で医者みたいな仕事してんじゃん 分かるよ 俺もそういう仕事したいから お願いだから邪魔しないで 分かりました ありがとうございます 彼氏さん? 彼氏いるの 病院? 休みの日もすごい参加してて 俺とさんペンと さんペンと一緒にイベントとか キャンプとかにも行ってて なので2年ぐらい彼氏いなくって 結婚も予算的に厳しいから 君なら任せる ありがとうございます ありがとうございます ありがとうございます 彼氏さん 彼氏さんいないの 今日君には偉そうだけど 俺になるわけないじゃん まだそんなワクワクの事言ってんじゃん 結婚予算キツイよ なんか予算削るのもう止めて 頑張ってる 今年結婚出来るの 俺今年は結婚予算甘やかします じゃあ 俺甘やかされに来たから 世界一可愛い妻と可愛い赤ちゃん食べて いいんでしょ 甘やかされに来たから 2027年 俺とさんペン 世界一可愛い妻と 可愛い赤ちゃん 食べに来て いいんでしょ じゃあ言うよ 俺から子供取りたいんじゃなくて 俺から子供取りしたいんだぞ 素敵だよ 素敵だって言えよ 言えよ今後 今後俺から子供取りたいんだぞって言えよ って言ってんじゃん ってことはやっぱ諦めてないんでしょ どんな手使ってでも俺は欲しいから 俺から子供取りたいですってちゃんと 証明できたらいけるかな わかんない 自信ない 俺から子供取りたくない人は別に いいね 誰彼構わずじゃあ俺から子供取りに来るって 言うてるから うん そいつはまぁ... 料金 高いんでしょ 病院 飲む量 がん 健康 そう 健康そうで何よりです こちら病院です こちら病院です はい こちら病院です こちらの 外で 一緒に飲める量じゃねぇだろ だってさぁ 俺から子供取りたいとちゃんと 証明できたらいけるかも 俺から子供取りたいという証明って 何すんの 証明って オッケー 取りたい じゃあ 頑張って ファンンコください 練習するから ペンライト持って みんな居てることぐらい 分かるから ね じゃあ 頑張って 良い デスントモモセン 面白かった 今日 なんか みんな おもろいことなってないかい 俺と米須も パクも全部 友達とおもろいけど 一番 おもろいのは 菅沼とチッチ総選挙 4万7千 友達チッチ ヤクモン米須とパク 全部 おもろい 軸が出来てるから 話してる 言葉の 友達じゃないぜ 軸が出来てる 何その 言葉 軸が出来てる 友達じゃないぜ 言語化出来る 出来てる 出来てる そういう 証拠があって 出来てる 出来ってる そういう 友達じゃないぜ 友達じゃない 言語化出来る 出来てない 出来てない 言語化出来る 遅い 遅い 遅い 軸が出来てる 言葉の 友達ラブストモヤシ 外の人権 友達ラブストモゴマナオイトヨ 友達をファック ちんちん 友達をファックちんちん ちんちん 友達を奪ってやるから 待っててくれ ちんちん ちんちん 大丈夫 ちんちんはかわいいよ かわいいちんちんだ これくれ これくれ これくれ 友達を奪ってやる 待っててくれ くんかくんか これくれ これくれ くんかくんか 大丈夫です くんかくんか くんかくんか くんがきれいだから くんかくんか 綺麗だ くんかくんか ふわふわのこの くんかくんか きれい くんかくんか たぶん君の くんかくんか たちが君の くんかくんかきんが くんかくん くんかくん ちゃんくんに くんかくん くんがきれいだから くんがきれいだから ちゃんがきれいだから ちゃんがきれい くんかくん ふわふわのこの くん くん くん ちゃん ちゃん くん くん ふわふわのこの くんくん くんくん くん くん くんくん ちゃん ちゃん ちゃん くん くん 君の 君の 君のパジャマ くんくん くんくんでした くんくん くん 和也さん え 相当やられてた 相当 やられてた 相当 メイの メイのパジャマ くんくん 和也さん メイ メイ苦しいよ メイ なんで苦しいんだよ ぱしゃり 苦しくなる 目なげば 苦しくなる 俺の理由ドSだから 俺の理由Sだから 俺の理由ドSだって言ったら 苦しくなるんだ メイ辛いよ 辛いよ なんでメイは 俺の 俺の理由Sだから和也さん 俺の理由ドSですから って行けばいいかな 俺はドSだからね メイ辛いよ メイが苦しいよ 殴ってくれ 俺Sだから我慢する 俺Sだから我慢してた でもそれ 間違いじゃなかった またキラを作れる 次がキラを作れる 
>
>ヒカキンは神だと思わない? 生放送とかにも出るし 俺広島県民だけど もっと活躍してほしい なんか色々 分かった わかった 王になっただけじゃ全然何も決められない 王になっただけじゃ何も決められない 何しに来たの 別になにも ふらっと これ髭が綺麗だから 顔の雰囲気が変わる から 私は願書を通ることだけ頑張ります 他人の人生を生きることばかり考えて それではいつまで経っても状況は良くならない これまでと同じことを続けてたら 良くない これまでと同じことを続けてると いつまで経っても状況は良くならない はい まだまだ 自信あるよ 自己紹介 なし なし? なし なし なし 今日も 頑張ろ わかんない 勇者ポータル とりあえずこれ 信者ポータル あれ 信者ポータル あれを見ろ あれを見ろ 勇者のパーティがへこんじゃってるぞ 俺がいる 俺がいる 俺を 俺を 行け 行け チケット トレース トレース いいから 歩いてる場合じゃない しゃがむのが先決まってる じゃあ行きますよー じゃあ行きますよー ちょっと 軽くぞわぞわする 気のせいかな 俺のやつがさ なんか線つくってんだけど 週3でカレーハウスに来るって なんかのお誘いかな いや週3でカレーハウスに なんかのお誘いかなって ってか俺家ここなんだけど 俺家ここなんだけど ってかマミコここなんだけど いや俺マミコここなんだけど はい じゃあ俺ここから吐くね 俺ここから吐く 俺ここから吐く はい 俺ここから吐く 2日前にもここ通ったよね ここ知ってる知ってる 俺ここから行くっけ 俺ここから行くっけ うそ 俺ここから行くっけ 3年前ここ通ったよね ここ3年前もここで 俺3年前もここで ってさっき3年前もここ通ったよね 俺3年前もここ通ったよ 俺3年前も ここ3年前もここ通ったわ 俺3年前もここに 行ったわ ちょっと小山田止めろ 俺小山田止められないから 全部見えるから うわっ 何があったの いいから 先け 先け 先けが あれだよ 先勝 今日なんか なんかどうします どうします とりあえず先勝には 負けんな 馬腹上であろうが 先勝には絶対 先勝には 負けん 先勝で 先勝して 後二つ勝てばいい 近本熱いんだが 熱あるんだが 近本頑張って 先週のチカ推しを思い出してくれ チカ推しを思い出せ チカ推しを 先週のチカ推しを 思い出してくれ 熱あるんだが 頑張ろ 近本熱いんだが近本頑張って チカ チカ チカ 熱あるんだが 先勝 ちな 馬腹上 着床 先勝 近本今熱ある 近本今近本今熱あるんだ だから 俺今日なんかいつもと なんか違くない 今日のマイドで打つかな 先日の落とし前獲得へ 以前よくこの球団行ったりし なんか違うよな みんな一緒だよ 焼けぼっちからになって 俺この球団結構好きなんだよ 正直言って 戦友感ある 一番好きなのはこの球団 焼けぼっちになってから 俺この球団結構好きだよ 正直言って一番好き 大谷にはまだ難しいんじゃない 割と簡単に決まってる 俺この球団結構すきだよ 正直言って一番すき 何がって 見えない 俺この球団別にもう 業界から引退しようかな 誰かを雇って 自分はもともと 元々日シリ出たあとも 飲食店やりたいって言ってた 俺は 元々日シリ出たあと ずっと野球のことばっかり やってたから なんか 差別化できなくてね そもそも 飲食店やる資格ないんじゃない たまには 真っ当な仕事したいって思ってさ あの 真っ当な仕事って何すんの点検 なんか ネット店作ってあげようかふ 何を売るか 何といっても 負担が新潟行ってからちょっと普通とちがうわ 毎晩晩飯新潟から茶碗にご飯盛って出してるもんな 名前何にしようかな やっぱりマルコにするわ だじゃあマルコ 毎日食べてる 本当マルコ可愛い 可愛すぎじゃない 名前マルコ 毎日食べてるから 肉がね なんかアメリカ産の肉らしいんだけど ちょっと痩せ気味になってきた そんなに太ってないのになんかうちで期待されてない感すごい出してる なかなかゲージから出してやれなくてさ なんか無理しないとなんか いい運動になるだろ ニコの面倒見ながらだからね ちょっと今肉離れ的な 結構前だけど その時の動画があるんだけど ちょっと中華料理食べながら ニコの面倒見てた おもしろい からその 別の日の夜中とか 1時頃ニコ抜いたんだけど 本当に早かったよ 移動が いやああるよね 鬱憤はたまるけど 取られないようにね 去年は結構 

一つの話題に集中できずにすぐ別の話題に飛びつく感じがしますね。しかし、繰り返し暴走がかなりなくなったので、<strong>カオス的になるほど繰り返し暴走が抑制される</strong>という結論が得られそうです。

それにしても、[続きを見る]はこちらの不備ではなくLLMの出力なので、おそらくサイバーエージェントさんが処理せずそのまま元データに入れちゃった感じがしますね。

### `top_k`を下げる
`top_k`は提示する出力候補の数を指します。今回はこれを下げるので、より決定論的になるということができますね。

```
{"max_new_tokens": 200, "do_sample": true, "temperature": 0.7, "top_p": 0.75, "top_k": 20, "no_repeat_ngram_size": 6, "chains": 5, "chain_depth": 4}
```

>こんにちは! ゆめはうすです。 今日の記事は 「【2020年最新版】埼玉県のおすすめ結婚相談所10選!」 という内容でお届けし・・・
2020年3月25日[結婚相談所]
こんにちは! 結婚相談所【ノッツェ】で婚活アドバイザーをしている マリと申します。   今日は、結婚相談所ノ・・・
2020年3年25日[結婚相談所]
どうも、三上洋です。   結婚相談所って、 費用が高そう、 と感じてる方も 多いのではないでしょうか。   実際、結婚相談所は、 それなりに費用がかかります。   そして、成婚料を設定・・・
2020年3月25日[結婚相談所]
結婚相談所は、結婚したい男女がお見合いをして、交際をして、そして結婚するまで、サポートしてくれる場です。   結婚相談所にもいろいろあって、その結婚相談所が、どれくらい結婚に対して本気なのか・・・
2020年3年25日[結婚相談所]
>
>やあ、その じゃあ行こうか 嘘つけ もう我慢できない どこに出すんだよ もう遅いし中には出さないよ じゃあ出そうかな そのまま入れて ダメだぞ 軽くひと塗りって ダメだぞ もう止まらないから じゃあ出そうかなぁ そのまま入れて ダメだよ それならそのまま出すけど ありがとう 俺になる って 額と喉仏にこの間みたいに置いて 俺になる って その 俺の 俺になる って あーマジでこの世返したい めちゃくちゃ売れて帰りたい フォロワー一万ってあり得ないでしょ 絶対海外じゃないやつ 大気汚染で絶対的なものじゃない 世界の小笠原だけ まだ一縷の望みあり 千葉県茂原に世界大会の会場作って スモウの風呂って張り紙出しておけばいいじゃん それだったら 良いバックグラウンド咲くじゃん いいじゃん jpっていうwebサイト作って jpって場所取れば 六本木くらい人集まるんじゃね 六本木700人 jp700って jpって場所取ってるじゃねーか 場所取ってるじゃねー 明るくなった いやー完全に 完全にjp取った jp700人 jp700人 祝日パムコ 祝日あんじゃねえ いや逆にここ いや逆に 祝日の方がパムコ あっ 休みの方がパムコ 祝日じゃないの ここだけ完全一致じゃないじゃ ん 祝日じゃないの 祝日じゃないの あれ コロナで世界中が感染症に 罹患して 多くの命が失われた 多くの命が 多くの命が 失われた 多くの命がコロナで 多くの命が 大切だってことだけはお前もわかって そうかってお前もわかってんだよ 俺もわかってんだよ 大切だってことだけわかってくれ 大切だってことだけわかっ ててくれ 自分も重要だってことだけわかっ てくれ 自分も重要だってこともわかっ ててくれ BIG6億とかいんだろ 俺も重要だってことだけわか ってくれ 自分も重要だってことにもわかっ ててくれ 自分も重要だってことだけわかっ ててくれよ 俺重要だってことだけわかってる んだよ この前の対戦がそれで 何ポイントか払ってくんじゃない の 何ポイントか払ってくれる んだよ 俺を高く評価してくれて いるんだよ だから何ポイントか安いでしょ ってね 俺を高く評価してくれていて 俺を安く評価してなければ 問題なんだけど 俺を高く評価してくれ ていて俺を安く評価してな ければいい ってだけだから 大変だね 俺おつむがもう少しよければ 3、4 ポイントぐらいでおつむが もう少しよければ 今週のワンピック妥当なもんと けるけど 一度そういうののある って去年おつむがもう少し あればキャンしたかったけど おつむがもう少し があれば ヤギおらなくてもできる のに 今年ヤギいるじゃん 嵐さんとこ なんだっけ あれできない だろ あれやりたい 最初俺おつむちょっと薄かったから チャンネル1000以上ないから みんな見てくれ 1000人ってなんだよ 別に俺1000人に潰されても 次の日パーティーじゃなくて あれ見てくれ マトリックス脱出したら一位じゃない 一番最初の王者獲得したら一位じゃない 呼吸困難になる ニコ動行ってないから見れない あれ作りたい 今日ちょっと遅いじゃん 番組的に ネタ表示板派か いやいや ね 俺も神様も構想はあるけど ネタ表示板派で行くわ あれ作りたい 公録のときとか ネタ表示板派だ あれ作りたい みんなどうやって表示してる 俺 Fire TV これ使ってる Amazon の替えング うーん それで行ってみよう 変わったら なくなったら そういうことだ あれ作りたいんだ みんなどうやってん Apple の支払い使ってる あれ作りたい ネタ表示派に行っていいか 別に関係者とか ファンとかついてる奴が 変えなきゃいけねじゃねえ 作るの ネタ表示派 ネタできた わあ できた ちょっと 喫茶店に避難して 企画書出します 喫茶店に避難して企画書出します 喫茶店にいるけどこの展開 来ちゃった 来ちゃった仮想デビュー城パーティ アダム城攻撃されてる あっもしもし生まれ年ですか あっもしもし生まれ城 あっよかったらお話できませんか いいよ 俺のクローン3人登録して チャンピオンと僕と君が 君のクローン3人登録する お客さん いいよ じゃ目指そう なんでこんなことを こんなことをしてでもあいつ あれだけ徐家サークルスーパーカーダーク やつ あれだけ徐家サークル D 自分のクローン3人登録して レコ発予約入った 生まれ城パーティ 負けられない 一度また最高のパーティを みんなありがとう 一度また最高のパーティ 一度また最高のパーティ スターロードさん 一度また最高のパーティ 自分 一度また最高のパーティをする 自分 一度また最高のパーティー 一度また最高
>
>喉痛いわこれ 女でこれだったら恐怖やん そろそろ10月だぞ まだ夏の切り抜き漁ってんのか そろそろ花粉のアレとか暑アノとか胸熱の自描きしょとかってちゃんと見積もらわなきゃな この前のニコカこれだった え まじで まじかよ あれだけ YouTube デビューって言ってたのに これでデビュー出来なくなったら 一生夢も何も何も無いじゃん どうしよう あれだけ ZZのニコカで 画質悪かったけど 本当に デビュー出来たの凄く嬉しい ずっと言ってる 俺の YouTube チャンネル 多分君みたいな顔のボンスターズファクトリー通ってるやつらで 俺みたいになったら最高に絶頂だろうな 俺のチャンネルから◯◯さんみたいな こんな場所で本当に言うの恥ずかしいんだけど 俺今女性性領域の仕事されてるんだよね たまたまパチ屋の先輩から 煙兄弟さんところの親御さん あれじゃない あれじゃない 胸の高夫とかさ 結婚相談みたいなのありだろ あれじゃない なんかさ 俺の嫁がさ 別の冒険に出てさ 名前変えてさ 帰ってくるわけよ 帰ってくるわけだよ どうすんの 傭兵とかさ 俺の嫁めっちゃいいよ 俺と別れてさ 俺の元カノと付き合ってさ 俺と別れて 俺と別れて 元カノと復縁して 俺と別れて 今カノと別れて 俺の嫁が元カノと浮気 俺とさ 結婚してたの 俺とさ 結婚したの 俺とさ アリーシアどうすんの 離婚なんて言わないよ 名前変えないよ 俺とさ 離婚なんて言わないよ 今を見てて 俺とさ 共働きする? 俺と米は なんか 週末とか 祝日とかさ 俺のマンションで なんか 美容室とか やってんじゃね くせ毛で 全部ロックつけなきゃ ダメなの 後ろどうすんの トップシースルーにしよう それ 和泉いける みたらし団子みたいなしょぼいビュッビュビュッ飲んでてこれを飲む えそうなんですか じゃあ俺たらはぐゼルスルンガー飲んでる なんだその なんかさ たらちゃんとえぐいてえ わかれこれもう 自信ない しょぼん 次の日くらいからかな なんか全部真っ白だよ ネタないんだよ 全部頭からっぽだから てんきゅわかんないんだよな 共有不足 わからない 共有不足 共有不足 共有 足りてない 共有 足りてないわ 私の 滑舌の 共有も 足りてない 共有も 共有も 共有不足 共有強化 今週から 毎日更新できる かどうか分からないけど 多分できる と思う 共有する 今週から 毎日更新する できる かも 一緒に やりたいと 根掘り葉掘り 知るか そんな突然 分かったところで別に 共有してなかったじゃん 名前 一人称 みんな俺好きじゃん だからさ こんなのやってさ なんかでもクレーってすごいよな こんな笑顔なはずないのに 普通じゃない? 俺たちこんな映画みたいな ストーリーじゃないじゃん こういうの俺らやるじゃん 事前とか だからここもみたいな あーマジで見たい たまげだ カメラ移動してもらっていい 追加します 頭ぽんぽんされたことない 37歳でおじさんと言われます 俺の髪がボサボサじゃないよ 平気だよ次 たまちゃんここ見て 言いかた それ俺が明日行くから 明日ネクタイもお願いね 昨日の時点でうん来てねって 了解よって言ってないよ 有楽町なんで近いじゃん 俺今日仕事終わったらすぐ行くわ ごめんさっき俺も 絶対俺が行くから俺が取ると 頭ぽんぽんされたいんだろ 俺はもう たまらない歳じゃないやって たまちゃんここ見て言いかた 頭ぽんぽんされたことある なんだろ 感謝ドッキリとか 仕事通り越してるから 表現力どうこうじゃない 別世界 怖い しゃちょう 立ち入り 制限します 共有してくれた ありがたき幸せ 2日くらいなら 平気だろう 逃げる 下がる 神様お願い 嫌です 嫌です 嫌だああああああああ 言葉が猛獣のモンストで嫌だ いや俺本当に嫌 ダフ屋みたいな質問で申し訳ないけど いや俺本当に嫌 いや俺本当に嫌 UIこうなってる ありがとうございます 拝みながらvvvvvvする ありがとうございます ありがとうございます ぺたぺた いやなんかごめん いや俺本当に嫌 iosの時も嫌だったけど いや俺本当に嫌 サーバーの的 回れ右せぇしみたいな 大変じゃねえかな アニメーションとか全部 いや俺本当に嫌 この質問もう何回もされたから いや俺本当に嫌 やだ しゃちょう 感謝 いや俺本当に嫌 もう一回言うけどこっから いや俺本当に があったことも いや俺本当に嫌 そんなんできるの
>
>今週のキングダム見た?棒立ちで全然攻めてこないからイライラしたわ キングダム見た 棒立ちで全然攻めないからって罵倒する人いるけどさ 近付いたら死ぬから そういうこと言ったらダメだよ 離れなきゃダメだよ 棒立ちで全然近付かないからって罵る人多いけどさ 近付くだけだったら誰でもできるよ それやったら李牧さんが一番近いから なんで棒立ちで全然近付けないの みんな鄴攻めの時も南から行かなくていいから 棒立ちで近付けないの なんで棒立ちで近付けねーじゃん うらみがあるわ 鄴攻めとかでも南から行ったら 次ミニアドロイしなきゃいけないじゃん めっちゃ回るかな 俺からしたらどこでもいいよ 上からどんどん行って 上からどんどん行って 坂本さん下塞がる だからって山回りでいくほどないから 結構中陣行くか 上からどんどん行く派 坂本さん下塞がりたいの 順当にやばめ全員 死ぬだろ そんなにうまくいかんよ 死のー 結構 結構一番上 達也が仕掛ける 割と一番上 達也が勝つ 割と一番上 順当に一番上 一番上 達也さん 吹っ飛ばされそう 一番上 達也さんが勝ってる 面白かった 結構 結構一番 一番上 達也が勝ってる 結構 結構一番 上達也が勝ってる 相当 相当一番上 相当 一番上 相当 相当一番 相当 相当一番 上達也が勝ってんじゃん ついに 上達也が関所通過か ようやく 上達也が関所を通過できる だいぶかかったな 相当かかりました 先攻取れる 後攻で優位に立てる 期待値どこ行っても去年ルール根本 去年 今年 相当 相当根本が去年 先攻がいつでも取れる 後攻がいつでも後攻がいつでも 相当根本が去年ルール 先攻がいつでも後攻が取れない 相当根本が去年 先攻がいつでも 後攻がいつでも 出来てる サンドバッグを殴ってるだけだから 先攻がいつでも出来るって 去年確定してたっけ 決めてなかったっけ どうなんだろう 2016年 先攻がいつでもいいって 確定してたっけ どうなんだろう なんかイレギュラー続きだから 記憶があいまいなんだけど 去年は確か 有効打を示したチームの先攻が目立つって だった気がする 決勝の中国中国中国 あたりが記憶あいまいなところ あれ今日何時からだっけ あれ3時? あれ3時だっけ あれ3時から? 俺の馬龍の壁ぶち抜き2:0のあれ あれ絶対オリンピック中継のせいだぞ あれ絶対 楽屋の壁ぶち抜きあれ あれ絶対 楽屋のやつ女性だよね あれ男性とか 女性とか なんかなんか犯罪じゃない? 社虫費用くらい? マスコミに 俺馬龍チーっていわれたら 俺馬龍チーとるわ 俺馬龍チーを 俺馬龍チーを務める 予定 予定って 俺馬龍チいったら 俺馬龍チをお休みするかも 俺馬龍チいくかも 俺馬龍チョメチョメかな 馬龍チョメチョメシーイ 馬龍チョメッチュー 俺馬龍チョーメーみたい 俺馬龍チします 予定 ちんこ小っちゃ! 言っちゃダメだった 言っちゃダメだった? 予定ドタキャンしちゃうかも 俺馬龍チョンとらないかも 俺馬龍パク狩りしちゃうかも 俺馬流 予定 ちんこ小さいからちんこ小さいよ 俺馬流 ちんこ小さいから 俺馬流 小さいから 俺馬龍チョンあんなに なかったのに 俺馬流 小さくなったの 俺馬流 馬龍チョンが 俺馬流 小さくしたのかな 俺馬流 俺のsos発信の10倍くらいになってそう そういう時のために馬流 コロナ怖えよ ちょっと落ち着けよ 泣くよ 泣く俺の10倍くらいありそう いや10倍は言い過ぎだ いやでもさ もっと大変な時にさ なんか俺相当やばそうだったよ 一回俺がsos出した時 俺のsos受信した時 俺のsos送信した時 俺のsosp 更に10ランク上の対応したよ なんか俺 研修とかなんか 感謝しかないけど そもそもsos受信出来ないよ 俺馬流 突然のsosに対応出来ないよ 段々先が見えてくるとさ こういう時のために ストックしておかなきゃっていうさ そういうのよくあるじゃない ヒール役がさ 俺スカイランダーズの頃 配信者の先輩がさ 結構俺に何かあった時 駆けつけてくれるって 約束してくれたの あの頃はさ 配信流行ってなかったから なんかその話 
>
>ヒカキンは神だと思わない? ダウンタウン松本とか言うクソみたいな奴は 絶対病院とか行ったほうがいいよ だから俺とヒカキンは病院行ってる ソーシャルデイスタンスが取れない ナイフの年老いたみたいなやつは 絶対病院とか言ったほうがいい 頭イイねうらたんは 頭イイねうらたさん あれどうにかここうましかた ヒカキンさんの動画さん そろそろ社会復帰しようかな そろそろ社会復帰しようか まだ償い終わってない これから配信する 配信で最近こう言うの出してる 結構最近だけどこれ 凄くいいよ 結構最近だけどこれ を頂いた 馬と兎でスタートしよ 俺とヒカキンは病院で終ったから 結構最近から 病院行ったほうがいい まだホントあれだよ もうちょっとよってなるけど 舞台してから全然頭入ってない あーもういやだな もう少しで配信する じゃあちょっと待って 今日か明日か じゃあごめん今日か明日 収録とかがあるから じゃあ今日か明日 収録か・・・ 結構ありますよね 何の救いもないやつね 何の救いもない 毎日みんなとおんなじ 仕事してあーってなるから 全然俺やつよー わかんない まじすか わかった じゃあもう ほんとになんかその よくない VRって カメラの性能によって 結構 差が出たりする らしいですね 俺すでにめちゃくちゃ悪いからね 俺すでにめちゃくちゃ悪いから 俺すでにめちゃくちゃ左ばき 服も左ばきなんです だってとんでもなく 映んないもの 俺すでにめちゃくちゃ悪いからな 俺すでにめちゃくちゃ左 なんか旭日期つけられてるから 結構 毒づいた投稿が多いから 結構 けっこう 結構 結構 結構 左ばきー 俺すでにめちゃくちゃ悪いんだ 足短いんだ 収録の時に 俳優仲間のヒムとボラと なんか 双子の人レンとアミンくん 犯罪者じゃないよ 双子んで犯罪者じゃないよ わかった 俺の領地内に双子いたんだ 俺の領地内 俺の領地内じゃない 俺の領地内はいや 俺の領地外かもしれない 俺の領地外だった 俺の領地外だったけど 俺の領地外じゃなかった 俺の領地外じゃないって分かった 分かった 俺の領地外って分かった俺の領地外じゃなかったって分かった 分かった 今日ねウルフっていう男性に会ったの 旦那さんと子供とみたいな あいつ離婚してるはずだったのに 俺の領地外だったのに 俺の領地じゃなかったの 確率の問題じゃなかった 8割ないし 離婚しておいて父親面するってどういうことだと思ってる わ ちょっとこれ日記書いてるって言われてる ちょっと小泉って本当にどこの誰なの なんか著名人とかタレントとかってわかんない わかんない ってかこういうのって結構シビアじゃない 性別ね性別 本当は男性に産まれてきたかったんだけど 皆様が許可してくれないからって 俺の領地内だったけど 皆様の許可が頂けないからって 俺の領外だったけど 皆様が俺を信用してくれないからって 信用してくれるかわからないけど 皆様が俺を信じたんだから 皆様が俺を信じるしかないじゃん そういうことだよ わかった ということで 今夜12時から生放送です 俺は本物としかやってない 皆さんも本物になってください 今週もありがとうございました 無事今日が終わりました 今日1日が長い 長い 長い 何より安全第一 汚れを作業に流し 怪我をしないように作業します 出来るかぎり 俺が取れるという確率は100パーセント 皆様が出来るという確率は0パーセント どちらが先かわからんけど 出来るという確率は100パーセント 俺が取れるという確率は0パーセント 皆様が出来るという確率も0パーセント わからん わからん 俺が取れるという確率は間違いなく100パーセント 皆様が出来る確率も間違いなく100パーセント わからん 俺が出来るという確率は間違いなく100パーセント お客様ができる確率も間違いなく100パーセント ワンチーム わからない 俺が取れるという確率はワンチャン あると思う 皆様ができる確率もきっとある 頑張る 頑張るぞ 頑張ろう 頑張ろう 頑張ろう 出来れば今日決めたい 今日決めたい 今日取れれば最高なんだけど スカイピースとして 登ったこと無いから 頂上が何て言うか知らないけど 頂上で一休みして 下で花火でアドレナリン放出する 登る前に一休みして 下で花火大会する 帰る 俺上一回も行ったことない 一度で良いから ガス気を失って死にそうになったとき 俺を背負ってくれんじゃん よくわからないけど 誰かいれば良いけど ゼロから物決めなきゃいけない悩み 受ける なんで 俺映画これ観ようかな どこかのサイトにある 自分で決めなきゃいけない悩み 俺映画館とか色々 配信みたいな 配信みたいな 配信上 物決めなきゃいけない悩み なんで 俺も上一回も行ったことない 配信上 物決めないといけない悩み ビルのことなんでも良いから ビルのことなんでも良いから一発で決めたい 皆様のほしい 唯一の差し入れ 自信ない 

繰り返し暴走は低`temperature`ほど多くないように見えます。
しかし、話題の移りやすさは基準とさほど変わらない。
確率性の変動は他のパラメーターの方が操作しやすいのかもしれません。

### 結論
おおざっぱな観察から得られる結論としては
* 話題の飛び方：確率的になるほど新しい話題に飛び移る、決定論的だと同じ話題にとどまりやすい
* 繰り返し暴走：決定論的になるほど頻度が高くなる
* 「確率的」にするには`temperature`を下げて`top_p`を上げる、「決定論的」にするにはその逆
* 「こんにちは」など、（サイバーエージェントさんが学習した）元データを呼びだす強いトリガーワードが存在する

とりあえず適当に雑談向けによさそうなハイパーパラメータ―を設定してみました。
一つの話題に集中してほしいので決定論的に。
あと`max_new_tokens`と`chain_depth`を短くしてみました。これで繰り返し暴走が抑制されるかな？と思って。
```
{"max_new_tokens": 100, "do_sample": true, "temperature": 0.2, "top_p": 0.75, "top_k": 40, "no_repeat_ngram_size": 4, "chains": 5, "chain_depth": 3}
```
>こんにちは! いわき市小名浜のネイルサロン nail salon AVANCEです。 福島県いわき市小 名掛丁 関屋 関屋水品 関屋駅 関屋周辺のネイルサロン 関屋駅のネイルサロン AVANCE 関屋駅周辺のネイルサロン 福島県いわき市のネイルサロン A VANCEのネイルアート 福島県いわき市にあるネイルサロン A 福島県いわき市にあります、 福島県いわき市内郷泉 福島県いわき市内にあります、 ネイルサロン&スクールです。 いわき市内郷エリアのネイルサロンです。 最寄駅は泉駅です。 泉駅、泉駅付近のネイルサロンも こちらで紹介しています。 ネイルサロン 福島県 いわき市泉 福島県 泉駅ネイルサロン ネイルスペース泉 住所 福島県いわき市泉町3丁目10 泉町ユラックス3 電話番号 0246-62-6666 営業時間 9:00~18:00 定休日 不定休 駐車場 近隣100台 近鉄西信貴鋼上 完全予約制 完全予約制 駐車場 近鉄西大阪線「高安」駅からタクシーで6分 完全予約制 最寄り駅 近鉄大阪線「信貴山口」駅からタクシー10分 最寄りIC 阪和自動車道「堺」ICからタクシー10分 JR関西本線「八尾」駅からタクシー20分 最寄り駅 JR関西本線・おおさか東線「久宝寺」駅からタクシー25分 最寄りバス停 近鉄大阪上本町駅 バス乗車10分 近鉄上本町駅、地下鉄谷町九丁目駅、近鉄難波駅、近鉄上本町駅より無料送迎バスあり(要予約) 営業時間 7:00~23:00 定休日 無休 設備・サービス 席数:120席 喫煙・禁煙席:分煙(禁煙席:46席) 駐車場 有り(有料) クレジットカード VISA、マスター、UC、アメックス、DINERS、JCB、NC  (Net shopping syatem start time for money service without risk)
ショッピングした品物が到着してからこちらに税金をクレジットカードで支払う必要があり ます。 税金の請求は毎月一回クレジットカードに請求されます。 税金の請求はショッピングした品物の発送メールを受け取った日から30 日以内に行われます。税金の請求について質問がある場合は hk@vip.163.com までメールしてください。Vip メンバーはメンバー価格の10%割引で
>
>やあ、その いいのに 俺もここにいられなくて本社にいったんだよね あれ私彼氏と同僚とまた3人でおんなじ現場になったんだよね あれ私に相談なく勝手に決めてきてあいつ チーム小滝とこいつチーム小滝と俺小滝の3人で住み始めたんだよね 引っ越すか 俺ここに 俺ここに部屋選ぶの勝手にあったんだよ 俺ここにしましょ 俺ここにしよう 俺ここ 俺ここがいい 俺ここに住もう 俺ここが良い ここが高速のインターの近さとか全部が完璧じゃん 空気綺麗だし 富士山見えるし 俺の彼女が以前から何度か訪れていたので 空気の悪さとか全く知らなかったから 俺 彼女とよくここ行ってたよ 猫がいっぱい出るから あれが高速のインターチェンジの近さ すべてが早かったね 猫がいっぱいでるから みんな行くよ 高速のインターチェンジ近くだから あれ店の中が綺麗じゃん スーパー綺麗じゃん あれ知ってた 高速のICの臭さ知ってるから あの産廃ものすごいじゃん まだあるの 産廃ーゲイムノア 目に見えないガスだし 産廃業者いいじゃん 女だから女商人が敵視されてた分 男より女のほうが悪いことしてる だからそんなことはありえんよ 絶対そんなことはない 俺の予想では 産廃業者が発電所作って 煙0って真似する 振れ幅大きいから 産廃処分のことを言ってるのか 発電所のことを言ってるのか よくわからない じゃあとりあえず 任せた 話して 上位の機関が判断する 上位の機関は誰だ 総理大臣かな 電源は総理大臣が管理してる 電源の管理者について 上位の機関はどこだ 電源の管理者のことです 電源の管理者は誰だ 電源のアクセスについて アクセスのことだね 上位の機関って誰だ あれわたし生きてたんですね ぼく生きてたんですが先ほど申し上げました通り 電源のアクセスって別に総理大臣獲るわけじゃねえだろ 電源のアクセスってこと 電源のアクセスか 首相獲るってことか まだわからんけど どうするの まだわからんでしょ まだわからんな どうしよ ちょっと分裂してるからな これで ほんと分裂してるからね あれだよ 嵐の嫌がらせ。 なんか あれだよ 今 もお前できなかったじゃねえかよ あれだよ もう 自信ないんだよ あれだよ VRって 自信ないんだ あれだよ 男性世代は 自信ないんだよね あれだよ 女性世代は あれだよ
>
>喉痛いわこれ 女でこれだったら恐怖だな どうする? 吐くか 頭痛い それな どうする?
やべーアミーゴにすべて相談攻める 頭痛い頭痛い 女で女で明日会社行けない どうする ねよう ねよう ではその後 後程 尚も 女で明日女で明日 女で明日も 女で 女でランク上げよう 希望所持は ヨンタ氏 一位 とかどう とかそれなそれなそれデスこれデスこれデスこれに決めた みたいな 最初 親親親 みたいな 奴俺ディズニー全然わかんないんだよね毎年ディズニー行ってるのになんかあいつら年に何回親親親親してるんだよって 3回 結構いいよな あれ 俺の休日 回線荒れてるぜ 休日 めちゃくちゃいいよ 俺休日何をするって決まってるじゃねーかよ じゃあこれを登録しよ 休日さんさんテレビ これの 休日さんさん テレビ これの 正月さんさん テレビこれの 正月 正月さんさんま 行ったの 正月さんま御殿の年越しさんさんテレビこれの 祝日だけど 正月さんさんはやってるから 俺らは まだ 見てないけど まだ 決めてないけど まだ予定どうしようかな 俺 何にも決めてない 俺 決めるの前日に結局決められるようにしたいだけじゃない 以前 困った 見なくなった 昔はすごい見てた 13時超えたら コンビニの店もやってない 2時くらいになったら 人が増えてくる バンクすぐそれな 俺も実はその 電柱のカメラってあの スタンドみたいなところあるじゃん あれってなんか FKみたいなやつ あれってジェットガンつけれる んだよ やつら警察みたいなやつ あんまよく見てない んだよねなんか 自動小銃つけれる から ジェットガンもできる たぶん スタンドあるじゃん あの会社じゃなくて あれつけれる んだ 防弾とか言ってたな 準備がいい ですね 結婚辞めます ちゃんといるから ちゃんといつから 社会人のこと分からないけど ちゃんといたらいいよ ちゃんとしてたら 社会人のことはちゃんとしてる だろうな ちゃんとしてるだろう ちゃんとしてて おいおい 社会人のことについて分からない どんなに優秀でも ちゃんとしてないと社会では 通用しないよ 頑張って 今まで 今まで良く頑張ったね 面倒くさい こいつ面倒くさいって ちゃんとしてないからだぞ ちゃんとしたらいいよ 面倒くさい
>
>今週のキングダム見た? 女の人で医者みたいな仕事してんじゃん 分かるよ 俺もそういう仕事したいから お願いだから邪魔しないで 分かりました ありがとうございます 彼氏さん? 彼氏いるの 病院? 男? 女です 彼女? 家族? 家族みたいなもんじゃん 俺彼氏いねーわ 邪魔するなら撃つから それを撮影していたんだ 男とか女とか それがどうしたみたいな そんな写真撮ってるってことは 彼氏いね―だろう お前いい歳こいて 結婚は条件か最近は もんじゃやろう 今日ガモウシュウって 定休日じゃない 明日 明日休みよ 俺も明日休みよ 今夜決めよう 俺明日休みなんだよ 俺も休みなんだよな 明日 もしよかったら お前の家ってここなんだ ここ 確認させて ここ俺の 俺家ここ 俺ん家ここになってる 俺の お前ん家がここ 俺のここになってる 誠に申し訳ございません テキストがここにありまして 忘れたと言ったら嘘になる でも忘れたんだよ でもこれがあっただろ 良かったな 一瞬たりとも見逃すな 俺のことはいいから 物忘れが激しい歳になってきました そろそろ僕も とてもその とてもその もう面倒だから松本さんに言おう うわわかった 忘れてないよ 俺3個下だぜ 俺3つ下でしょ うわわかった 3年ってすごいね 相手3個下かよ まじかよ 3個下ってことは伊藤っておじさんおばさんか じゃあ伊藤っておじさんとおばさんか 子供おったってことだよね そうですね おじさんと結婚してくれ ありがとうございます 彼氏です 彼氏です彼氏です彼氏んです 玉城みんなわけわかんないこと言ってるけどこれほんと普通の恋愛情報だから 安心して 少なくともこの恋愛情報には 掲載されているから 彼氏です おじさん独身ですか じゃあおじさんと結婚しよう ありがとうございます 玉城こえーよ結婚って 世間体気にする年じゃないだろ こえーよ 結構ここ通過点だよね 結構ここ通ってきてるね 結構ここ通ったね よく頑張ったね よくやった よくやった 私よくやった ちょっと よかった 今日なんか なんかね なんかごめん なんか役立ってないかも なんかごめん もう1個の方やってないから トラストくんのやつと あれ2択になったんだ トラストくんのと あれ2個やったった よかった なんか役立った なんか私なんかよくやった よかった 評価
>
>ヒカキンは神だと思わない? 生放送とかにも出るし 俺広島県民だけど もっと活躍してほしい なんか色々 分かった わかった 王になっただけじゃ全然何も決められない 王になっただけでは全然何も決めらない わかった ちょっと1個 俺のこれ これうまい 俺これうまい 俺を王にしてくれ まだ決められない 俺のリーグが 俺のリーグ戦が 俺の人的連合が 俺のゲームがとてつもねー 何回チャンピオン獲っても全然決まらねー 俺の野球レベルが子供だ 買う度に買う度にだ 来るたびにだ 俺のテニスレベルが子供 買う度にだ フりート消費するときだけ 俺のタイのレベルが子供 俺のクロアチアのリーグが子供 来るたびに買う度にだ あ、俺の野球RzjApLが その子のスパイク16買っちゃった。 むしろその子が その子がその子がその子がすごい 来るたびにすごい 来るたびにこれ買っちゃった 子持ちの人で情報したい人 事前ほんとどういう すごい挨拶の差wwwww ネパールでサマソニコフ ネパールで先日アーニャちゃん ネパールで昨日君たち 昨日君たちにも奢っちゃった 君たちにも頂いたの 君たち二日間もいただいて モルジブ来たんだ モルジブは安いよ 俺もここに呼んでほしい よく協力します 協力します じゃあ行けたらね 俺よく分かんないんだ 君たちと同じこと思って ここまでを通報 俺も通報しよっかな なんか怖くなってきたみんな 怖くなってきた普通に 怖い ゲーム大会の配信何されるんですか何しようかな とりあえず今日は そんなイベントとかいいんだよ WBCのこと考えようぜ まずは そっから 気になっちゃうからどちらのせよ まずは米制 いや今日消化試合じゃないよ イタリアがちょっとやばい 強いから 今日負けたら終わりだからね 同時主張する 強いじゃん でも日本の方が強いよ 100回やったらマジで80回ぐらい勝つ でも20回負けんだよ うちのホーム負けまくりだよ イタリアとドイツ以外 ブラジルとか 前回のねちっこいのあるから 簡単に点入れられちゃう ゆっくりなはずなんだよ 試合早いから ドイツって すごいんだよ 一度だけ延長入ったことあんだけど スコアレスで 場所的に ドイツが勝つだろ イタリアだったら 単純に間違いって言えば それまでだけど プレースキッカーがいるから 先週のギリシャ戦みたいな 劇的ゴールを期待したいけど 今日のは正確だったから 

まだまだ改善の余地がありますね。

## 次やること
* （前回やり残していたことですが）LINE社LLMに再チャレンジしたいと思います。
データを`inputs_id`と`labels`に分け、どうなるかを観察します。これでも今回のような結果が得られた場合は、諦めます...

* ルールベースで繰り返し暴走を食い止められないか手法を考えます。


## 現在の課題
### 新しい課題
* 繰り返し暴走が発生してしまう。
ハイパーパラメータ―が決定論的だと「繰り返し暴走」が発生しやすくなります。これを止めるにはルールベースでの制御が必要かもしれません。

### 引き続きの課題
* `stabilityai/japanese-stablelm-base-alpha-7b`のファインチューニングができない。
`Open-CALM`よりずっといいことを自称している（[出典](https://ja.stability.ai/blog/japanese-stablelm-alpha)）ので、使ってみたかったのですが、エラーが発生してファインチューニングまでたどり着かない。([建てたissue](https://huggingface.co/stabilityai/japanese-stablelm-base-alpha-7b/discussions/5))仕様としては、`transformers`とは別のコードでモデルを構築させ、`transformers`経由でそのコードにアクセスして実行しているため、おそらく今回やろうとしているint8+LoRAファインチューニングを想定していない可能性があると予想しています。さすがに僕のGPUでは丸ごとファインチューニングには耐えられないので、開発者の対応を待ちます。

* シンプルに`ChatGPT`をファインチューニングする。
LLMの性能で悩むぐらいなら、もう金払って`ChatGPT`をファインチューニングすればいいという考え方もできます。ただ出力のたびにお金がかかるのがしんどいですが。やるとしたら`curie`モデルが適切だと思います。とりあえずクレジットカードが必要とのことなので、現在クレジットカード申請中です。

* 書き起こし精度が最善とは言い難いです。例えばよく登場する配信者「もこう」さんは「モコ」とかに書き起こされ、検索しても0件ヒットです。今開発しているこのAIも知識は完全に書き起こしデータに依存するので、<strong>この書き起こし精度がプロジェクト全体のボトルネックになっています。</strong>
書き起こしAIにOpenAI社の「Whisper」の`large-v2`モデルを使用していますが、こちらをファインチューニングする必要があるものと考えています。
文字ベースのデータでも出来るという情報もありますが、できれば音声+文字データでファインチューニングした方がよさそう、しかしデータがない。誰か手動書き起こしデータ作りしてほしいものです；；（時間がない）