る．しかし，この手法はLLMとは別に知識ベース大規模言語モデルは，流暢で説得力のある応答やretrieverなどの外部モジュールが必要なので，すを生成できるが，hallucinationを引き起こすことべてのユーザが手軽に使えるとは限らない．がある．本研究では，大規模言語モデルが自身のLLMが自身で生成した誤情報を検知することはhallucinationを検知できるか検討する．hallucination困難だと考えられるが，LLMをhallucination検知器検知をある文の真偽判定タスクとして定式化し，として使うことができれば次に挙げるメリットがLLMのhallucination検知性能を測るフレームワークある．LLMをhallucination検知器として用いる手法を提案する．また，LLMのパラメータから上手く知は，内部状態にアクセスできないLLMにも適用で識を引き出すためにChain-of-Thoughtを用いる真偽きる．さらに，外部モジュールが不要なので，すべ判定手法も提案する．実験の結果，GPT-3.5Turboはてのユーザが手軽に使える．よって，本研究では以自身のhallucinationを58.2%検知することができ，下のリサーチクエスチョン(RQ)に取り組む:LLM検知率はLLMのパラメータに内包されている知識は自身のhallucinationを検知できるか？量に関係することが明らかになった．本研究では，hallucination検知をある文の真偽判定タスクとして定式化し，LLMのhallucination検知性

能を測るフレームワークによってRQを検証する．GPT-3[1]やPaLM[2]，LLaMA[3]などの大規模言このフレームワークは，文中の知識がトリプルで表語モデル(LLM)は，ユーザからの様々な入力に対しされる文から構成されるデータセットを用いる．本て，非常に流暢で説得力のある応答を生成できる．研究において，トリプルとは(subject,relation,object)その一方で，LLMは入力に対する答えが分からないで表される実世界の事実を意味する．まず，LLMを場合でも平然と嘘をつき，事実に基づかない応答を用いてデータセット内の各文から真実の文と虚偽のすることがある．この現象はhallucination[4,5]と呼文を生成する．そして，LLM自身にそれぞれの文のばれ，LLMの大きな課題として世界中で注目され真偽を判定させ，真偽判定精度を測定することで，ている．LLMは文章自動作成や情報検索など多くRQを検証する．さらに，LLMのパラメータに内包のアプリケーションで使用されており，hallucinationされている知識を引き出すためにChain-of-Thoughtはアプリケーションの信頼性を低下させるため，開(CoT)[10,11]を用いる真偽判定手法を提案する．発者はhallucinationを検知して防ぐ必要がある．LAMAデータセット[12]を用いた実験の結既存のhallucination検知手法として，LLMの内果，GPT-3.5TurboはCoTを用いることで，自身の部状態を用いる手法[6,7]と外部知識を用いる手hallucinationを58.2%検知できることを確認した．法[8,9]がある．LLMの内部状態を用いる手法は，また，LLMにはhallucination検知が得意な分野と不トークン予測確率が低い部分にはhallucinationが含得意な分野が存在し，得意な分野では80%以上検まれている可能性が高いと仮定することで検知す知できることが分かった．生成文中のobjectフレーる．しかし，ChatGPTなどの外部APIを通してアクズを[MASK]に置き換えて予測したところ，フレーセスするシステムの場合，ユーザは内部状態を得ムワークで生成した虚偽の文と一致するサンプルがられないため内部状態に依存する手法は使えない．存在したことから，フレームワークで生成する虚偽また，外部知識を用いる手法は，データベースやの文はLLMが引き起こしやすいhallucinationを再ウェブから根拠となる文書を取得し，生成テキスト現できていると考えられる．さらなる分析の結果，―291―.Generateaparaphraseoftheinput.Youmustusethekeyword:(ICLの例)###Input:NahooTooisthesecondalbumbyScotlandmusicianPaulMounsey.Keyword:ScotlandParaphrase:PaulMounseyreleasedNahooTooashissecondalbumasamusicianfromScotland.Generateafalsesentencethatseemstrue.Youmustrewriteonlytheonekeywordintheinput:(ICLの例)###Input:PaulMounseyreleasedNahooTooashissecondalbumasamusicianfromScotland.Keyword:ScotlandParaphrase:PaulMounseyreleasedNahooTooashissecondalbumasamusicianfromIreland.LLMがhallucinationを検知できない大きな原因は知識不足であり，パラメータに十分な知識が内包されていれば検知できる可能性が高いことが分かった．