大規模言語モデルは自身のHallucinationを検知できるか？

能を測るフレームワークによってRQを検証する．GPT-3[1]やPaLM[2]，LLaMA[3]などの大規模言このフレームワークは，文中の知識がトリプルで表語モデル(LLM)は，ユーザからの様々な入力に対しされる文から構成されるデータセットを用いる．本て，非常に流暢で説得力のある応答を生成できる．研究において，トリプルとは(subject,relation,object)その一方で，LLMは入力に対する答えが分からないで表される実世界の事実を意味する．まず，LLMを場合でも平然と嘘をつき，事実に基づかない応答を用いてデータセット内の各文から真実の文と虚偽のすることがある．この現象はhallucination[4,5]と呼文を生成する．そして，LLM自身にそれぞれの文のばれ，LLMの大きな課題として世界中で注目され真偽を判定させ，真偽判定精度を測定することで，ている．LLMは文章自動作成や情報検索など多くRQを検証する．さらに，LLMのパラメータに内包のアプリケーションで使用されており，hallucinationされている知識を引き出すためにChain-of-Thoughtはアプリケーションの信頼性を低下させるため，開(CoT)[10,11]を用いる真偽判定手法を提案する．発者はhallucinationを検知して防ぐ必要がある．LAMAデータセット[12]を用いた実験の結既存のhallucination検知手法として，LLMの内果，GPT-3.5TurboはCoTを用いることで，自身の部状態を用いる手法[6,7]と外部知識を用いる手hallucinationを58.2%検知できることを確認した．法[8,9]がある．LLMの内部状態を用いる手法は，また，LLMにはhallucination検知が得意な分野と不トークン予測確率が低い部分にはhallucinationが含得意な分野が存在し，得意な分野では80%以上検まれている可能性が高いと仮定することで検知す知できることが分かった．生成文中のobjectフレーる．しかし，ChatGPTなどの外部APIを通してアクズを[MASK]に置き換えて予測したところ，フレーセスするシステムの場合，ユーザは内部状態を得ムワークで生成した虚偽の文と一致するサンプルがられないため内部状態に依存する手法は使えない．存在したことから，フレームワークで生成する虚偽また，外部知識を用いる手法は，データベースやの文はLLMが引き起こしやすいhallucinationを再ウェブから根拠となる文書を取得し，生成テキスト現できていると考えられる．さらなる分析の結果，―291―.Generateaparaphraseoftheinput.Youmustusethekeyword:(ICLの例)###Input:NahooTooisthesecondalbumbyScotlandmusicianPaulMounsey.Keyword:ScotlandParaphrase:PaulMounseyreleasedNahooTooashissecondalbumasamusicianfromScotland.Generateafalsesentencethatseemstrue.Youmustrewriteonlytheonekeywordintheinput:(ICLの例)###Input:PaulMounseyreleasedNahooTooashissecondalbumasamusicianfromScotland.Keyword:ScotlandParaphrase:PaulMounseyreleasedNahooTooashissecondalbumasamusicianfromIreland.LLMがhallucinationを検知できない大きな原因は知識不足であり，パラメータに十分な知識が内包されていれば検知できる可能性が高いことが分かった．