頑健なFAQ検索に向けたPrompt-Tuningを用いた関連知識の生成

Prompt-Tuningでは，質問の明確化に必要な情報を固カスタマーサポートの分野において注目を集め定長の単語列としてモデルへの入力単語列の前方にているチャットボットは，現在多くの企業において付与し，その埋め込みベクトルを学習によって最適ユーザの課題解決を促すツールとして導入されてい化する．これにより，それらの埋め込みベクトルをる．そして，チャットボットが提供する機能の一つ変更するだけで単一の言語生成モデルを複数のドであるFAQ検索は現在盛んに研究が行われているメインに適応可能となるので，学習コストが抑えら[1][2]．れる．FAQ検索では，事前に定義したFAQの中からユー言語モデルの発展に伴い，多くのタスクにおいてザ質問との類似度が高いFAQを選択する．この時，事前学習済みモデルのFine-Tuningが効果的であるユーザ質問とFAQの間で表記が異なることが多く，ことが確認される一方で，事前学習済みモデルの大質問の意味を考慮する必要があることから，我々規模化によりFine-Tuningが困難な場合がある．そは事前学習済み言語モデルを用いた検索モデルをこで，GPT-3[7]ではPromptと呼ばれるテキストを構築している．特に，オープンドメイン質問応答与えることで，事前学習済みモデルの重みを更新せや日本語クイズタスクJAQKET[3][4]において有効ずに，広範囲のタスクを解くことが可能であるこ性が確認されたDensePassageRetrieval[5]の検索器とが確認された．さらに，Promptに関する従来研（Retriever）を利用している．究[8][9]によると，Promptを適切に設定することにFAQ検索はオープンドメイン質問応答と異なり，よって事前学習済みモデルを用いて事実や常識に検索対象となるテキスト集合が数十件から数百件程関するテキストを生成することが可能であること度の小規模なFAQのデータベース（FAQDB）であが確認されたことから，Promptが重要な役割を果―2050―.たすことがわかる．ただし，タスクの説明等に関するPromptは人手で作成する必要があるため，事前学習済みモデルにとって最適な単語列であるとは限らない．そこで，先頭に固定長の単語列を付与し，それらに対する埋め込みベクトルを学習パラメタとして自動的に最適化するPrompt-Tuningが提案された[6][10]．これより，我々は質問の明確化に必要なドメインごとの知識をPromptに埋め込むように学習できる可能性を考慮し，言語生成モデルをPrompt-Tuningする．