コード生成のための大規模言語モデルを用いた検索手法

入力に含めることでLLMに追加の情報を与える手LargeLanguageModelによるプログラムコード生法である．これにより，LLMは学習することなく成は有用であるが，LLMが持つ情報の更新には膨最新の情報を反映したコードを生成することができ大なコストが必要である．この課題に対応するためる．先行研究[7,8,9]では検索にBM25[10]やDenseに，関連する情報を検索しLLMへの入力に追加すPassageRetrieval(DPR)[11]などのベクトル検索を用る手法が提唱されており，コード生成の分野ではいたRAGによってコード生成の性能向上を達成しBM25などのベクトル検索を用いた手法が成果を挙ている．しかし，これらの手法ではWebサイトをげている．しかし，GitHubのようなWebサイトをデータベースにすることは難しい．なぜなら，DPRデータベースとする場合，全データを手元に置く必やBM25を実行するためにはデータベースの全情報要のあるベクトル検索はデータ収集に膨大なコストを参照する必要があるためである．そのため，Webを必要とし，常に情報を最新に保つことは困難であサイトをデータベースとする場合は検索のために全る．よって，本論文ではGitHubAPIがサポートしてての情報を一度ダウンロードしなければならない．いる既存のWeb検索とLLMを用いた検索手法を提これは多大な時間的コストを必要とし，情報を最新案する．これにより，提案する手法は低コストで常に保つために頻繁に行うことは現実的ではない．まに最新の情報にアクセスすることができる．本手法た，本行為はWebサイトの利用規約により禁止されはWeb検索とLLMを組み合わせる際に生じるいくている場合もある．GitHubやStackOverﬂowなどプつかの典型的な課題にも対応している．提案手法をログラマにとって有用な情報源となるWebサイト評価した結果,有用なリポジトリを見つけ出すこは多くあるため，これは重要な課題である．とができたことを確認した．これを回避するための手法の一つとして，Webサイト側が提供している検索機能を利用する手法