大規模言語モデルにおける複数の指示追従成功率を個々の指示追従成功率から推定する

大規模言語モデルを活用することで様々な自然言語処理タスクを高性能に解かせることができる[1,2]．タスクをモデルに解かせる際に，望む出力が得られるよう大規模言語モデルに指示出しを行うことはプロンプティングと呼ばれ，モデルが与えられた指示文に追従する性能(instructionfollowing)[3]は応用上重要である．特に，複数の指示に全て追従する性能は大規模言語モデルの応用可能性を更に広げる上で重要であると考えられる．規定の文字数やフォーマットを守りつつ与えられたテーマについて文章を書く営みは，キャッチコピー生成や申請書作成など至るところで行われ，法律ドメインにおける応用では数千にも及ぶ条文からなる法律を遵守する必要がある．このように複数の指示・制約を全て守る行いは人間社会に数が多くなればなるほど，複数の指示を同時に追従成功するのは難しくなる．おいて求められるため，言語モデルの更なる応用のため複数の指示追従性能は重要な側面である．しかしながら，大規模言語モデルの複数指示追従性能についての調査は十分に行われていない．既存の指示追従性能ベンチマークは言語モデルが様々な指示に対応できるか，指示の種類に対する性能の評価が主眼であった[4,5]．複数指示を含むベンチマーク[6,7]が近年提案されているものの，各指示数においてサンプルサイズが揃っておらず[6]，また指示追従の判定にモデルによる評価を用いる[7]ため信頼性に欠けるという課題がある．我々は複数の指示追従性能調査のためのベンチマークManyIFEvalとStyleMBPPを作成した．既存の指示追従性能を測るためのベンチマーク[7,8,4,5]は同時に与えられる指示数は少数であるが，ManyIFEvalは最大10，StyleMBPPは最大6の指示数の追従性能が測定可能である．作成したベンチマークを用いて複数のモデルを評価することにより，同時に複数の指示追従する成功率は個々の指示の追従成功率の積で推定できるという経験則を得た．得られた経験則によってある指示の組み合わせにおいて，同時に追従成功する見込みはどれくらいであるかを見積もることが可能であ.AretheweatherconditionsintheArcticverycoldmostoftheyear?Yourresponseshouldfollowtheinstructionsbelow:-Theresponsemustcontainatleast3placeholdersrep-resentedbysquarebrackets,suchas[address].-Donotincludekeywords[’no’,’yes’]intheresponse.YouareanexpertPythonprogrammer,andhereisyourtask:Writeapythonfunctiontoremoveﬁrstandlastoccurrenceofagivencharacterfromthestring.Yourcodeshouldpassthesetests:assertremove_Occ("hello","l")=="heo"assertremove_Occ("abcda","a")=="bcd"assertremove_Occ("PHP","P")=="H"Yourresponseshouldfollowtheinstructionsbelow:-EnsuretheﬁleincludestheMITLicensenotice-Indentallcodeblocksusingexactlytwospaces;donotusetabs.る．また経験則は組み合わせる指示数が多くなればなるほど，それぞれの指示の追従が難しくなればなるほど同時に追従成功する可能性は劇的に低くなることを示唆しており，応用において重要な考慮事項である．