TaCOMET:時間を考慮したイベント常識生成モデル

言語モデルは事前学習により,言語知識[1,2]や事実的知識[3,4]を獲得する.しかし,これらは人間によって発せられた言語の表面のみから学習するため,暗黙的になりがちな常識的な知識を上手く扱うことができない[5,6].そこで,常識的な知識を主に人手で収集した常識知識グラフが構築されてきた.代表的なものとして,エンティティの関係を扱ったConceptNet[7]やイベントやメンタルステートを扱ったATOMIC[8]などがある.常識知識グラフはシンボリックに知識を収集するため,そのカバレッジは有限である.ATOMICなどの知識を言語モデルのパラメタに保存するCOMET[9]などの常識生成モデルもある.本論文ではこれらのイベントについての常識知識グラフを扱う.知識グラフから,モデル内に知識を蓄えるCOMETなどへの移行によってカバレッジの課題は軽減したものの未だ完全ではない.大きな問題の一つに,イベントは粒度をもっているにも関わらず既存の常識生成モデルはそれを考慮しないことがある.イベントの粒度には,エンティティや動作の全体部分関係,因果関係,イベントの持続時間やイベント間の時間など様々な側面がある[10].例えば,“gotoschool”というイベントに対して(1)“学校という場所に行く”や(2)“教育を受けている”のような粒度の異なる解釈が可能である[11].イベント“gotoschool”の後に続くイベントとして,(1)の解釈ならば“gotothelibrary”,(2)ならば“getajob”のように粒度の解釈によって推論に曖昧性が生じる.これは常識生成モデルの訓練や評価において問題となる.これを解決するために,我々は時間を考慮した常識生成モデルTaCOMET(Time-awareCOMET)を提案する.イベントの粒度の最も重要な要素の一つとしてイベント間の時間に着目する.TaCOMETは時間の入力によって推論生成をコントロールできる常識生成モデルである.モデルの構築は2つのステップからなる.第一に,ChatGPT1）を使用して既存の知識グラフにイベント間の時間を付与したデータセット(TimeATOMIC)を作成する.第二に,TimeATOMICで既存の常識生成モデルを追加訓練する.このシンプルだが効果的な手法により,入力時間に対応した知識を生成するモデルを構築する.本研究では日本語で実験する.構築したモデルが入力時間に対応した妥当な推論を生成することを自動評価と人手評価によって示した.また,構築したモデルの有効性を下流タスクにおいても確かめる.タスクとしては対話ロボットの意思決定に関するデータセットを使用する.我々のモデルの性能は時間を付与しないモデルを上回り,ロボットにとって適切であろう時間を入力することで性能が向上することを確認した.