言語処理学会 第30回年次大会 発表論文集（2024年3月）

TaCOMET: 時間を考慮したイベント常識生成モデル
村田栄樹 河原大輔
早稲田大学理工学術院{eiki.1650-2951@toki., dkw@}waseda.jp

概要
常識的知識は言語モデルの通常の学習では獲得されにくい. そのため, 人手で常識を収集した常識知識
グラフやそれらをニューラル化した常識生成モデルが構築されている. しかし, イベントを扱う既存の常識生成モデルは, 粒度や時間を考慮していない. 我々は時間を考慮した常識生成モデル TaCOMET を提案する. まず時間付きの常識知識グラフ TimeATOMICを構築し, これを用いて既存の常識生成モデルを継続訓練することで TaCOMET を構築する. 評価実験
において, TimeATOMIC や継続学習により時間を考慮した生成がなされることを確かめた. さらに, ロ
ボットの意思決定タスクにおいて TaCOMET の応用可能性を確かめた.

1

はじめに

言語モデルは事前学習により, 言語知識 [1, 2] や事
実的知識 [3, 4] を獲得する. しかし, これらは人間によって発せられた言語の表面のみから学習するため, 暗黙的になりがちな常識的な知識を上手く扱うことができない [5, 6].
そこで, 常識的な知識を主に人手で収集した常識
知識グラフが構築されてきた. 代表的なものとして, エンティティの関係を扱った ConceptNet [7] やイベントやメンタルステートを扱った ATOMIC [8]などがある. 常識知識グラフはシンボリックに知識を収集するため, そのカバレッジは有限である.
ATOMIC などの知識を言語モデルのパラメタに保存する COMET [9] などの常識生成モデルもある. 本論
文ではこれらのイベントについての常識知識グラフ
を扱う.
知識グラフから, モデル内に知識を蓄える COMETなどへの移行によってカバレッジの課題は軽減した
ものの未だ完全ではない. 大きな問題の一つに, イ
ベントは粒度をもっているにも関わらず既存の常識生成モデルはそれを考慮しないことがある. イベ

ントの粒度には, エンティティや動作の全体部分関係, 因果関係, イベントの持続時間やイベント間の時間など様々な側面がある [10]. 例えば, “go to school”というイベントに対して (1) “学校という場所に行く” や (2) “教育を受けている” のような粒度の異なる解釈が可能である [11]. イベント “go to school” の後に続くイベントとして, (1) の解釈ならば “go to thelibrary”, (2) ならば “get a job” のように粒度の解釈によって推論に曖昧性が生じる. これは常識生成モデルの訓練や評価において問題となる.
これを解決するために, 我々は時間を考慮した常識生成モデル TaCOMET (Time-aware COMET) を提案する. イベントの粒度の最も重要な要素の一つとしてイベント間の時間に着目する. TaCOMET は時間の入力によって推論生成をコントロールできる常識生成モデルである.
モデルの構築は 2 つのステップからなる. 第一に,
ChatGPT 1）を使用して既存の知識グラフにイベント
間の時間を付与したデータセット (TimeATOMIC)を作成する. 第二に, TimeATOMIC で既存の常識生
成モデルを追加訓練する. このシンプルだが効果的な手法により, 入力時間に対応した知識を生成するモデルを構築する.
本研究では日本語で実験する. 構築したモデルが入力時間に対応した妥当な推論を生成することを自動評価と人手評価によって示した.
また, 構築したモデルの有効性を下流タスクにおいても確かめる. タスクとしては対話ロボットの意
思決定に関するデータセットを使用する. 我々のモデルの性能は時間を付与しないモデルを上回り, ロ
ボットにとって適切であろう時間を入力することで性能が向上することを確認した.

関連研究

2

常識知識グラフ テキストに現れない暗黙的な知識を扱うために常識知識グラフが構築されてきた.
1） https://chat.openai.com/― 868 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

人手で構築された代表的な常識知識グラフとして, 主にエンティティ間の関係を扱ったグラフ形式の WordNet [12] や ConceptNet [7] がある.

3.1

TimeATOMIC 構築

まず, 時間的常識を付与するためのデータセット

本研究ではイベント間の常識を扱う. イベントのを日本語で構築する. イベントの遷移を扱うため,関係に着目した常識知識グラフとして, ATOMIC [8]relation としては以下の 2 つを採用する.

がある. ATOMIC はイベントやメンタルステートの• xNeed: X が head の前にするイベント• xEﬀect: X が head の後にするイベント

間の if-then 関係を, (“X makes Y’s coﬀee”, xEﬀect, “X
gets thanked”) のように 3 つ組の形式で収録する. 本
論文では, 3 つ組のうち推論の元となる第 1 項目を

デ ー タ セ ッ ト の 構 築 に は gpt-3.5-turbo2） (以 降,ChatGPT) を使用する. ChatGPT に head, relation に加head, 推論のタイプを示す第 2 項目を relation, 推論先

えて time を入力し tail を出力する.

となる第 3 項目を tail と呼ぶ. ATOMIC と ConceptNet

ChatGPT に入力する head に使用するイベントとを統合・拡張した ATOMIC2020 [6] もある. 人手で構し て, ATOMIC-ja [17] の xNeed と xEﬀect に 対 す る

築された常識知識グラフのカバレッジ問題に対処す

head と tail からランダムに 2,000 件を選択する. 入力

るために, 自動構築手法が提案されてきた. ルールに基づくもの [13, 14] や, GPT-3 で ATOMIC2020 を拡張した ATOMIC10x [15] がある. Dense-ATOMIC [16]ムに選ぶ. それぞれの head に対して, 2 つの relationがあり, さらにそれぞれ 3 つの time を付与する. つまは既存の常識知識グラフに対して, relation をモデル

り合計で 12,000 件の (head, relation, time) を ChatGPTで予測することでカバレッジの問題を軽減した. しに入力する.

かし, 常識知識グラフには, 未だ構築コストの高さや有限のカバレッジという課題がある.
常識生成モデルする time は, 適当な候補集合 (付録 B.2) からランダ

非現実的な head と time のペアなどに対しては
ChatGPT が生成を拒むケースがあるため, 簡単な常識知識グラフで GPT-2 などの言語モデルを訓練することで, そのパラメタの中に常識知識グラフの知識を蓄える常識生成モデルが構築されてきた. これらは常識知識グラフのカバレッ

フィルタリングを施す. その結果, 11,249 件のデータを得た. ChatGPT の利用に約 6 ドルかかった.

3.2

ファインチューニング

ジの限界の課題を軽減する. COMET [9] は ATOMIC

3.1 節で構築したデータセットを用いて既存のや ConceptNet で Transformer を訓練した常識生成モ

COMET を継続訓練する. 既存の COMET を使用すデルで, 常識知識グラフに含まれない未見の入力にることで, 通常の言語モデルは持たない, 人間から得対しても常識を生成し, カバレッジの限界を取り払った. ATOMIC2020 と ATOMIC10x のそれぞれでた常識知識を利用する.

訓練された COMET2020 [6] や COMETDISTIL [15] もあhead, relation, time を入力したときの tail を出力する

る. COMETDISTIL はベースモデルが GPT-2 であるにもように訓練する. 既存の COMET のフォーマットを関わらず GPT-3 を上回る精度で常識を生成すること

可能な限り維持したまま, time を挿入する. 損失計算ができる. 英語以外の言語を対象にした研究 [17, 18]

は tail に対してのみ行う.

もある.

フォーマットモデ ル

それぞれのサンプルに対してCOMET ベー ス モデ ル と して, COMET-また, COMET の知識を一般の言語モデルに転移

ja [17] を使用する. およそ 200K の ATOMIC で訓練することで, 一般の言語能力を保持したまま常識タされた COMET である. GPT-2-xl のアーキテクチャを採用しており, パラメタ数はおよそ 1.5B である.

スクの性能を向上させることもできる [19].

3

また, 異なるモデルサイズの実験として, GPT-2-

Time-aware COMET

small をベースとした COMET-ja でも実験する. 同

既存のイベントに関する常識知識グラフや常識生成モデルがイベントの粒度を扱っていないことを受様に 200K の ATOMIC で訓練された, パラメタ数が110M のモデルである.

けて, 我々は常識生成モデルに時間の知識を付与し手法の比較として, COMET を経由せずに, GPT-2

たモデル TaCOMET を提案する. 粒度を扱うことで,推論や評価における曖昧性を軽減し, 下流タスクへを直接, 時間付きデータセットで訓練したモデルもの応用の幅も広がると考える.

用意する. COMET を訓練する TaCOMET と区別し
2） 2023 May 12 version.

― 869 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1: TaCOMET の評価結果. 太字は最良値. BSINNER のみ小さい方が良い.
Size
XL

small

Model TypeTaCOMETTaCOMETSCRATCHCOMET
TaCOMETTaCOMETSCRATCHCOMET

BSGEN−REF
0.754 ± 0.119
0.752 ± 0.118
0.569 ± 0.068
0.605 ± 0.071
0.604 ± 0.072
0.571 ± 0.063

BSINNER ↓0.763 ± 0.102
0.760 ± 0.103
0.818 ± 0.154
0.715 ± 0.129
0.711 ± 0.132
0.873 ± 0.173て, このモデルを TaCOMETSCRATCH と呼ぶ.

3.3

3.4

評価指標

構築したモデルでテストセットに対して推論を行い, 推論結果に対して自動評価と人手評価を行う.

𝜌 𝑝𝑒𝑎𝑟 𝑠𝑜𝑛
0.065
0.049
0.026
0.131
-0.0080.022log

𝜌 𝑝𝑒𝑎𝑟 𝑠𝑜𝑛
0.458
0.454
0.153
0.438
0.444
0.059

valid%
0.784
0.771
0.722
0.682
0.640
0.344

結果・考察

評価結果を表 1 に示す. 各ベースモデルに対して,
3.2 節で訓練した 2 つにベースラインを加えた, 以下の 3 つの設定を比較する.
• TaCOMET: COMET + TimeATOMIC• TaCOMETSCRATCH : GPT-2 + TimeATOMIC• COMET: 訓練なしのベースライン“[head][relation] [time] [前 | 後],” を入力し続きとなる
tail を生成させることで推論する.
自動評価

𝜌 𝑠 𝑝𝑒𝑎𝑟 𝑚𝑎𝑛
0.473
0.467
0.154
0.450
0.467
0.062

テキスト間の類似度計算方法である

BERTScore

生成タスクとしての性能を示す

BSGEN−REF は, 訓練によって向上した. TaCOMET とBERTScore [20] を用いて, 2 つの自動評価を行う.
一つ目の自動指標は TaCOMET の生成と参照文のTaCOMETSCRATCH のどちらも, 我々のデータセット間の類似度 (BSGEN−REF ) である. これは, 通常の生成タスクにおいてモデルの性能を測る指標であり, 数に適応させることができた.
時間ごとの生成の違いを示す BSINNER について値が高いほどよい. 二つ目は時間入力を変更したとも, 訓練 に よ って よ り 良 い結 果 を 得た. 同じ head

きの, 生成間の不一致度 (BSINNER ) である. 同じ head,と relation に対しても入力する時間を変更すること

ralation に対して時間のみが異なる入力をしたときで, それに応じた適切な生成を使い分けることがでの TaCOMET による生成同士の類似度を測る. 入力

きていると言える. BSGEN−REF , BSINNER のどちらも,する時間に応じて異なる生成をすることが求められ

TaCOMET と TaCOMETSCRATCH の間では差が見られるので, この値は小さい方がよい.
人手評価 クラウドソーシング3）によって, 人手

なかった.
相関係数

順位相関係数は, COMET ではほとんど評価を行う. TaCOMET の生成に関して, 二つのラベ

0 に近いが, 訓練したモデルでは 0.4 から 0.5 程度のルを作成する. 入力された head と生成された tail に

値で, 正の相関が確認された. ただ時間によって生成対して想定される time を一つ目のラベルとして付を変えるだけではなく, その大小によって適切な tail与する. 時間幅は提示せずに同様のペアに対してそを生成していると言える.

の推論が適切か否かを二つ目のラベルとする. 二つ

積率相関係数について, もとの系列ではほとんど
相関は見られなかった. 両対数変換後は, 訓練をしたのラベルをもとに, 以下の 4 つの指標を求める.
時間幅について, COMET へ入力されたデータセッ

どのモデルにも正の相関が見られた.

ト内のものとクラウドソーシングによるラベルのValid%

時 間 軸 を 無 視 し て, 推 論 が 適 切 か 確 認

二つの系列の間で相関を測る. スピアマンの順位

する. valid%について, XL サイズのモデルは 75%

相 関 係 数 (𝜌 𝑠 𝑝𝑒𝑎𝑟 𝑚𝑎𝑛 ) と ピ ア ソ ン の 積 率 相 関 係 数

以上, small でも 60%を超えている. 時間を付与し(𝜌 𝑝𝑒𝑎𝑟 𝑠𝑜𝑛 ) に加えて, 両対数変換を施した系列に対すても本来の COMET としての性能も維持している

log
る積率相関係数 (𝜌 𝑝𝑒𝑎𝑟 𝑠𝑜𝑛 ) の 3 つを算出する.

といえる. しかしどのベースモデルでも TaCOMET

時間幅を考慮せずにそもそも妥当な推論を行っているかを確認するために, 適切なラベルを付与されと TaCOMETSCRATCH の 間 に は 有 意 差 は 見 ら れ なた推論の割合 (valid%) も算出する.

かった.

下流タスクでの検証

4

提案するモデルが下流タスクにも転用できる例の一つとして, ロボットの意思決定用のデータ
3） https://crowdsourcing.yahoo.co.jp/― 870 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Acc. / R@5

すると性能が下がることを確認する. 代入する time

0.7
0.7

R@5
R@5(TaCOMET)(TaCOMET)は {1 秒, 5 秒, 1 分, 1 時間, 1 日, 1 ヶ月 } の 6 つと

Acc. / R@5

0.6
0.6

R@5
R@5(GPT2+FT)(TaCOMET!"#$%"& )

する.

R@5
R@5(COMET)(COMET)0.5
0.5

日 本 語 の XL モ デ ル で 実 験 す る. 3.4 節 と 同 様

R@5Time w/o Time)
R@5w/o(COMET
Acc.
Acc.(COMET+FT)(TaCOMET)に TaCOMET, TaCOMETSCRATCH と COMET で上記の

0.4
0.4

Acc.
Acc.(GPT2+FT)(TaCOMET!"#$%"& )0.3
0.3

フォーマットで実験する. また, 時間を入力しない

Acc.
Acc.(COMET)(COMET)

R@5
R@5(TaCOMET)(TaCOMET)

R@5
R@5(GPT2+FT)(TaCOMET!"#$%"& )0.2
0.2
1.E+00
1.E+01
1.E+02
1.E+0310'
10((COMET)
10)
10*
R@5
R@5
(COMET)

COMET
とも比較する.
Acc.
Timew/o Time)
Acc.w/o(COMET
1.E+0410+

1.E+0510,

1.E+061010--40 個の action を生成確率でソートした時に, 上位

1.E+07
10.

Input Time [s]

0.6
0.6
0.5
0.5

*
E+03
1.E+04
10
10+
0.4
0.4

1.E+0510,

1.E+0610
10--

put Time [s]
0.3
0.3
0.2
0.2
1.E+0010'

1 位と上位 5 位以内に正解がある割合をそれぞれ

R@5
Time w/o Time)
R@5w/o(COMET

0.7
0.7

Acc.
Acc.(COMET+FT)(TaCOMET)

R@5
R@5(TaCOMET)(TaCOMET)

Acc.
Acc.(GPT2+FT)(TaCOMET!"#$%"& )R@5
R@5(GPT2+FT)(TaCOMET!"#$%"& )Acc.
Acc.(COMET)(COMET)

R@5
R@5(COMET)(COMET)

Acc.
Timew/o Time)
Acc.w/o(COMET

R@5
Time w/o Time)
R@5w/o(COMET

1.E+07
10.

Accuracy (Acc.) と Recall at 5 (R@5) として算出する.

4.4

図 1 に結果を示す. まず, 訓練したモデルは 1 秒かAcc.
Acc.(COMET+FT)(TaCOMET)

図 1: ロボットデータでのテストの結果.
Acc.
Acc.(COMET)(COMET)ら 1 分の入力で Acc. と R@5 がともに時間入力なしと比較して上回った. 適切な時間を与えることで時Acc.
Timew/o Time)
Acc.w/o(COMET間に応じた予測を行い, 時間なしのモデルを超える

Acc.
Acc.(GPT2+FT)(TaCOMET!"#$%"& )セットでテストする. 家庭内ロボットの意思決定に
1.E+01
10(

TaCOMETの生成確率を使用し,
時間入力の効果の検
1.E+02
1.E+03
1.E+04
1.E+05
1.E+06
1.E+07
10)
10*
10+
10,
10
10-10.
Input Time [s]証や手法の比較を行う.

4.1

データセット

間感覚を捉えているからこそ, 不自然な時間入力にボットの意思決定能力を測定するために作成された[21]. 発話として, 直接的な指示ではなく独り言のよ
うな曖昧な発話を収集しているため, 常識的な推論をすることが求められる. データは 400 件あり, ロ
ボット視点の画像とユーザの発話, 画像から読み取れる description を入力とし, 40 個の action から正解を選ぶ分類タスクとなっている. COMET を分類に使用した研究 [22] もある.

よって action の予測に影響した.
TaCOMET と TaCOMETSCRATCH を比較する. Acc.
について, 1 秒から 1 分の間は TaCOMET の方が優れており, 1 時間以上では TaCOMET が劣っている. 自然な入力と不自然な入力によって結果が大きく変化しており, TaCOMET の方が時間をよりよく捕捉して時間入力に対応しているといえる. R@5 に関して
は TaCOMETSCRATCH が TaCOMET を常に上回った.
1 時間以上の範囲では性能が下がることが想定されるが, TaCOMETSCRATCH は常に時間なしのベースラ

方法

インを上回り続けている. 一方で TaCOMET はそのTaCOMET の 生 成 確 率 を 利 用 し て action を 分 類
す る. TaCOMET の テ ン プ レ ー ト は “[head] xEﬀect[time] [前 | 後], [tail]” である. 発話と action をそれぞれ TaCOMET の head と tail とし, action 部分の生成確率を計算する. これを action リストの 40 個全てに行い, 生成確率が最大の action をモデルの予測とする.
1 秒から 1 分のような, 家庭内ロボットとユーザのやりとりとして自然な time を与えた時に, xEﬀect として自然になり性能が上がると考える. 一方で, 1 日
や 1 ヶ月のような不自然な入力に対しては, 答えが定まりにくいと考える.

4.3

ことができた. 逆に 1 時間以上の入力をしたときは,時間入力なしと同じかそれ以下の結果となった. 時

使用するデータは, 曖昧な発話に対する家庭内ロ

4.2

結果

範囲ではベースラインを下回っており, より時間を意識できているといえる.
COMET に時間を入力したものは, フォーマット
の変化に対応できず時間なしのモデルを下回った.

おわりに

5

本論文では, 既存の常識知識グラフが粒度を扱わないことを受けて, 時間を考慮した常識生成モデル
TaCOMET を提案した.
今後の展望として, コンテキストの考慮や relationの拡張, 粒度の他の側面の採用, マルチモーダル化がある. また, より幅広い下流タスクでのテストや一般

実験設定入力する time を変化させて, 適切な時間を入力しの言語モデルへの知識移行などを含めたより一般的なタスクへの応用も考えられる.

た場合に性能が上がり, 現実的ではない時間を入力― 871 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は SB Intuitions 株式会社と早稲田大学の共同研究により実施した.

meaning. In International Conference on Principlesof Knowledge Representation and Reasoning, 1998.
[12] George A. Miller. WordNet: A lexical database for English. In Human Language Technology: Proceedings of a Workshop held at Plainsboro, New Jersey,
March 8-11, 1994, 1994.

参考文献[1] John Hewitt and Christopher D. Manning. A structuralprobe for ﬁnding syntax in word representations. In
NAACL HLT 2019, pp. 4129–4138, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.
[2] Christopher D. Manning, Kevin Clark, John Hewitt, Urvashi Khandelwal, and Omer Levy. Emergent linguistic structure in artiﬁcial neural networks trained by selfsupervision. Proceedings of the National Academy of
Sciences, Vol. 117, No. 48, pp. 30046–30054, 2020.
[3] Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick
Lewis, Anton Bakhtin, Yuxiang Wu, and Alexander
Miller. Language models as knowledge bases?
In
EMNLP-IJCNLP2019, pp. 2463–2473, Hong Kong,
China, November 2019. Association for Computational
Linguistics.
[4] Badr AlKhamissi, Millicent Li, Asli Celikyilmaz, MonaDiab, and Marjan Ghazvininejad. A review on language
models as knowledge bases, 2022.
[5] Xuhui Zhou, Yue Zhang, Leyang Cui, and Dandan Huang.
Evaluating commonsense in pre-trained language models.
Proceedings of the AAAI Conference on Artiﬁcial Intelligence, Vol. 34, No. 05, pp. 9733–9740, Apr. 2020.

[6] Jena D. Hwang, Chandra Bhagavatula, Ronan Le Bras,Jeﬀ Da, Keisuke Sakaguchi, Antoine Bosselut, and Yejin
Choi. (comet-) atomic 2020: On symbolic and neuralcommonsense knowledge graphs. Proceedings of the
AAAI Conference on Artiﬁcial Intelligence, Vol. 35,
No. 7, pp. 6384–6392, May 2021.
[7] Robyn Speer, Joshua Chin, and Catherine Havasi. Conceptnet 5.5: An open multilingual graph of general knowledge. Proceedings of the AAAI Conference on Artiﬁcial Intelligence, Vol. 31, No. 1, Feb. 2017.
[8] Maarten Sap, Ronan Le Bras, Emily Allaway, Chandra
Bhagavatula, Nicholas Lourie, Hannah Rashkin, Brendan
Roof, Noah A. Smith, and Yejin Choi. Atomic: An atlas of machine commonsense for if-then reasoning. Pro-[13] Hongming Zhang, Xin Liu, Haojie Pan, Yangqiu Song,and Cane Wing-Ki Leung. Aser: A large-scale eventuality
knowledge graph, 2019.
[14] Hongming Zhang, Daniel Khashabi, Yangqiu Song, andDan Roth. Transomcs: From linguistic graphs to commonsense knowledge. In Christian Bessiere, editor, Proceedings of the Twenty-Ninth International Joint Conference on Artiﬁcial Intelligence, IJCAI-20, pp. 4004–

4010. International Joint Conferences on Artiﬁcial Intelligence Organization, 7 2020. Main track.
[15] Peter West, Chandra Bhagavatula, Jack Hessel, Jena
Hwang, Liwei Jiang, Ronan Le Bras, Ximing Lu, Sean
Welleck, and Yejin Choi. Symbolic knowledge distillation:from general language models to commonsense models.
In Proceedings of the 2022 Conference of the North
American Chapter of the Association for Computational Linguistics: Human Language Technologies,

pp. 4602–4625, Seattle, United States, July 2022. Association for Computational Linguistics.
[16] Xiangqing Shen, Siwei Wu, and Rui Xia. Dense-ATOMIC:
Towards densely-connected ATOMIC with high knowledge coverage and massive multi-hop paths. In ACL2023,
pp. 13292–13305, Toronto, Canada, July 2023. Association for Computational Linguistics.
[17] Tatsuya Ide, Eiki Murata, Daisuke Kawahara, Takato Yamazaki, Shengzhe Li, Kenta Shinzato, and Toshinori Sato.
Phalm: Building a knowledge graph from scratch byprompting humans and a language model, 2023.
[18] Chenhao Wang, Jiachun Li, Yubo Chen, Kang Liu, and
Jun Zhao. CN-AutoMIC: Distilling Chinese commonsense
knowledge from pretrained language models. In Proceedings of the 2022 Conference on Empirical Methods
in Natural Language Processing, pp. 9253–9265, Abu[19]

ceedings of the AAAI Conference on Artiﬁcial Intelligence, Vol. 33, No. 01, pp. 3027–3035, Jul. 2019.

[9] Antoine Bosselut, Hannah Rashkin, Maarten Sap, Chaitanya Malaviya, Asli Celikyilmaz, and Yejin Choi.
COMET: Commonsense transformers for automatic
knowledge graph construction. In ACL2019, pp. 4762–
4779, Florence, Italy, July 2019. Association for Computational Linguistics.
[10] Rutu Mulkar-Mehta, Jerry Hobbs, and Eduard Hovy. Granularity in natural language discourse. In Proceedingsof the Ninth International Conference on Computational Semantics (IWCS 2011), 2011.

[20]

[21]

[22]

[11] Inderjeet Mani. A theory of granularity and its application to problems of polysemy and underspeciﬁcation of― 872 ―

Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.
Wangchunshu Zhou, Ronan Le Bras, and Yejin Choi.
Commonsense knowledge transfer for pre-trained language
models. In Findings of the Association for Computational Linguistics: ACL 2023, pp. 5946–5960, Toronto,
Canada, July 2023. Association for Computational Linguistics.
Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning
Representations, 2020.
Shohei Tanaka, Konosuke Yamasaki, Akishige Yuguchi,
Seiya Kawano, Satoshi Nakamura, and Koichiro Yoshino.
Do as i demand, not as i say: A dataset for developing areﬂective life-support robot. IEEE Access, pp. 1–1, 2024.
山﨑康之介, 田中翔平, 河野誠也, 湯口彰重, 吉野幸一
郎. 常識推論に基づく気の利いた家庭内ロボットの行動選択. 言語処理学会第 29 回年次大会発表論文
集. 言語処理学会, 2023.

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

具体例

A

3.1 節で構築した TimeATOMIC および 3.2 節で構築したモデルの生成をそれぞれ表 2 と表 3 に示す.
COMET ではほとんど同じ生成しかされないが, 提案手法では多様な生成が見られる.
表 2: TimeATOMIC の例 (head: “X がスーパーへ買い物に行く”).
relation
xNeed
xNeed
xNeed
xEﬀectxEﬀectxEﬀect

time
10 秒
2日
1 ヶ月
30 秒
30 分
3 時間

tail
X が靴を履く
X が財布にお金を入れる
X が予算を立てるために貯金計画を立てる
X が財布を取り出す
X が自宅に帰る
X が家で料理をする

表 3: TaCOMET と COMET の生成例 (head: “X が店まで走る”).
Rel
xNeed
xNeed
xNeed
xEﬀectxEﬀectxEﬀect

B

実験の詳細

B.1

評価指標

Time
30 分
4 時間
2日
4秒
10 分
4日

TaCOMETX が運動着に着替える
X が運動不足になる
X がジョギングシューズを買う
X が息を切らすX が息を切らすX が筋肉痛になる

COMET
X が家を出るX が家を出る
X が家から出る
X が財布を落とす
X が財布を忘れる
X が財布を落とす

3.3 節で使用した BERTScore では RoBERTa-large4）の最終層を使用した. TF-IDF による重みづけはしてい
ない.

B.2

その他

3.1 節において ChatGPT に入力した時間は, {1,2,3,4,5}×{ 秒, 0 秒, 分, 0 分, 時間, 日, ヶ月 } からランダムに選び, 文字列として連結したものである.

4） https://huggingface.co/nlp-waseda/roberta-large-japanese/― 873 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).