オープンドメインの手順書のフローグラフ予測とデータセットの構築
白井 圭佑 1

亀甲 博貴 2 森 信介 22 京都大学学術情報メディアセンター
shirai.keisuke.64x@st.kyoto-u.ac.jp {kameko,forest}@i.kyoto-u.ac.jp
1 京都大学大学院情報学研究科

概要
機械による手順書の理解は, それらにおける推論や実世界における自動化を行う上で重要である. 先行研究では, 手順書の理解の表現としてレシピフローグラフという枠組みが提案されている. 本稿では, レシピにおける食材を手順書が目指す最終成果物の構成要素として捉えることで, 調理以外の分野への適用を試みる. また, 調理以外の分野におけるフローグラフの予測精度を調査するため, 新たに
wikiHow Flow Graph (wikiHow-FG) コーパスを構築した. コーパスは, wikiHow から選択した 2 分野を対象に, 30 記事ずつアノテーションすることで構築した.
実験では, 対象分野の少量データでモデルの学習を行う few-shot の設定と, 既存の調理分野のデータで学習を行う zero-shot の設定を考え, それぞれについて評価, 比較を行った.

1

はじめに
手順書は調理や家具の組み立て等, 日常生活における作業を補助する目的で書かれた文書である. 機

図 1 フローグラフ予測の例. タグとラベルは提案フレームワークのものである. 本研究では, このフレームワークを用いて調理以外の分野における手順書のフローグラフ予測を行う.

械による手順書の理解は, 手順における推論 [1] やその作業の自動化 [2] を目指す上で重要であるといえ案されている. 一方でレシピフローグラフはアノる. これには, 文書全体における重要表現の認識やそテーションコストが高く, 大規模なデータセットのれらの係り受け関係を解析する必要がある. 手順書構築は現実的ではないという問題がある. また, その適用分野も現状は調理のみに留まっている.のグラフ表現への変換 [3] は, これらの問題を解決する一つの手段である.

本研究では, レシピにおける食材を手順書が目指先行研究では, この方向において分野依存の手法す成果物の構成要素として捉えることで, 調理以外が提案されてきた [4, 5, 6]. 特に, 調理分野においての分野への適用を目指す. 本稿では, 英語の手順書をはウェブ上に豊富な資源が存在することから, 様々対象とし, 既存研究 [10] と同様にノード予測とエッなアプローチが取られてきた [4, 7, 8]. この中で, 森ジ予測の 2 段階からグラフの予測を行う. また, 調ら [4] はレシピをフローグラフへ変換する枠組みとして, レシピフローグラフと日本語コーパスの提理以外の分野におけるフローグラフの予測精度を案を行った. 後の研究 [9] では, 英語フローグラフする. これは, 様々なタスクに関するマニュアルを(English Flow Graph; English-FG) とそのコーパスも提公開している wikiHow から記事を収集して構築し調査するため, 新たに wikiHow-FG コーパスを提案た. 対象分野として, 表 1 に示す 2 分野を wikiHow表1

各記事における記事タイトルの例.

分野

記事タイトルの例

Hobbies and Crafts

Making a bar soap, Making a duct tape bow, Making a paper box

Home and Garden

Cleaning a mattress pad, Installing a microwave, Making a scented candle

表 2 タグとその意味. 括弧内は English-FG にのける名称と定義を指す.

表 3 ラベルとその意味. 括弧内は English-FG における名称と定義を指す.

タグ意味

ラベル

意味

C ( F)

構成要素 (食材)

Agent

主語

T

道具

Targ

動作の対象

D

継続時間

Dest

動作の方向

Q

分量

T-comp

道具による補足

Ae (Ac)

動作 (調理動作)

C-comp (F-comp)

構成要素 (食材) による補足

Ae2 (Ac2)

不連続の動作 (調理動作)

C-eq (F-eq)

同一の構成要素 (食材)

Ac (Af)

構成要素 (食材) による動作

C-part-of (F-part-of)

構成要素 (食材) の一部

At

道具による動作C-set (F-set)

構成要素 (食材) の集合

Sc (Sf)

構成要素 (食材) の状態

T-eq

同一の道具

St

道具の状態

T-part-of

道具の一部

A-eqのカテゴリから選択し, 各分野において 30 記事を

V-tm

同一の動作動作のタイミングアノテーションした. 実験では, 既存の English-FG

other-mod

その他の修飾語句

コ ー パ ス [9] 上 で 学 習 を 行 う zero-shot の 設 定 と,
wikiHow-FG 上の少量のアノテーションで学習を行研究でもそれに従う1）.

う few-shot の設定における予測精度を, それぞれ調エッジ予測ではノード間における依存関係を依存査した. 結果から, ノード予測に関しては zero-shot,few-shot 共に高い予測精度が得られる一方で, エッジ関係ラベルと共に予測することでグラフの構築を行う. これは最大全域木問題として以下のように定式

予測に関しては zero-shot が few-shot モデルの予測精化される.

度を大幅に上回る結果となった.

2フローグラフ表現

2.1

レシピフローグラフ

ここでは, レシピフローグラフについて概説する.
レシピフローグラフは, 図 1 に示すような有向非巡回グラフである. ここで, 点は文書中の重要表現を指し, 表 2.1 に示すような 10 種類のタグを用いて表す.

𝐺ˆ = argmax
𝐺 ∈𝒢∑𝑠(𝑢, 𝑣, 𝑙).

(1)(𝑢,𝑣,𝑙)

こ こ で, 𝑠(𝑢, 𝑣, 𝑙) は 点 𝑢 か ら 点 𝑣 へ の 辺 が ラ ベ ル
𝑙 を持つ場合のスコアを表す. この問題は Chu-liu
edmonds アルゴリズムを用いて解くことが出来, ス
コアは依存構造解析器 [12] を用いて計算する.

2.2

調理以外の分野への適用

既存の English-FG [9] を基に, レシピにおける食材辺は点同士の関係を指し, 表 3 に示すような 13 種類を手順書の成果物における構成要素として捉えるこのラベルを用いて表す. レシピフローグラフの予測とで, 他分野への適用を行う. ここでの構成要素と手法として, 先行研究 [10] ではノード予測とエッジは, 例えば調理ではトマトや牛肉等, クラフトでは予測の 2 段階に分けて行うことが提案されている.

段ボールや糊等が対応し, レシピフローグラフにおノード予測では文章中の重要表現とそれに対応ける定義と同様に道具とは区別して扱う. 本研究でするタグの識別を行う. これは系列ラベリング問

用いるタグと依存関係ラベルの定義を表 2.1 と表 3題として定式化され, 固有表現認識器 (Named EntityRecognition; NER) を用いてタグの予測を行う. また,NER は文レベルでのタグ予測が一般的である [11]が, 先行研究 [9] では文章全体を入力としており, 本にそれぞれ示す. これらは English-FG の定義を一部
1） English-FG コーパスにおける予備実験では, 文章レベルで予測を行うことで, 文レベルで予測を行った場合に比べ約10%の精度向上が見られることを確認した.

表 4 コーパスの統計量.

分野

文字数

単語数

手順数

タグ数

ラベル数

Hobbies and Crafts

9,407

2,556

247

1,062

1,076

Home and Garden

7,700

2,010

205

894

886

修正したものであり, タグやラベルの追加や削除は記事辺り平均 7.53 手順 (76.1 単語) で構成されてい行っていない. また, 構成要素を食材に置き換えるこることがわかる. また, 1 記事あたりの平均アノテーとで, 既存の調理分野に適用することも可能である.

ション数が, 32.6 タグと 32.7 ラベルであることも見また, フローグラフの予測に関しては, 先行研究 [10]て取れる.と同様に, ノード予測とエッジ予測の 2 段階に分けて行う.

wikiHow-FG コーパス

3実験

4

構築した wikiHow-FG コーパスと既存の EnglishFG コーパスを用いて, ノード予測とエッジ予測の実

wikiHow-FG コーパスは wikiHow2）から収集した記験をそれぞれ行った. 本研究では, English-FG のみで事に対し, フローグラフのアノテーションを行うこ学習を行い, 対象分野で予測を行う zero-shot の設定とで構築した. wikiHow は 11 万を超えるマニュアルと, 対象分野の少量の wikiHow-FG データで学習をを公開しているウェブサイトであり, 手順に関する行い, 予測を行う zero-shot の設定を想定し, それぞれ言語資源として近年注目を集めている [13, 1, 14, 15].

における予測性能を調査した. フローグラフはアノ以 下 で は, デ ー タ 収 集 方 法, ア ノ テ ー シ ョ ン 手 順,テーションコストが高いため, これらは現実的な実コーパスの統計量について順に説明を行う.

験設定であるといえる.

4.1

ノード予測

対象分野として選択した. ここで, Hobbies and Crafts

4.1.1

実験設定

は材料の組み立てタスクを主に対象としており, 食材の組み立てを行う調理分野とは比較的近いといえNER モデルとして BiLSTM-CRF [11] を用いた. また, 元のモデルにおける BiLSTM エンコーダを事前る. 一方で, Home and Garden では修理や掃除等, 組み学習済みの DeBERTa [18] に差し替えて用いた4）. ま立てではないタスクを主に対象とするため, より調た学習時には DeBERTa のパラメータも調節の対象理から離れた分野であるといえる. 記事の収集は, ことした.

3.1

データ収集

本研究では, 表 1 に示す wikiHow の 2 カテゴリをれらの各分野に含まれる 30 記事を, 既存の wikiHow

最適化には AdamW [20] を, 初期学習率を 1.0×10−5 ,Corpus [1] から収集する形で行った. また, 低品質

weight decay の係数を 1.0 × 10−5 として用いた. まな記事を省くため, 全体で 25 単語以下のもの, ユー

た, 各イテレーションにおいて, Cosine Annealing [20]

ザー評価が 50%以下のものは収集の対象外とした.

(𝑆d 回) と Linear Warmup (𝑆w 回) を 組 み 合 わ せ てまた, 抽象的な目的を目指す記事や, 曖昧な表現の多学 習 率 の 調 節 を 行 っ た. ミ ニ バ ッ チ サ イ ズ は 𝐵い記事を手動で除去した. 以降では, 収集した記事に記 事 か ら 構 築 し, English-FG 上 で の 学 習 の 際 に は含まれる見出し (headline) を手順として使用する.

(𝐵, 𝑆w , 𝑆d ) = (5, 500, 4500) に, wikiHow 上での学習の3.2

アノテーション

際には (𝐵, 𝑆w , 𝑆d ) = (3, 100, 900) に, 設定した. これらのハイパーパラメータの調節は開発セット上で先行研究で提案されたアノテーションツール [16] を用いて, アノテーションを行った3）. また,行った.
wikiHow-FG 上の学習には, 全体 30 記事を 6 分割

English-FG コーパスから収集した 10 記事を用いて,し, 1 分割を学習セット, 1 分割を開発セット, 残り事前にアノテータのトレーニングを行った. コーパ

4 分割をテストセットとすることで, 6-分割交差検スの統計量を表 4 に示す. 表から, 収集した記事は 1証を行った. English-FG 上の学習には全体 300 記事

2） https://www.wikihow.com
3） 事前に stanza [17] を用いて手順に含まれる文の単語分割を行った.

4） 先行研究 [9] では BERT [19] が用いられている. English-FG
コーパスにおける予備実験では, DeBERTa を用いることで0.47%の精度向上が実現出来ることを確認した.

表 5 ノード予測における実験結果. チェックマーク (✓)
は使用した学習データを指す.
学習データ
対象分野 English wikiHow 精度 再現率 F 値-FG-FG
Hobbies✓0.698 0.707 0.702
and Crafts✓
0.703 0.684 0.693
Home and✓
0.663 0.676 0.669
Garden✓0.734 0.742 0.738

表 6 エッジ予測の実験結果. チェックマークは使用した学習データを指す.
学習データ
対象分野 English wikiHow 精度 再現率 F 値-FG-FG
Hobbies✓0.285 0.281 0.283
and Crafts✓
0.613 0.605 0.609
Home and✓
0.229 0.232 0.231
Garden✓0.644 0.649 0.646のうち, 80%を学習セット, 10%を開発セット, 残り10%をテストセットとすることで 10-分割交差検証を行った. English-FG 上で学習したモデルの評価の際には, wikiHow-FG の各分割におけるテストセットに対し, それぞれ 1 モデルを割り当てて予測を行った. 実験結果では, 対象分野の wikiHow-FG コーパスの各テストセットにおけるスコアの平均を報告す
る. 評価指標としては, 精度, 再現率, F 値を用いた.
4.1.2

実験結果

表 5 に 結 果 を 示 す. 両 分 野 に お い て, zero-shot,few-shot の設定ともに 66%以上の精度, 再現率, F 値が実現出来ていることがわかる. 特に few-shot 設定における結果は, 対象分野における数記事のアノテーションを用意することで, 比較的高精度なノード予測モデルが実現可能であることを示唆している. また, Home and Garden においては, zero-shot 設定のモデルが few-shot 設定のモデルを, 全指標において 6.8%以上も上回る結果となった. これに関しては,調理分野と Home and Garden が, Hobbies and Craftsよりも近い分野であり, 表現やタグの予測が Hobbiesand Crafts 以上に容易だったのではないかと思われる.

4.2
4.2.1

4.1.1 節と同様の値を用いた. 学習は English-FG コー
パス, wikiHow-FG コーパス共に 4.1.1 節と同様の分割を用い, それぞれ交差検証を行った. 評価指標には, 予測結果と正解データ間におけるラベル付き辺の精度, 再現率, F 値を用いた.
4.2.2

実験結果

表 6 に 結 果 を 示 す. ノ ー ド 予 測 の 実 験 結 果(4.1.2 節) と異なり, zero-shot 設定のモデルの性能が著しく低い結果となっていることがわかる. また,
few-shot 設定のモデル間とのスコアの差も大きく, F値に関して 32.6%以上の開きがある. これは, エッジ予測モデルの学習には, ノード予測モデル以上に多くの例が必要であることを意味しており, 結果として学習データがより豊富な zero-shot 設定の方が高いスコアが得られたのではないかと考えられる.

5

おわりに
本稿では, 既存のレシピフローグラフを利用し,他分野の手順書のフローグラフ予測を試みた. また, そのために wikiHow の 2 分野を対象に収集しエッジ予測実験設定

依存構造解析器として Biaﬃne Attention Parser [12]を 使 用 し た5）. 単 語 の 分 散 表 現 は, 事 前 学 習 済 み
DeBERTa を用いて計算した. ノード予測の時と同様に, DeBERTa のパラメータも調節の対象とした.
最適化は AdamW [20] を用い, 各イテレーション毎に Cosline Annealing と Linear Wamup を用いた学習率の調節を行った. ハイパーパラメータに関しては,
5） 先行研究 [9] では, 線形モデル [10] による解析器を使用している. English-FG コーパスを用いた予備実験では, 本モデルを用いることで 2.7%の精度向上が実現できることを確認した.

た記事を基に, 新たに wikiHow-FG コーパスを構築し た. 実 験 で は, 既 存 の 調 理 分 野 の デ ー タ と し てEnglish-FG コーパスのみで学習を行う zero-shot 設定と wikiHow-FG コーパスの対象分野のデータのみを用いた few-shot 設定とで, 個別にモデルを学習し, 評価を行った. 結果からは, ノード予測においては両設定ともに 66%以上のスコアが得られる一方で, エッジ予測においては, zero-shot 設定のモデルの方が高い予測性能を実現出来ることがわかった.
今後の展望としては, 本稿で調査した以外の分野
でも調査を行う他, 調理分野から対象分野への分野適応を行うことで性能向上を狙うことが挙げられる. また, 対象分野のデータ拡張を行うことで性能を向上させることも考えられる.

参考文献[1] Li Zhang, Qing Lyu, and Chris Callison-Burch. Reasoning
about goals, steps, and temporal ordering with WikiHow.
In Proceedings of the 2020 Conference on EmpiricalMethods in Natural Language Processing, pp. 4630–4639. Association for Computational Linguistics, 2020.
[2] Mario Bollini, Stefanie Tellex, Tyler Thompson, Nicholas
Roy, and Daniela Rus. Interpreting and executing recipes
with a cooking robot. In Experimental Robotics, pp.
481–495. Springer, 2013.
[3] Yoshio Momouchi. Control structures for actions in procedural texts and PT-chart. In COLING 1980 Volume 1:
The 8th International Conference on Computational
Linguistics, 1980.

[4] Shinsuke Mori, Hirokuni Maeta, Yoko Yamakata, and Tetsuro Sasada. Flow graph corpus from recipe texts. In
Proceedings of the Ninth International Conferenceon Language Resources and Evaluation, pp. 2370–2377, 2014.
[5] Chaitanya Kulkarni, Wei Xu, Alan Ritter, and Raghu
Machiraju. An annotated corpus for machine reading of
instructions in wet lab protocols. In Proceedings of the2018 Conference of the North American Chapter ofthe Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 97–106. Association for Computational Lin-guistics, 2018.
[6] Fusataka Kuniyoshi, Kohei Makino, Jun Ozawa, andMakoto Miwa. Annotating and extracting synthesis process of all-solid-state batteries from scientiﬁc literature.
In Proceedings of the Twelfth Language Resourcesand Evaluation Conference, pp. 1941–1950. EuropeanLanguage Resources Association, 2020.
[7] Liang-Ming Pan, Jingjing Chen, Jianlong Wu, ShaotengLiu, Chong-Wah Ngo, Min-Yen Kan, Yugang Jiang, andTat-Seng Chua. Multi-Modal Cooking Workﬂow Construction for Food Recipes, p. 1132–1141. Associationfor Computing Machinery, 2020.
[8] Dim P. Papadopoulos, Enrique Mora, Nadiia Chepurko,Kuan Wei Huang, Ferda Oﬂi, and Antonio Torralba. Learning program representations for food images and cooking recipes. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), pp. 16559–16569, 2022.

[9] Yoko Yamakata, Shinsuke Mori, and John A Carroll.
English recipe ﬂow graph corpus. In Proceedings ofthe 12th Language Resources and Evaluation Conference, pp. 5187–5194, 2020.

[10] Hirokuni Maeta, Tetsuro Sasada, and Shinsuke Mori. Aframework for procedural text understanding. In Proceedings of the 14th International Conference on ParsingTechnologies, pp. 50–60, 2015.

[11] Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, and Chris Dyer. Neural architectures for named entity recognition. In Proceedingsof the 2016 Conference of the North American Chapter of the Association for Computational Linguistics:

Human Language Technologies, pp. 260–270. Associ-ation for Computational Linguistics, 2016.
[12] Timothy Dozat and Christopher D. Manning. Simpler but
more accurate semantic dependency parsing. In Proceedings of the 56th Annual Meeting of the Association
for Computational Linguistics (Volume 2: Short Papers), pp. 484–490. Association for Computational Lin-guistics, 2018.
[13] Yilun Zhou, Julie Shah, and Steven Schockaert. Learning
household task knowledge from WikiHow descriptions. In
Proceedings of the 5th Workshop on Semantic Deep
Learning (SemDeep-5), pp. 50–56. Association for Com-putational Linguistics, 2019.
[14] Li Zhang, Qing Lyu, and Chris Callison-Burch. Intent
detection with WikiHow. In Proceedings of the 1st
Conference of the Asia-Paciﬁc Chapter of the Association for Computational Linguistics and the 10thInternational Joint Conference on Natural Language
Processing, pp. 328–333, 2020.

[15] Shuyan Zhou, Li Zhang, Yue Yang, Qing Lyu, PengchengYin, Chris Callison-Burch, and Graham Neubig. Showme more details: Discovering hierarchies of proceduresfrom semi-structured web data. In Proceedings of the60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp.

2998–3012. Association for Computational Linguistics,2022.
[16] Keisuke Shirai, Atsushi Hashimoto, Taichi Nishimura, Hirotaka Kameko, Shuhei Kurita, Yoshitaka Ushiku, andShinsuke Mori. Visual recipe ﬂow: A dataset for learning visual state changes of objects with recipe ﬂows.
In Proceedings of the 29th International Conference
on Computational Linguistics, pp. 3570–3577. International Committee on Computational Linguistics, 2022.
[17] Peng Qi, Yuhao Zhang, Yuhui Zhang, Jason Bolton,
and Christopher D. Manning. Stanza: A python naturallanguage processing toolkit for many human languages.
In Proceedings of the 58th Annual Meeting of theAssociation for Computational Linguistics: System
Demonstrations, pp. 101–108. Association for Compu-tational Linguistics, 2020.
[18] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu
Chen. Deberta: decoding-enhanced bert with disentangled
attention. In 9th International Conference on Learning
Representations, 2021.
[19] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectionaltransformers for language understanding. In Proceedings of the 2019 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1:Long and Short Papers), pp. 4171–4186. Associationfor Computational Linguistics, 2019.
[20] Ilya Loshchilov and Frank Hutter. Decoupled weight decay
regularization. In Proceedings of the 7th International
Conference on Learning Representations, 2019.