\section{\revise{はじめに}}
手順書は調理や家具の組み立て等，幅広いタスクを実行するための手順のリストを提供する．手順は複数文から構成されることもあり，各文には通常一つ以上の動作と物体が含まれる．近年では，手順書の理解に向けた研究が盛んに行われている\cite{mori2014flow,kiddon2015mise,bosselut2018simulating,dalvi2018tracking,tandon2020dataset}．この中でも，文章全体における手順の流れを理解すること\cite{mori2014flow,kiddon2015mise}は，手順間の関係に関する推論\cite{zhang2020reasoning}や手順書を基にした作業の自動化\cite{bollini2013interpreting}を目指す上で重要である．この方向において，先行研究では，調理レシピの理解の表現としてレシピフローグラフ(recipeflowgraph;r-FG)がコーパスと共に提案されている\cite{mori2014flow,yamakata2020english}．\figref{fig:flow-graph-examples}の左図に示すように，r-FGは調理レシピ内の手順に関わる表現をノード，それらの関係をエッジとする有向非巡回グラフとして定義され，文章レベルでの手順の依存関係を捉えることが出来るという特徴を持つ．また，先行研究では，r-FGの自動予測を行うフレームワークとして，ノード予測とエッジ予測の2段階で行うものが提案されている\cite{maeta2015framework}．こうした発展がある一方で，r-FGは調理分野に依存した表現となっているため，その他の分野の手順書には未だ適用されていない．調理分野に依存しない一般化されたフローグラフ表現を開発することは，分野間で手順の知識の共有を可能にする上で意義があるといえる．また，フローグラフに共通する問題として，アノテーションが複雑であり，大規模なアノテーションが現実的ではない点が挙げられる．そのような際に，既存のアノテーションを活用し，新たな分野では少量アノテーションのみを用意して予測モデルを学習できれば，アノテーションコストの削減に繋がり有用である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\begin{center}\includegraphics{31-2ia7f1.pdf}\end{center}\hangcaption{フローグラフアノテーションの例．左はEnglishr-FGコーパスにおけるレシピのアノテーションを，右は\revise{w-FG}コーパスの\textit{HobbiesandCrafts}の手順書のアノテーションを，それぞれ示す．\revise{赤線で囲まれている表現は，フローグラフにおけるルートノードに対応している．}}\label{fig:flow-graph-examples}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本論文では一般的な手順書の理解の表現として，\revise{wikiHow}フローグラフ(\revise{wikiHow}flowgraph;\revise{w-FG})を提案する．これはr-FGにおける調理依存の表現（食材;Food）を手順書の最終生産物の材料(Ingredient)として汎化して捉えることで得られる．\revise{w-FG}はr-FGと互換性があり，既存の調理分野のデータは\revise{w-FG}に変換可能である．ここでは，英語の手順書を対象とし，調理以外の分野における手順書のフローグラフ予測性能を調査する．この目的のため，新たに\revise{w-FG}コーパスを構築する．これは，様々なタスクの手順を公開しているwikiHowの記事を基に作成されている．\revise{w-FG}コーパスは，wikiHowの上位カテゴリである\textsl{FoodandEntertaining}，\textsl{HobbiesandCrafts}，\textsl{HomeandGarden}，\textsl{Cars\&OtherVehicles}を分野として選択し，各分野で$30$記事のアノテーションを提供する．\revise{w-FG}コーパスはWeb上で公開済みである\footnote{\url{https://github.com/kskshr/w-FG-Corpus}}．実験では，\revise{w-FG}コーパスの各対象分野において，ノード予測とエッジ予測の性能を調査する．ここでは，フローグラフアノテーションのコストを考慮し，対象分野の学習に利用可能なデータが小規模であると想定する．この設定下でフローグラフ予測性能を向上するため，既存の調理分野のデータの利用を考える．具体的には，調理分野のデータであるEnglishr-FGコーパス\cite{yamakata2020english}で事前学習を行い，\revise{w-FG}コーパスの対象分野のデータでファインチューニングを行う分野適応によって，予測モデルを実現する．実験結果では，このような分野適応を行うことで，Englishr-FGコーパスか\revise{w-FG}コーパスのいずれか一方を学習に用いる場合に比べ，大幅な性能向上が実現出来ることを示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{レシピフローグラフ}
label{sec:recipe_flow_graph}本節では，レシピフローグラフ(recipeflowgraph;r-FG)について概説する．まず，r-FG表現について説明を行い，次にr-FG予測のためのフレームワークを紹介する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{フローグラフ表現}\label{subsec:flow_graph_representation}\figref{fig:flow-graph-examples}の左図のように，r-FGはノードの集合$V$とエッジの集合$E$から成る有向非巡回グラフ$G(V,E)$として定義される．ここで，$V$は食材や道具等の手順に関わる表現の集合であり，$E$はノード同士の依存関係を表すラベル付きエッジの集合である．グラフは連結であり，全手順の結果として得られる最終生産物に対応する特殊なルートノードが存在する．先行研究\cite{yamakata2020english}では，手順書の最後に登場した調理動作の表現をルートノードとしている．現在，r-FGのアノテーションとしては日本語のコーパス\cite{mori2014flow}と英語のコーパス（EnglishFlowGraphコーパス;Englishr-FGコーパス）\cite{yamakata2020english}が公開されている．ここで，r-FGは日本語のレシピを対象にデザインされており，英語r-FGでは英語特有の表現を扱うために少数のタグとラベルを新たに追加している．\tabref{tab:tag_types}と\tabref{tab:label_types}に示す通り，英語r-FGは$10$種類の固有表現タグと$13$種類の依存関係ラベルを用いる．本論文では英語の手順書を対象とするため，以降では英語r-FGを主に扱う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1and2\begin{table}[b]\begin{minipage}[t]{180pt}\begin{center}\setlength{\captionwidth}{180pt}\input{07table01.tex}%\hangcaption{固有表現タグとその意味．括弧内は\\英語r-FGにおけるタグと意味を表す．}\label{tab:tag_types}\end{center}\end{minipage}\hfill\begin{minipage}[t]{198pt}\begin{center}\setlength{\captionwidth}{198pt}\input{07table02.tex}%\hangcaption{依存関係ラベルとその意味．括弧内は英語r-FGにおけるラベルと意味を表す．}\label{tab:label_types}\end{center}\end{minipage}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{フローグラフ予測}先行研究では，ノード予測とエッジ予測の2段階による，r-FG自動予測のためのフレームワークが提案されている\cite{maeta2015framework}．ノード予測では記事中のノードに対応する表現をタグ付きで検出する．これは系列ラベリング問題として定式化され，固有表現認識器を用いて予測を行う．固有表現認識では文レベルでタグ予測を行うのが一般的であるが\cite{lample2016neural}，先行研究では記事レベルで予測を行っており\cite{yamakata2020english}，本研究もそれに従う\footnote{予備実験では，記事レベルで予測を行うことで文レベルの場合と比較して予測精度が10\%向上することを確認した．}．エッジ予測ではノード間の依存関係をラベル付きで予測する．これは最大全域木問題として，以下のように定式化される．\begin{equation}\hat{G}=\argmax_{G\in\mathscr{G}}\sum_{(u,v,l)}s(u,v,l).\end{equation}ここで，$s(u,v,l)$はノード$u$からノード$v$へ，ラベル$l$が振られる場合のスコアを表しており，これはChu-Liu-Edmondsアルゴリズムを用いて解かれる\cite{chu1965on,edmonds1967optimum}．ラベル付きエッジのスコアは依存構造解析器を用いて計算される\cite{mcdonald2005non}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{\revise{wikiHowフローグラフ}}
\revise{wikiHowフローグラフ}(\revise{wikiHow}flowgraph;\revise{w-FG})は英語r-FGを\revise{拡張した}フローグラフ表現である．\tabref{tab:tag_types}と\tabref{tab:label_types}に，\revise{w-FG}の固有表現タグと依存関係ラベルのリストを示す．r-FGにおいては，原材料，手順の中間生産物はすべて食材(Food)として扱われ，これらは手順の最後には最終生産物である料理に組み込まれる．例えば，サラダの調理レシピを考えたとき，最終生産物はサラダであり，レタスやドレッシングはサラダの材料として捉える．\revise{w-FG}では，r-FGで扱う食材を，手順書一般で得られる最終生産物の材料(Ingredient)として汎化して捉えることで，調理以外の分野の手順書を扱えるようにする．例えば，机の組み立てを考えたとき，最終生産物は机であり，机の脚やネジは机の材料として捉える．\revise{w-FG}では固有表現タグの食材(\textsf{F})を材料(\textsf{I})に変更するほか，その他の食材に関わる固有表現タグや依存関係ラベルは，食材の部分を材料に置き換えて用いる（例えば，食材の状態(Stateoffoods;Sf)$\rightarrow$材料の状態(Stateofingredients;Si)，同一の食材(Foodequality;F-eq)$\rightarrow$同一の材料(Ingredientequality;Ie)）．\revise{w-FG}はr-FGとの互換性があるため，既存のr-FGアノテーションは\revise{w-FG}に変換して用いることが可能である．以降では，\revise{w-FG}を用いた一般的な手順書からのフローグラフ表現の予測を考える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{フローグラフ予測}先行研究と同様に，フローグラフ予測はノード予測とエッジ予測の2段階で行う．予測モデルは\revise{w-FG}アノテーションを用いて教師あり学習を行うことで得られる．ここで，フローグラフのアノテーションは高コストであるため，学習に利用可能な対象分野のデータは少量であると想定する．一方で，既存の調理分野のコーパスも\revise{w-FG}表現に変換可能であり，学習データとして用いることができる．従って，本論文では，低リソース問題を解消するために，モデルの学習に調理分野のデータと\secref{sec:dataset}で述べる対象分野のデータの双方を用いる．具体的には，調理分野のデータでモデルを事前学習し，対象分野のデータでファインチューニングする分野適応を行う．本章の残りの部分では，\secref{subsec:task_definition}でタスクの定式化を行い，次に\secref{subsec:data_augmentation}で低リソース下での性能向上のためのデータ拡張を考える．\subsection{タスク定義}\label{subsec:task_definition}調理分野における$N$例のフローグラフ${(V^{C}_{1},E^{C}_{1}),\cdots,(V^{C}_{N},E^{C}_{N})}$と対象分野における$M$例のフローグラフ${(V^{T}_{1},E^{T}_{1}),\cdots,(V^{T}_{M},E^{T}_{M})}$が与えられたとき，本タスクの目標は対象分野においてノード予測モデル$F_{\text{Node}}$とエッジ予測モデル$F_{\text{Edge}}$の予測性能を最大化することである．ここで，\begin{gather}F_{\text{Node}}:D\rightarrowV,\\F_{\text{Edge}}:(D,V)\rightarrowE\end{gather}であり，ここで$D$は手順書である．本設定では$M$は非常に小さい数であるため（実験では$M=5$），本タスクは低リソース分野適応\cite{xu2021gradual}の側面を持つといえる．また，調理分野のデータ或いは対象分野のデータを用いない場合は，それぞれfew-shot,zero-shotの設定と見なすことが出来る．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[b]\begin{center}\includegraphics{31-2ia7f2.pdf}\end{center}\caption{手順入れ替えの例．}\label{fig:step_swaps_example}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{データ拡張}\label{subsec:data_augmentation}低リソース設定における性能向上のためのアプローチとして，データ拡張は有望なアプローチである\cite{fadaee2017data,ding2020daga}．本研究では，手順の入れ替えと単語置換の2種類のデータ拡張を考える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{手順の入れ替え}では，\figref{fig:step_swaps_example}のように，文章中の任意の2つの手順を入れ替えることでデータ拡張を行う．しかし，手順をランダムに入れ替えた場合，手順の順序関係に矛盾が生じる可能性がある．例えば，調理レシピにおいて，``1.Cutthepotatoes.''と``2.Addthepotatoestothepan.''という2つの手順は入れ替えることが出来ない．本論文では，フローグラフアノテーションを用いて手順の順序関係を考慮することで，この制約を守りつつデータ拡張を行う\footnote{実際には，``Heatthepan.''と``Addthepotatoestothepan.''の間の作業時間が変化し，温めたフライパンに影響があるため，このような手順間には暗黙的な順序の制約が存在するといえる．本論文では，このような暗黙的な制約は無視し，フローグラフによって与えられる明示的な制約のみに着目する．}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{単語置換}では，手順中のある単語を任意の単語に置換することでデータ拡張を行う．例えば，``Heatthepan.''の``pan''を``cooking\textunderscorepan''に置換することで拡張する．しかし，無関係な単語に置換した場合，手順の意味が大きく変化する可能性がある．従って，本論文ではWordNet\cite{daiadel2020analysis}を用いて，単語を類義語に置換する．常に単語の置換を行うわけではなく，$p(0\lep\le1)$の確率で置換を行う．単語によっては複数の類義語が存在しうるが，その場合は候補の中からランダムに一つを選択する．単語の置換対象として，本論文では人の動作(\textsf{Ae})，材料(\textsf{I})，道具(\textsf{T})の固有表現タグに対応する表現を対象とする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{\revise{w-FG}コーパス}
label{sec:dataset}\revise{w-FG}コーパスは，wikiHow\footnote{\url{https://www.wikihow.com}}上の記事から構築した新たなフローグラフコーパスである．wikiHowは23万を超える手順書を公開しており，近年では手順書の言語資源として先行研究で広く用いられている\cite{zhou2019learning,zellers2019hellaswag,zhang2020reasoning,zhou2022show,lin2022learning}．以下では，データ収集，アノテーション手順，統計量，アノテーション一致率について順に説明する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{データ収集}\label{subsec:data_collection}対象分野として，wikiHowの上位カテゴリから\textsl{FoodandEntertaining},\textsl{HobbiesandCrafts},\textsl{HomeandGarden},\textsl{Cars\&OtherVehicles}の4つを選択した．ここで，\textsl{FoodandEntertaining}は調理を主なタスクとする点で，Englishr-FGコーパスに非常に近い分野であるといえる．\textsl{HobbiesandCrafts}は工作を主に扱う分野であり，調理とは異なるが，材料を組み立てて最終生産物を得るという点で共通している．\textsl{HomeandGarden}と\textsl{Cars\&OtherVehicles}はそれぞれ園芸や乗り物の整備を主なタスクとしており，組み立て以外のタスクを多く含むため，他2分野と比較してより多様な手順を扱う分野であるといえる．wikiHowコーパス\cite{zhang2020reasoning}からwikiHowの記事を，分野ごとに$30$記事収集した．\tabref{tab:article_title_examples}に分野ごとの記事タイトルの例を示す．このとき，低品質な記事を取り除くために，(i)記事全体で$25$単語以上であり，(ii)ユーザからの評価が$50$\%以上である記事のみを収集した．また，タスクが曖昧なものや最終生産物が物体でないものに関しては，人手で除外した．ここでは先行研究\cite{zhang2020reasoning,zhou2022show}に従い，段落の見出しを手順として利用し，フローグラフアノテーションを行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[b]\input{07table03.tex}%\caption{分野ごとの記事タイトルの例．}\label{tab:article_title_examples}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{アノテーション手順}\label{subsec:annotation_procedure}wikiHow記事のアノテーションはアノテータに依頼して行った．アノテータのトレーニングとして，まずEnglishr-FGコーパスからランダムに収集した$10$レシピを用いて，コーパス中のアノテーションとの一致率が$80$\%を超えるようにアノテーションの指示を行った．その後，wikiHow記事を用いてより細かいアノテーション仕様を説明し，その後$120$記事のアノテーションを行った．アノテーションには，フローグラフアノテーションツールを用いた\cite{shirai2022visual}．また，アノテーションの前に，Stanza\cite{qi2020stanza}を用いて手順を単語列に分割した．アノテーションには計$40$時間を要した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{統計量}\label{subsec:stats}まず，\tabref{tab:stats}に\revise{w-FG}コーパスの統計量を示す．各記事は平均$7.1$手順から成り，各手順は平均$10.5$単語から構成されていることがわかる．また，記事ごとに平均$30.6$個の固有表現タグと依存関係ラベルがアノテーションされていることがわかる．ここで，\textsl{HomeandGarden}と\textsl{Cars\&OtherVehicles}は他2分野に比べ記事中の単語数が少なく，それに伴いアノテーションされたタグ数とラベル数も少なくなっている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[b]\input{07table04.tex}%\caption{\revise{w-FG}コーパスの統計量．}\label{tab:stats}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%次に，\tabref{tab:detailed_tag_stats}にタグごとのアノテーション数を示す．これより，\textsf{Ae}，\textsf{I}，\textsf{T}は分野を通して出現頻度が高いことがわかる．\textsf{At}は今回のアノテーションでは現れなかったが，これはEnglishr-FGコーパスにおいても$15$件と出現頻度が非常に低い．Englishr-FGと同様に調理を扱う\textsl{FoodandEntertaining}が計$30$記事のみであり，r-FGコーパス（$300$記事）の10分の1の規模であることを考慮すると，これは妥当な数値であるといえる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[t]\input{07table05.tex}%\caption{固有表現タグごとのアノテーション数．}\label{tab:detailed_tag_stats}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%各分野における\textsf{Ae}，\textsf{I}，\textsf{T}がアノテーションされた上位$10$件の表現の頻度分布を\figref{fig:most_frequent_entities}に示す．\revise{これより，\textsf{Ae}に関しては，\textsf{FoodandEntertaining}と\textsf{HobbiesandCrafts}の両分野では``add''や``cut''が，\textsf{HomeandGarden}と\textsf{Cars\&OtherVehicles}では``remove''や``use''が多用されていることがわかる．また，\textsf{I}においては，全分野で代名詞``it''の頻度が高いこともわかる．さらに，\textsf{I}や\textsf{T}の高頻度の表現には，各分野で材料や道具として用いられやすい物体の特色が現れているといえる．}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3\begin{figure}[t]\begin{center}\includegraphics{31-2ia7f3.pdf}\end{center}\caption{\textsf{Ae}，\textsf{I}，\textsf{T}における上位$10$件の表現とその頻度．}\label{fig:most_frequent_entities}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\tabref{tab:detailed_label_stats}にラベルごとのアノテーション数を示す．\textsf{Targ}，\textsf{Dest}，\textsf{I-eq}，\textsf{other-mod}は全分野を通して高頻度であることがわかる．また，\textsl{HomeandGarden}と\textsl{Cars\&OtherVehicles}では\textsf{T-comp}の頻度が高く，これらの分野では特に道具を用いた動作が多いことがわかる．また，\textsl{HobbiesandCrafts}では\textsf{I-part-of}の頻度が他3分野と比較して高いが，これはこの分野において，材料の一部分に対する動作が多いことを示唆している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{アノテーション一致率}アノテーションの質を評価するため，別のアノテータに依頼し，分野ごとに$3$記事を再アノテーションした後，それらの一致率をF値で計算した．\tabref{tab:annotator_agreements}にその結果を示す．ノードのアノテーションに関しては，$89.68$\%という非常に高い一致率が得られた．これは手順に関わる表現とタグの検出は，比較的容易であることを表している．また，エッジのアノテーションに関しては，$68.79$\%という一致率が得られた．これは，ノードアノテーション時のミスが影響することを考慮すれば，十分高い一致率であるといえる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[t]\input{07table06.tex}%\caption{依存関係ラベルごとのアノテーション数．}\label{tab:detailed_label_stats}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table7\begin{table}[t]\input{07table07.tex}%\caption{アノテータ間のアノテーション一致率．}\label{tab:annotator_agreements}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{ノード予測}
label{sec:node_prediction}フローグラフ予測においては，手順に関する表現をタグ付きで検出するノード予測を最初に行う．ここでは，先行研究と同様に固有表現認識器をノード予測モデルとして用いる．以降では，実験設定について説明した後，実験結果について述べる．最後に，タグレベルでの予測性能について議論する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験設定}\label{subsec:node_exp_setting}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{モデル．}固有表現認識器としてBiLSTM-CRFを採用した\cite{lample2016neural}．\pagebreakエンコーダとしては，BiLSTMではなく事前学習済みのDeBERTa\cite{he2021deberta}を用いた\footnote{予備実験では，BERTではなくDeBERTaを用いることで，Englishr-FGコーパスにおいて0.47\%精度が向上することを確認した．}．このモデルのパラメータ数は合計1.40億個であった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{学習．}分野適応を行うモデルについては，まずEnglishr-FGコーパスで事前学習を行い，その後\revise{w-FG}コーパスの対象分野のデータでファインチューニングを行った．分野適応を行わないモデルについては，Englishr-FGコーパスあるいは\revise{w-FG}コーパスの一方のみを用いて学習を行った．学習時には事前学習済みのエンコーダを含む全てのパラメータを調節した．パラメータの最適化にはAdamW\cite{loshchilov2019decoupled}を用いた．初期学習率は$5.0\times10^{-5}$，weightdecayは$1.0\times10^{-5}$に設定した．学習率の調節にはwarmupは$S_{\text{w}}$ステップ，cosine-annealing\cite{loshchilov2019decoupled}を$S_{\text{d}}$ステップ行った．ミニバッチは$B$記事から構築した．\revise{ハイパーパラメータの選択に関して，ミニバッチサイズ$B$は\{3,5\}から，warmupとcosine-annealingのステップ数の組み合わせ($S_{\text{w}},S_{\text{d}}$)は\{(100,900),(500,4500),(1000,9000)\}から，開発データを用いて最適なパラメータを選択した．その結果，}Englishr-FGコーパス上での学習では$(B,S_{\text{w}},S_{\text{d}})=(5,500,4500)$，\revise{w-FG}コーパス上での学習では$(B,S_{\text{w}},S_{\text{d}})=(3,100,900)$とした．データ拡張は分野適応モデルのファインチューニング時にのみ行い，手順の入れ替えに関しては$1$記事あたり$5$記事を，単語の置換に関しては$1$記事あたり$10$記事を，$p=0.5$として行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{評価．}Englishr-FGコーパスは全体で$300$記事あり，そのうちの$80$\%を学習データとして，$10$\%を開発データとして，残りの$10$\%をテストデータとして用いた．%%%%ここで，テストデータは\secref{subsec:comparison_prev}で述べる追加実験の評価時に用いた．ここで，テストデータは付録Aで述べる追加実験の評価時に用いた．\revise{w-FG}コーパスは分野ごとに$30$記事あり，それらを$6$分割したときの$1$分割を学習データとして，別の$1$分割を開発データとして，残りの$4$分割をテストデータとして用いた．より信頼性の高い結果を得るために，本論文ではテストデータの分割を変えながら$6$分割交差検証を行った．先行研究\cite{maeta2015framework,yamakata2020english}に従い，評価指標には精度，再現率，F値を用いた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{モデル設定．}分野適応を行うモデルを\textbf{domain-adaptation}，Englishr-FGコーパスのみで学習したモデルを\textbf{cooking-only}，\revise{w-FG}コーパスのみで学習したモデルを\textbf{target-only}とそれぞれ参照する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験結果}\label{subsec:ner_results}\tabref{tab:ner_results}に実験結果を示す．\textbf{target-only}モデルのスコアから，少量の学習データを用いて$66.9$\%以上のF値でノード予測を行えることがわかる．また，\textbf{cooking-only}モデルのスコアから，調理分野のデータを用いた場合にも\textbf{target-only}と競合するスコアを実現可能であることがわかる．\textsl{FoodandEntertaining}では，\textbf{cooking-only}モデルが\textbf{target-only}をF値で$10.3$\%上回っているが，これはこの分野の手順書が調理レシピを主に扱っているためである．次に，\textbf{domain-adaptation}モデルのスコアから，全ての分野において分野適応を行った場合に，最高のスコアを実現することがわかる．特に\textsl{FoodandEntertaining}以外の3分野においては，\textbf{target-only}から\textbf{domain-adaptation}でF値において$9.6$\%以上の向上を実現しており，Englishr-FGコーパスでの事前学習が効果的であることを示唆している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table8\begin{table}[b]\input{07table08.tex}%\caption{ノード予測の実験結果．表中のチェックマーク($\checkmark$)は用いたデータ拡張手法を指す．}\label{tab:ner_results}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%データ拡張を行った場合の結果に関しては，手順の入れ替えを行う場合には\textsl{FoodandEntertaining}と\textsl{HomeandGarden}の2分野においてそれぞれ$0.4$\%,$0.3$\%の微量の改善が確認出来たのみであった．また，単語の置換を行った場合には，全ての分野で性能向上が得られなかった．これらの結果は，ノード予測において，これらのデータ拡張の効果が薄いことを表している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{タグごとの予測性能}各固有表現タグに対応する表現は分野間で大きく異なる．このため，\textbf{domain-adaptation}モデルを考えたとき，Englishr-FGコーパスと\revise{w-FG}コーパスの対象分野のデータとの表現の重複率が低いほど，ファインチューニング時に分野依存の表現を多く学習するため，\textbf{cooking-only}モデルからの性能改善の幅が大きくなると予想される．これを調査するため，コーパス間におけるタグごとに表現の重複率を計算し，\textbf{cooking-only}モデルと\textbf{domain-adaptation}モデルのタグごとの予測性能をF値で評価した．ここでは，タグの中でも特に出現頻度の高い\textsf{Ae},\textsf{C},\textsf{T}を対象とした．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table9\begin{table}[b]\input{07table09.tex}%\hangcaption{\textsf{Ae}，\textsf{I}，\textsf{T}のタグごとの予測性能とEnglishr-FGコーパス中の表現との重複率．Cook.，Adapt.はそれぞれ\textbf{cooking-only}，\textbf{domain-adaptation}を指す．}\label{tab:ner_tag_results}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\tabref{tab:ner_tag_results}に結果を示す．\textsf{Ae}では予想とは異なり，コーパス間の重複率に関わらず\textbf{cooking-only}から\textbf{domain-adaptation}への性能改善の度合いは小さいことが確認出来る．これは，学習データの分野に依らず，人の動作表現は高い精度で検出可能であることを意味している．\textsf{C}と\textsf{T}においては，\textsl{FoodandEntertaining}を除く全ての分野で，分野適応による大幅の性能改善が確認できる．これらの分野における重複率は\textsl{FoodandEntertaining}よりも低く，これは\textsf{C}と\textsf{T}に対応するノードの予測性能に関しては，当初の予想通りファインチューニングによる影響が大きいことを示している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{エッジ予測}
label{sec:edge_prediction}ノード予測後は，ノード間の依存関係をラベル付きで予測するエッジ予測を行う．ここでは，先行研究と同様に依存構造解析器をエッジ予測モデルとして用いる．先行研究\cite{yamakata2020english}に従い，手順書の最後に登場した動作表現(\textsf{Ae})をルートノードとする．以降では，実験設定，ノードが既知である場合の実験結果，\secref{subsec:ner_results}で予測したノードを与えた場合の実験結果について順に述べる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験設定}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{モデル．}依存構造解析器として，Biaffinedependencyparser\cite{dozat2018simpler}を採用した\footnote{先行研究\cite{yamakata2020english}では線形モデルを用いて実装されているが，biaffinedependencyparserを用いることでEnglishr-FGコーパスにおいてより高い性能を実現出来ることを確認した．この予備実験の結果については付録Aで示す．}．このモデルはエッジとラベルの予測に異なるモジュールを用いており，最終的な誤差はそれぞれのモジュールの誤差の重み付け和として以下のように与えられる．\begin{equation}l=\lambdal^{\text{Edge}}+(1-\lambda)l^{\text{Label}},\end{equation}ここで，$\lambda$は各誤差の強さを制御し，ここでは$0.5$に設定した．また，言語エンコーダとしては事前学習済みのDeBERTa\cite{he2021deberta}を用いた\footnote{言語エンコーダとしてその他の言語モデルを用いた場合の比較については，付録Aで説明する．}．このモデルのパラメータ数は合計$1.49$億個であった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{学習．}\secref{subsec:node_exp_setting}と同様に，Englishr-FGコーパスと\revise{w-FG}コーパスを用いて分野適応を行うモデル，いずれかのコーパスのみを用いて学習するモデルをそれぞれ学習した．パラメータの最適化にも同様にAdamW\cite{loshchilov2019decoupled}を用い，学習率の調節はwarmupとcosine-annealingを用いて行った．これらのハイパーパラメータについては，\revise{\secref{subsec:node_exp_setting}と同様に開発データ上で調節し，Englishr-FGコーパス上での学習では$(B,S_{\text{w}},S_{\text{d}})=(5,500,4500)$，\revise{w-FG}コーパス上での学習では$(B,S_{\text{w}},S_{\text{d}})=(3,100,900)$とした．}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{評価．}Englsih-FGコーパス，\revise{w-FG}コーパス共に\secref{subsec:node_exp_setting}と同様の分割を用い，$6$分割の交差検証を行った．評価指標には，ラベル付きエッジ$(u,v,l)$を基に，精度，再現率，F値を計算した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{モデル設定．}\secref{sec:node_prediction}と同様に，\textbf{cooking-only}，\textbf{target-only}，\textbf{domain-adaptation}で各モデルを参照する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table10\begin{table}[b]\input{07table10.tex}%\caption{エッジ予測の実験結果．表中のチェックマーク($\checkmark$)は用いたデータ拡張手法を表す．}\label{tab:parsing_results}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験結果}\label{subsec:edge_results}正解のノードが既知であり，エッジのみを予測した結果を\tabref{tab:parsing_results}に示す．ノード予測の実験とは異なり，\textbf{target-only}モデルのスコアは全分野において$33.8$\%以下と低いことが確認できる．一方で，\textbf{cooking-only}モデルのスコアは全分野で$58.7$\%以上であり，各分野の\textbf{cooking-only}モデルのスコアを倍以上上回っている．これらの結果はエッジ予測モデルの学習にはノード予測モデル以上に多くのデータが必要であり，結果として学習サンプル数の多い\textbf{cooking-only}モデルの方が高い性能を示したと考えられる．次に，\textbf{domain-adaptation}モデルは全ての分野で\textbf{target-only}と\textbf{cooking-only}を上回り，最高のスコアを実現している．これは，Englishr-FGコーパスからの分野適応がノード予測と同様に効果的であることを示している．また，データ拡張を行った際には，手順の入れ替えは効果が無い一方で，単語の置換は\textsl{FoodandEntertaining}以外の3分野で最大$0.15$\%の改善が得られている．\revise{しかし，Bootstrapresampling\cite{koehn2004statistical}に基づく有意差検定を行ったところ，有意差は認められなかったため，このデータ拡張手法の有効性に関しては引き続き調査する必要がある．}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{パイプラインモデルの予測性能}ここまではノードが既知である設定で，エッジ予測のみを行った．しかし，実際にフローグラフを予測する際には，予測したノードを基にエッジを予測する必要がある．この場合，ノード予測時の誤りが影響を与えるため，エッジの予測性能は\secref{subsec:edge_results}の時より低下すると考えられる．このときの予測性能を調べるために，ここでは\tabref{tab:ner_results}の予測結果を基にエッジ予測を行う．評価は，$(u,v,l)$にノード$u$，$v$の固有表現タグ$n_u$，$n_v$を加えた$(u,v,l,n_u,n_v)$の一致率をF値で計算することで行った．\tabref{tab:parsing_pipeline_results}に結果を示す．これらのスコアは，この設定下において，ラベル付きエッジを$44.9$\%から$67.9$\%のF値で予測可能であることを示している．また，\tabref{tab:parsing_results}からの性能低下については，\textsl{FoodandEntertaining}では$9.8$\%であるのに対し，他3分野では平均$24.6$\%の大きな低下が見られた．これには，ノード予測の性能差が影響している可能性が高い．\tabref{tab:ner_results}を見ると，\textbf{domain-adaptation}モデルの\textsl{FoodandEntertaining}でのF値は$89.1$\%であるが，その他3分野では$76.5$\%から$79.9$\%と，$9.2$\%以上の開きがあり，この性能差がこれら3分野における性能低下に繋がっていると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table11\begin{table}[t]\input{07table11.tex}%\caption{パイプラインモデルの実験結果．括弧内の数値は\tabref{tab:parsing_results}の数値との差分を表す．}\label{tab:parsing_pipeline_results}\vspace{1\Cvs}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{\revise{w-FG}の限界}
\revise{w-FG}は調理分野以外の手順書をフローグラフに変換するために，r-FGを拡張して得られた表現である．しかし，\revise{w-FG}のアノテーションで対応可能な手順書には，以下の3つの限界が存在する．\revise{まず，\revise{w-FG}はEnglishr-FG\cite{yamakata2020english}を基にした表現であるため，対象の手順書は英語で記述されている必要がある．\secref{subsec:flow_graph_representation}で述べたとおり，日本語のr-FG\cite{mori2014flow}を英語に拡張する際には，英語特有の表現を扱うために，一部の固有表現タグの追加が行われている．従って，\revise{w-FG}を英語以外の言語に適用する際には，同様に対象の言語特有の表現を扱えるように，タグやラベルの追加が必要となる可能性がある．}\revise{また，\revise{w-FG}のアノテーションは，手順が物理的な物体を対象とする手順書に限られている．これは，\revise{w-FG}がr-FGを基に設計されており，r-FGでは物理的な材料を扱う手順を対象としているためである．例えば，wikiHowにおいては，``howtobepopular''や``howtonotgetanervous''といった抽象的な目標や手順を含む手順書が存在するが，これらに対する\revise{w-FG}のアノテーションは想定していない．}\revise{最後に，\revise{w-FG}のアノテーションでは，対象とする手順書が一つの最終成果物を持つと仮定している．これは，r-FG\cite{mori2014flow,yamakata2020english}の定義に従い，フローグラフを根付き有向非巡回グラフとして表現するためである．手順書によっては，複数の最終成果物が存在しうるが，\revise{w-FG}のアノテーションではこのような手順書は想定していない．}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
r-FGコーパスにはテキストのみのアノテーション\cite{mori2014flow,yamakata2020english}に加え，視覚的なアノテーションを施したものが提案されている\cite{nishimura2020visual,shirai2022visual}．\citeA{nishimura2020visual}は手順ごとに1枚の画像を付与し，それが動作中か動作後かという情報に加え，画像中の食材と道具のバウンディングボックスをアノテーションした．\citeA{shirai2022visual}はレシピに付随する調理動画を用いて，各調理動作の前後に対応するフレームのアノテーションを行った．本論文で提案した\revise{w-FG}コーパスではテキストのみのアノテーションであるが，各手順を視覚的に説明する画像が紐づいており，これを用いてクロスモーダルなアノテーションを行うことが可能である．手順書を手順の依存関係を表すグラフ構造として表現する研究は，r-FGや\revise{w-FG}の他にも存在する．調理分野という枠組みでは，手順書のグラフ表現を教師なし学習によって獲得するアプローチ\cite{kiddon2015mise}や，r-FGと同様に人手アノテーションで構築したコーパスを用いてグラフ予測のためのモデルを学習する研究\cite{pan2020multimodal,papadopoulos2022learning}がある．生化学分野においては，実験の自動化のためにプロトコルをグラフ表現に変換するアプローチが提案されている\cite{kulkarni2018annotated,tamari2021process}．材料科学の分野では，科学文献に含まれる合成プロセスの解析のため，合成手順を有向非巡回グラフとして表現したコーパスが提案されている\cite{mysore2019materials,kuniyoshi2020annotating}．生化学と材料科学分野におけるこれらの手順書は，手順に関わる表現をノード，ノード間の依存関係をエッジとして表現する点においてr-FGや\revise{w-FG}と共通している．wikiHowは多様な手順の知識を含む言語資源として，先行研究で広く用いられている．\citeA{zhou2019learning}や\citeA{zhou2022show}では手順の知識ベースとして，\citeA{zellers2019hellaswag}では常識推論のためのデータセットとして利用している．\citeA{zhang2020reasoning}や\citeA{zhang2020intent}では，wikiHow記事中の見出しを手順として，記事タイトルを目標として捉えることで，手順から目標を推論するタスクを提案している．また，\citeA{lin2022learning}や\citeA{zhou2023procedure}は，作業動画中の手順の理解のためにwikiHowの手順知識を活用している．本研究で提案した\revise{w-FG}は，手順全体の流れをグラフ構造として表現するため，手順単体に加え，それらの依存関係も含めた知識として利用可能である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
本論文では，調理分野に留まらない一般的な手順書の理解の表現として，\revise{wikiHow}フローグラフを提案した．これを基に，wikiHowの記事をフローグラフアノテーションを施した\revise{w-FG}コーパスを新たに構築し，フローグラフ予測の実験を行った．実験では，既存の調理分野のデータを用いて事前学習し，対象分野のデータでファインチューニングを行うことで，片方のデータのみを学習に用いた場合に比べて大幅な性能改善が見込めることを確認した．今後の方向性としては，手順書フローグラフを材料科学\cite{kuniyoshi2020annotating}や生化学\cite{kulkarni2018annotated}の分野の手順書に適用することや，大規模言語モデルを用いて学習なしでフローグラフ表現を予測すること等が挙げられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment本研究はJSPS科研費JP20H04210,JP21H04910の助成を受けたものです.本論文の一部は言語処理学会第29回年次大会\cite{shirai2023open}およびThe8thWorkshoponRepresentationLearningforNLP(RepL4NLP2023)\cite{shirai2023towards}で発表したものです.%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.7}\bibliography{07refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\appendix%%%%
\section{付録}
label{sec:appendix}
\section{Englishr-FGコーパス上でのエッジ予測}
label{subsec:comparison_prev}ここでは，Englishr-FGコーパス上でのエッジ予測の性能について，先行研究\cite{yamakata2020english}との比較を行う．先行研究では\citeA{maeta2015framework}と同様の線形モデルが用いられている．先行研究と実験設定を合わせるため，コーパス全体の80\%を学習データとして，10\%を開発データとして，残りの10\%をテストデータとして，10分割交差検証を行った．また，エンコーダとして事前学習済みのBERT\cite{devlin2019bert}，RoBERTa\cite{liu2019roberta}，DeBERTa\cite{he2021deberta}，Longformer\cite{beltagy2020longformer}，ALBERT\cite{lan2020albert}をそれぞれ用い，実験を行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table12\begin{table}[b]\input{07table12.tex}%\caption{Englishr-FGコーパス上に\revise{おけるエッジ予測について}，言語モデルを変えた場合の実験結果．}\label{tab:parsing_comp_prev_results}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\tabref{tab:parsing_comp_prev_results}に結果を示す．これより，事前学習済みの言語モデルを用いることで，先行研究を上回る性能を実現出来ることがわかる．また，言語モデルによっても性能差があり，今回の実験ではDeBERTaを用いることで，全指標において最もよいスコアが得られることがわかる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{\revise{w-FG}コーパス上でのエッジ予測と各言語モデルの比較}
label{subsec:comparison_lm}\revise{w-FG}コーパスにおけるエッジ予測について，異なる言語モデルを用いた場合の性能を比較する．ここでは，BERT，RoBERTa，Longformer，ALBERT，DeBERTaを用いる．ここでは\textbf{domain-adaptation}モデルの結果を報告する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table13\begin{table}[t]\input{07table13.tex}%\caption{\revise{エッジ}予測において，言語モデルを変えた場合の実験結果．}\label{tab:parsing_comp_lm_results}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\tabref{tab:parsing_comp_lm_results}に結果を示す．これより，BERTやALBERTを用いることで\textsl{HomeandGarden}と\textsl{Cars\&OtherVehicles}において最もよいF値が実現出来ることがわかる．また，その他の分野においては，DeBERTaが最高のスコアを実現することが確認できる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{白井圭佑}{2017年愛媛大学工学部卒業．2020年京都大学大学院情報学研究科修士課程修了．2020年より京都大学大学院情報学研究科博士後期課程在籍中．2024年同大学院博士取得見込み．自然言語処理，マルチメディアに関する研究に従事．言語処理学会会員．}\bioauthor{亀甲博貴}{2018年東京大学大学院工学系研究科博士課程修了．博士（工学）．同年より京都大学学術情報メディアセンター助教．自然言語処理，ゲームAI等に関する研究に従事．言語処理学会，情報処理学会各会員．}\bioauthor{森信介}{1998年京都大学大学院工学研究科電子通信工学専攻博士後期課程修了．同年日本アイ・ビー・エム株式会社入社．2007年より京都大学学術情報メディアセンター准教授．2016年同教授．現在に至る．計算言語学ならびに自然言語処理の研究に従事．博士（工学）．1997年情報処理学会山下記念研究賞受賞．2010年，2013年情報処理学会論文賞受賞．2010年第58回電気科学技術奨励賞．2023年言語処理学会論文賞受賞．言語処理学会，情報処理学会，日本データベース学会各会員．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}