言語処理学会 第26回年次大会 発表論文集 (2020年3月)

入れ子構造を考慮した機械加工用語抽出
稲熊 陸1

小島 大2
11

東 孝幸2

豊田工業大学

2

三輪 誠1

古谷克司1

佐々木 裕1

株式会社ジェイテクト

{sd19406, furutani, makoto-miwa, yutaka.sasaki}@toyota-ti.ac.jp
2{hiroshi kojima, takayuki azuma}@jtekt.co.jp

1 はじめに
機械加工分野において技術者は加工条件の決定や工程の見直しの際に現場で得た知見と技術文書から得た知識を元に，加工条件・工程を策定している．この際，考慮するパラメータ条件を網羅することは難しいため，
図1

本研究では，現場で得られる加工条件と技術文書中の入れ子構造の例

機械加工パラメータを対応させた機械加工に関する知識ベースを作成する．要求される知識ベースは機械加工のそれぞれの工程を根ノードとする複数の木構造で構成される．木のそれぞれのノードは各工程における加工条件や加工パラメータなどの機械加工因子で構成

そこで本研究では，機械加工分野における情報抽出に向けて，入れ子構造を考慮した用語抽出を行う．

2 関連研究される．これらの機械化加工因子が，木構造の親子関係と木構造に依存しない関係によって結ばれ，階層的

2.1 機械加工分野における情報抽出機 械 加 工 分 野 に お け る 情 報 抽 出 に 向 け て， 増 田な知識ベースを構成する．木の階層をたどることで兄弟ノードや親ノードにあたる機械加工因子の把握が容易になるとともに，木の関係をたどることで機械加工因子の変化に付随して変化する他の機械加工因子の把握が可能となる．結果として以下のような貢献が考えられる．

ら詛訷詝は形態素解析器詍詥詃詡詢のユーザ辞書機能を用いた用語抽出と詓詵詰詰詯該詴 詖詥詣詴詯該 詍詡詣詨詩詮詥 （詓詖詍）を用いた関係抽出を行った．増田の用語抽出は機械加工用語をユーザ辞書にあらかじめ登録する必要があり，未知の機械加工用語の抽出精度が悪い．

2.2 入れ子構造からの用語抽出• 策定に関わるパラメータの網羅

入れ子構造は用語が用語が内包する構造のことを• 従来の工程の引き継ぎのスムーズ化いう． 図許に入れ子構造をとる機械加工用語の例を示• 新人技術者の加工知識に関する学習の援用

す．「切削加工」という機械加工用語が「切削」と「加• 熟練技術者の高度な気付きの補助工」という機械加工用語が内包している．内包する用

機械加工分野における知識ベースの作成の第一歩として，技術文書から機械加工用語とその関係を抽出する必要がある．技術文書中には加工方法やパラメータ，加工条件などの機械加工ベースを構成する因子を表す様々な機械加工用語が存在している．これらは複雑に語と内包されている用語は主に上位下位の関係や属性関係，主述関係などを持っており，入れ子構造が階層的な情報を持っていると考えることができる． 図許の例だと切削加工は「切削」という工程における「加工」という方法であることが分かる．
用語抽出の研究は入れ子構造を対象としない研究が関係で結ばれたり，用語自体が入れ子構造を形成したりすることが多く全ての機械加工因子と関係を人手で盛んに行われているが，深層学習の進展に伴い，入れタグ付けすることは負荷がかかり難しい．

子構造からの用語抽出が近年，複数提案詛訲訬 訳訬 訵詝されている．この中で，従来の詉詏詂訲に代表されるトークン単― 1293 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図2 提案モデルの概要図

位のタグ付けを行わず，用語の領域全体のスパンを対けて，要素の積和演算を行う畳み込み処理を行う．行

象として分類を行う手法が提案詛訳訬 訵詝されており，用語列X に対する畳み込み処理は以下の式で表される．

レベルの特徴を捉えられることから，高い性能を示し(k)aiている．

訽n−1
X m−1
X(k)

wst x(i+s)(t) 訫 b(k)訨許訩s=0 t=03 提案手法ここでk はフィルタのインデックスを表す． a， xはA，本研究で提案する入れ子構造を考慮した用語抽出モデルの概要を図訲に示す． 入れ子内部の用語と入れ子外部の用語の違いが用語を構成するトークンの数であることに注目し，本提案モデルはトークンの構成数毎に訲値*1 の出力をするモデルとなっている．図における格子状の四角はベクトルを表し，行方向に各トークンのベクトルの次元を，列方向にトークンの並びを表現している．五角形は演算を表現している．長さnという演算は，長さnのトークン列の表現を得る演算であり，以下に詳しく述べる．

3.1

用 い て詳詵詢詷詯該詤単 位 で 分 割 を 行 っ て 得 ら れ た ト ー
ク ン に 対 し て， 同 じ 日 本 語 版詗詩詫詩詰詥詤詩詡で 学 習 済
み の詂詅詒詔 訨詂詩詤詩該詥詣詴詩詯詮詡詬 詅詮詣詯詤詥該 詒詥詰該詥詳詥詮詴詡詴詩詯詮詳

す．カーネルサイズは入力データに対して畳み込む範囲を表す．

3.3

トークン数毎の用語抽出

図における長さnの演算はカーネルサイズnのフィルタによる畳み込み演算を表す． nは用語を構成するトークン数に対応している．前層で得られた中間表現に対してm枚フィルタをそれぞれ作用させ，カーネルサイズ毎のローカルな特徴を持つm個の中間表現を獲得れぞれ作用させる．この全結合によってm個のローカルな特徴同士がお互いに影響し合うことを意図している．全結合の出力はm個のカーネルサイズ毎に対応したトークン数長のシーケンスになる．出力はカーネルサイズの用語を構成するトークンの開始位置に許が立試該詯詭 詔該詡詮詳試詯該詭詥該詳訩詛許詝詛訶詝を用いて埋め込みを行う．

つ．例として「切」「削」「速度」という訳つのトークン畳み込みNN前層で得られた埋め込みに対して，フィルタをか*1 本研究で対象とするコーパスの用語タイプは1種類であるため，2値としている．

フィルタを構成する各要素の重み， bはバイアスを表する．次にm個の中間表現に対して許つの全結合層をそBERT

日本語版詗詩詫詩詰詥詤詩詡で学習済みの詓詥詮詴詥詮詣詥 詰詩詥詣詥詛訶詝を

3.2

X 内に存在する各要素，nとmはカーネルサイズ，wはから「切削」と「速度」と「切削速度」という機械加工用語を抽出することを考える．カーネルサイズ許に対応する出力では「速度」のトークンに対応する位置に許が出力される．これは「速度」という許トークンで用語を― 1294 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図3 システムの抽出した用語の例．表示にはbrat[4]を用いた．

構成することを表している．カーネルサイズ訲に対応すにおける教科書に対して専門家の指導の下でアノテる出力では「切」に対応する位置に許が出力される．こーションを行い，機械加工用語には詜詍詡詣詨詩詮詩詮詧訢のラれは「切」と許トークン後ろの「削」の訲トークンで用ベル付けを行った． 対象の文は合計訲訬訸訸許文で学習用語を構成することを表している．カーネルサイズ訳に対に訲訬訳訰訴文，開発用に訲訸訸文，評価用に訲訸訹文として分割応する出力では「切」の位置に許が出力される．同様にして検証を行った．

考えて「切」「削」「速度」の訳トークンで用語を構成す4.2

実験設定ることを表している．このようにトークン数という観最適化アルゴリズムは学習率訰訮訰訰許の詁詤詡詭を用いた．

点で出力数を増やし，開始位置を予測することで入れ抽出するための用語のフィルタ数は訴とした．これは予子構造内部の用語も抽出が可能となる．

備実験において，対象のデータにおける用語を構成す

3.4

損失るトークン数を計算したところ， 訴トークンまでで全損失は以下の式で表される．

L訽m X
l
X

体の用語の機械加工用語を構成するトークン数が全体の訹訶訥を越えることが分かったためである．

訨yij 詬詯詧訨詞pji 訩訩

訨訲訩

4.3

i=1 j=1

入れ子を考慮した用語抽出実験

図訳に提案モデルが出力した機械加工用語をアノテー

ここでmはモデルの出力数すなわち用意するフィルタションツール詢該詡詴詛訴詝で表示したものを示す．赤色のハ数を表し， lは許文におけるトークン数を表す．各トーイライトが抽出した機械加工用語を表す．せん断強さ

クンに対する予測p詞と正解y との差を交差エントロピーにおけるせん断と強さといった用語が入れ子内部の用で定義する．各フィルタに対応する出力の和をとった語として抽出できている．稲熊のモデルでは抽出できものを損失とする．

なかった入れ子内部の用語も抽出できたことが確認できた．

4 実験

4.4

入れ子構造内部の影響の評価

提案モデルを用いて，入れ子構造を考慮した機械加

ここでは入れ子内部の用語の抽出による入れ子外部工用語の用語抽出実験を行った．また入れ子内部を抽の用語抽出の精度の評価について述べる．具体的には，出することによる入れ子外部の抽出精度の比較実験もラベルを入れ子内部と外部に付けたものと，入れ子外行った．

部のみに付けたものの訲種類の教師データを作成し，入4.1

データセットれ子内部もラベル付けした教師データによる，入れ子今回用いたデータセットは増田が用いた日本語で外部の抽出精度の変化を評価した．

記述された機械加工分野の教科書である．加工技術にコーパス中には部分的に重なった用語がないため，ついて広く教示しており，実際に現場で働く技術者や入れ子外部のみへのラベル付けは次のように行った．

初めて加工技術を学ぶ新人技術者も広く学習を行う

最初に許文中の全ての用語を入れ子によらず，文中におことができる教科書となっている．この機械加工分野

いて何文字目に開始されて何文字目に終了するかという情報とともに保存する．次に保存された用語全てに

表1 用語抽出の実験結果

ついて他の用語の内部のものであれば，入れ子内部と詆値判断し，除去するという処理を行う．除去対象の用語

内部・外部をラベル付け

訰訮訷訹訲許かどうかは文中における開始位置と終了位置が他の用外部のみラベル付け

訰訮訷訸訲訴

語の開始位置と終了位置の範囲の中に入っているかど

学習データ― 1295 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

があることが分かった．これは学習データが増加したことによってモデルがより多くの特徴を獲得したことに起因すると考えられる．また，各トークンの出力毎の評価を表訲に示す． 許トークン， 訲トークン， 訴トークンで構成される用語は内部も外部も学習したことによ

図4 評価方法って抽出精度が向上した．

5 おわりにうかで判断する．
評価は，入れ子外部のみの評価は訲種類の教師データ

機械加工分野における入れ子構造を考慮した用語抽で学習したモデルに対して，外部のみにラベル付けさ出タスクに対して，用語を構成するトークン数に注目れた評価データで行った．この時，入れ子内部も予測し，複数の出力をすることで入れ子内部の用語を抽出するように学習したモデルの入れ子外部のみの評価は，するモデルを提案した．評価において，入れ子構造を許つのトークンに対して許が出力された場合，出力に対考慮することで用語の抽出精度が向上することがわか応するフィルタサイズより小さいフィルタサイズのり，入れ子構造を考慮することが有用であることがわ

出力を評価時のみ訰とすることで行った．図訴に例を示かった．今後は機械加工ベースのための関係抽出を行す．「切」トークンにおいて長さ許， 訲， 訳に対応する出うことを目標に研究を進める．

力で開始位置を表す許が立つとする．この時長さ訳に対して出力があるので「切」トークンから始まる長さ許と参考文献

長さ訲に対応する出力は入れ子内部の用語を示している詛許詝 詄詥詶詬詩詮 詥詴 詡詬訮 詂詅詒詔診 詐該詥設詴該詡詩詮詩詮詧 詯試 詤詥詥詰 詢詩詤詩該詥詣設と考える．長さ訳の出力は「切」，「削」，「温度」として

詴詩詯詮詡詬 詴該詡詮詳試詯該詭詥該詳 試詯該 詬詡詮詧詵詡詧詥 詵詮詤詥該詳詴詡詮詤詩詮詧訮

用語を抽出しているので，この入れ子内部となる「切詉詮 Proceedings of NAACL-HLT訬 詰詰訮 訴許訷許詻訴許訸訶訬削」，「削温度，「切」，「削」，「温度」に対応する出力を訲訰許訹訮

評価時に訰とする．「温度が」に対応する出力について詛訲詝 詍詥詩詺詨詩 詥詴 詡詬訮 詁 詮詥詵該詡詬 詬詡詹詥該詥詤 詭詯詤詥詬 試詯該 詮詥詳詴詥詤であるが，「温度が」の一部である「温度」が「切削詮詡詭詥詤 詥詮詴詩詴詹 該詥詣詯詧詮詩詴詩詯詮訮

温度」に対して入れ子構造を構成することになる．今NAACL-HLT訬 詰詰訮 許訴訴訶詻許訴訵訹訬 訲訰許訸訮詉詮 Proceedings of

回用いた文書のアノテーションの際には，このような

詛訳詝 詓詯詨該詡詢 詥詴 詡詬訮 詄詥詥詰 詥詸詨詡詵詳詴詩詶詥 詭詯詤詥詬 試詯該 詮詥詳詴詥詤

用語の一部のみ入れ子構造を構成するものは作成され詮詡詭詥詤 詥詮詴詩詴詹 該詥詣詯詧詮詩詴詩詯詮訮 詰詰訮 訲訸訴訳詻訲訸訴訹訬 訲訰許訸訮ていないため，「温度が」についての評価も訰として行詛訴詝 詓詴詥詮詥詴詯該詰 詥詴 詡詬訮詢該詡詴診 詡 詷詥詢設詢詡詳詥詤 詴詯詯詬 試詯該う．よって，図訴に示す「切」「削」「温度」の長さ許と詎詌詐設詡詳詳詩詳詴詥詤 詴詥詸詴 詡詮詮詯詴詡詴詩詯詮訮 詉詮 Proceedings of

長さ訲に対応する出力を評価時には全て訰とした．

EACL訬 詰詰訮 許訰訲詻許訰訷訬 訲訰許訲訮

表許にラベル付けの違いによる用語抽出精度の比較を詛訵詝 詚詨詥詮詧 詥詴 詡詬訮 詁 詢詯詵詮詤詡該詹設詡詷詡該詥 詮詥詵該詡詬 詭詯詤詥詬 試詯該示す．外部のみで学習した場合が詆値訰訮訷訸訲訴という結果

詮詥詳詴詥詤 詮詡詭詥詤 詥詮詴詩詴詹 該詥詣詯詧詮詩詴詩詯詮訮 詉詮 Proceedingsに対して，内部も外部も学習した場合は詆値訰訮訷訹訲許を記

of EMNLP-IJCNLP訬 詰詰訮 訳訵訷詻訳訶訶訬 訲訰許訹訮

録した．入れ子内部の予測が入れ子外部の予測に効果詛訶詝 詋詩詫詵詴詡訮詂詅詒詔 詰該詥詴該詡詩詮詥詤 詭詯詤詥詬 詴該詡詩詮詥詤 詯詮詊詡詰詡詮詥詳詥 詗詩詫詩詰詥詤詩詡 詡該詴詩詣詬詥詳訮 https://github.
com/yoheikikuta/bert-japanese訬 訲訰許訹訮

表2 トークン数毎の用語抽出のF値数

内部・外部をラベル付け

外部をラベル付け許訰訮訷訹訰訶訰訮訶訹訳訶訲訰訮訸訲訷訶訰訮訸許訰訵訳訰訮訸訴訰訸訰訮訸訵訰訹訴訰訮訷訹訰訶訰訮訷訵訲訵詛訷詝 増田ら訮 詔該詩詧詧詥該 詷詯該詤と部分文字列を用いた機械加工用語の関係抽出訮 言語処理学会第訲訲回年次大会発表論文集訬 詰詰訮 訵訷訳詻訵訷訶訬 訲訰許訶訮― 1296 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.