情報処理学会研究報告
IPSJ SIG Technical Report

特許中のフローチャート画像からの説明文の自動生成
難波英嗣 1

久保翔平 1

福田悟志 1

概要：我々は、幅広い分野の一連の手続きに関する知識をテキストから自動抽出し、それらを体系化することを目指している。その試みのひとつとして、本稿では、特許中のフローチャート画像からの説明文の自動生成に取り組む。
説明文生成器の構築は、(1)フローチャート画像からの文字列の抽出、(2)機械学習用データの作成、(3)T5 を用いた説明文生成器の構築、の 3 つの手順から構成される。本研究では、11,188 件のフローチャート画像と説明文の対を用いて、画像からの説明文生成器を構築した。実験の結果、複雑な形状のフローチャートについては課題が残るものの、質の高い説明文が生成できることが確認できた。
キーワード：フローチャート，文書生成，文字認識，特許

Automatic Generation of Explanatory Text from Flowchart Images
in Patents
HIDETSUGU NANBA1 SHOHEI KUBO1SATOSHI FUKUDA1Abstract: Our goal is to automatically extract knowledge about a set of procedures in a wide range of fields fromtext and systematize them. As one of our attempts, this paper addresses the automatic generation of explanatory
text from flowchart images in patents. The construction of an explanatory text generator consists of three steps:(1) extraction of text strings from flowchart images, (2) creation of data for machine learning, and (3) constructionof an explanatory text generator using T5. In this study, we constructed an explanatory text generator fromimages using 11,188 flowchart image-explanatory text pairs. Experimental results confirmed that theexplanatory text generator can generate high-quality explanatory text, although some issues remain for
flowcharts with complex shapes.
Keywords: flowchart, text generation, character recognition, patent

1. はじめに本論文の貢献は以下のとおりである。
l

ある特定の目的を達成するための一連の手続きを記したものを手順テキストと呼ぶ。我々は、幅広い分野の一連の手続きに関する知識をテキストから自動抽出し、それらを体系化することを目指している[1]。その試みのひとつとフローチャート画像とその説明文の11,188対を自動構築した。

l

この対を用いて機械学習により、フローチャート画像から説明文を自動生成するシステムを構築した。

して、本稿では、特許中のフローチャート画像からの説明

2. 関連研究文の自動生成について述べる。

2.1 フローチャートの解析

フローチャート画像の説明文を自動生成する上で、特許近年では、myExperiment や SHIWA など、フローチャーの要約と選択図に着目する。選択図とは、発明の概要を速トを共有するサービスがはじまっており、これに伴い、あやかにかつ的確に把握できる図のことであり、通常は、要るフローチャートと類似するものを検索する技術の需要が約の内容の理解に必要と思われる図を出願人が特許中の図出てきている。Starlinger ら[2]は、あるフローチャートと別表の中から選択する。我々の過去の研究において、特許中のフローチャートがどの程度似ているのかを算出するため、の画像がフローチャートであるか否かを自動判別する分類

2 つのフローチャート間の対応関係を取る様々な手法につ器を構築しており、再現率0.9422、精度0.9625を達成していて検討している。

いる[1]。この分類器を用いて、選択図がフローチャートのフローチャート画像の解析における関連研究プロジェ

ものだけを抽出すれば、フローチャートとその説明文(要クトとして CLEF-IP がある[3]。CLEF(Conference and Labs約)の対を自動的に大量に生成することができる。さらに、of the Evaluation Forum)とは、ヨーロッパを中心に行われてこの対を用いれば、機械学習を用いてフローチャート画像いる情報検索に関するワークショップであり、CLEF-IP はから説明文を自動生成するシステムを構築することができ特許を対象としたタスクのことを指す。このタスクは実験ると考えられる。

レベルだけではなく、現実の課題に即した検索タスクのた1 中央大学
Chuo Universityⓒ2023 Information Processing Society of Japan1

情報処理学会研究報告
IPSJ SIG Technical Report
めのデータセットを提供することで、多言語及びマルチモーダル特許検索タスクの研究の促進を図っている。CLEFIP では図形を認識し、フローチャートの要素となるテキスト、エッジ、ノードを検出しフローチャートの認識を行っている。
フローチャート画像を認識するこの他の研究として、Herrera-Cámara のものがある[4]。この研究では、手書きフローチャート画像を解析し、C 言語のソースとして出力する手法を提案している。Sethi らは、深層学習関連の論文中の図表画像からフローチャートを識別し、さらにフローチャートを解析することで、Keras と Caffe でソースを出力するシステムを構築している[5]。本研究では、フローチャー
ト画像を入力とし、自然言語文としてその説明文を出力する点が異なる。
2.2 図表からのテキストの生成
Chart to Text とは図表から得られる重要な事柄を自然言

図 1：特許に含まれるフローチャートの例（特開 2017-106955）語文として生成するタスクのことである。Zhu ら[6]はこの問題に対し、散布図、折れ線グラフ、横棒グラフ、縦棒グ

半導体装置\n の製造方法\n 半導体層の上にフォトレラフの 4 種類の図に対して、とそれに対応する分析的な記ジストを塗布\n 第 1 波長の紫外線を用いて\n フォト述を生成するシステム AutoChart を構築している。生成さレジストを露光した後に\n フォトレジストを現像すれたテキストと図表を人間と機械による評価を行ったとこることによって、\n 開口部の内側へと迫り出した\n ネ

ろ、生成されたテキストは情報量が多く首尾一貫しており、ガ型レジストパターンを形成\n 第 1 波長より短い第 2対応する図表に関連していることを実証している。Obeid

波長の紫外線を\n ネガ型レジストパターンに照射すら[7]は Chart to Text においてチャートの重要な個所の位置ることによって、\n ネガ型レジストパターンを硬化情報を埋め込むことで要約の質の向上を図っている。

\n(照射工程)\n ネガ型レジストパターンが形成されTan[8]らは科学系の学術論文に含まれる円グラフや棒グた\n 半導体層の上に金属膜を形成\n ネガ型レジスト

ラフ、折れ線グラフ、Kantharaj ら[9]は主に経済や市場、社

パ タ ー ン を 半 導 体 層 か ら 除 去 \n 完 成会問題をテーマにした棒グラフと折れ線グラフをもとに\nP110\nP120\nP130\nP140\nP150

T5 や BART、GPT2 などの生成器を使用し図表から文を生図 2：図 1 の画像の文字認識結果成している。本研究ではグラフではなく、フローチャート画像を入力とし、そこからの説明文の自動生成を目指す。

3. フローチャートからの説明文の自動生成
3.1 説明文生成の手順
説明文生成器の構築は以下の 3 つの手順から構成される。
(手順 1) フローチャート画像からの文字列の抽出(手順 2) 機械学習用データの作成(手順 3) T5 を用いた説明文生成器の構築
各手順について、3.2〜3.4 節でそれぞれ説明する。
3.2 フローチャート画像からの文字列の抽出
Google Cloud Vision (https://cloud.google.com/vision)の文字認識機能を用いてフローチャート内の文字列を抽出する。フローチャートと文字認識結果の例を、図 1 および
図 2 にそれぞれ示す。

3.3 機械学習用データの作成
大量のフローチャート画像からの文字認識結果と説明文の対を用いて、機械学習により説明文生成器を構築する。
その際、文字認識結果と説明文の内容が大きく異なるものは学習用データとして不適切であると考え除外する。具体的には、フローチャート画像の文字認識結果と説明文の類似度を、以下に示すゲシュタルトパターンマッチングで計算し、しきい値以上の対のみを学習に用いる。

𝐷!" (𝑆# , 𝑆$ ) =2𝐾%
(0 ≤ 𝐷!" ≤ 1)
|𝑆# |+|𝑆$ |𝐾! : マッチした文字数
𝑆" , 𝑆# : 比較する 2 つの文字列|𝑆" |+|𝑆# |:比較する文字列の長さの和
ここで、ゲシュタルトパターンマッチングは𝐷$% (𝑆" , 𝑆# ) ≠𝐷$% (𝑆# , 𝑆" )であるため、𝐷$% (𝑆" , 𝑆# )・𝐷$% (𝑆# , 𝑆")を計算した上でしきい値を決定する。なお、計算には Python の difflibライブラリを用いる。また、特許画像がフローチャートでⓒ2023 Information Processing Society of Japan2情報処理学会研究報告
IPSJ SIG Technical Report
表 1：抽出されたフローチャート画像と説明文対の数あるかどうかは、過去の成果[1]を用いて判定する。

入力プロファイル\n14\n10\n15\n131.\n134\n変換儿

3.4 T5 を用いた説明文生成器の構築\n設定部\n入力画像\n色域圧縮種別\n判定部\n作成

手順 2 で得られたデータと言語モデルの一種である T5部\n11\n.\n画像変換部\n133\n取得部\n近似判定部を用いて説明文生成器を構築する。T5 の入出力は、例えば、\n 出 力 77 化 \n 生 成 部 \n132\n135\n-16\n12\n-

図 1 のフローチャート画像に関しては、入力が図 2、出力13\n17\nļ\n出力画像が図 3 となる。

図5：図4の画像の文字認識結果(低類似度)

半導体装置の製造方法は、半導体層の上にフォトレジストを塗布する工程と；第１波長の紫外線を用いてフ第１の色変換プロファイルにおけるチャネル数と、第ォトレジストを露光した後にフォトレジストを現像

２の色変換プロファイルにおけるチャネル数と、が一することによって、開口部の内側へと迫り出したネガ致するか否かを判断する（第１の判断）。第１の色変換型レジストパターンを、形成する工程と；第１波長よプロファイルが規定する色再現特性と、第２の色変換り短い第２波長の紫外線をネガ型レジストパターンプロファイルが規定する色再現特性と、が一致するかに照射することによって、ネガ型レジストパターンを否かを判断する（第２の判断）。第１の判断及び第２の硬化させる照射工程と；照射工程を行った後、ネガ型判断において一致すると判断した場合には、第１の色レジストパターンの開口部から露出する半導体層の変換プロファイル及び第２の色変換プロファイルに上に、ニッケル（Ｎｉ）から主に成る金属膜を形成す

基づく色変換用のテーブルの代わりに、色変換が省略る工程と；ネガ型レジストパターンを半導体層から除可能であることを示す情報を出力する。

去する工程とを備える。

図 6：図 4 の画像に対応する説明文(低類似度)

図 3：図 1 の画像に対応する説明文

特許公開年およびしきい値ごとに抽出されたフローチャー
参考までに、しきい値が低いものの例を図4〜6に示す。

ト画像と説明文数を表1に示す。実際にT5を用いて学習すると、学習に非常に時間がかかることが判明した。そこで、次節で述べる実験では、6年分の公開公報でしきい値0.1以上のものを利用する。

4. 実験
提案手法の有効性を調べるため、実験を行った。
4.1 実験条件【使用データ】

2019、2016、2014、2013、2011、2010 年の特許のうち、選択図にフローチャートが含まれ、かつゲシュタルトパターンマッチングによる類似度が 0.1 以上の特許 11,188 件を実験に用いた。このうち 90％を訓練用データ、残りを検証用データと評価用データとした。
【ハイパーパラメータ】

T5 のハイパーパラメータは以下のとおりである。

図4：フローチャートの例（特開2017-225095）ⓒ2023 Information Processing Society of Japan

3情報処理学会研究報告
IPSJ SIG Technical Report#01#02#03#04 ⽔差推定開始測定治具を取り付ける取付⼯程を実⾏する空間の湿度を測定する湿度測定⼯
程を実⾏する複数のガス供給箇所にて取付⼯程及び湿度測定⼯程を実⾏する複数のガス供給箇所での湿度測定⼯程での測定結果に基づいて、⽔差発⽣箇所を推定する⽔差推定⼯程を実⾏する⽔推定終了
図 8：図 7 の画像の文字認識結果

測定治具を取り付ける取付⼯程と、複数のガス供給箇所にて取付⼯程及び湿度測定⼯程を実⾏する湿度測定⼯程と、複数のガス供給箇所での湿度測定⼯程での測定結果に基づいて、⽔差発⽣箇所を推定する⽔差推定⼯程と、を含む。
【評価方法】

システムの出力と特許要約との類似度を、以下の尺度を用いて評価する。
l

ROUGE-N：最もベーシックな指標で、N-gram 単位での一致度合いをとる手法である。今回は N=1, 2 で評価する。(https://github.com/pltrdy/rouge)lROUGE-L：生成した要約と人出で作成した要約とで一致する最大のシーケンスを評価するものである。

lBERTScore [10]：言語モデル BERT を利用した自動評価指標。事前学習された BERT から得られるベクトル表現を利用して、テキスト間の類似度を計算する。

4.2 実験結果
ROUGE-1、ROUGE-2、ROUGE-L、BERTScore のそれぞれに対し Recall、Precision、F1-score を求めた結果を表2 に⽰す。また、図 7 のフローチャート画像に対する⽂字認識結果、T5 で⽣成された⽂、⼈⼿による特許要約(正解)を図 8〜10 にそれぞれ⽰す。
Precision

ガス供給箇所へ供給されるガスの流量を測定するガ
スメータの⼀次側へ連通接続する連通空間を有すると共に当該連通空間の湿度を測定する湿度測定部を有する⽔差推定治具を取り付ける取付⼯程と、湿度測定部にて連通空間の湿度を測定する湿度測定⼯程と、湿度測定⼯程にて測定される湿度に基づいて、ガス管に⽔差しが発⽣しているか否かを推定する⽔差推定⼯程とを実⾏する。
図 10：図 7 の画像に対する説明文(正解)

4.3 考察図 7 に⽰すようなフローチャート内に分岐がない単純な形状の場合には、良好な解析結果が得られた。⼀⽅で、失敗例には⼤きく 2 つのパターンがあることが確認された。
【失敗パターン 1】

図 11 に⽰すような複雑な形状のフローチャートでは質

表 2：T5 を⽤いた要約器の評価結果

Recall

図 9：図 7 の画像から自動生成された説明文

F1-score

ROUGE-1

0.47

0.72

0.55

ROUGE-20.26

0.460.32

ROUGE-L

0.41

0.64

0.49

BERTScore

0.74

0.770.75の低い説明⽂が⽣成される傾向が⾒られた。なお、図の⾚枠は、説明のために著者が加えたものである。

図 7：説明⽂⽣成の対象画像の例（特開 2019-178957）
図 11：分岐があるフローチャートの例ⓒ2023 Information Processing Society of Japan4情報処理学会研究報告
IPSJ SIG Technical Report

図 11 から⽣成された説明⽂を図 12 に⽰す。

⾃動緊急ブレーキによって交差点内で停⾞した場合、潜伏モードへ移⾏し(s2110)、信頼度情報を取得しs305 で 2 次ブレーキの禁⽌、s310 でハザードランプ(s2110)、変倍率を決定し(s2110)、経過時間の計測をの点滅、s320 でアイドリングストップの禁⽌を実⾏す開始する(s2112)。そして、画像表⽰部が所定時間経過る。s325 で停⾞したと判定した後、s330 で発⾞してもしているか否かを判定し(s2112)、所定時間が経過する安全であると判定すると、s340 で停⽌保持ブレーキをと (s2112 に て yes) 、 潜 伏 報 知 モ ー ド を 終 了 す る解除する。

(s2112)。潜伏報知モードを終了すると(s2112 にてyes)、潜伏報知モードを終了する。
図 12：図 11 の画像から自動生成された説明文

図 14：図 13 に対応する説明⽂の正解例

5. おわりに本研究では、特許から 11,188 件のフローチャート画像

図 12 を⾒ると、全体的に s2110 などのステップ ID が説明とその説明文の対を抽出し、このデータを用いて T5 でフ⽂と対応していないが、これは、今回は、図中の各⽂字列ローチャート画像の説明文を自動生成するシステムを構築の座標を全く考慮していないためである。1 つ⽬の条件分した。実験の結果、複雑な形状のフローチャートについて岐の個所は「所定時間が経過すると(s2112 にて yes)、潜伏は課題が残るものの、質の高い説明文が生成できることが報知モードを終了する。」のように、ステップ ID(s2112)以分かった。今後は、フローチャート内の文字列をそのまま外は正しい⽂が⽣成されている。⼀⽅で、図 11 の⾚枠内は使うのではなく、画像内の各文字列の位置情報を考慮する説明⽂に含まれていない。現在は、Google Cloud Vision のことで、条件分岐を複数含むなど、複雑な形状のフローチ

⽂字認識結果で出⼒された⽂字列をそのまま T5 の⼊⼒とャートに対しても適切な説明文を生成できるよう検討する。

しているが、今後は⽂字列の座標情報を考慮し、適切に並本研究は JSPS 科研費 22K12154 および 20H04210 のび替えるなどの前処理が必要になると考えられる。

謝辞【失敗パターン 2】

助成を受けたものである。

機械翻訳やテキスト要約などのニューラルベースの⽂⽣成で観測される無意味な⽂字列の繰り返しが出⼒された

参考文献
[1]

樊エイブン，福田悟志，難波英嗣，特許中の画像とテ説明⽂にも⾒られた。図 13 の説明⽂の例を⾒てもわかる

キストを用いた手順オントロジーの構築，情報処理学

とおり、1 段落⽬に「停⽌保持ブレーキを解除した状態で会研究報告第 145 回情報基礎とアクセス技術研究会，2022．

⾃動緊急ブレーキを解除する」という⽂字列が繰り返し出現している。正しい説明は図 14 に⽰すとおりである。

[2]

Starlinger, J., Brancotte, B., Cohen-Boulakia, S., and Leser,
S., Similarity Search for Scientific Workflows, Proceedingsof the VLDB Endowment, Vol. 7, No. 12, pp.1143-1154,

⾃動緊急ブレーキ制御装置は、停⽌保持ブレーキを解除する停⽌保持ブレーキ解除部と、停⽌保持ブレーキを解除した状態で⾃動緊急ブレーキを解除する⾃動2014.
[3]2013 Lab Information Retrieval in the Patent Domain,

緊急ブレーキ解除部と、停⽌保持ブレーキを解除した

Information

状態で⾃動緊急ブレーキを解除する⾃動緊急ブレーた場合には、仮想空間のコンテキストに応じた視覚効[4]ンセルするステップとを含む。
図 13：無意味な⽂字列の繰り返しを含む⾃動⽣成された説明⽂の例

Herrera-Cámara J.I., FLOW2CODE - From Hand-drawn
Flowchart to Code Execution, Master Thesis, Texas A&M[5]

果を決定するステップと、視野画像に視覚効果を付与するステップと、視野画像への視覚効果の付与をキャ

Multilinguality,

Heidelberg, 2013.

想視点を特定するステップと、hmd の動きに応じて視野画像を更新するステップと、不整合事象が検出されEvaluation.

Notes in Computer Science, Vol. 8138. Springer, Berlin,

緊急ブレーキを解除する⾃動緊急ブレーキ解除部と、⽅法は、仮想空間データを特定するステップと、仮AccessMultimodality, and Visualization. CLEF 2013. Lecture

キ解除部と、停⽌保持ブレーキを解除した状態で⾃動を備える。

Piroi, F., Lupu, M. and Hanbury, A., Overview of CLEF-IP[6]

University, 2017.
Sethi, A., Sankaran, A., Panwar, N., Khare, S., and Mani,S., DLPaper2Code: Auto-generation of Code from Deep
Learning Research Papers, Proceedings of the 32th AAAI
Conference on Artificial Intelligence, 2018.
Zhu, J., Ran, J., Lee, R.K., Li, Z., and Choo, K.,
AutoChart: A Dataset for Chart-to-Text Generation
Task, Proceedings of the International Conference
onRecentAdvancesin

NaturalLanguage

Processing, pp. 1636-1644, 2021.

ⓒ2023 Information Processing Society of Japan5

情報処理学会研究報告
IPSJ SIG Technical Report[7]

Obeid, J. and Hoque, E., Chart-to-Text: Generating
Natural Language Descriptions for Charts byAdapting the Transformer Model, Proceedings ofthe 13th International Conference on NaturalLanguage Generation, pp. 138-147, 2020.

[8]

Tan, H., Tsai, C., He, Y., and Bansal, M., ScientificChart Summarization: Datasets and Improved Text
Modeling, Proceedings of the AAAI-22 Workshop on
Scientific Document Understanding, 2022.

[9]Kantharaj, K., Leong, R. T., Lin, X., Masry, A.,
Thakkar, M., Hoque, E., and Joty, S., Chart-to-Text:A

Large-Scale

BenchmarkforChart

Summarization, Proceedings of the 60th Annual
Meeting of the Association for Computational
Linguistics, pp. 4005-4023, 2022.
[10] Zhang, T., Kishore, V., Wu, F., Weinberger, K.Q., andArtzi, Y., BERTScore: Evaluating Text Generation
with BERT, arXiv:1904.09675 [cs.CL], 2019.

ⓒ2023 Information Processing Society of Japan

6