(57)【特許請求の範囲】
【請求項１】
グラフ画像を取得するグラフ画像取得部と、
前記グラフ画像取得部により取得された前記グラフ画像をグラフ種別ごとに分類するグラフ分類部と、
前記グラフ画像から、前記グラフ分類部により分類された前記グラフ種別ごとに異なる種類の確率マップを生成する確率マップ生成部と、
前記確率マップ生成部により生成された前記確率マップに基づいて、前記グラフ画像中のコンポーネントを抽出するコンポーネント抽出部と、
前記コンポーネント抽出部により抽出された前記グラフ画像の前記コンポーネントの値を抽出する値抽出部と、
前記値抽出部により抽出された前記コンポーネントの前記値を出力する出力部と
を備えることを特徴とする情報処理装置。
【請求項２】
前記確率マップ生成部は、ニューラルネットワークを用いて、前記グラフ画像の前記確率マップを生成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記ニューラルネットワークは、前記グラフ種別ごとに異なる出力チャネルを備える
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記確率マップ生成部は、前記グラフ種別ごとに、異なるコンポーネントを分離するための異なる複数種類の確率マップを生成する
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記コンポーネント抽出部は、前記グラフ画像中の前記コンポーネントを抽出して、グラフをトレースする
ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記出力部は、前記コンポーネント抽出部によりトレースされた前記グラフに、前記値抽出部により抽出された前記コンポーネントの前記値を付加して出力する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記コンポーネント抽出部は、線グラフのための第１の種類の確率マップを用いて、前記線グラフのグラフ画像の各画素のコストを算出し、コストが最小となる画素上に前記線グラフをトレースする
ことを特徴とする請求項５または６のいずれか１項に記載の情報処理装置。
【請求項８】
前記コンポーネント抽出部は、動的計画法（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）を用いて、前記線グラフの前記グラフ画像の各画素のコストを算出する
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記コンポーネント抽出部は、前記線グラフの線の平滑性を評価する関数に基づいて、前記コストを算出する
ことを特徴とする請求項７または８に記載の情報処理装置。
【請求項１０】
前記コンポーネント抽出部は、前記線グラフの線の色または線種の一貫性を評価する関数に基づいて、前記コストを算出する
ことを特徴とする請求項７から９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記コンポーネント抽出部は、前記第１の種類の確率マップを用いて、各Ｘ座標位置におけるＹ座標軸方向の前記線グラフの存在確率をスタックすることにより、前記線グラフの始点および終点を検出し、検出された前記始点から前記終点まで前記線グラフをトレースする
ことを特徴とする請求項７から１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記コンポーネント抽出部は、線グラフ以外のグラフのための第２の種類の確率マップを用いて、隣接する画素を連結することにより、前記グラフをトレースする
ことを特徴とする請求項５から１１のいずれか１項に記載の情報処理装置。
【請求項１３】
前記コンポーネント抽出部は、ＣＣＡ（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）を用いて、前記グラフのグラフ画像の前記隣接する画素を連結する
ことを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
前記コンポーネント抽出部は、前記第２の種類の確率マップを参照して、抽出された前記コンポーネントを補正する
ことを特徴とする請求項１２または１３に記載の情報処理装置。
【請求項１５】
情報処理装置が実行する情報処理方法であって、
グラフ画像を取得するステップと、
取得された前記グラフ画像をグラフ種別ごとに分類するステップと、
前記グラフ画像から、分類された前記グラフ種別ごとに異なる種類の確率マップを生成するステップと、
生成された前記確率マップに基づいて、前記グラフ画像中のコンポーネントを抽出するステップと、
抽出された前記グラフ画像の前記コンポーネントの値を抽出するステップと、
抽出された前記コンポーネントの前記値を出力するステップと
を含むことを特徴とする情報処理方法。
【請求項１６】
情報処理をコンピュータに実行させるための情報処理プログラムであって、該プログラムは、前記コンピュータに、
グラフ画像を取得するグラフ画像取得処理と、
前記グラフ画像取得処理により取得された前記グラフ画像をグラフ種別ごとに分類するグラフ分類処理と、
前記グラフ画像から、前記グラフ分類処理により分類された前記グラフ種別ごとに異なる種類の確率マップを生成する確率マップ生成処理と、
前記確率マップ生成処理により生成された前記確率マップに基づいて、前記グラフ画像中のコンポーネントを抽出するコンポーネント抽出処理と、
前記コンポーネント抽出処理により抽出された前記グラフ画像の前記コンポーネントの値を抽出する値抽出処理と、
前記値抽出処理により抽出された前記コンポーネントの前記値を出力する出力処理と
を含む処理を実行させるためのものであることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法およびプログラムに関し、特に、グラフの画像を解析するための技術に関する。
【背景技術】
【０００２】
線グラフを含む画像をデジタルデータへ変換する技術が知られている。
例えば、特許文献１は、収集した患者データの線グラフ表示を分析して、個々のピクセルを同定し、基準点に関する個々のピクセルの相対的位置を特定する複数のピクセル表示データ要素を所望のデータフォーマットで発生させてファイルに蓄積する画像表示データの処理システムを開示する。
【０００３】
特許文献２は、紙等に記録された非デジタルの振動波形をスキャナにより読み込み、読み込まれたグラフ画像について、設定ピッチ毎の振幅データを読み取って、振動台により利用可能なデジタルデータに変換する振動データデジタル化装置を開示する。
【０００４】
非特許文献１は、研究論文のＰＤＦファイルから図表を抽出し、抽出された図表から線グラフを分離し、線グラフの軸および凡例を検出することにより、線グラフを解析する技術を開示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００５−５０３８５１号公報
【特許文献２】特開２００２−３２８０６８号公報
【非特許文献１】Ｓｉｅｇｅｌ，Ｎ．，  Ｈｏｒｖｉｔｚ，Ｚ．，  Ｌｅｖｉｎ，Ｒ．，  Ｄｉｖｖａｌａ，Ｓ．，  Ｆａｒｈａｄｉ，Ａ．“ＦｉｇｕｒｅＳｅｅｒ：Ｐａｒｓｉｎｇ  Ｒｅｓｕｌｔ−Ｆｉｇｕｒｅｓ  ｉｎ  Ｒｅｓｅａｒｃｈ  Ｐａｐｅｒｓ”  ＥＣＣＶ  （２０１６）  ｐｐ．６６４−６８０
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、グラフには、線グラフ、棒グラフ、円グラフ（パイチャート）等多様な種類があるところ、上記の先行技術文献の技術は、解析対象を専ら線グラフのみに限定するものであり、他の種別のグラフを解析することができないため、汎用性に乏しい。
【０００７】
また、特許文献１ないし特許文献２の技術では、線グラフをトレースする際に、ユーザが、グラフの色や輝度振幅を特定したり、あるいは、Ｘ軸、Ｙ軸、およびスケールを設定しなければならず、多数のグラフ画像を解析しようとする場合、ユーザに過度な負荷を強いるものであった。
一方、非特許文献１の技術では、線グラフの欄外に位置する凡例を検出し、検出された凡例に記載されたシンボルの線種を検出することにより、線グラフをトレースするものであるため、凡例を含まない線グラフ画像を解析することは想定していない。
【０００８】
本発明は上記課題を解決するためになされたものであり、その目的は、より多様なグラフの画像を解析することが可能な情報処理装置、情報処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明に係る情報処理装置の一態様は、グラフ画像を取得するグラフ画像取得部と、前記グラフ画像取得部により取得された前記グラフ画像をグラフ種別ごとに分類するグラフ分類部と、前記グラフ画像から、前記グラフ分類部により分類された前記グラフ種別ごとに異なる種類の確率マップを生成する確率マップ生成部と、前記確率マップ生成部により生成された前記確率マップに基づいて、前記グラフ画像中のコンポーネントを抽出するコンポーネント抽出部と、前記コンポーネント抽出部により抽出された前記グラフ画像の前記コンポーネントの値を抽出する値抽出部と、前記値抽出部により抽出された前記コンポーネントの前記値を出力する出力部と、を備える。
【００１０】
前記確率マップ生成部は、ニューラルネットワークを用いて、前記グラフ画像の前記確率マップを生成してよい。
【００１１】
前記ニューラルネットワークは、前記グラフ種別ごとに異なる出力チャネルを備えてよい。
【００１２】
前記確率マップ生成部は、前記グラフ種別ごとに、異なるコンポーネントを分離するための異なる複数種類の確率マップを生成してよい。
【００１３】
前記コンポーネント抽出部は、線グラフのための第１の種類の確率マップを用いて、前記線グラフのグラフ画像の各画素のコストを算出し、コストが最小となる画素上に前記線グラフをトレースしてよい。
【００１４】
前記コンポーネント抽出部は、動的計画法（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）を用いて、前記線グラフの前記グラフ画像の各画素のコストを算出してよい。
【００１５】
前記コンポーネント抽出部は、前記線グラフの線の平滑性を評価する関数に基づいて、前記コストを算出してよい。
【００１６】
前記コンポーネント抽出部は、前記線グラフの線の色または線種の一貫性を評価する関数に基づいて、前記コストを算出してよい。
【００１７】
前記コンポーネント抽出部は、前記第１の種類の確率マップを用いて、各Ｘ座標位置におけるＹ座標軸方向の前記線グラフの存在確率をスタックすることにより、前記線グラフの始点および終点を検出し、検出された前記始点から前記終点まで前記線グラフをトレースしてよい。
【００１８】
前記コンポーネント抽出部は、線グラフ以外のグラフのための第２の種類の確率マップを用いて、隣接する画素を連結することにより、前記グラフをトレースしてよい。
【００１９】
前記コンポーネント抽出部は、ＣＣＡ（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）を用いて、前記グラフのグラフ画像の前記隣接する画素を連結してよい。
【００２０】
前記コンポーネント抽出部は、前記第２の種類の確率マップを参照して、抽出された前記コンポーネントを補正してよい。
【００２１】
本発明に係る情報処理方法の一態様は、情報処理装置が実行する情報処理方法であって、グラフ画像を取得するステップと、取得された前記グラフ画像をグラフ種別ごとに分類するステップと、前記グラフ画像から、分類された前記グラフ種別ごとに異なる種類の確率マップを生成するステップと、生成された前記確率マップに基づいて、前記グラフ画像中のコンポーネントを抽出するステップと、抽出された前記グラフ画像の前記コンポーネントの値を抽出するステップと、抽出された前記コンポーネントの前記値を出力するステップとを含む。
【００２２】
本発明に係る情報処理プログラムの一態様は、情報処理をコンピュータに実行させるための情報処理プログラムであって、該プログラムは、前記コンピュータに、グラフ画像を取得するグラフ画像取得処理と、前記グラフ画像取得処理により取得された前記グラフ画像をグラフ種別ごとに分類するグラフ分類処理と、前記グラフ画像から、前記グラフ分類処理により分類された前記グラフ種別ごとに異なる種類の確率マップを生成する確率マップ生成処理と、前記確率マップ生成部により生成された前記確率マップに基づいて、前記グラフ画像中のコンポーネントを抽出するコンポーネント抽出処理と、前記コンポーネント抽出部により抽出された前記グラフ画像の前記コンポーネントの値を抽出する値抽出処理と、前記値抽出部により抽出された前記コンポーネントの前記値を出力する出力処理とを含む処理を実行させるためのものである。
【発明の効果】
【００２３】
本発明によれば、より多様なグラフの画像を解析することができる。
上記した本発明の目的、態様及び効果並びに上記されなかった本発明の目的、態様及び効果は、当業者であれば添付図面及び請求の範囲の記載を参照することにより下記の発明を実施するための形態から理解できるであろう。
【図面の簡単な説明】
【００２４】
【図１】図１は、本発明の各実施形態に係るグラフ画像解析装置の機能構成の一例を示すブロック図である。
【図２】図２は、各実施形態に係るグラフ画像解析装置が実行するグラフ画像解析処理の概要を説明する概念図である。
【図３】図３は、各実施形態に係るグラフ画像解析装置が実行するグラフ画像解析処理の処理手順の一例を示すフローチャートである。
【図４】図４は、グラフ画像解析装置の確率マップ生成部が棒グラフについて出力するニューラルネットワークの出力チャネルの一例を示す図である。
【図５】図５は、グラフ画像解析装置の確率マップ生成部が円グラフについて出力するニューラルネットワークの出力チャネルの一例を示す図である。
【図６】図６は、グラフ画像解析装置の確率マップ生成部が線グラフについて出力するニューラルネットワークの出力チャネルの一例を示す図である。
【図７】図７は、グラフ画像解析装置のコンポーネント抽出部が棒グラフおよび円グラフについて実行する図３のＳ４のコンポーネント抽出処理の詳細処理手順の一例を示すフローチャートである。
【図８】図８は、グラフ画像解析装置のコンポーネント抽出部が棒グラフの確率マップを使用して棒グラフ画像から棒グラフのコンポーネントを抽出する一例を説明する図である。
【図９】図９は、グラフ画像解析装置のコンポーネント抽出部が線グラフについて実行する図３のＳ４のコンポーネント抽出処理の詳細処理手順の一例を示すフローチャートである。
【図１０】図１０は、グラフ画像解析装置のコンポーネント抽出部が線グラフの確率マップを使用して線グラフ画像からトレースした線グラフの一例を説明する図である。
【図１１】図１１は、グラフ画像解析装置の値抽出部が線グラフ画像からグラフの値を抽出する一例を説明する図である。
【図１２】図１２は、本発明の各実施形態に係るグラフ画像解析装置のハードウエア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。以下に開示される構成要素のうち、同一機能を有するものには同一の符号を付し、その説明を省略する。なお、以下に開示される実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００２６】
本実施形態に係るグラフ画像解析装置は、入力されるグラフ画像をグラフ種別ごとに分類し、分類されたグラフ種別ごとに異なる確率マップを生成し、生成された確率マップを用いてグラフ画像を自動的に解析する。
以下では、グラフ画像解析装置が、入力されるグラフ画像を、棒グラフ、円グラフ、および線グラフのグラフ種別に分類し、これらグラフ種別ごとに確率マップを生成し、生成された確率マップを用いて、それぞれの種別のグラフ画像を解析する例を説明する。
【００２７】
しかしながら、本実施形態はこれに限定されない。グラフ画像解析装置は、例えば、フローチャート、レイダーチャート、散布図（Ｓｃａｔｔｅｒ  Ｐｌｏｔｓ）、ベン図（Ｖｅｎｎ  Ｄｉａｇｒａｍ）等、他の任意のグラフ画像を分類し、解析してよい。
なお、本実施形態において、グラフ画像とは、画像の全部または一部にグラフ（図表またはチャート、以下、「グラフ」と総称する。）を含む画像をいうものとする。グラフ画像は、任意のフォーマットでグラフ画像解析装置に入力されてよい。
【００２８】
＜グラフ画像解析装置の機能構成＞
図１は、本実施形態に係るグラフ画像解析装置１の機能構成の一例を示すブロック図である。
図１に示すグラフ画像解析装置１は、データ取得部１１、グラフ分類部１２、確率マップ生成部１３、コンポーネント抽出部１４、値抽出部１５、および出力部１６を備える。
【００２９】
データ取得部１１は、入力データセット３から入力データを取得して、取得された入力データをグラフ分類部１２に供給する。データ取得部１１により取得される入力データは、グラフ画像を含み得る。入力データセット３は、不揮発性記憶装置で構成され、グラフ画像解析装置１にローカルに備えられ、またはリモートで接続されてよい。
グラフ画像は、例えば、ビットマップ、ＧＩＦ（Ｇｒａｐｈｉｃｓ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＴＩＦＦ（Ｔａｇ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）等の任意の画像ファイルフォーマットを有してよい。また、画像の一部にグラフを含む場合、当該画像は、例えば、ＰＤＦ（Ｐｏｒｔａｂｌｅ  Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ）や、ウェブページを構成するＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）等の任意のファイルフォーマットを有してよい。
【００３０】
データ取得部１１は、入力データセット３に替えて、入力データを対向装置から通信Ｉ／Ｆを介して受信してもよい。
データ取得部１１はまた、グラフ画像解析装置１においてグラフ画像解析処理を実行するために必要な各種パラメータの入力を受け付けてよい。
【００３１】
グラフ分類部１２は、データ取得部１１から供給される入力データから後段で解析すべきグラフ画像を抽出し、抽出されたグラフ画像を、複数のグラフ種別のいずれかに分類して、分類されたグラフ画像を確率マップ生成部１３へ供給する。グラフ分類部１２は、解析すべきグラフ画像として、例えば、棒グラフ、円グラフ、および線グラフ等を入力データから抽出してよい。
本実施形態において、グラフ分類部１２は、例えば、ニューラルネットワーク等の分類用のネットワークを用いて、入力データからグラフ画像を抽出し、抽出されたグラフ画像を分類してよい。
【００３２】
確率マップ生成部１３は、グラフ分類部１２から供給される分類されたグラフ画像に対して、分類されたグラフ種別ごとに、グラフ画像の確率マップを生成し、生成された確率マップをコンポーネント抽出部１４へ供給する。
本実施形態において、確率マップ生成部１３により生成される確率マップ（Ｐｒｏｂａｂｉｌｉｔｙ  Ｍａｐ）は、グラフ画像の画素ごとに、分類された種別のグラフを構成するコンポーネントが出現する確率を推定し、推定された確率分布で構成されるマップである。
確率マップ生成部１３は、例えば、ニューラルネットワーク等の確率マップ生成用のネットワークを用いて、分類されたグラフ画像から、確率マップを生成してよい。確率マップ生成部１３はまた、分類されたグラフ種別ごとに、異なる種類の確率マップを生成してよく（図２を参照して後述）、分類されたグラフ種別ごとに、異なる複数種類の確率マップを生成してよい（図４〜図６を参照して後述）。
【００３３】
コンポーネント抽出部１４は、確率マップ生成部１３から供給される確率マップを用いて、グラフ画像から、グラフを構成するコンポーネント（以下、単に「コンポーネント」という。）を抽出する。
具体的には、コンポーネント抽出部１４は、グラフ分類部１３により分類されたグラフ画像に、当該グラフ画像が分類された種別に対応して確率マップ生成部１３から供給される確率マップを用いて、グラフ画像から、グラフを構成する複数のコンポーネントのそれぞれを分離する。
【００３４】
コンポーネント抽出部１４は、グラフ画像から、グラフを構成する複数のコンポーネントのうち、主要なコンポーネントをそれぞれ分離してよい。確率マップは、分離されるべき複数の主要なコンポーネントのそれぞれに対応して、複数種類が生成されてよい。
コンポーネント抽出部１４は、グラフ画像から分離した複数のコンポーネントのそれぞれについて、グラフをトレースして、分離されたコンポーネントおよびそのグラフを、値抽出部１５へ供給する。
【００３５】
値抽出部１５は、コンポーネント抽出部１４から供給されるグラフ画像の各コンポーネントについて、対応するグラフの値を抽出する。
具体的には、値抽出部１５は、グラフ画像の軸のラベルや各コンポーネントに付与されたラベルを抽出し、抽出されたラベルのテキストおよび幾何学的配置に基づいて、グラフ画像の各コンポーネントに対応するグラフの値を生成する。
【００３６】
グラフ画像に含まれるグラフ自体は、所定の入力データを可視化したものであるが、画像化されたグラフ画像からは、通常、グラフ描画の基となったオリジナルの入力データに直接アクセスすることができない。
本実施形態では、値抽出部１５が、グラフ画像の各コンポーネントに対応するグラフの値を生成することによって、グラフ描画の基となったオリジナルの入力データを回復する。
値抽出部１５は、グラフ画像の各コンポーネントの連続する画素に対応して連続的にグラフの値を生成してよく、あるいは、所定の画素間隔ごとに離散的にグラフの値を生成してもよい。
値抽出部１５は、生成されたグラフの値を、グラフ画像の各コンポーネントに付加して、または対応付けて、出力部１６へ供給する。
【００３７】
出力部１６は、コンポーネント抽出部１４により抽出されたグラフ画像の各コンポーネントをグラフに合成し、デジタルデータとして、出力データセット４に出力する。出力データセット４に出力されたグラフは、グラフ画像解析装置１または他の装置のユーザインタフェースを介して、プッシュ型またはプル型で外部に出力されてよい。
出力部１６が合成するグラフの各コンポーネントには、値抽出部１５により抽出されたグラフの値が付加されている。このため、グラフ画像解析装置１、または他の装置は、グラフ画像解析処理の後処理として、出力データセット４から合成されたグラフのデータを読み出して、任意に加工して出力することができる。
たとえば、出力部１６または後処理は、グラフ分類部１２により分類されたグラフ種別とは異なるグラフ種別に変更して、グラフを出力してよく、また、スケール、グラフ化の範囲、グラフコンポーネントの色や線種等を変更して、グラフを出力してもよい。
なお、出力部１６は、値抽出部１５により生成されたグラフの値を、グラフ画像の各コンポーネントに付加することなく、独立して出力してよい。あるいは、出力部１６は、これらグラフの値を、例えば表形式等の任意の形式に整形して出力してよい。
【００３８】
なお、グラフ画像解析装置１は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等で構成されるクライアント装置と通信可能に接続し、当該クライアント装置は、グラフ画像解析装置１が外部と情報の入出力を実行する際のユーザインタフェースを提供してよく、また、グラフ画像解析装置１の各コンポーネント１１〜１６の一部または全部を備えてもよい。
【００３９】
図２は、本実施形態に係るグラフ画像解析装置１が実行するグラフ画像解析処理の概要を説明する概念図である。
本実施形態において、グラフ画像解析装置１は、第１段階として、入力データから、解析されるべきグラフ画像を抽出し、抽出されたグラフ画像を複数のグラフ種別のうちのいずれかに分類する。
図２を参照して、入力データ２１は、ニューラルネットワーク等で構成される分類用のネットワーク２２に入力され、分類用のネットワーク２２は、いずれかのグラフ種別に分類されたグラフ画像を含む分類結果２３を出力する。分類用のネットワーク２２が出力する分類結果２３は、線グラフ（Ｌｉｎｅ）、円グラフ（Ｐｉｅ）、横棒グラフ（Ｈ−Ｂａｒ）、縦棒グラフ（Ｖ−Ｂａｒ）の各グラフ画像を含む。分類用のネットワーク２２は、各種のグラフ画像のデータとグラフ種別のラベルとを学習データとして、予め学習させておく。
これらの分類された各グラフ画像は、後段の確率マップ生成用のネットワーク２４に入力される。一方、分類用のネットワーク２２は、解析されるべきグラフ画像以外の種別のグラフ画像（例えば、マップのグラフ等）、および写真等も、分類結果として出力するが、これらの分類結果は後段の確率マップ生成用のネットワーク２４に入力されない。
【００４０】
本実施形態において、グラフ画像解析装置１は、第２段階として、分類されたグラフ種別ごとに異なる種類の確率マップを生成し、生成された確率マップを用いて、グラフ画像からグラフ画像のコンポーネントを分離し、分離されたグラフ画像のコンポーネントでグラフをトレースするとともに、トレースされたグラフのコンポーネントに対応するグラフの値を抽出する。
【００４１】
図２を参照して、分類結果２３、すなわち分類済みのグラフ画像のデータは、ニューラルネットワーク等で構成される確率マップ生成用ネットワーク２４に入力され、確率マップ生成用のネットワーク２４は、分類されたグラフ種別ごとに、確率マップ２５ａ〜２５ｄを出力する。
図２では、確率マップ生成用のネットワーク２４が出力する確率マップは、線グラフの確率マップ２５ａ、円グラフの確率マップ２５ｂ、横棒グラフの確率マップ２５ｃ、および縦棒グラフの確率マップ２５ｄを含む。確率マップの構成の詳細については、図４〜図６を参照して後述する。
確率マップ生成用のネットワーク２４は、分類済みのグラフ種別が付加されたグラフ画像のデータと、色、ボーダーライン、セグメンテーション、凡例、線種等のグラフ種別に応じたラベルとを学習データとして、予め学習させておく。
なお、分類用のネットワーク２２および確率マップ生成用のネットワーク２４は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）等のニューラルネットワークであってもよく、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）等の他の機械学習モデルを用いてもよい。
【００４２】
図２の確率マップ２５ａ〜２５ｄでは、グラフ画像の主要なコンポーネントが出現する尤度が所定の閾値以上である画素が白抜きで表示されている。線グラフの確率マップ２５ａは、各線グラフのコンポーネントを分離する。円グラフの確率マップ２５ｂは、円グラフの各パイスライスのコンポーネントを分離する。横棒グラフの確率マップ２５ｃおよび縦棒グラフの確率マップ２５ｄは、それぞれ、各バーセグメントのコンポーネントを分離する。
【００４３】
本実施形態では、これらのグラフ種別ごとに異なる種類の確率マップ２５ａ〜２５ｄを用いて、グラフ画像から各コンポーネントを分離して抽出する。図２を参照して、線グラフのグラフ画像に対して、線グラフの確率マップ２５ａを用いて、各線グラフのコンポーネント２６ａが抽出されて、トレースされている。円グラフのグラフ画像に対して、円グラフの確率マップ２５ｂを用いて、各パイスライスのコンポーネント２６ｂが抽出されて、トレースされている。横棒グラフおよび縦棒グラフのグラフ画像に対して、横棒グラフの確率マップ２５ｃおよび縦棒グラフの確率マップ２５ｄをそれぞれ用いて、各バーセグメントのコンポーネント２６ｃ、２６ｄがそれぞれ抽出されて、トレースされている。
【００４４】
グラフ画像から抽出された各コンポーネント２６ａ〜２６ｄに対して、グラフの値が抽出される。具体的には、線グラフ、円グラフ、横棒グラフ、および縦棒グラフの各グラフ画像の座標軸のラベル、各コンポーネントのラベル、タイトル、凡例等の領域から、グラフ画像２７ａ〜２７ｄ中の矩形領域で示されるように、テキストが検出されて、文字認識される。この文字認識の結果と、グラフ画像上で抽出された各コンポーネントの幾何学的配置に基づいて、グラフの値が生成される。トレースされたグラフの各コンポーネントに生成されたグラフの値が付加されて、デジタル化されたグラフのデータ２８が出力される。
【００４５】
＜グラフ画像解析処理の処理手順＞
図３は、本実施形態に係るグラフ画像解析装置１が実行する、グラフ画像解析処理の処理手順の一例を示すフローチャートである。
なお、図３の各ステップは、グラフ画像解析装置１のＨＤＤ等の記憶装置に記憶されたプログラムをＣＰＵが読み出し、実行することで実現される。また、図３に示すフローチャートの少なくとも一部をハードウエアにより実現してもよい。ハードウエアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）上に自動的に専用回路を生成すればよい。また、ＦＰＧＡと同様にしてＧａｔｅ  Ａｒｒａｙ回路を形成し、ハードウエアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。
【００４６】
Ｓ１で、グラフ画像解析装置１のデータ取得部１１は、入力データセット３から、グラフ画像を含む入力データを取得する。
Ｓ２で、グラフ画像解析装置１のグラフ分類部１２は、分類用のネットワーク２２を用いて、入力データから、解析すべきグラフ画像を抽出し、抽出されたグラフ画像を、解析対象の複数のグラフ種別のいずれかに分類する。
【００４７】
Ｓ３で、グラフ画像解析装置１の確率マップ生成部１３は、確率マップ生成用のネットワーク２４を用いて、分類されたグラフ画像から各コンポーネントを抽出するための確率マップを、グラフ種別ごとに生成する。
確率マップ生成用のネットワーク２４は、解析すべきグラフ種別ごとに異なる学習データで学習済みの学習モデルとして形成されているが、ネットワークの出力チャネルのみ、グラフ種別ごとに異なればよく、出力チャネル以外のネットワークは共通化された構造を有してよい。これにより、確率マップ生成用のネットワーク２４の汎用性が向上する。
【００４８】
図４は、縦棒グラフのグラフ画像から各コンポーネントを抽出する確率マップを生成する、確率マップ生成用のネットワーク２４の出力チャネルの一例を示す図である。
図４（ａ）に示す縦棒グラフのグラフ画像を入力データとした場合、確率マップ生成用のネットワーク２４は、図４（ｂ）に示すバーセグメントを彩色する色（主要色）の出力チャネルと、図４（ｃ）に示す各バーセグメントを区分するセグメンテーションの出力チャネルと、図４（ｄ）に示す各バーセグメントの境界を画定するボーダーラインの出力チャネルと、および図４（ｅ）に示す凡例の出力チャネルとをそれぞれ備える。確率マップ生成部１３は、これら図４（ｂ）〜図４（ｅ）にそれぞれ対応する複数種類の確率マップを生成する。
【００４９】
図５は、円グラフのグラフ画像から各コンポーネントを抽出する確率マップを生成する、確率マップ生成用のネットワーク２４の出力チャネルの一例を示す図である。
図５（ａ）に示す円グラフのグラフ画像を入力データとした場合、確率マップ生成用のネットワーク２４は、図５（ｂ）に示すパイスライスを彩色する色（主要色）の出力チャネルと、図５（ｃ）に示す各パイスライスを区分するセグメンテーションの出力チャネルと、図５（ｄＩに示す各パイスライスの境界を画定するボーダーラインの出力チャネルと、および図５（ｅ）に示す凡例の出力チャネルとをそれぞれ備える。確率マップ生成部１３は、これら図５（ｂ）〜図５（ｅ）にそれぞれ対応する複数種類の確率マップを生成する。
【００５０】
一方、図６は、線グラフのグラフ画像から各コンポーネントを抽出する確率マップを生成する、確率マップ生成用のネットワーク２４の出力チャネルの一例を示す図である。
図６（ａ）に示す線グラフのグラフ画像を入力データとした場合、確率マップ生成用のネットワーク２４は、線種ごとに、図６（ｂ）に示す実線の線グラフの出力チャネルと、図６（ｃ）に示す点線の線グラフの出力チャネルと、図６（ｄ）に示す破線の線グラフの出力チャネルと、図６（ｅ）に示す一点鎖線の線グラフの出力チャネルと、および図６（ｆ）に示す凡例の出力チャネルとをそれぞれ備える。確率マップ生成部１３は、これら図６（ｂ）〜図６（ｆ）にそれぞれ対応する複数種類の確率マップを生成する。
【００５１】
なお、図４〜図６に示す確率マップ生成用のネットワーク２４の出力チャネル（確率マップ）の構成は一例であって、本実施形態はこれに限定されない。例えば、グラフ画像から凡例を抽出するための図４（ｅ）、図５（ｅ）、および図６（ｆ）に示す出力チャネル（確率マップ）は、凡例の領域をマスクして、グラフ画像からグラフが描画されている領域を画定するために使用されてよいが、必ずしも生成されなくてもよい。確率マップ生成部１３は、グラフのコンポーネントのトレースを容易化するよう、グラフ種別に応じて、異なる複数種類の確率マップを生成してよい。
【００５２】
図３に戻り、グラフ画像解析装置１のコンポーネント抽出部１４は、Ｓ３でそれぞれのグラフ種別に対応して生成された確率マップを用いて、グラフ画像からグラフの各コンポーネントを推定し、推定されたグラフコンポーネントをトレースする。
コンポーネント抽出部１４は、グラフ種別ごとに異なる手法で、グラフ画像からグラフの各コンポーネントを推定してよい。これらグラフのコンポーネント抽出処理の詳細は、図７〜図１１を参照して後述する。
【００５３】
本実施形態では、グラフ画像からグラフのコンポーネントを推定する際に、グラフ種別ごとに設けられた確率マップを用いる。グラフ種別ごとに設けられた確率マップを用いることで、グラフ画像上の画素単位で、各コンポーネントが出現する確率を取得することができ、各コンポーネントの領域の推定が容易化される。
このため、例えば、グラフ画像がアーチファクト、ノイズやグラデーションを含む場合、グラフのコンポーネント同士が交差またはオーバーラップする場合や他のコンポーネントと離隔する場合、高圧縮され解像度が低い場合、グラフコンポーネントの境界が明瞭でない場合等であっても、グラフ画像から高精度にグラフの各コンポーネントを推定することができる。
【００５４】
Ｓ５で、グラフ画像解析装置１の値抽出部１５は、Ｓ４で推定されたグラフの各コンポーネントに対応するグラフの値を抽出する。
値抽出部１５は、円グラフのグラフ画像について、Ｓ４で取得されたパイスライスのセグメント（コンポーネント）の面積、およびグラフの軸やコンポーネントにラベル付けされたテキストの文字認識結果に基づいて、円グラフの値を抽出する。
値抽出部１５はまた、棒グラフおよび線グラフのグラフ画像について、棒グラフや線グラフのコンポーネントの画素座標と、グラフの軸やコンポーネントにラベル付けされたテキストの文字認識結果との間の関連を幾何学的配置に基づいて判定することにより、グラフの各コンポーネントの値を抽出する。
【００５５】
より具体的には、値抽出部１５は、まず、グラフ画像全体をＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）により読み取って、テキストを検出し、検出されたテキストのテキストボックスを、縦軸および横軸のいずれかにグルーピングする。テキストボックスはまた、凡例またはタイトルにグルーピングされてもよい。
値抽出部１５は、次に、棒グラフおよび線グラフにつき、テキストとして数字を含むテキストボックスの位置から、縦および横の座標軸のスケールを決定する。
決定された座標軸のスケールを適用して、値抽出部１５は、グラフの各コンポーネントの座標を、グラフの値に変換する。
【００５６】
具体的には、値抽出部１５は、線グラフの各線のコンポーネント上のすべての点の画素座標を、グラフの値に変換する。値抽出部１５はまた、棒グラフの各バーセグメントのコンポーネントの頂点Ｙ座標（縦座標）および右端Ｘ座標（横座標）を、グラフの値に変換する。
一方、円グラフについて、値抽出部１５は、円グラフの各パイスライスのコンポーネントの面積比に基づいて、グラフの値を生成する。
【００５７】
Ｓ６で、グラフ画像解析装置１の出力部１６は、コンポーネント抽出部１４により抽出され、トレースされたグラフのコンポーネントに、値抽出部１５により抽出されたグラフの値および座標軸のスケールの情報等を付加して、グラフのデジタルデータとして、出力データセット４に出力する。
【００５８】
（第１のグラフコンポーネント抽出処理）
図７は、グラフ画像解析装置１のコンポーネント抽出部１４が棒グラフおよび円グラフについて実行する図３のＳ４のコンポーネント抽出（グラフトレース）処理の詳細処理手順の一例を示すフローチャートである。
Ｓ４０１で、コンポーネント抽出部１４は、グラフ画像中の凡例の領域をマスクする。コンポーネント抽出部１４は、図３のＳ３で生成された凡例の確率マップを用いて、グラフ画像から凡例の領域を検出し、検出された凡例の領域を、図３のＳ３で生成されたセグメンテーションの確率マップ上でマスクしてよい。これにより、グラフ画像中で、グラフのコンポーネントが存在する領域と、凡例の領域とを区分することができる。
【００５９】
Ｓ４０２で、コンポーネント抽出部１４は、グラフ画像の各コンポーネントのボーダーラインを画定する。具体的には、コンポーネント抽出部１４は、図３のＳ３で生成されたボーダーラインの確率マップを用いて、ボーダーラインを画定し、グラフ画像のセグメンテーションの確率マップから、ボーラーラインを除去する。
Ｓ４０３で、コンポーネント抽出部１４は、棒グラフおよび円グラフのコンポーネントを抽出するため、ＣＣＡ（Ｃｏｎｎｅｃｔｅｄ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）を適用して、グラフ画像中の隣接する画素を連結する。
ＣＣＡは、ＲＧＢ色空間で同様の色を持つ隣接する画素をグルーピングすることで、画素を連結してコンポーネントを抽出することができる。
【００６０】
Ｓ４０４で、コンポーネント抽出部１４は、Ｓ４０２でボーダーラインが除去されたセグメンテーションの確率マップおよび色の確率マップを用い、Ｓ４０３でＣＣＡを適用して連結された連結コンポーネントを、グラフ画像のグラフのコンポーネントとして抽出し、グラフのコンポーネントをトレースする。
コンポーネント抽出部１４はさらに、画素が連結されて構成される連結コンポーネントのうち、グラフ種別ごとのセグメンテーションの確率マップから推定されるコンポーネントの形状から外れるコンポーネントを破棄してよい。
例えば、棒グラフであれば、矩形形状でない連結コンポーネントは破棄され、円グラフであれば、パイスライス形状でない連結コンポーネントは破棄されてよい。
【００６１】
Ｓ４０５で、コンポーネント抽出部１４は、Ｓ４０４で抽出されたコンポーネントを必要に応じて補正する。
Ｓ４０３およびＳ４０４では、隣接する画素を、互いに同様の色を持つ場合に連結するので、例えば、グラフのコンポーネントが、単色ではなく、色のグラデーションやテクスチャを有する場合や、３Ｄ効果が付与されている場合等に、本来は連結されるべき画素が連結されないおそれがある。
本実施形態では、図３のＳ３で生成された色（主要色）の確率マップやセグメンテーションの確率マップを用いるので、確率マップから推定されるグラフのコンポーネントの色彩や形状に基づいて、Ｓ４０４で抽出されたグラフのコンポーネントを補正することができる。
【００６２】
図８は、グラフ画像解析装置１のコンポーネント抽出部１４が、棒グラフの確率マップを使用して棒グラフ画像から棒グラフのコンポーネントを抽出する一例を説明する図である。
図８を参照して、横棒グラフは、Ｙ座標軸に年を、Ｘ座標軸に石油生産量を表示しており、各年の石油生産量が１つのバーセグメントを構成しており、１つのバーセグメントがさらに、リージョンＡ〜Ｆおよび他のリージョンの各サブセグメントにブレークダウンされている。
コンポーネント抽出部１４が、棒グラフについてのコンポーネント抽出処理を実行することにより、６つのバーセグメントのそれぞれのサブセグメントが、太枠で囲まれていることから理解されるように、コンポーネントとして抽出されている。
【００６３】
例えば、図７のＳ４０１〜Ｓ４０４までの処理を実行した段階で、図８中のある年のバーセグメントの一部が、それぞれのリージョンのサブセグメントに区分されていないものとする。本実施形態では、図７のＳ４０５の補正処理を実行することにより、色の確率マップおよびセグメンテーションの確率マップを用いて、色が相互に類似するため分離するのが困難な複数のコンポーネントをそれぞれ別個に抽出することができる。
【００６４】
（第２のグラフコンポーネント抽出処理）
図９は、グラフ画像解析装置１のコンポーネント抽出部１４が線グラフについて実行する図３のＳ４のコンポーネント抽出（グラフトレース）処理の詳細処理手順の一例を示すフローチャートである。
Ｓ４１１で、グラフ画像解析装置１のコンポーネント抽出部１４は、線グラフの存在範囲を算出する。
【００６５】
具体的には、コンポーネント抽出部１４は、線グラフが存在するＸ座標範囲を取得することにより、線グラフの始点と終点とを検出する。Ｓ４１１では、コンポーネント抽出部１４は、図３のＳ３で生成された複数の線種の確率マップ（図６（ｂ）〜図６（ｅ）では４種類の線種）を各画素位置について平均して、線確率（Ｌｉｎｅ  Ｐｒｏｂａｂｉｌｉｔｙ）マップを予め算出しているものとする。
コンポーネント抽出部１４は、Ｙ座標軸方向に沿って存在確率の和を算出することにより、各Ｘ座標軸におけるスタックされた線の存在確率を算出する。次に、Ｘ座標軸上の線の存在分布を取得するため、コンポーネント抽出部１４は、閾値θｔｈを使用してスタックされた線の存在確率を二値化する。こうして、線グラフの存在範囲は、線の存在分布のクラスタの、Ｘ座標軸上の最小値および最大値として取得される。このように、本実施形態では、凡例の領域を参照して線グラフの存在範囲を画定する必要がなく、線グラフの存在範囲外に凡例を含まない線グラフのグラフ画像であっても、線グラフをトレースすることができる。
【００６６】
Ｓ４１２で、コンポーネント抽出部１４は、線グラフの数をカウントする。
具体的には、コンポーネント抽出部１４は、閾値ｐｔｈを使用して線確率マップを二値化し、二値化された線確率マップを、各Ｘ座標位置で、Ｙ座標軸に沿って走査することにより、Ｘ座標軸上の画素クラスタの数をカウントする。こうして、線グラフの数は、Ｘ座標軸上の画素クラスタの数として取得される。
【００６７】
Ｓ４１３で、コンポーネント抽出部１４は、動的計画法（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ：ＤＰ）を適用して、隣接画素のコストを算出していく。
Ｓ４１４で、コンポーネント抽出部１４は、Ｓ４１３でコストが最小となる画素上に線をトレースする。
【００６８】
隣接する画素をＲＧＢ色空間上の色に基づき連結するＣＣＡは、ドットで線を描画する線グラフには適用が困難である。本実施形態は、動的計画法（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）を用いて、線グラフをトレースする。
動的計画法（ＤＰ）とは、対象となる問題を複数の部分問題に分割し、部分問題の計算結果を記録しながら解いていくアルゴリズムである。
本実施形態では、動的計画法を適用して、線グラフの存在範囲内の各画素のコストを算出していく。途中の計算結果を再利用することで、計算の繰り返しを回避し、計算効率を向上させることができる。
【００６９】
コンポーネント抽出部１４は、Ｓ４１１で算出された線グラフの存在範囲と、Ｓ４１２でカウント線グラフの数を使用して、検出された線グラフの始点から終点までＸ軸に沿って、動的計画法により線グラフをトレースしていく。
具体的には、コンポーネント抽出部１４は、テーブルＷを使用して、トレースされる線上の点（画素）のトータルコストを保持していく。テーブルＷは、座標ｘ＝（ｘ，ｙ）の各値を保持する。
Ｗの値は、以下の式１により算出される。
【００７０】
【数１】
0006968241.tif 000002
（式１）
【００７１】
ここで、ｘは、画素座標をＸ＝（ｉ，ｊ）として表す。ｘｐｒｅｖは、ｘのｘ座標上直前の画素（直前にトレースした最終点）である。
Ｘｐｒｅｖは、直前の画素ｉ−１までのｘ座標の画素群であり、以下の式２で表す。
【００７２】
【数２】
0006968241.tif 000003
（式２）
【００７３】
ｘがどのトレースされる線に属するかを決定するため、コンポーネント抽出部１４は、動的計画法により、式２のＸｐｒｅｖから、式１においてコスト関数の値を最小化する最良のものを見出す。
【００７４】
本実施形態では、複数の評価関数、例えば、式１に示されるように、５つの評価関数として、Ｅｃｏｌｏｒ、Ｅｐａｔｔｅｒｎ、Ｅｓｍｏｏｔｈ、Ｅｐｒｏｂ、およびＥｄｕｐｌを使用して、これらの評価関数で評価されるコストが最小になるよう、各点（画素）のコストを算出する。
評価関数Ｅｃｏｌｏｒは、トレースされる線の色における一貫性を維持する色の関数である。動的計画法で、ｘｐｒｅｖが属するトレースされた線の情報を保持しているので、この線の情報から、ｘｐｒｅｖの平均の線色を算出することができる。Ｅｃｏｌｏｒは、平均の線色とｘの画素色との色差により算出される。
【００７５】
評価関数Ｅｐａｔｔｅｒｎは、トレースされる線の線種（線パターン）における一貫性を維持する線種の関数である。評価関数Ｅｐａｔｔｅｒｎは、評価関数Ｅｃｏｌｏｒと同様、ｘｐｒｅｖの平均の線種とｘの線種との間の差により算出される。
評価関数Ｅｓｍｏｏｔｈは、トレースされる線の隣接する画素同士を、過度に急峻な傾きなしに平滑に連結するための線の平滑性の関数である。評価関数Ｅｓｍｏｏｔｈは、ｘｐｒｅｖの傾きとｘの傾きの絶対差により算出される。
【００７６】
評価関数Ｅｐｒｏｂは、トレースされる線を、高い存在確率の値を持つ画素に沿って繋げるための存在確率の関数である。評価関数Ｅｐｒｏｂは、複数の線種の存在確率の平均値（ｍｅａｎ  ｖａｌｕｅ）により算出される。
評価関数Ｅｄｕｐｌは、同一の画素上に複数の線がトレースされた場合にペナルティを与える重複の関数である。ｘがすでに他の線でトレースされている場合、評価関数Ｅｄｕｐｌは１を返し、それ以外の場合は０を返す。
λ１〜λ５は、各評価関数の重み付け係数である。
【００７７】
コンポーネント抽出部１４は、上記のように複数の評価関数を用いて、検出された線グラフの始点から終点までのＸ座標の各点において、次のトレースすべき点（画素）として、最小のコストの点（画素）を順に決定していく。
本実施形態では、例えば、線種の評価関数Ｅｐａｔｔｅｒｎや、存在確率の評価関数Ｅｐｒｏｂ等で、図３のＳ３で生成された線グラフの確率マップ（図６（ｂ）〜図６（ｅ）では４種類の線種の確率マップ）を参照してよい。例えば、４つの線種のいずれにも当てはまらない点（画素）は、トレースしないと判断することができる。
このように、本実施形態では、動的計画法により、線グラフの確率マップ、および線グラフの線種や色の一貫性、線の平滑性等の線グラフの属性を考慮した評価関数を用いて、グラフ画像中の凡例の情報に依ることなく、高精度かつより少ない計算負荷で、線グラフをトレースしていうことができる。
あるいは、コンポーネント抽出部１４は、上記の評価関数を用いた動的計画法や確率マップを用いることなく、検出された線グラフの始点と終点との間における、線グラフの線種や色の一貫性、線の平滑性等の線グラフの属性に基づいて、グラフ画像に含まれる線グラフをトレースしてもよい。
【００７８】
Ｓ４１５で、コンポーネント抽出部１４は、トレースされた線グラフが、Ｓ４１１で検出された終点に到達したか否かを判定する。トレースされた線グラフが終点に到達しない間（Ｓ４１５：Ｎ）、Ｓ４１３に戻り、コンポーネント抽出部１４は、Ｓ４１３およびＳ４１４の処理を繰り返す。一方、トレースされた線グラフが終点に到達した場合（Ｓ４１５：Ｙ）、Ｓ４１６に進む。
Ｓ４１６で、コンポーネント抽出部１４は、トレースされた線グラフのそれぞれを、線グラフのコンポーネントとして抽出して、Ｓ５に進む。
【００７９】
図１０は、グラフ画像解析装置１のコンポーネント抽出部１４が線グラフの確率マップを使用して線グラフ画像からトレースした線グラフの一例を説明する図である。
図１０を参照して、凡例Ａの線グラフは実線で、凡例Ｂの線グラフは破線で、凡例Ｃの線グラフは一点鎖線で、それぞれトレースされている。それぞれの凡例Ａ〜Ｃは互いに交差する２つの線グラフを含み、太線グラフは各年の値をプロットしたもので急峻な波形を有し、細線グラフは複数年の移動平均を示すもので平滑な波形を有する。
【００８０】
図１０に示されるように、例えば、２つの線グラフが交差する場合、本実施形態では、交差点からいずれの方向に線をトレースしていくかを、線の平滑性の評価関数Ｅｓｍｏｏｔｈを用いて評価するので、たとえ色や線種が相互に同一であったとしても、太線グラフと交差する細線グラフを、太線グラフから峻別して、正確にトレースしていくことができる。
【００８１】
図１１は、グラフ画像解析装置１の値抽出部１５が線グラフ画像からグラフの値を抽出（生成）する一例を説明する図である。
図１１を参照して、グラフ画像をスキャンすることにより検出されたテキストボックスが矩形領域で示されている。値抽出部１５は、グラフ画像全体を走査するので、図１１では、Ｘ座標軸およびＹ座標軸のラベルの他、線グラフの描画領域で線グラフに付与されたラベルが、テキストボックスとして検出されている。本実施形態において、値抽出部１５は、検出したテキストボックスのテキストを認識して、数値が認識された場合、認識された数値からグラフのスケールを算出して、各ラベルに対応するグラフの値を生成する。
【００８２】
以上説明したように、本実施形態によれば、グラフ画像解析装置は、グラフ画像をグラフ種別ごとに分類し、分類されたグラフ種別ごとに異なるグラフ画像の確率マップを算出し、算出された確率マップに基づいて、グラフ画像中のコンポーネントを抽出して、抽出されたコンポーネントのグラフをトレースする。グラフ画像解析装置はさらに、抽出されたグラフ画像のコンポーネントの値を抽出し、トレースされたグラフに、抽出されたコンポーネントの値を付加して出力する。
【００８３】
分類されたグラフ種別ごとに異なる確率マップを算出し、算出された確率マップ用いて、グラフ画像からグラフの各コンポーネントを汎用的かつ効果的に分離することができる。
したがって、より多様なグラフの画像を解析することが可能となり、ウェブ上などに多数散在するグラフ画像の可用性が向上する。
【００８４】
＜グラフ画像解析装置のハードウエア構成＞
図１２は、本実施形態に係るグラフ画像解析装置１のハードウエア構成の非限定的一例を示す図である。
本実施形態に係るグラフ画像解析装置１は、単一または複数の、あらゆるコンピュータ、モバイルデバイス、または他のいかなる処理プラットフォーム上にも実装することができる。
図１２を参照して、グラフ画像解析装置１は、単一のコンピュータに実装される例が示されているが、本実施形態に係るグラフ画像解析装置１は、複数のコンピュータを含むコンピュータシステムに実装されてよい。複数のコンピュータは、有線または無線のネットワークにより相互通信可能に接続されてよい。
【００８５】
図１２に示すように、グラフ画像解析装置１は、ＣＰＵ１２１と、ＲＯＭ１２２と、ＲＡＭ１２３と、ＨＤＤ１２４と、入力部１２５と、表示部１２６と、通信Ｉ／Ｆ１２７と、システムバス１２８とを備えてよい。グラフ画像解析装置１はまた、外部メモリを備えてよい。
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１２１は、グラフ画像解析装置１における動作を統括的に制御するものであり、データ伝送路であるシステムバス１２８を介して、各構成部（１２２〜１２７）を制御する。
グラフ画像解析装置１はまた、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を備えてよい。ＧＰＵは、ＣＰＵ１２１より高い計算機能を有し、複数または多数のＧＰＵを並列して動作させることにより、特に、本実施形態のような機械学習を使用する画像処理アプリケーションに、より高い処理パフォーマンスを提供する。ＧＰＵは、通常、プロセッサと共有メモリを含む。それぞれのプロセッサが高速の共有メモリからデータを取得し、共通プログラムを実行することで、同種の計算処理を大量かつ高速に実行する。
【００８６】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２２は、ＣＰＵ１２１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１１４、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の不揮発性メモリや着脱可能な記憶媒体（不図示）等の外部メモリに記憶されていてもよい。
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１２３は、揮発性メモリであり、ＣＰＵ１２１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ１２１は、処理の実行に際してＲＯＭ１２２から必要なプログラム等をＲＡＭ１２３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
【００８７】
ＨＤＤ１２４は、例えば、ＣＰＵ１２１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、ＨＤＤ１２４には、例えば、ＣＰＵ１２１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
入力部１２５は、キーボードやマウス等のポインティングデバイスにより構成される。
表示部１２６は、液晶ディスプレイ（ＬＣＤ）等のモニターにより構成される。表示部１２６は、グラフ画像解析処理で使用される各種パラメータや、他の装置との通信で使用される通信パラメータ等をグラフ画像解析装置１へ指示入力するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を提供してよい。
【００８８】
通信Ｉ／Ｆ１２７は、グラフ画像解析装置１と外部装置との通信を制御するインタフェースである。
通信Ｉ／Ｆ１２７は、ネットワークとのインタフェースを提供し、ネットワークを介して、外部装置との通信を実行する。通信Ｉ／Ｆ１２７を介して、外部装置との間で画像データ、各種パラメータ等が送受信される。本実施形態では、通信Ｉ／Ｆ１２７は、イーサネット（登録商標）等の通信規格に準拠する有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や専用線を介した通信を実行してよい。ただし、本実施形態で利用可能なネットワークはこれに限定されず、無線ネットワークで構成されてもよい。この無線ネットワークは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）等の無線ＰＡＮ（Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を含む。また、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を含む。さらに、ＬＴＥ／３Ｇ、４Ｇ、５Ｇ等の無線ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を含む。なお、ネットワークは、各機器を相互に通信可能に接続し、通信が可能であればよく、通信の規格、規模、構成は上記に限定されない。
【００８９】
図１に示すグラフ画像解析装置１の各要素のうち少なくとも一部の機能は、ＣＰＵ１２１がプログラムを実行することで実現することができる。ただし、図１に示すグラフ画像解析装置１の各要素のうち少なくとも一部の機能が専用のハードウエアとして動作するようにしてもよい。この場合、専用のハードウエアは、ＣＰＵ１２１の制御に基づいて動作する。
【００９０】
なお、上記において特定の実施形態が説明されているが、当該実施形態は単なる例示であり、本発明の範囲を限定する意図はない。本明細書に記載された装置及び方法は上記した以外の形態において具現化することができる。また、本発明の範囲から離れることなく、上記した実施形態に対して適宜、省略、置換及び変更をなすこともできる。かかる省略、置換及び変更をなした形態は、請求の範囲に記載されたもの及びこれらの均等物の範疇に含まれ、本発明の技術的範囲に属する。
【符号の説明】
【００９１】
１…グラフ画像解析装置、３…入力データセット、４…出力データセット、１１…データ取得部、１２…グラフ分類部、１３…確率マップ生成部、１４…コンポーネント抽出部、１５…値抽出部、１６…出力部、２１…入力データ、２２…分類用ネットワーク、２３…分類結果、２４…確率マップ生成用ネットワーク、２５…確率マップ、２６…グラフトレース結果、２７…値検出結果、２８…出力データ、１２１…ＣＰＵ、１２２…ＲＯＭ、１２３…ＲＡＭ、１２４…ＨＤＤ、１２５…入力部、１２６…表示部、１２７…通信Ｉ／Ｆ、１２８…バス
【要約】      （修正有）【課題】より多様なグラフの画像を解析する情報処理装置、情報処理方法およびプログラムを提供する。【解決手段】グラフ画像解析装置１は、グラフ画像を取得するグラフ画像取得部と、取得されたグラフ画像をグラフ種別ごとに分類するグラフ分類部と、グラフ画像から、分類されたグラフ種別ごとに異なる種類の確率マップを生成する確率マップ生成部と、生成された確率マップに基づいて、グラフ画像中のコンポーネントを抽出するコンポーネント抽出部と、抽出されたグラフ画像のコンポーネントの値を抽出する値抽出部と、値抽出部により抽出されたコンポーネントの値を出力する出力部と、を備える。【選択図】図１【図１】
0006968241.tif 000004
【図２】
0006968241.tif 000005
【図３】
0006968241.tif 000006
【図４】
0006968241.tif 000007
【図５】
0006968241.tif 000008
【図６】
0006968241.tif 000009
【図７】
0006968241.tif 000010
【図８】
0006968241.tif 000011
【図９】
0006968241.tif 000012
【図１０】
0006968241.tif 000013
【図１１】
0006968241.tif 000014
【図１２】
0006968241.tif 000015