(57)【要約】【課題】単に領域の文字らしさを示す情報を用いて１つの文字が記載されている部分画像を特定する場合に比べて、より正確に特定するようにした画像処理装置を提供する。【解決手段】画像処理装置の検出手段は、画像から文字としての特徴を備える部分画像を文字候補領域として検出し、抽出手段は、前記部分画像間の包含関係を抽出し、特定手段は、前記部分画像内の領域の文字らしさを示す情報と前記包含関係を用いて、１つの文字が記載されている部分画像を特定する。【選択図】図１
2016151978.tif 000002
【特許請求の範囲】
【請求項１】
画像から文字としての特徴を備える部分画像を文字候補領域として検出する検出手段と、
前記部分画像間の包含関係を抽出する抽出手段と、
前記部分画像内の領域の文字らしさを示す情報と前記包含関係を用いて、１つの文字が記載されている部分画像を特定する特定手段
を具備することを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、前記包含関係を示す木構造を構築し、
前記特定手段は、
前記画像と前記部分画像から該部分画像内の領域の特徴を抽出する第２の抽出手段と、
前記第２の抽出手段によって抽出された特徴から、前記部分画像内の領域の文字らしさを示す情報を算出する算出手段と、
前記算出手段によって算出された文字らしさを示す情報と前記木構造における包含関係を用いて、１つの文字が記載されている部分画像を特定する第２の特定手段
を具備することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の特定手段は、前記木構造におけるルートからリーフまでのノードにおいて、各ノードに対応する部分画像内の領域の文字らしさを示す情報が最も高いものを１つの文字が記載されている部分画像として特定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の特定手段は、１つの文字が記載されている部分画像として特定したノードの親と子のノードを削除する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
コンピュータを、
画像から文字としての特徴を備える部分画像を文字候補領域として検出する検出手段と、
前記部分画像間の包含関係を抽出する抽出手段と、
前記部分画像内の領域の文字らしさを示す情報と前記包含関係を用いて、１つの文字が記載されている部分画像を特定する特定手段
として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、画像データに文字列以外の背景画像が含まれ、また文字質が劣悪な場合であっても文字領域を正確に決定できる画像の文字領域決定方法を提供することを目的とし、所定の配置をなし、且つ同じ大きさの文字からなる文字列を含む画像を入力して２値化処理し、上記処理データに含まれる全ての連結画素の中から、その特徴が所定の条件を満足する文字候補を抽出し、上記文字候補同士の位置関係が上記所定の配置をなすような文字候補の全てを含む外接矩形領域を上記画像の文字領域と決定するように構成されており、上記構成により、常に正確に文字領域を決定できることが開示されている。
【０００３】
特許文献２には、２次元面又は３次元空間中に存在する文字を含む情景を濃淡画像として入力し、情景画像の領域分割処理と各領域の濃度差評価により文字線に対応する可能性の高い箇所を領域として検出し、互いに近傍に存在する領域の組み合わせを文字パターン候補として抽出し、前記文字パターン候補と、文字認識用辞書中に格納されている各認識対象文字のカテゴリの標準パターンとの距離から類似度を計算し、１つでも閾値より大きい類似度を与えるカテゴリがあるか否かで、前記文字パターン候補が文字に対応するか否かの判定を行い、文字であると判定された場合には、文字と判定された文字パターン候補を高類似度パターンとして抽出し、前記高類似度パターンにおいて最も高い類似度を与えるカテゴリを文字認識結果とする文字認識処理方式において、前記互いに近傍に存在する領域の組み合わせにより得られる文字パターン候補から得られた高類似度パターンから構成される集合について、前記集合に含まれる各高類似度パターンが対応するカテゴリの標準パターンがもつ２次元図形としての特徴と前記各項類似度パターンがもつ２次元図形としての特徴との一致の程度を、前記集合に含まれる高類似度パターン間で比較し、一致の程度の高い高類似度パターンの類似度を高くし、そうでないものの類似度を低くする更新処理を反復的に行い、最終的に最大の類似度を与える高類似度パターンを文字パターンとして抽出し、その最大の類似度を与えるカテゴリを文字認識結果として出力することが開示されている。
【０００４】
非特許文献１には、情景内文字は影や反射等の影響で本来文字が備えている画像的特徴を失っている場合があり、候補領域単体では文字／非文字の判定が困難な場合があることを課題とし、単一候補領域での文字／非文字判定に続いて、候補領域２つ組、候補領域３つ組、のような領域間の特徴を用いる識別を併用して文字候補を絞り込んでいき、候補領域２つ組での識別では領域間の包含関係も考慮して判定することが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０８−３３９４２１号公報
【特許文献２】特許第２９７９０８９号公報
【非特許文献】
【０００６】
【非特許文献１】Ｌ．  Ｎｅｕｍａｎｎ，  Ｊ．  Ｍａｔａｓ，  “Ｔｅｘｔ  Ｌｏｃａｌｉｚａｔｉｏｎ  ｉｎ  Ｒｅａｌ−ｗｏｒｌｄ  Ｉｍａｇｅｓ  ｕｓｉｎｇ  Ｅｆｆｉｃｉｅｎｔｌｙ  Ｐｒｕｎｅｄ  Ｅｘｈａｕｓｔｉｖｅ  Ｓｅａｒｃｈ”，  ｉｎ  ＩＣＤＡＲ  ２０１１，  ｐ．  ６８７−６９１
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像から１つの文字が記載されている部分画像を特定する場合において、領域の文字らしさを示す情報を用いることが行われている。
本発明は、単に領域の文字らしさを示す情報を用いて１つの文字が記載されている部分画像を特定する場合に比べて、より正確に特定するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、画像から文字としての特徴を備える部分画像を文字候補領域として検出する検出手段と、前記部分画像間の包含関係を抽出する抽出手段と、前記部分画像内の領域の文字らしさを示す情報と前記包含関係を用いて、１つの文字が記載されている部分画像を特定する特定手段を具備することを特徴とする画像処理装置である。
【０００９】
請求項２の発明は、前記抽出手段は、前記包含関係を示す木構造を構築し、前記特定手段は、前記画像と前記部分画像から該部分画像内の領域の特徴を抽出する第２の抽出手段と、前記第２の抽出手段によって抽出された特徴から、前記部分画像内の領域の文字らしさを示す情報を算出する算出手段と、前記算出手段によって算出された文字らしさを示す情報と前記木構造における包含関係を用いて、１つの文字が記載されている部分画像を特定する第２の特定手段を具備することを特徴とする請求項１に記載の画像処理装置である。
【００１０】
請求項３の発明は、前記第２の特定手段は、前記木構造におけるルートからリーフまでのノードにおいて、各ノードに対応する部分画像内の領域の文字らしさを示す情報が最も高いものを１つの文字が記載されている部分画像として特定することを特徴とする請求項２に記載の画像処理装置である。
【００１１】
請求項４の発明は、前記第２の特定手段は、１つの文字が記載されている部分画像として特定したノードの親と子のノードを削除することを特徴とする請求項３に記載の画像処理装置である。
【００１２】
請求項５の発明は、コンピュータを、画像から文字としての特徴を備える部分画像を文字候補領域として検出する検出手段と、前記部分画像間の包含関係を抽出する抽出手段と、前記部分画像内の領域の文字らしさを示す情報と前記包含関係を用いて、１つの文字が記載されている部分画像を特定する特定手段として機能させるための画像処理プログラムである。
【発明の効果】
【００１３】
請求項１の画像処理装置によれば、単に領域の文字らしさを示す情報を用いて１つの文字が記載されている部分画像を特定する場合に比べて、より正確な特定を行うことができる。
【００１４】
請求項２の画像処理装置によれば、木構造における包含関係を用いて、１つの文字が記載されている部分画像を特定することができる。
【００１５】
請求項３の画像処理装置によれば、木構造におけるルートからリーフまでのノードにおいて、各ノードに対応する部分画像内の領域の文字らしさを示す情報が最も高いものを１つの文字が記載されている部分画像として特定することができる。
【００１６】
請求項４の画像処理装置によれば、１つの文字が記載されている部分画像として特定したノードの親と子のノードを削除することができる。
【００１７】
請求項５の画像処理プログラムによれば、単に領域の文字らしさを示す情報を用いて１つの文字が記載されている部分画像を特定する場合に比べて、より正確な特定を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本実施の形態の構成例についての概念的なモジュール構成図である。
【図２】本実施の形態を利用したシステム構成例を示す説明図である。
【図３】本実施の形態を利用したシステム構成例を示す説明図である。
【図４】本実施の形態（文字領域特定モジュール）の構成例についての概念的なモジュール構成図である。
【図５】本実施の形態による処理例を示す説明図である。
【図６】本実施の形態による処理例を示す説明図である。
【図７】本実施の形態による処理例を示す説明図である。
【図８】本実施の形態による処理例を示す説明図である。
【図９】本実施の形態による処理例を示す説明図である。
【図１０】本実施の形態による処理例を示す説明図である。
【図１１】本実施の形態による処理例を示す説明図である。
【図１２】本実施の形態による処理例を示す説明図である。
【図１３】本実施の形態による処理例を示す説明図である。
【図１４】本実施の形態による処理例を示す説明図である。
【図１５】本実施の形態による処理例を示す説明図である。
【図１６】本実施の形態による処理例を示す説明図である。
【図１７】本実施の形態による処理例を示す説明図である。
【図１８】本実施の形態による処理例を示す説明図である。
【図１９】本実施の形態による処理例を示す説明図である。
【図２０】本実施の形態による処理例を示す説明図である。
【図２１】本実施の形態による処理例を示す説明図である。
【図２２】本実施の形態（包含関係修正モジュール）による処理例を示すフローチャートである。
【図２３】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。
【００２０】
本実施の形態である画像処理装置１００は、画像から１つの文字が記載されている部分画像を特定するものであって、図１の例に示すように、画像受付モジュール１１０、文字候補領域検出モジュール１２０、文字領域特定モジュール１３０、文字認識モジュール１４０を有している。
画像処理装置１００は、主に、情景画像内の文字認識を行うためのものである。つまり、カメラ（デジタルカメラ、携帯電話等を含む携帯端末（ウェアラブル端末を含めてもよい）に内蔵されているカメラ等）で撮影した静止画又は動画（以下、情景画像ともいう）中から文字領域を特定し、文字認識を行うための技術に関するものである。例えば、この情景画像として、看板等の文字画像が含まれている風景画像等がある。特に、画像処理装置１００は、情景画像内からの文字領域の特定技術に関するものである。なお、文字認識以外の処理（例えば、画像復元処理等）に用いるようにしてもよい。
また、画像処理装置１００の処理結果を、例えば、ナビゲーション、コンテンツベース画像検索、情景画像内の案内等の翻訳、視覚障害者支援、情景画像からの地点情報抽出、情景画像へのセマンティックなタグ付け、目視確認作業の自動化等の処理に用いるようにしてもよい。
また、情景画像内の文字認識を行うにあたって、対象としての情景画像には、次のような、固有の性質がある。特に、ドキュメントの文字認識にはない性質を挙げている。
・複雑な情景からの文字領域を特定する必要がある。
・影、反射、ガラス等への映り込み等がある場合がある。
・多様なフォント、レイアウトがある。
・パースペクティブ、円柱等の曲面上の文字等を対象とする場合がある。
このような性質を有していることから、情景画像内で本来の文字領域から必ずしも高い文字スコア（文字らしさを示す情報）が得られるとは限らない。
【００２１】
本実施の形態を説明するにあたって、用語を定義する。
木構造とは、グラフ理論の木の構造をしたデータ構造のことである。グラフ理論では、木とは非環状（ループを持たない）グラフを意味する。
木構造は、ノードとノード間を結ぶエッジで表される。データ構造として使われる木は、ほとんどの場合、根となるノード（ルート）が決められた根付き木で、ノード間の関係は家系図に見立てた用語で表現される。木構造内の各ノードは、０個以上の子ノードを持ち、子ノードは木構造内では下方に存在する（木構造の成長方向は下とするのが一般的である）。子ノードを持つノードは、子ノードから見れば親ノードである。ノードは高々１つの親ノードを持つ。
【００２２】
画像受付モジュール１１０は、文字候補領域検出モジュール１２０、文字領域特定モジュール１３０と接続されており、文字候補領域検出モジュール１２０、文字領域特定モジュール１３０に情景画像情報１１５を渡す。画像受付モジュール１１０は、文字画像が含まれている画像を受け付けて、その画像を文字候補領域検出モジュール１２０、文字領域特定モジュール１３０へ渡す。ここで、画像を受け付けるとは、例えば、カメラ、スキャナ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている画像を読み出すこと等が含まれる。画像は、２値、多値画像（カラー画像を含む）である。受け付ける画像は、１枚であってもよいし、複数枚であってもよい。また、画像の内容として、主に前述の情景画像である。
【００２３】
文字候補領域検出モジュール１２０は、画像受付モジュール１１０、文字領域特定モジュール１３０と接続されており、文字領域特定モジュール１３０に文字候補領域情報１２５を渡す。文字候補領域検出モジュール１２０は、画像受付モジュール１１０が受け付けた画像から文字としての特徴を備える部分画像を文字候補領域として検出する。検出結果を文字候補領域情報１２５として、文字領域特定モジュール１３０に渡す。文字としての特徴の例としては、背景に対するコントラストが高いことや文字領域内での濃淡の変化が小さいことなどが挙げられる。具体的な例として、本実施の形態は、これらの特徴を利用する検出技術の中で、影・反射やグラデーション文字に対してロバストな手法として、近年特に注目されているＭａｘｉｍａｌｌｙ  Ｓｔａｂｌｅ  Ｅｘｔｒｅｍａｌ  Ｒｅｇｉｏｎ（ＭＳＥＲ）を用いる。ＭＳＥＲは、式（１）のように定義されている（「Ｊ．  Ｍａｔａｓ，  Ｏ．  Ｃｈｕｍ，  Ｍ．  Ｕｒｂａｎ，  Ｔ．  Ｐａｊｄｌａ，“Ｒｏｂｕｓｔ  ｗｉｄｅ−ｂａｓｅｌｉｎｅ  ｓｔｅｒｅｏ  ｆｒｏｍ  ｍａｘｉｍａｌｌｙ  ｓｔａｂｌｅ  ｅｘｔｒｅｍａｌ  ｒｅｇｉｏｎｓ”，Ｉｍａｇｅ  ａｎｄ  Ｖｉｓｉｏｎ  Ｃｏｍｐｕｔｉｎｇ  ２２，  ｐ．  ７６１  −  ７６７，  ２００４」参照）。
【数１】
2016151978.tif 000003
【００２４】
ＭＳＥＲ（文字候補領域検出モジュール１２０による処理内容（文字候補領域情報１２５の生成処理））について、図５〜１３を用いて説明する。
（１）図５の例に示すような対象画像５００（グレイスケール画像）を、文字候補領域検出モジュール１２０による処理対象（情景画像情報１１５）とする。対象画像５００は、ほぼ黒である矩形の領域５１０と、ほぼ白である矩形の領域５３０と、左から右に向かって薄くなっている灰色グラデーションの領域５２０の３つの領域に分かれている。
（２）二値化の閾値を最も暗い画素値から最も明るい画素値に向かって動かしながら、対象画像５００を二値化する。
（３）閾値が最も暗い画素値では、全ての画素が閾値以上の画素値を有しているため、図６の例に示すように、どの領域も検出されていない。
【００２５】
（４）閾値を動かしていき、閾値が図５の例の領域５１０の領域の画素値を上回ると領域５１０が検出され、図７の例に示すように、１つ目のＭＳＥＲ（領域５１０Ａ）が検出される。
（５）さらに、閾値を明るい側に動かしていくと、領域５２０の最暗部付近が検出されていく。しかし、閾値を±Δだけ変動させると検出される領域の面積も大きく変動するため、ＭＳＥＲの定義より領域５２０の最暗部付近の領域は検出されない。
（６）閾値が領域５２０の最明部よりも明るくなると、閾値を変動させても検出される領域の面積が変化しないので、この段階で領域５２０が検出され、図８の例に示すように、領域５１０と領域５２０の和領域である２つ目のＭＳＥＲ（領域５２０Ａ）が検出される。２つ目のＭＳＥＲ（領域５２０Ａ）は最初に検出したＭＳＥＲ（領域５１０Ａ）を包含している。
（７）さらに閾値を明るい側に動かしていき、領域５３０よりも明るくなった段階で領域５３０が検出され、図９の例に示すように、３番目のＭＳＥＲ（対象画像５００Ａ）が検出される。３番目のＭＳＥＲ（対象画像５００Ａ）は１番目、２番目に検出したＭＳＥＲ（領域５１０Ａ、領域５２０Ａ）を包含している。
【００２６】
（８）次に、閾値を最も明るい画素値から最も暗い画素値に向かって動かしながら同様の処理を行う。つまり、前述とは逆方向に処理を進める。これは白抜き文字などを検出するためである。
（９）検出結果を、図１０〜１３の例に示す。閾値を暗から明に変化させたときと同様に、検出されるＭＳＥＲは互いに包含関係を有している。
ＭＳＥＲの性質を説明する。
・２値化の閾値を暗から明に変動させたときのＭＳＥＲと、明から暗に変動させたときのＭＳＥＲはそれぞれ包含関係を有している。
・閾値を暗から明に変動させたときに検出されるＭＳＥＲは、明から暗に変動させたときのＭＳＥＲのいずれとも包含関係を有していない。ただし、画像全体が検出されたＭＳＥＲを除く。逆の場合も同様である。
・図５の例に示す領域５２０のように、グラデーションのある領域も検出できる。
【００２７】
文字領域特定モジュール１３０は、画像受付モジュール１１０、文字候補領域検出モジュール１２０、文字認識モジュール１４０と接続されており、画像受付モジュール１１０から情景画像情報１１５を、文字候補領域検出モジュール１２０から文字候補領域情報１２５を受け取り、文字認識モジュール１４０に特定文字領域情報１３５を渡す。文字領域特定モジュール１３０は、部分画像間の包含関係を抽出し、そして、その部分画像内の領域の文字らしさを示す情報（以下、文字スコアともいう）と包含関係を用いて、１つの文字が記載されている部分画像を特定する。文字候補領域検出モジュール１２０の処理結果である文字候補領域には文字以外の領域も含まれる。また、ＭＳＥＲを用いた場合、１つの文字から複数種類の領域候補群が抽出される場合がある（図１４〜１６を用いて後述）。このような文字候補領域のそれぞれについて文字／非文字判定を行い、文字領域を特定する。文字領域特定モジュール１３０内のモジュール構成、処理等については、図４等を用いて後述する。
【００２８】
文字認識モジュール１４０は、文字領域特定モジュール１３０と接続されており、文字領域特定モジュール１３０から特定文字領域情報１３５を受け取る。文字認識モジュール１４０は、文字領域特定モジュール１３０によって特定された文字領域画像（特定文字領域情報１３５）を対象として、文字認識を行う。文字認識方法としては公知の手法を用いればよい。
【００２９】
図２は、本実施の形態を利用したシステム構成例を示す説明図である。
画像処理装置１００は、撮影装置２１０、情報処理装置２３０と接続されている。このシステムは、一体型の筐体に収められていてもよいし、別々の筐体であってもよい。各装置間の通信は、無線、有線、これらの組み合わせであってもよい。
撮影装置２１０は、画像処理装置１００と接続されている。撮影装置２１０は、前述のカメラであり、例えば人が撮影するものであってもよいし、自動車等に搭載されているものであってもよいし、監視カメラ等のように固定した場所に設置されているものであってもよい。
情報処理装置２３０は、画像処理装置１００と接続されている。情報処理装置２３０は、画像処理装置１００（文字認識モジュール１４０）の処理結果を利用した処理を行う。例えば、このシステムを自動車等に搭載して、前述したようにナビゲーション等の処理を行う。また、情報処理装置２３０は、文字領域特定モジュール１３０による処理結果を利用した処理を行うようにしてもよい。例えば、前述したように画像復元等の処理を行う。
【００３０】
図３は、本実施の形態を利用したシステム構成例を示す説明図である。
画像処理装置１００、ユーザー端末３１０Ａ、ユーザー端末３１０Ｂ、ユーザー端末３１０Ｃ、情報処理装置３３０は、通信回線３９０を介してそれぞれ接続されている。通信回線３９０は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。
情報処理装置３３０は、前述の情報処理装置２３０と同等の処理を行う。画像処理装置１００、情報処理装置３３０、画像処理装置１００と情報処理装置３３０の組み合わせによる機能は、クラウドサービスとして実現してもよい。
ユーザー端末３１０は、前述の撮影装置２１０と同等の処理を行う。例えば、ユーザー端末３１０によって撮影された画像を画像処理装置１００に処理させるようにしてもよい。また、ユーザー端末３１０Ａからの指示によって、画像処理装置１００、情報処理装置３３０で処理が行われ、その処理結果をユーザー端末３１０Ｂ等に送信するようにしてもよい。
【００３１】
図４は、本実施の形態（文字領域特定モジュール１３０）の構成例についての概念的なモジュール構成図である。
文字領域特定モジュール１３０は、包含関係構築モジュール４１０、文字領域特徴抽出モジュール４２０、文字スコア算出モジュール４３０、包含関係修正モジュール４４０を有している。
【００３２】
情景画像情報１１５は、画像受付モジュール１１０から出力される情景画像に関する情報（情景画像そのものであってもよい）で、カラー（グレイスケール画像を含む）又は白黒のラスタ画像情報である。カラーの場合はＲＧＢであってもよいし、Ｌ＊ａ＊ｂ＊等の他の色空間における画像であってもよい。入力画像がカラーの場合の処理として、本実施の形態では１つの特定のチャネルのみ（例えば、ＲＧＢ画像のＲ画像のみ等）を用いる場合を例として説明するが、全チャネルに対して個別に文字領域を特定して、最後に論理和をとるなどの方法で結果を統合してもよい。
文字候補領域情報１２５は、文字候補領域検出モジュール１２０による処理結果であって、各候補領域の輪郭画素位置情報、領域内画素位置情報等で表現される。本実施の形態では、個々のＭＳＥＲとして検出される画素集合の位置座標を列挙したものをＭＳＥＲ情報と呼ぶことにし、対象としている画像全体から検出された全てのＭＳＥＲ情報の集合を文字候補領域情報１２５とする。
【００３３】
包含関係構築モジュール４１０は、包含関係修正モジュール４４０と接続されており、文字候補領域情報１２５を受け付ける。包含関係構築モジュール４１０は、部分画像間の包含関係を抽出する。また、包含関係構築モジュール４１０は、包含関係を示す木構造を構築するようにしてもよい。
ＭＳＥＲはある領域が別の領域を包含し、このような包含関係を連ねていくと木構造を形成するという特徴がある（図５〜１３を用いて前述）。そこで、具体的には、包含関係構築モジュール４１０では、文字候補領域情報１２５内の全てのＭＳＥＲについて包含関係をチェックし、複数の木構造を構築する。ここで複数の木構造として、少なくとも２つの木構造がある。例えば、前述したように、２値化の閾値を暗から明へ変動させることによって生成する木構造と、閾値を明から暗へ変動させることによって生成する木構造がある。
【００３４】
木構造の例については、図１４〜１６を用いて説明する。
ＭＳＥＲの性質として、１文字から複数のＭＳＥＲが検出される場合がある。例えば、元の文字画像（例えば、看板等に記載された文字画像）は、図１４の例に示すような２値画像であるとする。カメラで撮影した情景画像では、影、反射、照明ムラ、撮影時の手ぶれ、ぼけ等の影響で、元々は２値画像であっても、図１５の例に示すように多値の画像になる。
その結果、図１６の例に示すように１つの文字から複数のＭＳＥＲが検出される場合がある。
ＭＳＥＲなので、個々の検出領域は図１６の例に示す木構造で表されるような包含関係を有している。
【００３５】
文字領域特徴抽出モジュール４２０は、文字スコア算出モジュール４３０と接続されており、情景画像情報１１５、文字候補領域情報１２５を受け付ける。文字領域特徴抽出モジュール４２０は、対象としている画像（情景画像情報１１５）と文字候補領域検出モジュール１２０の処理結果である部分画像（文字候補領域情報１２５）から、その部分画像内の領域の特徴を抽出する。具体的には、文字領域特徴抽出モジュール４２０は、文字候補領域情報１２５によって示される個々のＭＳＥＲに関する情報（文字候補領域情報１２５）と、個々のＭＳＥＲに対応する情景画像情報１１５から、領域の文字らしさを反映する特徴量を複数抽出し、それらを並べた特徴ベクトル（特徴量をベクトルの要素とした特徴ベクトル）を生成する。文字画像の特徴として、
（１）文字領域内での色・濃淡の変化が小さい
（２）背景に対するコントラストが高い
（３）単純な輪郭
（４）一定幅の線分で構成される
等が挙げられる。そして、領域の文字らしさを反映する特徴量の例として、
（１）ａｓｐｅｃｔ  ｒａｔｉｏ
（２）ｃｏｍｐａｃｔｎｅｓｓ
（３）ｃｏｎｖｅｘ  ｈｕｌｌ  ａｒｅａ  ｔｏ  ｓｕｒｆａｃｅ  ｒａｔｉｏ
（４）ｂａｃｋｇｒｏｕｎｄ  ｃｏｌｏｒ  ｃｏｎｓｉｓｔｅｎｃｙ
（５）ｒｅｌａｔｉｖｅ  ｓｅｇｍｅｎｔ  ｈｅｉｇｈｔ
（６）ｎｕｍｂｅｒ  ｏｆ  ｈｏｌｅｓ
（７）ｃｈａｒａｃｔｅｒ  ｃｏｌｏｒ  ｃｏｎｓｉｓｔｅｎｃｙ
（８）ｓｋｅｌｅｔｏｎ  ｌｅｎｇｔｈ  ｔｏ  ｐｅｒｉｍｅｔｅｒ  ｒａｔｉｏ
等がある（Ｌ．  Ｎｅｕｍａｎｎ，  Ｊ．  Ｍａｔａｓ，  “Ａ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｔｅｘｔ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｉｎ  Ｒｅａｌ−Ｗｏｒｌｄ  Ｉｍａｇｅｓ”，ｉｎ  ＡＣＣＶ  ２０１０，  ｐ．  ７７０−７８３，  ２０１０参照）。
文字領域特徴抽出モジュール４２０は、特徴量（実数値）を並べたベクトルを特徴ベクトルとする。上記の例では、８次元のベクトルを生成することになる。
また、特徴ベクトルとしては、上記のような注目領域から抽出される特徴量だけでなく、近傍の領域との関係性に基づいて抽出される特徴量を含んでもよい。例えば、最近傍領域との平均色差やサイズ比などを特徴量として用いるようにしてもよい。
【００３６】
文字スコア算出モジュール４３０は、文字領域特徴抽出モジュール４２０、包含関係修正モジュール４４０と接続されている。文字スコア算出モジュール４３０は、文字領域特徴抽出モジュール４２０によって抽出された特徴から、部分画像内の領域の文字らしさを示す情報（文字スコア）を算出する。
具体的には、文字スコア算出モジュール４３０は、文字領域特徴抽出モジュール４２０により生成された特徴ベクトルを入力とし、対応するＭＳＥＲが文字領域であるスコアを算出する。例えば、文字スコアを文字の事後確率とし、事後確率はニューラルネットワークにより算定するようにしてもよい。より具体的には、文字スコアの一例として、文字領域特徴抽出モジュール４２０により生成された特徴ベクトルｘが与えられたときの、対応する領域のラベルｙに関する事後確率ｐ（ｙ｜ｘ）を用いることができる。ラベルは二値（ｙ＝｛０，１｝）とし、ｙ＝０が非文字、ｙ＝１が文字を表すものとする。
事後確率ｐ（ｙ｜ｘ）は、例えば図１７の例に示すようなニューラルネットワーク（中間層１層の多層パーセプトロン）の出力として求めることができる。
特徴ベクトルをｄ次元の実数ベクトルｘ＝（ｘ１，ｘ２，…，ｘｄ）とし、それに定数要素１を付加したベクトルＸ＝（ｘ１，ｘ２，…，ｘｄ，１）をニューラルネットワークへの入力とする。このとき事後確率ｐ（ｙ｜ｘ）はニューラルネットワークの出力として、式（２）のように求められる。
【数２】
2016151978.tif 000004
ただし、式（２）において、σはシグモイド関数、ｈｊはｊ番目の中間ノード出力、ｕｊはｊ番目の中間ノードと出力ノードのリンクの重み、ｗｉｊはｉ番目の入力ノードとｊ番目の中間ノードのリンクの重み、ＸｉはベクトルＸのｉ番目の成分、Ｉは入力次元数、Ｊは中間ノード数を表す。
パラメータｕ及びパラメータｗは、学習により求める。具体的には、文字領域の特徴ベクトル（正例）と非文字領域の特徴ベクトル（負例）を学習データとして多数用意し、ニューラルネットワークが、それぞれｙ＝１、ｙ＝０になるべく近い値を出力するように最尤学習を行う。
【００３７】
包含関係修正モジュール４４０は、包含関係構築モジュール４１０、文字スコア算出モジュール４３０と接続されており、特定文字領域情報１３５を出力する。包含関係修正モジュール４４０は、文字スコア算出モジュール４３０によって算出された文字らしさを示す情報と木構造における包含関係を用いて、１つの文字が記載されている部分画像を特定する。
また、包含関係修正モジュール４４０は、木構造におけるルートからリーフまでのノードにおいて、各ノードに対応する部分画像内の領域の文字らしさを示す情報が最も高いものを１つの文字が記載されている部分画像として特定するようにしてもよい。なお、条件としての「最も高いもの」の他に、上位ｎ個の部分画像を特定するようにしてもよい。例えば、文字数が事前に判明している場合は、その文字数をｎとすればよい。
また、包含関係修正モジュール４４０は、１つの文字が記載されている部分画像として特定したノードの親と子のノードを削除するようにしてもよい。
具体的には、包含関係修正モジュール４４０は、文字スコア算出モジュール４３０から出力される文字スコアが最も高いＭＳＥＲを文字領域として特定する。ここで、「文字スコアが最も高い」とは、木構造全体のノードにおいて、そのノードに対応する文字スコアの中で最も高いものをいう。ある文字の中に別の文字を含む例は極めて希であるため、包含関係を表す木構造の中で文字領域として特定したＭＳＥＲの親と子に相当するＭＳＥＲを文字候補領域から除外し、木構造から削除する。ここで除外する親には、親の親も含み、さらにその親も含み、その経路におけるルートまでを含む。除外する子には、子の子も含み、さらにその子も含み、その経路におけるリーフまでを含む。つまり、対象としているノードを含み、ルートからリーフまでの経路上でのノードの中で、その対象としているノード以外を削除する。これにより１つの木が複数の部分木に分割される。以上の処理を全ての木が単一ノードのみになるまで繰り返す。
【００３８】
図１８〜２２を用いて説明する。
包含関係構築モジュール４１０により構築された個々の木について、最も文字スコアの高いＭＳＥＲを選択し、文字領域として特定する。図１８に示す例は、図１６に示す例（木構造）に、各ノード（ＭＳＥＲ）に対して文字スコア算出モジュール４３０によって算出された文字スコア（数字）を記載したものである。なお、ここでは文字スコアの値が高いほど文字らしいことを示している。この中で、枠線で囲ったＭＳＥＲ１８１０が、この木構造の中で最も高いスコアを示すものである。
ある文字の中に別の文字を含む例は極めて希であるため、文字領域として特定したＭＳＥＲの親と子に相当するＭＳＥＲを文字候補領域から除外する。図１８の例では、ＭＳＥＲ１８１０の親（文字スコア：０．９１のＭＳＥＲ）、その親（文字スコア：０．２６のＭＳＥＲ、ルート）、ＭＳＥＲ１８１０の子（文字スコア：０．１１のＭＳＥＲと文字スコア：０．１３のＭＳＥＲ、２つのリーフ）を削除する。この削除処理により、図１９の例に示すように、１つの木が複数の部分木（図１９の例では３つ）に分割される。
再び個々の木について、最も文字スコアの高いＭＳＥＲを選択し、文字領域として特定する。図２０の例のように、左側の木ではＭＳＥＲ２０１０が選択され、右側の木ではＭＳＥＲ２０２０が選択されることになる。
文字領域として特定したＭＳＥＲの親と子に相当するＭＳＥＲを文字候補領域から除外する。具体的には、ＭＳＥＲ２０１０の子（文字スコア：０．２１のＭＳＥＲと文字スコア：０．０３のＭＳＥＲ、２つのリーフ）を削除し、ＭＳＥＲ２０２０の親（文字スコア：０．８３のＭＳＥＲ）、ＭＳＥＲ２０２０の子（文字スコア：０．５８のＭＳＥＲと文字スコア：０．３２のＭＳＥＲ、２つのリーフ）を削除して、図２１の例に示すような状態になる。
以上の処理を全ての木が単一ノードのみになるまで繰り返す。
【００３９】
図２２は、本実施の形態（包含関係修正モジュール４４０）による処理例を示すフローチャートである。
ステップＳ２２０２では、複数のノードを有する木を選択する。
ステップＳ２２０４では、文字スコア最大のＭＳＥＲを文字領域として特定する。
ステップＳ２２０６では、木構造中の親と子を削除する。
ステップＳ２２０８では、全ての木のノード数が１であるか否かを判断し、全ての木のノード数が１である場合は、処理を終了し（ステップＳ２２９９）、それ以外の場合はステップＳ２２０２へ戻る。
【００４０】
特定文字領域情報１３５は、包含関係修正モジュール４４０により抽出されたノード集合が文字として特定されたＭＳＥＲとなる。前述の例では、図２１の状態である。これを特定文字領域と呼ぶことにする。特定文字領域情報１３５は文字候補領域情報１２５と同一フォーマットか、文字候補領域情報１２５のインデックス情報で表現される。
【００４１】
情景画像内の文字は、影や反射等の影響で本来文字が備えている画像的特徴を失っている場合があり、文字領域から必ずしも高い文字スコアが得られるとは限らない。したがって、文字スコアのみを基準に文字／非文字判定すると文字スコアの低い文字領域が検出されない場合がある。
包含関係修正モジュール４４０では、領域間の包含関係も利用することで、文字スコアの低い領域の検出も可能となる。
文字領域は文字スコアの高い方から順に特定される。文字スコアの高い領域は文字領域としての信頼性が高いので、全体として信頼性の高い処理になる。
影や反射等の影響で文字スコアの値が低くなった文字領域は、文字スコアの低いノード群から構成される部分木に属することになる。しかし、この部分木の中で最も文字スコアの高い領域が文字領域として特定されるので、依然として結果の信頼性は高い。
【００４２】
図２３を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図２３に示す構成は、例えばパーソナルコンピュータ（ＰＣ）等によって構成されるものであり、スキャナ等のデータ読み取り部２３１７と、プリンタ等のデータ出力部２３１８を備えたハードウェア構成例を示している。
【００４３】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２３０１は、前述の実施の形態において説明した各種のモジュール、すなわち、画像受付モジュール１１０、文字候補領域検出モジュール１２０、文字領域特定モジュール１３０、文字認識モジュール１４０、包含関係構築モジュール４１０、文字領域特徴抽出モジュール４２０、文字スコア算出モジュール４３０、包含関係修正モジュール４４０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
【００４４】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２３０２は、ＣＰＵ２３０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２３０３は、ＣＰＵ２３０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバス等から構成されるホストバス２３０４により相互に接続されている。
【００４５】
ホストバス２３０４は、ブリッジ２３０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス２３０６に接続されている。
【００４６】
キーボード２３０８、マウス等のポインティングデバイス２３０９は、操作者により操作される入力デバイスである。ディスプレイ２３１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）等があり、各種情報をテキストやイメージ情報として表示する。
【００４７】
ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）２３１１は、ハードディスク（フラッシュメモリ等であってもよい）を内蔵し、ハードディスクを駆動し、ＣＰＵ２３０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、対象とする画像、情景画像情報１１５、文字候補領域情報１２５、特定文字領域情報１３５、文字認識結果等が格納される。さらに、その他の各種データ、各種コンピュータ・プログラム等が格納される。
【００４８】
ドライブ２３１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体２３１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース２３０７、外部バス２３０６、ブリッジ２３０５、及びホストバス２３０４を介して接続されているＲＡＭ２３０３に供給する。リムーバブル記録媒体２３１３も、ハードディスクと同様のデータ記録領域として利用可能である。
【００４９】
接続ポート２３１４は、外部接続機器２３１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート２３１４は、インタフェース２３０７、及び外部バス２３０６、ブリッジ２３０５、ホストバス２３０４等を介してＣＰＵ２３０１等に接続されている。通信部２３１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部２３１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部２３１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
【００５０】
なお、図２３に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図２３に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図２３に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器（携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む）、情報家電、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。
【００５１】
前述の実施の形態を次のようにしてもよい。
・最大の文字スコアを有している領域の画像を、その親・子とともに表示する文字特定領域表示モジュールを付加してもよい。
さらに、操作者の操作によって、その文字特定領域表示モジュールによって表示される親・子のいずれかの領域に文字特定結果を変更する文字特定結果修正モジュールを付加してもよい。
操作者の操作による修正を可能にするとともに、最大の文字スコアを有している領域とその親・子のみから選択すればよいので、操作者の負担を軽減できる。
・木構造の中の最大の文字スコアが予め定められた値未満又は以下の場合は、その木構造中の全ての候補領域を除外する包含関係修正モジュールを付加するようにしてもよい。
例えば、文字スコアが極端に低い場合はノイズ（非文字領域）である可能性が高いので、この処理により誤検出率を低減できる。
・本実施の形態では、文字領域の検出をしているが、例えば、画像の領域ラベリングに適用してもよい。なお、画像の領域ラベリングとは、例えば、風景画像の各領域に対して、空、雲、海、地面、木、等のラベルを付与するものである。
【００５２】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
【符号の説明】
【００５３】
１００…画像処理装置
１１０…画像受付モジュール
１１５…情景画像情報
１２０…文字候補領域検出モジュール
１２５…文字候補領域情報
１３０…文字領域特定モジュール
１３５…特定文字領域情報
１４０…文字認識モジュール
２１０…撮影装置
２３０…情報処理装置
３１０…ユーザー端末
３３０…情報処理装置
３９０…通信回線
４１０…包含関係構築モジュール
４２０…文字領域特徴抽出モジュール
４３０…文字スコア算出モジュール
４４０…包含関係修正モジュール
【図１】
2016151978.tif 000005
【図２】
2016151978.tif 000006
【図３】
2016151978.tif 000007
【図４】
2016151978.tif 000008
【図５】
2016151978.tif 000009
【図６】
2016151978.tif 000010
【図７】
2016151978.tif 000011
【図８】
2016151978.tif 000012
【図９】
2016151978.tif 000013
【図１０】
2016151978.tif 000014
【図１１】
2016151978.tif 000015
【図１２】
2016151978.tif 000016
【図１３】
2016151978.tif 000017
【図１４】
2016151978.tif 000018
【図１５】
2016151978.tif 000019
【図１６】
2016151978.tif 000020
【図１７】
2016151978.tif 000021
【図１８】
2016151978.tif 000022
【図１９】
2016151978.tif 000023
【図２０】
2016151978.tif 000024
【図２１】
2016151978.tif 000025
【図２２】
2016151978.tif 000026
【図２３】
2016151978.tif 000027