(57)【要約】【課題】  少ない元画像を用いて構築した教師データベースを用いて、高い識別精度を有するモデルを学習する。【解決手段】  情報処理装置を用いて、クラスに対応付けられた画像から、分類器を学習するための教師データベースを生成する情報処理システムであって、画像処理部と、画像特徴量算出部と、データベース生成部を備えるものである。画像処理部は、画像を分割して複数の分割画像を生成する。画像特徴量算出部は、分割画像の特徴量を算出する。データベース生成部は、特徴量に基づいて分割画像の少なくとも一部を削除して、クラスに対応付けられた分割画像の複数の組からなる教師データベースを生成する。【選択図】  図１
2020160543.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置を用いて、クラスに対応付けられた画像から、分類器を学習するための教師データベースを生成する情報処理システムであって、
画像処理部と、画像特徴量算出部と、データベース生成部を備え、
前記画像処理部は、前記画像を分割して複数の分割画像を生成し、
前記画像特徴量算出部は、前記分割画像の特徴量を算出し、
前記データベース生成部は、前記特徴量に基づいて前記分割画像の少なくとも一部を削除して、前記クラスに対応付けられた前記分割画像の複数の組からなる教師データベースを生成する、
情報処理システム。
【請求項２】
情報処理装置を用いて、クラスに対応付けられた画像から、分類器を学習するための教師データベースを生成する情報処理システムであって、
画像処理部と、画像特徴量算出部と、データベース生成部を備え、
前記画像処理部は、前記画像を分割して複数の分割画像を生成し、
前記画像特徴量算出部は、前記分割画像の特徴量を算出し、
前記データベース生成部は、前記特徴量に基づいて前記分割画像の少なくとも一部を選択して、前記クラスに対応付けられた前記分割画像の複数の組からなる教師データベースを生成する、
情報処理システム。
【請求項３】
前記特徴量は、構造パターン、周波数、および平均エントロピーから選ばれた少なくとも一つである、
請求項１または２記載の情報処理システム。
【請求項４】
前記画像は、偏光顕微鏡画像である、
請求項１または２記載の情報処理システム。
【請求項５】
前記画像処理部は、前記画像または分割画像をグレースケール化する、
請求項１または２記載の情報処理システム。
【請求項６】
前記画像処理部は、前記画像を圧縮する、
請求項１または２記載の情報処理システム。
【請求項７】
前記画像処理部は、前記画像または分割画像を回転する、
請求項１または２記載の情報処理システム。
【請求項８】
前記特徴量の閾値を記憶する閾値記憶部を備え、
前記データベース生成部は、前記特徴量に対して前記閾値を適用して前記分割画像の少なくとも一部を削除する、
請求項１または２記載の情報処理システム。
【請求項９】
前記閾値記憶部に前記閾値を設定するインターフェースを備える、
請求項８記載の情報処理システム。
【請求項１０】
前記画像特徴量算出部は、特定のクラスに対応付けられた分割画像の特徴量の範囲、分布、および平均値のうちの少なくとも一つを出力し、
前記データベース生成部は、前記特徴量の範囲、前記分布、および前記平均値の少なくとも一つを用いて前記分割画像の少なくとも一部を削除する、
請求項１または２記載の情報処理システム。
【請求項１１】
前記教師データベースを用いて学習した階層型ニューラルネットワークを格納する学習済モデル記憶部と、
前記階層型ニューラルネットワークを用いて、解析画像を分類する画像分類部を備え、
前記画像分類部は、前記解析画像を分割し、分割した画像を前記階層型ニューラルネットワークの入力とする、
請求項１または２記載の情報処理システム。
【請求項１２】
前記画像分類部は、前記解析画像を分割し、分割した解析画像を前記階層型ニューラルネットワークの入力としたとき、
分割した解析画像のそれぞれに対する前記階層型ニューラルネットワークの出力結果の多数決により、前記解析画像のクラスを判定する、
請求項１１記載の情報処理システム。
【請求項１３】
前記教師データベースを構成する、前記クラスに対応付けられた前記分割画像、および、前記教師データベースを構成しない、前記クラスに対応付けられた前記分割画像、の少なくとも一つを表示する画像表示部を備える、
請求項１または２記載の情報処理システム。
【請求項１４】
前記画像表示部は、
前記教師データベースを構成する、前記クラスに対応付けられた前記分割画像の、前記教師データベースからの削除、および、前記教師データベースを構成しない、前記クラスに対応付けられた前記分割画像の、前記教師データベースへの追加、の少なくとも一つを指示可能なインターフェースを備える、
請求項１３記載の情報処理システム。
【請求項１５】
データベース調整部を備え、
前記画像分類部は、前記解析画像を分割し、分割した解析画像の特徴量を算出し、
前記データベース調整部は、前記教師データベースを構成する、前記クラスに対応付けられた前記分割画像の特徴量と、前記分割した解析画像の特徴量を、対比させて表示する、
請求項１１記載の情報処理システム。
【請求項１６】
前記データベース調整部は、
前記対比させた表示に対してユーザが入力する指示を受付け、前記指示に基づいて前記教師データベースを構成する、前記クラスに対応付けられた前記分割画像の特徴量が変化するように、前記分割画像を再生成する、
請求項１５記載の情報処理システム。
【請求項１７】
情報処理装置を用いて、クラスに対応付けられた画像から、分類器を学習するための教師データベースを生成する情報処理システムであって、
画像処理部と、画像特徴量算出部と、データベース生成部と、画像表示部を備え、
前記画像処理部は、前記画像を分割して複数の分割画像を生成し、
前記画像特徴量算出部は、前記分割画像の特徴量を算出し、
前記データベース生成部は、前記特徴量に基づいて前記分割画像の少なくとも一部を削除して、前記クラスに対応付けられた前記分割画像の複数の組からなる教師データベースを生成し、
前記画像表示部は、前記教師データベースを構成する、前記クラスに対応付けられた前記分割画像、および、前記教師データベースを構成しない、前記クラスに対応付けられた前記分割画像、の少なくとも一つを表示する、
情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は情報処理技術にかかわり、特に機械学習を用いた画像の分類技術に関する。
【背景技術】
【０００２】
従来、例えば顕微鏡等で取得される物質構造の組成や光学異方性等を識別するためには、目視で確認することが一般的であった。この場合、人による認識の差や周囲環境の影響により、正確な判断は困難である。また、作業者の負担やコストも課題となる。
【０００３】
近年のコンピューターの性能向上、とりわけ人工知能（ＡＩ）の技術の向上と共に、画像処理技術の研究開発が進んでいる。この分野の技術で代表的な階層型ニューラルネットワークを用いた画像処理では、階層型ニューラルネットワークの結合の重みを最適化することにより、目的とする処理に適合するモデルを構成する機械学習と呼ばれる処理を行なう。
【０００４】
階層型ニューラルネットワークを用いた機械学習は、教師あり学習と教師なし学習に大きく分けることができる。教師あり学習では、入力ｘとそれに対する正解出力ｔのペアの集合を学習用データ（以降「教師データ」という）として、データベースを構築する（以降「教師データベース」という）。機械学習では、教師データベースを用いて、階層型ニューラルネットワークに所定の入力をしたときの出力が正解に近づくように階層型ニューラルネットワークの結合の重みを調節する。適切に学習されたモデルは、入力に対して精度よく正解を出力することができるようになる。
【０００５】
特許文献１には、機械学習に関連して、「生物試料を異なる種類の組織領域にセグメント化するために、適応分類を使用して生物試料の画像をセグメント化する方法」が開示されている。
【０００６】
非特許文献１には、繰り返しパターンを用いてテクスチャ画像を分析する際に、入力画像を分割し、投票スコアを用いて分類することが記載される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表2017−510792号公報
【非特許文献】
【０００８】
【非特許文献１】"Deep Learning for Biomedical Texture Image Analysis", Vincent Andrearczyk et.al, Proceedings of the 18th Irish Machine Vision and Image Processing conference IMVIP 2016
【発明の概要】
【発明が解決しようとする課題】
【０００９】
適切に学習されたモデルを用いた画像識別は、効率的で正確な物質構造の分類を可能とするが、モデルを学習するための、適切な教師データベースが準備できることが前提となる。教師データベースとして求められるのは量と質である。すなわち、処理対象となる可能性のある画像のパターンを広く網羅し、またそれに適切な正解が付されていることが必要となる。
【００１０】
教師データとして例えば偏光顕微鏡等で取得した画像を用いる場合、理想的な教師データベースを準備するためには、大量の偏光顕微鏡画像を取得しなければならず、このためのコストが問題となる。そこで、少ない量の偏光顕微鏡画像から、大規模な教師データベースを構築する手法が重要となる。
【００１１】
少ない量の偏光顕微鏡画像から多量の教師データを構築するため、元の偏光顕微鏡画像（以降「元画像」という）を分割処理することにより、教師データベースを拡充するアプローチが考えられる。しかしながら、偏光顕微鏡画像を分割処理した場合、分割された画像が元の偏光顕微鏡画像の構造とは異なる、他の構造と混同されやすい画像となることが考えられる。このような場合、教師データの入力ｘとそれに対する正解出力ｔの対応が不適切となるため、この教師データを用いて学習したモデルの識別精度も低下するおそれがある。
【００１２】
そこで、少ない元画像を用いて構築した教師データベースを用いて、高い識別精度を有するモデルを学習することが課題となる。
【課題を解決するための手段】
【００１３】
本発明の好ましい一側面は、情報処理装置を用いて、クラスに対応付けられた画像から、分類器を学習するための教師データベースを生成する情報処理システムであって、画像処理部と、画像特徴量算出部と、データベース生成部を備えるものである。画像処理部は、画像を分割して複数の分割画像を生成する。画像特徴量算出部は、分割画像の特徴量を算出する。データベース生成部は、特徴量に基づいて分割画像の少なくとも一部を削除して、クラスに対応付けられた分割画像の複数の組からなる教師データベースを生成する。
【００１４】
本発明の好ましい他の一側面は、情報処理装置を用いて、クラスに対応付けられた画像から、分類器を学習するための教師データベースを生成する情報処理システムであって、画像処理部と、画像特徴量算出部と、データベース生成部を備えるものである。画像処理部は、画像を分割して複数の分割画像を生成する。画像特徴量算出部は、分割画像の特徴量を算出する。データベース生成部は、特徴量に基づいて分割画像の少なくとも一部を選択して、クラスに対応付けられた分割画像の複数の組からなる教師データベースを生成する。
【００１５】
本発明の好ましい他の一側面は、情報処理装置を用いて、クラスに対応付けられた画像から、分類器を学習するための教師データベースを生成する情報処理方法である。この方法では、画像を分割して分割画像を生成し、分割画像の特徴量を算出し、特徴量に基づいて分割画像の少なくとも一部を削除して、クラスに対応付けられた分割画像の複数の組からなる教師データベースを生成する。
【００１６】
本発明の好ましい他の一側面は、情報処理装置を用いて、クラスに対応付けられた画像から、分類器を学習するための教師データベースを生成する情報処理システムである。このシステムは、画像処理部と、画像特徴量算出部と、データベース生成部と、画像表示部を備える。画像処理部は、画像を分割して複数の分割画像を生成する。画像特徴量算出部は、分割画像の特徴量を算出する。データベース生成部は、特徴量に基づいて分割画像の少なくとも一部を削除して、クラスに対応付けられた分割画像の複数の組からなる教師データベースを生成する。画像表示部は、教師データベースを構成する、クラスに対応付けられた分割画像、および、教師データベースを構成しない、クラスに対応付けられた分割画像、の少なくとも一つを表示する。
【００１７】
本発明の好ましい他の一側面は、情報処理装置を用いて、クラスに対応付けられた画像から、分類器を学習するための教師データベースを生成する情報処理方法である。この方法は、画像を分割して分割画像を生成し、分割画像の特徴量を算出し、特徴量に基づいて分割画像の少なくとも一部を削除して、クラスに対応付けられた分割画像の複数の組からなる教師データベースを生成する。そして、教師データベースを構成する、クラスに対応付けられた分割画像、および、教師データベースを構成しない、クラスに対応付けられた分割画像、の少なくとも一つを表示し、表示に応じて指示される教師データベースの修正を行なう。
【００１８】
本発明の好ましい他の一側面は、情報処理装置を用いて、クラスに対応付けられた画像から、分類器を学習するための教師データベースを生成する情報処理方法である。この方法は、画像を分割して分割画像を生成し、分割画像の特徴量を算出し、クラスに対応付けられた分割画像の複数の組からなる教師データベースを生成し、分類器での解析対象となる解析画像を分割し、分割した解析画像の特徴量を算出し、教師データベースを構成する、クラスに対応付けられた分割画像の特徴量と、分割した解析画像の特徴量を、対比させて表示する。
【００１９】
本発明の好ましい他の一側面は、情報処理装置を用いて、クラスに対応付けられた教師画像から、分類器を学習するための教師データベースを生成する情報処理方法である。この方法では、クラスに対応付けられた教師画像の特徴量を算出し、分類器での解析対象となる解析画像の特徴量を算出し、教師画像の特徴量と、解析画像の特徴量を、対比させて表示し、表示に対応して入力される教師画像の画像処理の指示を受付け、画像処理の指示に基づいて教師画像を画像処理し、画像処理された教師画像を用いて教師データベースを生成する。
【発明の効果】
【００２０】
少ない元画像を用いて構築した教師データベースを用いて、高い識別精度を有するモデルを学習することができる。
【図面の簡単な説明】
【００２１】
【図１】実施例に係わる物質構造解析システムの構成ブロック図。
【図２】物質構造解析システム全体的な処理を示す物質構造解析フローチャート。
【図３】画像処理部における処理を示すフローチャート。
【図４】画像特徴量算出部における処理を示すフローチャート。
【図５】データベース生成部における処理を示すフローチャート。
【図６】データベース生成部における分割画像の選択の概念を説明する概念図。
【図７】ユーザー閾値設定画面の例を示すイメージ図。
【図８】解析画像処理の一部のフローチャート。
【図９】画像分類部が行なう多数決の手法を説明する概念図。
【図１０】実施例の効果を示すグラフ図。
【図１１】実施例２に係わる物質構造解析システムの構成ブロック図。
【図１２】他の物質構造解析システム全体的な処理を示す物質構造解析フローチャート。
【図１３】実施例２の作業画面の例を示すイメージ図。
【図１４】実施例２のモデル再学習に係わる処理を示すフローチャート。
【発明を実施するための形態】
【００２２】
実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
【００２３】
以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。
【００２４】
同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。
【００２５】
本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
【００２６】
図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。
【００２７】
本明細書で引用した刊行物、特許および特許出願は、そのまま本明細書の説明の一部を構成する。
【００２８】
本明細書において単数形で表される構成要素は、特段文脈で明らかに示されない限り、複数形を含むものとする。
【実施例１】
【００２９】
＜１．システム構成＞
図１は、実施例に係わる物質構造解析システムの構成ブロック図である。図１の物質構造解析システム１０１は、基本的にはサーバ等の情報処理装置で構成されている。基本的な構成は、一般的なサーバと同様に、入力装置、出力装置、処理装置、および記憶装置を備えている。
【００３０】
本実施例では計算や制御等の機能は、記憶装置に格納されたプログラムが処理装置によって実行されることで、定められた処理を他のハードウエアと協働して実現される。計算機などが実行するプログラム、その機能、あるいはその機能を実現する手段、また、データあるいはデータベースを記憶している記憶装置の一部または全部を、「〜部」、「機能」、「手段」等と呼ぶ場合がある。
【００３１】
また、情報処理装置の構成は、単体のサーバで構成してもよいし、あるいは、入力装置、出力装置、処理装置、記憶装置の任意の部分が、ネットワークで接続された複数のサーバで構成されてもよい。また、本実施例中、ソフトウエアで構成した機能と同等の機能は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）などのハードウエアでも実現できる。
【００３２】
物質構造解析システム１０１の物理的な構成は上記のとおりであるが、図１では機能的な特徴に着目して機能ブロック図として示している。
【００３３】
磁気ディスク装置や半導体記憶装置、あるいはこれらの組み合わせからなる記憶装置１０３には、データの記憶領域として、構造既知画像記憶部１０５（画像記憶部１１５と構造クラス記憶部１１６を含む）、解析画像記憶部１０６、閾値記憶部１０７、データベース記憶部１０８、学習済モデル記憶部１０９を有する。
【００３４】
処理装置１０４には、処理装置がソフトウエアで実行する機能として、画像処理部１１０、画像特徴量算出部１１１、データベース生成部１１２、分類器学習部１１３、画像分類部１１４を有する。
【００３５】
入出力装置１０２は、キーボードやマウス等の周知の入力装置と、画像表示装置など周知の出力装置を有する。もっとも、印刷機能や通信機能など他の機能を備えていても良い。また、偏光顕微鏡やビデオカメラなどの機器から画像データを入力するための、インターフェースを備えていても良い。本実施例では、処理対象とする画像は偏光顕微鏡画像として説明するが、画像はこれに限るものではない。
【００３６】
構造既知画像記憶部１０５は、構造が既知の偏光顕微鏡画像を記憶するものである。画像記憶部１１５は偏光顕微鏡画像（元画像）の集合を記憶し、構造クラス記憶部１１６は各元画像に対応した構造クラスを記憶する。これらのデータの組を「構造既知画像」ということにする。偏光顕微鏡画像の場合、構造クラスは例えば「光学異方性なし」、「光学異方性１」、「光学異方性２」等である。光学的異方性の例としては、たとえば液晶の場合、ネマティック（Nematic）液晶構造、スメクティック（Smectic）液晶構造等の区別がある。教師データは、人が偏光顕微鏡画像を目視して判別し、構造クラスを付与することにより作成することができる。あるいは予め構造が分かっている試料から元画像を取得し、構造クラスを付しても良い。
【００３７】
解析画像記憶部１０６は、解析対象となる構造が未知の偏光顕微鏡画像（以降「解析画像」という）を記憶する部分である。解析画像は、学習済モデル記憶部１０９に記憶されるモデルを用いて、画像分類部１１４にて分類が行なわれる。
【００３８】
閾値記憶部１０７は、データベース生成部１１２において、画像をデータベースとして採用するかどうかを決定するための、画像の特徴量の閾値を記憶する部分である。
【００３９】
データベース記憶部１０８は、データベース生成部１１２で生成された、教師データベースを格納する部分である。
【００４０】
学習済モデル記憶部１０９は、データベース記憶部１０８に記憶された教師データベースによって学習された、階層型ニューラルネットワーク等によるモデルを記憶する部分である。
【００４１】
画像処理部１１０は、構造既知画像記憶部１０５の画像記憶部１１５から取得した偏光顕微鏡画像（元画像）に分割などの処理を行なう部分である。画像処理部１１０で処理された画像を、便宜上「分割画像」という。
【００４２】
画像特徴量算出部１１１は、各分割画像について、特徴量を算出する部分である。公知ではあるが、画像の特徴量としては、例えば色度、輝度、コントラスト、構造パターン、周波数や情報量（エントロピー）など種々のものがあるが、生成しようとするモデルの目的に即して選択する。ここで構造パターンとは、たとえば材料の光学異方性の有無による画像の明暗変化である。また、周波数とはパターン変化の周期性を表す。エントロピーは、例えば画像の平均エントロピーを用いる。
【００４３】
データベース生成部１１２は、分割画像の特徴量と閾値記憶部１０７に記憶された閾値に基づいて、教師データベースに採用する分割画像を選択して、教師データベースを生成する部分である。生成された教師データベースは、上述のようにデータベース記憶部１０８に記憶される。
【００４４】
分類器学習部１１３は、データベース記憶部１０８に記憶された拡張された教師データベースを用いて、階層型ニューラルネットワーク等を学習する部分である。学習された階層型ニューラルネットワーク等は、上述のように学習済モデル記憶部１０９に記憶される。
【００４５】
画像分類部１１４は、学習済モデル記憶部１０９に記憶された階層型ニューラルネットワーク等を用いて、分類したい画像を分類する部分である。
【００４６】
上記のうち、解析画像記憶部１０６、学習済モデル記憶部１０９、分類器学習部１１３、画像分類部１１４、画像記憶部１１５、構造クラス記憶部１１６は、従来から行なわれている機械学習の技術を適用できるため、詳細な説明を割愛し、その他の構成について詳細に説明する。
【００４７】
＜２．全体処理フロー＞
図２は、物質構造解析システム１０１の全体的な処理を示す物質構造解析フローチャートである。図１の物質構造解析システム１０１は、（１）拡張された教師データベースの生成、（２）当該教師データベースによるモデルの学習、（３）学習されたモデルを利用した画像の分類、の全ての機能を含んでいる。よって、図２においても、全ての機能によるプロセスを説明しているが、これらの機能を別々のシステムで別々のプロセスとして実施してもよい。
【００４８】
まず、画像処理部１１０は、構造既知画像記憶部１０５から構造既知画像を読み込む（Ｓ２０１）。次に、画像処理部１１０は、構造既知画像の元画像を処理する（Ｓ２０２）。画像処理部１１０での処理の詳細は、図３で説明する。
【００４９】
次に、画像特徴量算出部１１１は、画像処理部１１０で処理された分割画像について、特徴量を算出する（Ｓ２０３）。画像特徴量算出部１１１での処理の詳細は、図４で説明する。算出された特徴量はデータベース生成部１１２に送られる。
【００５０】
データベース生成部１１２では、閾値記憶部１０７から閾値を読み込む（Ｓ２０４）。そして、データベース生成部１１２は、分割画像の特徴量と閾値を比較して、教師データベースに採用する分割画像の取捨選択を行い、採用した分割画像を教師データとして生成する（Ｓ２０５）。教師データは、拡張された教師データベースの一部として、データベース記憶部１０８に格納される。データベース生成部１１２での処理の詳細は、図５で説明する。
【００５１】
以上が、拡張された教師データベースの生成手順である。以降は、生成された教師データベースを用いた分類器の学習と、学習した分類器を用いた画像の分類である。これらは、基本的には従来技術を踏襲することができる。
【００５２】
分類器学習部１１３は、階層型ニューラルネットワーク等を、データベース記憶部１０８に格納されている教師データベースを用いて学習して、モデル（分類器）を生成する（Ｓ２０６）。学習が完了したモデルは、学習済モデル記憶部１０９に格納される。
【００５３】
画像分類部１１４によって分類したい解析画像は、解析画像記憶部１０６から読み込まれる（Ｓ２０７）。解析画像は、解析画像処理部（図面に記載なし）により処理される（Ｓ２０８）。解析画像処理部では、教師画像と同様に、解析画像のグレースケール化、圧縮、分割などの処理が行なわれる。画像分類部１１４は、学習済モデル記憶部１０９から学習済みの分類器を読み出し（Ｓ２０９）、処理された解析画像を分類器に入力して構造を分類する（Ｓ２１０）。画像分類部１１４での処理の詳細は、図８で説明する。
【００５４】
＜３．画像処理部の処理＞
図３は、画像処理部１１０における処理を示すフローチャートである。図２の構造既知画像処理Ｓ２０２の詳細を示している。まず、画像処理部１１０は、構造既知画像記憶部１０５から構造既知画像のデータを読み込む（Ｓ３０１）。このデータでは、偏光顕微鏡画像（元画像）とその構造クラスが対応付けられている。以降では、構造既知画像記憶部１０５から読み出した全ての構造クラスの元画像に対して、画像処理部１１０で処理が行なわれる。
【００５５】
まず、偏光顕微鏡画像（元画像）を圧縮、すなわちサイズを縮小する（Ｓ３０２）。この後の分割処理では、分割後の分割画像の大きさが固定である。このため、分割画像の大きさに対して元画像が大きすぎると、分割画像に画像の特徴が含まれなくなる場合がある。このため画像を圧縮することで、分割画像に十分特徴が含まれるようにしている。なお、この処理は、元画像と分割画像の大きさの関係によっては省略しても良い。
【００５６】
次に、画像をグレースケール化する（Ｓ３０３）。元画像が偏光顕微鏡画像の場合には、光学異方性構造がコントラストで表されるため、グレースケール化によってテクスチャの解析が容易になる。すなわち、偏光顕微鏡画像の色変化は観察材料の厚みに依存性が高く、構造識別には重要度が低いため、画像識別用特徴量の次元を減少して、処理時間を短縮する観点からグレースケール化を行うことが望ましい。
【００５７】
次に、一つの元画像を複数の分割画像に分割する（Ｓ３０４）。ここでいう分割とは、文字通り元画像を２次元的に分割することである。次に、分割画像のそれぞれを例えば９０度ずつ回転させて、新たに３つの画像を生成する（Ｓ３０５）。これらの処理により、教師データの画像の数が増えることになる。例えば、分割処理Ｓ３０４で１枚の元画像をｎ個に分割して、回転処理Ｓ３０５で各分割画像を９０度ずつ回転させると、元の偏光顕微鏡画像は（４×ｎ）枚に増えることになる。画像処理部１１０で生成した分割画像は、元画像の構造クラスと対応付けて記憶装置（図示せず）に記憶しておく。なお、処理Ｓ３０２〜処理Ｓ３０５の順序は変更することもできるが、画像の圧縮は分割の前に行なう。
【００５８】
＜４．画像特徴量算出部の処理＞
図４は、画像特徴量算出部１１１における処理を示すフローチャートである。図２の処理済み画像特徴量算出処理Ｓ２０３の詳細を示している。画像特徴量算出部１１１は、画像処理部１１０で処理された、上記（４×ｎ）枚の分割画像を読み込む（Ｓ４０１）。これらの分割画像は、元の偏光顕微鏡画像（元画像）の構造クラスが対応付けられている。次に、画像特徴量算出部１１１は、１または複数の特徴量を、各分割画像に対して算出する。特徴量としては、例えば平均周波数（Ｓ４０２）、エントロピー（Ｓ４０３）、平均輝度（Ｓ４０４）等であるが、これらに加えあるいはこれらに代えて他の特徴量を用いても良い。
【００５９】
次に画像特徴量算出部１１１は、構造クラスごとに、当該構造クラスに属する全ての分割画像の特徴量の範囲を出力して記憶する（Ｓ４０５）。このとき、構造クラスごとに特徴量の分布を集計しても良い。あるいは、構造クラスごとに特徴量の平均値を計算しても良い。画像特徴量算出部１１１で得られたデータは、記憶装置（図示せず）に記憶しておく。これらのデータは、閾値記憶部１０７に記憶する閾値を設定するために用いられる。閾値の設定については後に図７で説明する。
【００６０】
＜５．データベース生成部の処理＞
図５は、データベース生成部１１２における処理を示すフローチャートである。図２の教師画像データセット生成処理Ｓ２０５の詳細を示している。データベース生成部１１２は、画像処理部１１０で生成した分割画像に対応する構造クラスを読み込む（Ｓ５０１）。構造クラスの中には、画像中にテクスチャやパターンが見られるもの（例えば光学異方性のあるもの）や、画像のパターンが均一なもの（例えば光学異方性のないもの）がある。画像のパターンが均一な構造クラスに対しては、基本的に分割画像も互いに同質のため、以降の処理を省略してもよい（Ｓ５０２）。
【００６１】
画像のパターンが均一でない構造クラスに対しては、データベース生成部１１２は、当該構造クラスに対応する閾値を閾値記憶部１０７から読み込む（Ｓ５０３）。そして、当該構造クラスに対応付けられた全ての分割画像に対して、特徴量と閾値を比較し（Ｓ５０４）、特徴量が閾値を超えている場合にはその分割画像は削除し（Ｓ５０５）、特徴量が閾値以下の場合にはその分割画像を対応する構造クラスとともに、教師データベースの一部（教師画像データセット）として、データベース記憶部１０８に記憶する（Ｓ５０６）。この処理を、全ての構造クラスの分割画像に対して、全ての特徴量に対して行なう。
【００６２】
なお、上記では、特徴量が閾値を超えた場合に、その分割画像を教師データとして不適切と判定している。しかし、特徴量が閾値を下回る場合に、その分割画像を教師データとして不適切と判定するように特徴量を定義してもよいし、２つの閾値を用いて、特徴量が満足すべき範囲を規定しても良い。
【００６３】
図６は、データベース生成部１１２における、分割画像の選択の概念を説明するための図である。図６は１枚の偏光顕微鏡画像（元画像）が、画像処理部１１０で２４枚の分割画像に分割された様子を示している。この偏光顕微鏡画像はもともと構造クラスＢの構造を持つ試料から得られたものであり、元画像には構造クラスＢが対応付けられている。
【００６４】
しかしながら、画像処理部１１０で元画像を分割することにより、構造クラスＡに類似する特徴量を有する分割画像６０１及び、構造クラスＣに類似する特徴量を有する分割画像６０２が生成されてしまう。よって、このような分割画像６０１と６０２を教師データから削除することが必要になる。この処理のために、後述するように設定した閾値を用いて、分割画像の取捨選択を行なう。
【００６５】
本実施例のデータベース生成部１１２が生成した教師データベースでは、分割画像を再結合した場合、元画像の一部が欠けたデータとなるという特徴がある。
【００６６】
＜６．閾値の設定手法＞
図７は、ユーザー閾値設定画面の例を示すイメージ図である。このような画面は、例えば入出力装置１０２の画像表示装置に表示される。図７の例では、教師データとする教師画像を分割画像から選別する閾値を、ユーザが手動で選別する例を示している。ユーザは、自分の経験に基づいて、対象としている構造クラスが持っていると想定される特徴量の範囲を設定することができる。図７では、平均周波数、エントロピー、平均輝度値の３つの特徴量の閾値が手動で設定できるようになっている。ここで設定した閾値は、閾値記憶部１０７に記憶され、データベース生成部１１２が教師画像を分割画像から選別する際に用いられる、
教師データとする教師画像を分割画像から選別する処理は、自動化することもできる。例えば、先に画像特徴量算出部１１１が算出した、構造クラスごとの分割画像の特徴量の分布を用い、データベース生成部１１２が、特徴量の分布から乖離した特徴量を持つ分割画像を除外する処理を行なう。あるいは、例えば、先に画像特徴量算出部１１１が算出した構造クラスごとの分割画像の特徴量の平均値を用い、データベース生成部１１２が、特徴量の平均値から所定以上の差が有る分割画像を除外する処理を行なう。これらは結局、元画像の特徴から乖離した分割画像を抽出する処理であり、種々の統計学上の一般的手法を適用することができる。選別処理を自動化する場合には、閾値記憶部１０７には、処理のために用いる各種パラメータを記憶しておく。選別を自動化する場合には、図５の閾値を用いた処理Ｓ５０４は、統計学的手法を用いたアルゴリズムによる自動選別処理に置き換わる。
【００６７】
乖離した特徴量を持つ分割画像を除外する処理の具体的な例としては、当該分割画像をデータベースあるいはユーザに示す選択画面から削除することが考えられる。別の例としては、当該分割画像をデータベースに区別可能な形で残し、ユーザに示す選択画面に表示して、ユーザが教師データとする教師画像として使用するかどうかを指定できるようにしてもよい。
【００６８】
＜７．画像解析処理＞
図８は、図２の解析画像処理Ｓ２０８の詳細を示すフローチャートである。解析すべき偏光顕微鏡画像（解析画像）は、解析画像記憶部１０６から画像分類部１１４に読み込まれる（Ｓ８０１）。解析画像記憶部１０６は、画像処理部１１０の機能を利用して、画像圧縮（Ｓ８０２）、グレースケール化（Ｓ８０３）、分割処理（Ｓ８０４）を行なう。これらは、図３に示した構造既知画像に対する処理と同じ処理とする。
【００６９】
その後分割された解析画像は、学習済モデル記憶部１０９に格納された学習済モデルに入力され、分割された各解析画像の構造クラスが判別される。本実施例では、分割された解析画像のそれぞれについて構造クラスが出力されるので、最終的に分割前の解析画像の構造クラスを判定するためには、多数決の手法を採用する。
【００７０】
図９は画像分類部１１４が行なう多数決の手法を説明するイメージ図と表図である。偏光顕微鏡画像＃００１は、図８の分割処理Ｓ８０４で２４枚の分割画像に分割されているとする。この例では、分類器による分類結果は、構造Ａとされた分割画像が０枚、構造Ｂとされた分割画像が２２枚、構造Ｃとされた分割画像が２枚であり、多数決の結果この解析画像は構造Ｂに分類される。
【００７１】
以上のような多数決による解析処理は最終的に一つの構造が示されるので、例えばネマティック相とスメクティック相のいずれか単一の相からなる材料の分析に好適である。一方、例えばネマティック相とスメクティック相が混在するように、複数種類の相からなる材料の分析では、図９の表に示すような分割画像の識別結果を表示し、相の種類また相の比率を提示することもできる。試料が単一相か複数相かは、分類結果の構造が一つの構造に集中するか、複数の構造に分散するかによって、自動的に推定することもできる。
【００７２】
＜８．実施例の効果＞
図１０は実施例の効果を示すグラフ図である。分類器学習部１１３による分類器の学習は、通常学習プロセスを複数回繰り返して、分類精度を向上させる。図１０の横軸は学習往復回数であり、縦軸は分類精度を示している。
【００７３】
本実施例により、分割画像の選択を行なって生成した教師データベースを用いて学習した分類器は、そうでない例よりも少ない回数で学習が完了し、分類精度も高い。
【００７４】
以上説明したように、本実施例によれば、教師データとして用いる構造既知画像を分割処理により枚数を増加し、他の構造と混同しやすい分割画像は、設定された特徴量の閾値等により選別される。分割画像の選別は自動または手動で可能である。選別された分割画像を用いて生成された教師データによって学習データベースを最適化することができ、識別モデルの精度が向上することになる。
【実施例２】
【００７５】
実施例２では、ユーザとのインターフェースを追加し、教師画像データセットの確認を可能とする例を示す。また、教師画像と解析画像の特徴量を表示し、ユーザが教師データの妥当性を確認して、生成した教師データベースの調整及び分類器の再学習を可能とする例を説明する。
【００７６】
図１１は、実施例２に係わる物質構造解析システム１１０１の構成ブロック図である。図１のシステムに、画像表示部１１０２とデータベース調整部１１０３が追加されている。図１と同様の構成は、同じ符号を付して説明を省略する。
図１２は、実施例２に係わる物質構造解析システム１１０１の全体的な処理を示す物質構造解析フローチャートである。画像表示部１１０２が行なう教師画像データセット表示処理Ｓ１２０１と、データベース調整部１１０３が行なう教師画像データセット適合処理Ｓ１２０２が追加されている。図２と同様の処理は、同じ符号を付して説明を省略する。
図１３は、処理Ｓ１２０２において、データベース調整部１１０３が入出力装置１０２に表示する画面の例である。
図１４は、データベース調整部１１０３が実行する、処理Ｓ１２０２の詳細を示すフローである。
【００７７】
＜９．教師画像データセット表示処理＞
図１２において、教師画像データセット生成処理Ｓ２０５の後、画像表示部１１０２は、元画像（構造既知画像の分割画像）と構造クラスを対応させて入出力装置１０２に表示する。このとき、どの元画像が教師画像に採用され、どの元画像が採用されなかったかを表示する。この表示を経験のあるユーザが確認し、元画像の教師画像への採用可否の妥当性を評価することができる。妥当でないとユーザが判断した場合には、ユーザは手動で元画像の教師画像への追加あるいは削除の少なくともひとつを行う。あるいは、例えば閾値読み込み処理Ｓ２０４の閾値を再設定して、教師画像データセット生成処理Ｓ２０５をやり直す。画像表示部１１０２は、上記機能を備えるＧＵＩ（Graphical User Interface）を、入出力装置１０２に表示する機能を備えることが望ましい。
このようにして、教師データベースを構成する、クラスに対応付けられた分割画像、および、教師データベースを構成しない、クラスに対応付けられた分割画像、の少なくとも一つを表示する画像表示部を備えることにより、ユーザは教師画像データセットの精度をチェックし、修正することが可能となる。
【００７８】
＜１０．教師画像データセット適合処理＞
例えば偏光顕微鏡で取得した画像は、観察した試料の作成方法によって、異なった特徴を有する。例えば厚さ数ミリのバルクな試料と、厚さ数十ミクロンに加工された薄膜試料では、同じ試料であっても観察画像が異なる。一般に、薄膜試料ではバルクな試料より、観察されるパターンが細密化される傾向にある。このため、薄膜試料では画像の特徴量の一つである平均周波数が高域にシフトする。よって、教師画像としてバルクな試料の画像を用いているとき、解析画像として薄膜試料の画像を用いると、誤って分類するおそれがある。
【００７９】
図１２の処理Ｓ１２０２では、解析画像の処理Ｓ２０８の後に、画像や特徴量をユーザに提示し、解析画像に対する教師画像データセットの妥当性を確認させる。本実施例では、前提として教師画像はバルクの試料を用いており、場合によりその教師データセットを用いて薄膜試料を分類したいという状況を想定する。
【００８０】
図１３と図１４を用いて詳細を説明する。図１４において、処理Ｓ１４０１ではユーザが解析したい試料の形態を指定値１として入力する。指定値１は、例えば試料がバルクな資料か、薄膜試料かを指定する。図１３の右上のチェック欄には、観察対象の形態（バルクか薄膜か）が、教師画像の観察対象の形態（バルク）と同一かどうかを入力することにしている。本実施例では、観察対象がバルクの試料である場合は、ＹＥＳにチェックされ、処理Ｓ１２０２のその他の処理はスキップされ、処理Ｓ２０９が実行される。解析画像の形態と教師画像の形態（バルク）が同じだと、形態差由来の特徴量の変化が生じないため、現状のモデルをそのまま利用して良い。
【００８１】
ＮＯにチェックされ薄膜試料が指定された場合には、処理Ｓ１４０２以降が実行される。まず、教師画像と解析画像の画像特徴量を読み込む（処理Ｓ１４０３）。そして、解析画像の元画像を表示する。また、元画像の分割画像の特徴量のプロットと、教師画像の分割画像の特徴量のプロットを表示する（処理Ｓ１４０４）。解析画像の形態（薄膜）と教師画像の形態（バルク）が違う場合、形態差由来の画像平均周波数の増加が発生しやすいため、例えばネマティック相をスメクティック相に誤判断しやすい。この場合、特徴量プロットを表示し、解析画像と各クラスの教師画像の平均周波数が矛盾していないかどうかをユーザが確認し、分布が明確に分かれた場合に平均周波数を調整する。
【００８２】
図１３の下部左側には、教師画像の特徴量と解析画像の特徴量がプロットされている。教師画像の特徴量は、処理Ｓ２０３で算出されたものである。解析画像の特徴量は、処理Ｓ２０８の処理の一部として求めておくものとする。図１３では、例えば特徴量１として平均周波数、特徴量２として平均輝度、Ｂ相教師画像としてネマティック液晶構造、Ｃ相教師画像としてスメクティック液晶構造が対応するとしておく。これらの情報は、教師画像データセットの作成過程より既知である。
【００８３】
また、図１３の上部には解析画像１３０１（薄膜試料の観察画像）が、元画像を分割した形態で１枚表示されている。解析画像は処理Ｓ２０８で圧縮されているものとする。解析画像１３０１を目視した経験豊富なユーザは、観察対象になっている試料の構造クラスを判断し、教師画像（その構造クラスは既知である）の観察対象と同一かどうかを判定可能である。このとき、ユーザに教師画像の構造クラスの一覧を表示し、その中から判定結果を選択させるようにしてもよいし、ユーザに構造クラス名を入力させるようにしてもよい。
【００８４】
さて、いまユーザは表示された解析画像をＢ相（ネマティック液晶）と判定したとする。図１３の特徴量プロット１３０２を見ると、解析画像の特徴量はＣ相の特徴量の分布内に位置するが、Ｂ相の特徴量とは特徴量１（平均周波数）軸上においてずれていることが分かる。この原因は、上述したように試料形態の差異が平均周波数の差異として生じているためである。したがって、平均周波数という特徴量に基づいて分類器が分類を行なうと、誤分類が生じることが予想される。
【００８５】
このような問題を解決するための一手法は、試料形態の差異に影響される特徴量（この例では平均周波数）は、分類に用いないということである。そこでユーザは、図１３のウィンド１３０３に、ユーザ指定値２として、学習モデルの再学習の要否を入力する（処理Ｓ１４０５）。教師画像と解析画像の特徴量が一致しており学習モデルの再学習が不要の場合は、処理は終了し、学習モデルの再学習が要の場合には、分類器再学習処理に進む（処理Ｓ１４０６）。分類器再学習処理Ｓ１４０６では、図１３のウィンド１３０３に、ユーザ指定値３として調整希望特徴量を入力する（処理Ｓ１４０７）。
【００８６】
本例では、特徴量１（平均周波数）を分類に用いないための処理を行なう。そのためには、図１３のプロット表示で説明すると、Ｂ相教師画像、Ｃ相教師画像、および解析画像のすべての特徴量１が同じ範囲にプロットされるように調整すればよい。このようにすれば、特徴量１は画像の分類のためには意味をなさなくなる。
【００８７】
具体的な処理の例としては、調整希望特徴量として特徴量１（平均周波数）を指定する（処理Ｓ１４０７）。データベース調整部１１０３は、データベースのＣ相教師画像をそのまま保留するとともに、Ｃ相の構造既知画像の処理を処理Ｓ２０２に戻し、圧縮処理Ｓ３０２（図３）の圧縮を無効にする（処理Ｓ１４０８）。そして圧縮なしで分割したＣ相教師画像を、処理Ｓ２０３〜Ｓ２０４を経て元のＣ相教師画像に追加する。圧縮なしで分割された画像の平均周波数は下がるため、図１３のＣ相教師画像のプロットには、低い周波数側にプロットが追加されることになる。ついで、処理Ｓ２０３で算出した特徴量に基づいて、Ｃ相教師画像の中で、特徴量１がＢ相教師画像の最大値より大きいものと、最小値より小さいものを削除する。その後、処理Ｓ２０５を再度実行してデータベースを更新する（処理Ｓ１４０９）。
【００８８】
かくして、Ｂ相教師画像とＣ相教師画像は平均周波数の特徴量では区別できなくなった。このように、調整された特徴量を有する教師データにより、分類器が再学習される（処理Ｓ１４１２）。
【００８９】
同様に、調整希望特徴量として特徴量２（平均輝度）を指定したとすると、データベース調整部１１０３は、Ｃ相の構造既知画像の処理を処理Ｓ２０２に戻し、輝度調整を行い（処理Ｓ１４１０）、その後、処理Ｓ２０３〜処理Ｓ２０４を再度実行する（処理Ｓ１４１１）。
【００９０】
一方、解析画像はそのままでは、Ｂ相教師画像とＣ相教師画像の調整された平均周波数より高い平均周波数を有するため、処理Ｓ２０８では解析画像を圧縮なしで分割する、圧縮なしで分割することにより、解析画像の平均周波数はＢ相教師画像とＣ相教師画像の調整された平均周波数と同じ帯域に調整される。
【００９１】
実施例２によれば、クラスに対応付けられた教師画像の特徴量を算出し、分類器での解析対象となる解析画像の特徴量を算出し、教師画像の特徴量と、解析画像の特徴量を、対比させて表示し、表示に対応して入力される教師画像の画像処理の指示を受付け、画像処理の指示に基づいて教師画像を画像処理し、画像処理された教師画像を用いて教師データベースを生成する。この構成により、解析対象となる試料の作成方法等の差異に対して、教師データを適合させることが容易になる。
【００９２】
なお、上記の実施例では、空間周波数を下げる方向で調整を行なったが、上げる方向で調整を行なうことも可能である。また、図１３では、解析画像が１枚表示されている。当然解析画像は複数枚あり、Ｂ相だけでなくＣ相も含まれるのが通常なため、何枚かの画像を切り替えて調整を行なうと、精度のよい調整が可能となる。
【符号の説明】
【００９３】
記憶装置１０３、構造既知画像記憶部１０５、解析画像記憶部１０６、閾値記憶部１０７、データベース記憶部１０８、学習済モデル記憶部１０９、処理装置１０４、画像処理部１１０、画像特徴量算出部１１１、データベース生成部１１２、分類器学習部１１３、画像分類部１１４
【図１】
2020160543.tif 000003
【図２】
2020160543.tif 000004
【図３】
2020160543.tif 000005
【図４】
2020160543.tif 000006
【図５】
2020160543.tif 000007
【図６】
2020160543.tif 000008
【図７】
2020160543.tif 000009
【図８】
2020160543.tif 000010
【図９】
2020160543.tif 000011
【図１０】
2020160543.tif 000012
【図１１】
2020160543.tif 000013
【図１２】
2020160543.tif 000014
【図１３】
2020160543.tif 000015
【図１４】
2020160543.tif 000016