(57)【特許請求の範囲】
【請求項１】
画像に表示される対象物の特徴を示す関連情報が関連付けられた複数の画像情報の解析をする画像解析装置に実行させる画像解析プログラムであって、
該画像解析装置に、
前記複数の画像情報の中の第１画像情報の一部を指定する第１領域情報を取得するステップ、
前記第１領域情報に基づいて、前記第１画像情報の中の第１部分領域を取得するステップ、
前記第１領域情報に基づいて、前記複数の画像情報の中の第２画像情報の中の第２部分領域を特定するステップ、
前記第１部分領域との画像の類似度に基づいて、前記第２画像情報の中の第３部分領域を特定するステップ、
前記第２画像情報の中の前記第２部分領域および前記第３部分領域のいずれかを指定する指定情報に応じて、前記第１領域情報および前記第１部分領域との画像の類似度に基づいて、前記複数の画像情報の中の第３画像情報の中の第４部分領域および第５部分領域のいずれかを特定するステップ、
前記第１部分領域および前記特定された前記第４部分領域および前記第５部分領域のいずれかについて該部分領域内の画素を構成する情報から定まる情報および各画像情報に関連する関連情報から、前記画像情報と前記関連情報との相関係数を求めるステップを実行させることを特徴とする画像解析プログラム。
【請求項２】
該部分領域内の画素を構成する情報から定まる該部分領域内の色の度数分布を算出するステップを更に実行させることを特徴とする請求項１に記載の画像解析プログラム。
【請求項３】
複数の画像情報に対応する関連情報は、該画像情報に写る被写体の性能を示す情報であり、
該画像解析装置に、該画像情報の部分領域の特徴を数値化するステップ、
該複数の部分領域内の画素を構成する情報から定まる情報と該画像情報に対応する関連情報とから、画素を構成する情報から定まる情報と関連情報との散布図を作成するステップを更に実行させるとともに、
前記相関係数を求めるステップでは、前記散布図に基づいて前記相関係数を求める処理を実行させることを特徴とする請求項１に記載の画像解析プログラム。
【請求項４】
複数の画像情報を管理する画像解析装置に実行させる画像解析プログラムであって、
該画像解析装置に、
前記複数の画像情報の中の第１画像情報の一部を指定する第１領域情報を取得するステップ、
前記第１領域情報に基づいて、前記第１画像情報の中の第１部分領域を取得するステップ、
前記第１領域情報に基づいて、前記複数の画像情報の中の第２画像情報の中の第２部分領域を特定するステップ、
前記第１部分領域との画像の類似度に基づいて、前記第２画像情報の中の第３部分領域を特定するステップ、
前記第２画像情報の中の前記第２部分領域および前記第３部分領域のいずれかを指定する指定情報に応じて、前記第１領域情報および前記第１部分領域との画像の類似度に基づいて、前記複数の画像情報の中の第３画像情報の中の第４部分領域および第５部分領域のいずれかを特定するステップ、
を実行させることを特徴とする画像解析プログラム。
【請求項５】
複数の画像情報と、画像に表示される対象物が有する特徴を示す関連情報とを関連付けて保存したメモリと、
処理部と、を有し、
前記処理部は、
前記複数の画像情報の中の第１画像情報の一部を指定する第１領域情報を取得するステップ、
前記第１領域情報に基づいて、前記第１画像情報の中の第１部分領域を取得するステップ、
前記第１領域情報に基づいて、前記複数の画像情報の中の第２画像情報の中の第２部分領域を特定するステップ、
前記第１部分領域との画像の類似度に基づいて、前記第２画像情報の中の第３部分領域を特定するステップ、
前記第２画像情報の中の前記第２部分領域および前記第３部分領域のいずれかを指定する指定情報に応じて、前記第１領域情報および前記第１部分領域との画像の類似度に基づいて、前記複数の画像情報の中の第３画像情報の中の第４部分領域および第５部分領域のいずれかを特定するステップ、
前記第１部分領域および前記特定された前記第４部分領域および前記第５部分領域のいずれかについて該部分領域内の画素を構成する情報から定まる情報および各画像情報に関連する関連情報から、前記画像情報と前記関連情報との相関係数を求めるステップ、を実行することを特徴とする画像解析装置。
【請求項６】
複数の画像情報を保存したメモリと、
処理部と、を有し、
前記処理部は、
前記複数の画像情報の中の第１画像情報の一部を指定する第１領域情報を取得するステップ、
前記第１領域情報に基づいて、前記第１画像情報の中の第１部分領域を取得するステップ、
前記第１領域情報に基づいて、前記複数の画像情報の中の第２画像情報の中の第２部分領域を特定するステップ、
前記第１部分領域との画像の類似度に基づいて、前記第２画像情報の中の第３部分領域を特定するステップ、
前記第２画像情報の中の前記第２部分領域および前記第３部分領域のいずれかを指定する指定情報に応じて、前記第１領域情報および前記第１部分領域との画像の類似度に基づいて、前記複数の画像情報の中の第３画像情報の中の第４部分領域および第５部分領域のいずれかを特定するステップ、を実行することを特徴とする画像解析装置。
【請求項７】
画像に表示される対象物の特徴を示す関連情報が関連付けられた複数の画像情報の解析をする画像解析装置によって実行される画像解析方法であって、
前記複数の画像情報の中の第１画像情報の一部を指定する第１領域情報を取得するステップ、
前記第１領域情報に基づいて、前記第１画像情報の中の第１部分領域を取得するステップ、
前記第１領域情報に基づいて、前記複数の画像情報の中の第２画像情報の中の第２部分領域を特定するステップ、
前記第１部分領域との画像の類似度に基づいて、前記第２画像情報の中の第３部分領域を特定するステップ、
前記第２画像情報の中の前記第２部分領域および前記第３部分領域のいずれかを指定する指定情報に応じて、前記第１領域情報および前記第１部分領域との画像の類似度に基づいて、前記複数の画像情報の中の第３画像情報の中の第４部分領域および第５部分領域のいずれかを特定するステップ、
前記第１部分領域および前記特定された前記第４部分領域および前記第５部分領域のいずれかについて該部分領域内の画素を構成する情報から定まる情報および各画像情報に関連する関連情報から、前記画像情報と前記関連情報との相関係数を求めるステップを実行することを特徴とする画像解析方法。
【請求項８】
複数の画像情報を管理する画像解析装置によって実行される画像解析方法であって、
前記複数の画像情報の中の第１画像情報の一部を指定する第１領域情報を取得するステップ、
前記第１領域情報に基づいて、前記第１画像情報の中の第１部分領域を取得するステップ、
前記第１領域情報に基づいて、前記複数の画像情報の中の第２画像情報の中の第２部分領域を特定するステップ、
前記第１部分領域との画像の類似度に基づいて、前記第２画像情報の中の第３部分領域を特定するステップ、
前記第２画像情報の中の前記第２部分領域および前記第３部分領域のいずれかを指定する指定情報に応じて、前記第１領域情報および前記第１部分領域との画像の類似度に基づいて、前記複数の画像情報の中の第３画像情報の中の第４部分領域および第５部分領域のいずれかを特定するステップ、
を実行することを特徴とする画像解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像と画像に関連する情報との間の相関を検出する技術に関する。
【背景技術】
【０００２】
大量の画像群内の各画像が持つ視覚的な特徴と各画像に付随する関連情報（文字情報、数値情報）の特徴との間の関係から導かれる情報を発見する技術として、イメージマイニングと呼ばれる手法がある。イメージマイニングの一つの手法に、仮想三次元空間に画像群を様々な観点（性能値の昇順など）で配置し、ユーザが配置された画像群を眺めながら、画像の見た目の特徴と性能値との関係を発見することを支援するものがある。
【０００３】
イメージマイニングはものづくりの分野に利用される場合がある。例えば、自動車メーカーでは燃費の良いエンジンの形状を分析するために様々な形状のエンジンが作られる。いずれの形状のエンジンがより燃費が良いかを分析する際に、各形状のエンジンの燃料濃度分布を表す画像情報と画像情報に付随する燃費情報（性能値）とからなるペアを取得する。ユーザは、画像情報と燃費情報とのペアを分析することにより、エンジンの形状と性能との間の関係から導かれる情報を得る。その他にも磁気ディスク装置の磁気ヘッドの形状と性能値との関係の分析など、イメージマイニングを用いた事例が多数存在する。
【０００４】
例えば、部品Ａと部品Ｂをはんだで接着した製品を考える。本製品ははんだでの接着が適切でない場合に不良品となるケースが存在するものとする。良品／不良品が製品に加わる応力と関係していると考えられる場合、応力と良品／不良品との相関関係を判別するために、良品の数サンプルと不良品の数サンプルを用意する。各サンプルの応力を可視化した画像と、各画像に予め関連付けられた良品／不良品の属性データを用いて、良品／不良品と製品の応力との関係発見を支援する。ここで、ユーザは、良品と不良品ごとに配置された画像群を眺めることで、画像群の一部の領域に特徴を発見したとする。しかし、ユーザは、画像の見た目の特徴と製品の性能値（良品／不良品など）との関係を発見したとしても、ユーザが発見した関係が画像の局所的な領域のみに現れる場合に、画像の見た目の特徴を定性的に表現するに留まっていた。例えば、ユーザが良品と不良品とが配置された画像群から、良品の画像の特定の部分に特徴を発見した場合、ユーザは、画像の部分的な特徴に良品と不良品とを区別する何らかの関係があることを推測するにとどまる。そのため、ユーザは局所的な画像の部分の特徴と関連情報との間の関係を具体的な情報として得ることはできない。
【０００５】
従来技術として下記の文献がある。
【特許文献１】特開２０００−３０５９４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の課題は、画像情報の部分領域と画像情報に対応付けられた関連情報との間の相関を求める画像解析プログラム、画像解析装置、および画像解析方法の提供である。
【課題を解決するための手段】
【０００７】
本発明の課題を解決するための第一の手段は、複数の画像情報と複数の画像情報に対応する情報とをそれぞれ関連付けて保存したメモリと、画像解析処理を実行する処理部とを有する画像解析装置で実行される画像解析プログラムであって、処理部に、画像情報に対応する画像の部分領域の特徴を複数の画像情報毎に求めるステップ、複数の画像情報の特徴と画像情報に対応する情報とから、画像の部分領域と画像情報に対応する情報との間の相関を求めるステップ、を実行させることを特徴とする。
【０００８】
本発明の課題を解決するための第二の手段は、第一の手段に加えて、処理部に、画像の部分領域の特徴を部分領域内の画素の固有の値に応じて求めるステップを実行させることを特徴とする。
【０００９】
本発明の課題を解決するための第三の手段は、第一の手段の画像の部分領域の特徴は、部分領域内の色の度数分布であることを特徴とする。
【００１０】
本発明の課題を解決するための第四の手段は、第一の手段に加えて、部分領域内の色毎の度数と画像情報に対応する情報とから、画像の部分領域と画像情報に対応する情報との間の相関を求めることを特徴とする。
【００１１】
本発明の課題を解決するための第四の手段は、第一の手段の複数の画像情報に対応する情報は画像情報に写る被写体の性能を示す情報であり、第一の手段に加えて、処理部に画像情報の部分領域の特徴を数値化するステップ、複数の画像情報の特徴と画像情報に対応する情報とから散布図を作成するステップを更に実行させることを特徴とする。
【発明の効果】
【００１２】
上記の解決手段は、画像情報の一部に部分領域を定め、複数の部分領域内の画素を構成する情報から定まる情報および関連情報から相関係数を求める。この結果、画像情報の部分領域と画像情報に対応付けられた関連情報との間の相関を自動で求めることが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について図面を用いて説明する。本実施例で対象とする画像は、シミュレーションの結果の画像であり、より具体的には例えば、プリント基板と部品とがはんだによって接着されるときに発生する応力の大きさをシミュレーションによって求めたものである。シミュレーション結果を示す画像内の色の違いは、はんだ付けされるプリント板と部品との間の応力の大きさに対応する。
【００１４】
図１は、本実施例の画像処理の結果を示す図である。１は画像群であり、部品がはんだ付けされたプリント板が表示されている。本実施例の画像群１は複数の画像を含み、各画像間で画像のばらつきが少ないこととする。画像間でばらつきが少ないとは、被写体の画像内の大きさ、向き、画像の明るさ等の差が少ないことである。画像群１は、例えば、記憶部に予め格納されている。図１に示された画像は、プリント板と部品とに発生する応力を求めたシミュレーションの結果を表示したものである。また、画像群１に含まれるこれら複数の画像は、同じ撮影条件で異なる製品を撮影した画像である。同じ撮影条件とは、例えば、製品とカメラとの間の角度、距離、照明などを一定に保つことである。画像情報は、製品の外観だけでなく、シミュレーション結果などの画像も含む。
【００１５】
２乃至７はそれぞれ部品がはんだ付けされたプリント板の画像である。画像２乃至画像７の対象となる製品は異なる。
【００１６】
本実施例の画像解析装置は、画像群１について以下の処理を実行する。まず、ユーザによって、画像群に含まれる画像内の任意の領域が選択される。図１の例では、画像２内の領域９がユーザによって選択された領域であるとする。画像解析装置は、領域９の画像２内での位置情報、領域９の大きさ情報、および領域９内の画像の特徴量を取得する。画像の特徴とは、本実施例では選択された領域内の表示色・濃淡などを示すものとする。特徴量は、画像領域内の色合い、色の分布（配色）、輪郭線の分布、模様、質感などから特定される。本実施例の特徴量は多次元ベクトルで示されるものとする。各次元は、例えば、予め指定した色の画素が領域内に存在する数である。次いで、画像解析装置は領域９の位置情報に対応する画像３乃至画像７内の位置情報、領域９の大きさ情報に対応する画像３乃至画像７内の大きさ情報、および領域９内の画像の特徴量から、領域９と比較すべき画像３乃至画像７内の領域（領域１０−１、１１−１、１２−２、１３−１、および１４−１）を求める。なお、領域９との比較対象となる画像内の領域は、ユーザが主導で選択してもよく、ここでは、後述するが画像５の領域１２−２はユーザによって手動で選択されたたこととする。画像解析装置は、画像２乃至画像７の各領域（領域９、１０−１、１１−１、１２−２、１３−１、および１４−１）の色や濃淡についてのヒストグラムを表示する。表示されるヒストグラムは、各領域の特徴量を示している。ヒストグラムとして表示されるべき内容は、画像解析対象の種類、解析しようとする事象に応じて、それぞれ異なる。図１では、各領域のヒストグラム（９−２、１０−３、１１−３、１２−３、１３−３、および１４−３）が、対応する画像２〜７毎に表示されている。
【００１７】
以上によって、画像解析装置は、ユーザが指定した画像内の領域と、ユーザが指定した画像内の領域に対応する他画像内の領域との間の見た目の差異を比較可能な情報で表示することができる。この結果、ユーザは画像の見た目の差異と性能の差異との相関を発見し易くなる。
【００１８】
次に、本実施例の装置構成図を説明する。図２は画像解析装置の装置構成図である。１０１は画像解析装置である。画像解析装置１０１は、画像群内のそれぞれの画像の領域間の関係解析を支援する装置である。画像解析装置１０１は、制御部１０２、入力部１０３、出力部１０４、メモリ１０５、記憶部１０６、ネットワークインターフェース（ネットワークＩ／Ｆ）１０７を有し、それぞれがバス１０９で接続される。
【００１９】
制御部１０２は画像解析装置１０１の全体を制御する。制御部１０２は例えば、中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。制御部１０２はメモリ１０５に展開された画像処理プログラム１０８を実行する。画像処理プログラム１０８は制御部１０２に画像処理を実行させる。
【００２０】
入力部１０３は、ユーザから制御部１０２に与える種々の命令を受付ける。入力部１０３は、例えば、キーボード、マウス、タッチパネル等である。また、命令は、ネットワーク１０７−１を経由して取得する場合もある。
【００２１】
出力部１０４は、解析対象となる画像群や、制御部１０２が算出した演算結果等を出力する。出力部１０４は例えばディスプレイに接続され、ディスプレイの画面上に画像群、制御部１０２が算出した演算結果等を表示する。また、出力部１０４は、画像群や演算結果などを、ネットワーク１０７−１を経由して他の計算機等にする場合もある。
【００２２】
メモリ１０５は、制御部１０２で実行される画像処理プログラム１０８が展開される記憶領域である。また、メモリ１０５は、制御部１０２の演算結果などのデータ、画像データ、特徴量データ等も格納する。メモリ１０５は、例えば、ランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。
【００２３】
記憶部１０６は、画像処理プログラム１０８、画像データ等を記憶する。記憶部１０６は、例えば、ハードディスク装置である。
【００２４】
ネットワークインターフェース１０７は、ネットワーク１０７−１に接続し、画像解析装置１０１外部に接続される他の計算機等との間での情報のやり取りを可能にする。制御部１０２は、ネットワークインターフェース１０７を介して入力画像情報、出力画像情報、演算パラメータ等を取得する、あるいは出力することも可能である。
【００２５】
次に、画像解析装置１０１の機能を説明する。図３は画像解析装置１０１の機能を説明する機能ブロック図である。
【００２６】
画像データベース２１は、画像情報を格納するデータベースである。画像選択モジュール２２は、画像群の中からユーザによって選択された画像に対応する画像情報を、画像データベース２１から取得する。選択画像２３は、画像群の中からユーザによって選択された画像の画像情報である。
【００２７】
領域指定モジュール２４は、選択領域（領域情報）を取得する。選択領域は、例えば、ユーザによって入力部１０３を介して選択された、画像解析処理の対象とすべき画像内の領域である。また、選択領域を選択する方法は、ユーザが選択する以外にもある。例えば、関連情報に基づき、複数の画像間で見た目が異なる領域を自動で抽出する。関連情報は、画像に表示される対象物が有する特徴の情報である。関連情報は、画像情報に付随する文字情報、数値情報であり、例えば、画像情報に対応する製品が良品であるのか否かを判別する情報や、製品の性能値を示す情報である。関連情報によって抽出する場合は、画像同士の比較処理をコンピュータが実行する。類似領域探索モジュール２５は、選択領域を取得した画像に関連する他の画像内の類似領域を探索して検出する。類似領域２６は、類似領域探索モジュール２５によって検出された、選択画像の選択領域に対応する他の画像内の領域である。
【００２８】
特徴量抽出モジュール２７は、各画像内の選択領域および類似領域の特徴量を算出する。特徴量２８は、選択領域および類似領域内の色合い、色の分布（配色）、輪郭線の分布、模様、質感などから特定される。
【００２９】
特徴量表示モジュール２９は、算出された特徴量を出力部１０４によって画面に表示する。特徴量は、例えば、ヒストグラムによって表示される。
性能値データベース３０は、画像情報に対応付けられた関連情報が格納されたデータベースである。図４は、性能値データベース３０の構成例である。３０−１は、画像を識別する識別番号である。識別番号３０−１は画像毎につけられる。３０−２は、各画像に対応する製品の性能に関する数値情報である。本実施例では、数値情報として良品の場合に「１」、不良品の場合に「０」が登録されている。より具体的には、図４の例では識別番号「０１」から「０３」には「１」が、識別番号「０４」から「０６」には「０」が、それぞれ性能値として登録されている。
【００３０】
関連情報は、画像情報に付随する文字情報、数値情報である。例えば、画像情報に対応する製品が良品であるのか否かを判別する情報や、製品の性能値を示す情報が性能値データベース３０に格納される。相関係数算出モジュール３１は、各画像内の選択領域および類似領域の特徴量と関連情報との間の相関係数を算出する。
【００３１】
各次元の相関係数３２は、各次元の特徴量の値と関連情報との間での相関の大きさを示す値である。相関係数の比較モジュール３３は、各次元の相関係数３２を対象に比較する。比較モジュール３３は、各次元の相関係数３２の内、相関係数が最大となる次元を検出する。相関係数が最大の次元３４は、相関係数の比較モジュール３３によって検出されたものである。
【００３２】
制御部１０２、入力部１０３、出力部１０４、メモリ１０５、記憶部１０６、およびネットワークインターフェース１０７は、画像処理プログラム１０８によって、画像選択モジュール２２、領域指定モジュール２４、類似領域探索モジュール２５、特徴量抽出モジュール２７、特徴量表示モジュール２９、相関係数算出モジュール３１、および相関係数の比較モジュール３３として機能する。
【００３３】
ここで、画像データベース２１に格納される画像情報について説明する。図５は、本実施例の画像群の一部を構成する画像である。図５は、後述する画像群の中の一つの画像である画像２を例にして説明する図面である。本実施例の画像は、プリント基板と部品の素子とがはんだで接着されたときに部品に発生する応力の大きさをシミュレーションした結果の画像である。本実施例の応力は、部品がプリント基板に引っ張られる単位面積あたりの力である。プリント基板は、部品よりも温度変化による形状の変化が大きい。応力は、部品とプリント基板とをはんだで接合するために熱した後に常温に戻す過程で、プリント基板の方が大きく縮むことにより発生する。
図５において、２−１は部品である。２−２はシミュレーションの結果、応力が大きく生じている領域である。
また、図５において、８−１乃至８−９はプリント基板と素子とがはんだによって接合する接合領域である。
【００３４】
ここで、接合領域８−１乃至８−９について説明する。図６は、画像２内の接合領域の拡大図である。２−３は部品２−１の一部の領域である。２−４は部品とプリント基板との間の接合領域である。本実施例の画像は、３種類の色によって、製品に対する応力の大きさを示す。２−５は、表示される色と応力の関係を説明する表である。表２−５で示す３種類の色は、ｃｏｌｏｒ１、ｃｏｌｏｒ２、およびｃｏｌｏｒ３である。本実施例では、ｃｏｌｏｒ１、ｃｏｌｏｒ２、ｃｏｌｏｒ３の順に応力が大きくなることとする。領域２−３は「ｃｏｌｏｒ  １」である。領域２−４は「ｃｏｌｏｒ  ２」である。領域２−５は「ｃｏｌｏｒ  ３」である。従って、部品２−１では、領域２−３、領域２−４の順に応力が大きくなる。
【００３５】
次に、画像解析装置１０１が実行する各処理について詳細に説明する。まず、画像解析装置１０１が実行する、画像群の各画像の各領域に対する特徴量を表示する処理について説明する。
【００３６】
画像処理装置１０１は、画像データベース２１内の画像群を画面上の仮想三次元空間に配置して表示する。図７は、仮想三次元空間に配置された画像群の表示例である。画像群１は、複数の画像２乃至７を含む。図７の画像２乃至７は、それぞれ図４の性能値データベース３０の識別番号０１乃至０６に対応するものとする。したがって、画像情報２、３、４は、性能値データベース３０の性能値３０−２から良品を示す画像であり、画像情報５、６、７は、性能値データベース３０の性能値３０−２から不良品を示す画像である。
【００３７】
ユーザは画面上に表示された画像群１を眺め、画像の見た目の特徴の検出を試みる。例えば、ユーザは「良品は灰色（ｃｏｌｏｒ２）で囲まれた黒色（ｃｏｌｏｒ３）の領域が小さく、不良品は灰色（ｃｏｌｏｒ２）で囲まれた黒色（ｃｏｌｏｒ３）の領域が大きい」と考えたとする。
【００３８】
図８は、ユーザが選択した画像内の領域について、特徴量を表示する処理のフローチャートである。図８の処理の概要を説明し、その後、図８の各ステップを詳細に説明する。画像解析装置１０１は、画像データベースから、ユーザが選択した選択画像に対応する選択画像情報を取得し（Ｓ０１）、次いで選択画像内の選択領域に対応する選択領域情報を取得する（Ｓ０２）。次に、画像解析装置１０１は、取得した選択領域情報も用いて、類似領域情報の探索を行う（Ｓ０３）。続いて、画像解析装置１０１は、画像群に含まれる画像からの類似領域の探索が終了したか否かを判別する（Ｓ０４）。画像解析装置１０１は、画像群に含まれる全画像についての類似領域情報探索が終了していない場合（Ｓ０４：ｎｏ）、残りの画像について類似領域情報を探索する（Ｓ０３）。一方、画像解析装置１０１は、画像群に含まれる全画像について類似領域情報の探索が終了した場合（Ｓ０４：ｙｅｓ）、選択領域および各類似領域の特徴量を算出し（Ｓ０５）、算出した各特徴量を例えば、ヒストグラムで表示する（Ｓ０６）。画像解析装置１０１は、特徴量と画像情報との間の相関を解析する場合（Ｓ０７）は、相関解析処理（Ｓ０８）を実行する。以下各ステップを詳細に説明する。
【００３９】
ユーザは、画面上に表示された画像群１の中から、着目した画像を選択する。画像の選択は、例えば、ユーザが入力部１０３を介して選択した画像を特定する情報を入力することにより実行される。本実施例では、ユーザは画像群１の中から画像２を選択したものとする。画像選択モジュール２２は、画像２に対応する選択画像情報を画像データベース２１から取得する（Ｓ０１）。
【００４０】
次に、領域指定モジュール２４は選択画像２内の選択領域情報をユーザからの指示によって取得する（Ｓ０２）。ユーザは、例えば、入力部１０３を介して、画面上に表示された選択画像２内の着目した領域を選択する。ユーザは、画面に表示された画像から、良品は灰色（ｃｏｌｏｒ２）で囲まれた黒色（ｃｏｌｏｒ３）の領域が小さく、不良品は灰色（ｃｏｌｏｒ２）で囲まれた黒色（ｃｏｌｏｒ３）の領域が大きいと推測している。なお、灰色（ｃｏｌｏｒ２）は、図６の説明のように、領域２−３に対応し、黒色（ｃｏｌｏｒ３）は、図６の説明のように、領域２−４に対応する。例えば、ユーザは選択画像２内の着目した領域を矩形で囲むことで選択領域とする。図９は、選択画像２内の選択領域が選択されたときの画面例である。図９において、９は選択領域である。選択領域９は、選択画像２上の着目した、ユーザに矩形で囲まれた領域である。図９に示された画像群１、画像２乃至７は図７と同様である。
【００４１】
次に、類似領域探索モジュール２５は、類似領域を探索する（Ｓ０３）。類似領域は、選択領域９に対応する、他画像内の領域である。図７では、類似領域が探索される画像は、画像群１内の選択画像２以外の画像であり、図９の例では画像３乃至７である。画像群内の選択画像に対応する画像情報を「他の画像情報」とする。
【００４２】
ユーザが他の画像の着目した領域を選択する場合、画像の個数に比例して手間がかかる。そこで、類似領域探索モジュール２５は、半自動で他の画像の類似領域を指定する処理を実行する。この処理によって、ユーザの類似領域の特定に要する作業の手間の削減が可能となる。また、手動で他の画像内の領域を指定する場合よりも指定する位置、大きさが均一となるため、比較の正確さも向上する効果がある。
【００４３】
ここで、Ｓ０３の類似領域探索モジュール２５による類似領域の探索処理を詳細に説明する。類似領域の探索処理の概要は以下となる。類似領域探索モジュール２５は選択画像２に関連する画像３〜７を画像群から検出する。そして、類似領域探索モジュール２５は画像２内における選択領域９の位置に対応する、他の画像３〜７内の領域を特定する。そして、類似領域探索モジュール２５は、他の画像３〜７内で特定した領域を類似領域として出力する。
本実施例では、類似領域探索モジュール２５が類似領域を探索する時の「類似」の判定基準として、主に２つの要素を用いる。１つ目の要素は、選択画像に対する選択領域の相対位置と他画像に対する類似領域の相対位置との近さである。２つ目の要素は、領域内の画素値の類似性である。１つ目の要素と２つ目の要素とでどちらを優先して類似領域を探索するかは、対象とする画像群、対象とする問題に依存する。したがって、要素の重み関数を一律に決定することは困難である。本実施例では、ユーザからの操作に基づき適切な類似画像を特定することとする。
図１０は類似領域の探索処理のフローチャートである。類似領域探索モジュール２５は、選択領域９に対応する他の画像３〜７内の領域の周辺で、選択領域９に対する類似領域を自動探索する（Ｓ１１）。続いて、画像群の全画像について、類似領域の探索が終了したか否かを判断する（Ｓ１２）。画像群に含まれる全画像について類似領域の探索が終了しない場合（Ｓ１２：ｎｏ）、類似領域探索モジュール２５は他画像内の類似領域の探索を引き続き行う。一方、画像群の全画像に対する類似領域の探索が終了した場合（Ｓ１２：ｙｅｓ）、類似領域探索モジュール２５は、探索の結果得られた類似領域の候補となる他の画像内の領域を表示する（Ｓ１３）。ユーザは、Ｓ１３の表示に応じて、類似領域の候補となる他の画像内の領域から１つの領域を選択する。類似領域探索モジュール２５は、ユーザによって選択された領域の情報を画像データベースから取得する（Ｓ１４）。類似領域探索モジュール２５は、選択画像以外の画像についての類似領域の候補の絞込みを行う（Ｓ１５）。類似領域探索モジュール２５は、ユーザによって選択された領域の情報から、類似領域の候補の判断基準の要素を特定する。
【００４４】
ここで、Ｓ１１での類似領域探索モジュール２５が実行する、選択領域９に対応する他の画像３〜７内の領域の周辺で、選択領域９に対する類似領域を探索する処理について詳細に説明する。画像群１に含まれる各画像２〜７はシミュレーションの処理の結果得られる画像である。類似領域は、上述したように、選択画像２における選択領域９の位置と、他画像内における位置が同じ領域、あるいは選択領域と類似領域の画像間の距離（非類似度）が近い領域である。そこで、類似領域探索モジュール２５は、類似領域の候補を２つの基準で探索する。以下、類似領域の候補となり得る領域を選択する方法の一例を説明する。
【００４５】
図１１は、類似領域の候補の探索処理のフローチャートである。図１２は、探索処理の説明図であるＢ０は太い破線で囲まれた領域である。Ｂ１は細い実線で囲まれた領域である。Ｂ１３は、細い一点鎖線で囲まれた領域である。類似領域探索モジュール２５は、変数「ｉ」を初期化する（Ｓ２１）。変数「ｉ」は、類似領域を探索する際に類似領域の候補となり得る他画像内の領域を特定するために使用する。具体的には変数「ｉ」は、他画像内で領域を移動させる画素数である。
【００４６】
類似領域探索モジュール２５は、他の画像Ｐの中から領域Ｂ０を検出する（Ｓ２２）。領域Ｂ０は、画像２における選択領域９と相対的に同じ位置にある、画像Ｐ上の領域である。選択領域９の位置は画像２内の座標位置で特定でき、選択領域９の範囲も座標で特定できる。したがって、画像Ｐ上で、選択領域９の座標位置に相当する画像P内の座標、および選択領域９の大きさに対応する大きさを有する領域Ｂ０を特定することが可能である。ここで、変数「ｉ」は「０」であるため、選択領域９の座標位置と同じ位置にある領域Ｂ０を特定することができる。
【００４７】
次に、Ｓ２３乃至Ｓ２６にて、選択領域９と類似領域Ｂ０の画像間の距離（非類似度）が近い領域を探索する。類似領域探索モジュール２５は、変数「ｉ」に１を加える（Ｓ２３）。類似領域探索モジュール２５は、領域Ｂ０から「ｉ」画素分移動させた領域Ｂｉを特定する（Ｓ２４）。例えば、領域Ｂ０から１画素分移動させた領域は、領域Ｂ０から右方向に１画素分移動させた領域Ｂ１１、領域Ｂ０から下方向に１画素分移動させた領域Ｂ１３である。図１２では、領域Ｂ１１およびＢ１３を示す。
【００４８】
なお、領域Ｂ０から２画素分移動させた領域は、領域Ｂ０から右方向に２画素分移動させた領域Ｂ２０、領域Ｂ０から上方向に２画素分移動させた領域Ｂ２１、領域Ｂ０から左方向に２画素分移動させた領域Ｂ２２、および領域Ｂ０から下方向に２画素分移動させた領域Ｂ２３、領域Ｂ０から右方向に１画素分かつ上方向に１画素分移動させた領域Ｂ２４、領域Ｂ０から上方向に１画素分かつ左方向に１画素分移動させた領域Ｂ２５、領域Ｂ０から左方向に１画素分かつ下方向に１画素分移動させた領域Ｂ２６、および領域Ｂ０から下方向に１画素分かつ右方向に１画素分移動させた領域Ｂ２７である。領域Ｂ２４は、領域Ｂ０から到達するには、右方向に１画素分移動させた後に上方向に１画素分移動させた場合と、上方向に１画素分移動させた後に右方向に１画素分移動させた場合とがある。領域の移動のさせ方によっては、同じ領域に到達する場合がある。同じ領域を既に特定している場合は、重複した領域の特定は行わないようにする。
【００４９】
次に、類似領域探索モジュール２５は、画像間の距離（非類似度）を算出する（Ｓ２５）。具体的には、選択領域９の画像と画像Ｐ上で特定される領域Ｂｉの画像との間で、画像間の距離（非類似度）を求める。画像間の距離（非類似度）は、選択領域と類似領域の候補となり得る領域との間の画像内のずれを評価するための大きさであり、は類似領域の候補となり得る領域を選択するために求める。画像間の距離（非類似度）は、例えば、以下の手法で求める。
選択領域９および類似領域の候補となり得る領域Ｂｉ内に、それぞれｎ個の画素があるものとする。各画素は固有の値を有する。選択領域９内の画素をｓｎ、類似領域の候補となり得る領域の画素をｒｎとすると、選択領域はＳ（ｓ１、ｓ２、・・・・・・ｓｎ）、類似領域の候補となり得る領域はＲ（ｒ１、ｒ２、・・・ｒｎ）と表すことができる。続いて、選択領域各画素の固有の値と、選択領域内の画素に対応する位置にある類似領域の候補となり得る領域の画素の固有の値との間の差を求める。画素毎に求めた各画素の固有の値の差の２乗を求め、画素毎に求めた差の２乗について領域内の全画素の総和ｄｉを求める。求めた総和ｄｉは、類似領域の候補となり得る領域の画像と選択領域９の画像との間の距離Ｄｉである。なお、画像間の距離は、総和に限らず、それぞれの領域内の色ヒストグラムなどの画像特徴（ベクトル形式）のベクトル間の距離を用いることも可能である。
【００５０】
類似領域探索モジュール２５は、変数「ｉ」が定数「Ｔ」を超えたか否かを判定する（Ｓ２６）。定数「Ｔ」は、類似領域の候補となり得る領域を探索する範囲を定めた値である。定数「Ｔ」は、画像群１の特性によって適当に設定する。例えば、各画像内の製品の位置ずれが発生すると考えられる範囲の情報を予め取得し、これに応じて定数「Ｔ」を設定する。位置ずれの大きさに応じて、領域を特定するために移動させる画素数を設定するようにしてもよい。
【００５１】
変数「ｉ」が定数「Ｔ」を超えていない場合（Ｓ２６：ｎｏ）、Ｓ２３以降の処理を引き続き行う。一方、変数「ｉ」が定数「Ｔ」を超えた場合（Ｓ２６：ｙｅｓ）、類似領域探索モジュール２５は、類似領域の候補となり得る領域Ｂｉに対応する画像間の距離Ｄｉが小さい順に、検出された領域Ｂｉをソートする（Ｓ２７）。なお、類似領域の候補として取得する個数「ｋ」を予め定めておく。そして、画像間の距離Ｄｉが小さい順に並べられた領域Ｂｉの上位から、「ｋ」個を類似領域の候補として取得する。以上によって、類似領域の候補を取得することが可能となる。
【００５２】
また、Ｓ１１における領域を特定する別の方法として、領域Ｂ０を中心に所定の大きさ範囲を定め、その範囲の中で各領域（Ｂ０、Ｂ１０、Ｂ１１、Ｂ１２、Ｂ１３、・・・）を設定することとしてもよい。
【００５３】
図１２では、他の画像Ｐ上に、選択領域９に対する２個の類似領域の候補が表示されている。類似領域の候補は、領域Ｂ０および領域Ｂｋである。このうち領域B０は、選択画像に対する選択領域９の位置と、他の画像P内の位置が最も近いと判定された領域である。一方、領域Ｂｋは、選択領域９との類似度に基づいて選択された領域である。また、類似領域の候補が、選択領域と類似領域の画像内の位置が同じであるのか、あるいは選択領域と類似領域の画像間の距離が近いのかを区別する表示とすることも可能である。例えば、表示を区別する手法として、枠線や領域等の色を変更したり、枠線や領域等を点滅させたりすることが可能である。
【００５４】
類似領域探索モジュール２５は、画像群の選択画像に関係する全画像に対する処理が終了するまで類似領域の探索を行い、画像群の全画像に対する類似領域探索が終了すると、探索の結果得られた類似領域の候補となる他の画像内の領域を表示する（Ｓ１３）。図１３は、類似領域の候補が表示された画面例である。図１３は、図９の選択領域９に対する類似領域の候補を表示する。３、４、５、６、および７は、それぞれ他の画像Ｐに相当する。１０−１、１１−１、１２−１、１３−１、および１４−１は、それぞれ図１２における他の画像Ｐの領域Ｂ０に相当する。１０−２、１１−２、１２−２、１３−２、および１４−２は、それぞれ図１２における他の画像Ｐの領域Ｂｋに相当する。
【００５５】
類似領域探索モジュール２５は、他の画像内に表示された領域の内、選択すべき領域の画像情報を画像データベースから取得する（Ｓ１４）。ユーザは、例えば、画面上の複数の類似領域の候補から一つをマウス等で選択する。類似領域探索モジュール２５は、ユーザが選択した類似領域の候補の画像情報を画像データベースから取得する。選択された類似領域の候補によって、類似領域探索モジュール２５は、類似領域の候補の絞込みを実行する（Ｓ１５）。類似領域探索モジュール２５は、残りの画像４乃至７（⇒Ｓ１４で画像３から領域が選択されたのであれば「４乃至７」で結構です。確認ください）について類似領域を絞り込む処理を実行する。類似領域を選択する基準は、例えば、以下となる。ユーザが選択した類似領域の候補の画像情報内の位置が、選択領域９の選択画像２内の位置に対応する場合、類似領域探索モジュール２５は、残りの画像の類似領域の候補の内、選択領域９の選択画像２内の位置に近いものを類似領域として検出する。一方、ユーザが選択した類似領域の候補が選択領域９の画像の画素値に類似する領域である場合、類似領域探索モジュール２５は、残りの画像の類似領域の候補の内、画素値の類似度が高いものを類似領域として検出する。
【００５６】
図１３で、ユーザによって、類似領域として画像３の領域１０−１が選択されたものとする。類似領域探索モジュール２５は、例えば、選択された領域１０−１の表示色を変更する。本実施例では、ユーザが選択画像内の選択領域の位置に近い領域を他画像から選択した場合、残りの他画像についても画像内の領域の位置に基づいて類似領域を検出することとする。領域１０−１の画像３内の位置は、画像３の領域１０−１および領域１０−２の内、選択領域９の画像２内の位置に最も近い。そこで、類似領域探索モジュール２５は、残りの画像４乃至７の類似領域の候補の内、選択領域９の画像２内の位置に近い領域を類似領域として検出する。図１３で類似領域として検出される領域は、領域１１−１、領域１２−１、領域１３−１、および領域１４−１である。
一方、図１３で、ユーザによって、類似領域として画像３の領域１０−２が選択されたものとする。類似領域探索モジュール２５は、例えば、選択された領域１０−２の表示色を変更する。次に、画像３内の領域１０−２は、画像３の領域１０−１および領域１０−２の内、選択領域９の画像２内の位置に最も近い領域ではない。そこで、類似領域探索モジュール２５は、残りの画像４乃至７の類似領域の候補の内、選択領域９に対する画素値の類似度が高い領域を類似領域として検出する。この場合、図１３で類似領域として検出される領域は、領域１１−２、領域１２−２、領域１３−２、および領域１４−２である。
【００５７】
なお、ユーザは、必要に応じて、画像内の類似領域の選択を手動で行うことも可能である。また、ユーザは、必要に応じて、類似領域の候補以外の領域を新たに指定することも可能である。
【００５８】
ここで、Ｓ１５の候補の絞込み処理について詳細に説明する。図１４は類似領域の候補の絞込み処理のフローチャートである。図１５は、類似領域の候補の絞込み処理の説明図である。図１５において、２は選択画像、９は選択領域である。画像Ｐおよび画像Ｑはユーザが類似領域の候補を選択した、あるいは選択する画像である。画像ＰのＣ１、Ｃ２は、類似領域の候補として検出された領域である。領域Ｃ１は、選択画像２と選択領域９との間の位置の関係を画像Ｐ内に反映させた場合の、選択領域９に相当する位置となる領域である。領域Ｃ２は、画像Ｐ内の類似領域の候補となり得る領域の画像と、選択領域９の画像との間で求めた画像間の距離が最小となった、つまり両領域の画素値が類似する、画像Ｐ内の類似領域の候補となり得る領域である。なお、以下の例では、ユーザは領域Ｃ１を類似領域の候補とすべき情報を入力したものとする。
画像ＱのＦ１、Ｆ２は、Ｃ１、Ｃ２と同様、類似領域の候補として検出された領域である。領域Ｆ１は選択画像２と選択領域９との間の位置の関係を画像Ｑ内に反映させた場合の、選択領域９に相当する位置となる領域である。領域Ｆ２は、画像Ｑ内の類似領域の候補となり得る領域の画像と、選択領域９の画像との間で求めた、画像間の距離が最小となった、つまり両領域の画素値が類似する、画像Ｐ内の類似領域の候補となり得る領域である。
【００５９】
以下、類似領域探索モジュール２５が実行する処理を説明する。まず、類似領域探索モジュール２５は、画像Ｐ内のユーザによって選択された領域情報を取得する（Ｓ５１）。ここでは、領域Ｃ１がユーザによって画像Ｐから選択されたとする。続いて、類似領域探索モジュール２５は、画像Ｐ内のユーザが選択していない領域情報を取得する（Ｓ５２）。ここでは、領域Ｃ２がユーザによって選択されていない、類似領域探索モジュール２５が選択した領域になる。
【００６０】
次に、類似領域探索モジュール２５は、ユーザが選択した領域Ｃ１と選択領域９との間の画像情報内の位置のずれＥ１を算出する（Ｓ５３）。類似領域探索モジュール２５は、例えば、領域Ｃ１の画像Ｐ内の相対的な座標位置情報と、選択領域９の選択画像２内の相対的な座表位置情報とを比較する。続いて類似領域探索モジュール２５は、類似領域探索モジュール２５が選択した領域Ｃ２と選択領域９との間の画像内の位置のずれＥ２を算出する（Ｓ５４）。類似領域探索モジュール２５は、例えば、領域Ｃ２の画像Ｐ内の相対的な座標位置情報と、選択領域９の選択画像２内の相対的な座表位置情報とを比較する。類似領域探索モジュール２５は、残りの画像Ｑを特定する（Ｓ５５）。
【００６１】
次いで、類似領域探索モジュール２５は、選択画像２内の選択領域９の位置と、画像P内の領域Ｃ１の位置とのずれ量Ｅ１と、選択画像２内の選択領域９の位置と、画像P内の領域Ｃ２の位置とのずれ量Ｅ２とを比較する（Ｓ５６）。Ｅ１がＥ２よりも小さい値となるとき（Ｓ５６：ｙｅｓ）、Ｅ１に対応する領域Ｃ１は、画像P内の位置が選択画像２に対する選択領域９の位置に類似すると判定された領域である。一方、Ｅ１がＥ２よりも小さい値とならないとき（Ｓ５６：ｎｏ）、Ｅ２に対応する領域Ｃ２は選択領域９との類似度が高いと判定された領域である。Ｅ１がＥ２よりも小さい値となると判定されたとき（Ｓ５６：ｙｅｓ）、類似領域探索モジュール２５は、選択画像２内の選択領域９の位置に対して位置ずれが最小になる画像Ｑ内の領域Ｆ１を選択する（Ｓ５７）。
一方、Ｅ１がＥ２よりも小さい値とならないとき（Ｓ５６：ｎｏ）、類似領域探索モジュール２５は、選択領域９の画像に最も類似する画像を有する領域Ｆ２を画像Qから選択する（Ｓ５８）。続いて、類似領域探索モジュール２５は、画像群に含まれる全画像について以上の処理が終了したか否かを判定する（Ｓ５９）。全画像についての処理終了していない場合（Ｓ５９：ｎｏ）、残りの画像を新たに設定し、Ｓ５１以降の処理を再度実行する。一方、全画像についての処理が終了した場合（Ｓ５９：ｙｅｓ）、図１４の処理を終了する。なお、全画像について処理が終了すると、画像群１内の選択画像以外の画像について類似領域が絞り込まれた状態となっている。
【００６２】
図１６は、類似領域の検出結果の画面例である。図１６ではユーザによって類似領域として画像３の領域１０−１が指定されたとする。なお、画像５の領域１２−２については、ユーザが領域１２−２を類似領域として選択したものとする。
【００６３】
以上によって、類似領域探索モジュール２５は類似領域の候補の絞込みを行い、類似領域を特定する。その後、特徴量抽出モジュール２７は、選択領域および類似領域の特徴量を取得する。特徴量表示モジュール２９は、取得された特徴量を元に、ヒストグラムを表示する。
【００６４】
なお、領域Ｂ０は、選択画像２内の選択領域９の位置に対応する位置に配置された領域であり、且つ画像Ｐ内で最も選択画像９の画素値に類似する領域である場合もある。この場合、例えば、領域を囲む枠の色を変更する等で画面上に表示することも可能である。例えば、選択領域９の位置に対応する類似領域の候補は第一の色の枠で囲んで表示する。選択領域９に最も類似する類似領域の候補は第二の色の枠で囲んで表示する。選択領域９の位置に対応する類似領域であり、かつ、選択領域９に最も類似する類似領域の候補は第三の色の枠で囲んで表示する。第三の枠で囲まれた領域をユーザが選択した場合、類似領域探索モジュール２５は、残りの画像の類似領域の候補の絞込みの基準をどうするのかについての質問を表示する。類似領域探索モジュール２５は、例えば、領域の位置の同一性を重視するのか、領域の類似度の同一性を重視するのかをユーザに選択させる。ユーザからの選択情報に応じて、残りの画像の類似領域の絞込みを実行する。
【００６５】
次に、図８のＳ０６の各領域の特徴量の算出処理を説明する。特徴量抽出モジュール２７は、選択領域内及び類似領域内の画像から、色ヒストグラムなどの画像特徴量を自動的に抽出する。色ヒストグラムは、選択領域あるいは類似領域を構成する各画素の画素値（色）を調べ、色ごとに画素の個数をカウントしたものである。通常、抽出された特徴量は多次元ベクトル形式で表わされる。色ヒストグラムの場合、色に対応する画素の個数の数値情報で構成される。画像特徴量は、色ヒストグラム以外にも、画像の形状特徴量などを利用することも可能である。予め決めておいた一つの画像特徴量を利用する以外にも、利用が想定される複数の種類の画像特徴量の抽出方式を予め組み込んでおき、ユーザからの指定に応じて画像特徴量の抽出方式を変更する方法も可能である。複数の種類の画像特徴量は、例えば、「色ヒストグラム」、「形状特徴量」等である。本実施例では、ユーザによって「色ヒストグラム」を画像特徴量とする選択情報が入力されたものとする。
【００６６】
特徴量表示モジュール２９は、各画像情報内の選択領域および類似領域にそれぞれ対応する特徴量を表示する。特徴量表示モジュール２９は、例えば、特徴量が色ヒストグラムの場合、各画像の選択領域および類似領域の色ヒストグラムを表示する。図１７は色ヒストグラムの構成例である。色ヒストグラムの横軸は色の種類である。色ヒストグラムの縦軸は領域内の画素の個数である。本実施例の色は、色１、色２、及び色３とする。図１７では、画像領域内に、色１の画素が「ａ」個、色２の画素が「ｂ」個、および色３の画素が「ｃ」個あることを示す。
【００６７】
図１は、各画像情報の領域の特徴量を表示した画面例である。特徴量表示モジュール２９は、画像２の選択領域９および他の画像３乃至７の類似領域１０−１、１１−１、１２−２、１３−１、１４−１の色ヒストグラム（９−２、１０−３、１１−３、１２−３、１３−３、１４−３）をそれぞれ表示する。画像解析装置１０１は、複数の画像情報間を比較するときに、選択された画像内の部分領域の特徴を示すヒストグラムを表示することが可能となる。特徴量がヒストグラムで表示されることにより、領域内の画像の色といった特徴を数値で比較することが可能となる。この結果、ユーザは、例えば、色ヒストグラムの表示によって、「良品は色２の領域内の色３の領域の面積が１０、不良品は色２の領域内の色３の領域の面積が２０」というような仮説を定量的に表現することが可能となる。以上により、画像群からの知識の発見を支援する際に、ユーザが見つけた画像の部分の特徴と性能情報との間の関係を定量的に表現することが可能となる。知識とは、画像とその画像に関連する属性データ(数値やテキスト)の組から「画像の持つ視覚的な特徴」と「属性データの内容」との間の関係から導かれる情報である。
【００６８】
次に、各画像の領域間の相関係数の算出処理について説明する。図８のＳ０６までの処理により、各領域に対応する画像の特徴量を数値で示すことが可能になった。相関係数を算出する処理を実行することにより、画像の見た目の特徴量の違いと画像に付随する関連情報との間の相関の強さを発見することが可能となる。
【００６９】
画像処理装置１０１は、画像の特徴量と関連情報との相関を解析するか否かを判定し（Ｓ０７）、相関を解析する場合（Ｓ０７：ｙｅｓ）、相関解析処理を実行する（Ｓ０８）。相関係数算出モジュール３１は、以下の処理を実行する。図１８は、相関係数の算出処理のフローチャートである。
【００７０】
特徴量抽出モジュール２９により算出された特徴量は、多次元ベクトルの形式で表現されている。多次元ベクトルの各次元は色の種類に対応する。そこで、相関係数算出モジュール３１は、多次元ベクトルの次元毎に、次元の値と関連情報との間の散布図を作成する（Ｓ３１）。関連情報は、例えば、製品の性能を示す値である。製品の性能を示す値は、例えば、良品の場合は「１」とし、不良品の場合は「０」とする。また、本実施例では、相関係数の絶対値が「１」に近いほど画像の見た目の特徴と性能値との関係は強く、「０」に近いほど関係は弱いこととする。したがって、性能の値が高くなるにつれて、画像特徴量が変化する場合、性能の値と画像特徴量との間の関連が強い、その結果、相関関係が高くなる。
【００７１】
図１９、図２０は画像の特徴量と性能値とを対応させた散布図である。散布図の縦軸は性能値を示し、横軸は画像特徴量を示す。なお、図１９、図２０の性能値は、「０」あるいは「１」以外の値を取るものとする。点１８は、それぞれ、画像領域毎に求めた特定次元の画像特徴量と性能値との交点である。図１９は、相関係数が「１」に近い場合の散布図である。図２０は相関係数が「０」に近い場合の散布図である。
【００７２】
相関係数算出モジュール３１は、多次元ベクトルの全次元について散布図の生成が終了したか否かを判別する（Ｓ３２）。全次元について散布図の生成が終了していない場合（Ｓ３２：ｎｏ）、相関係数算出モジュール３１は、次元の値と関連情報との間の散布図を作成する処理を実行する。一方、全次元についての散布図生成が終了した場合（Ｓ３２：ｙｅｓ）、相関係数算出モジュール３１は、各次元の散布図から相関係数を検出する（Ｓ３３）。相関係数算出モジュール３１は、（数１）の計算を実行することにより画像特徴量と関連情報との間の相関係数を算出する。相関係数算出モジュール３１は、画像特徴量の各次元毎に相関係数を算出する。
【００７３】
【数１】
0005104291.tif 000002
【００７４】
（数１）において、「ｒ」は、相関係数である。相関係数「ｒ」は「−１」以上「１」以下の範囲になる。「ｎ」は画像のサンプル数を表す。「ｘｉ」は、「ｉ」番目のサンプルの画像特徴量を表す。「ｙｉ」は、「ｉ」番目のサンプルの性能値を表す。「ｘａ」は、画像特徴量の全サンプルの平均値である。「ｙａ」は、性能値の全サンプルの平均値である。
【００７５】
次に相関係数の比較モジュール３３は、相関係数算出モジュール３１により求めた多次元ベクトルの各次元（色に相当）毎の相関係数の中から、相関係数が最大となる次元を検出する（Ｓ３４）。相関係数の比較モジュール３３は、性能値（良品／不良品）に対する相関係数が最大になる次元（色）を求めることが可能となる。
【００７６】
ここで、ユーザが選択領域および類似領域に、特徴量を表示する領域を選択する場合について説明する。図２１は、ユーザが選択した画像内の領域に特徴量を表示する処理のフローチャートである。画像処理装置１０１は、画像データベース２１内の画像群を画面上の仮想三次元空間に配置して表示する。図７の画面を例にして説明する。ユーザは画面上に表示された画像群１を眺め、画像の見た目の特徴の検出を試みる。例えば、ユーザは「良品は灰色（ｃｏｌｏｒ２）で囲まれた黒色（ｃｏｌｏｒ３）の領域が小さく、不良品は灰色（ｃｏｌｏｒ２）で囲まれた黒色（ｃｏｌｏｒ３）の領域が大きい」と考えたとする。
【００７７】
ユーザは、画面上に表示された画像群１の中から、着目した画像を選択する。選択は、例えば、ユーザが入力部１０３を介して選択した画像を特定する情報を入力することにより実行される。本実施例では、ユーザは画像群１の中から画像２を選択したものとする。以降の説明では画像２を選択画像という。画像選択モジュール２２は、選択画像２に対応する選択画像情報を画像データベースから取得する（Ｓ４１）。次に、領域指定モジュール２４は選択画像２内で選択された領域の選択領域情報を取得する（Ｓ４２）。ユーザは、良品の製品は領域２−４で囲まれた領域２−５が小さく、不良の製品は領域２−４で囲まれた領域２−５が大きいと推測する。ユーザは、例えば、入力部１０３を介して、画面上に表示された選択画像２内の着目した領域を選択する。例えば、ユーザは選択画像２内の着目した領域を矩形で囲むことで選択領域とする。図９は、選択画像内の選択領域が選択されたときの画面例である。９は選択領域である。選択領域９は、ユーザに矩形で囲まれた選択画像２上の着目した領域である。画像群１、画像２乃至７は図５と同様である。次にユーザは、画面上に表示された画像群１の中から、類似画像および類似領域として着目した画像を選択する（Ｓ４３）（Ｓ４４）。選択は、Ｓ４１、Ｓ４２と同様な処理によって実現する。次に、特徴量抽出モジュール２７は、選択領域９および類似領域の特徴量を算出する（Ｓ４５）。そして、特徴量表示モジュール２９は、選択領域９および類似領域の特徴量を画面上に表示する（Ｓ４６）。
【００７８】
また、Ｓ２２の領域Ｂ０の算出について他の例を説明する。画像群１内の各画像は、比較しやすい画像であることが望ましい。しかし、シミュレーションの処理の結果得られる画像であっても、画像間で画素がずれることはある。また、同じ撮影条件で撮影された画像であっても、製品とカメラとの間の位置や傾き等のずれが生じてしまう場合がある。したがって、画像内の特定の画素に対する製品の部分が画像群１で常に同じ位置に対応するとは限らない。よって、選択画像の選択領域の座標に対応する他の画像の領域の位置が、選択領域の位置からずれている場合がある。そこで、類似領域探索モジュール２５は、選択領域に含まれる着目する対象に最も類似する対象が含まれる、選択領域の座標位置に対応する他画像内の領域の周辺から、類似領域を探索するような構成とすることも可能である。類似領域探索モジュール２５は、例えば、周辺数画素の範囲で領域を移動させ、選択領域の画像と類似領域の候補となりうる領域の画像との間の距離が極小となる、類似領域の候補となりうる領域の有無を検出する。距離が極小となる領域がある場合、類似領域探索モジュール２５は、距離が極小となる領域を領域Ｂ０に設定する。なお、周辺数画素の範囲は範囲を定める定数「Ｔ」よりも小さい値とする。
【００７９】
以上で説明した画像処理は、大量の画像群から知識の発見を支援するイメージマイニングの分野に適用可能である。本実施例では、製造の分野の画像の例を用いて説明した。本実施例の画像処理は、例えば、マルチメディア情報（画像、映像、図面、３次元ＣＡＤ（Ｃｏｍｐｕｔｅｒ  Ａｉｄｅｄ  Ｄｅｓｉｇｎ）データ、ボリュームデータ）の検索、分析、マイニング、ナレッジマネジメント、ＰＬＭ（Ｐｒｏｄｕｃｔ  ｌｉｆｅｃｙｃｌｅ  ｍａｎａｇｅｍｅｎｔ）、ＣＡＥ（Ｃｏｍｐｕｔｅｒ  Ａｉｄｅｄ  Ｅｎｇｉｎｅｅｒｉｎｇ）、設計、製造、マーケティング、医療などの幅広い分野に適用可能である。
【００８０】
なお、別の実施例として、性能値の違いから、性能値に関連すると考えられる画像内の領域を特定する処理も可能である。例えば、画像解析装置は、予め有する性能値と画像内の領域の色の分布との相関を各製品の画像毎に取得する。画像解析装置は、相関係数が１あるいは−１に近い値となる画像内の領域を探索する。画像解析装置は性能値との間の相関係数が１あるいはー１に近い画像内の領域を特定する。
【００８１】
また、本実施例の応用として、画像と性能値との間の相関が取得できた場合に、取得した相関によって、別の画像の性能を予測することが可能である。例えば、画像解析装置は予め画像の特徴と性能値との間の相関係数を取得したとする。その後、画像情報を取得すると、画像解析装置は、画像情報と相関係数とから性能値を予測する。これにより、ユーザは、製品の性能を予測することが可能となる。
【図面の簡単な説明】
【００８２】
【図１】本実施例の画像処理の結果を示す図である。
【図２】画像解析装置の装置構成図である。
【図３】画像解析装置１０１の機能を説明する機能ブロック図である。
【図４】性能値データベース３０の構成例である。
【図５】本実施例の画像情報である。
【図６】画像情報内の接合領域の拡大図である。
【図７】仮想三次元空間に配置された画像群の表示例である。
【図８】ユーザが選択した画像内の領域について特徴量を表示する処理のフローチャートである。
【図９】選択画像内の選択領域が選択されたときの画面例である。
【図１０】類似領域の探索処理のフローチャートである。
【図１１】類似領域の候補の探索処理のフローチャートである。
【図１２】探索処理の説明図である。
【図１３】類似領域の候補が表示された画面例である。
【図１４】類似領域の候補の絞込み処理のフローチャートである。
【図１５】類似領域の候補の絞込み処理の説明図である。
【図１６】類似領域の検出結果の画面例である。
【図１７】色ヒストグラムの構成例である。
【図１８】相関係数の算出処理のフローチャートである。
【図１９】相関係数が「１」に近い場合の散布図である。
【図２０】相関係数が「０」に近い場合の散布図である。
【図２１】ユーザが選択した画像内の領域について特徴量を表示する処理のフローチャートである。
【符号の説明】
【００８３】
１０１  画像解析装置
１０２  制御部
１０３  入力部
１０４  出力部
１０５  メモリ
１０６  記憶部
１０７  ネットワークインターフェース
１０７−１  ネットワーク
１０８  画像処理プログラム
１０９  バス
【図１】
0005104291.tif 000003
【図２】
0005104291.tif 000004
【図３】
0005104291.tif 000005
【図４】
0005104291.tif 000006
【図５】
0005104291.tif 000007
【図６】
0005104291.tif 000008
【図７】
0005104291.tif 000009
【図８】
0005104291.tif 000010
【図９】
0005104291.tif 000011
【図１０】
0005104291.tif 000012
【図１１】
0005104291.tif 000013
【図１２】
0005104291.tif 000014
【図１３】
0005104291.tif 000015
【図１４】
0005104291.tif 000016
【図１５】
0005104291.tif 000017
【図１６】
0005104291.tif 000018
【図１７】
0005104291.tif 000019
【図１８】
0005104291.tif 000020
【図１９】
0005104291.tif 000021
【図２０】
0005104291.tif 000022
【図２１】
0005104291.tif 000023