(57)【要約】【課題】未特定の対象物を撮像した写真等の未特定画像データから切り出されたオブジェクトについて必要な変換を施し、既知の対象物に対応する新たなオブジェクトの抽出を可能にする画像処理装置及び方法を提供すること。【解決手段】類似度測定部が、確信度判定プログラムＪＰを読み出して初期候補オブジェクトの抽出を行い、候補オブジェクト変換部が、増肉・減肉用オブジェクト選択プログラムＯＣや候補オブジェクト増肉・減肉プログラムＯＴを読み出して初期候補オブジェクトを変換する。さらに、オブジェクト確定部が、変換されたオブジェクトに関して類似度の測定をし、必要に応じて変換の動作を繰り返させた上で、抽出すべきオブジェクトを確定している。これにより、既知の対象物に対応する新たなオブジェクトの抽出を行うことが可能となる。【選択図】図２
2015179511.tif 000002
【特許請求の範囲】
【請求項１】
未特定の対象物を撮像した未特定画像データから切り出されたオブジェクトを変換して、既知の対象物に対応する新たなオブジェクトを抽出する画像処理装置であって、
前記未特定画像データから切り出したオブジェクトを含む分割画像の集合体で構成されるレイヤを作成するレイヤ作成部と、
前記レイヤ作成部で作成されたレイヤに含まれるオブジェクトから初期の候補として変換され得る処理対象として取り扱われる初期候補オブジェクトを決定する初期候補オブジェクト決定部と、
前記レイヤ作成部で作成されたレイヤに含まれる前記初期候補オブジェクト以外のオブジェクトを利用して、前記初期候補オブジェクトを変換して新たな候補オブジェクトを作成する候補オブジェクト変換部と、
を備える画像処理装置。
【請求項２】
オブジェクトについて前記既知の対象物に対する類似度を測定する類似度測定部と、
前記類似度測定部により測定された類似度の測定結果に基づいて、前記候補オブジェクト変換部における変換によって作成された新たな候補オブジェクトと変換前の候補オブジェクトとの中から選択されたオブジェクトを、確定オブジェクトとして保存するオブジェクト確定部と、
をさらに備える、請求項１に記載の画像処理装置。
【請求項３】
前記初期候補オブジェクト決定部は、前記類似度測定部での測定結果に基づいて、前記初期候補オブジェクトを決定する、請求項２に記載の画像処理装置。
【請求項４】
前記オブジェクト確定部は、前記類似度測定部により測定された類似度について予め定めた閾値に基づいて、前記確定オブジェクトとして保存すべきオブジェクトを決定する、請求項２及び３のいずれか一項に記載の画像処理装置。
【請求項５】
前記オブジェクト確定部は、前記類似度測定部により測定された類似度の測定結果に基づいて、前記候補オブジェクト変換部における変換によって作成された新たな候補オブジェクトと変換前の候補オブジェクトとを比較して、前記オブジェクト変換部における変換の動作を繰り返させるか終了させるかを判断し、判断の結果として得られた候補オブジェクトを、前記確定オブジェクトとして保存する、請求項２から４までのいずれか一項に記載の画像処理装置。
【請求項６】
前記初期候補オブジェクト決定部は、前記レイヤ作成部で作成された各種オブジェクトのうち、前記類似度測定部により測定される類似度の閾値を越えるものを前記初期候補オブジェクトとする、請求項２から５までのいずれか一項に記載の画像処理装置。
【請求項７】
前記類似度測定部は、前記既知の対象物に対する類似度の測定として、切り出したオブジェクトについての前記既知の対象物に対する近似性の高さを数値化した確信度を測定の基準とする、請求項２から６までのいずれか一項に記載の画像処理装置。
【請求項８】
前記レイヤ作成部は、前記初期候補オブジェクトを含み得るオブジェクト群で構成される候補レイヤを作成する第１レイヤ作成部と、前記初期候補オブジェクトを含み得ないオブジェクト群のみで構成される特別レイヤを作成する第２レイヤ作成部とを有し、
前記第２レイヤ作成部は、前記未特定画像データからオブジェクトを切り出す際の画像処理において前記候補レイヤを構成する各種オブジェクトから除外され、前記候補オブジェクト変換部における変換において他のオブジェクトに付随され得るものとして取り扱われる付随オブジェクトのみで構成される付随レイヤを前記特別レイヤとして作成する、請求項１から７までのいずれか一項に記載の画像処理装置。
【請求項９】
前記レイヤ作成部は、前記既知の対象物とは別の既知の対象物について切り出した別候補オブジェクトに関する分割画像の集合体で構成される別候補レイヤを作成する第３レイヤ作成部を有し、
前記候補オブジェクト変換部は、新たな候補オブジェクトを作成するに際して、前記別候補レイヤに含まれる前記別候補オブジェクトを、変換の動作の対象から除外する、請求項１から８までのいずれか一項に記載の画像処理装置。
【請求項１０】
前記レイヤ作成部は、相対的に上位側のレイヤと下位側のレイヤとの階層的構造のレイヤ群を含むようにレイヤを作成し、
前記上位側のレイヤは、前記下位側のレイヤを構成する複数のオブジェクトを子オブジェクトとして内部に包含する親オブジェクトを含んで構成されている、請求項１から９までのいずれか一項に記載の画像処理装置。
【請求項１１】
前記初期候補オブジェクト決定部は、前記レイヤ作成部によって作成される前記階層的構造のレイヤ群において、前記下位側のレイヤに属するオブジェクトのうちから前記初期候補オブジェクトを決定し、
前記候補オブジェクト変換部は、前記初期候補オブジェクトに対して、他のオブジェクトを付随させて新たな候補オブジェクトを作成する、請求項１０に記載の画像処理装置。
【請求項１２】
前記初期候補オブジェクト決定部は、前記レイヤ作成部によって作成される前記階層的構造のレイヤ群において、前記上位側のレイヤに属するオブジェクトのうちから前記初期候補オブジェクトを決定し、
前記候補オブジェクト変換部は、前記初期候補オブジェクトに対して、前記初期候補オブジェクトに包含される子オブジェクトの一部を除去して新たな候補オブジェクトを作成する、請求項１０に記載の画像処理装置。
【請求項１３】
前記レイヤ作成部は、既存の分割画像において、各分割画像のサイズを測定し、測定された当該分割画像の画像データのサイズと、前記既知の対象物に対応する画像データのサイズとを比較して、当該分割画像を必要に応じて再分割して、新たなオブジェクトに基づくレイヤを作成する、請求項１から１２までのいずれか一項に記載の画像処理装置。
【請求項１４】
未特定の対象物を撮像した未特定画像データから切り出されたオブジェクトを変換して、既知の対象物に対応する新たなオブジェクトを抽出する画像処理方法であって、
前記未特定画像データから切り出したオブジェクトを含む分割画像の集合体で構成されるレイヤを作成するレイヤ作成工程と、
前記レイヤ作成工程で作成されたレイヤに含まれオブジェクトから初期の候補として変換され得る処理対象として取り扱われる初期候補オブジェクトを決定する初期候補オブジェクト決定工程と、
前記レイヤ作成工程で作成されたレイヤに含まれる前記初期候補オブジェクト以外のオブジェクトを利用して、前記初期候補オブジェクトを変換して新たな候補オブジェクトを作成する候補オブジェクト変換工程と、
を備える画像処理方法。
【請求項１５】
未特定の対象物を撮像した未特定画像データにおいて、既知の対象物に関する認識を行う画像認識装置であって、
請求項１から１３までのいずれか一項に記載の画像処理装置を含み、当該画像処理装置によって前記未特定画像データから抽出された新たなオブジェクトに基づいて、既知の対象物の有無の判定を行う、画像認識装置。
【請求項１６】
未特定の対象物を撮像した未特定画像データにおいて、既知の対象物に関する認識を行う画像認識方法であって、
請求項１４に記載の画像処理方法を含み、当該画像処理方法によって前記未特定画像データから抽出された新たなオブジェクトに基づいて、既知の対象物の有無の判定を行う判定工程を備える、画像認識方法。
【請求項１７】
未特定の対象物を撮像した未特定画像データにおいて、既知の対象物に関する認識を行う画像分類装置であって、
請求項１から１３までのいずれか一項に記載の画像処理装置を含み、当該画像処理装置によって前記未特定画像データから抽出された新たなオブジェクトに基づいて、既知の対象物の分類を行う、画像分類装置。
【請求項１８】
未特定の対象物を撮像した未特定画像データにおいて、既知の対象物に関する認識を行う画像分類方法であって、
請求項１４に記載の画像処理方法を含み、当該画像処理方法によって前記未特定画像データから抽出された新たなオブジェクトに基づいて、既知の対象物の分類を行う分類工程を備える、画像分類方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、未特定の対象物を撮像した写真等の未特定画像データから切り出されたオブジェクトを変換して、既知の対象物に対応する新たなオブジェクトを抽出する画像処理装置及び方法、画像認識装置及び方法、並びに画像分類装置及び方法に関する。
【背景技術】
【０００２】
コンピューター等で制御される画像処理装置の処理によって、未特定の対象物すなわち何であるか不明の対象物を撮像した写真等の画像データから既知の対象物に対応する画像を切り出して抽出しようとする場合、必ずしも既知の対象物に対応する部分が過不足なく取り出せるとは限らない。例えば画像処理の過程において、本来抽出される部分の一部として含まれるべき画像データの部分画像が除去されてしまったり、逆に不要で除去されるべき画像データの部分画像が含まれたままになってしまったりする可能性があるためである。人間の眼で画像データから切り出しを行うのであれば、切出しを行う人間のこれまでの経験や知識に基づいて必要な部分を適切に判断し、過不足の無い所望の画像データの切出しができる。しかしながら、このような人間を介した切出しの範囲についての判断は、抽象的であいまいな概念的広がりを有する多様なものであり、コンピューター等で制御される画像処理装置において、人間の判断と同様の判断を行わせるのは、必ずしも容易ではない。
【０００３】
例えば、一般の写真から高精度に画像内オブジェクト（部分画像）を抽出する技術として、複数の階調に分けられたエッジ画像（階調エッジ画像）について、１つの階調に属する階調エッジ画像に隣接する他の階調に属する階調エッジ画像の領域の数に応じて、画像内オブジェクトの抽出を行うか否かを決定するものが知られている（特許文献１参照）。しかしながら、例えば特許文献１の場合、画像のエッジ部分等が画像内オブジェクトを抽出するか否かの判断基準となるので、例えば画像のエッジの情報だけでは抽出すべきか否かの判断が難しい対象物について部分画像を切り出す場合には、必ずしも過不足なく適切に画像内オブジェクトの取出しができるとは限らないことになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２５２７１号公報
【発明の概要】
【０００５】
本発明は、未特定の対象物を撮像した写真等の未特定画像データから切り出されたオブジェクトについて必要な変換を施し、既知の対象物に対応する新たなオブジェクトの抽出を可能にする画像処理装置及び方法等を提供することを目的とする。ここで、オブジェクトとは、一定のまとまりを有する画像部分を意味するものとし、この画像部分に対応する一定範囲の領域に収まる一群の画素情報からなるものとする。
【０００６】
上記目的を達成するため、本発明に係る画像処理装置は、（ａ）未特定の対象物を撮像した未特定画像データから切り出されたオブジェクトを変換して、既知の対象物に対応する新たなオブジェクトを抽出する画像処理装置であって、（ｂ）未特定画像データから切り出したオブジェクトを含む分割画像の集合体で構成されるレイヤを作成するレイヤ作成部と、（ｃ）レイヤ作成部で作成されたレイヤに含まれるオブジェクトから初期の候補として変換され得る処理対象として取り扱われる初期候補オブジェクトを決定する初期候補オブジェクト決定部と、（ｄ）レイヤ作成部で作成されたレイヤに含まれる初期候補オブジェクト以外のオブジェクトを利用して、初期候補オブジェクトを変換して新たな候補オブジェクトを作成する候補オブジェクト変換部と、を備える。
【０００７】
上記画像処理装置によれば、候補オブジェクト変換部において、初期候補オブジェクトを変換して新たな候補オブジェクトを作成している。つまり、未特定の対象物を撮像した写真等の未特定画像データから切り出されたオブジェクトについて必要な変換を施し、既知の対象物に対応する新たなオブジェクトの抽出を行うことが可能となる。
【０００８】
本発明の具体的な側面では、オブジェクトについて既知の対象物に対する類似度を測定する類似度測定部と、類似度測定部により測定された類似度の測定結果に基づいて、候補オブジェクト変換部における変換によって作成された新たな候補オブジェクトと変換前の候補オブジェクトとの中から選択されたオブジェクトを、確定オブジェクトとして保存するオブジェクト確定部と、をさらに備える。この場合、変換されたオブジェクトに関して類似度の測定に基づいて、抽出すべきオブジェクトのより的確に確定することができる。
【０００９】
本発明の別の側面では、初期候補オブジェクト決定部は、類似度測定部での測定結果に基づいて、初期候補オブジェクトを決定する。この場合、抽出すべきオブジェクトの早期の決定を促進できる。
【００１０】
本発明のさらに別の側面では、オブジェクト確定部は、類似度測定部により測定された類似度について予め定めた閾値に基づいて、確定オブジェクトとして保存すべきオブジェクトを決定する。この場合、例えば予め定めた閾値を越えたオブジェクトについては、全て確定オブジェクトとして保存し、抽出される対象とすれば、抽出されるべきであったオブジェクトが見逃されて抽出されなくなってしまうという可能性を低減することができる。
【００１１】
本発明のさらに別の側面では、オブジェクト確定部は、類似度測定部により測定された類似度の測定結果に基づいて、候補オブジェクト変換部における変換によって作成された新たな候補オブジェクトと変換前の候補オブジェクトとを比較して、オブジェクト変換部における変換の動作を繰り返させるか終了させるかを判断し、判断の結果として得られた候補オブジェクトを、確定オブジェクトとして保存する。この場合、変換の動作を通じて最も適切と考えられるオブジェクトの抽出をすることができる。
【００１２】
本発明のさらに別の側面では、初期候補オブジェクト決定部は、レイヤ作成部で作成された各種オブジェクトのうち、類似度測定部により測定される類似度の閾値を越えるものを初期候補オブジェクトとする。この場合、例えば類似度の比較的高いものを初期候補オブジェクトとして選択することで、変換処理における計算量を抑えることが可能になる。
【００１３】
本発明のさらに別の側面では、類似度測定部は、既知の対象物に対する類似度の測定として、切り出したオブジェクトについての既知の対象物に対する近似性の高さを数値化した確信度を測定の基準とする。この場合、類似度測定部での測定に基づいて、近似性の高さについて数値比較によって判定をすることができる。
【００１４】
本発明のさらに別の側面では、レイヤ作成部は、初期候補オブジェクトを含み得るオブジェクト群で構成される候補レイヤを作成する第１レイヤ作成部と、初期候補オブジェクトを含み得ないオブジェクト群のみで構成される特別レイヤを作成する第２レイヤ作成部とを有し、第２レイヤ作成部は、未特定画像データからオブジェクトを切り出す際の画像処理において候補レイヤを構成する各種オブジェクトから除外され、候補オブジェクト変換部における変換において他のオブジェクトに付随され得るものとして取り扱われる付随オブジェクトのみで構成される付随レイヤを特別レイヤとして作成する。この場合、例えば候補レイヤを決定する上で欠落されてしまった部分画像に関する情報があったとしても、付随オブジェクトとして取り扱われ、最終的な確定オブジェクトの一部として取り扱われるようになるものとできる。
【００１５】
本発明のさらに別の側面では、レイヤ作成部は、既知の対象物とは別の既知の対象物について切り出した別候補オブジェクトに関する分割画像の集合体で構成される別候補レイヤを作成する第３レイヤ作成部を有し、候補オブジェクト変換部は、新たな候補オブジェクトを作成するに際して、別候補レイヤに含まれる別候補オブジェクトを、変換の動作の対象から除外する。この場合、変換処理の対象を予め絞ることができる。
【００１６】
本発明のさらに別の側面では、レイヤ作成部は、相対的に上位側のレイヤと下位側のレイヤとの階層的構造のレイヤ群を含むようにレイヤを作成し、上位側のレイヤは、下位側のレイヤを構成する複数のオブジェクトを子オブジェクトとして内部に包含する親オブジェクトを含んで構成されている。この場合、階層的構造を有することで、変換処理における選択肢を整理して、円滑に処理を行うことができる。
【００１７】
本発明のさらに別の側面では、初期候補オブジェクト決定部は、レイヤ作成部によって作成される階層的構造のレイヤ群において、下位側のレイヤに属するオブジェクトのうちから初期候補オブジェクトを決定し、候補オブジェクト変換部は、初期候補オブジェクトに対して、他のオブジェクトを付随させて新たな候補オブジェクトを作成する。この場合、下位側のレイヤから上位側へボトムアップしていくことで、目的とするオブジェクトの抽出が可能となる。
【００１８】
本発明のさらに別の側面では、初期候補オブジェクト決定部は、レイヤ作成部によって作成される階層的構造のレイヤ群において、上位側のレイヤに属するオブジェクトのうちから初期候補オブジェクトを決定し、候補オブジェクト変換部は、初期候補オブジェクトに対して、初期候補オブジェクトに包含される子オブジェクトの一部を除去して新たな候補オブジェクトを作成する。この場合、上位側のレイヤから下位側へトップダウンしていくことで、目的とするオブジェクトの抽出が可能となる。
【００１９】
本発明のさらに別の側面では、レイヤ作成部は、既存の分割画像において、各分割画像のサイズを測定し、測定された当該分割画像の画像データのサイズと、既知の対象物に対応する画像データのサイズとを比較して、当該分割画像を必要に応じて再分割して、新たなオブジェクトに基づくレイヤを作成する。この場合、例えば抽出されるべきオブジェクトが、大きな塊のオブジェクトの一部に埋もれた状態で存在していることで見過ごされてしまう、といった事態を回避することが可能となる。
【００２０】
上記目的を達成するため、本発明に係る画像処理方法は、（ａ）未特定の対象物を撮像した未特定画像データから切り出されたオブジェクトを変換して、既知の対象物に対応する新たなオブジェクトを抽出する画像処理方法であって、（ｂ）未特定画像データから切り出したオブジェクトを含む分割画像の集合体で構成されるレイヤを作成するレイヤ作成工程と、（ｃ）レイヤ作成工程で作成されたレイヤに含まれるオブジェクトから初期の候補として変換され得る処理対象として取り扱われる初期候補オブジェクトを決定する初期候補オブジェクト決定工程と、（ｅ）レイヤ作成工程で作成されたレイヤに含まれる初期候補オブジェクト以外のオブジェクトを利用して、初期候補オブジェクトを変換して新たな候補オブジェクトを作成する候補オブジェクト変換工程と、を備える。
【００２１】
上記画像処理方法によれば、類似度測定工程での類似度に基づき最初の候補となる初期候補オブジェクトの抽出を行い、さらに、候補オブジェクト変換工程において、初期候補オブジェクトを変換しつつ変換されたオブジェクトに関して類似度の測定をした上で抽出すべきオブジェクトを確定している。これにより、未特定の対象物を撮像した写真等の未特定画像データから切り出されたオブジェクトについて必要な変換を施し、既知の対象物に対応する新たなオブジェクトの抽出を行うことが可能となる。
【００２２】
上記目的を達成するため、本発明に係る画像認識装置は、（ａ）未特定の対象物を撮像した未特定画像データにおいて、既知の対象物に関する認識を行う画像認識装置であって、（ｂ）上記いずれかに記載の画像処理装置を含み、当該画像処理装置によって前記未特定画像データから抽出された新たなオブジェクトに基づいて、既知の対象物の有無の判定を行う。
【００２３】
上記画像認識装置によれば、既知の対象物に対応する新たなオブジェクトを適切に抽出することで、より的確な画像認識が可能となる。
【００２４】
上記目的を達成するため、本発明に係る画像認識方法は、（ａ）未特定の対象物を撮像した未特定画像データにおいて、既知の対象物に関する認識を行う画像認識方法であって、（ｂ）上記に記載の画像処理方法を含み、当該画像処理方法によって前記未特定画像データから抽出された新たなオブジェクトに基づいて、既知の対象物の有無の判定を行う判定工程を備える。
【００２５】
上記目的を達成するため、本発明に係る画像処理装置は、（ａ）未特定の対象物を撮像した未特定画像データにおいて、既知の対象物に関する認識を行う画像分類装置であって、（ｂ）上記いずれかに記載の画像処理装置を含み、当該画像処理装置によって前記未特定画像データから抽出された新たなオブジェクトに基づいて、既知の対象物の分類を行う。
【００２６】
上記画像分類装置によれば、既知の対象物に対応する新たなオブジェクトを適切に抽出することで、より的確な画像分類が可能となる。
【００２７】
上記目的を達成するため、本発明に係る画像分類方法は、（ａ）未特定の対象物を撮像した未特定画像データにおいて、既知の対象物に関する認識を行う画像分類方法であって、（ｂ）上記に記載の画像処理方法を含み、当該画像処理方法によって前記未特定画像データから抽出された新たなオブジェクトに基づいて、既知の対象物の分類を行う分類工程を備える。
【図面の簡単な説明】
【００２８】
【図１】第１実施形態に係る画像処理装置の構造を概念的に説明するブロック図である。
【図２】画像処理装置のうち記憶装置の構成について概念的に説明するブロック図である。
【図３】（Ａ）及び（Ｂ）は、レイヤの構造について概念的に説明する図である。
【図４】画像処理装置を用いた画像処理方法を概念的に説明するフローチャートである。
【図５】図４に示す処理のうち、確信度に基づく初期候補オブジェクトの選択処理の一例について概念的に説明するフローチャートである。
【図６】（Ａ）〜（Ｄ）は、各レイヤから初期候補オブジェクトを抽出する過程の一例について説明するための概念的な図であり、（Ｅ）は、初期候補オブジェクトの変換における対象となるオブジェクトについて概念的に示す図である。
【図７】オブジェクトの変換と比較判定について概念的に説明するための図である。
【図８】（Ａ）及び（Ｂ）は、オブジェクトが重畳している場合の処理の一例について説明するための図である。
【図９】図８の場合におけるオブジェクトの変換と比較判定について概念的に説明するための図である。
【図１０】第２実施形態に係る画像処理装置を用いた画像処理方法におけるレイヤの構造について概念的に説明する図である。
【図１１】画像処理方法のうち、候補レイヤの作成処理を概念的に説明するフローチャートである。
【図１２】（Ａ）及び（Ｂ）は、候補レイヤの作成処理のうち、オブジェクトの分割について概念的に示す図である。
【図１３】（Ａ）〜（Ｅ）は、候補レイヤの作成処理のうち、オブジェクトの階層的構造の形成過程について概念的に示す図である。
【図１４】（Ａ）及び（Ｂ）は、第２実施形態に係る画像処理装置を用いた画像処理方法の変形例を概念的に説明するための図である。
【図１５】第３実施形態に係る画像処理装置の記憶装置の構成について概念的に説明するブロック図である。
【図１６】（Ａ）及び（Ｂ）はレイヤの構造について概念的に説明する図である。
【図１７】画像処理装置を用いた画像処理方法を概念的に説明するフローチャートである。
【図１８】第４実施形態に係る画像処理装置のうち記憶装置の構成について概念的に説明するブロック図である。
【図１９】（Ａ）は、第５実施形態に係る画像認識装置の構造を概念的に説明するブロック図であり、（Ｂ）は、画像認識装置のうち記憶装置の構成について概念的に説明するブロック図である。
【図２０】画像認識装置を用いた画像認識方法を概念的に説明するフローチャートである。
【図２１】画像認識方法に関する第１の例を説明するための図である。
【図２２】画像認識方法に関する第２の例を説明するための図である。
【図２３】（Ａ）〜（Ｇ）は、画像認識方法に関する第３の例を説明するための図である。
【図２４】画像認識方法に関する第３の例での処理を説明するフローチャートである。
【図２５】（Ａ）は、第６実施形態に係る画像分類装置の処理対象となる未特定画像の一例であり、（Ｂ）〜（Ｅ）は、分類を行うための知識データについて示す図である。
【図２６】画像分類装置を用いた画像分類方法を概念的に説明するフローチャートである。
【発明を実施するための形態】
【００２９】
〔第１実施形態〕
以下、本発明の第１実施形態に係る画像処理装置について図面を参照しつつ説明する。
【００３０】
図１に示すように、本実施形態に係る画像処理装置１００は、ＣＰＵ１０、記憶装置１２、表示装置１３、入力装置１４、バス５０等を備える。
【００３１】
画像処理装置１００は、ＣＰＵ１０等を動作させて、既知の特定の対象物に対する未知の対象物の画像の類似度（確信度）に基づいて、未知の対象物の画像データから既知の特定の対象物に対応する画像部分をオブジェクトとして抽出する装置である。
【００３２】
ここで、オブジェクトとは、一定のまとまりを有する画像部分を意味する。つまり、未知の対象物の画像についての未特定画像データから一部を切り出して得られた画像部分のほか、各画像部分を繋いで合成したもの等をオブジェクトと呼ぶものとする。また、未特定画像データから取り出されたオブジェクトのうち、単独で既知の特定の対象物に対応するものとなり得るオブジェクトを候補オブジェクトと呼ぶものとする。さらに、単独では、候補オブジェクトとなり得ないが、他のオブジェクトに付随して、新たな候補オブジェクトの一部となる可能性のあるオブジェクトを付随オブジェクト（あるいは特別オブジェクト、非候補オブジェクト）と呼ぶものとする。
【００３３】
画像処理装置１００のうち、ＣＰＵ１０は、バス５０を介して、記憶装置１２、表示装置１３や入力装置１４との間で相互にデータの授受が可能になっている。また、ＣＰＵ１０は、入力装置１４からのオペレーターの指示に基づいて、記憶装置１２から所定のプログラムやデータを読み出し、これらプログラム及びデータに基づく各種処理を実行する。
【００３４】
具体的に説明すると、ＣＰＵ１０は、予め取り込まれた画像情報を記憶装置１２に格納し、記憶装置１２に格納された画像情報に基づいて、各種オブジェクトの抽出や各種判定をする。なお、画像情報は、画像処理装置１００とは別体の撮像装置又は一体化された撮像装置（図示略）で撮像されたものであってもよい。撮像装置は、例えばＣＣＤ等からなる固体撮像装置を内蔵するものとすることができ、この固体撮像装置で検出された画像は、例えばデジタル画像信号として出力される。
【００３５】
記憶装置１２は、画像処理装置１００を動作させる各種プログラム等を複数記憶しているプログラム領域を有するプログラム記憶部と、入力指示、入力データ、処理結果等を一時格納するデータ領域を有するデータ記憶部とを備える。記憶装置１２の記憶部等についての詳細は、図２に示すブロック図を参照して後述する。
【００３６】
表示装置１３は、ＣＰＵ１０から入力されるデータに基づいて駆動信号を生成する表示駆動回路と、表示駆動回路から入力される駆動信号に基づいて必要な表示を行う画像表示部等により構成され、ＣＰＵ１０からの指令信号に基づいて必要な表示を行う。
【００３７】
入力装置１４は、キーボード等から構成され、画像処理装置１００を操作するオペレーターの意思を反映した指令信号をＣＰＵ１０に出力する。
【００３８】
以下、図２を参照して、を行うために、画像処理装置１００においてなされる各種画像データの処理に関して説明する。
【００３９】
図２は、画像処理装置１００のうち記憶装置１２の構成について概念的に説明するためのブロック図である。図２等に示すように、記憶装置１２は、各種プログラムを格納するためのプログラム領域を有するプログラム記憶部ＰＭと、各種データを格納するためのデータ領域を有するデータ記憶部ＤＭとで構成されている。
【００４０】
図２に示すように、記憶装置１２は、構成要素のうち、プログラム記憶部ＰＭに含まれるものとして、処理対象となる画像の前処理を行うための前処理プログラムＡＰと、レイヤを作成するためのレイヤ作成プログラムＩＣ１〜ＩＣｎ，ＡＣ，ＤＣ１〜ＤＣｍと、抽出対象である既知の対象物に対するオブジェクトの近似性の高さを判定するための類似度（確信度）判定プログラムＪＰと、候補オブジェクトの変換に利用するオブジェクトである増肉・減肉用オブジェクトの選択を行うための増肉・減肉用オブジェクト選択プログラムＯＣと、選択された増肉・減肉用オブジェクトに基づいてオブジェクトの変換を行うための候補オブジェクト増肉・減肉プログラムＯＴとを格納している。
【００４１】
ここで、レイヤとは、画像分割によって取得されるオブジェクトを載せた仮想的なシートであり、分割パターンごとに作成され、結果的に複数の層をなすものである。言い換えると、全体画像に対する１つの画像分割パターンによって得られる複数のオブジェクトで構成されるオブジェクト群である１つのレイヤが作成され、複数の画像分割パターンがあることでそれに応じた複数のレイヤがそれぞれ作成されると捉えられることができる。本実施形態では、既知の手法である種々の分割方法によって、複数のレイヤを作成するものとする。また、各種レイヤのうち、候補レイヤとは、候補オブジェクトを含みうるレイヤを意味する。これに対して、付随レイヤとは、付随オブジェクト（あるいは非候補オブジェクト、特別オブジェクト）のみで構成されるレイヤを意味する。
【００４２】
記憶装置１２は、構成要素のうち、データ記憶部ＤＭに含まれるものとして、未知の対象物についての画像情報である未特定画像データを記憶する未特定画像データ記憶部ＤＯと、候補レイヤに関するデータを記憶する第１〜第ｎ候補レイヤデータ記憶部ＩＤ１〜ＩＤｎと、付随レイヤに関するデータを記憶する第１〜第ｍ付随レイヤデータ記憶部ＤＤ１〜ＤＤｍと、候補オブジェクト等に関するデータを記憶するオブジェクトデータ記憶部ＩＯ，ＰＯ，ＦＯとを格納している。このほか、記憶装置１２は、データ記憶部ＤＭに特定画像データ記憶部ＳＯを格納している。特定画像データ記憶部ＳＯは、類似度（確信度）判定プログラムＪＰによる判定に際して必要となる既知の対象物に関するデータが蓄積されている。
【００４３】
プログラム記憶部ＰＭのうち、前処理プログラムＡＰは、画像解析のために必要となる前段の各種処理を行うためのプログラムであり、例えばデータ記憶部ＤＭの未特定画像データ記憶部ＤＯに格納されている未特定画像データについて各種処理を可能とするためのものである。また、第１〜第ｎ候補レイヤ作成プログラムＩＣ１〜ＩＣｎは、未特定画像データ記憶部ＤＯから読み出し前処理プログラムＡＰにおいて前処理がなされた画像データから各候補レイヤを作成するプログラムであり、例えば１つの候補レイヤ作成プログラムは、全体画像に相当する未特定画像データの画像を分割して分割画像の集合体を形成するすなわち１つの全体画像から複数のオブジェクトの集合体を形成するプログラムである。
【００４４】
ここで、各候補レイヤにおいて、候補オブジェクトとされるものを初期候補オブジェクトと呼ぶものとする。言い換えると、第１〜第ｎ候補レイヤ作成プログラムＩＣ１〜ＩＣｎは、初期候補オブジェクトを含み得る各種オブジェクトで構成される候補レイヤを作成するプログラムである。なお、初期候補オブジェクトの決定は、後述する類似度（確信度）判定プログラムＪＰに基づいてなされる。
【００４５】
データ記憶部ＤＭの第１〜第ｎ候補レイヤデータ記憶部ＩＤ１〜ＩＤｎは、第１〜第ｎ候補レイヤ作成プログラムＩＣ１〜ＩＣｎに基づいて作成された各候補レイヤに関するデータを、一時保存する。例えば、第１候補レイヤ作成プログラムＩＣ１において作成される候補レイヤを構成するオブジェクトに関する情報は、第１候補レイヤデータ記憶部ＩＤ１に格納されることになる。
【００４６】
プログラム記憶部ＰＭのうち、第１〜第ｍ付随レイヤ作成プログラムＤＣ１〜ＤＣｍは、各付随レイヤをそれぞれ作成するプログラムである。ここで、候補オブジェクトとなり得ない付随オブジェクトについて具体的には、例えば第１〜第ｎ候補レイヤ作成プログラムＩＣ１〜ＩＣｎ等によって未特定画像データ記憶部ＤＯに格納されている未特定画像データからオブジェクトを切り出す際の画像処理において、候補レイヤを構成する各種オブジェクトから除外されたオブジェクトが該当する。第１候補レイヤ作成プログラムＩＣ１等での画像処理は、主として画像分割によってなされるものであり、種々の態様が考えられるが、処理において、例えば、分割された画像のうち閾値に満たないサイズのものについては、画一的に除去するような処理がなされる場合がある。すなわち、サイズの小さいオブジェクトについては、捉えようとする既知の対象となる画像の候補オブジェクトにはとはなり得ないものとして除去される処理がなされることがある。しかしながら、このようなオブジェクトは、単独では、目的とするオブジェクトを示すものとはならないものであったとしても、目的とするオブジェクトの一部を構成する可能性は残っており、完全に除去すべきではない可能性もある。言い換えると、このような除去されたオブジェクトであっても、目的とするオブジェクトを的確に捉えるためには、他のオブジェクトに付随させて適用させる必要が生じる場合もある。本実施形態では、上記のように、各種画像処理の過程において、候補から除外され非候補オブジェクトとして取り扱われたオブジェクトを特別オブジェクト（あるいは付随オブジェクト）として再度取り入れる可能性を持たせることで、コンピューターのように画一的な処理を行う画像処理装置であっても、目的とするオブジェクトをより的確に抽出することを可能にしている。
【００４７】
データ記憶部ＤＭの第１〜第ｍ付随レイヤデータ記憶部ＤＤ１〜ＤＤｍは、第１〜第ｍ付随レイヤ作成プログラムＤＣ１〜ＤＣｍに基づいて作成された各付随レイヤのデータを、一時保存する。
【００４８】
プログラム記憶部ＰＭのうち、類似度（確信度）判定プログラムＪＰは、未特定画像データから候補オブジェクトとして抽出されたオブジェクトが、特定対象物に対応するものであるか否かを数値的に判定可能にするための判定基準プログラムである。例えば、ＣＰＵ１０（図１参照）は、類似度測定部として、プログラム記憶部ＰＭから類似度（確信度）判定プログラムＪＰを読み出すとともに、第１〜第ｎ候補レイヤデータ記憶部ＩＤ１〜ＩＤｎからオブジェクトを読み出して、さらに特定画像データ記憶部ＳＯから既知の対象物に関するデータを読み出して、類似度（確信度）判定プログラムＪＰに基づいて両者のデータの比較から数値的に示される確信度を算出し、さらに、ＣＰＵ１０は、初期候補オブジェクト決定部として、算出結果から当該オブジェクトのうち類似度の高いもの（予め定めた閾値を越えたもの）を初期候補オブジェクトに決定する。なお、初期候補オブジェクトに関する情報は、初期候補オブジェクトデータ記憶部ＩＯに格納される。また、ＣＰＵ１０は、オブジェクト判定部として、プログラム記憶部ＰＭから類似度（確信度）判定プログラムＪＰを読み出すとともに、初期候補オブジェクトを格納する初期候補オブジェクトデータ記憶部ＩＯや初期候補オブジェクトを変換して得られる暫定候補オブジェクトを格納する暫定候補オブジェクトデータ記憶部ＰＯから候補オブジェクトに関するデータを読み出し、当該候補オブジェクトがどの程度目的とする対象物に近いものであるかを判定する。
【００４９】
プログラム記憶部ＰＭのうち、増肉・減肉用オブジェクト選択プログラムＯＣは、判定の対象となっている候補オブジェクトの変換・変形に関与するオブジェクトである増肉・減肉用オブジェクトを候補オブジェクトに応じて選択するためのプログラムである。また、候補オブジェクト増肉・減肉プログラムＯＴは、選択プログラムＯＣで選択された増肉・減肉用オブジェクトのうちいずれのオブジェクトを候補オブジェクトの変換・変形に際して増肉或いは減肉に用いるかの選択を行うためのプログラムである。
【００５０】
初期候補オブジェクトデータ記憶部ＩＯから取り出された初期候補オブジェクトが、候補オブジェクト増肉・減肉プログラムＯＴに基づく処理により変換・変形されて新たなオブジェクトが作成されると、当該オブジェクトは暫定候補オブジェクトとして暫定候補オブジェクトデータ記憶部ＰＯに一時的に格納される。暫定候補オブジェクトデータ記憶部ＰＯに一時的に格納された暫定候補オブジェクトは、候補オブジェクト増肉・減肉プログラムＯＴに基づいて変換・変形される。この動作を繰り返して最終的な結果として得られるオブジェクトが、確定オブジェクトとして確定オブジェクトデータ記憶部ＦＯに格納される。すなわち、確定オブジェクトデータ記憶部ＦＯに格納されたオブジェクトについての画像データが、最終的に抽出されるべきオブジェクトのデータとなる。
【００５１】
以下、図３を参照して、以上の構成を有する画像処理装置１００を用いた画像処理方法のうち、レイヤの形成及び初期候補オブジェクトの決定の一例について概念的に説明する。図３（Ａ）及び３（Ｂ）は、各レイヤの構造について概念的に説明する図である。まず、上記した各レイヤ作成プログラムＩＣ１等に基づいて、図３（Ａ）に示すように、複数のレイヤが単数又は複数のオブジェクトＯＢを有してそれぞれ作成される。すなわち、画像分割処理に相当するプログラムをそれぞれ有する各レイヤ作成プログラムによって多層構造の候補レイヤ、熱候補レイヤ及び付随レイヤがそれぞれ形成される。なお、ここでは、ｎ層（ｎ≧１）の候補レイヤ及びｍ層（ｍ≧１）の付随レイヤがそれぞれ作成されるものとする。次に、図３（Ｂ）に示すように、ｎ層の候補レイヤに含まれるオブジェクトＯＢのうちから、確信度に基づいて初期候補オブジェクトＩＢ（図中ハッチング）が選択される。なお、既述のように、ｍ層の付随レイヤを構成する付随オブジェクトＡＯから初期候補オブジェクトが選択されることはない。選択された各初期候補オブジェクトＩＢに対して、他のオブジェクトを付加する増肉の変換や、初期候補オブジェクトＩＢが内包するオブジェクトを差し引く減肉の変換、或いは増肉と減肉の双方を行うことで、オブジェクトを変換させることで、目的とするオブジェクトとしてより的確なオブジェクトの抽出を行う。
【００５２】
以下、図４に示すフローチャートを参照して、以上の構成を有する画像処理装置１００を用いた画像処理方法について説明する。
【００５３】
まず、ＣＰＵ１０は、各レイヤを作成するレイヤ作成部として、記憶装置１２の各レイヤ作成プログラムＩＣ１〜ＩＣｎ，ＤＣ１〜ＤＣｍをそれぞれ読み出して、レイヤをそれぞれ作成する処理（図３（Ａ）参照）を行う（ステップＳ１，Ｓ２）。より具体的には、ＣＰＵ１０は、第１レイヤ作成部として、各レイヤ作成プログラムＩＣ１〜ＩＣｎに基づいてｎ層の候補レイヤを作成し、第２レイヤ作成部として、付随レイヤ作成プログラムＤＣ１〜ＤＣｍに基づいてｍ層の付随レイヤを作成する。次に、ＣＰＵ１０は、初期候補オブジェクトを選択する処理を行う（ステップＳ３）。
【００５４】
以下、ステップＳ３の処理について、図５のフローチャートにより具体的に説明する。まず、ＣＰＵ１０は、判定されるオブジェクトを読み出す、すなわちデータ記憶部ＤＭの第１〜第ｎ候補レイヤデータ記憶部ＩＤ１〜ＩＤｎから候補レイヤを構成するオブジェクトのデータを取り込み（ステップＳ３０１）、当該データの情報解析を行う（ステップＳ３０２）。次に、ＣＰＵ１０は、記憶装置１２から確信度判定プログラムＪＰを読み出すとともに、特定画像データ記憶部ＳＯに格納された既知の対象物に関するデータや確信度の閾値等の必要なデータを適宜読み出し（ステップＳ３０３）、ステップＳ３０２において解析されたデータとステップＳ３０３において読み出されたデータとに基づいて、候補レイヤを構成する各オブジェクトが確信度の閾値を越えたか否かを判定する（ステップＳ３０４）。ステップＳ３０４において、測定対象となっているオブジェクトが閾値を越えていれば（ステップＳ３０４：Ｙｅｓ）、ＣＰＵ１０は、当該オブジェクトを初期候補オブジェクトとして初期候補オブジェクトデータ記憶部ＩＯに記憶保存する（ステップＳ３０５）。一方、ステップＳ３０４において、測定対象となっているオブジェクトが閾値を越えていなければ（ステップＳ３０４：Ｎｏ）、ＣＰＵ１０は、当該オブジェクトを初期候補オブジェクトとはせず、オブジェクトの変換・変形の際に対照され得る通常のオブジェクトとして取り扱うように属するレイヤ内の一オブジェクトとして記憶保存する（ステップＳ３０６）。以上のステップＳ３０１〜ステップＳ３０６を、初期候補オブジェクト決定部としてのＣＰＵ１０がデータ記憶部ＤＭの第１〜第ｎ候補レイヤデータ記憶部ＩＤ１〜ＩＤｎを構成する全てのオブジェクトに対して行うことで、初期候補オブジェクトとして取り扱われるオブジェクトが決定する。
【００５５】
図４に戻って、ステップＳ３における上記のような初期候補オブジェクトの選択処理を終えると、ＣＰＵ１０は、選択された初期候補オブジェクトの個数のカウント及びナンバリングを行う（ステップＳ４）。ここでは、Ｎ個（Ｎ≧１）のオブジェクトが第ｊ初期候補オブジェクト（１≦ｊ≦Ｎ）として選択されているものとする。これらＮ個の初期候補オブジェクトのうち、最初のナンバーが付されたものを最初の処理対象すなわち第１初期候補オブジェクトとする初期設定（１→ｊ）を行う（ステップＳ５）。次に、ＣＰＵ１０は、ナンバリングされた全ての初期候補オブジェクトについて処理が完了したか（ｊ＞Ｎであるか否か）を確認し（ステップＳ６）、ステップＳ６において、処理が完了していないと判断すると（ステップＳ６：Ｎｏ）、ＣＰＵ１０は、候補オブジェクト変換部として、記憶装置１２から増肉・減肉用オブジェクト選択プログラムＯＣを読み出して、増肉・減肉用オブジェクトを選択する処理を行う（ステップＳ７）。詳しくは後述するが、ここでは、増肉・減肉用オブジェクトとして処理対象となっている候補オブジェクトに内包されるオブジェクトや、当該候補オブジェクトに隣接するオブジェクトを増肉・減肉用オブジェクトとして採用するようなプログラムが増肉・減肉用オブジェクト選択プログラムＯＣとして組み込まれているものとする。増肉・減肉用オブジェクトには、候補レイヤを構成するオブジェクトのうち、初期候補オブジェクトとして選択されなかったオブジェクトに限らず、付随レイヤを構成する付随オブジェクトも含まれる。
【００５６】
ステップＳ７において、増肉・減肉用オブジェクトが選択されると、ＣＰＵ１０は、記憶装置１２から候補オブジェクト増肉・減肉プログラムＯＴを読み出して、処理対象となっている候補オブジェクトに対して、増肉用オブジェクトを付加して（付随させて）作成される新たなオブジェクトや減肉用オブジェクトを差し引いて作成される新たなオブジェクト、或いは、増肉用オブジェクトを付加し、かつ、減肉用オブジェクトを差し引いて作成される新たなオブジェクト等の複数の新たな候補オブジェクトに変換するといった種々の変換パターンを抽出し（ステップＳ８）、各変換パターンに基づいて変換された複数の新たなオブジェクトである変換オブジェクトを作成する変換処理を行うとともに（ステップＳ９ａ）、各変換オブジェクトと変換前のオブジェクトとについての確信度の測定をそれぞれ行う（ステップＳ９ｂ）。ここで、変換オブジェクトや変換前のオブジェクトのうち、予め定められた確信度の閾値を越えるものがあった場合、ＣＰＵ１０は、オブジェクト確定部として、当該オブジェクトを抽出されるべき確定オブジェクトとし、第ｊ候補オブジェクトの変換に関する情報の１つとして記憶装置１２の一部の領域等に保存する（ステップＳ１０）。次に、ＣＰＵ１０は、オブジェクト確定部として、ステップＳ８〜Ｓ１０において変換し保存された新たな候補オブジェクトである変換オブジェクトについて確信度判定プログラムＪＰに基づく確信度を比較し、最も確信度の高いものを特定する（ステップＳ１１）。なお、ここで新たな候補オブジェクトである変換オブジェクトのうち最も確信度の高いオブジェクトをベスト候補オブジェクトと呼ぶものとする。次に、ＣＰＵ１０は、ステップＳ１１において特定されたベスト候補オブジェクトの確信度が、変換前の候補オブジェクトの確信度よりも上昇しているかを確認する（ステップＳ１２）。ステップＳ１２において、確信度の上昇が確認された場合、すなわち変換後の候補オブジェクトのうち最も確信度の高いベスト候補オブジェクトが暫定的により高い確信度のオブジェクトであるものと判断された場合（ステップＳ１２：Ｙｅｓ）、変換前の候補オブジェクトに代えてベスト候補オブジェクトを新たに処理対象とすべき暫定候補オブジェクトであるものとして、暫定候補オブジェクトデータ記憶部ＰＯにおける候補オブジェクトの情報を書き換え（ステップＳ１３）、当該暫定候補オブジェクトを処理対象として、再びステップＳ９〜ステップＳ１２の動作を繰り返す。一方、ステップＳ１２において、確信度の上昇が確認されない場合、すなわち変換前の候補オブジェクトがもっとも高い確信度のオブジェクトであるものと判断された場合（ステップＳ１２：Ｎｏ）、変換前の候補オブジェクトが最良のオブジェクトであるものと判断し、当該候補オブジェクトが確信度の閾値を越えるものであれば確定オブジェクトの１つとする処理を行うとともに第ｊ候補オブジェクトの変換を終了させる処理を行い（ステップＳ１４）、次の初期候補オブジェクトの処理（ｊ＋１→ｊ）に移行し（ステップＳ１５）、上記の処理を同様に行い、全ての初期候補オブジェクトについての処理が終わるまで（ステップＳ６：Ｙｅｓ）、繰り返す。
【００５７】
以上により、画像処理装置１００により、Ｎ個（Ｎ≧１）の初期候補オブジェクトの全てについての変換或いは変形の動作が行われ、確定オブジェクトの抽出が完了する。この場合、ステップＳ１０において保存される、すなわち抽出対象となる確定オブジェクトは、１種類の候補オブジェクトの変換において、複数個生じる可能性がある。このような場合、例えば、他の判定方法や、人間の眼によって複数の確定オブジェクトの中から最終的に１つの確定オブジェクトを選択するものとしてもよい。１つの候補オブジェクトの変換において可能性のある確定オブジェクトを複数選んでおくことで、抽出されるべきであったオブジェクトが見逃されて抽出されなくなってしまうという可能性を低減することができる。
【００５８】
図６及び図７は、上述した画像処理装置１００による画像処理のうち、候補オブジェクトを変換する過程についてより具体的に説明するために模式的に示した図である。例えば、図６（Ａ）に示すような長方形状の範囲を有する全体画像ＨＤを未特定画像として画像処理を行う場合について考えるものとする。この場合、階層的に設けた分割画像のレイヤ（例えば図３（Ａ）参照）における各領域を重畳させた場合を図６（Ｂ）のように示す。全体画像ＨＤ中の領域すなわちオブジェクトＯＢのうちの一部が、例えば図６（Ｃ）に示すように、初期候補オブジェクトＩＢとして選択される。さらに、図６（Ｄ）に示すように、Ｎ個の初期候補オブジェクトＩＢに対して、処理の順次処理を行うためにナンバリングがなされる。図６（Ｅ）は、Ｎ個のうちの１つの初期候補オブジェクトＩＢ（図では一番目の初期候補オブジェクトＩＢ１を示している。）に対して選択される増肉・減肉用オブジェクトの一例を示している。図示において、１点鎖線で示すオブジェクトＣＯは、一番目の初期候補オブジェクトＩＢ１に内包されるオブジェクトである。言い換えると、オブジェクトＣＯは、初期候補オブジェクトＩＢ１を親オブジェクトとする子オブジェクトである。破線で示すオブジェクトＮＯは、初期候補オブジェクトＩＢ１に隣接する隣接オブジェクトＮＯである。これらのオブジェクトＣＯ，ＮＯは、各候補レイヤに属するオブジェクトのうち、初期候補オブジェクトＩＢとして採用されなかったもののほか、各付随レイヤに属する付随オブジェクト（特別オブジェクト）が採用され得る。すなわち、候補オブジェクトの変換に際して、これらの不採用となったオブジェクトを増肉・減肉用オブジェクトとすることで、初期候補オブジェクトＩＢとしては採用されないが、目的のものとして最終的に抽出されるオブジェクトを確定する上では、再度オブジェクトの一部として採用され得るようなものとしている。より具体的に説明すると、図７に示すように、１つの変換パターン（変換パターンＡ）として、初期候補オブジェクトＩＢ１に隣接する隣接オブジェクトＮＯのうちの１つを付加して新たなオブジェクトＡ１（図中ハッチング）を作成することが考えられる。また、別の変換パターン（変換パターンＢ）として、初期候補オブジェクトＩＢ１に内包される子オブジェクトＣＯのうちの１つを差し引いて新たなオブジェクトＢ１（図中ハッチング）を作成することも考えられる。この他にも、例えば、さらに別の変換パターン（変換パターンＣ）として、初期候補オブジェクトＩＢ１に隣接する隣接オブジェクトＮＯを付加するとともに内包される子オブジェクトＣＯを差し引いて新たなオブジェクトＣ１（図中ハッチング）を作成することも考えられる。このように種々の（ただし有限の）変換・変形パターンを数え上げ、これらについて類似度をそれぞれ測定し、双方向矢印で示すように、これらの変換候補オブジェクト同士を比較することで、ベスト候補オブジェクトを決定することができる。さらに、これらと元の初期候補オブジェクトＩＢ１とを比較することで、変換の前後で確信度が上昇したか否かを判断することができる。変換後の候補オブジェクト（すなわち暫定候補オブジェクト）に対しても、必要に応じて上記と同様の変換動作を繰り返すことで、最終的な結果として確定オブジェクトが取得されることになる。
【００５９】
以下、図８等を参照して、上記変換パターンの一変形例について説明する。図８（Ａ）において２点鎖線で示すように、初期候補オブジェクトに対して他のオブジェクトが重畳している場合も考えられ、このような重畳オブジェクトＳＳが存在する場合に、変換パターンを決定する上で重畳オブジェクトＳＳを利用することも考えられる。例えば、図８（Ｂ）に示すように、元の候補オブジェクトＣＣ（図では、初期候補オブジェクトＩＢ１で示している。）と重畳オブジェクトＳＳとの双方を含んだオブジェクトを親オブジェクトＰＰとし、元の候補オブジェクトＣＣの輪郭と重畳オブジェクトＳＳの輪郭とで画定される５つの子オブジェクトＣＯを規定する。これにより、図９に示すように、子オブジェクトＣＯを組み合わせることによる有限の変換パターンに基づく新たなオブジェクトＤ１，Ｄ２，Ｄ３等を作成することができ、これらについて上記と同様に確信度に基づく比較を行うものとしてもよい。なお、例えばサイズについて下限の閾値を定めておき、子オブジェクトＣＯのうちサイズが当該下限の閾値以下の小さいものについては、付随オブジェクトとして扱うものとしてもよい。すなわち、当該子オブジェクトを含む付随レイヤを設け、これに属するという構成にするものとしてもよい。
【００６０】
以上のように、本実施形態に係る画像処理装置１００及びこれを用いた画像処理方法では、ＣＰＵ１０は、候補オブジェクト変換部として、初期候補オブジェクトＩＢを変換して新たな候補オブジェクトを作成している。つまり、未特定の対象物を撮像した写真等の未特定画像データから切り出されたオブジェクトについて必要な変換を施し、既知の対象物に対応する新たなオブジェクトの抽出を行うことを可能にしている。特に、上記では、ＣＰＵ１０は、類似度測定部として、確信度判定プログラムＪＰを読み出して測定する類似度に基づき最初の候補となる初期候補オブジェクトＩＢの抽出を行い、さらに、ＣＰＵ１０は、候補オブジェクト変換部として、増肉・減肉用オブジェクト選択プログラムＯＣや候補オブジェクト増肉・減肉プログラムＯＴを読み出して初期候補オブジェクトＩＢを変換するものとなっている。さらに、ＣＰＵ１０は、変換されたオブジェクトに関して類似度の測定をし、必要に応じて変換の動作を繰り返させた上で、オブジェクト確定部として、抽出すべきオブジェクトを確定している。この場合、未特定の対象物を撮像した写真等の未特定画像データから切り出されたオブジェクトについて必要な変換を施し、既知の対象物に対応する新たなオブジェクトの抽出を行うことが可能となる。
【００６１】
なお、上記において、付随レイヤ或いは付随オブジェクトの作成については、一例として、第１〜第ｎ候補レイヤ作成プログラムＩＣ１〜ＩＣｎによって候補レイヤを作成する際に除外されるオブジェクトを利用する場合について説明したが、これに限らず、種々の方法が適用できる。
【００６２】
また、上記では、ステップＳ１０において、予め定めた確信度の閾値に基づいて抽出すべき確定オブジェクトを決定する判断を行っているが、確信度の閾値に限らず、例えば輪郭レイヤに基づいて、確定オブジェクトを抽出させるものとしてもよい。ここで、輪郭レイヤとは、例えば画像分割の処理における基準となる分割領域を画定する輪郭に関する情報からなるレイヤを意味する。このような輪郭は、例えば抽出すべき対象となるオブジェクトの外縁を示すようなものを意味する。このような輪郭に関する情報は、オブジェクトの範囲を端的に示す場合がある。例えば判断対象となっているオブジェクトの外縁が、当該輪郭の全部又は一部に一致する場合に抽出すべき確定オブジェクトと判断するものとすることとしてもよい。このような場合、オブジェクトの抽出において、輪郭の情報に基づくことで、所望のオブジェクトを確実に抽出できる。
【００６３】
また、上記では、確信度判定プログラムＪＰによる類似度の測定結果に基づいて初期候補オブジェクトの抽出するものとしているが、初期候補オブジェクトの抽出については、例えばオブジェクトのサイズや色等の種々のデータに閾値を設けて当該閾値に基づいて行うといったことも可能である。すなわち、類似度の概念を用いることなく他のデータ値から初期候補オブジェクトを決定し、さらに、類似度の概念を用いることなく（例えば輪郭レイヤを利用して）当該初期候補オブジェクトを変換して新たなオブジェクトを抽出することも可能である。
【００６４】
また、上記各処理において得られる情報は、他の処理において利用可能であり、例えば閾値を繰り返し算出する処理において、最後まで閾値を越えなかったような場合であっても、当該処理において対象となったオブジェクトに関する情報を、画像分割の処理等に関する情報として利用するものとしてもよい。
【００６５】
〔第２実施形態〕
以下、図１０により、本発明の第２実施形態に係る画像処理装置を用いた画像処理方法について説明する。なお、本実施形態に係る画像処理装置は、第１実施形態の変形例であり、画像処理装置の構造については、図１に示す第１実施形態の画像処理装置１００と同様であるので、図示及び説明を省略する。また、画像処理の手順については、特に説明する場合を除き、図４のフローチャートに示す場合と同様である。
【００６６】
図１０は、本実施形態での画像処理方法におけるレイヤの構造について概念的に説明する図である。言い換えると、図１０は、増肉・減肉による変換等のオブジェクト抽出のための各種処理を行う前の前段処理として、各レイヤの構成の決定がなされた状態について示している図である。
【００６７】
図示のように、本実施形態では、複数のレイヤにおいて、上位側のレイヤと下位側のレイヤとの階層的構造のレイヤ群が含まれるものとなっている。より具体的には、上位側のレイヤを構成するオブジェクトが下位側のレイヤを構成するオブジェクトを内包している。逆に言うと、下位側のレイヤを構成するオブジェクトが上位側のレイヤを構成するオブジェクトに包含されている。つまり、上位側のレイヤのオブジェクトが親オブジェクトであり、下位側のレイヤのオブジェクトがその子オブジェクトであるものとなっており、上位側のレイヤと下位側のレイヤとで親子構造を形成するものとなっている。特に、図１０に示す場合、全ての候補レイヤについて、階層的な構造が形成されており、例えば第ｐ候補レイヤを構成する全てのオブジェクトが相対的に下位側のレイヤである第ｐ＋１候補レイヤを構成する全てのオブジェクトの親オブジェクトとなっており、さらに、第ｐ＋１候補レイヤを構成する全てのオブジェクトが相対的に下位側のレイヤである第ｐ＋２候補レイヤを構成する全てのオブジェクトの親オブジェクトとなっている、という関係になっているものとする。このように親の世代の下に子の世代があり、さらにその下に孫の世代があるといった階層的な親子構造となっている場合、下位側のオブジェクトは、全て上位側のオブジェクトに包含されるものとなっており、例えば第１実施形態の図８等に示したような重畳する部分が生じることがなくなり、都度レイヤ群についての再構築のような処理をすることなく、増肉・減肉による変換を行うことができる。見方を変えれば、図８等に示す重畳部分についての処理を前もって行えば、親子関係を有する構造を作り上げることができると捉えることもできる。
【００６８】
なお、上記のような親子構造を形成する方法の一つとして、例えば候補レイヤ作成プログラムの選択において、上記のような親子関係の条件を満たす画像分割を行うプログラムに基づいたもののみを予め選ぶことが考えられるが、図８等の例のように、上記のような親子構造を形成するように、既存の候補レイヤ作成について再編成することも可能である。
【００６９】
以下、図１１に示すフローチャート等を参照して、既存の候補レイヤから上記のような階層構造を有する候補レイヤを作成するように候補レイヤを再編成するための画像処理の一例としてオブジェクトの分割や再分割等を行い、親子関係の条件を満たし、かつ、各オブジェクトのサイズを規定された範囲内に揃えるものを構築する場合について説明する。
【００７０】
まず、ＣＰＵ１０（図１参照）は、既存の候補レイヤ内のオブジェクトについての情報を読み出し、各オブジェクトのサイズを測定する処理を行い（ステップＳ２０１）、サイズが予め定めた上限についての閾値以上であるか否かを測定する（ステップＳ２０２）。ステップＳ２０２において、上限についての閾値以上のサイズであるオブジェクトが検出された場合（ステップＳ２０２：Ｙｅｓ）、ＣＰＵ１０は、当該オブジェクトを抽出し（ステップＳ２０３）、分割処理を行い（ステップＳ２０４）、全てのオブジェクトについて、サイズが上限についての閾値以下になるまで、分割処理の動作を繰り返す（ステップＳ２０５）。図１２は、以上のような分割の処理について模式的に示す図である。すなわち、図１２（Ａ）において、第ｑ候補レイヤに属するオブジェクトＭＯのサイズが閾値以上である場合、このオブジェクトＭＯを予め定められた規定の分割方法によって分割し、図１２（Ｂ）に示すような複数の分割オブジェクトＭＯｄに細分する。例えば既知の対象物に対応する画像データのサイズとの比較結果を勘案して、必要であれば、さらにこれらの分割オブジェクトＭＯｄについても再度分割することになる。なお、分割前のオブジェクトＭＯと分割後の分割オブジェクトＭＯｄとは、親子構造を有することになる。ただし、例えばサイズについて下限の閾値を定めておき、分割オブジェクトＭＯｄのうちサイズが当該下限の閾値以下の小さいものについては、付随オブジェクトとして扱うものとしてもよい。
【００７１】
図１１に戻って、ステップＳ２０２において、閾値以上のサイズであるオブジェクトが検出されない場合（ステップＳ２０２：Ｎｏ）、あるいは、ステップＳ２０３〜ステップＳ２０５の動作により、全てのオブジェクトが閾値以下のサイズになった場合（ステップＳ２０５：Ｙｅｓ）、これらの全てのオブジェクトを保存する（ステップＳ２０６）。次に、ＣＰＵ１０は、保存されたオブジェクトのうち、子のないオブジェクト（最小のオブジェクト）を抽出する（ステップＳ２０７）。すなわち、親子構造を上下関係で見た場合において、最も最下層に位置するオブジェクトを抽出する。次に、ＣＰＵ１０は、親子構造を有するレイヤ群を形成する条件が満たされたか否かすなわち子のないオブジェクトの全てについて親オブジェクトがそれぞれいるか否かを確認し（ステップＳ２０８）、ステップＳ２０８において条件が満たされていない（親オブジェクトがいない）と判断されると（ステップＳ２０８：Ｎｏ）、当該子のないオブジェクトが属するレイヤと同一レイヤ内でのオブジェクトを統合し、親オブジェクトとなるオブジェクトを作成する処理を行うことで、（ステップＳ２０９）、新たに作成された当該親オブジェクトによって構成される上位層のレイヤを作成する（ステップＳ２１０）。以上のような上位層のレイヤを作成する処理を最大のオブジェクトが閾値以上のサイズとならない上限まで達する等の目的とする条件が満たされるまで（ステップＳ２０８：Ｙｅｓ）繰り返すことで、再編成された新たな候補レイヤが形成される（ステップＳ２１１）。
【００７２】
図１３は、以上のようにして下位層のレイヤの属するオブジェクトから上位層のレイヤを作成する処理について模式的に示す図である。図１３（Ａ）に示すような階層構造を形成するために、まず、図１３（Ｂ）に示すように、子のないオブジェクトを集めた最下層に位置するオブジェクトを集めて最下層レイヤを作成する。ここでは、最下層レイヤを第１レイヤと呼ぶものとする。次に、図１３（Ｃ）に示すように、最下層レイヤを構成するオブジェクトを統合する処理を行うことで、これらの親オブジェクトを形成し、当該親オブジェクトを集めたレイヤを作成する。ここでは、この新たに作成されたレイヤを第２レイヤと呼ぶものとする。以下、同様に、図１３（Ｃ）に示すように、第２レイヤを構成するオブジェクトを統合する処理を行うことで、これらの親オブジェクトを形成し、図１３（Ｄ）及び１３（Ｅ）に示すように、新たなレイヤ（第３レイヤ）を作成する。以上の動作を、上記ステップＳ２０８のように、例えばオブジェクトのサイズ等に閾値を設けておき、その閾値を越える直前まで繰り返すことで、一定範囲内のサイズのオブジェクトで構成される親子構造を有する候補レイヤを形成することができる。なお、オブジェクトを統合する方法については、種々の規定が可能であるが、例えば、オブジェクトを統合する処理については、同一レイヤ内において、最も近接するもの同士を統合させるものとしてもよい。或いは、既に親子構造がある場合にはその親子関係を優先するものとしてもよい。言い換えると、同一レイヤ内において共通する親オブジェクトが元々存在する、すなわち同一レイヤ内において兄弟関係にあるオブジェクトについては、優先的に統合するものとすることで、図８のような重畳するオブジェクトの発生を回避する世にしつつ元々存在した親子構造を残すようにしてもよい。また、親子構造が複雑に絡み合った状態を許容するものとしてもよい。
【００７３】
また、以上の一例の場合、レイヤの再編成の前段として、ステップＳ２０１〜ステップＳ２０４において、閾値以上のサイズであるオブジェクトについて強制的に分割を行っている。これにより、抽出されるべきオブジェクトが、大きな塊のオブジェクトの一部に埋もれた状態で存在していることで見過ごされてしまう、といった事態を回避することが可能となる。なお、ここでの分割については、例えば格子状に画一的に分割する等、オブジェクトのサイズを小さくできる手法であれば、種々の方法が適用可能である。
【００７４】
図１４は、上述した階層的構造（親子構造）のレイヤ群を有する場合におけるオブジェクトの抽出処理の例について示す図である。図１４（Ａ）は、最下層レイヤである第ｐ＋２候補レイヤから順に変換処理を行う例について示す図である。具体的には、最下層レイヤに属する候補レイヤの中から類似度の高いオブジェクトを初期候補オブジェクトとして選択し、変換を行う抽出方法である。この場合、例えば最初の段階では同一レイヤ内で増肉の処理のみを行い、同一レイヤ内で類似度が既定の閾値に達成できなければ、初期候補オブジェクトを子オブジェクトとして含む直近の上位層の親オブジェクトについて再度増肉及び減肉の処理を行い、類似度が既定の閾値に到達するまでこの動作を繰り返し、目的の閾値に類似度が達成したところでオブジェクトを抽出し、確定オブジェクトとすればよい。一方、図１４（Ｂ）は、最上層レイヤである第１候補レイヤから順に変換処理を行う例について示す図である。つまり、最上層レイヤから類似度の高いオブジェクトを初期候補オブジェクトとして選択し、当該初期候補オブジェクト直近の下位層にあり初期候補オブジェクトを構成する子オブジェクトについて最初の段階では減肉の処理のみを行い、以後減肉や増肉をし、これを必要に応じて繰り返すことで目的の類似度に達成するオブジェクトを抽出し、確定オブジェクトとすればよい。また、図１４（Ａ）と図１４（Ｂ）との動作を並行して行い、共通するオブジェクトが抽出された場合にそのオブジェクトを確定オブジェクトとするものとしてもよい。
【００７５】
〔第３実施形態〕
以下、図１５等により、本発明の第３実施形態に係る画像処理装置を用いた画像処理方法について説明する。なお、本実施形態に係る画像処理装置は、第１実施形態等の変形例であり、画像処理装置の構造については、図１に示す第１実施形態の画像処理装置１００と同様であるので、図示及び説明を省略する。なお、図１５は、第１実施形態のうち図２に示すブロック図に対応する図である。また、図１６（Ａ）及び１６（Ｂ）は、図３（Ａ）及び（Ｂ）に対応する図である。また、図１７は、図４に対応するフローチャートである。
【００７６】
本実施形態では、候補オブジェクトや付随オブジェクトだけでなく、別候補オブジェクトで構成される別候補レイヤが作成される点において、上記実施形態と異なっている。ここで、別候補オブジェクトとは、既知の対象物であるが抽出する対象となっていない対象物に対応する候補オブジェクトを意味する。また、別候補レイヤとは、別候補オブジェクトのみで構成されるレイヤを意味する。見方を変えると、別候補オブジェクトは、候補オブジェクトと異なり、目的とする未知の対象物とはなり得ないオブジェクトを意味する。この別候補オブジェクトについては、オブジェクトの抽出の処理やオブジェクトの変換の処理で取り扱われないものとする。つまり、別候補オブジェクトについては、候補オブジェクトにも付随オブジェクトにもなり得ず、処理対象から除外される。
【００７７】
ＣＰＵ１０は、第１レイヤ作成部として、図１５に示す各レイヤ作成プログラムＩＣ１〜ＩＣｎに基づいてｎ層の候補レイヤを作成し、第２レイヤ作成部として、付随レイヤ作成プログラムＤＣ１〜ＤＣｍに基づいてｍ層の付随レイヤを作成するとともに、さらに、第３レイヤ作成部として、別候補レイヤ作成プログラムＡＣに基づいて、図１６（Ａ）に示すように、ｋ層の別候補レイヤを作成する。ただし、これらのｋ層ある別候補レイヤについては、除外される。すなわち、レイヤの形成以後の画像処理には関与しないものとなる。具体的には、図１７のフローチャートに示すように、ＣＰＵ１０は、候補レイヤ及び付随レイヤについて作成するすなわち候補オブジェクトや付随オブジェクトを抽出する処理とともに別候補オブジェクトを抽出する処理（ステップＳ４０１）をした後、対象とならない別候補レイヤについて除外する処理（図１６（Ｂ）参照）を行う（ステップＳ４０２）。なお、ステップＳ４０３〜Ｓ４１５の処理については、図４のステップＳ３〜Ｓ１５と同様であるので、説明を省略する。
【００７８】
プログラム記憶部ＰＭのうち、別候補レイヤ作成プログラムＡＣは、判定の対象以外の特定の対象物に関連するオブジェクトを全体画像から切り出す分割によってレイヤを作成するためのプログラムである。なお、上述のように、ここで作成されるオブジェクトである別候補オブジェクトや別候補オブジェクトで構成される別候補レイヤに関する情報は、以後の処理において処理対象から除外される。抽出すべき対象の属性や、レイヤの正確性等によっては、本実施形態のように、予め対象とすべきでない別候補オブジェクトに関して除去しておくことで、後段の処理である像肉・減肉の処理等に関してより的確かつ迅速なものとすることができる。
【００７９】
なお、別候補レイヤ作成プログラムＡＣによって複数の別候補レイヤを作成する画像処理の際に除外されるオブジェクトを、付随オブジェクトとして利用することは可能であるものとしてもよい。
【００８０】
〔第４実施形態〕
以下、図１８により、本発明の第４実施形態に係る画像処理装置を用いた画像処理方法について説明する。なお、本実施形態に係る画像処理装置は、第１実施形態等の変形例であり、画像処理装置の構造については、図１に示す第１実施形態の画像処理装置１００と同様であるので、図示及び説明を省略する。また、画像処理の手順については、特に説明する場合を除き、図４のフローチャートに示す場合と同様である。なお、本実施形態において、複数種類の既知の対象物に完全に分類をしたい場合、除外対象となる別候補レイヤ作成部は、必ずどこかに利用され、予め排除（除外）されるものは存在しないことになる。
【００８１】
上記実施形態では、既知の対象物を１種類であるものとして説明しているが、１つの全体画像から２種類以上の既知の対象物について抽出したい場合も存在する。例えば、１つの全体画像について、複数映し出されているオブジェクトについて、複数種類の既知の対象物に完全に分類をしたいといった場合がある。このため、本実施形態では、複数種類の画像抽出を行う画像処理装置及び方法について説明する。これは、言い換えると、候補レイヤについてのみ行ったオブジェクト抽出の処理を、第３実施形態において示した別候補レイヤにおける別候補オブジェクトに対しても、別個に増肉・減肉等のオブジェクト抽出のための各種処理を行うことに相当する。
【００８２】
図１８は、本実施形態に係る画像処理装置の記憶装置１２の構成について概念的に説明するブロック図であり、第１実施形態の図２に対応する図である。図示のように、本実施形態における画像処理装置は、記憶装置１２のプログラム記憶部ＰＭにおいて、ｚ種類の（ｚ≧２）類似度（確信度）判定プログラムＪＰ１〜ＪＰｚを格納している点において、第１実施形態等の場合と異なっている。すなわち、ＣＰＵ１０（図１参照）は、ｚ種類の類似度（確信度）の判定に基づいて、増肉・減肉等のオブジェクト抽出のための処理を、ｚ種類の対象について行う。すなわち、ｚ種類の対象について、１種類ずつレイヤの作成を行い、初期候補オブジェクトをそれぞれ確定し、候補オブジェクトの変換をして確定オブジェクトを抽出する。
【００８３】
また、この場合、あるオブジェクトがある既知の対象物についての初期候補オブジェクト（第１の初期候補オブジェクト）として選択され、かつ、別のオブジェクトが別の既知の対象物についての初期候補オブジェクト（第２の初期候補オブジェクト）として選択される、といった事態が生じることとなる。また、この場合、各付随レイヤに属する付随オブジェクトについては、種類の異なる候補オブジェクトのいずれに対しても、増肉・減肉用オブジェクトとして利用され得るものとすることができる。つまり、各付随オブジェクトは、第１の候補オブジェクトの増肉・減肉用にも第２の候補オブジェクトの増肉・減肉用にも利用され得る。
【００８４】
〔第５実施形態〕
以下、図１９等により、本発明の第５実施形態に係る画像処理装置を含む画像認識装置用いた画像認識方法について説明する。図１９（Ａ）は、本実施形態に係る画像認識装置５００の構造を概念的に説明するブロック図である。また、図１９（Ｂ）は、画像認識装置５００のうち記憶装置５１２の構成について概念的に説明するブロック図である。なお、画像認識装置５００は、図１に示す画像処理装置１００においてなされる各種画像処理のためのプログラム等に加えて画像認識の処理を行うためのプログラム等をさらに付加したものとなっている。すなわち、画像認識装置５００は、画像処理装置１００としての機能を含んだ上でこの機能を利用してさらに画像認識の処理を行うものとなっている。このため、画像認識装置５００の構造のうち画像処理装置１００と共通する点については、説明を省略する。本実施形態では、上記のように、画像認識装置５００が画像処理装置１００の機能を包含することにより、画像処理装置１００によって抽出される新たなオブジェクトを利用して、画像認識を行うことで、画像認識の処理を的確なものとし、また、迅速な処理を可能としている。
【００８５】
以下、画像認識装置５００の構造の詳細及び動作について説明する。図１９（Ａ）に示すように、画像認識装置５００は、ＣＰＵ５１０、記憶装置５１２、表示装置５１３、入力装置５１４、バス５５０等を備え、未特定の対象物を撮像した未特定画像データにおいて、既知の対象物に関する認識の処理を行う装置である。本実施形態では、画像認識装置５００を構成する各部のうち、入力装置５１４は、外部データ受付部５１４ａを有し、例えば認識させる対象となる元画像に関するデータや、認識対象の有無等を確認する対象である未特定画像データといった外部からの画像データを受付可能としている。また、ＣＰＵ５１０は、外部データ受付部５１４ａで受け付けた各種情報を、記憶装置５１２のデータ記憶部ＤＭに格納する。以上により、画像認識装置５００は、外部から入力した各種画像データを解析して、画像認識の処理を行う。
【００８６】
図１９（Ｂ）に示すように、画像認識装置５００の記憶装置５１２は、各種プログラムを格納するためのプログラム領域を有するプログラム記憶部ＰＭと、各種データを格納するためのデータ領域を有するデータ記憶部ＤＭとで構成されており、構成要素のうち、プログラム記憶部ＰＭに含まれるものとして、処理対象となる画像の前処理を行うための前処理プログラムＡＰのほか、オブジェクトデータ作成プログラムＤＰＸと、原画像データ変換プログラムＯＰＸと、データ比較プログラムＤＣＸとを有する。これらの各種プログラムのうち、オブジェクトデータ作成プログラムＤＰＸは、未特定画像のデータから新たなオブジェクトを作成するための各種プログラムの集合体を示すものであり、具体的には第１実施形態にいて説明したレイヤ作成プログラムや増肉・減肉プログラム等の各種プログラムが含まれている。また、原画像データ変換プログラムＯＰＸは、認識させるべき対象の元となる画像を含む原画像データを変換して当該対象の元すなわち比較対象の元となる既知の画像データである認識対象データを抽出するためのプログラムである。また、データ比較プログラムＤＣＸは、原画像データ変換プログラムＯＰＸで抽出された認識対象データと、オブジェクトデータ作成プログラムＤＰＸで抽出された新たなオブジェクトに関するデータとを比較して、認識対象データに相当するデータが新たなオブジェクトに含まれているか、含まれている場合には画像中においてどの位置にあるか、或いは該当するオブジェクトの個数がいくつであるか等の認識対象データに関する各種情報である認識関連データを抽出する。
【００８７】
記憶装置５１２は、構成要素のうち、データ記憶部ＤＭに含まれるものとして、未知の対象物についての画像情報である未特定画像データを記憶する未特定画像データ記憶部ＤＯのほか、オブジェクト関連データ記憶部ＯＤＸと、認識対象原画像データ記憶部ＯＩＸと、認識対象データ記憶部ＴＤＸと、認識関連データ記憶部ＲＤＸとを有する。これらの各種データ記憶部のうち、オブジェクト関連データ記憶部ＯＤＸは、未特定画像のデータから新たなオブジェクトを作成するための各種データの集合体を示すものであり、具体的には第１実施形態にいて説明したレイヤ作成データ記憶部や各オブジェクトデータ記憶部等の各種データ記憶部が含まれている。また、認識対象原画像データ記憶部ＯＩＸは、原画像データ変換プログラムＯＰＸでの変換対象である原画像データを蓄積する。また、認識対象データ記憶部ＴＤＸは、原画像データ変換プログラムＯＰＸで抽出された認識対象データを蓄積する。また、認識関連データ記憶部ＲＤＸは、データ比較プログラムＤＣＸで抽出された認識関連データを蓄積する。
【００８８】
以下、図２０に示すフローチャートにより、画像認識装置５００による画像認識の方法の概要について説明する。まず、画像認識装置５００のＣＰＵ５１０は、記憶装置５１２から、認識対象原画像データ記憶部ＯＩＸに含まれる認識対象の原画像データ（認識対象原画像データを取り込むとともに（ステップＳ５０１）、原画像データ変換プログラムＯＰＸを読み出して、認識対象データを抽出し、当該認識対象データを認識対象データ記憶部ＴＤＸに格納する（ステップＳ５０２）。次に、ＣＰＵ５１０は、オブジェクトデータ作成プログラムＤＰＸ等を適宜読み出して、未特定画像データの情報を取り込んで（ステップＳ５０３）、各種オブジェクトの抽出を行う（ステップＳ５０４）。なお、ステップＳ５０３及びステップＳ５０４での処理については、上記各実施形態に示した種々の分割処理の方法が適用可能である。次に、ＣＰＵ５１０は、データ比較プログラムＤＣＸを読み出して、ステップＳ５０２において格納された比較対象の元となる既知の画像データである認識対象データと、ステップＳ５０３及びステップＳ５０４において、抽出された未特定画像データに関するオブジェクトのデータとを比較し、認識対象データに相当するデータが新たなオブジェクトに含まれているか否か等の認識処理を行う（ステップＳ５０５）。すなわち、未特定画像データから抽出された新たなオブジェクトに基づいて、少なくとも既知の対象物の有無についての判定を行う。最後に、ＣＰＵ５１０は、ステップＳ５０５における結果として取得された各種情報を、認識関連データとして認識関連データ記憶部ＲＤＸに保存（格納）する（ステップＳ５０６）。
【００８９】
以下、図２０でのステップＳ５０５における比較の処理に基づく画像認識方法に関する第１の例を、図２１を参照して説明する。図示のように、ここでは、画像認識として、１つの対象となっている全体画像ＰＩから認識対象として認識対象データＡＳ（又は認識対象データＡＳ１）を抽出するものとする。ここでの認識対象データＡＳは、全体画像ＰＩから輪郭を適宜指定して切出した部分画像すなわち一種のオブジェクトであるものとする。認識対象データＡＳの輪郭からの切出しの方法については、手動による場合や自動で行う場合等、種々適用可能である。ＣＰＵ５１０は、指定された認識対象データＡＳに対して、図中一点鎖線で示す複数の候補オブジェクトＥＯ（ＥＯ１，ＥＯ２，…，ＥＯ１０…）の中から最も適したオブジェクト（図示の例では、候補オブジェクトＥＯ３）が対応するオブジェクトＸＯとして選択される。なお、選択されるオブジェクトＸＯについては、例えば１つとは限らず、複数選択される場合もある。また、選択されるオブジェクトＸＯの位置等の情報についても、認識対象に関して取得すべきものを目的に応じて適宜選択できる。なお、この場合、いわばオブジェクト同士の比較（対比）によって画像認識を行うことになるが、対比の方法については、既知の種々の方法が適用可能である。
【００９０】
以下、図２０でのステップＳ５０５における比較の処理に基づく画像認識方法に関する第２の例を、図２２を参照して説明する。図２１の例では、認識対象データＡＳを原画像データである全体画像ＰＩから切り出したオブジェクトとしており、認識の処理において、いわばオブジェクト同士を比較していた。これに対して、ここでは、図示のように、全体画像ＰＩの領域を指定し、この領域ＤＬで特定される画像とのパターンマッチングによってオブジェクトＸＯが選択される。この場合、領域ＤＬを指定するだけでステップＳ５０５での認識処理が可能となる。一方、対象となる画像部分の背景部分も含むものとなるので、認識において多少ノイズが生じる可能性がある。
【００９１】
以下、図２０でのステップＳ５０５における比較の処理に基づく画像認識方法に関する第３の例を、図２３及び図２４を参照して説明する。なお、第３の例は、第１の例を応用したものであり、第１の例が１つのオブジェクトを捉えるものとしているのに対して、本例では、複数のオブジェクトの相対的な組み合わせに基づいて認識を行っている。図２３（Ａ）〜２３（Ｇ）のうち、図２３（Ａ）は、認識対象である画像に関する典型画像のサンプルである。ここでは、全体画像ＰＩ中に、３種類の対象物の画像データである認識対象データＡＳ１，ＡＳ２，ＡＳ３が存在しているものとする。図２３（Ｂ）に示すように、これらの認識対象データＡＳ１，ＡＳ２，ＡＳ３は、互いに矢印ＡＲ１〜ＡＲ３で示す方向と位置の関係を保って存在するものとする。すなわち、ここでは、３つの認識対象データＡＳ１，ＡＳ２，ＡＳ３に対応する３つのオブジェクトが、図２３（Ｂ）に示すような位置関係で存在するか否かを認識するものとする。具体的には、上記の位置関係を把握するため、図２３（Ｃ）に示すようなマスクＭＫと、マスクＭＫによって切り出される領域ＡＲ１〜ＡＲ３とを規定し、各領域ＡＲ１〜ＡＲ３において、認識対象データＡＳ１，ＡＳ２，ＡＳ３に対応するオブジェクトが存在するか否かを認識する。図２３（Ｄ）〜２３（Ｇ）は、未特定画像に対して、上記のような認識動作の手順を示す図である。まず、図２３（Ｄ）に示すように、領域ＡＲ１〜ＡＲ３に対応する第１エリア〜第３エリアＵＡ１〜ＵＡ３のうち、エリアＵＡ１において、認識対象データＡＳ１（図２３（Ｃ）参照）に該当するオブジェクトが存在するか否かを判定する。ここで、図２３（Ｅ）に示すように、該当するオブジェクトＸＯ１が存在したとすると、次に、エリアＵＡ２において、認識対象データＡＳ２（図２３（Ｃ）参照）に該当するオブジェクトが存在するか否かを判定する。さらに、図２３（Ｆ）に示すように、該当するオブジェクトＸＯ２が存在したとすると、最後に、エリアＵＡ３において、認識対象データＡＳ３（図２３（Ｃ）参照）に該当するオブジェクトが存在するか否かを判定する。図２３（Ｇ）に示すように、該当するオブジェクトＸＯ３が存在した場合には、認識対象である画像に該当するものと判定される。
【００９２】
以下、図２４に示すフローチャートにより、上述した第３の例における画像認識装置による画像認識の手順について説明する。まず、ＣＰＵ５１０は、認識対象原画像に関するデータに基づいて、第１エリアＵＡ１〜第３エリアＵＡ３を特定する（ステップＳ６０１）。次に、ＣＰＵ５１０は、認識対象データを適宜読み出して、第１エリアＵＡ１での認識処理を行う（ステップＳ６０２）。ＣＰＵ５１０は、第１エリアＵＡ１において対応するオブジェクトのデータが存在すると判断すると（ステップＳ６０３：Ｙｅｓ）、第１エリアＵＡ１での認識結果を一時保存し（ステップＳ６０４）、第２エリアＵＡ２での認識処理を開始する（ステップＳ６０５）。ＣＰＵ５１０は、第２エリアＵＡ２において対応するオブジェクトのデータが存在すると判断すると（ステップＳ６０６：Ｙｅｓ）、第２エリアＵＡ２での認識結果を一時保存し（ステップＳ６０７）、第３エリアＵＡ３での認識処理を開始する（ステップＳ６０８）。ＣＰＵ５１０は、第３エリアＵＡ３において対応するオブジェクトのデータが存在すると判断すると（ステップＳ６０９：Ｙｅｓ）、該当するデータが有ると判定し、第１エリア〜第３エリアＵＡ１〜ＵＡ３での各認識結果を保存する処理を行う（ステップＳ６１０）。一方、上記のうち、各エリアＵＡ１〜ＵＡ３での認識処理（ステップＳ６０２，Ｓ６０５、Ｓ６０６）のうち、いずれか１つにおいて該当するデータが存在しないと判断すると（ステップＳ６０３：Ｎｏ，ステップＳ６０６：Ｎｏ，ステップＳ６０９：Ｎｏ）、該当するオブジェクトがない旨の情報を保存する処理を行う（ステップＳ６１１）。
【００９３】
本実施形態に係る画像認識装置によれば、多数抽出される分割画像の中に、対象物をより的確に捉えたものが存在するようにしておくことが可能となり、通常のパターンマッチングでは、捉えられない精度で、オブジェクトの認識を行うことが可能となる。
【００９４】
〔第６実施形態〕
以下、図２５等により、本発明の第６実施形態に係る画像処理装置を含む画像分類装置用いた画像分類方法について説明する。なお、本実施形態における画像分類装置の構成は、図１９（Ａ）及び図１９（Ｂ）に示す第５実施形態の画像認識装置の構成と同様であるので、詳しい図示及び説明を省略し、必要に応じて、図１９（Ａ）等を適宜参照して説明するものとする。
【００９５】
図２５（Ａ）は、本実施形態に係る画像分類装置の処理対象となる未特定画像ＵＩの一例である。ここで、画像分類装置における画像の分類とは、図２５（Ａ）のような未特定画像ＵＩにおいて、複数種類の既知の対象物、すなわち複数種類の既知の対象物の画像がどこにいくつあるかを特定することを意味する。ここでは、一例として、４種類の既知の対象物について特定することを目的とする。図２５（Ｂ）〜２５（Ｅ）は、上述のような分類を行うための知識データＤＩ１〜ＤＩ４について示す図である。具体的には、各知識データＤＩ１〜ＤＩ４は、それぞれ１つの既知の対象データに関する画像データを多数含むものである。画像分類装置は、これらの知識データＤＩ１〜ＤＩ４に基づいて、未特定の画像が、４つの知識データＤＩ１〜ＤＩ４に示される既知の対象物のうち、いずれに属するものであるか、或いはいずれにも属さないものであるかを判断する。なお、知識データＤＩ１〜ＤＩ４は、認識対象データとして、図１９（Ｂ）の認識対象データ記憶部ＴＤＸに格納されている。
【００９６】
以下、図２６に示すフローチャートにより、画像分類装置による画像分類の方法の概要について説明する。なお、既述のように、画像分類装置の構成については、図１９（Ａ）を援用する。まず、ＣＰＵ５１０は、複数種類（ここでは４種類）の対象物に関する知識データＤＩ１〜ＤＩ４を設定する（ステップＳ７０１）。すなわち、未特定の画像から分類すべき既知の対象を決定する。次に、ＣＰＵ５１０は、未特定画像データである未特定画像ＵＩの情報を取り込んで（ステップＳ７０２）、各種オブジェクトの抽出を行う（ステップＳ７０３）。なお、ステップＳ７０２及びステップＳ７０３での処理については、上記各実施形態に示した種々の分割処理の方法が適用可能である。また、この際、例えばステップＳ７０１で設定された対象物に対応する分割を採用するものとしてもよい。次に、ＣＰＵ５１０は、複数種類の対象物に関する知識データＤＩ１〜ＤＩ４を読出し（ステップＳ７０３）、抽出された各種オブジェクトについてデータ比較を行う（ステップＳ７０４）。すなわち、ＣＰＵ５１０は、４つの対象物に該当するオブジェクトが存在するか否か、あるいは、どのオブジェクトがどの対象物に該当するに該当するか、について判定を行う（ステップＳ７０５〜ステップＳ７０６）。つまり、ステップＳ７０５において、該当するデータの有無を確認し、有ると判定すると（ステップＳ７０５：Ｙｅｓ）、該当するオブジェクトに関してデータを保存する処理を行い（ステップＳ７０６）、無ければ（ステップＳ７０５：Ｎｏ）、該当するオブジェクトがない旨の情報を保存する処理を行う（ステップＳ７０７）。上記データの保存に関する処理を、各種オブジェクトのオブジェクトに対して行うことで、画像分類装置による未特定の画像における複数種類の対象物に関する分類がなされる。
【００９７】
本実施形態に係る画像分類装置によれば、例えば、１つの画像内において異なる物体（複数種類の対象物）が複数存在している場合に、これらの個数や分布等を把握することが可能となる。より具体的には、例えば血液に関する画像から、血液中の各成分がどのような割合で存在しているか、といった分析をより正確に行うことが可能となる。また、ある対象物（血液中のある成分）について、正常なものと異常なものとがどの程度の割合で存在するか、といったことを分析することも可能となる。
【符号の説明】
【００９８】
１００…画像処理装置、  １０…ＣＰＵ、  １２…記憶装置、  １３…表示装置、  １４…入力装置、  ５０…バス、  Ａ…変換パターン、  ＡＣ…別候補レイヤ作成プログラム、  ＡＯ…付随オブジェクト、  ＡＰ…前処理プログラム、  Ａ１，Ｂ１，Ｃ１，ＣＣ，ＣＯ，ＮＯ…オブジェクト、  ＣＯ…子オブジェクト、  ＣＰ…別候補レイヤ作成プログラム、  Ｄ１，Ｄ２，Ｄ３…オブジェクト、  ＤＣ１-ＤＣｍ…付随レイヤ作成プログラム、  ＤＤ１-ＤＤｍ…付随レイヤデータ記憶部、  ＤＭ…データ記憶部、  ＤＯ…未特定画像データ記憶部、  ＦＯ…確定オブジェクトデータ記憶部、  ＨＤ…全体画像、  ＩＢ，ＩＢ１…初期候補オブジェクト、  ＩＣ１-ＩＣｎ…候補レイヤ作成プログラム、  ＩＤ１-ＩＤｎ…候補レイヤデータ記憶部、  ＩＯ…初期候補オブジェクトデータ記憶部、  ＪＰ…確信度（類似度）判定プログラム、  ＪＰ１-ＪＰｚ…確信度（類似度）判定プログラム、  ＭＯ…オブジェクト、  ＭＯｄ…分割オブジェクト、  ＯＢ…オブジェクト、  ＯＣ…増肉・減肉用オブジェクト選択プログラム、  ＯＴ…候補オブジェクト増肉・減肉プログラム、  ＰＭ…プログラム記憶部、  ＰＯ…暫定候補オブジェクトデータ記憶部、  ＰＰ…親オブジェクト、  ＳＯ…特定画像データ記憶部、  ＳＳ…重畳オブジェクト
【図１】
2015179511.tif 000003
【図２】
2015179511.tif 000004
【図３】
2015179511.tif 000005
【図４】
2015179511.tif 000006
【図５】
2015179511.tif 000007
【図６】
2015179511.tif 000008
【図７】
2015179511.tif 000009
【図８】
2015179511.tif 000010
【図９】
2015179511.tif 000011
【図１０】
2015179511.tif 000012
【図１１】
2015179511.tif 000013
【図１２】
2015179511.tif 000014
【図１３】
2015179511.tif 000015
【図１４】
2015179511.tif 000016
【図１５】
2015179511.tif 000017
【図１６】
2015179511.tif 000018
【図１７】
2015179511.tif 000019
【図１８】
2015179511.tif 000020
【図１９】
2015179511.tif 000021
【図２０】
2015179511.tif 000022
【図２１】
2015179511.tif 000023
【図２２】
2015179511.tif 000024
【図２３】
2015179511.tif 000025
【図２４】
2015179511.tif 000026
【図２５】
2015179511.tif 000027
【図２６】
2015179511.tif 000028