(57)【要約】【課題】画像に含まれる領域間の前後関係の推定精度を向上させる。【解決手段】画像に含まれる領域の輪郭を抽出する輪郭領域抽出部１と、輪郭領域抽出部１が抽出した輪郭に含まれる複数の位置で、該輪郭によって分けられる二つの領域のうちどの方向に手前にある領域があるかを表すＢＯＳベクトルを算出するＢＯＳベクトル算出部２と、ＢＯＳベクトル算出部２が算出した複数の位置におけるＢＯＳベクトルの大きさと向きの情報に基づいて、前記輪郭によって分けられる二つの領域の前後関係を推定する前後関係推定部３と、を備える。【選択図】図１
2013257702.tif 000002
【特許請求の範囲】
【請求項１】
輪郭抽出部が画像に含まれる領域の輪郭を抽出する輪郭抽出手順と、
ＢＯＳベクトル算出部が、前記輪郭抽出部が抽出した輪郭に含まれる複数の位置で、該輪郭によって分けられる二つの領域のうちどの方向に手前にある領域があるかを表すＢＯＳベクトルを算出するＢＯＳベクトル算出手順と、
前後関係推定部が、前記ＢＯＳベクトル算出部が算出した複数の位置におけるＢＯＳベクトルの大きさと向きの情報に基づいて、前記輪郭によって分けられる二つの領域の前後関係を推定する前後関係推定手順と、
を有する前後関係推定方法。
【請求項２】
前記輪郭抽出手順において、前記輪郭抽出部が、前記輪郭に含まれる複数の位置で、その点が輪郭である確率を示す確率情報を算出し、
前記前後関係推定手順において、前記前後関係推定部が、前記輪郭抽出部が算出した前記確率情報に更に基づいて、前記輪郭によって分けられる二つの領域の前後関係を推定することを特徴とする請求項１に記載の前後関係推定方法。
【請求項３】
前記前後関係推定手順において、前記前後関係推定部が、前記輪郭に含まれる位置と該位置におけるＢＯＳベクトルの向きとに応じて、その位置におけるＢＯＳベクトルが示す手前にある領域を特定し、特定された領域毎にＢＯＳベクトルの大きさと前記確率情報とに基づいて、該領域が手前にある確度を表すＢＯＳ総量を算出し、該算出した領域毎のＢＯＳ総量に基づいて、前記輪郭によって分けられる二つの領域の前後関係を推定することを特徴とする請求項２に記載の前後関係推定方法。
【請求項４】
前記輪郭抽出手順において、前記輪郭抽出部が、前記輪郭の接線を表す接線ベクトルを算出し、該算出した接線ベクトルに基づいて前記輪郭によって分けられる二つの領域を定めることを特徴とする請求項１から３のいずれか一項に記載の前後関係推定方法。
【請求項５】
画像に含まれる領域の輪郭を抽出する輪郭抽出部と、
前記輪郭抽出部が抽出した輪郭に含まれる複数の位置で、該輪郭によって分けられる二つの領域のうちどの方向に手前にある領域があるかを表すＢＯＳベクトルを算出するＢＯＳベクトル算出部と、
前記ＢＯＳベクトル算出部が算出した複数の位置におけるＢＯＳベクトルの大きさと向きの情報に基づいて、前記輪郭によって分けられる二つの領域の前後関係を推定する前後関係推定部と、
を備える前後関係推定装置。
【請求項６】
コンピュータに、
画像に含まれる領域の輪郭を抽出する輪郭抽出ステップと、
前記輪郭抽出ステップにより抽出された輪郭に含まれる複数の位置で、該輪郭によって分けられる二つの領域のうちどの方向に手前にある領域があるかを表すＢＯＳベクトルを算出するＢＯＳベクトル算出ステップと、
前記ＢＯＳベクトル算出ステップにより算出された複数の位置におけるＢＯＳベクトルの大きさと向きの情報に基づいて、前記輪郭によって分けられる二つの領域の前後関係を推定する前後関係推定ステップと、
を実行させるための前後関係推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、前後関係推定方法、前後関係推定装置及び前後関係推定プログラムに関する。
【背景技術】
【０００２】
立体感のある画像を表示するために視差をつけた右眼用と左眼用の画像を用いて３次元表示する技術において、２次元画像から奥行き情報を生成して視差画像を生成する方法が提案されている。例えば、特許文献１では、領域の境界周辺のブロック積率、ブロックセイリエンシと呼んでいる特徴量を用いて領域の奥行き順序を判断する手法が開示されている。このように２次元画像から奥行き情報を推定することは、人の視覚情報処理でも行われており、奥行き情報を推定するための手掛かりとして、物体の輪郭の形状や遮蔽関係、テクスチャの勾配及び陰影などが利用されていると考えられている。
【０００３】
また、図地分離の技術分野において、画像に含まれる図（ｆｉｇｕｒｅ）の領域（手前側となる領域）と地（ｇｒｏｕｎｄ）の領域を分離する技術が提案されている。例えば、非特許文献１では、人の視覚情報処理のモデルとして、輪郭の形状や遮蔽関係から輪郭上でどの方向に図の領域があるかを表すＢＯＳベクトルを算出する方法が開示されている。ＢＯＳベクトルは人が輪郭上で図の領域があると判断する向きと強さの程度をベクトルにより表している。非特許文献１では、輪郭が明瞭な直線の組み合わせとなるような単純なパターンに対して提案手法を適用し、良好な結果が得られることを報告している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２２３５６６号公報
【非特許文献】
【０００５】
【非特許文献１】E.Craft, H.Schultze, E.Niebur and R.von der Heydt, A neural model of figure-ground organization, Journal of Neurophysiology, vol.97, p 4310-4326, 2007
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１の手法では、複雑なパターンに対して適用した場合には領域の奥行き順序の判定精度が不充分である。また、実際のシーンでは光の当たり方などによりコントラストが低く、輪郭が不明瞭な場合も多くあるため、輪郭自体が必ずしも正しく得られないことがある。そのため、非特許文献１に開示されている方法を、デジタルカメラなどで撮影される実際のシーンの画像に適用した場合に、領域間の前後関係を正しく推定することができないという問題がある。
【０００７】
そこで本発明は、上記問題に鑑みてなされたものであり、画像に含まれる領域間の前後関係の推定精度を向上させる前後関係推定方法、前後関係推定装置及び前後関係推定プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
（１）本発明は前記事情に鑑みなされたもので、本発明の一態様は、輪郭抽出部が画像に含まれる領域の輪郭を抽出する輪郭抽出手順と、ＢＯＳベクトル算出部が、前記輪郭抽出部が抽出した輪郭に含まれる複数の位置で、該輪郭によって分けられる二つの領域のうちどの方向に手前にある領域があるかを表すＢＯＳベクトルを算出するＢＯＳベクトル算出手順と、前後関係推定部が、前記ＢＯＳベクトル算出部が算出した複数の位置におけるＢＯＳベクトルの大きさと向きの情報に基づいて、前記輪郭によって分けられる二つの領域の前後関係を推定する前後関係推定手順と、を有する前後関係推定方法である。
【０００９】
（２）上記に記載の前後関係推定方法において、本発明の一態様は、前記輪郭抽出手順において、前記輪郭抽出部が、前記輪郭に含まれる複数の位置で、その点が輪郭である確率を示す確率情報を算出し、前記前後関係推定手順において、前記前後関係推定部が、前記輪郭抽出部が算出した前記確率情報に更に基づいて、前記輪郭によって分けられる二つの領域の前後関係を推定することを特徴とする。
【００１０】
（３）上記に記載の前後関係推定方法において、本発明の一態様は、前記前後関係推定手順において、前記前後関係推定部が、前記輪郭に含まれる位置と該位置におけるＢＯＳベクトルの向きとに応じて、その位置におけるＢＯＳベクトルが示す手前にある領域を特定し、特定された領域毎にＢＯＳベクトルの大きさと前記確率情報とに基づいて、該領域が手前にある確度を表すＢＯＳ総量を算出し、該算出した領域毎のＢＯＳ総量に基づいて、前記輪郭によって分けられる二つの領域の前後関係を推定することを特徴とする。
【００１１】
（４）上記に記載の前後関係推定方法において、本発明の一態様は、前記輪郭抽出手順において、前記輪郭抽出部が、前記輪郭の接線を表す接線ベクトルを算出し、該算出した接線ベクトルに基づいて前記輪郭によって分けられる二つの領域を定めることを特徴とする。
【００１２】
（５）本発明の一態様は、画像に含まれる領域の輪郭を抽出する輪郭抽出部と、前記輪郭抽出部が抽出した輪郭に含まれる複数の位置で、該輪郭によって分けられる二つの領域のうちどの方向に手前にある領域があるかを表すＢＯＳベクトルを算出するＢＯＳベクトル算出部と、前記ＢＯＳベクトル算出部が算出した複数の位置におけるＢＯＳベクトルの大きさと向きの情報に基づいて、前記輪郭によって分けられる二つの領域の前後関係を推定する前後関係推定部と、を備える前後関係推定装置である。
【００１３】
（６）本発明の一態様は、コンピュータに、画像に含まれる領域の輪郭を抽出する輪郭抽出ステップと、前記輪郭抽出ステップにより抽出された輪郭に含まれる複数の位置で、該輪郭によって分けられる二つの領域のうちどの方向に手前にある領域があるかを表すＢＯＳベクトルを算出するＢＯＳベクトル算出ステップと、前記ＢＯＳベクトル算出ステップにより算出された複数の位置におけるＢＯＳベクトルの大きさと向きの情報に基づいて、前記輪郭によって分けられる二つの領域の前後関係を推定する前後関係推定ステップと、を実行させるための前後関係推定プログラムである。
【発明の効果】
【００１４】
本発明によれば、画像に含まれる領域間の前後関係の推定精度を向上することができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態における前後関係推定装置の構成を示す概略ブロック図である。
【図２】輪郭領域抽出部に入力される画像と、抽出される複数の領域とその輪郭の概念図である。
【図３】輪郭領域抽出部が出力するデータの一例を示すテーブルである。
【図４】ＢＯＳベクトル算出部により生成されたＢＯＳベクトルの概念図である。
【図５】ＢＯＳベクトル算出部が出力するデータの一例を示すテーブルである。
【図６】第１の実施形態における前後関係推定部の構成を示す概略ブロック図である。
【図７】第１の実施形態における前後関係推定装置の処理の流れの一例を示すフローチャートである。
【図８】第２の実施形態における前後関係推定装置の構成を示す概略ブロック図である。
【図９】第３の実施形態における前後関係推定装置の構成を示す概略ブロック図である。
【図１０】領域を接線ベクトルを基準に定義する方式の概念図である。
【図１１】第３の実施形態における輪郭領域抽出部が保持する情報の一例を示すテーブルである。
【図１２】第３の実施形態における前後関係推定部の構成を示す概略ブロック図である。
【図１３】第１の実施形態の前後関係推定装置を備える撮像装置の構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１６】
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して詳細に説明する。図１は、第１の実施形態における前後関係推定装置１０の構成を示す概略ブロック図である。前後関係推定装置１０は、輪郭領域抽出部（輪郭抽出部）１と、ＢＯＳベクトル算出部２と、前後関係推定部３とを備える。
【００１７】
輪郭領域抽出部１は、外部から入力された画像情報を受け付ける。ここで、画像情報は、複数の領域を含む画像の情報であって、それらの領域間の前後関係を推定する対象となる画像の情報である。輪郭領域抽出部１は、画像に含まれる複数の領域とその輪郭を抽出する。ＢＯＳベクトル算出部２は、輪郭領域抽出部１が抽出した複数の領域とその輪郭に基づいて、その抽出した輪郭に含まれる複数の位置でＢＯＳベクトルを算出する。ＢＯＳベクトルは、輪郭によって分けられる二つの領域のうちどの方向に手前にある領域があるかを表すベクトルである。ＢＯＳベクトルの向きはどの方向に手前にある領域があるかを表し、ＢＯＳベクトルの大きさは、ＢＯＳベクトルの向きが指す領域が手前にある程度を表す。前後関係推定部３は、ＢＯＳベクトル算出部２が算出した複数の位置におけるＢＯＳベクトルの大きさと向きの情報に基づいて、前記輪郭によって分けられる二つの領域の前後関係を推定する。以下に図１に示された各ブロックについて詳細に説明する。
【００１８】
輪郭領域抽出部１は、画像情報が示す画像内の輪郭を抽出する。具体的には、例えば、輪郭領域抽出部１は、画像内の各画素において輪郭である確率を算出する。本実施形態では、一例として、輪郭領域抽出部１は、文献（D.R.Martin, C.Fowlkes, and J.Malik, Learning to detect natural image boundaries using local brightness, color, and texture cues, IEEE Transactions on pattern analysis and machine intelligence, vol.26, no.5, May 2004, p530-549. ）に開示されている方式を用いて、画像情報から各画素において輪郭である確率を算出する。
【００１９】
また、輪郭領域抽出部１は、その画像に含まれる複数の領域を抽出する。具体的には、例えば、輪郭領域抽出部１は、文献（P.Arbelaez, M.Maire, C.Fowlkes, and J.Malik, From Contours to Region: An empirical evaluation, CVPR,2009）に開示されている方式を用いて、その画像に含まれる複数の領域を抽出する。その際、輪郭領域抽出部１は、属する領域を算出する対象となる対象座標位置の周囲の近傍座標が属する領域を調べることにより、その対象座標位置が属する領域を判定する。そして、輪郭領域抽出部１は、画像内の各画素において、その画素が属する領域を識別する領域識別情報を割り振る。
【００２０】
ここで、画像は、例えば、縦がＮ画素、横がＭ画素の画素数をもつ画像（Ｍ，Ｎは任意）であり、画像上の各座標位置で、それぞれ赤（Ｒ）、緑（Ｇ）、青（Ｂ）の信号値をもつカラー画像データとする。その場合、輪郭領域抽出部１は、Ｎ画素×Ｍ画素の各座標位置において輪郭である確率の情報を算出する。また、その場合、輪郭領域抽出部１は、Ｎ画素×Ｍ画素の各座標位置において、領域識別情報を割り振る。
そして、輪郭領域抽出部１は、各画素の位置と割り振った領域識別情報と算出した輪郭である確率とを関連付けたデータをＢＯＳベクトル算出部２へ出力する。
【００２１】
図２は、輪郭領域抽出部１に入力される画像と、抽出される複数の領域とその輪郭の概念図である。同図において、画像Ｇ２１は輪郭領域抽出部１に入力される画像の一例である。画像Ｇ２２には、家の領域である領域１と背景である領域２とが輪郭Ｅ２３によって分けられることが示されている。同図の例では、輪郭領域抽出部１は、画像Ｇ２１から、輪郭Ｅ２３と領域１と領域２を抽出する。
【００２２】
図３は、輪郭領域抽出部１が出力するデータの一例を示すテーブルである。同図に示すように、輪郭領域抽出部１が保持する情報は、画像上の座標位置、当該座標位置が属する領域の領域識別情報、当該座標位置が輪郭である確率が対応付けられたデータ構成となっている。ここで、ｘは画像の水平方向の座標、ｙは画像の垂直方向の座標を示している。また、領域識別情報が１の領域は領域１を示し、領域識別情報が２の領域は領域２を示す。この例では、画像に含まれる領域は、領域１と領域２の二つであり、輪郭は領域１と領域２の両方に属するものとする。座標位置が属する領域が領域１のみもしくは領域２のみとなっている座標位置において、輪郭である確率が０である。一方、座標位置が属する領域が領域１と領域２の両方となっている座標位置において、輪郭である確率は正の値である。
【００２３】
例えば、画像のｘ座標が０でｙ座標が０の画素の場合、領域が２で輪郭である確率が０．０であることが示されている。ここで、輪郭である確率は、０から１までの値で、輪郭である確率が０．０とは、その画素が輪郭でないことを示す。一方、輪郭である確率が１．０とは、その画素が必ず輪郭であることを示す。例えば、画像のｘ座標が１０２でｙ座標が１１０の画素の場合、領域１と領域２の双方に属しており、輪郭である確率が０．３であることが示されている。
【００２４】
なお、画像に含まれる領域が三つ以上ある場合には、画素が属する領域の数は３つ以上になる場合がある。
【００２５】
ＢＯＳベクトル算出部２は、画像に含まれる複数の領域とその輪郭から、非特許文献１に開示されている方式を用いて、輪郭上の各画素におけるＢＯＳベクトルを生成する。そして、ＢＯＳベクトル算出部２は、輪郭上における各座標位置における領域識別情報と輪郭である確率と輪郭上の各画素におけるＢＯＳベクトルとを関連付けたデータを前後関係推定部３へ出力する。
【００２６】
図４は、ＢＯＳベクトル算出部２により生成されたＢＯＳベクトルの概念図である。同図の画像Ｇ４１には、家の領域である領域１と背景である領域２とが輪郭Ｅ４３によって分けられることが示されている。画像Ｇ４２は、画像４１の輪郭Ｅ４３と領域１及び領域２に基づいて算出されたＢＯＳベクトルを説明するための画像である。同図の画像Ｇ４２には、輪郭Ｅ４４上のサンプリングした位置においてＢＯＳベクトルが示されている。同図において、実線の矢印は、領域１を図と判断とするＢＯＳベクトルで、破線の矢印は、領域２を図と判断とするＢＯＳベクトルである。
【００２７】
同図の画像Ｇ４２では、ＢＯＳベクトルは領域１の方向となるのが正しいが、領域２の方向となっているベクトルも生成されている様子を模式的に示している。同図では、輪郭上のサンプリングした位置についてのみベクトルを示しているが、実際には、ＢＯＳベクトル算出部２は輪郭である確率が０でない（図では黒ではない）全ての位置においてＢＯＳベクトルを生成する。ＢＯＳベクトル算出部２は、生成したＢＯＳベクトルを、図３に示した画像上の座標位置、画素が属する領域の領域識別情報及び輪郭である確率と対応付けて前後関係推定部３に出力する。
【００２８】
図５は、ＢＯＳベクトル算出部２が出力するデータの一例を示すテーブルである。同図に示すように、ＢＯＳベクトル算出部２が出力する情報は、画像上の座標位置、画素が属する領域の領域識別情報、輪郭である確率、ＢＯＳベクトル成分との組が対応付けられたデータ構成となっている。同図において、ＢＯＳベクトル成分として、ｘ座標に沿った成分（以下、ｘ成分という）とｙ座標に沿った成分（以下、ｙ成分という）とが示されている。ＢＯＳベクトル成分は、輪郭である確率が０．０の場合には、ＢＯＳベクトル算出部２により算出されないので、輪郭である確率が０．０の場合、ＢＯＳベクトルのｘ成分及びｙ成分には初期値の０．０が示されている。
【００２９】
図６は、第１の実施形態における前後関係推定部３の構成を示す概略ブロック図である。同図に示すように、前後関係推定部３は、図領域判定部３１と、ＢＯＳ総量計算部３２と、領域前後関係判定部３３とを備える。
【００３０】
図領域判定部３１は、ＢＯＳベクトルが示す図の領域を判定する。具体的には、例えば、座標位置がＡ（ｘ０，ｙ０）におけるＢＯＳベクトル成分を（ｂｘ０，ｂｙ０）とすると、図領域判定部３１は、ＢＯＳベクトルを単位長さに正規化したベクトル（以下、正規化したＢＯＳベクトルという）を座標位置Ａ（ｘ０，ｙ０）に足した座標Ｂ（ｘ０＋ｂｘ０／√（ｂｘ０２＋ｂｙ０２）、ｙ０＋ｂｙ／√（ｂｘ０２＋ｂｙ０２））（ただし、座標の小数点以下は四捨五入する）における領域を調べる。ここで、ＢＯＳベクトルを正規化しているのは、座標Ｂが他の輪郭線を超えた点にならないように充分に小さい値にするためである。このようにＢＯＳベクトルを単位長さに正規化することによって、座標Ｂの位置の画素は、輪郭の座標Ａの位置の画素に隣接する画素になる。
【００３１】
座標Ｂが領域１のみもしくは領域２のみに属する場合、図領域判定部３１は、座標Ｂの属する領域を、座標ＡにおけるＢＯＳベクトルが示す図の領域と判定する。一方、座標Ｂが領域１と領域２の両方に属する（すなわち輪郭である確率が０でない）場合、図領域判定部３１は、上述の正規化したＢＯＳベクトルを座標Ｂに足した座標Ｃにおいて座標Ｃが属する領域を調べる。このように、図領域判定部３１は、ＢＯＳベクトルが示す図の領域が定まるまで同様の処理を繰り返す。
図領域判定部３１は、判定した結果をＢＯＳ総量計算部３２に出力する。
【００３２】
ＢＯＳ総量計算部３２は、前後関係の判定の対象となる領域（ここでは、一例として領域１と領域２）のそれぞれのＢＯＳ総量を算出する。ここで、ＢＯＳ総量は、その領域が手前にある確度を表す数であり、その値が大きいほどその領域が手前にあることを示す。具体的には、例えば、ＢＯＳ総量計算部３２は、以下の処理により、領域１と領域２のそれぞれのＢＯＳ総量を算出する。ＢＯＳ総量計算部３２は、領域１のＢＯＳ総量Ｔ１を、次の式（１）に従って算出する。
【００３３】
【数１】
2013257702.tif 000003
【００３４】
ここで、Ｒ１２は領域1と領域２の両方に属する座標のうちＢＯＳベクトルが示す図の領域が領域１である座標を含む領域を表す。Ｂ（ｘ、ｙ）は、座標（ｘ、ｙ）における輪郭である確率で、Ｖ（ｘ、ｙ）は、座標（ｘ、ｙ）におけるＢＯＳベクトルの大きさ√（ｂｘ２＋ｂｙ２）である。同様に、ＢＯＳ総量計算部３２は、領域２のＢＯＳ総量Ｔ２を、次の式（２）に従って算出する。
【００３５】
【数２】
2013257702.tif 000004
【００３６】
ここで、Ｒ２１は領域１と領域２の両方に属する座標のうちＢＯＳベクトルが示す図の領域が領域２である座標を含む領域を表す。
領域前後関係判定部３３は、領域１のＢＯＳ総量Ｔ１と領域２のＢＯＳ総量Ｔ２とから領域１と領域２との間の前後関係情報Ｆ１２を、一例として次の式（３）に従って算出する。
【００３７】
【数３】
2013257702.tif 000005
【００３８】
領域前後関係判定部３３は、領域１と領域２との間の前後関係情報Ｆ１２が正となった場合は領域１が領域２よりも手前にあると判定する。これは、前後関係情報Ｆ１２が正である場合、領域１のＢＯＳ総量Ｔ１が領域２のＢＯＳ総量Ｔ２より大きいことから、領域１が領域２よりも手前にある確度が高いからである。
一方、前後関係情報Ｆ１２が負となった場合、領域前後関係判定部３３は、領域２が領域１よりも手前にあると判定する。これは、前後関係情報Ｆ１２が負である場合、領域１のＢＯＳ総量Ｔ１が領域２のＢＯＳ総量Ｔ２より小さいことから、領域２が領域１よりも手前にある確度が高いからである。
【００３９】
前後関係情報Ｆ１２は、領域１のＢＯＳ総量Ｔ１と領域２のＢＯＳ総量Ｔ２の差分に基づく値であるので、その領域がどのくらいはっきり手前にあるか否かを示している。
【００４０】
[確率情報の使い方の変形例]
なお、ＢＯＳ総量計算部３２は、領域１のＢＯＳ総量Ｔ１と領域２のＢＯＳ総量Ｔ２を、それぞれ次の式（４）および式（５）に従って算出してもよい。
【００４１】
【数４】
2013257702.tif 000006
【００４２】
【数５】
2013257702.tif 000007
【００４３】
ここで、Ｂ’（ｘ，ｙ）は、座標（ｘ、ｙ）における輪郭である確率Ｂ（ｘ，ｙ）の値が予め決められた閾値以下の場合にその値を０に置き換えたものである。この閾値は、例えば、事前に用意した画像に対して複数の閾値を設定して本方式を試行し、最も良好な結果が得られた値を採用するという方式で設定される。本方式を利用する前にこのような試行ができる場合には、上記の閾値を設定することにより、前後関係推定部３は、より高い確度で領域間の前後関係を推定することができる。
更に、ＢＯＳ総量計算部３２は、領域１のＢＯＳ総量Ｔ１と領域２のＢＯＳ総量Ｔ２を、それぞれ次の式（６）および式（７）に従って算出してもよい。
【００４４】
【数６】
2013257702.tif 000008
【００４５】
【数７】
2013257702.tif 000009
【００４６】
ここで、Ｂ”（ｘ，ｙ）は、座標（ｘ、ｙ）における輪郭である確率Ｂ（ｘ，ｙ）に非線形変換を施したものである。非線形変換は、例えば、高次多項式など複数のパラメータをもつ関数または数値テーブルを用いた変換である。具体的には、非線形変換は、例えば、輪郭である確率が高いほどその確率を更に高くすることにより、輪郭である確率が低いほどその確率を更に低くする変換である。この非線形変換により、ＢＯＳ総量計算部３２は、輪郭である確率が高いほどその確率を更に高くするので、その画素におけるＢＯＳベクトルがＢＯＳベクトルの総量に貢献する割合を大きくする。また、ＢＯＳ総量計算部３２は、輪郭である確率が低いほどその確率を更に低くので、その画素におけるＢＯＳベクトルがＢＯＳベクトルの総量に貢献する割合を小さくする。なお、人間の目で見た結果に近づくように非線形変換を設定してもよい。
【００４７】
ここで用いるパラメータは、Ｂ’（ｘ，ｙ）の閾値設定と同様に、事前に用意した画像に対して複数のパラメータを設定して本方式を試行し、最も良好な結果が得られたパラメータを採用するという方式で設定される。本方式を利用する前にこのような試行が比較的多くの画像を用いてできる場合には、上記の方式で設定したパラメータを用いた非線形変換により、前後関係推定部３は、更に高い確度で領域間の前後関係を推定することができる。
【００４８】
図７は、第１の実施形態における前後関係推定装置１０の処理の流れの一例を示すフローチャートである。まず、輪郭領域抽出部１は、画像内の各画素において、輪郭である確率を算出する（ステップＳ１０１）。次に、輪郭領域抽出部１は、画像内に含まれる領域を抽出する（ステップＳ１０２）。次に、輪郭領域抽出部１は、画像内の各画素において輪郭である確率と抽出した領域を識別する領域識別情報とを対応付ける（ステップＳ１０３）。
【００４９】
次に、ＢＯＳベクトル算出部２は、抽出された輪郭上の各画素においてＢＯＳベクトルを算出する（ステップＳ１０４）。次に、図領域判定部３１は、輪郭上の画素毎にＢＯＳベクトルが示す図の領域を判定する（ステップＳ１０５）。次に、ＢＯＳ総量計算部３２は、ＢＯＳベクトルが示す図の領域毎に、輪郭である確率とＢＯＳベクトルの乗算結果の総和を算出する（ステップＳ１０６）。次に、領域前後関係判定部３３は、ＢＯＳベクトルが示す図の領域毎に算出された総和を比較することにより、領域間の前後関係を推定する（ステップＳ１０７）。以上で、本フローチャートの処理を終了する。
【００５０】
以上、第１の実施形態における前後関係推定装置１０における前後関係推定部３は、二つの領域間の境界となる輪郭上における複数の位置のＢＯＳベクトルの大きさと向きの情報に基づいて、輪郭によって分けられる二つの領域間の前後関係を推定する。これにより、前後関係推定装置１０は、複数の位置のＢＯＳベクトルを用いて前後関係を推定するので、コントラストが低く輪郭が不明瞭な場合でも、より高い精度で領域の前後関係を推定することができる。
【００５１】
また、前後関係推定装置１０において、前後関係推定部３は、輪郭に含まれる位置と該位置におけるＢＯＳベクトルの向きとに応じて、その位置におけるＢＯＳベクトルが示す手前にある領域を特定する。そして、前後関係推定部３は、特定された領域毎にＢＯＳベクトルの大きさと前記確率情報とに基づいて、該領域が手前にある確度を表すＢＯＳ総量を算出し、該算出した領域毎のＢＯＳ総量に基づいて、輪郭によって分けられる二つの領域の前後関係を推定する。より具体的には、前後関係推定部３は、輪郭である確率とＢＯＳベクトルの乗算結果をＢＯＳベクトルが示す図の領域毎に総和を比較し、比較結果に基づいて二つの領域間の前後関係を推定する。これにより、輪郭上の一部の点でＢＯＳベクトルの向きが間違っていたとしても、複数のＢＯＳベクトルから判定することにより、その間違っているＢＯＳベクトルの向きが間違いであることが判断できる。その結果、前後関係推定装置１０は、図の領域が複雑な構造であっても、１つの領域の輪郭上にあれば位置にかかわらずいつも同じ領域を図と判断することができる。それゆえ、前後関係推定装置１０は図の領域が複雑な構造であっても、正しく二つの領域間の前後関係を推定することができる。
【００５２】
また、本実施形態における前後関係推定装置１０において、輪郭領域抽出部１が、輪郭に含まれる複数の位置で、その点が輪郭である確率を示す確率情報を算出し、前後関係推定部３が、輪郭領域抽出部１が算出した前記確率情報に更に基づいて、輪郭によって分けられる二つの領域の前後関係を推定する。具体的には、前後関係推定部３は、輪郭である確率とＢＯＳベクトルの乗算結果をＢＯＳベクトルが示す図の領域毎に総和を比較し、比較結果に基づいて二つの領域間の前後関係を推定する。そのため、前後関係推定装置１０は、輪郭である確率が低い（すなわち輪郭であるという信用が低い）点では、輪郭である確率とＢＯＳベクトルの乗算結果が小さくなるので、その乗算結果が当該総和に占める割合を低くすることができる。一方、前後関係推定装置１０は、輪郭である確率が高い（すなわち輪郭であるという信用が高い）点では、輪郭である確率とＢＯＳベクトルの乗算結果が大きくなるので、その乗算結果が当該総和に占める割合を高くすることができる。これにより、前後関係推定装置１０は、輪郭が不明瞭な点があったとしてもその点におけるＢＯＳベクトルが当該総和にあまり寄与せず、当該輪郭が明瞭な点におけるＢＯＳベクトルが総和により寄与するので、輪郭が不明瞭な点があったとしても、より高い精度で領域の前後関係を推定することができる。
【００５３】
＜第２の実施形態＞
続いて、第２の実施形態について説明する。第１の実施形態における前後関係推定装置１０は、前後関係情報Ｆ１２が正となった場合は領域１が領域２よりも手前にあり、前後関係情報Ｆ１２が負となった場合は領域２が領域１よりも手前にあると判定した。このように、第１の実施形態における前後関係推定装置１０は、前後関係情報Ｆ１２を定性的な判断に用いた。それに対し、第２の実施形態における前後関係推定装置１０ｂは、前後関係情報Ｆ１２が定量的な指標であることを利用して、前後関係情報Ｆ１２を定量的な情報として利用する。具体的には、前後関係情報Ｆ１２は、領域１のＢＯＳ総量Ｔ１と領域２のＢＯＳ総量Ｔ２の和で正規化されているので、第２の実施形態における前後関係推定装置１０ｂは、前後関係情報Ｆ１２をＢＯＳベクトルとは異なるパラメータに基づいて算出される情報と組み合わせて領域１と領域２との間の前後関係を推定する。
【００５４】
図８は、第２の実施形態における前後関係推定装置１０ｂの構成を示す概略ブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。図８の前後関係推定装置１０ｂの構成は、図１の前後関係推定装置１０の構成に対して、追加判定部４と前後関係判定統合部５が追加された構成となっている。
【００５５】
追加判定部４は、輪郭領域抽出部１が抽出した画像に含まれる複数の領域とその輪郭の情報を輪郭領域抽出部１から受け付ける。追加判定部４は、領域の前後関係を示す追加情報（以下、前後関係追加情報）を生成し、生成した前後関係追加情報を前後関係判定統合部５へ出力する。ここで、前後関係追加情報とは、前後関係推定部３により出力される前後関係情報と同様に領域の前後関係を推定した定量的な情報である。
【００５６】
具体的には、例えば、追加判定部４は、外部から入力された画像情報を受け付け、受け付けた画像情報から、領域１及び領域２それぞれの領域内の緑（Ｇ）の信号値の標準偏差値をそれぞれ近似的に領域１の領域内のコントラスト値Ｃ１と領域２の領域内のコントラスト値Ｃ２として算出する。そして、追加判定部４は、前後関係追加情報Ｏ１２を次の式（８）に従って算出する。
【００５７】
【数８】
2013257702.tif 000010
【００５８】
なお、追加判定部４は、画像に含まれる複数の領域とその輪郭の情報を入力として受け付け、任意の処理で前後関係追加情報を生成してもよい。例えば、領域内の明るさまたは彩度は前後関係を推定する上で有用な情報となる場合もあるので、追加判定部４は、領域内の明るさまたは彩度を定量化した情報を用いて、前後関係追加情報を生成してもよい。
具体的には、追加判定部４は、領域内の明るさが明るいほどその領域が手前にあることを示すように前後関係追加情報を設定してもよい。また、追加判定部４は、領域内の彩度が高いほど、その領域が手前にあることを示すように前後関係追加情報を設定してもよい。
【００５９】
その際、例えば、追加判定部４は、以下の処理により、領域内のコントラスト、明るさ、彩度を算出してもよい。追加判定部４は、次の式（９）で定義されるＭｉｃｈｅｌｓｏｎコントラストを用いて、コントラスト値を算出してもよい。
【００６０】
【数９】
2013257702.tif 000011
【００６１】
ここで、Ｇｍｉｎ、Ｇｍａｘはそれぞれ領域内の緑（Ｇ）の信号値の最小値、最大値を表す。また、追加判定部４は、緑（Ｇ）の信号値の代わりに人の知覚する輝度値Ｙや明度Ｌ*を用いて、上述の領域内の緑（Ｇ）の標準偏差値またはＭｉｃｈｅｌｓｏｎコントラストをコントラスト値として算出してもよい。その場合、追加判定部４は、例えば、輝度値ＹをＩＥＣ  ６１９６６−２−１に規定されているｓＲＧＢ規格を用いて次の式（１０）〜（１３）に従って輝度値Ｙを算出してもよい。正規化された赤、緑、青の画素値をそれぞれＲ’、Ｇ’、Ｂ’とすると、正規化された赤、緑、青の画素値Ｒ’、Ｇ’、Ｂ’は次の式（１０）で表される。
【００６２】
【数１０】
2013257702.tif 000012
【００６３】
ここで、Ｒ、Ｇ、Ｂはそれぞれ赤、緑、青の画素値であり、０から２５５までの値を取るものとする。正規化された赤、緑、青の画素値Ｒ’、Ｇ’、Ｂ’それぞれが０．０４０４５以下の場合、ｓＲＧＢ規格の赤の画素値Ｒｓ、緑の画素値Ｇｓ、青の画素値Ｂｓは、次の式（１１）で表される。
【００６４】
【数１１】
2013257702.tif 000013
【００６５】
一方、正規化された赤、緑、青の画素値Ｒ’、Ｇ’、Ｂ’それぞれが０．０４０４５より大きい場合、ｓＲＧＢ規格の赤の画素値Ｒｓ、緑の画素値Ｇｓ、青の画素値Ｂｓは次の式（１２）で表される。
【００６６】
【数１２】
2013257702.tif 000014
【００６７】
次に、ＸＹＺ表色系における刺激値Ｘ、輝度値Ｙ、刺激値Ｚは、次の式（１３）で表される。
【００６８】
【数１３】
2013257702.tif 000015
【００６９】
また、追加判定部４は、明度Ｌ＊を、上記のＸＹＺ値から次の式（１４）により算出してもよい。
【００７０】
【数１４】
2013257702.tif 000016
【００７１】
ここで、ａ＊、ｂ＊は、補色次元である。また、Ｘｎ、Ｙｎ、Ｚｎはそれぞれ白色のＸ、Ｙ、Ｚで、ここでは例えばモニタの白色のＸ、Ｙ、Ｚをそれぞれ用いるものとする。また、関数ｆは、次の式（１５）〜（１７）のように表される。
【００７２】
【数１５】
2013257702.tif 000017
【００７３】
【数１６】
2013257702.tif 000018
【００７４】
【数１７】
2013257702.tif 000019
【００７５】
追加判定部４は、領域内で上記の明るさとして明度Ｌ*もしくは輝度値Ｙを用いて、明度Ｌ*もしくは輝度値Ｙが高いほど、その領域が手前にあることを示すように前後関係追加情報を設定してもよい。
また、追加判定部４は、次の式（１８）に従って、クロマ値Ｃ＊ａｂを彩度として算出して、領域内で上記の彩度が高いほど、その領域が手前にあることを示すように前後関係追加情報を設定してもよい。
【００７６】
【数１８】
2013257702.tif 000020
【００７７】
続いて、前後関係判定統合部５の処理について説明する。前後関係判定統合部５は、上記の前後関係情報Ｆ１２と前後関係追加情報Ｏ１２とに基づいて、領域間の前後関係を推定する。具体的には、例えば、前後関係判定統合部５は、上記の前後関係情報Ｆ１２と前後関係追加情報Ｏ１２を用いて次の式（１９）に従って、統合した領域間の前後関係情報（以下、統合前後関係情報という）Ｚ１２を算出する。
【００７８】
【数１９】
2013257702.tif 000021
【００７９】
ここで、αおよびβは正の定数であり、例えば、事前に用意した複数の画像に対して最も良好な結果が得られるように設定されるものである。統合前後関係情報Ｚ１２が正である場合、領域１が領域２よりも手前に位置する。一方、統合前後関係情報Ｚ１２が負である場合、領域２が領域１よりも手前に位置する。
【００８０】
第２の実施形態における前後関係推定装置１０ｂにおいて、前後関係判定統合部５は、上記の前後関係情報Ｆ１２と前後関係追加情報Ｏ１２とに基づいて、領域間の前後関係を推定する。これにより、第２の実施形態における前後関係推定装置１０ｂは、第１の実施形態における前後関係推定装置１０の効果に加えて、更に以下の効果を奏する。前後関係推定装置１０ｂは、更に前後関係追加情報Ｏ１２にも基づいて領域間の前後関係を推定するので、より精度が高く領域間の前後関係を推定することができる。
【００８１】
＜第３の実施形態＞
続いて、第３の実施形態について説明する。第１の実施形態の前後関係推定装置１０と第２の実施形態の前後関係推定装置１０ｂは、各画素に対して、その画素が属する領域を示す情報を関連付けた。それに対し、第３の実施形態の前後関係推定装置１０ｃは、輪郭である確率が０でない画素に対して、輪郭の接線の向きを示す情報と、その接線の向きに対して反時計回りに１８０度回転させたときに通過する領域を識別する反時計回りの領域識別情報（例えば、領域１を識別する識別情報）と、その接線の向きに対して時計回りに１８０度回転させたときに通過する領域を識別する時計回りの領域識別情報（例えば、領域２を識別する識別情報）とを関連付ける。
【００８２】
図９は、第３の実施形態における前後関係推定装置１０ｃの構成を示す概略ブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。図９の前後関係推定装置１０ｃの構成は、図１の前後関係推定装置１０の構成に対して、輪郭領域抽出部（輪郭抽出部）１が輪郭領域抽出部（輪郭抽出部）１ｃに、前後関係推定部３が前後関係推定部３ｃに変更された構成となっている。
【００８３】
輪郭領域抽出部１ｃは、画像内の各画素において、輪郭である確率を算出する。そして、  輪郭領域抽出部１ｃは、輪郭である確率が０より大きい画素を用いて、複数の画素の輪郭を統合する。例えば、輪郭領域抽出部１ｃは、最適経路探索方式を用いて、複数の画素の輪郭を統合する。最適経路探索方式は、検出したい輪郭に関する拘束条件を評価関数とした最適化問題として求める方式である。その際、例えば、エッジの明るさの差分、曲線の曲率、などをコスト値として用いて最適化する方式である。輪郭領域抽出部１ｃは、この処理を繰り返して、複数の輪郭を統合する。
【００８４】
そして、輪郭領域抽出部１ｃは、輪郭上の各画素において、その輪郭上における画素を始点とする二つの接線ベクトルを算出する。この接線ベクトルは、輪郭の接線を表すベクトルである。そして、輪郭領域抽出部１ｃは、例えば、輪郭上における各画素において、その画素に関連付けられた接線に対して反時計回りに１８０度回転させたときに通過する領域を領域１に設定する。一方、輪郭領域抽出部１ｃは、例えば、その接線に対して時計回りに１８０度回転させたときに通過する領域を領域２と設定する。その際、輪郭領域抽出部１ｃは、例えば、輪郭上の座標位置を始点とする接線に対して反時計回りに１８０度まで回転させる方向のベクトルの集合として領域１を定義する。一方、輪郭領域抽出部１ｃは、例えば、輪郭上の座標位置を始点とする接線に対して時計回りに１８０度まで回転させる方向のベクトルの集合として領域２を定義する。ここで、接線ベクトルは、向きのみの情報で大きさは任意としてよい。
【００８５】
そして、輪郭領域抽出部１ｃは、輪郭上の各座標位置における輪郭である確率と接線ベクトル成分と領域識別情報とを関連付けたデータをＢＯＳベクトル算出部２へ出力する。
ＢＯＳベクトル算出部２は、第１の実施形態と同様に、輪郭上の各座標位置でＢＯＳベクトルを算出する。そして、ＢＯＳベクトル算出部２は、輪郭上の各座標位置における輪郭である確率と接線ベクトル成分と領域識別情報とＢＯＳベクトルとを関連付けたデータを前後関係推定部３ｃへ出力する。
前後関係推定部３ｃは、ＢＯＳベクトル算出部２から入力された輪郭上における各座標位置における輪郭である確率と接線ベクトル成分と領域識別情報とＢＯＳベクトルとに基づいて、画像に含まれる領域間の前後関係を推定する。
【００８６】
図１０は、領域を接線ベクトルを基準に定義する方式の概念図である。同図において、輪郭上の点Ｐ１０１における接線ベクトルＶ１０２と接線ベクトルＶ１０３とが示されている。領域１は、接線ベクトルＶ１０２と接線ベクトルＶ１０３が表す接線に対して、接線ベクトルＶ１０２を接線ベクトルＶ１０３に重なるまで反時計回りに回転させたときに通過する領域の方向のベクトルの集合として定義される。領域２は、接線ベクトルＶ１０２と接線ベクトルＶ１０３が表す接線に対して、接線ベクトルＶ１０２を接線ベクトルＶ１０３に重なるまで時計回りに回転させたときに通過する領域の方向のベクトルの集合として定義される。このように、画像上の座標位置毎に領域が定義されていなくても、輪郭領域抽出部１ｃは、輪郭の接線を表す接線ベクトルを算出し、該算出した接線ベクトルに基づいて輪郭によって分けられる二つの領域を定める。
【００８７】
図１１は、第３の実施形態における輪郭領域抽出部１ｃが保持する情報の一例を示すテーブルである。同図に示すように、輪郭領域抽出部１ｃが保持する情報は、例えば、画像上の座標位置、輪郭である確率、接線ベクトルの成分及び領域識別情報との組から構成されている。例えば、画像上の座標位置のｘ座標が１０２、ｙ座標が１１０で、輪郭である確率が０、３で、一つの接線ベクトルのｘ成分が０．０でｙ成分が０．８で、もう一つの接線ベクトルのｘ成分が０．０でｙ成分が−０．８で、領域識別情報が１、２であることが示されている。これは、図１０においてこの接線ベクトルに対して向かって左側の領域が領域１で、この接線に対して向かって右側の領域が領域２であることを意味する。このようなデータ構造をとることにより、輪郭領域抽出部１ｃは、接線ベクトルに基づいて領域を定義することができる。
【００８８】
図１２は、第３の実施形態における前後関係推定部３ｃの構成を示す概略ブロック図である。なお、図６と共通する要素には同一の符号を付し、その具体的な説明を省略する。図１２の前後関係推定部３ｃの構成は、図６の前後関係推定部３の構成に対して、図領域判定部３１が図領域判定部３１ｃに変更された構成となっている。
【００８９】
図領域判定部３１ｃは、輪郭上に座標位置におけるＢＯＳベクトルの向きが、その座標位置に関連付けられた接線ベクトルが表す接線に対して反時計回りに１８０度まで回転させる方向のベクトルの集合に含まれる場合、そのＢＯＳベクトルが示す図の領域を反時計回りの領域識別情報で識別される領域（例えば、領域１）であると判定する。一方、図領域判定部３１ｃは、輪郭上に座標位置におけるＢＯＳベクトルの向きが、その座標位置に関連付けられた接線ベクトルが表す接線に対して時計回りに１８０度まで回転させる方向のベクトルの集合に含まれる場合、そのＢＯＳベクトルが示す図の領域を時計回りの領域識別情報で識別される領域（例えば、領域２）であると判定する。
【００９０】
以上、第３の実施形態における前後関係推定装置１０ｃにおいて、輪郭領域抽出部１ｃは、輪郭上の座標位置における接線の向きに基づいて、領域を定義する。これにより、第２の実施形態における前後関係推定装置１０ｃは、第１の実施形態における前後関係推定装置１０の効果に加えて、更に以下の効果を奏する。前後関係推定装置１０ｃは、画像内の全ての画素において各画素が属する領域を示す情報を生成することなく、輪郭上の座標位置においてのみ接線の向きとその接線によって分けられる領域の領域識別情報を生成すればよいので、計算量を削減することができる。
【００９１】
なお、第１の実施形態から第３の実施形態における前後関係推定装置を撮像装置に組み込んでも良い。その一例として、第１の実施形態における前後関係推定装置１０を撮像装置に組み込んだ例を図１３に示す。
図１３は、第１の実施形態の前後関係推定装置１０を備える撮像装置１００の構成を示す概略ブロック図である。撮像装置１００は、前後関係推定装置１０と、撮像光学系１１０と、撮像部１２０と、画像情報生成部１３０と、記憶部１４０とを備える。
【００９２】
撮像光学系１１０は、不図示の被写体から入射された光を撮像部１２０に集光させて、撮像部１２０に被写体の像を形成する。撮像部１２０は、撮像光学系１１０が形成した被写体の像を撮像し、撮像により得られた撮像信号を画像情報生成部１３０へ出力する。
画像情報生成部１３０は、撮像部１２０から入力された撮像信号を、画像を示す画像情報に変換し、その画像情報を記憶部１４０に記憶させる。また、画像情報生成部１３０は、その画像情報を前後関係推定装置１０へ出力する。前後関係推定装置１０は、第１の実施形態で説明したように、その画像情報から画像情報が示す画像に含まれる領域間の前後関係を推定する。
【００９３】
なお、複数の装置を備えるシステムが、各実施形態の前後関係推定装置の各処理を、それらの複数の装置で分散して処理してもよい。
また、各実施形態の前後関係推定装置の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、前後関係推定装置に係る上述した種々の処理を行ってもよい。
【００９４】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００９５】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００９６】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００９７】
１、１ｃ  輪郭領域抽出部（輪郭抽出部）
２  ＢＯＳベクトル算出部
３、３ｃ  前後関係推定部
４  追加判定部
５  前後関係判定統合部
１０、１０ｂ、１０ｃ  前後関係推定装置 
３１、３１ｃ  図領域判定部
３２  ＢＯＳ総量計算部
３３  領域前後関係判定部
１００  撮像装置
１１０  撮像光学系
１２０  撮像部
１３０  画像情報生成部
１４０  記憶部
【図１】
2013257702.tif 000022
【図２】
2013257702.tif 000023
【図３】
2013257702.tif 000024
【図４】
2013257702.tif 000025
【図５】
2013257702.tif 000026
【図６】
2013257702.tif 000027
【図７】
2013257702.tif 000028
【図８】
2013257702.tif 000029
【図９】
2013257702.tif 000030
【図１０】
2013257702.tif 000031
【図１１】
2013257702.tif 000032
【図１２】
2013257702.tif 000033
【図１３】
2013257702.tif 000034