(57)【特許請求の範囲】
【請求項１】
入力したＥＰＩ画像から色情報と座標情報とを組み合わせた点情報へ変換して出力する画像情報点変換手段と、
前記点情報と直線クラスタのクラスタ情報とを入力し、前記クラスタ情報の更新を行い更新後の前記クラスタ情報を出力するクラスタ更新手段と、
更新後の前記クラスタ情報を入力して、分割する前のクラスタの情報量規準Ｉｋと分割後のクラスタの情報量規準Ｉ’ｋとを比較し、Ｉｋ＞Ｉ’ｋのときにそのクラスタをさらに分割すると判定することにより、さらにクラスタ分割を行う必要があるか否かを判定する分割クラスタ判定手段と、
前記分割クラスタ判定手段によって、前記クラスタ分割を行う必要があると判定された場合に、前記ＥＰＩ画像上において直線検出を行うための前記直線クラスタをさらに分割し、分割後の前記直線クラスタのクラスタ情報を前記クラスタ更新手段に対して出力するクラスタ分割手段と、
前記分割クラスタ判定手段によって、前記クラスタ分割を行う必要がないと判定された場合に、前記直線クラスタに属する画素から直線の領域情報、奥行き情報または色情報とを算出して出力する領域計算手段と
を備え、
前記Ｉｋを、
Ｉｋ＝−２ｌｎＬ（Ｅｋ）＋ｑ、
前記Ｉ’ｋを、
Ｉ’ｋ＝−２ｌｎＬ（Ｅ’１）Ｌ（Ｅ’２）＋２ｑ
によって求める、
または、
前記Ｉｋを、
Ｉｋ＝−２ｌｎＬ（Ｅｋ）＋ｑｌｎＮｋ、
前記Ｉ’ｋを、
Ｉ’ｋ＝−２ｌｎＬ（Ｅ’１）Ｌ（Ｅ’２）＋２ｑｌｎＮｋ
によって求める（ただし、Ｌ（Ｅｋ）はクラスタＥｋの尤度、ｑはクラスタのパラメータ数、Ｎｋはクラスタのサンプル数である）
ことを特徴とする画像処理装置。
【請求項２】
入力したＥＰＩ画像から色情報と座標情報とを組み合わせた点情報へ変換して出力する画像情報点変換ステップと、
前記点情報と直線クラスタのクラスタ情報とを入力し、前記クラスタ情報の更新を行い更新後の前記クラスタ情報を出力するクラスタ更新ステップと、
更新後の前記クラスタ情報を入力して、分割する前のクラスタの情報量規準Ｉｋと分割後のクラスタの情報量規準Ｉ'ｋとを比較し、Ｉｋ＞Ｉ'ｋのときにそのクラスタをさらに分割すると判定することにより、さらにクラスタ分割を行う必要があるか否かを判定する分割クラスタ判定ステップと、
前記分割クラスタ判定ステップによって、前記クラスタ分割を行う必要があると判定された場合に、前記ＥＰＩ画像上において直線検出を行うための前記直線クラスタをさらに分割し、分割後の前記直線クラスタのクラスタ情報を前記クラスタ更新ステップに対して出力するクラスタ分割ステップと、
前記分割クラスタ判定ステップによって、前記クラスタ分割を行う必要がないと判定された場合に、前記直線クラスタに属する画素から直線の領域情報、奥行き情報または色情報とを算出して出力する領域計算ステップと
を有し、
前記Ｉｋを、
Ｉｋ＝−２ｌｎＬ（Ｅｋ）＋ｑ、
前記Ｉ’ｋを、
Ｉ’ｋ＝−２ｌｎＬ（Ｅ’１）Ｌ（Ｅ’２）＋２ｑ
によって求める、
または、
前記Ｉｋを、
Ｉｋ＝−２ｌｎＬ（Ｅｋ）＋ｑｌｎＮｋ、
前記Ｉ’ｋを、
Ｉ’ｋ＝−２ｌｎＬ（Ｅ’１）Ｌ（Ｅ’２）＋２ｑｌｎＮｋ
によって求める（ただし、Ｌ（Ｅｋ）はクラスタＥｋの尤度、ｑはクラスタのパラメータ数、Ｎｋはクラスタのサンプル数である）
ことを特徴とする画像処理方法。
【請求項３】
コンピュータを、請求項１に記載の画像処理装置として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点映像からシーンの奥行きを推定する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
映像メディアの分野では、近年、高臨場化とパーソナライズ化の流れが急速に進んでいる。映像を立体的に視ることで高臨場な映像体験が可能な３Ｄ映像は映画・テレビ・ゲーム機等幅広く普及が進んできている。それに加え、解像度がフルＨＤの４倍ある４Ｋ映像や、ＮＨＫが開発を進めているスーパーハイビジョン映像など、映像の大画面化も高臨場化の流れを加速させる要因のひとつとして挙げられる。また、ネットワークを介したビデオオンデマンドサービスの普及は著しく、テレビやスマートフォンなどユーザが好みのデバイスで好みのコンテンツを視聴する映像のパーソナライズが進んでいることがわかる。
【０００３】
このような背景の中、高臨場とパーソナライズ化を更に加速させる新しい映像メディアのひとつに自由視点映像が挙げられる。自由視点映像を合成するために、多視点画像から視点間の画像を補間する代表的な手法として光線空間法がある（例えば、非特許文献１参照）。これは多視点画像をＥｐｉｐｏｌａｒ  Ｐｌａｎｅ  Ｉｍａｇｅ（以下、ＥＰＩ画像という）と呼ばれる空間に変換し、光線の傾きを推定することで画素ごとにシーンの奥行きを推定し、視点間の画像を補間するものである。
【０００４】
しかし、この光線空間法は画素単位の処理を前提としており、画素間の連結性を考慮した領域ベースの奥行き推定までは考慮されておらず、均一な輝度の領域が広がるところでは奥行きの誤推定が発生しやすいという課題がある。また、ひとつの視点画像に対して色情報を基に領域分割し、領域ごとに光線の傾きをＥＰＩ画像を用いて推定するＳｅｇｍｅｎｔ−Ｂａｓｅｄ  Ｄｅｐｔｈ  Ｅｓｔｉｍａｔｉｏｎ手法が存在する（例えば、非特許文献２参照）。
【０００５】
しかし、この手法はひとつの視点画像に依存した領域分割形状となってしまうため、他の視点画像上での領域分割形状との矛盾が生じてしまう可能性がある。また、領域形状を推定した後に奥行きを推定するため、両者の最適解を導くことはできていない。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】“光線群による３次元空間情報の表現とその応用”テレビジョン学会誌  ５０（９），１３１２−１３１８，１９９６−０９−２０
【非特許文献２】"SEGMENT-BASED MULTI-VIEW DEPTH MAP ESTIMATION USING BELIEF PROPAGATION FROM DENSE MULTI-VIEW VIDEO" 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video, 2008 ,pp.193 - 196
【発明の概要】
【発明が解決しようとする課題】
【０００７】
多視点画像の各視点画像における独立した色情報に基づく領域分割結果は、視点画像毎に異なるため、互いに整合性の保てない領域分割画像となってしまう。このため、シーンの奥行きを、領域ごとに光線の傾きを推定する場合は、一つの画像の領域分割結果のみを採用するため、１つの視点画像の領域分割結果にのみ依存した奥行き推定結果となってしまい、誤差が大きくなってしまうという問題がある。また、領域分割自体も、事前に設定した領域数に起因した領域分割結果となってしまうため、柔軟な形状変化や領域数の変化に対応できないという問題もある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、柔軟な形状変化や領域数の変化に対応できる領域分割ができるとともに、誤差の小さい奥行き推定を行うことができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、入力したＥＰＩ画像から色情報と座標情報とを組み合わせた点情報へ変換して出力する画像情報点変換手段と、前記点情報と直線クラスタのクラスタ情報とを入力し、前記クラスタ情報の更新を行い更新後の前記クラスタ情報を出力するクラスタ更新手段と、更新後の前記クラスタ情報を入力して、さらにクラスタ分割を行う必要があるか否かを判定する分割クラスタ判定手段と、前記分割クラスタ判定手段によって、前記クラスタ分割を行う必要があると判定された場合に、前記ＥＰＩ画像上において直線検出を行うための前記直線クラスタをさらに分割し、分割後の前記直線クラスタのクラスタ情報を前記クラスタ更新手段に対して出力するクラスタ分割手段と、前記分割クラスタ判定手段によって、前記クラスタ分割を行う必要がないと判定された場合に、前記直線クラスタに属する画素から直線の領域情報、奥行き情報及び色情報とを算出して出力する領域計算手段とを備えることを特徴とする。
【００１０】
本発明は、入力したＥＰＩ画像から色情報と座標情報とを組み合わせた点情報へ変換して出力する画像情報点変換ステップと、前記点情報と直線クラスタのクラスタ情報とを入力し、前記クラスタ情報の更新を行い更新後の前記クラスタ情報を出力するクラスタ更新ステップと、更新後の前記クラスタ情報を入力して、さらにクラスタ分割を行う必要があるか否かを判定する分割クラスタ判定ステップと、前記分割クラスタ判定ステップによって、前記クラスタ分割を行う必要があると判定された場合に、前記ＥＰＩ画像上において直線検出を行うための前記直線クラスタをさらに分割し、分割後の前記直線クラスタのクラスタ情報を前記クラスタ更新ステップに対して出力するクラスタ分割ステップと、前記分割クラスタ判定ステップによって、前記クラスタ分割を行う必要がないと判定された場合に、前記直線クラスタに属する画素から直線の領域情報、奥行き情報及び色情報とを算出して出力する領域計算ステップとを有することを特徴とする。
【００１１】
本発明は、コンピュータを、前記画像処理装置として機能させるための画像処理プログラムである。
【発明の効果】
【００１２】
本発明によれば、柔軟な形状変化や領域数の変化に対応できる領域分割ができるとともに、誤差の小さい奥行き推定を行うことができるという効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】ＥＰＩ画像を取得する動作を示す説明図である。
【図３】図２に示す取得動作によって取得したＥＰＩ画像の一例を示す図である。
【図４】直線を中心とするクラスタの例を示す説明図である。
【図５】点情報テーブルの構成を示す説明図である。
【図６】図１に示す分割クラスタ判定部３の構成を示すブロック図である。
【図７】領域計算部５が最終結果として出力するテーブルの構成を示す図である。
【図８】図７に示す結果から再現したＥＰＩ画像の例を示す説明図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明の一実施形態による奥行き推定装置を説明する。図１は同実施形態における奥行き推定装置の構成を示すブロック図である。この図に示す奥行き推定装置は、コンピュータ装置によって構成し、画像情報点変換部１、クラスタ更新部２、分割クラスタ判定部３、クラスタ分割部４及び領域計算部５を備える。本実施形態では、直線上に並行に並べられたカメラアレイにより取得された直線上の光線からなるＥＰＩ画像を処理対象としている。
【００１５】
図２は、ＥＰＩ画像を取得する動作を示す説明図である。画像を取得するカメラ（直線カメラアレイ）は、ｘ軸方向に１列に並んでいる。直線カメラアレイを構成するカメラのそれぞれは、縦方向（高さ）をｖ軸、横方向（幅）をｕ軸とした画像を取得する。図２に示すように、直線カメラアレイによって取得した複数の画像をｘ軸方向に並べて、ｖ＝ａにおけるｕｘ平面で切り取った画像がＥＰＩ画像である。図３は、図２に示す取得動作によって取得した簡単なＥＰＩ画像の一例を示す図である。
【００１６】
ＥＰＩ画像上では１つの直線を１つの光線とみなすことができ、光線の傾きは光源位置とカメラまでの距離を表している。観測視点画像における画素の輝度値を基に、ＥＰＩ画像上で直線フィッティングを行うことで、切片と傾きから成る直線のパラメータとして光線を表現し、カメラとカメラの間の未観測視点画像を補間することが可能となる（図４参照）。図４は、直線を中心とするクラスタの例を示す説明図である。
【００１７】
次に、図１に示す奥行き推定装置の処理動作を説明する。まず、取得されたＥＰＩ画像に対して、画像情報点変換部１は、画像情報を点情報へと変換する。次に、クラスタ更新部２は、点情報と初期クラスタ情報を入力として、クラスタのメンバ画素数、重心情報の情報更新を行う。そして、ＥＰＩ画像上の画素全てに対して、クラスタ更新部２は、クラスタ情報の更新を行い、クラスタ分割部４は、クラスタの分割を繰り返すことによって、ＥＰＩ画像上で直線検出を行っていく。
【００１８】
次に、分割クラスタ判定部３は、ＥＰＩ画像を十分に表現できる程度の直線数になったと判定した時、クラスタの更新と分割を終了し、最後に領域計算部５によって、各クラスタのメンバ画素から光線の太さと傾き切片を出力する。
【００１９】
次に、図１に示す構成要素の詳細な処理動作を説明する。始めに、画像情報点変換部１の処理動作を説明する。画像情報点変換部１は、ＥＰＩ画像のＲＧＢ（ｘ，ｙ）を入力として、点情報（点集合Ｅ＝｛ｉ：１≦ｉ≦Ｎ｝と点の数Ｎと、各点の情報｛Ｘｉ，Ｙｉ，Ｚｉ｝を出力する。ＲＧＢ（ｘ，ｙ）は図３のように座標（ｘ，ｙ）の画素における色（Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ））であり各色Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）は、赤・緑・青の色の強度（０〜２５５の整数）である。
【００２０】
点集合は次の（１）〜（３）の処理によって生成する。
（１）Ｅ＝φ（φは斜線つきゼロを表し、空集合である：以下同様），ｉ＝１とする。
（２）ｘ＝０，…，Ｘ−１、ｙ＝０，…，Ｙ−１の全ての組み合わせについて下記（ｉ）〜（ｉｉｉ）を実行する（ただし、Ｘ，ＹはＥＰＩ画像の幅と高さ）。
（ｉ）Ｅ←ＥＵ｛ｉ｝とする。
（ｉｉ）Ｘｉ＝ｘ，Ｙｉ＝ｙ，Ｚｉ＝ＲＧＢ（ｘ，ｙ）
（ｉｉｉ）ｉ←ｉ＋１とする。
（３）Ｎ＝ｉとする。
このようにして生成した点情報に基づき図５に示す点情報テーブルが生成されることになる。画像情報点変換部１は、この点情報テーブルを点情報としてクラスタ更新部２へ出力する。
【００２１】
次に、クラスタ更新部２の処理動作を説明する。クラスタ更新部２は、点情報｛Ｘｉ，Ｙｉ，Ｚｉ｝とクラスタ情報｛Ｎｋ，Ｅｋ，Ａｋ，Ｂｋ，Ｃｋ｝（ｋ＝１，…，ｊ）を入力して、更新したクラスタ情報｛Ｎｋ，Ｅｋ，Ａｋ，Ｂｋ，Ｃｋ｝を出力する。
【００２２】
クラスタ更新部２は、画素を表すｘ，ｙ軸方向には直線ｙ＝Ａｋｘ＋Ｂｋ、色の強度を表すｚ（ＲＧＢ）軸方向には点Ｃｋによるクラスタリングを行う。すべての点はセントロイドとなる直線（Ａｋｘ＋Ｂｋ，Ｃｋ）の最も近いクラスタＥｋに属する。クラスタ更新部２は、初回に実行するときは、クラスタ数ｊ＝１、初期クラスタのセントロイドＡｋ，Ｂｋ，Ｃｋ（ｋ＝１）をランダムな値、クラスタＥ１＝Ｅとして実行する。２回目以降は、クラスタ分割部４からの出力のクラスタ情報｛Ｎｋ，Ｅｋ，Ａｋ，Ｂｋ，Ｃｋ｝（ｋ＝１，…，ｊ）を入力として実行する。クラスタ更新処理は、下記の（１）〜（５）によって行う。
【００２３】
（１）Ｅｋ（ｏｌｄ）＝Ｅｋ（ｋ＝１，２，…、ｊ）とする。
（２）全ての点ｉ∈Ｅについて、各クラスタｋ（ｋ＝１，…、ｊ）との距離Ｄｉ，ｋを計算する。
【数１】
0006026979.tif 000002
Ｆｄ（ｐ，ｑ）はベクトルｐ，ｑと距離を計算する関数である。
（３）全ての点ｉ∈Ｅについて、クラスタＥｋを更新する。具体的には、最も距離の近いクラスタ
【数２】
0006026979.tif 000003
を求め、全てのクラスタＥｋ（ｋ＝１，２，…，ｊ）に対して直線クラスタの傾きＡｋ・切片Ｂｋ・平均値Ｃｋを更新する。具体的には、下記Ｌｋ，Ｇｋを最小化する傾き傾きＡｋ・切片Ｂｋ・平均値Ｃｋを求める。
【数３】
0006026979.tif 000004
（４）全てのｋ（ｋ＝１，２，…，ｊ）についてＥｋ（ｏｌｄ）＝Ｅｋの場合終了する。
（５）（１）に戻り処理を繰り返す。
【００２４】
例えば、距離関数Ｆｄは下記のように与えることができる。
【数４】
0006026979.tif 000005
αは画素間距離と色間の距離の重みを調整する係数である。Ｆｄはこの重み付きのユークリッド距離関数ではなく、マハラノビス距離等を用いてもよい。
【００２５】
次に、クラスタ分割部４の処理動作を説明する。クラスタ分割部４は、クラスタ情報｛Ｎｋ，Ｅｋ，Ａｋ，Ｂｋ，Ｃｋ｝（ｋ＝１，２，…，ｊ）と分割クラスタインデックスＬ＝｛ｌ１，ｌ２，…，ｌｎ｝を入力し、分割後のクラスタ情報｛Ｎｋ，Ｅｋ，Ａｋ，Ｂｋ，Ｃｋ｝（ｋ＝１，２，…，ｊ、ただし分割後のｊの値は、分割前からｎ増加（つまりｊ＋ｎ）となっている）を出力する。
【００２６】
具体的には全てのｌ∈Ｌについて下記（１）〜（４）のように計算する。
（１）Ａ′＝Ａｉ，Ｂ′＝Ｂｉ，Ｃ′＝Ｃｉとする。
（２）Ｂｉ＝Ｂ′＋εｙ，Ｃｉ＝Ｃ′＋εｚとする（εはランダムな値、またはＹ，Ｚで分散が大きい方向の単位ベクトル等）。
（３）ｊ←ｊ＋１とする。
（４）Ｂｉ＝Ｂ′−εｙ，Ｃｉ＝Ｃ′−εｚとする。
【００２７】
次に、分割クラスタ判定部３の処理動作を説明する。分割クラスタ判定部３は、クラスタ情報｛Ｎｋ，Ｅｋ，Ａｋ，Ｂｋ，Ｃｋ｝・点情報｛Ｘｉ，Ｙｉ，Ｚｉ｝を入力し、分割クラスタインデックスＬ＝｛ｌ１，ｌ２，…，ｌｎ｝、クラスタ情報｛Ｎｋ，Ｅｋ，Ａｋ，Ｂｋ，Ｃｋ｝を出力する。分割クラスタ判定部３は、分割するクラスタが見つからない場合（つまりＬ＝φのとき）、クラスタ情報を領域計算部５にそのまま出力する。分割するクラスタが見つかった場合（つまりＬ≠φのとき）、分割クラスタインデックスＬとクラスタ情報｛Ｎｋ，Ｅｋ，Ａｋ，Ｂｋ，Ｃｋ｝を出力する。
【００２８】
図６は、図１に示す分割クラスタ判定部３の構成を示すブロック図である。分割クラスタ判定部３は、クラスタ分割部３１、クラスタ更新部３２、情報量規準計算部３３、情報量規準計算部３４、インデックス生成部３５を備える。
【００２９】
図６に示すクラスタ分割部３１とクラスタ更新部３２は、図１に示すクラスタ分割部４とクラスタ更新部２と同一の機能を有するものである。このため、分割クラスタ判定部３はクラスタを分割・更新することができ、その際の情報量（情報量基準計算部３４）を算出することで、クラスタを分割しなかった際の情報量（情報量基準計算部３３）と比較し、クラスタを分割すべきか否かを判断することを可能としている。ｋ＝１，…，ｊの各クラスタで分割する前のクラスタの情報量規準Ｉｋと分割後のクラスタの情報量規準Ｉ′ｋを比較し、Ｉｋ＞Ｉ′ｋのときそのクラスタは分割した方が良いクラスタとしてインデックス情報Ｌの集合にｋを追加する。
【００３０】
具体的には下記の（１）〜（９）の処理動作によって計算を行う。
（１）ｋ＝１、インデックス情報Ｌ＝φとする。
（２）ｋ＝ｊ＋１のとき終了する。
（３）情報量規準計算部３３は、クラスタ情報｛Ｎｋ，Ｅｋ，Ａｋ，Ｂｋ，Ｃｋ｝に対して情報量規準Ｉｋを計算する。
（４）｛Ｎ′１，Ｅ′ｋ，Ａ′１，Ｂ′１，Ｃ′１｝＝｛Ｎｋ，Ｅｋ，Ａｋ，Ｂｋ，Ｃｋ｝とする。
（５）クラスタ分割部３１は、クラスタ情報｛Ｎ′１，Ｅ′１，Ａ′１，Ｂ′１，Ｃ′１｝、分割インデックス情報｛１｝としてクラスタを分割し、分割後のクラスタ情報｛Ｎ′１，Ｅ′ｋ，Ａ′１，Ｂ′１，Ｃ′１｝，｛Ｎ′２，Ｅ′２，Ａ′２，Ｂ′２，Ｃ′２｝を得る。
（６）クラスタ更新部３２は、分割後のクラスタ情報｛Ｎ′１，Ｅ′ｋ，Ａ′１，Ｂ′１，Ｃ′１｝，｛Ｎ′２，Ｅ′２，Ａ′２，Ｂ′２，Ｃ′２｝を更新し、更新後のクラスタ情報｛Ｎ′１，Ｅ′ｋ，Ａ′１，Ｂ′１，Ｃ′１｝，｛Ｎ′２，Ｅ′２，Ａ′２，Ｂ′２，Ｃ′２｝を得る。
（７）情報量規準計算部３４は、クラスタ情報｛Ｎ′１，Ｅ′ｋ，Ａ′１，Ｂ′１，Ｃ′１｝，｛Ｎ′２，Ｅ′２，Ａ′２，Ｂ′２，Ｃ′２｝に対して情報量規準ｌ′ｋを計算する。
（８）インデックス生成部３５は、Ｉｋ≧Ｉ′ｋの場合、インデックス情報Ｌ←Ｌ∪｛ｋ｝とする。
（９）ｋ←ｋ＋１として（２）へ戻る。
【００３１】
情報量規準Ｉｋ，Ｉ′ｋは例えば下記のようにＡＩＣ・ＢＩＣを用いて求めることができる。
・ＡＩＣ    Ｉｋ＝−２ｌｎＬ（Ｅｋ）＋ｑ
Ｉ′ｋ＝−２ｌｎＬ（Ｅ′１）Ｌ（Ｅ′２）＋２ｑ
・ＢＩＣ    Ｉｋ＝−２ｌｎＬ（Ｅｋ）＋ｑｌｎＮｋ
Ｉ′ｋ＝−２ｌｎＬ（Ｅ′１）Ｌ（Ｅ′２）＋２ｑｌｎＮｋ
Ｌ（Ｅｋ）はクラスタＥｋの尤度、ｑはクラスタのパラメータ数、Ｎｋはクラスタのサンプル数とする
【数５】
0006026979.tif 000006
Σｋｙ，Σｋｚはクラスタｉ∈Ｅｋにおける、（Ｙｉ−（ＡｋＸｉ＋Ｂｋ）），（Ｚｉ−Ｃｋ）の分散共分散行列である。
分散共分散行列が対角行列のときｑ＝９（Ａｋのパラメータ数１，Ｂｋのパラメータ数１，Ｃｋのパラメータ数３，Σｋｙのパラメータ数１、Σｋｚのパラメータ数３の合計）となる。
【００３２】
次に、領域計算部５の処理動作を説明する。領域計算部５は、クラスタ情報｛Ｎｋ，Ｅｋ，Ａｋ，Ｂｋ，Ｃｋ｝（ｋ＝１，…，ｊ）を入力し、奥行情報Ａｋ、色情報Ｃｋ、領域情報Ｗｋを出力する。図７は、領域計算部５が最終結果として出力するテーブルの構成を示す図である。奥行情報Ａｋは、クラスタ情報のＡｋでありこの傾きの大きさが少なければ少ないほど奥にあるオブジェクトであることを示す。また色情報Ｃｋもクラスタ情報のＣｋであり、それぞれの色の強度Ｒｋ，Ｇｋ，Ｂｋを持つ。領域情報ｗｋは、クラスタの大きさ（直線の太さ）でありそれぞれのクラスタ｛Ｎｋ，Ｅｋ，Ａｋ，Ｂｋ，Ｃｋ｝で下記の（１）〜（３）の処理動作によって求めることができる。
【００３３】
（１）クラスタに属する全ての点ｉ∈Ｅｋについて、セントロイドＡｋ，Ｂｋとの差Ｈｉ，ｋを下記の式によって計算する。
Ｈｉ，ｋ＝｜Ｙｉ−（ＡｋＸｋ＋Ｂｋ）｜
（２）全ての点ｉ∈Ｅｋの中でＨｉ，ｋの最大値ｍａｘｉ｛Ｈｉ，ｋ｝を求める。
（３）下記式により差の最大値ｍａｘｉ｛Ｈｉ，ｋ｝から領域ｗｋを求める
【数６】
0006026979.tif 000007
この図７の結果から再現したＥＰＩ画像を図８に示す。元のＥＰＩ画像が求めた直線で再現できていることがわかる。
【００３４】
以上説明したように、分割領域形状と分割領域の奥行きの同時推定を行うために、まず多視点画像からＥＰＩ画像断面画像を抽出する。そして、すべてのＥＰＩ画像断面画像に対して同様の処理を行う。これを実現するために、本実施形態による奥行き推定装置は、ＥＰＩ画像断面画像を点情報へと変換する画像情報点変換部１と、クラスタリングの情報を逐次更新していくためのクラスタ更新部２と、クラスタを分割するか否かを判定する分割クラスタ判定部３と、クラスタを分割するクラスタ分割部４と、直線パラメータ及び直線を重心とするクラスタの大きさ等を計算する領域計算部５とを備えた。これにより、領域分割推定と奥行き推定において、ＥＰＩ画像断面画像に対して、直線クラスタリングという新しい枠組みで、光線の傾きと切片と幅を同時に推定することできる。また、光線の奥行きと領域の同時推定において、その終了判断条件を情報量規準とした。
【００３５】
この構成によって、視点画像間において整合性のとれた領域分割が可能になる。また、領域分割数が初期値に依存しない自由度の高い領域分割が可能になる。さらに、特定の画像にのみ依存しない奥行き推定が可能になる（領域形状と奥行きを同時に推定できる）。
【００３６】
前述した実施形態における奥行き推定装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００３７】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００３８】
柔軟な形状変化や領域数の変化に対応できる領域分割ができるとともに、誤差の小さい奥行き推定を行うことが不可欠な用途に適用できる。
【符号の説明】
【００３９】
１・・・画像情報点変換部、２・・・クラスタ更新部、３・・・分割クラスタ判定部、４・・・クラスタ分割部、５・・・領域計算部
【図１】
0006026979.tif 000008
【図３】
0006026979.tif 000009
【図５】
0006026979.tif 000010
【図６】
0006026979.tif 000011
【図７】
0006026979.tif 000012
【図８】
0006026979.tif 000013
【図２】
0006026979.tif 000014
【図４】
0006026979.tif 000015