(57)【要約】【課題】複数のカメラで撮影されたカメラ画像を用いてオブジェクトの奥行きを正確かつ高速に推定できる奥行き推定装置を提供する。【解決手段】各カメラからカメラ画像を取得するカメラ画像取得部１と、各カメラ画像に基づいて、三次元のボクセル空間におけるオブジェクト領域を決定するオブジェクト領域決定部６と、カメラ画像ごとに前記オブジェクト領域の投影画像を生成するオブジェクト領域投影部７と、投影画像間で同一ライン上を探索通関とする対応点マッチングを行って対応点を検出する対応点検出部６１と、各対応点の視差に基づいてオブジェクト領域の奥行を推定する奥行き推定部８とを具備した。【選択図】図１
2015033047.tif 000002
【特許請求の範囲】
【請求項１】
カメラ画像の各ラインが相互に同期する複数のカメラで撮影されたオブジェクトのカメラ画像に基づいて当該オブジェクトの奥行きを推定する装置において、
各カメラからカメラ画像を取得するカメラ画像取得手段と、
各カメラ画像に基づいて、三次元のボクセル空間におけるオブジェクト領域を決定するオブジェクト領域決定手段と、
カメラ画像ごとに前記オブジェクト領域の投影画像を生成するオブジェクト領域投影手段と、
投影画像間で同一ライン上を探索空間とする対応点マッチングを行って対応点を検出する対応点検出手段と、
各対応点の視差に基づいてオブジェクト領域の奥行を推定する奥行き推定手段とを具備したことを特徴とする奧行き推定装置。
【請求項２】
各カメラ画像の画素ごとに背景尤度を算出する手段と、
前記ボクセル空間の各ボクセルを中心射影行列に基づいて各カメラ画像に投影する手段とを具備し、
前記オブジェクト領域決定手段は、前記投影先の画像の背景尤度に基づいて各ボクセルがオブジェクト領域であるか否かを決定することを特徴とする請求項１に記載の奧行き推定装置。
【請求項３】
前記オブジェクト領域投影手段は、各カメラ画像の画素ごとに中心射影行列に基づいて光線を探索し、各光線がオブジェクト領域と交差する画素を求めて投影画像とすることを特徴とする請求項１または２に記載の奧行き推定装置。
【請求項４】
前記奥行き推定手段は、奥行の各推定値を離散値にクラスタリングして出力することを特徴とする請求項１ないし３のいずれかに記載の奧行き推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラにより撮影された画像に基づいてオブジェクトの奥行きを推定する装置に係り、特に、多眼3Dディスプレイ等を用いた実空間映像の高品質な運動視差再現等に寄与できる奥行き推定装置に関する。
【背景技術】
【０００２】
次世代の通信サービスとして期待される空間共有コミュニケーションを実現する上で必須となる、実空間の3Dモデリング・カメラ間の仮想視点レンダリングでは、各カメラから被写体までの３次元距離を推定する奥行き推定が不可欠である。
【０００３】
実空間の3Dモデリングを行うための代表的な手法として、非特許文献１には、カメラ間隔が人間の目幅程度であるような、密なカメラ配置を前提に、カメラ間の対応点マッチングに基づく奥行推定、および奥行情報を用いた3D warpingによるカメラ間の補間画像生成手法が開示されている。
【０００４】
特許文献１には、距離画像センサで得られる深度マップを、画素毎の奥行き値に基づきポリゴン化することで３次元形状モデルを復元する手法が開示されている。そして、奥行きを正確に推定できるようになれば、多眼3Dディスプレイ等を用いた、実空間映像の高品質な運動視差再現等に寄与できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特願２０１２−２１４１９４号
【非特許文献】
【０００６】
【非特許文献１】W. R. Mark et al. ``Post-Rendering 3D Warping',' in Proc of Symposium on Interactive 3D Graphics, pp. 7-16, 1997.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１で提案されている手法では、人間の目幅と同程度の間隔で配置されたカメラアレイを対象に、カメラ間の対応点マッチングに基づき画素毎の奥行推定を行うと共に、視差補償によりカメラ間の補間画像を生成する手法が提案されている。しかしながら、オクルージョン領域に穴が生じる問題が避けられず、特にカメラ間隔が大きくなると合成画質が大きく劣化するという課題があった。
【０００８】
特許文献１で提案されている手法では、距離画像センサを用いることで、オブジェクト表面の大まかな奥行き推定をロバストに実施可能であることが示されている。しかしながら、エッジ近傍の精度が不十分であるとともに、オブジェクトと床面の境界を判別することが困難であるという課題があった。
【０００９】
本発明の目的は、上記した従来技術の課題を解決し、複数のカメラで撮影されたカメラ画像を用いてオブジェクトの奥行きを正確かつ高速に推定できる複数カメラを用いた奥行き推定装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、カメラ画像の各ラインが相互に同期する複数のカメラで撮影されたオブジェクトのカメラ画像に基づいて当該オブジェクトの奥行きを推定する装置において、各カメラからカメラ画像を取得するカメラ画像取得手段と、各カメラ画像に基づいて、三次元のボクセル空間におけるオブジェクト領域を決定するオブジェクト領域決定手段と、カメラ画像ごとに前記オブジェクト領域の投影画像を生成するオブジェクト領域投影手段と、投影画像間で同一ライン上を探索空間とする対応点マッチングを行って対応点を検出する対応点検出手段と、各対応点の視差に基づいてオブジェクト領域の奥行を推定する奥行き推定手段とを具備した点に特徴がある。
【発明の効果】
【００１１】
本発明によれば、各カメラ画像から対応点を検出する際の探索空間がカメラ画像の同一ライン上に限定されるので、高速かつマッチング制度の高い対応点検出が可能になり、オブジェクトの深度を高速かつ正確に推定できるようになる。その結果、カメラ間の任意視点における高精度な映像レンダリングが可能となる
【図面の簡単な説明】
【００１２】
【図１】本発明を適用した奥行き推定装置の機能ブロック図である。
【図２】カメラ画像の一例を示した図である。
【図３】空舞台画像の一例を示した図である。
【図４】各ボクセルの背景尤度の算出方法を模式的に示した図である。
【図５】投影画像の一例を示した図である。
【図６】対応点マッチングの方法を示した図である。
【図７】対応点に基づいて視差を算出する方法を示した図である。
【図８】本発明による取得される奥行き画像の一例を示した図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る奥行き推定装置の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００１４】
カメラ画像取得部１は、レンダリング対象となる人物等のオブジェクトが存在し得る舞台空間（ボクセル空間）を撮影する複数のカメラCA1，CA2，CA3…からカメラ画像Ica1，Ica2，Ica3…を取得する。前記カメラCA1，CA2，CA3…は全て、そのカメラ画像Ica1，Ica2，Ica3…において水平ラインの位置が相互に同期するように予め調整され、かつ平行化されている。
【００１５】
図２は、オブジェクトとして人物を撮影した各カメラ画像Ica1，Ica2，Ica3の一例を示した図であり、各カメラ画像Ica1，Ica2，Ica3…の対応する同一ラインにはオブジェクトの同一ラインが表示されている。以下では説明を判りやすくするために、カメラが３台（CA1，CA2，CA3）である場合を例にして説明する。
【００１６】
キャリブレーション部２は、舞台空間の各ボクセルV（３次元空間内の個々の極小ブロック）と、当該各ボクセルVを中心射影行列に基づいて投影された各カメラ画像Ica1，Ica2，Ica3の画素とを次式(1)に基づいて相互に対応付ける。
【００１７】
【数１】
2015033047.tif 000003
【００１８】
空舞台画像記憶部３には、レンダリング対象のオブジェクトが存在しない空舞台を各カメラCA1，CA2，CA3で撮影して得られる空舞台画像Ik1，Ik2，Ik3が予め記憶される。図３は、前記図２に示した各カメラ画像Ica1，Ica2，Ica3に対応した空舞台画像Ik1，Ik2，Ik3である。
【００１９】
背景尤度算出部４において、背景尤度関数生成部４１は、各カメラCA1，CA2，CA3から所定時間にわたって撮影された複数フレーム分の空舞台画像Ik1，Ik2，Ik3に基づいて、カメラごとに各画素値（RGBベクトル）の平均ベクトルuおよび共分散行列Σを算出する。関数計算部４２は、オブジェクトの写ったカメラ画像Ica1，Ica2，Ica3の各画素値xならびに前記平均ベクトルuおよび共分散行列Σを次式(2)に適用することにより、カメラ画像Ica1，Ica2，Ica3ごとに各画素が背景画像である尤度を背景尤度f(x；u，Σ)として算出する。
【００２０】
【数２】
2015033047.tif 000004
【００２１】
ボクセル背景尤度算出部５は、舞台空間内の各ボクセルVの背景尤度を、各カメラ画像Ica1，Ica2，Ica3における当該ボクセルVに対応した画素の背景尤度に基づいて算出する。
【００２２】
図４は、前記各ボクセルVの背景尤度の算出方法を模式的に示した図であり、舞台空間内に設定されたボクセル空間１０の各ボクセルVと、当該ボクセルVが中心射影行列に基づいて投影された各カメラ画像Ica1，Ica2，Ica3の画素とは、前記キャリブレーション部２により予め対応付けられており、上式(1)の対応関係が与えられている。本実施形態では、各カメラ画像Ica1，Ica2，Ica3の対応座標の背景尤度を次式(3)に適用することにより、各ボクセルVの背景尤度ρvが算出される。
【００２３】
【数３】
2015033047.tif 000005
【００２４】
オブジェクト領域決定部６は、各ボクセルの隣接関係を考慮したエネルギー関数E(v，α)の概念を導入し、当該エネルギー関数E(v，α)の値が最小化されるように各ボクセルVの背景尤度を２値化（背景か否か）する。次式(4)は、ボクセルの背景尤度を２値化する計算式であり、データ項（右辺第１項）および平滑化項（右辺第２項）の和で構成される。
【００２５】
【数４】
2015033047.tif 000006
ここで、符号αは各ボクセルVが背景であれば「０」、オブジェクト（人物）であれば「１」を割り当てられる２値変数である。データ項および平滑化項は、いずれもαの選択に応じて値が決まり、αをどのように選択すればボクセル空間全体でのエネルギーを最小化できるかという点で最適な割り当てが決定される。
【００２６】
前記データ項は、次式(5)，(6)により求められ、前記平滑化項は、隣接ボクセル間の尤度値の差に依存し、次式(7)，(8)により求められる。なお、符号Nは、ボクセル空間１０において隣接するボクセルの組み合わせ（左右、前後、上下の６パターン、斜めも含めると２６パターン）を表し、i，jで組合せを表す。符号Kは、正の定数（パラメータ）である。
【００２７】
【数５】
2015033047.tif 000007
【００２８】
【数６】
2015033047.tif 000008
【００２９】
【数７】
2015033047.tif 000009
【００３０】
【数８】
2015033047.tif 000010
【００３１】
オブジェクト領域投影部７は、前記オブジェクト領域の各ボクセルVを各カメラ画像Ica1，Ica2，Ica3に投影して投影画像を取得する。本実施例では、各カメラ画像Ica1，Ica2，Ica3の画素ごとに、中心射影行列により光線Rを探索し、オブジェクト候補と交差する光線Rの画素を抽出することにより投影画像Jcaが取得される。図５は、各カメラ画像Ica1，Ica2に対応した投影画像Jca1，Jca2の一例を示した図である。
【００３２】
奥行き推定部８は、対応点検出部６１、奥行データ計算部６２およびクラスタリング部６３を含み、投影画像間の前記対応点の視差に基づいて、当該対応点に対応したボクセルの奥行を推定する。
【００３３】
前記対応点検出部６１は、各投影画像Jca1，Jca2の画素ごとに局所特徴量を抽出し、同一の水平ラインごとに局所特徴量に基づく対応点マッチングを行って対応点を検出する。
【００３４】
図６は、前記対応点検出部６１による対応点の検出方法を説明するための図であり、投影画像間（ここでは、Jca1，Jca2）で、各水平ラインL上に位置する全ての画素を対象に、その局所特徴量に基づいて対応点マッチングが行われる。図示の例では、水平ラインLx上で投影画像Jca1の画素f1と投影影画像Jca2の画素f2とが対応点として検出されている。
【００３５】
奥行データ計算部６２は、対応点f1，f2間の距離すなわち視差dに基づいて、当該対応点に対応したボクセルの深度が計算されて奥行きデータとされる。図7は、視差dの計算方法を示した図であり、対応点f1を投影画像Jca2上に投影し、対応点f1，f2間の距離として視差dが算出される。本実施例では、当該視差dおよび各カメラCAの相対的な位置関係を三角測量法に適用することで奥行きが推定される。
【００３６】
クラスタリング部６３は、以上のようにして求められた多数の奥行き推定値を離散値にクラスタリング（量子化）して出力する。図8は、上記のようにして求められた奥行き推定値で表現された奥行き画像Dca1，Dca2の一例を示した図であり、オブジェクトの部位に応じて相応の奥行き推定値が求められていることが解る。
【００３７】
本実施例によれば、各カメラ画像から対応点を検出する際の探索空間がカメラ画像の同一ライン上に限定され、高速かつマッチング制度の高い対応点検出が可能になるので、オブジェクトの深度を高速かつ正確に推定できるようになる。その結果、カメラ間の任意視点における高精度な映像レンダリングが可能となる。
【符号の説明】
【００３８】
１…カメラ画像取得部，２…キャリブレーション部，３…空舞台画像記憶部，４…背景尤度算出部，５…ボクセル背景尤度算出部，６…オブジェクト領域決定部，７…オブジェクト領域投影部，８…奥行き推定部，４１…背景尤度関数生成部，４２…関数計算部，６１…対応点検出部，６２…奥行データ計算部，６３…クラスタリング部
【図１】
2015033047.tif 000011
【図２】
2015033047.tif 000012
【図３】
2015033047.tif 000013
【図４】
2015033047.tif 000014
【図５】
2015033047.tif 000015
【図６】
2015033047.tif 000016
【図７】
2015033047.tif 000017
【図８】
2015033047.tif 000018