(57)【要約】【課題】多眼3Dディスプレイ等を用いた、実空間映像の高品質な運動視差再現等に寄与できる複数カメラを用いた奥行き推定装置を提供する。【解決手段】複数のカメラCA1，CA2，CA3からカメラ画像を取得するカメラ画像取得部１と、被写体空間の各ボクセルが投影される各カメラ画像の画素を対応付けるキャリブレーション部２と、各カメラから取得した空舞台画像を記憶する空舞台画像記憶部３と、各カメラから取得したオブジェクトを含むカメラ画像と空舞台画像とを比較して各カメラ画像の各画素が背景画像である尤度を算出する背景尤度算出部４と、各ボクセルの背景尤度を、各カメラ画像の当該ボクセルに対応した画素の背景尤度に基づいて算出するボクセル背景尤度算出部５と、背景尤度が所定の閾値を下回るボクセルの座標に基づいてオブジェクトの奥行きを推定する奥行き推定部９とを含む。【選択図】図１
2014167693.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを撮影するカメラから当該オブジェクトまでの奥行きをカメラ画像に基づいて推定する複数カメラを用いた奥行き推定装置において、
舞台空間を撮影する複数のカメラからカメラ画像を取得するカメラ画像取得手段と、
舞台空間の各ボクセルが投影される各カメラ画像の画素を対応付けるキャリブレーション手段と、
各カメラから取得した空舞台画像を記憶する空舞台画像記憶手段と、
各カメラから取得したオブジェクトを含むカメラ画像と空舞台画像とを比較して各カメラ画像の各画素が背景画像である尤度を算出する背景尤度算出手段と、
各ボクセルの背景尤度を、各カメラ画像の当該ボクセルに対応した画素の背景尤度に基づいて算出するボクセル背景尤度算出手段と、
背景尤度が所定の閾値を下回るボクセルの座標に基づいてオブジェクトの奥行きを推定する奥行き推定手段とを具備したことを特徴とする複数カメラを用いた奥行き推定装置。
【請求項２】
前記各ボクセルの隣接関係を考慮したエネルギー関数に基づいて、エネルギー最小化の枠組みにより各ボクセルの背景尤度を２値化し、オブジェクト候補領域を抽出する手段をさらに具備したことを特徴とする請求項１に記載の複数カメラを用いた奧行き推定装置。
【請求項３】
各カメラ画像の各ボクセルに対応する画素同士およびその近傍画素同士を比較する手段と、
前記比較結果に基づいて、各ボクセルのカメラ画像間でのマッチング尤度を算出する手段と、
前記マッチング尤度を正規化する手段とをさらに具備したことを特徴とする請求項１または２に記載の複数カメラを用いた奧行き推定装置。
【請求項４】
各カメラ画像の各ボクセルに対応する画素毎に、当該画素の光線上に位置する複数のボクセルのマッチング尤度を比較し、当該マッチング尤度が最大のボクセルを当該画素に対応付ける対応ボクセル決定手段をさらに具備したことを特徴とする請求項３に記載の複数カメラを用いた奧行き推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラにより撮影された画像に基づいてオブジェクトの奥行きを推定する装置に係り、特に、多眼3Dディスプレイ等を用いた実空間映像の高品質な運動視差再現等に寄与できる奥行き推定装置に関する。
【背景技術】
【０００２】
次世代の通信サービスとして期待される空間共有コミュニケーションを実現する上で必須となる、実空間の3Dモデリング・カメラ間の仮想視点レンダリングでは、各カメラから被写体までの３次元距離を推定する奥行き推定が不可欠である。
【０００３】
実空間の3Dモデリングを行うための代表的な手法として、非特許文献１には、カメラ間隔が人間の目幅程度であるような、密なカメラ配置を前提に、カメラ間の対応点マッチングに基づく奥行推定、および奥行情報を用いた3D warpingによるカメラ間の補間画像生成手法が開示されている。特許文献１には、距離画像センサで得られる深度マップを、画素毎の奥行き値に基づきポリゴン化することで３次元形状モデルを復元する手法が開示されている。
【０００４】
そして、奥行きを正確に推定できるようになれば、多眼3Dディスプレイ等を用いた、実空間映像の高品質な運動視差再現等に寄与できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特願２０１２−２１４１９４号公報
【非特許文献】
【０００６】
【非特許文献１】W. R. Mark et al. ``Post-Rendering 3D Warping',' in Proc of Symposium on Interactive 3D Graphics, pp. 7-16, 1997.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１で提案されている手法では、人間の目幅と同程度の間隔で配置されたカメラアレイを対象に、カメラ間の対応点マッチングに基づき画素毎の奥行推定を行うと共に、視差補償によりカメラ間の補間画像を生成する手法が提案されている。しかしながら、オクルージョン領域に穴が生じる問題が避けられず、特にカメラ間隔が大きくなると合成画質が大きく劣化するという課題があった。
【０００８】
特許文献１で提案されている手法では、距離画像センサを用いることで、オブジェクト表面の大まかな奥行き推定をロバストに実施可能であることが示されている。しかしながら、エッジ近傍の精度が不十分であるとともに、オブジェクトと床面の境界を判別することが困難であるという課題があった。
【０００９】
本発明の目的は、上記した従来技術の課題を解決し、複数のカメラで撮影されたカメラ画像を用いてオブジェクトの奥行きを正確に推定できる複数カメラを用いた奥行き推定装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、オブジェクトを撮影するカメラから当該オブジェクトまでの奥行きをカメラ画像に基づいて推定する奥行き推定装置において、以下のような構成を具備した点に特徴がある。
【００１１】
(1)舞台空間を撮影する複数のカメラからカメラ画像を取得するカメラ画像取得手段と、舞台空間の各ボクセルが投影される各カメラ画像の画素を対応付けるキャリブレーション手段と、各カメラから取得した空舞台画像を記憶する空舞台画像記憶手段と、各カメラから取得したオブジェクトを含むカメラ画像と空舞台画像とを比較して各カメラ画像の各画素が背景画像である尤度を算出する背景尤度算出手段と、各ボクセルの背景尤度を、各カメラ画像の当該ボクセルに対応した画素の背景尤度に基づいて算出するボクセル背景尤度算出手段と、背景尤度が所定の閾値を下回るボクセルの座標に基づいてオブジェクトの奥行きを推定する奥行き推定手段とを具備した。
【００１２】
(2)各ボクセルの隣接関係を考慮したエネルギー関数に基づいて、エネルギー最小化の枠組みにより各ボクセルの背景尤度を２値化し、オブジェクト候補領域を抽出する手段をさらに具備した。
【００１３】
(3)各カメラ画像の各ボクセルに対応する画素同士およびその近傍画素同士を比較して各ボクセルのマッチング尤度を算出する手段と、前記各マッチング尤度を正規化する手段とをさらに具備した。
【００１４】
(4)各カメラ画像の各ボクセルに対応する画素毎に、当該画素の光線上に位置する複数のボクセルのマッチング尤度を比較し、当該マッチング尤度が最大のボクセルを当該画素に対応付ける対応ボクセル決定手段をさらに具備した。
【発明の効果】
【００１５】
本発明によれば、以下のような効果が達成される。
【００１６】
(1)オブジェクトが写っているカメラ画像およびオブジェクトが写っていない空舞台画像に基づいて各カメラ画像の画素ごとに背景尤度が算出されるので、各カメラ画像の画素ごとに背景尤度を正確に計算することができ、その結果、各ボクセルの背景尤度も正確に求められるようになる。
【００１７】
(2)各ボクセルの隣接関係を考慮したエネルギー関数に基づいて各ボクセルの背景尤度が２値化されるので、背景尤度に対するノイズの影響を抑えられるようになる。
【００１８】
(3)各カメラ画像の各ボクセルに対応する画素同士のみならず、その近傍画素同士も比較して各ボクセルのマッチング尤度を算出するので、各ボクセルがオブジェクト表面であるか否かを正確に評価できるようになる。
【００１９】
(4))各カメラ画像の各ボクセルに対応する画素毎に、当該画素の光線上に位置する複数のボクセルのマッチング尤度が比較されるので、オブジェクト表面に位置するボクセルを、より正確に特定できるようになる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用した奥行き推定装置の機能ブロック図である。
【図２】カメラ画像の一例を示した図である。
【図３】各ボクセルの背景尤度の算出方法を模式的に示した図である。
【図４】オブジェクト候補領域とオブジェクト領域との関係を示した図である。
【図５】マッチング尤度算出部の機能を説明するための図である。
【図６】マッチング尤度の算出方法を示した図である。
【図７】対応ボクセル特定部の機能を説明するための図である。
【図８】本発明による取得される奥行き画像の一例を示した図である。
【図９】従来技術において取得される奥行き画像の一例を示した図である。
【図１０】本発明を適用した奥行き推定装置の他の実施形態の機能ブロック図である。
【図１１】空舞台画像の一例を示した図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る奥行き推定装置の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００２２】
カメラ画像取得部１は、レンダリング対象となる人物等のオブジェクトが存在し得る舞台空間を異なる視点で撮影する複数のカメラCA1，CA2，CA3…からカメラ画像Ica1，Ica2，Ica3…を取得する。図２は、人物を撮影した各カメラ画像Ica1，Ica2，Ica3の一例を示した図であり、以下では説明を判りやすくするために、カメラが３台（CA1，CA2，CA3）である場合を例にして説明する。
【００２３】
キャリブレーション部２は、舞台空間の各ボクセルV（３次元空間内の個々の極小ブロック）と、当該各ボクセルVを中心射影行列に基づいて投影された各カメラ画像Ica1，Ica2，Ica3の画素とを、次式(1)に基づいて相互に対応付ける。
【００２４】
【数１】
2014167693.tif 000003
【００２５】
空舞台画像記憶部３には、レンダリング対象のオブジェクトが存在しない空舞台を各カメラCA1，CA2，CA3で撮影して得られる空舞台画像Ik1，Ik2，Ik3が予め記憶される。図１１は、前記図２に示した各カメラ画像Ica1，Ica2，Ica3に対応した空舞台画像Ik1，Ik2，Ik3である。背景尤度算出部４において、背景尤度関数生成部４１は、各カメラCA1，CA2，CA3から所定時間にわたって撮影された複数フレーム分の空舞台画像Ik1，Ik2，Ik3に基づいて、カメラごとに各画素値（RGBベクトル）の平均ベクトルuおよび共分散行列Σを算出する。関数計算部４２は、オブジェクトの写ったカメラ画像Ica1，Ica2，Ica3の各画素値xならびに前記平均ベクトルuおよび共分散行列Σを次式(2)に適用することにより、カメラ画像Ica1，Ica2，Ica3ごとに各画素が背景画像である尤度を背景尤度f(x；u，Σ)として算出する。
【００２６】
【数２】
2014167693.tif 000004
【００２７】
ボクセル背景尤度算出部５は、舞台空間内の各ボクセルVの背景尤度を、各カメラ画像Ica1，Ica2，Ica3における当該ボクセルVに対応した画素の背景尤度に基づいて算出する。
【００２８】
図３は、前記各ボクセルVの背景尤度の算出方法を模式的に示した図であり、舞台空間内に設定されたボクセル空間１０の各ボクセルVと、当該ボクセルVが中心射影行列に基づいて投影された各カメラ画像Ica1，Ica2，Ica3の画素とは、前記キャリブレーション部２により予め対応付けられており、上式(1)の対応関係が与えられている。本実施形態では、各カメラ画像Ica1，Ica2，Ica3の対応座標の背景尤度を次式(3)に適用することにより、各ボクセルVの背景尤度ρvが算出される。
【００２９】
【数３】
2014167693.tif 000005
【００３０】
オブジェクト候補領域決定部６は、各ボクセルの隣接関係を考慮したエネルギー関数E(v，α)の概念を導入し、当該エネルギー関数E(v，α)の値が最小化されるように各ボクセルVの背景尤度を２値化（背景か否か）する。次式(4)は、ボクセルの背景尤度を２値化する計算式であり、データ項（右辺第１項）および平滑化項（右辺第２項）の和で構成される。
【００３１】
【数４】
2014167693.tif 000006
【００３２】
ここで、符号αは各ボクセルVが背景であれば「０」、オブジェクト（人物）であれば「１」を割り当てられる２値変数である。データ項および平滑化項は、いずれもαの選択に応じて値が決まり、αをどのように選択すればボクセル空間全体でのエネルギーを最小化できるかという点で最適な割り当てが決定される。
【００３３】
前記データ項は、次式(5)，(6)により求められ、前記平滑化項は、隣接ボクセル間の尤度値の差に依存し、次式(7)，(8)により求められる。なお、符号Nは、ボクセル空間１０において隣接するボクセルの組み合わせ（左右、前後、上下の６パターン、斜めも含めると２６パターン）を表し、i，jで組合せを表す。符号Kは、正の定数（パラメータ）である。
【００３４】
【数５】
2014167693.tif 000007
【００３５】
【数６】
2014167693.tif 000008
【００３６】
【数７】
2014167693.tif 000009
【００３７】
【数８】
2014167693.tif 000010
【００３８】
図４は、αに「１」が割り当てられるオブジェクト候補領域と、本来のオブジェクト領域との関係を示した図であり、本実施形態では、破線で示したオブジェクト領域を含むように、実線で示した多角形の閉領域がオブジェクト候補領域として設定される。すなわち、当該段階では未だオブジェクト候補領域とオブジェクト領域との間に大きな乖離がある。
【００３９】
マッチング尤度算出部７は、各カメラ画像Ica1，Ica2，Ica3の各ボクセルVに対応した画素値が、オブジェクトの表面位置に相当するボクセルVの画素値を表しているか否かを評価するために、隣接するカメラ画像の前各ボクセルに対応する画素同士およびその周辺画素同士のマッチング尤度を算出する。
【００４０】
図５は、前記マッチング尤度算出部７の機能を説明するための図であり、各カメラ画像の各画素値は、カメラとオブジェクト表面との距離とは無関係に、各画素に対応した光線L1，L2，L3が交差するオブジェクト表面の色彩により定まる。
【００４１】
したがって、オブジェクトの表面から離れたボクセルV1に注目すると、カメラ画像Ica1において当該ボクセルV1に対応した画素の光線L1とオブジェクト表面との交点をc1、カメラ画像Ica2において当該ボクセルV1に対応した画素の光線L2とオブジェクト表面との交点をc2、およびカメラ画像Ica3において当該ボクセルV1に対応した画素の光線L3とオブジェクト表面との交点をc3とすると、交点c1，c2，c3におけるオブジェクト表面の色彩がたまたま類似していると、ボクセルV1がオブジェクト表面と誤認され得る。
【００４２】
しかしながら、各交点c1，c2，c3は元々異なる位置なので、各交点c1，c2，c3におけるオブジェクト表面の色彩が偶然に一致していたとしても、その周辺画素値は異なる場合が多い。
そこで、本実施形態では図６に示したように、ボクセルVごとに、隣接するカメラ画像間で、当該ボクセルVに対応した画素およびその近傍画素を含む画素ブロック単位（図では、９画素）で対応する画素値を比較してマッチング尤度を求め、当該マッチング尤度に基づいて各ボクセルの背景尤度を正規化する。本実施形態では、対応する各画素値の最小二乗誤差を求め、当該最小二乗誤差が小さいほどマッチング尤度が高くされる。
なお、カメラの台数がN台であれば、ボクセル毎にN-1個のマッチング尤度が求まるので、ここでは複数のマッチング尤度の最大値が選択され、これ以後、各ボクセルは当該マッチング尤度で評価される。
【００４３】
対応ボクセル特定部８は、各カメラ画像Ica1，Ica2，Ica3の全ての画素ごとに、当該各画素の光線上に位置する複数のボクセルVのマッチング尤度を比較し、マッチング尤度が最大のボクセル位置をオブジェクトの表面位置に決定する。
【００４４】
図７は、前記対応ボクセル特定部８の機能を説明するための図であり、カメラCA2の所定の画素Pi.jに着目すると、当該画素Pi,jに対応した光線L2上には複数のボクセルVが存在し、それぞれ各カメラ画像の画素と対応付けられている。本実施形態では、光線L2上の各ボクセルVに関して、前記マッチング尤度算出部７によりマッチング尤度が計算されているので、光線L2上に位置する複数のボクセルVのうち、マッチング尤度が最大のボクセルが前記画素Pi.jの対応ボクセルVに決定される。
【００４５】
なお、前記光線Lの方向ベクトルは、各画素を次式(9)で表現し、光線の方程式を式(10)とすれば式(11), (12)で求められる。なお、Pn(f)は、前記中心射影行列から４列目を除いた行列であって次式(13)で表される。
【００４６】
【数９】
2014167693.tif 000011
【００４７】
【数１０】
2014167693.tif 000012
【００４８】
【数１１】
2014167693.tif 000013
【００４９】
【数１２】
2014167693.tif 000014
【００５０】
【数１３】
2014167693.tif 000015
【００５１】
奥行き推定部９は、前記オブジェクト表面に位置する各ボクセルVの座標に基づいて当該オブジェクト表面の奥行きを推定する。図８は、本発明を適用した奥行き推定装置により取得される奥行き画像の一例を示した図であり、図９に示した従来技術により取得される奥行き画像と較べれば、特に床部分を正確に背景画像と認識できていることが判る。
【００５２】
なお、上記の実施形態では、前記ボクセル背景尤度算出部５により算出された各ボクセルの背景尤度に対して、その後段に位置するオブジェクト候補領域決定部６、マッチング尤度算出部７および対応ボクセル決定部８が協働して各ボクセルのマッチング尤度を求め、当該マッチング尤度に基づいて、最終的に奥行き推定部９においてオブジェクトの奥行きが推定されるものとして説明した。
【００５３】
しかしながら、本発明はこれのみに限定されるものではなく、オブジェクトの形状、色彩等によっては、前記ボクセル背景尤度算出部５から出力される背景尤度に十分な確度を期待できる場合があり、このような場合には、図１０に示したように、前記奥行き推定部９は、ボクセル背景尤度算出部５から出力される背景尤度を直接参照し、所定の閾値を下回るボクセルをオブジェクト表面とみなして奥行き推定を行っても良い。
【００５４】
本発明によれば、数メートル間隔で設置された複数のカメラにより取得されたカメラ映像を対象に、各カメラ視点における奥行きを高精度に推定することが可能となる。その結果、カメラ間の任意視点における高精度な映像レンダリングが可能となる。
【符号の説明】
【００５５】
１…カメラ画像取得部，２…キャリブレーション部，３…空舞台画像記憶部，４…背景尤度算出部，４１…背景尤度関数生成部，４２…関数計算部，５…ボクセル背景尤度算出部，６…オブジェクト候補領域決定部，７…マッチング尤度算出部，８…対応ボクセル特定部，９…奥行き推定部
【図１】
2014167693.tif 000016
【図２】
2014167693.tif 000017
【図３】
2014167693.tif 000018
【図４】
2014167693.tif 000019
【図５】
2014167693.tif 000020
【図６】
2014167693.tif 000021
【図７】
2014167693.tif 000022
【図８】
2014167693.tif 000023
【図９】
2014167693.tif 000024
【図１０】
2014167693.tif 000025
【図１１】
2014167693.tif 000026