(57)【要約】【課題】単眼画像と疎な深度情報のみを用いて密な深度情報を生成することができる。【解決手段】深度超解像装置１００は、入力画像と入力深度情報とに対して予め定められた階層数にしたがい解像度変換することで階層的入力画像と階層的入力深度情報とを出力する入力データ処理部２２と、前記階層的入力画像に基づいて階層的推定深度連続性を導出する深度連続性推定部２４と、前記階層的入力画像と前記階層的推定深度連続性とに基づいて、深度が連続となるか否かに応じた各位置の値を表す階層的深度連続性マスクを出力する深度連続性マスク導出部２６と、前記階層的入力深度情報と前記階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように前記超解像深度情報を導出するコスト関数最小化部３０と、を備える。【選択図】図１
2020123114.tif 000002
【特許請求の範囲】
【請求項１】
入力画像と入力深度情報とに対して予め定められた階層数にしたがい解像度変換することで階層的入力画像と階層的入力深度情報とを出力する入力データ処理部と、
前記階層的入力画像に基づいて階層的推定深度連続性を導出する深度連続性推定部と、
前記階層的入力画像と前記階層的推定深度連続性とに基づいて、深度が連続となるか否かに応じた各位置の値を表す階層的深度連続性マスクを出力する深度連続性マスク導出部と、
前記階層的入力深度情報と前記階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように前記超解像深度情報を導出するコスト関数最小化部と、
を備える深度超解像装置。
【請求項２】
前記階層的入力深度情報に基づいてコスト関数最小化初期値を出力する初期値導出部を更に含み、
前記コスト関数最小化部は、前記コスト関数最小化初期値を用いて、前記コスト関数を最小化するように前記超解像深度情報を導出する請求項１記載の深度超解像装置。
【請求項３】
前記コスト関数最小化部は、前記超解像深度情報を表す主変数と双対変数とを含む前記コスト関数を最小化するように前記主変数と前記双対変数とを繰り返し更新する請求項１又は２に記載の深度超解像装置。
【請求項４】
前記コスト関数は、前記階層的深度連続性マスクと前記超解像深度情報とを演算子により演算したもの、及び前記超解像深度情報と前記階層的入力深度情報との差分を含んで表される請求項１〜請求項３の何れか１項記載の深度超解像装置。
【請求項５】
入力データ処理部が、入力画像と入力深度情報とに対して予め定められた階層数にしたがい解像度変換することで階層的入力画像と階層的入力深度情報とを出力し、
深度連続性推定部が、前記階層的入力画像に基づいて階層的推定深度連続性を導出し、
深度連続性マスク導出部が、前記階層的入力画像と前記階層的推定深度連続性とに基づいて、深度が連続となるか否かに応じた各位置の値を表す階層的深度連続性マスクを出力し、
コスト関数最小化部が、前記階層的入力深度情報と前記階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように前記超解像深度情報を導出する
深度超解像方法。
【請求項６】
初期値導出部が、前記階層的入力深度情報に基づいてコスト関数最小化初期値を出力することを更に含み、
前記コスト関数最小化部が導出することでは、前記コスト関数最小化初期値を用いて、前記コスト関数を最小化するように前記超解像深度情報を導出する請求項５記載の深度超解像方法。
【請求項７】
コンピュータを、請求項１〜請求項４の何れか１項記載の深度超解像装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深度超解像装置、深度超解像方法、及びプログラムに関する。
【背景技術】
【０００２】
Light Detection and Ranging(LiDAR)などによって計測される深度情報は正確であるが、密度が疎であるため、利用のために高密度化する必要がある場合がある。そのため、計測により得られる疎な深度情報と画像から密な深度情報を導出する手法が提案されている。
【０００３】
画像と疎な深度情報を入力として、Deep Neural Network (DNN)で処理をすることで、密な深度情報を生成する手法が知られている(例えば、非特許文献１)。画像と疎な深度情報を入力とし、密な深度情報を正解として与え学習したDNNにより、高密度な深度情報の推定を行う。
【０００４】
また、ステレオ画像と疎な深度情報を用いて、コスト関数の最小化によって密な深度情報を生成する手法も知られている(例えば、非特許文献２参照)。この手法では深度の連続性を保持しながら、ステレオ画像の視差との誤差と計測された疎な深度情報との誤差を小さくするような密な深度情報を導出する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】M. Fengchang, and K. Sertac, “Sparse-to-Dense: Depth Prediction from Sparse Depth Samples and a Single Image”, IEEE International Conference on Robotics and Automation (ICRA), 2018
【非特許文献２】G. Kuschk, A. Bozic and D. Cremers, "Real-time variational stereo reconstruction with applications to large-scale dense SLAM," 2017 IEEE Intelligent Vehicles Symposium (IV), Los Angeles, CA, 2017, pp. 1348-1355.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１のように、DNNで処理をすることで密な深度情報を生成する手法では、大量の学習データが必要となる。この場合に必要となる学習データは画像と深度情報を同時に計測したものでなければならない。さらに、正解データとするために何らかの方法によって密な深度情報を生成する必要がある。非特許文献１では時系列的に連続して計測された画像と疎な深度情報から自動で高密度な深度情報を生成し、正解データとして用いる方法も併せて提案しているが、手動で生成した高密度な深度情報により学習したDNNの性能のほうが高いと報告されている。本手法のようなDNNによる深度情報の超解像のために要求される画像と深度情報は画像のみのデータに比べて入手が困難である。
【０００７】
非特許文献２の手法では、ステレオ画像と疎な深度情報を入力として必要とする。そのため、単眼画像と疎な深度情報から密な深度情報を生成しなければならない状況下では適用できず、限定的な状況でしか使うことができない。
【０００８】
本発明はこのような事情に鑑みてなされたものであり、単眼画像と疎な深度情報のみを用いて密な深度情報を生成することができる深度超解像装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様は、入力画像と入力深度情報とに対して予め定められた階層数にしたがい解像度変換することで階層的入力画像と階層的入力深度情報とを出力する入力データ処理部と、前記階層的入力画像に基づいて階層的推定深度連続性を導出する深度連続性推定部と、前記階層的入力画像と前記階層的推定深度連続性とに基づいて、深度が連続となるか否かに応じた各位置の値を表す階層的深度連続性マスクを出力する深度連続性マスク導出部と、前記階層的入力深度情報と前記階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように前記超解像深度情報を導出するコスト関数最小化部と、を備える深度超解像装置である。
【００１０】
また、本発明の一態様は、入力データ処理部が、入力画像と入力深度情報とに対して予め定められた階層数にしたがい解像度変換することで階層的入力画像と階層的入力深度情報とを出力し、深度連続性推定部が、前記階層的入力画像に基づいて階層的推定深度連続性を導出し、深度連続性マスク導出部が、前記階層的入力画像と前記階層的推定深度連続性とに基づいて、深度が連続となるか否かに応じた各位置の値を表す階層的深度連続性マスクを出力し、コスト関数最小化部が、前記階層的入力深度情報と前記階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように前記超解像深度情報を導出する深度超解像方法である。
【００１１】
本発明の一態様によれば、入力データ処理部が、入力画像と入力深度情報を適切な形式に変換しあらかじめ定められた階層数(N≧1)にしたがい解像度変換することで階層的入力画像と階層的入力深度情報を導出する。
【００１２】
深度連続性推定部が、前記階層的入力画像に基づいて階層的推定深度連続性を導出する。深度連続性マスク導出部が、前記階層的入力画像と前記階層的推定深度連続性とに基づいて、深度が連続となるか否かに応じた各位置の値を表す階層的深度連続性マスクを出力する。
【００１３】
コスト関数最小化部が、前記階層的入力深度情報と前記階層的推定深度連続性と前記階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように繰り返し最適化計算を行って超解像深度情報を導出する。
【００１４】
このように、前記階層的入力画像に基づいて階層的推定深度連続性を導出し、前記階層的入力画像と前記階層的推定深度連続性とに基づいて、階層的深度連続性マスクを出力し、前記階層的入力深度情報と前記階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように繰り返し最適化計算を行って超解像深度情報を導出することにより、単眼画像と疎な深度情報のみを用いて密な深度情報を生成することが可能となる。なお、深度情報を推定するモデルの学習では、ステレオ画像を用いるようにしてもよい。
【００１５】
本発明の一態様は、上記の深度超解像装置であって、前記階層的入力深度情報に基づいてコスト関数最小化初期値を出力する初期値導出部を更に含み、前記コスト関数最小化部は、前記コスト関数最小化初期値を用いて、前記コスト関数を最小化するように前記超解像深度情報を導出する。
【００１６】
本発明の一態様は、コンピュータを、上記の深度超解像装置として機能させるためのプログラムである。
【発明の効果】
【００１７】
以上説明したように、本発明によれば、単眼画像と疎な深度情報のみを用いて密な深度情報を生成することが可能となる、という効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態に係る深度超解像装置の構成例を示す図である。
【図２】深度超解像装置の全体の処理フローを示す図である。
【図３】入力データ処理部で出力される階層的入力画像の例を示す図である。
【図４】入力データ処理部で実施される点群形式の入力深度情報をデプスマップ形式に変換する処理の入力と出力を例示する図である。
【図５】入力データ処理部で出力される階層的入力深度情報の例を示す図である。
【図６】深度連続性推定部の処理の入力と出力を例示する図である。
【図７】深度連続性マスク導出部の処理の入力と出力を例示する図である。
【図８】初期値導出部の入力と出力を例示する図である。
【図９】初期値導出部を介さない場合のコスト関数最小化初期値の例を示す図である。
【図１０】コスト関数最小化部の処理フローを示す図である。
【図１１】深度超解像装置が出力する超解像深度情報を例示する図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明の一実施形態による深度超解像装置を説明する。
【００２０】
＜深度超解像装置の構成＞
図１は同実施形態の構成を示す模式図である。この図に示す深度超解像装置１００は、入力部１０、演算部２０、及び出力部５０を備えている。
【００２１】
演算部２０は、入力データ処理部２２、深度連続性推定部２４、深度連続性マスク導出部２６、初期値導出部２８、及びコスト関数最小化部３０の各機能部を備える。なお、これらの機能部は、例えばＣＰＵやＧＰＵなどがプログラムを実行することにより実現される。また、深度超解像装置１００は機能部などのデバイスを備える。
【００２２】
演算部２０は、記憶部３２を備えている。記憶部３２は、入力部１０により入力された入力画像４０及び入力深度情報４２を記憶している。
【００２３】
入力データ処理部２２は、入力画像４０と入力深度情報４２を適切な形式に変換し予め定められた階層数(N≧1)にしたがい解像度変換することで階層的入力画像４４と階層的入力深度情報４６とを出力し、記憶部３２に格納する。
【００２４】
深度連続性推定部２４は、階層的入力画像４４に基づいて階層的推定深度連続性４８を導出し、記憶部３２に格納する。
【００２５】
深度連続性マスク導出部２６は、階層的入力画像４４と階層的推定深度連続性４８とに基づいて、深度が連続となるか否かに応じた各位置の値を表す階層的深度連続性マスク５２を出力し、記憶部３２に格納する。
【００２６】
初期値導出部２８は、階層的入力深度情報４６に基づいてコスト関数最小化初期値５４を出力し、記憶部３２に格納する。
【００２７】
コスト関数最小化部３０は、コスト関数最小化初期値５４を用いて、階層的入力深度情報と階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように繰り返し最適化計算を行って超解像深度情報５６を導出し、記憶部３２に格納する。
【００２８】
＜深度超解像装置の作用＞
図２は同実施形態における処理のフローを示すフロー図である。図に示すように、深度連続性推定・深度連続性マスク導出の処理と初期値導出の処理は並列に実行してもよい。
【００２９】
ステップＳ１００において、入力データ処理部２２は入力画像４０と入力深度情報４２を入力とし、予め定められた階層数(N≧1)に従い階層的入力画像４４と階層的入力深度情報４６を導出する。
【００３０】
入力データ処理部２２での入力画像４０に対する処理について図３を用いて説明する。入力画像４０の解像度を幅W、高さH(単位：ピクセル)とする。以下、階層数をNとし、階層のインデックスをnとする。ここで、n=0,1,…,N-1である。入力データ処理部２２では入力画像４０を幅W_n=W/2^(N-n)、高さH_n=H/2^(N-n)に変換し、画像I_nを生成する。よってN枚の画像が生成され、これらを階層的入力画像４４として記憶部３２に保存する。図３（Ａ）〜（Ｃ）に階層数N=3の場合の画像I_nを例示する。なお、N=1の場合は、幅W、高さHの入力画像４０が解像度変換されずに出力される。
【００３１】
入力データ処理部２２での入力深度情報４２に対する処理について図４、図５を用いて説明する。入力深度情報４２は各点がx,y,zの3次元の情報を持つ点の集合である点群形式、もしくは各ピクセルが深度値を持つ画像であるデプスマップ形式で与えられる。図４（Ａ）、（Ｂ）に、点群形式、デプスマップ形式の入力深度情報４２を例示する。点群形式でデータが与えられた場合、点群をカメラ画像平面に投影する投影行列を用いて、入力深度情報４２をデプスマップ形式に変換する。デプスマップ形式の入力深度情報４２は解像度W、高さHとなる。このデプスマップ形式の入力深度情報４２を幅W_n、高さH_nに変換し、深度情報D_nを生成する。よってN枚のデプスマップ形式の深度情報が生成され、これらを階層的入力深度情報４６として記憶部３２に保存する。図５（Ａ）〜（Ｃ）に階層数N=3の場合の深度情報D_nを例示する。なお、N=1の場合は、幅W、高さHの入力深度情報４２が解像度変換されずに出力される。
【００３２】
ステップＳ１０２では、深度連続性推定部２４が、階層的入力画像４４を入力として、階層的推定深度連続性４８を導出する。ここで、推定深度連続性は画像と同じ解像度を持つ情報であり、値の微分が深度の微分と相関を持つような情報である。例えば、画像から深度情報を推定するＤＮＮを用いて推定深度連続性を得ることができる。非特許文献３、非特許文献４にあるように、深度情報を推定するＤＮＮは画像のみから学習をすることができるので、学習データの入手が容易である。具体的にはステレオ画像を用いて単眼画像から深度情報を推定するＤＮＮを学習している。
【００３３】
［非特許文献３］Godard, Clement, Oisin Mac Aodha, and Gabriel J. Brostow. "Unsupervised monocular depth estimation with left-right consistency." CVPR. Vol. 2. No. 6. 2017.
【００３４】
［非特許文献４］Garg, Ravi et al. “Unsupervised CNN for Single View Depth Estimation: Geometry to the Rescue.” Lecture Notes in Computer Science (2016): 740-756. Crossref. Web.
【００３５】
また、例えばk-meansクラスタリングなどの、学習が不要な領域分割手段によって画像を領域分割することで推定深度連続性を得ることができる。この場合ＤＮＮの学習は不要である。
【００３６】
図６（Ａ）〜（Ｃ）に推定深度連続性の導出を例示する。各階層の入力画像について深度連続性情報を導出するので、N枚の深度連続性情報U_n(n=0,1,…,N)が出力され、これらを階層的推定深度連続性４８として記憶部３２に保存する。
【００３７】
ステップＳ１０４では、深度連続性マスク導出部２６は、階層的入力画像４４と階層的推定深度連続性４８を入力として、階層的深度連続性マスク５２を出力する。深度連続性マスクは深度が連続となると推定される位置で大きな値を持ち、深度が不連続であると推定される位置で小さい値(≧0)を持つようなデータである。各階層について対応する解像度の深度連続性マスクG_nを生成するので、計N枚の深度連続性マスクが生成される。深度連続性マスクG_nの導出方法は限定されないが、以下に具体的なG_nの導出式を2例示す。
【００３８】
【数１】
2020123114.tif 000003
(式1)
【数２】
2020123114.tif 000004
(式2)
【００３９】
なお、α_I, β_I, α_U, β_Uは0以上の任意の定数である。上記式１、式２は、深度連続性マスクの要素毎に計算される。ただし、∇I_n、∇U_nは、隣接画像との微分値を計算したものである。
【００４０】
図７に深度連続性マスク導出部２６の入力と出力を例示する。生成した階層的深度連続性マスク５２は記憶部３２に保存される。
【００４１】
ステップＳ１０６では、初期値導出部２８は階層的入力深度情報４６の第0階層のデータであるD_0からコスト関数最小化初期値D’を導出する。D’は以下に示す重みづけ平均によって導出する。
【００４２】
【数３】
2020123114.tif 000005
(式3)
【００４３】
ここで、
2020123114.tif 000006
はそれぞれ画像平面上の2次元座標であり、σ2は重みづけ平均をとる際の分散値であり、任意の0より大きい値である。出力されたコスト関数最小化初期値５４は記憶部３２に保存される。図８に初期値導出部２８の入力と出力を図示する。
【００４４】
なお、初期値導出部２８を備えないように構成してもよい。初期値導出部２８を備えない実施形態では、コスト関数最小化初期値D’は階層的入力深度情報４６の第0階層のデータであるD_0の値がないピクセルに乱数値を代入する、もしくは定数値を代入するなどの方法で導出することができる。このようにして導出したコスト関数最小化初期値５４を図９（Ａ）、（Ｂ）に図示する。
【００４５】
ステップＳ１０８では、コスト関数最小化部３０は、階層的入力深度情報４６と階層的深度連続性マスク４６とコスト関数最小化初期値５４とを入力とし、繰り返し最適化計算により超解像深度情報５６を導出し、超解像深度情報５６を記憶部３２に出力する。この超解像深度情報５６が本発明の最終的な出力である。コスト関数最小化部３０では非特許文献５に記載のprimal-dual algorithmにより繰り返し最適化処理を実施する。
［非特許文献５］A. Chambolle and T. Pock. "A first-order primal-dual algorithm for convex problems with applications to imaging." Journal of mathematical imaging and vision 40.1 (2011), 120-145.
【００４６】
図１０にコスト関数最小化部３０の処理フローを示す。第0階層から始め、第N-1階層まで段階的に最適化計算を実施する。本処理フローにのっとり、以下コスト関数最小化部３０の処理について説明する。なお、コスト関数最小化部３０では、階層的深度連続性マスク５２と階層的入力深度情報４６とに基づいて、階層的深度連続性マスクと超解像深度情報とを演算子により演算したもの、及び超解像深度情報と階層的推定深度連続性との差分を含んで表されるコスト関数を最小化する。具体的には、以下のコスト関数を最小化する。
【００４７】
【数４】
2020123114.tif 000007
(式4)
【００４８】
ここで、Lは微分演算子の行列形式であり、ε、λは0以上の定数であり、Ωは階層的入力深度情報D_nが定義される平面であり、入力画像平面と同一平面である。||・||_εはHuber Normであり、以下の式で定義される。
【００４９】
【数５】
2020123114.tif 000008
(式5)
【００５０】
(式4)を最小化するために、以下に続く式のように変数q_n、a_n、θを導入し、Legendre-Fenchel変換、Quadratic Relaxationとして知られる式変換を施す。
【００５１】
【数６】
2020123114.tif 000009
(式6)
【数７】
2020123114.tif 000010
(式7)
【００５２】
ただし、supは、上限を出力する関数である。上記式では、超解像深度情報を表す主変数と双対変数とを含むコスト関数を最小化することを表している。
【００５３】
以降、第n階層での変数の初期値をd_n_0、q_n_0、a_n_0、
2020123114.tif 000011
と書く。また、第n階層での最適化処理の結果をd_n_end、q_n_endと書く。
【００５４】
まず、ステップＳ１２０では、ｎ＝０と初期化する。
【００５５】
ステップＳ１２２では、コスト関数を最小化する第n階層の変数を求める。ステップＳ１２２は、以下のステップＳ１２４〜ステップＳ１３２により実現される。
【００５６】
ステップＳ１２４では、第n階層の変数の初期化を行い、変数の初期値を定める。初期値の定め方は自由であり、配列の次元が正しければ任意の初期値から始めても最適化処理を実施してもよい。以下、初期値の定め方の一例を示す。以降、K_n=W_n×H_nとする。
【００５７】
n=0の場合、d_0_0はコスト関数最小化初期値D’をK_0×1次元に変形したベクトルであり、q_0_0はK_0×2次元のすべての要素が0の配列であり、
2020123114.tif 000012
はd_0_0と等しいベクトルであり、a_0_0はd_0_0と等しいベクトルである。
【００５８】
n>0の場合、d_n_0は、第n-1階層の最適化結果d_n-1_endをH_{n-1}×W_{n-1}次元の配列に変形したのちH_n×W_nに拡大し(値は内挿もしくは近傍値をとることで定める)さらにK_n×1次元に変形したベクトルである。q_n_0は、q_n-1_endをH_{n-1}×W_{n-1}×2次元の配列に変形したのちH_n×W_nに拡大し(値は内挿もしくは近傍値をとることで定める)さらにK_n×2次元に変形したベクトルである。
【００５９】
2020123114.tif 000013
は、d_n_0と等しいベクトルであり、a_n_0はd_n_0と等しいベクトルである。
【００６０】
前述のように初期値の定め方は自由であり、ベクトルと配列の次元が同じであれば上記の方法によらずに初期値を設定してもよい。
【００６１】
ステップＳ１２６では、双対変数(q_n_i)を以下の式にしたがって更新する。
【００６２】
【数８】
2020123114.tif 000014
(式8)
【００６３】
ここで、上記式８は、双対変数の要素毎に計算される。ただし、
2020123114.tif 000015
は、複数の要素を使って計算される。また、τ_qは0より大きい定数である。
【００６４】
ステップＳ１２８では、超解像深度情報を表す主変数(d_n_i)を以下の式に従って更新する。
【００６５】
【数９】
2020123114.tif 000016
(式9)
【００６６】
ここで、上記式９は、主変数の要素毎に計算される。ただし、
2020123114.tif 000017
は、複数の要素を使って計算される。また、^Tは3次元配列(次元のインデックスを0,1,2とする)の第1次元と第2次元の転置を表し、τ_dは0より大きい定数である。なお、非特許文献4で述べられているように、τ_qとτ_dは以下を満たさなければならない。
【００６７】
【数１０】
2020123114.tif 000018
(式10)
【００６８】
ステップＳ１３０では、他の変数の更新を行う。具体的には、a_n_iの更新を以下の式に従って行う。
【００６９】
【数１１】
2020123114.tif 000019
(式11)
【００７０】
また、
2020123114.tif 000020
の更新を以下の式に従って行う。
【００７１】
【数１２】
2020123114.tif 000021
(式12)
【００７２】
また、何らかの方法によりθ_iを逐次的に小さくすることによってθ_iの更新を行う。例えば、以下の式のように行えばよいが、方法は限定されない。
【００７３】
【数１３】
2020123114.tif 000022
(式13)
【００７４】
ステップＳ１３２では、第n階層のコスト関数最小化を終了するか否かを判定する。第n階層のコスト関数最小化の終了判定はどのような方法で行ってもよいが、例えば以下のア)からウ)に示すような終了判定条件がある。
【００７５】
ア)規定回数の繰り返しを実施したこと。
イ)θ_iがあらかじめ定めたθ_end未満であること。
ウ)d_n_iとd_n_{i-1}の差分のノルムがδ未満であること。
【００７６】
終了判定を満たさない場合、i=i+1とし、ステップＳ１２６へ戻り、双対変数(q_n_i)、主変数(d_n_i)、他の変数
2020123114.tif 000023
を更新する。
【００７７】
第n階層のコスト関数最小化の終了判定条件を満たした場合、ステップＳ１３４では、nがN-1(すなわち最終階層)であるか否かを判定する。n<N-1の場合n=n+1としてステップＳ１２４へ戻り、第n階層の変数の初期化を実施する。n=N-1(すなわち最終階層)であればコスト関数最小化処理を終了し、主変数d_n_endを幅W、高さHに変形し、超解像深度情報５６として出力する。出力された超解像深度情報５６の例を図１１に示す。
【００７８】
以下、コスト最適化計算のその他の計算実施方法について述べる。
【００７９】
(式8)から(式13)の代わりに、(式14)から(式17)に示す更新式によって、θ、a_nを導入しない(式6)の形のコスト関数の最小化を実施できる。用いる定数の意味と値の範囲は(式8)から(式13)の議論と同様である。
【００８０】
【数１４】
2020123114.tif 000024
(式14)
【数１５】
2020123114.tif 000025
(式15)
【数１６】
2020123114.tif 000026
(式16)
【数１７】
2020123114.tif 000027
(式17)
【００８１】
(式4)の代わりに(式18)のコスト関数を最小化する場合、(式19)から(式23)の更新式によってコスト関数最小化の計算が実施できる。用いる定数の意味と値の範囲は(式8)から(式13)の議論と同様である。
【００８２】
【数１８】
2020123114.tif 000028
(式18)
【数１９】
2020123114.tif 000029
(式19)
【数２０】
2020123114.tif 000030
(式20)
【数２１】
2020123114.tif 000031
(式21)
【数２２】
2020123114.tif 000032
(式22)
【数２３】
2020123114.tif 000033
(式23)
【００８３】
コスト関数最小化部３０では、(式8)から(式13)の更新式、(式14)から(式17)の更新式、(式18)から(式23)の更新式のいずれを用いてもよい。
【００８４】
以上説明したように、本発明の実施の形態に係る深度超解像装置によれば、階層的入力画像に基づいて階層的推定深度連続性を導出し、階層的入力画像と階層的推定深度連続性とに基づいて、階層的深度連続性マスクを出力し、階層的入力深度情報と階層的深度連続性マスクと超解像深度情報とを用いて表されるコスト関数を最小化するように繰り返し最適化計算を行って超解像深度情報を導出することにより、センサで計測された疎な深度情報と単眼画像のみを用いて密な深度情報を生成することが可能となる。
【００８５】
また、深度情報を推定するＤＮＮの学習時には画像の情報のみを用いることで学習データの入手を容易とし、かつ超解像処理の実施においては、単眼画像と疎な深度情報のみを用いて密な深度情報を生成することができる。
【００８６】
また、本発明は学習を実施しない形でも実施でき、その場合学習データの入手は不要であり、単眼画像と疎な深度情報のみを用いて密な深度情報を生成することができる。
【００８７】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００８８】
例えば、上述の深度超解像装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００８９】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【００９０】
１０   入力部
２０   演算部
２２   入力データ処理部
２４   深度連続性推定部
２６   深度連続性マスク導出部
２８   初期値導出部
３０   コスト関数最小化部
３２   記憶部
４０   入力画像
４２   入力深度情報
４４   階層的入力画像
４６   階層的深度連続性マスク
４６   階層的入力深度情報
４８   階層的推定深度連続性
５０   出力部
５２   階層的深度連続性マスク
５４   コスト関数最小化初期値
５６   超解像深度情報
１００ 深度超解像装置
【図１】
2020123114.tif 000034
【図２】
2020123114.tif 000035
【図３】
2020123114.tif 000036
【図４】
2020123114.tif 000037
【図５】
2020123114.tif 000038
【図６】
2020123114.tif 000039
【図７】
2020123114.tif 000040
【図８】
2020123114.tif 000041
【図９】
2020123114.tif 000042
【図１０】
2020123114.tif 000043
【図１１】
2020123114.tif 000044