(57)【特許請求の範囲】
【請求項１】
互いに異なる変調周波数で作動する少なくとも１つの光源から出力された互いに異なる変調周波数の光を被写体に照射するステップと、
互いに異なる変調周波数で作動するピクセルのうち少なくとも１つのピクセルを用いて前記被写体に反射された互いに異なる変調周波数の光を検出するステップと、
前記互いに異なる変調周波数の光を用いて被写体までの距離に関連する深さ映像を生成するステップと、
を含み、
前記生成された深さ映像は、互いに異なる変調周波数で取得したイメージ領域を含むことを特徴とする深さ映像生成方法。
【請求項２】
前記光を被写体に照射するステップは、水平構造、垂直構造、及び格子構造のうち少なくとも１つの構造に構成された光源から出力された光を被写体に照射することを特徴とする請求項１に記載の深さ映像生成方法。
【請求項３】
前記互いに異なる変調周波数の光を検出するステップは、水平構造、垂直構造、及び格子構造のうち少なくとも１つの構造に構成されたピクセルを用いて光を検出することを特徴とする請求項１乃至２のいずれか一項に記載の深さ映像生成方法。
【請求項４】
前記被写体までの距離に関連する深さ映像を生成するステップは、前記被写体に照射された光の強度と前記被写体で反射された光の強度を用いて、前記被写体までの距離を算出することを特徴とする請求項１乃至３のいずれか一項に記載の深さ映像生成方法。
【請求項５】
互いに異なる変調周波数に基づいて深さ映像を分離するステップと、
前記分離された深さ映像を補間して深さ値を復元するステップと、
前記深さ値が復元された深さ映像を用いて遠距離の深さ値を調整するステップと、
前記遠距離の深さ値が調整された前記分離された深さ映像を合成するステップと、
を含み、
前記深さ映像は、互いに異なる変調周波数それぞれで取得したイメージ領域を含み、
前記遠距離は、前記変調周波数の光を用いて測定できる最大距離よりも遠いため、前記遠距離に存在する被写体の深さ値を測定するときには位相ラッピング現象が発生することを特徴とする深さ映像処理方法。
【請求項６】
前記深さ映像を分離するステップは、前記深さ映像を互いに異なる変調周波数に対応するピクセル領域に分離することを特徴とする請求項５に記載の深さ映像処理方法。
【請求項７】
前記深さ映像を分離するステップは、第１変調周波数と第２変調周波数で取得されたイメージの部分を含む１つの深さ映像から第１変調周波数によって取得された第１深さ映像、及び第２変調周波数によって取得された第２深さ映像を抽出することを特徴とする請求項５または請求項６に記載の深さ映像処理方法。
【請求項８】
前記深さ値を復元するステップは、前記互いに異なる変調周波数ごとに分離された深さ映像で深さ値が存在しない現在ピクセルの深さ値を前記現在ピクセルの周辺ピクセルを用いて復元することを特徴とする請求項５乃至７のいずれか一項に記載の深さ映像処理方法。
【請求項９】
前記深さ値を復元するステップは、前記深さ値が存在しない現在ピクセルと周辺ピクセルとの間の距離に基づいた加重値を考慮して現在ピクセルの深さ値を復元することを特徴とする請求項８に記載の深さ映像処理方法。
【請求項１０】
前記遠距離の深さ値を調整するステップは、前記分離された深さ映像それぞれで同一の位置に対応するピクセルの３次元座標値の差を用いて遠距離の深さ値を調整することを特徴とする請求項６乃至９のいずれか一項に記載の深さ映像処理方法。
【請求項１１】
前記遠距離の深さ値を調整するステップは、前記分離された深さ映像それぞれで同一の位置に対応するピクセルの深さ値と周辺ピクセルの深さ値に基づいた加重値を考慮して遠距離の深さ値を調整することを特徴とする請求項６乃至１０のいずれか一項に記載の深さ映像処理方法。
【請求項１２】
前記遠距離の深さ値を調整するステップは、前記分離された深さ映像それぞれで全てのピクセルの３次元座標値の差に基づいた費用関数の値を最小化して遠距離の深さ値を調整することを特徴とする請求項６乃至１１のいずれか一項に記載の深さ映像処理方法。
【請求項１３】
前記深さ値が調整された深さ映像を合成するステップをさらに含むことを特徴とする請求項５乃至１２のいずれか一項に記載の深さ映像処理方法。
【請求項１４】
前記深さ映像を合成するステップは、前記分離された深さ映像のピクセルのうち補間されないピクセルの深さ値を組み合わせることを特徴とする請求項１３に記載の深さ映像処理方法。
【請求項１５】
互いに異なる変調周波数で作動する少なくとも１つの光源から出力された互いに異なる変調周波数の光を被写体に照射する照射部と、
互いに異なる変調周波数で作動するピクセルのうち少なくとも１つのピクセルを用いて前記被写体に反射された互いに異なる変調周波数の光を検出する検出部と、
前記互いに異なる変調周波数の光を用いて被写体までの距離に関連する深さ映像を生成する生成部と、
を備え、
前記生成された深さ映像は、互いに異なる変調周波数で取得したイメージ領域を含むことを特徴とする深さ映像生成装置。
【請求項１６】
前記検出部は、ピクセルの配列を用いて被写体から反射された互いに異なる変調周波数の光を検出し、
前記ピクセルの配列は、第１変調周波数の光を検出するように構成された複数の第１ピクセルと第２変調周波数の光を検出するように構成された複数の第２ピクセルとを含むことを特徴とする請求項１５に記載の深さ映像生成装置。
【請求項１７】
前記第１ピクセル及び前記第２ピクセルは、格子構造で交代に配列されたことを特徴とする請求項１６に記載の深さ映像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深さ映像生成方法及び装置、深さ映像処理方法及び装置に関し、互いに異なる変調周波数の光を用いて深さ映像を生成し、生成された深さ映像を処理する方法に関する。
【背景技術】
【０００２】
深さ映像を生成する方法として、光が被写体に反射して戻ってくる時間を用いて被写体までの距離を算出する方法がある。現在、この方法を用いて深さ映像を生成するＴｏＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）カメラが広く用いられている。ＴｏＦカメラは、周波数が変調された光が被写体に反射される過程で発生した位相の遅延を用いて被写体までの距離を算出する。ＴｏＦカメラで測定できる最大距離は、撮影に用いられる変調周波数（ｍｏｄｕｌａｔｉｏｎ  ｆｒｅｑｕｅｎｃｙ）によって決定される。ＴｏＦカメラは、測定できる最大距離よりも遠方に位置する被写体を測定可能な距離にあると見なして深さ映像を撮影する。
【０００３】
深さ映像で遠距離の深さ値を復元する方法として、１枚の深さ映像を用いる方法と複数の深さ映像を用いる方法がある。１枚の深さ映像を用いる方法は、深さ映像の不連続な部分で、小さい深さ値を有するピクセルのモード値（Ｎｕｍｂｅｒ  ｏｆ  Ｍｏｄｓ）を大きい深さ値を有するピクセルのモード値より１だけ大きくする方法である。複数の深さ映像を用いる方法には、カメラを動かしながら撮影した複数の深さ映像を用いる方法と、時間差をもって互いに異なる変調周波数の光で撮影した複数の深さ映像を用いる方法がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、互いに異なる変調周波数の光を用いて深さ映像を生成し、生成された深さ映像を処理する方法を提供する。
【課題を解決するための手段】
【０００５】
一実施形態に係る深さ映像生成方法は、互いに異なる変調周波数の光を被写体に照射するステップと、前記被写体に反射された互いに異なる変調周波数の光を検出するステップと、前記互いに異なる変調周波数の光を用いて被写体までの距離に関連する深さ映像を生成するステップとを含む。
【０００６】
一実施形態に係る深さ映像生成装置は、互いに異なる変調周波数の光を被写体に照射する照射部と、前記被写体に反射された互いに異なる変調周波数の光を検出する検出部と、前記互いに異なる変調周波数の光を用いて被写体までの距離に関連する深さ映像を生成する生成部とを備える。
【０００７】
一実施形態に係る深さ映像処理方法は、互いに異なる変調周波数に基づいて深さ映像を分離するステップと、前記分離された深さ映像を補間して深さ値を復元するステップと、前記深さ値が復元された深さ映像を用いて遠距離の深さ値を調整するステップとを含む。
【０００８】
一実施形態に係る深さ映像処理方法は、前記深さ値が調整された深さ映像を合成するステップをさらに含んでもよい。
【発明の効果】
【０００９】
本発明によると、深さ映像の深さ値を調整可能にすることができる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態に係る深さ映像を処理するためのシステムの全体的な構成を示す図である。
【図２】一実施形態に係る深さ映像生成装置の細部構成を示す図である。
【図３】一実施形態に係る深さ映像処理装置の細部構成を示す図である。
【図４Ａ】一実施形態に係る互いに異なる変調周波数で動作する光源が配列された一例を示す図である。
【図４Ｂ】一実施形態に係る互いに異なる変調周波数で動作する光源が配列された一例を示す図である。
【図４Ｃ】一実施形態に係る互いに異なる変調周波数で動作する光源が配列された一例を示す図である。
【図５Ａ】一実施形態に係る互いに異なる変調周波数に対応するピクセルが配列された一例を示す図である。
【図５Ｂ】一実施形態に係る互いに異なる変調周波数に対応するピクセルが配列された一例を示す図である。
【図５Ｃ】一実施形態に係る互いに異なる変調周波数に対応するピクセルが配列された一例を示す図である。
【図６】一実施形態に係る深さ映像生成装置が生成した深さ映像の一例を示す図である。
【図７】一実施形態に係る深さ映像を互いに異なる変調周波数に対応するピクセル領域に分離する一例を示す図である。
【図８】一実施形態に係る深さ映像を補間して深さ値を復元する一例を説明するための図である。
【図９】一実施形態に係る深さ値が復元されたピクセル領域の一例を示す図である。
【図１０】一実施形態に係るピクセルの深さ値を復元して深さ映像を表現する一例を示す図である。
【図１１】一実施形態に係る遠距離の深さ値を調整して深さ映像を表現する一例を示す図である。
【図１２】一実施形態に係る深さ映像のピクセルのうち補間されないピクセルの深さ値を組み合わせる一例を示す図である。
【図１３】一実施形態に係る遠距離の深さ値が調整された深さ映像を合成する一例を示す図である。
【図１４】一実施形態に係る深さ映像を生成する動作を示すフローチャートである。
【図１５】一実施形態に係る深さ映像を処理する動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、実施形態を添付する図面を参照しながら詳細に説明する。一実施形態に係る深さ映像生成方法は、深さ映像生成装置によって行われてもよい。また、一実施形態に係る深さ映像処理方法は、深さ映像処理装置によって行われてもよい。各図面に提示された同一の参照符号は同一の部材を示す。
【００１２】
図１は、一実施形態に係る深さ映像を処理するためのシステムの全体的な構成を示す図である。図１に示すように、深さ映像を処理するためのシステムは深さ映像生成装置１１０と深さ映像処理装置１２０を備える。
【００１３】
深さ映像生成装置１１０は、互いに異なる変調周波数の光を用いて被写体までの距離に関連する深さ映像を生成する。深さ映像生成装置１１０は、深さ映像を生成して深さ映像生成装置１１０から被写体までの距離がどの程度であるかを決定する。
【００１４】
光の変調周波数は、深さ映像生成装置１１０が測定できる最大距離（ｒｍａｘ）を決定してもよい。例えば、深さ映像生成装置１１０が変調周波数３０ＭＨｚの光を用いて被写体を撮影する場合、深さ映像生成装置１１０は、測定できる最大距離として５ｍを有してもよい。反対に、深さ映像生成装置１１０が３０ＭＨｚと異なる変調周波数を用いて被写体を撮影する場合には、深さ映像生成装置１１０は測定できる最大距離が５ｍとは異なることがある。
【００１５】
深さ映像処理装置１２０は、深さ映像生成装置１１０が互いに異なる変調周波数に基づいて生成した深さ映像を処理する。深さ映像処理装置１２０は、深さ映像生成装置１１０が生成した１個の深さ映像を用いて深さ映像に表現された遠距離の深さ値を調整する。これによって、深さ映像処理装置１２０は、深さ映像生成装置１１０または被写体が動いている状況で撮影された深さ映像に関しても遠距離の深さ値を調整することができる。ここで、「遠距離」は、深さ映像生成装置１１０が一般的に測定できる最大距離を超過する範囲の距離を示す。「遠距離の深さ値」は一般的に測定できる最大距離を超過する距離の深さ値を示す。
【００１６】
深さ映像処理装置１２０は、深さ映像に表現された遠距離の深さ値を調整して実際の被写体までの距離と深さ映像に表現された深さ値をマッチングする。また、深さ映像処理装置１２０は、互いに異なる変調周波数に基づいて生成された深さ映像を合成してもよく、これによって高画質の深さ値を有する深さ映像を表現することができる。
【００１７】
図２は、一実施形態に係る深さ映像生成装置の細部構成を示す図である。図２に示すように、深さ映像生成装置２１０は、照射部２２０、検出部２３０、及び生成部２４０を備える。
【００１８】
照射部２２０は、互いに異なる変調周波数の光を被写体に照射する。すなわち、照射部２２０は、任意の周波数に変調された光を被写体に照射する。または、照射部２２０は、互いに異なる変調周波数で動作する少なくとも１つの光源から出力された光を被写体に照射してもよい。互いに異なる変調周波数で動作する光源は、水平構造、垂直構造、または、格子構造のいずれか１つの構造で構成されてもよい。すなわち、互いに異なる変調周波数で動作する光源は、空間的に互いに混合された構造を有し得る。
【００１９】
検出部２３０は、被写体に反射された互いに異なる変調周波数の光を検出する。検出部２３０は、互いに異なる変調周波数に対応する少なくとも１つのピクセル（または、ピクセルの配列）を用いて光を検出してもよい。互いに異なる変調周波数に対応するピクセルは、水平構造、垂直構造、または格子構造のいずれか１つの構造で構成されてもよい。互いに異なる変調周波数に対応するピクセルは、空間的に互いに混合された構造を有し得る。ピクセルの配列は、第１変調周波数の光を検出するように構成された複数の第１ピクセルと、第２変調周波数の光を検出するように構成された複数の第２ピクセルとを含む。
【００２０】
一定の変調周波数に対応するそれぞれのピクセルにおいて、それぞれ対応する変調周波数の光がサンプリングされてもよい。
【００２１】
生成部２４０は、互いに異なる変調周波数の光を用いて被写体までの距離に関連する深さ映像を生成する。具体的に、生成部２４０は、被写体に照射された光の強度と被写体に反射された光の強度を用いて被写体までの距離を算出する。または、生成部２４０は、被写体に照射された光と被写体に反射された光との位相差を用いて被写体までの距離を算出してもよい。生成部２４０は、距離値に基づいて映像の明暗を調整する方式に基づいて深さ映像を生成してもよい。
【００２２】
図３は、一実施形態に係る深さ映像処理装置の細部構成を示す図である。図３に示すように、深さ映像処理装置３１０は、分離部３２０、復元部３３０、調整部３４０、及び合成部３５０を備える。
【００２３】
分離部３２０は、互いに異なる変調周波数に基づいて深さ映像を分離する。または、分離部３２０は、深さ映像を互いに異なる変調周波数に対応するピクセル領域に分離してもよい。例えば、分離部３２０は、１つの深さ映像を生成したピクセル領域で同一の変調周波数に対応するピクセルを分離し、新しいピクセル領域に生成してもよい。新しく生成されたピクセル領域は、深さ値を有しないピクセルを含んでもよい。
【００２４】
復元部３３０は、互いに異なる変調周波数に基づいて分離された深さ映像を補間して深さ値を復元する。すなわち、復元部３３０は、互いに異なる変調周波数ごとに分離された深さ映像で深さ値が存在しない現在ピクセルの深さ値を復元する。具体的に、復元部３３０は、周辺ピクセルの深さ値を用いて深さ値が存在しない現在ピクセルの深さ値を復元してもよい。または、復元部３３０は、深さ値が存在しない現在ピクセルと周辺ピクセルとの間の距離に基づいた加重値を考慮し、現在ピクセルの深さ値を復元してもよい。
【００２５】
復元部３３０は、分離部３２０が新しく生成したピクセル領域で深さ値が存在しないピクセルの深さ値を生成することによって、変調周波数ごとに独立したピクセル領域を生成してもよい。
【００２６】
調整部３４０は、深さ値が復元された深さ映像を用いて遠距離の深さ値を調整する。具体的に、調整部３４０は、分離された深さ映像それぞれで同一の位置に対応するピクセルの３次元座標値の差を用いて遠距離の深さ値を調整する。
【００２７】
遠距離に存在する被写体の深さ値は、位相ラッピング（ｐｈａｓｅ  ｗｒａｐｐｉｎｇ）の現象により実際の深さ値と異なることがある。例えば、深さ映像生成装置が測定できる最大距離よりも遠く位置している被写体を撮影する場合、位相ラッピングの現象が発生する。この場合、深さ映像に表現された被写体の深さ値は、実際の深さ値よりも小さいことがある。これは深さ映像生成装置が測定できる最大距離よりも遠方に位置する被写体を測定可能な距離にあると見なして撮影するためである。但し、位相ラッピングが発生した回数を利用すれば、位相ラッピング現象が反映された深さ値を実際深さ値に補正することができる。
【００２８】
【数１】
0006309210.tif 000002
【００２９】
数式（１）は、３次元空間上で相似三角形の公式を用いて位相ラッピングが発生する前の深さ値を算出する形に定義される。ここで、
【００３０】
【数２】
0006309210.tif 000003
は深さ映像の任意のピクセルｉで変調周波数ｆに測定した３次元座標値であり、
【００３１】
【数３】
0006309210.tif 000004
は位相ラッピングが発生する前の３次元座標値である。そして、niは０を含む正の整数であり、任意のピクセルｉで位相ラッピングが発生した回数を示す。また、ｃは光の速度であり、
【００３２】
【数４】
0006309210.tif 000005
は、深さ映像生成装置が変調周波数ｆの光を用いて測定できる最大距離である。
【００３３】
【数５】
0006309210.tif 000006
は３次元空間上の原点から
【００３４】
【数６】
0006309210.tif 000007
までの距離を示す。
【００３５】
分離された深さ映像で位置が同一のピクセルは同じ地点の距離を測定しているため、
【００３６】
【数７】
0006309210.tif 000008
は同じ値を有し得る。ここで、niとmiは０を含む正の整数である。正確なniとmiの値は、
【００３７】
【数８】
0006309210.tif 000009
の距離差で定義される
【００３８】
【数９】
0006309210.tif 000010
の値を最小化してもよい。
【００３９】
【数１０】
0006309210.tif 000011
数式（２）は、
【００４０】
【数１１】
0006309210.tif 000012
の最小値を算出する形に定義される。ここで、Di(ni)は
【００４１】
【数１２】
0006309210.tif 000013
の最小値を示す。miが０からＭ（任意の正の整数）までの値を有すると仮定すれば、
【００４２】
【数１３】
0006309210.tif 000014
の値を最小化するniはDi(ni)の値を最小化してもよい。
【００４３】
【数１４】
0006309210.tif 000015
niが０からＮ（任意の正の整数）までの値を有すると仮定すると、数式（３）はDi(ni)の値を最小化するniを算出する形に定義される。すなわち、数式（３）はDi(ni)の値を用いてniを算出する形に定義される。
【００４４】
調整部３４０は、また、分離された深さ映像それぞれで同一の位置に対応するピクセルの深さ値と周辺ピクセルの深さ値に基づいた加重値を考慮して遠距離の深さ値を調整する。数式（３）におけるni値は、深さ映像に存在するノイズによって誤った値に算出されることもある。これを補完しようと調整部３４０は下記の数式（４）を用いる。
【００４５】
【数１５】
0006309210.tif 000016
【００４６】
数式（４）は、深さ映像に含まれたノイズによってniが間違って算出されることを防ぐために、周辺ピクセルの深さ値に基づいた加重値を考慮してniを算出する形に定義される。すなわち、数式（４）は、周辺ピクセルの深さ値に基づいた加重値を考慮し、算出された
【００４７】
【数１６】
0006309210.tif 000017
の値を最小化するniを算出する形に定義される。
【００４８】
任意のピクセルｉの周辺ピクセルがピクセルｉのniに対応するｎ値をもってniとｎの値が同一であると仮定すれば、数式（４）を用いてniを算出することができる。ここで、Ｎｉはピクセルｉを含む周辺ピクセルの集合であり、wijは任意のピクセルｉで測定された深さ値とピクセルｉの周辺ピクセルのピクセルｊで測定された深さ値の類似程度に応じて決定される加重値である。
【００４９】
そして、調整部３４０は、分離された深さ映像それぞれで全てのピクセルの３次元座標値の差に基づいた費用関数の値を最小化して遠距離の深さ値を調整する。例えば、調整部３４０は、数式（５）と数式（６）のような費用関数の値を最小化するniを算出して遠距離の深さ値を調整する。
【００５０】
【数１７】
0006309210.tif 000018
数式（５）と数式（６）において、Ｖはピクセルｉのni値とni値に対応するピクセルｊのnj値の類似度に基づいて決定される関数に定義される。Ｖ関数は隣接する２つのピクセル間の深さ値を類似にする目的関数であり、映像の全体単位に最適化を行うとき用いられる。
【００５１】
以上のniを算出する過程はmiを算出する場合にも適用することができる。
【００５２】
調整部３４０は、上記の数式（４）、数式（５）、または数式（６）を用いてniの値を算出してもよく、実際の被写体までの距離は、ピクセルで測定された深さ値ｒにniと
【００５３】
【数１８】
0006309210.tif 000019
の積を合わせて算出してもよい。
【００５４】
合成部３５０は、遠距離の深さ値が調整された深さ映像を合成する。具体的に、合成部３５０は、分離された深さ映像のピクセルのうち補間されないピクセルの深さ値を組み合わせて深さ映像を合成する。言い換えれば、調整部３４０が深さ値が復元された深さ映像を用いて遠距離の深さ値を調整した後、合成部３５０は、初めから深さ値が存在するピクセルを組み合わせてもよい。合成部３５０は、前述した過程によって被写体の境界付近で深さ値の正確性を向上したり、深さ映像のノイズを最小化することができる。
【００５５】
図４Ａ〜図４Ｃは、一実施形態に係る互いに異なる変調周波数で動作する光源が配列された一例を示す図である。図４Ａ〜図４Ｃに示すように、深さ映像生成装置４１０は、任意の変調周波数ｆ１で動作する光源４２０と任意の変調周波数ｆ２で動作する光源４３０を含む。変調周波数ｆ１で動作する光源４２０は変調周波数ｆ１の光を被写体に照射してもよく、変調周波数ｆ２で動作する光源４３０は変調周波数ｆ２の光を被写体に照射してもよい。
【００５６】
光源４２０、４３０は、配列方法によって図４Ａに示す水平構造、図４Ｂに示す垂直構造、または、図４Ｃに示す格子構造に配列されてもよい。但し、光源４２０、４３０の配列方式は上記の実施形態に限定されず、様々な形態を有してもよい。
【００５７】
図５Ａ〜図５Ｃは、一実施形態に係る互いに異なる変調周波数に対応するピクセルが配列された一例を示す図である。図５Ａ〜図５Ｃに示すように、深さ映像生成装置は、任意の変調周波数ｆ１に対応するピクセル５１０と任意の変調周波数ｆ２に対応するピクセル５２０を含む。光源で照射された光は、被写体に反射してピクセル５１０、５２０で検出される。変調周波数ｆ１に対応するピクセル５１０で変調周波数ｆ１の光が検出されてもよく、変調周波数ｆ２に対応するピクセル５２０で変調周波数ｆ２の光が検出されてもよい。
【００５８】
ピクセル５１０、５２０は、配列方法によって図５Ａに示す水平構造、図５Ｂに示す垂直構造、または、図５Ｃに示す格子構造に配列されてもよい。但し、ピクセル５１０、５２０の配列方式は上記の実施形態に限定されず、様々な形態を有してもよい。
【００５９】
図６は、一実施形態に係る深さ映像生成装置が生成した深さ映像の一例を示す図である。図６に示すように、深さ映像生成装置が生成した深さ映像は、被写体までの距離を映像の明暗を調整して表現したことが分かる。図６に示す深さ映像は、測定された被写体までの距離が近いほど明暗が濃く表現される。
【００６０】
深さ映像生成装置が生成した深さ映像は、ピクセルで測定した光量に基づいて算出された深さ値が混合された形態であってもよい。生成された深さ映像には、位相ラッピングの現象により実際の深さ値と異なる深さ値を有する領域が存在してもよい。ここで、間違って算出された深さ値を実際の深さ値に補正するための処理過程が求められる。
【００６１】
図７は、一実施形態に係る深さ映像を互いに異なる変調周波数に対応するピクセル領域に分離する一例を示す図である。図７に示すように、深さ映像処理装置は、互いに異なる変調周波数を用いて生成された深さ映像のピクセル領域７１０を互いに異なる変調周波数に対応するピクセル領域７２０、７３０に分離してもよい。
【００６２】
深さ映像生成装置が生成した深さ映像のピクセル領域７１０は、変調周波数ｆ１に対応するピクセル７４０と変調周波数ｆ２に対応するピクセル７６０を含む。深さ映像処理装置は、変調周波数ｆ１と変調周波数ｆ２を基準にしてピクセル領域７１０を分離してもよく、変調周波数に応じて分離されたピクセル領域７２０、７３０は深さ値が存在しないピクセル７５０を含んでもよい。
【００６３】
すなわち、新しく分離されたピクセル領域７２０、７３０において異なる変調周波数に対応するピクセルは、深さ値が存在しないピクセル７５０で構成されてもよい。
【００６４】
図８は、一実施形態に係る深さ映像を補間して深さ値を復元する一例を説明するための図である。図８に示すように、深さ映像処理装置は、深さ値が存在しないピクセル８２０の深さ値を周辺ピクセル８１０、８３０を用いて算出する。例えば、深さ映像処理装置は、深さ値が存在しないピクセル８２０と周辺ピクセル８１０、８３０間の距離に基づいた加重値を考慮してピクセル８２０の深さ値を算出する。但し、ここで、周辺ピクセルは上の実施形態に限定されず、深さ値が存在しないピクセル８２０と隣接する全てのピクセルが当該する。
【００６５】
ピクセル８２０の深さ値はの下記の数式（７）と数式（８）を用いて算出される。
【００６６】
【数１９】
0006309210.tif 000020
数式（７）は、変調周波数ｆ１に対応する任意のピクセルｉで測定したＺ軸方向の深さ値
【００６７】
【数２０】
0006309210.tif 000021
を算出するための式に定義される。数式（８）は、変調周波数ｆ２に対応する任意のピクセルｊで測定したＺ軸方向の深さ値
【００６８】
【数２１】
0006309210.tif 000022
を算出するための式に定義される。ここで、Ｚ軸方向は深さ映像生成装置の正面を示す方向であり、wijはピクセルｉの深さ値を生成するためにピクセルｊの深さ値に適用する加重値である。
【００６９】
Ｚ軸方向の深さ値が算出されれば、３次元ポイントの残りＸ、Ｙ方向の座標はカメラ行列の固有パラメータを用いて算出してもよい。
【００７０】
図９は、一実施形態に係る深さ値が復元されたピクセル領域の一例を示す図である。図９に示すように、深さ映像処理装置は、深さ値が存在しないピクセル９５０の深さ値を復元して全体領域で深さ値を有するピクセル領域９３０、９４０を生成する。
【００７１】
ピクセル領域９１０は、変調周波数ｆ１に対応するピクセル９６０と深さ値を有しないピクセル９５０を共に含んでもよい。また、ピクセル領域９２０は、変調周波数ｆ２に対応するピクセル９７０と深さ値を有しないピクセル９５０を共に含んでもよい。深さ映像処理装置は、周辺ピクセルの深さ値を用いて深さ値を復元したり、深さ値が存在しないピクセル９５０と周辺ピクセルとの間の距離に基づいた加重値を考慮してピクセル９５０の深さ値を復元する。
【００７２】
図１０は、図９に示すピクセル領域９１０、９２０、９３０、９４０を深さ映像に表した一例を示す図である。図１０に示す深さ映像１０１０は図９に示すピクセル領域９１０に対応する。図９に示すピクセル領域９１０、９２０は深さ値を有しないピクセル９５０を含む。したがって、図９に示すピクセル領域９１０、９２０の深さ値を表した深さ映像１０１０、１０２０には深さ値が表現されない領域１０５０が存在する。
【００７３】
深さ映像処理装置は、深さ値が存在しないピクセルの深さ値を復元して全体領域で深さ値を有する深さ映像を表す。深さ値が存在しないピクセルの深さ値を復元して全体領域で深さ値を有する深さ映像が、図１０に示す深さ映像１０３０、１０４０に図示されている。深さ値の復元過程を経て生成された深さ映像１０３０、１０４０は、深さ値が表現されていない領域１０５０でも深さ値を有することができる。
【００７４】
図１１は、一実施形態に係る遠距離の深さ値を調整して深さ映像を表現する一例を示す図である。
【００７５】
深さ映像処理装置は、互いに異なる変調周波数に基づいて分離された深さ映像で深さ値が存在しないピクセルの深さ値を復元する。深さ値の復元された深さ映像１１１０が図１１に図示されている。図１１に示す深さ映像１１１０、１１２０では被写体までの測定された距離が近いほど明暗が濃く表現されている。深さ映像１１１０で領域１１３０が実際の被写体との距離が異なるように測定された領域であれば、これを実際深さ値に調整する必要がある。
【００７６】
すなわち、深さ映像１１１０で領域１１３０は、測定された距離よりも遠方に被写体が位置するにも関わらず、被写体が近いところに位置するものと表現されることがある。深さ映像処理装置はこの補正のために、分離された深さ映像それぞれで同一の位置に対応するピクセルの３次元座標値の差を用いて遠距離の深さ値を調整する。または、深さ映像処理装置は、分離された深さ映像それぞれで同一の位置に対応するピクセルの深さ値と周辺ピクセルの深さ値に基づいた加重値を考慮して遠距離の深さ値を調整してもよい。
【００７７】
上記のような方法によって遠距離の深さ値を調整した結果が深さ映像１１２０に図示されている。深さ映像１１２０では、領域１１３０の深さ値が調整されて表現されている。すなわち、深さ映像１１２０では、実際深さ値に応じて明暗の表現が修正されて領域１１３０の明暗が明るく表現されている。
【００７８】
図１２は、一実施形態に係る深さ映像のピクセルのうち補間されないピクセルの深さ値を組み合わせる一例を示す図である。図１２に示すように、深さ映像処理装置は、分離された深さ映像のピクセル領域１２１０、１２２０のうち補間されないピクセルの深さ値を組み合わせて新しいピクセル領域１２３０を合成する。すなわち、深さ映像処理装置は、深さ値が復元された深さ映像を用いて遠距離の深さ値を調整した後、初めから深さ値が存在していたピクセルを組み合わせる。補間されないピクセルの深さ値を組み合わせて生成されたピクセル領域１２３０は、周辺ピクセルの深さ値に基づいて遠距離の深さ値が復元されたピクセルに構成されてもよい。
【００７９】
図１３は、図１２に示すピクセル領域を深さ映像で表現した一例を示す図である。図１３における各深さ映像１３１０、１３２０、１３３０は図１２に示す各ピクセル領域１２１０、１２２０、１３３０に対応する。
【００８０】
深さ映像処理装置は、補間されないピクセルの深さ値を組み合わせて境界付近で深さ値の正確性を向上することができる。例えば、深さ値が存在しないピクセルの深さ値を補間する過程において境界付近の深さ値は大きい誤差を有することがある。しかし、深さ映像処理装置は、深さ値が復元されていないピクセルの深さ値を組み合わせる方式を用いて境界付近で深さ値をより正確に表現することができる。また、深さ映像処理装置は上記の方法を用いて深さ映像のノイズを最小化することができる。
【００８１】
深さ映像１３１０、１３２０では深さ値が復元されたピクセルによって境界付近で誤差を有することがある。具体的に、境界付近における深さ値の変化は相対的に他の領域よりも大きいことがある。ここで、周辺ピクセルの深さ値を用いて深さ値が存在しないピクセルの深さ値を復元する過程を行うと、深さ映像で境界付近ピクセルの深さ値に誤差が発生することがある。
【００８２】
このような誤差を減少するために深さ映像処理装置は深さ値が復元されていないピクセルの深さ値を組み合わせて境界付近で誤差の減少された深さ映像１３３０を表現することができる。また、上記の過程によって深さ映像処理装置は高画質の深さ値を有する深さ映像を表現することができる。
【００８３】
図１４は、一実施形態に係る深さ映像を生成する動作を示すフローチャートである。
【００８４】
ステップＳ１４１０において、深さ映像生成装置は互いに異なる変調周波数の光を被写体に照射する。または、深さ映像生成装置は、互いに異なる変調周波数で動作する少なくとも１つの光源から出力された光を被写体に照射してもよい。互いに異なる変調周波数で動作する光源は、水平構造、垂直構造、または格子構造のいずれか１つの構造に構成されてもよい。
【００８５】
ステップＳ１４２０において、深さ映像生成装置は、被写体に反射された互いに異なる変調周波数の光を検出する。または、深さ映像生成装置は、互いに異なる変調周波数に対応する少なくとも１つのピクセルを用いて光を検出してもよい。互いに異なる変調周波数に対応するピクセルは、水平構造、垂直構造、または格子構造のいずれか１つの構造に構成されてもよい。
【００８６】
ステップＳ１４３０において、深さ映像生成装置は、互いに異なる変調周波数の光を用いて被写体までの距離に関連する深さ映像を生成する。深さ映像生成装置は、被写体に照射された光の強度と被写体で反射された光の強度を用いて被写体までの距離を算出することができる。
【００８７】
図１５は、一実施形態に係る深さ映像を処理する動作を示すフローチャートである。
【００８８】
ステップＳ１５１０において、深さ映像処理装置は、互いに異なる変調周波数に基づいて深さ映像を分離する。例えば、深さ映像処理装置は、それぞれの異なる変調周波数の信号を検出する空間上と混合されたピクセルによって取得された一枚の二重周波数（ｄｕａｌ−ｆｒｅｑｕｅｎｃｙ）深さ映像を用いて互いに異なる変調周波数で取得された２つの深さ映像を生成してもよい。または、深さ映像処理装置は、深さ映像を互いに異なる変調周波数に対応するピクセル領域に分離してもよい。
【００８９】
ステップＳ１５２０において、深さ映像処理装置は、互いに異なる変調周波数に基づいて分離された深さ映像を補間して深さ値を復元する。具体的に、深さ映像処理装置は、互いに異なる変調周波数ごとに分離された深さ映像で深さ値が存在しない現在ピクセルの深さ値を復元する。または、深さ映像処理装置は、深さ値が存在しない現在ピクセルの周辺ピクセルを用いて現在ピクセルの深さ値を復元したり、深さ値が存在しない現在ピクセルと周辺ピクセルとの間の距離に基づいた加重値を考慮して現在ピクセルの深さ値を復元してもよい。
【００９０】
ステップＳ１５３０において、深さ映像処理装置は、深さ値が復元された深さ映像を用いて遠距離の深さ値を調整する。具体的に、深さ映像処理装置は、分離された深さ映像それぞれで同一の位置に対応するピクセルの３次元座標値の差を用いて遠距離の深さ値を調整する。そして、深さ映像処理装置は、分離された深さ映像それぞれで同一の位置に対応するピクセルの深さ値と周辺ピクセルの深さ値に基づいた加重値を考慮して遠距離の深さ値を調整する。また、深さ映像処理装置は、分離された深さ映像それぞれで全てのピクセルの３次元座標値の差に基づいた費用関数の値を最小化して遠距離の深さ値を調整してもよい。
【００９１】
ステップＳ１５４０において、深さ映像処理装置は、遠距離の深さ値が調整された深さ映像を合成する。具体的に、深さ映像処理装置は、分離された深さ映像のピクセルのうち、補間されないピクセルの深さ値を組み合わせて深さ映像を合成することができる。深さ映像処理装置は、これによって境界付近で深さ値の正確性を向上させ得る。
【００９２】
実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアのレイヤで動作するように構成されてもよい。
【００９３】
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
【００９４】
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【００９５】
１１０、２１０、４１０  深さ映像生成装置
１２０、３１０  深さ映像処理装置
２２０  照射部
２３０  検出部
２４０  生成部
３２０  分離部
３３０  復元部
３４０  調整部
３５０  合成部
４２０、４３０  光源
５１０、５２０、７４０、７５０、７６０、８１０、８２０、８３０、９５０、９６０  ピクセル
７１０、７２０、７３０、９１０、９２０、９３０、９４０、１２１０、１２２０、１３３０  ピクセル領域
１０１０、１０２０、１０３０、１０４０、１１１０、１１２０、１３１０、１３２０、１３３０  深さ映像
１１３０  領域
【図１】
0006309210.tif 000023
【図２】
0006309210.tif 000024
【図３】
0006309210.tif 000025
【図４Ａ】
0006309210.tif 000026
【図４Ｂ】
0006309210.tif 000027
【図４Ｃ】
0006309210.tif 000028
【図５Ａ】
0006309210.tif 000029
【図５Ｂ】
0006309210.tif 000030
【図５Ｃ】
0006309210.tif 000031
【図６】
0006309210.tif 000032
【図７】
0006309210.tif 000033
【図８】
0006309210.tif 000034
【図９】
0006309210.tif 000035
【図１０】
0006309210.tif 000036
【図１１】
0006309210.tif 000037
【図１２】
0006309210.tif 000038
【図１３】
0006309210.tif 000039
【図１４】
0006309210.tif 000040
【図１５】
0006309210.tif 000041