(57)【要約】奥行き撮像装置は、第１の奥行き撮像技術を用いて第１の奥行き画像を生成し、且つ第１の奥行き撮像技術とは異なる第２の奥行き撮像技術を用いて第２の奥行き画像を生成するように構成される。第１及び第２の奥行き画像の少なくとも一部がマージされて第３の奥行き画像が形成される。奥行き撮像装置は少なくとも１つのセンサを含み、そのセンサは、第１及び第２の奥行き撮像技術により少なくとも部分的に共用される単一共通センサを含み、その結果、第１及び第２の奥行き画像の双方が、単一共通センサから取得されたデータを用いて少なくとも部分的に生成される。一例として、第１の奥行き画像は、構造光（ＳＬ）奥行き撮像技術を用いて生成されたＳＬ奥行きマップからなることができ、第２の奥行き画像は、飛行時間（ＴｏＦ）奥行き撮像技術を用いて生成されたＴｏＦ奥行きマップからなることができる。【選択図】図１
2016510396.tif 000002
【特許請求の範囲】
【請求項１】
第１の奥行き撮像技術を用いて第１の奥行き画像を生成し、
前記第１の奥行き撮像技術とは異なる第２の奥行き撮像技術を用いて第２の奥行き画像を生成し、
第３の奥行き画像を形成するために前記第１及び第２の奥行き画像の少なくとも一部をマージすることを含み、
前記第１及び第２の奥行き画像の双方が、奥行き撮像装置の単一共通センサから取得されたデータを用いて、少なくとも部分的に生成される、方法。
【請求項２】
前記第１の奥行き画像が、構造光奥行き撮像技術を用いて生成された構造光奥行きマップからなり、前記第２の奥行き画像が、飛行時間奥行き撮像技術を用いて生成された飛行時間奥行きマップからなる、請求項１に記載の方法。
【請求項３】
前記第１及び第２の奥行き画像が、前記単一共通センサの複数のセンサセルからなる個々の異なる第１及び第２のサブセットを用いて少なくとも部分的に生成される、請求項１に記載の方法。
【請求項４】
前記第１の奥行き画像が、前記単一共通センサの複数のセンサセルからなる指定されたサブセットを用いて少なくとも部分的に生成され、前記第２の奥行き画像が、前記指定されたサブセットの前記センサセルを用いずに生成される、請求項１に記載の方法。
【請求項５】
前記第１及び第２の奥行き画像を生成することが、前記共通センサの所与のセルに対して、
前記所与のセルからの振幅情報を受け取り、
位相情報を生成するために前記振幅情報を復調し、
前記位相情報を用いて飛行時間奥行き推定値を生成し、
前記振幅情報を用いて飛行時間信頼性推定値を生成し、
前記所与のセルから輝度情報を受け取り、
前記輝度情報を用いて構造光奥行き推定値を生成し、
前記輝度情報を用いて構造光信頼性推定値を生成することを含む、請求項２に記載の方法。
【請求項６】
前記飛行時間奥行き推定値および前記構造光奥行き推定値、並びに対応する前記飛行時間信頼性推定値および前記構造光信頼性推定値に基づいて、前記所与のセルの局所的奥行き推定値を生成することを更に含む、請求項５に記載の方法。
【請求項７】
前記構造光奥行き推定値および対応する前記構造光信頼性推定値を生成することが、
前記輝度情報を用いて、推定された構造光輝度情報を生成し、
前記推定された構造光輝度情報を用いて前記構造光奥行き推定値を生成し、
前記輝度情報を用いて、前記構造光信頼性推定値を生成することを含む、請求項５に記載の方法。
【請求項８】
前記所与のセルについて求められ且つ１つ又は複数の追加のセルについて同様に求められる際に、前記飛行時間奥行き推定値および前記構造光奥行き推定値、並びに対応する前記飛行時間信頼性推定値および前記構造光信頼性推定値に基づいて、前記センサの前記所与のセル及び前記１つ又は複数の追加のセルについて、広範囲の奥行き推定値を生成することを更に含む、請求項５に記載の方法。
【請求項９】
前記第１及び第２の奥行き画像を生成することが、
前記共通センサの第１の複数のセルを用いて得られた構造光奥行き情報の組み合わせとして前記構造光奥行きマップを生成し、
前記共通センサの第２の複数のセルを用いて得られた飛行時間奥行き情報の組み合わせとして前記飛行時間奥行きマップを生成し、
前記構造光奥行きマップ及び前記飛行時間奥行きマップのそれぞれの分解能を実質的に等しくするように、前記構造光奥行きマップ及び前記飛行時間奥行きマップの少なくとも一方を前処理し、
前記実質的に等しくされた前記構造光奥行きマップ及び前記飛行時間奥行きマップをマージして、マージされた奥行きマップを生成することを含む、請求項２に記載の方法。
【請求項１０】
前記前処理することが、
対応する前記奥行きマップにおいて特定のピクセルを特定し、
前記特定のピクセルに対するピクセルの近隣部を特定し、
前記ピクセルの近隣部における個々のピクセルの奥行き値に基づいて、前記特定のピクセルの奥行き値を内挿することを含む、請求項９に記載の方法。
【請求項１１】
内部に組み込まれたコンピュータプログラムコードを有するコンピュータ可読記憶媒体であって、前記コンピュータプログラムコードが、奥行き撮像装置を含む画像処理システムにおいて実行される場合に、前記画像処理システムに請求項１に記載の方法を実行させる、コンピュータ可読記憶媒体。
【請求項１２】
少なくとも１つのセンサを含む奥行き撮像装置を含み、
前記奥行き撮像装置が、第１の奥行き撮像技術を用いて第１の奥行き画像を生成し、且つ前記第１の奥行き撮像技術とは異なる第２の奥行き撮像技術を用いて第２の奥行き画像を生成するように構成され、
第３の奥行き画像を形成するために、前記第１及び第２の奥行き画像のそれぞれの少なくとも一部がマージされ、
前記少なくとも１つのセンサが、前記第１及び第２の奥行き撮像技術により少なくとも部分的に共用される単一共通センサからなり、その結果、前記第１及び第２の奥行き画像の双方が、前記単一共通センサから取得されたデータを用いて少なくとも部分的に生成される、装置。
【請求項１３】
前記第１の奥行き画像が、構造光奥行き撮像技術を用いて生成された構造光奥行きマップからなり、前記第２の奥行き画像が、飛行時間奥行き撮像技術を用いて生成された飛行時間奥行きマップからなる、請求項１２に記載の装置。
【請求項１４】
前記奥行き撮像装置が、構造光奥行き撮像技術に従って出力光を生成するように構成された第１の放出器と、飛行時間奥行き撮像技術に従って出力光を生成するように構成された第２の放出器とを更に含む、請求項１２に記載の装置。
【請求項１５】
前記奥行き撮像装置が少なくとも１つの放出器を含み、前記少なくとも１つの放出器が、構造光奥行き撮像技術および飛行時間奥行き撮像技術の双方に従って出力光を生成するように構成された単一共通放出器からなる、請求項１２に記載の装置。
【請求項１６】
前記奥行き撮像装置が、前記単一共通センサの複数のセンサセルからなる個々の異なる第１及び第２のサブセットを用いて少なくとも部分的に前記第１及び第２の奥行き画像を生成するように構成されている、請求項１２に記載の装置。
【請求項１７】
前記奥行き撮像装置が、前記単一共通センサの複数のセンサセルからなる指定されたサブセットを用いて少なくとも部分的に前記第１の奥行き画像を生成し、且つ前記指定されたサブセットの前記センサセルを用いずに前記第２の奥行き画像を生成するように構成されている、請求項１２に記載の装置。
【請求項１８】
前記単一共通センサが、複数の構造光センサセル及び複数の飛行時間センサセルを含む、請求項１２に記載の装置。
【請求項１９】
前記単一共通センサが、結合型構造光および飛行時間センサセルである少なくとも１つのセンサセルを含む、請求項１２に記載の装置。
【請求項２０】
画像処理システムであって、
少なくとも１つの処理デバイスと、
前記処理デバイスと関連付けられ、少なくとも１つのセンサを含む奥行き撮像装置とを含み、
前記奥行き撮像装置が、第１の奥行き撮像技術を用いて第１の奥行き画像を生成し、且つ前記第１の奥行き撮像技術とは異なる第２の奥行き撮像技術を用いて第２の奥行き画像を生成するように構成され、
第３の奥行き画像を形成するために、前記第１及び第２の奥行き画像のそれぞれの少なくとも一部がマージされ、
前記少なくとも１つのセンサが、前記第１及び第２の奥行き撮像技術により少なくとも部分的に共用される単一共通センサからなり、その結果、前記第１及び第２の奥行き画像の双方が、前記単一共通センサから取得されたデータを用いて少なくとも部分的に生成される、画像処理システム。
【請求項２１】
請求項２０に記載の画像処理システムを含むジェスチャー検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本分野は概して、画像処理に関し、より具体的には奥行き画像の処理に関する。
【０００２】
背景
リアルタイムに空間的シーンの三次元（３Ｄ）画像を生成するための多数の異なる技術が知られている。例えば、空間的シーンの３Ｄ画像は、各カメラがシーンの異なる視界を有するように構成された個々のカメラによりキャプチャされた複数の二次元（２Ｄ）画像に基づいた三角測量（triangulation：三角形分割）を用いて生成され得る。しかしながら、そのような技術の重大な欠点は、それが一般に非常に集約的な演算処理を必要とし、それ故にコンピュータ又は他の処理デバイスの過大な量の利用可能な計算資源を浪費する可能性があることである。また、そのような技術を使用する場合、不十分な周囲照明を含む条件下で正確な３Ｄ画像を生成することが困難である可能性がある。
【０００３】
他の知られた技術には、構造光（structured light：ＳＬ）カメラ又は飛行時間（time of flight：ＴｏＦ）カメラのような奥行き撮像装置を用いて３Ｄ画像を直接的に生成することが含まれる。このタイプのカメラは通常、コンパクトであり、迅速な画像生成を行い、電磁スペクトルの近赤外線部分で動作する。結果として、ＳＬ及びＴｏＦカメラは一般に、ビデオゲームシステムにおけるジェスチャー認識またはジェスチャーによるヒューマンマシンインターフェースを実現する他のタイプの画像処理システムのような、機械視覚の応用形態で使用される。また、ＳＬ及びＴｏＦカメラは、例えば顔検出、及び一人または複数の人間の追跡を含む多種多様な他の機械視覚の応用形態でも利用され得る。
【０００４】
ＳＬカメラ及びＴｏＦカメラは、異なる物理的原理を用いて動作し、結果として奥行き撮像（画像形成）に関して異なる利点および欠点を呈する。
【０００５】
典型的な従来のＳＬカメラは、少なくとも１つの放出器および少なくとも１つのセンサを含む。放出器は、シーンの被写体（物体）上へ指定された光パターンを投影するように構成される。光パターンは、線またはスポットのような複数のパターン要素を含む。対応する反射パターンは、放出器とセンサが被写体の異なる視野を有するので、センサにおいて歪んだように見える。三角測量の手法を用いて、被写体の表面形状の正確な幾何学的再構成の位置を決定する。しかしながら、放出器により投影された光パターンの特性に起因して、センサにおいて受け取られた対応する反射光パターンの要素とシーンの特定の点との間の関連性を確立することは非常に容易であり、それにより異なるカメラからの複数の２Ｄ画像を用いた三角測量に関連した多くの厄介な計算が回避される。
【０００６】
それにも関わらず、ＳＬカメラは、ｘ及びｙ次元において固有の精度の問題を有し、その理由は、光パターンを用いた三角測量の手法は、高い分解能（解像度）を達成するためにパターンサイズを任意に微細粒状化することができないからである。また、眼球損傷を防止するために、全パターンにわたる全体的な放出電力、並びに各パターン要素（例えば、線またはスポット）における空間的および角度的電力密度は制限される。従って、結果としての画像は、低い信号対雑音比を呈し、潜在的に多くの奥行きアーチファクトを含む制限された品質の奥行きマップのみを提供する。
【０００７】
ＴｏＦカメラは一般に、ＳＬカメラよりも精密にｘ−ｙ座標を求めることができるが、ＴｏＦカメラも、空間分解能に関して、特に奥行き測定値またはｚ座標に関して問題を有する。従って、従来の技術では、ＴｏＦカメラは一般に、ＳＬカメラよりも良好なｘ−ｙ分解能を提供するが、ＳＬカメラは一般に、ＴｏＦカメラよりも良好なｚ分解能を提供する。
【０００８】
ＳＬカメラと同様に、典型的な従来のＴｏＦカメラも、少なくとも１つの放出器および少なくとも１つのセンサを含む。しかしながら、放出器は、実質的に一定の振幅および周波数を有する連続波（ＣＷ）出力光を生成するように制御される。パルスによる変調、多周波変調および符号化パルス変調を含む他の変形態様が、知られており、奥行き撮像の精度を改善するために又はＣＷの場合に関して複数のカメラ間の相互干渉を低減するように、一般に構成される。
【０００９】
これら及び他のＴｏＦ構成において、出力光は、撮像されるべきシーンを照明し、シーンの被写体により散乱または反射される。結果としての戻り光は、センサにより検出され、奥行きマップ又は他のタイプの３Ｄ画像を生成するために利用される。センサは、照明されたシーン全体から反射された光を一度に受け取り、対応する時間遅延を測定することにより各点までの距離を推定する。より具体的には、これは例えば、シーンの被写体までの距離を求めるために出力光と戻り光との間の位相差を利用することを含む。
【００１０】
奥行き測定値は一般に、アナログ回路における非常に高速なスイッチング及び時間積分を必要とする技術を用いてＴｏＦカメラにおいて生成される。例えば、各センサのセルは、フォトニックセンサとピコ秒スイッチ及び高精度積分コンデンサを組み合わせる複雑なアナログ集積半導体デバイスからなり、センサ光電流の時間積分による測定ノイズを最小限に抑えることができる。三角測量の使用に関連した欠点は避けられるが、複雑なアナログ回路の必要性は、各センサセルに関連したコストを増大させる。結果として、所与の実用的な具現化形態において使用され得るセンサセルの数が制限され、それにより奥行きマップの実現可能な品質が制限される可能性があり、やはり多数の奥行きアーチファクトを含む可能性がある画像の原因となる。
【００１１】
概要
一実施形態において、奥行き撮像装置は、第１の奥行き撮像技術を用いて第１の奥行き画像を生成し、且つ第１の奥行き撮像技術とは異なる第２の奥行き撮像技術を用いて第２の奥行き画像を生成するように構成される。第１及び第２の奥行き画像のそれぞれの少なくとも一部がマージされて第３の奥行き画像が形成される。奥行き撮像装置は少なくとも１つのセンサを含み、少なくとも１つのセンサは、第１及び第２の奥行き撮像技術により少なくとも部分的に共用される単一共通センサを含み、その結果、第１及び第２の奥行き画像の双方が、単一共通センサから取得されたデータを用いて少なくとも部分的に生成される。単なる例示のために、第１の奥行き画像は、ＳＬ奥行き撮像技術を用いて生成されたＳＬ奥行きマップからなることができ、第２の奥行き画像は、ＴｏＦ奥行き撮像技術を用いて生成されたＴｏＦ奥行きマップからなることができる。
【００１２】
本発明の他の実施形態は、以下に限定されないが、方法、装置、システム、処理デバイス、集積回路、及び内部に組み入れられたコンピュータプログラムコードを有するコンピュータ可読記憶媒体を含む。
【図面の簡単な説明】
【００１３】
【図１】奥行きマップマージ機能と共に構成された奥行き撮像装置を含む画像処理システムの実施形態のブロック図である。
【図２】図１の奥行き撮像装置の個々の実施形態において実現される例示的なセンサを示す図である。
【図３】図１の奥行き撮像装置の個々の実施形態において実現される例示的なセンサを示す図である。
【図４】所与の奥行き撮像装置センサの単一のセルに関連し、図１の奥行き撮像装置の実施形態において局所的奥行き推定値を提供するように構成されたデータ取得モジュールの一部を示す図である。
【図５】図１の奥行き撮像装置の実施形態において広範囲の奥行き推定値を提供するように構成されたデータ取得モジュール及び関連する奥行きマップ処理モジュールを示す図である。
【図６】図５の奥行きマップ処理モジュールにおいて処理される例示的な奥行き画像における所与の内挿されたピクセルの周りのピクセル近隣部に関する例を示す図である。
【００１４】
詳細な説明
本発明の実施形態は、個々のＳＬ及びＴｏＦ奥行き撮像技術のような個々の異なる奥行き撮像技術を用いて奥行き画像を生成し、結果としての奥行き画像が別の奥行き画像を形成するためにマージされるように構成された奥行き撮像装置を含む例示的な画像処理システムに関連して本明細書で説明される。例えば、本発明の実施形態は、従来のＳＬカメラ又はＴｏＦカメラにより生成されたものに比べて、高品質の奥行きマップ又は向上した奥行き分解能および少ない奥行きアーチファクトを有する他のタイプの奥行き画像を生成することができる奥行き撮像の方法および装置を含む。しかしながら、理解されるべきは、本発明の実施形態は、奥行きマップ又は他のタイプの奥行き撮像装置に改善された品質を提供することが望ましい任意の画像処理システム又は関連した奥行き撮像装置に対してより広く適用可能である。
【００１５】
図１は、本発明の実施形態の画像処理システム１００を示す。画像処理システム１００は、ネットワーク１０４を介して、複数の処理デバイス１０２−１、１０２−２、・・１０２−Ｎと通信する奥行き撮像装置１０１を含む。本実施形態の奥行き撮像装置１０１は、複数の異なるタイプの奥行き撮像機能、例示的にＳＬ奥行き撮像機能およびＴｏＦ奥行き撮像機能の双方を組み込む３Ｄ撮像装置を含むと仮定されるが、多種多様な他のタイプの奥行き撮像装置が他の実施形態において使用され得る。
【００１６】
奥行き撮像装置１０１は、奥行きマップ又はシーンの他の奥行き画像を生成し、ネットワーク１０４を介してこれら画像を１つ又は複数の処理デバイス１０２に伝える。処理デバイス１０２は、任意の組み合わせにおいて、コンピュータ、サーバ又は記憶デバイスを含むことができる。一例として、１つ又は複数の係るデバイスは、奥行き撮像装置１０１により生成された画像を提示するために利用されるディスプレイスクリーン又は様々な他のタイプのユーザインターフェースを含むことができる。
【００１７】
本実施形態において処理デバイス１０２から分離されているように示されるが、奥行き撮像装置１０１は、１つ又は複数の処理デバイスと少なくとも部分的に組み合わされ得る。従って、例えば、奥行き撮像装置１０１は、所与の１つの処理デバイス１０２を用いて少なくとも部分的に実現され得る。一例として、コンピュータは、奥行き撮像装置１０１を周辺装置として組み込むために構成され得る。
【００１８】
所与の実施形態において、画像処理システム１００は、ユーザのジェスチャー、又は他のユーザの動きを認識するために画像を生成するビデオゲームシステム又は他のタイプのジェスチャーを用いるシステムとして実現される。開示された撮像技術は同様に、ジェスチャーによるヒューマンマシンインターフェースを必要とする多種多様の他のシステムで使用するために適合されることができ、奥行き撮像装置からの奥行き画像を処理する顔検出、人物追跡または他の技術を含む機械視覚システムのような、ジェスチャー認識以外の多くの応用形態にも適用され得る。ロボット工学および他の工業用途における機械視覚システムを含むことが意図されている。
【００１９】
図１に示されたような奥行き撮像装置１０１は、１つ又は複数の放出器１０６及び１つ又は複数のセンサ１０８に結合された制御回路１０５を含む。放出器１０６の所与の１つは、例えばＬＥＤアレイに構成された複数のＬＥＤを含むことができる。係るＬＥＤのそれぞれは、「光源」として本明細書でより一般的に呼ばれるものの例である。放出器がＬＥＤアレイを含む実施形態において複数の光源が使用されるが、他の実施形態は単一の光源のみを含むことができる。また、理解されるべきは、ＬＥＤ以外の光源を使用してもよい。例えば、ＬＥＤの少なくとも一部は、他の実施形態において、レーザダイオード又は他の光源と置き換えられ得る。本明細書で使用されるような用語「放出器」は、１つ又は複数の光源の係る構成を全て包含するように幅広く解釈されることが意図されている。
【００２０】
制御回路１０５は例示的に、放出器１０６の光源のそれぞれに対して１つ又は複数の駆動回路を含む。従って、光源のそれぞれは、関連した駆動回路を有することができ、又は複数の光源は共通の駆動回路を共有することができる。本発明の実施形態に使用するのに適した駆動回路の例は、２０１２年１０月２３日に出願され、「Optical Source Driver Circuit for Depth Imager」と題する米国特許出願第１３／６５８，１５３号に開示されており、係る米国特許は、これにより共通に割り当てられ参照により本明細書に組み込まれる。
【００２１】
制御回路１０５は、特定の特性を有する出力光を生成するように、１つ又は複数の放出器１０６の光源を制御する。制御回路１０５の所与の駆動回路を利用して提供され得る出力光の振幅と周波数の変化に関する傾斜および階段状の例は、上記の米国特許出願第１３／６５８，１５３号に見出され得る。
【００２２】
従って、制御回路１０５の駆動回路は、従来の奥行き撮像装置に比べて奥行き撮像装置１０１に著しく改善された性能を提供するように、指定されたタイプの振幅と周波数の変化を有する駆動信号を生成するように構成され得る。例えば、そのような構成は、駆動信号の振幅と周波数だけではなく積分時間のウィンドウのような他のパラメータも特定の効率的な最適化を可能にするように構成され得る。
【００２３】
１つ又は複数の放出器１０６からの出力光は、撮像されるべきシーンを照明し、結果としての戻り光は、１つ又は複数のセンサ１０８を用いて検出され、次いで制御回路１０５及び奥行き撮像装置１０１の他の構成要素で更に処理されて、奥行きマップ又は他のタイプの奥行き画像が生成される。係る奥行き画像は例示的に、例えば３Ｄ画像からなることができる。
【００２４】
所与のセンサ１０８は、それぞれが半導体フォトニックセンサを含む複数のセンサセルからなる検出器アレイの形態で実現され得る。例えば、このタイプの検出器アレイは、電荷結合素子（ＣＣＤ）センサ、フォトダイオードマトリクス、又は複数の光検出器素子の他のタイプおよび構成からなることができる。センサセルの特定のアレイに関する例は、図２及び図３に関連して後述される。
【００２５】
本実施形態の奥行き撮像装置１０１は、少なくとも１つの処理デバイスを用いて実現されると仮定され、メモリ１１２に結合されたプロセッサ１１０を含む。プロセッサ１１０は、制御回路１０５を介して１つ又は複数の放出器１０６、及び１つ又は複数のセンサ１０８の動作の少なくとも一部を管理するために、メモリ１１２に格納されたソフトウェアコードを実行する。また、奥行き撮像装置１０１は、ネットワーク１０４を介した通信をサポートするネットワークインターフェース１１４も含む。
【００２６】
本実施形態における奥行き撮像装置１０１の他の構成要素は、データ取得モジュール１２０及び奥行きマップ処理モジュール１２２を含む。奥行き撮像装置１０１のデータ取得モジュール１２０及び奥行きマップ処理モジュール１２２を用いて実現される例示的な画像処理動作は、図４〜図６に関連してより詳細に後述される。
【００２７】
奥行き撮像装置１０１のプロセッサ１１０は例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、中央処理装置（ＣＰＵ）、数値演算ユニット（ＡＬＵ）、デジタル信号プロセッサ（ＤＳＰ）、又は他の類似した処理デバイスの構成要素、並びに画像処理回路の他のタイプ及び構成を任意の組み合せで含むことができる。
【００２８】
メモリ１１２は、データ取得モジュール１２０及び奥行きマップ処理モジュール１２２の少なくとも一方の一部のような、奥行き撮像装置１０１の機能の一部の実現においてプロセッサ１１０により実行するためのソフトウェアコードを格納する。
【００２９】
対応するプロセッサにより実行するためのソフトウェアコードを格納する所与の係るメモリは、内部に組み込まれたコンピュータプログラムコードを有するコンピュータ可読媒体または他のタイプのコンピュータプログラム製品として本明細書でより一般的に呼ばれるものの例であり、例えば、ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）、磁気メモリ、光メモリ、又は任意の組合せでの他のタイプの記憶デバイスのような、電子メモリを含むことができる。
【００３０】
上述したように、プロセッサ１１０は、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＣＰＵ、ＡＬＵ、ＤＳＰ、又は他の画像処理回路の一部または組み合わせを含むことができ、これら構成要素は、その用語が本明細書で幅広く使用されるメモリを含むと考えられる記憶回路を更に含むことができる。
【００３１】
従って、理解されるべきは、本発明の実施形態は、集積回路の形態で実現され得る。所与の係る集積回路の具現化形態において、同一のダイは一般に、半導体ウェハーの表面上で繰り返されたパターンで形成される。各ダイは例えば、本明細書で説明されるような奥行き撮像装置１０１の制御回路１０５及び場合によっては他の画像処理回路の少なくとも一部を含み、他の構造または回路を更に含むことができる。個々のダイは、ウェハーから切断またはダイシングされて、集積回路としてパッケージされる。当業者ならば、集積回路を製作するために、如何にしてウェハーをダイシングしてダイをパッケージするかを知っているであろう。そのように製造された集積回路は、本発明の実施形態とみなされる。
【００３２】
ネットワーク１０４は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、携帯電話ネットワーク、又は任意の他のタイプのネットワーク、並びに複数のネットワークの組み合わせのような、広域ネットワーク（ＷＡＮ）を含むことができる。奥行き撮像装置１０１のネットワークインターフェース１１４は、奥行き撮像装置１０１がネットワーク１０４を介して各処理デバイス１０２の類似したネットワークインターフェースと通信することを可能にするように構成された１つ又は複数の、従来のトランシーバ又は他のネットワークインターフェース回路を含むことができる。
【００３３】
本実施形態の奥行き撮像装置１０１は一般に、第１の奥行き撮像技術を用いて第１の奥行き画像を生成し、第１の奥行き撮像技術とは異なる第２の奥行き撮像技術を用いて第２の奥行き画像を生成するように構成される。次いで、第１及び第２の奥行き画像のそれぞれの少なくとも一部がマージされて、第３の奥行き画像が形成される。奥行き撮像装置１０１のセンサ１０８の少なくとも１つは、第１及び第２の奥行き撮像技術により少なくとも部分的に共用される単一共通センサであり、その結果、第１及び第２の奥行き画像の双方は、当該単一共通センサから取得されるデータを用いて少なくとも部分的に生成される。
【００３４】
一例として、第１の奥行き画像は、ＳＬ奥行き撮像技術を用いて生成されたＳＬ奥行きマップからなることができ、第２の奥行き画像は、ＴｏＦ奥行き撮像技術を用いて生成されたＴｏＦ奥行きマップからなることができる。従って、係る実施形態における第３の奥行き画像は、ＳＬ又はＴｏＦ奥行きマップを単独で用いて得られるものよりも高い品質の奥行き情報という結果になるように、単一共通センサを用いて生成されたＳＬ及びＴｏＦ奥行きマップをマージ（結合）する。
【００３５】
第１及び第２の奥行き画像は、単一共通センサの複数のセンサセルからなる個々の第１及び第２の異なるサブセットを用いて、少なくとも部分的に生成され得る。例えば、第１の奥行き画像は、単一共通センサの複数のセンサセルからなる指定されたサブセットを用いて少なくとも部分的に生成されることができ、第２の奥行き画像は、指定されたサブセットのセンサセルを用いずに生成され得る。
【００３６】
図１に示されたような画像処理システム１００の特定の構成は、単なる例示であり、他の実施形態のシステム１００は、特に図示されたこれらのものに加えて又はこれらの代わりに他の要素を含むことができ、そのようなシステムの従来の具現化形態において一般に見出されるタイプの１つ又は複数の要素を含む。
【００３７】
さて、図２及び図３を参照すると、上述した単一共通センサ１０８の例が示される。
【００３８】
図２に示されたようなセンサ１０８は、ＳＬセンサセル及びＴｏＦセンサセルを含むセンサセルのアレイの形態で構成された複数のセンサセル２００からなる。より具体的には、この６×６アレイの例は、４個のＳＬセンサセル及び３２個のＴｏＦセンサセルを含むが、理解されるべきは、この構成は単なる例示であり、図の明瞭化のために簡略化されている。センサセルの特定数およびアレイの寸法は、所与の用途に関する特定の必要性に対処するために変更され得る。また、各センサセルは、本明細書において画素または「ピクセル」とも呼ばれ得る。また、この用語は、個々のセンサセルを用いて生成された画像の要素を参照するためにも使用される。
【００３９】
図２は、合計で３６個のセンサセルを示し、それらの４個はＳＬセンサセルであり、それらの３２個はＴｏＦセンサセルである。より具体的には、センサセルの総数の約１／ＭがＳＬセンサセルであり、残りの（Ｍ−１）／Ｍ個のセンサセルがＴｏＦセンサセルであり、ここでＭは一般に約９であり、他の実施形態において他の値をとることができる。
【００４０】
留意されるべきは、ＳＬセンサセル及びＴｏＦセンサセルは、異なる構成を有することができる。例えば、ＳＬセンサセルのそれぞれは、ＳＬ奥行き撮像技術に従って、非変調光を処理するための直流（ＤＣ）検出器を含む半導体フォトニックセンサを含むことができるが、ＴｏＦセンサセルのそれぞれは、ＴｏＦ奥行き撮像技術に従って、無線周波数（ＲＦ）変調された光を処理するためのピコ秒スイッチ及び高精度積分コンデンサを含む異なるタイプのフォトニックセンサからなることができる。
【００４１】
代案として、センサセルのそれぞれは、実質的に同じように構成されることができ、この場合、センサセルがＳＬ奥行き撮像に使用されるか又はＴｏＦ奥行き撮像に使用されるかに応じて、所与の係るセンサセルのＤＣ又はＲＦ出力のみが更に処理される。
【００４２】
理解されるべきは、本実施形態において単一の放出器または複数の放出器からの出力光は一般に、ＤＣ成分およびＲＦ成分の双方を有する。例示的なＳＬ奥行き撮像技術において、処理は主として、平均値を得るために戻り光信号を時間にわたって積分することにより求められる際にＤＣ成分を利用することができる。例示的なＴｏＦ奥行き撮像技術において、処理は主として、同期ＲＦ復調器から得られた位相シフト値の形態でＲＦ成分を利用することができる。しかしながら、多くの他の奥行き撮像構成が他の実施形態において可能である。例えば、ＴｏＦ奥行き撮像技術は更に、場合によっては、その特定の特徴要素のセットに応じて、位相測定の信頼性推定において照明条件を求めるために、又は他の目的のためにＤＣ成分を使用することができる。
【００４３】
図２の実施形態において、ＳＬセンサセル及びＴｏＦセンサセルは、単一共通センサ１０８のセンサセル２００からなる個々の第１及び第２の異なるサブセットからなる。この実施形態において、ＳＬ及びＴｏＦ奥行き画像は、単一共通センサのセンサセルからなるこれら個々の第１及び第２の異なるサブセットを用いて生成される。この実施形態において、異なるサブセットは、ＳＬ奥行き画像がＳＬセルのみを用いて生成され且つＴｏＦ奥行き画像がＴｏＦセルのみを用いて生成されるように、ばらばらである。これは、第１の奥行き画像が単一共通センサの複数のセンサセルからなる指定されたサブセットを用いて少なくとも部分的に生成され、且つ第２の奥行き画像が指定されたサブセットのセンサセルを用いずに生成される構成の例である。他の実施形態において、サブセットは、ばらばらである必要はない。図３の実施形態は、ばらばらでない、センサセルの異なるサブセットを有するセンサの例である。
【００４４】
また、図３に示されたように、センサ１０８は、センサセルのアレイの形態で構成された複数のセンサセル２００からなる。しかしながら、この実施形態において、センサセルは、ＴｏＦセンサセル、並びに多数の結合型ＳＬ及びＴｏＦ（ＳＬ＋ＴｏＦ）センサセルを含む。より具体的には、この６×６アレイの例は、４個のＳＬ＋ＴｏＦセンサセル及び３２個のＴｏＦセンサセルを含むが、やはり理解されるべきは、この構成は、単なる例示であり、図の明瞭化のために簡略化されている。また、この実施形態において、ＳＬ及びＴｏＦ奥行き画像は、単一共通センサ１０８のセンサセル２００からなる個々の第１及び第２の異なるサブセットを用いて生成されるが、ＳＬ＋ＴｏＦセンサセルは、ＳＬ奥行き画像生成およびＴｏＦ奥行き画像生成の双方に使用される。従って、ＳＬ＋ＴｏＦセンサセルは、後続のＳＬ奥行き画像処理に使用するためのＤＣ出力および後続のＴｏＦ奥行き画像処理に使用するためのＲＦ出力の双方を生成するように構成される。
【００４５】
図２及び図３の実施形態は、本明細書において「センサ融合」とも呼ばれるものを示し、この場合、奥行き撮像装置１０１の単一共通センサ１０８を用いて、ＳＬ及びＴｏＦ奥行き画像の双方を生成する。他の実施形態において、多くの代替のセンサ融合構成が使用され得る。
【００４６】
奥行き撮像装置１０１は更に又は代案として、本明細書において「放出器融合」と呼ばれるものを実現することができ、この場合、奥行き撮像装置１０１の単一共通放出器１０６を用いて、ＳＬ及びＴｏＦ奥行き撮像のための出力光を生成する。従って、
奥行き撮像装置１０１は、ＳＬ奥行き撮像技術およびＴｏＦ奥行き撮像技術の双方に従って出力光を生成するように構成された単一共通放出器１０６を含むことができる。代案として、別個の放出器が異なる奥行き撮像技術に使用され得る。例えば、奥行き撮像装置１０１は、ＳＬ奥行き撮像技術に従って出力光を生成するように構成された第１の放出器１０６、ＴｏＦ奥行き撮像技術に従って出力光を生成するように構成された第２の放出器１０６を含むことができる。
【００４７】
単一共通放出器を含む放出器融合構成において、単一共通放出器は例えば、ＬＥＤ、レーザ又は他の光源のマスクされた一体型アレイを用いて実現され得る。異なるＳＬ及びＴｏＦ光源が、単一共通放出器において市松模様のパターンで点在することができる。更に又は代案として、ＴｏＦ奥行き撮像に有用なＲＦ変調が、単一共通放出器のＳＬ光源に適用されることができ、結合型ＳＬ＋ＴｏＦセンサセルからのＲＦ出力を用いる場合に、そうしなければ生じるかもしれないオフセットバイアスが最小限にされる。
【００４８】
理解されるべきは、本明細書で開示されたようなセンサ融合および放出器融合の技術は、別個の実施形態において利用されることができ、又は係る技術の双方は、単一の実施形態において組み合わせられ得る。図４〜図６に関連してより詳細に後述されるように、適切なデータ取得および奥行きマップ処理と連係してこれらセンサ及び放出器融合技術の１つ又は複数を使用することは、向上した奥行き分解能および従来のＳＬカメラ又はＴｏＦカメラにより生成されたものよりも少ない奥行きアーチファクトを有する、より高い品質の奥行き画像という結果になることができる。
【００４９】
さて、データ取得モジュール１２０及び奥行きマップ処理モジュール１２２の動作は、図４〜図６に関連して、より詳細に説明される。
【００５０】
最初に図４を参照すると、特定の半導体フォトニックセンサ１０８−（ｘ、ｙ）に関連したデータ取得モジュール１２０の部分は、要素４０２、４０４、４０５、４０６、４１０、４１２及び４１４を含むように示される。要素４０２、４０４、４０６、４１０、４１２及び４１４は、対応するピクセルに関連付けられ、要素４０５は、他のピクセルから受け取った情報を表す。図４に示されたこれら要素の全てが単一共通センサ１０８のピクセルのそれぞれに対して複製されているものと想定される。
【００５１】
フォトニックセンサ１０８−（ｘ、ｙ）は、図２又は図３の単一共通センサ１０８のセンサセル２００からなる任意の１つの少なくとも一部分を表し、ここでｘ及びｙはそれぞれ、センサセルのマトリクスの行および列を表す。データ取得モジュール１２０の対応する部分１２０−（ｘ、ｙ）は、ＴｏＦ復調器４０２、ＴｏＦ信頼性推定器４０４、ＳＬ信頼性推定器４０６、ＴｏＦ奥行き推定器４１０、ＳＬ三角測量モジュール４１２及び奥行き決定モジュール４１４を含む。ＴｏＦ復調器は、より具体的には本実施形態の文脈において「ＴｏＦのような復調器」と呼ばれ、その理由は、ＴｏＦ機能を実行するように適合された復調器からなることができるからである。
【００５２】
ＳＬ三角測量モジュール４１２は例示的に、ハードウェア及びソフトウェアの組み合わせを用いて実現され、奥行き決定モジュール４１４は例示的に、ハードウェア及びファームウェアの組み合わせを用いて実現されるが、ハードウェア、ソフトウェア及びファームウェアの１つ又は複数の他の構成を用いて、これらモジュール並びに本明細書に開示された他のモジュール又は構成要素を実現することができる。
【００５３】
図面において、撮像されているシーンから戻されるＩＲ光は、フォトニックセンサ１０８−（ｘ、ｙ）において検出される。これは、ＴｏＦ復調器４０２に印加される入力情報Ａｉ（ｘ、ｙ）を生じる。入力情報Ａｉ（ｘ、ｙ）は、振幅情報Ａ（ｘ、ｙ）及び輝度情報Ｂ（ｘ、ｙ）を含む。
【００５４】
ＴｏＦ復調器４０２は、振幅情報Ａ（ｘ、ｙ）を復調して、ＴｏＦ奥行き推定器４１０に供給される位相情報φ（ｘ、ｙ）を生成し、ＴｏＦ奥行き推定器４１０は、当該位相情報を用いてＴｏＦ奥行き推定値を生成する。また、ＴｏＦ復調器４０２は、振幅情報Ａ（ｘ、ｙ）をＴｏＦ信頼性推定器４０４にも供給し、輝度情報Ｂ（ｘ、ｙ）をＳＬ信頼性推定器４０６に供給する。ＴｏＦ信頼性推定器４０４は、当該振幅情報を用いてＴｏＦ信頼性推定値を生成し、ＳＬ信頼性推定器４０６は、当該輝度情報を用いてＳＬ信頼性推定値を生成する。
【００５５】
また、ＳＬ信頼性推定器４０６は、当該輝度情報Ｂ（ｘ、ｙ）を用いて、推定されたＳＬ輝度情報
2016510396.tif 000003
も生成する。当該推定されたＳＬ輝度情報
2016510396.tif 000004
は、ＳＬ奥行き推定値を生成する際に使用するためにＳＬ三角測量モジュール４１２に供給される。
【００５６】
この実施形態において、当該推定されたＳＬ輝度情報
2016510396.tif 000005
は、輝度情報Ｂ（ｘ、ｙ）の代わりに使用され、その理由は、輝度情報Ｂ（ｘ、ｙ）が三角測量によって奥行きを再構成するために有用であるＳＬパターン又はその一部からの反射光ＩＳＬだけでなく、場合によってはＴｏＦ放出器からのＤＣオフセット成分Ｉoffset及び他の周囲ＩＲ源からのバックライト（背面光）成分Ｉbacklightを含む望ましくない項も含むからである。従って、輝度情報Ｂ（ｘ、ｙ）は、以下のように表され得る。即ち、
Ｂ（ｘ、ｙ）＝ＩＳＬ（ｘ、ｙ）＋Ｉoffset（ｘ、ｙ）＋Ｉbacklight（ｘ、ｙ）。
【００５７】
個々の望ましくないオフセット成分およびバックライト成分を表す、Ｂ（ｘ、ｙ）の２番目および３番目の項は、比較的時間的に一定であり、ｘ−ｙ平面において均一である。それ故に、これら成分は、以下のように、全ての考えられる（ｘ、ｙ）値にわたってそれらの平均を減算することにより実質的に除去され得る。
【００５８】
【数１】
2016510396.tif 000006
【００５９】
望ましくないオフセット成分およびバックライト成分に起因する
2016510396.tif 000007
の任意の残りの変化量は、三角測量がピクセル輝度ではなくてピクセル位置を必要とするので、奥行き測定に深刻な影響を及ぼさない。推定されたＳＬ輝度情報
2016510396.tif 000008
は、ＳＬ三角測量モジュール４１２に送られる。
【００６０】
多くの他の技術を用いて、輝度情報Ｂ（ｘ、ｙ）から推定されたＳＬ輝度情報
2016510396.tif 000009
を生成することができる。例えば、別の実施形態において、ｘ−ｙ平面における平滑化平方空間的勾配推定値Ｇ（ｘ、ｙ）の大きさは、所望の成分によって最も悪影響を及ぼされるこれら（ｘ、ｙ）位置を特定（識別）するために算出される。即ち、
Ｇ（ｘ、ｙ）＝smoothing_filter（（Ｂ（ｘ、ｙ）−Ｂ（ｘ＋１、ｙ＋１））２＋（Ｂ（ｘ＋１、ｙ）−Ｂ（ｘ、ｙ＋１））２）
この例において、平滑化平方空間的勾配Ｇ（ｘ、ｙ）は、以下のような影響を受けるピクセル位置を特定するための補助的マスクとしての機能を果たす。即ち、
（ｘＳＬ、ｙＳＬ）＝argmax（Ｂ（ｘ、ｙ）・Ｇ（ｘ、ｙ））
ここで、対（ペア）（ｘＳＬ、ｙＳＬ）は、影響を受けるピクセル位置の座標を与える。やはり、他の技術を用いて
2016510396.tif 000010
を生成することができる。
【００６１】
奥行き決定モジュール４１４は、ＴｏＦ奥行き推定器４１０からのＴｏＦ奥行き推定値、及びもしあれば、ＳＬ三角測量モジュール４１２から所与のピクセルに対するＳＬ奥行き推定値を受け取る。また、それは、個々の信頼性推定器４０４及び４０６からＴｏＦ及びＳＬ信頼性推定値も受け取る。奥行き決定モジュール４１４は、ＴｏＦ及びＳＬ奥行き推定値、及び対応する信頼性推定器を利用して、所与のセンサセルの局所的奥行き推定値を生成する。
【００６２】
一例として、奥行き決定モジュール４１４は、加重和をとることにより結果としての不確実性を最小限にするために、ＳＬ及びＴｏＦ奥行き推定値を平衡させる（平均化する）ことができる。即ち、
Ｄresult（ｘ、ｙ）＝（ＤToF（ｘ、ｙ）・RelToF（ｘ、ｙ）＋ＤSL（ｘ、ｙ）・RelSL（ｘ、ｙ）／（RelToF（ｘ、ｙ）＋RelSL（ｘ、ｙ））
ここで、ＤSL及びＤToFは個々のＳＬ及びＴｏＦ奥行き推定値を示し、RelSL及びRelToFは個々のＳＬ及びＴｏＦ信頼性推定値を示し、Ｄresultは奥行き決定モジュール４１４により生成された局所的奥行き推定値を示す。
【００６３】
本実施形態において使用される信頼性推定値は、撮像される被写体に対するレンジ（距離）の関数として、ＳＬ奥行き撮像性能とＴｏＦ奥行き撮像性能の違いを考慮することができる。例えば、幾つかの具現化形態において、ＳＬ奥行き撮像（画像形成）は、短距離および中距離においてＴｏＦ奥行き撮像よりも良好に機能することができるが、ＴｏＦ奥行き撮像は、より長距離でＳＬ奥行き撮像よりも良好に機能することができる。信頼性推定値に反映されるような係る情報は、結果としての局所的奥行き推定値に更なる改善をもたらすことができる。
【００６４】
図４の実施形態において、局所的奥行き推定値は、センサアレイの各セル又はピクセルに対して生成される。しかしながら、他の実施形態において、広範囲の奥行き推定値が、図５に関連して説明されるように、複数のセル又はピクセルのグループにわたって生成され得る。より具体的には、図５の構成において、広範囲の奥行き推定値は、単一共通センサ１０８の所与のセル及び１つ又は複数の追加のセルに対して、所与のセルについて求められた及び１つ又は複数の追加のセルについて同様に求められたようなＳＬ及びＴｏＦ奥行き推定値、並びに対応するＳＬ及びＴｏＦ信頼性推定値に基づいて生成される。
【００６５】
また、留意されるべきは、図４に示されたように生成された局所的奥行き推定値と、図５に示されたように生成された広範囲の奥行き推定値との組み合わせを含むハイブリッド構成が使用されてもよい。例えば、奥行き情報の広範囲の再構成は、ＳＬ及びＴｏＦ源の双方からの信頼できる奥行きデータの欠如または他の理由に起因して奥行き情報の局所的再構成が不可能である際に、利用され得る。
【００６６】
図５の実施形態において、奥行きマップ処理モジュール１２２が、Ｋ個のセンサセル又はピクセルのセットにわたって広範囲の奥行き推定値を生成する。データ取得モジュール１２０は、図４の構成に概して対応するけれども局所的奥行き決定モジュール４１４を備えていない単一セルデータ取得モジュールのＫ個のインスタンスを含む。単一セルデータ取得モジュールのインスタンス１２０−１、１２０−２、・・１２０−Ｋのそれぞれは、関連するフォトニックセンサ１８０−（ｘ、ｙ）、並びに復調器４０２、信頼性推定器４０２及び４０６、ＴｏＦ奥行き推定器４１０及びＳＬ三角測量モジュール４１２を有する。従って、図５に示された単一セルデータ取得モジュール１２０のそれぞれは実質的に、図４に示されたように構成され、この場合、局所的奥行き決定モジュール４１４が各モジュールから取り除かれている点で違いがある。
【００６７】
このように、図５の実施形態は、単一セルデータ取得モジュール１２０を集めて奥行きマップのマージフレームワークを形成する。個々のモジュール１２０の少なくともサブセットに関連した要素４０５は、指定された近隣部の輝度情報Ｂ（．、．）の所定のセットを備える格子を形成するために、これらモジュールの対応するＴｏＦ復調器４０２からの輝度信号線と組み合わされ得る。係る構成において、指定された近隣部におけるＴｏＦ復調器４０２のそれぞれは、組み合わされた格子へその輝度情報Ｂ（ｘ、ｙ）を供給し、隣接するモジュール間での係る輝度情報の分配を容易にする。一例として、サイズ（２Ｍ＋１）×（２Ｍ＋１）の近隣部が定義されることができ、この場合、格子は、対応するモジュール１２０のＳＬ信頼性推定器４０６へ供給される輝度値Ｂ（ｘ−Ｍ、ｙ−Ｍ）・・Ｂ（ｘ＋Ｍ、ｙ−Ｍ）、・・、Ｂ（ｘ−Ｍ、ｙ＋Ｍ）・・Ｂ（ｘ＋Ｍ、ｙ＋Ｍ）を備える。
【００６８】
図５の実施形態に示されたＫ個のセンサセルは、単一共通センサ１０８のセンサセル２００の全てからなる、又はセンサセルの全てよりも少ない数を含む特定のグループからなることができる。後者の場合、図５の構成は、単一共通センサ１０８のセンサセルの全てを網羅する広範囲の奥行き推定値を提供するために、センサセルの複数のグループについて複製され得る。
【００６９】
本実施形態における奥行きマップ処理モジュール１２２は更に、ＳＬ奥行きマップ組み合わせモジュール５０２、ＳＬ奥行きマッププリプロセッサ５０４、ＴｏＦ奥行きマップ組み合わせモジュール５０６、ＴｏＦ奥行きマッププリプロセッサ５０８、及び奥行きマップマージモジュール５１０を含む。
【００７０】
ＳＬ奥行きマップ組み合わせモジュール５０２は、個々の単一セルデータ取得モジュール１２０−１〜１２０−Ｋにおける個々のＳＬ三角測量モジュール４１２及びＳＬ信頼性推定器４０６からＳＬ奥行き推定値および関連するＳＬ信頼性推定値を受け取り、この受け取った情報を用いてＳＬ奥行きマップを生成する。
【００７１】
同様に、ＴｏＦ奥行きマップ組み合わせモジュール５０６は、個々の単一セルデータ取得モジュール１２０−１〜１２０−Ｋにおける個々のＴｏＦ奥行き推定器４１０及びＴｏＦ信頼性推定器４０４からＴｏＦ奥行き推定値および関連するＴｏＦ信頼性推定値を受け取り、この受け取った情報を用いてＴｏＦ奥行きマップを生成する。
【００７２】
組み合わせモジュール５０２からのＳＬ奥行きマップ及び組み合わせモジュール５０６からのＴｏＦ奥行きマップの少なくとも一方は、個々の奥行きマップの分解能を実質的に等しくするように、その関連するプリプロセッサ５０４又は５０８において更に処理される。次いで、実質的に等しくされたＳＬ及びＴｏＦ奥行きマップは、奥行きマップマージモジュール５２０においてマージ（結合）され、最終的な広範囲の奥行き推定値を提供する。最終的な広範囲の奥行き推定値は、マージされた奥行きマップの形態とすることができる。
【００７３】
例えば、図２の単一共通センサの実施形態において、ＳＬ奥行き情報は、センサセル２００の総数の約１／Ｍから潜在的に得られることができ、ＴｏＦ奥行き情報は、残りの（Ｍ−１）／Ｍ個のセンサセルから潜在的に得られることができる。図３のセンサの実施形態は類似しているが、ＴｏＦ奥行き情報は、センサセルの全てから潜在的に得られることができる。前述したように、ＴｏＦ奥行き撮像技術は一般に、ＳＬ奥行き撮像技術よりも良好なｘ−ｙ分解能を提供するが、ＳＬ奥行き撮像技術は一般に、ＴｏＦカメラよりも良好なｚ分解能を提供する。従って、このタイプの構成において、マージされた奥行きマップは、比較的より正確なＳＬ奥行き情報を、比較的あまり正確でないＴｏＦ奥行き情報と組み合わせることができるが、比較的より正確なＴｏＦのｘ−ｙ情報を、比較的あまり正確でないＳＬのｘ−ｙ情報とも組み合わせ、それ故に全次元において向上した分解能、及びＳＬ又はＴｏＦ奥行き撮像技術のみを用いて生成された奥行きマップに比べて少ない奥行きアーチファクトを呈する。
【００７４】
ＳＬ奥行きマップ組み合わせモジュール５０２において、単一セルデータ取得モジュール１２０−１〜１２０−ＫからのＳＬ奥行き推定値および対応するＳＬ信頼性推定値は、以下のように処理され得る。仮にＤ０が（ｘ、ｙ、ｚ）三つ組のセットからなるＳＬ奥行き撮像情報を示し、ここで（ｘ、ｙ）がＳＬセンサセルの位置を示し、ｚがＳＬ三角測量を用いて得られた位置（ｘ、ｙ）における奥行き値であるとする。セットＤ０は、閾値を用いる決定規則を用いてＳＬ奥行きマップ組み合わせモジュール５０２において形成され得る。即ち、
Ｄ０＝｛（ｘ、ｙ、ＤSL（ｘ、ｙ））：RelSL（ｘ、ｙ）＞ThresholdSL｝。
【００７５】
一例として、RelSL（ｘ、ｙ）は、対応する奥行き情報がない場合に０、及び存在する場合に１に等しい二値の信頼性推定値とすることができ、係る構成において、ThresholdSLは０．５のような中間値に等しくすることができる。多くの代替の信頼性推定値、閾値および閾値を用いる決定規則が使用され得る。Ｄ０に基づいて、疎行列Ｄ１からなるＳＬ奥行きマップは、組み合わせモジュール５０２において構築され、この場合、疎行列Ｄ１は対応する（ｘ、ｙ）位置にｚ値、及び他の全ての位置にゼロを含む。
【００７６】
ＴｏＦ奥行きマップ組み合わせモジュール５０６において、類似した手法が使用され得る。従って、単一セルデータ取得モジュール１２０−１〜１２０−ＫからのＴｏＦ奥行き推定値および対応するＴｏＦ信頼性推定値は、以下のように処理され得る。仮にＴ０が（ｘ、ｙ、ｚ）三つ組のセットからなるＴｏＦ奥行き撮像情報を示し、ここで（ｘ、ｙ）がＴｏＦセンサセルの位置を示し、ｚがＴｏＦ位相情報を用いて得られた位置（ｘ、ｙ）における奥行き値であるとする。セットＴ０は、閾値を用いる決定規則を用いてＴｏＦ奥行きマップ組み合わせモジュール５０６において形成され得る。即ち、
Ｔ０＝｛（ｘ、ｙ、ＤToF（ｘ、ｙ））：RelToF（ｘ、ｙ）＞ThresholdToF｝。
【００７７】
前述したＳＬの場合と同様に、様々な異なるタイプの信頼性推定値RelToF（ｘ、ｙ）及び閾値ThresholdToFが使用され得る。Ｔ０に基づいて、行列Ｔ１からなるＴｏＦ奥行きマップは、組み合わせモジュール５０６において構築され、この場合、行列Ｔ１は対応する（ｘ、ｙ）位置にｚ値、及び他の全ての位置にゼロを含む。
【００７８】
図２又は図３に示されたように構成されたセンサセルを有する単一共通センサ１０８の使用を仮定すると、ＴｏＦセンサセルの数は、ＳＬセンサセルの数よりも非常に多く、それ故に行列Ｔ１は、行列Ｄ１のように疎行列ではない。Ｔ１に存在するゼロ値の数がＤ１よりも少ないので、Ｔ１は、ＴｏＦ及びＳＬ奥行きマップが奥行きマップマージモジュール５１０においてマージされる前に、プリプロセッサ５０８において内挿ベースの再構成を受ける。この前処理は、より具体的にはＴ１においてゼロを含むこれら位置の奥行き値を再構成することを含む。
【００７９】
本実施形態における内挿は、Ｔ１におけるその位置にゼロを有する特定のピクセルを特定（識別）し、当該特定のピクセルに対してピクセルの近隣部を特定し、ピクセルの近隣部における個々のピクセルの奥行き値に基づいて、特定のピクセルの奥行き値を内挿（補間）することを含む。このプロセスは、Ｔ１におけるゼロの奥行き値のピクセルのそれぞれに対して繰り返される。
【００８０】
図６は、ＴｏＦ奥行きマップ行列Ｔ１においてゼロの奥行き値のピクセルの周りのピクセル近隣部を示す。この実施形態において、ピクセル近隣部は、特定のピクセルｐを取り囲む８個のピクセルｐ１〜ｐ８を含む。
【００８１】
一例として、特定のピクセルｐに対するピクセルの近隣部が、ピクセルｐのｎ個の隣要素の集合（セット）Ｓｐを例示的に含む。即ち、
Ｓｐ＝｛ｐ１、・・ｐｎ｝
ここで、ｎ個の隣要素のそれぞれは以下の不等式を満たす。即ち、
‖ｐ−ｐｉ‖＜ｄ
ここで、ｄは、閾値または近隣部の半径であり、‖．‖は、ｘ−ｙ平面において、個々の中心間を測定した場合のピクセルｐとｐｉとの間のユークリッド距離を示す。この例においてユークリッド距離が使用されるが、マンハッタン距離尺度またはより一般的にはｐノルムの距離尺度のような、他のタイプの距離尺度を使用することができる。円の半径に対応するｄの例は、ピクセルｐの８個のピクセルの近隣部に関して図６に示される。しかしながら、理解されるべきは、個々の特定のピクセルに対するピクセルの近隣部を特定（識別）するために、多くの他の技術が使用され得る。
【００８２】
図６に示されたピクセル近隣部を有する特定のピクセルｐに関して、そのピクセルの奥行き値ｚｐは、個々の隣接するピクセルの奥行き値の平均として計算され得る。
【００８３】
【数２】
2016510396.tif 000011
【００８４】
又は、個々の隣接するピクセルの奥行き値のメジアンとして計算され得る。
【００８５】
【数３】
2016510396.tif 000012
【００８６】
理解されるべきは、上記で使用された平均およびメジアンは、本発明の実施形態に適用され得る２つの考えられる内挿技術の単なる例であり、平均またはメジアンの内挿の代わりに使用され得る多くの他の内挿技術が当業者に知られている。
【００８７】
また、ＳＬ奥行きマップ組み合わせモジュール５０２からのＳＬ奥行きマップＤ１は、ＳＬ奥行きマッププリプロセッサ５０４において１つ又は複数の前処理動作も受けることができる。例えば、幾つかの実施形態において、ＴｏＦ奥行きマップＴ１に関して上述したタイプの内挿技術も、ＳＬ奥行きマップＤ１に適用され得る。
【００８８】
ＳＬ奥行きマップの前処理に関する別の例として、ＳＬ奥行きマップＤ１が、マージされた奥行きマップの所望のサイズに対応するＭD×ＮDピクセルの分解能を有し、ＴｏＦ奥行きマップ組み合わせモジュール５０６からのＴｏＦ奥行きマップＴ１がＭToF×ＮToFピクセルの分解能を有し、ここでＭToF≦ＭD及びＮToF≦ＮDであると仮定する。この場合、ＴｏＦ奥行きマップの分解能は、バイリニア内挿法またはキュービック内挿法に基づいたアップサンプリング技術を含む多数のよく知られた画像アップサンプリング技術の何れかを用いて、ＳＬ奥行きマップの分解能に実質的に一致するように増大され得る。ＳＬ及びＴｏＦ奥行きマップの一方または双方のクロッピング（トリミング）は、必要に応じて所望のアスペクト比を維持するために奥行きマップのサイズ変更を行う前またはその後で、適用され得る。そのようなアップサンプリング及びクロッピング動作は本明細書においてより一般的に、奥行き画像の前処理動作と呼ばれるものの例である。
【００８９】
本実施形態において、奥行きマップマージモジュール５１０は、前処理されたＳＬ奥行きマップ及び前処理されたＴｏＦ奥行きマップを受け取り、双方は実質的に等しいサイズ及び分解能からなる。例えば、前述したようにアップサンプリング後のＴｏＦ奥行きマップは、所望のマージされたＭD×ＮDの奥行きマップ分解能を有し、奥行き値のないピクセルは存在しない一方で、ＳＬ奥行きマップは同じ分解能を有するが、奥行き値のないピクセルを幾つか有する可能性がある。次いで、これら２つのＳＬ及びＴｏＦ奥行きマップは、以下の例示的なプロセスを用いてモジュール５１０においてマージされ得る。即ち、
１．ＳＬ奥行きマップＤ１の各ピクセル（ｘ、ｙ）について、Ｄ１における（ｘ、ｙ）の一定のピクセル近隣部に基づいた奥行き標準偏差σＤ（ｘ、ｙ）を概算（推定）する。
２．ＴｏＦ奥行きマップＴ１の各ピクセル（ｘ、ｙ）について、Ｔ１における（ｘ、ｙ）の一定のピクセル近隣部に基づいた奥行き標準偏差σＴ（ｘ、ｙ）を概算する。
３．標準偏差最小化アプローチを用いてＳＬ及びＴｏＦ奥行きマップをマージする。
【００９０】
【数４】
2016510396.tif 000013
【００９１】
代替のアプローチは、場合によってはマルコフ確率場に基づいて、超分解能技術を適用することである。このタイプのアプローチの実施形態は、「Image Processing Method and Apparatus for Elimination of Depth Artifact」と題するロシア国特許出願（代理人整理番号第Ｌ１２−１３４６ＲＵ１）でより詳細に説明されており（当該特許出願はこれにより共通に割り当てられ、参照により本明細書に組み込まれる）、奥行きマップ又は他のタイプの奥行き画像における奥行きアーチファクトが実質的に取り除かれる又は特に効率的に低減されることを可能にすることができる。１つの係る実施形態において超分解能技術を用いて、１つ又は複数の潜在的な欠陥ピクセルの奥行き情報を再構成する。本発明の実施形態に使用するために適合され得る超分解能技術に関する更なる詳細は、例えば、J. Diebel他著、「An Application of Mrkov Random Fields to Range Sensing」、NIPS、MIT Press、PP. 291-298、2005年、及びQ. Yang他著、「Spatial-Depth Super Resolution for Range Images」、IEEE Conference on Computer Vision and Pattern Recognition（CVPR）、2007年、に見出されることができ、それら文献の双方は参照により本明細書に組み込まれる。しかしながら、上記ことは、本発明の実施形態において使用され得る超分解能技術の単なる例である。本明細書で使用されるような用語「超分解能技術」は、所与の画像の分解能を、場合によっては１つ又は複数の他の画像を用いることにより向上させるために使用され得る技術を網羅するように、幅広く解釈されることが意図されている。
【００９２】
留意されるべきは、幾つかの実施形態において、較正が使用されてもよい。例えば、個々のＳＬ及びＴｏＦ奥行きマップを生成するために、２つの別個のセンサ１０８が利用される実施形態において、２つのセンサは、互いに対する位置に固定され、次いで以下のように較正されることができる。
【００９３】
最初に、ＳＬ及びＴｏＦ奥行き画像が個々のセンサを用いて取得される。複数の対応する点が画像に位置し、通常、少なくとも４つの係る点である。係る点の数としてｍで示し、ＳＬ奥行き画像からのｍ個の点のそれぞれに対するｘ、ｙ、及びｚ座標を含む３×ｍ行列としてＤxyzを定義し、ＴｏＦ奥行き画像からの対応するｍ個の点のそれぞれに対するｘ、ｙ、及びｚ座標を含む３×ｍ行列としてＴxyzを定義する。最小二乗平均の意味で最適として求められたアフィン変換行列および並進ベクトルとしてＡ及びＴＲでそれぞれ示し、ここで、
Ｔxyz＝Ａ・Ｄxyz＋ＴＲ。
【００９４】
行列ＡおよびベクトルＴＲは、以下の最適化問題の解として見出されることができる。即ち、
Ｒ＝‖Ａ・Ｄxyz＋ＴＲ−Ｔxyz‖２→min。
【００９５】
要素的表記法を用いると、Ａ＝｛ａij｝、ここで（ｉ、ｊ）＝（１，１）・・（３，３）、及びＴＲ＝｛trk｝、ここでk＝１、・・３である。最小二乗平均の意味でのこの最適化問題の解は、１２個の変数および１２ｍ個の等式を含む一次方程式の以下の体系に基づく。即ち、
ｄＲ／ｄａij＝０、  ｉ＝１，２、３、  ｊ＝１、２、３、
ｄＲ／ｄtrk＝０、  k＝１、２、３。
【００９６】
次の較正ステップは、ＳＬ奥行きマップＤ１をＴｏＦ奥行きマップＴ１の座標系へ変換することである。これは、以下のような既に知られているＡ及びＴＲアフィン変換パラメータを用いて行われ得る。即ち、
Ｄ１xyz＝Ａ・Ｄxyz＋ＴＲ。
【００９７】
Ｄ１xyzのピクセルの結果としての（ｘ、ｙ）座標は、常に整数ではないが、より一般的には有理数である。従って、これら有理数の座標は、場合によっては最近傍または他の技術に基づいた内挿（補間）を用いて、分解能ＭD×ＮDを有するＴｏＦ画像Ｔ１の等距離直交整数格子点を含む規則的な格子へマッピングされ得る。係るマッピング後、規則的な格子の幾つかの点は、満たされていない状態のままであるかもしれないが、この結果としての隙間のある格子は、超分解能技術の用途にそれほど重要ではない。係る超分解能技術は、分解能ＭD×ＮDを有する、場合によっては１つ又は複数のゼロの奥行きピクセル位置を有するＳＬ奥行きマップＤ２を得るために適用され得る。
【００９８】
様々な代替の較正プロセスが使用され得る。また、他の実施形態では、較正が適用される必要はない。
【００９９】
再び強調されるべきは、本明細書で説明されたような本発明の実施形態が単なる例示であることが意図されていることである。例えば、本発明の他の実施形態は、多種多様の異なるタイプ及び構成の画像処理システム、奥行き撮像装置、奥行き撮像技術、センサ構成、データ取得モジュール、及び本明細書で説明された特定の実施形態において利用されるもの以外の奥行きマップ処理モジュールを利用して実現され得る。更に、特定の実施形態を説明する文脈において本明細書でなされた特定の仮定は、他の実施形態に適用する必要はない。以下の特許請求の範囲の範囲内にあるこれら及び多くの他の代替の実施形態は、当業者に容易に明らかになるであろう。
【図１】
2016510396.tif 000014
【図２】
2016510396.tif 000015
【図３】
2016510396.tif 000016
【図４】
2016510396.tif 000017
【図５】
2016510396.tif 000018
【図６】
2016510396.tif 000019
【国際調査報告】
2016510396.tif 000020