(57)【要約】      （修正有）【課題】精度の高い深度情報を取得することができる情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】情報処理装置１は、内挿画像生成部１２と、差分画像生成部１１と、深度算出部１４とを具備する。内挿画像生成部１２は、第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像のうち第１の通常画像と第２の通常画像を基に、パターン画像が撮影された時間に対応する内挿画像を生成する。差分画像生成部１１は、内挿画像と上記パターン画像の差分画像を生成する。深度算出部１４は、差分画像を用いて深度情報を算出する。【選択図】図１
2020034465.tif 000002
【特許請求の範囲】
【請求項１】
第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像のうち前記第１の通常画像と前記第２の通常画像を基に、前記パターン画像が撮影された時間に対応する内挿画像を生成する内挿画像生成部と、
前記内挿画像と前記パターン画像の差分画像を生成する差分画像生成部と、
前記差分画像を用いて深度情報を算出する深度算出部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記深度算出部は、前記差分画像を用いて判定される前記パターン画像における深度情報の信頼性の判定結果に基づいて、前記パターン画像から深度情報を算出する
情報処理装置。
【請求項３】
請求項２に記載の情報処理装置であって、
前記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、前記パターン画像における深度情報の信頼性を判定する信頼性判定部
を更に具備する情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記輝度情報は、前記分割領域毎の輝度の分散値である
情報処理装置。
【請求項５】
請求項３に記載の情報処理装置であって、
前記輝度情報は、前記分割領域毎の輝度のダイナミックレンジである
情報処理装置。
【請求項６】
請求項３に記載の情報処理装置であって、
前記輝度情報は、前記分割領域毎の空間周波数である
情報処理装置。
【請求項７】
請求項３に記載の情報処理装置であって、
前記信頼性判定部の判定結果に応じて、次のパターン画像の撮影でのパターン画像における前記赤外線パターン光の照射領域が設定される
情報処理装置。
【請求項８】
請求項７に記載の情報処理装置であって、
前記赤外線パターン光は、複数の赤外線光源を備えるパターン照射部から照射され、
前記パターン画像は、複数の前記赤外線光源毎に照射領域が異なる前記赤外線パターン光が照射されて撮影される
情報処理装置。
【請求項９】
請求項３に記載の情報処理装置であって、
前記第１の通常画像、前記パターン画像、及び前記第２の通常画像は、撮像素子を備えるカメラにより撮影され、
前記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、前記撮像素子の露光時間を制御する露光制御部
を更に具備する情報処理装置。
【請求項１０】
請求項９に記載の情報処理装置であって、
前記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、前記赤外線パターン光の照射パワーを制御する照射制御部
を更に具備する情報処理装置。
【請求項１１】
請求項１０に記載の情報処理装置であって、
前記内挿画像生成部は、前記パターン画像の撮影の直前に撮影された前記第１の通常画像と、前記パターン画像の撮影の直後に撮影された前記第２の通常画像を基に前記内挿画像を生成する
情報処理装置。
【請求項１２】
請求項１１に記載の情報処理装置であって、
前記第１の通常画像と前記第２の通常画像の少なくとも一方は、前記パターン画像と同一のフレーム期間内で取得される
情報処理装置。
【請求項１３】
第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像を取得し、
前記第１の通常画像と前記第２の通常画像を基に前記パターン画像が撮影された時間に対応する内挿画像を生成し、
前記内挿画像と前記パターン画像の差分画像を生成し、
前記差分画像を用いて深度情報を算出する
情報処理方法。
【請求項１４】
第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像を取得するステップと、
前記第１の通常画像と前記第２の通常画像を基に前記パターン画像が撮影された時間に対応する内挿画像を生成するステップと、
前記内挿画像と前記パターン画像の差分画像を生成するステップと、
前記差分画像を用いて深度情報を算出するステップと
を含む処理を情報処理装置に実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、赤外線を照射して対象物体の深度情報（奥行情報）を取得して、対象物体の三次元画像を生成することが記載されている。具体的には、人間の目には見えない赤外線の特徴を活かし、赤外線で対象物体の表面にパターンを照射して赤外線カメラにより撮影し、撮影画像に基づいて物体の形状を取得する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１５／０９８２８８号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
対象物体のより正確な三次元画像を生成するために、対象物体の深度情報をより精度の高いものとすることが望まれている。
【０００５】
以上のような事情に鑑み、本技術の目的は、精度の高い深度情報を取得することができる情報処理装置、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、内挿画像生成部と、差分画像生成部と、深度算出部とを具備する。
上記内挿画像生成部は、第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像のうち上記第１の通常画像と上記第２の通常画像を基に、上記パターン画像が撮影された時間に対応する内挿画像を生成する。
上記差分画像生成部は、上記内挿画像と上記パターン画像の差分画像を生成する。
上記深度算出部は、上記差分画像を用いて深度情報を算出する。
【０００７】
このような構成によれば、同じタイミングで撮影されたとみなされる内挿画像とパターン画像との差分画像を用いて深度情報を得るので、精度の高い深度情報を得ることができる。
【０００８】
上記深度算出部は、上記差分画像を用いて判定される上記パターン画像における深度情報の信頼性の判定結果に基づいて、上記パターン画像から深度情報を算出してもよい。
【０００９】
このような構成によれば、深度情報の信頼性が高いと判定されたパターン画像を用いて深度情報を算出することができ、精度の高い深度情報を得ることができる。
【００１０】
上記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、上記パターン画像における深度情報の信頼性を判定する信頼性判定部を更に具備してもよい。
【００１１】
上記輝度情報は、上記分割領域毎の輝度の分散値であってもよい。
上記輝度情報は、上記分割領域毎の輝度のダイナミックレンジであってもよい。
上記輝度情報は、上記分割領域毎の空間周波数であってもよい。
【００１２】
このように、輝度の分散値、ダイナミックレンジ、又は、空間周波数を用いて、差分画像の分割領域毎の画像の鮮明さを判定して深度情報の信頼性を判定することができる。
【００１３】
上記信頼性判定部の判定結果に応じて、次のパターン画像の撮影でのパターン画像における上記赤外線パターン光の照射領域が設定されてもよい。
【００１４】
上記赤外線パターン光は、複数の赤外線光源を備えるパターン照射部から照射され、
上記パターン画像は、複数の上記赤外線光源毎に照射領域が異なる上記赤外線パターン光が照射されて撮影されてもよい。
【００１５】
このように複数の赤外線光源毎に照射領域が異なる赤外線パターン光が照射されてパターン画像が撮影されることにより、照射領域毎に照射の有無を制御することができる。これにより、例えば信頼性判定で信頼性が高いと判定された領域に対応する赤外線パターン光の照射をオフとすることができ、消費電力を低減することができる。
【００１６】
上記第１の通常画像、上記パターン画像、及び上記第２の通常画像は、撮像素子を備えるカメラにより撮影され、上記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、上記撮像素子の露光時間を制御する露光制御部を更に具備してもよい。
【００１７】
このような構成によれば、分割領域毎の輝度情報に基づいて、次の撮影での撮像素子の露光時間を制御し、次の撮影で、より深度情報の信頼性が高いパターン画像を得ることが可能となる。
【００１８】
上記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、上記赤外線パターン光の照射パワーを制御する照射制御部を更に具備してもよい。
【００１９】
このような構成によれば、分割領域毎の輝度情報に基づいて、次の撮影での赤外線パターン光の照射パワーを制御し、次の撮影で、より深度情報の信頼性が高いパターン画像を得ることが可能となる。
【００２０】
上記内挿画像生成部は、上記パターン画像の撮影の直前に撮影された上記第１の通常画像と、上記パターン画像の撮影の直後に撮影された上記第２の通常画像を基に上記内挿画像を生成してもよい。
このような構成によれば、精度の高い内挿画像を生成することができる。
【００２１】
上記第１の通常画像と上記第２の通常画像の少なくとも一方は、上記パターン画像と同一のフレーム期間内で取得されてもよい。
【００２２】
上記目的を達成するため、本技術の一形態に係る情報処理方法は、第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像を取得し、上記第１の通常画像と上記第２の通常画像を基に上記パターン画像が撮影された時間に対応する内挿画像を生成し、上記内挿画像と上記パターン画像の差分画像を生成し、上記差分画像を用いて深度情報を算出する。
【００２３】
上記目的を達成するため、本技術の一形態に係るプログラムは、第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像を取得するステップと、上記第１の通常画像と上記第２の通常画像を基に上記パターン画像が撮影された時間に対応する内挿画像を生成するステップと、上記内挿画像と上記パターン画像の差分画像を生成するステップと、上記差分画像を用いて深度情報を算出するステップとを含む処理を情報処理装置に実行させる。
【発明の効果】
【００２４】
以上のように、本技術によれば、精度の高い深度情報を取得することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２５】
【図１】本技術の第１の実施形態に係る情報処理システムの概要を説明するための図であり、情報処理装置の構成の一例を示すブロック図である。
【図２】上述の情報処理装置のカメラ・プロジェクタ制御部から出力される制御信号としてのカメラ制御パルス波形、赤外線照射パルス波形の一部を切り出した図である。
【図３】上述の情報処理装置による内挿画像、差分画像の生成の手順を説明するための図である。
【図４】上述の情報処理装置の構成を示すブロック図であり、処理の流れを説明するための図である。
【図５】上述の情報処理装置による情報処理方法を説明するフロー図である。
【図６】差分画像を用いたカメラ・プロジェクタ制御部での制御信号の生成方法を説明するためのフロー図である。
【図７】複数の赤外線光源を搭載するプロジェクタの概略図であり、パターン画像における赤外線光源毎の赤外線ランダムパターン光の照射領域を説明するための図である。
【図８】プロジェクタの赤外線光源の選択について説明する図である。
【図９】プロジェクタの赤外線光源の選択について説明する図である。
【発明を実施するための形態】
【００２６】
［概要］
図１を参照して本技術の一実施形態に係る情報処理装置１を有する情報処理システム１０について説明する。図１は、情報処理システム１０の概要を説明するための図であり、情報処理装置の構成の一例を示すブロック図である。
【００２７】
図１に示すように、情報処理システム１０は、情報処理装置１と、カメラ２と、プロジェクタ３と、を有する。
【００２８】
情報処理システム１０では、情報処理装置１により、カメラ２で撮影された画像情報が取得される。具体的には、情報処理装置１により、カメラ２で順に撮影された撮影対象物である対象物体の第１の通常画像と、赤外線ランダムパターン光が照射されたパターン画像と、第２の通常画像が取得される。
パターン画像は、パターン照射部としてのプロジェクタ３から照射されたパターン光としての赤外線ランダムパターン光が照射された対象物体を撮影した画像である。
【００２９】
情報処理装置１は、取得した第１通常画像と第２の通常画像とから、パターン画像が取得された時間に対応する内挿画像を推定し、生成する。情報処理装置１は、この内挿画像とパターン画像との差分画像を解析する。
【００３０】
パターン画像には深度情報が含まれており、情報処理装置１による差分画像の解析により、パターン画像の深度情報の信頼性が判定される。そして、深度情報の信頼性の判定結果に基づいて、パターン画像の深度情報が算出される。
【００３１】
このように、本実施形態では、差分画像を解析することによってパターン画像の深度情報の信頼性が判定される。そして、その信頼性判定により信頼性が高いと判定されたパターン画像を用いて深度情報を算出することにより、精度の高い深度情報を得ることができる。
このような精度の高い深度情報に基づいて、対象物体への距離を画素毎に示す深度画像を生成することができる。
深度情報は、カメラ２と被写体（対象物体）との距離を表すものであり、特徴点の深度情報を含んでもよい。
【００３２】
また、本実施形態においては、情報処理装置１により、算出された深度情報及び内挿画像に基づいて、カメラ２の姿勢情報が取得される。そして、情報処理装置１により、算出された深度情報及び姿勢情報に基づいて、被写体となっている対象物体の三次元空間情報としてのポイントクラウドを生成することができる。このポイントクラウドは、精度の高い深度情報を用いて生成されるので、精度の高いものとなる。
【００３３】
更に、情報処理装置１による差分画像を解析することによって、深度情報の信頼性のより高いパターン画像が得られるように、カメラ２及びプロジェクタ３の制御信号が生成され、カメラ２での露光時間やプロジェクタ３からの赤外線ランダムパターン光の照射パワーが制御される。
【００３４】
本技術は、深度情報の取得が重要となる技術に適用することができる。
例えば、ヘッドマウントディスプレイやメガネ型のウエアブルデバイスを利用した、ＡＲ（拡張現実：Augmented Reality）、ＶＲ（仮想現実：Virtual Reality）、ＭＲ（複合現実：Mixed Reality）応用における自己位置推定に適用することができる。また、スマートフォンやタブレット等の携帯端末を利用したＡＲ、ＶＲ、ＭＲ応用における自己位置推定に適用することができる。また、自律走行車、無人飛行機、自律移動ロボット等の自律移動体における自己位置推定に適用することができる。また、画像のキャプチャに適用することもできる。
【００３５】
また、生成されるポイントクラウドを利用して周辺環境の構造を反映した三次元モデルを生成することができる。この三次元モデルを、ＡＲ、ＶＲ、ＭＲにおけるインタラクション表現や移動体の経路制御に利用することができる。また、三次元モデルから建物の三次元図、二次元平面図を生成することもできる。
以下、情報処理装置１の詳細について説明する。
【００３６】
［カメラの構成例］
図１に加えて図２を用いて、カメラ２の構成について説明する。図２（Ａ）は、本実施形態における後述する情報処理装置１のカメラ・プロジェクタ制御部１７から出力されるパルス波形の一部を切り出した図である。
【００３７】
カメラ２はステレオカメラであり、右側のカメラと左側のカメラの２台から構成される。右側カメラ及び左側カメラの構成は同じである。２台のカメラは、視差が十分発生する間隔をおいて配置される。これら２台のカメラは、カメラ・プロジェクタ制御部１７で生成される制御信号としてのカメラの制御パルス２０１（図２（Ａ）参照）の立ち上がりエッジで撮影のためのシャッタが切られる。
【００３８】
図１に示すように、カメラ２は、撮像レンズ２１と、絞り２２と、撮像素子２３とを備える。
撮像レンズ２１は、対象物体から光を集光して撮像素子２３に導くものである。
絞り２２は、通過する光の量を調整するものである。
【００３９】
撮像素子２３は、光を電気信号に変換して画像データを生成するものである。また、撮像素子２３は、カメラ・プロジェクタ制御部１７からの制御信号に従って、撮像素子２３の画素内のトランジスタが制御されることにより露光時間が変更される。このように、画素内のトランジスタを制御することにより露光時間を変更する方式は、電子シャッタ方式と呼ばれる。
【００４０】
尚、本実施形態においては、カメラ２は電子シャッタ方式を採用しており、トランジスタの制御により露光時間を変更する例をあげるが、メカニカルシャッタを更に備え、そのメカニカルシャッタを制御することにより露光時間を変更してもよい。
【００４１】
本実施形態では、図２（Ａ）に示すように、１フレーム期間に３回連続してシャッタが切られる（撮影される）ように、カメラ２は制御される。このうち、１回目及び３回目のシャッタで、第１の通常画像及び第２の通常画像がそれぞれ取得され、２回目のシャッタでパターン画像が取得される。これにより、時間的に連続して順に第１の通常画像、パターン画像、第２の通常画像が取得される。
【００４２】
通常画像とは、赤外線ランダムパターン光が照射されていない対象物体を撮影した画像である。パターン画像とは赤外線ランダムパターン光が照射された対象物体を撮影した画像である。通常画像及びパターン画像は白黒であってもよいし、カラーであってもよい。
図２において、カメラ制御パルスのパルス幅は露光時間に対応する。
【００４３】
［プロジェクタの構成例］
図１及び図２を用いて、プロジェクタ３の構成について説明する。プロジェクタ３は、対象物体の表面に赤外線ランダムパターン光３５を照射するパターン照射部の一例である。
図１に示すように、プロジェクタ３は、発光制御部３１と、赤外線光源３２と、ランダムパターンマスク３３と、投射レンズ３４と、を有する。
【００４４】
発光制御部３１は、カメラ・プロジェクタ制御部１７から入力される制御信号としての赤外線照射制御パルス３０１（図２（Ａ）参照）の立ち上がりにあわせて、一定時間、赤外線光源３２に電流を流して発光を制御する。
【００４５】
赤外線光源３２は、赤外線発光部であって、例えば赤外線ＬＥＤ（Light Emitting Diode）により実現される。赤外線光源３２は、発光制御部３１により電流が流されている間、赤外線波長（例えば８５０ｎｍ付近の波長）を照射する。
【００４６】
赤外線光源３２から照射された赤外線は、ランダムパターンマスク３３を通過する。尚、図１においては、ランダムパターンマスク３３を格子状のパターンで図示しているが、実際にはランダムパターンである。
本実施形態においては、赤外線光源３２は１つとする。
【００４７】
ランダムパターンマスク３３は、例えば電鋳（Electroforming）によりランダムで微細な穴開け加工が行われ得た金属製の網目状の板により実現される。
【００４８】
投射レンズ３４は、ランダムパターンマスク３３を透過した赤外線により形成されるパターン光としての赤外線ランダムパターン光３５を、対象物体に対して投射させる。図１に示す例では、投射レンズ３４は１枚に簡略化して図示されているが、実際には必要な画角や焦点距離など、用途に応じて複数枚の凹レンズ、凸レンズを組み合わせて構成され得る。
【００４９】
発光制御部３１は、赤外線照射制御パルス３０１がハイレベルの間、電流を流す。電流の大きさは、カメラ・プロジェクタ制御部１７から入力される制御信号により制御され、赤外線光源３２から出射される赤外線の照射パワーは制御信号によって制御される。赤外線光源３２から出射される赤外線の照射パワーが制御されることにより、プロジェクタ３から照射される赤外線ランダムパターン光３５の照射パワーが制御される。
【００５０】
本実施形態では、図２（Ａ）に示すように、カメラ２の２回目のシャッタにあわせて、対象物体に赤外線ランダムパターン光３５が対象物体に照射されるように、カメラ・プロジェクタ制御部１７から入力される制御信号に基づいて発光制御部３１は制御される。赤外線照射制御パルス３０１のパルス幅は、赤外線ランダムパターン光３５を対称物体に照射する時間であり、露光時間と同等である。
【００５１】
図２（Ａ）に示すように、本実施形態においては、１フレームの間に３回連続してシャッタが切られ、そのうち２回目のシャッタが切られるときに対象物体に赤外線ランダムパターン光３５が照射される。これにより、順に、１回目の露光(１回目のシャッタ)で第１の通常画像、２回目の露光（２回目のシャッタ）でパターン画像、３回目の露光（３回目のシャッタ）で第２の通常画像が取得される。
【００５２】
［情報処理装置の構成例］
（概要）
図１〜図４を用いて情報処理装置１について説明する。図３は、情報処理装置１による内挿画像、差分画像の生成の手順を説明するための図である。図４は、情報処理装置１の構成を示すブロック図である。
【００５３】
図１及び図４に示すように、情報処理装置１は、差分画像生成部１１と、内挿画像生成部１２と、分割領域信頼性判定部１３と、深度算出部１４と、姿勢推定部１５と、ポイントクラウド生成部１６と、カメラ・プロジェクタ制御部１７と、記憶部１８と、を有する。
【００５４】
図２（Ａ）に示すように、本実施形態では、１フレームの間に連続して３回シャッタが切られるように、カメラ２が制御される。このうち２回目のシャッタが切られるときに、赤外線ランダムパターン光３５が対象物体に照射される。
【００５５】
これにより、図３に示すように、１回目のシャッタで第１の通常画像４１がカメラ２により撮影される。２回目のシャッタで、赤外線ランダムパターン光３５が照射された対象物体を撮影したパターン画像５１がカメラ２により撮影される。３回目のシャッタで第２の通常画像４２が取得される。
【００５６】
（記憶部）
図４に示すように、記憶部１８は、カメラ２により取得された通常画像を時系列に記憶する。
また、記憶部１８は、パターン画像５１の深度情報の信頼性の判定に係る情報処理を実行するためのプログラムを格納する。
【００５７】
記憶部１８に記憶されるプログラムは、順に撮影された対象物体の第１の通常画像４１と、赤外線ランダムパターン光３５が照射されたパターン画像５１と、第２の通常画像４２を取得するステップと、第１の通常画像４１と第２の通常画像４２を基にパターン画像５１が撮影された時間に対応する内挿画像５２を生成するステップと、内挿画像５２とパターン画像５１の差分画像５３を生成するステップと、差分画像５３を用いて対象物体の深度情報を算出するステップと、を含む処理を情報処理装置１に実行させるためのものである。
【００５８】
（内挿画像生成部）
図３及び図４に示すように、内挿画像生成部１２は、第２の通常画像４２と、当該第２の通常画像４２よりも時間的に前に取得されたパターン画像５１よりも更に前に取得された第１の通常画像４１を記憶部１８から取得する。
【００５９】
内挿画像生成部１２は、第１の通常画像４１及び第２の通常画像４２を基に、パターン画像５１が取得された時間に対応する内挿画像５２を生成する。
【００６０】
内挿画像５２の生成には、一般的な技術を適用できる。例えば、画像の動きベクトルに基づいて内挿画像５２を生成する方法、事前学習に基づく超解像フィルタを用いて内挿画像５２を生成する方法、輝度ベースの内挿平均フィルタを用いて内挿画像５２を生成する方法等がある。
【００６１】
第１の通常画像４１（第２の通常画像４２）は、左カメラ及び右カメラで構成されたカメラ２により撮像された２枚の右の第１の通常画像４１Ｒ（右の第２の通常画像４２Ｒ）及び左の第１の通常画像４１Ｌ（左の第２の通常画像４２Ｌ）を含む。
【００６２】
内挿画像５２は、右の第１の通常画像４１Ｒと右の第２の通常画像４２Ｒを基に生成される右の内挿画像５２Ｒと、左の第１の通常画像４１Ｌと左の第２の通常画像４２Ｌを基に生成される左の内挿画像５２Ｌと、を含む。尚、内挿画像５２として、内挿画像５２Ｒ又は内挿画像５２Ｌの一方のみを用いてもよい。
【００６３】
（差分画像生成部）
図３及び図４に示すように、差分画像生成部１１は、内挿画像生成部１２で生成された内挿画像５２と、カメラ２より取得したパターン画像５１の差分をとった差分画像５３を生成する。
【００６４】
（分割領域信頼性判定部）
信頼性判定部としての分割領域信頼性判定部１３は、差分画像生成部１１で生成された差分画像５３を解析し、パターン画像５１の深度情報の信頼性を判定する。
具体的には、分割領域信頼性判定部１３は、差分画像５３を格子状に分割してなる複数の分割領域毎に、画像の輝度情報を用いて、差分画像が鮮明か否か、明るいか否かを評価する。尚、１つの分割領域は、例えば８×８画像程度の大きさを採用することができる。
【００６５】
より詳細には、差分画像５３を格子状に分割した分割領域毎に、輝度情報として、平均輝度値、輝度の分散値、ダイナミックレンジを算出する。輝度の分散値及びダイナミックレンジは、輝度のばらつきの指標として用いられ、鮮明さの判定で用いられる。
【００６６】
平均輝度値は、１つの分割領域内の全画素の輝度値の平均である。
輝度の分散値は、１つの分割領域内の各画像の輝度値と当該分割領域の平均輝度値との差を求めることによって各画素における偏差を計算し、当該偏差の二乗平均を計算することによって求められる。
ダイナミックレンジは、１つの分割領域内の最大輝度値と最小輝度値との差により求められる。
【００６７】
分割領域信頼性判定部１３は、分割領域毎に、差分画像が鮮明か否かを判定するために、分散値又はダイナミックレンジがしきい値以上か否かを評価する。しきい値よりも大きい場合には深度情報の信頼性が高いと判定される。しきい値よりも小さい場合には深度情報の信頼性が低いと判定される。また、分散値又はダイナミックレンジの大きさに応じて深度情報の信頼度が付与される。
【００６８】
この鮮明さの判定で、全ての分割領域で鮮明であると判定されると、パターン画像の深度情報の信頼性が高いと判定される。
【００６９】
鮮明さの判定により信頼性が高いと判定されると、ポイントクラウドや深度画像の生成、ポイントクラウドを生成するための姿勢情報の推定等に用いるための深度情報を算出する処理が実行される。
【００７０】
一方、信頼性が低いと判定されると、ポイントクラウドや深度画像の生成、ポイントクラウドを生成するための姿勢情報の推定等に用いるための深度情報を算出する処理は実行されない。
【００７１】
鮮明さの判定により信頼性が低いと判定された場合、次のフレームでの撮影で深度情報の信頼性がより高いパターン画像が得られるように、次のフレームでの撮影でのカメラ２の撮像素子２３の露光時間又はプロジェクタ３の赤外線光源３２の照射パワーが変更されるように制御信号が生成される。
【００７２】
詳細については図６を用いた説明で後述するが、より信頼性の高いパターン画像を取得するための次のフレームでの撮影でのカメラ２及びプロジェクタ３の制御信号の生成では、カメラ２の動き速度が用いられる。
【００７３】
このカメラ２の動き速度は、姿勢推定部１５により推定された姿勢情報を基に算出される。更に、姿勢推定部１５での姿勢情報の推定には、深度情報の算出結果と内挿画像５２が用いられ、ここでの深度情報の算出では、信頼性が低いと判定されているパターン画像５１が用いられる。
【００７４】
鮮明さの判定で鮮明でないと判定されると、分割領域信頼性判定部１３は、分割領域毎に、差分画像が明るいか否かを判定する。明るいか否かの判定には平均輝度値が用いられ、平均輝度値がしきい値以上か否かが評価される。
【００７５】
この明るさの判定結果と、上述のカメラ２の動き速度を用いて、より深度情報の信頼性が高いパターン画像が得られるように、次のフレームでの撮影でのカメラ２の撮像素子２３の露光時間、プロジェクタ３の赤外線光源３２の照射パワーが制御されるように制御信号が生成される。
【００７６】
尚、本実施形態では差分画像の鮮明さの判定において、分散値またはダイナミックレンジを用いる例をあげたが、輝度情報として空間周波数を用いてもよい。
【００７７】
（深度算出部）
図４に示すように、深度算出部１４は、パターン画像５１を用いて深度情報（奥行情報）を算出する。例えばブロックマッチング手法を用いて深度情報を算出することができる。
【００７８】
パターン画像５１は、左カメラ及び右カメラで構成されたカメラ２により撮像された２枚の右パターン画像５１Ｒ及び左パターン画像５１Ｌを含む。
ブロックマッチング手法では、右パターン画像５１Ｒと左パターン画像５１Ｌとをブロック毎にマッチングする。
【００７９】
具体的には、例えば８×８のブロック単位で画像のマッチングを行う場合、右カメラにより撮像された右パターン画像５１Ｒの注目している画素を中心とした８×８画像のブロックに近いブロックを左パターン画像５１Ｌから探して視差を得る。すなわち、深度算出部１４は、左パターン画像５１Ｌの探索範囲の全ての水平１画素毎に、右パターン画像５１Ｒの８×８ブロックと左パターン画像５１Ｌの８×８ブロックとの画像比較を行う。例えば探索範囲が６４画素の場合、右パターン画像５１Ｒの１画素毎に６４回のブロックの画像マッチングを行い、これを右パターン画像の全ての画素に対して行う。
【００８０】
カメラ２を構成する右カメラ、左カメラは固定されており、カメラ感の距離（基線長）が固定されている。このため、ブロックマッチングにより得た視差と、基線長とに基づいて、深度が算出される。
【００８１】
以上説明したマッチング処理を全画素に対して行うことで、各画素の深度情報が得られ、画面全体の深度画像を生成することができる。
この生成される深度画像は、分割領域信頼性判定部１３により深度情報の信頼性が高いと判定されたパターン画像５１を用いて深度情報が算出されて生成されることにより、精度の高いものとなる。
【００８２】
（姿勢推定部）
図４に示すように、姿勢推定部１５は、内挿画像５２及び深度情報を用いて、カメラ２の姿勢情報を取得する。姿勢推定部１５は、深度情報が得られた画素を異なるフレームでトラッキングすることにより、カメラ２の位置と姿勢を推定する。この推定結果を用いてカメラ２の動き速度が算出される。
【００８３】
（ポイントクラウド生成部）
図４に示すように、ポイントクラウド生成部１６は、深度情報の信頼性の高いパターン画像５１を用いて深度算出部１４で算出された深度情報と、当該深度情報及び内挿画像５２を用いて姿勢推定部１５で推定された姿勢情報を基に、被写体となっている対象物体の単一の基準座標系におけるポイントクラウドを生成する。
【００８４】
（カメラ・プロジェクタ制御部）
カメラ・プロジェクタ制御部１７は、分割領域信頼性判定部１３での差分画像の鮮明さの判定で鮮明でないと判定され深度情報の信頼性が低いとされた判定結果に基づいて、姿勢推定部１５により推定された姿勢情報を用いて、次のフレームでの撮影におけるカメラ２での露光時間及びプロジェクタ３から照射される赤外線ランダムパターン光の照射パワーを制御する制御信号を生成する。
このように、カメラ・プロジェクタ制御部１７は、露光制御部であり照射制御部でもある。
【００８５】
［情報処理方法］
図３〜図６を用いて、上述の情報処理装置１における情報処理方法について、図５のフロー図に従って説明する。図５は情報処理装置１による情報処理方法を説明するフロー図である。図６は、分割領域信頼性判定部１３による差分画像を用いた分割領域毎の深度情報の信頼性の判定方法及びカメラ・プロジェクタ制御部１７での制御信号の生成方法を説明するためのフロー図である。
【００８６】
図３〜図５に示すように、情報処理装置１により、カメラ２で順に撮影された対象物体の第１の通常画像４１、パターン画像５１、第２の通常画像４２が取得される（Ｓ１）。
次に、内挿画像生成部１２により、第１の通常画像４１及び第２の通常画像４２を用いて内挿画像５２が生成される（Ｓ２）。
次に、差分画像生成部１１により、内挿画像５２及びパターン画像５１を用いて差分画像５３が生成される（Ｓ３）。
【００８７】
次に、分割領域信頼性判定部１３により、差分画像５３を格子状に分割した分割領域毎に、輝度情報として平均輝度値、分散値、ダイナミックレンジが算出され、これらを用いて深度情報の信頼性が判定される（Ｓ４）。深度情報の信頼性の判定の詳細については後述する。
【００８８】
次に、分割領域信頼性判定部１３により深度情報の信頼性が高いと判定されると、深度算出部１４により、パターン画像５１を用いて深度情報が算出される（Ｓ５）。
【００８９】
次に、内挿画像５２及び深度情報を用いて、姿勢推定部１５によりカメラ２の姿勢情報が推定される（Ｓ６。）当該姿勢情報を基にカメラ２の動き速度が推定される。
【００９０】
次に、深度情報の信頼性判定で信頼性が高いと判定されたパターン画像５１を用いて深度算出部１４により算出された深度情報、当該深度情報と内挿画像５２を用いて姿勢推定部１５により推定された姿勢情報を基に、ポイントクラウド生成部１６により、対象物体の三次元空間情報としてのポイントクラウドが生成される（Ｓ７）。
【００９１】
ここで、内挿画像５２はパターン画像５１が撮影された時間に対応する画像であり、深度情報算出で用いられるパターン画像５１と、姿勢推定で用いられる内挿画像５２とは、同じ時間に撮影された画像とみなされる。
すなわち、ポイントクラウド生成において、時間的なずれのない深度情報と姿勢情報を用いることができ、より精度の高いポイントクラウドを生成することができる。
【００９２】
図５に示すフロー図に戻る。
カメラ・プロジェクタ制御部１７により、分割領域信頼性判定部１３による判定結果及び姿勢推定部１５により推定された姿勢情報に基づいて、カメラ２及びプロジェクタ３の制御信号が生成される（Ｓ８）。詳細については後述する。
【００９３】
次に、図６を用いて、分割領域信頼性判定部１３及びカメラ・プロジェクタ制御部１７における情報処理方法について説明する。図６において、Ｓ１１〜Ｓ１８のステップはフレーム毎に行われる。
【００９４】
図６において、Ｓ１１の分割領域毎の鮮明さ判定処理とＳ１２の明るさ判定処理は、分割領域信頼性判定部１３で行われる。Ｓ１３〜Ｓ１８の各処理は、カメラ・プロジェクタ制御部１７で行われる。
【００９５】
図６に示すように、分割領域信頼性判定部１３により、分割領域毎に、差分画像が鮮明か否かが判定される（Ｓ１１）。鮮明さの判定には、分散値又はダイナミックレンジが用いられ、分散値又はダイナミックレンジがしきい値以上か否かが評価される。
【００９６】
Ｓ１１で、しきい値以上であり、鮮明であると判定され、深度情報の信頼性が高いと判定されると（Ｙｅｓ）、Ｓ１９に進み、次のフレームでの処理へと進む。次のフレームでの処理においても、Ｓ１１〜Ｓ１８の処理が行われる。
【００９７】
次のフレームでの撮影は、直前のフレームで出力されたパルス波形と同じ制御信号で、カメラ２の撮像素子２３の撮像時間、プロジェクタ３からの赤外線ランダムパターン光の照射パワーが制御されて、行われる。
【００９８】
尚、Ｓ１１で鮮明であると判定され、深度情報の信頼性が高いと判定された場合、次のフレームでの撮影で、赤外線ランダムパターン光の照射がオフとなるように制御されてもよく、消費電力を低減させることができる。
【００９９】
例えば、１秒間に６０フレーム撮影する場合、必ずしも全てのフレームで撮影を実行しなくてもよく、深度情報の信頼性が高いパターン画像が取得されていれば、次のフレームでの撮影では赤外線照射をオフとして、パターン画像を取得しないように構成してもよく、消費電力を低減させることができる。
【０１００】
また、Ｓ１１で鮮明であると判定され、深度情報の信頼性が高いと判定されると（Ｙｅｓ）、深度算出部１４により、信頼性が高いと判定されたパターン画像５１を用いて、ポイントクラウドや深度画像の生成、ポイントクラウドを生成するための姿勢情報の推定等に用いるための深度情報の算出が行われる。
【０１０１】
Ｓ１１で、しきい値未満であり、鮮明でないと判定され、深度情報の信頼性が低いと判定されると（Ｎｏ）、Ｓ１２に進む。
【０１０２】
Ｓ１２では、分割領域毎に、差分画像が明るいか否かが判定される。明るさの判定には、平均輝度値が用いられ、平均輝度値がしきい値以上か否かが判定される。
Ｓ１２で、しきい値未満であり、暗いと判定されると（Ｎｏ）、Ｓ１３に進む。
Ｓ１２で、しきい値以上であり、明るいと判定されると（Ｙｅｓ）、Ｓ１４に進む。
【０１０３】
ここで、例えば、撮影する対象物体がおかれる環境が暗かったり、対象物体自体が黒っぽかったりして、画像が暗すぎる場合、対象物体を識別することが難しくなる。
一方、明るすぎる場合は、白つぶれ等が生じ、対象物体を識別することが難しくなる。
【０１０４】
Ｓ１３では、姿勢推定部１５で推定されるカメラ２の動き速度がしきい値ｔｈＣ以上であるか否かが判定される。カメラ２の動き速度がしきい値未満である場合はカメラ２がゆっくりと動いている状態であり、しきい値以上である場合はカメラ２が早く動いている状態である。
【０１０５】
Ｓ１３で、カメラ２の動き速度がしきい値ｔｈＣ未満であると判定されると（Ｙｅｓ）、カメラ２での露光時間が長くなるように（Ｓ１５）、カメラ・プロジェクタ制御部１７により、カメラ２のカメラ制御パルス（制御信号）が生成される。更に、カメラ２での露光時間の変更に伴い、プロジェクタ３での赤外線照射時間が長くなるように、赤外線照射パルス（制御信号）が生成される。
【０１０６】
そして、次のフレームでの撮影時に、生成された制御信号に基づき画像が取得されることにより、暗すぎない、深度情報の信頼性がより高いパターン画像５１を得ることができる。
【０１０７】
ここで、画像が暗い場合、照射する赤外線のパワーを上げることも考えられるが、消費電力が高くなるため、カメラ２の動きが遅い場合には、露光時間で制御することが好ましく、消費電力の増加を抑制することができる。
【０１０８】
Ｓ１３で、カメラ２の動き速度がしきい値ｔｈＣ以上であると判定されると（Ｎｏ）、プロジェクタ３での赤外線照射パワーが増加するように（Ｓ１６）、カメラ・プロジェクタ制御部１７により、プロジェクタ３の赤外線照射パルスが生成される。
【０１０９】
ここで、画像が暗く、カメラ２の動きが早い場合、露光時間を長くすると、撮影する画像がぼけてしまうため、赤外線照射パワーを増加することが好ましい。これにより、次のフレームでの撮影で、生成された制御信号に基づき画像が取得されることによって、暗すぎない、深度情報の信頼性がより高いパターン画像５１を得ることができる。
【０１１０】
Ｓ１４では、姿勢推定部１５で推定されるカメラ２の動き速度がしきい値ｔｈＣ以上であるか否かが判定される。カメラ２の動き速度がしきい値未満である場合はカメラ２がゆっくりと動いている状態であり、しきい値以上である場合はカメラ２が早く動いている状態である。
【０１１１】
Ｓ１４で、カメラ２の動き速度がしきい値ｔｈＣ未満であると判定されると（Ｙｅｓ）、カメラ２での露光時間が短くなるように（Ｓ１７）、カメラ・プロジェクタ制御部１７により、カメラ２のカメラ制御パルス（制御信号）が生成され、更に、カメラ２での露光時間の変更に伴い、プロジェクタ３での赤外線照射時間が短くなるように、赤外線照射パルス（制御信号）が生成される。
これにより、次のフレームでの撮影で、生成された制御信号に基づき画像が取得されることにより、明るすぎない、深度情報の信頼性がより高いパターン画像５１を得ることができる。
【０１１２】
Ｓ１４で、カメラ２の動き速度がしきい値ｔｈＣ以上であると判定されると（Ｎｏ）、プロジェクタ３での赤外線照射パワーが減少するように（Ｓ１８）、カメラ・プロジェクタ制御部１７により、プロジェクタ３の赤外線照射パルスが生成される。
これにより、次のフレームでの撮影で、生成された制御信号に基づき画像が取得されることにより、明るすぎない、深度情報の信頼性がより高いパターン画像５１を得ることができる。
【０１１３】
Ｓ１５〜Ｓ１８の各ステップの後、Ｓ１９にすすみ、次のフレームでの撮影は、Ｓ１５〜Ｓ１８の各ステップで生成された制御信号に基づいて、カメラ２及びプロジェクタ３が制御されて、処理が行われる。
【０１１４】
このように、深度算出部１４による深度情報の算出は、分割領域信頼性判定部１３による信頼性判定の結果にかかわらず行われるが、信頼性が高いと判定された場合に算出される深度情報は、深度画像の生成、ポイントクラウドの生成、ポイントクラウド生成のための姿勢情報の推定に用いられる。
一方、信頼性が低いと判定された場合に算出される深度情報は、次のフレームでの撮影で、深度情報の信頼性がより高いパターン画像が得られるように、カメラ２及びプロジェクタ３を制御するための制御信号を生成するために用いられる。
【０１１５】
また、姿勢推定部１５による姿勢推定は、分割領域信頼性判定部１３による信頼性判定の結果にかかわらず行われるが、信頼性が高いと判定された場合に推定される姿勢情報は、ポイントクラウドの生成に用いられる。
一方、信頼性が低いと判定された場合に推定される姿勢情報は、次のフレームでの撮影で、深度情報の信頼性がより高いパターン画像が得られるように、カメラ２及びプロジェクタ３を制御するための制御信号を生成するために用いられる。
【０１１６】
以上のように、本実施形態では、差分画像を用いて、パターン画像の深度情報の信頼性が判定される。そして、この信頼性判定で深度情報の信頼性が高いと判定されたパターン画像を基に深度情報が算出されるため、対象物体の精度の高い深度情報を取得することができる。
【０１１７】
また、パターン画像が撮像された時間に対応する内挿画像を用いて姿勢情報が取得されることにより、時間的なずれがないとみなされる、自己位置推定用の画像（内挿画像）と深度情報算出用の画像（パターン画像）を取得することができる。更に、時間的なずれがないとみなされる内挿画像とパターン画像との差分画像の輝度情報を用いて深度情報の信頼性の判定が行われる。これにより精度の高い深度情報を取得することができる。
【０１１８】
また、精度の高い深度情報と姿勢情報を用いて、精度の高いポイントクラウドを生成することができる。
【０１１９】
更に、本実施形態では、差分画像の輝度情報を用いて、次のフレームでの撮影におけるカメラ２での露光時間又はプロジェクタ３からの赤外線ランダムパターン光の照射パワー（赤外線光源の照射パワー）が制御されるので、深度情報の信頼性がより高くなったパターン画像を得ることが可能となる。これにより、深度情報の信頼性の高いパターン画像を用いて深度情報を算出することが可能となり、精度の高い深度情報を取得することができる。
【０１２０】
［その他の実施形態］
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２１】
例えば、上述の実施形態においては、図２（Ａ）に示すように、１フレーム期間に３回シャッタが切られるようにカメラ２が制御され、２回目のシャッタが切られるときに赤外線が照射されるようにプロジェクタ３の赤外線照射のタイミングが制御されていた。
【０１２２】
これに対し、図２（Ｂ）に示すように、第１フレーム目で２回シャッタが切られて第１の通常画像とパターン画像が取得され、続く第２フレーム目で１回シャッタが切られて第２の通常画像が取得されるように、カメラ２及びプロジェクタ３の動作が制御されてもよい。
【０１２３】
このように、第１の通常画像と第２の通常画像の少なくとも一方が、パターン画像と同一のフレーム期間内で取得され、第１の通常画像、パターン画像、第２の通常画像が順に撮影されればよい。
【０１２４】
また、上述の実施形態においては、カメラ２としてステレオカメラを用いる場合を例にあげたが、単眼カメラであってもよい。単眼カメラの場合、対象物体に赤外線を照射して撮影して得られる赤外線パターンの図柄と、予め取得していた対象物体との距離毎の固定パターンの図柄のマッチングを行い、パターン画像における対象領域または対象特徴点の深度情報を算出することができる。
【０１２５】
また、上述の実施形態においては、第１の通常画像、第２の通常画像はそれぞれパターン画像の直前、直後に取得され、時間的に連続して順に第１の通常画像、パターン画像、第２の画像が取得されていたが、これに限定されず時間的に連続していなくてもよい。
【０１２６】
第１の通常画像（第２の通常画像）の取得とパターン画像の取得とが時間的にあいていてもよい。少なくとも、時間的に、パターン画像の取得時よりも前に第１の通常画像が取得され、パターン画像の取得時よりも後に第２の通常画像が取得されればよい。
【０１２７】
典型的には、上述の実施形態のように、第１の通常画像、第２の通常画像はそれぞれパターン画像の直前、直後にそれぞれ取得される。これにより高い精度の内挿画像を得ることができる。
【０１２８】
また、上述の実施形態においては、プロジェクタ３に１つの赤外線光源３２が搭載される場合を例にあげたが、図７に示すように、プロジェクタが複数の赤外線光源を備えてもよい。
【０１２９】
図７は、複数の赤外線光源を搭載するプロジェクタ１０３の概略図であり、パターン画像５１における赤外線光源３２毎の赤外線ランダムパターン光３５の照射領域を説明するための図である。
【０１３０】
図７に示すように、プロジェクタ１０３は、４つの赤外線光源３２ａ〜３２ｄを有する。プロジェクタ１０３は、各赤外線光源３２ａ〜３２ｄから照射された赤外線がランダムパターンマスク３３（図１参照）を通過することによって生成される赤外線ランダムパターン光３５ａ〜３５ｃを照射する。
【０１３１】
尚、赤外線光源の数は１つ又は４つに限定されることはなく、単数又は複数である。
赤外線光源３２ａ〜３２ｄを特に区別する必要がない場合は赤外線光源３２と称する。後述する赤外線ランダムパターン光３５ａ〜３５ｄ、照射領域３７ａ〜３７ｄについても同様であり、それぞれ特に区別する必要がない場合は、赤外線ランダムパターン光３５、照射領域３７と称する。以下の図８及び図９についても同様である。
【０１３２】
各赤外線光源３２ａ〜３２ｄから照射される赤外線によって生成される赤外線ランダムパターン光３５ａ〜３５ｄがプロジェクタ１０３から出射される。出射された赤外線ランダムパターン光３５ａ〜３５ｄが対象物体に照射された状態を撮影することにより、パターン画像５１が取得される。
【０１３３】
パターン画像５１は、赤外線光源３２ａ〜３２ｄ毎に生成される赤外線ランダムパターン光３５ａ〜３５ｄがそれぞれ照射された照射領域３７ａ〜３７ｄを有する。照射領域３７ａ〜３７ｄは、一方向に沿ってずれて位置し、隣り合う照射領域は互いに部分的に重なり合っている。
【０１３４】
このように、複数の赤外線光源３２を備えたプロジェクタ１０３を用い、赤外線光源３２の配置に応じてパターン画像５１におけるパターン光照射領域を設定してもよい。また、複数の赤外線光源３２の照射のオン、オフは個別に制御可能となっていてもよい。
【０１３５】
複数の赤外線光源を備えたプロジェクタを用いる場合においても、上述と同様、プロジェクタ１０３を用いて取得したパターン画像を基に差分画像が生成される。そして、差分画像を格子状に分割してなる複数の分割領域毎で深度情報の信頼性判定が行なわれる。
【０１３６】
信頼性判定の結果、ある赤外線光源３２の照射領域３７にある分割領域の全てにおいて、深度情報の信頼性が高いと判定された場合、当該赤外線光源３２からの赤外線照射は、次のフレームでの撮影時ではオフとし照射が行われないように構成してもよい。以下、図８を用いて説明する。
【０１３７】
図８及び後述する図９は、図７と同様に、４つの赤外線光源３２ａ〜３２ｄを搭載するプロジェクタ１０３の概略図であり、パターン画像５１における赤外線光源３２毎の赤外線ランダムパターン光３５の照射領域３７を説明するための図である。また、図８及び図９は、信頼性判定結果を基に次のフレーム撮影で赤外線照射をオンとする赤外線光源をどのように選択するかを説明するための図である。上述と同様の構成については同様の符号を付している。
【０１３８】
図８及び後述する図９において、プロジェクタ１０３の各赤外線光源３２ａ〜３２ｄから照射される赤外線を用いて生成される赤外線ランダムパターン光３５ａ〜３５ｄが照射された対象物体が撮影されてなるパターン画像５５は、赤外線ランダムパターン光の照射領域３７ａ〜３７ｄを有する。
図８及び図９では、便宜的に、各照射領域３７ａ〜３７ｄを、図面、上下方向に長手方向を有する矩形状とし、隣り合う照射領域同士が重ならないように図示している。
【０１３９】
照射されたパターン画像５５を基に差分画像が生成される。差分画像は、格子状に分割され、複数の分割領域毎に、輝度情報を用いて、深度情報の信頼性判定が行なわれる。
【０１４０】
図８では、パターン画像５５に、信頼性判定結果が反映されたものを図示している。図では、パターン画像５５に、信頼度をドットの密度で表したドットパターンを重ねて図示している。ドットの密度が粗なほど深度情報の信頼性が高いことを表し、密なほど深度情報の信頼性が低いことを表す。
【０１４１】
図８に図示されるパターン画像５５は、照射領域３７ｃ及び３７ｄにおいて深度情報の信頼性が高く、照射領域３７ａ及び３７ｂにおいて深度情報の信頼性が低くなっていることを表している。ここでは、カメラ２が動いていないと想定する。
【０１４２】
このように、深度情報の信頼性が高い照射領域３７ｃ及び３７ｄに対応する赤外線光源３２ｃ及び３２ｄは、次のフレームでの撮影時で照射がオフとなるように制御される。これより、電力の消費を低減することができる。
【０１４３】
一方、深度情報の信頼性が低い照射領域３７ａ及び３７ｂに対応する赤外線光源３２ａ及び３２ｂは、次のフレームでの撮影時で照射がオンとなるように制御される。
また、深度情報の信頼性が低いと判定されたときの差分画像を用いて、上述したようにカメラ２での露光時間やプロジェクタ１０３の赤外線光源３２ａ及び３２ｂの照射パワーの制御信号が生成され、次のフレームでの撮影では、この制御信号に基づいてカメラ２やプロジェクタ３が制御されて撮影が行われる。
【０１４４】
このように、複数の赤外線光源を用いることにより、パターン画像における、深度情報の信頼性が高い、ポイントクラウドの生成等に有効な領域を判定することができる。また、深度情報の信頼性が高く有効な領域での赤外線照射が次のフレームでの撮影時にオフされるように赤外線光源を選択することができ、電力の消費を低減することができる。
【０１４５】
また、カメラ２の動きを考慮して、次のフレームでの撮影時にオンとする赤外線光源３２が選択されるように構成してもよい。以下、図９を用いて説明する。
【０１４６】
上述と同様に、プロジェクタ１０３から照射される赤外線が照射されるパターン画像５５を基に差分画像が生成される。差分画像は、格子状に分割されてなる複数の分割領域毎に、輝度情報を用いて、深度情報の信頼性判定が行なわれる。図９では、図８と同様にパターン画像５５に信頼度を表すドットパターンが重なって図示され、信頼性判定結果が反映されたものを図示している。
【０１４７】
図９に図示されるパターン画像５５では、照射領域３７ｃ及び３７ｄにおいて深度情報の信頼性が高く、照射領域３７ａ及び３７ｂにおいて深度情報の信頼性が低くなっている。ここでは、図面上、カメラ２が右から左に動くと推定されたとする。
【０１４８】
図９のパターン画像５５において、カメラ２が右から左に動くと推定される場合、カメラ２が移動する直前のフレームで撮影されたパターン画像内で信頼性が低かった領域のパターン画像を次のフレームでの撮影時に再度取得されるように、赤外線ランダムパターン光の照射をする赤外線光源３２ａ〜３２ｃが選択される。
【０１４９】
以上のように、プロジェクタが複数の赤外線光源を備える場合、赤外線光源の配置に応じて赤外線光の照射領域が設定される。そして、各赤外線光源からの赤外線ランダムパターン光が照射される照射領域毎の深度情報の信頼性の判定結果に基づいて、次のフレームでの撮影時に、赤外線照射が行われる赤外線光源が選択される、すなわち、赤外線ランダムパターン光の照射領域が設定されるように構成されてもよい。
【０１５０】
また、深度情報の信頼性の判定結果に応じて赤外線ランダムパターン光の照射領域を設定する手法として、上述の複数の赤外線光源をプロジェクタに搭載する構成とする他、プロジェクタに搭載されるミラーとレンズを制御して光を集中させることにより、照射領域を選択するように構成してもよい。
【０１５１】
なお、本技術は以下のような構成もとることができる。
（１）  第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像のうち上記第１の通常画像と上記第２の通常画像を基に、上記パターン画像が撮影された時間に対応する内挿画像を生成する内挿画像生成部と、
上記内挿画像と上記パターン画像の差分画像を生成する差分画像生成部と、
上記差分画像を用いて深度情報を算出する深度算出部と
を具備する情報処理装置。
【０１５２】
（２）  上記（１）に記載の情報処理装置であって、
上記深度算出部は、上記差分画像を用いて判定される上記パターン画像における深度情報の信頼性の判定結果に基づいて、上記パターン画像から深度情報を算出する
情報処理装置。
【０１５３】
（３）  上記（１）又は（２）に記載の情報処理装置であって、
上記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、上記パターン画像における深度情報の信頼性を判定する信頼性判定部
を更に具備する情報処理装置。
【０１５４】
（４）  上記（３）に記載の情報処理装置であって、
上記輝度情報は、上記分割領域毎の輝度の分散値である
情報処理装置。
【０１５５】
（５）  上記（３）に記載の情報処理装置であって、
上記輝度情報は、上記分割領域毎の輝度のダイナミックレンジである
情報処理装置。
【０１５６】
（６）  上記（３）に記載の情報処理装置であって、
上記輝度情報は、上記分割領域毎の空間周波数である
情報処理装置。
【０１５７】
（７）  上記（３）〜（６）のうちいずれか１つに記載の情報処理装置であって、
上記信頼性判定部の判定結果に応じて、次のパターン画像の撮影でのパターン画像における上記赤外線パターン光の照射領域が設定される
情報処理装置。
【０１５８】
（８）  上記（７）に記載の情報処理装置であって、
上記赤外線パターン光は、複数の赤外線光源を備えるパターン照射部から照射され、
上記パターン画像は、複数の上記赤外線光源毎に照射領域が異なる上記赤外線パターン光が照射されて撮影される
情報処理装置。
【０１５９】
（９）  上記（１）〜（８）のいずれか１つに記載の情報処理装置であって、
上記第１の通常画像、上記パターン画像、及び上記第２の通常画像は、撮像素子を備えるカメラにより撮影され、
上記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、上記撮像素子の露光時間を制御する露光制御部
を更に具備する情報処理装置。
【０１６０】
（１０）  上記（１）〜（９）のいずれか１つに記載の情報処理装置であって、
上記差分画像を格子状に分割した分割領域毎の輝度情報を用いて、上記赤外線パターン光の照射パワーを制御する照射制御部
を更に具備する情報処理装置。
【０１６１】
（１１）  上記（１）〜（１０）のいずれか１つに記載の情報処理装置であって、
上記内挿画像生成部は、上記パターン画像の撮影の直前に撮影された上記第１の通常画像と、上記パターン画像の撮影の直後に撮影された上記第２の通常画像を基に上記内挿画像を生成する
情報処理装置。
【０１６２】
（１２）  上記（１）〜（１１）のいずれか１つに記載の情報処理装置であって、
上記第１の通常画像と上記第２の通常画像の少なくとも一方は、上記パターン画像と同一のフレーム期間内で取得される
情報処理装置。
【０１６３】
（１３）  第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像を取得し、
上記第１の通常画像と上記第２の通常画像を基に上記パターン画像が撮影された時間に対応する内挿画像を生成し、
上記内挿画像と上記パターン画像の差分画像を生成し、
上記差分画像を用いて深度情報を算出する
情報処理方法。
【０１６４】
（１４）  第１の通常画像と、赤外線パターン光が照射されたパターン画像と、第２の通常画像を取得するステップと、
上記第１の通常画像と上記第２の通常画像を基に上記パターン画像が撮影された時間に対応する内挿画像を生成するステップと、
上記内挿画像と上記パターン画像の差分画像を生成するステップと、
上記差分画像を用いて深度情報を算出するステップと
を含む処理を情報処理装置に実行させるためのプログラム。
【符号の説明】
【０１６５】
１…情報処理装置
２…カメラ
３…プロジェクタ（パターン照射部）
１１…差分画像生成部
１２…内挿画像生成部
１３…分割領域信頼性判定部（信頼性判定部）
１４…深度算出部
２３…撮像素子
３２、３２ａ〜３２ｄ…赤外線光源
３５…赤外線ランダムパターン光（赤外線パターン光）
３７ａ〜３７ｄ…照射領域
４１…第１の通常画像
４２…第２の通常画像
５１…パターン画像
５２…内挿画像
５３…差分画像
【図１】
2020034465.tif 000003
【図２】
2020034465.tif 000004
【図３】
2020034465.tif 000005
【図４】
2020034465.tif 000006
【図５】
2020034465.tif 000007
【図６】
2020034465.tif 000008
【図７】
2020034465.tif 000009
【図８】
2020034465.tif 000010
【図９】
2020034465.tif 000011