(57)【要約】【課題】被写体の三次元情報を容易かつ速やかに精度よく取得できるようにする。【解決手段】領域判別部３１は、投射された所定の光束の反射光に基づき三次元情報を取得するアクティブ法適用領域と他の領域であるパッシブ法適用領域を判別して、領域判別結果ＲＤを三次元情報取得部４１に出力する。領域判別結果ＲＤに基づき、三次元情報取得部４１のアクティブ法三次元情報取得部４１１は、反射光を利用してアクティブ法適用領域の三次元情報ＤＴaを取得する。パッシブ法三次元情報取得部４１２は、視点の異なる複数の撮像画像からパッシブ法適用領域の三次元情報ＤＴpを取得する。したがって、被写体の三次元情報を容易かつ速やかに精度よく取得できる。できる。【選択図】        図１
2016142676.tif 000002
【特許請求の範囲】
【請求項１】
投射された所定の光束の反射光に基づき三次元情報を取得するアクティブ法適用領域と他の領域であるパッシブ法適用領域を判別する領域判別部と、
前記領域判別部の領域判別結果に基づき、前記アクティブ法適用領域では前記反射光を利用して三次元情報の取得を行い、前記パッシブ法適用領域では視点の異なる複数の撮像画像から三次元情報の取得を行う三次元情報取得部と
を備える情報処理装置。
【請求項２】
前記領域判別部は、前記撮像画像の中の前記反射光が得られた被写体領域を前記アクティブ法適用領域と判別する
請求項１記載の情報処理装置。
【請求項３】
前記領域判別部は、撮像方向および画角が等しい状態で前記所定の光束を投射して撮像された撮像画像と前記所定の光束を投射することなく撮像された撮像画像との差分画像から前記アクティブ法適用領域を判別する
請求項２記載の情報処理装置。
【請求項４】
前記領域判別部は、領域判別のための光束を投射して撮像された撮像画像の輝度分布に基づき被写体の境界を求めて、前記被写体の輝度が所定レベルよりも高い被写体領域を前記アクティブ法適用領域と判別する
請求項１記載の情報処理装置。
【請求項５】
前記領域判別部は、前記撮像画像においてテクスチャのある領域を前記パッシブ法適用領域と判別する
請求項１記載の情報処理装置。
【請求項６】
前記三次元情報取得部は、前記アクティブ法適用領域についても、前記視点の異なる複数の撮像画像から三次元情報の取得を行い、前記アクティブ法適用領域について前記視点の異なる複数の撮像画像から取得した三次元情報と前記反射光を利用して取得した三次元情報とのスケール比を求め、前記スケール比に基づいて、前記反射光を利用して取得した前記アクティブ法適用領域の三次元情報に、前記視点の異なる複数の撮像画像から取得した前記パッシブ法適用領域の三次元情報のスケールを一致させるスケール調整を行う
請求項１記載の情報処理装置。
【請求項７】
前記アクティブ法適用領域では前記反射光を利用して取得した三次元情報を用いて、前記パッシブ法適用領域では前記視点の異なる複数の撮像画像から取得した前記スケール調整後の三次元情報を用いることにより、三次元情報の統合を行う情報統合部をさらに備える
請求項６記載の情報処理装置。
【請求項８】
前記所定の光束は構造化光である
請求項１記載の情報処理装置。
【請求項９】
前記所定の光束は、反射光が戻って来るまでのフライト時間から距離を測定するための投射光である
請求項１記載の情報処理装置。
【請求項１０】
領域判別部によって、投射された所定の光束の反射光に基づき三次元情報を取得するアクティブ法適用領域と他の領域であるパッシブ法適用領域を判別する工程と、
三次元情報取得部によって、前記領域判別部の領域判別結果に基づき、前記アクティブ法適用領域では前記反射光を利用して三次元情報の取得を行い、前記パッシブ法適用領域では視点の異なる複数の撮像画像から三次元情報の取得を行う工程と
を含む情報処理方法。
【請求項１１】
撮像画像が被写体領域の三次元情報を取得する処理をコンピュータで実行させるプログラムであって、
投射された所定の光束の反射光に基づき三次元情報を取得するアクティブ法適用領域と他の領域であるパッシブ法適用領域を判別する手順と、
前記アクティブ法適用領域とパッシブ法適用領域の判別結果に基づき、前記アクティブ法適用領域では前記反射光を利用して三次元情報の取得を行い、前記パッシブ法適用領域では視点の異なる複数の撮像画像から三次元情報の取得を行う手順と
を前記コンピュータで実行させるプログラム。
【請求項１２】
撮像画像を生成する撮像部と、
前記撮像部を制御して、所定の光束が投射された状態と前記所定の光束が投射されていない状態で前記撮像画像を生成させる制御部と、
投射された前記所定の光束の反射光に基づき三次元情報を取得するアクティブ法適用領域と他の領域であるパッシブ法適用領域を判別する領域判別部と、
前記領域判別部の判別結果に基づき、前記アクティブ法適用領域では前記反射光を利用して三次元情報の取得を行い、前記パッシブ法適用領域では視点の異なる複数の撮像画像から三次元情報の取得を行う三次元情報取得部と
を備える撮像装置。
【請求項１３】
前記領域判別部は、撮像時の明るさに応じて前記アクティブ法適用領域と前記パッシブ法適用領域の判別を行う
請求項１２記載の撮像装置。
【請求項１４】
前記領域判別部は、撮像モードに応じて前記アクティブ法適用領域と前記パッシブ法適用領域の判別を行う
請求項１２記載の撮像装置。
【請求項１５】
前記領域判別部は、前記撮像画像の画像信号に応じて前記アクティブ法適用領域と前記パッシブ法適用領域の判別を行う
請求項１２記載の撮像装置。
【請求項１６】
前記視点の異なる複数の撮像画像と前記領域判別結果を記憶する記憶部を備える
請求項１２記載の撮像装置。
【請求項１７】
前記記憶部は、前記反射光を利用して取得した三次元情報を記憶する
請求項１６記載の撮像装置。
【請求項１８】
前記所定の光束を投射する投射部をさらに備え、
前記制御部は前記投射部からの所定の光束の投射を制御する
請求項１２記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、情報処理装置と情報処理方法とプログラムおよび撮像装置に関し、被写体の三次元情報を容易かつ速やかに精度よく取得できるようにする。
【背景技術】
【０００２】
従来、三角測量の原理を用いて三次元情報を取得する方法として、アクティブ法とパッシブ法が知られている。アクティブ法は、例えば特許文献１に開示されているように、構造化光を被写体へ投射して撮像を行い、この撮像画像における構造化光に基づき三次元情報を取得する方法である。また、パッシブ法は、例えば特許文献２に開示されているように、構造化光を投射することなく、画像特徴ベースで三次元情報を取得する方法である。
【０００３】
アクティブ法は、構造化光が届く範囲においては、高精度で安定した計測が可能であり、構造化光が届かない遠くの被写体の場合、精度や安定度は低下するが、パッシブ法を適用すれば三次元情報を取得できる。このため、例えば特許文献３では、アクティブ法で測距が困難なシーンでは、アクティブ法を用いた撮像モードからパッシブ法を用いた撮像モードに切り換えて測距が行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開ＷＯ２００６／１２０７５９
【特許文献２】特開平９−７９８２０号公報
【特許文献３】特開２０００−３４７０９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、撮像エリア内に近くの被写体や遠くの被写体が含まれている場合、アクティブ法を用いた撮像モードとパッシブ法を用いた撮像モードのそれぞれの三次元情報を合成すれば、高精度に三次元情報を取得できる。しかし、アクティブ法を用いて取得した三次元情報とパッシブ法を用いて取得した三次元情報の合成は、専用のソフトウェアや３次元エディタを用いた作業が必要となり、容易かつ速やかに精度良く三次元情報を取得することが困難である。
【０００６】
そこで、この技術では被写体の三次元情報を容易かつ速やかに精度よく取得できる情報処理装置と情報処理方法とプログラムおよび撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この技術の第１の側面は、
投射された所定の光束の反射光に基づき三次元情報を取得するアクティブ法適用領域と他の領域であるパッシブ法適用領域を判別する領域判別部と、
前記領域判別部の領域判別結果に基づき、前記アクティブ法適用領域では前記反射光を利用して三次元情報の取得を行い、前記パッシブ法適用領域では視点の異なる複数の撮像画像から三次元情報の取得を行う三次元情報取得部と
を備える情報処理装置にある。
【０００８】
この技術において、領域判別部はアクティブ法適用領域とパッシブ法適用領域を判別する。領域判別部は、構造化光や反射光が戻って来るまでのフライト時間から距離を測定するためのレーザー光等を所定の光束として投射されたときの反射光が得られた被写体領域をアクティブ法適用領域と判別する。例えば、領域判別部は、撮像方向および画角が等しい状態で所定の光束を投射して撮像された撮像画像と所定の光束を投射することなく撮像された撮像画像との差分画像からアクティブ法適用領域を判別する。また、領域判別部は、領域判別のための光束を投射して撮像された撮像画像の輝度分布に基づき被写体の境界を求めて、被写体の輝度が所定レベルよりも高い被写体領域をアクティブ法適用領域と判別してもよい。また、領域判別部は、撮像画像においてテクスチャのある領域をパッシブ法適用領域と判別してもよい。
【０００９】
三次元情報取得部は、領域判別部の領域判別結果に基づき、アクティブ法適用領域では反射光を利用して三次元情報の取得を行い、パッシブ法適用領域では視点の異なる複数の撮像画像から三次元情報の取得を行う。また、三次元情報取得部は、アクティブ法適用領域についても、視点の異なる複数の撮像画像から三次元情報の取得を行う。さらに、三次元情報取得部は、アクティブ法適用領域について視点の異なる複数の撮像画像から取得した三次元情報と反射光を利用して取得した三次元情報とのスケール比を求めて、反射光を利用して取得したアクティブ法適用領域の三次元情報に、視点の異なる複数の撮像画像から取得したパッシブ法適用領域の三次元情報のスケールを一致させる。また、情報統合部は、アクティブ法適用領域では反射光を利用して取得した三次元情報を用いて、パッシブ法適用領域では視点の異なる複数の撮像画像から取得したスケール調整後の三次元情報を用いることで、三次元情報の統合を行う。
【００１０】
この技術の第２の側面は、
領域判別部によって、投射された所定の光束の反射光に基づき三次元情報を取得するアクティブ法適用領域と他の領域であるパッシブ法適用領域を判別する工程と、
三次元情報取得部によって、前記領域判別部の領域判別結果に基づき、前記アクティブ法適用領域では前記反射光を利用して三次元情報の取得を行い、前記パッシブ法適用領域では視点の異なる複数の撮像画像から三次元情報の取得を行う工程と
を含む情報処理方法にある。
【００１１】
この技術の第３の側面は、
撮像画像が被写体領域の三次元情報を取得する処理をコンピュータで実行させるプログラムであって、
投射された所定の光束の反射光に基づき三次元情報を取得するアクティブ法適用領域と他の領域であるパッシブ法適用領域を判別する手順と、
前記アクティブ法適用領域とパッシブ法適用領域の判別結果に基づき、前記アクティブ法適用領域では前記反射光を利用して三次元情報の取得を行い、前記パッシブ法適用領域では視点の異なる複数の撮像画像から三次元情報の取得を行う手順と
を前記コンピュータで実行させるプログラム。
【００１２】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【００１３】
この技術の第４の側面は、
撮像画像を生成する撮像部と、
前記撮像部を制御して、所定の光束が投射された状態と前記所定の光束が投射されていない状態で前記撮像画像を生成させる制御部と、
投射された前記所定の光束の反射光に基づき三次元情報を取得するアクティブ法適用領域と他の領域であるパッシブ法適用領域を判別する領域判別部と、
前記領域判別部の判別結果に基づき、前記アクティブ法適用領域では前記反射光を利用して三次元情報の取得を行い、前記パッシブ法適用領域では視点の異なる複数の撮像画像から三次元情報の取得を行う三次元情報取得部と
を備える撮像装置にある。
【００１４】
この技術において、領域判別部は、撮像時の明るさや撮像モード、撮像画像の画像信号等に応じてアクティブ法適用領域とパッシブ法適用領域の判別を行う。また、記憶部を設けて、視点の異なる複数の撮像画像と領域判別結果を記憶することで、撮像部等を移動しながら視点の異なる複数の撮像画像を生成する場合やオフライン処理を行う場合に、パッシブ法適用領域の三次元情報を取得できるようにする。さらに、記憶部には、反射光を利用して取得した三次元情報を記憶することで、オフライン処理時にアクティブ法適用領域とパッシブ法適用領域の三次元情報を得られるようにする。
【発明の効果】
【００１５】
この技術によれば、投射された所定の光束の反射光に基づき三次元情報を取得するアクティブ法適用領域と他の領域であるパッシブ法適用領域の判別が行われる。また、この領域判別結果に基づき、アクティブ法適用領域では反射光を利用して三次元情報の取得が行われて、パッシブ法適用領域では視点の異なる複数の撮像画像から三次元情報の取得が行われる。このため、被写体の三次元情報を容易かつ速やかに精度よく取得できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１６】
【図１】情報処理装置の構成を示す図である。
【図２】情報処理装置の動作を例示したフローチャートである。
【図３】構造化光を投射することなく撮影した撮像画像を例示した図である。
【図４】構造化光を投射して撮影した撮像画像を例示した図である。
【図５】差分画像を示す図である。
【図６】構造化光の反射光を含む領域と構造化光の反射光が含まれていない領域の境界を示す図である。
【図７】領域判別結果を示す図である。
【図８】第１の実施の形態の構成を例示した図である。
【図９】第１の実施の形態の動作を例示したフローチャートである。
【図１０】撮像装置の動作を示すタイミングチャートを例示した図である。
【発明を実施するための形態】
【００１７】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．情報処理装置の構成
２．情報処理装置の動作
３．第１の実施の形態
３−１．第１の実施の形態の構成
３−２．第１の実施の形態の動作
４．他の実施の形態
【００１８】
＜１．情報処理装置の構成＞
図１は、本技術の情報処理装置の構成を示している。情報処理装置１１は、領域判別部３１、三次元情報取得部４１を有している。
【００１９】
領域判別部３１は、投射された所定の光束の反射光を利用して三次元情報を取得するアクティブ法適用領域と、他の領域であるパッシブ法適用領域を判別する。領域判別部３１は、例えば撮像方向および画角が等しい状態で所定の光束を投射して撮像された撮像画像ＰＬsと光束を投射することなく撮像された撮像画像ＰＮsに基づき、アクティブ法適用領域とパッシブ法適用領域を判別する。また、領域判別部３１は、例えば所定の光束を被写体に投射して得られた反射光を利用してアクティブ法適用領域とパッシブ法適用領域を判別する。
【００２０】
領域判別部３１は、撮像画像ＰＬsと撮像画像ＰＮsに基づき、アクティブ法適用領域とパッシブ法適用領域を判別する場合、撮像画像ＰＬsと撮像画像ＰＮsの差分画像を生成する。ここで、撮像画像ＰＬsと撮像画像ＰＮsは撮像方向および画角が等しい。したがって、所定の光束として構造化光例えばコード化したパターン光を投射して撮像された撮像画像ＰＬsにおいて構造化光が届かない被写体の画像は、構造化光を投射することなく撮像された撮像画像ＰＮsと等しくなる。このため、差分画像は、構造化光が届いた被写体を示す画像となる。したがって、領域判別部３１は、構造化光が届いた被写体領域を、構造化光を利用して三次元情報を取得するアクティブ法適用領域と判別して、他の領域は構造化光を利用することなく三次元情報を取得するパッシブ法適用領域と判別する。領域判別部３１は、領域判別結果ＲＤを三次元情報取得部４１に出力する。
【００２１】
三次元情報取得部４１は、領域判別部３１の領域判別結果に基づき、アクティブ法適用領域では投射された所定の光束の反射光を利用して三次元情報（例えば三次元座標値または三次元座標値と色情報））の取得を行う。また、三次元情報取得部４１は、パッシブ法適用領域では撮像画像ＰＮsと、所定の光束を投射することなく撮像された視点の異なる撮像画像ＰＮrとから三次元情報の取得を行う。三次元情報取得部４１は、例えばアクティブ法三次元情報取得部４１１、パッシブ法三次元情報取得部４１２を有している。
【００２２】
アクティブ法三次元情報取得部４１１は、投射された所定の光束の反射光を利用してアクティブ法適用領域の三次元情報を取得する。アクティブ法三次元情報取得部４１１は、例えば構造化光であるコード化したパターン光が投射された場合、特許文献１に開示されているように三次元情報を取得する。すなわち、アクティブ法三次元情報取得部４１１は、パターン光を投射された状態で撮像された撮像画像上のパターン反射光をデコードして、アクティブ法適用領域の位置を識別することにより三次元情報（以下「アクティブ法三次元情報」という）ＤＴaを取得する。このようにアクティブ法を用いることで、パッシブ法を用いた場合に比べて、非常に安定して高精度の三次元情報を取得できる。また、アクティブ法を用いることでアクティブ法適用領域の実際の位置を計測できる。
【００２３】
パッシブ法三次元情報取得部４１２は、視点の異なる複数の撮像画像からパッシブ法適用領域の三次元情報を取得する。パッシブ法三次元情報取得部４１２は、例えば視点の異なる撮像画像ＰＮsと撮像画像ＰＮrにおける対応点を求めて、三角測量の原理に基づき対応点の位置を識別することにより三次元情報（以下「パッシブ法三次元情報」という）ＤＴpを取得する。
【００２４】
＜２．情報処理装置の動作＞
次に、図２〜図７を用いて、差分画像に基づき領域判別を行う場合の情報処理装置の動作について説明する。
【００２５】
図２は、情報処理装置の動作を例示したフローチャートである。ステップＳＴ１で情報処理装置１１は、撮像画像を取得する。情報処理装置１１は、構造化光を投射して撮影した例えば図４に示す撮像画像ＰＬsと、構造化光を投射することなく撮影した撮像画像ＰＮsと、構造化光を投射することなく撮影した視点の異なる撮像画像ＰＮrを取得してステップＳＴ２に進む。なお、図３は、構造化光を投射することなく撮影した撮像画像ＰＮs、図４は、構造化光を投射して撮影した撮像画像ＰＬsを例示している。
【００２６】
ステップＳＴ２で情報処理装置１１は、差分画像を生成する。情報処理装置１１の領域判別部３１は、ステップＳＴ１で取得した２つの撮像画像ＰＬs，ＰＮsの差分を算出して、図５に示すように差分画像ＰＤsを生成してステップＳＴ３に進む。
【００２７】
ステップＳＴ３で情報処理装置１１は、境界を算出する。情報処理装置１１の領域判別部３１は、ステップＳＴ２で生成された差分画像ＰＤsから構造化光の反射光を含む領域と構造化光の反射光が含まれていない領域の境界を算出してステップＳＴ４に進む。なお、図６は構造化光の反射光を含む領域と構造化光の反射光が含まれていない領域の境界ＢＬを示している。
【００２８】
ステップＳＴ４で情報処理装置１１は、領域判別を行う。情報処理装置１１の領域判別部３１は、算出した境界によって区切られた構造化光の反射光を含む領域をアクティブ法適用領域、構造化光の反射光を含まない他の領域をパッシブ法適用領域とする領域判別結果ＲＤを生成してステップＳＴ５に進む。図７は、領域判別結果が示すアクティブ法適用領域ＡＲａとパッシブ法適用領域ＡＲｐを示している。
【００２９】
ステップＳＴ５で情報処理装置１１は、撮像画像にアクティブ法適用領域があるか判別する。情報処理装置の三次元情報取得部４１は、領域判別結果ＲＤに基づき、撮像画像にアクティブ法適用領域があると判別した場合にステップＳＴ６に進み、アクティブ法適用領域がないと判別した場合にステップＳＴ８に進む。
【００３０】
ステップＳＴ６で情報処理装置１１は、アクティブ法適用領域の三次元情報を取得する。情報処理装置１１の三次元情報取得部４１は、アクティブ法を用いてアクティブ法適用領域の三次元情報であるアクティブ法三次元情報を取得してステップＳＴ７に進む。
【００３１】
ステップＳＴ７で情報処理装置１１は、撮像画像にパッシブ法適用領域があるか判別する。情報処理装置の三次元情報取得部４１は、撮像画像にパッシブ法適用領域があると判別した場合にステップＳＴ８に進む。また、三次元情報取得部４１は、撮像画像にパッシブ法適用領域がないと判別した場合、撮像画像は全てアクティブ法適用領域であり、アクティブ法適用領域の三次元情報はステップＳＴ６で取得していることから処理を終了する。
【００３２】
ステップＳＴ８で情報処理装置１１は、パッシブ法適用領域の三次元情報を取得する。情報処理装置１１の三次元情報取得部４１は、パッシブ法を用いてパッシブ法適用領域の三次元情報であるパッシブ法三次元情報を取得して処理を終了する。
【００３３】
このように、本技術の情報処理装置によれば、領域判別によってアクティブ法とパッシブ法のそれぞれの適用領域が判別される。さらに、領域判別結果に基づきアクティブ法で三次元情報を取得できない領域に対してはパッシブ法を用いて三次元情報の取得が行われる。したがって、処理量を低減でき、容易かつ速やかに精度良く三次元情報を取得することができる。また、同一領域においてアクティブ法とパッシブ法のそれぞれで取得した三次元を統合した場合と比べて、アクティブ法適用領域における三次元情報の精度低下を防止できる。
【００３４】
＜３．第１の実施の形態＞
次に、本技術の情報処理装置の第１の実施の形態について説明する。第１の実施の形態では、例えば情報処理装置に撮像部と所定の光束を投射する投射部をさらに設けている。また、第１の実施の形態では、撮像部と投射部を移動して被写体を異なる方向から撮像する。移動は、例えば撮像部と投射部をユーザが手に持って行ってもよく、撮像部と投射部を取り付け台（例えばパンチルター）等に固定して、この取り付け台等をレール上や路面上、床面上等を自動的にあるいはユーザ指示に応じて走行させてもよい。さらに、第１の実施の形態では、パッシブ法を用いた三次元情報の取得において、いわゆるＳＦＭ（Structure Form Motion）法を用いている。
【００３５】
＜３−１．第１の実施の形態の構成＞
図８は、第１の実施の形態の構成を例示している。撮像部と投射部を設けた情報処理装置である撮像装置１２は、撮像部２１、カメラ信号処理部２２、投射部２３、投射制御部２４、撮像制御部２５、領域判別部３２、記憶部３５、三次元情報取得部４２、情報出力部５２を有している。
【００３６】
撮像部２１は、撮像制御部２５からの制御信号に基づき撮像を行い、画像信号を生成してカメラ信号処理部２２に出力する。カメラ信号処理部２２は、撮像部２１で生成された画像信号に対して、輝度や色の調整およびノイズ除去等のカメラ信号処理を行い、処理後の画像信号を領域判別部３２、記憶部３５および三次元情報取得部４２に出力する。
【００３７】
投射部２３は、所定の光束例えば構造化光を被写体に投射する。投射部２３は、投射制御部２４からの制御信号に基づき、例えば特定のパターン等を有する構造化光を被写体に投射する。投射制御部２４は、撮像制御部２５からの制御信号に基づき投射部２３を制御して、投射部２３から構造化光を被写体に投射させる。投射部２３は、撮像装置１２の本体に固定して設けられていてもよく、本体に対して着脱可能に設けられてもよい。
【００３８】
撮像制御部２５は、撮像部２１とカメラ信号処理部２２の動作を制御する。また、撮像制御部２５は、構造化光を投射した状態での撮像画像と投射していない状態での撮像画像の画像信号を生成できるように投射制御部２４によって投射部２３を制御する。また、撮像制御部２５は、後述するように、領域判別部３２において構造化光を投射した状態での撮像画像と投射していない状態での撮像画像の画像信号を用いて領域判別を行うことができるように、領域判別部３２の動作を制御する。
【００３９】
領域判別部３２は、投射された所定の光束の反射光を用いて、反射光に基づき三次元情報を取得するアクティブ法適用領域と反射光に基づくことなく三次元情報を取得するパッシブ法適用領域を判別する。領域判別部３２は、例えば差分画像生成部３２１と判別処理部３２２を有している。
【００４０】
差分画像生成部３２１は、撮像部２１の撮像方向および画角が等しい状態で構造化光を投射して撮像された撮像画像と構造化光を投射することなく撮像された撮像画像の差分画像を生成する。ここで、撮像部２１の撮像方向および画角が等しいことから、構造化光を投射して撮像された撮像画像において構造化光が届かない被写体の画像は、構造化光を投射することなく撮像された撮像画像と等しくなる。このため、差分画像は、構造化光が届いた被写体を示す画像となる。
【００４１】
判別処理部３２２は、差分画像に基づいて、構造化光を利用して三次元情報を取得するアクティブ法適用領域と、構造化光を利用することなく三次元情報を取得するパッシブ法適用領域を判別する。差分画像は、上述のように構造化光が届いた被写体を示している。したがって、判別処理部３２２は、構造化光が届いた被写体領域は、構造化光を利用して三次元情報を取得するアクティブ法適用領域と判別して、他の領域は、構造化光を利用することなく三次元情報を取得するパッシブ法適用領域と判別する。判別処理部３２２は、領域判別結果を記憶部３５と三次元情報取得部４２に出力する。
【００４２】
記憶部３５は、撮像部と投射部を移動して被写体を異なる方向から撮像した撮像画像を用いて後述するようにパッシブ法三次元情報の取得を行う場合、構造化光を投射していない状態での撮像画像と領域判別結果を記憶する。また、記憶部３５は、記憶している撮像画像の画像信号と領域判別結果を三次元情報取得部４２のパッシブ法三次元情報取得部４２２に出力する。
【００４３】
三次元情報取得部４２は、領域判別部３２の領域判別結果に基づき、アクティブ法適用領域では投射された所定の光束の反射光を利用して三次元情報（例えば三次元座標値または三次元座標値と色情報）の取得を行う。また、三次元情報取得部４２は、パッシブ法適用領域では視点の異なる複数の撮像画像から三次元情報の取得を行う。三次元情報取得部４２は、例えばアクティブ法三次元情報取得部４２１、パッシブ法三次元情報取得部４２２、スケーラー部４２３を有している。
【００４４】
アクティブ法三次元情報取得部４２１は、上述のアクティブ法三次元情報取得部４１１と同様に、投射された所定の光束の反射光を利用してアクティブ法適用領域の三次元情報を取得する。アクティブ法三次元情報取得部４２１は、アクティブ法適用領域について取得した三次元情報をスケーラー部４２３と情報出力部５２に出力する。また、撮像部２１を移動して撮像を行う場合、撮像部２１を基準とした座標系（カメラ座標系）は、移動前のカメラ座標系と移動後のカメラ座標系が一致していない。したがって、アクティブ法三次元情報取得部４２１は、例えば撮像部２１の最初の位置の座標系をワールド座標系として、その後、撮像部２１の移動後の位置で取得したカメラ座標系の三次元情報をワールド座標系の三次元情報に変換する。このように、アクティブ法三次元情報取得部４２１は、ワールド座標系を用いた三次元情報を取得する。なお、撮像部２１の動きはセンサ等を用いて検出してもよく、パッシブ法三次元情報取得部４２２でＳＦＭ法を用いて検出した撮像部２１の動きを用いて処理を行ってもよい。
【００４５】
パッシブ法三次元情報取得部４２２は、視点の異なる複数の撮像画像からパッシブ法適用領域の三次元情報を取得する。パッシブ法三次元情報取得部４２２は、例えばＳＦＭ法を用いて、視点の異なる複数の撮像画像から三次元情報を取得する。なお、パッシブ法としてＳＦＭ（Structure Form Motion）法を用いる場合、パッシブ法三次元情報取得部４２２で取得される三次元情報は、相対的な位置を示す情報となる。パッシブ法三次元情報取得部４２２は、取得した三次元情報をスケーラー部４２３に出力する。また、パッシブ法三次元情報取得部４２２は、パッシブ法三次元情報取得部４１２と同様に、例えば撮像部２１の最初の位置の座標系をワールド座標系とする。その後、パッシブ法三次元情報取得部４２２は、撮像部２１の移動後の位置で取得したカメラ座標系の三次元情報をワールド座標系の三次元情報に変換することで、ワールド座標系を用いた三次元情報を取得する。
【００４６】
スケーラー部４２３は、アクティブ法三次元情報に対するパッシブ法三次元情報のスケール比を算出する。スケーラー部４２３は、アクティブ法三次元情報取得部４２１で取得されたアクティブ法適用領域のアクティブ法三次元情報と、パッシブ法三次元情報取得部４２２で取得されたアクティブ法適用領域のパッシブ法三次元情報とから、三次元座標値に基づきスケール比を算出する。さらに、スケーラー部４２３は、算出したスケール比を用いて、パッシブ法三次元情報のスケール調整を行い、相対位置を示すパッシブ三次元情報を、アクティブ法三次元情報と等しいスケールの情報に変換して情報出力部５２に出力する。
【００４７】
情報出力部５２は、アクティブ法三次元情報取得部４２１からのアクティブ法適用領域のアクティブ法三次元情報と、スケーラー部４２３からのパッシブ法三次元情報を出力する。また、情報出力部５２は、アクティブ法三次元情報取得部４２１からのアクティブ法三次元情報と、スケーラー部４２３からのパッシブ法三次元情報および領域判別部３２からの領域判別結果を個々に出力してもよい。また、情報出力部５２には、アクティブ法三次元情報とパッシブ法三次元情報を統合する情報統合機能を設けてもよい。情報出力部５２は、例えば、領域判別部３２からの領域判別結果に基づき、撮像画像におけるアクティブ法適用領域では反射光を利用して取得したアクティブ法三次元情報を用いる。また、パッシブ法適用領域では、視点の異なる複数の撮像画像から取得したスケール調整後の三次元情報であるスケーラー部４２３からのパッシブ法三次元情報を用いることで、アクティブ法三次元情報とパッシブ法三次元情報を統合する。情報出力部５２は、統合後の三次元情報を出力する。
【００４８】
＜３−２．第１の実施の形態の動作＞
図９は、第１の実施の形態の動作を例示したフローチャートである。ステップＳＴ２１で撮像装置１２は、撮像画像を生成する。撮像装置１２の撮像制御部２５は、撮像部２１や投射部２３等を制御して、構造化光を投射して撮影した撮像画像と、構造化光を投射することなく撮影した撮像画像を生成してステップＳＴ２２に進む。
【００４９】
ステップＳＴ２２で撮像装置１２は、差分画像を生成する。撮像装置１２の領域判別部３１は、ステップＳＴ２１で生成された２つの撮像画像の差分画像を生成してステップＳＴ２３に進む。
【００５０】
ステップＳＴ２３で撮像装置１２は、境界を算出する。撮像装置１２の領域判別部３２は、ステップＳＴ２２で生成された差分画像から構造化光の反射光を含む領域と構造化光の反射光が含まれていない領域の境界を算出してステップＳＴ２４に進む。
【００５１】
ステップＳＴ２４で撮像装置１２は、領域判別を行う。撮像装置１２の領域判別部３２は、算出した境界によって区切られた構造化光の反射光を含む領域をアクティブ法適用領域、他の領域をパッシブ法適用領域と判別してステップＳＴ２５に進む。
【００５２】
ステップＳＴ２５で撮像装置１２は、領域判別結果と撮像画像を記憶する。情報処理装置の記憶部３５は、ステップＳＴ２３で得られた領域判別結果とステップＳＴ２１で生成されたパッシブ法適用領域の撮像画像を記憶してステップＳＴ２６に進む。なお、撮像画像全体がアクティブ法適用領域またはパッシブ法適用領域と判別される場合が考えられるが、この場合は、撮像画像全体がアクティブ法適用領域またはパッシブ法適用領域であることを識別可能な情報を記憶する。
【００５３】
ステップＳＴ２６で撮像装置１２は、撮像画像にアクティブ法適用領域があるか判別する。情報処理装置の三次元情報取得部４２は、撮像画像にアクティブ法適用領域がないと判別した場合にステップＳＴ２７に進み、アクティブ法適用領域があると判別した場合にステップＳＴ２８に進む。
【００５４】
ステップＳＴ２７で撮像装置１２は、パッシブ法で全領域の三次元情報を取得する。撮像装置１２の三次元情報取得部４２は、撮像画像にアクティブ法適用領域がない、すなわち撮像画像が全てパッシブ法適用領域であることから、パッシブ法を用いて撮像画像における全領域の三次元情報を取得して、ステップＳＴ２１で取得した撮像画像についての処理を終了する。なお、パッシブ法を用いた三次元情報の取得は、構造化光を投射することなく撮影した視点の異なる撮像画像の生成後に行う。具体的には、三次元情報取得部４２は、構造化光を投射することなく撮影した撮像画像と記憶部に記憶されている視点の異なる撮像画像を用いてパッシブ法三次元情報を取得する。
【００５５】
ステップＳＴ２８で撮像装置１２は、アクティブ法適用領域の三次元情報を取得する。撮像装置１２の三次元情報取得部４２は、アクティブ法を用いてアクティブ法適用領域の三次元情報であるアクティブ法三次元情報を取得してステップＳＴ２９に進む。
【００５６】
ステップＳＴ２９で撮像装置１２は、撮像画像にパッシブ法適用領域があるか判別する。情報処理装置の三次元情報取得部４２は、撮像画像にパッシブ法適用領域がないと判別した場合、すなわち撮像画像が全てアクティブ法適用領域であり、アクティブ法適用領域についてはステップＳＴ２８で三次元情報を取得していることからステップＳＴ２１で取得した撮像画像についての処理を終了する。また、情報処理装置の三次元情報取得部４２は、撮像画像にパッシブ法適用領域があると判別した場合、ステップＳＴ３０に進む。
【００５７】
ステップＳＴ３０で撮像装置１２は、スケール比を算出済みであるか判別する。撮像装置１２の三次元情報取得部４２は、アクティブ法三次元情報とパッシブ法三次元情報とのスケール比が算出されていない場合にステップＳＴ３１に進み、スケール比が算出されている場合にステップＳＴ３３に進む。
【００５８】
ステップＳＴ３１で撮像装置１２は、パッシブ法で全領域の三次元情報を取得する。撮像装置１２の三次元情報取得部４２は、パッシブ法を用いて撮像画像における全領域の三次元情報を取得してステップＳＴ３２に進む。なお、パッシブ法を用いた三次元情報の取得は、構造化光を投射することなく撮影した視点の異なる撮像画像の生成後に行う。具体的には、三次元情報取得部４２は、構造化光を投射することなく撮影した撮像画像と記憶部に記憶されている視点の異なる撮像画像を用いてパッシブ法三次元情報を取得する。
【００５９】
ステップＳＴ３２で撮像装置１２はスケール調整を行う。撮像装置１２の三次元情報取得部４２は、ステップＳＴ２８とステップＳＴ３１の処理によって、アクティブ法適用領域の三次元情報がアクティブ法とパッシブ法を用いて取得されている。また、アクティブ法を用いることでアクティブ法適用領域の三次元情報は精度の高いスケールで取得されている。このため、三次元情報取得部４２は、パッシブ法三次元情報のスケールをアクティブ法三次元情報のスケールに合わせられるように、同一領域についてアクティブ法とパッシブ法のそれぞれで取得した三次元情報からスケール比を算出してステップＳＴ３４に進む。
【００６０】
ステップＳＴ３３で撮像装置１２は、パッシブ法適用領域の三次元情報を取得する。撮像装置１２の三次元情報取得部４２は、パッシブ法を用いてパッシブ法適用領域の三次元情報であるパッシブ法三次元情報を取得してステップＳＴ３４に進む。なお、パッシブ法三次元情報の取得は、構造化光を投射することなく撮影した視点の異なる撮像画像の生成後に行う。具体的には、三次元情報取得部４２は、構造化光を投射することなく撮影した撮像画像と記憶部に記憶されている視点の異なる撮像画像と領域判別結果を用いてパッシブ法三次元情報を取得する。
【００６１】
ステップＳＴ３４で撮像装置１２は三次元情報を統合する。撮像装置１２の情報出力部５２は、ステップＳＴ３２で算出したスケール比を利用して、パッシブ法三次元情報のスケールを、アクティブ法三次元情報に一致させる。その後、アクティブ法三次元情報とスケール調整後のパッシブ法三次元情報を統合する。すなわち、情報出力部５２は、撮像画像におけるアクティブ法適用領域ではアクティブ法三次元情報を示し、パッシブ法適用領域ではアクティブ法三次元情報と等しいスケールとされたパッシブ法三次元情報を示すように三次元情報を統合する。
【００６２】
以下、ステップＳＴ２１からステップＳＴ３４の処理を、撮像装置１２を移動して繰り返し行うことで、例えば所望の被写体の周りを移動して三次元情報の取得を行えば、所望の被写体の全体形状を取得した三次元情報に基づき再構築できる。
【００６３】
図１０は、撮像装置の動作を示すタイミングチャートを例示している。なお、図１０の（Ａ）は投射部２３の動作、図１０の（Ｂ）は撮像部２１の動作を示している。また、図１０の（Ｃ）は差分画像生成部３２１の動作、図１０の（Ｄ）は判別処理部３２２の動作を示している。さらに、図１０の（Ｅ）はアクティブ法三次元情報取得部４２１の動作、図１０の（Ｅ）はパッシブ法三次元情報取得部４２２の動作を示している。
【００６４】
投射部２３は、時点ｔ１から時点ｔ２までの期間、構造化光を投射状態（Ｌｏｎ）とする。この期間中に撮像部２１は撮像画像ＰＬ1を生成する。その後、構造化光の投射を終了して、撮像部２１は構造化光が投射されていない状態で撮像画像ＰＮ1を生成する。
【００６５】
差分画像生成部３２１は、例えば撮像画像ＰＬ1と撮像画像ＰＮ1の生成が完了した時点ｔ３で撮像画像ＰＬ1と撮像画像ＰＮ1との差分画像ＰＤ1を生成する。
【００６６】
判別処理部３２２は、例えば差分画像ＰＤ1の生成が完了した時点ｔ４で領域判別を開始して領域判別結果ＲＤ1を生成する。
【００６７】
アクティブ法三次元情報取得部４２１は、例えば領域判別結果ＲＤ1の生成が完了した時点ｔ５でアクティブ法三次元情報ＤＴa1の取得を開始する。アクティブ法三次元情報取得部４２１は、領域判別結果ＲＤ1によって示されたアクティブ法適用領域に対して、差分画像ＰＤ1（または撮像画像ＰＬ1）における構造化光の反射光に基づきアクティブ法三次元情報ＤＴa1を取得する。
【００６８】
また、撮像装置１２は、構造化光が投射されていない状態で撮像された撮像画像ＰＮ1と領域判別結果ＲＤ1を記憶部３５に記憶させる。
【００６９】
次に、撮像装置１２（または撮像部２１と投射部２３）を移動して、異なる視点位置から撮像を行う。すなわち、投射部２３は、時点ｔ６から時点ｔ７までの期間、構造化光を投射状態（Ｌｏｎ）とする。この期間中に撮像部２１は撮像画像ＰＬ2を生成する。その後、撮像部２１は構造化光が投射されていない状態で撮像画像ＰＮ2を生成する。
【００７０】
ここで、撮像画像ＰＮ2が生成されると、視点の異なる複数の撮像画像ＰＮ1，ＰＮ2が生成されていることから、例えば撮像画像ＰＮ2の生成が完了した時点ｔ８でパッシブ法三次元情報の取得を開始する。また、この時点では、パッシブ法三次元情報が取得されていないため、スケール比も算出されていない。したがって、パッシブ法三次元情報取得部４２２は、記憶部３５に記憶されている撮像画像ＰＮ1と撮像部２１で生成された撮像画像ＰＮ2から全領域のパッシブ法三次元情報ＤＴpt12を取得する。
【００７１】
情報出力部５２は、アクティブ法三次元情報取得部４２１で取得されたアクティブ法三次元情報ＤＴa1とパッシブ法三次元情報取得部４２２で取得されたパッシブ法三次元情報ＤＴpt12、および記憶部３５の領域判別結果ＲＤ1を用いてスケール比を算出する。すなわち、情報出力部５２は、パッシブ法三次元情報ＤＴpt12において、領域判別結果ＲＤ1がアクティブ法適用領域であることを示す領域のパッシブ法三次元情報とアクティブ法三次元情報とのスケールを一致させるスケール比を算出する。さらに、算出したスケール比を用いてパッシブ法適用領域のパッシブ法三次元情報のスケール調整を行い、アクティブ法三次元情報とスケール調整後のパッシブ法三次元情報を統合する。
【００７２】
また、差分画像生成部３２１は、上述の場合と同様に撮像画像ＰＬ2と撮像画像ＰＮ2の生成が完了した時点ｔ８で撮像画像ＰＬ2と撮像画像ＰＮ2との差分画像ＰＤ2を生成する。また、判別処理部３２２は、上述の場合と同様に差分画像ＰＤ2の生成が完了した時点で領域判別を開始して領域判別結果ＲＤ2を生成する。
【００７３】
アクティブ法三次元情報取得部４２１は、例えば領域判別結果ＲＤ2の生成が完了した時点でアクティブ法三次元情報ＤＴa2の取得を開始する。アクティブ法三次元情報取得部４２１は、領域判別結果ＲＤ2によって示されたアクティブ法適用領域に対して、差分画像ＰＤ2（または撮像画像ＰＬ2）における構造化光の反射光に基づきアクティブ法三次元情報ＤＴa2を取得する。
【００７４】
また、撮像装置１２は、構造化光が投射されていない状態で撮像された撮像画像ＰＮ2と領域判別結果ＲＤ2を記憶部３５に記憶させる。
【００７５】
次に、撮像装置１２（または撮像部２１と投射部２３）を移動して、異なる視点位置から上述の場合と同様にして撮像画像ＰＬ3と撮像画像ＰＮ3を生成する。
【００７６】
ここで、撮像画像ＰＮ3が生成されると、視点の異なる複数の撮像画像ＰＮ2，ＰＮ3が生成されたことから、パッシブ法三次元情報取得部４２２は、例えば撮像画像ＰＮ3の生成が完了した時点ｔ９でパッシブ法三次元情報ＤＴp23の取得を開始する。また、この時点ではスケール比が算出されている。したがって、パッシブ法三次元情報取得部４２２は、記憶部３５に記憶されている撮像画像ＰＮ2と撮像部２１で生成された撮像画像ＰＮ3から、記憶部３５に記憶されている領域判別結果ＲＤ2によって示されたパッシブ法適用領域のパッシブ法三次元情報ＤＴp23を取得する。
【００７７】
情報出力部５２は、算出されているスケール比を用いて、パッシブ法適用領域のパッシブ法三次元情報のスケール調整を行い、アクティブ法三次元情報とスケール調整後のパッシブ法三次元情報を統合する。
【００７８】
以下同様な処理を繰り返し行うことで、三次元情報を順次取得できる。したがって、例えば所望の被写体の周りを移動して撮像を行うことで、所望の被写体について全体の三次元形状を容易に取得できるようになる。また、撮像装置１２（または撮像部２１と投射部２３）を連続して移動する場合、構造化光を投射した状態で撮像された撮像画像と構造化光を投射していない状態で撮像された撮像画像との時間間隔を短くすれば、視差による画像の違いが少なくなる。したがって、領域判別を精度よく行うことができる。また、パッシブ法三次元情報取得部で用いる複数の撮像画像は、所望の視差を有する撮像画像とすれば、視差の少ない撮像画像を用いた場合に比べて、容易かつ精度よくパッシブ法三次元情報を取得できる。
【００７９】
また、スケール比の算出は、一連の三次元情報の取得で最低１回行えばよく、アクティブ法適用領域に対してパッシブ法も用いて三次元情報を重複して取得することによるオーバーヘッドは軽微である。したがって、三次元情報の取得に要する時間は過大となってしまうことがない。さらに、最低１回アクティブ法適用領域に対してパッシブ法で三次元情報の取得を行い、重複して三次元情報の取得を行った被写体部分の三次元情報（三次元座標値）から求めたスケール比でスケーリングを行うことにより、アクティブ法三次元情報とパッシブ法三次元情報を統合して１つの三次元情報とすることができる。
【００８０】
＜４．他の実施の形態＞
ところで、上述の実施の形態の領域判別部は、所定の光束が被写体に投射された状態で撮像した撮像画像と、所定の光束が投射されていない状態で撮像した撮像画像との差分画像に基づき、アクティブ法適用領域とパッシブ法適用領域を判別した。しかし、領域判別部は、他の手法を用いてアクティブ法適用領域とパッシブ法適用領域の判別を行うようにしてもよい。
【００８１】
例えば、照明を用いて撮像を行う場合、近接した被写体は照明光によって例えば平均輝度レベルが高く、離れた被写体は照明光が届きにくいことから平均輝度レベルが低い。したがって、ストロボ等の補助光を領域判別のための光束として投射して撮像を行う。領域判別部は、このときの撮像画像の輝度分布に基づき被写体の境界を求めて、被写体の輝度が予め設定した閾値よりも高い被写体領域をアクティブ法適用領域、閾値以下の輝度レベルの被写体はパッシブ法適用領域と判別する。
【００８２】
また、領域判別部は、撮像時の明るさに応じて領域判別を行うようにしてもよい。例えば日差しの強い環境下で構造化光を投射した場合、被写体からの構造化光の反射光は、識別することが困難となる。このため、構造化光の反射光を識別することが困難となる撮像環境では、全領域をパッシブ法適用領域と判別する。なお、撮像時の明るさが構造化光の反射光を識別することが困難な明るさであるか否かは、例えば撮像画像の平均輝度レベル、最適な明るさの撮像画像が得られるときのシャッター速度や絞り値等に基づき判別する。
【００８３】
また、領域判別部は、撮像装置の撮像モードに応じて領域判別を行うようにしてもよい。例えば、風景等を撮像する撮像モードである場合、注目する被写体は離れた位置にあることが多いことから全領域をパッシブ法適用領域と判別する。また、人物等を撮像モードである場合、注目する被写体は近接した位置にある場合が多いことから、差分画像等に基づき、アクティブ法適用領域とパッシブ法適用領域を判別する。
【００８４】
また、領域判別部は、撮像画像の画像信号に基づいて領域判別を行うことも可能である。例えば、注目する被写体が近接している場合、離れた位置の被写体は画像の鮮鋭度やＳ／Ｎ比が低下する場合がある。したがって、予め設定された閾値よりも鮮鋭度やＳ／Ｎ比が低下している領域はパッシブ法適用領域と判別する。
【００８５】
また、領域判別部は、テクスチャの有無に応じてアクティブ法適用領域とパッシブ法適用領域を判別してもよい。例えばパッシブ法三次元情報取得部は、視点の異なる複数の撮像画像における対応点を求めて、三角測量の原理に基づき対応点の位置を識別することによりパッシブ法三次元情報を取得する。この場合、被写体にテクスチャがない場合は、対応点の位置の識別が困難である。したがって、領域判別部は、画像処理にてテクスチャの有無を判断し、テクスチャのない領域をアクティブ法適用領域と判別する。
【００８６】
ところで、上述の実施の形態では、所定の光束として、コード化したパターン等を示す構造化光を投射する場合を例示したが、所定の光束は、アクティブ法適用領域の三次元情報が取得可能あれば、他の光束であってもよい。例えば、所定の光束は、反射光が戻って来るまでのフライト時間から距離を測定するための投射光でもよい。すなわち、ＤＭＤ(Digital Mirror Device)を用いたレーザースキャンや赤外光等を照射する同時投射型ＴｏＦ(Time of Flight)カメラのように、レーザー光や赤外光を投射して、反射光が戻って来るまでのフライト時間からアクティブ法適用領域の三次元情報を取得する。この場合、図１の領域判別部３１は、反射光ＬＲを利用して領域判別を行い、フライト時間が計測できない領域をパッシブ法適用領域と判別する。
【００８７】
また、パッシブ法三次元情報の取得は、ＳＦＭ法を用いる場合に限られない。例えば、撮像部２１としてステレオカメラを用いてパッシブ法三次元情報を取得してもよい。この場合、視点の位置が明らかであることから、容易にパッシブ法三次元情報を取得できる。
【００８８】
また、記憶部３５には、構造化光が投射されていない状態で撮像された各撮像画像と領域判別結果およびアクティブ法三次元情報を記憶してもよい。この場合、三次元情報取得部４２は、パッシブ法三次元情報をオフライン処理で取得できる。また、反射光が戻って来るまでのフライト時間から距離を測定してアクティブ法三次元情報の取得をリアルタイムで行い、パッシブ法三次元情報はオフライン処理で取得しても、オフライン処理で取得したパッシブ法三次元情報とリアルタイムで取得したアクティブ法三次元情報を統合して出力できる。
【００８９】
また、情報出力部５２は、撮像部２１で生成された撮像画像と共に、この撮像画像に対応するアクティブ法三次元情報とパッシブ法三次元情報あるいは統合後の三次元情報を出力してもよい。このように、撮像画像と共に三次元情報を出力すれば、撮像画像における被写体と三次元情報の関係を容易に把握することが可能となる。
【００９０】
さらに、情報処理装置および撮像装置の処理は、上述のフローチャートで示したステップ順で処理を行う場合や、上述のタイミングチャートで示したように必要な画像等が得られる毎に処理を行う場合に限られない。また、パッシブ法による三次元情報の取得では、上述のように撮像と並行して行う場合に限らず、撮像終了後に一括して行ってもよい。パッシブ法による三次元情報の取得を撮像と並行して行う場合には、不要になった撮影画像と領域判定結果を順次消去できるので、記憶部の記憶容量を少なくできる。また、パッシブ法による三次元情報の取得を撮像終了後に一括して行う場合、パッシブ法による三次元情報の取得で用いる全ての撮像画像を領域判定結果と共に記憶しておく。また、アクティブ法三次元情報とパッシブ法三次元情報を統合する場合は、領域判定結果等と共にアクティブ法三次元情報を記憶しておく。
【００９１】
また、情報処理装置は、撮像部と投射部を移動して被写体を異なる方向から撮像する場合に、ユーザに対して移動指示や所定の光束の投射指示、撮像指示等を行ってもよく、移動に応じて所定の光束の投射や撮像を自動的に行ってもよい。このようにすれば、ユーザは、精度のよい三次元情報を容易に取得できるようになる。
【００９２】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００９３】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【００９４】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００９５】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【００９６】
また、本技術の情報処理装置は以下のような構成も取ることができる。
（１）  投射された所定の光束の反射光に基づき三次元情報を取得するアクティブ法適用領域と他の領域であるパッシブ法適用領域を判別する領域判別部と、
前記領域判別部の領域判別結果に基づき、前記アクティブ法適用領域では前記反射光を利用して三次元情報の取得を行い、前記パッシブ法適用領域では視点の異なる複数の撮像画像から三次元情報の取得を行う三次元情報取得部と
を備える情報処理装置。
（２）  前記領域判別部は、前記撮像画像の中の前記反射光が得られた被写体領域を前記アクティブ法適用領域と判別する（１）に記載の情報処理装置。
（３）  前記領域判別部は、撮像方向および画角が等しい状態で前記所定の光束を投射して撮像された撮像画像と前記所定の光束を投射することなく撮像された撮像画像との差分画像から前記アクティブ法適用領域を判別する（２）に記載の情報処理装置。
（４）  前記領域判別部は、領域判別のための光束を投射して撮像された撮像画像の輝度分布に基づき被写体の境界を求めて、前記被写体の輝度が所定レベルよりも高い被写体領域を前記アクティブ法適用領域と判別する（１）乃至（３）の何れかに記載の情報処理装置。
（５）  前記領域判別部は、前記撮像画像においてテクスチャのある領域を前記パッシブ法適用領域と判別する（１）乃至（３）の何れかに記載の情報処理装置。
（６）  前記三次元情報取得部は、前記アクティブ法適用領域についても、前記視点の異なる複数の撮像画像から三次元情報の取得を行い、前記アクティブ法適用領域について前記視点の異なる複数の撮像画像から取得した三次元情報と前記反射光を利用して取得した三次元情報とのスケール比を求め、前記スケール比に基づいて、前記反射光を利用して取得した前記アクティブ法適用領域の三次元情報に、前記視点の異なる複数の撮像画像から取得した前記パッシブ法適用領域の三次元情報のスケールを一致させるスケール調整を行う（１）乃至（５）の何れかに記載の情報処理装置。
（７）  前記アクティブ法適用領域では前記反射光を利用して取得した三次元情報を示し、前記パッシブ法適用領域では前記視点の異なる複数の撮像画像から取得した前記スケール調整後の三次元情報を示すように、三次元情報の統合を行う情報統合部をさらに備える（６）に記載の情報処理装置。
（８）  前記所定の光束は構造化光である（１）乃至（７）の何れかに記載の情報処理装置。
（９）  前記所定の光束は、反射光が戻って来るまでのフライト時間から距離を測定するための投射光である（１）乃至（７）の何れかに記載の情報処理装置。
【００９７】
また、本技術の撮像装置は以下のような構成も取ることができる。
（１）  撮像画像を生成する撮像部と、
前記撮像部を制御して、所定の光束が投射された状態と前記所定の光束が投射されていない状態で前記撮像画像を生成させる制御部と、
投射された前記所定の光束の反射光に基づき三次元情報を取得するアクティブ法適用領域と他の領域であるパッシブ法適用領域を判別する領域判別部と、
前記領域判別部の判別結果に基づき、前記アクティブ法適用領域では前記反射光を利用して三次元情報の取得を行い、前記パッシブ法適用領域では視点の異なる複数の撮像画像から三次元情報の取得を行う三次元情報取得部と
を備える撮像装置。
（２）  前記領域判別部は、撮像時の明るさに応じて前記アクティブ法適用領域と前記パッシブ法適用領域の判別を行う（１）に記載の撮像装置。
（３）  前記領域判別部は、撮像モードに応じて前記アクティブ法適用領域と前記パッシブ法適用領域の判別を行う（１）または（２）に記載の撮像装置。
（４）  前記領域判別部は、前記撮像画像の画像信号に応じて前記アクティブ法適用領域と前記パッシブ法適用領域の判別を行う（１）乃至（３）の何れかに記載の撮像装置。
（５）  前記視点の異なる複数の撮像画像と前記領域判別結果を記憶する記憶部を備える（１）乃至（４）の何れかに記載の撮像装置。
（６）  前記記憶部は、前記反射光を利用して取得した三次元情報を記憶する（５）に記載の撮像装置。
（７）  前記所定の光束を投射する投射部をさらに備え、前記制御部は前記投射部からの所定の光束の投射を制御する（１）乃至（６）の何れかに記載の撮像装置。
【産業上の利用可能性】
【００９８】
この技術の情報処理装置と情報処理方法とプログラムおよび撮像装置では、投射された所定の光束の反射光に基づき三次元情報を取得するアクティブ法適用領域と他の領域であるパッシブ法適用領域の判別が行われる。また、領域判別結果に基づき、アクティブ法適用領域では反射光を利用して三次元情報の取得が行われて、パッシブ法適用領域では視点の異なる複数の撮像画像から三次元情報の取得が行われる。したがって、被写体の三次元情報を容易かつ速やかに精度よく取得できるようになる。このため、被写体を立体的に表示する場合や３Ｄプリンタを用いて被写体を立体的に再現する場合、被写体の立体的形状を考慮して照明方向を異なる方向とした画像を生成する場合や他の被写体と合成した画像を生成する場合等に利用できる。
【符号の説明】
【００９９】
１１・・・情報処理装置
１２・・・撮像装置
２１・・・撮像部
２２・・・カメラ信号処理部
２３・・・投射部
２４・・・投射制御部
２５・・・撮像制御部
３１，３２・・・領域判別部
３５・・・記憶部
４１，４２・・・三次元情報取得部
５２・・・情報出力部
３２１・・・差分画像生成部
３２２・・・判別処理部
４１１，４２１・・・アクティブ法三次元情報取得部
４１２，４２２・・・パッシブ法三次元情報取得部
４２３・・・スケーラー部
【図１】
2016142676.tif 000003
【図２】
2016142676.tif 000004
【図３】
2016142676.tif 000005
【図４】
2016142676.tif 000006
【図５】
2016142676.tif 000007
【図６】
2016142676.tif 000008
【図７】
2016142676.tif 000009
【図８】
2016142676.tif 000010
【図９】
2016142676.tif 000011
【図１０】
2016142676.tif 000012