(57)【要約】      （修正有）【課題】複数の視点の姿勢に関するパラメータの精度をより高精度に得ることが可能な情報処理装置、情報処理方法、及びプログラムを提供する。【解決手段】複数の視点での撮像により取得される複数の撮像画像に基づいて得られる第１のデプスマップ１２に基づいて、平面を推定する平面推定部１３と、第１のデプスマップと、平面との比較に基づいて、複数の視点の姿勢に関するパラメータを補正する補正部１５と、を備える情報処理装置１。【選択図】図２
2019078582.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点での撮像により取得される複数の撮像画像に基づいて得られる第１のデプスマップに基づいて、平面を推定する平面推定部と、
前記第１のデプスマップと、前記平面との比較に基づいて、前記複数の視点の姿勢に関するパラメータを補正する補正部と、
を備える情報処理装置。
【請求項２】
前記補正部は、前記第１のデプスマップと、前記平面に基づいて生成される第２のデプスマップとの比較を行う、請求項１に記載の情報処理装置。
【請求項３】
前記パラメータは、前記複数の視点の間のピッチ角度、またはヨー角度を含む、請求項２に記載の情報処理装置。
【請求項４】
前記補正部は、前記第１のデプスマップと、前記第２のデプスマップとの比較に基づいて算出される第１の評価値を用いて前記ピッチ角度を補正し、補正されたピッチ角度を取得する、請求項３に記載の情報処理装置。
【請求項５】
前記補正部は、水平中心線と垂直中心線とで４分割された領域ごとに、前記第１のデプスマップと、前記第２のデプスマップとを比較して前記第１の評価値を算出する、請求項４に記載の情報処理装置。
【請求項６】
前記補正部は、前記領域ごとに前記第１のデプスマップと前記第２のデプスマップとの差分の和を算出し、前記差分の和に基づいて前記第１の評価値を算出する、請求項５に記載の情報処理装置。
【請求項７】
前記第１の評価値は、前記水平中心線と前記垂直中心線とで４分割された４つの領域のうち、上下に位置する領域ごとに算出される前記差分の和の差分の絶対値に基づいて算出される、請求項６に記載の情報処理装置。
【請求項８】
前記補正部は、前記補正されたピッチ角度として、前記第１の評価値が所定の条件を満たすピッチ角度を特定する、請求項４に記載の情報処理装置。
【請求項９】
前記補正部は、前記第１のデプスマップと、前記第２のデプスマップとの比較に基づいて算出される第２の評価値を用いて前記ヨー角度を補正し、補正されたヨー角度を取得する、請求項３に記載の情報処理装置。
【請求項１０】
前記補正部は、前記第１のデプスマップと、前記第２のデプスマップとの差分の分散に基づいて、前記第２の評価値を算出する、請求項９に記載の情報処理装置。
【請求項１１】
前記補正部は、前記補正されたヨー角度として、前記第２の評価値が所定の条件を満たすヨー角度を特定する、請求項１０に記載の情報処理装置。
【請求項１２】
前記第１のデプスマップは、前記複数の撮像画像に基づくステレオマッチングにより生成され、
前記ステレオマッチングにおける対応点の探索方向は、水平方向を含む、請求項４に記載の情報処理装置。
【請求項１３】
前記補正部は、前記ピッチ角度を補正した後に前記ヨー角度を補正する、請求項１２に記載の情報処理装置。
【請求項１４】
前記第２のデプスマップは、前記平面上の３次元点群を投影して生成される、請求項２に記載の情報処理装置。
【請求項１５】
前記補正部は、前記第１のデプスマップと前記第２のデプスマップに基づいて処理対象領域を設定し、前記処理対象領域における前記第１のデプスマップと前記平面との比較に基づいて、前記パラメータを補正する、請求項２に記載の情報処理装置。
【請求項１６】
前記補正部は、前記第１のデプスマップと前記第２のデプスマップとの差分の絶対値が所定の閾値よりも大きい領域に基づいて、前記処理対象領域を設定する、請求項１５に記載の情報処理装置。
【請求項１７】
前記処理対象領域は、上下対称である、請求項１６に記載の情報処理装置。
【請求項１８】
複数の視点での撮像により取得される複数の撮像画像に基づいて得られる第１のデプスマップに基づいて、平面を推定することと、
前記第１のデプスマップと、前記平面との比較に基づいて、前記複数の視点の姿勢に関するパラメータを補正することと、
を含む、情報処理方法。
【請求項１９】
コンピュータに、
複数の視点での撮像により取得される複数の撮像画像に基づいて得られる第１のデプスマップに基づいて、平面を推定する機能と、
前記第１のデプスマップと、前記平面との比較に基づいて、前記複数の視点の姿勢に関するパラメータを補正する機能と、
を実現させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
複数の異なる視点での撮像により取得された複数の撮像画像から、距離情報を取得する手法が知られている。このような手法では、各視点での撮像を行った撮像装置の特性に関するパラメータや、視点の位置や姿勢に関するパラメータを用いることが行われている。このようなパラメータを推定することは、カメラキャリブレーション、あるいは単にキャリブレーションと呼ばれ、例えば距離情報の取得に先立って事前に行われている（例えば、下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２７５０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような技術においては、パラメータの精度が、最終的に得られる距離情報の精度に影響を与えるため、パラメータの精度、特に撮像が行われる視点の姿勢に関するパラメータの精度をより高精度に得ることが求められていた。
【課題を解決するための手段】
【０００５】
本開示によれば、複数の視点での撮像により取得される複数の撮像画像に基づいて得られる第１のデプスマップに基づいて、平面を推定する平面推定部と、前記第１のデプスマップと、前記平面との比較に基づいて、前記複数の視点の姿勢に関するパラメータを補正する補正部と、を備える情報処理装置。
【０００６】
また、本開示によれば、複数の視点での撮像により取得される複数の撮像画像に基づいて得られる第１のデプスマップに基づいて、平面を推定することと、前記第１のデプスマップと、前記平面との比較に基づいて、前記複数の視点の姿勢に関するパラメータを補正することと、を含む、情報処理方法が提供される。
【０００７】
また、本開示によれば、コンピュータに、複数の視点での撮像により取得される複数の撮像画像に基づいて得られる第１のデプスマップに基づいて、平面を推定する機能と、前記第１のデプスマップと、前記平面との比較に基づいて、前記複数の視点の姿勢に関するパラメータを補正する機能と、を実現させるための、プログラムが提供される。
【発明の効果】
【０００８】
以上説明したように本開示によれば、撮像が行われる視点の姿勢に関するパラメータの精度をより高精度に得ることが可能となる。
【０００９】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】本開示の第１の実施形態に係る情報処理システムの構成例を示す説明図である。
【図２】同実施形態に係る情報処理装置１の構成例を示すブロック図である。
【図３】第１の評価値の算出方法について説明するための説明図である。
【図４】ピッチ角度を変更したときに生成されるデプスマップの変化を模式的に示す模式図である。
【図５】ヨー角度を変更したときに生成されるデプスマップの変化を模式的に示す模式図である。
【図６】ヨー角度を変更したときに生成されるデプスマップの変化を模式的に示す模式図である。
【図７】同実施形態に係る情報処理装置１の動作例を示すフローチャート図である。
【図８】ステップＳ１３４における表示例を示す図である。
【図９】ピッチ角度の補正処理の詳細な動作を示すフローチャート図である。
【図１０】ヨー角度の補正処理の詳細な動作を示すフローチャート図である。
【図１１】ステップＳ１９８における表示例を示す図である。
【図１２】本開示の第２の実施形態の概要を説明するための説明図である。
【図１３】本実施形態に係る情報処理装置２の構成例を示すブロック図である。
【図１４】本実施形態に係る情報処理装置２の動作例を示すフローチャート図である。
【図１５】処理対象領域の設定処理の詳細な動作を示すフローチャート図である。
【図１６】処理対象領域の設定処理の具体例を示す説明図である。
【図１７】ステップＳ２３４における表示例を示す図である。
【図１８】ピッチ角度の補正処理の詳細な動作を示すフローチャート図である。
【図１９】ヨー角度の補正処理の詳細な動作を示すフローチャート図である。
【図２０】ハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
＜＜１．背景＞＞
＜＜２．実施形態＞＞
＜２−１．第１の実施形態＞
＜２−２．第２の実施形態＞
＜＜３．変形例＞＞
＜３−１．変形例１＞
＜３−２．変形例２＞
＜３−３．変形例３＞
＜＜４．ハードウェア構成例＞＞
＜＜５．むすび＞＞
【００１３】
＜＜１．背景＞＞
近年、複数の異なる視点（以下、撮像に係る視点とも呼ぶ）での撮像により取得された複数の撮像画像から、距離情報を示すデプスマップを生成することが行われている。デプスマップを用いることで、実空間の認識をより高精度に行うことが可能であり、例えば、ユーザによるジェスチャ操作を認識するためにデプスマップが用いられている。
【００１４】
なお、以下では、主に複数の撮像画像が複数の撮像装置により略同時に取得される場合を例に説明するが、本技術は係る例に限定されるものではない。複数の撮像画像は、例えばそれぞれが異なる撮像装置により取得されてもよいし、移動する１つの撮像装置により経時的に取得されてもよい。また、以下では、主に２つの撮像装置により２つの撮像画像が取得され、当該２つの撮像画像からデプスマップを生成する例を主に説明するが、本技術は係る例に限定されず、３つ以上の撮像画像からデプスマップが生成されてもよい。
【００１５】
デプスマップを生成するための手法の一つとして、複数の撮像画像の間で対応する対応点を探索してマッチングするステレオマッチングがある。ステレオマッチングでは、効率的に対応点を探索するため、対応点の探索方向を一方向に限定する場合がある。例えば、撮像に係る視点の配置方向が一方向に限定される場合、対応点の探索方向を当該配置方向に限定することで、効率的な対応点の探索が実現される。ステレオマッチングを用いた装置やシステムでは、複数の撮像装置が水平方向に配置され、水平方向に対応点の探索が行われていることが多い。対応点の探索方向が水平方向に限定される場合、撮像画像の間で垂直方向のズレが存在しない状態であることが望ましい。
【００１６】
しかし、撮像装置を高い精度で配置することは困難であり、また時間が経過することにより配置にズレが生じる場合もある。そして、撮像に係る視点の間で垂直方向、奥行き方向の位置ズレや、姿勢のズレが発生していた場合には、撮像画像の間において垂直方向のズレが発生し得る。また、複数の撮像画像が、それぞれ異なる撮像装置で取得される場合には、各撮像装置の特性の差も影響して、撮像画像の間において垂直方向のズレが発生し得る。
【００１７】
そのため、ステレオマッチングを行う前に、撮像画像の間での垂直方向のズレを低減させる画像処理を施すことが行われている。係る画像処理は平行化処理、あるいはレクティフィケーションと呼ばれ、例えば、撮像装置の特性に関するパラメータ（所謂内部パラメータ）や、視点の位置、及び姿勢に関するパラメータ（所謂外部パラメータ）を用いた射影変換により実現することが可能である。なお、平行化処理を行う際に用いられる視点の位置、及び姿勢に関するパラメータは、視点ごとの位置、及び姿勢として与えられてもよいし、視点間での位置の差、及び姿勢の差として与えられてもよい。
【００１８】
このようなパラメータを推定することは、カメラキャリブレーション、あるいは単にキャリブレーションと呼ばれ、例えばステレオマッチングに先立って事前に行われている。ステレオマッチングにより高精度にデプスマップを生成するためには、係る平行化処理を高精度に行うことが重要であり、高精度なパラメータを取得することが望ましい。そのため、キャリブレーションした直後に、パラメータをさらに高精度化するための補正や、キャリブレーションが行われた後、ある程度時間が経過したことより発生したズレを反映させるための補正を行うことが望ましい。
【００１９】
ここで、視点の姿勢に関するパラメータの補正について検討する。視点の姿勢は、左右を軸とした回転角であるピッチ（Ｐｉｔｃｈ）角、上下を軸とした回転角であるヨー（Ｙａｗ）角、及び前後を軸とした回転角であるロール（Ｒｏｌｌ）角に分解することができる。このうち、視点間でのロール角の差（以下、視点間のロール角度、あるいは単にロール角度とも呼ぶ）は、ステレオマッチングにおいて、マッチングの可否に大きな影響を与える。そのため、推定された視点間でのロール角度に、より大きな誤差が含まれる程、当該ロール角度を含むパラメータを用いた平行化処理が施された撮像画像の間でのステレオマッチングにおいて、マッチングエラーがより大きくなる。
【００２０】
このような傾向を利用し、視点間のロール角度を高精度化することが考えられる。例えば、視点間のロール角度を変更しながら、平行化処理が施された撮像画像の間でステレオマッチングを行い、マッチングエラーが最も小さくなるロール角度を探索することで、視点間のロール角度をより高精度に補正することが可能である。
【００２１】
しかし、視点間でのピッチ角の差（以下、視点間のピッチ角度、あるいは単にピッチ角度とも呼ぶ）、及び視点間でのヨー角の差（以下、視点間のヨー角度、あるいは単にヨー角度とも呼ぶ）を高精度に補正することは困難であった。例えば、上記のロール角度の補正方法と同様の方法で補正したとしても、ステレオマッチングにおいてピッチ角度、あるいはヨー角度の誤差がマッチングの可否に与えられる影響は小さいため、高精度に補正することができなかった。しかし、視点間のピッチ角度、あるいは視点間のヨー角度に誤差が含まれている場合、マッチング自体は可能であるものの、ステレオマッチングにより生成されるデプスマップに歪み等の誤差が生じる恐れがあった。
【００２２】
そこで、本件開示者は、上述事情を一着眼点にして本開示の各実施形態を創作するに至った。本開示の各実施形態によれば、ステレオマッチングにより生成されるデプスマップの歪みに着目し、当該デプスマップと、当該デプスマップから推定される平面との比較に基づいて、視点間のピッチ角度、及び視点間のヨー角度をより高精度に補正可能である。以下では、上記の効果を奏する本開示の第１の実施形態、及び第２の実施形態について詳細に説明する。
【００２３】
＜＜２．実施形態＞＞
＜２−１．第１の実施形態＞
（システム構成例）
図１は、本開示の第１の実施形態に係る情報処理システムの構成例を示す説明図である。図１に示すように、本実施形態に係る情報処理システムは、ステレオカメラ７、及びプロジェクタ８を含む。
【００２４】
ステレオカメラ７は、右カメラ７Ｒと左カメラ７Ｌを含む。右カメラ７Ｒ、及び左カメラ７Ｌは、撮像レンズ、絞り、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。なお、レンズ系はズームレンズを含んでもよく、係る場合、駆動系はレンズ系に対してズーム動作を行わせてもよい。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
【００２５】
右カメラ７Ｒ、及び左カメラ７Ｌは、それぞれ撮像画像を取得し、以下では右カメラ７Ｒが取得した撮像画像をＲ画像、左カメラ７Ｌが取得した撮像画像をＬ画像と呼ぶ場合がある。つまり、右カメラ７Ｒの位置、及び姿勢は、Ｒ画像の撮像に係る視点の位置、及び姿勢であり、左カメラ７Ｌの位置、及び姿勢はＬ画像の撮像に係る視点の位置、及び姿勢である。
【００２６】
また、右カメラ７Ｒと左カメラ７Ｌは、水平に並んで配置される。そのため、右カメラ７Ｒと左カメラ７Ｌとの撮像範囲には主に水平方向のズレが存在するが、右カメラ７Ｒと左カメラ７Ｌの撮像範囲の少なくとも一部は重複しており、比較的大部分が重複していることが望ましい。ステレオカメラ７は、図１に示すように、平面であるテーブル９の天面に向けて配置される。本実施形態において、右カメラ７Ｒと左カメラ７Ｌの撮像範囲の重複部分は図１には示されていないが、テーブル９の天面に含まれてもよく、後述するプロジェクタ８の投映領域Ｒ１０と略同一であってもよい。
【００２７】
なお、右カメラ７Ｒと左カメラ７Ｌの特性、及び位置や姿勢に関するパラメータは、事前に行われるキャリブレーションにより算出、あるいはステレオカメラ７の設計時により取得されている。ただし、パラメータのうち、右カメラ７Ｒと左カメラ７Ｌの間のピッチ角度、及びヨー角度には誤差が含まれ得る。
【００２８】
プロジェクタ８は、テーブル９の天面に画像を投映する。図１に示す例では、プロジェクタ８は、テーブル９の天面のうち、投映領域Ｒ１０に画像を投映する。プロジェクタ８が投映する画像は多様であり得るが、例えば、プロジェクタ８は、ステレオマッチングに適した画像を投映することが望ましい。ステレオマッチングに適した画像とは、例えば特徴的な点やテクスチャを十分に含んだ画像である。
【００２９】
なお、図１では、ステレオカメラ７、及びプロジェクタ８がテーブル９の真上に配置される例が示されているが、係る例に限定されず、ステレオカメラ７、及びプロジェクタ８は、テーブル９の斜め上に配置されてもよい。
【００３０】
また、本実施形態に係る情報処理システムは、図１に示されていない情報処理装置を含む。係る情報処理装置の配置は限定されないが、係る情報処理装置は図１に示したステレオカメラ７、及びプロジェクタ８と接続される。以下、本実施形態に係る情報処理システムが含む情報処理装置（以下、本実施形態に係る情報処理装置とも呼ぶ）の構成例について説明する。
【００３１】
（情報処理装置の構成例）
図２は、本実施形態に係る情報処理装置１の構成例を示すブロック図である。図２に示すように、本実施形態に係る情報処理装置１は、制御部１０、操作部３０、表示部４０、記憶部５０、及びインタフェース部６０を備える。
【００３２】
制御部１０は、情報処理装置１の各構成を制御する。また、制御部１０は、図２に示すように、平行化処理部１１、デプスマップ生成部１２、平面推定部１３、補正部１５、表示制御部１７、及びプロジェクタ制御部１９としても機能する。
【００３３】
平行化処理部１１は、後述するインタフェース部６０が図１に示したステレオカメラ７から取得したＲ画像とＬ画像に対して、Ｒ画像とＬ画像との間の垂直方向のズレを低減させる平行化処理を施す。例えば、平行化処理部１１が施す平行化処理は、右カメラ７Ｒと左カメラ７Ｌの特性、及び位置や姿勢に関するパラメータを用いた射影変換処理を含んでもよい。なお、平行化処理部１１が用いるパラメータは、予め記憶部５０に記憶されたパラメータであってもよく、例えばキャリブレーションにより算出されたパラメータやステレオカメラ７の設計時のパラメータ等であってもよい。また、平行化処理部１１は、後述する補正部１５から提供されるパラメータを用いて、平行化処理を行ってもよい。
【００３４】
なお、以下では、平行化処理部１１がＲ画像に対して平行化処理を施して得た画像を平行化Ｒ画像と呼び、Ｌ画像に対して平行化処理を施して得た画像を平行化Ｌ画像と呼ぶ。平行化処理部１１は、平行化Ｒ画像、及び平行化Ｌ画像をデプスマップ生成部１２へ出力する。
【００３５】
デプスマップ生成部１２は、平行化処理部１１から提供される平行化Ｒ画像と平行化Ｌ画像を用いたステレオマッチングにより、デプスマップを生成する。なお、本実施形態に係るデプスマップ生成部１２が行うステレオマッチングにおける対応点の探索方向は、水平方向である。デプスマップ生成部１２は、生成したデプスマップを平面推定部１３へ出力する。
【００３６】
平面推定部１３は、デプスマップ生成部１２により生成されたデプスマップに基づいて、平面を推定する。例えば、平面推定部１３は、デプスマップ生成部１２により生成されたデプスマップから得られる３次元点群を入力とし、３次元点群に含まれる平面を推定する。
【００３７】
平面推定部１３は、ＲＡＮＳＡＣ（Random  sample  consensus）法等の平面推定手法を用いることで、ノイズを除去して１つの平面を推定してもよい。また、３次元点群に複数の平面が含まれる場合や、平面以外の点が含まれる場合、最大の平面（属する点の数が最大である平面）以外の平面に属する点や平面以外の点は、ノイズとして除去されて、平面が推定され得る。ただし、平面推定をより高精度に行うため、及び後述の補正処理を高精度に行うためには、ステレオカメラ７の撮像範囲、特に右カメラ７Ｒと左カメラ７Ｌの撮像範囲の重複部分に、最大の平面以外の平面やその他の物体等が可能な限り含まれていないことが望ましい。そのため、図１を参照して説明したように、右カメラ７Ｒと左カメラ７Ｌの撮像範囲の重複部分が、平面であるテーブル９の天面に含まれるようにステレオカメラ７が配置されることが望ましい。また、テーブル９の天面には、余計なオブジェクトが配置されないことが望ましい。
【００３８】
平面推定部１３は、推定した平面を示す情報（例えば平面方程式）を補正部１５へ出力する。
【００３９】
補正部１５は、デプスマップ生成部１２により生成されたデプスマップと、平面推定部１３により推定された平面（以下、推定平面と呼ぶ場合がある）との比較に基づいて、右カメラ７Ｒと左カメラ７Ｌの姿勢に関するパラメータを補正する。補正部１５が補正する右カメラ７Ｒと左カメラ７Ｌの姿勢に関するパラメータは、右カメラ７Ｒと左カメラ７Ｌとの間のピッチ角度、及び右カメラ７Ｒと左カメラ７Ｌとの間のヨー角度を含んでもよい。補正部１５は、右カメラ７Ｒと左カメラ７Ｌとの間のピッチ角度を補正し、補正されたピッチ角度を取得する。また、補正部１５は、右カメラ７Ｒと左カメラ７Ｌとの間のヨー角度を補正し、補正されたヨー角度を取得する。図２に示すように、補正部１５は、比較部１５２、及び補正制御部１５６を含む。
【００４０】
比較部１５２は、デプスマップ生成部１２により生成されたデプスマップと、推定平面に基づいて生成されるデプスマップとの比較を行う。なお、以下では区別のため、デプスマップ生成部１２により生成されるデプスマップを、第１のデプスマップと呼び、推定平面に基づいて生成されるデプスマップを第２のデプスマップと呼ぶ場合がある。
【００４１】
第２のデプスマップは、第１のデプスマップの視点と同一の視点から推定平面を見たデプスマップであり、例えば、推定平面上に存在する３次元点群を第２のデプスマップ上に投影することで生成することが可能である。
【００４２】
本実施形態では、第１のデプスマップと第２のデプスマップの差が小さい程、右カメラ７Ｒと左カメラ７Ｌの姿勢に関するパラメータに含まれる誤差が小さいと考えられる。そこで、比較部１５２は、例えば第１のデプスマップと、第２のデプスマップとの差分を取得する（減算する）ことにより、比較を行ってもよい。また、比較部１５２は、画素ごとに第１のデプスマップから第２のデプスマップを減算した差分マップを生成してもよい。
【００４３】
また、比較部１５２は、第１のデプスマップと、第２のデプスマップとを比較して、ピッチ角度の補正に用いられる評価値、及びヨー角度の補正に用いられる評価値を算出する。係る構成によれば、ピッチ角度、及びヨー角度の誤差により第１のデプスマップに生じた歪みを反映した評価値を算出することが可能となる。なお、区別のため、ピッチ角度の補正に用いられる評価値を第１の評価値と呼び、ヨー角度の補正に用いられる評価値を第２の評価値と呼ぶ場合がある。
【００４４】
比較部１５２は、例えば本来のピッチ角度と、現在のパラメータに含まれるピッチ角度との差が大きい程、第１の評価値が大きくなるように第１の評価値を算出してもよい。また、比較部１５２は、本来のヨー角度と、現在のパラメータに含まれるヨー角度との差が大きい程、第２の評価値が大きくなるように第２の評価値を算出してもよい。以下、このような比較部１５２による評価値の算出方法について、図３〜図６を参照して説明する。
【００４５】
例えば、比較部１５２は、水平中心線と垂直中心線とで４分割された領域ごとに、第１のデプスマップと、第２のデプスマップとを比較して、右カメラ７Ｒと左カメラ７Ｌの間のピッチ角度の補正に用いられる第１の評価値を算出する。比較部１５２は、当該領域ごとに、第１のデプスマップと第２のデプスマップとの差分の和を算出し、当該差分の和に基づいて第１の評価値を算出してもよい。
【００４６】
図３は、第１の評価値の算出方法について説明するための説明図である。図３には、第１のデプスマップＤＡ、第２のデプスマップＤＢ、及び第１のデプスマップＤＡから第２のデプスマップＤＢを減算して得られる差分マップＤＤが示されている。比較部１５２は、図３に示すように、水平中心線と垂直中心線とで４分割された領域ごとに、第１のデプスマップと第２のデプスマップとの差分の和を算出する。つまり、第１のデプスマップＤＡの領域ＤＡ１〜ＤＡ４から第２のデプスマップＤＢの領域ＤＢ１〜ＤＢ４をそれぞれ減算して得られた差分マップＤＤの領域ＤＤ１〜ＤＤ４のそれぞれにおいて、和を算出する。なお、以下では、各領域で算出される差分の和を差分和と呼ぶ場合がある。
【００４７】
例えば、比較部１５２は、上下に位置する領域ごとに差分和の差分の絶対値を算出し、当該差分和の差分の絶対値に基づいて、第１の評価値を算出してもよい。ここで、領域ＤＤ１、ＤＤ２、ＤＤ３、ＤＤ４において算出される差分和を、それぞれｄ１、ｄ２、ｄ３、ｄ４とすると、比較部１５２は、第１の評価値Ｅ１を以下の式（１）のように算出してもよい。
【００４８】
Ｅ１＝｜ｄ１−ｄ３｜＋｜ｄ２−ｄ４｜  …（１）
【００４９】
式（１）のようにして算出される第１の評価値Ｅ１をピッチ角度の補正に用いる理由について、図４〜図６を参照して説明する。図４は、ピッチ角度を変更したときに生成されるデプスマップの変化を模式的に示す模式図である。
【００５０】
後述する補正制御部１５６では、ピッチ角度を変化させながら（変更しながら）第１の評価値が小さくなるようにピッチ角度を補正する。ここで、ピッチ角度を変化させると、平行化処理部１１が行う平行化処理に含まれる射影変換により、台形的な変化が生じる。
【００５１】
Ｌ画像ＣＬ１とＲ画像ＣＲ１に対して図４に示すように右カメラ７Ｒと左カメラ７Ｌとの間のピッチ角度を変化させて射影変換を適用すると、平行化Ｌ画像ＴＬ１と平行化Ｒ画像ＴＲ１が得られる。また、図４に示すデプスマップ変化ＤＶ１０は、図４に示すようにピッチ角度を変化させた場合に、右カメラ７Ｒを基準としたステレオマッチングにより得られるデプスマップの各領域に生じる変化量を示している。
【００５２】
図４に示すように、平行化Ｌ画像ＴＬ１と平行化Ｒ画像ＴＲ１のそれぞれにおいて、上辺と下辺の長さが射影変換の前後で変化する。その結果、図４に示す例において、Ｌ画像ＣＬ１と平行化Ｌ画像ＴＬ１とを比較すると、上側に存在する画素は水平方向の中心側に移動し、下側に存在する画素は水平方向の外側に移動する。また、図４に示す例において、Ｒ画像ＣＲ１と平行化Ｒ画像ＴＲ１とを比較すると、上側に存在する画素は水平方向の外側に移動し、下側に存在する画素は水平方向の中心側に移動する。
【００５３】
そのため、デプスマップ変化ＤＶ１０では、左上領域ＤＶ１１と右下領域ＤＶ１４において変化量が負となり、右上領域ＤＶ１２と左下領域ＤＶ１３において変化量が正となる。つまり、上下に位置する領域ごとに、符号（正負）が異なり、対角に位置する領域ごとに符号が一致する。したがって、ピッチ角度にズレが存在する場合、もし単純に差分マップの全体で差分を合計した値を評価値に用いてしまうと、符号の異なる領域において打ち消し合うため、ピッチ角度のズレと評価値の大小関係が維持されない恐れがある。一方、式（１）のように上下に位置する領域ごとに差分和の差分の絶対値を算出し、当該絶対値に基づいて第１の評価値を算出することで、ピッチ角度のズレと第１の評価値の大小関係を維持することが可能である。
【００５４】
なお、図４に示す例では、ピッチ角度の変化量をＬ画像ＣＬ１とＲ画像ＣＲ１の両方に振り分けて射影変換を行う例を示したが、片方のみに振り分けて射影変換することによる平行化も可能である。係る場合であっても、ピッチ角度の変化によるデプスマップ変化量の傾向は同様である。
【００５５】
なお、ステレオマッチングのためには垂直方向のズレがないことが望ましいが、ピッチ角度の変化に応じて各画素の垂直位置がズレてしまう。そのため、図４では、ピッチ角度の変化についてのみ示したが、実際には、平行化処理において、垂直方向にも各画素を移動させることが望ましい。例えば、ピッチ角度の変化に応じて、垂直方向のズレがなくなるように（垂直中心点が移動しないように）垂直方向に移動させる射影変換が適用されてもよい。
【００５６】
ところで、図４に示すデプスマップ変化ＤＶ１０を参照すると、上下に位置する領域だけでなく、左右に位置する領域においても符号が異なる。しかし、ピッチ角度だけでなく、ヨー角度にもズレが存在する場合、左右に位置する領域ごとに差分和の差分の絶対値を算出して評価値を算出するよりも、式（１）のように、上下に位置する領域ごとに差分和の差分の絶対値を算出して評価値を算出する方が望ましい。本実施形態において、後述する補正制御部１５６は、ピッチ角度を補正した後に、ヨー角度を補正するため、上下に位置する領域ごとに差分和の差分の絶対値を算出して評価値を算出することが望ましい。ここで、係る理由について、図５、図６を参照して説明を行う。図５、図６は、ヨー角度を変更したときに生成されるデプスマップの変化を模式的に示す模式図である。
【００５７】
Ｌ画像ＣＬ２とＲ画像ＣＲ２に対して図５に示すように右カメラ７Ｒと左カメラ７Ｌとの間のヨー角度を変化させて射影変換を適用すると、平行化Ｌ画像ＴＬ２と平行化Ｒ画像ＴＲ２が得られる。また、図５に示すデプスマップ変化ＤＶ２０は、図５に示すようにヨー角度を変化させた場合に、右カメラ７Ｒを基準としたステレオマッチングにより得られるデプスマップの各領域に生じる変化量を示している。
【００５８】
図５に示すように、平行化Ｌ画像ＴＬ２と平行化Ｒ画像ＴＲ２のそれぞれにおいて、右側の辺と左側の辺の長さが射影変換の前後で変化する。その結果、図５に示す例において、Ｌ画像ＣＬ２と平行化Ｌ画像ＴＬ２とを比較すると、右側に存在する画素も、左側に存在する画素も左方向に移動する。なお、図示していないが、Ｌ画像ＣＬ２と平行化Ｌ画像ＴＬ２とを比較すると、中央近傍に存在する画素は右方向に移動する。また、図５に示す例において、Ｒ画像ＣＲ２と平行化Ｒ画像ＴＲ２とを比較すると、右側に存在する画素も、左側に存在する画素も右方向に移動する。なお、図示していないが、Ｒ画像ＣＲ２と平行化Ｒ画像ＴＲ２とを比較すると、中央近傍に存在する画素は左方向に移動する。
【００５９】
そのため、デプスマップ変化ＤＶ２０では、左側領域ＤＶ２６において変化量は正、中央領域ＤＶ２７において変化量は負、そして右側領域ＤＶ２８において変化量は正となる。
【００６０】
また、Ｌ画像ＣＬ３とＲ画像ＣＲ３に対して図６に示すように右カメラ７Ｒと左カメラ７Ｌとの間のヨー角度を変化させて射影変換を適用すると、平行化Ｌ画像ＴＬ３と平行化Ｒ画像ＴＲ３が得られる。また、図６に示すデプスマップ変化ＤＶ３０は、図６に示すようにヨー角度を変化させた場合に、右カメラ７Ｒを基準としたステレオマッチングにより得られるデプスマップの各領域に生じる変化量を示している。
【００６１】
図６に示すように、平行化Ｌ画像ＴＬ３と平行化Ｒ画像ＴＲ３のそれぞれにおいて、右側の辺と左側の辺の長さが射影変換の前後で変化する。その結果、図６に示す例において、Ｌ画像ＣＬ３と平行化Ｌ画像ＴＬ３とを比較すると、右側に存在する画素も、左側に存在する画素も右方向に移動する。なお、図示していないが、Ｌ画像ＣＬ３と平行化Ｌ画像ＴＬ３とを比較すると、中央近傍に存在する画素は左方向に移動する。また、図６に示す例において、Ｒ画像ＣＲ３と平行化Ｒ画像ＴＲ３とを比較すると、右側に存在する画素も、左側に存在する画素も左方向に移動する。なお、図示していないが、Ｒ画像ＣＲ３と平行化Ｒ画像ＴＲ３とを比較すると、中央近傍に存在する画素は右方向に移動する。
【００６２】
そのため、デプスマップ変化ＤＶ３０では、左側領域ＤＶ３６において変化量は負、中央領域ＤＶ３７において変化量は正、そして右側領域ＤＶ３８において変化量は負となる。
【００６３】
上述したヨー角度を変化させた場合のデプスマップ変化の傾向を踏まえると、水平方向においては変化の傾向が異なり、垂直方向においては変化の傾向が一致する。したがって、もしヨー角度の補正を行う前に、左右に位置する領域ごとに差分和の差分の絶対値を算出して第１の評価値を算出すると、ピッチ角度のズレと第１の評価値との大小関係が維持されない恐れがある。したがって、上述した式（１）のように、上下に位置する領域ごとに差分和の差分の絶対値を算出し、当該絶対値に基づいて第１の評価値を算出することが望ましい。
【００６４】
以上、ピッチ角度の補正に用いられる第１の評価値の算出方法について説明した。続いて、ヨー角度の補正に用いられる第２の評価値の算出方法について説明する。
【００６５】
比較部１５２は、例えば、第１のデプスマップと、第２のデプスマップとの差分の分散に基づいて、ヨー角度の補正に用いられる第２の評価値を算出してもよい。上述したヨー角度を変化させた場合のデプスマップ変化の傾向を踏まえると、本来のヨー角度と、現在のパラメータに含まれるヨー角度との差が大きい程、第１のデプスマップと、第２のデプスマップとの差分の分散が大きくなる。そこで、比較部１５２は、例えば、領域に分けることなく、全体で第１のデプスマップと、第２のデプスマップとの差分の分散を算出し、係る分散を第２の評価値としてもよい。
【００６６】
以上、比較部１５２による第１の評価値の算出方法、及び第２の評価値の算出方法について説明した。なお、評価値の算出方法は、上記の例に限定されない。他の評価値の算出方法については変形例として後述する。
【００６７】
図２に戻って説明を続ける。補正制御部１５６は、右カメラ７Ｒと左カメラ７Ｌの姿勢に関するパラメータの補正処理に関する制御を行う。例えば、補正制御部１５６は、比較部１５２により算出される第１の評価値を用いて、ピッチ角度を補正する。また、補正制御部１５６は、比較部１５２により算出される第２の評価値を用いて、ヨー角度を補正する。
【００６８】
なお、上述したように比較部１５２は、ピッチ角度の補正に用いられる第１の評価値と、ヨー角度の補正に用いられる第２の評価値を異なる方法で算出してもよく、補正制御部１５６は、ピッチ角度の補正と、ヨー角度の補正を別々に行ってもよい。
【００６９】
また、補正制御部１５６は、ピッチ角度を補正した後に、ヨー角度を補正してもよい。上述したように、ピッチ角度の補正に用いられる第１の評価値は、ヨー角度のズレの影響を受けることなくピッチ角度を補正することが可能に算出されているため、ピッチ角度を補正した後にヨー角度を補正することで、それぞれの補正を独立に行うことができる。
【００７０】
補正制御部１５６は、比較部１５２により算出される第１の評価値が所定の条件（以下、第１の評価値に関する条件とも呼ぶ）を満たすようなピッチ角度を補正されたピッチ角度として特定してもよい。例えば、上述したように本来のピッチ角度と、現在のパラメータに含まれるピッチ角度との差が大きい程、第１の評価値が大きくなるように第１の評価値が算出される場合、補正制御部１５６は第１の評価値がより小さいピッチ角度を探索（特定）することが望ましい。
【００７１】
したがって、例えば第１の評価値に関する条件は、例えば複数のピッチ角度に基づいて算出された第１の評価値のうち最も小さいこと、であってもよい。係る場合、例えば、補正制御部１５６は、例えば所定の範囲でピッチ角度を変更しながら、変更されたピッチ角度を含むパラメータを平行化処理部１１へ提供し、比較部１５２に第１の評価値を算出させる制御を繰り返してもよい。そして、補正制御部１５６は、最終的に第１の評価値が最も小さくなるようなピッチ角度を補正されたピッチ角度として特定してもよい。
【００７２】
なお、第１の評価値に関する条件は、上記の例に限定されず、例えば所定の閾値よりも小さいことであってもよい。また、上記では、本来のピッチ角度と、現在のパラメータに含まれるピッチ角度との差が大きい程、第１の評価値が大きくなるように第１の評価値が算出される場合について述べたが、第１の評価値に関する条件は、第１の評価値の算出方法に応じた条件であってよい。例えば、本来のピッチ角度と、現在のパラメータに含まれるピッチ角度との差が大きい程、第１の評価値が小さくなるように第１の評価値が算出される場合、第１の評価値に関する条件として、上述した条件の大小を反転した条件が用いられてもよい。
【００７３】
また、同様に、補正制御部１５６は、比較部１５２により算出される第２の評価値が所定の条件（以下、第２の評価値に関する条件とも呼ぶ）を満たすようなヨー角度を補正されたヨー角度として特定してもよい。例えば、上述したように本来のヨー角度と、現在のパラメータに含まれるヨー角度との差が大きい程、第２の評価値が大きくなるように第２の評価値が算出される場合、補正制御部１５６は第２の評価値がより小さいヨー角度を探索（特定）することが望ましい。
【００７４】
したがって、例えば第２の評価値に関する条件は、例えば複数のヨー角度に基づいて算出された第２の評価値のうち最も小さいこと、であってもよい。係る場合、例えば、補正制御部１５６は、例えば所定の範囲でヨー角度を変更しながら、変更されたヨー角度を含むパラメータを平行化処理部１１へ提供し、比較部１５２に第２の評価値を算出させる制御を繰り返してもよい。そして、補正制御部１５６は、最終的に第２の評価値が最も小さくなるようなヨー角度を補正されたヨー角度として特定してもよい。
【００７５】
なお、第２の評価値に関する条件は、上記の例に限定されず、例えば所定の閾値よりも小さいことであってもよい。また、上記では、本来のヨー角度と、現在のパラメータに含まれるヨー角度との差が大きい程、第２の評価値が大きくなるように第２の評価値が算出される場合について述べたが、第２の評価値に関する条件は、第２の評価値の算出方法に応じた条件であってよい。例えば、本来のヨー角度と、現在のパラメータに含まれるヨー角度との差が大きい程、第２の評価値が小さくなるように第２の評価値が算出される場合、第２の評価値に関する条件として、上述した条件の大小を反転した条件が用いられてもよい。
【００７６】
また、補正制御部１５６は、上述したピッチ角度、及びヨー角度の補正を行うか否かの判定を行ってもよい。例えば、補正制御部１５６は、比較部１５２により生成された差分マップを表示制御部１７に提供して表示部４０に表示させ、表示を確認したユーザの入力を操作部３０を介して受け付け、係るユーザの入力に応じて係る判定を行ってもよい。あるいは、補正制御部１５６は、比較部１５２により生成された差分マップに基づいて、係る判定を自動的に行ってもよい。
【００７７】
表示制御部１７は、表示部４０を制御する。例えば、表示制御部１７は、補正部１５から提供される差分マップを表示させてもよいし、デプスマップ生成部１２により生成された第１のデプスマップを表示させてもよい。なお、差分マップの表示例については、図８を参照して後述する。
【００７８】
プロジェクタ制御部１９は、インタフェース部６０を介して接続されたプロジェクタ８を制御し、テーブル９の天面に画像を投映させる。上述したように、プロジェクタ制御部１９が投映させる画像は、ステレオマッチングに適した画像であることが望ましいが、既知の画像に限定されるものではない。上述した平行化処理部１１、デプスマップ生成部１２、平面推定部１３、及び補正部１５により行われる処理は、プロジェクタ制御部１９が投映させる画像についての情報を用いることなく行われ得る。
【００７９】
操作部３０は、ユーザの入力を受け付ける。本実施形態に係る操作部３０は、例えば上述したピッチ角度、及びヨー角度の補正を行うか否かに関するユーザの入力を受け付けてもよい。また、操作部３０は、例えばマウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、あるいはダイヤル等により実現されてもよい。
【００８０】
表示部４０は、表示制御部１７の制御に従って表示するディスプレイ等である。表示部４０は、例えば上述したように差分マップを表示する。
【００８１】
記憶部５０は、制御部１０が各機能を実行するためのプログラムやパラメータを記憶する。例えば記憶部５０には、例えば事前に行われたキャリブレーションにより算出されたパラメータ、あるいはステレオカメラ７の設計時のパラメータ等が記憶されていてもよい。
【００８２】
インタフェース部６０は、有線、あるいは無線により、他の装置との間の通信を仲介する。例えば、インタフェース部６０は、図１に示したステレオカメラ７と接続されて、右カメラ７Ｒにより取得されるＲ画像と左カメラ７Ｌにより取得されるＬ画像とをステレオカメラ７から受信する。また、インタフェース部６０は、図１に示したプロジェクタ８と接続されて、プロジェクタ８に投影させる画像をプロジェクタ８へ送信する。
【００８３】
以上、本実施形態に係る情報処理装置１の構成例について説明したが、情報処理装置１の構成は係る例に限定されず、例えば情報処理装置１の制御部１０が有する少なくとも一部の機能が、他の装置に存在してもよい。例えば、図１に示したプロジェクタ８が情報処理装置１とは接続されず、他の装置と接続されている場合、プロジェクタ制御部１９の機能は、プロジェクタ８と接続された他の装置に存在してもよい。
【００８４】
（動作例）
続いて、本実施形態に係る情報処理装置１の動作例について説明する。図７は、本実施形態に係る情報処理装置１の動作例を示すフローチャート図である。なお、以下に説明する一連の処理は、操作部３０を介したユーザの入力に基づいて開始されてもよいし、情報処理装置１の起動と同時に開始されてもよいし、あるいは所定期間ごとに開始されてもよい。
【００８５】
図７に示すように、ステレオカメラ７が撮像画像（Ｒ画像、及びＬ画像）を撮像により取得し、インタフェース部６０が、ステレオカメラ７から撮像画像を受信する（Ｓ１０２）。
【００８６】
続いて、平行化処理部１１が、ステップＳ１０２で取得されたＲ画像とＬ画像に対して、予め記憶されたパラメータに基づいて、Ｒ画像とＬ画像との間の垂直方向のズレを低減させる平行化処理を施し、平行化Ｒ画像と平行化Ｌ画像を得る（Ｓ１０４）。続いて、デプスマップ生成部１２が、ステップＳ１０４で得られた平行化Ｒ画像と平行化Ｌ画像を用いたステレオマッチングにより、第１のデプスマップを生成する（Ｓ１０６）。続いて、平面推定部１３が、ステップＳ１０６で生成された第１のデプスマップに基づいて、平面を推定する（Ｓ１０８）。
【００８７】
続いて、補正部１５の比較部１５２が、ステップＳ１０８で推定された平面上に存在する３次元点群を投影することで第２のデプスマップを生成する（Ｓ１１０）。さらに、比較部１５２は、ステップＳ１０６で生成された第１のデプスマップからステップＳ１１０で生成された第２のデプスマップを画素ごとに減算して差分マップを生成する（Ｓ１１２）。
【００８８】
続いて、表示制御部１７が、ステップＳ１１２で生成された差分マップあるいは第１のデプスマップを表示部４０に表示させる。（Ｓ１３４）。ここで、図８を参照して、ステップＳ１３４における表示例について説明する。図８は、ステップＳ１３４における表示例を示す図である。
【００８９】
図８に示す表示例Ｖ１１のように、表示制御部１７は、各画素の値（差分値）に応じた色や輝度、濃淡等の視覚的特徴等で表現した差分マップを表示部４０に表示させてもよい。なお、図８に示す表示例Ｖ１１では、一例として、ドットの濃淡で差分値を表現しており、差分値が正に大きい程濃く、負に大きい程薄く示されている。
【００９０】
あるいは、表示制御部１７は、図８に示す表示例Ｖ１２のように、第１のデプスマップから得られる３次元点群を３次元的に描画して表示部４０に表示させてもよい。
【００９１】
図８に示したような表示を行うことで、ユーザは現状のパラメータにより生成される第１のデプスマップが歪曲しているかどうかを確認することが可能である。
【００９２】
図７に戻って説明を続ける。ステップＳ１３４の表示を確認したユーザが操作部３０を介して、補正を行うか否かに関する入力を行い、補正制御部１５６は係るユーザの入力に基づいて補正を行うか否か判定を行う（Ｓ１３６）。補正を行わない場合（Ｓ１３６においてＮＯ）、処理は終了する。
【００９３】
一方、補正を行う場合（Ｓ１３６においてＹＥＳ）、ピッチ角度の補正処理が行われる（Ｓ１４０）。ここで、ステップＳ１４０のピッチ角度の補正処理について、図９を参照して詳細に説明する。図９は、ピッチ角度の補正処理の詳細な動作を示すフローチャート図である。
【００９４】
図９に示すように、まず補正部１５の補正制御部１５６は、ピッチ角度を変更する（Ｓ１４２）。ステップＳ１４２において、補正制御部１５６は、例えば現時点のパラメータ（予め記憶部５０に記憶されたパラメータ）のうち、ピッチ角度だけを変更してもよい。あるいは、上述したように、補正制御部１５６は、ピッチ角度の変更に加え、垂直方向のズレがなくなるように（垂直中心点が移動しないように）、変更したピッチ角度に応じて視点の位置に関するパラメータを垂直方向に変更してもよい。
【００９５】
続いて、平行化処理部１１が、図７のステップＳ１０２で取得されたＲ画像とＬ画像に対して、ステップＳ１４２で変更された後のピッチ角度を含むパラメータに基づいて、平行化処理を施し、平行化Ｒ画像と平行化Ｌ画像を得る（Ｓ１４４）。続いて、デプスマップ生成部１２が、ステップＳ１４４で得られた平行化Ｒ画像と平行化Ｌ画像を用いたステレオマッチングにより、第１のデプスマップを生成する（Ｓ１４６）。続いて、平面推定部１３が、ステップＳ１４６で生成された第１のデプスマップに基づいて、平面を推定する（Ｓ１４８）。
【００９６】
続いて、補正部１５の比較部１５２が、ステップＳ１４８で推定された平面上に存在する３次元点群を投影することで第２のデプスマップを生成する（Ｓ１５０）。さらに、比較部１５２は、水平中心線と垂直中心線とで４分割された領域ごとに、ステップＳ１４６で生成された第１のデプスマップからステップＳ１５０で生成された第２のデプスマップの差分の和（差分和）を算出する（Ｓ１５４）。さらに、比較部１５２は、領域ごとに算出された差分和に基づいて上記の式（１）のように評価値（第１の評価値）を算出する（Ｓ１５６）。
【００９７】
続いて、補正制御部１５６は、ステップＳ１５６で算出された評価値と、最小評価値とを比較する（Ｓ１５８）。なお、ステップＳ１５８が最初に実行される際には、最小評価値は非常に大きな値に設定されていてもよいし、最初にステップＳ１５６が実行された際に算出された評価値が最小評価値として設定されてもよい。最小評価値は、例えば記憶部５０に一時的に記憶されてもよい。
【００９８】
ステップＳ１５６で算出された評価値が最小評価値よりも小さい場合（Ｓ１５８においてＹＥＳ）、補正制御部１５６は、ステップＳ１５６で算出された評価値で最小評価値を更新する（Ｓ１６０）。例えば、上述したように最小評価値が記憶部５０に記憶される場合、ステップＳ１６０において、補正制御部１５６はステップＳ１５６で算出された評価値を最小評価値として記憶部５０に記憶させる。また、ステップＳ１６０において、補正制御部１５６は、ステップＳ１４２で変更されたピッチ角度を最小評価値に対応するピッチ角度として記憶部５０に記憶させてもよい。
【００９９】
ステップＳ１６２において、補正制御部１５６は、ピッチ角度の変更が十分に繰り返されたと判定されるまで、ステップＳ１４２〜Ｓ１６０の処理を繰り返すように制御する。なお、補正制御部１５６は、例えばステップＳ１４２〜Ｓ１６０の処理を所定の回数繰り返した場合に、ピッチ角度の変更を十分に繰り返したと判定してもよい。ピッチ角度の変更を十分に繰り返したと判定されると（Ｓ１６２においてＹＥＳ）、処理はステップＳ１６４に進む。
【０１００】
ステップＳ１６４において、補正制御部１５６は、最小評価値に対応するピッチ角度を補正後のピッチ角度として特定し、例えば記憶部５０から取得する。
【０１０１】
以上、ステップＳ１４０のピッチ角度の補正処理について説明した。図７に戻って説明を続ける。ステップＳ１４０のピッチ角度の補正処理に続いて、ヨー角度の補正処理が行われる（Ｓ１７０）。ここで、ステップＳ１７０のヨー角度の補正処理について、図１０を参照して詳細に説明する。図１０は、ヨー角度の補正処理の詳細な動作を示すフローチャート図である。
【０１０２】
図１０に示すように、まず補正部１５の補正制御部１５６は、ヨー角度を変更する（Ｓ１７２）。ステップＳ１７２において、補正制御部１５６は、例えば現時点のパラメータ（ステップＳ１４０のピッチ角度の補正処理後のパラメータ）のうち、ヨー角度だけを変更してもよい。
【０１０３】
続いて、平行化処理部１１が、図７のステップＳ１０２で取得されたＲ画像とＬ画像に対して、ステップＳ１７２で変更された後のヨー角度を含むパラメータに基づいて、平行化処理を施し、平行化Ｒ画像と平行化Ｌ画像を得る（Ｓ１７４）。続いて、デプスマップ生成部１２が、ステップＳ１４４で得られた平行化Ｒ画像と平行化Ｌ画像を用いたステレオマッチングにより、第１のデプスマップを生成する（Ｓ１７６）。続いて、平面推定部１３が、ステップＳ１４６で生成された第１のデプスマップに基づいて、平面を推定する（Ｓ１７８）。
【０１０４】
続いて、補正部１５の比較部１５２が、ステップＳ１４８で推定された平面上に存在する３次元点群を投影することで第２のデプスマップを生成する（Ｓ１８０）。さらに、比較部１５２は、ステップＳ１７６で生成された第１のデプスマップからステップＳ１８０で生成された第２のデプスマップの差分の分散を評価値（第２の評価値）として算出する（Ｓ１８６）。
【０１０５】
続いて、補正制御部１５６は、ステップＳ１８６で算出された評価値と、最小評価値とを比較する（Ｓ１８８）。なお、ステップＳ１８８が最初に実行される際には、最小評価値は非常に大きな値に設定されていてもよいし、最初にステップＳ１８６が実行された際に算出された評価値が最小評価値として設定されてもよい。最小評価値は、例えば記憶部５０に一時的に記憶されてもよい。
【０１０６】
ステップＳ１８６で算出された評価値が最小評価値よりも小さい場合（Ｓ１８８においてＹＥＳ）、補正制御部１５６は、ステップＳ１８６で算出された評価値で最小評価値を更新する（Ｓ１９０）。例えば、上述したように最小評価値が記憶部５０に記憶される場合、ステップＳ１９０において、補正制御部１５６はステップＳ１８６で算出された評価値を最小評価値として記憶部５０に記憶させる。また、ステップＳ１９０において、補正制御部１５６は、ステップＳ１７２で変更されたヨー角度を最小評価値に対応するヨー角度として記憶部５０に記憶させてもよい。
【０１０７】
ステップＳ１９２において、補正制御部１５６は、ヨー角度の変更が十分に繰り返されたと判定されるまで、ステップＳ１７２〜Ｓ１９０の処理を繰り返すように制御する。なお、補正制御部１５６は、例えばステップＳ１７２〜Ｓ１９０の処理を所定の回数繰り返した場合に、ヨー角度の変更を十分に繰り返したと判定してもよい。ヨー角度の変更を十分に繰り返したと判定されると（Ｓ１９２においてＹＥＳ）、処理はステップＳ１９４に進む。
【０１０８】
ステップＳ１９４において、補正制御部１５６は、最小評価値に対応するヨー角度を補正後のヨー角度として特定し、例えば記憶部５０から取得する。
【０１０９】
以上、ステップＳ１７０のピッチ角度の補正処理について説明した。図７に戻って説明を続ける。続くステップＳ１９８において、表示制御部１７は、補正後の差分マップ、あるいは補正後の第１のデプスマップを表示させる（Ｓ１９８）。係る差分マップあるいは第１のデプスマップは、例えば補正後のパラメータを用いてステップＳ１０２〜Ｓ１１２と同様の処理を再度行うことで得られてもよいし、ヨー角度の補正処理（Ｓ１７０）の間に得られてもよい。
【０１１０】
ここで、図１１を参照して、ステップＳ１９８における表示例について説明する。図１１は、ステップＳ１９８における表示例を示す図である。
【０１１１】
図１１に示す表示例Ｖ１３は、図８に示す表示例Ｖ１１と同様に、各画素の値（差分値）に応じた色や輝度、濃淡等の視覚的特徴等（図１１の例では濃淡）で表現した差分マップが表示部４０に表示される例である。
【０１１２】
また、図１１に示す表示例Ｖ１４は、図８に示す表示例Ｖ１２と同様に、補正後のパラメータを用いて生成された第１のデプスマップから得られる３次元点群が３次元的に描画されて表示部４０に表示される例である。
【０１１３】
図１１に示したような表示を行うことで、ユーザはパラメータが補正されたことを確認することが可能である。
【０１１４】
（効果）
以上、本開示の第１の実施形態について説明した。本実施形態によれば、ステレオマッチングにより生成される第１のデプスマップと、第１のデプスマップに基づいて推定される平面を投影して得られる第２のデプスマップとの比較に基づいて、視点間のピッチ角度、及びヨー角度に関するパラメータの補正が行われる。上述したように、ステレオマッチングのマッチングエラーに基づいてピッチ角度、及びヨー角度の補正を行うことは難しいが、本実施形態によればデプスマップに生じる歪みに着目して、ピッチ角度、及びヨー角度を補正することが可能である。
【０１１５】
＜２−２．第２の実施形態＞
（概要）
続いて、本開示の第２の実施形態について説明する。図１２は、本開示の第２の実施形態の概要を説明するための説明図である。本開示の第２の実施形態に係る情報処理システムは、図１２に示すように、ステレオカメラ７、及びプロジェクタ８と、図１２に示されていない情報処理装置を含む。なお、図１２に示すステレオカメラ７、及びプロジェクタ８の構成は、図１に示したステレオカメラ７、及びプロジェクタ８の構成と同様であるため、ここでの詳細な説明は省略する。
【０１１６】
上述した第１の実施形態では、図１に示すテーブル９の天面に余計なオブジェクトが配置されないことが想定されていた。これに対し、図１２に示す例では、テーブル９の天面にオブジェクトＢ２１〜Ｂ２４が存在する。なお、図１２に示す例では、オブジェクトＢ２１〜Ｂ２４はプロジェクタ８の投映領域Ｒ２０に含まれており、右カメラ７Ｒと左カメラ７Ｌの撮像範囲の重複部分（不図示）にも含まれている。
【０１１７】
図１２に示すような場合、第１の実施形態では、オブジェクトＢ２１〜Ｂ２４を除去する必要がある。一方、以下に説明する本開示の第２の実施形態では、テーブル９の天面に余計なオブジェクトが配置されていたとしても、視点間の姿勢に関するパラメータを補正することが可能である。以下、このような効果を実現するための、本実施形態に係る情報処理システムが含む情報処理装置（以下、本実施形態に係る情報処理装置とも呼ぶ）の構成例について説明する。
【０１１８】
（情報処理装置の構成例）
図１３は、本実施形態に係る情報処理装置２の構成例を示すブロック図である。図１３に示すように、本実施形態に係る情報処理装置２は、制御部２０、操作部３０、表示部４０、記憶部５０、及びインタフェース部６０を備える。なお、図１３に示す操作部３０、表示部４０、記憶部５０、及びインタフェース部６０の構成は、図２を参照して説明した操作部３０、表示部４０、記憶部５０、及びインタフェース部６０の構成と実質的に同様であるため、ここでの詳細な説明は省略する。
【０１１９】
図１３に示す制御部２０は、情報処理装置２の各構成を制御する。また、制御部２０は、図１３に示すように、平行化処理部１１、デプスマップ生成部１２、平面推定部１３、補正部２５、表示制御部２７、及びプロジェクタ制御部１９としても機能する。なお、図１３に示す平行化処理部１１、デプスマップ生成部１２、平面推定部１３、及びプロジェクタ制御部１９の構成は、図２を参照して説明した平行化処理部１１、デプスマップ生成部１２、平面推定部１３及びプロジェクタ制御部１９の構成と実質的に同様であるため、ここでの詳細な説明は省略する。
【０１２０】
本実施形態に係る補正部２５は、第１の実施形態に係る補正部１５と同様に、デプスマップ生成部１２により生成されたデプスマップと、平面推定部１３により推定された平面との比較に基づいて、右カメラ７Ｒと左カメラ７Ｌの姿勢に関するパラメータを補正する。ただし、上述したように、本実施形態では、テーブル９の天面（撮像範囲）に余計なオブジェクトが配置されている恐れがある。そこで、本実施形態に係る補正部２５は、係るオブジェクトの影響を受けないように、処理対象領域を設定し、処理対象領域において、補正に係る処理を行う。係る点において、本実施形態に係る補正部２５は、第１の実施形態に係る補正部１５と異なる。以下では、この本実施形態に係る補正部２５が、第１の実施形態に係る補正部１５と異なる点について主に説明を行い、同様の部分については適宜説明を省略する。
【０１２１】
図１３に示すように、本実施形態に係る補正部２５は、比較部２５２、処理対象領域設定部２５４、及び補正制御部２５６を含む。
【０１２２】
比較部２５２は、第１の実施形態に係る比較部１５２と同様に、デプスマップ生成部１２により生成された第１のデプスマップと、推定平面に基づいて生成される第２のデプスマップとの比較を行う。
【０１２３】
ただし、本実施形態に係る比較部２５２は、画素ごとに第１のデプスマップから第２のデプスマップを減算して生成した差分マップを処理対象領域設定部２５４へ提供する。さらに、処理対象領域設定部２５４によって処理対象領域が設定された後、比較部２５２は当該処理対象領域における第１のデプスマップと、推定平面との比較を行う。
【０１２４】
例えば、処理対象領域設定部２５４によって処理対象領域が設定された後、比較部２５２は処理対象領域において差分を画素ごとに第１のデプスマップから第２のデプスマップを減算して差分マップを生成し、補正制御部２５６へ提供してもよい。
【０１２５】
また、比較部２５２は処理対象領域において、第１のデプスマップと第２のデプスマップを比較することで、ピッチ角度の補正に用いられる第１の評価値、及びヨー角度の補正に用いられる第２の評価値を算出してもよい。比較部２５２による第１の評価値、及び第２の評価値の算出方法は、処理対象領域設定部２５４により設定される処理対象領域のみを算出の対象とすることを除いて、第１の実施形態で説明した第１の評価値、及び第２の評価値の算出方法と同様であってもよい。
【０１２６】
係る構成により、比較部２５２は、テーブル９の天面に配置されたオブジェクトの影響を受けることなく、第１の評価値、及び第２の評価値を算出することが可能となる。
【０１２７】
処理対象領域設定部２５４は、第１のデプスマップと、第２のデプスマップとに基づいて、処理対象領域を設定する。処理対象領域設定部２５４は、設定した処理対象領域の情報を比較部２５２と補正制御部２５６へ提供する。
【０１２８】
上述したように、本実施形態では、テーブル９の天面にオブジェクトが配置され得るため、処理対象領域設定部２５４は、比較部２５２により算出される評価値が係るオブジェクトの影響を受けないように処理対象領域を設定することが望ましい。そのため、処理対象領域設定部２５４は、オブジェクトが存在するオブジェクト領域を特定し、オブジェクト領域に基づいて処理対象領域を設定する。例えば、処理対象領域設定部２５４は、第１のデプスマップと第２のデプスマップとの差分の絶対値が所定の閾値よりも大きい領域を、オブジェクト領域として特定してもよい。
【０１２９】
比較部２５２により算出される評価値が係るオブジェクトの影響を受けないようにするためには、例えば処理対象領域からオブジェクト領域を除くことが考えられる。ここで、図３〜図６を参照して説明したように、上下に位置する領域ごとに差分和の差分の絶対値が算出されて、算出された絶対値の和が、第１の評価値として用いられる。したがって、上下に位置する領域ごとに、処理対象領域の面積が同一であることが望ましい。さらに、図８に示したように、ピッチ角度やヨー角度にズレが含まれる場合に生成される第１のデプスマップは、四隅に近い程誤差が大きくなる（第２のデプスマップとの差分の絶対値が大きくなる）傾向がある。そこで、第１の評価値をより適切に算出するため、処理対象領域設定部２５４は、処理対象領域が上下対称であるように、処理対象領域を設定してもよい。
【０１３０】
例えば、処理対象領域設定部２５４は、上述したオブジェクト領域を除くようなマスク画像と、当該マスク画像を上下方向に反転させた反転マスク画像とを生成してもよい。さらに、処理対象領域設定部２５４は、マスク画像と反転マスク画像とを足し合わせた、上下対称な対称マスク画像を生成し、当該対称マスク画像に基づいて処理対象領域を設定してもよい。なお、係る処理対象領域設定処理の具体例については、図１６を参照して後述する。
【０１３１】
補正制御部２５６は、第１の実施形態に係る補正制御部１５６と同様に、右カメラ７Ｒと左カメラ７Ｌの姿勢に関するパラメータの補正処理に関する制御を行う。ただし、本実施形態に係る補正制御部２５６は、処理対象領域設定部２５４により設定された処理対象領域に基づいて比較部２５２が算出した第１の評価値、及び第２の評価値に基づいて、補正処理に関する制御を行う点で上述した補正制御部１５６と異なる。係る構成により、余計なオブジェクトの影響を受けることなく、より高精度に補正を行うことが可能である。
【０１３２】
また、本実施形態に係る補正制御部２５６は、処理対象領域設定部２５４により設定された処理対象領域に基づいて、補正処理を実行可能か否かを判定してもよい。例えば、処理対象領域が十分に存在しない場合、正常に補正処理を行えない恐れがある。そこで、補正制御部２５６は、例えば処理対象領域が十分に存在しない場合、補正処理を実行不可能であると判定してもよい。処理対象領域が十分に存在しないとは、例えば、処理対象領域の面積が所定の閾値よりも小さいことであってもよい。また、ピッチ角度やヨー角度にズレが含まれる場合に生成される第１のデプスマップは、四隅に近い程誤差が大きくなるため、四隅に近い程重みが大きくなるような重みづけを行って処理対象領域を評価した評価値に基づいて処理対象領域が十分に存在するか否かを判定してもよい。
【０１３３】
表示制御部２７は、第１の実施形態に係る表示制御部１７と同様に表示部４０の表示を制御する。ただし、本実施形態に係る表示制御部２７は、処理対象領域が設定された差分マップ、あるいは処理対象領域が設定された第１のデプスマップを表示させる点で表示制御部１７と異なる。また、本実施形態に係る表示制御部２７は、補正制御部２５６により、処理対象領域が十分に存在しないために補正処理を実行不可能であると判定された場合に、ユーザに余計なオブジェクトを除去するように通知する画面を表示させてもよい。
【０１３４】
（動作例）
以上、本実施形態に係る情報処理装置２の構成例について説明した。続いて、本実施形態に係る情報処理装置２の動作例について説明する。図１４は、本実施形態に係る情報処理装置２の動作例を示すフローチャート図である。なお、以下に説明する一連の処理は、操作部３０を介したユーザの入力に基づいて開始されてもよいし、情報処理装置２の起動と同時に開始されてもよいし、あるいは所定期間ごとに開始されてもよい。
【０１３５】
図１４に示すステップＳ２０２〜Ｓ２１２の処理は、図７を参照して説明したステップＳ１０２〜Ｓ１１２の処理と同様であるため、ここでの説明は省略する。
【０１３６】
続くステップＳ２２０において、補正部２５の処理対象領域設定部２５４により処理対象領域が設定される。ここで、ステップＳ２２０の処理対象領域の設定処理について、図１５、図１６を参照して詳細に説明する。図１５は、処理対象領域の設定処理の詳細な動作を示すフローチャート図である。また、図１６は、処理対象領域の設定処理の具体例を示す説明図である。以下では、図１６に示したマスク画像Ｍ１２、反転マスク画像Ｍ１４、及び対称マスク画像Ｍ１６を参照しながら、図１５のフローチャートに沿ってステップＳ２２０の処理対象領域の設定処理の動作について説明する。なお、図１６に示す例では、除かれる（マスクされる）領域が黒色の領域として示されているが、白と黒が反転してもよいし、他の色等が用いられてもよい。
【０１３７】
まず、処理対象領域設定部２５４は、ステップＳ２１２で生成された差分マップに基づいて、オブジェクト領域を特定し、オブジェクト領域を除くようなマスク画像Ｍ１２を生成する（Ｓ２２２）。続いて、処理対象領域設定部２５４は、ステップＳ２２２で生成されたマスク画像Ｍ１２を上下方向に反転させた反転マスク画像Ｍ１４を生成する（Ｓ２２４）。
【０１３８】
そして、処理対象領域設定部２５４は、ステップＳ２２２で生成されたマスク画像Ｍ１２と、ステップＳ２２４で生成された反転マスク画像Ｍ１４とを足し合わせて、対称マスク画像Ｍ１６を生成する（Ｓ２２６）。なお、図１６に示すように、ステップＳ２２６において、処理対象領域設定部２５４は、マスク画像Ｍ１２と反転マスク画像Ｍ１４の少なくともいずれか一方において、黒色の領域は、対称マスク画像Ｍ１６においても黒色の領域であるように対称マスク画像Ｍ１６を生成する。
【０１３９】
最後に、処理対象領域設定部２５４は、ステップＳ２２６で生成された対称マスク画像Ｍ１６に基づいて処理対象領域を設定する（Ｓ２２８）。例えば、ステップＳ２２８において、処理対象領域設定部２５４は、対称マスク画像Ｍ１６の白色領域を処理対象領域として設定する。
【０１４０】
以上、ステップＳ２２０の処理対象領域の設定処理について説明した。図１４に戻って説明を続ける。続くステップＳ２３２において、補正部２５の補正制御部２５６は、処理対象領域が十分に存在するか否かを判定する（Ｓ２３０）。
【０１４１】
処理対象領域が十分に存在しない場合（Ｓ２３０においてＮＯ）、表示制御部２７がユーザに余計なオブジェクトを除去するように通知する画面を表示させ、ユーザはテーブル９の天面に配置された余計なオブジェクトを除去する（Ｓ２３２）。そして処理はステップＳ２０２に戻る。
【０１４２】
一方、処理対象領域が十分に存在する場合（Ｓ２３０においてＹＥＳ）、表示制御部２７が、処理対象領域が設定された差分マップ、あるいは処理対象領域が設定された第１のデプスマップを表示部４０に表示させる。（Ｓ２３４）。ここで、図１７を参照して、ステップＳ２３４における表示例について説明する。図１７は、ステップＳ２３４における表示例を示す図である。
【０１４３】
図１７に示す表示例Ｖ２１のように、表示制御部２７は、各画素の値（差分値）に応じた色や輝度、濃淡等の視覚的特徴等で表現した、差分マップを表示部４０に表示させてもよい。なお、図１７に示す表示例Ｖ２１では、一例として、ドットの濃淡で差分値を表現しており、差分値が正に大きい程濃く、負に大きい程薄く示されている。また、図１７に示す表示例Ｖ２１では、処理対象領域が設定された差分マップを表示しており、処理対象領域ではない領域は、斜線ハッチングにより示されている。ただし、係る例に限定されず、例えば処理対象領域ではない領域が、色や輝度、濃淡等の他の視覚的特徴で表現されてもよい。
【０１４４】
あるいは、表示制御部２７は、図１７に示す表示例Ｖ２２のように、第１のデプスマップから得られる３次元点群を３次元的に描画して表示部４０に表示させてもよい。また、図１７に示す表示例Ｖ２２では、処理対象領域が設定された第１のデプスマップを表示しており、処理対象領域ではない領域は、斜線ハッチングにより示されている。ただし、係る例に限定されず、例えば処理対象領域ではない領域が、切り抜かれて表示されたり、処理対象領域とは別の色で表示されたりしてもよい。
【０１４５】
図１７に示したような表示を行うことで、ユーザは現状のパラメータにより生成される第１のデプスマップが歪曲しているかどうかを確認することが可能であると共に、処理対象領域を確認することが可能である。
【０１４６】
図１４に戻って説明を続ける。ステップＳ２３４の表示を確認したユーザが操作部３０を介して、補正を行うか否かに関する入力を行い、補正制御部２５６は係るユーザの入力に基づいて補正を行うか否か判定を行う（Ｓ２３６）。補正を行わない場合（Ｓ２３６においてＮＯ）、処理は終了する。
【０１４７】
一方、補正を行う場合（Ｓ２３６においてＹＥＳ）、ピッチ角度の補正処理が行われる（Ｓ２４０）。ここで、ステップＳ２４０のピッチ角度の補正処理について、図１８を参照して詳細に説明する。図１８は、ピッチ角度の補正処理の詳細な動作を示すフローチャート図である。
【０１４８】
図１８に示すステップＳ２４２〜Ｓ２５０の処理は、図９を参照して説明したステップＳ１４２〜Ｓ１５０の処理と同様であるため、ここでの説明は省略する。
【０１４９】
続くステップＳ２５２において、処理対象領域設定部２５４により処理対象領域が設定される。ステップＳ２５２の処理は、ステップＳ２４６で生成された第１のデプスマップと、ステップＳ２５０で生成された第２のデプスマップに基づいて生成される差分マップが用いられることを除いてステップＳ２２０の処理と同様であるため、ここでの詳細な説明は省略する。
【０１５０】
続くステップＳ２５４において、比較部２５２は、ステップＳ２５２で設定された処理対象領域を対象とし、水平中心線と垂直中心線とで４分割された領域ごとに、ステップＳ２４６で生成された第１のデプスマップからステップＳ２５０で生成された第２のデプスマップの差分の和（差分和）を算出する。
【０１５１】
続くステップＳ２５６〜Ｓ２６４の処理は、図９を参照して説明したステップＳ１５６〜Ｓ１６４の処理と同様であるため、ここでの説明は省略する。
【０１５２】
以上、ステップＳ２４０のピッチ角度の補正処理について説明した。図１４に戻って説明を続ける。ステップＳ２４０のピッチ角度の補正処理に続いて、ヨー角度の補正処理が行われる（Ｓ２７０）。ここで、ステップＳ２７０のヨー角度の補正処理について、図１９を参照して詳細に説明する。図１９は、ヨー角度の補正処理の詳細な動作を示すフローチャート図である。
【０１５３】
図１９に示すステップＳ２７２〜Ｓ２８０の処理は、図１０を参照して説明したステップＳ１７２〜Ｓ１８０の処理と同様であるため、ここでの説明は省略する。
【０１５４】
続くステップＳ２８２において、処理対象領域設定部２５４により処理対象領域が設定される。ステップＳ２８２の処理は、ステップＳ２７６で生成された第１のデプスマップと、ステップＳ２７０で生成された第２のデプスマップに基づいて生成される差分マップが用いられることを除いてステップＳ２２０の処理と同様であるため、ここでの詳細な説明は省略する。
【０１５５】
続くステップＳ２８６において、比較部２５２は、ステップＳ２８２で設定された処理対象領域を対象とし、ステップＳ２７６で生成された第１のデプスマップからステップＳ２８０で生成された第２のデプスマップの差分の和を評価値（第２の評価値）として算出する。
【０１５６】
続くステップＳ２８８〜Ｓ２９４の処理は、図１０を参照して説明したステップＳ１８８〜Ｓ１９４の処理と同様であるため、ここでの説明は省略する。
【０１５７】
以上、ステップＳ２７０のピッチ角度の補正処理について説明した。図１４に戻って説明を続ける。続くステップＳ２９８において、表示制御部２７は、処理対象領域が設定された補正後の差分マップ、あるいは処理対象領域が設定された補正後の第１のデプスマップを表示させる（Ｓ２９９）。
【０１５８】
（効果）
以上、本開示の第２の実施形態について説明した。本実施形態によれば、処理対象領域を設定することで、テーブル９の天面（撮像範囲）に余計なオブジェクトが存在する場合であっても、高精度に補正を行うことが可能である。
【０１５９】
＜＜３．変形例＞＞
以上、本開示の各実施形態を説明した。以下では、本開示の各実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本開示の各実施形態に適用されてもよいし、組み合わせで本開示の各実施形態に適用されてもよい。また、各変形例は、本開示の各実施形態で説明した構成に代えて適用されてもよいし、本開示の各実施形態で説明した構成に対して追加的に適用されてもよい。
【０１６０】
＜３−１．変形例１＞
上記では、プロジェクタ８により画像が投映されたテーブル９の天面を撮像範囲とするように、水平に配置された右カメラ７Ｒと左カメラ７Ｌを含むステレオカメラ７が配置される例を説明したが、本技術は係る例に限定されない。本技術は、より多様な状況で適用可能である。
【０１６１】
例えば、撮像範囲の大部分に平面（例えばテーブルの天面、床、壁等）が存在し、係る平面が特徴的な点やテクスチャや特徴点等、ステレオマッチングに適した特徴を含んでいれば、プロジェクタによる画像の投映が行われなくてもよい。
【０１６２】
また、上記では、複数の撮像装置（右カメラ７Ｒと左カメラ７Ｌ）が水平方向に配置される例を説明したが、本技術は係る例に限定されない。例えば、垂直方向に配置された複数の撮像装置により取得された複数の撮像画像に対しても本技術は適用可能である。係る場合、ステレオマッチングにおける対応点の探索方向は垂直方向であってもよい。また、係る場合、ピッチ角度の補正に用いられる評価値の算出方法、及びヨー角度の補正に用いられる評価値の算出方法が適宜入れ替えられてもよく、同様にピッチ角度の補正方法、及びヨー角度の補正方法が適宜入れ替えられてもよい。なお、撮像装置や撮像画像の垂直方向、及び水平方向が特に定義されていない場合、例えばステレオマッチングにおける対応点の探索方向を水平方向と定義してもよい。
【０１６３】
また、複数の撮像画像は、複数の撮像装置により同時に取得される画像ではなく、移動する撮像装置により、異なる時刻で取得される画像であってもよい。例えば、移動する撮像装置により異なる時刻で取得された複数の撮像画像に対しても、本技術を適用することが可能である。係る場合、移動する撮像装置が、各撮像画像を取得した（撮像が行われた）時刻における当該撮像装置の姿勢が、補正対象である視点の姿勢となり、時刻で間のピッチ角度、あるいはヨー角度が補正されてもよい。
【０１６４】
＜３−２．変形例２＞
また、上記では、ピッチ角度の補正に用いられる第１の評価値の算出方法、及びヨー角度の補正に用いられる第２の評価値の算出方法の一例を説明したが、他の方法で評価値を算出することも可能である。
【０１６５】
例えば、第１の評価値、あるいは第２の評価値は、画素ごとに算出される第１のデプスマップと、第２のデプスマップとの差分の絶対値を合計することで算出されてもよい。このような算出方法であっても、図４〜図６を参照して説明したような符号の異なる領域による打ち消し合いの影響を受けない評価値を算出することが可能である。
【０１６６】
＜＜４．ハードウェア構成例＞＞
以上、本開示の実施形態を説明した。最後に、図２０を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２０は、本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２０に示す情報処理装置９００は、例えば、図２、図１３にそれぞれ示した情報処理装置１、情報処理装置２を実現し得る。本開示の実施形態に係る情報処理装置１、情報処理装置２による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【０１６７】
図２０に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
【０１６８】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１０、制御部２０を形成し得る。
【０１６９】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１７０】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１７１】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば表示部４０を形成し得る。
【０１７２】
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部５０を形成し得る。
【０１７３】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０１７４】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
【０１７５】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
【０１７６】
センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。
【０１７７】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【０１７８】
以上、本開示の実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１７９】
なお、上述のような本開示の実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１８０】
＜＜５．むすび＞＞
以上説明したように、本開示の実施形態によれば、撮像が行われる視点の姿勢に関するパラメータの精度をより高精度に得ることが可能である。
【０１８１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８２】
例えば、上記実施形態では、視点間の姿勢に関するパラメータを補正する例を説明したが、補正された視点間の姿勢に関するパラメータを用いて、同一の座標系（例えばいわゆる世界座標系）における各視点の姿勢に関するパラメータを補正することも可能である。
【０１８３】
また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１８４】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１８５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数の視点での撮像により取得される複数の撮像画像に基づいて得られる第１のデプスマップに基づいて、平面を推定する平面推定部と、
前記第１のデプスマップと、前記平面との比較に基づいて、前記複数の視点の姿勢に関するパラメータを補正する補正部と、
を備える情報処理装置。
（２）
前記補正部は、前記第１のデプスマップと、前記平面に基づいて生成される第２のデプスマップとの比較を行う、前記（１）に記載の情報処理装置。
（３）
前記パラメータは、前記複数の視点の間のピッチ角度、またはヨー角度を含む、前記（２）に記載の情報処理装置。
（４）
前記補正部は、前記第１のデプスマップと、前記第２のデプスマップとの比較に基づいて算出される第１の評価値を用いて前記ピッチ角度を補正し、補正されたピッチ角度を取得する、前記（３）に記載の情報処理装置。
（５）
前記補正部は、水平中心線と垂直中心線とで４分割された領域ごとに、前記第１のデプスマップと、前記第２のデプスマップとを比較して前記第１の評価値を算出する、前記（４）に記載の情報処理装置。
（６）
前記補正部は、前記領域ごとに前記第１のデプスマップと前記第２のデプスマップとの差分の和を算出し、前記差分の和に基づいて前記第１の評価値を算出する、前記（５）に記載の情報処理装置。
（７）
前記第１の評価値は、前記水平中心線と前記垂直中心線とで４分割された４つの領域のうち、上下に位置する領域ごとに算出される前記差分の和の差分の絶対値に基づいて算出される、前記（６）に記載の情報処理装置。
（８）
前記補正部は、前記補正されたピッチ角度として、前記第１の評価値が所定の条件を満たすピッチ角度を特定する、前記（４）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記補正部は、前記第１のデプスマップと、前記第２のデプスマップとの比較に基づいて算出される第２の評価値を用いて前記ヨー角度を補正し、補正されたヨー角度を取得する、前記（３）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記補正部は、前記第１のデプスマップと、前記第２のデプスマップとの差分の分散に基づいて、前記第２の評価値を算出する、前記（９）に記載の情報処理装置。
（１１）
前記補正部は、前記補正されたヨー角度として、前記第２の評価値が所定の条件を満たすヨー角度を特定する、前記（１０）に記載の情報処理装置。
（１２）
前記第１のデプスマップは、前記複数の撮像画像に基づくステレオマッチングにより生成され、
前記ステレオマッチングにおける対応点の探索方向は、水平方向を含む、前記（４）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記補正部は、前記ピッチ角度を補正した後に前記ヨー角度を補正する、前記（１２）に記載の情報処理装置。
（１４）
前記第２のデプスマップは、前記平面上の３次元点群を投影して生成される、前記（２）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記補正部は、前記第１のデプスマップと前記第２のデプスマップに基づいて処理対象領域を設定し、前記処理対象領域における前記第１のデプスマップと前記平面との比較に基づいて、前記パラメータを補正する、前記（２）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記補正部は、前記第１のデプスマップと前記第２のデプスマップとの差分の絶対値が所定の閾値よりも大きい領域に基づいて、前記処理対象領域を設定する、前記（１５）に記載の情報処理装置。
（１７）
前記処理対象領域は、上下対称である、前記（１６）に記載の情報処理装置。
（１８）
複数の視点での撮像により取得される複数の撮像画像に基づいて得られる第１のデプスマップに基づいて、平面を推定することと、
前記第１のデプスマップと、前記平面との比較に基づいて、前記複数の視点の姿勢に関するパラメータを補正することと、
を含む、情報処理方法。
（１９）
コンピュータに、
複数の視点での撮像により取得される複数の撮像画像に基づいて得られる第１のデプスマップに基づいて、平面を推定する機能と、
前記第１のデプスマップと、前記平面との比較に基づいて、前記複数の視点の姿勢に関するパラメータを補正する機能と、
を実現させるための、プログラム。
【符号の説明】
【０１８６】
１、２  情報処理装置
７  ステレオカメラ
７Ｌ  左カメラ
７Ｒ  右カメラ
８  プロジェクタ
９  テーブル
１０  制御部
１１  平行化処理部
１２  デプスマップ生成部
１３  平面推定部
１５  補正部
１７  表示制御部
１９  プロジェクタ制御部
３０  操作部
４０  表示部
５０  記憶部
６０  インタフェース部
１５２  比較部
１５６  補正制御部
２５４  処理対象領域設定部
２５６  補正制御部
【図１】
2019078582.tif 000003
【図２】
2019078582.tif 000004
【図３】
2019078582.tif 000005
【図４】
2019078582.tif 000006
【図５】
2019078582.tif 000007
【図６】
2019078582.tif 000008
【図７】
2019078582.tif 000009
【図８】
2019078582.tif 000010
【図９】
2019078582.tif 000011
【図１０】
2019078582.tif 000012
【図１１】
2019078582.tif 000013
【図１２】
2019078582.tif 000014
【図１３】
2019078582.tif 000015
【図１４】
2019078582.tif 000016
【図１５】
2019078582.tif 000017
【図１６】
2019078582.tif 000018
【図１７】
2019078582.tif 000019
【図１８】
2019078582.tif 000020
【図１９】
2019078582.tif 000021
【図２０】
2019078582.tif 000022