(57)【要約】【課題】撮影時の手間が低減し、かつ、オブジェクトの特性に関わらず遠近感の自然な合成画像を生成することが可能な、新規かつ改良された情報処理装置を提供する。【解決手段】上記課題を解決するために、本発明のある観点によれば、同一のオブジェクトがそれぞれ異なる水平位置に描かれた右目用画像及び左目用画像を取得する画像取得部と、右目用画像及び左目用画像のうち、少なくとも一方の画像である基準画像を複数の小領域に分割する領域分割部と、右目用画像及び左目用画像のうち、少なくとも一方の画像に重畳される重畳画像の実空間での存在位置を示す姿勢情報を取得する姿勢情報取得部と、姿勢情報に基づいて、複数の小領域のうち、重畳画像が重畳される重畳小領域を特定する小領域特定部と、右目用画像及び左目用画像に基づいて、複数の小領域のうち、少なくとも重畳小領域の実空間での存在位置を算出する奥行き算出部と、を備える、情報処理装置が提供される。【選択図】図１
2013121150.tif 000002
【特許請求の範囲】
【請求項１】
同一のオブジェクトがそれぞれ異なる水平位置に描かれた右目用画像及び左目用画像を取得する画像取得部と、
前記右目用画像及び前記左目用画像のうち、少なくとも一方の画像である基準画像を複数の小領域に分割する領域分割部と、
前記右目用画像及び前記左目用画像のうち、少なくとも一方の画像に重畳される重畳画像の実空間での存在位置を示す姿勢情報を取得する姿勢情報取得部と、
前記姿勢情報に基づいて、前記複数の小領域のうち、前記重畳画像が重畳される重畳小領域を特定する小領域特定部と、
前記右目用画像及び前記左目用画像に基づいて、前記複数の小領域のうち、少なくとも前記重畳小領域の実空間での存在位置を算出する奥行き算出部と、を備えることを特徴とする、情報処理装置。
【請求項２】
前記領域分割部は、画素値が互いに類似する画素同士を同一の小領域に区分することで、前記基準画像を複数の小領域に分割することを特徴とする、請求項１記載の情報処理装置。
【請求項３】
前記右目用画像及び前記左目用画像から、前記オブジェクトの同一部分を示す対応点を抽出し、前記対応点に基づいて、前記対応点の実空間での存在位置を算出する視差算出部を備え、
前記奥行き算出部は、前記対応点が前記重畳小領域内に存在する場合には、前記対応点の実空間での存在位置に基づいて、前記重畳小領域の実空間での存在位置を算出することを特徴とする、請求項１または２記載の情報処理装置。
【請求項４】
前記奥行き算出部は、前記重畳小領域内に前記対応点が存在しない場合には、前記重畳小領域の周辺に存在する小領域の実空間での存在位置に基づいて、前記重畳小領域の実空間での存在位置を算出することを特徴とする、請求項３記載の情報処理装置。
【請求項５】
前記姿勢情報と、前記重畳小領域の実空間での存在位置を示す重畳小領域位置情報と、前記基準画像を撮像した撮像装置の位置情報と、に基づいて、前記重畳画像の各部分のうち、前記重畳小領域よりも前記撮像装置に近い重畳可能部分を特定し、前記重畳可能部分を合成することで、重畳可能画像を生成する重畳画像生成部と、
前記重畳可能画像を前記右目用画像及び前記左目用画像のうち少なくとも一方の画像に重畳する画像合成部と、を備えることを特徴とする、請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
前記画像合成部は、前記重畳可能画像を前記右目用画像及び左目用画像の双方に重畳させることを特徴とする、請求項５記載の情報処理装置。
【請求項７】
同一のオブジェクトがそれぞれ異なる水平位置に描かれた右目用画像及び左目用画像を取得する画像取得ステップと、
前記右目用画像及び前記左目用画像のうち、少なくとも一方の画像である基準画像を複数の小領域に分割する領域分割ステップと、
前記右目用画像及び前記左目用画像のうち、少なくとも一方の画像に重畳される重畳画像の実空間での存在位置を示す姿勢情報を取得する姿勢情報取得ステップと、
前記姿勢情報に基づいて、前記複数の小領域のうち、前記重畳画像が重畳される重畳小領域を特定する小領域特定ステップと、
前記右目用画像及び前記左目用画像に基づいて、前記複数の小領域のうち、少なくとも前記重畳小領域の実空間での存在位置を算出する奥行き算出ステップと、を含むことを特徴とする、情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
近年、実空間内のオブジェクトを撮影することで得られた撮像画像に、架空の画像（ＡＲ画像）を重畳させることで、合成画像を生成する拡張現実（ＡＲ「Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ」）という技術が用いられるようになってきている。このＡＲ技術によれば、合成画像を視認したユーザは、あたかも実空間にＡＲ画像が存在するかのように認識する。
【０００３】
従来のＡＲ技術は、ＡＲ画像を単に撮像画像に重畳させるだけだったので、オブジェクト画像（オブジェクトが描かれた画像）とＡＲ画像とが重なる場合、ＡＲ画像とオブジェクトとの実空間での位置関係に関わらず、オブジェクト画像がＡＲ画像によって遮蔽されてしまう。このため、ユーザは、ＡＲ画像の遠近感に違和感を持ってしまう場合があった。
【０００４】
例えば、ＡＲ画像の一部が実空間でオブジェクトに遮蔽される場合であっても、合成画像ではオブジェクト画像がＡＲ画像によって遮蔽されるので、合成画像を視認したユーザは、ＡＲ画像の遠近感に違和感を持ってしまう。具体的には、ユーザは、ＡＲ画像のうち、オブジェクト画像に重畳した部分については、オブジェクトよりも手前側に存在すると認識し、それ以外の部分については、オブジェクトよりも奥側に存在すると認識してしまう。
【０００５】
特許文献１には、このような問題を解決することを目的とした技術が開示されている。この技術は、ＡＲ画像の一部が実空間でオブジェクトに遮蔽される場合、オブジェクト画像を撮像画像から消去し、その後、撮像画像にＡＲ画像を重畳させる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−３３３９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に開示された技術では、ＡＲ画像による消去の対象であることを示すマーカを撮影前にオブジェクトに貼り付ける必要があった。このため、撮影時の手間が増大してしまうという問題があった。また、オブジェクト画像を違和感なく消去するために、オブジェクトの特性が制限されるという問題もあった。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影時の手間が低減し、かつ、オブジェクトの特性に関わらず遠近感の自然な合成画像を生成することが可能な、新規かつ改良された情報処理装置及び情報処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、同一のオブジェクトがそれぞれ異なる水平位置に描かれた右目用画像及び左目用画像を取得する画像取得部と、右目用画像及び左目用画像のうち、少なくとも一方の画像である基準画像を複数の小領域に分割する領域分割部と、右目用画像及び左目用画像のうち、少なくとも一方の画像に重畳される重畳画像の実空間での存在位置を示す姿勢情報を取得する姿勢情報取得部と、姿勢情報に基づいて、複数の小領域のうち、重畳画像が重畳される重畳小領域を特定する小領域特定部と、右目用画像及び左目用画像に基づいて、複数の小領域のうち、少なくとも重畳小領域の実空間での存在位置を算出する奥行き算出部と、を備える、情報処理装置が提供される。
【００１０】
この観点によれば、情報処理装置は、右目用画像及び左目用画像のうち、少なくとも一方の画像である基準画像を複数の小領域に分割し、複数の小領域のうち、少なくとも重畳小領域の実空間での存在位置を算出する。
【００１１】
したがって、情報処理装置は、基準画像に重畳画像を重畳させる場合には、重畳小領域の実空間での存在位置に基づいて、重畳小領域と重畳画像との実空間での位置関係を認識することができる。
【００１２】
ここで、領域分割部は、画素値が互いに類似する画素同士を同一の小領域に区分することで、基準画像を複数の小領域に分割してもよい。
【００１３】
この観点によれば、情報処理装置は、画素値が互いに類似する画素同士を同一の小領域に区分することで、基準画像を複数の小領域に分割するので、基準画像をより正確に分割することができる。
【００１４】
また、右目用画像及び左目用画像から、オブジェクトの同一部分を示す対応点を抽出し、対応点に基づいて、対応点の実空間での存在位置を算出する視差算出部を備え、奥行き算出部は、対応点が重畳小領域内に存在する場合には、対応点の実空間での存在位置に基づいて、重畳小領域の実空間での存在位置を算出してもよい。
【００１５】
この観点によれば、情報処理装置は、対応点に基づいて、重畳小領域の実空間での存在位置を算出するので、重畳小領域の実空間での存在位置を正確に算出することができる。
【００１６】
また、奥行き算出部は、重畳小領域内に対応点が存在しない場合には、重畳小領域の周辺に存在する小領域の実空間での存在位置に基づいて、重畳小領域の実空間での存在位置を算出してもよい。
【００１７】
この観点によれば、情報処理装置は、超小領域内に対応点が存在しない場合には、重畳小領域の周辺に存在する小領域の実空間での存在位置に基づいて、重畳小領域の実空間での存在位置を算出する。したがって、情報処理装置は、対応点の数が少ない場合であっても、重畳小領域の実空間での存在位置をより正確に算出することができる。
【００１８】
また、姿勢情報と、重畳小領域の実空間での存在位置を示す重畳小領域位置情報と、基準画像を撮像した撮像装置の位置情報と、に基づいて、重畳画像の各部分のうち、重畳小領域よりも撮像装置に近い重畳可能部分を特定し、重畳可能部分を合成することで、重畳可能画像を生成する重畳画像生成部と、重畳可能画像を右目用画像及び左目用画像のうち少なくとも一方の画像に重畳する画像合成部と、を備えてもよい。
【００１９】
この観点によれば、情報処理装置は、重畳画像の各部分のうち、重畳小領域よりも撮像装置に近い位置（手前側）に存在する重畳可能部分を特定し、重畳可能部分を合成することで、重畳可能画像を生成する。そして、情報処理装置は、重畳可能画像を右目用画像及び左目用画像のうち少なくとも一方の画像に重畳する。これにより、情報処理装置１０は、ＡＲ画像及びオブジェクト画像の遠近感がより自然な合成画像を生成することができる。
【００２０】
また、画像合成部は、重畳可能画像を右目用画像及び左目用画像の双方に重畳させてもよい。
【００２１】
この観点によれば、情報処理装置は、重畳可能画像を右目用画像及び左目用画像の双方に重畳させるので、重畳可能画像を立体視表示することができる。
【００２２】
本発明の他の観点によれば、同一のオブジェクトがそれぞれ異なる水平位置に描かれた右目用画像及び左目用画像を取得する画像取得ステップと、右目用画像及び左目用画像のうち、少なくとも一方の画像である基準画像を複数の小領域に分割する領域分割ステップと、右目用画像及び左目用画像のうち、少なくとも一方の画像に重畳される重畳画像の実空間での存在位置を示す姿勢情報を取得する姿勢情報取得ステップと、姿勢情報に基づいて、複数の小領域のうち、重畳画像が重畳される重畳小領域を特定する小領域特定ステップと、右目用画像及び左目用画像に基づいて、複数の小領域のうち、少なくとも重畳小領域の実空間での存在位置を算出する奥行き算出ステップと、を含むことを特徴とする、情報処理方法が提供される。
【００２３】
この観点による情報処理方法では、右目用画像及び左目用画像のうち、少なくとも一方の画像である基準画像を複数の小領域に分割し、複数の小領域のうち、少なくとも重畳小領域の実空間での存在位置を算出する。
【００２４】
したがって、この情報処理方法では、基準画像に重畳画像を重畳させる場合には、重畳小領域の実空間での存在位置に基づいて、重畳小領域と重畳画像との実空間での位置関係を認識することができる。
【発明の効果】
【００２５】
以上説明したように本発明によれば、情報処理装置は、各オブジェクトにマーカを付さなくても、重畳画像のうち、どの部分が重畳小領域によって遮蔽されるのかを把握することができる。したがって、撮影時の手間が低減する。さらに、情報処理装置は、オブジェクトがどのようなものであっても、上述した処理を行うことができるので、オブジェクトの特性に関わらず、遠近感の自然な合成画像を生成することができる。さらに、情報処理装置は、手前側のオブジェクト画像によって重畳画像が遮蔽されるという表現を行うことができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態に係る情報処理装置の構成を示すブロック図である。
【図２】同実施形態にかかる奥行き推定部の構成を示すブロック図である。
【図３】オブジェクトの位置を両眼視差に基づいて算出する方法を説明するための説明図である。
【図４】右目用画像及び左目用画像の例を示す説明図である。
【図５】画像を小領域に分割する方法を説明するための説明図である。
【図６】各小領域の位置を算出する方法を説明するための説明図である。
【図７】各小領域の位置を算出する方法を説明するための説明図である。
【図８】各オブジェクトとＡＲ画像との位置関係を説明するための説明図である。
【図９】情報処理装置によって生成されるＡＲ画像の一例を示す説明図である。
【図１０】ＡＲ画像が重畳される撮像画像の一例を示す説明図である。
【図１１】撮像画像にＡＲ画像が重畳された合成画像の一例を示す説明図である。
【図１２】撮像装置による処理の手順を示すフローチャートである。
【図１３】従来の合成画像の一例を示す説明図である。
【図１４】従来のＡＲ技術で使用される撮像画像の一例を示す説明図である。
【図１５】従来の合成画像の一例を示す説明図である。
【発明を実施するための形態】
【００２７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２８】
本実施形態では、「奥側」及び「手前側」の各用語は、撮像装置の焦点を基準とした位置関係を示す。例えば、「一のオブジェクトは他のオブジェクトの奥側に存在する」場合、一のオブジェクトから撮像装置の焦点までの奥行き値は、他のオブジェクトから撮像装置の焦点までの奥行き値よりも長い。ここで、各オブジェクトの「奥行き値」は、各オブジェクトから焦点までの光軸方向の距離である。
【００２９】
＜１．従来のＡＲ技術の考察＞
本発明者は、従来のＡＲ技術を検討することによって、本実施形態に係る情報処理装置１０（図１参照）に想到するに至った。そこで、まず、従来のＡＲ技術及びその問題点について説明する。
【００３０】
上述したように、従来のＡＲ技術は、ＡＲ画像を単に撮像画像に重畳させるだけだったので、オブジェクト画像とＡＲ画像とが重なる場合、ＡＲ画像とオブジェクトとの実空間での位置関係に関わらず、オブジェクト画像がＡＲ画像によって遮蔽されてしまう。このため、ユーザは、ＡＲ画像の遠近感に違和感を持ってしまう場合があった。
【００３１】
従来の合成画像の例を図１３に示す。この例では、撮像画像１００にＡＲ画像２００が重畳されている。撮像画像１００は、タンス画像１０１、マーカ画像１０２、複数の床パネル画像１０３が描かれている。マーカ画像１０２は、床パネル画像１０３ａに描かれており、ＡＲ画像２００が重畳される位置を示すものである。マーカ画像１０２は、撮像画像１００に合成されるか、または、床パネルに予めマーカを描いておき、それを撮影することで得られる。
【００３２】
したがって、ＡＲ画像２００は、マーカ画像１０２上に重畳されるので、ＡＲ画像２００の一部は実空間でタンスによって遮蔽される。しかし、ＡＲ画像２００は、タンス及び床パネル（オブジェクト）との実空間での位置関係に関わらず、撮像画像１００に重畳される。具体的には、ＡＲ画像２００は、タンス画像１０１と、実空間でタンスよりも奥側に配置される床パネルの画像、即ち床パネル画像１０３ａとの両方に重畳される。
【００３３】
したがって、合成画像を視認したユーザは、ＡＲ画像２００の遠近感に違和感を持ってしまう。具体的には、ユーザは、ＡＲ画像２００のうち、タンス画像１０１に重畳した部分については、タンスよりも手前側に存在すると認識し、床パネル画像１０３ａに重畳した部分については、タンスよりも奥側に存在すると認識してしまう。
【００３４】
特許文献１には、このような問題を解決することを目的とした技術が開示されている。この技術は、ＡＲ画像の一部がオブジェクトによって遮蔽される場合、オブジェクト画像を撮像画像から消去し、その後、撮像画像にＡＲ画像を重畳させる。
【００３５】
特許文献１に開示された技術を図１３に示す撮像画像１００に適用した場合、以下の処理が行われる。まず、図１４に示すように、ＡＲ画像による消去の対象であることを示すマーカをタンスに付しておき、それを撮影する。これにより、撮像画像１００には、上述した各画像１０１、１０２、１０３の他、マーカ画像１０４が描かれる。そして、特許文献１に開示された技術は、マーカ画像１０４が付されたタンス画像１０１を撮像画像１００から消去し、その後、図１５に示すように、ＡＲ画像２００を撮像画像１００に重畳させる。即ち、特許文献１に開示された技術では、ＡＲ画像２００が重畳される可能性のあるオブジェクト画像が識別可能となるように、オブジェクトにマーカが付される。
【００３６】
特許文献１に開示された技術によれば、ユーザは、ＡＲ画像２００の遠近感を違和感なく認識することができる。しかし、特許文献１に開示された技術では、ＡＲ画像２００による消去の対象であることを示すマーカを撮影前にオブジェクトに貼り付ける必要があった。このため、撮影時の手間が増大してしまうという問題があった。また、オブジェクト画像を違和感なく消去するために、オブジェクトの特性が制限されるという問題もあった。具体的には、オブジェクトは、小品かつ他のオブジェクトから孤立しており、平面的なテクスチャの底面上に載置されている必要がある。さらに、特許文献１に開示された技術は、手前側のオブジェクト画像によってＡＲ画像が遮蔽されるという表現を行うことができない。
【００３７】
なお、特開平１０−１１２８３１号公報及び特開２００８−５３２１４９号公報は、オブジェクトの実空間での存在位置を認識し、その結果に基づいて、オブジェクトとＡＲ画像との実空間での位置関係を把握する技術を開示する。これらの技術によれば、ＡＲ画像のうち、オブジェクトよりも手前側に存在する部分のみを撮像画像に重畳させることができる。そして、これらの公報は、右目用画像及び左目用画像に基づいて、オブジェクトの実空間での存在位置を認識してもよいことを開示する。しかし、これらの文献は、右目用画像及び左目用画像に基づいた具体的な認識方法について何ら開示していないので、これらの技術を実際の装置に適用することは不可能である。
【００３８】
これに対し、本実施形態に係る情報処理装置１０は、上記いずれの問題も解決している。即ち、本実施形態に係る１０は、撮影時の手間が低減し、オブジェクトの特性に関わらず、ＡＲ画像を撮像画像に重畳させることができ、かつ、手前側のオブジェクト画像によってＡＲ画像が遮蔽されるという表現を行うことができる。以下、本実施形態を詳細に説明する。
【００３９】
＜２．情報処理装置の構成＞
次に、図１及び図２に基づいて、情報処理装置１０の構成について説明する。情報処理装置１０は、歪曲収差補正部（画像取得部）２０と、姿勢情報生成部３０と、奥行き推定部４０と、小領域特定部５１と、重畳画像生成部５２と、画像合成部６０と、表示部７０とを備える。なお、情報処理装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、メモリ、ディスプレイ等のハードウェアを有しており、ＣＰＵがＲＯＭに記憶されたプログラムを読みだして実行することによって、上記各機能ブロックによる処理が実現される。即ち、ＲＯＭには、撮像装置１０に、歪曲収差補正部２０、姿勢情報生成部３０、奥行き推定部４０、小領域特定部５１、重畳画像生成部５２、画像合成部６０、及び表示部７０を実現させるためのプログラムが記憶されている。
【００４０】
歪曲収差補正部２０は、同一のオブジェクトがそれぞれ異なる水平位置に描かれた右目用画像及び左目用画像を取得し、これらの歪曲収差を補正する。歪曲収差補正部２０は、補正後の右目用画像及び左目用画像を奥行き推定部４０及び画像合成部６０に出力する。ここで、歪曲収差補正部２０は、右目用画像及び左目用画像を情報処理装置１０の外部から取得してもよい。また、情報処理装置１０のメモリに予め右目用画像及び左目用画像を記憶しておき、歪曲収差補正部２０が当該メモリから右目用画像及び左目用画像を取得してもよい。また、情報処理装置１０に撮像装置を２つ備えさせ、歪曲収差補正部２０がこれらの撮像装置から右目用画像及び左目用画像を取得するようにしてもよい。
【００４１】
姿勢情報生成部３０は、ＡＲ画像（重畳画像）の実空間での存在位置を示す姿勢情報を取得する。ここで、姿勢情報は、ＡＲ画像のうち、所定の基準点のグローバル座標（ｘ、ｙ、ｚ）、ＡＲ画像の角度（κ、ω、φ）、及び拡張係数αを含む。なお、グローバル座標は、実空間に設定されたグローバル座標系での座標である。ＡＲ画像の角度は、ＡＲ画像を通る所定の軸とグローバル座標系のｘｙｚ軸とのなす角度である。拡張係数αは、ＡＲ画像をどの程度の大きさで表示するかを示す係数である。なお、ＡＲ画像は、各頂点のグローバル座標及び面情報（ＡＲ画像の面を特定する数式情報）により定義される。拡張係数αを各頂点のグローバル座標及び面情報に乗じることによって、ＡＲ画像の大きさが決定される。
【００４２】
したがって、これらのパラメータ、即ち基準点のグローバル座標（ｘ、ｙ、ｚ）、ＡＲ画像の角度（κ、ω、φ）、及び拡張係数αにより、ＡＲ画像の実空間での存在位置（具体的には、ＡＲ画像の各部分の存在位置）が示される。なお、上記の従来技術では、マーカの位置、方向、及び大きさによりこれらのパラメータが設定されていた。本実施形態では、この従来技術と同様の方法によりＡＲ画像の実空間での存在位置を設定してもよいし、ユーザが手動で入力しても構わない。姿勢情報生成部３０は、姿勢情報を小領域特定部５１に出力する。
【００４３】
奥行き推定部４０は、図２に示すように、視差算出部４１と、領域分割部４２と、奥行き算出部４３とを備える。視差算出部４１は、右目用画像及び左目用画像から、オブジェクトの同一部分を示す対応点を抽出し、抽出した対応点と、以下の式（１）とに基づいて、各対応点の実空間での存在位置、具体的には奥行き値を算出する。
【００４４】
【数１】
2013121150.tif 000003
【００４５】
ここで、式（１）内の各パラメータについて、図３及び図４に基づいて説明する。図３は、オブジェクトＯｂ１を左右の撮像装置で撮影する様子をしめす平面図である。図４（ａ）は、左側撮像装置が撮影した左目用画像ＬＧ１０を示し、（ｂ）は、右側撮像装置が撮影した右目用画像ＲＧ１０を示す。
【００４６】
図３及び図４によれば、左目用画像ＬＧ１０にはオブジェクトＯｂ１の画像であるオブジェクト画像ＬＧ１１が描かれており、右目用画像ＲＧ１０にはオブジェクトＯｂ１の画像であるオブジェクト画像ＲＧ１１が描かれている。また、これらのオブジェクト画像ＬＧ１１、ＲＧ１１には、オブジェクトＯｂ１上の同一部分Ｐ（注視点）に対応する対応点ＰＬ、ＰＲが含まれる。
【００４７】
左側撮像装置の主面及び右側撮像装置の主面は共通しており、主面Ｓで示される。また、点ＬＥＰは左側撮像装置の焦点であり、点ＲＥＰは右側撮像装置の焦点である。直線Ｌ１は左側撮像装置の光軸を示し、直線Ｒ１は右側撮像装置の光軸を示す。
【００４８】
奥行き値ｄは、注視点Ｐから左側撮像装置の焦点ＬＥＰ（または右側撮像装置の焦点ＲＥＰ）までの光軸Ｌ１（または光軸Ｒ１）方向の距離である。焦点間距離Ｄは、焦点ＬＥＰから焦点ＲＥＰまでの距離である。焦点距離ｆは、焦点ＬＥＰ（または焦点ＲＥＰ）から主面Ｓまでの距離である。距離ｘ１は、対応点ＰＬから左目用画像の中心点までの水平方向の距離であり、距離ｘ２は、対応点ＰＲから右目用画像の中心点までの水平方向の距離である。
【００４９】
視差算出部４１は、各対応点の左目用画像または右目用画像内での位置と奥行き値とが関連付けられた奥行き情報を生成し、奥行き算出部４３に出力する。
【００５０】
領域分割部４２は、右目用画像及び左目用画像のうち、いずれか一方の画像を基準画像とし、基準画像を複数の小領域に分割する。以下、左目用画像が基準画像となる例を説明するが、右目用画像を基準画像としても良いことは勿論である。なお、表示部７０が立体視表示を行う場合、情報処理装置１０は、右目用画像及び左目用画像の両方を基準画像として、以下の処理を行なう。まず、図５に基づいて、領域分割部４２による処理の一例について説明する。この例では、図５（ａ）に示す画像Ｇ１０が基準画像となる。基準画像Ｇ１０は、一様な輝度を有する領域Ｇ１１と、領域Ｇ１１の輝度とは異なる一様な輝度を有する領域Ｇ１２とに区分される。
【００５１】
領域分割部４２は、図５（ｂ）にしめすように、基準画像Ｇ１０を１辺の長さが所定値ＷＬの複数の正方形領域ＳＱに分割する。そして、領域分割部４２は、正方形領域ＳＱ内の画素値（例えば輝度）のばらつき（例えば分散）が所定値以上である場合には、正方形領域ＳＱをさらに４つの正方形領域ＳＱに分割する。領域分割部４２は、正方形領域ＳＱ内の分散が所定値未満となるか、または、正方形領域ＳＱの１辺の長さが所定値ＷＳ（＜ＷＬ）となるまで、上記の処理を繰り返す。
【００５２】
領域分割部４２は、各正方形領域ＳＱ内の画素値の算術平均値を算出する。そして、領域分割部４２は、各正方形領域ＳＱと当該正方形領域ＳＱの上下左右に隣接する正方形領域ＳＱとの画素値の算術平均値を比較する。領域分割部４２は、算術平均値の差が所定範囲内である場合には、これらの正方形領域ＳＱが同一の小領域を構成すると判定し、これらの正方形領域ＳＱを結合する。これにより、領域分割部４２は、小領域を形成していく。図５（ｃ）に示す折れ線Ｌ１は、このような結合過程において、小領域の境界とされた線を示す。
【００５３】
領域分割部４２は、結合すべき正方形領域ＳＱがなくなるか、または、小領域の水平方向の幅が所定値ＷＬとなるまで、上記の処理を繰り返す。この結果、図５（ｄ）に示すように、基準画像Ｇ１０が複数の小領域ＳＡＲに分割される。領域分割部４２は、各小領域の基準画像上での位置及び大きさ等に関する小領域情報を奥行き算出部４３に出力する。
【００５４】
奥行き算出部４２は、各小領域の奥行き値を算出する。ここで、図６〜図７に基づいて、奥行き算出部４２が行う処理について説明する。奥行き算出部４２は、まず、図６（ａ）に示すように、各小領域ＳＡＲに対応点ＰＬを割り当てる。なお、この例では、基準画像が左目用画像となっている。次いで、奥行き算出部４２は、対応点が割り当てられた小領域ＳＡＲについては、対応点の奥行き値の算術平均値を当該小領域ＳＡＲの奥行き値とする。そして、奥行き算出部４２は、図６（ｂ）に示すように、小領域ＳＡＲを、奥行き値が算出された第１の小領域ＳＡＲ１０と、奥行き値が未算出の第２の小領域ＳＡＲ２０に区分する。
【００５５】
そして、奥行き算出部４２は、第２の小領域ＳＡＲ２０の上下左右に隣接する第１の小領域ＳＡＲ１０を特定し、これらの奥行き値の算術平均値を第２の小領域ＳＡＲ２０の奥行き値とする。例えば、図７（ａ）に示すように、奥行き算出部４２は、第２の小領域ＳＡＲ２０ａの奥行き値を、第１の小領域ＳＡＲ１０ａ、ＳＡＲ１０ｂの奥行き値の算術平均値とする。そして、奥行き算出部４２は、奥行き値が算出された第２の小領域ＳＡＲ２０を第１の小領域ＳＡＲ１０に変更する。なお、奥行き算出部４２は、同一方向に隣接する第１の小領域ＳＡＲ１０が複数存在する場合、それらの奥行き値を全て使用して第２の小領域ＳＡＲ２０の奥行き値を算出してもよいし、いずれか一方を使用して奥行き値を算出してもよい。奥行き算出部４２は、上記の処理を順次繰り返すことで、図７（ｂ）〜（ｃ）に示すように、全小領域ＳＡＲの奥行き値を算出する。即ち、奥行き算出部４２は、最終的には、図７（ｂ）に示すように、第２の小領域ＳＡＲ２０ｂの奥行き値を、第１の小領域ＳＡＲ１０ｃ、１０ｄ、１０ｅの奥行き値に基づいて算出する。奥行き算出部４２は、各小領域の基準画像上での位置、大きさ、及び奥行き値に関する小領域奥行き値情報を小領域特定部５１に出力する。
【００５６】
小領域特定部５１は、ＡＲ画像を取得する。ここで、小領域特定部５１は、ＡＲ画像を情報処理装置１０の外部から取得してもよい。また、情報処理装置１０のメモリに予めＡＲ画像を記憶しておき、小領域特定部５１が当該メモリからＡＲ画像を取得してもよい。さらに、小領域特定部５１は、左側撮像装置のグローバル座標情報も取得する。この情報についても、ＡＲ画像と同様の方法により取得される。
【００５７】
小領域特定部５１は、実空間に相当する仮想空間を定義し、ＡＲ画像及び姿勢情報に基づいて、ＡＲ画像を仮想空間内に配置する。そして、小領域特定部５１は、左側撮像装置のグローバル座標情報に基づいて、このＡＲ画像を基準画像に投影する（重畳させる）。
【００５８】
そして、小領域特定部５１は、小領域奥行き値情報と、基準画像上のＡＲ画像とに基づいて、複数の小領域のうち、ＡＲ画像が重畳される小領域を重畳小領域として特定する。そして、小領域特定部５１は、重畳小領域に関する重畳小領域情報、ＡＲ画像、及び姿勢情報を重畳画像生成部５２に出力する。
【００５９】
重畳画像生成部５２は、ＡＲ画像及び姿勢情報に基づいて、ＡＲ画像のうち、重畳小領域に対応する部分の奥行き値ｄ１を算出する。さらに、小領域特定部５１は、重畳小領域情報に基づいて、重畳小領域の奥行き値ｄ２を取得する。そして、小領域特定部５１は、ＡＲ画像の各部分のうち、ｄ１＜ｄ２となる部分を重畳可能部分として認定する。
【００６０】
図８に、重畳可能部分となる例とそうでない例とを示す。この例では、左側撮像装置がオブジェクトＯｂ２と、オブジェクトＯｂ２の奥側に配置されるＯｂ３とを撮影しており、オブジェクトＯｂ２とオブジェクトＯｂ３との間にＡＲ画像ＡＲ１０が配置される。
【００６１】
図８によれば、例えば、視線ＡまたはＢに相当する小領域が重畳小領域とされる。視線Ａに相当する重畳小領域の奥行き値はｄｐＡとなり、ＡＲ画像ＡＲ１０のうち、視線Ａに相当する部分の奥行き値はｄｃＡ（＞ｄｐＡ）となる。したがって、ＡＲ画像ＡＲ１０のうち、視線Ａに相当する部分は重畳可能部分とならない。
【００６２】
一方、視線Ｂに相当する重畳小領域の奥行き値はｄｐＢとなり、ＡＲ画像ＡＲ１０のうち、視線Ｂに相当する部分の奥行き値はｄｃＢ（＜ｄｐＢ）となる。したがって、ＡＲ画像ＡＲ１０のうち、視線Ｂに相当する部分は重畳可能部分となる。
【００６３】
重畳画像生成部５２は、重畳可能部分を合成することで、重畳可能ＡＲ画像を生成する。図９に、重畳可能ＡＲ画像の例として、重畳可能ＡＲ画像ＡＲ１１を示す。重畳可能ＡＲ画像ＡＲ１１は、ＡＲ画像１０の一部が欠けたものである。
【００６４】
重畳画像生成部５２は、重畳可能ＡＲ画像を画像合成部６０に出力する。画像合成部６０は、左目用画像に重畳可能ＡＲ画像を重畳することで、左目用合成画像を生成する。なお、重畳画像生成部５２は、右目用画像に対しても重畳可能ＡＲ画像が生成された場合には、右目用画像に重畳可能ＡＲ画像を重畳することで、右目用合成画像を生成する。
【００６５】
合成の例を図１０、図１１に示す。この例では、上述した撮像画像１００に重畳可能ＡＲ画像ＡＲ１１が重畳されている。この例によれば、重畳可能ＡＲ画像１１のうち、タンス画像１０１に重畳される部分が欠けているので、これらの画像の遠近感がより自然なものとなる。
【００６６】
表示部７０は、これらの合成画像を表示する。即ち、表示部７０は、右目用合成画像及び左目用合成画像が生成された場合には、右目用合成画像をユーザの右目に視認させ、左目用合成画像をユーザの左目に視認させる。なお、画像合成部６０は、左目用合成画像のみが生成された場合には、左目用合成画像を２Ｄ表示する。
【００６７】
＜３．情報処理装置による処理の手順＞
次に、情報処理装置による処理の手順を図１６に示すフローチャートに沿って説明する。以下の説明では、左目用画像が基準画像となる例について説明するが、右目用画像が基準画像とされてもよい。ステップＳ１０において、歪曲収差補正部２０は、同一のオブジェクトがそれぞれ異なる水平位置に描かれた右目用画像及び左目用画像を取得し、これらの歪曲収差を補正する。歪曲収差補正部２０は、補正後の右目用画像及び左目用画像を奥行き推定部４０及び画像合成部６０に出力する。
【００６８】
ステップＳ２０において、姿勢情報生成部３０は、ＡＲ画像（重畳画像）の実空間での存在位置を示す姿勢情報を取得する。姿勢情報生成部３０は、姿勢情報を小領域特定部５１に出力する。
【００６９】
ステップＳ３０において、視差算出部４１は、右目用画像及び左目用画像から、オブジェクトの同一部分を示す対応点を抽出し、抽出した対応点と、上述した式（１）とに基づいて、各対応点の実空間での存在位置、具体的には奥行き値を算出する。視差算出部４１は、各対応点の左目用画像または右目用画像内での位置と奥行き値とが関連付けられた奥行き情報を生成し、奥行き算出部４３に出力する。
【００７０】
ステップＳ４０において、領域分割部４２は、左目用画像を基準画像とする。次いで、領域分割部４２は、上述した処理により、基準画像を複数の小領域に分割する。領域分割部４２は、各小領域の基準画像上での位置及び大きさに関する小領域情報を奥行き算出部４３に出力する。なお、情報処理装置１０は、右目用画像を基準画像としてもよい。情報処理装置１０は、立体視表示を行う場合、右目用画像も基準画像とし、右目用画像についても、ステップＳ４０以下の処理を行なう。
【００７１】
ステップＳ５０において、奥行き算出部４２は、上述した処理により、各小領域の奥行き値を算出する。奥行き算出部４２は、各小領域の基準画像上での位置、大きさ、及び奥行き値に関する小領域奥行き値情報を小領域特定部５１に出力する。
【００７２】
ステップＳ６０において、小領域特定部５１は、ＡＲ画像、及び左側撮像装置のグローバル座標情報を取得する。
【００７３】
小領域特定部５１は、実空間に相当する仮想空間を定義し、ＡＲ画像及び姿勢情報に基づいて、ＡＲ画像を仮想空間内に配置する。そして、小領域特定部５１は、左側撮像装置のグローバル座標情報に基づいて、このＡＲ画像を基準画像に投影する（重畳させる）。
【００７４】
次いで、小領域特定部５１は、複数の小領域のうち、ＡＲ画像が重畳される小領域を重畳小領域として特定する。そして、小領域特定部５１は、重畳小領域に関する重畳小領域情報、ＡＲ画像、及び姿勢情報を重畳画像生成部５２に出力する。
【００７５】
ステップＳ７０において、重畳画像生成部５２は、ＡＲ画像及び姿勢情報に基づいて、ＡＲ画像のうち、重畳小領域に対応する部分の奥行き値ｄ１を算出する。さらに、小領域特定部５１は、重畳小領域情報に基づいて、重畳小領域の奥行き値ｄ２を取得する。そして、小領域特定部５１は、ＡＲ画像の各部分のうち、ｄ１＜ｄ２となる部分を重畳可能部分として認定する。重畳画像生成部５２は、重畳可能部分を合成することで、重畳可能ＡＲ画像を生成する。重畳画像生成部５２は、重畳可能ＡＲ画像を画像合成部６０に出力する。
【００７６】
ステップＳ８０において、画像合成部６０は、左目用画像に重畳可能ＡＲ画像を重畳することで、左目用合成画像を生成する。なお、重畳画像生成部５２は、右目用画像に対しても重畳可能ＡＲ画像が生成された場合には、右目用画像に重畳可能ＡＲ画像を重畳することで、右目用合成画像を生成する。
【００７７】
次いで、表示部７０は、これらの合成画像を表示する。即ち、表示部７０は、右目用合成画像及び左目用合成画像が生成された場合には、右目用合成画像をユーザの右目に視認させ、左目用合成画像をユーザの左目に視認させる。なお、画像合成部６０は、左目用合成画像のみが生成された場合には、左目用合成画像を２Ｄ表示する。
【００７８】
以上により、本実施形態によれば、情報処理装置１０は、右目用画像及び左目用画像のうち、少なくとも一方の画像である基準画像を複数の小領域に分割し、複数の小領域のうち、少なくとも重畳小領域の奥行き値を算出する。
【００７９】
したがって、情報処理装置１０は、基準画像にＡＲ画像を重畳させる場合には、この奥行き値に基づいて、重畳小領域とＡＲ画像との実空間での位置関係を認識することができる（ステップＳ６０〜Ｓ７０参照）。
【００８０】
これにより、情報処理装置１０は、各オブジェクトにマーカを付さなくても、ＡＲ画像のうち、どの部分が重畳小領域によって遮蔽されるのかを把握することができる。したがって、撮影時の手間が低減する。さらに、情報処理装置１０は、オブジェクトがどのようなものであっても、上述した処理を行うことができるので、オブジェクトの特性に関わらず、遠近感の自然な合成画像を生成することができる（図１１参照）。さらに、情報処理装置１０は、手前側のオブジェクト画像によってＡＲ画像が遮蔽されるという表現を行うことができる（図１１参照）。
【００８１】
なお、本実施形態では、全小領域の奥行き値を算出したが、少なくとも重畳小領域について奥行き値を算出すればよい。
【００８２】
さらに、情報処理装置１０は、画素値が互いに類似する画素同士を同一の小領域に区分することで、基準画像を複数の小領域に分割するので、基準画像をより正確に分割することができる。
【００８３】
さらに、情報処理装置１０は、対応点に基づいて、各小領域の奥行き値を算出するので、各小領域の奥行き値を正確に算出することができる。
【００８４】
さらに、情報処理装置１０は、小領域内に対応点が存在しない場合には、小領域の周辺に存在する小領域の奥行き値に基づいて、小領域の奥行き値を算出する。したがって、情報処理装置１０は、対応点の数が少ない場合であっても、各小領域の奥行き値をより正確に算出することができる。
【００８５】
さらに、情報処理装置１０は、ＡＲ画像の各部分のうち、重畳小領域よりも撮像装置に近い位置（手前側）に存在する重畳可能部分を特定し、重畳可能部分を合成することで、重畳可能画像を生成する。そして、情報処理装置は、重畳可能画像を右目用画像及び左目用画像のうち少なくとも一方の画像に重畳する。これにより、情報処理装置１０は、ＡＲ画像及びオブジェクト画像の遠近感がより自然な合成画像を生成することができる。
【００８６】
さらに、情報処理装置１０は、重畳可能画像を右目用画像及び左目用画像の双方に重畳させるので、重畳可能画像を立体視表示することができる。
【００８７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８８】
１０    情報処理装置
２０    歪曲収差補正部
３０    姿勢情報生成部
４０    奥行き推定部
４１    視差算出部
４２    領域分割部
４３    奥行き算出部
５１    小領域特定部
５２    重畳画像生成部
６０    画像合成部
７０    表示部
【図１】
2013121150.tif 000004
【図２】
2013121150.tif 000005
【図３】
2013121150.tif 000006
【図４】
2013121150.tif 000007
【図５】
2013121150.tif 000008
【図６】
2013121150.tif 000009
【図７】
2013121150.tif 000010
【図８】
2013121150.tif 000011
【図９】
2013121150.tif 000012
【図１０】
2013121150.tif 000013
【図１１】
2013121150.tif 000014
【図１２】
2013121150.tif 000015
【図１３】
2013121150.tif 000016
【図１４】
2013121150.tif 000017
【図１５】
2013121150.tif 000018