(57)【要約】【課題】立体視画像を投影するマルチプロジェクション・システムにおいて、重畳領域とそれ以外の領域の間で生じる立体度の差異を、調整可能にする技術を提供する。【解決手段】複数の立体視画像を一部が互いに重畳するように投影して、一つの立体視画像を表示する投影装置は、投影される左目用画像と右目用画像との視差に対応する立体度を調整するための画像である浮標を、複数の立体視画像が重畳する領域に投影する投影手段と、投影された浮標の撮影画像を基に、左目用画像における浮標と右目用画像における浮標との間の視差を検出する検出手段と、検出された視差に基づいて決定される調整量で複数の立体視画像の立体度を調整する調整手段とを備える。【選択図】図１
2016025396.tif 000002
【特許請求の範囲】
【請求項１】
複数の立体視画像を一部が互いに重畳するように投影して、一つの立体視画像を表示する投影装置であって、
投影される左目用画像と右目用画像との視差に対応する立体度を調整するための画像である浮標を、前記複数の立体視画像が重畳する領域に投影する投影手段と、
投影された浮標の撮影画像を基に、前記左目用画像における浮標と前記右目用画像における浮標との間の視差を検出する検出手段と、
検出された前記視差に基づいて決定される調整量で前記複数の立体視画像の立体度を調整する調整手段と
を備えることを特徴とする投影装置。
【請求項２】
前記調整手段は、前記左目用画像における浮標と前記右目用画像における浮標との間の視差と予め定められた目標値とを比較して、前記複数の立体視画像の立体度の調整を行うことを特徴とする請求項１に記載の投影装置。
【請求項３】
前記浮標は複数の部分浮標を含み、当該複数の部分浮標には互いに立体度の異なるものが含まれ、
前記調整手段は、互いに立体度の異なる前記部分浮標の撮影画像の視差と前記目標値とを比較して、前記複数の立体視画像の立体度の調整を行うことを特徴とする請求項２に記載の投影装置。
【請求項４】
前記投影手段は、前記複数の部分浮標のうちの一部を前記重畳する領域の内部に投影し、残りの部分浮標を該重畳する領域の外部に投影することを特徴とする請求項３に記載の投影装置。
【請求項５】
前記投影手段は、第１の部分的な立体視画像と第２の部分的な立体視画像とが重畳する領域に、該第１の部分的な立体視画像に重畳する第１の浮標と該第２の部分的な立体視画像に重畳する第２の浮標とを投影し、
前記検出手段は、前記第１の浮標及び前記第２の浮標の各々について視差を検出し、
前記調整手段は、前記第１の浮標の視差に基づく調整量で前記第１の部分的な立体視画像の立体度を調整し、前記第２の浮標の視差に基づく調整量で前記第２の部分的な立体視画像の立体度を調整する
ことを特徴とする請求項１から４のいずれか１項に記載の投影装置。
【請求項６】
前記浮標は不可視光により生成されることを特徴とする請求項１から５のいずれか１項に記載の投影装置。
【請求項７】
前記投影手段は、前記浮標を、操作者の指示に応じて、可視光又は不可視光により投影し、
前記浮標が可視光により投影される場合、前記調整手段は、操作者の指示に応じて、前記複数の立体視画像の立体度を調整する
ことを特徴とする請求項１から５のいずれか１項に記載の投影装置。
【請求項８】
表示対象の前記複数の立体視画像は動画像であることを特徴とする請求項１から６のいずれか１項に記載の投影装置。
【請求項９】
前記調整手段は、前記動画像のフレーム毎に前記複数の立体視画像の立体度を調整することを特徴とする請求項８に記載の投影装置。
【請求項１０】
前記調整手段は、前記検出手段によって検出された前記視差に基づいて決定される調整量が予め定められた閾値を超えた場合に、前記複数の立体視画像の立体度を調整することを特徴とする請求項８に記載の投影装置。
【請求項１１】
立体度を調整するための画像である浮標を生成する生成手段と、
前記浮標の撮影画像を基に、当該浮標の視差を検出する検出手段と、
検出された前記視差に基づき立体度の調整量を算出する算出手段と、
算出された前記調整量で表示対象の立体視画像の立体度を調整する調整手段と
を備えることを特徴とする情報処理装置。
【請求項１２】
複数の立体視画像を一部が互いに重畳するように投影して、一つの立体視画像を表示する投影装置の制御方法であって、
投影手段が、投影される左目用画像と右目用画像との視差に対応する立体度を調整するための画像である浮標を、前記複数の立体視画像が重畳する領域に投影する投影工程と、
検出手段が、投影された浮標の撮影画像を基に、前記左目用画像における浮標と前記右目用画像における浮標との間の視差を検出する検出工程と、
調整手段が、検出された前記視差に基づいて決定される調整量で前記複数の立体視画像の立体度を調整する調整工程と
を備えることを特徴とする投影装置の制御方法。
【請求項１３】
生成手段が、立体度を調整するための画像である浮標を生成する生成工程と、
検出手段が、前記浮標の撮影画像を基に、当該浮標の視差を検出する検出工程と、
算出手段が、検出された前記視差に基づき立体度の調整量を算出する算出工程と、
調整手段が、算出された前記調整量で表示対象の立体視画像の立体度を調整する調整工程と
を備えることを特徴とする情報処理装置の制御方法。
【請求項１４】
コンピュータを請求項１から１０のいずれか１項に記載の投影装置、又は、請求項１１に記載の情報処理装置が備える各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は投影装置及びその制御方法、情報処理装置及びその制御方法、コンピュータプログラムに関し、特に、複数台のプロジェクタにより立体視映像を投影する技術に関する。
【背景技術】
【０００２】
観察者が映像を立体的に知覚する立体視映像は、娯楽分野や教育分野を始めとして普及している。立体視映像の多くは、観察者の左眼が視る左眼映像と右眼が視る右眼映像との間に空間的なずれ、すなわち視差を使用している。観察者は、視差を有する左眼映像と右眼映像を脳内で融合することで、映像を立体的に知覚する。観察者が知覚する立体感は視差に依存する。すなわち、観察者が知覚する立体感を変えるには、視差を調整すればよい。以下、混同のおそれがない場合に限り、観察者が知覚する立体感を「立体度」と表記する。
【０００３】
さらに、映像の迫力を高め、より大きい訴求効果を与える目的で、立体視映像の大型化も進んでいる。映像を大型化する手段として、複数の投影型映像表示装置を組み合わせて一つの映像を表示するマルチプロジェクション・システムの適用が広く普及している。これは、複数の投影型映像表示装置を組み合わせることで、容易に大画面を構成可能なことによる。なお、マルチプロジェクション・システムは、立体視映像の投影のみならず、平面映像の投影にも適用可能である。
【０００４】
マルチプロジェクション・システムは、相互に隣接する投影映像間の境界を目立たなくするため、隣接する投影映像間で、それぞれの投影映像の一部が重畳するように投影する。しかし、同一機種の投影装置であっても、投影装置を構成する構成要素（部品となる装置、機器）のばらつきおよび経時変化により、各投影映像間で、色味、輝度、あるいは表示物の位置や形状に差異が存在しうる。各投影映像間に差異が存在すると、複数の投影映像が重畳している重畳領域では、複数の映像が存在し、映像の品質が劣化して観察者が違和感を覚える。したがって、重複領域を投影する投影映像間で、色味、輝度、あるいは表示物の位置や形状が一致するように、各投影装置間の差異を軽減する必要が生じる。
【０００５】
更に、立体視映像を投影するマルチプロジェクション・システムならば、重畳領域とそれ以外の領域間で、立体度が一致しなければならない。例えば、一つの表示対象（例えば、投影画像）が重畳領域とそれ以外の領域に跨がって存在しているとする。重畳領域とそれ以外の領域で立体度が一致しないと、重畳領域とそれ以外の領域との境界で当該表示対象が不連続に変化する。表示対象が単一であるのにも関わらず、不連続に変化すると、立体視映像としての品質が劣化して、観察者は混乱し、立体視が困難、あるいは立体視による疲労が増加するおそれが生じる。そこで、立体視映像を投影するマルチプロジェクション・システムにおいては、上述の項目に加えて、重畳領域とそれ以外の領域との間で立体度に差異が生じないように、視差、すなわち左眼映像と右眼映像のずれを調整し、立体度の差異を軽減する必要がある。
【０００６】
そこで、マルチプロジェクション・システムにおけるこのような各映像間の差異を軽減する技術が提案されている。特許文献１には、投影装置毎に異なる基準パターン投影し、この基準パターンを投影装置のカメラで撮影することが記載されている。この構成では、撮影した基準パターンを基に、測定点の位置を算出して表示位置を調整する。特許文献１の構成によれば、表示物の位置あるいは形状の差異の影響を軽減することができる。
【０００７】
特許文献２には、非可視光で基準パターンを投影し、この基準パターンを投影装置のカメラで撮影することが記載されている。この構成では、撮影した基準パターンを基に、測定点の位置を算出して表示位置を調整する。基準パターンを非可視光で投影するため、特許文献２の構成によれば、実映像投影中であっても調整が可能である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−０８５５６２号公報
【特許文献２】特開２０１１−２１１６９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１の構成においては、表示位置の調整が実映像の投影と独立して行われるため、実映像投影中に映像のずれを調整することができない。したがって、特許文献１の構成には、実映像の投影中に生じる立体度の差異に対応できないという課題が存在する。
【００１０】
また、特許文献２の構成は立体度の差異を測定する手段を有しないため、立体度の調整が不可能であるという課題が存在する。
【００１１】
本発明は、上記課題を解決するためになされたものである。すなわち、立体視画像を投影するマルチプロジェクション・システムにおいて、重畳領域とそれ以外の領域の間で生じる立体度の差異を調整可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明による投影装置は以下の構成を備える。即ち、
複数の立体視画像を一部が互いに重畳するように投影して、一つの立体視画像を表示する投影装置であって、
投影される左目用画像と右目用画像との視差に対応する立体度を調整するための画像である浮標を、前記複数の立体視画像が重畳する領域に投影する投影手段と、
投影された浮標の撮影画像を基に、前記左目用画像における浮標と前記右目用画像における浮標との間の視差を検出する検出手段と、
検出された前記視差に基づいて決定される調整量で前記複数の立体視画像の立体度を調整する調整手段と
を備える。
【発明の効果】
【００１３】
本発明によれば、立体視画像を投影するマルチプロジェクション・システムにおいて、重畳領域とそれ以外の領域の間で生じる立体度の差異を、調整可能にする技術を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】立体視映像投影装置の機能構成を示すブロック図である。
【図２】マルチプロジェクション・システムの一例を示す図である。
【図３】浮標の一例を示す図である。
【図４】浮標を重畳領域に配置した一例を示す図である。
【図５】主標及び副標が有する視差を示す図である。
【図６】浮標を生成する手順を示す図である。
【図７】主標及び副標に与えた視差と視差の差分との相関を示す図である。
【図８】立体視映像投影装置の機能構成を示すブロック図である。
【図９】調整量変更メニューの一例を示す図である。
【図１０】浮標を用いて立体度を調整する処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照して本発明の実施形態例を説明する。ただし、本発明の趣旨及びその範囲から逸脱することなく、実施形態例及び詳細を変更することは可能である。したがって、本発明は以下に述べる実施形態例に限定されるものではない。また、以下に示す実施形態例は、特に言及する場合を除き、ハードウェア上に実装しても、あるいはソフトウェアで実装しても構わない。なお、同一の機能を有する部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００１６】
立体視では、立体度が大きすぎると疲労感が増すおそれがあり、反対に立体度が小さすぎると立体視映像としての魅力に乏しい。すなわち、立体視では最も観察に適した立体度が存在する。この最も観察に適した立体度を以下「目標立体度」と称する。なお、本発明は目標立体度の値に依存したものではないので、目標立体度の決定は任意の手法により行うことができる。ここで立体度とは、上述の通り観察者が知覚する立体感の度合いを示す。立体度は、投影された右目用画像と左目用画像との視差に対応し、右目用画像と左目用画像との視差が大きくなると、立体度は増す。一方、右目用画像と左目用画像との視差が小さくなると立体度は低減する。
【００１７】
＜＜実施形態１＞＞
（立体視映像投影装置）
本発明の第一の実施形態（実施形態１）では、立体視を視差法により実現する。図１は、本実施形態に係る立体視映像投影装置（以下、「投影装置」という）の機能構成を模式的に示すブロック図である。
【００１８】
図１のように、本実施形態に係る投影装置は、第一の手段１１、第二の手段１２、および第三の手段１３を有する。第一の手段１１は、立体度の調節に使用する、異なる立体度を持つ複数の対象で構成した目印を生成する手段である。以下、この立体度の調節に使用される異なる立体度を持つ複数の対象で構成した目印を「浮標」と呼称する。第二の手段１２は調整量１０１を算出する手段である。第二の手段１２は、第一の手段１１により生成され、不図示のスクリーンに投影された浮標を撮影し、撮影された浮標の視差と目標とする視差（目標値）とに基づいて、調整量１０１を算出する。第三の手段１３は立体視映像１０４を入力し、第二の手段１２が算出した調整量１０１に従い入力立体視映像１０４が有する立体度を調節する手段である。第三の手段１３において立体度が調整された立体視映像には、第一の手段１１において生成された浮標の立体視映像１０３が重畳されて、出力立体視映像１０５が生成される。出力立体視映像１０５は、スクリーンに投影される。なお、映像が投影される対象はスクリーンに限らず、建造物や屋内の壁など任意の被写体に投影しても構わない。
【００１９】
本実施形態の構成では、複数の部分的な立体視画像を一部が互いに重畳するように投影して、一つの立体視画像を表示するマルチプロジェクション・システムにおいて、投影画像に重畳した不可視光の浮標を撮影し視差を検出して、視差の調整量を算出する。そして、入力された表示対象の立体視画像が有する視差を算出した調整量で調整して、出力すべき立体視画像を生成する。このため、本実施形態の構成によれば、実画像投影中に投影画像の立体度を調整することができ、重畳領域とそれ以外の領域での立体度の連続性を保つことが可能となる。なお、本実施形態では、表示対象の立体視画像として動画像（映像）に処理を行う場合を説明するが、静止画像に対しても同様の処理を行うことができる。
【００２０】
本実施形態に係る投影装置は、複数のプロジェクタを接続して構成することができる。ここで、各プロジェクタは、立体視映像信号を入力する入力部、立体視映像信号に対して信号処理を行う信号処理部、装置全体の制御を統括するＣＰＵ、映像信号をスクリーンへ向けて光学的に出力する表示部等をそれぞれ備えている。更に、後述するように、本実施形態の投影装置は、第二の手段において浮標を撮影するために、不可視光を撮影可能な撮影装置も備えている。図１を参照して上述した各機能要素は、複数のプロジェクタのうちの一つのＣＰＵが、所定のコンピュータプログラムに基づき、メモリ、ストレージ等のワークエリアを用いて所定の情報処理を行うことにより実現される。ただし、図１の各機能要素の全部または一部を、組込み機器、電気回路等の専用のハードウェアにより実現しても構わない。また、投影装置は、立体視映像を光学出力する複数のプロジェクタに接続され、不可視光を撮影するための撮影装置を備えた、ＰＣ、タブレット端末等の情報処理装置により実現してもよい。
【００２１】
（マルチプロジェクション・システムによる投影）
本実施形態に係る各手段を詳細に説明する前に、本実施形態に係る投影装置を適用したマルチプロジェクション・システムによる投影の一例を、図２を使用して説明する。図２に示す立体視映像は、第一の投影映像２１と第二の投影映像２２を水平方向に結合し、一つの立体視映像を構成している。結合に当たっては、第一の投影映像２１と第二の投影映像２２を垂直方向にずらして結合している。相互に隣接する投影映像間の境界を目立たなくするため、第一の投影映像２１と第二の投影映像２２は、一部領域を重ね合せて投影する。この重ね合せた投影領域が、重畳領域２３である。
【００２２】
ここで、本実施形態では、第一の投影映像２１と第二の投影映像２２は、同一機種の投影装置で投影する立体視映像とする。同一視差で同一の立体視映像を同一機種の投影装置で投影しても、投影装置を構成する構成要素のばらつきや経時変化により、同一の立体度になるとは限らない。例えば、図２において、人物２４の立体度が、第一の投影映像２１、第二の投影映像２２、および重畳領域２３で異なる可能性がある。立体度が各領域ごとに異なると、第一の投影映像２１と重畳領域２３の境界、および重畳領域２３と第二の投影映像２２の境界で、人物２４は単一の対象であるのにも関わらず不連続になる。単一の対象が不連続になると、立体視映像としての品質が劣化して、観察者は混乱し、立体視が困難、あるいは立体視による疲労が増加するおそれが生じる。
【００２３】
（浮標）
続いて、第一の手段１１が生成する浮標２５の一実施形態を図３を使用して説明する。図３（ａ）は浮標２５の一実施形態を示す図である。浮標２５は複数の部分浮標から構成され、当該複数の部分浮標には互いに立体度の異なるものが含まれる。図３（ａ）に示す浮標２５は、一つの主標２６と、その主標２６の周囲に主標２６に交差する形で並べた副標２７とで構成されている。
【００２４】
本実施形態のように、複数の部分浮標の立体度を異ならせることにより、基準の立体度と現在の立体度との差異を検出することができる。また、投影される画像の立体度を基準の立体度にするために必要な右目用画像と左目用画像との視差の調整値を求めることができる。
【００２５】
浮標２５を用いた立体度の調整について、図１０を用いて説明する。投影装置がプロセッサー及びメモリを内蔵する形態では、図１０に示した処理は、プロセッサーがメモリに格納されたプログラムを実行することにより実現される。あるいは、図１０に示す処理の一部又は全体をハードウェアが行うこととしてもよい。
【００２６】
まず本実施形態に係る投影装置は、投影した浮標２５を撮影する（Ｓ１００１）。そして、撮影した撮像画像から浮標２５の立体度を検出する（Ｓ１００２）。次に、浮標２５を構成する複数の部分浮標のうち、主標２６の立体度が予め定められた基準値の範囲内であるかを判定する（Ｓ１００３）。
【００２７】
主標２６の立体度が基準値の範囲内にある場合（Ｓ１００３においてＹＥＳの場合）には、右目用画像と左目用画像との視差を調整する必要はないと判定し処理を終了する。
【００２８】
一方、主標２６の立体度が基準値の範囲外である場合（Ｓ１００３においてＮＯの場合）、副標２７を用いて右目用画像と左目用画像との視差を調整するための調整値の検出を行う。本実施形態では、複数の部分浮標のうち、立体度が基準の立体度の範囲内である副標２７を検出する（Ｓ１００４）。次に検出した副標２７に応じて、右目用画像と左目用画像との視差の調整量を決定する（Ｓ１００５）。そして決定した調整量に基づいて、右目用画像と左目用画像との視差を調整する（Ｓ１００６）。
【００２９】
例えば、基準範囲内の立体度を有する部分浮標が、主標の立体度よりも大きい立体度を有する副標２７である場合、右目用画像と左目用画像との視差を低減させ、画面全体の立体度を低下させる必要があると判定する。このようにして右目用画像と左目用画像との視差を低減させることにより、主標２６の立体度が基準の立体度になるように視差を調整することができる。
【００３０】
また例えば、基準範囲内の立体度を有する部分浮標が主標の立体度よりも小さい立体度を有する副標２７である場合には、右目用画像と左目用画像との視差を大きくし、画面全体の立体度を大きくする必要があると判定する。このようにして右目用画像と左目用画像との視差を大きくすることにより、主標２６の立体度が基準の立体度になるように視差を調整することができる。
【００３１】
本実施形態における、浮標２５、および浮標２５を構成する主標２６と副標２７の特徴を更に詳細に説明する。本実施形態における、浮標２５、および浮標２５を構成する主標２６と副標２７は以下に示す特徴を有する。
（イ）浮標２５は主標２６副標２７共に非可視光で生成される。
（ロ）主標２６の立体度は目標立体度、副標２７の立体度は主標２６と異なる立体度を有する。
（ハ）浮標２５の大きさは浮標２５の配置位置に応じた大きさである。
（ニ）副標２７の大きさは主標２６の大きさよりも小さい。
【００３２】
主標２６と副標２７共に、浮標２５は不可視光で生成される（特徴イ）。これは、表示映像に影響を与えることなく、本実施形態に係る投影装置が立体度の調整を実施可能とするためである。浮標２５に使用する不可視光は、投影映像に影響を与えない波長であり、本実施形態に係る投影装置の光源、表示素子および光学系、あるいはスクリーンが対応していれば、波長は任意でよい。例えば波長０．７〜２．５μｍの近赤外帯で、リモコンや近接通信に使用していない波長を使用可能である。
【００３３】
主標２６の立体度は、目標立体度、すなわち、本実施形態に係るマルチプロジェクション・システムでの観察に最も適した立体度とする。そして、副標２７は主標２６と異なる立体度を持つように構成される（特徴ロ）。但し、全ての副標２７間で立体度が異なっている必要はなく、同じ立体度を持つ副標２７が複数存在してもよい。図３（ｂ）に本実施形態における主標２６と副標２７の立体度の関係を示す。図３（ｂ）に示すように、主標２６の立体度を基準として、主標２６から手前方向に進むに従い副標２７が持つ立体度は単調増加する。反対に主標２６から奥方向に進むに従い副標２７が持つ立体度は単調減少する。図３（ａ）および図３（ｂ）に例示したように主標２６と副標２７を配置して浮標２５を構成することで、投影映像における立体度の遷移の検出を容易にすることができる。
【００３４】
投影映像における立体度の遷移を正確に検出する目的で、浮標２５は全体を投影映像内に表示する。同様の目的で、重畳領域２３に浮標２５を配置する際は、主標２６と一個以上の副標２７とを重畳領域２３に配置するとともに、さらに一個以上の副標２７を重畳領域２３以外の領域に配置する。それ故、浮標２５の大きさは浮標２５の配置位置に依存する（特徴ハ）。それに伴い、主標２６の大きさも浮標２５の配置位置に依存する。
【００３５】
更に、投影映像における立体度の遷移の検出を容易にする目的で、副標２７の大きさは主標２６の大きさよりも小さくする（特徴ニ）。したがって、前述の特徴ハにより、浮標２５の大きさと主標２６の大きさは浮標２５の配置位置に依存することから、副標２７の大きさおよび副標２７の個数も浮標２５の配置位置に依存する。
【００３６】
複数の浮標２５を配置する場合には、全てに適用可能な、統一した共通の浮標２５を定義して使用することができる。もちろん、配置位置毎に主標２６の大きさ・形状、副標２７の大きさ・形状と個数を定義した複数種類の浮標２５を使用してもよい。また、図３（ａ）のように、副標２７を主標２６に対して複数の方向に配置することで、左目用の映像と右目用の映像との間で位置ずれが存在した場合に、位置ずれの方向がいずれの方向であっても、その位置ずれを検出することが可能となる。
【００３７】
浮標２５の生成位置は予め定義し第一の手段１１に設定・保持しておく。また、浮標２５の生成位置とともに、主標２６および副標２７の大きさ・形状、副標２７の数も定義可能である。そこで、主標２６および副標２７の大きさ・形状、副標２７の個数も予め定義して第一の手段１１に保持しておく。
【００３８】
複数の部分浮標（主標２６、副標２７）のうちの一部は立体視映像が重畳する領域の内部に生成され、残りの部分浮標は重畳する領域の外部に生成される。図４は、浮標２５の重畳領域２３における配置の一例を示す図である。図４の例では、主標２６と、主標２６に隣接する合計４個の副標２７を重畳領域２３に配置している。そして、残りの副標２７を重畳領域２３以外の領域、すなわち第一の投影映像２１と第二の投影映像２２に配置している。したがって、主標２６の幅ｗｍ、副標２７の幅ｗｓ、および重畳領域２３の幅Ｗの間には［数１］の関係が成立する。
［数１］
Ｗ＞ｗｍ＋２×（ｗｓ＋ｄ）
なお、以下の［数１］でｄは主標２６と副標２７の水平方向の間隔である。本実施形態に係る投影装置を設置する際、重畳領域２３の幅Ｗは確定する。したがって、［数１］を満たすｗｍとｗｓも本実施形態に係る投影装置の設置時に決定でき、決定したｗｍとｗｓは手段１１内に設定・保持される。
【００３９】
（第一の手段）
上記浮標２５を用いた立体度調整の具体的な処理内容について以下に説明する。なお、本実施形態では、部分的な立体視映像２１、２２のそれぞれに対して浮標２５を生成し、立体視映像２１、２２の立体度が予め定められた目標に近づくように、それぞれ対応する浮標２５に基づき調整するが、これに限られない。例えば、立体視映像２１の立体度が立体視映像２２の立体度に近づくように調整してもよい。
【００４０】
続いて、第一の手段１１の動作を詳細に説明する。前述のように、第一の手段１１は、立体度を調整するための目印となる立体視画像である浮標を、部分的な立体視画像が重畳する領域に生成する。説明に当たって、主標２６と、浮標２５の中で左上から右下に続く副標２７の列に注目する。主標２６と、左上から右下に続く副標２７が有する視差を、図５に示すように定義する。図５において、ｓ１からｓ６は副標２７がそれぞれ有する視差、ｍは主標２６が有する視差とする。図３（ｂ）に示したように、手前に進むに従い立体度は増加し、奥に進むに従い立体度は減少する。よって、ｓ１からｓ６、およびｍの間には［数２］に示す関係が存在する。
［数２］
ｓ１＞ｓ２＞ｓ３＞ｍ＞ｓ４＞ｓ５＞ｓ６
【００４１】
主標２６が有する視差ｍの初期値をＰｍ0とする。Ｐｍ0の値は、本実施形態に係る投影装置の設計諸元から算出される、目標立体度を得るのに必要な視差である。このＰｍ0の値は、本実施形態に係る投影装置の設計諸元に依存するものであるから、予め算出して第一の手段１１が保持している。さらに、副標２７が有する視差ｓ１からｓ６の初期値を［数３］に示す。
［数３］
（ｓ１，ｓ２，．．．，ｓ６）＝（Ｐｓ１0，Ｐｓ２0，．．．，Ｐｓ６0）
［数３］に示した副標２７の初期値は、以下の手順（１−１）、（１−２）で算出する。以下の手順（１−１）、（１−２）に示すように、各副標２７の視差は、目標立体度と浮標２５の定義のみに依存するものであるから、予め算出することが可能である。ここで、浮標２５は、主標２６の大きさ・形状、並びに、副標２７の大きさ・形状、個数、配置により定義される。副標２７の視差（ｓ１〜ｓ６）の初期値は、主標２６が有する視差ｍの初期値Ｐｍ0と同様に、予め算出し第一の手段１１が保持している。
（１−１）目標立体度と浮標２５の定義から各副標２７の立体度を算出
（１−２）算出した立体度を得るのに必要な視差を、本実施形態に係る投影装置の設計諸元を基に算出。
【００４２】
第一の手段１１は、一カ所の重畳領域２３に対して１個以上の浮標２５を生成する。生成位置は、重畳領域２３とそれ以外の領域に跨がる位置である。重畳領域２３以外の領域には、浮標２５を生成してもよいし、生成しなくてもよい。重畳領域２３以外の領域のみに浮標２５を生成する場合、重畳領域２３を除く領域の中心で、かつ、主標２６及び副標２７のいずれもが他の領域に掛からないように浮標２５を生成する。
【００４３】
第一の手段１１が浮標２５を生成する手順を図６を参照して詳細に説明する。図６は、浮標の生成手順を示すフローチャートである。第一の手段１１は、ステップＳ１０１からステップＳ１０４までの４工程で浮標２５を生成する。以下の各処理ステップは、投影装置のＣＰＵの制御に基づいて実行される。
【００４４】
ステップＳ１０１では、主標２６の視差ｍと副標２７の視差ｓ１からｓ６を初期化する。先述の通り、主標２６の視差ｍの初期値はＰｍ0、副標２７の視差ｓ１からｓ６の初期値は［数３］に示す値であり、これらの値は予め設定されている。すなわち、（ｍ，ｓ１，ｓ２，．．．，ｓ６）＝（Ｐｍ0，Ｐｓ１0，Ｐｓ２0，．．．Ｐｓ６0）とする。
【００４５】
ステップＳ１０２では、調整量１０１が変化したか否かを判定する。ここで、調整量１０１は、投影映像の立体度を目標立体度に調整する調整量である。この調整量１０１は、第二の手段１２が生成して第一の手段１１及び第三の手段１３へ出力する。以下、調整量１０１の値をΔＰと表す。ΔＰはスカラ量であるが、２次元以上の成分を有するベクトル量も同一のΔＰと表記する。ΔＰがベクトル量を表す場合、そのベクトルの各成分は同一の値（スカラ量としてのΔＰ）を有する。
【００４６】
調整量１０１の値ΔＰが変化しているならば（Ｓ１０２でＹＥＳ）、ステップＳ１０３に分岐して、浮標２５を生成する前に視差を調整する。ΔＰが変化していないならば（Ｓ１０２でＮＯ）、視差の調整は不要である。そこで、ステップＳ１０４に分岐して現行の視差を使用して浮標２５を生成する。
【００４７】
ステップＳ１０３では、主標２６および副標２７の視差を調整量１０１の値、ΔＰで調整する。すなわち、（ｍ，ｓ１，ｓ２，．．．，ｓ６）＋ΔＰを新たな（ｍ，ｓ１，ｓ２，．．．，ｓ６）として設定する。
【００４８】
ステップＳ１０４では、主標２６の視差ｍおよび副標２７の視差ｓ１からｓ６を使用して浮標の立体視映像１０３を生成し出力する。浮標の立体視映像１０３の生成に係る諸元の内、視差以外の諸元、すなわち浮標２５の生成位置、主標２６の大きさ・形状、副標２７の大きさ・形状、副標２７の個数は第一の手段１１が保持している値を適用する。また、ステップＳ１０４は、同時に、主標と副標に与えた視差１０２（ｍ，ｓ１，ｓ２，．．．，ｓ６）を第二の手段へ出力する。ここで、主標と副標に与えた視差１０２は、浮標の立体視映像１０３の生成に使用した、主標２６の視差ｍおよび副標２７の視差ｓ１からｓ６である。そして、Ｓ１０２に戻る。
【００４９】
（第二の手段）
次に、第二の手段１２の機能を詳細に説明する。第二の手段１２は、本実施形態に係る投影装置が投影する浮標２５の投影映像から、調整量１０１（ΔＰ）を算出する手段である。すなわち、浮標の撮影画像を基に、当該浮標の左目用画像と右目用画像との間の視差を検出し、検出された視差と予め定められた視差の目標値とを比較して、立体度の調整量を算出する。第二の手段１２は、少なくとも次の３つの手段を有している。
（ａ）投影した浮標２５を撮影する手段
（ｂ）撮影した浮標２５の映像から主標２６及び副標２７の視差を算出する手段
（ｃ）算出した視差と視差の目標値から調整量１０１を算出する手段。
【００５０】
投影した浮標２５を撮影する手段は、浮標２５の表示に使用する不可視光の波長帯に十分な感度を持つ必要がある。また、撮影した浮標２５の視差、すなわち左眼映像と右眼映像のずれ量から立体度を算出するため、立体度の算出に十分な精度でずれ量を測定可能な空間解像度を持つ必要がある。浮標２５の表示に波長０．７〜２．５μｍの近赤外帯を使用するならば、投影した浮標２５を撮影する手段に、例えば、可視光フィルタを装着した２次元ＣＣＤ（Charge-Coupled Device）素子を使用可能である。もちろん、投影した浮標２５を撮影する手段をＣＣＤに限定するものではない。
【００５１】
主標２６と副標２７の視差を算出する手段は、撮影した浮標２５の映像から、浮標２５の左眼映像と右眼映像を抽出し、相互のずれ量つまり視差を、主標２６および副標２７それぞれに関して算出する。第一の手段１１の説明と同様に、一例として、主標２６と、浮標２５の中で左上から右下に続く副標２７の列について説明する。算出した主標２６の視差をＰｍ0とし、算出した副標２７の視差をＰｓ１a，Ｐｓ２a，Ｐｓ３a，Ｐｓ４a，Ｐｓ５a，Ｐｓ６aとする。
【００５２】
最後に調整量１０１を算出する手段は、互いに立体度の異なる部分浮標（主標２６、副標２７）の撮影画像の視差と視差の目標値とを比較して、調整量１０１を算出する。具体的には、以下に示す（２−１）〜（２−４）の４ステップで、調整量１０１を算出する。
（２−１）主標２６および副標２７の視差と視差の目標値との差分を算出する。
（２−２）視差の差分と、主標と副標に与えた視差との関係式を導出する。
（２−３）導出した関係式を基に浮標２５の視差を算出する。
（２−４）浮標２５の視差と視差の目標値から調整量１０１を算出する。
【００５３】
視差の目標値をＰｅとし、視差の測定値（Ｐｍa，Ｐｓ１a，Ｐｓ２a，．．．，Ｐｓ６a）と目標値Ｐｅとの差分をΔＰｅとする。ステップ（２−１）では［数４］に示す演算を実施し、ΔＰｅを算出する。
［数４］
ΔＰｅ＝（Ｐｍa，Ｐｓ１a，Ｐｓ２a，．．．，Ｐｓ６a）−（Ｐe，Ｐe，Ｐe，．．．，Ｐe）
【００５４】
ステップ（２−２）では、視差の差分と、主標と副標に与えた視差の関係式を、ステップ（２−１）で算出したΔＰｅと、第一の手段１１から入力した、主標と副標に与えた視差１０２の組に対して最小自乗法を適用して求める。この処理について、図７に示す相関図を使用して説明する。図７（ａ）は、ΔＰｅと、主標と副標に与えた視差１０２との関係を表した相関図である。同図では、主標と副標に与えた視差１０２の値をｐとしている。図７（ａ）では、視差ｐと視差の目標値との差分ΔＰｅとの関係を最小自乗法により直線α、βにより近似した場合を例示している。本実施形態では、ｍとｓ１，ｓ２，．．．，ｓ６の関係は［数２］で与えられる。このため、図７（ａ）において、Ｐｓ１，．．．，Ｐｓ６の間隔をｓ１−ｓ２、ｓ２−ｓ３、ｓ３−ｍ、ｍ−ｓ４、ｓ４−ｓ５、ｓ５−ｓ６の値に応じて設定すると、ΔＰｅは直線で近似されることになる。例えば、ｓ１−ｓ２、ｓ２−ｓ３、ｓ３−ｍ、ｍ−ｓ４、ｓ４−ｓ５、ｓ５−ｓ６の値が一定の場合、図７（ａ）の相関図においてＰｓ１，．．．，Ｐｓ６を等間隔に設定すれば、ΔＰｅは図７（ａ）に示す直線α及び直線βで近似される。
【００５５】
ステップ（２−３）では、ステップ（２−２）で導出した関係式を基に浮標２５の視差ａｐを算出する。図７（ｂ）は、直線αおよび直線βがΔＰｅ＝０と交差する附近を拡大した図である。図７（ｂ）において、直線αがΔＰｅ＝０と交差する点のｐの値をａｐαとし、直線βが交差する点のｐの値をａｐβとしている。求める浮標２５の視差ａｐは、ａｐαとａｐβの中点とする。そうすると、ａｐは［数５］により導出される。
［数５］
ａｐ＝（ａｐα＋ａｐβ）／２
【００５６】
最後にステップ（２−４）で調整量１０１を算出する。目標視差ｍａは主標２６に与られているので、調整量１０１の値ΔＰは［数６］に示す値になる。
［数６］
ΔＰ＝ａｐ−ｍａ
【００５７】
本実施形態では、第二の手段１２は、調整量１０１をフレーム毎に算出してもよいが、これに限られない。例えば、［数７］に示す条件が成立する場合、すなわち、目標視差ｍａと測定された浮標２５の視差ａｐとの差の絶対値が予め定義した閾値ｐthを超えた場合に限り、調整量１０１を算出してもよい。閾値ｐthの値が大きいと調整頻度は低下するが、品質劣化の可能性が高まり、違和感を覚える観察者の割合が増加するおそれがある。反対に、閾値ｐthの値が小さいと、調整頻度は増加するが違和感を覚える観察者の割合は低下する。したがって、本実施形態に係る投影装置の特性、使用環境に基づき閾値ｐthの値を決定する。
［数７］
｜ａｐ−ｍａ｜＞ｐth
【００５８】
（第三の手段）
続けて、第三の手段１３の動作を詳細に説明する。第三の手段１３は、第二の手段１２において算出された調整量で部分的な立体視画像の立体度を調整する。第三の手段１３は次の２つの手段を有している。
（ａ）立体視映像の生成に適用する視差ｐaを算出する手段
（ｂ）視差ｐaを適用して出力立体視映像１０５を生成する手段
立体視映像の生成に適用する視差ｐaを算出する手段は、入力立体視映像１０４が有する視差ｐiに対して、［数８］に示す演算を施して、視差ｐaを算出する。
【００５９】
［数８］
ｐa＝ｐi＋ΔＰ
続いて、視差ｐaを適用して出力立体視映像１０５を生成する手段は、算出した視差ｐaを入力立体視映像１０４に適用して、左眼映像と右眼映像を生成した後、浮標の立体視映像１０３を重畳して出力立体視映像１０５とする。
【００６０】
以上述べたように、本実施形態では、第一の投影映像２１、第二の投影映像２２および重畳領域２３で単一の対象の立体度を同一に保つ作用がある。したがって、第一の投影映像２１と重畳領域２３の境界、および第二の投影映像２２と重畳領域２３の境界で、単一の対象が不連続になることはなく脳内の立体視映像融合が混乱する可能性は低くなる。また、本実施形態では、浮標を不可視光により生成するため、調整のための期間を設けることなく表示対象の立体視画像の投影中に、立体視画像の立体度の調整を行うことができる。
【００６１】
なお、本実施形態では、部分的な立体視映像２１、２２のそれぞれに対して浮標２５を生成して立体度を調整するので、上記の処理を立体視映像２１、２２のそれぞれに対して行う。すなわち、立体視映像２１、２２が重畳する領域２３に、立体視映像２１に重畳する第１の浮標と立体視映像２２に重畳する第２の浮標とを生成し、第１、第２の浮標の各々について視差を検出して調整量を算出する。そして、第１の浮標について算出された調整量で立体視映像２１の立体度を調整するとともに、第２の浮標について算出された調整量で第２の部分的な立体視映像２２の立体度を調整する。これにより、立体視映像２１、２２のそれぞれの立体度を所定の目標値に調整することができ、重畳領域における立体度の連続性を確保することが可能となる。ここで、部分的な立体視映像２１、２２の立体度の調整は、同時に行う必要はなく、例えば、立体視映像２１の調整を行った後に、立体視映像２２の調整を行うようにすることができる。
【００６２】
また、一部の部分的な立体視画像の立体度を他の部分的な立体視画像の立体度に近づくように調整する場合は、その立体視画像についてのみ上述の調整の処理を行う。例えば、立体視映像２１の立体度を立体視映像２２の立体度に近づける場合は、立体視映像２１、２２が重畳する領域２３に、立体視映像２１に重畳する浮標を生成する。そして、その浮標について視差を検出し、その浮標の視差が立体視映像２２の視差に近づくように、調整量を算出し、その調整量で立体視映像２１の立体度を調整する。これにより、立体視映像２１の立体度を立体視映像２２の立体度に近づけることができ、重畳領域２３における立体度の連続性を保つことが可能となる。
【００６３】
＜＜実施形態２＞＞
続いて本発明の第二の実施形態（実施形態２）を説明する。図８は、本実施形態に係る立体視映像投影装置（以下、「投影装置」）の機能構成を模式的に示すブロック図である。本実施形態に係る第一の手段１１は、不可視光による浮標２５の出力に加え、可視光による浮標２５の出力機能を有する。また、本実施形態における立体視映像投影装置は、実施形態１で説明した第一の手段１１、第二の手段１２、第三の手段１３に加えて第四の手段１４を有する。なお、本実施形態の第二の手段１２と第三の手段１３の機能は、実施形態１と同一である。
【００６４】
本実施形態における第一の手段１１は、非可視光による浮標２５の生成機能に加え、可視光による浮標２５の生成機能を有する。さらに、操作者（ユーザ）の操作により、非可視光で生成した浮標２５と、可視光で生成した浮標２５を切り替えて出力する機能を有する。また、操作者は、可視光の浮標２５の諸元、表示色、主標２６と副標２７の大きさや副標２７の個数を始めとする浮標２５の形状、浮標２５の生成位置および生成数を設定可能である。
【００６５】
続いて、本実施形態における第四の手段１４の動作を詳細に説明する。第四の手段１４は、少なくとも次の３機能を有している。
・操作者が調整量１０１を変更する機能
・非可視光の浮標２５と可視光の浮標２５を切り替える機能
・可視光の浮標２５の諸元を変更する機能。
【００６６】
操作者は、可視光で生成した浮標２５を基に調整量１０１を変更する。本実施形態は、調整量１０１の変更量を指示する機器に依存したものではない。調整量１０１の変更量を第四の手段１４が入力可能であれば、任意の機器が使用可能である。以下に、調整量１０１の変更量を指示する機器の一例を挙げる。
・オンスクリーン・ディスプレイ（On-Screen Display：ＯＳＤ）
・本実施形態に係る投影装置が内蔵するタッチパネル
・ボタンスイッチ
・レバー式の可変抵抗器、あるいは回転式の可変抵抗器。
【００６７】
また、図９にＯＳＤあるいはタッチパネル上で調整量１０１を変更するメニュー表示の一例を示す。図９に示す調整量変更メニュー３１は、現在の調整量１０１の値を示す調整量インジケータ３２と浮標２５を選択する浮標選択ボタン３３を含んでいる。なお、図９に示すＯＳＤあるいはタッチパネル上で調整量１０１を変更するメニューは一例であり、ここに示す様式に限定するものではない。
【００６８】
ＯＳＤならば、操作者は、本実施形態に係る投影装置の操作パネル上のボタン、レバー、あるいは回転式のつまみを操作して調整量１０１を変更する。タッチパネルならば、操作者は、調整量インジケータ３２部分を直接タッチすることで調整量１０１を変更する。そして、調整量インジケータ３２は、調整量１０１が変更されたことに応じて、新たな現在の調整量１０１を表示する。
【００６９】
浮標選択ボタン３３は、出力する浮標２５を選択するためのボタンである。ＯＳＤならば、本実施形態に係る投影装置の操作パネル上のボタンで選択する。一方、タッチパネルならば、直接タッチして選択する。図９に示す実施形態では可視光による浮標２５を選択している。
【００７０】
操作者が、浮標選択ボタン３３で可視光の浮標２５を選択したならば、本実施形態に係る第一の手段１１は可視光の浮標２５を出力する。反対に、操作者が、非可視光の浮標２５を選択したならば、本実施形態に係る第一の手段１１は非可視光の浮標２５を出力する。図９に示すＯＳＤあるいはタッチパネル上で調整量１０１を変更するためのメニューは一定時間操作がなされないと表示を終了し、浮標２５は非可視光の浮標２５を選択する。さらに、第四の手段１４は、浮標２５の諸元、すなわち表示色、形状、生成位置、生成数を変更する機能を有している。なお、第四の手段１４が可視光の浮標２５に対して変更可能な表示色は、可視光の範囲とする。
【００７１】
操作者は、第四の手段１４が有する入力機器を使用して、調整量１０１の変更に適した浮標２５となるように、浮標２５の諸元を設定する。本実施形態は、浮標２５の諸元設定に使用する入力機器に依存したものではない。浮標２５の諸元を入力可能であれば、任意の機器が使用可能である。例えば、調整量１０１の変更量を指示する機器と同様の機器が使用可能である。操作者が第四の手段１４を操作して入力した、設定諸元１０６は、第一の手段１１に入力する。第一の手段１１は、設定諸元１０６の値に基づき可視光の浮標２５を生成する。
【００７２】
以上述べたように、本実施形態では、浮標を、操作者の指示に応じて、可視光又は不可視光により生成し、浮標が可視光により生成される場合、操作者の指示に応じて、部分的な立体視画像の立体度を調整する。具体的には、非可視光の浮標２５による自動調整に加え、操作者が調整量１０１を変更できるようにしている。したがって、操作者の知覚を用いて立体度を適切に調整することができ、より多くの状況で調整が可能となる作用がある。
【００７３】
＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７４】
１１：第一の手段、１２：第二の手段、１３：第三の手段、１４：第四の手段、１０１：調整量、１０２：視差、１０３：浮標の立体視映像、１０４：入力立体視映像、１０５：出力立体視映像
【図１】
2016025396.tif 000003
【図２】
2016025396.tif 000004
【図３】
2016025396.tif 000005
【図４】
2016025396.tif 000006
【図５】
2016025396.tif 000007
【図６】
2016025396.tif 000008
【図７】
2016025396.tif 000009
【図８】
2016025396.tif 000010
【図９】
2016025396.tif 000011
【図１０】
2016025396.tif 000012