(57)【要約】【課題】３次元映像を観察するときの眼精疲労を抑えて眼の衛生に配慮した立体映像表示方法および立体映像表示装置を提供する。【解決手段】立体映像表示装置の画像表示面１８に表示する映像に立体映像表示領域１２ｂ，１３ｂと立体映像表示領域の全周を囲う平面映像表示領域１１ａを設け、立体映像表示領域に３次元映像を表示し、平面映像表示領域に２次元映像を表示することにより、３次元映像を観察するときの違和感を抑制し眼精疲労を抑制する。【選択図】図１
2014175813.tif 000002
【特許請求の範囲】
【請求項１】
立体映像表示装置の映像表示面に表示する映像に立体映像表示領域と平面映像表示領域を一方の全周を他方が囲うように設け、立体映像表示領域に３次元映像を表示し、平面映像表示領域に２次元映像を表示することを特徴とする立体映像表示方法。
【請求項２】
前記２次元映像に表示されるオブジェクトに基づいて前記立体映像表示領域を画定し、画定した該立体映像表示領域に適合する２視差立体表示方式の３次元映像信号を変成することを特徴とする請求項1記載の立体映像表示方法。
【請求項３】
前記２次元映像と前記３次元映像の間に相互間が円滑に遷移する境界域を設けることを特徴とする請求項1又は２記載の立体映像表示方法。
【請求項４】
前記映像を表示する映像表示面の形状に合わせた３Ｄオブジェクトを形成して、前記３次元映像を該３Ｄオブジェクト映像にマッピングして変成することを特徴とする請求項１から３のいずれか１項に記載の立体映像表示方法。
【請求項５】
映像表示面に表示する２次元映像中に立体映像表示領域を画定すると共に３次元映像から立体映像表示領域に表示する部分を画定する立体映像表示設定部と、該立体映像表示設定部で画定された３次元映像の部分を２次元映像中の立体映像表示領域部分に填め込んだ映像を映像表示面に表示するための立体映像信号を形成する映像信号形成部と、を備えて、３次元映像とこれを囲繞する２次元映像を映像表示面に表示する立体映像表示装置。
【請求項６】
前記立体映像表示設定部は、前記２次元映像に表示されるオブジェクトに基づいて前記立体映像表示領域を画定し、前記映像信号形成部は、画定した前記立体映像表示領域に適合する２視差立体表示方式の３次元映像信号を形成することを特徴とする請求項５記載の立体映像表示装置。
【請求項７】
さらに、前記２次元映像と前記３次元映像の間に相互間が円滑に遷移する境界域を設ける境界域処理器を備えることを特徴とする請求項５又は６記載の立体映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼の衛生に配慮した立体映像表示方法および装置に関する。
【背景技術】
【０００２】
近年３Ｄ映像技術が急速に進展してきて、いろいろな局面で３Ｄ映像を利用することができるようになってきた。たとえば展示会や学術講演会などでも、実物に対する再現性が高い３Ｄ映像を使用する場面が増えてきた。特に外科手術の検討会などにおいて、臨場感が高い立体映像の活用が期待されている。また、立体映像のテレビ放送も試みられている。
【０００３】
現状では通常、立体映画は、映画館のスクリーン上にサイドバイサイドの映像信号またはＬＲ２ストリームの映像信号を使った２視差立体表示方式による立体映像表示が行われ、立体メガネにより視聴している。
また、見本市や講演会などでは、液晶表示装置、大きな画面が必要なときはプロジェクション装置を用いて、２視差立体表示方式による立体映像表示が行われている。
さらに、立体映像放送も一部の民放、ＣＡＴＶ（ケーブルテレビ）、ＩＰＴＶ（インターネットプロトコルを使用したテレビ放送）などで行われており、多くは従来のものと同様に扱えるサイドバイサイドの映像信号を送信して３Ｄ受像器に映像を表示させ、立体メガネを使って視聴している。
これらの立体映像表示方法では、通常、全画面に３次元映像を表示させている。
【０００４】
これらの２視差立体表示方式は、右目と左目の視差に対応する映像をそれぞれの眼に表示すれば、立体感を得ることができるという原理を利用する。
この方式では、人は、表示スクリーンや自照式表示装置などの表示面に提示された、左右異なるＬＲ映像に右目と左目の焦点を合わせて、ＬＲ映像を合成することにより立体映像を認識する。脳が表示装置の表示面と異なる位置に立体を知覚しているのに対して、眼は表示面上に焦点合わせをしようとするため、立体視における調節と輻輳の間に矛盾が生じると信じられている。この考え方によると、この矛盾が立体映像観察時の眼精疲労の原因となるとされる。
【０００５】
しかし、日本バーチャルリアリティ学会論文誌（ＴＶＲＳＪ）Ｖｏｌ．１６  ＮＯ．２  ｐｐ．１３９−１４８，２０１１（宮尾克ら）によると、脳は表示装置の表示画像と同じ位置に立体を知覚し、眼も立体映像表示位置に焦点合わせることが実験で示された。このことは上の記述と矛盾するが、上の記述は科学的実験データに裏付けられたものではないために、確かな信頼性に欠けていると考えられる。人間の目は、訓練により獲得された機能かもしれないが、元来見ようとするものを目標物とし、そこに目の輻輳と焦点を合わせるようにできている。こう考えると実験結果も合わせて上記論文の正しさが理解できる。
【０００６】
すなわち、３D映像で右目と左目に網膜上、違う位置に写し出された場合、網膜上同じ位置に写し出すように、人は目の両眼輻輳機能を働かせて眼球を動かす。そのとき焦点は輻輳に連動するが、一般的に3D映像は焦点深度の深い映像を作成しているので焦点をどこに移動させても映像がボケることはない。逆に焦点はどこにあっても焦点深度の深い映像を見る限り視聴に問題がないにも関わらず、提示される動画３D映像に引きずられて目の輻輳と焦点移動が激しく変化する。この変化が日常を超えた非日常的動作であり３D映像視聴時の疲労となって現れている。動画映像においては特に同一位置における映像の左右映像の奥行の変化、映像内のあらゆる点における左右映像の奥行の大きさの違いがこの疲れを増幅している。
【０００７】
一方、静止画による2枚の右目左目用に作成された立体映像の立体視では、人の目の輻輳は静止画面に位置して奥行の差異がないにもかかわらず、映像全体が立体的に見えている。このとき、目の輻輳と焦点の変化が日常を超えておらず、長時間の視聴に疲れは発生しない。なお、凝視している映像以外で発生する立体感は網膜上、右目と左目の網膜に投影される映像のズレによって立体を認識している。
【０００８】
また、従来の２Ｄ映像のＴＶ視聴は、表示面から右目と左目に同じ映像を取込んで、目の輻輳と焦点が表示画面から外れることはなく、一定位置に固定されるため、違和感と同時に疲労を感ずることはない。よく、目が疲れるから一点を見続けることを避けるようにと言われるが、これもまた輻輳と焦点が長時間にわたって変動することがない非日常的な状態を避けることに通じる。
以上の通り、３D映像の提示において目の輻輳と焦点の変化をいかに非日常的にしないように抑えるかが、眼の衛生に配慮した立体映像表示方法において重要な観点となる。
【０００９】
たとえば、独立行政法人情報通信研究機構（ＮＩＣＴ）が立体映像を視聴する場合の疲労を調査している。また、多くの論文や講演会における報告などでも、３Ｄ映像の視聴環境に伴う安全性についての議論がなされている。
３Ｄ映像は、これを視聴する者に一定の割合で眼精疲労などの健康上の問題を生じることが実証されており、不特定多数が視聴する放送には現状では採用し難いとする放送事業者もいる。
【００１０】
特許文献１は、２次元画像表示と３次元画像表示を切換えることができるレンズユニットを裸眼立体視方式の３Ｄディスプレイに配設して、複数の表示領域のそれぞれを３次元表示モードと２次元表示モードのいずれか一方に設定できるようにした混在表示が可能な映像表示装置に用いるものであって、混在表示する場合に３次元画像表示が乱れることを回避する情報処理装置を開示している。
特許文献１に開示された情報処理装置は、表示画面内の３次元画像表示領域（第１表示領域）と２次元画像表示領域（第２表示領域）が重なる部分では、２次元表示を背面に移動したり非表示にしたりして３次元表示を優先することを特徴とする。
【００１１】
引用文献１に開示された技術は、３次元画像の前面に２次元画像が重なったときに３次元画像の表示が崩れて見にくくなるので、これを防止することを目的としたもので、視聴者の衛生に配慮するものではない。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０１２−２２７７１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
そこで、本願発明の解決しようとする課題は、３次元映像を観察するときの眼精疲労を抑え眼の衛生に配慮した新しい立体映像表示方法および立体映像表示装置を提供することである。
【課題を解決するための手段】
【００１４】
本発明に係る立体映像表示方法は、立体映像表示装置の映像表示面に表示する映像に、立体映像表示領域と立体映像表示領域の全周を囲う平面映像表示領域、もしくは平面映像表示領域と平面映像表示領域の全周を囲う立体映像表示領域を設け、立体映像表示領域に３次元映像を表示し、平面映像表示領域に２次元映像を表示することを特徴とする。
【００１５】
また、本発明の立体映像表示装置は、表示スクリーンや自照式表示装置における映像表示面に表示する２次元映像中に立体映像表示領域を画定すると共に３次元映像から立体映像表示領域に表示する部分を画定する立体像表示設定部と、立体像表示設定部で画定された３次元映像の部分を２次元映像中の立体映像表示領域部分に填め込んだ映像を映像表示面に表示するための立体映像信号を形成する映像信号形成部と、を備えて、３次元映像とこれを囲繞する２次元映像を映像表示面に表示することを特徴とする。
【００１６】
なお、本発明において利用する２次元映像は、単色の映像やグラデーション、霧、雲などの映像を避けることが好ましい。人は、両目に入る映像の色や明度の差分をゼロにするように輻輳を行って、その実体に焦点を合わせて、立体視する。ところが、単色の映像などでは色の差がないため、目の輻輳が無限遠に設定されて、目の焦点を適切な位置に固定する機能が弱まる可能性がある。このため、２次元映像として単色の映像などを使わないことが好ましいのである。
なお、本発明の立体映像表示装置においては、上記と逆に、平面映像領域の全周を囲んで立体映像領域を設けるようにしてもよい。
また、３Ｄ表示装置の平面映像領域では、右目左目用それぞれに同じ映像を表示することにより２次元映像を形成することもできる。
【００１７】
本発明の立体映像表示方法および表示装置によれば、映像表示面に立体映像が平面映像に囲まれて、あるいは逆に平面映像が立体映像に囲まれて表示される。したがって、人は従来の平面映像の中の一部に取込まれた演出、表現として立体映像を認識することになり、表示面の全面が立体映像である場合と比較して、目の輻輳と焦点が２次元映像の映像表示面に安定的に固定化され、全面が立体映像である場合のように目の輻輳と焦点が常に不定となることを回避して、違和感が軽減し、眼に対する負荷が大幅に減退して眼精疲労を起しにくくする。
【００１８】
本発明の立体映像表示方法および表示装置では、２次元映像に表示されるオブジェクトに基づいて立体映像表示領域を画定し、画定した立体映像表示領域に適合するように２視差立体表示方式の３次元映像信号を変成するようにしてもよい。
【００１９】
たとえば、表示スクリーンの表示を含む２次元映像において、表示スクリーンの形状に合わせて立体映像表示領域を画定して、ここに３次元映像を形成させることができる。また、たとえば、２次元映像中の動く人物の輪郭に合わせて立体映像表示領域を画定し、これに合わせて３次元映像を表示するようにした場合は、平面画像中に立体的に表わされた人物が運動する様子が表示され、大きな演出効果が得られる。
【００２０】
本発明の立体映像表示方法および表示装置では、２次元映像と３次元映像はその境界域で相互間が円滑に遷移するようにすることが好ましい。たとえば、相互にフェードイン・フェードアウト処理を施したり、境界域を額縁として表現したりして、２次元映像と３次元映像を分離するようにしてもよい。
【００２１】
また、本発明の立体映像表示方法および表示装置は、立体映像表示領域に平坦でない映像がある場合には、表示する形状に合わせた３Ｄオブジェクトを作成して、３次元映像を形成する右目用映像と左目用映像をその３Ｄオブジェクトにマッピングして変成することが好ましい。特に、３次元映像は右目用映像と左目用映像に齟齬があると正しい立体像として見ることができなくなるので、映像表示面の深度に対応して伸張圧縮を行うことが好ましい。
【００２２】
なお、本発明の立体映像表示方法および表示装置では、操作卓を使用して、２次元映像中の３次元映像を填め込む領域あるいは３次元映像に２次元映像を填め込む領域の形状、位置、設定時刻、および填め込む３次元映像あるいは２次元映像の範囲を指定できるようにしてもよい。
【発明の効果】
【００２３】
本発明の立体映像表示方法および表示装置は、映画や展示会、学術講演会あるいはＴＶ放送などにおける立体映像表示を、２次元映像中に３次元映像が填め込まれた形で表示することにより眼精疲労を抑えた立体映像を提示することができ、眼の衛生に貢献する。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１実施例に係る立体映像表示方法の原理を示す概念図である。
【図２】第1実施例に係る立体映像表示方法の別の態様を示す概念図である。
【図３】第1実施例に係る立体映像表示装置の構成を示す構成図である。
【図４】本発明の第２実施例に係る立体映像表示方法の原理を示す概念図である。
【図５】第２実施例に係る立体映像表示装置の構成を示す構成図である。
【発明を実施するための形態】
【００２５】
本発明の立体映像表示方法および装置は、地の２次元映像中に３次元映像を填め込んで表示、あるいは３次元映像中に２次元映像を填め込んで表示するものである。立体映像を観察する視線は、目の輻輳位置と焦点位置が隣接する平面映像に引きずられて移動しにくく、目にとって日常の態様に近づくので、立体映像が従来から見慣れている平面映像の中に取込まれた演出、表現と感じることにより、立体視における違和感が減少し眼精疲労も緩和される。
以下、実施例に基づき、本発明に係る立体映像表示方法および装置について、図面を参照しながら詳しく説明する。なお、図面では、発明の思想を容易に理解できるように、それぞれの段階で処理された映像信号が表すはずの映像で代替して概念的に説明している。
【実施例１】
【００２６】
本発明の第１実施例に係る立体映像表示方法および装置は、図１から図３に示すように、地の２次元映像と２次元映像中に填め込んで示す３次元映像が互いに独立している場合に適用するものである。
本実施例の立体映像表示方法を説明する図１は、講演者が表示スクリーンに表示された立体映像を使って説明している映像を例示するものである。たとえば、内臓手術の立体映像を示しながら手術経過を説明するところを撮影した場合などを想定することができる。
【００２７】
本実施例の方法では、図１（ａ）に示すような２次元映像１１を地の映像として提供する。地の２次元映像１１には、一部に３次元映像を表示する表示スクリーン面などの立体映像表示領域１１ｂが写し込まれている。
そこで、図１（ｂ）に示すように、立体映像表示領域１１ｂの輪郭１１ｃを画定して、立体映像表示領域１１ｂ以外の平面映像表示領域１１ａを残した映像を形成する。輪郭１１ｃは、提供された２次元映像１１に基づいて、画像中の形状や位置を決めることができる。輪郭１１ｃの位置や形状、座標などは、操作者が操作卓から指定して画定することができる。また、エッジ抽出などの画像処理技術を用いて自動的に輪郭１１ｃを判定して利用することもできる。
なお、立体映像表示領域１１ｂの部分は立体映像を上書きして無効化することにより形成することもできる。
【００２８】
図に示されたように、斜め前方から見た表示スクリーンであれば、台形に映し出され、カメラワークにしたがって表示スクリーンの位置や形状もフレーム毎に変化する場合もある。
輪郭１１ｃは、映像にしたがって、多角形、円形、雲形、など適宜な形状をとることができる。さらに、人を立体像化する場合など、動くオブジェクトを識別して立体映像表示領域の輪郭１１ｃと認識することもできる。
【００２９】
一方、表示スクリーンに表示する立体映像は右目と左目に視差に基づいた異なる映像を与えて立体視させる２視差立体表示方式にしたがって、図１下端の図１（ｃ）に示すように、左目用のＬ映像１２と右目用のＲ映像１３を対にして供給される。
２視差立体表示方式には、立体メガネを用いる偏光方式やシャッター方式、あるいはパララックス方式、レンチキラー方式などがあり、さらに近年は裸眼で鑑賞できる新しい方式も開発されている。
図１（ｄ）に示すように、提供されたＬ映像１２とＲ映像１３から立体映像表示領域１１ｃに表示する部分１２ａ，１３ａを切出して、図１（ｅ）に示すように、２次元映像１１のなかの立体映像表示領域１１ｂの形状に適合するように伸縮・整形して、填め込みＬ映像１２ｂと填め込みＲ映像１３ｂを形成する。
【００３０】
次に、図１（ｆ）に示すように、図１（ｂ）に示した平面映像表示領域１１ａの２次元映像に填め込みＬ映像１２ｂを填め込んで合成Ｌ映像１４を形成し、また同じ２次元映像に填め込みＲ映像１３ｂを填め込んで合成Ｒ映像１５を形成する。
【００３１】
なお、２次元映像と３次元映像の境界部分は視聴者に違和感を与えやすいので、境界における遷移を緩やかにして違和感を軽減することが好ましい。このため、２次元映像と３次元映像が接する部分で一方をフェードインし他方をフェードアウトする処理や、境界領域に額縁様のマスクを形成させて２次元映像と３次元映像が直接に接しないようにする処理などを採用することができる。本実施例では、図１（ｇ）に示すように、填め込みＬ映像１２ｂの周囲に額縁１６ａを形成した合成Ｌ映像１６と、填め込みＲ映像１３ｂの周囲に額縁１７ａを形成した合成Ｒ映像１７を生成させている。
【００３２】
合成Ｌ映像１６と合成Ｒ映像１７は、映像表示器１８に送信され、図１（ｈ）に示すように、２次元映像に囲まれて２視差立体表示方式に従った３次元映像が観察できる立体映像表示がなされる。
このように２次元映像に囲まれた３次元映像を観察する人は、表示面全体に３次元映像のみが表示された映像を観察する場合と比較して眼精疲労が緩和され、長時間の視聴に耐えられる。
【００３３】
図２は、第1実施例に係る立体映像表示方法をサイドバイサイド方式の立体映像に適用した場合を示す概念図である。図１に示した態様に対して、立体映像表示方式が異なるだけで他は変らない。
本態様の立体映像表示方法では、図２（ａ）に示すように、一部に３次元映像を表示する立体映像表示領域２１ｂが写し込まれた２次元映像２１を地の映像として用いる。
そこで、図２（ｂ）に示すように、立体映像表示領域２１ｂの輪郭２１ｃを画定し、立体映像表示領域２１ｂ以外の平面映像表示領域２１ａを残した平面映像を形成する。輪郭２１ｃは、提供された２次元映像２１中のオブジェクトに基づいて、画像中の形状や位置を決めることができる。
【００３４】
立体映像表示領域の位置や形状は、適宜な形状をとることができ、映像中のオブジェクトや撮影するカメラが移動したりする場合のようにフレーム毎に変化することもある。
一方、表示スクリーンに表示する立体映像は２視差立体表示方式にしたがって、図２下端の図２（ｃ）に示すように、左目用のＬ映像２３と右目用のＲ映像２４がそれぞれ圧縮され左右に並んで配置されたサイドバイサイド式映像信号として供給される。
図２（ｄ）に示すように、提供されたＬ映像２３とＲ映像２４から立体映像表示領域２１ｂに表示する部分２３ａ，２４ａを切出して、図２（ｅ）に示すように、２次元映像２１のなかの立体映像表示領域２１ｂの形状に適合するように伸縮・整形して、填め込みＬ映像２３ｂと填め込みＲ映像２４ｂを形成する。
【００３５】
次に、図２（ｆ）に示すように、立体映像表示領域２１ｂを取囲む平面映像表示領域２１ａを残した２次元映像に填め込みＬ映像２３ｂを填め込んで合成Ｌ映像２５ａを形成し、また同じ平面映像表示領域２１ａを残した２次元映像に填め込みＲ映像２４ｂを填め込んで合成Ｒ映像２５ｂを形成し、サイドバイサイドに並べて合成して合成立体映像信号２５とする。
【００３６】
さらに、図２（ｇ）に示すように、合成立体映像２６は、填め込みＬ映像２３ｃの周囲に額縁２６ａを形成し、填め込みＲ映像２４ｃの周囲に額縁２６ｂを形成する境界域処理を施す。
境界域処理を施した合成立体映像２６は、映像表示器２７に送信され、図２（ｈ）に示すように、２視差立体表示方式に従って２次元映像中の一部に３次元映像が観察できる映像表示がなされる。
【００３７】
図３は、第１実施例に係る立体映像表示方法を実現するための立体映像表示装置の構成例を示す図面である。立体映像表示装置は、平面映像信号と立体映像信号を生成するカメラ群と、カメラ群から映像信号を受取って平面映像中に立体映像を埋込んだ映像信号を形成する信号処理装置と、映像表示器で構成される。信号処理装置は、映像加工に必要な諸元を指定する操作卓を付属させてもよい。
【００３８】
本実施例の立体映像表示装置は、平面映像を取得する２次元カメラ３１と、立体映像を形成するための１対の視差像を取得する右目用カメラ３２および左目用カメラ３３を備える。右目用カメラ３２で形成されたＲ映像信号と左目用カメラ３３で形成されたＬ映像信号は、立体映像信号生成器３４に供給され、映像表示器に立体像を表示するための立体映像信号に変成される。立体映像信号として、左右の視差映像を圧縮し水平方向に並べて形成するサイドバイサイド映像信号や、左右それぞれ１チャンネルずつ使う２ストリーム方式の映像信号など３次元表示装置が受け入れることのできる信号形式で、各種のものを利用することができる。
【００３９】
信号処理装置３５は、本実施例の立体映像表示装置の中核となる装置で、平面映像信号処理器３５ａ、立体映像表示設定器３５ｂ、平面映像変成器３５ｃ、ＬＲ信号分離器３５ｄ、Ｒ映像変成器３５ｅ、Ｌ映像変成器３５ｆ、合成立体映像信号形成器３５ｇ、境界域処理器３５ｈを備え、操作卓３６を付属することもできる。
【００４０】
平面映像信号処理器３５ａは、２次元カメラ３１から平面映像信号を受取って、映像を形成する。実際には、映像化を想定して映像信号中に画像の位置や表示時刻を決められるようにするものであればよい。映像信号はカメラから直接受信する代わりに、予め記録媒体に記録された映像信号を取込んで処理することもできる。
【００４１】
立体映像表示設定器３５ｃは、平面画像信号を受取って、平面映像中に立体映像を填め込む立体映像表示領域を画定し、立体映像のうち立体映像表示領域に表示する部分を指定する。
たとえば、平面映像中に写し込まれた表示スクリーンに立体映像を填め込むときには、画像中の表示スクリーンの領域を画定し、表示スクリーンに映写される立体映像を指定する。
【００４２】
立体映像表示領域は、たとえば、表示スクリーンなどの表示領域の輪郭線を、ポイントデバイスを使ったりアドレスにより画像中の座標で指定したりすることによって画定することができる。また、クロマキー合成、あるいは、エッジ抽出やオブジェクト抽出などの画像処理技術を用いて、対象物の輪郭を自動的に検出することにより、機械的に画定することもできる。さらに、平面映像と立体映像を同期させるため、立体映像を表示する時間を時刻あるいはフレーム番号などで指定することもできる。
なお、立体映像表示領域の形状や位置は適宜決めることができる。たとえば、画面中に雲形領域を指定して立体像を表示したり、映像中で動き回る人物や動物を指定して立体表示したりすることなども可能である。
【００４３】
画面中の立体映像表示領域の形状や位置、表示する立体映像の範囲、あるいは立体映像表示時間など、映像中の立体映像表示に関する諸元は、操作卓３６を介して指定することもできる。操作卓３６から入力された情報は、立体映像表示設定器３５ｃに伝送されて、平面映像中に立体映像表示を指定するために使用される。
【００４４】
また、立体映像信号生成器３４から供給される立体映像信号は、ＬＲ信号分離器３５ｄに入力され、右目用映像信号と左目用映像信号に分離される。なお、ＬＲ信号分離器３５ｄは、予め記録媒体に記録された視差映像信号を取込んで処理することもできる。
【００４５】
ＬＲ信号分離器３５ｄで分離された右目用映像のためのＲ映像信号は、Ｒ映像変成器３５ｅに入力される。Ｒ映像変成器３５ｅは、立体映像表示領域に表示しようとする立体映像に対応する右目用映像部分を切出し、立体映像表示設定器３５ｃから供給される表示領域情報に基づいて、表示領域の形状に合わせて右目用映像を変形し圧縮・伸張して、合成立体映像信号形成器３５ｇに供給する。
【００４６】
また、ＬＲ信号分離器３５ｄで分離された左目用映像のためのＬ映像信号は、Ｌ映像変成器３５ｆに入力され、立体映像表示領域に表示しようとする立体映像に対応する左目用映像部分が切出され、表示領域情報に基づいて変形され圧縮・伸張されて立体映像表示領域の形状に合わされ、合成立体映像信号形成器３５ｇに供給される。
【００４７】
合成立体映像信号形成器３５ｇは、平面映像変成器３５ｃで平面映像から立体映像表示領域を切り欠いて形成した平面映像信号と、Ｒ映像変成器３５ｅから出力される立体映像表示領域の部分に対応する右目用映像信号と、Ｌ映像変成器３５ｆから出力される立体映像表示領域の部分に対応する左目用映像信号とを受信して、平面映像の立体映像表示領域に立体映像の右目用映像信号を填め込んだ合成Ｒ映像信号と、平面映像の立体映像表示領域に立体映像の左目用映像信号を填め込んだ合成Ｌ映像信号とを生成し、この２つの視差像信号を合成することにより２視差立体表示方式の合成立体映像信号を生成して、映像表示器３７に供給する。
【００４８】
なお、合成立体映像信号形成器３５ｇから出力される合成立体映像信号は、映像表示器３７に供給する前に、さらに境界域処理器３５ｈを通すことにより、立体映像表示領域の周囲の平面映像と立体映像が接する境界域に遷移帯を形成して、平面映像と立体映像の干渉を防ぐようにすることが好ましい。
平面画像と立体画像の干渉を防止する境界域処理は、たとえば、遷移帯の部分で一方の映像をフェードインして他方の映像をフェードアウトさせる処理や、立体映像を取囲む額縁様の映像を形成する処理により達成することができる。
【００４９】
このようにして、映像表示器３７は、表示スクリーンや自照式表示装置などに、平面映像の一部に立体映像を填め込んだ合成映像を表示させる。視聴者は、立体メガネを用いて映像を観察することができる。
なお、信号処理装置３５で形成される立体映像信号は、直接に映像表示器３７に送信する代わりに、ハードディスク、光学記憶媒体、電磁記憶媒体などの記録媒体に記録して後で再生して利用することもできる。
【００５０】
本実施例の立体映像表示装置により、映像表示器３７に表示された２視差立体表示方式の立体映像は、３次元映像が２次元映像に囲まれて表示されるので、映像を観察する者には、通常の平面映像中の一部として取込まれた演出、表現として立体映像を認識することになり、違和感が軽減し、眼に対する負荷が大幅に減退して眼精疲労を起しにくくなる効果がある。
【００５１】
なお、本実施例の立体映像表示方法および装置は、立体映像テレビジョンの放送に利用することもできる。また、ライブ放送に利用することもできる。ライブ放送では、予め詳細に設定するシナリオにしたがって、平面映像と立体映像を取得し、予定の位置に立体映像を填め込んだ映像信号を生成して送信すればよい。また、クロマキー合成を利用する方法も有効である。
【００５２】
なお、上記実施例では、３Ｄ映像表示面が平面である場合について説明しているが、映像表示面が平坦でない場合にも利用できる。たとえば、単純なものでは立体映像表示面が球面や角錐面をなしている場合、複雑なものではビルディングの壁面に立体映像を投影する場合などが考えられる。これらの場合には、特に３次元映像の形成に問題が生じるので、投影面に対応する立体オブジェクトを作成し、その立体オブジェクト表面に３次元映像をマッピングする処理を行う。この場合、立体オブジェクト表面までの距離にしたがって、３次元映像の右目と左目の映像信号の変形、伸張・圧縮を行う。
【実施例２】
【００５３】
図４と図５は、本発明の第２実施例に係る立体映像表示方法および装置を説明する図面である。第２実施例は、２視差立体表示方式の立体映像のうち設定した一部の領域のみを立体表示して、この立体映像表示領域の周りの部分を地の２次元映像として表示するものである。
【００５４】
本実施例の方法では、図４（ａ）に示すように、2視差立体表示方式の左目用のＬ映像４１と右目用のＲ映像４２の1対の立体映像信号が入力される。映像は、同じ対象に対して視差をもって撮影したものである。信号方式は、サイドバイサイド、2ストリーム、あるいは他の適宜の方式であってもよい。
【００５５】
そこで、図４（ｂ）に示すように、左右両方の映像について、平面映像表示する平面映像表示領域４１ａ、４２ａと立体表示する立体映像表示領域４１ｂ、４２ｂを区分する輪郭を画定する。
そして、一方の映像について、立体映像表示領域の映像を残し、他方の映像の平面映像表示領域の映像と合体して、新しく一方の映像と置換える。すなわち、図４（ｂ）に示すように、たとえばＲ映像４２の立体映像表示領域４２ｂの画像信号を残して、Ｌ映像４１の平面映像表示領域４１ａの画像信号と合体して、新しい右目用のＲ映像４４とする。これと対応する左目用のＬ映像４３は、始めのＬ映像と同じものとする。
【００５６】
ここで形成されたＬ映像４３とＲ映像４４を用いて２視差立体表示方式により得られる立体映像は、平面映像に囲まれた部分に立体映像が存在する映像で、立体映像部分を観察するときの違和感が軽減され、長時間観察しても眼精疲労が少ない。
【００５７】
さらに、好ましくは、図４（ｃ）に示すように、立体映像表示領域の輪郭に立体映像と平面映像を区分する帯状の緩衝枠４５ａ，４６ａを設けた合成Ｌ映像４５と合成Ｒ映像４６を形成する。緩衝枠４５ａ，４６ａの部分で、フェードイン・フェードアウトするように処理して、平面映像と立体映像が互いに緩やかに推移するようにしてもよい。このような境界域処理により、眼精疲労をさらに軽減することができる。
【００５８】
こうして形成された合成Ｌ映像４５と合成Ｒ映像４６は、映像表示器４７に伝送されて立体表示される。表示される映像は、左右に同じ映像が表示されて普通の平面映像として観察される平面映像表示領域４７ａに囲まれ、２視差立体表示方式により立体映像が表示される立体映像表示領域４７ｂが存在するものとなる。平面映像と立体映像は、緩衝枠を介して接するため、観察する者の眼精疲労は大いに軽減される。
【００５９】
図５は、第２実施例に係る立体映像表示方法を実現するための立体映像表示装置の構成例を示す図面である。立体映像表示装置は、立体映像信号を生成する１対のカメラと、カメラから映像信号を受取って平面映像中に立体映像を埋込んだ映像信号を形成する信号処理装置と、映像表示器で構成される。信号処理装置は、映像加工に必要な諸元を指定する操作卓を付属させてもよい。
【００６０】
本実施例の立体映像表示装置は、立体映像を形成するための１対の視差像を取得する左目用カメラ５１および右目用カメラ５２を備える。左目用カメラ５１で形成されたＬ映像信号と右目用カメラ５２で形成されたＲ映像信号は、立体映像信号生成器５３に供給され、映像表示器に立体像を表示するためのサイドバイサイド方式や２ストリーム方式などの立体映像信号に変成される。
【００６１】
信号処理装置５４は、ＬＲ信号分離器５４ａ、Ｌ映像変成器５４ｂ、立体映像表示設定器５４ｃ、合成立体映像信号形成器５４ｄ、境界域処理器５４ｅを備え、操作卓５５を付属することもできる。
【００６２】
立体カメラと連結される立体映像信号生成器５３から供給される立体映像信号は、ＬＲ信号分離器５４ａに入力され、右目用映像信号と左目用映像信号に分離される。
ＬＲ信号分離器５４ａで分離された一方の映像信号、たとえば右目用映像のためのＲ映像信号はＲ映像変成器５４ｂに入力される。
立体映像表示設定器５４ｃは、Ｒ映像信号に基づいて、立体映像部分を残す立体映像表示領域を画定する。
【００６３】
立体映像表示設定器５４ｃで使用する画面中の立体映像表示領域の形状や位置、表示する立体映像の範囲、あるいは立体映像表示時間など、映像中の立体映像表示に関する諸元は、第１実施例と同じように構成された操作卓５５を介して指定することもできる。
【００６４】
Ｒ映像変成器５４ｂは、立体映像表示設定器５４ｃから供給される表示領域情報に基づいて、Ｒ映像信号から立体映像表示領域の映像部分を切出し、合成立体映像信号形成器５４ｄに供給する。
また、ＬＲ信号分離器５４ａで分離された他方の映像信号、たとえば左目用映像のためのＬ映像信号は、そのまま合成立体映像信号形成器５４ｄに供給される。
【００６５】
合成立体映像信号形成器５４ｄは、ＬＲ信号分離器５４ａから供給されるＬ映像信号とＲ映像変成器５４ｂから供給される立体映像表示領域のＲ映像信号とを用いて、始めのＬ映像信号に立体映像表示領域の部分に対応するＲ映像信号を填め込んで合成Ｒ映像信号を生成し、さらに始めのＬ映像信号をそのまま合成Ｌ映像信号として、２視差立体表示方式の合成立体映像信号を形成して、境界域処理器５４ｅに供給する。
【００６６】
境界域処理器５４ｅは、合成立体映像信号形成器４５ｄから出力される合成立体映像中の平面映像表示領域と立体映像表示領域が接する境界域に遷移帯を形成し、遷移帯にフェードイン・フェードアウト処理や枠取り処理を施して、映像表示器５６に供給する。
【００６７】
このようにして、映像表示器５６によって、平面映像の一部に立体映像が填め込まれた合成映像が表示される。
本実施例の立体映像表示装置においても、第１実施例と同様に、映像表示器５６に表示された２視差立体表示方式の立体映像が、３次元映像が２次元映像に囲まれて表示されるので、映像を観察するときの違和感が減少し眼精疲労を起しにくい。
【００６８】
なお、上記実施例では３次元映像が２次元映像に囲まれて表示される場合について説明したが、逆に２次元映像が３次元映像に囲まれて表示される場合にも、目の輻輳と焦点の位置が２次元映像を観察する状態に引きずられて変動しにくく、眼精疲労を抑制することができる。
また、本実施例では２視差立体表示方式による立体映像表示装置を用いた場合について説明したが、他の立体映像表示方式を用いた場合でも、本発明の方法により立体映像と平面映像を併存させて目の輻輳と焦点位置を平面映像面から移動しにくくすることにより、眼精疲労を抑制する効果がもたらされることに変りがない。
【産業上の利用可能性】
【００６９】
本発明は、映画や展示会、学術講演会あるいはＴＶ放送やＩＰＴＶ、３Ｄコンテンツパッケージなどにおいて、眼精疲労を抑制して眼の衛生を妨げない立体映像表示を可能にする立体映像表示方法および装置を提供するものである。
【符号の説明】
【００７０】
１１  ２次元映像、１１ａ  平面映像表示領域、１１ｂ  立体映像表示領域、１１ｃ  立体映像表示領域の輪郭
１２  Ｌ映像、１２ａ  立体映像表示領域の部分、１２ｂ  填め込みＬ映像
１３  Ｒ映像、１３ａ  立体映像表示領域の部分、１３ｂ  填め込みＲ映像
１４  合成Ｌ映像
１５  合成Ｒ映像
１６  額縁を形成した合成Ｌ映像、１６ａ  額縁
１７  額縁を形成した合成Ｒ映像、１７ａ  額縁
１８  映像表示器
２１  ２次元映像、２１ａ  平面映像表示領域、２１ｂ  立体映像表示領域、２１ｃ  輪郭
２３  Ｌ映像、２３ａ  立体映像表示領域に表示する部分、２３ｂ  填め込みＬ映像
２４  Ｒ映像、２４ａ  立体映像表示領域に表示する部分、２４ｂ  填め込みＲ映像
２５  合成立体映像信号、２５ａ  合成Ｌ映像、２５ｂ  合成Ｒ映像
２６  合成立体映像、２６ａ  額縁、２６ｂ  額縁
２７  映像表示器
３１  ２次元カメラ
３２  右目用カメラ
３３  左目用カメラ
３４  立体映像信号生成器
３５  信号処理装置、３５ａ  平面映像信号処理器、３５ｂ  立体映像表示設定器、３５ｃ  平面映像変成器、３５ｄ  ＬＲ信号分離器、３５ｅ  Ｒ映像変成器、３５ｆ  Ｌ映像変成器、３５ｇ  合成立体映像信号形成器、３５ｈ  境界域処理器
３６  操作卓
３７  映像表示器
４１  Ｌ映像、４１ａ  平面映像表示領域、４１ｂ  立体映像表示領域
４２  Ｒ映像、４２ａ  平面映像表示領域、４２ｂ  立体映像表示領域
４３  Ｌ映像
４４  Ｒ映像
４５  合成Ｌ映像、４５ａ  緩衝枠
４６  合成Ｒ映像、４６ａ  緩衝枠
４７  映像表示器、４７ａ  平面映像表示領域、４７ｂ  立体映像表示領域
５１  左目用カメラ
５２  右目用カメラ
５３  立体映像信号生成器
５４  信号処理装置、５４ａ  ＬＲ信号分離器、５４ｂ  Ｌ映像変成器、５４ｃ  立体映像表示設定器、５４ｄ  合成立体映像信号形成器、５４ｅ  境界域処理器
５５  操作卓
５６  映像表示器
【図１】
2014175813.tif 000003
【図２】
2014175813.tif 000004
【図３】
2014175813.tif 000005
【図４】
2014175813.tif 000006
【図５】
2014175813.tif 000007