(57)【要約】【課題】本発明は、従来法ではコンテンツ作成者側に完全に委ねられていた立体視の安全性を、表示機器提供者でも確保できる仕組みであり、かつ録画された映像による立体視においても対応が可能な映像表示装置および映像表示方法を提供するものである。【解決手段】本発明は、立体視が可能な表示機器において、立体視表示の効果を制御できる仕組みを表示機器にも持たせることで、従来技術ではコンテンツ作成者側に任されていた立体視コンテンツの安全性を表示機器提供者側でも担保できるようになり、また、使用者の眼精疲労を抑えることができる。【選択図】図１
2010066754.tif 000002
【特許請求の範囲】
【請求項１】
画像データを記憶する画像記憶部と、
画像を表示する表示部と、
前記表示部と使用者との距離を計測する距離計測部と、
前記画像記憶部に記憶された画像データと、前記距離計測部で計測された距離とから決定された結像位置が所定の範囲を超える否かを判定する判定部と、
前記判定部の判定結果に応じて、前記画像データの加工を制御する画像処理部と、
を有する映像表示装置。
【請求項２】
前記表示部は、前記判定部によって前記結像位置が所定の範囲に含まれると判断された場合のみ、画像データを表示することを特徴とする請求項１記載の映像表示装置。
【請求項３】
画像データを無線により受信する受信部を更に備え、
前記画像処理部は、前記受信部で受信した受信データを復号し、復号した画像データを前記画像記憶部に記憶させることを特徴とする請求項１または２記載の映像表示装置。
【請求項４】
前記距離計測部は、カメラであることを特徴とする請求項１乃至３のいずれか一項に記載の映像表示装置。
【請求項５】
前記画像データは、左目用の第１の画像データと、右目用の第２の画像データとを含み、
前記画像処理部は、前記判定部によって前記結像位置が所定の範囲を超えると判断された場合、第１の画像データおよび第２の画像データのどちらか一方を他方と同一の画像データに置き換えることを特徴とする請求項１乃至４のいずれか一項に記載の映像表示装置。
【請求項６】
画像データを生成するために必要な３Ｄデータを記憶する３Ｄデータ記憶部と、
前記３Ｄデータを使ってＣＧ画像を生成する３Ｄ演算部と、を更に備え、
前記画像データは、左目用の第１の画像データと、右目用の第２の画像データとを含み、
前記画像処理部は、前記判定部によって前記結像位置が所定の範囲を超えると判断された場合、前記３Ｄ演算部が第１の画像データおよび第２の画像データの視点、または視差を補正するように加工することを特徴とする請求項１乃至５のいずれか一項に記載の映像表示装置。
【請求項７】
画像データを記憶する記憶ステップと、
画像を表示する表示ステップと、
前記表示部と使用者との距離を計測する計測ステップと、
前記記憶ステップで記憶された画像データと、前記計測ステップで計測された距離とから決定された結像位置が所定の範囲を超える否かを判定する判定ステップと、
前記判定ステップの判定結果に応じて、前記画像データの加工を制御する画像処理ステップと、
を有する映像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体視映像を表示することが可能な映像表示装置および映像表示方法に関する。
【背景技術】
【０００２】
近年、映画分野等では３次元立体視映像が注目されており、また日本国内においても、一般の公共電波を通じて立体視映像が見られる準備が進められている。
【０００３】
従来、この種の立体的な画像を得られる表示装置として、第１（左目用）および第２（右目用）の２つの画像を作成し、それらの画像を右目および左目に別々に見せることができるように構成したものが知られている。
【０００４】
この原理について図３、図４を用いて簡単に説明する。
通常、人間が２次元映像を視聴している場合（図３）、使用者１２の右目と左目の視点は、映像が流される投影面１３のスクリーン上のある1点(位置１４)で一致しており、脳内で結像される位置も同一（位置１４）となる(図３の場合は投影面１３の平面として立体知覚される)。
一方、人間が立体視を行っている場合（図４）は、立体的な画像を得られる表示装置の効果によって、使用者１５の右目からは右目用投影面１６の映像のみ、左目からは左目用投影面１７の映像のみが見えている状態がつくられる。このときの右目の視点は右目視点１９であり、左目の視点は左目視点２０となる。
【０００５】
この状態下において、人間は、人間のもつ立体知覚の働きによって、右目と左目から入力される映像は共に２次元映像であるにもかかわらず、結像位置１８に立体的な像として知覚する。この方式を利用した技術として、以下２つの文献が挙げられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−１９２３４９号公報
【特許文献２】特開平１１−３３８４５７号公報
【特許文献３】特開２００８−２４５２９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、この方式を用いた３次元立体視は、脳内で処理される視覚情報と現実世界とが矛盾した状態が続くことから、眼球や脳に対する疲労度が通常の２次元映像の視聴状態よりも大きく、長時間の視聴には適さないことが知られている。
【０００８】
特許文献１は、この点について言及し、迫力のある立体映像を楽しめる通常の立体視の映像と、迫力は低下するが疲労度を軽減できる映像とを、使用者自身の判断で選択できるシステムを発明している。
しかしながら、この技術はコンテンツ作成者側に対して、立体視映像の安全性を確保する手段を提供するものであり、コンテンツ作成者が過度の立体映像を表示するようなコンテンツを作成し、そのコンテンツの表示を行おうとした場合、表示機器を提供する側には安全性を確保する手段がない、という問題があった。
【０００９】
特許文献２は、人間の立体知覚に近い立体視映像を実現することにより、眼球や脳に対する疲労度を最小限に抑えることが可能な技術である。
しかしながら、この技術を実現するためには特殊な計測機器を装着する必要があり、裸眼立体視のような特に計測機器の装着を必要としない技術においては対応ができない。また、リアルタイムレンダリングを用いたＣＧの立体視映像が対象で、配信された映像や記録媒体に録画された映像を用いた立体視映像に関しては対応できない、という問題があった。
【００１０】
特許文献３は、立体視映像の視聴時間に加え、立体画像の強度にも着目し、コンテンツ作成者側の意図を汲み取れる柔軟性を持ちながら、使用者の安全性を確保することが可能な技術である。
しかしながら、立体画像の強度を推測する上で、使用者と表示機器との距離が立体画像の強度を判断する上で重要なファクタであるにもかかわらず、その点に関しての考慮がされていない。
【００１１】
また、上述した特許文献すべてに共通して、入力画像が３枚以上となるような、より立体感が得られる方式で撮影された立体視映像を、通常の左目用と右目用の２枚の画像を用いた方式で表示しようとした場合に、選択される画像によって、コンテンツ作成者ですら予期しない、危険な立体視映像が表示される可能性に関しては、言及されていない。
【００１２】
本発明は、このような従来の問題に鑑みてなされたものであり、従来法ではコンテンツ作成者側に委ねられていた立体視の安全性を、表示機器提供者でも確保できるようにする仕組みであり、かつ配信、もしくは録画された映像においても対応が可能な映像表示装置および映像表示方法を提供するものである。
【課題を解決するための手段】
【００１３】
前記課題を解決するために、本発明の映像表示装置は、画像データを記憶する画像記憶部と、画像を表示する表示部と、前記表示部と使用者との距離を計測する距離計測部と、前記画像記憶部に記憶された画像データと、前記距離計測部で計測された距離とから決定された結像位置が所定の範囲を超える否かを判定する判定部と、前記判定部の判定結果に応じて、前記画像データの再選択、または加工を制御する画像処理部と、を備えた構成を有する。
【００１４】
これにより、危険なレベルの立体視画像の表示を、安全なレベルの画像の表示に変更することができる。
【００１５】
また、本発明の映像表示装置は、前記表示部が、前記判定部によって前記結像位置が所定の範囲に含まれると判断された場合のみ、画像データを表示する構成を有する。
【００１６】
これにより、危険なレベルの立体視画像の表示を回避することができる。
【００１７】
また、本発明の映像表示装置は、画像データを無線により受信する受信部を更に備え、前記画像処理部が、前記受信部で受信した受信データを復号し、復号した画像データを前記画像記憶部に記憶させる構成を有する。
【００１８】
これにより、表示しようとする映像が無線によって提供されるデータであっても表示することができる。
【００１９】
また、本発明の映像表示装置は、前記距離計測部が、カメラである構成を有する。
【００２０】
これにより、使用者と映像表示装置の間の距離を測定することができる。
【００２１】
また、本発明の映像表示装置は、前記画像データが、左目用の第１の画像データと、右目用の第２の画像データとを含み、前記画像処理部が、前記判定部によって前記結像位置が所定の範囲を超えると判断された場合、第１の画像データおよび第２の画像データのどちらか一方を他方と同一の画像データに置き換える構成を有する。
【００２２】
これにより、危険なレベルの立体視画像を、強制的に通常の2次元画像に置き換えることができる。
【００２３】
また、本発明の映像表示装置は、前記画像処理部が、３枚以上の入力画像を用いる方式で撮影された立体映像であった場合に、３枚以上の入力画像のうち２枚を第１の画像データと第２の画像データとし、前記判定部によって前記第１の画像データと前記第２の画像データより推定される前記結像位置が、所定の範囲を超えると判断された場合、前記第１の画像データおよび前記第２の画像データの双方、もしくはどちらか一方を、別の画像データに置き換える構成を有する。
【００２４】
これにより、３枚以上の入力画像を用いる方式で撮影された立体視映像において、使用者にとって、より安全な立体視が実現できる画像２枚を選び出すことができる。
【００２５】
画像データを生成するために必要な３Ｄデータを記憶する３Ｄデータ記憶部と、前記３Ｄデータを使ってＣＧ画像を生成する３Ｄ演算部と、を更に備え、前記画像データは、前記３Ｄ演算部によって出力された第１（左目用）の画像データと、第２（右目用）の画像データとを含み、前記画像処理部は、前記判定部によって前記結像位置が所定の範囲を超えると判断された場合、前記３Ｄ演算部が第１（左目用）の画像データおよび第２（右目用）の画像データの視点、または視差を補正するように加工する構成を有する。
【００２６】
これにより、危険なレベルのＣＧによる立体視画像を、強制的に安全なレベルのＣＧによる立体視画像に置き換えることができる。
【００２７】
前記画像処理部は、３枚以上のレンダリング画像を用いる方式の立体映像であった場合に、３枚以上のレンダリング画像を生成するための３つ以上の画像データのうち、このうちの２つを選択し、第１（左目用）の画像データ、第２（右目用）の画像データとし、前記判定部によって、前記第１（左目用）の画像データと前記第２（右目用）の画像データを用いて推定される前記結像位置が、所定の範囲を超えると判断された場合、前記第１（左目用）の画像データおよび前記第２（右目用）の画像データの双方、もしくはどちらか一方を、別の画像データに置き換える構成を有する。
【００２８】
これにより、３枚以上のレンダリング画像を用いる方式で撮影された立体視映像において、使用者にとって、より安全な立体視が実現できるレンダリング画像２枚を用いて立体視映像を提供することができる。
【００２９】
また、本発明の映像表示方法は、画像データを記憶する記憶ステップと、画像を表示する表示ステップと、前記表示部と使用者との距離を計測する計測ステップと、前記記憶ステップで記憶された画像データと、前記計測ステップで計測された距離とから決定された結像位置が所定の範囲を超えるか否かを判定する判定ステップと、前記判定ステップの判定結果に応じて、前記画像データの再選択、または加工を制御する画像処理ステップと、を備える。
【００３０】
これにより、危険なレベルの立体視画像の表示を、安全なレベルの画像の表示に変更することができる。
【発明の効果】
【００３１】
本発明によれば、立体視が可能な映像表示装置において、立体視表示の効果を制御できる仕組みを映像表示装置に持たせることで、従来技術ではコンテンツ作成者側に任されていた立体視コンテンツの安全性を立体視が可能な映像表示装置提供者側でも担保できるようになり、また、使用者の安全性を高めることができる。
また、本発明によれば、立体感を高めるために、３枚以上の入力画像を用いる方式で撮影された立体視映像、もしくは３枚以上のレンダリング画像を用いた立体視映像を、通常の左目用と右目用の２枚の画像を用いる方式で撮影された立体視映像を表示しようとした際に、選択される画像によって、コンテンツ作成者ですら予期しない、危険な立体視映像が表示される場合についても、映像表示装置提供者側が安全性を確保できる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施の形態１における映像表示装置の概略構成図
【図２】本発明の実施の形態１における映像表示装置の処理動作を示すフローチャート
【図３】一般的な2次元映像視聴時の視点と結像位置の関係を表す説明図
【図４】立体視映像視聴時の視点と結像位置の関係を表す説明図
【図５】本発明の実施の形態１における映像表示装置の２次元画像を用いた場合の立体視処理動作を表す説明図
【図６】本発明の実施の形態１における映像表示装置の３次元レンダリングを用いた場合の立体視動作を表す説明図
【図７】本発明の実施の形態２における映像表示装置の処理動作を示すフローチャート
【図８】本発明の実施の形態２における映像表示装置の立体視動作を表す説明図
【発明を実施するための形態】
【００３３】
以下、図面を参照して本発明の実施形態を説明する。
【００３４】
（実施の形態１）
図１は、本実施形態１における映像表示装置の概略構成を示すブロック図である。
図１において、本実施形態１における映像表示装置は、表示部１、画像処理部２、画像記憶部３、距離計測部４、判定部５、３Ｄデータ記憶部６、３Ｄ演算部７、受信部８、とから構成されている。
【００３５】
表示部１は、例えば、ＬＣＤ（Liquid Crystal Display）を有し、映像表示装置の使用時における各種表示を行う。画像処理部２は、拡大・回転などの変形処理や、２つの画像の対応点検索などの基本的な画像解析機能と、公共電波などの受信された受信データを復号化し、画像データを生成する機能を有し、立体視表示に適した画像フォーマットへの変換や基本的な画像処理を行う。また、必要に応じて他デバイスを制御し、立体視用の画像の再構築命令を発行する。
【００３６】
画像記憶部３は、画像処理部２によって変換された画像、または画像処理結果を記憶する。距離計測部４は、例えば、ステレオカメラと画像解析を用いた距離計測方法により、使用者と立体視表示機能を備えた映像表示装置の距離を計測する。なお、ステレオカメラと画像解析を用いた距離計測方法だけでなく、レンジファインダ方式による距離計測方法、音波による距離計測方法、レーザを用いた距離計測方法等を用いることにより距離を計測してもよい。
【００３７】
判定部５は、画像記憶部３に記憶された画像データ、画像処理結果と距離計測部４によって計測された距離データを用いて立体表示時の結像位置を推定し、表示しようとするコンテンツの安全性を判断して、表示部１に対して表示すべきか否かを決定する。３Ｄデータ記憶部６は、例えば、３次元ベクトルデータや光源データなど、３Ｄグラフィック演算に必要なデータを記憶する。
【００３８】
３Ｄ演算部７は、３Ｄデータ記憶部６に記憶されたデータを用いて、３Ｄグラフィック演算を行う。例えば、３次元ベクトルデータを入力値、立体的な2次元映像を出力値とする一般的なレンダリング処理を行う機構をもち、物体の深度(奥行き)情報を保存しており、かつ、その深度情報から対応する3次元ベクトルデータを特定できることが可能なハードウェアもしくはソフトウェアのことを指す。受信部８は、地上波を受信するためのアンテナおよび受信回路と、記録メディアに記録されたデータを読み取る機構、例えばＤＶＤやＣＤなどの光ディスクの読み書きが可能な機構と、を備え、立体視が可能な映像を受信する。
【００３９】
次に、本実施形態１における映像表示装置の動作について図面を用いて説明する。
図２は、本実施形態１における映像表示装置の処理動作を示すフローチャートである。
【００４０】
まず、立体表示機能を備えた表示機器の電源スイッチ等を操作し、スタートする（ステップＳ０１０）。距離計測部４は、2台のステレオカメラからの入力画像を解析することによって、使用者と映像表示装置との距離を算出する（ステップＳ１１０）。
次に、画像処理部２はこれから表示されようとする映像が２Ｄ映像か否かを判断する（ステップＳ１２０）。具体的には、例えば、ＤＶＤやＣＤ、ハードディスクなどの記録媒体に保存された映像データの読み込みが開始された場合、あるいは、公共電波によって発信される映像データの受信が開始された場合は、２Ｄ処理と判断する。
【００４１】
ここで、画像処理部２が、例えば、３Ｄレンダリング処理の開始が要求され、表示されようとする映像が２Ｄ映像でないと判断したとき（ステップＳ１２０、ＮＯ）、３Ｄ処理ルーチン（ステップＳ２１０〜Ｓ２８０）に進む。一方、画像処理部２が、これから表示されようとする映像が２Ｄ映像であると判断したとき（ステップＳ１２０、ＹＥＳ）、２Ｄ処理ルーチン（ステップＳ３１０〜Ｓ３７０）に進む。
【００４２】
画像処理部２が、３Ｄ処理と判定した場合（ステップＳ１２０、ＮＯ）、３Ｄ演算部７は、右目、もしくは左目用のレンダリング処理を行い、画像記憶部３は、生成された画像を記憶する（ステップＳ２１０）。ここでいうレンダリング処理とは、３次元ベクトルを入力値として、立体的に表現された２次元画像を生成する処理のことであり、描画処理過程で生成される奥行き情報と、入力値（三角形データや曲面データ、視点位置など）の３次元ベクトル情報から、生成された画像の中で最も手前に描かれた三角形もしくは曲面と、その画素の位置とを特定することができる処理のことを指す。
【００４３】
次に、画像処理部２は、前記（ステップＳ２１０）の描画処理過程で生成される奥行き情報から、生成された画像の中で、最も手前に描かれた三角形もしくは曲面が、前記（ステップＳ２１０）で生成された画像のどの位置に描画されているか、の位置関係を特定する（ステップＳ２２０）。次に、３Ｄ演算部７は、前記（ステップＳ２１０）で生成された画像とは反対側の目用のレンダリング処理を行い、画像記憶部３は、生成された画像を記憶する（ステップＳ２３０）。
【００４４】
次に、画像処理部２は、前記（ステップＳ２２０）で得られた最も手前に描かれた三角形もしくは曲面が、前記（ステップＳ２３０）で生成された画像のどの位置に描画されているか、の位置関係を特定する（ステップＳ２４０）。次に、判定部５は、前記（ステップＳ２２０）の画素の位置関係と、前記（ステップＳ２４０）で計算された画素の位置関係と、前記（ステップＳ１１０）で計測された距離データから、立体が結像される位置を推定する（ステップＳ２５０）。ここで、最も手前に描かれた三角形もしくは曲面、およびその画素位置を特定する処理は、画像処理部２によって集中管理する方式を用いているが、３Ｄ演算部７が保持するハードウェア機能、もしくはソフトウェアの機能によって、画素の位置および対応する三角形もしくは曲面を特定してもよい。
【００４５】
次に、判定部５は、前記（ステップＳ２５０）で推定した結像位置が立体映像として適切な結像位置にあるかないかを判定する（ステップＳ２６０）。ここで、適切な結像位置とは、例えば立体視の安全性を考慮してハードウェアもしくはソフトウェアが判断する値であり、医学的な根拠に基づいた値を利用する。
【００４６】
次に、判定部５が適正位置に結像されていると判断した場合（ステップＳ２６０、ＮＯ）、表示部１が前記（ステップＳ２１０、ステップＳ２３０）で出力された画像を、画像記憶部３より取り出し、表示部１が、立体視表示を行う（ステップＳ４１０）。一方、判定部５が推定した結像位置が適正位置に結像されないと判断した場合（ステップＳ２６０、ＹＥＳ）、画像処理部２が視差補正を行い新たな視点を決定する（ステップＳ２７０）。ここで、視差補正とは、推定した結像位置が不正な場合、右目用画像と左目用画像の視点移動（左右画像の視差を広げたり縮めたりする処理）とレンダリング処理を繰り返して、結像位置を理想的な位置に調整する処理のことを示す。
【００４７】
次に、３Ｄ演算部７が前記（ステップＳ２７０）で調整した視点を用いて、再びレンダリング処理を行う（ステップＳ２８０）。ここで生成する画像は、前記（ステップ２１０）で生成した右(左)目画像、もしくは、前記（ステップＳ２３０）で生成した左(右目)画像のどちらか一方を生成すればよく、画像記憶部３は、前記（ステップ２８０）で新たに生成された画像と、すでに記憶されている前記（ステップ２１０）で生成した右(左)目画像、もしくは、前記（ステップＳ２３０）で生成した左(右目)画像のどちらか一方とを置き換える処理を行う。
【００４８】
次に、前記（ステップＳ２６０）に処理を戻し、判定部５が適正位置に結像されていると判断した場合判定部５（ステップＳ２６０、ＮＯ）、画像記憶部３より取り出し、表示部１が立体視表示を行う（ステップＳ４１０）。判定部５が適正位置に結像されないと判断した場合（ステップＳ２６０、ＹＥＳ）は、上述した処理を繰り返す。
【００４９】
前記（ステップＳ１２０）において画像処理部２が２Ｄ処理と判断した場合（ステップＳ１２０、ＹＥＳ）、受信部８から２Ｄ映像を受信する（ステップＳ３１０）。次に、画像処理部２が受信部８で受信した受信データを画像データに変換する（ステップＳ３２０）。
【００５０】
次に、画像処理部２は、立体視にとって適切なフォーマットに画像を変換し、画像記憶部３は、生成された画像を記憶する（ステップＳ３３０）。ここで立体視にとって適切なフォーマットとは、画像を右目用画像と左目用画像に分解することを指す。
【００５１】
次に、画像処理部２は、一般的な画像処理手法である２枚の画像間の対応点探索処理を用いて、前記（ステップＳ３３０）において分割された左目用画像と右目用画像間の対応する画素を探索し、その画素間の差分（視差）が最大となる画素の位置を特定する画像比較処理を行う（ステップＳ３４０）。
【００５２】
次に、判定部５は、前記（ステップＳ３４０）で得られた左右画像の画素の位置と、前記（ステップＳ１１０）で距離計測部４が計測した距離データを用いて、立体が結像される位置を推定する（ステップＳ３５０）。次に、判定部５は、前記（ステップＳ３５０）で推定した結像位置が立体映像として適切な結像位置にあるかないかを判定する（ステップＳ３６０）。ここで、適切な結像位置とは、例えば立体視の安全性を考慮してハードウェアもしくはソフトウェアが判断する値であり、医学的な根拠に基づいた値を利用する。
【００５３】
次に、判定部５が、適正位置に結像されないと判断した場合（ステップＳ３６０、ＹＥＳ）、画像処理部２は、右目画像と左目画像を同一の画像に変更し（ステップＳ３７０）、変更後の右目画像と左目画像とを用いて立体視表示を行う（ステップＳ４１０）。ここで、前記（ステップＳ４１０）で表示される映像は、左目用画像および右目用画像は同じ画像が表示されるため、表示方式は立体視表示を行っているが、実際に表示されるのは立体視ではない、通常の２次元映像となる。
【００５４】
一方、判定部５が、結像位置が立体映像として適切な結像位置にあると判断した場合（ステップＳ３６０、ＮＯ）、表示部１が前記（ステップＳ３３０）で記憶された画像を用いて、立体視表示を行う（ステップＳ４１０）。次に、表示部１がステップＳ４１０において立体表示後、画像処理部２は、次に表示すべき画像が存在するか否かを判定する（ステップＳ４２０）。
【００５５】
画像処理部２が次に表示すべき画像が存在すると判断した場合（ステップＳ４２０、ＮＯ）、ステップＳ１１０の処理に戻り、次に表示すべき画像の処理を行う。一方、画像処理部２が次に表示すべき画像が存在しないと判断した場合（ステップＳ４２０、ＹＥＳ）、処理を終了する。
【００５６】
なお、本実施の形態１では、距離計測部４による距離計測（ステップＳ１１０）手法をステレオカメラと画像解析を用いた距離計測方法を採用しているが、単眼カメラを用いたレンジファインダ方式による距離計測や、超音波による距離計測、レーザを用いた距離計測等を採用してもよい。このようにすれば、更に精度の高い距離計測を行うことができる。
【００５７】
また、前記（ステップＳ２４０）の左右画像の対応画素探索処理において、処理を高速化するために、最も手前に描かれた三角形もしくは曲面の画素位置に限定してズレの大きさを計算する手法を用いているが、計算手法はこれに限定されるものではなく、左右画像すべての画素の位置に対して、画像探索処理を行い、ズレの大きさを計算する手法などを用いてもよい。
【００５８】
また、前記（ステップＳ２１０〜ステップＳ２８０）で示された手法では、右目用あるいは左目用の画像生成処理と判定処理を同時に行っているが、表示の判定処理と画像の生成処理を分離することによって、処理の高速化をはかることもできる。
【００５９】
図５は、ＤＶＤや映像配信技術等によって提供される映像が、立体表示が可能な2次元映像である場合について、本発明の概要を従来の技術と比較して説明したものである。
立体映像表示が可能な装置が、ＤＶＤや映像配信技術等によって提供された映像を、左目用投影面２８、右目用投影面２９に対して、それぞれの映像を表示すると、立体映像表示装置の特性から、使用者２１は脳内の立体知覚機能の影響で、結像位置２３に立体的な映像が結像される。
【００６０】
このとき、過度な立体表現を持った映像が投影された場合、結像位置２３が、疲労度の少ない理想的な結像領域３０の範囲を超えてしまうため、使用者２１の眼球や脳に対して極度な疲労を与えることになる。本発明では、このような状態を防ぐため、左目用と右目用の投影面に映像が表示される前に、観測距離２４と右目視点２５、左目視点２６の位置関係から、結像位置２３をあらかじめ推測する。その際、結像位置２３が理想的な結像領域３０から外れる場合には、強制的に左目用投影面２８と右目用投影面２９に対して同一の映像を表示し、立体表現のない通常の２次元映像瞬時に切り替えられる仕組みを追加する。このようにすることで、使用者２２の目には立体表現のない映像が構成され、表示フレーム単位で過度な立体視を防ぐことが可能になる。
【００６１】
図６は、リアルタイムで立体視可能なＣＧ映像を生成する場合について、本発明の概要を説明したものである。まず、立体視可能な表示装置は、右目用投影面４４、左目用投影面４５のそれぞれ対して、投影すべき映像をリアルタイムで生成している。立体映像表示装置の特性から、使用者４１には結像位置５２に対して、立体的な映像が脳内で結像される。
【００６２】
このとき、過度な立体表現を持った映像が表示された場合、結像位置５２が疲労度の少ない理想的な結像領域４６の範囲を超えてしまうため、使用者４１の眼球や脳に対して極度な疲労を与えることになる。ここで、ＤＶＤや映像配信技術等によって提供される映像の場合、それぞれの映像面に投影する映像を再構成することは困難であるが、リアルタイムにＣＧの立体映像を生成している場合はこれが可能である。
【００６３】
理想的な結像領域４６を超えてしまうフレームに関しては、結像位置４７が、理想的な結像領域４６を超えない右目視点５０と左目視点５１の位置を推定し、これらの視点で再度レンダリングした結果を表示する。本発明はこの仕組みを立体視可能な表示装置に組み込むことで、使用者４２に対して表示フレーム単位で過度な立体視を防ぐことが可能になる。
【００６４】
このように、本実施の形態１によれば、立体視の結像される位置を推定し、危険度の高い映像かどうかの判断を映像の出力前に行うことが可能なため、これまでコンテンツの作成者のみに委ねられてきた映像の安全性を表示機器においても確保することができる。
【００６５】
（実施の形態２）
図７は、本実施形態２における映像表示装置のさらに別の処理動作を示すフローチャートである。まず、立体表示機能を備えた表示機器の電源スイッチ等を操作し、スタートする（ステップＳ２０１０）。距離計測部４は、2台のステレオカメラからの入力画像を解析することによって、使用者と映像表示装置との距離を算出する（ステップＳ２１１０）。
【００６６】
次に、画像処理部２はこれから表示されようとする映像が２Ｄ映像か否かを判断する（ステップＳ２１２０）。具体的には、例えば、ＤＶＤやＣＤ、ハードディスクなどの記録媒体に保存された映像データの読み込みが開始された場合、あるいは、公共電波によって発信される映像データの受信が開始された場合は、２Ｄ処理と判断する。ここで、画像処理部２が、例えば、３Ｄレンダリング処理の開始が要求され、表示されようとする映像が２Ｄ映像でないと判断したとき（ステップＳ２１２０、ＮＯ）、３Ｄ処理ルーチン（ステップＳ２２００〜Ｓ２２８０）に進む。
【００６７】
一方、画像処理部２が、これから表示されようとする映像が２Ｄ映像であると判断したとき（ステップＳ２１２０、ＹＥＳ）、２Ｄ処理ルーチン（ステップＳ２３１０〜Ｓ２３７０）に進む。ここでいうレンダリング処理とは、３次元ベクトルを入力値として、立体的に表現された２次元画像を生成する処理のことであり、描画処理過程で生成される奥行き情報と、入力値（三角形データや曲面データ、視点位置など）の３次元ベクトル情報から、生成された画像の中で最も手前に描かれた三角形もしくは曲面と、その画素の位置とを特定することができる処理のことを指す。
【００６８】
画像処理部２が、３Ｄ処理と判定した場合（ステップＳ２１２０、ＮＯ）、３Ｄ演算部７は、１コマあたりのレンダリング画像の枚数を判定し、レンダリング画像の数が３枚以上存在する、と判定した場合は（ステップＳ２２００、ＹＥＳ）、そのうちの２枚のレンダリング画像の画像生成用データを選択し（ステップＳ２２０５）、その２枚の画像を第１（左目用）の画像、第２（右目用）の画像とする。ここで、ステップＳ２２０５で画像データを選択する際には、レンダリング時の視点の左右の位置関係を崩さないように選択する。
【００６９】
一方、３Ｄ演算部７が、１コマあたりのレンダリング画像の枚数を判定し、レンダリング画像の数が２枚であると判定した場合は（ステップＳ２２００、ＮＯ）、その２枚の画像を第１（左目用）の画像データ、第２（右目用）の画像データとする。次に、３Ｄ演算部７は、選択された第１（左目用）の画像データを用いたレンダリング処理を行い、画像記憶部３は、生成された画像を記憶する（ステップＳ２２１０）。
【００７０】
次に、画像処理部２は、ステップＳ２２１０の描画処理過程で生成される奥行き情報から、生成された画像の中で、最も手前に描かれた三角形もしくは曲面が、ステップＳ２２１０で生成された画像のどの位置に描画されているか、の位置関係を特定する（ステップＳ２２２０）。次に、３Ｄ演算部７は、第２（右目用）の画像データを用いたレンダリング処理を行い、画像記憶部３は、生成された画像を記憶する（ステップＳ２２３０）。
【００７１】
次に、画像処理部２は、ステップＳ２２２０で得られた最も手前に描かれた三角形もしくは曲面が、ステップＳ２２３０で生成された画像のどの位置に描画されているか、の位置関係を特定する（ステップＳ２２４０）。次に、判定部５は、ステップＳ２２２０の画素の位置関係と、ステップＳ２２４０で計算された画素の位置関係と、ステップＳ２１１０で計測された距離データから、立体が結像される位置を推定する（ステップＳ２２５０）。ここで、最も手前に描かれた三角形もしくは曲面、およびその画素位置を特定する処理は、画像処理部２によって集中管理する方式を用いているが、３Ｄ演算部７が保持するハードウェア機能、もしくはソフトウェアの機能によって、画素の位置および対応する三角形もしくは曲面を特定してもよい。
【００７２】
次に、判定部５は、ステップＳ２２５０で推定した結像位置が立体映像として適切な結像位置にあるかないかを判定する（ステップＳ２２６０）。ここで、適切な結像位置とは、例えば立体視の安全性を考慮してハードウェアもしくはソフトウェアが判断する値であり、医学的な根拠に基づいた値を利用する。
【００７３】
次に、判定部５が適正位置に結像されていると判断した場合（ステップＳ２２６０、ＮＯ）、表示部１がステップＳ２２１０、ステップＳ２２３０で出力された画像を、画像記憶部３より取り出し、表示部１が、立体視表示を行う（ステップＳ２４１０）。
【００７４】
一方、判定部５が推定した結像位置が適正位置に結像されないと判断した場合（ステップＳ２２６０、ＹＥＳ）、画像処理部２が視差補正を行い新たな視点を決定する（ステップＳ２２７０）。ここで、視差補正とは、推定した結像位置が不正な場合、第１（左目用）の画像と第２（右目用）の画像の視点移動（左右画像の視差を広げたり縮めたりする処理）とレンダリング処理を繰り返して、結像位置を理想的な位置に調整する処理のことを示す。
【００７５】
次に、３Ｄ演算部７がステップＳ２２７０で調整した視点を用いて、再びレンダリング処理を行う（ステップＳ２２８０）。ここで視差補正を行う画像は、ステップ２２１０で生成した第１（左目用）の画像、もしくは、ステップＳ２２３０で生成した第２（右目用）の画像のどちらか一方に限定することによって、処理を軽減することができる。
【００７６】
次に、画像記憶部３は、ステップＳ２２８０で新たに生成された画像と、すでに記憶されているステップＳ２２１０で生成した第１(左目用)の画像と、ステップＳ２２３０で生成した第２(右目用)の画像の両方、もしくはどちらか一方とを置き換える処理を行う。次に、ステップＳ２２６０に処理を戻し、判定部５が適正位置に結像されていると判断した場合、判定部５（ステップＳ２２６０、ＮＯ）、画像記憶部３より取り出し、表示部１が立体視表示を行う（ステップＳ２４１０）。判定部５が適正位置に結像されないと判断した場合（ステップＳ２２６０、ＹＥＳ）は、（ステップＳ２２６０〜ステップＳ２２８０）の処理を繰り返す。
【００７７】
ステップＳ２１２０において画像処理部２が２Ｄ処理と判断した場合（ステップＳ２１２０、ＹＥＳ）、受信部８から２Ｄ映像を受信する（ステップＳ２３１０）。次に、画像処理部２が受信部８で受信した受信データを画像データに変換する（ステップＳ２３２０）。
【００７８】
次に、画像処理部２は、立体視にとって適切なフォーマットに画像を変換し、画像記憶部３は、生成された画像を記憶する（ステップＳ２３３０）。ここで立体視にとって適切なフォーマットとは、画像データを第１（左目用）の画像と第２（右目用）の画像に分解することを指す。
【００７９】
次に、画像処理部２は、３枚以上の入力画像を用いる方式で撮影された立体視映像か、もしくは通常の左目用と右目用の２枚の画像を用いる方式で撮影された立体映像か、の判定を行い、３枚以上の入力画像を用いる方式で撮影された立体映像であると判定した場合は（ステップＳ２３３３、ＹＥＳ）、３枚以上の入力画像から２枚の画像を選択し（ステップＳ２３３５）、その２枚の画像を第１（左目用）の画像、第２（右目用）の画像とする。ここで、ステップＳ２３３５の画像を選択を行う際には、左目用の画像と右目用の画像の録画時の位置関係を崩さないように選択する。
【００８０】
一方、画像処理部２が、ステップＳ２３３３において、通常の左目用と右目用の２枚の画像を用いる方式であると判定した場合は（ステップＳ２３３３、ＮＯ）、ステップＳ２３３０において、画像記憶部３に記録された２枚の画像を選択する。
【００８１】
次に、画像処理部２は、ステップＳ２３３０〜Ｓ２３３５によって選び出された２枚の画像を対象として、一般的な画像処理手法である２枚の画像間の対応点探索処理を用いて、第1(左目用)の画像と第２(右目用)の画像間の対応する画素を探索し、その画素間の差分（視差）が最大となる画素の位置を特定する画像比較処理を行う（ステップＳ２３４０）。次に、判定部５は、ステップＳ２３４０で得られた第１（左目用）および第２（右目用）の画像の画素の位置と、ステップＳ２１１０で距離計測部４が計測した距離データを用いて、立体が結像される位置を推定する（ステップＳ２３５０）。
【００８２】
次に、判定部５は、ステップＳ２３５０で推定した結像位置が立体映像として適切な結像位置にあるかないかを判定する（ステップＳ２３６０）。ここで、適切な結像位置とは、例えば立体視の安全性を考慮してハードウェアもしくはソフトウェアが判断する値であり、医学的な根拠に基づいた値を利用する。
【００８３】
次に、判定部５が、適正位置に結像されないと判断した場合（ステップＳ２３６０、ＹＥＳ）、３枚以上の入力画像を用いる方式で撮影された立体視映像であり、切り替える画像が存在するかどうかを判定する（ステップＳ２３６５）。次に、画像処理部２が切り替える画像が存在しない、と判定した場合（ステップＳ２３６５、ＹＥＳ）、画像処理部２は、第１(左目用)の画像と第２(右目用)の画像を同一の画像に変更し（ステップＳ２３７０）、変更後の第１(左目用)の画像と第２(右目用)の画像とを用いて立体視表示を行う（ステップＳ２４１０）。ここで、ステップＳ２４１０で表示される映像は、第１(左目用)の画像および第２(右目用)の画像は同じ画像が表示されるため、表示方式は立体視表示を行っているが、実際に表示されるのは立体視ではない、通常の２次元映像となる。
【００８４】
一方、画像処理部２が切り替える画像が存在する、と判定した場合（ステップＳ２３６５、ＮＯ）、ステップＳ２３３５の処理に戻り、切り替えた画像を用いて、ステップＳ２３３５〜ステップＳ２３６５の処理を繰り返す。
【００８５】
一方、判定部５が、結像位置が立体映像として適切な結像位置にあると判断した場合（ステップＳ２３６０、ＮＯ）、表示部１が、ステップＳ２３３０〜ステップＳ２３３５によって選び出された２枚の画像を用いて、立体視表示を行う（ステップＳ２４１０）。次に、表示部１がステップＳ２４１０において立体表示後、画像処理部２は、次に表示すべき画像が存在するか否かを判定する（ステップＳ２４２０）。画像処理部２が次に表示すべき画像が存在すると判断した場合（ステップＳ２４２０、ＮＯ）、ステップＳ２１１０の処理に戻り、次に表示すべき画像の処理を行う。一方、画像処理部２が次に表示すべき画像が存在しないと判断した場合（ステップＳ２４２０、ＹＥＳ）、処理を終了する。
【００８６】
図８は、本発明の実施の形態２の映像表示装置の立体視動作を説明する図である。
まず、立体視可能な表示装置は、右カメラ投影面７３上の右カメラ視点６７、左カメラ投影面７５上の左カメラ視点６９のそれぞれに対して、立体視可能な映像を投影している。立体映像表示装置の特性から、使用者６１には結像位置６３に対して、立体的な映像が脳内で結像される。このとき、過度な立体表現を持った映像が表示された場合、結像位置６３が疲労度の少ない理想的な結像領域６６の範囲を超えてしまうため、使用者６１の眼球や脳に対して極度な疲労を与えることになる。
【００８７】
ここで、３枚以上の入力画像を用いる方式、もしくは、３枚以上のレンダリング画像を用いる方式の場合、投影に使っていない１枚以上の入力画像、もしくは、レンダリングに使っていない１つ以上の画像データを備えているため、それぞれの投影面に投影する映像を、他の画像に切り替えることが可能である。理想的な結像領域６６を超えてしまうフレームに関しては、右カメラ投影面７３上の右カメラ視点７０と、使用者６１が見ている映像では使用しない中央カメラ投影面７４上の中央カメラ視点７１の視点を用いて、再度、結像位置を調整することが可能になる。
【００８８】
なお、本調整でも結像位置６４が疲労度の少ない理想的な結像領域６６の範囲を超えてしまう場合は、実施の形態１と同様の手法を用いて、結像位置を調整する。本発明はこの仕組みを立体視可能な表示装置に組み込むことで、使用者６２に対して表示フレーム単位で過度な立体視を防ぐことが可能になる。
【００８９】
なお、本実施の形態２では、距離計測部４による距離計測（ステップＳ２１１０）手法をステレオカメラと画像解析を用いた距離計測方法を採用しているが、単眼カメラを用いたレンジファインダ方式による距離計測や、超音波による距離計測、レーザを用いた距離計測等を採用してもよい。このようにすれば、更に精度の高い距離計測を行うことができる。
【００９０】
また、ステップＳ２２４０の第１および第２の画像の対応画素探索処理において、処理を高速化するために、最も手前に描かれた三角形もしくは曲面の画素位置に限定してズレの大きさを計算する手法を用いているが、計算手法はこれに限定されるものではなく、左目用画像、右目用画像すべての画素の位置に対して、画像探索処理を行い、ズレの大きさを計算する手法などを用いてもよい。
【００９１】
また、ステップＳ２２１０〜ステップＳ２２８０で示された手法では、第１(左目用)あるいは第２(右目用)の画像生成処理と判定処理を順次行っているが、表示の判定処理と画像の生成処理を分離することによって、処理の高速化をはかることもできる。
【００９２】
また、ステップＳ２２０５において、３枚以上のレンダリング画像の画像生成用データから、２枚のレンダリング画像用の画像生成用データを選択する際、第１（左目用）の画像データと第２（右目用）の画像データとして抽出するデータの第１の画像データ、第２の画像データの決め方は、矛盾なく立体視映像が出力される順序で選択するものとする。また、その選択方法については「先頭に配置された２枚の画像生成用データを選択する」、「中央に配置された２枚の画像生成用データを選択する」、「先頭と後方に配置されたそれぞれ１枚ずつの画像生成用データを選択する」、等、どのような方法を用いて選び出しても構わない。
【００９３】
また、ステップＳ２３３５において３枚以上の入力画像からそのうちの２枚を選択する際、第１（左目用）のデータと第２（右目用）のデータとして抽出するデータの第１のデータ、第２のデータの決め方は、矛盾なく立体視映像が出力される順序で選択するものとする。また、その選択方法は、「先頭に配置された２枚を選択する」、「中央に配置された２枚を選択する」、「先頭と後方に配置されたそれぞれ１枚ずつの画像を選択する」、等、どのような方法を用いて選び出しても構わない。
【産業上の利用可能性】
【００９４】
本発明は、立体視コンテンツ作成者のみに委ねられていた立体視の安全性を表示機器提供者でも確保することができ、立体視コンテンツ内で危険なレベルの立体視映像の立体視表示を行おうとした場合、予め防止することができるといった効果を有し、画像処理機能を有する携帯電話機、ＰＨＳ、ＰＤＡ、パーソナルコンピュータ等の電子機器等において有用である。
【符号の説明】
【００９５】
１  表示部
２  画像処理部
３  画像記憶部
４  距離計測部
５  判定部
６  ３Ｄデータ記憶部
７  ３Ｄ演算部
８  受信部
【図１】
2010066754.tif 000003
【図２】
2010066754.tif 000004
【図３】
2010066754.tif 000005
【図４】
2010066754.tif 000006
【図５】
2010066754.tif 000007
【図６】
2010066754.tif 000008
【図７】
2010066754.tif 000009
【図８】
2010066754.tif 000010