(57)【要約】【課題】左右の目に表示される映像の明るさや色味などが異ならないようにした映像提示システムを提供すること。【解決手段】左右の目の視差を考慮した第１の視点から観測した第１の画像と第２の視点から観測した第２の画像のうちの、第１の画像を実像として提示する第１表示部（モニタ２０）と、第２の画像を虚像として提示する第２表示部（ＬＣＤ３１）と、第１の画像を含むエリアを撮像する撮像部（カメラ４０）と、撮像部で撮像された画像を用い、第２表示部で提示される第２の画像を、第１の画像に重なって見えるようにする画像処理と、第２表示部で表示される第２の画像を、第１の画像と、その輝度、色、コントラストの少なくとも一つが略同一となるようにする画像処理とを行う画像処理部（ＣＰＵ３２）とを備える。【選択図】図２
2010288103.tif 000002
【特許請求の範囲】
【請求項１】
左右の目の視差を考慮した第１の視点から観測した第１の画像と第２の視点から観測した第２の画像のうちの、前記第１の画像を実像として提示する第１表示部と、
前記第２の画像を虚像として提示する第２表示部と、
前記第１の画像を含むエリアを撮像する撮像部と、
前記撮像部で撮像された画像を用い、前記第２表示部で提示される前記第２の画像を、前記第１の画像に重なって見えるようにする画像処理と、前記第２表示部で表示される前記第２の画像を、前記第１の画像と、その輝度、色、コントラストの少なくとも一つが略同一となるようにする画像処理とを行う画像処理部と、
を備えることを特徴とする映像提示システム。
【請求項２】
請求項１に記載の映像提示システムにおいて、
前記第２表示部で表示される前記第２の画像は、その少なくとも一部が前記撮像部で撮像された画像に重ねて表示されることを特徴とする、映像提示システム。
【請求項３】
請求項１又は２に記載の映像提示システムにおいて、
前記画像処理部は、使用者に提示される映像を構成する、前記撮像部で撮像された画像と前記第２の画像を、前記第１の画像と、その輝度、色、コントラストの少なくとも一つが略同一となるように画像処理することを特徴とする、映像提示システム。
【請求項４】
請求項３に記載の映像提示システムにおいて、
前記画像処理部は、前記撮像部で撮像された画像と前記第２の画像を、別々に画像処理することを特徴とする、映像提示システム。
【請求項５】
請求項１ないし４の何れか一項に記載の映像提示システムにおいて、
前記第２表示部は、使用者の頭部もしくは顔前部に固定されて使用されることを特徴とする、映像提示システム。
【請求項６】
左右の目の視差を考慮した第１の視点から観測した第１の画像と第２の視点から観測した第２の画像のうちの、前記第１の画像を実像として提示する第１表示部と、
前記第２の画像を虚像として提示する第２表示部と、
前記第１の画像を含むエリアを撮像する撮像部と、
前記撮像部で撮像された画像を用い、前記第２表示部で提示される前記第２の画像を、前記第１の画像に重なって見えるように画像処理する画像処理部と、
前記第１の画像と前記第２の画像の表示タイミングを合わせるための画像表示同期装置と、
を備えることを特徴とする、映像提示システム。
【請求項７】
請求項６に記載の映像提示システムにおいて、
前記画像表示同期装置は、前記第１の画像の表示を遅らせる、第１の画像表示遅延装置であることを特徴とする、映像提示システム。
【請求項８】
請求項６又は７に記載の映像提示システムにおいて、
前記第２の画像を表示する表示タイミングを取得する表示タイミング取得機能を備え、
前記第１の画像表示遅延装置は、前記表示タイミング取得機能により取得された表示タイミング情報に従って映像表示を実施することを特徴とする映像提示システム。
【請求項９】
請求項６ないし８の何れか一項に記載の映像提示システムにおいて、
前記第２の画像を表示する、少なくとも２台の表示機材を備え、
前記表示機材は、それぞれ第２の画像表示遅延装置を備え、
前記各第２の画像遅延装置は、前記第１の画像表示に同期して画像表示を開始することを特徴とする映像提示システム。
【請求項１０】
請求項６ないし９の何れか一項に記載の映像提示システムにおいて、
前記第２表示部は、使用者の頭部もしくは顔前部に固定されて使用されることを特徴とする、映像提示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像提示システムに関する。
【背景技術】
【０００２】
二次元のディスプレィに立体を表示させる方法には様々有り、画面パララックスバリアやレンチキュラを配置して左右の目に異なる映像を提示したり、あるいは時分割で左右それぞれの目に提示する映像を表示し、表示映像の切り替えに同期して液晶シャッタ眼鏡等で左右の目に異なる映像を提示したり、する等の方法が実用化されている。
【０００３】
しかし前者は表示するディスプレィ自身が立体表示専用となってしまい汎用性に欠けるという問題があり、後者は液晶シャッタ眼鏡などをかけていない人には視差のある映像が重なって見えてしまうという問題があった。
【０００４】
この問題に対して、一方の目には通常の二次元ディスプレィに映像を表示し、もう一方の目には頭部装着ディスプレイ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ：ＨＭＤ）を用いて提示することでこれら問題を解決する方法が提案されている（特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−８６７１６号公報
【特許文献２】特開２００８−１１８５７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし提案されている方法では左右の目に表示される映像の明るさや色味などが異なることがあり、このため映像を観察したときの立体感が損なわれるという問題があった。
【０００７】
また、ＨＭＤに映像を表示する際には画像処理を行う必要があり、このため左右の目に表示される映像の表示タイミングがずれて、動画などを再生するときに立体に見られなくなるという問題もあった。
【０００８】
本発明は上記事情に鑑みてなされたもので、左右の目に表示される映像の明るさや色味などが異ならないようにした映像提示システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の請求項１に記載の映像提示システムは、左右の目の視差を考慮した第１の視点から観測した第１の画像と第２の視点から観測した第２の画像のうちの、前記第１の画像を実像として提示する第１表示部と、前記第２の画像を虚像として提示する第２表示部と、前記第１の画像を含むエリアを撮像する撮像部と、前記撮像部で撮像された画像を用い、前記第２表示部で提示される前記第２の画像を、前記第１の画像に重なって見えるようにする画像処理と、前記第２表示部で表示される前記第２の画像を、前記第１の画像と、その輝度、色、コントラストの少なくとも一つが略同一となるようにする画像処理とを行う画像処理部と、を備えることを特徴とする。
【００１０】
本発明の請求項６に記載の映像提示システムは、左右の目の視差を考慮した第１の視点から観測した第１の画像と第２の視点から観測した第２の画像のうちの、前記第１の画像を実像として提示する第１表示部と、前記第２の画像を虚像として提示する第２表示部と、前記第１の画像を含むエリアを撮像する撮像部と、前記撮像部で撮像された画像を用い、前記第２表示部で提示される前記第２の画像を、前記第１の画像に重なって見えるように画像処理する画像処理部と、前記第１の画像と前記第２の画像の表示タイミングを合わせるための画像表示同期装置と、を備えることを特徴とする。
【発明の効果】
【００１１】
請求項１に記載の発明によれば、左右の目に表示される映像の明るさや色味などが異ならず、映像を観察したときの立体感が損なわれない。
【００１２】
請求項６に記載の発明によれば、左右の目に表示される映像の表示タイミングが同期して、動画でも何ら支障なく立体に見ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の映像提示システムの第１の実施形態を示す斜視図である。
【図２】図１に示す映像提示システムのブロック図である。
【図３】図１に示す映像提示システムの動作説明斜視図である。
【図４】本発明の映像提示システムの第２の実施形態を示す斜視図である。
【図５】図４に示す映像提示システムのブロック図である。
【図６】図４に示す映像提示システムの動作説明のフローチャートである。
【発明を実施するための形態】
【実施例１】
【００１４】
図１乃至図３は本発明の映像提示システムの第１の実施形態を示している。
【００１５】
本実施形態の映像提示システムは、画像生成用パーソナルコンピュータ（以下画像生成用ＰＣと記す）１０と、この画像生成用ＰＣ１０から送信された映像（例えば図３の表示パターン１に示すような映像）を表示するモニタ２０と、同じく画像生成用ＰＣ１０から送信された映像を表示する頭部装着ディスプレイ（以下ＨＭＤと記す）３０と、ＨＭＤ３０に搭載されたカメラ４０（図２参照  撮像部）とを備える。
【００１６】
本実施形態では、裸眼で観察されるモニタ２０の映像に対してＨＭＤ３０の液晶ディスプレイ（以下ＬＣＤと記す  図２参照  第２表示部）３１で表示される映像を重ねるための表示位置決に用いるカメラ４０の撮像映像（例えば図３の表示パターン２に示すような映像）を利用し、ＬＣＤ３１の表示映像を調整することで立体感が損なわれないようにしている。
【００１７】
画像生成用ＰＣ１０は、左右視差のある映像を生成し、この映像を、ケーブル５０、５１を介してモニタ２０及びＨＭＤ３０にそれぞれ送信する。画像生成用ＰＣ１０は、映像の外にモニタ２０のスピーカ（図示せず）とＨＭＤ３０に備えられたヘッドフォーン６０のスピーカＳＰ（Ｌ）、ＳＰ（Ｒ）にそれぞれ音声も同時に送信するようにしてもよい。
【００１８】
本実施形態では、画像生成用ＰＣ１０からモニタ２０とＨＭＤ３０に有線（ケーブル５０，５１）で映像（及び音声）を送信しているが、無線で送信してもよい。
【００１９】
ＨＭＤ３０は、図２に示すように、上述したＬＣＤ３１と、ＨＭＤ３０全体の制御を行い且つ画像処理部としても機能するＣＰＵ３２と、ＬＣＤ３１のバックライト（以下ＢＬと記す）３３と、ＬＣＤ３１の駆動部（ＬＣＤ  Ｄｒｉｖｅｒ）３４と、ＢＬ２３の駆動部（ＢＬ  Ｄｒｉｖｅｒ）３５と、接眼レンズ３６及びミラー３７とを備える。
【００２０】
画像生成用ＰＣ１０からの映像信号は一旦ＣＰＵ３２で受信する。ＣＰＵ３２は画像生成用ＰＣ１０から映像信号を受信すると、駆動部（ＬＣＤ  Ｄｒｉｖｅｒ）３４及び駆動部（ＢＬ  Ｄｒｉｖｅｒ）３５を駆動し、ＢＬ３３を点灯してＬＣＤ３１に画像生成用ＰＣ１０からの映像信号を送り、ＬＣＤ３１に映像を表示させる。
【００２１】
ＬＣＤ３１に表示された映像はユーザ（ＨＭＤ３０の装着者）の何れかの目（本実施形態ではユーザの左目）にミラー３７と接眼レンズ３６を介して提示される。
【００２２】
カメラ４０は、図２に示すように、ＨＭＤ３０に、接眼レンズ２６と略同軸に搭載されている。ユーザ（ＨＭＤ３０の装着者）がモニタ２０を見ているとき、カメラ４０で撮像した映像は、図３の表示パターン２に示すように、ユーザが裸眼（本実施形態ではユーザの右目）で観察した映像とほぼ同じである。
【００２３】
ＣＰＵ３２はカメラ４０とも接続され、カメラ４０で撮像した映像信号も受信する。ＣＰＵ３２は、カメラ４０で撮像した映像信号と画像生成用ＰＣ１０から受信した映像信号とからモニタ２０の位置を特定し、このモニタ２０の位置に重なるように画像生成用ＰＣ１０から受信した映像の形状を変形してＬＣＤ３１に表示させる。
【００２４】
モニタ２０の位置を特定するには、例えばモニタ２０の形状が四角であることを用いて四角く映像が表示されている部分を切り出してもよいし、モニタ２０の四隅にＱＲコードのようなタグを貼っておいてそれを認識することで行ってもよい。なお、モニタ２０の位置を特定する方法はこれらに限定されるものではない。
【００２５】
ＣＰＵ３２は、カメラ４０の映像からモニタ２０の位置・形状だけではなく、モニタ２０内に表示されている映像（これはユーザ（ＨＭＤ３０装着者）が裸眼で観察したモニタ２０内の映像とほぼ同じ）からその輝度や色温度、コントラストなどを取得することが出来る。また、左右の視差画像が表示されている映像はほぼ同一のものである。
【００２６】
そこで、本実施形態では、画像生成用ＰＣ１０から受信してＬＣＤ３１に表示される映像について、カメラ４０で撮像したモニタ２０内の映像と同じ輝度（コントラスト）、色調（明度、彩度）になるようにＣＰＵ３２で調整（画像処理）してＬＣＤ３１に出力するようにしている。これにより、違和感なく立体を表示することが出来るようになる。
【００２７】
なお、本実施形態では、上述したように、ＬＣＤ３１に表示される映像について、カメラ４０で撮像したモニタ２０内の映像と同じ輝度（コントラスト）、色調（明度、彩度）になるようにＣＰＵ３２で画像処理する場合を説明したが、これに限定されるものではなく、カメラ４０で撮像したモニタ２０内の映像の輝度（コントラスト）又は色調（明度、彩度）の何れか一方と同じになるように画像処理してもよい。すなわち、輝度、色、コントラストの少なくとも一つが略同じになるように画像処理すればよい。
【００２８】
また、ＣＰＵ３２は、この処理をリアルタイムに行うことで、モニタ２０の表示が変化した場合にも対応できる。例えば、モニタ２０がＬＣＤパネルで構成されている場合、このＬＣＤパネルは観察する向きによって輝度やコントラスト、色調が変化するが、リアルタイムで上述した画像処理を行うことでユーザ（ＨＭＤ３０装着者）のモニタ２０に対する位置が変わった場合でも対応できる。
【００２９】
また、ＨＭＤ３０（ＬＣＤ３１）に表示する映像は、カメラ４０で撮像された映像に画像生成用ＰＣ１０から受信した映像を重ねて表示してもよい。重ねない場合はＨＭＤ３０には画像生成用ＰＣ１０からの映像のみがＬＣＤ３１の一部に表示されるためその周囲は無駄な領域となるが、その部分にカメラ４０の映像を重ねて表示することにより、モニタ１０周りの状況を把握でき、より臨場感高く映像を観察することが出来る。
【００３０】
その場合、ＣＰＵ３２では、カメラ４０で撮像した映像とＬＣＤ３１に表示したい映像を、ユーザの裸眼で観察する映像とその輝度、色調がほぼ同一となるように調整（画像処理）するが、この際、ＬＣＤ３１に表示したい映像はモニタ２０の表示に合わせる必要があり、またカメラ４０で撮像した映像はその周囲の光線状態に合わせる必要がある。そのため、ＣＰＵ３２では、ＬＣＤ３１に表示したい映像とカメラ４０で撮像した映像について、各映像の輝度、色調をそれぞれ独立（別々）に画質調整（画像処理）することが望ましい。
【００３１】
本実施形態ではモニタ２０の表示領域全体について画像生成用ＰＣ１０の映像を重ねているが、例えば３Ｄコンピュータグラフィックスのように表示したい物体のみの画像データを受信している場合は、カメラ４０の映像に表示物体のみ重ねて表示しても良い。
【００３２】
本実施形態では画像生成用ＰＣ１０でモニタ２０の画像とＨＭＤ３０（ＬＣＤ３１）に表示する画像の両方を生成しているが、モニタ２０の代わりに静止画の写真を表示しておき、それに対応する画像をあらかじめＨＭＤ３０に記憶しておいてもよい。またその写真の近くにタグとして表示データをＱＲコードなどで表示しておき、カメラ４０で撮像し表示データを作成しても良い。
【００３３】
また、画像生成用ＰＣ１０の代わりにＨＭＤ３０内にメモリ又はハードディスクを備えておき、このメモリ又はハードディスクにストアした映像をＣＰＵ３２で読み出して画像処理を施し、ＬＣＤ３１に表示させるようにしてもよい。
【００３４】
本実施態様では左目にＨＭＤ３０（ＬＣＤ３１）の映像、右目にモニタ２０の映像を提示する場合を示しているが、逆にしても良いし、ＨＭＤ３０で表示する目を切り替えた場合は、それに合わせて画像生成用ＰＣ１０から出力される画像を切り替えるようにしても良い。
【００３５】
なお、ＨＭＤ３０の代わりに顔前部に装着するタイプの表示装置を用いても良い。
【実施例２】
【００３６】
図４乃至図６は本発明の映像提示システムの第２の実施形態を示している。
【００３７】
第２の実施形態は、左右の目に表示される映像の表示タイミングを同期させることが目的である。
【００３８】
図４、図５中、図１乃至図３に示す構成部分と同じ構成部分については同一符号を付してその説明を省略する。
【００３９】
ＨＭＤ３０（ＬＣＤ３１）に映像を表示する際には、画像処理（例えばカメラ４０で撮像した映像信号と画像生成用ＰＣ１０から受信した映像信号とからモニタ２０の位置を特定し、このモニタ２０の位置に重なるように画像生成用ＰＣ１０から受信した映像の形状を変形するなどの画像処理）を行うが、左右の目の表示タイミングがずれて、映像として動画（ムービー、メニュー画面など、時間とともに画面が変化するもの）を再生する時に立体に見られなくなるという事態が生じる。すなわち、画像生成用ＰＣ１０から受信した映像（動画）を、モニタ２０とＬＣＤ３１でそれぞれ表示する際に、画像処理のため、ＬＣＤ３１で映像（動画）を表示するタイミングがモニタ２０で映像（動画）を表示するタイミングよりも若干遅くなる。これを解消するため、モニタ２０に映像（動画）を表示する際に遅延回路を入れて、モニタ２０とＨＭＤ３０（ＬＣＤ３１）とを同期して映像（動画）を表示させる画像表示同期装置（第１の画像表示遅延装置、第２の画像表示遅延装置）を装備している。
【００４０】
本実施形態では、画像生成用ＰＣ１０に、ＨＭＤ３０に対して映像（動画）を出力するのとは異なったタイミングでモニタ２０に対して映像（動画）を出力する、第１の画像表示遅延装置の機能を備えることにより、モニタ２０とＨＭＤ３０（ＬＣＤ３１）とを同期して映像を表示させるようにしている。
【００４１】
画像生成用ＰＣ１０にこのような機能を備える代わりに、モニタ２０側に一定時間画像の表示を遅延させる、第１の画像表示遅延装置としてのバッファ回路８０（図４参照）を実装してもよい。
【００４２】
本実施形態では画像生成用ＰＣ１０とモニタ２０は有線（ケーブル５０）で、ＨＭＤ３０とは無線（送受信機７０）で接続されている。無線には例えば８２０．１１ｂ／ｇといった無線ＬＡＮを用いることが出来るが、それに限定されるものではない。
【００４３】
画像生成用ＰＣ１０から送受信機７０を介して送信された映像信号は一旦ＨＭＤ３０のＣＰＵ３２で受信し、ＣＰＵ３２はこの映像信号に画像処理を施してからＬＣＤ３１に表示する。
【００４４】
ＣＰＵ３２は、例えば、カメラ４０で撮像した映像信号と画像生成用ＰＣ１０から受信した映像信号とからモニタ２０の位置を特定し、このモニタ２０の位置に重なるように画像生成用ＰＣ１０から受信した映像の形状を変形してＬＣＤ３１に表示する、画像処理を施す。上述した第１の実施形態で説明したように、この画像処理に加え、さらにカメラ４０で撮像したモニタ２０内の映像と同じ輝度（コントラスト）、色調（色の明度、彩度）になるように画像処理を施してもよし、またはカメラ４０で撮像したモニタ２０内の映像の輝度（コントラスト）または色調（色の明度、彩度）の何れか一方と同じになるように画像処理してもよい。モニタ２０の位置を特定するには、上述した第１の実施形態で説明したように、例えばモニタ２０の形状が四角であることを用いて四角く映像が表示されている部分を切り出してもよいし、モニタ２０の四隅にＱＲコードのようなタグを貼っておいてそれを認識することで行ってもよい。カメラ４０についても、上述した第１の実施形態で説明したように、ＨＭＤ３０に、接眼レンズ２６と略同軸に搭載されている（図５参照）。
【００４５】
画像処理後、ＣＰＵ３２からＬＣＤ３１に映像信号を出力する準備が完了すると、ＣＰＵ３２は画像生成用ＰＣ１０に対して完了信号を、送受信機７０を介して送信する。画像生成用ＰＣ１０はこの完了信号を受信するとモニタ２０に対して映像信号の出力を開始する。これによりモニタ２０とＬＣＤ３１は同期して画像生成用ＰＣ１０からの映像を表示するようになる。
【００４６】
この遅延処理は再生開始時に一回だけ行うだけでもよいが、図６に示すように、表示する映像のフレーム毎にモニタ２０とＨＭＤ３０（ＬＣＤ３１）とを同期して映像を表示させるように遅延処理を行うと、途中で遅延時間が変わった場合にも対処することが出来るようになる。
【００４７】
ＣＰＵ３２は、上述したように、ＬＣＤ３１に映像を表示する表示タイミングを取得する表示タイミング取得機能も有する。第１の画像表示遅延装置の機能を有する画像生成用ＰＣ１０は、この表示タイミング情報である完了信号にしたがってモニタ２０に対して映像信号の出力を開始することになる。
【００４８】
映画館などで上述したシステムを採用する場合、各ＨＭＤ３０には無線で映像を配信する等が考えられる。その場合、配信時にも表示の遅延が発生することがある。このように複数台のＨＭＤ３０を同時に使用する場合にあっては、それぞれの個体で遅延の時間が異なることが考えられるので、画像生成用ＰＣ１０でモニタ２０に対して映像を出力する遅延時間を長く設定する。そして、各ＨＭＤ３０のＣＰＵ３２にも遅延機能（第２の画像表示遅延装置としての機能）を持たせて、画像生成用ＰＣ１０から映像を受信してモニタ２０に映像が出力される準備が整うまでＬＣＤ３１の映像表示を停止させるようにする。
【００４９】
モニタ２０での映像出力を検出するには、例えば画像生成用ＰＣ１０から無線で同期信号を受信してもよいし、カメラ４０でモニタ２０に映像が出力されたことを検出してもよい。これにより複数のＨＭＤ３０の各ＬＣＤ３１とモニタ２０とは同期して映像を表示するようになる。この遅延処理にあっても、再生開始時に一回だけ行うだけでもよいが、表示する映像のフレーム毎等に行うと、途中で遅延時間が変わった場合にも対処することが出来るようになる。
【産業上の利用可能性】
【００５０】
一方の目（裸眼）でモニタ２０などに表示された映像を観察し、他方の目でＨＭＤ３０のＬＣＤ３１に表示された映像を観察して立体像を得る映像提示システムに有効である。
【符号の説明】
【００５１】
１０      画像生成用ＰＣ（第１の画像表示遅延装置の機能）
２０      モニタ（第１表示部）
３０      ＨＭＤ
３１      ＬＣＤ（第２表示部）
３２      ＣＰＵ（画像処理部）（第２の画像表示遅延装置の機能）
（表示タイミング取得機能）
４０      カメラ（撮像部）
７０      送受信機
８０      バッファ回路（第１の画像表示遅延装置）
【図１】
2010288103.tif 000003
【図２】
2010288103.tif 000004
【図３】
2010288103.tif 000005
【図４】
2010288103.tif 000006
【図５】
2010288103.tif 000007
【図６】
2010288103.tif 000008