(57)【要約】【課題】画像を表示するための信号とそれとは種類が異なる信号との同期または画像を表示するための複数種類の信号の同期を容易にする。【解決手段】画像を表示する画像表示装置１５０には、その画像を表示するための画像信号を供給する一方、画像以外の物理現象を再現する再現装置２２２，２２４，２２６には、その再現装置２２２，２２４，２２６を制御するための制御信号を供給する信号処理装置３００に、ＣＰＵ３１０とＲＡＭ３１４とを設ける。ＣＰＵ３１０は、それら画像信号と制御信号とであって、画像表示装置１５０と再現装置２２２，２２４，２２６とにおいてそれぞれ互いに同期する状態で処理されるべきものを、それら画像表示装置１５０と再現装置２２２，２２４，２２６とへの供給に先立ち、ＲＡＭ３１４のうち、互いに位置的に関連付けられた複数の記憶領域にそれぞれ格納する。【選択図】図１
2005210700.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する画像表示装置には、前記画像を表示するための画像信号を供給する一方、画像以外の物理現象を再現する再現装置には、その再現装置を制御するための制御信号を供給する信号処理装置であって、
記憶媒体と、
前記画像信号と前記制御信号とであって、前記画像表示装置と前記再現装置とにおいてそれぞれ互いに同期する状態で処理されるべきものを、それら画像表示装置と再現装置とへの供給に先立ち、前記記憶媒体のうち、互いに位置的に関連付けられた複数の記憶領域にそれぞれ格納する信号格納部と
を含む信号処理装置。
【請求項２】
さらに、
前記画像信号と前記制御信号とに共通のインターフェースと、
前記記憶媒体から読み出された前記画像信号と前記制御信号とを前記インターフェースを介して前記画像表示装置と前記再現装置とにそれぞれ送信する、それら画像信号と制御信号とに共通の送信回路と
を含む請求項１に記載の信号処理装置。
【請求項３】
前記画像表示装置によって表示されるべき画像は、複数のフレームの集まりによって構成されており、
前記記憶媒体には、前記画像の各フレームごとに前記画像信号および前記制御信号を記憶するフレーム別記憶領域が、前記画像を構成するフレームの数と同数、割り当てられており、
前記信号格納部は、前記画像信号および前記制御信号を前記画像の各フレームごとに前記各フレーム別記憶領域に格納する請求項１または２に記載の信号処理装置。
【請求項４】
前記信号格納部は、前記各フレーム別記憶領域のうち、そのフレーム別記憶領域から前記画像信号および前記制御信号が読み出されて送信される向きにおける上流側に、前記制御信号を格納する請求項３に記載の信号処理装置。
【請求項５】
前記信号格納部は、前記各フレーム別記憶領域のうち、そのフレーム別記憶領域から前記画像信号および前記制御信号が読み出されて送信される向きにおける下流側に、前記制御信号を格納する請求項３に記載の信号処理装置。
【請求項６】
前記画像表示装置によって表示されるべき画像の１フレームは、複数本のラインの集まりによって構成されており、
前記各フレーム別記憶領域には、前記画像の各フレームの各ラインごとに前記画像信号および前記制御信号を記憶するライン別記憶領域が、前記画像の各フレームを構成するラインの数と同数、割り当てられており、
前記信号格納部は、前記画像信号および前記制御信号を、前記画像の各フレームの各ラインごとに前記各ライン別記憶領域に格納する請求項３ないし５のいずれかに記載の信号処理装置。
【請求項７】
前記信号格納部は、前記各ライン別記憶領域のうち、そのライン別記憶領域から前記画像信号および前記制御信号が読み出されて送信される向きにおける上流側に、前記制御信号を格納する請求項６に記載の信号処理装置。
【請求項８】
前記信号格納部は、前記各ライン別記憶領域のうち、そのライン別記憶領域から前記画像信号および前記制御信号が読み出されて送信される向きにおける下流側に、前記制御信号を格納する請求項６に記載の信号処理装置。
【請求項９】
画像を表示する画像表示装置に、その画像を表示するための画像信号であって右眼用画像信号と左眼用画像信号とを含むものを供給する信号処理装置であって、
記憶媒体と、
前記右眼用画像信号と、前記画像信号が前記右眼用画像信号であることを示す右眼用制御信号とであって、前記画像表示装置において互いに同期する状態で使用されるべきものを、その画像表示装置への供給に先立ち、前記記憶媒体のうち、互いに位置的に関連付けられた複数の記憶領域にそれぞれ格納する第１格納部と、
前記左眼用画像信号と、前記画像信号が前記左眼用画像信号であることを示す左眼用制御信号とであって、前記画像表示装置において互いに同期する状態で使用されるべきものを、その画像表示装置への供給に先立ち、前記記憶媒体のうち、互いに位置的に関連付けられた複数の記憶領域にそれぞれ格納する第２格納部と
を含む信号処理装置。
【請求項１０】
画像を表示する画像表示装置に、その画像の各画素の輝度を表す輝度信号と、その画像の奥行きを表す奥行き信号とを含む画像信号を供給する信号処理装置であって、
記憶媒体と、
前記輝度信号と前記奥行き信号とであって、前記画像表示装置において互いに同期する状態で使用されるべきものを、その画像表示装置への供給に先立ち、前記記憶媒体のうち、互いに位置的に関連付けられた複数の記憶領域にそれぞれ格納する信号格納部と
を含む信号処理装置。
【請求項１１】
画像を表示するための画像信号と、その画像信号と同期して処理されるべき制御信号とを受信し、それら受信された画像信号と制御信号とに基づいて前記画像を表示する画像表示装置であって、
前記画像信号と前記制御信号とに共通のインターフェースと、
そのインターフェースを介して前記画像信号と前記制御信号とを受信する、それら画像信号と制御信号とに共通の受信回路と、
その受信回路によって受信された前記画像信号と前記制御信号とを互いに分離する分離回路と、
その分離回路によって互いに分離された前記画像信号と前記制御信号とに基づいて前記画像を表示する表示部と
を含む画像表示装置。
【請求項１２】
前記画像信号は、前記画像の各画素の色を表す色信号と、各画素の輝度を表す輝度信号との少なくとも一方を含み、
前記表示部は、
前記画像信号に基づき、光を変調して出力する光出力部と、
その光出力部によって出力された被変調光を、前記制御信号に基づいて変調する変調部と
を含む請求項１１に記載の画像表示装置。
【請求項１３】
前記制御信号は、前記画像の奥行きを表す奥行き信号を含み、
前記変調部は、その奥行き信号に基づき、前記光出力部によって出力された被変調光の波面曲率を変調する波面曲率変調部を含む請求項１２に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示するための信号を処理する技術に関するものであり、特に、画像を表示するための信号とそれとは種類が異なる信号との同期または画像を表示するための複数種類の信号の同期を容易にする技術に関するものである。
【背景技術】
【０００２】
画像を表示する画像表示装置の一従来例が特許文献１に開示されている。この種の画像表示装置は、一般に、画像を構成する各画素に対応する画像信号、すなわち、色信号および輝度信号が入力されると、それら色信号および輝度信号に応じた色および輝度を有するように各画素を表示し、それにより、画像の全体を表示するように構成されている。
【０００３】
ところで、画像表示装置によって表示される画像の観察中に観察者が感じ得る臨場感を高めるために、画像以外の物理現象を、その画像と一緒に再現して観察者に体験させる技術が存在する。この技術を実施すれば、観察者の視覚のみならず、その視覚以外の感覚にも訴えることにより、観察者は、画像をより高い臨場感で観察することが可能となる。
【０００４】
そのために、画像表示装置と共に、画像以外の物理現象を再現する再現装置が周辺装置として設置され、その再現装置を作動させるための制御信号が、その再現装置に供給される。その制御信号の供給は、画像信号の画像表示装置への供給と同期するように行われる。
【０００５】
そのような再現装置の一例は、音を発生させる音響装置であり、この音響装置を画像表示装置と併用すれば、画像を観察する観察者は、その音響装置による音響効果と相俟って、高い臨場感を感じることが可能となる。
【特許文献１】特開２００１−３５９１２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、この種の技術の一従来例においては、それら画像表示装置と周辺装置とに各信号を供給する信号処理装置が使用され、かつ、その信号処理装置は、従来、画像表示装置を制御するための画像信号と、周辺装置を制御するための制御信号とを、それぞれ専用の記憶媒体に個別に記憶させるように構成されていた。
【０００７】
そのため、その従来の信号処理装置は、画像表示装置による画像の表示に同期させて周辺装置を作動させるために、画像表示装置における画像信号の処理と、周辺装置における制御信号の処理とが互いに同期するようにするための特別の装置を必要としていた。その結果、この従来の信号処理装置は、その構成が複雑化する傾向があった。
【０００８】
このような不都合を解消すべく、本発明は、画像を表示するための信号とそれとは種類が異なる信号との同期または画像を表示するための複数種類の信号の同期を容易にすることを課題としてなされたものである。
【課題を解決するための手段】
【０００９】
本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載する。これは、本発明が採用し得る技術的特徴の一部およびそれの組合せの理解を容易にするためであり、本発明が採用し得る技術的特徴およびそれの組合せが以下の態様に限定されると解釈すべきではない。すなわち、下記の態様には記載されていないが本明細書には記載されている技術的特徴を本発明の技術的特徴として適宜抽出して採用することは妨げられないと解釈すべきなのである。
【００１０】
さらに、各項を他の項の番号を引用する形式で記載することが必ずしも、各項に記載の技術的特徴を他の項に記載の技術的特徴から分離させて独立させることを妨げることを意味するわけではなく、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能であると解釈すべきである。
【００１１】
（１）  画像を表示する画像表示装置には、前記画像を表示するための画像信号を供給する一方、画像以外の物理現象を再現する再現装置には、その再現装置を制御するための制御信号を供給する信号処理装置であって、
記憶媒体と、
前記画像信号と前記制御信号とであって、前記画像表示装置と前記再現装置とにおいてそれぞれ互いに同期する状態で処理されるべきものを、それら画像表示装置と再現装置とへの供給に先立ち、前記記憶媒体のうち、互いに位置的に関連付けられた複数の記憶領域にそれぞれ格納する信号格納部と
を含む信号処理装置。
【００１２】
本項に係る信号処理装置によれば、画像信号と制御信号とを別々の記憶媒体に格納しなければならない場合に比較し、それら画像信号と制御信号との間の物理的な関連付けが強化される。その結果、この信号処理装置によれば、それら画像信号と制御信号との同期を簡単かつ正確に行うことが容易となり得る。
【００１３】
本項における「画像信号」は、画像の各画素の輝度を表す輝度信号を少なくとも含むように定義したり、その輝度信号と、各画素の色を表す色信号とを含むように定義したり、それら輝度信号および色信号と、画像の奥行きを表す奥行き信号とを含むように定義することが可能である。
【００１４】
本項における「画像以外の物理現象」は、例えば、人間の視覚によって認識され得る他の他の現象（例えば、環境光）を含むように定義したり、人間の聴覚によって認識され得る聴覚的現象（例えば、音）を含むように定義したり、人間の触覚によって認識され得る触覚的現象（例えば、温度、湿度、振動、傾斜等）を含むように定義したり、人間の嗅覚によって認識され得る嗅覚的現象（例えば、匂い）を含むように定義することが可能である。
【００１５】
（２）  さらに、
前記画像信号と前記制御信号とに共通のインターフェースと、
前記記憶媒体から読み出された前記画像信号と前記制御信号とを前記インターフェースを介して前記画像表示装置と前記再現装置とにそれぞれ送信する、それら画像信号と制御信号とに共通の送信回路と
を含む（１）項に記載の信号処理装置。
【００１６】
この信号処理装置によれば、画像信号と制御信号とがそれらに共通のインターフェースを介して画像表示装置と再現装置とにそれぞれ送信されるため、別々のインターフェースを介して送信しなければならない場合に比較し、その送信を簡単かつ正確に行うことが容易となり得る。
【００１７】
本項における「送信」は、有線で行うようにしたり、無線で行うようにすることが可能である。
【００１８】
（３）  前記画像表示装置によって表示されるべき画像は、複数のフレームの集まりによって構成されており、
前記記憶媒体には、前記画像の各フレームごとに前記画像信号および前記制御信号を記憶するフレーム別記憶領域が、前記画像を構成するフレームの数と同数、割り当てられており、
前記信号格納部は、前記画像信号および前記制御信号を前記画像の各フレームごとに前記各フレーム別記憶領域に格納する（１）または（２）項に記載の信号処理装置。
【００１９】
この信号処理装置によれば、画像信号と制御信号とが、画像の各フレームごとに、同じ記憶媒体に格納され、それにより、同じフレームに関連して使用される画像信号と制御信号とが、互いに位置的に関連付けられた状態で、記憶媒体に格納される。
【００２０】
したがって、この信号処理装置によれば、同じフレームに関連して使用される画像信号と制御信号とが、互いに位置的に関連付けられることなく、記憶媒体に格納される場合より、その記憶媒体から読み出された画像信号と制御信号とを、各フレームごとに、互いに同期させることが容易となる。
【００２１】
（４）  前記信号格納部は、前記各フレーム別記憶領域のうち、そのフレーム別記憶領域から前記画像信号および前記制御信号が読み出されて送信される向きにおける上流側に、前記制御信号を格納する（３）項に記載の信号処理装置。
【００２２】
この信号処理装置によれば、各フレームごとに、画像信号より先に制御信号を再現装置に供給することが容易となる。
【００２３】
（５）  前記信号格納部は、前記各フレーム別記憶領域のうち、そのフレーム別記憶領域から前記画像信号および前記制御信号が読み出されて送信される向きにおける下流側に、前記制御信号を格納する（３）項に記載の信号処理装置。
【００２４】
この信号処理装置によれば、各フレームごとに、制御信号より先に画像信号を画像表示装置に供給することが容易となる。
【００２５】
（６）  前記画像表示装置によって表示されるべき画像の１フレームは、複数本のラインの集まりによって構成されており、
前記各フレーム別記憶領域には、前記画像の各フレームの各ラインごとに前記画像信号および前記制御信号を記憶するライン別記憶領域が、前記画像の各フレームを構成するラインの数と同数、割り当てられており、
前記信号格納部は、前記画像信号および前記制御信号を、前記画像の各フレームの各ラインごとに前記各ライン別記憶領域に格納する（３）ないし（５）項のいずれかに記載の信号処理装置。
【００２６】
この信号処理装置によれば、画像信号と制御信号とが、画像の各ラインごとに、同じ記憶媒体に格納され、それにより、同じラインに関連して使用される画像信号と制御信号とが、互いに位置的に関連付けられた状態で、記憶媒体に格納される。
【００２７】
したがって、この信号処理装置によれば、同じラインに関連して使用される画像信号と制御信号とが、互いに位置的に関連付けられることなく、記憶媒体に格納される場合より、その記憶媒体から読み出された画像信号と制御信号とを、各ラインごとに、互いに同期させることが容易となる。
【００２８】
（７）  前記信号格納部は、前記各ライン別記憶領域のうち、そのライン別記憶領域から前記画像信号および前記制御信号が読み出されて送信される向きにおける上流側に、前記制御信号を格納する（６）項に記載の信号処理装置。
【００２９】
この信号処理装置によれば、各ラインごとに、画像信号より先に制御信号を再現装置に供給することが容易となる。
【００３０】
（８）  前記信号格納部は、前記各ライン別記憶領域のうち、そのライン別記憶領域から前記画像信号および前記制御信号が読み出されて送信される向きにおける下流側に、前記制御信号を格納する（６）項に記載の信号処理装置。
【００３１】
この信号処理装置によれば、各ラインごとに、制御信号より先に画像信号を画像表示装置に供給することが容易となる。
【００３２】
（９）  画像を表示する画像表示装置に、その画像を表示するための画像信号であって右眼用画像信号と左眼用画像信号とを含むものを供給する信号処理装置であって、
記憶媒体と、
前記右眼用画像信号と、前記画像信号が前記右眼用画像信号であることを示す右眼用制御信号とであって、前記画像表示装置において互いに同期する状態で使用されるべきものを、その画像表示装置への供給に先立ち、前記記憶媒体のうち、互いに位置的に関連付けられた複数の記憶領域にそれぞれ格納する第１格納部と、
前記左眼用画像信号と、前記画像信号が前記左眼用画像信号であることを示す左眼用制御信号とであって、前記画像表示装置において互いに同期する状態で使用されるべきものを、その画像表示装置への供給に先立ち、前記記憶媒体のうち、互いに位置的に関連付けられた複数の記憶領域にそれぞれ格納する第２格納部と
を含む信号処理装置。
【００３３】
この信号処理装置によれば、画像を表示するために画像表示装置に供給される画像信号が右眼用画像信号と左眼用画像信号とを含む場合に、それら右眼用画像信号と左眼用画像信号とにそれぞれ関連付けられて記憶媒体に格納される右眼用制御信号と左眼用制御信号とにより、それら右眼用画像信号と左眼用画像信号とをそれぞれ互いに識別することが容易となる。
【００３４】
さらに、この信号処理装置によれば、観察者の各眼ごとに、画像信号と制御信号とが、同じ記憶媒体に、互いに位置的に関連付けられて格納されるため、画像表示装置においてそれら画像信号と制御信号とを互いに同期させることが容易となる。
【００３５】
（１０）  画像を表示する画像表示装置に、その画像の各画素の輝度を表す輝度信号と、その画像の奥行きを表す奥行き信号とを含む画像信号を供給する信号処理装置であって、
記憶媒体と、
前記輝度信号と前記奥行き信号とであって、前記画像表示装置において互いに同期する状態で使用されるべきものを、その画像表示装置への供給に先立ち、前記記憶媒体のうち、互いに位置的に関連付けられた複数の記憶領域にそれぞれ格納する信号格納部と
を含む信号処理装置。
【００３６】
この信号処理装置によれば、画像表示装置が画像を立体的に表示することが可能になる。さらに、この信号処理装置によれば、輝度信号と奥行き信号とが、同じ記憶媒体に、互いに位置的に関連付けられて格納されるため、画像表示装置においてそれら輝度信号と奥行き信号とを互いに同期させることが容易となる。
【００３７】
（１１）  画像を表示するための画像信号と、その画像信号と同期して処理されるべき制御信号とを受信し、それら受信された画像信号と制御信号とに基づいて前記画像を表示する画像表示装置であって、
前記画像信号と前記制御信号とに共通のインターフェースと、
そのインターフェースを介して前記画像信号と前記制御信号とを受信する、それら画像信号と制御信号とに共通の受信回路と、
その受信回路によって受信された前記画像信号と前記制御信号とを互いに分離する分離回路と、
その分離回路によって互いに分離された前記画像信号と前記制御信号とに基づいて前記画像を表示する表示部と
を含む画像表示装置。
【００３８】
この画像表示装置によれば、画像信号と制御信号とがそれらに共通のインターフェースを介して受信されるため、別々のインターフェースを介して受信しなければならない場合に比較し、その受信を簡単かつ正確に行うことが容易となり得る。
【００３９】
（１２）  前記画像信号は、前記画像の各画素の色を表す色信号と、各画素の輝度を表す輝度信号との少なくとも一方を含み、
前記表示部は、
前記画像信号に基づき、光を変調して出力する光出力部と、
その光出力部によって出力された被変調光を、前記制御信号に基づいて変調する変調部と
を含む（１１）項に記載の画像表示装置。
【００４０】
この画像表示装置によれば、画像信号と制御信号との同期が確保されれば、光出力部（例えば、強度変調機能を有する光源、または、光源と強度変調器との組合せ）による光の変調（例えば、強度変調）と、変調部による光の変調（強度以外の光の特徴量の変調）とを互いに同期させて行うことが可能となる。
【００４１】
（１３）  前記制御信号は、前記画像の奥行きを表す奥行き信号を含み、
前記変調部は、その奥行き信号に基づき、前記光出力部によって出力された被変調光の波面曲率を変調する波面曲率変調部を含む（１２）項に記載の画像表示装置。
【００４２】
この画像表示装置によれば、光出力部によって出力された被変調光の波面曲率が奥行き信号に基づいて変調されるため、その奥行き信号によって表される奥行きを有するように画像が表示され、その画像に遠近感が与えられる。
【００４３】
さらに、この画像表示装置によれば、画像信号と奥行き信号との同期が確保されれば、光出力部による光の変調（例えば、強度変調）と、波面曲率変調部による光の波面曲率の変調とを互いに同期させて行うことが可能となる。
【発明を実施するための最良の形態】
【００４４】
以下、本発明のさらに具体的な実施の形態のいくつかを図面に基づいて詳細に説明する。
【００４５】
図１には、本発明の第１実施形態に従う信号処理装置３００がブロック図で概念的に表されている。この信号処理装置３００は、コンピュータ３０２を主体として構成されている。コンピュータ３０２は、よく知られているように、ＣＰＵ３１０と、ＲＯＭ３１２と、ＲＡＭ３１４とが図示しないバスによって互いに接続されて構成されている。
【００４６】
図１に示すように、この信号処理装置３００は、さらに、送信回路３２０と、インターフェース３２２とを備えている。送信回路３２０は、ＣＰＵ３１０から送信指令信号を受信すると、必要なデータすなわち画像信号および制御信号をＲＡＭ３１４から読み出し、インターフェース３２２を介して、後述の周辺装置に送信する。
【００４７】
図１に示すように、この信号処理装置３００は、インターフェース３２２において、それぞれ周辺装置として機能する画像表示装置１５０と、匂い発生装置２２２と、音響装置２２４と、照明装置２２６とに接続されている。それら匂い発生装置２２２と、音響装置２２４と、照明装置２２６とはいずれも、画像表示装置１５０によって表示される画像の観察者が、その観察中に、その画像から感じる臨場感を高めるために設けられている。
【００４８】
匂い発生装置２２２は、画像表示装置１５０によって表示される画像の観察者の五感のうちの嗅覚に訴えて、その画像の臨場感を高めるために設けられている。この匂い発生装置２２２は、例えば、図示しないが、（ａ）固有の匂いを発生させる複数種類の液体（例えば、芳香剤）または気体をそれぞれ収容する複数種類の収容部（例えば、タンク）と、（ｂ）それら収容部のうち、選択された種類の液体または気体を収容しているものの出口に設けられたバルブを開放し、その開放されたバルブから、前記選択された種類の液体または気体を、観察者が存在する部屋内に、必要に応じて霧化して放出する放出部（例えば、加圧気化式、フィルタ気化式、超音波気化式等）とを含むように構成される。
【００４９】
この匂い発生装置２２２は、例えば、画像が海辺のシーンを再現する場合に、潮の香りそのものまたはそれに相当する匂いを発生させ、また、画像が森林のシーンを再現する場合に、木の香りそのものまたはそれに相当する匂いを発生させ、観察者のリラクゼーションのための画像が表示される場合に、ハーブの香りそのものまたはそれに相当する匂いを発生させるように、構成することができる。この匂い発生装置２２２は、画像の臨場感を嗅覚的に高めるのに効果的な匂いを、観察者と同じ空間内に、その画像の開始または展開と同期するように発生させる。
【００５０】
音響装置２２４は、画像表示装置１５０によって表示される画像の観察者の五感のうちの聴覚に訴えて、その画像の臨場感を高めるために設けられている。この音響装置２２４は、例えば、図示しないが、（ａ）複数種類の音データを記録する記録部（例えば、ＣＤ）と、（ｂ）その記録部から、該当する種類の音データを取り出して再生する再生部（例えば、ＣＤプレーヤ）とを含むように構成される。
【００５１】
この音響装置２２４は、例えば、画像が海辺のシーンを再現する場合に、波の音を自然音または人工音として発生させ、また、画像が森林のシーンを再現する場合に、鳥の鳴き声やそよ風の音を自然音または人工音として発生させ、観察者のリラクゼーションのための画像が表示される場合に、脳をリラックスさせるのに効果的な環境音を発生させるように、構成することができる。この音響装置２２４は、画像の臨場感を聴覚的に高めるのに効果的な音を、観察者と同じ空間内に、その画像の開始または展開と同期するように発生させる。
【００５２】
照明装置２２６は、画像表示装置１５０によって表示される画像の観察者の五感のうちの視覚に訴えて、その画像の臨場感を高めるために設けられている。この照明装置２２６は、例えば、図示しないが、（ａ）観察者が存在する部屋内に設置される照明灯（主要な照明灯または補助的な照明灯）であって一種ルまたは複数種類の光を選択的に発生させるものと、（ｂ）その照明灯から、該当する種類の光が発生するように、その照明灯を制御する制御部とを含むように構成される。
【００５３】
この照明装置２２６は、例えば、画像が海辺のシーンを再現する場合に、太陽の強い日差しに相当する光を発生させ、また、画像が森林のシーンを再現する場合に、太陽から森林内に到達した光に相当する光を発生させるように、構成することができる。この照明装置２２６は、画像の臨場感を視覚的に高めるのに効果的な音を、観察者と同じ空間内に、その画像の開始または展開と同期するように発生させる。
【００５４】
以上要するに、それら匂い発生装置２２２、音響装置２２４および照明装置２２６はいずれも、観察される画像の臨場感を高めるために、その画像の開始または展開と同期するように、画像以外の物理現象を再現する再現装置の一例なのである。
【００５５】
信号処理装置３００は、画像表示装置１５０による画像の表示を可能にするために、その画像表示装置１５０に画像信号を供給する。信号処理装置３００は、さらに、匂い発生装置２２２、音響装置２２４および照明装置２２６を制御するための複数種類の制御信号をそれら匂い発生装置２２２、音響装置２２４および照明装置２２６にそれぞれ供給する。
【００５６】
ＲＡＭ３１４には、画像信号と制御信号が格納される。画像信号は、表示すべき画像の内容を特定するための信号であって、例えば、表示すべき画像の各画素の色を特定するための色信号、各画素の輝度を特定するための輝度信号等が該当する。これに対し、制御信号は、画像信号に同期すべき信号であって、前記色信号および輝度信号以外の信号である。
【００５７】
その制御信号は、例えば、画像表示装置１５０によって表示される画像に同期して匂い発生装置２２２に匂いを発生させるためにその匂い発生装置２２２に供給することが必要な信号を含むように定義することが可能である。
【００５８】
また、この制御信号は、画像表示装置１５０によって表示される画像に同期して音響装置２２４によって音を制御するためにその音響装置２２４に供給することが必要な信号を含むように定義することも可能である。
【００５９】
また、この制御信号は、画像表示装置１５０によって表示される画像に同期して照明装置２２６によって環境光を制御するためにその照明装置２２６に供給することが必要な信号が含まれる。
【００６０】
ところで、画像表示装置１５０が画像を立体的に表示することが必要である場合には、表示すべき画像の奥行きを特定するための奥行き信号を、少なくとも輝度信号と共に画像表示装置１５０に供給することが必要である。その奥行き信号は、例えば、画像表示装置１５０に各画素に関連付けて供給することが必要である場合、１本または互いに連続した複数本の走査線に関連付けて供給することが必要である場合、または１つまたは互いに連続した複数のフレームに関連付けて供給することが必要である場合がある。
【００６１】
本実施形態においては、画像信号が、輝度信号と奥行き信号とを画素単位で合成することによって生成される場合には、奥行き信号を画像信号の一種として取り扱うことが可能である。さらに、本実施形態においては、後に説明するように、ＲＡＭ３１４には、制御信号を画素ごとに関連付けてＲＡＭ３１４に格納することが可能な領域も存在するため、奥行き信号を制御信号の一種として取り扱うことも可能である。
【００６２】
次に、図２および図３を参照することにより、ＲＡＭ３１４にデータが格納されるための論理的構造を説明する。
【００６３】
図２に示すように、ＲＡＭ３１４には、画像表示装置１５０によって表示されるべき画像の１つのフレームＦに対応する記憶領域、すなわち、フレーム別記憶領域３３０が割り当てられている。図２に示すように、画像表示装置１５０により、複数のフレームＦからなる一連の画像を表示することが必要である場合には、フレーム別記憶領域３３０は、表示すべきフレームＦの数と同数設けられ、画像表示装置１５０によって表示される一連の画像に対応する複数の画像信号を格納することができる。
【００６４】
各フレーム別記憶領域３３０は、第１記憶領域３４０と第２記憶領域３４２とに区画されている。それら第１記憶領域３４０と第２記憶領域３４２とは、図２においては、水平な実線によって仕切られている。それら第１記憶領域３４０および第２記憶領域３４２はいずれも、複数のライン別記憶領域３４４に区画されている。
【００６５】
図３には、フレーム別記憶領域３３０における複数の記憶位置（後述のビット領域すなわち最小記憶単位）の構成が詳細に示されている。画像表示装置１５０によって画像が表示される場合には、図３において、このフレーム別記憶領域３３０が、第１記憶領域３４０の左上端から、同図において矢印付きの一点鎖線で示す向きに、第２記憶領域３４２の右下端まで走査され、それにより、記憶情報（データまたは信号）がシリアルに読み出されるようになっている。
【００６６】
図３に示すように、各ライン別記憶領域３４４には、連続番号であるライン番号Ｓ（０），Ｓ（１），Ｓ（２），…，Ｓ（Ｍ），…，Ｓ（Ｎ）が、図３において上から下に向かう方向に並ぶように、付されている。注目すべき各ライン別記憶領域３４４は、ライン番号Ｓ（０），Ｓ（１），Ｓ（２），Ｓ（３），…，Ｓ（Ｍ），…，Ｓ（Ｎ）によって特定される。フレーム別記憶領域３３０において上側に位置する第１記憶領域３４０は、ライン番号がＳ（０）からＳ（Ｍ）までである複数のライン別記憶領域３４４によって構成されている。これに対し、下側に位置する第２記憶領域３４２は、ライン番号がＳ（Ｍ＋１）からＳ（Ｎ）までである複数のライン別記憶領域３４４によって構成されている。
【００６７】
第１記憶領域３４０に属するライン別記憶領域３４４の数は、図２の右側に示すように、表示すべきフレームＦを構成する走査線Ｋの数と同数である。第１記憶領域３４０内の各ライン別記憶領域３４４は、画像信号記憶領域３５０と制御信号記憶領域３５２とに区画されている。
【００６８】
画像信号記憶領域３５０には画像信号が格納される一方、制御信号記憶領域３５２には制御信号が格納される。画像信号記憶領域３５０は、各ライン別記憶領域３４４のうちの上流側に配置され、制御信号記憶領域３５２は、各ライン別記憶領域３４４のうちの下流側に配置されている。各画像信号と各制御信号は、表示すべき各画素に関連付けて各ライン別記憶領域３４４に格納される。
【００６９】
図３に示すように、各ライン別記憶領域３４４は、各々１ビットのデータ（信号）が格納される複数のビット領域に区画されている。例えば、色信号、輝度信号等の画像信号は、１個の画素の色、輝度等を表すために、複数ビットのデータが使用される。それら複数ビットのデータは、ライン別記憶領域３４４のうち、互いに連続した複数のビット領域に跨って格納される。
【００７０】
各ビット領域には、ビット番号Ｐ（０），Ｐ（１），Ｐ（２），…，Ｐ（ａ），…，Ｐ（ｂ）が、図３において左から右に向かって並ぶように、付されている。画像信号記憶領域３５０と制御信号記憶領域３５２とは、ビット番号の大きさによって互いに識別される。画像信号記憶領域３５０は、ビット番号がＰ（０）からＰ（ａ）までである複数のビット領域によって構成されている。一方、制御信号記憶領域３５２は、ビット番号がＰ（ａ＋１）からＰ（ｂ）までである複数のビット領域によって構成されている。
【００７１】
したがって、本実施形態においては、図３に示すように、例えば、第１記憶領域３４０内において、ライン番号がＳ（ｘ）であって、画像信号記憶領域３５０の、ビット番号がＰ（ｃ）〜Ｐ（ｄ）である複数のビット領域に格納されている画像信号により、図２に示す画素Ａの色や輝度が特定される。また、第１記憶領域３４０内において、ライン番号がＳ（ｘ）であって、制御信号記憶領域３５２の、ビット番号がＰ（ｅ）〜Ｐ（ｆ）である複数のビット領域に格納されている制御信号により、画素Ａの表示に同期して、前述の各種の制御（匂いの発生、音響効果の制御および環境光の制御）が実行される。
【００７２】
本実施形態においては、画像信号が前述の走査順にシリアルに、かつ、ラインごとにＲＡＭ３１４から読み出されて画像表示装置１５０に送信され、それにより、その画像表示装置１５０は画像を表示する。
【００７３】
さらに、本実施形態においては、その画像信号の読出しに後続して、制御信号（画素ごとに格納されている制御信号）が、その画像信号と同様にして、前述の走査順にシリアルに、かつ、ラインごとにＲＡＭ３１４から読み出される。この制御信号が奥行き信号を含む場合には、その奥行き信号は、画像表示装置１５０に送信され、それにより、画像の立体的表示に利用される。
【００７４】
また、その制御信号が、匂いを制御するための信号を含む場合には、その信号が匂い発生装置２２２に送信される。また、その制御信号が、音響を制御するための信号を含む場合には、その信号が音響装置２２４に送信される。また、その制御信号が、環境光を制御するための信号を含む場合には、その信号が照明装置２２６に送信される。
【００７５】
前述のように、第１記憶領域３４０と第２記憶領域３４２との境界は、ライン番号Ｓ（Ｍ）によって特定される。また、画像信号記憶領域３５０と制御信号記憶領域３５２との境界は、ビット番号Ｐ（ａ）によって特定される。図１に示すように、コンピュータ３０２は、ライン番号をカウントするラインカウンタ３６０と、ビット番号をカウントするビットカウンタ３６２とを備えている。
【００７６】
図３に示すように、第２記憶領域３４２には、制御信号が格納される。この第２記憶領域３４２に格納される制御信号としては、画像表示装置１５０に１フレーム分の画像信号が送信されるごとに、匂い発生装置２２２、音響装置２２４および照明装置２２６に供給することが必要である制御信号が該当する。
【００７７】
この第２記憶領域３４２は、制御信号を格納するためにＲＡＭ３１４に割り当てられている点で、上述の制御信号記憶領域３５２と共通するが、フレーム単位でしか制御信号を格納できない点で、画素単位または走査線単位で制御信号を格納できる制御信号記憶領域３５２とは異なる。
【００７８】
したがって、第１記憶領域３４０の制御信号記憶領域３５２に格納される制御信号としては、画像表示装置１５０によって表示すべき画素に同期させて表示すべき画像の奥行き位置を制御する奥行き信号や、表示すべきフレームＦの走査線Ｋに同期させて音響装置２２４を制御する制御信号が該当する。これに対し、第２記憶領域３４２に記憶される制御信号としては、表示すべきフレームＦに同期して匂い発生装置２２２、音響装置２２４または照明装置２２６を制御する信号が該当する。
【００７９】
次に、画像信号および制御信号のＲＡＭ３１４への格納手順を説明する。
【００８０】
ＲＡＭ３１４に画像信号および制御信号を格納するためには、図示しない信号格納プログラムをＣＰＵ３１０が実行するかまたは信号格納を行う図示しない電子回路（例えば、ラインカウンタ３６０、ビットカウンタ３６２等を含む。）の作動により、表示すべき画像の各画素に対応する画像信号を、第１記憶領域３４０の各画像信号記憶領域３５０に、それの先頭から前述の走査順に格納し、さらに、各画素に対応する制御信号を、制御信号記憶領域３５２に、それの先頭から前述の走査順に格納する。さらに、ＣＰＵ３１０は、同様にして、第２記憶領域３４２にも制御信号を格納する。
【００８１】
このようにして、ＣＰＵ３１０は、表示すべき画像を構成する全画素について、画像信号を画像信号記憶領域３５０に格納することと、制御信号を第１記憶領域３４０の制御信号記憶領域３５２および／または第２記憶領域３４２に格納することとの少なくとも一方を行う。
【００８２】
次に、画像信号および制御信号のＲＡＭ３１４からの読み出し手順を説明する。
【００８３】
図３に示すように、画像信号および制御信号をＲＡＭ３１４から読み出すためには、送信回路３２０が、まず、ライン番号がＳ（０）のライン別記憶領域３４４の画像信号記憶領域３５０から、それの先頭から順に画像信号をシリアルに読み出す。その読出しが完了すると、送信回路３２０は、引き続いて、制御信号記憶領域３５２から制御信号をシリアルに読み出す。それら読み出された画像信号および制御信号は、送信回路３２０により、それら画像信号と制御信号とに共通のインターフェース３２２を介して画像表示装置１５０に送信される。
【００８４】
ライン番号がＳ（０）であるライン別記憶領域３４４からの画像信号および制御信号の読出しが完了した場合には、送信回路３２０は、同様に、ライン番号がＳ（１）であるライン別記憶領域３４４に格納されている画像信号および制御信号を読み出す。以下、同様にして、すべてのライン別記憶領域３４４に記憶されている画像信号および制御信号が送信回路３２０によってシリアルに読み出され、インターフェース３２２を介して画像表示装置１５０に送信される。
【００８５】
ＣＰＵ３１０は、上述の信号格納および送信回路３２０を用いた送信を実行するために、ＲＯＭ３１２に予め記憶されているプログラムを実行するが、そのプログラムは、図７を参照して後に説明するプログラムと共通するため、ここでは詳細な説明を省略する。
【００８６】
画像表示装置１５０は、前記読み出された画像信号に基づいて画像を表示し、さらに、前記読み出された制御信号としての奥行き信号に基づき、その画像の奥行きを再現し、それにより、その画像を立体的に表示する。さらに、匂い発生装置２２２、音響装置２２４および照明装置２２６が、前記読み出された制御信号に基づいて制御されることにより、画像表示装置１５０によって表示される画像に同期して、その画像の臨場感が高められる。
【００８７】
本実施形態においては、画像信号に同期させられるべき制御信号が、その画像信号と共にＲＡＭ３１４に格納されるため、その制御信号は、画像信号と同様にして格納され、さらに、それらに共通のインターフェイス３２２を介して画像信号と同様にして読み出すことができる。そのため、それら画像信号と制御信号とを互いに同期させて、ＲＡＭ３１４に格納したり、ＲＡＭ３１４から読み出したり、ＲＡＭ３１４から外部に送信したりすることが容易になる。
【００８８】
さらに、本実施形態においては、制御信号が画像のフレームごとにフレーム別記憶領域３３０に格納されるため、画像表示装置１５０による各フレームの表示に同期して、制御信号に基づく各種制御を実行することが容易となる。さらに、制御信号が走査線ごとに各ライン別記憶領域３４４に格納されるため、画像表示装置１５０による各走査ラインＫの表示に同期して、制御信号に基づく各種制御を実行することが容易となる。
【００８９】
以上の説明から明らかなように、本実施形態においては、画像表示装置１５０が前記（１）項における「画像表示装置」の一例を構成し、匂い発生装置２２２と、音響装置２２４と、照明装置２２６とがそれぞれ同項における「再現装置」の一例を構成し、フレーム別記憶領域３３０が割り当てられたＲＡＭ３１４が同項における「記憶媒体」の一例を構成し、コンピュータ３０２のうち前述の信号格納プログラムを実行する部分または前述の信号格納用の電子回路が同項における「信号格納部」の一例を構成しているのである。
【００９０】
次に、本発明の第２実施形態を説明する。ただし、本実施形態は、第１実施形態に対し、ＲＡＭ３１４におけるフレーム別記憶領域３３０の構成が異なるのみで、他の要素については、共通するため、共通する要素については、同一の符号または名称を使用して引用することにより、重複した説明を省略し、フレーム別記憶領域３３０の構成についてのみ、詳細に説明する。
【００９１】
第１実施形態においては、図３に示すように、各ライン別記憶領域３４４のうちの上流側に画像信号記憶領域３５０が配置される一方、その下流側に制御信号記憶領域３５２が配置されている。
【００９２】
これに代えて、本実施形態においては、図４に示すように、各ライン別記憶領域３４４のうちの下流側に画像信号記憶領域３５０が配置される一方、その上流側に制御信号記憶領域３５２が配置されている。
【００９３】
このような構成を採用したため、本実施形態によれば、各走査線ごとに制御信号を、画像信号より先にＲＡＭ３１４に格納することと、画像信号より先にＲＡＭ３１４から読み出すことと、画像信号より先に送信することとが容易となる。
【００９４】
次に、本発明の第３実施形態を説明する。ただし、本実施形態は、第１実施形態と共通する要素が多いため、共通する要素については、同一の符号または名称を使用して引用することにより、重複した説明を省略し、異なる要素についてのみ、詳細に説明する。
【００９５】
図５に示すように、本実施形態においては、第１実施形態とは異なり、信号処理装置３００が、画像表示装置４００に接続されている。その画像表示装置４００は、そのユーザの左右の眼の網膜に画像をそれぞれ表示する。そのため、信号処理装置３００は、そのような画像表示装置４００に画像信号および制御信号を、左眼と右眼とについて互いに区別して供給することが必要である。
【００９６】
そのため、図６に示すように、本実施形態においては、ＲＡＭ３１４に、複数のフレーム別記憶領域３３０が、左眼用のフレーム別記憶領域３３０（Ｌ）と右眼用のフレーム別記憶領域３３０（Ｒ）とが交互に並ぶように、割り当てられている。
【００９７】
図５に示すように、画像表示装置４００は、受信回路４０２と、分離回路４０４と、右眼用画像信号出力回路４１０と、右眼用制御信号出力回路４１２と、左眼用画像信号出力回路４２０と、左眼用制御信号出力回路４２２とを備えている。
【００９８】
受信回路４０２は、信号処理装置３００から画像信号（色信号および輝度信号）と制御信号（奥行き信号）とを受信するために、それら画像信号と制御信号とに共通に設けられている。
【００９９】
分離回路４０４は、その受信回路４０２から受信した合成信号を、まず、左眼用の合成信号と、右眼用の合成信号とに分離する。次に、分離された各合成信号を、後述のように、画像信号と制御信号とに分離する。
【０１００】
図５に示すように、画像表示装置４００は、さらに、左眼用レンズ４３０と、その左眼用レンズ４３０を駆動する左眼用レンズ駆動装置４３２と、図示しない右眼用レンズと、その右眼用レンズを駆動する図示しない右眼用レンズ駆動装置とを備えている。それら右眼用レンズおよび右眼用レンズ駆動装置は、左眼用レンズ４３０および左眼用レンズ駆動装置４３２とそれぞれ同様の構成を有するため、図示および文章による説明を省略する。
【０１０１】
前述のように、各ライン別記憶領域３４４（図２および図３に示す。）において、ビット番号がＰ（０）からＰ（ａ）までである画像信号記憶領域３５０に画像信号が格納され、ビット番号がＰ（ａ＋１）からＰ（ｂ）までである制御信号記憶領域３５２に制御信号が格納される。この事実を利用し、分離回路４０４は、信号処理装置３００から受信した信号を、ビットカウンタ３６２のビット番号がＰ（ａ）以下であるか否かにより、画像信号と制御信号とに分離する。
【０１０２】
左眼用画像信号出力回路４２０は、液晶ディスプレイ等の表示器（図示しない）により表示される映像が左眼用レンズ４３０によってユーザ（観察者）の左眼の網膜上に結像するように、信号処理装置３００から受信した画像信号を前記表示器に出力するように設計されている。その画像信号は、各画素の色信号（各色ごとの輝度信号）を含んでいる。
【０１０３】
左眼用レンズ駆動装置４３２は、それに制御信号が供給されると、その制御信号に基づき、左眼用レンズ４３０の位置（例えば、光軸上における位置）を調整するように設計されている。その制御信号は、画像の奥行きを表す奥行き信号を含んでいる。左眼用レンズ駆動装置４３２が左眼用レンズ４３０を前後（図５において矢印で示す方向）に移動させることにより、その左眼用レンズ４３０の焦点位置をずらすと、ユーザ（観察者）は、自己の眼の焦点を合わせるために、眼球内のレンズの焦点距離を調整する。
【０１０４】
これにより、ユーザは、画像表示装置４００による表示画像を立体的に知覚することが可能となる。さらに、この画像表示装置４００によれば、単に通常の３次元ディスプレイにおいて行われている視差による立体映像を表示するだけでなく、ユーザ（観察者）に輻輳のずれが少なく、より臨場感を有する映像を表示することができる。また、ユーザの眼の疲労も少なくなる。
【０１０５】
左眼用レンズ４３０の位置調整のために、左眼用制御信号出力回路４２２は、信号処理装置３００から受信した制御信号を左眼用レンズ駆動装置４３２に供給する。それにより、左眼用レンズ４３０の焦点位置が、制御信号によって表される画像の奥行きが実現されるように、調整される。
【０１０６】
次に、特に図７を参照することにより、信号処理装置３００が画像信号および制御信号をＲＡＭ３１４から送信するための信号処理と、その送信された画像信号および制御信号を画像表示装置４００が受信して分離して画像を表示するための信号処理とを詳細に説明する。
【０１０７】
ただし、上述の信号処理は、その内容が左眼用フレーム別記憶領域３３０（Ｌ）と右眼用フレーム別記憶領域３３０（Ｒ）とで共通するため、それら左眼用フレーム別記憶領域３３０（Ｌ）と右眼用フレーム別記憶領域３３０（Ｒ）との一方のみについて、詳細に説明し、他方については、重複した説明を省略する。
【０１０８】
なお付言するに、図７には、上述の信号処理がフローチャートで表されているが、この信号処理は、信号処理装置３００のコンピュータ３０２および／または画像表示装置４００の図示しないコンピュータによって特定のプログラムが実行されることによって実行することが可能である。
【０１０９】
上述の信号処理においては、まず、ステップＳ１（以下、単に「Ｓ１」で表す。他のステップについても同じとする。）において、分離回路４０４の設定が初期化される。次に、Ｓ２において、信号処理装置３００においてコンピュータ３０２への垂直同期信号の入力が待たれ、入力があった場合には、Ｓ３において、ラインカウンタ３６０に格納されるライン番号がＳ（０）に設定される。
【０１１０】
続いて、Ｓ４において、信号処理装置３００においてコンピュータ３０２への水平同期信号の入力が待たれ、入力があった場合には、Ｓ５において、ビットカウンタ３６２に格納されるビット番号がＰ（０）に設定される。
【０１１１】
その後、Ｓ６において、ラインカウンタ３６０に格納されているライン番号がＳ（Ｍ）以下であるか否かが判定される。そのライン番号がＳ（Ｍ）以下である場合には、Ｓ６の判定がＹＥＳとなる。この場合には、図６に示すように、今回のフレーム別記憶領域３３０のデータ読出位置が、第１記憶領域３４０の最下端に位置するライン番号Ｓ（Ｍ）を有するライン別記憶領域３４４に達していないため、Ｓ７に移行する。
【０１１２】
このＳ７においては、ビットカウンタ３６２のビット番号がＰ（ａ）以下であるか否かが判定される。そのビット番号がＰ（ａ）以下である場合には、Ｓ７の判定がＹＥＳとなり、Ｓ８に移行する。このＳ８においては、ＲＡＭ３１４からの信号が画像信号として、送信回路３２０によってインターフェース３２２を介して画像表示装置４００に送信されるとともに、その送信された信号が画像信号（色信号および輝度信号）として画像表示装置４００によって処理される。
【０１１３】
その後、Ｓ９において、ビットカウンタ３６２のビット番号に１が加算されて、Ｓ７に戻る。Ｓ７ないしＳ９の実行は、ビットカウンタ３６２のビット番号がＰ（ａ）より大きくなって、Ｓ７の判定がＮＯとなるまで、繰り返される。
【０１１４】
ビットカウンタ３６２のビット番号がＰ（ａ）より大きくなった場合には、Ｓ７の判定がＮＯとなり、Ｓ１０において、ＲＡＭ３１４からの信号が制御信号として、送信回路３２０によってインターフェース３２２を介して画像表示装置４００に送信されるとともに、その送信された信号が制御信号（奥行き信号）として画像表示装置４００によって処理される。
【０１１５】
続いて、Ｓ１１において、ビットカウンタ３６２に格納されているビット番号がＰ（ｂ）未満であるか否かが判定される。そのビット番号がＰ（ｂ）未満である場合には、Ｓ１１の判定がＹＥＳとなり、Ｓ９において、ビットカウンタ３６２のビット番号に１が加算されて、Ｓ７に戻る。
【０１１６】
Ｓ７、Ｓ１０、Ｓ１１およびＳ９の実行が何回か繰り返された結果、ビットカウンタ３６２に格納されているビット番号がＰ（ｂ）になった場合には、Ｓ１１の判定がＮＯとなる。この場合には、１ライン分の信号の送信および受信が完了したため、Ｓ１２において、ラインカウンタ３６０に格納されているライン番号に１が加算されて、ステップＳ４に戻る。
【０１１７】
ラインカウンタ３６０のライン番号がＳ（Ｍ）より大きくなると、Ｓ６の判定がＮＯとなり、Ｓ１３に移行する。このＳ１３においては、ラインカウンタ３６０のライン番号がＳ（Ｎ）以下であるか否かが判定される。そのライン番号がＳ（Ｎ）以下である場合には、Ｓ１３の判定がＹＥＳとなり、Ｓ１４において、ＲＡＭ３１４からの信号が制御信号として、送信回路３２０によってインターフェース３２２を介して画像表示装置４００に送信されるとともに、その送信された信号が制御信号として画像表示装置４００によって処理される。
【０１１８】
その後、Ｓ１５において、ビットカウンタ３６２のビット番号がＰ（ｂ）未満であるか否かが判定される。そのビット番号がＰ（ｂ）未満である場合には、Ｓ１５の判定がＹＥＳとなり、Ｓ１６において、ビットカウンタ３６２に格納されているビット番号に１が加算されて、Ｓ１４に戻る。このＳ１４においては、ＲＡＭ３１４からの信号が制御信号として、送信回路３２０によってインターフェース３２２を介して画像表示装置４００に送信されるとともに、その送信された信号が制御信号として画像表示装置４００によって処理される。
【０１１９】
Ｓ１４ないしＳ１６の実行が何回か繰り返された結果、ビットカウンタ３６２に格納されているビット番号がＰ（ｂ）になった場合には、Ｓ１５の判定がＮＯとなる。この場合には、１ライン分の信号の送信および受信が完了したため、Ｓ１２において、ラインカウンタ３６０に格納されているライン番号に１が加算されて、Ｓ４に戻る。
【０１２０】
ラインカウンタ３６０のライン番号がＳ（Ｎ）になった場合には、Ｓ１３の判定がＮＯとなる。この場合には、１つのフレーム別記憶領域３３０の画像信号および制御信号の送信および受信が完了することになる。
【０１２１】
以下、同様にして、すべてのフレーム別記憶領域３３０に記憶されている画像信号および制御信号が画像表示装置４００に送信され、その結果、画像表示装置４００が画像信号および制御信号を処理して画像が表示される。
【０１２２】
以上の説明から明らかなように、本実施形態においては、画像表示装置４００が前記（９）項における「画像表示装置」の一例を構成し、信号処理装置３００が同項における「信号処理装置」の一例を構成し、ＲＡＭ３１４が同項における「記憶媒体」の一例を構成し、コンピュータ３０２が同項における「第１格納部」の一例と「第２格納部」の一例とを含むように構成されているのである。
【０１２３】
次に、本発明の第４実施形態を説明する。ただし、本実施形態は、第３実施形態に対し、ＲＡＭ３１４におけるフレーム別記憶領域３３０の構成が異なるのみで、他の要素については、共通するため、共通する要素については、同一の符号または名称を使用して引用することにより、重複した説明を省略し、フレーム別記憶領域３３０の構成についてのみ、詳細に説明する。
【０１２４】
第３実施形態においては、図６に示すように、ＲＡＭ３１４に、複数のライン別記憶領域３４４が、左眼用フレーム別記憶領域３３０（Ｌ）と右眼用フレーム別記憶領域３３０（Ｒ）とが交互に、かつ、一定の順序で並ぶように、割り当てられている。いずれのフレーム別記憶領域３３０にも、左眼用フレーム別記憶領域３３０（Ｌ）と右眼用フレーム別記憶領域３３０（Ｒ）とを互いに識別するための制御信号Ｓは格納されていない。
【０１２５】
これに代えて、本実施形態においては、図８に示すように、各ライン別記憶領域３４４のうちの下流側に画像信号記憶領域３５０が配置される一方、その上流側に制御信号記憶領域３５２が配置されている。その制御信号記憶領域３５２に、左眼用フレーム別記憶領域３３０（Ｌ）と右眼用フレーム別記憶領域３３０（Ｒ）とを互いに識別するための制御信号Ｓが格納される。
【０１２６】
このような構成を採用したため、本実施形態によれば、例えば分離回路４０４において、各フレーム別記憶領域３３０において先頭に格納された制御信号Ｓが最初に参照されることにより、今回注目されるフレーム別記憶領域３３０が、左眼用フレーム別記憶領域３３０（Ｌ）と右眼用フレーム別記憶領域３３０（Ｒ）とのいずれに該当するかの判定を簡単かつ確実に行うことが容易となる。
【０１２７】
次に、本発明の第５実施形態を説明する。ただし、本実施形態は、図１を参照して前述した第１実施形態と共通する要素が多いため、共通する要素については、同一の符号または名称を使用して引用することにより、重複した説明を省略し、異なる要素についてのみ、詳細に説明する。
【０１２８】
第１実施形態においては、図１に示すように、信号処理装置３００が、画像表示装置１５０に接続され、さらに、その画像表示装置１５０による表示画像を観察者が観察する環境を制御する環境制御装置として、匂い発生装置２２２、音響装置２２４および照明装置２２６に接続される。
【０１２９】
これに対し、本実施形態においては、図９に示すように、画像表示機能と、環境制御機能とを有し、ユーザに特定のシーンをよりリアルに連想させるべく物理現象を再現する再現システム５００に信号処理装置３００が接続されている。
【０１３０】
そのため、本実施形態においては、信号処理装置３００が、画像表示のための画像信号と、環境制御のための制御信号とを、第３実施形態と同様にして、ＲＡＭ３１４に、互いに位置的に関連付けて格納し、さらに、それら画像信号と制御信号とを、それらに共通の送信回路３２０およびインターフェース３２２を用いて、再現システム５００に送信する。信号処理装置３００は、それら画像信号と制御信号とが合成された合成信号を再現システム５００に送信する。
【０１３１】
図９に示すように、その再現システム５００は、信号処理装置３００からシリアルに受信する合成信号を画像信号と制御信号とに分離する分離回路５０４を備えている。その分離回路５０４は、第３実施形態と同様にして信号の分離を行う。この分離回路５０４は、例えば、信号処理回路３００のコンピュータ３０２が、図７に示すプログラムに類似のプログラムを実行することとの共同作用により、信号の分離を行う。
【０１３２】
再現システム５００は、さらに、画像制御回路５０６と、環境制御回路５０８とを備えている。再現システム５００は、さらに、画像表示装置としてのプロジェクタ５１０と、環境制御装置としての椅子駆動装置５１２とを備えている。
【０１３３】
プロジェクタ５１０は、よく知られているように、画像信号に基づき、その画像信号を反映した光をスクリーン５２０に投影することにより、画像を表示する。この機能を果たすため、画像制御回路５０６は、分離回路５０４から受信した画像信号をプロジェクタ５１０に供給する。
【０１３４】
椅子駆動装置５１２は、プロジェクタ５１０による表示画像を観察する観察者が座る椅子５２２（またはフロア）を、空間に定義されたｘｙｚ直交座標系における任意の方向に移動または任意の座標軸まわりに回転させる。それにより、観察者は、観察中、直線または回転運動、振動、衝撃、傾斜等を体験することが可能となる。この機能を果たすため、環境制御回路５０８は、分離回路５０４から受信した制御信号を椅子駆動装置５１２に供給する。
【０１３５】
プロジェクタ５１０と椅子駆動装置５１２とには画像信号と制御信号とがそれぞれ、互いに同期する状態で、画像制御回路５０６と環境制御回路５０８とから供給される。その結果、プロジェクタ５１０による画像の表示に同期して、椅子駆動装置５１２による椅子５２２の制御が行われる。よって、その画像の観察者は、その観察中、表示画像に同期した椅子５２２の動きにより、高い臨場感を感じることが可能となる。
【０１３６】
以上の説明から明らかなように、本実施形態においては、プロジェクタ５１０が前記（１）項における「画像表示装置」の一例を構成し、椅子駆動装置５１２が同項における「再現装置」の一例を構成し、フレーム別記憶領域３３０が割り当てられたＲＡＭ３１４が同項における「記憶媒体」の一例を構成し、コンピュータ３０２のうち図７に示すプログラムに相当するプログラムを実行する部分が同項における「信号格納部」の一例を構成しているのである。
【０１３７】
さらに、本実施形態においては、プロジェクタ５１０が前記（１０）項における「画像表示装置」の一例を構成し、信号処理装置３００が同項における「信号処理装置」の一例を構成し、ＲＡＭ３１４が同項における「記憶媒体」の一例を構成し、コンピュータ３０２が同項における「信号格納部」の一例を構成しているのである。
【０１３８】
次に、本発明の第６実施形態を説明する。ただし、本実施形態は、図５を参照して前述した第２実施形態と共通する要素が多いため、共通する要素については、同一の符号または名称を使用して引用することにより、重複した説明を省略し、異なる要素についてのみ詳細に説明する。
【０１３９】
図１０に示すように、本実施形態においては、信号処理装置３００に画像表示装置としての網膜走査型ディスプレイ（以下、「ＲＳＤ」と略称する。）６００が接続されている。このＲＳＤ６００は、色別の輝度信号に基づいて各色の画像光の強度を変調し、その強度変調された画像光を被変調光として、それの波面曲率を奥行き信号に基づいて変調する。このＲＳＤ６００は、画像光を観察者の眼の網膜上に直接に投影し、その画像光を網膜上において走査することにより、観察者が画像を立体的に知覚することを可能にする。
【０１４０】
そのため、本実施形態においては、信号処理装置３００が、色別の輝度信号を含む画像信号と、奥行き信号を含む制御信号とが合成された合成信号をＲＳＤ６００に送信する。そのＲＳＤ６００は、その合成信号を受信回路４０２において受信する。その受信された合成信号はその後、分離回路４０４に供給され、画像信号と制御信号、すなわち、輝度信号と奥行き信号とに分離される。
【０１４１】
図１０に示すように、ＲＳＤ６００は、さらに、信号処理回路６０２と、光源部６０４と、波面曲率変調部６０６と、走査部６０８とを備えている。信号処理回路６０２は、分離回路４０４からパラレルに供給された画像信号と奥行き信号とに基づき、光源部６０４による強度変調と、波面曲率変調部６０６による波面曲率変調とをそれぞれ制御する。
【０１４２】
図１０に示すように、光源部６０４は、光源として、赤色光源６１０、緑色光源６１２および青色光源６１４を備えている。この光源部６０４は、さらに、光源ドライバとして、赤色光源ドライバ６２０、緑色光源ドライバ６２２および青色光源ドライバ６２４を備えている。
【０１４３】
この光源部６０４は、さらに、コリメータレンズ６３０，６３２，６３４と、波長選択性ミラー６４０，６４２，６４４と、フォーカスレンズ６５０とを備えている。
【０１４４】
信号処理回路６０２は、分離回路４０４から出力される画像信号に基づき、赤色光源６１０、緑色光源６１２および青色光源６１４をそれぞれ駆動する赤色光源ドライバ６２０、緑色光源ドライバ６２２および青色光源ドライバ６２４に対して、それぞれの色に対応する強度変調信号を出力する。
【０１４５】
図１０に示すように、波面曲率変調部２０８は、凸レンズ６５２と、位置可変ミラー６５４と、ミラー駆動部６５６と、ハーフミラー６５８とを備えている。前述の光源部６０４のフォーカスレンズ６５０から出射した被変調光Ｈは、光ファイバ６６０を介してハーフミラー６５８に伝送される。そのハーフミラー６５８は、波面曲率変調部２０８への被変調光Ｈの入口である。
【０１４６】
図１１に示すように、位置可変ミラー６５４は、凸レンズ６５２の光軸上に設けられている。この位置可変ミラー６５４は、凸レンズ６５２の焦点位置ｆと、この焦点位置ｆから凸レンズ６５２に接近した位置ａとの間を移動可能に設けられている。図１１において位置ｂは、位置ａと焦点位置ｆとの中間の位置である。図１１には、位置可変ミラー６５４が、それの反射面が位置ａに位置する状態で示されている。
【０１４７】
図１１に示すように、位置可変ミラー６５４が凸レンズ６５２の焦点位置ｆより凸レンズ６５２側にある位置ａに位置する場合には、図１０において実線で示すように、観察者は画像を観察者の近傍の位置Ｐ１において知覚する。その理由は次の通りである。
【０１４８】
図１１に示す例においては、位置可変ミラー６５４が、凸レンズ６５２の焦点ｆの内側に位置している。そのため、図１１において一点鎖線で示すように、凸レンズ６５２側から位置可変ミラー６５４に向けて平行光として出射した被変調光Ｈは、その位置可変ミラー６５４において反射されて拡散光に変換される。このように拡散光に変換された被変調光Ｈが観察者の眼Ｗに入射すると、観察者は画像を図１０における位置Ｐ１において知覚する。
【０１４９】
これに対し、位置可変ミラー６５４が凸レンズ６５２の焦点位置ｆに位置する場合には、その位置可変ミラー６５４から反射した被変調光Ｈは平行光として観察者の眼Ｍに入射する。その結果、観察者は、図１０において破線で示すように、画像を遠方の位置Ｐ２において知覚する。
【０１５０】
図１１に示すミラー駆動部６５６は、例えば圧電素子を用いて形成される。ミラー駆動部６５６を圧電素子を用いて形成する場合には、例えば、圧電素子の複数の面のうち電界印加方向と交差する面に前述の位置可変ミラー６５４を取り付けることが可能である。
【０１５１】
この例においては、その圧電素子に印加する電圧すなわち電界を変化させれば、その圧電素子の厚さが変化する。その圧電素子の厚さが変化すれば、位置可変ミラー６５４を凸レンズ６５２から離間させたり凸レンズ６５２に接近させることができ、その結果、位置可変ミラー６５４を前述の位置ａ、位置ｂおよび焦点位置ｆのうちの任意のものに移動させることができる。
【０１５２】
位置可変ミラー６５４の位置は、奥行き信号Ｖに基づいて制御される。具体的には、信号処理回路６０２から奥行き信号Ｖがドライバ６６２に出力され、そのドライバ６６２がその奥行き信号に基づいてミラー駆動部６５６を制御する。そのミラー駆動部６５６により、奥行き信号Ｖを反映した位置に位置可変ミラー６５４が制御される。したがって、奥行き信号Ｖを変更することにより、表示されるべき画像の奥行き位置を、例えば、図１０に示す位置Ｐ１と位置Ｐ２との間における任意の位置に変化させることができる。
【０１５３】
図１０に示すように、走査部２０６は、水平走査ミラー６７０と、リレーレンズ（例えば、凸レンズ）６７２，６７４と、垂直走査ミラー６８０と、リレーレンズ（例えば、凸レンズ）６８２，６８４とを備えている。
【０１５４】
図１０に示すように、水平走査ミラー６７０は、回転軸Ｌ１まわりに回転可能に設けられている。この水平走査ミラー６７０は、ハーフミラー６５８から出射した被変調光Ｈを、この水平走査ミラー６７０の回転位置に応じた方向へ反射する。この水平走査ミラー６７０の回転は、前述の水平同期信号に基づいて制御される。
【０１５５】
垂直走査ミラー６８０は、回転軸Ｌ２まわりに揺動可能に設けられている。この垂直走査ミラー６８０の回転は、前述の垂直同期信号に基づいて制御される。
【０１５６】
リレーレンズ６７２，６７４は、水平走査ミラー６７０から反射した被変調光Ｈを垂直走査ミラー６８０に伝送する。リレーレンズ６８２，６８４は、垂直走査ミラー６８０から反射した被変調光Ｈを網膜に伝送する。
【０１５７】
ＲＳＤ６００は、リレーレンズ６８２，６８４から出射した被変調光Ｈ（画像光）を観察者の眼の網膜上に投影する投影部６９０を備えている。その投影部６９０は、眼のすぐ前方に配置されるミラー（全反射ミラーまたはハーフミラー）６９４を有しており、そのミラー６９４により、リレーレンズ６８２，６８４から出射した画像光を網膜に向かって反射させて、その画像光を網膜上に結像させる。
【０１５８】
したがって、本実施形態によれば、信号処理装置３００において、前述のように、同一のフレーム別記憶領域３３０に記憶された画像信号Ｇと制御信号としての奥行き信号Ｖとが、同一のインターフェース３２２を介して読み出されてＲＳＤ６００に入力されるため、ＲＳＤ６００において、それら画像信号Ｇと奥行き信号Ｖとを互いに同期させることが容易となる。
【０１５９】
なお付言するに、ＲＳＤ６００に記憶媒体を設け、その記憶媒体に、信号処理装置３００のＲＡＭ３１４のフレーム別記憶領域３３０と同様の記憶領域を設けてもよい。
【０１６０】
以上の説明から明らかなように、本実施形態においては、ＲＳＤ６００が前記（１０）項に係る「画像表示装置」の一例を構成し、信号処理装置３００が同項における「信号処理装置」の一例を構成し、ＲＡＭ３１４が同項における「記憶媒体」の一例を構成し、コンピュータ３０２が同項における「信号格納部」の一例を構成しているのである。
【０１６１】
以上、本発明の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、前記［発明の開示］の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【図面の簡単な説明】
【０１６２】
【図１】本発明の第１実施形態に従う信号処理装置３００をそれのいくつかの周辺装置と共に概念的に表すブロック図である。
【図２】図１におけるＲＡＭ３１４の構成を画像のフレーム構成に関連付けて概念的に表す図である。
【図３】図２におけるＲＡＭ３１４の構成をさらに詳細に概念的に表す図である。
【図４】本発明の第２実施形態に従う信号処理装置３００におけるＲＡＭ３１４の構成を概念的に表す図である。
【図５】本発明の第３実施形態に従う信号処理装置３００を画像表示装置４００と共に概念的に表すブロック図である。
【図６】図５におけるＲＡＭ３１４の構成を概念的に表す図である。
【図７】図５に示す信号処理装置３００および画像表示装置４００における信号処理を概念的に説明するためのフローチャートである。
【図８】本発明の第４実施形態に従う信号処理装置３００におけるＲＡＭ３１４の構成を概念的に表す図である。
【図９】本発明の第５実施形態に従う信号処理装置３００を再現システム５００と共に概念的に表すブロック図である。
【図１０】本発明の第６実施形態に従う信号処理装置３００と共に使用される網膜走査型ディスプレイ６００を概念的に表す系統図である。
【図１１】図１０における波面曲率変調部６０６を拡大して示す側面図である。
【符号の説明】
【０１６３】
１５０  画像表示装置
２２２  匂い発生装置
２２４  音響装置
２２６  照明装置
３０２  コンピュータ
３１４  ＲＡＭ
３３０  フレーム別記憶領域
【図１】
2005210700.tif 000003
【図２】
2005210700.tif 000004
【図３】
2005210700.tif 000005
【図４】
2005210700.tif 000006
【図５】
2005210700.tif 000007
【図６】
2005210700.tif 000008
【図７】
2005210700.tif 000009
【図８】
2005210700.tif 000010
【図９】
2005210700.tif 000011
【図１０】
2005210700.tif 000012
【図１１】
2005210700.tif 000013