(57)【特許請求の範囲】
【請求項１】
観察者の頭部の運動を検出するヘッドトラック手段と、前記ヘッドトラック手段の検出結果に基づいて映像データを生成し該映像データを表示手段に与える映像生成手段とを有する映像観察装置において、
前記ヘッドトラック手段により検出される頭部回転運動の角速度を、実質静止状態と、所定の角速度条件により複数の角速度に分類すると共に、
前記映像生成手段における前記ヘッドトラック手段により三次元的に検出された頭部位置における頭部の前方方向の映像を生成するための一フレーム毎の映像生成時間を、一フレームあたりの画像データ量を前記分類に従って多段階に削減することにより、前記分類された頭部回転運動の角速度が速いほど、より短縮するよう制御する制御手段とを有することを特徴とする映像観察装置。
【請求項２】
更に撮像手段を有し、前記映像生成手段は前記撮像手段の撮像データを用いて前記映像データを生成することを特徴とする請求項１に記載の映像観察装置。
【請求項３】
前記制御手段は、Ｖθ≧２×Ｙ／Ｘとなる場合は映像生成時間を所定の時間より短くすることを特徴とする請求項１又は２に記載の映像観察装置。
尚、上記式において、Ｖθ（゜/sec）はヘッドトラック手段の検出結果から算出される頭部の回転運動の角速度、Ｘ（1/゜）は表示手段による表示映像の網膜上の視角１゜に存在する画素数、Ｙ（1/sec）はフレームレートとする。
【請求項４】
前記制御手段は前記ヘッドトラック手段から送られてくる第１のヘッドトラック信号が実質静止状態以外に分類された場合、第２のヘッドトラック信号を取得し、第２のヘッドトラック信号に応じて映像生成時間を前記分類された頭部回転運動の角速度が速いほど、より短くすることを特徴とする請求項１乃至３いずれかに記載の映像観察装置。
【請求項５】
前記制御手段は映像データにおける１画素あたりの色数を制御することにより映像生成時間を制御することを特徴とする請求項１乃至４いずれかに記載の映像観察装置。
【請求項６】
前記制御手段は一つの映像データに対応する画素数を制御することにより映像生成時間を制御することを特徴とする請求項１乃至５いずれかに記載の映像観察装置。
【請求項７】
前記撮像手段と処理手段とを備える撮像装置を有し、前記制御手段は前記ヘッドトラック手段の検出結果に応じて前記処理手段を制御し、前記処理手段は前記制御手段から送られてくる信号に基づいてデータ量を制御してから前記映像生成手段に撮像データを伝送することを特徴とする請求項２に記載の映像観察装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ヘッドトラック機能を有する映像観察装置に関するもので、特に観察者に仮想現実感を提供するヘッドマウントディスプレイ（ＨＭＤ）などの映像観察装置に関するものである。
【０００２】
【従来の技術】
従来からヘッドトラック機能を有する映像観察装置として、頭部の動きに対応させてコンピュータグラフィックス（ＣＧ）から適当な映像を表示するＣＧ映像観察装置や、ヘッドトラック信号に合わせてカメラを遠隔操作し、その撮影映像をＨＭＤで観察するといった遠隔操作システムが知られている。
【０００３】
このように、映像観察装置においてヘッドトラック機能を搭載させることにより、より臨場感溢れる映像を表示することが可能となった。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来技術の映像観察装置においては、頭部の動きと表示映像がずれてしまうという問題点がある。なぜなら、頭部の動きを検出してからその検出結果に基づく表示を行うまでにある一定の処理時間を有するからである。頭部がほぼ静止状態にある場合は、頭部の動きと表示映像がずれても、観察者はこのずれをほとんど認識できないので問題ない。
【０００５】
しかしながら、観察者の頭部の動きが速い場合はずれを認識できるようになる。このようなずれ（視覚情報と体感加速度のずれ）は、観察者の前庭感覚により心理的に不快感や嘔吐感を与える。尚、頭部の動きが速いほど表示映像のずれは大きくなり観察者が感じる不快感や嘔吐感も大きくなる。
【０００６】
本発明は、観察者が感じる頭部の動きと表示映像のずれをできるだけ小さくする映像観察装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の映像観察装置は、観察者の頭部の運動を検出するヘッドトラック手段と、前記ヘッドトラック手段の検出結果に基づいて映像データを生成し該映像データを表示手段に与える映像生成手段とを有する映像観察装置において、前記ヘッドトラック手段により検出される頭部回転運動の角速度を、実質静止状態と、所定の角速度条件により複数の角速度に分類すると共に、前記映像生成手段における前記ヘッドトラック手段により三次元的に検出された頭部位置における頭部の前方方向の映像を生成するための一フレーム毎の映像生成時間を、一フレームあたりの画像データ量を前記分類に従って多段階に削減することにより、前記分類された頭部回転運動の角速度が速いほど、より短縮するよう制御する制御手段とを有する構成とする。
【０００８】
上記構成においては、まずヘッドトラック手段により頭部運動を検出する。映像生成手段では、前記ヘッドトラック手段の検出結果に応じた映像データを生成する。つまり、頭部運動に追従させた映像データを生成する。そして、制御手段では、前記映像生成手段における映像生成時間を制御する。映像生成時間を速くする制御がなされると、ヘッドトラック信号が検出されてからその検出結果に基づく映像が表示されるまでの時間が短縮されることになる。よって、表示映像と頭部方向のずれが低減されることになる。
【０００９】
尚、頭部運動としては、回転運動や前後、左右への運動など全ての頭部運動を含む。よって、ヘッドトラック手段の検出結果に応じて頭部位置を三次元的に算出するように制御することは可能である。この場合、映像生成手段は元データから視差情報を有する左右の眼に対応する映像データを生成する処理を行うことになる。制御手段は、この映像生成時間を制御する。
【００１０】
請求項２に記載の発明においては、請求項１に記載の映像観察装置において、更に撮像手段を有し、前記映像生成手段は前記撮像手段の撮像データを用いて前記映像データを生成する構成とする。
【００１１】
上記構成においては、撮像手段により前記ヘッドトラック手段の検出結果に応じた方向の被写体が撮像される。この撮像データを用いて、映像生成手段では映像データを生成する。制御手段では、前記映像生成手段における映像生成時間を制御する。
【００１２】
請求項３に記載の発明は、請求項１又は２に記載の映像観察装置において、前記制御手段は、Ｖθ≧２×Ｙ／Ｘとなる場合は映像生成時間を所定の時間より短くする構成とする。尚、上記式において、Ｖθ（゜/sec）はヘッドトラック手段の検出結果から算出される頭部の回転運動の角速度、Ｘ（1/゜）は表示手段による表示映像の網膜上の視角１゜に存在する画素数、Ｙ（1/sec）はフレームレートとする。
【００１３】
頭部の回転運動の角速度が大きいほど、頭部位置と表示映像のずれを観察者が認識できる。よって、上記構成においては、制御手段は頭部の回転運動の角速度に応じて前記映像生成手段における映像生成時間を短くするか否かを決定するようにする。このような制御により、頭部が微動しかせず観察者がずれを認識できないような場合は、映像生成時間を短くする制御が行われない。一方、頭部の回転運動の角速度がある一定値以上の場合は、観察者はずれを認識できることになるので、映像生成時間を短くして表示映像と頭部方向のずれを低減させる。尚、前記一定値の２×Ｙ／Ｘとは、１フレーム間である物体が２画素ずれて観察される頭部角速度を表している。
【００１４】
請求項４に記載の発明は、請求項１乃至３いずれかに記載の映像観察装置において、前記制御手段は前記ヘッドトラック手段から送られてくる第１のヘッドトラック信号が実質静止状態以外に分類された場合、第２のヘッドトラック信号を取得し、第２のヘッドトラック信号に応じて映像生成時間を前記分類された頭部回転運動の角速度が速いほど、より短くする制御を行う構成とする。
【００１５】
制御手段は通常第１のヘッドトラック信号を検出して、この信号に基づいて後段の制御を行う。そして、所定の表示タイミングで映像が表示されることになる。ここで、第１のヘッドトラック信号より映像生成時間の短縮量が想定され、第１のヘッドトラック信号より短縮時間をシフトさせたタイミングで発生する第２のヘッドトラック信号を検出しこの信号に基づいて後段の制御を行い、所定の表示タイミングで映像が表示されるようにすると、より最新のヘッドトラック情報に基づいて制御することになるので、表示映像と頭部位置のずれが小さくなる。このような制御は頭部運動の速度が大きいほど有効となる。
【００１６】
請求項５に記載の発明は、請求項１乃至４いずれかに記載の映像観察装置において、前記制御手段は映像データにおける１画素あたりの色数を制御することにより映像生成時間を制御する構成とする。
【００１７】
上記構成においては、例えば映像データの１画素あたりの色数を減らすことでデータ量が減りその分映像生成時間を短くできる。尚、眼球の追従運動は３５（゜/sec）までと言われていることから、頭部運動の速度がある値以上のときは焦点調節が固定または機能していないことになる（見えていても、色や物体のエッジの認識力は低下している）。よって、色数を減らしても観察者は違和感を感じない。
【００１８】
請求項６に記載の発明は、請求項１乃至５いずれかに記載の映像観察装置において、前記制御手段は一つの映像データに対応する画素数を制御することにより映像生成時間を制御する構成とする。
【００１９】
上記構成においては、例えば一つの映像データに対応する画素数を増やすことで少ない映像データで１画面の映像を表すことができる。メモリに記憶されている元データから１画面の映像データを再生する際には、画素データを間引くことで再生時間が短縮される。また、データ量が少なくなるので、伝送する際には伝送時間が短くなる。つまり、映像生成時間が短縮される。請求項５の制御と同様に、頭部回転運動の角速度がある値以上のときは、上記制御がなされても観察者は違和感なく映像を観察できる。
【００２０】
請求項７に記載の発明は、請求項２に記載の映像観察装置において、前記撮像手段と処理手段とを備える撮像装置を有し、前記制御手段は前記ヘッドトラック手段の検出結果に応じて前記処理手段を制御し、前記処理手段は前記制御手段から送られてくる信号に基づいてデータ量を制御してから前記映像生成手段に撮像データを伝送する構成とする。
【００２１】
上記構成においては、撮像装置内で、撮像手段により撮像されたデータのデータ量が制御された後映像生成手段に伝送される。よって、撮像装置と映像生成手段間の伝送データ量を少なくすることができる。伝送データ量が少ない場合は、データの伝送時間が短縮されることになる。また、撮像装置と映像生成手段間の伝送量を減らすことで、無線での通信が可能となり、撮像装置を遠隔で操作する映像観察装置とすることができる。
【００２２】
【発明の実施の形態】
〈第１の実施形態〉
図１は、本発明の第１の実施形態のＨＭＤの全体構成を示した図である。本装置は、映像表示部１とワークステーション（処理手段）２から成る。映像表示部１には、映像を表示する表示手段３と、音声を提供する音声提供手段４と、頭部の回転運動の角加速度を検出するヘッドトラック手段５が構成されている。
【００２３】
映像表示部１を頭部に装着すると、表示手段３は目の前に、音声提供手段４は耳近傍に配される。６は、観察者が観察する映像を例示したものである。ワークステーション２は、制御手段７と映像生成手段８を備えている。
【００２４】
図２に、本装置の概略ブロック図を示す。ヘッドトラック手段５で検出されたヘッドトラック信号は、制御手段７へ送られる。制御手段７では、ヘッドトラック信号に基づいて頭部回転運動の角速度を計算したり、角速度より頭部方向を算出したり、制御信号を生成したりする。そして、映像生成手段８に頭部方向位置のデータなどを含む制御信号を出力する。
【００２５】
映像生成手段８では、制御信号に基づいて映像生成を行う。映像の元データとしては、例えばコンピュータグラフィックスのデータなどを用いる。または、メモリーに蓄積された全天周のデータを用いる。映像生成手段８は、これら元データから制御信号に基づいて表示視野角分の画像を読み出す。そして、画像データを映像データに変換して表示手段３に送る。映像データは表示手段３で表示される。以下、制御信号を受信してから映像データを生成するまでの映像生成手段８における一連の処理を、映像生成処理ということにする。
【００２６】
本実施形態の映像観察装置においては、観察者頭部の回転運動の所定の速度条件に基づく分類に応じて映像生成時間を短縮する（処理時間短縮制御）。以下、所定の速度条件について説明する。
【００２７】
制御手段７は検出したヘッドトラック信号に基づいて、まず、頭部回転運動の水平成分の角速度Ｖθh(゜／sec)、垂直成分の角速度Ｖθv(゜／sec)を計算する。そして、この値より合成角速度Ｖθを算出する。ＶθはＶθ＝（Ｖθh2＋Ｖθv2）1/2となる。このＶθを用いて頭部回転角速度を以下のように分類分けする。
【００２８】
（イ）静止状態：Ｖθ＜２×Ｙ／Ｘ
（ロ）低速度：２×Ｙ／Ｘ≦Ｖθ≦１５
（ハ）中速度：１５≦Ｖθ≦３０
（ニ）高速度：Ｖθ≧３０
【００２９】
尚、上記分類式においてＸ（1／゜）は網膜上の視角１゜に存在する表示映像の画素数、Ｙ（1/sec）はフレームレートを表す。
【００３０】
表示映像上で不動の物体が１フレームで１画素ずれて観察されるとき、ＶθはＹ／Ｘである。このような超低速時では、眼球は映像の追従ができており画面上の物体を注視している状態と考えられ、細かな色・形状の判別を行える。例えば、ＶＧＡ（６４０×４８０）の３０万画素（ＲＧＢでは９０万画素）のＬＣＤ素子を表示素子とし、観察者の視野角を４０゜とすると、Ｘは１６（1／゜）となる。フレームレート（Ｙ）を６０（1/sec）とすると、Ｙ／Ｘは３．７５となる。つまり、Ｖθ＝３．７５（゜/sec）のときに、１フレームである物体が１画素ずれて観察される。
【００３１】
また、移動物体をゆっくりと追跡する際に生じる低速で平滑な眼球運動である眼球の追従運動は３０〜３５゜/sec以下と言われている。以上のことを踏まえて上記の速度条件を採用した。
【００３２】
次に、上記速度条件に基づく処理時間短縮制御について説明する。本装置では、検出した速度の情報（分類）に応じて画像データの色数を決定する。速度の分類が（ニ）の高速度である場合に最も少ない色数とし（多くのビットを落とし）、静止状態（イ）ではビット数を落とすことなく通常の８ビットデータとする。ビット数を落として色数を減らすと、同一の映像生成手段８での処理時間を短くすることができる。
【００３３】
図３を用いて、色数の低減について詳細に説明する。色数の低減は具体的には画像データ１画素あたりのビットの桁数を減らすことによる。映像生成手段８にはＣＧの映像やカメラで撮影した映像が圧縮して保存されており、それらの画像データは本実施形態では８ビットデータである。
【００３４】
映像生成手段８では、制御手段７から送られてくる色数低減信号を含む制御信号の指示に従って保存されているデータから必要なデータを再生する。図３（ａ）は、色数低減信号に基づいて再生された画像データを表す。尚、画像データは、表示手段３へは８ビットのデータとしてしか送信できないので、送信する前に図３（ａ）の画像データを補完する必要がある。補完した画像データを図３（ｂ）に示す。
【００３５】
制御手段７は、頭部回転運動の角速度が静止状態の場合は、８ビットの画像データをそのまま再生するように指示する色数低減信号を映像生成手段８に送信する。この信号に基づいて再生されるデータを図３（ａ）のイ）に示す。再生された画像データは補完する必要がない。
【００３６】
以下、同様に制御手段７は頭部回転運動の角速度が低速度、中速度、高速度の場合において、それぞれ８ビットの画像データの内下２桁、下４桁、下６桁のビットデータを削減して再生するように指示する色数低減信号を生成し映像生成手段８に送信する。この信号に基づいて映像生成手段８で再生された画像データをそれぞれ図３（ａ）のロ）、ハ）、ニ）に示す。表示手段３へ送信時には、削減したビットデータ分に０を補完した映像データに変換する。
【００３７】
削減したビットには常に０が入るので、高速度ほど画像データが表現する階調数（色数）は減るが、その分再生するデータのビット数が少なくなるので画像データ再生時間が短縮される。
【００３８】
本実施形態においては、上記のように色数を削減することにより処理時間を短縮する制御を行っている。尚、映像生成時間の短縮方法はこの方法に限定されない。例えば、画像再生段階で全ての画素のデータを読み込まずにｎ個飛ばして読み込むような指示をするようにしてもよい。そして、読み込まなかった画素のデータは近傍の画素データと同一として画像を再生する。つまり、解像度が小さくなる。このように制御することで、読み込み時間が短くなり映像生成時間が短縮される。
【００３９】
本実施形態における映像時間短縮制御により、高速度ほど映像生成時間が短縮されるので、高速度ほど表示遅れが解消される。尚、表示遅れは高速度ほど観察者に認識されるので、上記のように速度条件を設けて制御することが望ましい。また、表示遅れが解消される分、表示映像の色数が削減され映像の鮮明度は低下するが、頭部の回転運動により、観察者の眼はこのことを認識できるほど映像を追従できない。よって、頭部回転運動時における表示映像の鮮明度の低下は問題とならない。
【００４０】
図４は、本装置における制御内容をブロック毎に簡単に示したフローチャートである。ステップ＃５では、ヘッドトラック手段５は頭部回転角加速度（ヘッドトラック信号）を検出する。そしてこの検出結果を制御手段７に送信する。ステップ＃１０で制御手段７は、送られてきた信号の処理とその処理結果に基づいて信号を生成する。
【００４１】
ステップ＃１５で、映像生成手段８は制御手段７から送られてくる頭部位置情報信号や色数低減信号に基づいて画像データの再生・補完を行う。生成した画像データは映像データにした後表示手段３に送信する。ステップ＃２０で、表示手段３は映像を表示する。
【００４２】
図５に、制御手段７における色数低減信号生成の制御のフローチャートを示す。まず、ステップ＃２５でヘッドトラック信号を入力する。この信号に基づいて頭部回転運動の角速度Ｖθを算出する。ステップ＃３０でＶθ≧３０か否か判定する。Ｖθ≧３０であれば、ステップ＃５５へ進み下６桁削減して画像データを再生することを指示する制御信号１を生成する。
【００４３】
Ｖθ≧３０でない場合は、ステップ＃３５へ進みＶθ≧１５か否か判定する。Ｖθ≧１５であれば、ステップ＃６０へ進み下４桁を削減して画像データを再生することを指示する制御信号２を生成する。
【００４４】
Ｖθ≧１５でない場合は、ステップ＃４０へ進みＶθ≧２×Ｙ／Ｘか否か判定する。Ｖθ≧２×Ｙ／Ｘであれば、ステップ＃６５へ進み下２桁を削減して画像データを再生することを指示する制御信号３を生成する。
【００４５】
Ｖθ≧２×Ｙ／Ｘでない場合は、ステップ＃４５へ進み８ビットの画像データを再生することを指示する制御信号４を生成する。各ステップで生成した制御信号はステップ＃５０で映像生成手段８に送る。映像生成手段８では、上記制御信号とそれ以外にも送られてくる頭部方向情報信号等に基づいて画像生成をする。
【００４６】
〈第２の実施形態〉
図６は、第２の実施形態の映像観察装置の概略ブロック図である。本装置では、映像データの元データとして撮像手段で撮像されたデータを用いる。１０は水平に並んだ２つのカメラからなる撮像手段である。１２は、制御手段７からの指示に従い撮像手段１０を制御したり、撮像データを処理したりする処理手段である。
【００４７】
制御手段７は、ヘッドトラック手段５が検出したヘッドトラック信号に基づいて頭部方向などを算出し、色数低減信号を含む制御信号を処理手段１２へ送る。処理手段１２により制御される撮像手段１０は、頭部運動に連動するように制御されるので、頭部方向の映像を撮像する。１３は、処理手段１２と映像再生手段を結ぶ通信回線である。通信回線１３を介して処理手段１２で圧縮等の処理がされた画像データが映像再生手段に送信される。
【００４８】
９は、送信されてきた画像データの解凍・再生・補完を行う映像再生手段である。映像再生手段９で解凍・再生された画像データは、映像データに変換された後表示手段３に送られ、ここで表示される。尚、本実施形態では処理手段１２と画像再生手段９を合わせて映像生成手段８ということにする。
【００４９】
本装置も、第１の実施形態の装置と同様に、所定の速度条件に基づいて映像生成手段８における処理時間短縮制御がなされる。このとき生成される色数低減信号も第１の実施形態と同じである。ただ、映像生成手段８の構成の違いにより、色数低減信号に基づく映像生成の方法が異なるので、以下このことについて図７のフローチャートを用いて説明する。
【００５０】
まず、ステップ＃７０でヘッドトラック手段５は頭部回転運動の角加速度を検出する。ステップ＃７５で、制御手段７は頭部回転運動の角速度算出後、所定の速度条件に基づいて頭部回転運動の角速度を静止状態、低速度、中速度、高速度に分類する。そして、分類に応じて色数低減信号を生成する。本実施形態では、この色数低減信号を含む制御信号を処理手段１２に送る。ステップ＃８０で処理手段１２は、色数低減信号と頭部方向の情報に基づいてメモリに保存されている撮像データをビット数を削減した画像データに変換する。そして、変換した画像データを圧縮して通信回線１３を使って伝送する。つまり、図３（ａ）に示すようなビット数の画像データが圧縮されて映像再生手段９に送信される。
【００５１】
映像再生手段９では、送信されてきた画像データを解凍したのち図３（ｂ）のように補完する。削減されたビット位置に０を入れることにより補完する。このような一連の処理においては、再生するビット数が少ないほど、通信回線１３による送信が高速にできる。また、映像再生手段９における解凍も高速で行える。つまり、映像生成手段８における映像生成時間が短くなる。よって、第１の実施形態と同様に高速度ほど表示遅れが解消される。
【００５２】
図１１に、撮像装置、映像生成装置、表示装置からなる本実施形態の映像表示装置（図６参照）をそれぞれの装置毎に分けたブロック図として示す。１５、１６、１７はそれぞれ撮像装置、映像生成装置、表示装置である。各装置間では、それぞれの通信手段を介して通信が行われる。
【００５３】
各装置の各手段でなされている処理は、図６を用いて説明したので、説明を省略する。本装置は、映像生成装置１６に撮像データを処理する処理手段１２が含まれるので、撮像装置１５を簡易に構成できる。よって、撮像装置１５は持ち運びやすいものとなる。
【００５４】
尚、本実施形態の各装置の構成を図１１に示したが、各装置の構成はこれに限らない。例えば、図１２に示すような構成（第３の実施形態）であってもよい。
【００５５】
〈第３の実施形態〉
図１２に、装置毎に分けた本実施形態の映像表示装置のブロック図を示す。本実施形態は、撮像手段１０で撮像された撮像データを処理する（具体的には、映像生成装置１６内に構成されている制御手段７から送られてくる色数低減信号に基づいて、撮像データをビット数を削減した画像データに変換する処理等を行う）処理手段１２が、映像生成装置１６内ではなく撮像装置１５内に構成されている点のみが第２の実施形態と異なる。
【００５６】
本実施形態のような構成とすることで、撮像装置１５内でデータが削減されてから映像生成装置１６に送られることになる。つまり、通信回線１８におけるデータ伝送量が少なくなる。よって、通信回線１８を構成することなく無線で通信するようにしてもよい。無線で通信するように構成した場合は、撮像装置１５を遠隔操作することができる。
【００５７】
〈第４の実施形態〉
本実施形態の装置の基本的な構成は、第１の実施形態の装置と同様であるが、ヘッドトラック手段５がモーショントラック手段（位置検出手段）を兼ねる点が異なる。図８に本実施形態の概略ブロック図を示す。モーショントラック手段１４は、観察者の頭部の前後、左右、上下運動など回転運動以外の運動を検出する。つまり、モーショントラック信号から観察者の三次元的な頭部位置を算出することができる。
【００５８】
制御手段７はヘッドトラック信号から頭部回転運動の角速度を算出し、モーショントラック信号から頭部位置の移動速度を算出する。所定の速度条件に基づいて算出した角速度と移動速度を分類分けする。そして、この分類に応じた色数低減信号を生成し、頭部方向情報と頭部位置情報と色数低減信号を含む制御信号を映像生成手段８に送る。
【００５９】
映像生成手段８では、送られてきた信号に基づいて画像データを生成する。このとき、映像生成手段８では予め記憶されている元情報を基に、視差情報を含む左右の眼に対応する画像データを生成し直す。よって、生成する画像データのビット数が少ないほど、短時間で生成することができる。
【００６０】
本装置の制御では頭部回転運動の角速度以外に頭部位置の移動速度も用いられることと、映像生成手段８における前述の映像生成方法が異なる点以外は第１の実施形態と同様の制御が行われるので、その他の説明は省略する。
【００６１】
第１〜第４の実施形態においては、速度条件に応じて映像生成時間（第３の実施形態においては映像伝送時間を含む）を短縮する制御がなされる。このとき、表示タイミングに近いタイミングで検出したヘッドトラック信号に基づいて映像データが生成されるように制御することが望ましい。以下、この制御について図９（第１例）、図１０（第２例）のタイミングチャートを用いて説明する。まず、具体的には図９のタイミングチャートの制御を第１の実施形態の映像観察装置に適用した場合について説明する。
【００６２】
比較のために、映像生成時間短縮制御がなされない第１の実施形態の装置と同一の構成の装置の制御について図９（ａ）にタイミングチャートを示し説明する。尚、図９と後述の図１０のタイミングチャートにおいては、ヘッドトラックサンプリングトリガーと映像表示トリガー、さらに映像生成手段８における映像生成処理に関して示す。
【００６３】
ヘッドトラックサンプリングトリガーは周期Ｔ1で発生する。ヘッドトラックサンプリングトリガーが発生する基準タイミングをｔ1、ｔ2、ｔ3・・・と示す。ヘッドトラックサンプリングトリガーに同期して、ヘッドトラック手段５で発生される頭部角加速度の情報を含むヘッドトラック信号をＡ1、Ａ2、Ａ3・・・とする。
【００６４】
ヘッドトラック信号は制御手段７に送られる。制御手段７は、ヘッドトラック信号から頭部方向などを算出してこれらの情報を制御信号として映像生成手段８に送る。映像生成手段８では、制御信号を基に映像生成処理を行う。
【００６５】
映像生成時間は映像生成手段８の処理能力によって決まる。この装置では、映像生成時間がＴ30であったとする。尚、ヘッドトラックサンプリングトリガーが発生されてから映像生成手段８が映像生成処理にとりかかるまでには、制御手段７において一定の時間を要するが、この時間についてはタイミングチャート上では省略している。
【００６６】
映像生成処理が終了してから一定の待ち時間Ｔ4を経過した後、映像表示トリガーに同期して表示手段３に映像が表示される。映像表示トリガーは周期Ｔ2で発生する。
【００６７】
次に、処理時間短縮制御を採用した第１の実施形態の装置における制御方法について図９（ｂ）にタイミングチャートを示し説明する。ヘッドトラックサンプリングトリガーと映像表示トリガーは図９（ａ）と同じ周期（Ｔ1とＴ2）で発生する。
【００６８】
制御手段７では、まず基準タイミングで発生したヘッドトラック信号（第１のヘッドトラック信号）Ａ1、Ａ2、Ａ3・・・を検出する。そして、このヘッドトラック信号から頭部回転運動の角速度を算出する。算出した頭部回転運動の角速度を前述の所定の速度条件に基づいて静止状態、低速度、中速度、高速度のいずれかに分類する。その分類に従って、基準タイミング外のヘッドトラック信号（第２のヘッドトラック信号）を検出するか否か、また検出する場合には基準タイミングからどれほどずらして検出するか（シフト量をいくつにするか）を決定する。第２のヘッドトラック信号を検出しない場合はシフト量０（ｓ＝０）となる。
【００６９】
上記分類において、静止状態以外に分類された場合は第２のヘッドトラック信号を検出する。第２のヘッドトラック信号の検出のシフト量は低速度で１（ｓ＝１）、中速度で２（ｓ＝２）、高速度で３（ｓ＝３）とする。尚、シフト量が大きいほど基準タイミングからのずれが大きいことを意味する。
【００７０】
図９（ｂ）における具体例を説明する。制御手段７は、基準タイミングがｔ3のときにヘッドトラック信号Ａ３を検出する。計算の結果、このヘッドトラック信号Ａ３から算出される頭部回転運動の速度は低速度に分類されるとする。この場合は、シフト量を１としてヘッドトラックサンプリングトリガーを発生させこのとき発生されるヘッドトラック信号Ａ３’を検出する。尚、基準タイミングで発生されるヘッドトラックサンプリングトリガーと基準タイミング外で発生されるヘッドトラックサンプリングトリガーを区別するために図９（ｂ）中ではそれぞれ黒い太線と白抜きの太線で示す。
【００７１】
制御手段７は、ヘッドトラック信号Ａ３’に基づいて信号処理等を行い制御信号を発生する。尚、色数削減信号はシフト量に基づいて生成する。この制御信号に基づいて映像生成手段８では映像生成を行う。映像生成時間はＴ31となりシフトした分だけＴ30より短くなる。映像生成時間の短縮は前述の映像生成時間短縮制御（色数を削減すること）により達成される。生成された映像データは表示手段３に送られる。待ち時間Ｔ4の経過後、映像表示トリガーの出力に同期させて映像表示が行われる。
【００７２】
他の具体例を示す。基準タイミングがｔ4のときにヘッドトラック信号Ａ４を検出する。計算の結果、このヘッドトラック信号Ａ４から算出される頭部回転運動の速度は中速度に分類されるとする。この場合は、シフト量を２としてヘッドトラックサンプリングトリガーを発生させこのタイミングで発生されるヘッドトラック信号Ａ４'を検出する。そして、ヘッドトラック信号Ａ４'に基づいて信号処理等を行い制御信号を発生する。映像生成手段８では前記制御信号に基づいて映像を生成する。映像生成時間はＴ32となり、シフトした分だけＴ30より短くなる。
【００７３】
生成された映像データは、表示手段３に出力され待ち時間Ｔ4経過後に映像表示トリガーに同期して表示される。
【００７４】
映像生成時間短縮制御によりシフト量０の場合は映像生成時間がＴ30であったのに対し、シフト量１、２、３の場合はそれぞれＴ30より短いＴ31、Ｔ32、Ｔ33の時間で映像生成がなされる。図９（ａ）においては、頭部回転運動の速度が速いほど、基準タイミングでの頭部位置と映像表示トリガーが発生されるタイミングでの頭部位置のずれが大きくなる。つまり、表示映像と頭部位置とのずれが大きくなる。
【００７５】
一方、図９（ｂ）においては、頭部回転運動の角速度が速いほどヘッドトラック信号を検出するタイミングを映像表示トリガーが発生されるタイミングに近いタイミングにシフトさせているので、前記ずれを低減することができる。
【００７６】
上記では、一つの処理手段（制御手段７と映像生成手段８を含む手段）を有する映像観察装置における表示映像ずれ防止機能について示したが、上記機能は処理手段を二つ以上有する映像観察装置においても応用できる。また、上記においては、頭部回転運動の角速度を４つに分類した場合について示したが、分類方法はこの方法に限定されない。以下、４つの処理手段を有する映像観察装置におけるタイミングチャートについて説明する。尚、ここでは、速度を静止状態、低速度、高速度の３通りに分類する。
【００７７】
図９と同様に、まず比較のために、映像生成時間短縮制御がなされない同一の構成の装置の制御方法について図１０（ａ）にタイミングチャートを示し説明する。
【００７８】
ヘッドトラックサンプリングトリガーは周期Ｔ1で発生する。ヘッドトラックサンプリングトリガーが発生する基準タイミングをｔ1、ｔ2、ｔ3・・・と示す。ヘッドトラックサンプリングトリガーに同期して、ヘッドトラック手段５で発生するヘッドトラック信号をＢ1、Ｂ2、Ｂ3・・・と示す。
【００７９】
この装置においては、映像生成手段による映像生成時間がＴ50、待ち時間がＴ6である。映像表示トリガーは周期Ｔ2で発生する。尚、映像生成時間Ｔ50が映像表示トリガーの２周期に要する時間（２Ｔ2）より長いので、４つの映像生成手段で生成された画像が映像表示トリガーに同期して順に表示されることになる。
【００８０】
第１の処理手段（第１の制御手段と第１の映像生成手段からなる）に注目して図１０（ａ）における具体例を説明する。第１の制御手段は基準タイミングｔ1で発生されたヘッドトラック信号Ｂ1を検出する。そして、ヘッドトラック信号Ｂ1に基づいて制御信号を生成する。この制御信号を第１の映像生成手段に送信する。第１の映像生成手段では制御信号に基づいて映像データを生成する。このとき映像生成時間はＴ50となる。待ち時間Ｔ6経過後、タイミングｔ34で発生される映像表示トリガーに同期して、生成された映像が表示手段で表示される。上記のような処理が、Ｔ1ずつずれて各制御手段でなされる。
【００８１】
映像生成時間短縮制御がなされる装置の制御方法について図１０（ｂ）にタイミングチャートを示し説明する。ヘッドトラックサンプリングトリガーと映像表示トリガーが図１０（ａ）と同様にそれぞれ周期Ｔ1とＴ2で発生する。また、基準タイミングで発生したヘッドトラック信号を第１〜第４の制御手段で順に検出することも同様である。つまり、第１の制御手段がヘッドトラックサンプリング信号Ｂ1を検出し、第２の処理手段がヘッドトラック信号Ｂ2を検出し・・・と各制御手段が順にヘッドトラック信号を検出する。また、シフト量が０である場合の映像生成時間と待ち時間も図１０（ａ）の装置と同様のＴ50とＴ6である。
【００８２】
図１０（ｂ）においては、各制御手段はまず、基準タイミングで検出したヘッドトラック信号（第１のヘッドトラック信号）に基づいてその時点の頭部回転運動の角速度を算出する。そして、その角速度を所定の速度条件に基づいて静止状態・低速度・高速度のいずれかに分類する。そして、第２のヘッドトラック信号を検出するシフト量を決定する。
【００８３】
静止状態であれば、シフト量０（ｓ＝０）とする。低速度であれば、シフト量１（ｓ＝１）とする。高速度であれば、シフト量２（ｓ＝２）とする。そして、シフト量に応じたタイミングで第２のヘッドトラック信号を検出し、この第２のヘッドトラック信号に基づいて制御信号を生成する。
【００８４】
尚、ｓ＝０の場合は第２のヘッドトラック信号を検出することなく、図１０（ａ）における制御と同一の制御を行う。つまり、第１のヘッドトラック信号検出後、制御信号生成する。そして、映像生成手段では映像生成時間Ｔ50で映像生成し、待ち時間Ｔ6経過後映像表示トリガーに同期して映像が表示される。
【００８５】
ｓ＝１の場合は、制御手段は更に第１のヘッドトラック信号発生の次のタイミングで発生するヘッドトラック信号を検出する。これを第２のヘッドトラック信号とする。そして、この第２のヘッドトラック信号に基づいて制御信号を生成し、これを映像生成手段に送信する。尚、シフト量が変わっても、第１のヘッドトラック信号を検出してから映像表示を行うまでの時間に変化はない。よって、シフト量に応じた映像生成時間短縮制御により映像生成時間を短縮する。ｓ＝１の場合は映像生成時間はＴ51となる。
【００８６】
ｓ＝２の場合は、制御手段は更に第１のヘッドトラック信号発生の次の次のタイミングで発生するヘッドトラック信号を検出する。そして、この信号に基づいて制御信号を生成し映像生成手段へ送信する。映像生成手段では、映像生成時間Ｔ52で映像データを生成し表示手段に送信する。待ち時間Ｔ6経過後、映像表示トリガーに同期して画像表示が行われる。
【００８７】
図１０（ｂ）における具体例を説明する。第１の制御手段では、基準タイミングｔ1で発生されたヘッドトラック信号Ｂ1を検出する。そして、この信号に基づいてこの時点での頭部回転運動の角速度の分類を決定する。ここでは、静止状態に分類されたとする。静止状態の場合は、ｓ＝０なので、第１の映像生成手段では通常映像生成時間Ｔ50で処理を行い映像データを生成する。そして、待ち時間Ｔ6経過後、映像表示トリガーに同期してタイミングｔ34で映像表示が行われる。
【００８８】
第２の制御手段では、基準タイミングｔ2で発生されたヘッドトラック信号Ｂ2を検出する。そして、この信号に基づいてこの時点での頭部回転運動の角速度の分類を決定する。ここでは、低速度に分類されるとする。低速度の場合は、ｓ＝１なので、次の基準タイミングｔ3で発生されるヘッドトラック信号Ｂ3を第２のヘッドトラック信号として検出する。そして、このヘッドトラック信号Ｂ3に基づいて制御信号を生成し映像生成手段に送る。映像生成手段では、映像生成時間Ｔ51で処理を行い映像データを生成する。待ち時間Ｔ6経過後、映像表示トリガーに同期してタイミングｔ45で映像表示が行われる。
【００８９】
第３の制御手段では、基準タイミングｔ3で発生されたヘッドトラック信号Ｂ3を検出する。そして、角速度が高速度に分類されるとする。ｓ＝２となるので、次の次の基準タイミングｔ5で発生されるヘッドトラック信号Ｂ5を第２のヘッドトラック信号としてもう一度検出し、この信号に基づいて制御信号を生成し映像生成手段に送信する。映像生成手段では映像生成時間Ｔ52で処理を行い映像データを生成する。待ち時間Ｔ6経過後、映像表示トリガーに同期させてタイミングｔ56で映像表示を行う。
【００９０】
４つの処理手段（制御手段と映像生成手段よりなる）による上記のような処理が繰り返し行われる。このような制御方法によると、図９（ｂ）に示したものと同様に、表示映像と頭部位置のずれが低減されることになる。第１の実施形態の装置では、図９（ｂ）を用いて説明した制御を採用する。尚、上記第２例においては、必ずしも４つの処理手段を必要としない。処理手段の中に４つのＣＰＵを構成し、これらのＣＰＵで並列に映像を生成するように制御してもよいからである。要するに、処理手段が構成されているワークステーションがマルチタスクを行えるものであればよい。
【００９１】
【発明の効果】
本発明によると、映像生成時間を短縮することにより、ヘッドトラックによる時間遅れのない自然な表示映像が観察者に与えられる。よって、観察者は嘔吐感・不快感なく映像が観察できる。尚、映像時間の短縮は、色数を落としたり画像データ数を減らすことにより、高速な処理・データ転送が可能となり達成される。
【００９２】
このように、各ブロックにおける制御を調節するだけの簡単な制御で処理時間を短縮することができるので、複雑な回路を付け加える必要がなく安価に構成することができる。また、頭部微動においては、色数を落とさないので自然な映像を観察することができる。
【００９３】
また、請求項７に記載の発明によると、撮像装置の処理手段により、伝送前に撮像データ量を低減できるため、通信時間を格段に速くでき、リアルタイムに撮影した撮像データをもとに遅れ（表示ずれ）のない映像を観察者に提示できる。
【図面の簡単な説明】
【図１】第１の実施形態の映像観察装置の全体構成図。
【図２】第１の実施形態の映像観察装置の概略ブロック図。
【図３】（ａ）色数低減信号に基づいて生成された画像データと、（ｂ）前記画像データを補完したデータを模式的に示した図。
【図４】第１の実施形態の映像観察装置における各ブロック毎の制御を示したフローチャート。
【図５】第１の実施形態の制御手段における制御のフローチャート。
【図６】第２の実施形態の映像観察装置の概略ブロック図。
【図７】第２の実施形態の映像観察装置における各ブロック毎の制御を示したフローチャート。
【図８】第４の実施形態の映像観察装置の概略ブロック図。
【図９】（ａ）映像生成時間短縮制御がなされない映像観察装置と（ｂ）映像生成時間短縮制御がなされる映像観察装置の制御のタイミングチャートの一例。
【図１０】（ａ）映像生成時間短縮制御がなされない映像観察装置と（ｂ）映像生成時間短縮制御がなされる映像観察装置の制御のタイミングチャートの他の例。
【図１１】第２の実施形態の映像観察装置を装置毎に分けて示したブロック図。
【図１２】第３の実施形態の映像観察装置を装置毎に分けて示したブロック図。
【符号の説明】
１    表示部
２    ワークステーション
３    表示手段
５    ヘッドトラック手段
７    制御手段
８    映像生成手段
９    映像再生手段
１０  撮像手段
１２  処理手段
１３  通信回線
【図１】
0003724157.tif 000002
【図２】
0003724157.tif 000003
【図３】
0003724157.tif 000004
【図４】
0003724157.tif 000005
【図５】
0003724157.tif 000006
【図６】
0003724157.tif 000007
【図７】
0003724157.tif 000008
【図８】
0003724157.tif 000009
【図９】
0003724157.tif 000010
【図１０】
0003724157.tif 000011
【図１１】
0003724157.tif 000012
【図１２】
0003724157.tif 000013