(57)【要約】【課題】  電子文書の閲覧の際の覗き見を回避する。【解決手段】  広視野角の画像表示領域を持つ光透過方式のヘッドマウントディスプレイと、ＯＡ作業に適した解像度と画面サイズを有する主表示装置と、前記ＨＭＤ装置の表示領域から、主表示装置に表示される画像情報を除いた領域にＨＭＤ用に切り分けた画像情報を表示する手段を有する。【選択図】        図３
2006267604.tif 000002
【特許請求の範囲】
【請求項１】
光透過方式のヘッドマウントディスプレイと、主表示装置と、前記ヘッドマウントディスプレイの表示領域から、前記主表示装置に表示される画像情報を除いた領域にヘッドマウントディスプレイ用に切り分けた画像情報を表示する手段と、を具備することを特徴とする複合情報表示装置。
【請求項２】
前記ヘッドマウントディスプレイの表示領域が持つ視野角と同等の撮影画角を持つビデオカメラ装置と、前記光透過方式ヘッドマウントディスプレイの表示領域から透けて見える前記主表示装置を認識し、主表示装置の表示領域の前記ヘッドマウントディスプレイの表示領域に対する見かけ上の位置ならび大きさを判別する手段と、を有することを特徴とする、請求項１記載の複合情報表示装置。
【請求項３】
前記ヘッドマウントディスプレイの表示領域が持つ視野角と同等の撮影画角を持つ前記ヘッドマウントディスプレイに配置されたビデオカメラ装置を有すること、主表示装置が走査線方式であること、前記主表示装置の走査線の表示と前記ビデオカメラの画像撮影のタイミングを同期させる同期信号を生成する手段を有すること、前記ビデオカメラが撮影した前記主表示装置の第一走査線の最初の輝点と最終走査線の最後の輝点の画像を比較することで、主表示装置の表示領域の前記ヘッドマウントディスプレイの表示領域に対する見かけ上の位置ならび大きさを判別する手段を有すること、とを特徴とする請求項１記載の複合情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、情報処理用システム装置に関し、特に、光透過方式のヘッドマウントディスプレイ（ヘッドマウントディスプレイ装置、ＨＭＤ又はＨＭＤ装置とも言う）と、このディスプレイ装置と連動した表示を行う従来方式のディスプレイ装置、並びにこれらのディスプレイ装置を利用した、複合情報表示装置に関するものである。
【背景技術】
【０００２】
周知のように、近時、オフィスでのコンピュータを使用したオフィスオートメーション（ＯＡ）作業が増加してきている。
【０００３】
一般的なＯＡ作業の形態は、コンピュータ、キーボード、ＣＲＴモニタを１つのシステムとし、使用者がデスク上に置かれたシステムを利用してＯＡ作業を実施する。
【０００４】
ＯＡ作業の実行にあたっては、比較的高解像度の画面を有するＣＲＴにデータを表示しながら、キーボードからデータ入力を行ったり、データ処理の指示を行ったりする。
【０００５】
また、所望のデータがＣＲＴの画面に表示されていないときは、キーボードの矢印キーやマウス装置などで表示されているデータ範囲を移動させ、ＯＡ作業を継続することができる。
【０００６】
一方、ディスプレイ装置の一つとして、ゴーグルあるいは眼鏡のように頭部に装着した状態で使用者に画像を表示することができるヘッドマウントディスプレイ装置（ＨＭＤ）がある。
【０００７】
このヘッドマウントディスプレイ装置は、小型軽量でありながら、比較的広い視野をカバーする大きな画面を提供する事ができる。
【０００８】
さらに、このヘッドマウントディスプレイ装置が、光透過方式（光シースルー型）のものであるとき、コンピュータからの画像を重畳することによって、また、ＨＭＤに装着したビデオカメラで撮影した画像に、コンピュータからの画像を合成した後、ＨＭＤに表示する（ビデオシースルー方式）ことによって、現実空間と仮想空間の継ぎ目のない結合を目的とした複合現実感（Ｍｉｘｅｄ  Ｒｅａｌｌｉｔｙ、ＭＲ）を実現する装置が数多く提案されている。
【特許文献１】特開２００２−２７１６９４号公報
【特許文献２】特開２００３−１４１５７１号公報
【特許文献３】特開平７−５９０３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
一般的なＯＡ作業システムにおいては、近年のＯＡ作業の複雑化に伴い画面に表示させるべき項目、情報量が増加しているため、表示装置の高解像度化、大画面化が進められているが、一般にオフィスにおける卓上の作業スペースは有限であり、大型の表示装置を導入する事は容易ではない。
【００１０】
また、近年企業内においても情報セキュリティの強化の必要性が叫ばれているわけだが、ＯＡ作業中には、極秘情報も含めて表示装置上に表示されてしまうため、覗き見等による情報漏洩の心配があった。
【００１１】
一方、ヘッドマウントディスプレイ装置を利用すれば、覗き見などの危険も減り、また、比較的大きな画面を表示することができると考えられる。ところが、人は通常眼球の中心を軸として視野角±４０゜の視野を有するといわれている。従って、人の最大視野をカバーする画面を有するディスプレイ装置を導入する必要があるが、一般にディスプレイに画像を表示する走査線の数は制限があるため（例えば通常のＶＧＡサイズでは走査線は４８０本、高品位コンピュータディスプレイの走査線でも２０００本程度）、大きな画面のディスプレイを使うと像の解像度が低下する。この解像度の低下は、表示できる情報量の低下をもたらし、人にぼけた像を提示することで、ＯＡ作業の効率を低下させることになる。
【００１２】
この問題を解決するには、人の視力を損なわない高解像度な画像を画面に表示できる走査線数の多いディスプレイ装置を開発することであるが、現状では人の視野に対応する、ディスプレイ装置を開発することは技術的に困難である。
【００１３】
本発明は、このような解像度の低い現状のヘッドマウントディスプレイを用いて、広い視野を有する情報表示装置を提供すべく成されたものである。
【００１４】
人は注視点（眼球の中心軸すなわち視線を向けて見ている対象の位置）およびその狭い周囲でのみものがよく見えて（通常は視線を中心に±５゜の領域）、それ以外の領域では像がぼけて見えるという現象が知られている。本発明はこうした生体の特性に注目し、簡易な画像情報処理操作によって、広視野・高解像度なディスプレイを用いたのと等価な像を操作者に提示できる装置に関するものである。
【００１５】
このような人の注視点及びその狭い周囲だけを高解像度に表示するために、特許文献３では、人の視線を検出して眼球の動きに対し光学系を操作して、常に視線が画像ディスプレイ装置のモニタの中心一点を見つめるようにすると同時に、モニタの中心領域には、直接眼球の前にモニタが置かれている場合に眼球が注視するはずの領域の像を画像表示パネルにより高解像度で提示し、その領域の周囲の画像を透明液晶パネルにより低解像度で提示する画像ディスプレイ装置が提案されている。
【００１６】
しかし、前記提案においては、眼球の動きに追従して少なくとも狭視野角用モニタの表示を視線中心に一致させるために、モニタあるいはミラー等を物理的に移動させる必要があり、眼球の動きとの間に小さな時間的ずれが起こる事は避けられない。このような小さなずれが継続して発生することは、自律神経に作用し、船酔いに似た不快な症状を引き起こす事が良く知られている。
【００１７】
本発明は前記の如き事情に鑑みてなされたものであって、広視野角画像を提示することが可能であるとともにＯＡ作業に好適な高解像度の画像を提示することができ、かつ、複合現実感の実現を良好に行うことができるとともに、装置の構成も簡単である複合情報表示装置を提供することを目的とするものである。
【課題を解決するための手段】
【００１８】
この課題を達成するための、本発明にかかる、複合情報表示装置は、作業者の頭部に装着される広視野角の画像表示領域を持つ光透過方式のヘッドマウントディスプレイと、ＯＡ作業に適した解像度と画面サイズを有する主表示装置と、前記ＨＭＤ装置の表示領域から、主表示装置に表示される画像情報を除いた領域にＨＭＤ用に切り分けた画像情報を表示する手段と、を具備することを特徴とする。
【００１９】
一般にＯＡ作業中の作業者は、一定時間内において主表示装置に対して一定の距離と姿勢を保ったまま作業を行う事が多いため、ＨＭＤ装置の表示領域のうち、視野中央部を含む一定領域を主表示装置の表示領域として予め指定することで、ＨＭＤ装置の表示領域から主表示装置の表示領域を取り除くことができる。
【００２０】
この場合作業者の注視点は主表示装置に置かれているため、前記ＨＭＤ装置の広視野角の画像表示領域は、作業者の周辺視野に位置することになるため、比較的低い解像度を有する表示装置であっても差し障りがなく、結果として広視野角かつ高解像度の情報処理装置を得ることができる。
【００２１】
また、本発明の好適な一態様である請求項２に拠れば、前記の複合情報表示装置は、前記ヘッドマウントディスプレイの表示領域が持つ視野角と同等の撮影画角を持つビデオカメラ装置と、前記光透過方式ヘッドマウントディスプレイ装置の表示領域から透けて見える前記主表示装置を認識し、主表示装置の表示領域の前記ＨＭＤ装置の表示領域に対する見かけ上の位置ならび大きさを判別する手段と、を有することを特徴とする。
【００２２】
前記ビデオカメラ装置は、前記ＨＭＤ装置の表示領域が作業者に与える視野角と視野中心と同等の撮影画角と撮影画角中心を持つように前記ＨＭＤ装置と共に設置されるため、作業者が作業姿勢または主表示装置との位置関係を変化させた場合であっても、常にＨＭＤ表示領域から透けて見える主表示装置の表示領域に相当する部分を除いた画像表示を行うことができる。したがって、より一体感を持った複合情報表示装置を得ることができる。
【００２３】
一般に複合現実感（以下、ＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）またはＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ））を提示するシステムでは、対象空間に配置したマーカをいかに精度よく且つ安定的に画像上で抽出するかは、現実空間と仮想空間との位置合わせを行うために、即ち、観察者の視点位置姿勢を求めるために、マーカを用いることが実質的に不可避であるから、極めて重要となっている。
【００２４】
本発明では、ビデオカメラによって撮影され、ＨＭＤ表示領域に対する相対的な位置関係を判断するために利用される画像、すなわちマーカが、普段から作業者がＯＡ作業を行うために利用してきた、主表示装置の筐体そのものであるため、作業者にとっては、まったく違和感を与えることがない、という利点がある。
【００２５】
また、本発明の好適な一態様である請求項３に拠れば、前記の複合情報表示装置は、前記ヘッドマウントディスプレイの表示領域が持つ視野角と同等の撮影画角を持つ前記ＨＭＤに配置されたビデオカメラ装置を有すること、主表示装置が走査線方式（ラスタスキャンディスプレイ）であること、前記主表示装置の走査線の表示と前記ビデオカメラの画像撮影のタイミングを同期させる同期信号を生成する手段を有すること、前記ビデオカメラが撮影した前記主表示装置の第一走査線の最初の輝点と最終走査線の最後の輝点の画像を比較することで、主表示装置の表示領域の前記ＨＭＤ装置の表示領域に対する見かけ上の位置ならび大きさを判別する手段をゆうすること、とを特徴とする。
【００２６】
前記同期信号を利用し、主表示装置の一リフレッシュサイクル内において第一走査線の最初の輝点と、最終走査線の最後の輝点を前記ビデオカメラで撮影することで、前記主表示装置の正確な表示領域の位置を算出することができる。したがって、より精緻にＨＭＤ表示装置の表示領域を制御することが可能となる。
【発明の効果】
【００２７】
本発明によれば、広視野角画像を提示することが可能であるとともにＯＡ作業に好適な高解像度の画像を提示することができ、かつ、複合現実感の実現を良好に行うことができるとともに、装置の構成も簡単である複合情報表示装置を提供できる。
【発明を実施するための最良の形態】
【００２８】
以下、添付図面を参照しながら、本発明を適用した好適な実施形態に係るところの、複合情報表示装置を説明する。
【実施例１】
【００２９】
図１は、本発明の複合情報表示装置における作業者、つまりＨＭＤ装着者の視界１０４と主表示装置１０１、主表示装置の表示領域１０２、ＨＭＤの表示可能領域１０３の関係を示す。光透過方式ＨＭＤの表示可能領域１０３から、斜線部の主表示装置の表示領域１０２を除いた部分がＨＭＤの表示装置に実際に画像が表示される部分となり、ＨＭＤ装着者は、ＨＭＤの表示画面にさえぎられること無く、斜線部１０２で、光透過型ＨＭＤの表示部を透かして主表示装置１０１の表示領域１０２を視認することができる。
【００３０】
請求項１のシステムにおいては、前記主表示装置の表示領域１０２のサイズ、ならびに、ＨＭＤの表示可能領域１０３に対する位置関係は、ＨＭＤ装着者が任意に設定することができる。
【００３１】
図２は、ＨＭＤ装着者の眼球２０６と光透過方式ＨＭＤの表示面２０１、主表示装置の表示面２０２の相対的な位置関係を示す。ＨＭＤの表示面２０１は、ＨＭＤ装着者の眼球２０６に近い位置に設置されるため、比較的小型のものであっても、ＨＭＤ装着者の最大視界２０４をカバーすることができ、ＨＭＤ上に表示される虚像２０５を構成することとなる。
【００３２】
なお、図２では、ＨＭＤの表示２０１面がＨＭＤ装着者の眼球２０６に近い位置に直接設置されているかのように説明したが、これはもちろん、ハーフミラーやプリズム、レンズ等の光学的機構を使用して、ＨＭＤ装着者の眼球から離れた場所に表示面を設置する工夫を妨げるものでは無いことは自明である。
【実施例２】
【００３３】
図３は、予め撮影した主表示装置筐体と、ビデオカメラで撮影した表示装置筐体とを比較することで、主表示装置の表示範囲位置を判別する場合のシステム構成図を示す。
【００３４】
情報処理装置３０２は、ＯＡ作業者がＯＡ作業に用いるコンピュータ装置であり、入力装置３０１は、一般にキーボードやマウスなど、データ入力を行ったり、データ処理の指示を行ったりするものである。主表示装置３０９も、一般的にＯＡ作業に供される、比較的解像度の高い画面を有するディスプレイ装置である。
【００３５】
また、所望のデータが主表示装置３０９の画面に表示されていないときは、入力装置３０１によって、表示されているデータ範囲を移動させ、ＯＡ作業を継続することができる。
【００３６】
情報処理装置３０２は、ウィンドウシステム、仮想画面などを生成する画像情報生成部３０３を含む。画像情報生成部３０３では、ＨＭＤの表示可能領域１０３に相当する領域に対する画像情報を生成し、画像生成装置３１３にその画像情報を伝達する。
【００３７】
一方で、ＨＭＤ装置３１０の表示領域が作業者に与える視野角と視野中心と同等の撮影画角と撮影画角中心を持つようにＨＭＤ装置３１０に装着されたビデオカメラ３１２は、主表示装置３０９の筐体画像を撮影し、画像生成装置３１３のビデオ画像入力部３０４がこれを取りこみ、主表示装置位置判定部３０５が、主表示装置３０９のＨＭＤ画像表示部３１１に対する相対位置を判定する。
【００３８】
画像情報分割部３０６は、画像情報生成部３０３で生成された画像情報を、主表示装置位置判定部３０５が判定した前記相対位置情報に従い分割し、主表示画像生成部３０７ならびにＨＭＤ画像生成部３０８において、主表示装置３０９、光透過方式ＨＭＤ画像表示部３１１にそれぞれふさわしい解像度の画像信号を生成することで、主表示装置３０９ならびに光透過方式ＨＭＤ画像表示部３１１において一体感のある複合情報表示が実現する。
【００３９】
図４は、これらの処理を実現するアルゴリズムを示すフローチャートである。
【００４０】
以下の処理は、画像生成装置３１３の内部で行っても良いし、情報処理装置３０２に格納されたプログラムとして実現しても良い。
【００４１】
まず、ステップＳ００１でＨＭＤ装着者が前述のＨＭＤ装置を装着する。ステップＳ００２ではマーカとしての主表示装置の筐体の判別を容易にするために主表示装置の電源を切った状態にする。これは、単に主表示装置の表示画面を一時的にブラックアウトすることに変えても良い。
【００４２】
次に、ステップＳ００３でＨＭＤの表示面に、主表示装置の外枠を表すガイド画像を表示させる。このガイド画像のサイズや、アスペクト比は、ＨＭＤ装着者の操作によって切り換えられるようにしても良い。ＨＭＤ装着者は、ＨＭＤの表示可能領域１０３から透けて見える主表示装置１０１の外枠とガイド画像が重なるように姿勢を変え、うまく重なったところでステップＳ００４で主表示装置の筐体をＨＭＤ装置３１０に装着されたビデオカメラ３１２で撮影する。
【００４３】
ステップＳ００５では、ステップＳ００４で撮影した画像から主表示装置の筐体から表示領域を除いた部分の画像、すなわち額縁画像を切り出す。ステップＳ００２で主表示装置の電源が切られているため、表示面と額縁部分とは容易に見分けることができ、またステップＳ００３で外枠の位置が指定されているので、額縁画像の切り出しは容易に行える。
【００４４】
切り出しが終わったところでステップＳ００６で主表示装置の電源を入れ、画像表示が可能な状態にする。
【００４５】
尚、ステップＳ００２からステップＳ００６までの処理は、ＨＭＤ装着者が初めて本発明による複合情報表示装置を利用する時、あるいは、主表示装置を別のものと交換する時に一度だけ実施すれば良いように、ステップＳ００５で切り出した額縁画像を記録しておいても良い。
【００４６】
ステップＳ００７では、ビデオカメラ３１２を用いてＨＭＤ装着者の視界を撮影する。主表示装置位置判定部３０５なるステップＳ００８においてステップＳ００５で切り出した額縁画像とＳ００７で撮影したＨＭＤ装着者の視界の映像とを比較し、主表示装置を識別する。ステップＳ００９で、主表示装置の表示領域１０２が、ＨＭＤの表示可能領域１０３のどの位置にあるかを判定する。
【００４７】
ステップＳ０１０では、画像情報生成部３０３で生成した仮想画面の表示要素を情報処理装置２０２から取得する。画像情報分離部３０６なるステップＳ０１１でそれぞれの表示要素の座標を確認し、前記表示要素が主表示画面の表示範囲にあるか、ＨＭＤの表示範囲にあるかを判断する。これが主表示画面の範囲内であった場合、主表示画像生成部３０７なるステップＳ０１２で前記表示要素を主表示装置の解像度に合わせてレンダリングし、ステップＳ０１３にて主表示装置３０９に画像を出力する。一方、前記表示要素がＨＭＤ表示画面の範囲内であった場合、ＨＭＤ画像生成部３０８なるステップＳ０１４にて前記表示要素を光透過方式ＨＭＤ画像表示部３１１の解像度に合わせてレンダリングし、ステップＳ０１５にてＨＭＤ画像表示部３１１に画像を出力する。
【００４８】
ステップＳ０１６では前記仮想画面の表示要素のすべてを処理したかどうかを判断し、未処理のものがあればステップＳ０１０に戻り処理を繰り返す。すべての表示要素の処理を終えた場合、ステップＳ００７からの処理を繰り返す。
【００４９】
以上のような処理を繰り返すことによって、主表示領域とＨＭＤ表示領域のそれぞれについて適切な解像度を持つ画像が生成表示され、ＨＭＤ装着者は、良好な複合情報表示の視野を得ることができる。
【００５０】
図５は、本発明の複合情報表示装置を用いたＯＡ作業中のＯＡ作業者が得るであろう複合情報表示の一例を示す。
【００５１】
主表示装置５０１がＨＭＤの表示可能領域５０３の内部に透けて見えている。実際に主表示装置５０１が表示しているのは主表示装置の表示領域境界５０２に囲まれた部分のみであり、その他の表示はすべてＨＭＤの表示可能領域５０３に表示されたものである。ＨＭＤ装着者の視界５０４が図中に破線で示されているが、これはＨＭＤには表示されない。
【００５２】
ＨＭＤの表示可能領域５０３には、情報表示領域５０７のように他者の目に付くことを避けなければならない情報や、仮想付箋紙５０８などに表示される個人的な覚書、仮想カレンダー５０５に示されるスケジュール情報など、情報セキュリティやプライバシーを守る必要がある要素や、仮想キーボード５０６、仮想時計５１２などが表示されている。
【００５３】
主表示装置の表示領域境界５０２には、情報表示領域５０９、５１０が表示されている。
【００５４】
一方、情報表示領域５１１は主表示装置とＨＭＤの表示領域にまたがって表示されていることを示す。
【００５５】
これらのすべての表示要素は、入力装置３０２から入力される指示にしたがって、仮想画面５１３に占める座標位置を変化させることで、どちらの表示領域に表示されるべきかを制御することができる。
【００５６】
主表示装置の表示領域境界５０２の内部に表示されている表示要素は比較的高解像度に表示されているためＯＡ作業に適している。一方で、主表示装置の表示領域境界５０２の外側に表示されている表示要素は、比較的低い解像度で表示されている。
【００５７】
５０５から５１２までのすべての表示要素は、画像情報生成部３０３で生成される仮想画面５１３の中でそれぞれ所定の表示座標位置を占める。主表示装置の表示領域境界５０２が仮想画面５１３に占める座標位置は一定であり、作業者の姿勢ならびに作業者と主表示装置５０１との相対位置が変化しても変化することは無く、ＨＭＤの表示可能領域５０４中の主表示装置の表示可能領域５０２の相対位置が変化することになる。このため、作業者にとっては、主観的な主表示装置５０１の位置は常に一定で表示内容も安定しているため、不快な症状を引き起こされることもなく、情報セキュリティやプライバシーも守られた良好なＯＡ作業環境が得られる。
【００５８】
図６は主表示装置とＨＭＤの表示領域にまたがって表示された情報表示領域５１１の拡大図である。
【００５９】
画像情報分割部３０６ならびにステップＳ０１１では、各表示要素が主表示装置の表示領域境界６０２の内側にあるのか外側にあるのかを判断するが、この際、前記表示要素が情報表示領域６０３のように主表示装置の表示領域境界６０２とＨＭＤの表示領域の両方にかかることを判別した場合は、この表示要素を情報表示領域６０３のうち主表示装置表示領域に表示された部分６０４と、情報表示領域６０３のうちＨＭＤ表示領域に表示された部分６０５とに分割し、それぞれを別の表示要素として主表示画像生成部３０７なるステップＳ０１２、ＨＭＤ画像生成部３０８なるステップＳ０１４にて、それぞれ所定の処理を行うため、表示要素の表示が欠損することは無い。
【実施例３】
【００６０】
図７は、主表示装置の画面表示走査線と同期してビデオカメラの撮影を行い、主表示装置の表示範囲位置を判別する場合のシステム構成図を示す。
【００６１】
情報処理装置７０２は、ＯＡ作業者がＯＡ作業に用いるコンピュータ装置であり、入力装置７０１は、一般にキーボードやマウスなど、データ入力を行ったり、データ処理の指示を行ったりするものである。主表示装置７１０も、一般的にＯＡ作業に供される、比較的解像度の高い画面を有するディスプレイ装置である。
【００６２】
また、所望のデータが主表示装置７０１の画面に表示されていないときは、入力装置７０１によって、表示されているデータ範囲を移動させ、ＯＡ作業を継続することができる。
【００６３】
情報処理装置７０２は、ウィンドウシステム、仮想画面などを生成する画像情報生成部７０３を含む。画像情報生成部７０３では、ＨＭＤの表示可能領域１０３に相当する領域に対する画像情報を生成し、画像生成装置７１４にその画像情報を伝達する。
【００６４】
一方で、画像生成装置７１４は、同期信号生成部７０７を持ち、同期信号を主表示画像生成部７０８と、ＨＭＤ装置７１１の表示領域が作業者に与える視野角と視野中心と同等の撮影画角と撮影画角中心を持つようにＨＭＤ装置７１１に装着されたビデオカメラ７１３と、主表示装置位置判定部７０５とに同期信号を与える。ビデオカメラ７１３は前記同期信号の示すタイミングに合わせて主表示装置７１０の表示面を撮影する。画像生成装置７１４のビデオ画像入力部７０４がこれを取りこみ、主表示装置位置判定部７０５が同期信号生成部７０７から得た同期信号のタイミングを加味して、主表示装置７１０のＨＭＤ画像表示部３１１に対する相対位置を判定する。
【００６５】
画像情報分割部７０６は、画像情報生成部７０３で生成された画像情報を、主表示装置位置判定部７０５が判定した前記相対位置情報に従い分割し、主表示画像生成部７０８ならびにＨＭＤ画像生成部７０９において、主表示装置７１０９、光透過方式ＨＭＤ画像表示部７１２にそれぞれふさわしい解像度の画像信号を生成することで、主表示装置７１０ならびに光透過方式ＨＭＤ画像表示部７１２において一体感のある複合情報表示が実現する。
【００６６】
図８は、走査線方式である主表示装置の表示方法を示す。本実施例において用いられる走査線方式の表示装置は既知の走査線方式表示装置であるところのＣＲＴ表示装置である。
【００６７】
主表示装置８０１は図７の主表示装置７１０を詳細に示したものである。主表示装置８０１において表示画像は小さな輝点の集合体として表示される。輝点は、それぞれごく短時間だけ輝度が与えられるが、人間の目には残像が残るため、この輝点の集合体を一塊の画像として認識する。おのおのの輝点は、表示面上の左上隅、第一走査線の輝点の始点８０２で示される位置から順次右側に移動しながら表示され、表示面の右端まで表示が終わったところで輝度を落とし、左端に戻り少し下に下がった点から再度順次右側に移動しながら表示を続ける。この動作を水平回帰８０５と呼ぶ。このようにして第ｎ走査線８０４の表示を終え、水平回帰８０５を行い、第ｎ＋１走査線を表示するという動作を繰返し、表示面の右下隅、最終走査線の輝点の終点８０３まで表示されたところで、一画面の表示を終え、輝度を落とし、次の輝点表示のため再度表示面左上隅に移動する。この動作を垂直回帰８０７と呼ぶ。
【００６８】
本実施例では、同期信号生成部７０７から主表示画像生成部７０８、若いては表示装置７１０に同期信号が伝えられ、第一走査線の輝点の始点８０２が表示されると同時にビデオカメラ７１３にも同期信号が送られるため、ビデオカメラ７１３は第一走査線の輝点の始点８０２の位置を撮影することができる。同様に、同期信号生成部７０７からの同期信号によりビデオカメラ７１３は最終走査線の輝点の終点８０３が表示されるタイミングに合わせて画像を撮影する。撮影された画像は画像生成装置７１４のビデオ画像入力部７０４に送られる。
【００６９】
主表示装置位置判定部７０５は、同期信号生成部７０７からの同期信号を先に受け取っているため、ビデオ画像入力部７０４からの主表示装置７１０の表示面の画像が、第一走査線の輝点の始点８０２を撮影したものであるかそれとも最終走査線の輝点の終点８０３を撮影したものであるのかを知ることができる。主表示装置７１０の表示面は矩形であると仮定できるので、この２点の情報から主表示装置位置判定部７０５は、容易に主表示装置７１０のＨＭＤ画像表示部７１２に対する相対位置を判定することができる。
【００７０】
本実施例の構成を用いた場合、図４において、ステップＳ００７を、同期信号生成部７０７からの同期信号に従い第一走査線の輝点の始点８０２と最終走査線の輝点の終点８０３をそれぞれ撮影する、と読みかえれば、ステップＳ００２からステップＳ００６までの準備作業を省略することが可能になると同時に、より精度の高い位置判別が可能となる。
【図面の簡単な説明】
【００７１】
【図１】主表示装置の表示領域とＨＭＤの表示領域の関係を示す図
【図２】ＨＭＤ装着者の眼球と各表示面の位置関係を示す図
【図３】予め撮影した主表示装置筐体と、ビデオカメラで撮影した表示装置筐体とを比較することで、主表示装置の表示範囲位置を判別する場合のシステム構成図
【図４】本発明を実現するアルゴリズムを示すフローチャート
【図５】ＯＡ作業中の複合情報表示の一例を示す図
【図６】主表示装置とＨＭＤの表示領域にまたがって表示された情報表示領域５１１の拡大図
【図７】主表示装置の画面表示走査線と同期してビデオカメラの撮影を行い、主表示装置の表示範囲位置を判別する場合のシステム構成図
【図８】走査線方式である主表示装置の表示方法を示す図
【符号の説明】
【００７２】
１０１  主表示装置
１０２  主表示装置の表示領域（斜線部）
１０３  光透過方式ＨＭＤの表示可能領域
１０４  ＨＭＤ装着者の視界
２０１  光透過方式ＨＭＤの表示面
２０２  主表示装置の表示面
２０３  ＨＭＤ装着者の視線の中心
２０４  ＨＭＤ装着者の最大視界
２０５  ＨＭＤ上に表示される虚像
２０６  ＨＭＤ装着者の眼球
３０１  入力装置
３０２  情報処理装置
３０３  画像情報生成部
３０４  ビデオ画像入力部
３０５  主表示装置位置判定部
３０６  画像情報分割部
３０７  主表示画像生成部
３０８  ＨＭＤ画像生成部
３０９  主表示装置
３１０  ＨＭＤ装置
３１１  光透過方式ＨＭＤ画像表示部
３１２  ビデオカメラ
３１３  画像生成装置
５０１  主表示装置
５０２  主表示装置の表示領域境界
５０３  ＨＭＤの表示可能領域
５０４  ＨＭＤ装着者の視界
５０５  ＨＭＤ表示領域に表示された仮想カレンダー
５０６  ＨＭＤ表示領域に表示された仮想キーボード
５０７  ＨＭＤ表示領域に表示された情報表示領域
５０８  ＨＭＤ表示領域に表示された仮想付箋紙
５０９  主表示装置表示領域内部に表示された情報表示領域
５１０  主表示装置表示領域内部に表示された情報表示領域
５１１  主表示装置とＨＭＤの表示領域にまたがって表示された情報表示領域
５１２  ＨＭＤ表示領域に表示された仮想時計
５１３  仮想画面
６０１  主表示装置
６０２  主表示装置の表示領域境界
６０３  主表示装置とＨＭＤの表示領域にまたがって表示された情報表示領域
６０４  情報表示領域６０３のうち主表示装置表示領域に表示された部分
６０５  情報表示領域６０３のうちＨＭＤ表示領域に表示された部分
７０１  入力装置
７０２  情報処理装置
７０３  画像情報生成部
７０４  ビデオ画像入力部
７０５  主表示装置位置判定部
７０６  画像情報分割部
７０７  同期信号生成部
７０８  主表示画像生成部
７０９  ＨＭＤ画像生成部
７１０  主表示装置
７１１  ＨＭＤ装置
７１２  ＨＭＤ画像表示部
７１３  ビデオカメラ
７１４  画像生成装置
８０１  主表示装置
８０２  第一主走査線の輝点の始点
８０３  最終主走査線の輝点の終点
８０４  第ｎ主走査線
８０５  水平回帰
８０６  第ｎ＋１主走査線
８０７  垂直回帰
【図１】
2006267604.tif 000003
【図２】
2006267604.tif 000004
【図３】
2006267604.tif 000005
【図４】
2006267604.tif 000006
【図５】
2006267604.tif 000007
【図６】
2006267604.tif 000008
【図７】
2006267604.tif 000009
【図８】
2006267604.tif 000010