(57)【特許請求の範囲】
【請求項１】
入力画像を処理して出力する情報処理装置において、
前記入力画像を右画面、中央画面、及び左画面に分割して、右画面に該分割された右画像を表示させる右画像表示手段と、中央画面に該分割された中央画像を表示させる中央画像表示手段と、左画面に該分割された左画像を表示させる左画像表示手段とに表示させる表示分割手段と、
前記分割された右画面、中央画面、及び左画面に対応させて音声データを分割して、右画面上方向の音声を再生する右上音声再生手段と、右画面下方向の音声を再生する右下音声再生手段と、中央画面上方向の音声を再生する中央上音声再生手段と、中央画面下方向の音声を再生する中央下音声再生手段と、左画面上方向の音声を再生する左上音声再生手段と、左画面下方向の音声を再生する左下音声再生手段とに再生出力させる音声分割手段と、
前記右画面、中央画面、及び左画面に表示された前記入力画像のうちの所望の位置を指定するポインティングデバイスと、
前記ポインティングデバイスで指定された位置座標を中心とする所定半径の範囲では走査線を全て使用し、かつ輝度を強くなるように画像データ処理を行って該所定半径の範囲の画像を誇張する画像誇張処理手段と、
前記位置座標から音位置を算出する音位置算出手段と、
前記音声データにおける前記音位置に音圧を強くする情報を付加することによって音声を誇張する音声張処理手段とを有し、
前記表示分割手段は、前記画像データ処理が行われた前記入力画像を分割して、前記右画像表示手段、左画像表示手段、及び中央画像表示手段に表示させることを特徴とする情報処理装置。
【請求項２】
使用者の視線の位置座標を検出する検出手段を有し、
前記画像誇張処理手段は、前記ポインティングデバイスで指定された位置座標又は前記検出手段で検出された視線の位置座標に基づいて前記画像データ処理を行うことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記画像誇張処理手段は、前記所定半径の範囲以外では所定ライン毎に表示する走査線を間引くように前記画像データ処理を行うことを特徴とする請求項１又は２記載の情報処理装置。
【請求項４】
前記音声誇張処理手段は、前記音位置以外では音圧を低くする情報を付加することを特徴とする請求項１乃至３のいずれか一項記載の情報処理装置。
【請求項５】
入力画像を処理して出力する情報処理方法において、
前記入力画像を右画面、中央画面、及び左画面に分割して、右画面に該分割された右画像を表示させる右画像表示手順と、中央画面に該分割された中央画像を表示させる中央画像表示手順と、左画面に該分割された左画像を表示させる左画像表示手順とに表示させる表示分割手順と、
前記分割された右画面、中央画面、及び左画面に対応させて音声データを分割して、右画面上方向の音声を再生する右上音声再生手順と、右画面下方向の音声を再生する右下音声再生手順と、中央画面上方向の音声を再生する中央上音声再生手順と、中央画面下方向の音声を再生する中央下音声再生手順と、左画面上方向の音声を再生する左上音声再生手順と、左画面下方向の音声を再生する左下音声再生手順とに再生出力させる音声分割手順と、
前記右画面、中央画面、及び左画面に表示された前記入力画像のうちの所望の位置を指定する位置指定手順と、
前記位置指定手順で指定された位置座標を中心とする所定半径の範囲では走査線を全て使用し、かつ輝度を強くなるように画像データ処理を行って、該所定半径の範囲の画像が誇張されるように前記表示手順に該画像データ処理が行われた前記入力画像を分割させて表示させる画像誇張処理手順と、
前記位置座標から音位置を算出する音位置算出手順と、
前記音声データにおける前記音位置に音圧を強くする情報を付加することによって音声を誇張する音声張処理手順とを有し、
前記表示分割手順は、前記画像データ処理が行われた前記入力画像を分割して、前記右画像表示手順、左画像表示手順、及び中央画像表示手順に表示させることを特徴とする情報処理方法。
【請求項６】
前記画像誇張処理手順は、前記所定半径の範囲以外では所定ライン毎に表示する走査線を間引くように前記画像データ処理を行うことを特徴とする請求項５記載の情報処理方法。
【請求項７】
前記音声誇張処理手順は、前記音位置以外では音圧を低くする情報を付加することを特徴とする請求項５又は６記載の情報処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、バーチャルリアリティにおける入力画像を処理して出力する情報処理装置および情報処理方法に係り、ヘッドフォンやヘッドマウント・ディスプレイ等の身体への負担を取り除き、かつ、画像効果及び音声効果を高めた情報処理装置および情報処理方法に関するものである。
【０００２】
近年、需要が拡大しつつあるアミューズメント・コンピュータにおいては、映像によって映し出された世界が、あたかも自分が体験しているかのような錯覚にとらわれる、バーチャルリアリティー（以下、「ＶＲ装置」とする。）を体験できる装置が、テーマパーク等で人気を呼んでいる。バーチャルリアリティーの装置は、コンピュータ画面に立体視ＣＧ（コンピュータ・グラフィックス）で３次元の仮想的な世界を創り出し、利用者は、その仮想的な世界を操作することで、中心人物となり、現実感を伴った体験をすることができる。
【０００３】
しかし、バーチャルリアリティー装置（以下、「ＶＲ装置」とする。）は、高価なシミュレーション用の、或いは、アミューズメント用の装置としてテーマパーク等に設置される業務用装置である。
今後は、バーチャルリアリティを一般にも普及できるような装置が望まれている。
【０００４】
【従来の技術】
従来のＶＲ技術では、以下の制御方法が一般的である。
図１は、従来の一例の外観図である。
図１に示すように、従来のＶＲ技術は、制御用コンピュータ１により映像と音声が制御される。オペレータ５は、ＶＲ専用の装置を頭にかぶる。音は、制御用コンピュータ１からヘッドフォン４を通してオペレータ５に伝えられる。また、映像は、制御用コンピュータ１により液晶型のディスプレーに映る映像と同一の映像がＨＭＤ２（ヘッドマウント・ディスプレイ）に映しだされる。制御用コンピュータ１は、センサ３が感知したオペレータ５の視線の動きに合わせてＨＭＤ２に映し出す画像を制御している。
【０００５】
上記のように、従来のＶＲ技術は、特殊な装置を頭にかぶることにより、仮想的な世界を造り出し表現している。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来におけるＶＲ技術においては、以下に述べる問題点がある。
先ず、図１において、オペレータ５がかぶるＨＭＤ２は重く、頭と首に負担をかける為、長時間の使用ができない欠点がある。
【０００７】
また、ＨＭＤ２は、目の動きを感知するための高価なセンサを備えた特殊な装置であるため、初期購入コストが高く、メンテナンスにも高い費用がかかっている。
さらに、ＨＭＤ２は、外界を遮断し３６０度全方向をオペレータ５の視線方向に合わせて映像を映し出す特徴があるが、３６０度全方向を鮮明に表示するため、かえってオペレータ５に視覚的負担を与えている場合がある。
【０００８】
次に、オペレータ５が装着しているヘッドフォン４は、耳元に負荷を与え、ＨＭＤ２に加えさらにオペレータ５の身体に負担を与えている。
本発明の課題は、上記問題点に鑑みてなされたもので、ヘッドフォンやヘッドマウント・ディスプレイ等の身体への負担を取り除き、かつ、画像効果及び音声効果を高めた画像及び音声技術を有する情報処理装置および情報処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、上記問題に鑑みてなされたものであり、以下に述べる各手段を講じたことを特徴とする。請求項１記載の発明では、入力画像を処理して出力する情報処理装置において、前記入力画像を右画面、中央画面、及び左画面に分割して、右画面に該分割された右画像を表示させる右画像表示手段と、中央画面に該分割された中央画像を表示させる中央画像表示手段と、左画面に該分割された左画像を表示させる左画像表示手段とに表示させる表示分割手段と、前記分割された右画面、中央画面、及び左画面に対応させて音声データを分割して、右画面上方向の音声を再生する右上音声再生手段と、右画面下方向の音声を再生する右下音声再生手段と、中央画面上方向の音声を再生する中央上音声再生手段と、中央画面下方向の音声を再生する中央下音声再生手段と、左画面上方向の音声を再生する左上音声再生手段と、左画面下方向の音声を再生する左下音声再生手段とに再生出力させる音声分割手段と、前記右画面、中央画面、及び左画面に表示された前記入力画像のうちの所望の位置を指定するポインティングデバイスと、前記ポインティングデバイスで指定された位置座標を中心とする所定半径の範囲では走査線を全て使用し、かつ輝度を強くなるように画像データ処理を行って該所定半径の範囲の画像を誇張する画像誇張処理手段と、前記位置座標から音位置を算出する音位置算出手段と、前記音声データにおける前記音位置に音圧を強くする情報を付加することによって音声を誇張する音声張処理手段とを有し、前記表示分割手段は、前記画像データ処理が行われた前記入力画像を分割して、前記右画像表示手段、左画像表示手段、及び中央画像表示手段に表示させることにより、オペレータは、特殊な装置を身体に装備する必要がなく、かつ、よく見たい画像を鮮明に見ることができる。また、オペレータが必要とする画像情報の位置と音情報とが対応付けられるため、より人間の視覚機能や聴覚機能に近い仮想空間を表現することができ、かつ、よく聞き取りたい音声等の情報を取得することができる。更に、ポインティングデバイスにより、オペレータによる画像の位置指定を容易にさせることができる。
【００１０】
請求項２記載の発明では、使用者の視線の位置座標を検出する検出手段を有し、前記画像誇張処理手段は、前記ポインティングデバイスで指定された位置座標又は前記検出手段で検出された視線の位置座標に基づいて前記画像データ処理を行うため、オペレータによる画像の位置指定を容易にさせることができる。
【００１１】
請求項３記載の発明では、前記画像誇張処理手段は、前記所定半径の範囲以外では所定ライン毎に表示する走査線を間引くように前記画像データ処理を行うことにより、オペレータが必要とする画像情報を誇張して表示することができ、オペレータが必要とする画像情報を的確に伝えることができる。
【００１４】
請求項４記載の発明では、前記音声誇張処理手段は、前記音位置以外では音圧を低くする情報を付加することにより、オペレータが必要とする音情報を誇張して伝えることができる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図２は、本発明の一実施例の機能構成図である。
図２に示すように、ＶＲ装置は、記録されたデータを読み取るＤＶＤ１０１、表示画像及び音声等を制御する制御ユニット１００、画像を表示する表示ユニット１２０、音声を再生する音声ユニット１４０とを有する。
【００１７】
制御ユニット１００は、ＤＶＤ１０１の圧縮された画像データを解凍する画像データ解凍部１０２、画像を局所的に誇張する誇張処理部１０３、右・中央・左画像に分割する画像データ分割部１０４、分割された右画像のデータを処理する右画像データ処理部１０５、分割された中央画像のデータを処理する中央画像データ処理部１０６、分割された左画像のデータを処理する左画像データ処理部１０７、ＤＶＤ１０１の圧縮された音声データを解凍する音声データ解凍部１０８、右・中央・左画像の音声にそれぞれ分割する音声データ分割部１０９、分割された右画像用の音声データを処理する右画像音声データ処理部１１０、分割された中央画像用の音声データを処理する中央画像音声データ処理部１１１、分割された左画像用の音声データを処理する左画像音声データ処理部１１２、誇張する画像位置を検出する座標検出処理部１１３、画像位置に応じた画像処理と音声処理を制御するＣＰＵ１１４とを有する。
【００１８】
表示ユニット１２０は、右画面に分割された右画像を表示させる右画像表示部１２１、中央画面に分割された中央画像を表示させる中央画像表示部１２２、左画面に分割された左画像を表示させる左画像表示部１２３、画面の座標位置を指定するポインティングデバイス１１３ａとで構成される。
右画像表示部１２１、中央画像表示部１２２、左画像表示部１２３は、例えば、液晶ディスプレー等により画像を表示する。
【００１９】
音声ユニット１４０は、右画面上方向の音声を再生する右上音声再生部１４１、右画面下方向の音声を再生する右下音声再生部１４２、中央画面上方向の音声を再生する中央上音声再生部１４３、中央画面下方向の音声を再生する中央下音声再生部１４４、左画面上方向の音声を再生する左上音声再生部１４５、左画面下方向の音声を再生する左下音声再生部１４６、オペレータの視線を監視し画面上のオペレータの視線位置を検出する視線監視カメラ５１３ｂとで構成される。
【００２０】
音声は、ドルビーサウンド方式等で再生される。
制御ユニット１００は、ＣＰＵ１１４により、ＤＶＤ１０１に記録されている画像データを画像データ解凍部１０２で解凍し、座標検出処理部１１３で検出した画面上の座標位置に応じた画像データ解凍部１０２で解凍された画像データを抽出し、誇張処理部１０３で抽出した画像データに誇張処理を施すように制御する。その後、画像データ分割部１０４により、誇張処理が施された画像データを含む全画像データが右・中央・左のそれぞれの画面に分割され、それぞれのデータ処理部１０５、１０６、１０７で処理され表示ユニット１２０に表示される。
【００２１】
誇張処理部１０３は、座標検出処理部１１３で検出された座標位置から所定の半径Ｒの範囲を鮮明な画像とし、所定の半径Ｒの範囲以外をぼかしたとなるように処理する。
例えば、所定の半径Ｒの範囲以外の画像データでは、１ラインおきに、表示する走査線を間引く等の画像データ処理を行うことで、画像をぼかすことができる。これにより、所定の半径Ｒの範囲の画像は、くっきりと鮮明な映像になる。
【００２２】
また、上記誇張処理を画像データの分割をする前に処理することで、画面ごとの処理を行わなくて済む。
制御ユニット１００は、ＣＰＵ１１４により、ＤＶＤ１０１に記録されている音声データを音声データ解凍部１０８で解凍し、音声データ分割部１０９で解凍した音声データを画面毎に分割し、分割された音声は各音声データ処理部１１０、１１２、１１３で処理するように制御する。また、ＣＰＵ１１４は、座標検出処理部１１３で検出した座標位置に応じた音圧を、各音声データ処理部１１０、１１１、１１２に指示する。その後、音声ユニット１４０で、画面毎に音圧処理された音声が再生される。
【００２３】
座標検出処理部１１３は、ポインティングデバイス１１３ａ及び／又は視線監視カメラ１１３ｂにより座標位置を検出する。
図３は、本発明の一実施例の外観を示す図である。
既に説明した構成部分と同一構成部分には同一符号を付し、その説明は省略する。
【００２４】
図３に示すように、ＶＲ装置本体１６０の画面は、画像が鮮明に表示されるエリア２００とそうでないエリアとに分けられる。
エリア２００は、ポインティングデバイス１１３ａ又は視線監視カメラ１１３ｂで指定された座標位置から所定の半径Ｒの範囲以内の画像であって、鮮明に表示される。
【００２５】
一方、エリア２００以外の領域は、例えば、１ラインおきに表示する走査線を間引く等の画像データ処理が施されており、ぼやけた画像が表示されている。
このように、画像を調整し、必要な情報のみを鮮明にすることでオペレータの視覚からくる身体的疲労を軽減することができる。
図４は、本発明の一実施例の上面図である。
【００２６】
既に説明した構成部分と同一構成部分には同一符号を付し、その説明は省略する。
図４に示すように、ＶＲ装置本体１６０は、互いに接する画面、すなわち、右画像表示部１２１と中央画像表示部１２２、左画像表示部１２３と中央画像表示部１２２との角度をθとし設置される。
【００２７】
角度θは、１２０度が推奨されるが、オペレータの用途に応じて調整できる。
図５は、本発明の一実施例の操作を示す外観図である。
図５に示すように、ＶＲ装置本体１６０は、事務作業用机又は勉強机等の机２１に置ける程度の大きさであり、オペレータは、椅子２２に座り、本発明のＶＲ装置を使用することができる。
【００２８】
次に、本発明のＶＲ装置を実現するための処理フローを説明する。
図６は、本発明の一実施例の画像誇張処理のフローチャート図である。
図６に示すように、画像誇張処理は、オペレータの視線位置を検出するステップＳ１１、座標（ｘ，ｙ）を中心に半径Ｒ内の映像を算出するステップＳ１２、算出結果を画像誇張処理部へ出力するステップＳ１３とで構成される。
【００２９】
オペレータの視線位置を検出するステップＳ１１は、ＣＰＵ１１４が座標検出処理部１１３からオペレータの視線位置を示す情報を取り込む制御をする。
座標（ｘ，ｙ）を中心に半径Ｒ内の映像を算出するステップＳ１２は、ステップＳ１１で取り込んだ視線位置情報を座標に変換し、座標（ｘ，ｙ）を中心に所定の半径Ｒの範囲内の座標情報、すなわち、図３で示されるエリア２００の座標情報を算出する。
【００３０】
算出結果を画像誇張処理部へ出力するステップＳ１３は、ステップＳ１２で算出された座標情報を、画像誇張処理部１０３へ出力する。座標情報を受け取った画像誇張処理部１０３は、エリア２００の座標は画像を鮮明に、エリア２００以外の座標は画像がぼやけるように、付加情報を加える。加えられた付加情報と全画像情報に基づき、画像データ分割部１０４は、右・中央・左の表示画面に応じて画像データを分割し、それぞれの表示画面に画像データを表示する。
【００３１】
画像を誇張する方法は、画像データが表示される時のエリア２００では、走査線の本数を全て使用し、かつ、輝度を強くする。また、エリア２００以外では、走査線を１本おきに使用する等で走査線の使用本数を減らし、かつ、輝度を２分の１程度等に弱くする。
なお、エリア２００の画像データ或いはエリア２００以外の画像データのどちらか一方のみを変更しても実現できる。
【００３２】
図７は、本発明の一実施例の画像誇張処理画面を示す図である。
図７（Ａ）は、オペレータの視線位置から所定の半径Ｒ内の範囲を示す図である。
所定の半径Ｒ内の範囲を示すエリア２００は、ＣＰＵ１１４によって算出され、算出結果が誇張処理部１０３に出力される。
【００３３】
図７（Ｂ）は、誇張処理の方法を示す図である。
誇張処理部１０３は、上記算出結果に基づき、エリア２００の各座標点での画像データに鮮明に表示するための情報を付加する等の処理を行う。一方、エリア２００以外の領域は、１ラインおきに画像データを表示しないように各座標点でのデータを消去する等により画像データを変更する。
【００３４】
図７（Ｃ）は、誇張処理が施された画像の表示例を示す図である。
エリア２００はくっきりと鮮明に画像が表示され、エリア２００以外はぼやけた画像が表示される。
図８は、本発明の一実施例の音声誇張処理のフローチャート図である。
図８に示すように、音声誇張処理は、オペレータの視線位置を検出するステップＳ２１、座標（ｘ，ｙ）を算出するステップＳ２２、算出結果から音の位置を算出するステップＳ２３、座標（ｘ，ｙ）に相当する音声データを抽出して誇張するステップＳ２４、座標（ｘ，ｙ）以外の音声データは小さい音に制御するステップＳ２５とで構成される。
【００３５】
オペレータの視線位置を検出するステップＳ２１は、ＣＰＵ１１４が座標検出処理部１１３からオペレータの視線位置を示す情報を取り込む制御をする。
座標（ｘ，ｙ）を算出するステップＳ２２は、ステップＳ１１で取り込んだ視線位置情報から座標位置を算出する。
算出結果から音の位置を算出するステップＳ２３は、算出された座標位置から音の位置を算出する。
【００３６】
座標（ｘ，ｙ）に相当する音声データを抽出して誇張するステップＳ２４は、算出された視線位置を示す座標（ｘ，ｙ）に相当する音声データを抽出し、音声を誇張する。例えば、抽出した音声データの音圧を強くする情報を付加する。
座標（ｘ，ｙ）以外の音声データは小さい音に制御するステップＳ２５は、視線位置を示す座標（ｘ，ｙ）以外の位置の音声データに、音圧を低くする情報を付加する。
【００３７】
ＣＰＵ１１４は、音圧情報が付加された全音声データを音声データ分割部１０９に出力する。音声データ分割部１０９は、受信した音声データを右・中央・左毎の画面表示部に応じてそれぞれ分割し、音声ユニットから音声を再生させる。
上記本発明により、オペレータの視線位置に応じて画面の一部と音声を誇張することを可能とし、より現実的な効果を実現することができる。
【００３８】
【発明の効果】
上述の如く本発明によれば、次に述べる効果を実現することができる。
本発明によれば、オペレータの視線位置に応じて、局所的に画像を鮮明にし、かつ、音圧を大きくすることにより、より人間の視覚機能や聴覚機能に近い仮想空間を表現することができる等の特長を有する。
【００３９】
また、本発明によれば、画像と音の情報量をオペレータの視線位置に応じて制御することにより、オペレータは必要とする情報のみを取得でき、オペレータの視覚、聴覚に及ぼす疲労を軽減することができる等の特長を有する。
さらに、本発明によれば、仮想空間を体験するための特殊な装置をオペレータの顔や耳に直接装備する必要がないため、オペレータの身体的疲労を軽減することができる等の特長を有する。
【図面の簡単な説明】
【図１】従来の一例の外観図である。
【図２】本発明の一実施例の機能構成図である。
【図３】本発明の一実施例の外観を示す図である。
【図４】本発明の一実施例の上面図である。
【図５】本発明の一実施例の操作を示す外観図である。
【図６】本発明の一実施例の画像誇張処理のフローチャート図である。
【図７】本発明の一実施例の画像誇張処理を示す図である。
【図８】本発明の一実施例の音声誇張処理のフローチャート図である。
【符号の説明】
１００        制御ユニット
１０１        ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｄｉｓｃ）
１０２        画像データ解凍部
１０３        誇張処理部
１０４        画像データ分割部
１０５、１０６、１０７        データ処理部
１０８        音声データ解凍部
１０９        音声データ分割部
１１０、１１１、１１２        音声データ処理部
１１３        座標検出処理部
１１３ａ      ポインティングデバイス
１１３ｂ      視線監視カメラ
１１４        ＣＰＵ
１２０        表示ユニット
１２１、１２２、１２３        画像表示部
１４０        音声ユニット
１４１、１４２、１４３、１４４、１４５、１４６          音声再生部
１６０        ＶＲ装置本体
【図１】
0004373517.tif 000002
【図２】
0004373517.tif 000003
【図３】
0004373517.tif 000004
【図４】
0004373517.tif 000005
【図５】
0004373517.tif 000006
【図６】
0004373517.tif 000007
【図７】
0004373517.tif 000008
【図８】
0004373517.tif 000009