(57)【要約】【課題】手元にある携帯型のディスプレイ装置で画像を見ながら、イヤホンやヘッドホンによって音声を聴く場合に、当該ディスプレイ装置を移動または回転させたとき、映画館で座席を移動して映画を鑑賞するときのような臨場感が得られるように音像定位を制御する。【解決手段】リスナーがディスプレイ１１を初期状態から、Ｘ軸プラス方向に距離Ｄｘだけ移動させ、Ｙ軸マイナス方向に距離Ｄｙだけ移動させた場合、仮想シアターのような仮想視聴空間においてリスナーが前方左側に移動したときのような音像定位処理を実行する。【選択図】図６
2010147529.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイと、
このディスプレイの移動または回転を検出するためのディスプレイ用センサと、
イヤホン装置またはヘッドホン装置であるトランスデューサ装置と、
このトランスデューサ装置を装着して音声を聴取するリスナーの頭外の位置に音像を定位させるように音声信号を処理する音声処理部と、
上記ディスプレイ用センサの出力を演算して、上記ディスプレイの移動方向および移動距離、または回転方向および回転角を算出し、その算出結果に応じて、上記ディスプレイとリスナー頭部との位置関係を想定された仮想視聴空間での画像表示面とリスナー頭部との位置関係に写像するように、上記音声処理部における音声処理を制御する演算制御部と、
を備える情報処理システム。
【請求項２】
請求項１の情報処理システムにおいて、
上記トランスデューサ装置に取り付けられた、リスナー頭部の移動または回転を検出するためのトランスデューサ用センサを備え、
上記演算制御部は、上記ディスプレイ用センサの出力、および上記トランスデューサ用センサの出力を演算して、上記ディスプレイの移動方向および移動距離、または回転方向および回転角、および上記リスナー頭部の移動方向および移動距離、または回転方向および回転角を算出し、その算出結果に応じて、上記ディスプレイとリスナー頭部との位置関係を上記仮想視聴空間での画像表示面とリスナー頭部との位置関係に写像するように、上記音声処理部における音声処理を制御する情報処理システム。
【請求項３】
請求項１の情報処理システムにおいて、
当該情報処理システムは、上記ディスプレイ、上記ディスプレイ用センサ、上記音声処理部および上記演算制御部を備える情報処理装置と、上記トランスデューサ装置とによって構成された情報処理システム。
【請求項４】
請求項１の情報処理システムにおいて、
当該情報処理システムは、上記ディスプレイおよび上記ディスプレイ用センサを備えるディスプレイ装置と、上記トランスデューサ装置と、上記音声処理部および上記演算制御部を備える情報処理装置とによって構成された情報処理システム。
【請求項５】
ディスプレイと、このディスプレイの移動または回転を検出するためのディスプレイ用センサと、イヤホン装置またはヘッドホン装置であるトランスデューサ装置と、このトランスデューサ装置を装着して音声を聴取するリスナーの頭外の位置に音像を定位させるように音声信号を処理する音声処理部とを備える情報処理システムが実行する情報処理方法として、
上記ディスプレイ用センサの出力を演算して、上記ディスプレイの移動方向および移動距離、または回転方向および回転角を算出する演算工程と、
その算出結果に応じて、上記ディスプレイとリスナー頭部との位置関係を想定された仮想視聴空間での画像表示面とリスナー頭部との位置関係に写像するように、上記音声処理部における音声処理を制御する制御工程と、
を備える情報処理方法。
【請求項６】
請求項５の情報処理方法において、
上記情報処理システムは、上記トランスデューサ装置に取り付けられた、リスナー頭部の移動または回転を検出するためのトランスデューサ用センサを備え、
情報処理方法として、そのトランスデューサ用センサの出力を演算して、上記リスナー頭部の移動方向および移動距離、または回転方向および回転角を算出する演算工程を備え、
上記制御工程では、上記それぞれの演算工程での算出結果に応じて、上記ディスプレイとリスナー頭部との位置関係を上記仮想視聴空間での画像表示面とリスナー頭部との位置関係に写像するように、上記音声処理部における音声処理を制御する情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ディスプレイ上に画像を表示し、イヤホンまたはヘッドホンによって音声を出力する情報処理システム、および、この情報処理システムでの情報処理方法に関する。
【背景技術】
【０００２】
携帯型のディスプレイ装置で動画などの画像を見ながら、イヤホンやヘッドホンによって音楽などの音声を聴くことが多くなっている。
【０００３】
また、下記の特許文献１や特許文献２には、イヤホンやヘッドホンによって音楽を聴く場合に、リスナー頭部の回転を検出し、その検出結果に応じて音像定位を制御して、リスナー頭外の定められた位置に音像を定位させることが示されている。
【０００４】
また、下記の特許文献３には、映像および音声を再生する場合に、ディスプレイ画面上の所定位置に音像を定位させることが示されている。
【０００５】
上に挙げた先行技術文献は、以下の通りである。
【特許文献１】特開平９−７００９４号公報
【特許文献２】特開平１１−２０５８９２号公報
【特許文献３】特開平９−９３７００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の従来の音像定位方法では、ディスプレイ装置が固定的に常設されることが前提とされているため、携帯電話端末などに代表される携帯型のディスプレイ装置で画像を見ながら、イヤホンやヘッドホンによって音声を聴く場合、当該ディスプレイの状態の変化とは無関係に音像が所定位置に固定的に定位されてしまう。
【０００７】
具体的には、イヤホンやヘッドホンを装着したリスナーが携帯電話端末などのディスプレイ装置を、リスナー自身に近づけても、逆にリスナー自身から遠ざけても、あるいはリスナー自身に対して傾けても、当該音声の音像が定位される位置は変わらない。このため、例えば、映画館において、前の方の座席で映画を鑑賞した場合、逆に後ろの方の座席で映画を鑑賞した場合、あるいはスクリーンに対して斜めの方向で映画を鑑賞した場合に体感できるような臨場感は、携帯型のディスプレイ装置を用いて音声を聴く場合には得られない。
【０００８】
そこで、この発明は、手元にある携帯型のディスプレイ装置で画像を見ながら、イヤホンやヘッドホンによって音声を聴く場合に、当該ディスプレイ装置を移動または回転させたとき、映画館で座席を移動して映画を鑑賞するときのような臨場感が得られるように音像定位の制御を行うものである。
【課題を解決するための手段】
【０００９】
第１の発明の情報処理システムは、
ディスプレイと、
このディスプレイの移動または回転を検出するためのディスプレイ用センサと、
イヤホン装置またはヘッドホン装置であるトランスデューサ装置と、
このトランスデューサ装置を装着して音声を聴取するリスナーの頭外の位置に音像を定位させるように音声信号を処理する音声処理部と、
上記ディスプレイ用センサの出力を演算して、上記ディスプレイの移動方向および移動距離、または回転方向および回転角を算出し、その算出結果に応じて、上記ディスプレイとリスナー頭部との位置関係を想定された仮想視聴空間での画像表示面とリスナー頭部との位置関係に写像するように、上記音声処理部における音声処理を制御する演算制御部と、
を備えるものである。
【００１０】
第２の発明の情報処理システムは、
上記の第１の発明の情報処理システムにおいて、
上記トランスデューサ装置に取り付けられた、リスナー頭部の移動または回転を検出するためのトランスデューサ用センサを備え、
上記演算制御部は、上記ディスプレイ用センサの出力、および上記トランスデューサ用センサの出力を演算して、上記ディスプレイの移動方向および移動距離、または回転方向および回転角、および上記リスナー頭部の移動方向および移動距離、または回転方向および回転角を算出し、その算出結果に応じて、上記ディスプレイとリスナー頭部との位置関係を上記仮想視聴空間での画像表示面とリスナー頭部との位置関係に写像するように、上記音声処理部における音声処理を制御するものである。
【００１１】
上記の構成の、この発明の情報処理システムでは、リスナーがディスプレイを、自身に近づけ、逆に自身から遠ざけ、あるいは自身に対して傾けたとき、仮想視聴空間において、自身が画像表示面に近づき、逆に画像表示面から遠ざかり、あるいは画像表示面の左側または右側に移動して画像表示面に対して斜めの方向に位置するように、音像が定位される。
【００１２】
したがって、音像定位についても、映画館で座席を移動して映画を鑑賞するときのような臨場感が得られる。
【００１３】
また、多くの音楽ソースは前方のスピーカがメインとされているので、ディスプレイを近づけることによって音量が上がり、ディスプレイを遠ざけることによって音量が下がって、結果的に、キーやスイッチなどの操作手段によらないボリューム調整インタフェースとして機能させることもできる。
【発明の効果】
【００１４】
以上のように、この発明によれば、手元にある携帯型のディスプレイ装置で画像を見ながら、イヤホンやヘッドホンによって音声を聴く場合に、ディスプレイ装置を移動または回転させたとき、音像定位についても、映画館で座席を移動して映画を鑑賞するときのような臨場感を得ることができる。
【発明を実施するための最良の形態】
【００１５】
［１．第１の実施形態：図１〜図１３］
第１の実施形態として、リスナーが自身は移動も回転もせず、ディスプレイのみを移動または回転させる場合を示す。
【００１６】
（１−１．システム構成：図１〜図４）
＜１−１−１．システムの外観構成：図１＞
図１に、第１の実施形態の情報処理システムの一例の外観構成を示す。
【００１７】
この例の情報処理システム１００は、情報処理装置１０およびイヤホン装置５０によって構成される。
【００１８】
情報処理装置１０は、動画などの画像、および音楽などの音声を再生できるもので、外観的には、液晶ディスプレイや有機ＥＬディスプレイなどのディスプレイ１１、および操作キーや操作ダイヤルなどからなる操作部１２を備える。
【００１９】
イヤホン装置５０は、左イヤホン部６０および右イヤホン部７０を備え、コード５５の一端側の分岐されたコード部分５６および５７が左イヤホン部６０および右イヤホン部７０に接続される。
【００２０】
図１では省略しているが、コード５５の他端側にはプラグが取り付けられ、そのプラグが情報処理装置１０に設けられたジャックに挿入されることによって、イヤホン装置５０が情報処理装置１０に有線接続される。
【００２１】
＜１−１−２．システムの接続機能構成：図２＞
図２に、この場合の情報処理装置１０の接続機能構成を示す。
【００２２】
情報処理装置１０は、バス１４に、上記の操作部１２のほかに、ＣＰＵ１５、ＲＯＭ１６、ＲＡＭ１７および不揮発メモリ１９が接続される。
【００２３】
ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ，
ＲＯＭ：Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ，
ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ，である。
【００２４】
ＲＯＭ１６には、ＣＰＵ１５が実行すべき各種のプログラムや必要な固定データが、あらかじめ書き込まれる。ＲＡＭ１７は、ＣＰＵ１５のワークエリアなどとして機能するものである。
【００２５】
ＣＰＵ１５、ＲＯＭ１６およびＲＡＭ１７は、後述のディスプレイ１１の移動および回転に係る演算およびその演算結果による音像定位処理の制御を行う演算制御部２１を構成する。
【００２６】
不揮発メモリ１９は、情報処理装置１０に内蔵された、または情報処理装置１０に装着されるもので、これには、動画などの画像データや音楽などの音声データなどが記録される。
【００２７】
さらに、バス１４には、画像処理部２２および音声処理部２４が接続される。ただし、画像処理部２２および音声処理部２４は、それぞれ、ＣＰＵ１５、ＲＯＭ１６およびＲＡＭ１７を含んで構成される。
【００２８】
画像処理部２２は、不揮発メモリ１９から読み出された動画などの画像データを、圧縮されているものについては伸長した上で、アナログ画像信号に変換する。
【００２９】
音声処理部２４は、不揮発メモリ１９から読み出された音楽などの音声データに対して、圧縮されているものについては伸長した上で、後述のような音像定位処理を行う。
【００３０】
画像処理部２２からの画像信号は、駆動回路部２３でディスプレイ駆動信号に変換されて、ディスプレイ１１に供給される。
【００３１】
音声処理部２４からの左右のデジタル音声データは、ＤＡＣ２５および２６でアナログ音声信号に変換される。その変換後の左右の音声信号は、音声増幅回路２７および２８で増幅されて、イヤホン装置５０の左右のトランスデューサ６１および７１に供給される。
【００３２】
ＤＡＣ：Ｄｉｇｉｔａｌ  ｔｏ  Ａｎａｌｏｇ  Ｃｏｎｖｅｒｔｅｒ，である。
【００３３】
トランスデューサ６１および７１は、それぞれ音楽などの音声信号を音響に変換するものである。
【００３４】
さらに、この例では、情報処理装置１０に、ディスプレイ１１の移動、すなわち情報処理装置１０の移動を検出するための加速度センサ３１、および、ディスプレイ１１の回転、すなわち情報処理装置１０の回転を検出するためのジャイロセンサ３２、を設ける。
【００３５】
具体的に、加速度センサ３１は、後述の基準面内の互いに直交する２つの軸（Ｘ軸およびＹ軸）の方向の移動の加速度を検出するものとし、ジャイロセンサ３２は、その基準面に垂直な軸（Ｚ軸）の回りの回転の角速度を検出するものとする。
【００３６】
加速度センサ３１およびジャイロセンサ３２の出力信号は、それぞれ、ＡＤＣ３３および３４でサンプリングされ、デジタルデータに変換されて、バス１４に取り込まれる。
【００３７】
ＡＤＣ：Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ，である。
【００３８】
＜１−１−３．仮想視聴空間：図３＞
情報処理装置１０では、ディスプレイ１１上に画像を表示し、イヤホン装置５０によって音声を出力するに当たって、仮想シアターのような仮想視聴空間を想定する。図３に、仮想視聴空間の一例を示す。
【００３９】
この例の仮想視聴空間１は、基準面（図３の紙面に平行な面）上で見て長方形の空間で、リスナーから見て前方側に、画像表示面２、センターのスピーカ３および左右のスピーカ４，５が設置され、左右の側方の前方寄りの位置に、スピーカ６，７が設置されたものである。
【００４０】
ただし、この例のスピーカ数およびスピーカ配置位置は一例であって、スピーカ数およびスピーカ配置位置は任意に設定することができる。
【００４１】
画像表示面２は、スクリーンとして投射によって、またはディスプレイとして、画像が表示される面である。
【００４２】
位置Ｐｏは、仮想視聴空間１の中心位置であり、リスナー頭部９の実線で示す状態は、リスナー頭部９が位置Ｐｏにおいて画像表示面２に正対している状態である。
【００４３】
リスナーが位置Ｐｏから位置Ｐｆに移動することは、実際のシアターで前方側の席に移動することに相当し、位置Ｐｏから位置Ｐｂに移動することは、実際のシアターで後方側の席に移動することに相当する。
【００４４】
リスナーが位置Ｐｏから位置Ｐｌに移動することは、実際のシアターで左側の席に移動することに相当し、位置Ｐｏから位置Ｐｒに移動することは、実際のシアターで右側の席に移動することに相当する。
【００４５】
この仮想視聴空間１の左右方向をＸ軸方向、前後方向をＹ軸方向、基準面（図３の紙面に平行な面）に垂直な方向をＺ軸方向とする。
【００４６】
＜１−１−４．音像定位処理：図４＞
図４に、図３のように仮想視聴空間１が想定された場合の情報処理装置１０の音声処理部２４の音像定位処理に係る構成の一例を示す。
【００４７】
音声信号ＳＣ，ＳＬ，ＳＲ，ＳＥおよびＳＦは、それぞれ、図３に示した仮想視聴空間１に設置された仮想のスピーカ３，４，５，６および７から出力されるチャンネルの、圧縮されているデータについては伸長した後のデジタル音声データである。
【００４８】
音声信号ＳＣは、デジタルフィルタ４３Ｌおよび４３Ｒに供給され、音声信号ＳＬは、デジタルフィルタ４４Ｌおよび４４Ｒに供給され、音声信号ＳＲは、デジタルフィルタ４５Ｌおよび４５Ｒに供給される。
【００４９】
音声信号ＳＥは、デジタルフィルタ４６Ｌおよび４６Ｒに供給され、音声信号ＳＦは、デジタルフィルタ４７Ｌおよび４７Ｒに供給される。
【００５０】
デジタルフィルタ４３Ｌは、スピーカ３の位置からリスナー頭部９の左耳に至る伝達関数ＨＣＬを時間領域に変換したインパルス応答を畳み込むフィルタである。
【００５１】
デジタルフィルタ４３Ｒは、スピーカ３の位置からリスナー頭部９の右耳に至る伝達関数ＨＣＲを時間領域に変換したインパルス応答を畳み込むフィルタである。
【００５２】
デジタルフィルタ４４Ｌは、スピーカ４の位置からリスナー頭部９の左耳に至る伝達関数ＨＬＬを時間領域に変換したインパルス応答を畳み込むフィルタである。
【００５３】
デジタルフィルタ４４Ｒは、スピーカ４の位置からリスナー頭部９の右耳に至る伝達関数ＨＬＲを時間領域に変換したインパルス応答を畳み込むフィルタである。
【００５４】
デジタルフィルタ４５Ｌは、スピーカ５の位置からリスナー頭部９の左耳に至る伝達関数ＨＲＬを時間領域に変換したインパルス応答を畳み込むフィルタである。
【００５５】
デジタルフィルタ４５Ｒは、スピーカ５の位置からリスナー頭部９の右耳に至る伝達関数ＨＲＲを時間領域に変換したインパルス応答を畳み込むフィルタである。
【００５６】
デジタルフィルタ４６Ｌは、スピーカ６の位置からリスナー頭部９の左耳に至る伝達関数ＨＥＬを時間領域に変換したインパルス応答を畳み込むフィルタである。
【００５７】
デジタルフィルタ４６Ｒは、スピーカ６の位置からリスナー頭部９の右耳に至る伝達関数ＨＥＲを時間領域に変換したインパルス応答を畳み込むフィルタである。
【００５８】
デジタルフィルタ４７Ｌは、スピーカ７の位置からリスナー頭部９の左耳に至る伝達関数ＨＦＬを時間領域に変換したインパルス応答を畳み込むフィルタである。
【００５９】
デジタルフィルタ４７Ｒは、スピーカ７の位置からリスナー頭部９の右耳に至る伝達関数ＨＦＲを時間領域に変換したインパルス応答を畳み込むフィルタである。
【００６０】
加算回路４１で、デジタルフィルタ４３Ｌ，４４Ｌ，４５Ｌ，４６Ｌおよび４７Ｌの出力の音声信号が加算される。加算回路４２で、デジタルフィルタ４３Ｒ，４４Ｒ，４５Ｒ，４６Ｒおよび４７Ｒの出力の音声信号が加算される。
【００６１】
加算回路４１の出力の音声信号は、図２に示したＤＡＣ２５でアナログ音声信号に変換される。その変換後の音声信号が、左音声信号として、音声増幅回路２７で増幅されて、トランスデューサ６１に供給される。
【００６２】
加算回路４２の出力の音声信号は、図２に示したＤＡＣ２６でアナログ音声信号に変換される。その変換後の音声信号が、右音声信号として、音声増幅回路２８で増幅されて、トランスデューサ７１に供給される。
【００６３】
（１−２．情報処理方法：図５〜図１３）
第１の実施形態では、ディスプレイ１１を移動または回転させたとき、その移動後または回転後のディスプレイ１１とリスナー頭部との位置関係を仮想視聴空間１での画像表示面２とリスナー頭部との位置関係に写像するように、音像定位を制御する。
【００６４】
＜１−２−１．初期状態：図５＞
このように音像定位を制御するためには、初期状態の設定が必要である。
【００６５】
図５に、実際の視聴空間の初期状態設定時の状態の一例を示す。
【００６６】
リスナーは、情報処理システム１００によって画像および音声を視聴するとき、自身に対してディスプレイ１１が或る位置および或る方向にある状態で、操作部１２での操作によって情報処理装置１０に初期状態を設定させる。
【００６７】
図５は、リスナーが、自身の正面側の自身の頭部９の位置Ｈｏに対して或る距離Ｌｏを隔てた位置Ｄｏにディスプレイ１１が存在するように情報処理装置１０を手に持ち、ディスプレイ１１を自身に正対させた状態で、設定操作をした場合である。
【００６８】
このとき、情報処理装置１０は、ディスプレイ１１の画面左右方向に延長してディスプレイ１１の画面と所定角度で交差する面を基準面とし、この基準面上の画面左右方向をＸ軸方向、これに垂直な方向をＹ軸方向、基準面に垂直な方向をＺ軸方向とする。
【００６９】
図２に示した加速度センサ３１は、このＸ軸方向およびＹ軸方向の移動の加速度を検出し、ジャイロセンサ３２は、Ｚ軸方向の回転の角速度を検出する。
【００７０】
ディスプレイ１１とリスナー頭部９との初期距離Ｌｏは、任意であるが、一般に人がディスプレイを手に持ってディスプレイ画面を見るときの距離としては３０ｃｍ程度である。
【００７１】
この初期状態は、図３に示したようにリスナーが仮想視聴空間１内の所定位置、例えば中心位置Ｐｏの席で、映画などの画像および音声を視聴する状態とする。
【００７２】
そのため、ディスプレイ１１とリスナー頭部９との位置関係が初期状態とされた状態にあるときには、リスナーが仮想音源のスピーカ３〜７に対して図３に示すような位置Ｐｏおよび方向で音声を聴取するように、音像定位を制御する。
【００７３】
＜１−２−２．ディスプレイを移動させた場合：図６および図７＞
第１の実施形態の第１の方法は、リスナーがディスプレイ１１を、上記のＸ軸方向またはＹ軸方向に移動させた場合である。
【００７４】
図６に、リスナーがディスプレイ１１を、上記の初期状態から、参照符号１１ｍで示すように、Ｘ軸方向にはＸ軸プラス方向に距離Ｄｘだけ移動させ、Ｙ軸方向にはＹ軸マイナス方向に距離Ｄｙだけ移動させた場合を示す。
【００７５】
Ｘ軸プラス方向は、画面右方向であり、Ｘ軸マイナス方向は、画面左方向であり、Ｙ軸プラス方向は、リスナー頭部９から遠ざかる方向であり、Ｙ軸マイナス方向は、リスナー頭部９に近づく方向である。
【００７６】
位置Ｄｏは、ディスプレイ１１の初期位置であり、位置Ｄｍは、ディスプレイ１１の移動後の位置である。
【００７７】
距離Ｌｍは、ディスプレイ１１の移動後のディスプレイ１１とリスナー頭部９との距離であり、初期距離Ｌｏが３０ｃｍなどというように設定されれば、図６中の式（１）によって算出することができる。
【００７８】
情報処理装置１０の演算制御部２１は、加速度センサ３１の２軸の出力の、Ｘ軸方向およびＹ軸方向の加速度を、それぞれ２回積分して、ディスプレイ１１のＸ軸方向の移動距離ＤｘおよびＹ軸方向の移動距離Ｄｙを算出する。
【００７９】
さらに、情報処理装置１０の演算制御部２１は、移動後のディスプレイ１１とリスナー頭部９との位置関係が仮想視聴空間１での画像表示面２とリスナー頭部９との位置関係に写像されるように、音像定位の処理パラメータを選択決定する。
【００８０】
写像変換のために、一つの方法として、Ｘ軸方向の変換率およびＹ軸方向の変換率を、それぞれＫとして、距離Ｑｘ，Ｑｙとして、Ｑｘ＝Ｋ・Ｄｘ，Ｑｙ＝Ｋ・Ｄｙ，を算出する。
【００８１】
仮想視聴空間１の範囲や、画像表示面２と中心位置Ｐｏとの距離は、実際の視聴空間でリスナーの腕を最大に伸ばせる範囲や、実際の視聴空間での上記の距離Ｌｏに比べて、十分に大きいので、変換率Ｋは１より大きくする。
【００８２】
実際の視聴空間でディスプレイ１１が、Ｘ軸プラス方向に距離Ｄｘだけ移動し、Ｙ軸マイナス方向に距離Ｄｙだけ移動したことは、仮想視聴空間１ではリスナー頭部９が、Ｘ軸マイナス方向に距離Ｑｘだけ移動し、Ｙ軸プラス方向に距離Ｑｙだけ移動したことに相当する。
【００８３】
そのため、図７に示すように、仮想視聴空間１でのリスナー頭部９の位置Ｐｍとして、中心位置Ｐｏから、Ｘ軸マイナス方向に距離Ｑｘだけ移動し、Ｙ軸プラス方向に距離Ｑｙだけ移動した位置を算出する。
【００８４】
位置Ｐｍは、仮想視聴空間１の画像表示面２から見ると、Ｙ軸マイナス方向に対して時計方向に、図６中の式（２）で表される角度αだけ回転した方向である。
【００８５】
別の方法として、上記の距離Ｌｍと角度αとから、仮想視聴空間１でのリスナー頭部９の位置Ｐｍを算出することもできる。
【００８６】
すなわち、この場合、画像表示面２から見て、Ｙ軸マイナス方向に対して時計方向に角度αだけ回転した方向に、画像表示面２の左右方向の中心から、上記の距離Ｌｍに変換率Ｋを乗じた距離ｌｍだけ離れた点を、仮想視聴空間１でのリスナー頭部９の位置Ｐｍとして算出する。
【００８７】
変換率Ｋは、仮想視聴空間１のＸ軸方向（左右方向）の幅Ｃｘ、またはＹ軸方向（前後方向）の奥行きＣｙを考慮して決定することもできる。
【００８８】
例えば、人の腕の長さを５０ｃｍとし、実際の視聴空間ではディスプレイ１１とリスナー頭部９との距離Ｌｍが最大で５０ｃｍになるとする。
【００８９】
この距離Ｌｍの最大値をＬｍｍａｘとすると、奥行きＣｙを考慮した場合としては、
ｌｍ：Ｌｍ＝Ｃｙ：Ｌｍｍａｘ  ‥‥‥（５）
すなわち、
ｌｍ＝Ｃｙ×Ｌｍ／Ｌｍｍａｘ  ‥‥‥（６）
とする。
【００９０】
また、幅Ｃｘを考慮した場合としては、
ｌｍ：Ｌｍ＝Ｃｘ／２：Ｌｍｍａｘ  ‥（７）
すなわち、
ｌｍ＝Ｃｘ×Ｌｍ／２×Ｌｍｍａｘ  ‥（８）
とする。
【００９１】
＜１−２−３．ディスプレイを回転させた場合：図８および図９＞
第１の実施形態の第２の方法は、リスナーがディスプレイ１１を、上記のＺ軸の回りに回転させた場合である。
【００９２】
図８に、リスナーがディスプレイ１１を、図５に示した初期状態に対して、参照符号１１ｒで示すように、上記の位置Ｄｏを回転中心としてＺ軸の回りに、上方（紙面の手前側）から見て反時計方向に角度φだけ回転させた場合を示す。
【００９３】
情報処理装置１０の演算制御部２１は、ジャイロセンサ３２の出力の、Ｚ軸の回りの回転の角速度を積分して、回転角φを算出する。
【００９４】
さらに、情報処理装置１０の演算制御部２１は、回転後のディスプレイ１１とリスナー頭部９との位置関係が仮想視聴空間１での画像表示面２とリスナー頭部９との位置関係に写像されるように、音像定位の処理パラメータを選択決定する。
【００９５】
具体的に、実際の視聴空間でディスプレイ１１が反時計方向に角度φだけ回転したことは、仮想視聴空間１ではリスナー頭部９が時計方向に角度φだけ回転したことに相当する。
【００９６】
そのため、この場合、図９に示すように、画像表示面２から見て、Ｙ軸マイナス方向に対して時計方向に角度φだけ回転した方向に、画像表示面２の左右方向の中心から、上記の距離Ｌｏに変換率Ｋを乗じた距離ｌｏだけ離れた点を、仮想視聴空間１でのリスナー頭部９の位置Ｐｍとして算出する。
【００９７】
リスナー頭部９の向きは、画像表示面２の左右方向の中心を向く方向とする。
【００９８】
＜１−２−４．ディスプレイを移動かつ回転させた場合：図１０および図１１＞
第１の実施形態の第３の方法は、リスナーがディスプレイ１１を、移動かつ回転させた場合である。
【００９９】
一例として、図１０に、リスナーがディスプレイ１１を、図５に示した初期状態から、参照符号１１ｍｒで示すように、Ｘ軸プラス方向に距離Ｄｘ、Ｙ軸マイナス方向に距離Ｄｙ、移動させるとともに、Ｚ軸の回りに、反時計方向に角度φだけ回転させた場合を示す。
【０１００】
すなわち、この例は、ディスプレイ１１を、図６に示したように移動させ、かつ図８に示したように回転させた場合である。
【０１０１】
この場合、図１１に示すように、画像表示面２から見て、Ｙ軸マイナス方向に対して時計方向に角度β（＝φ＋α）だけ回転した方向に、画像表示面２の左右方向の中心から距離ｌｍ（＝Ｋ×Ｌｍ）だけ離れた点を、仮想視聴空間１でのリスナー頭部９の位置Ｐｍとして算出する。
【０１０２】
＜１−２−５．演算制御の処理：図１２および図１３＞
図１２に、第１の実施形態で情報処理装置１０の演算制御部２１が実行する一連の処理の一例を示す。
【０１０３】
この例では、まずステップ１１１で、上記のようにリスナーの操作に基づいて初期状態を設定する。
【０１０４】
次に、ステップ１１２で、加速度センサ３１の２軸の出力信号、およびジャイロセンサ３２の出力信号を、サンプリングし、デジタルデータに変換して、ディスプレイ１１のＸ軸方向およびＹ軸方向の移動の加速度を示すデータ、およびディスプレイ１１のＺ軸の回りの回転の角速度を示すデータを得る。
【０１０５】
次に、ステップ１１３で、図１３の式（１１）、式（１２）および式（１３）によって、ディスプレイ１１のＸ軸方向の移動距離Ｄｘ、Ｙ軸方向の移動距離Ｄｙ、およびＺ軸の回りの回転角φを算出する。
【０１０６】
次に、ステップ１１４で、その算出結果をもとに、図４に示したデジタルフィルタ４３Ｌ，４３Ｒ，４４Ｌ，４４Ｒ，４５Ｌ，４５Ｒ，４６Ｌ，４６Ｒ，４７Ｌおよび４７Ｒのフィルタ係数を決定する。
【０１０７】
次に、ステップ１１５で、音声処理部２４において、その決定されたフィルタ係数によって音像定位処理を実行する。
【０１０８】
次に、ステップ１１６で、一連の処理を終了するか否かを判断し、リスナーの終了操作などによって一連の処理を終了する場合を除いて、ステップ１１６からステップ１１２に戻って、ステップ１１２〜１１５の処理を繰り返す。
【０１０９】
［２．第２の実施形態：図１４〜図１９］
第２の実施形態として、第１の実施形態のようにディスプレイを移動または回転させるだけでなく、リスナー自身も移動または回転する場合を示す。
【０１１０】
（２−１．システム構成：図１４および図１５）
第２の実施形態でも、例えば、図１に示したように、情報処理システム１００は情報処理装置１０およびイヤホン装置５０によって構成される。
【０１１１】
情報処理装置１０が外観的にディスプレイ１１および操作部１２を備えることも、第１の実施形態と同じである。
【０１１２】
さらに、第２の実施形態では、イヤホン装置５０は、リスナー頭部の移動または回転を検出できるセンサが取り付けられたものとして構成する。図１４に、その一例を示す。
【０１１３】
左イヤホン部６０は、インナーフレーム６２の一端側に、上記のトランスデューサ６１およびグリル６３が取り付けられ、他端側に、コードブッシング６４が取り付けられる。
【０１１４】
左イヤホン部６０の耳から出る部分には、加速度センサ６５、ジャイロセンサ６６およびハウジング６７が取り付けられる。左イヤホン部６０の耳の中に入る部分には、イヤピース６９が取り付けられる。
【０１１５】
右イヤホン部７０は、左イヤホン部６０と同様に、インナーフレーム７２の一端側に、上記のトランスデューサ７１およびグリル７３が取り付けられ、他端側に、コードブッシング７４が取り付けられる。
【０１１６】
右イヤホン部７０の耳から出る部分には、ハウジング７７が取り付けられる。右イヤホン部７０の耳の中に入る部分には、イヤピース７９が取り付けられる。
【０１１７】
加速度センサ６５は、後述の基準面内の互いに直交する２つの軸（Ｘ軸およびＹ軸）の方向の移動の加速度を検出するものとし、ジャイロセンサ６６は、その基準面に垂直な軸（Ｚ軸）の回りの回転の角速度を検出するものとする。
【０１１８】
情報処理装置１０は、図１５に示すように、第１の実施形態の場合の図２に示した構成に加えて、バス１４に、イヤホン装置５０の加速度センサ６５およびジャイロセンサ６６の出力信号をそれぞれデジタルデータに変換するＡＤＣ３５および３６が接続される。
【０１１９】
第２の実施形態でも、例えば、図３に示したような仮想視聴空間１を想定し、情報処理装置１０の音声処理部２４では、図４に示したような音像定位処理を実行する。
【０１２０】
（２−２．情報処理方法：図１６〜図１９）
第２の実施形態でも、情報処理装置１０は、リスナーの操作によって初期状態を設定する。初期状態は、例えば、図５に示した状態である。
【０１２１】
第２の実施形態では、ディスプレイ１１およびリスナー自身の移動または回転の組合せとして、
（ａ）ディスプレイ１１を移動し、リスナー自身も頭部を移動する場合、
（ｂ）ディスプレイ１１を移動し、リスナー自身は頭部を回転させる場合、
（ｃ）ディスプレイ１１を回転させ、リスナー自身は頭部を移動する場合、
（ｄ）ディスプレイ１１を回転させ、リスナー自身も頭部を回転させる場合、
（ｅ）ディスプレイ１１を移動かつ回転させ、リスナー自身も頭部を移動かつ回転させる場合、
が存在する。
【０１２２】
いずれの場合も、実際の視聴空間でのディスプレイ１１とリスナー頭部９との位置関係を仮想視聴空間１での画像表示面２とリスナー頭部９との位置関係に写像するように、音像定位を制御する。
【０１２３】
図１６に、上記（ｅ）の場合として、リスナーがディスプレイ１１を移動かつ回転させるとともに、リスナー自身が頭部を移動かつ回転させた場合を示す。
【０１２４】
具体的に、ディスプレイ１１は、図１０に示したように移動かつ回転させ、リスナー頭部９は、Ｘ軸プラス方向に距離Ｈｘだけ移動させ、Ｙ軸マイナス方向に距離Ｈｙだけ移動させ、Ｚ軸の回りにディスプレイ１１とは逆に時計方向に角度θだけ回転させた場合を示す。
【０１２５】
位置Ｄｏ、距離Ｌｏ、位置Ｄｍ、距離Ｄｘ、距離Ｄｙおよび回転角φは、図５、図６、図８および図１０に示したそれと同じである。
【０１２６】
位置Ｈｏは、この場合にはリスナー頭部９の初期位置であり、位置Ｈｍは、リスナー頭部９の移動後の位置である。
【０１２７】
ディスプレイ１１のＸ軸方向の移動距離ＤｘおよびＹ軸方向の移動距離Ｄｙは、第１の実施形態でも示したように、加速度センサ３１の２軸の出力の、Ｘ軸方向およびＹ軸方向の加速度を、それぞれ２回積分して算出する。
【０１２８】
リスナー頭部９のＸ軸方向の移動距離ＨｘおよびＹ軸方向の移動距離Ｈｙは、加速度センサ６５の２軸の出力の、Ｘ軸方向およびＹ軸方向の加速度を、それぞれ２回積分して算出する。
【０１２９】
ディスプレイ１１の回転角φは、第１の実施形態でも示したように、ジャイロセンサ３２の出力の角速度を積分して算出する。
【０１３０】
リスナー頭部９の回転角θは、ジャイロセンサ６６の出力の角速度を積分して算出する。
【０１３１】
ディスプレイ１１およびリスナー頭部９の移動後のディスプレイ１１とリスナー頭部９との距離Ｌｍは、初期距離Ｌｏが３０ｃｍなどというように設定されれば、図１６中の式（３）によって算出することができる。図１６中の角度αは、図１６中の式（４）で表される。
【０１３２】
情報処理装置１０の演算制御部２１は、以上のような移動回転後のディスプレイ１１とリスナー頭部９との位置関係が仮想視聴空間１での画像表示面２とリスナー頭部９との位置関係に写像されるように、音像定位の処理パラメータを選択決定する。
【０１３３】
具体的に、実際の視聴空間でディスプレイ１１が反時計方向に角度φだけ回転したことは、仮想視聴空間１ではリスナー頭部９が時計方向に角度φだけ回転したことに相当する。
【０１３４】
さらに、実際の視聴空間でリスナー頭部９が時計方向に角度θだけ回転したことは、仮想視聴空間１でもリスナー頭部９が時計方向に角度θだけ回転したことに相当する。
【０１３５】
そのため、この場合、図１７に示すように、画像表示面２から見て、Ｙ軸マイナス方向に対して時計方向に角度（φ＋θ）だけ回転した方向に、画像表示面２の左右方向の中心から距離ｌｍ（＝Ｋ×Ｌｍ）だけ離れた点を、仮想視聴空間１でのリスナー頭部９の位置Ｐｍとして算出する。
【０１３６】
リスナー頭部９の向きは、画像表示面２の左右方向の中心を向く方向とする。
【０１３７】
図１８に、第２の実施形態で情報処理装置１０の演算制御部２１が実行する一連の処理の一例を示す。
【０１３８】
この例では、まずステップ１２１で、上記のようにリスナーの操作に基づいて初期状態を設定する。
【０１３９】
次に、ステップ１２２で、加速度センサ３１の２軸の出力信号、ジャイロセンサ３２の出力信号、加速度センサ６５の２軸の出力信号、ジャイロセンサ６６の出力信号を、サンプリングし、デジタルデータに変換して、ディスプレイ１１のＸ軸方向およびＹ軸方向の移動の加速度を示すデータ、ディスプレイ１１のＺ軸の回りの回転の角速度を示すデータ、リスナー頭部９のＸ軸方向およびＹ軸方向の移動の加速度を示すデータ、およびリスナー頭部９のＺ軸の回りの回転の角速度を示すデータを得る。
【０１４０】
次に、ステップ１２３で、図１９の式（１１）、式（１２）および式（１３）によって、ディスプレイ１１のＸ軸方向の移動距離Ｄｘ、Ｙ軸方向の移動距離Ｄｙ、およびＺ軸の回りの回転角φを算出するとともに、図１９の式（２１）、式（２２）および式（２３）によって、リスナー頭部９のＸ軸方向の移動距離Ｈｘ、Ｙ軸方向の移動距離Ｈｙ、およびＺ軸の回りの回転角θを算出する。
【０１４１】
次に、ステップ１２４で、その算出結果をもとに、図４に示したデジタルフィルタ４３Ｌ，４３Ｒ，４４Ｌ，４４Ｒ，４５Ｌ，４５Ｒ，４６Ｌ，４６Ｒ，４７Ｌおよび４７Ｒのフィルタ係数を決定する。
【０１４２】
次に、ステップ１２５で、音声処理部２４において、その決定されたフィルタ係数によって音像定位処理を実行する。
【０１４３】
次に、ステップ１２６で、一連の処理を終了するか否かを判断し、リスナーの終了操作などによって一連の処理を終了する場合を除いて、ステップ１２６からステップ１２２に戻って、ステップ１２２〜１２５の処理を繰り返す。
【０１４４】
［３．他の実施形態：図２０］
図２０に示すように、情報処理システム１００を、ディスプレイ装置８０、情報処理装置９０およびイヤホン装置５０によって構成してもよい。この場合、ディスプレイ装置８０と情報処理装置９０との接続、および情報処理装置９０とイヤホン装置５０との接続を、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線によって行うように構成すると、好適である。
【０１４５】
情報処理装置９０は、ホームサーバとして、ハードディスクなどに画像データや音楽データを蓄積し、画像処理、および上記の音像定位を含む音声処理を実行するものである。
【０１４６】
ディスプレイ装置８０は、ディスプレイ１１および操作部１２を備え、ディスプレイ１１の移動を検出するための加速度センサや、ディスプレイ１１の回転を検出するためのジャイロセンサなどを備え、センサの出力信号を情報処理装置９０に送信するものとする。
【０１４７】
イヤホン装置５０は、回路装置部５１に、バッテリー、無線通信モジュールおよびボリュームなどを設け、第２の実施形態のようにリスナー頭部の移動または回転に対応させる場合には、左イヤホン部６０または右イヤホン部７０に加速度センサやジャイロセンサなどを取り付ける。
【０１４８】
なお、図１に示したように情報処理システム１００を情報処理装置１０およびイヤホン装置５０によって構成する場合でも、情報処理装置１０とイヤホン装置５０との接続を無線によって行うように構成してもよい。
【０１４９】
また、トランスデューサ装置としては、イヤホン装置に限らず、ヘッドホン装置でもよい。
【図面の簡単な説明】
【０１５０】
【図１】この発明の情報処理システムの一例の外観構成を示す図である。
【図２】第１の実施形態の情報処理装置の接続機能構成を示す図である。
【図３】仮想視聴空間の一例を示す図である。
【図４】音像定位処理に係る構成の一例を示す図である。
【図５】初期状態設定時の状態の一例を示す図である。
【図６】第１の実施形態でディスプレイを移動させた場合の一例を示す図である。
【図７】図６の場合の仮想視聴空間でのリスナーの位置および向きを示す図である。
【図８】第１の実施形態でディスプレイを回転させた場合の一例を示す図である。
【図９】図８の場合の仮想視聴空間でのリスナーの位置および向きを示す図である。
【図１０】第１の実施形態でディスプレイを移動かつ回転させた場合の一例を示す図である。
【図１１】図１０の場合の仮想視聴空間でのリスナーの位置および向きを示す図である。
【図１２】第１の実施形態で情報処理装置の演算制御部が実行する一連の処理の一例を示す図である。
【図１３】第１の実施形態での移動距離および回転角の算出の説明に供する図である。
【図１４】第２の実施形態のイヤホン装置の一例を示す図である。
【図１５】第２の実施形態の情報処理装置の接続機能構成の一例を示す図である。
【図１６】第２の実施形態でディスプレイおよびリスナー頭部を移動かつ回転させた場合の一例を示す図である。
【図１７】図１６の場合の仮想視聴空間でのリスナーの位置および向きを示す図である。
【図１８】第２の実施形態で情報処理装置の演算制御部が実行する一連の処理の一例を示す図である。
【図１９】第２の実施形態での移動距離および回転角の算出の説明に供する図である。
【図２０】この発明の情報処理システムの他の例を示す図である。
【符号の説明】
【０１５１】
主要部については図中に記述したので、ここでは省略する。
【図１】
2010147529.tif 000003
【図２】
2010147529.tif 000004
【図３】
2010147529.tif 000005
【図４】
2010147529.tif 000006
【図５】
2010147529.tif 000007
【図６】
2010147529.tif 000008
【図７】
2010147529.tif 000009
【図８】
2010147529.tif 000010
【図９】
2010147529.tif 000011
【図１０】
2010147529.tif 000012
【図１１】
2010147529.tif 000013
【図１２】
2010147529.tif 000014
【図１３】
2010147529.tif 000015
【図１４】
2010147529.tif 000016
【図１５】
2010147529.tif 000017
【図１６】
2010147529.tif 000018
【図１７】
2010147529.tif 000019
【図１８】
2010147529.tif 000020
【図１９】
2010147529.tif 000021
【図２０】
2010147529.tif 000022