(57)【要約】【課題】聴視位置の制限をなくすとともに、画像の位置または範囲と音声が発せられる位置または範囲とを一致させる。【解決手段】振動子によって振動させられることにより音声を放射する振動板が、画像を表示する表示面として配置されるか、または表示面の全体の背後に配置される。画像信号処理部８３は、表示される画像に含まれる所定の画像オブジェクトの表示面における位置または画像の表示の倍率を検出する。音響出力位置指示部８６は、画像オブジェクトの表示面における位置から音声を放射する位置を算出するか、または画像の表示の倍率から音声を放射する範囲を算出する。音響出力信号生成部８４は、画像に対応する音声信号から、算出された位置または範囲から音声を放射させるように振動子を駆動する音響信号を生成する。本発明は、画像を表示すると共に音声を出力する装置に適用できる。【選択図】図３
2007129511.tif 000002
【特許請求の範囲】
【請求項１】
振動子によって振動させられることにより音声を放射する振動板であって、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置される振動板と、
表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出する検出手段と、
前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出する算出手段と、
前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する第１の音響信号を生成する第１の生成手段と
を備える音声出力装置。
【請求項２】
複数の前記振動板が、前記表示面として配置されるか、または前記表示面の全体の背後に配置され、
前記算出手段は、算出された位置または範囲から、前記音声を放射させる前記振動板を選択し、
前記第１の生成手段は、選択された前記振動板に設けられた前記振動子を駆動する前記第１の音響信号を生成する
請求項１に記載の音声出力装置。
【請求項３】
前記算出手段は、算出された位置または範囲から、前記振動板を振動させる前記振動子を選択し、
前記第１の生成手段は、選択された前記振動子を駆動する前記第１の音響信号を生成する
請求項１に記載の音声出力装置。
【請求項４】
前記画像に対応する前記音声信号を、第１の音声信号と第２の音声信号とに分離する分離手段を備え、
前記第１の生成手段は、前記第１の音声信号から、前記第１の音響信号を生成し、
前記第２の音声信号から、前記振動子を駆動する第２の音響信号を生成する第２の生成手段と、
前記第１の音響信号と前記第２の音響信号とを混合する混合手段と
をさらに備え、
前記振動子は、混合された前記第１の音響信号および前記第２の音響信号によって駆動される
請求項１に記載の音声出力装置。
【請求項５】
前記検出手段は、前記表示面における座標で示される、前記画像オブジェクトの位置を検出し、
前記算出手段は、音声を放射する面における座標で示される、前記音声を放射する位置を算出するか、または前記音声を放射する範囲を算出する
請求項１に記載の音声出力装置。
【請求項６】
前記振動板には、前記振動板上の所望の位置から前記音声を放射できるように複数の前記振動子が設けられている
請求項１に記載の音声出力装置。
【請求項７】
振動子によって振動させられることにより音声を放射する振動板を、画像を表示する表示面として配置するか、または前記表示面の全体の背後に配置し、
表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出し、
前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出し、
前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号を生成する
ステップを含む音声出力方法。
【請求項８】
振動子によって振動させられることにより音声を放射する振動板であって、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置される振動板を備える音声出力装置のコンピュータに音声出力処理を行わせるプログラムにおいて、
表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出し、
前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出し、
前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号を生成する
ステップを含むプログラム。
【請求項９】
請求項８に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声出力装置および方法、プログラム、並びに記録媒体に関し、特に、画像に応じた音声を出力できるようにした音声出力装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来の音声出力装置は、少なくとも２つのスピーカを用いて、それぞれのスピーカに音量または位相が調整された音声を出力させ、その音声を空間的に合成することで、聴視者に、音像の位置またはその動きを認識させていた。
【０００３】
しかしながら、この場合、スピーカの配置によって、音像の位置またはその動きを認識できる聴視の位置の範囲（以下、スイートスポットと称する。）が限定されてしまう。スイートスポットを外れてしまうと、聴視者は音像の位置も音像の動きも認識することができない。
【０００４】
すなわち、室内空間に設置されるステレオスピーカシステムなど、間に距離をおいて複数のスピーカを配置するようなシステムでは、スピーカの配置によって決まるスイートスポットに、サラウンドやバーチャル立体音像の様に、音の像が結像される。この場合、室内空間を歩き回ったり、複数人で聴視するような環境では、聴視者が、このスイートスポットを外れてしまうと、音の像の位置を認識することができなくなってしまい、聴視者に、コンテンツの制作者の意図が伝わりにくくなってしまう。
【０００５】
従来の音響提示システムには、特定音源からの音を取得して音響信号を生成し、特定音源の方向に対する撮影を行い画像信号を生成し、生成された音響信号に基づいて複数の音響出力信号を生成し、音響出力信号に基づいた音響出力を行い、画像信号に基づく画像の動き検出を行い、該検出した動きに応じて画像信号に基づく画像の表示位置を移動させると共に該画像の表示位置を示す表示位置信号を生成し、音響を出力する複数の音響出力手段に関する設置情報と表示位置信号に基づき、音響出力信号生成手段における複数の音響出力信号の生成動作を制御するものもある（例えば、特許文献１参照）。
【０００６】
【特許文献１】特開２００３−２６４９００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
画像を表示して、画像と共に音声を視聴する場合には、視聴者が、任意の視聴位置で、画像が表示されている位置から音が出ていると認識できるように、画像の位置そのものに音源を配置することが理想と言える。
【０００８】
また、スピーカの数が２つである場合など、スピーカの数が少ない場合には、音声によって物体の大きさを表現することは困難である。物体の大きさに合わせて物理的に振動面の大きさを変えることができるようにすることが理想と言える。
【０００９】
壁全面にスピーカを配置することも考えられるが、壁全面を音源とするためには、極めて多数のスピーカが必要となり、現実的ではなく、実用的でもない。
【００１０】
このようなことから、規模が小さく、壁全面を音源とすることができるようなシステムが要求されていた。
【００１１】
そこで、音源として、振動を加える振動子を設けた振動板を用いることが考えられる。この場合、振動源である振動子の数をそれほど増やすことなく、振動板に振動を伝達することで、音声が放射される面積である音源の面積を稼ぐことができる。
【００１２】
しかしながら、画像の位置と音声が発せられる位置とを一致させたり、画像の大きさに合わせた範囲から音声を発することはできなかった。
【００１３】
本発明は、このような状況に鑑みてなされたものであり、聴視の制限となるスイートスポットを無くすとともに、画像の位置と音声が発せられる位置とを一致させるか、画像の大きさに合わせた範囲から音声を発することで、視聴者の全てが、どの視聴位置でも、より臨場感のある画像と音声とを楽しむことができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の一側面の音声出力装置は、振動子によって振動させられることにより音声を放射する振動板であって、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置される振動板と、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出する検出手段と、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出する算出手段と、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する第１の音響信号を生成する第１の生成手段とを備える。
【００１５】
複数の前記振動板が、前記表示面として配置されるか、または前記表示面の全体の背後に配置され、前記算出手段は、算出された位置または範囲から、前記音声を放射させる前記振動板を選択し、前記第１の生成手段は、選択された前記振動板に設けられた前記振動子を駆動する前記第１の音響信号を生成することができる。
【００１６】
前記算出手段は、算出された位置または範囲から、前記振動板を振動させる前記振動子を選択し、前記第１の生成手段は、選択された前記振動子を駆動する前記第１の音響信号を生成することができる。
【００１７】
前記画像に対応する前記音声信号を、第１の音声信号と第２の音声信号とに分離する分離手段を設け、前記第１の生成手段は、前記第１の音声信号から、前記第１の音響信号を生成し、さらに、前記第２の音声信号から、前記振動子を駆動する第２の音響信号を生成する第２の生成手段と、前記第１の音響信号と前記第２の音響信号とを混合する混合手段とを設け、前記振動子を、混合された前記第１の音響信号および前記第２の音響信号によって駆動することができる。
【００１８】
前記検出手段は、前記表示面における座標で示される、前記画像オブジェクトの位置を検出し、前記算出手段は、音声を放射する面における座標で示される、前記音声を放射する位置を算出するか、または前記音声を放射する範囲を算出することができる。
【００１９】
前記振動板に、前記振動板上の所望の位置から前記音声を放射できるように複数の前記振動子を設けることができる。
【００２０】
本発明の一側面の音声出力装置においては、振動子によって振動させられることにより音声を放射する振動板が、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置され、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率が検出され、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置が算出されるか、または前記画像の表示の倍率から前記音声を放射する範囲が算出され、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する第１の音響信号が生成される。
【００２１】
本発明の一側面の音声出力方法は、振動子によって振動させられることにより音声を放射する振動板を、画像を表示する表示面として配置するか、または前記表示面の全体の背後に配置し、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出し、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出し、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号を生成するステップを含む。
【００２２】
本発明の一側面の音声出力方法においては、振動子によって振動させられることにより音声を放射する振動板が、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置され、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率が検出され、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置が算出されるか、または前記画像の表示の倍率から前記音声を放射する範囲が算出され、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号が生成される。
【００２３】
本発明の一側面のプログラムは、振動子によって振動させられることにより音声を放射する振動板であって、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置される振動板を備える音声出力装置のコンピュータに音声出力処理を行わせるプログラムであって、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出し、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出し、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号を生成するステップを含む。
【００２４】
本発明の一側面のプログラムにおいては、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率が検出され、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置が算出されるか、または前記画像の表示の倍率から前記音声を放射する範囲が算出され、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号が生成される。
【００２５】
本発明の一側面のプログラムは、記録媒体に記録することができる。
【発明の効果】
【００２６】
以上のように、本発明の一側面によれば、画像に応じた音声を出力することができる。
【００２７】
また、本発明の一側面によれば、聴視位置の制限をなくすとともに、画像の位置または範囲と音声が発せられる位置または範囲とを一致させることができる。
【発明を実施するための最良の形態】
【００２８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２９】
本発明の一側面の音声出力装置は、第１に、振動子（例えば、図２の振動子４１）によって振動させられることにより音声を放射する振動板であって、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置される振動板（例えば、図２の振動板４２）と、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出する検出手段（例えば、図３の画像信号処理部８３）と、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出する算出手段（例えば、図３の音響出力位置指示部８６）と、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する第１の音響信号を生成する第１の生成手段（例えば、図３の音響出力信号生成部８４）とを備える。
【００３０】
本発明の一側面の音声出力装置は、第２に、前記画像に対応する前記音声信号を、第１の音声信号と第２の音声信号とに分離する分離手段（例えば、図３の音声信号分離部８２）を設け、前記第１の生成手段は、前記第１の音声信号から、前記第１の音響信号を生成し、さらに、前記第２の音声信号から、前記振動子を駆動する第２の音響信号を生成する第２の生成手段（例えば、図３の音響出力信号生成部８５）と、前記第１の音響信号と前記第２の音響信号とを混合する混合手段（例えば、図３の音響出力信号混合部８７）とを設け、前記振動子を、混合された前記第１の音響信号および前記第２の音響信号によって駆動することができる。
【００３１】
本発明の一側面の音声出力方法は、振動子（例えば、図２の振動子４１）によって振動させられることにより音声を放射する振動板（例えば、図２の振動板４２）を、画像を表示する表示面として配置するか、または前記表示面の全体の背後に配置し、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出し（例えば、図１５のステップＳ１４）、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出し（例えば、図１５のステップＳ１５）、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号を生成する（例えば、図１５のステップＳ１８）ステップを含む。
【００３２】
本発明の一側面のプログラムは、振動子（例えば、図２の振動子４１）によって振動させられることにより音声を放射する振動板であって、画像を表示する表示面として配置されるか、または前記表示面の全体の背後に配置される振動板（例えば、図２の振動板４２）を備える音声出力装置のコンピュータに音声出力処理を行わせるプログラムであって、表示される前記画像に含まれる所定の画像オブジェクトの前記表示面における位置または前記画像の表示の倍率を検出し（例えば、図１５のステップＳ１４）、前記画像オブジェクトの前記表示面における位置から前記音声を放射する位置を算出するか、または前記画像の表示の倍率から前記音声を放射する範囲を算出し（例えば、図１５のステップＳ１５）、前記画像に対応する音声信号から、算出された位置または範囲から前記音声を放射させるように前記振動子を駆動する音響信号を生成する（例えば、図１５のステップＳ１８）ステップを含む。
【００３３】
図１は、本発明の一実施の形態の画像音響再生装置１１の外観を示す図である。衝立スピーカ２１−１乃至衝立スピーカ２１−６は、それぞれ、音声を出力する。衝立スピーカ２１−１乃至衝立スピーカ２１−６は、隣接して、横一列に配置されている。例えば、衝立スピーカ２１−１乃至衝立スピーカ２１−６は、部屋の壁の一面を覆うように配置されている。
【００３４】
表示部２２は、例えば、スクリーンからなり、後述するプロジェクタである画像表示部によって投影される画像を表示する。
【００３５】
なお、衝立スピーカ２１−１乃至衝立スピーカ２１−６に、直接、画像を投影して画像を表示するようにしてもよい。
【００３６】
また、表示部２２は、液晶表示パネルまたはプラズマディスプレイなどで構成するようにしてもよい。
【００３７】
以下、衝立スピーカ２１−１乃至衝立スピーカ２１−６を個々に区別する必要がないとき、単に、衝立スピーカ２１と称する。
【００３８】
なお、画像音響再生装置１１を構成する衝立スピーカ２１の数は、本発明を限定するものではなく、任意の数とすることができる。
【００３９】
図２は、衝立スピーカ２１の構成の例を示す図である。衝立スピーカ２１は、所定の枚数の振動板４２と、それぞれの振動板４２に設けられた振動子４１からなる。
【００４０】
衝立スピーカ２１は、スピーカの機能と同時に、衝立としての役割も果たす。
【００４１】
振動板４２は、台枠により支えら、台枠は、基礎台に支えられる。
【００４２】
基礎台は、例えば、鉄、アルミニウム、マグネシウム、またはチタニウムなどの金属など、台枠を支える十分な強度を得ることのできる素材から形成される。基礎台の下側には、その四隅に、車輪が設けられ、さらにその近傍に、装置支えが設けられている。例えば、部屋の中に設置された衝立スピーカ２１は、ユーザにより押された場合、車輪が床面上を回転することにより、押された方向に移動する。また、装置支えは、床面と接することにより、衝立スピーカ２１を支える。
【００４３】
すなわち、ユーザは、衝立スピーカ２１を所望の位置に移動させて設置することができる。
【００４４】
基礎台の上側には、例えば、溶接により、台枠が固定されており、台枠は、基礎台上に直立している。
【００４５】
また、台枠は、振動板４２を、着脱自在に固定する。
【００４６】
振動板４２は、例えば、石膏ボード、MDF（Medium Density Fiberboard）などの木材、アルミプレート、カーボン、若しくはアクリルなどの樹脂、またはガラスなどの素材から板状に形成される。また、振動板は、異なる素材を組み合わせた（積層させた）複合材料により形成するようにしてもよい。
【００４７】
また、振動板４２には、それぞれ２つの振動子４１が、図中横一列に取り付けられている。
【００４８】
そして、例えば、振動子４１のそれぞれが、音響出力信号に応じて、振動板４２を振動させることで、振動板４２は、音声を出力する。すなわち、衝立スピーカ２１は、音声信号を音声に変換するスピーカとしての役割を果たす。
【００４９】
また、振動子４１は、振動板４２のそれぞれの振動特性にしたがって、所定の位置に着脱自在に配置される。
【００５０】
なお、振動板４２の数およびその配置、並びに振動子４１の数およびその配置は、任意の数または配置とすることができ、本発明を限定するものではない。
【００５１】
図３は、本発明の一実施の形態の画像音響再生装置１１の機能の構成を示すブロック図である。画像音響再生装置１１は、画像音響取得装置６１または外部入力機器６２からの信号を記録し再生する信号記録再生装置６３に接続されている。
【００５２】
画像音響取得装置６１は、画像および音声を取得して、取得した画像および音声の信号ＷＳを信号記録再生装置６３に供給する。画像音響取得装置６１は、撮像部７１、集音部７２、位置検出部７３、ズーム倍率検出部７４、および情報信号生成部７５から構成される。
【００５３】
撮像部７１は、CCD（Charge Coupled Device）またはCMOS（Complementary Metal-Oxide Semiconductor）センサなどのイメージセンサおよびこのイメージセンサに被写体の光学的な像を結像させる光学系からなり、被写体の画像を撮影して、撮影の結果得られた被写体の画像に応じた画像信号Ｓｖを情報信号生成部７５に供給する。集音部７２は、１つまたは複数のマイクロフォンなどからなり、被写体または被写体周辺の音声を集音して、集音した音声に対応する音声信号Ｓａを生成する。集音部７２は、音声信号Ｓａを情報信号生成部７５に供給する。
【００５４】
位置検出部７３は、回動の角度を検出するセンサ若しくはジャイロまたは超音波若しくはレーザ光などによる距離センサなどからなる。位置検出部７３は、画像音響取得装置６１のパンまたはチルトの角度を検出する。また、位置検出部７３は、画像音響取得装置６１から被写体までの距離を検出する。位置検出部７３は、検出した角度および検出した被写体までの距離を示す距離角度信号Ｓｐを情報信号生成部７５に供給する。
【００５５】
ズーム倍率検出部７４は、撮像部７１における最も短い焦点距離を基準として、ズーム機能により変化する焦点距離の倍率を検出して、検出した焦点距離の倍率を示すズーム信号ＺＯｃを情報信号生成部７５に供給する。例えば、ズーム倍率検出部７４は、撮像部７１からのズーム機能の状態を示す信号、または撮像部７１のズーム機能を制御する信号から、焦点距離の倍率を検出する。
【００５６】
ズーム倍率検出部７４は、撮像部７１におけるズーム機能により変化する焦点距離そのものを検出して、検出した焦点距離を示すズーム信号ＺＯｃを情報信号生成部７５に供給するようにしてもよい。
【００５７】
情報信号生成部７５は、画像信号Ｓｖ、音声信号Ｓａ、距離角度信号Ｓｐ、およびズーム信号ＺＯｃから、これらを統合してなる信号ＷＳを生成し、生成した信号ＷＳを信号記録再生装置６３に供給する。
【００５８】
なお、画像音響取得装置６１から被写体までの距離を、予め定めた基準の距離で割り算して得られた結果を倍率として、その倍率を示すズーム信号ＺＯｃを求めるようにしてもよい。
【００５９】
外部入力機器６２は、外部のビデオカメラなどから供給された画像信号を取得して、取得した画像信号に信号処理を適用する。例えば、外部入力機器６２は、クラス分類適応処理などの信号処理を画像信号に適用して、拡大または縮小した画像を得る。外部入力機器６２は、信号処理を適用した画像信号を信号記録再生装置６３に供給する。
【００６０】
外部入力機器６２は、ズーム倍率検出部７６を備える。ズーム倍率検出部７６は、外部入力機器６２における信号処理による画像の拡大率（縮小率）を検出して、画像信号と共に、検出した拡大率（縮小率）を示すズーム信号ＺＯｏを信号記録再生装置６３に供給する。
【００６１】
信号記録再生装置６３は、ハードディスクまたは光ディスクを駆動するドライブなどを備え、ハードディスクまたはドライブに装着されている光ディスクなどに、画像音響取得装置６１から供給された信号ＷＳを記録する。また、信号記録再生装置６３は、外部入力機器６２から供給された画像信号と、ズーム信号ＺＯｏとを関係付けて記録する。
【００６２】
信号記録再生装置６３は、記録している信号ＷＳ、または関係付けて記録している画像信号とズーム信号ＺＯｏとを、信号ＲＳとして読み出して、読み出した信号ＲＳを画像音響再生装置１１に供給する。
【００６３】
画像音響再生装置１１は、信号記録再生装置６３から供給された信号ＲＳから画像および音声を再生し、画像を表示すると共に、音声を出力する。
【００６４】
例えば、画像音響再生装置１１は、画像を表示すると共に、表示している画像の撮影におけるパンまたはチルトの角度に応じた位置から音声を出力する。
【００６５】
また、例えば、画像音響再生装置１１は、表示されている画像に含まれる画像オブジェクトの表示されている位置から、その画像オブジェクトに対応する音声を出力する。
【００６６】
さらに、例えば、画像音響再生装置１１は、表示されている画像が拡大された場合、画像の拡大応じた範囲から音声を出力する。
【００６７】
画像音響再生装置１１は、情報信号分離部８１、音声信号分離部８２、画像信号処理部８３、音響出力信号生成部８４、音響出力信号生成部８５、音響出力位置指示部８６、音響出力信号混合部８７、画像表示部８８、信号増幅部８９−１乃至信号増幅部８９−ｎ、および倍率入力部９０からなる。
【００６８】
情報信号分離部８１は、信号記録再生装置６３から供給された信号ＲＳを、画像信号Ｓｖと音声信号Ｓａと距離角度信号Ｓｐとに分離して、分離して得られた画像信号Ｓｖを画像信号処理部８３に供給し、音声信号Ｓａを音声信号分離部８２に供給し、距離角度信号Ｓｐを音響出力位置指示部８６に供給する。
【００６９】
音声信号分離部８２は、音声信号Ｓａをさらに２つの音声信号に分離して、分離された一方の音声信号を音響出力信号生成部８４に供給し、他方の音声信号を音響出力信号生成部８５に供給する。
【００７０】
例えば、音声信号分離部８２は、２チャンネルのフロントチャンネル、１チャンネルのセンタチャンネル、および２チャンネルのリアチャンネルの計５チャンネルの音声信号Ｓａを、フロントチャンネルおよびセンタチャンネルの音声信号と、リアチャンネルの音声信号とに分離して、フロントチャンネルおよびセンタチャンネルの音声信号を音響出力信号生成部８４に供給し、リアチャンネルの音声信号を音響出力信号生成部８５に供給する。
【００７１】
これは、詳細は後述するが、音響出力信号生成部８４は、表示されている画像の注目される画像オブジェクトに対応する音声を出力するための音響出力信号を生成するので、通常、表示されている画像の画像オブジェクトに対応する音声を出力するためのフロントチャンネルまたはセンタチャンネルの音声信号を音響出力信号生成部８４に供給するようにしたものである。また、音響出力信号生成部８５は、背景や環境などの音声を出力するための音響出力信号を生成するので、表示されている画像の注目される画像オブジェクトに対応する音声以外の音声を出力するためのリアチャンネルの音声信号を音響出力信号生成部８５に供給するようにしたものである。
【００７２】
画像信号処理部８３は、画像信号Ｓｖから、画像表示部８８に画像を投影させるための画像信号Ｓｖｏｕｔを生成して、生成した画像信号Ｓｖｏｕｔを画像表示部８８に供給する。また、画像信号処理部８３は、表示される画像に含まれる所定の画像オブジェクトの表示面における位置または画像の表示の倍率を検出する。
【００７３】
すなわち、画像信号処理部８３は、画像信号Ｓｖから、画像信号Ｓｖによって表示される画像に含まれる画像オブジェクトの画面上の位置を検出して、画像オブジェクトの画面上の位置を示す表示位置信号ＰＤを音響出力位置指示部８６に供給する。
【００７４】
さらに、画像信号処理部８３は、画像信号Ｓｖから、画像を撮影した機器のズーム機能による画像の拡大の倍率を検出して、画像の拡大の倍率を示すズーム倍率信号ＺＯを音響出力位置指示部８６に供給する。
【００７５】
図４は、画像信号処理部８３の構成を示すブロック図である。画像信号処理部８３は、シーンチェンジ検出部１２１、動き検出部１２２、ズーム倍率検出部１２３、および画像位置移動部１２４から構成される。
【００７６】
シーンチェンジ検出部１２１は、画像信号Ｓｖから、画像信号Ｓｖで表示される画像のシーンチェンジを検出する。例えば、シーンチェンジ検出部１２１は、画像信号Ｓｖで表示される画像について、所定のフレームの画素と、このフレームに時間的に隣接するフレームの画素であって、対応する位置の画素との差分を求めて、差分からシーンチェンジを検出する。より詳細には、例えば、シーンチェンジ検出部１２１は、フレームに配置されている全ての画素について、隣接するフレームの画素であって、画面上で同じ位置の画素との差分の絶対値を求める。さらに、シーンチェンジ検出部１２１は、その絶対値の総和を計算して、計算した総和を予め定めた閾値と比較し、総和が閾値より大きい場合、画像が大きく変化しているのでシーンチェンジしたと判定し、総和が閾値以下である場合、画像がそれほど変化していないのでシーンチェンジしていないと判定することで、シーンチェンジを検出する。
【００７７】
シーンチェンジ検出部１２１は、シーンチェンジしたか否かを示すシーンチェンジ情報ＣＨを動き検出部１２２、ズーム倍率検出部１２３、および画像位置移動部１２４に供給する。
【００７８】
動き検出部１２２は、シーンチェンジ検出部１２１からのシーンチェンジ情報ＣＨを参照して、シーンチェンジしていない場合、ブロックマッチングまたは勾配法などにより、画像に含まれる画像オブジェクトの動きを検出する。例えば、動き検出部１２２は、画像に含まれる画像オブジェクトのうち、画面の中央に位置する画像オブジェクトの動きをブロックマッチングまたは勾配法などにより検出する。また、例えば、動き検出部１２２は、画像に含まれる画像オブジェクトのうち、最も大きい画像オブジェクトの動きを検出する。動き検出部１２２は、検出した画像オブジェクトの動きを示す動きベクトルを画像位置移動部１２４に供給する。
【００７９】
また、例えば、動き検出部１２２は、背景の動きを検出する。
【００８０】
ズーム倍率検出部１２３は、シーンチェンジ検出部１２１からのシーンチェンジ情報ＣＨを参照して、シーンチェンジしていない場合、画像信号Ｓｖで示される、所定のフレームにおける画像オブジェクトと、このフレームに時間的に隣接するフレームにおける画像オブジェクトと大きさの差を求めて、ズーム倍率を検出する。
【００８１】
例えば、ズーム倍率検出部１２３は、画像に含まれる画像オブジェクトのうち、画面の中央に位置する画像オブジェクトか、または最も大きい画像オブジェクトについて、フレーム間の大きさの差を求めて、ズーム倍率を検出する。
【００８２】
図５は、ズーム倍率検出部１２３の構成の例を示すブロック図である。ズーム倍率検出部１２３は、遅延回路１４１、画像位置切替回路１４２、差分演算回路１４３、および倍率決定回路１４４から構成される。
【００８３】
ズーム倍率検出部１２３に入力された画像信号Ｓｖは、遅延回路１４１および差分演算回路１４３に供給される。ズーム倍率検出部１２３に入力されたシーンチェンジ情報ＣＨは、画像位置切替回路１４２および差分演算回路１４３に供給される。
【００８４】
遅延回路１４１は、画像信号Ｓｖを１フレームの期間分だけ遅延させ、遅延させた画像信号Ｓｖを画像位置切替回路１４２に供給する。
【００８５】
画像位置切替回路１４２は、シーンチェンジ検出部１２１からのシーンチェンジ情報ＣＨを参照して、シーンチェンジしていない場合、１フレーム遅延させたフレーム、すなわち１つ前のフレームのうち、指定された領域の画像を抽出して、抽出した画像を差分演算回路１４３に供給する。
【００８６】
例えば、画像位置切替回路１４２は、１フレーム遅延させたフレームのうち、所定の画像オブジェクトを含む指定された領域の画像を抽出して、抽出した画像を差分演算回路１４３に供給する。
【００８７】
なお、画像位置切替回路１４２は、動き検出部１２２で検出された動きベクトルを参照して、画像オブジェクトの動きに応じた領域の画像を抽出して、抽出した画像を差分演算回路１４３に供給するようにしてもよい。
【００８８】
差分演算回路１４３は、画像位置切替回路１４２から供給された、１つ前のフレームの指定された領域の画像と、画像信号Ｓｖとして入力された現在のフレームの対応する領域の画像との差分を算出する。すなわち、差分演算回路１４３は、１つ前のフレームの指定された領域の画像を構成する画素と、現在のフレームの指定された領域の画像を構成する画素であって対応する位置の画素との差分を算出して、算出した差分を倍率決定回路１４４に供給する。
【００８９】
なお、差分演算回路１４３は、差分の絶対値の総和を算出して、倍率決定回路１４４に供給するようにしてもよい。さらに、この場合、差分演算回路１４３は、この総和を指定された領域の輝度または色の平均値で差分を割り算することで、差分の絶対の総和を正規化して、正規化した値を倍率決定回路１４４に供給するようにしてもよい。
【００９０】
倍率決定回路１４４は、差分演算回路１４３から供給された差分から、倍率を決定して、決定した倍率を示すズーム倍率信号ＺＯを出力する。例えば、倍率決定回路１４４は、差分演算回路１４３から供給された差分の絶対値の総和を、指定された領域の大きさ（画素の数）で割り算し、その結果を倍率とする。
【００９１】
なお、例えば、ズーム倍率検出部１２３は、所定のフレームの注目する画像オブジェクトの輪郭を抽出することで、このフレームから画像オブジェクトを検出し、また、このフレームに隣接するフレームのその画像オブジェクトの輪郭を抽出することで、隣接するフレームから画像オブジェクトを検出するようにしてもよい。この場合、ズーム倍率検出部１２３は、画像オブジェクトの大きさを比較することにより、ズーム倍率を検出することができる。すなわち、例えば、ズーム倍率検出部１２３は、それぞれの画像オブジェクトを構成する画素の数の比を求めて、この比をズーム倍率とする。
【００９２】
また、ズーム倍率を検出する場合、輝度信号または色信号を用いるようにしてもよい。例えば、ズーム倍率検出部１２３は、所定のフレームとこれに隣接するフレームにおける輝度または色に対する頻度を示すヒストグラムを求めて、最も頻度の大きい輝度または色の頻度の比をズーム倍率とするようにしてもよい。この場合、頻度は画像オブジェクトの面積を示していると言える。
【００９３】
ズーム倍率検出部１２３は、このように検出したズーム倍率を示すズーム倍率信号ＺＯを画像位置移動部１２４に供給する。
【００９４】
なお、フレームを単位として、動きを検出したり、ズーム倍率を検出すると説明したが、フィールドを単位として、動きを検出したり、ズーム倍率を検出したりするようにしてもよい。
【００９５】
図４に戻り、画像位置移動部１２４は、画像信号Ｓｖから、画像表示部８８に画像を投影させるための画像信号Ｓｖｏｕｔを生成して、生成した画像信号Ｓｖｏｕｔを画像表示部８８に供給する。また、画像位置移動部１２４は、画像信号Ｓｖから、画像信号Ｓｖによって表示される画像に含まれる画像オブジェクトの画面上の位置を検出して、画像オブジェクトの画面上の位置を示す表示位置信号ＰＤを音響出力位置指示部８６に供給する。
【００９６】
また、例えば、画像位置移動部１２４は、動き検出部１２２から出力される動きベクトルによって、画像オブジェクトの位置を知ることができる。例えば、０ベクトル以外の動きベクトルを向きと大きさで分類すると、求められた最も数の多い動きベクトルは、面積の最も大きい画像オブジェクトの動きを示していると言える。例えば、画像位置移動部１２４は、その最も数の多い動きベクトルの始点の重心を、画像オブジェクトの位置とすることができる。
【００９７】
また、例えば、画像位置移動部１２４は、画像オブジェクトの輪郭を抽出することで、画像オブジェクトの画面上の位置を検出する。
【００９８】
例えば、画像位置移動部１２４は、表示面における座標で示される、画像オブジェクトの位置を検出し、画像オブジェクトの表示面の座標上の位置を示す表示位置信号ＰＤを音響出力位置指示部８６に供給する。例えば、表示面における座標の原点は、表示面の左上とされ、表示面の横方向がＸ座標軸とされ、表示面の縦方向がＹ座標軸とされる。この場合、表示面の右方向がＸ座標軸のプラス方向とされ、表示面の下方向がＹ座標軸のプラス方向とされる。
【００９９】
また、画像位置移動部１２４は、ズーム倍率検出部１２３から供給されたズーム倍率信号ＺＯを出力する。
【０１００】
なお、画像位置移動部１２４は、視聴者の指示を示す信号を基に、画像信号Ｓｖで再生される画像の位置を、画面上において上下方向または左右方向に移動した画像を投影させるための画像信号Ｓｖｏｕｔを生成し、生成した画像信号Ｓｖｏｕｔを画像表示部８８に供給するようにしてもよい。この場合、画像位置移動部１２４は、画面上において上下方向または左右方向に移動した画像における画像オブジェクトの画面上の位置を検出して、その画像オブジェクトの画面上の位置を示す表示位置信号ＰＤを音響出力位置指示部８６に供給する。
【０１０１】
図３に戻り、音響出力位置指示部８６は、所定の画像オブジェクトの表示面における位置から、その画像オブジェクトに応じた音声を放射する位置を算出するか、または画像の表示の倍率から画像オブジェクトに応じた音声を放射する範囲を算出する。
【０１０２】
音響出力位置指示部８６は、音声座標算出部９１および設定情報供給部９２を備える。音声座標算出部９１は、設定情報供給部９２から供給される情報を基に、所定の画像オブジェクトの表示面における位置から、その画像オブジェクトに応じた音声を放射する位置を算出するか、または、画像の表示の倍率から画像オブジェクトに応じた音声を放射する範囲を算出する。
【０１０３】
設定情報供給部９２は、衝立スピーカ２１に関する設置情報Ｃｓａを予め記憶している。また、設定情報供給部９２は、画像オブジェクトに応じた音声を放射する範囲であって、視聴者から指示された予め定めた範囲を示す情報を記憶している。
【０１０４】
例えば、設定情報供給部９２は、表示面における座標と音声を放射する面における座標との関係を示す情報を含む設置情報Ｃｓａを記憶している。また、例えば、設定情報供給部９２は、音を放射する面の座標上の位置で示される、衝立スピーカ２１のそれぞれの音を放射できる範囲を示す情報を含む設置情報Ｃｓａを記憶している。さらに、設定情報供給部９２は、衝立スピーカ２１のそれぞれについての、音を放射する面の座標上の位置で示される、振動板４２のそれぞれの面の範囲を示す情報を含む設置情報Ｃｓａを記憶している。さらにまた、設定情報供給部９２は、衝立スピーカ２１のそれぞれについての、放射する面の座標上の位置で示される、振動子４１のそれぞれの位置を示す情報を含む設置情報Ｃｓａを記憶している。
【０１０５】
例えば、設定情報供給部９２は、設置情報Ｃｓａとして、画像オブジェクトに応じた音声を放射する範囲であって、視聴者から指示された予め定めた範囲として、１つの振動板４２の面と同じ大きさの範囲を記憶している。
【０１０６】
すなわち、例えば、音声座標算出部９１は、設定情報供給部９２から供給される設置情報Ｃｓａに含まれる、表示面における座標と音声を放射する面における座標との関係を示す情報を基に、画像信号処理部８３からの表示位置信号ＰＤで示される、画像オブジェクトの表示面における位置から、その画像オブジェクトに応じた音声を放射する位置を算出する。
【０１０７】
または、例えば、音声座標算出部９１は、設定情報供給部９２から供給される設置情報Ｃｓａに含まれる、表示面における座標と音声を放射する面における座標との関係を示す情報と、画像オブジェクトに応じた音声を放射する範囲を示す情報とを基に、画像信号処理部８３からのズーム倍率信号ＺＯで示される画像の拡大の倍率から、画像オブジェクトに応じた音声を放射する範囲を算出する。
【０１０８】
音声座標算出部９１は、選択部１０１を備える。選択部１０１は、算出された位置または範囲から、衝立スピーカ２１を選択する。また、選択部１０１は、算出された位置または範囲から、画像オブジェクトに応じた音声を放射させる振動板４２を選択し、さらに、算出された位置または範囲から、振動板４２を振動させる振動子４１を選択する。
【０１０９】
すなわち、選択部１０１は、算出された位置または範囲から、画像オブジェクトに応じた音声を放射させる振動板４２を選択し、さらに、算出された位置または範囲から、振動板４２を振動させる振動子４１を選択する。音響出力位置指示部８６は、選択された振動板４２または振動子４１を示す選択信号を音響出力信号生成部８４に供給する。
【０１１０】
また、選択部１０１は、所定の画像オブジェクトの表示面における位置から、その画像オブジェクトに応じた音声以外の音声を放射させる振動板４２を選択し、さらに、振動板４２を振動させる振動子４１を選択する。例えば、選択部１０１は、全ての振動板４２および振動子４１のうち、画像オブジェクトに応じた音声を放射させるように選択された振動板４２および振動子４１を除いた振動板４２および振動子４１を選択する。
【０１１１】
なお、例えば、選択部１０１は、所定の画像オブジェクトに応じた音声以外の音声を放射させる振動板４２および振動子４１として、全ての振動板４２および振動子４１を選択するようにしてもよい。
【０１１２】
音響出力位置指示部８６は、所定の画像オブジェクトに応じた音声以外の音声の放射に選択された振動板４２または振動子４１を示す選択信号を音響出力信号生成部８５に供給する。
【０１１３】
なお、選択部１０１は、算出された位置または範囲から、選択した振動板４２および振動子４１に出力させる音声の強さに応じた重み付けを求めて、音響出力位置指示部８６は、選択された振動板４２または振動子４１を示すと共に、振動板４２または振動子４１のそれぞれの重み付けを示す選択信号を音響出力信号生成部８４に供給するようにしてもよい。
【０１１４】
音響出力信号生成部８４は、音響出力位置指示部８６からの選択信号を基に、音声信号分離部８２から供給された音声信号から、選択信号で示される選択された振動板４２に装着されている振動子４１を駆動するための音響出力信号Ｓａｏｕｔ−１を生成し、生成した音響出力信号Ｓａｏｕｔ−１を音響出力信号混合部８７に供給する。例えば、音響出力信号生成部８４は、５チャンネルの音声信号Ｓａのうち、フロントチャンネルおよびセンタチャンネルの音声信号から、選択された振動子４１を駆動するための音響出力信号Ｓａｏｕｔ−１を生成する。
【０１１５】
音響出力信号生成部８５は、音響出力位置指示部８６からの選択信号を基に、音声信号分離部８２から供給された音声信号から、選択信号で示される選択された振動板４２に装着されている振動子４１を駆動するための音響出力信号Ｓａｏｕｔ−２を生成し、生成した音響出力信号Ｓａｏｕｔ−２を音響出力信号混合部８７に供給する。例えば、音響出力信号生成部８４は、５チャンネルの音声信号Ｓａのうち、リアチャンネルの音声信号から、振動子４１を駆動するための音響出力信号Ｓａｏｕｔ−２を生成する。
【０１１６】
音響出力信号混合部８７は、いわゆるミキサであり、音響出力信号生成部８４から供給された音響出力信号Ｓａｏｕｔ−１および音響出力信号生成部８５から供給された音響出力信号Ｓａｏｕｔ−２を混合して、混合の結果得られた音響出力信号を信号増幅部８９−１乃至信号増幅部８９−ｎに供給する。
【０１１７】
すなわち、音響出力信号混合部８７は、振動子４１毎に、音響出力信号Ｓａｏｕｔ−１および音響出力信号Ｓａｏｕｔ−２を混合する。
【０１１８】
これを詳細に説明すれば、音響出力信号混合部８７は、音響出力信号Ｓａｏｕｔ−１から、所定の振動子４１を駆動するための音響出力信号を抽出し、また、音響出力信号Ｓａｏｕｔ−２から、その振動子４１を駆動するための音響出力信号を抽出する。そして、音響出力信号混合部８７は、抽出した音響出力信号を重畳するように混合する。音響出力信号混合部８７は、混合の結果得られた音響出力信号を、信号増幅部８９−１乃至信号増幅部８９−ｎのうち、その振動子４１を駆動する信号増幅部８９−１乃至信号増幅部８９−ｎのいずれかに供給する。
【０１１９】
画像表示部８８は、スクリーンからなる表示部２２に画像を投影するプロジェクタである。画像表示部８８は、固定されている固定フロントプロジェクタとするか、または運台に設けたフロントプロジェクタとすることができる。
【０１２０】
画像表示部８８をフロントプロジェクタとした場合、スクリーンからなる表示部２２と画像表示部８８との距離で、表示部２２に表示させる画像の大きさを変えることができ、衝立スピーカ２１による音声の出力の範囲と対応させることができる。
【０１２１】
信号増幅部８９−１乃至信号増幅部８９−ｎは、それぞれ、音響出力信号混合部８７から供給された音響出力信号を増幅して、振動子４１−１乃至振動子４１−ｎのそれぞれを駆動する。
【０１２２】
さらに、視聴者から指示された倍率の画像を表示する場合、その倍率に応じて音声を出力する範囲を変えることができる。
【０１２３】
倍率入力部９０は、表示する画像の倍率を指示する視聴者からの操作に応じて、指示された倍率を示す倍率信号を画像信号処理部８３および音響出力位置指示部８６に供給する。
【０１２４】
なお、視聴者から拡大または縮小の中心位置が指示された場合、倍率入力部９０は、拡大または縮小の中心位置を示す信号を含む倍率信号を画像信号処理部８３および音響出力位置指示部８６に供給するようにしてもよい。
【０１２５】
画像信号処理部８３は、倍率入力部９０から画像の倍率を指示する倍率信号が供給された場合、画像信号Ｓｖから、画像表示部８８に、指示された倍率で拡大したまたは縮小した画像を投影させるための画像信号Ｓｖｏｕｔを生成して、生成した画像信号Ｓｖｏｕｔを画像表示部８８に供給する。倍率信号に拡大または縮小の中心位置を示す信号が含まれている場合には、画像信号処理部８３は、画像信号Ｓｖから、画像表示部８８に、その中心位置を中心として指示された倍率で拡大または縮小した画像を投影させるための画像信号Ｓｖｏｕｔを生成する。
【０１２６】
音響出力位置指示部８６は、倍率入力部９０から画像の倍率を指示する倍率信号が供給された場合、設定情報供給部９２から、画像オブジェクトに応じた音声を放射する範囲であって、視聴者から指示された予め定めた範囲を読み出して、予め定めた範囲を指示された倍率に応じて拡大または縮小するように、画像オブジェクトに応じた音声を放射する範囲を算出する。
【０１２７】
倍率信号に拡大または縮小の中心位置を示す信号が含まれている場合には、音響出力位置指示部８６の音声座標算出部９１は、拡大または縮小された画像にあわせて、画像オブジェクトに応じた音声を放射する範囲の位置を算出するようにしてもよい。
【０１２８】
音声座標算出部９１の選択部１０１は、算出された範囲から、画像オブジェクトに応じた音声を放射させる振動板４２を選択し、さらに、算出された範囲から、振動板４２を振動させる振動子４１を選択する。また、選択部１０１は、算出された範囲から、その画像オブジェクトに応じた音声以外の音声を放射させる振動板４２を選択し、さらに、振動板４２を振動させる振動子４１を選択する。
【０１２９】
音響出力位置指示部８６は、所定の画像オブジェクトに応じた音声の放射に選択された振動板４２または振動子４１を示す選択信号を音響出力信号生成部８４に供給し、所定の画像オブジェクトに応じた音声以外の音声の放射に選択された振動板４２または振動子４１を示す選択信号を音響出力信号生成部８５に供給する。
【０１３０】
この場合も、上述したように、音響出力信号生成部８４は、音響出力位置指示部８６からの選択信号を基に、音声信号分離部８２から供給された音声信号から音響出力信号Ｓａｏｕｔ−１を生成し、生成した音響出力信号Ｓａｏｕｔ−１を音響出力信号混合部８７に供給する。また、音響出力信号生成部８５は、音響出力位置指示部８６からの選択信号を基に、音声信号分離部８２から供給された音声信号から音響出力信号Ｓａｏｕｔ−２を生成し、生成した音響出力信号Ｓａｏｕｔ−２を音響出力信号混合部８７に供給する。
【０１３１】
さらにまた、信号ＲＳに距離角度信号Ｓｐが含まれている場合、距離角度信号Ｓｐで示される角度または距離に応じて音声を出力する範囲を変えることができる。
【０１３２】
音響出力位置指示部８６は、情報信号分離部８１から角度を示す距離角度信号Ｓｐが供給された場合、パンまたはチルトに応じて表示部２２に対して背景が移動しているので、音響出力位置指示部８６の選択部１０１は、距離角度信号Ｓｐで示される角度に応じて、リアチャンネルの音声信号に応じた音声を放射させる振動板４２を選択し、さらに、振動板４２を振動させる振動子４１を選択する。この場合、横または縦に並ぶ振動板４２から、横方向に音源が移動するかまたは縦方向に音源が移動するように音声が放射されるように、音声を放射させる振動板４２またはその振動板４２を振動させる振動子４１が順に選択される。
【０１３３】
音響出力位置指示部８６は、情報信号分離部８１から被写体と画像音響取得装置６１との距離を示す距離角度信号Ｓｐが供給された場合、予め設定されている基準の距離と距離角度信号Ｓｐで示される距離との比を求める。そして、音響出力位置指示部８６は、設定情報供給部９２から、画像オブジェクトに応じた音声を放射する範囲であって、視聴者から指示された予め定めた範囲を示す情報を読み出す。音響出力位置指示部８６は、予め定めた範囲を距離の比に応じて拡大または縮小するように、すなわち、より近い場合にはより広い（大きい）、より遠い場合にはより狭い（小さい）範囲である、画像オブジェクトに応じた音声を放射する範囲を算出する。
【０１３４】
なお、音響出力位置指示部８６は、信号ＲＳに含まれるズーム信号ＺＯｃまたはズーム信号ＺＯｏを基に、振動板４２または振動子４１を選択するようにしてもよい。この場合、情報信号分離部８１は、信号記録再生装置６３から供給された信号ＲＳを、画像信号Ｓｖと音声信号Ｓａと距離角度信号Ｓｐとズーム信号ＺＯｃまたはズーム信号ＺＯｏとに分離し、ズーム信号ＺＯｃまたはズーム信号ＺＯｏを音響出力位置指示部８６に供給する。
【０１３５】
次に、画像音響再生装置１１における音声の出力の具体的な例について説明する。
【０１３６】
まず、表示している画像の撮影においてパンまたはチルトされた場合の音声の出力について説明する。
【０１３７】
例えば、図６Ａで示されるように、走行している自動車を常に画面の中央に捉えるように撮影する場合、撮影中の画像音響取得装置６１は、いわゆる、パンされる（水平方向（横方向）に回動させられる）。このように撮影された画像は、図６Ｂ乃至図６Ｄで示されるように、自動車の画像オブジェクトは、常に、表示部２２の中央に表示され、背景の画像が、表示部２２に対して横方向に移動することになる。
【０１３８】
同様に、例えば、図７Ａで示されるように、打ち上げられたロケットを常に画面の中央に捉えるように撮影する場合、撮影中の画像音響取得装置６１は、いわゆる、チルトされる（上下方向（縦方向）に回動させられる）。このように撮影された画像は、図７Ｂ乃至図７Ｄで示されるように、ロケットの画像オブジェクトは、常に、表示部２２の中央に表示され、背景の画像が、表示部２２に対して縦方向に移動することになる。
【０１３９】
表示している画像の撮影においてパンされた場合、図８で示されるように、背景の画像が、表示部２２に対して横方向に移動する、すなわち、表示されている画像の画枠が横方向に移動しているとも言える。
【０１４０】
そこで、画像音響再生装置１１は、画枠の位置の移動に従って、振動板４２を振動させる振動子４１を順に選択する。
【０１４１】
例えば、図９で示されるように、振動子４１が、画枠の動き方向に従って順に選択される。図９において、ｅ１乃至ｅ８は、横に一列に並ぶ振動子４１を示す。例えば、図９の矢印の方向にパンされ、画枠が図９の矢印の方向に動いている場合、振動板４２を振動させる振動子４１として、ｅ１乃至ｅ８が順に選択される。
【０１４２】
このようにすることで、背景の画像の動きに応じて、背景の画像に対応して音源が移動するように音声が出力されることになる。
【０１４３】
また、自動車の画像などの画像オブジェクトが画面に対して移動した場合、画像音響再生装置１１は、画像オブジェクトの画面上の位置を検出して、その位置から音声を放射する位置を算出し、算出された位置から音声が放射されるように振動子４１を選択するので、画像オブジェクトが表示される位置から、画像オブジェクトに対応する音声が出力される。
【０１４４】
この場合、図１０Ａで示されるように、衝立スピーカ２１−５の図中ｅ１で示される振動子４１と図中ｅ２で示される振動子４１との間に、自動車の画像などの画像オブジェクトが表示されている場合には、衝立スピーカ２１−５の図中ｅ１で示される振動子４１と図中ｅ２で示される振動子４１とが、その間が音源となるように振動板４２を振動させる。
【０１４５】
図１０Ｂで示されるように、自動車の画像などの画像オブジェクトが左側に移動して、衝立スピーカ２１−４の図中ｅ３で示される振動子４１と、衝立スピーカ２１−５の図中ｅ２で示される振動子４１との間に、その画像オブジェクトが表示されている場合には、衝立スピーカ２１−４の図中ｅ３で示される振動子４１と衝立スピーカ２１−５の図中ｅ２で示される振動子４１とが、その間が音源となるように振動板４２を振動させる。
【０１４６】
さらに自動車の画像などの画像オブジェクトが左側に移動して、衝立スピーカ２１−４の図中ｅ４で示される振動子４１と図中ｅ３で示される振動子４１との間に、その画像オブジェクトが表示されている場合には、図１０Ｃで示されるように、衝立スピーカ２１−４の図中ｅ４で示される振動子４１と図中ｅ３で示される振動子４１とが、その間が音源となるように振動板４２を振動させる。
【０１４７】
このように、画像オブジェクトが画面に対して移動すると、その画像オブジェクトの位置と同じ位置から、画像オブジェクトに対応する音声が出力されるように、音声を放射する振動板４２およびその振動板４２を振動させる振動子４１が選択される。
【０１４８】
２つの振動子４１のそれぞれから加えられた振動が、振動板４２において合成（混合）されて、合成された振動で音声を放射することで、２つの振動子４１の間から音声を出力することができる。音声を放射する振動板４２およびその振動板４２を振動させる振動子４１を順に選択すると共に、選択した振動子４１によって加える振動の強さまたは位相などを制御することで、振動板４２の音声が放射される位置を連続的に移動させることができる。
【０１４９】
なお、図１０には２つの振動子４１が振動板４２を振動させる例を示したが、１つの振動子４１により振動板４２を振動させるようにしてもよい。
【０１５０】
振動板４２は、材質にもよるが、基本的には、内部損失により振動を減衰させる。一般に、この内部損失は、低い周波数の周波数帯域の振動よりも、高い周波数の周波数帯域の振動を減衰させやすい傾向がある。すなわち、低い周波数帯の振動は、振動子４１の位置からより遠くまで伝達されるが、高い周波数帯域の振動は、振動子４１の位置により近い位置で減衰してしまう。このため、振動子４１で振動板４２を振動させると、低域を除いた周波数帯域において振動子４１の取り付け位置周辺の音が大きくなる傾向がある。すなわち、視聴者には、振動子４１の取り付け位置から音声が発せられているように聞こえやすい。
【０１５１】
そこで、このような場合には、振動子４１を１つずつ順に選択して、振動板４２を振動させるようにしてもよい。この場合にも、画像オブジェクトの位置と同じ位置から音声が出力されるように聞こえる。
【０１５２】
従来は画面の中央からしか音声が聞こえなかったが、本発明によれば、例えば、救急車の画像オブジェクトが画面上を移動するのにあわせて、救急車のサイレンの音が動いていくようにすることができる。
【０１５３】
左右方向の移動と同様に、上下方向についても音声を移動させることができる。すなわち、衝立スピーカ２１の振動板４２の面上の任意の方向の任意の位置に、音声を出力させる位置を移動させることができる。
【０１５４】
なお、複数の衝立スピーカ２１で部屋の壁全体を覆うようにした場合には、部屋の壁の全面の任意に位置から音声を出力させることができる。さらに、衝立スピーカ２１で部屋の天井または床を覆うようにした場合には、天井または床の任意の位置から音声を出力させることができる。
【０１５５】
次に、表示している画像の撮影においてズームされた場合の音声の出力について説明する。
【０１５６】
例えば、図１１Ａで示されるように、その画像をより拡大して表示できるように自動車を撮影する場合、撮影中の画像音響取得装置６１は、いわゆる、ズームインされる（ズーム機構により焦点距離が長くさせられる）。図１１Ｂで示されるズームインされる前の自動車の画像オブジェクトに比較して、図１１Ｃで示されるように、ズームインされた自動車の画像オブジェクトは、より大きく表示部２２に表示されることになる。
【０１５７】
また、撮影中の画像音響取得装置６１が被写体に近づいた場合も、画像がより拡大して表示される。
【０１５８】
ズーム倍率検出部１２３においては、ズームされた場合または画像音響取得装置６１と被写体との距離が変化した場合に変化する画像の倍率が検出される。
【０１５９】
同様に、視聴者が、倍率入力部９０に、表示する画像を拡大するように、画像の倍率を指示する操作を加えた場合、図１２Ａおよび図１２Ｂで示されるように、拡大した画像が表示部２２に表示される。すなわち、例えば、図１２Ａで示される、倍率が１である画像が、表示部２２に表示されていた場合、視聴者が、画像を９倍にする指示を倍率入力部９０に加えたとき、図１２Ｂで示されるように、９倍の画像が表示部２２に表示される。
【０１６０】
なお、図中の×印は、拡大または縮小の中心位置を示す。
【０１６１】
表示している画像の撮影においてズームされた場合、または画像が拡大された場合、音声を放射する範囲が拡大される。
【０１６２】
例えば、図１３Ａで示されるように、ズームされる前または画像が拡大される前において、衝立スピーカ２１−３の１枚の振動板４２が振動させられて、１枚の振動板４２の範囲で音声が放射されている場合、画像（の面積）が９倍になるようにズームされるかまたは画像が拡大されると、図１３Ｂで示されるように、元の振動板４２と、その周りの８枚の振動板４２とが同時に振動させられて、９枚の振動板４２の範囲から音声が放射される。
【０１６３】
図１４は、ズームまたは画像の拡大に応じた、振動板４２に加えられる振動子４１の振動の例を説明する図である。図１４において、１つの四角は、１枚の振動板４２を示す。すなわち、ｍ１の振動板４２が中央に配置され、ｍ２乃至ｍ３の３枚の振動板４２がｍ１の振動板４２の上に横１行に並ぶように配置され、ｍ５およびｍ６の振動板４２が、それぞれ、ｍ１の振動板４２の左側と右側とに配置され、ｍ７乃至ｍ９の３枚の振動板４２がｍ１の振動板４２の下に横１行に並ぶように配置されることで、横３枚縦３枚の計９枚の振動板４２が配置されている。
【０１６４】
ｍ１乃至ｍ９の振動板４２には、それぞれ、２つの振動子が、所定の距離をおいて、横に１行に並ぶように配置されている。すなわち、図１４において、振動板４２に向かって左側のＬで示される振動子４１と、振動板４２に向かって右側のＲで示される振動子４１とが、ｍ１乃至ｍ９の振動板４２のそれぞれに配置され、９枚の振動板４２には合計１８の振動子４１が設けられている。
【０１６５】
図１４において、Ｌの上に配置されている数字は、Ｌで示される振動子４１で加えられる振動の強さを示し、Ｒの上に配置されている数字は、Ｒで示される振動子４１で加えられる振動の強さを示す。
【０１６６】
設定情報供給部９２に、画像オブジェクトに応じた音声を放射する範囲であって、視聴者から指示された予め定めた範囲として、１枚の振動板４２の面と同じ大きさの範囲が記憶され、画像オブジェクトがｍ１の振動板４２の位置に表示されている場合を例に説明する。
【０１６７】
ズームまたは画像の拡大の倍率が１．０である場合、図１４の上側で示されるように、ｍ１の振動板４２のＬで示される振動子４１およびＲで示される振動子４１が、それぞれ、１．０の強さで、ｍ１の振動板４２を振動させて、音声を放射させる。ｍ２乃至ｍ９の振動板４２は振動させられない。これにより、ｍ１の振動板４２の範囲から音声が出力されることになる。
【０１６８】
ズームまたは画像の拡大の倍率が１．ｎ（ｎは自然数）である場合、図１４の中央で示されるように、ｍ１の振動板４２のＬで示される振動子４１およびＲで示される振動子４１が、それぞれ、１．０の強さで、ｍ１の振動板４２を振動させて、音声を放射させるとともに、ｍ２の振動板４２のＲで示される振動子４１、ｍ３の振動板４２のＬで示される振動子４１およびＲで示される振動子４１、ｍ４の振動板４２のＬで示される振動子４１、ｍ５の振動板４２のＲで示される振動子４１、ｍ６の振動板４２のＬで示される振動子４１、ｍ７の振動板４２のＲで示される振動子４１、ｍ８の振動板４２のＬで示される振動子４１およびＲで示される振動子４１、並びにｍ９の振動板４２のＬで示される振動子４１が、０．５の強さで、ｍ２乃至ｍ９の振動板４２を振動させて、音声を放射させる。
【０１６９】
これにより、ｍ１の振動板４２の範囲から音声が出力されるとともに、ｍ１の振動板４２の音声の強さに比較して半分の強さの音声が、ｍ３およびｍ８の振動板４２の範囲から出力されることになる。さらに、ｍ２、ｍ４、ｍ５、ｍ６、ｍ７、およびｍ９の振動板４２の範囲のうち、ｍ１の振動板４２に近接する側の約半分の範囲から、ｍ１の振動板４２の音声の強さに比較して４分の１の強さの音声が出力される。
【０１７０】
さらに、ズームまたは画像の拡大の倍率がｎ（ｎは自然数）である場合、図１４の下側で示されるように、ｍ１乃至ｍ９の振動板４２のＬで示される振動子４１およびＲで示される振動子４１が、それぞれ、１．０の強さで、ｍ１乃至ｍ９の振動板４２を振動させて、音声を放射させる。これにより、ｍ１乃至ｍ９の振動板４２の範囲から音声が出力される。
【０１７１】
このように、倍率が１．０である標準の大きさの画像が表示されている場合には、例えば、１枚の振動板４２の面積などより狭い面から音声が出力され、ズームインするかまたは画像が拡大されることで、表示される画像の倍率が１を超えるようになった場合には、より広い面から音声が出力される。
【０１７２】
このように、ズームまたは画像の拡大にあわせて、音声が出力される範囲が変えられる。
【０１７３】
なお、表示する画像の画枠の大きさに合わせて、音声が出力される範囲を変えるようにしてもよい。例えば、信号ＲＳに画枠の大きさを示す情報が含まれている場合には、その情報で示される画枠の大きさに応じた面積（数）の振動板４２および振動子４１が選択され、所定の強さで振動板４２が振動させられて、音声が放射させられる。
【０１７４】
次に、図１５のフローチャートを参照して、音響出力の処理を説明する。ステップＳ１１において、音響出力位置指示部８６の設置情報供給部９２は、衝立スピーカ２１に関する設置情報Ｃｓａを記憶する。例えば、ステップＳ１１において、設置情報供給部９２は、表示面における座標と音声を放射する面における座標との関係を示す情報、衝立スピーカ２１のそれぞれの音を放射できる範囲を示す情報、衝立スピーカ２１のそれぞれにおける、振動板４２のそれぞれの面の範囲および振動子４１のそれぞれの位置を示す情報を含む設置情報Ｃｓａを記憶する。また、設置情報供給部９２は、画像オブジェクトに応じた音声を放射する予め定めた範囲を記憶する。
【０１７５】
ステップＳ１２において、情報信号分離部８１は、信号記録再生装置６３から供給された信号ＲＳに含まれる、画像信号Ｓｖと音声信号Ｓａとを分離する。情報信号分離部８１は、また、信号ＲＳに含まれる距離角度信号Ｓｐを分離する。情報信号分離部８１は、分離して得られた画像信号Ｓｖを画像信号処理部８３に供給し、音声信号Ｓａを音声信号分離部８２に供給し、距離角度信号Ｓｐを音響出力位置指示部８６に供給する。
【０１７６】
さらにまた、信号ＲＳにズーム信号ＺＯｃまたはズーム信号ＺＯｏが含まれている場合、情報信号分離部８１は、ズーム信号ＺＯｃまたはズーム信号ＺＯｏを分離して、分離したズーム信号ＺＯｃまたはズーム信号ＺＯｏを音響出力位置指示部８６に供給する。
【０１７７】
ステップＳ１３において、音声信号分離部８２は、音声信号Ｓａをさらに２つの音声信号に分離する。音声信号分離部８２は、分離された一方の音声信号を音響出力信号生成部８４に供給し、他方の音声信号を音響出力信号生成部８５に供給する。例えば、ステップＳ１３において、音声信号分離部８２は、５チャンネルの音声信号Ｓａを、２チャンネルのフロントチャンネルおよび１チャンネルのセンタチャンネルの音声信号と、２チャンネルのリアチャンネルの音声信号とに分離して、フロントチャンネルおよびセンタチャンネルの音声信号を音響出力信号生成部８４に供給し、リアチャンネルの音声信号を音響出力信号生成部８５に供給する。
【０１７８】
ステップＳ１４において、画像信号処理部８３は、注目する画像オブジェクトが表示される表示位置または画像オブジェクトの表示の倍率を取得する。例えば、ステップＳ１４において、画像信号処理部８３は、動きを検出することで、注目する画像オブジェクトが表示される表示位置を取得する。また、例えば、ステップＳ１４において、画像信号処理部８３は、画像オブジェクトの輪郭を抽出することで、注目する画像オブジェクトが表示される表示位置を取得する。
【０１７９】
例えば、ステップＳ１４において、画像信号処理部８３は、指定された領域の画素の差分から画像オブジェクトの表示の倍率を取得する。また、例えば、ステップＳ１４において、画像信号処理部８３は、輝度または色に対する頻度を示すヒストグラムで示される最も頻度の大きい輝度または色の頻度の比から、画像オブジェクトの表示の倍率を取得する。
【０１８０】
ステップＳ１５において、音響出力位置指示部８６は、ステップＳ１４で取得した画像オブジェクトの座標位置または倍率を、音声の座標位置または範囲に変換する。例えば、ステップＳ１５において、音響出力位置指示部８６は、設定情報供給部９２に設置情報Ｃｓａとして記憶されている、表示面における座標と音声を放射する面における座標との関係を示す情報を基に、表示面における座標上の画像オブジェクトの座標位置を、音声を放射する面における座標上の座標位置に変換する。
【０１８１】
例えば、ステップＳ１５において、音響出力位置指示部８６は、設定情報供給部９２に記憶されている、画像オブジェクトに応じた音声を放射する範囲を倍率に応じて拡大または縮小することで、音声の範囲を求める。
【０１８２】
ステップＳ１６において、選択部１０１は、音声の座標位置または範囲に応じた衝立スピーカ２１を選択する。さらに、ステップＳ１７において、選択部１０１は、音声の座標位置または範囲に応じた、振動板４２を選択し、さらにまた、振動板４２を振動させる振動子４１を選択する。
【０１８３】
また、ステップＳ１６において、選択部１０１は、注目する画像オブジェクトに応じた音声以外の音声を出力させる衝立スピーカ２１を選択し、ステップＳ１７において、その音声を放射させる振動板４２と振動板４２を振動させる振動子４１とを選択する。
【０１８４】
ステップＳ１８において、音響出力信号生成部８４は、ステップＳ１６における、音声の座標位置または範囲に対する、衝立スピーカ２１、振動板４２、振動子４１の選択に応じて、選択された振動子４１を駆動するための音響出力信号を、所定のチャンネルの音声信号から生成する。例えば、ステップＳ１８において、音響出力信号生成部８４は、ステップＳ１３において分離されたフロントチャンネルおよびセンタチャンネルの音声信号から、選択された振動板４２に装着されている選択された振動子４１を駆動するための音響出力信号Ｓａｏｕｔ−１を生成する。
【０１８５】
ステップＳ１９において、音響出力信号生成部８５は、注目する画像オブジェクトに応じた音声以外の音声に対する、衝立スピーカ２１、振動板４２、振動子４１の選択に応じて、選択された振動子４１を駆動するための音響出力信号を、他のチャンネルの音声信号から生成する。例えば、ステップＳ１９において、音響出力信号生成部８５は、ステップＳ１３において分離されたリアチャンネルの音声信号から、選択された振動板４２に装着されている選択された振動子４１を駆動するための音響出力信号Ｓａｏｕｔ−２を生成する。
【０１８６】
ステップＳ２０において、音響出力信号混合部８７は、ステップＳ１８で生成された音響出力信号とステップＳ１９で生成された音響出力信号とを混合する。例えば、ステップＳ２０において、音響出力信号混合部８７は、振動子４１毎に、音響出力信号Ｓａｏｕｔ−１および音響出力信号Ｓａｏｕｔ−２を混合する。混合された音響出力信号は、それぞれ、信号増幅部８９−１乃至信号増幅部８９−ｎに供給される。
【０１８７】
ステップＳ２１において、信号増幅部８９−１乃至信号増幅部８９−ｎは、ステップＳ２０で混合された音響出力信号を基に、振動子４１のそれぞれを駆動して、その結果、衝立スピーカ２１から音声が出力され、処理は終了する。
【０１８８】
このように、出力される音声と、表示される画像とが一致する。すなわち、表示される画像オブジェクトの位置から、画像オブジェクトに対応した音声が出力されるようになる。また、表示される画像オブジェクトの大きさに応じた範囲から、画像オブジェクトに対応した音声が出力されるようになる。
【０１８９】
画像の位置と音声が発せられる位置との距離がより短くなるので、自然界により近い環境を室内空間に再現させることができるようになる。
【０１９０】
さらにまた、画像の位置だけでなく、画像の大きさに合わせた範囲から音声が発せられるようになるので、視聴者が、見ている画像と一致した音声を聞くことができるようになる。
【０１９１】
壁全面にスピーカを多数設ける必要がないので、壁全面を音源とすることができるようなシステムをより軽量に実現できる。
【０１９２】
パンまたはチルトに対して画像処理により画像オブジェクトの動きを検出し、動いている画像にあわせて動いている音声を出力することができる。
【０１９３】
または、画像音響取得装置６１におけるパンまたはチルトに対して、画像音響取得装置６１からの距離角度信号Ｓｐを用いて、パンまたはチルトしながら撮影された画像に応じて動いている音声を出力することができる。
【０１９４】
ズームに対して画像処理により画像オブジェクトの倍率を検出し、表示の大きさが変化する画像にあわせた範囲から音声を出力することができる。
【０１９５】
または、画像音響取得装置６１におけるズームに対して、画像音響取得装置６１からのズーム信号ＺＯｃを用いて、ズームインまたはズームアウトしながら撮影された画像の表示される大きさにあわせた範囲から音声を出力することができる。
【０１９６】
画像音響取得装置６１と被写体との距離が変化することで、表示される画像の大きさが変化する場合には、その距離に応じた範囲から音声を出力するので、画像の大きさと一致する大きさの範囲から音声を出力することができる。
【０１９７】
画像を拡大または縮小して表示する場合には、拡大または縮小により表示の大きさが変化する画像にあわせた範囲から音声を出力することができる。
【０１９８】
なお、使われていない振動板４２または振動子４１に、任意の音声を出力させるようにしてもよい。例えば、表示部２２の外に配置されている振動板４２または振動子４１に、BGM（background music）である音声を出力させるようにしてもよい。
【０１９９】
このように、画像に応じた音声から振動子を駆動する音響信号を生成するようにした場合には、画像に応じた音声を出力することができる。また、表示される画像に含まれる所定の画像オブジェクトの表示面における位置または画像の表示の倍率を検出し、画像オブジェクトの表示面における位置から音声を放射する位置を算出するか、または画像の表示の倍率から音声を放射する範囲を算出し、画像に対応する音声信号から、算出された位置または範囲から音声を放射させるように振動子を駆動する音響信号を生成するようにした場合には、聴視位置の制限を無くすとともに、画像の位置または範囲と音声が発せられる位置または範囲とを一致させることができる。
【０２００】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。
【０２０１】
図１６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。
【０２０２】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロフォンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０２０３】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０２０４】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０２０５】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０２０６】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２０７】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２０８】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２１０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２１１】
【図１】本発明の一実施の形態の画像音響再生装置の外観を示す図である。
【図２】衝立スピーカの構成の例を示す図である。
【図３】本発明の一実施の形態の画像音響再生装置の機能の構成を示すブロック図である。
【図４】画像信号処理部の構成を示すブロック図である。
【図５】ズーム倍率検出部の構成の例を示すブロック図である。
【図６】パンを説明する図である。
【図７】チルトを説明する図である。
【図８】画像の画枠の移動を説明する図である。
【図９】画枠の動きに従って順に選択される振動子を説明する図である。
【図１０】移動する画像オブジェクトに応じて選択される振動子を説明する図である。
【図１１】ズームを説明する図である。
【図１２】画像の拡大を説明する図である。
【図１３】ズームまたは画像の拡大に応じて選択される振動子を説明する図である。
【図１４】ズームまたは画像の拡大に応じて選択される振動子を説明する図である。
【図１５】音響出力の処理を説明するフローチャートである。
【図１６】パーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
【０２１２】
１１  画像音響再生装置，  ２１−１乃至２１−６，２１  衝立スピーカ，  ２２  表示部，  ４１  振動子，  ４２  振動板，  ８１  情報信号分離部，  ８２  音声信号分離部，  ８３  画像信号処理部，  ８４  音響出力信号生成部，  ８５  音響出力信号生成部，  ８６  音響出力位置指示部，  ８７  音響出力信号混合部，  ８８  画像表示部，  ８９−１乃至８９−ｎ  信号増幅部，  ９０  倍率入力部，  １２１  シーンチェンジ検出部，  １２２  動き検出部，  １２３  ズーム倍率検出部，  １２４  画像位置移動部，  １４１  遅延回路，  １４２  画像位置切替回路，  １４３  差分演算回路，  １４４  倍率決定回路，  ２０１  ＣＰＵ，  ２０２  ＲＯＭ，  ２０３  ＲＡＭ，  ２０８  記憶部，  ２１１  リムーバブルメディア
【図１】
2007129511.tif 000003
【図２】
2007129511.tif 000004
【図３】
2007129511.tif 000005
【図４】
2007129511.tif 000006
【図５】
2007129511.tif 000007
【図６】
2007129511.tif 000008
【図７】
2007129511.tif 000009
【図８】
2007129511.tif 000010
【図９】
2007129511.tif 000011
【図１０】
2007129511.tif 000012
【図１１】
2007129511.tif 000013
【図１２】
2007129511.tif 000014
【図１３】
2007129511.tif 000015
【図１４】
2007129511.tif 000016
【図１５】
2007129511.tif 000017
【図１６】
2007129511.tif 000018