(57)【要約】【課題】画像データの検索及び選択をより容易に行うことを可能とする。【解決手段】映像位置変化検出処理部１０２は、表示画面上に表示される画像データの配置位置の変化量を検出する。映像信号処理部１０４は、映像位置変化検出処理部１０２による検出結果に応じた画像処理を当該画像データに対して施すとともに、音声信号処理部１０６は、映像位置変化検出処理部１０２による検出結果に応じた音声処理を当該画像データに対応する音声データに対して施す。【選択図】図１
2010009419.tif 000002
【特許請求の範囲】
【請求項１】
表示画面上に表示される画像データの配置位置の変化量を検出する検出手段と、
前記検出手段による検出結果に応じた画像処理を前記画像データに対して施すとともに、前記検出手段による検出結果に応じた音声処理を前記画像データに対応する音声データに対して施す処理手段とを有することを特徴とする情報処理装置。
【請求項２】
前記処理手段は、前記検出手段により検出される前記画像データの配置位置の単位時間当たりの変化量に応じて、前記画像データに対する画像処理及び前記音声データに対する音声処理を変化させることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記処理手段は、前記検出手段により検出される前記画像データの配置位置の単位時間当たりの変化量に応じて音声周波数ローパスフィルタの係数を変化させ、前記音声データに対するフィルタ処理を施すことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記処理手段は、前記検出手段により検出される前記画像データの配置位置の単位時間当たりの変化量に応じて音声のピッチが変化するように前記音声データに対する音声処理を施すことを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記処理手段は、前記検出手段により検出される前記画像データの配置位置の単位時間当たりの変化量に応じて空間周波数ローパスフィルタの係数を変化させ、前記画像データに対するフィルタ処理を施すことを特徴とする請求項２乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記検出手段により検出される前記画像データの配置位置の単位時間当たりの変化量に応じて、前記画像データを変形させる変形処理手段を更に有することを特徴とする請求項２乃至５の何れか１項に記載の情報処理装置。
【請求項７】
前記処理手段により画像処理が施された前記画像データである複数の画像データを合成する画像合成手段と、
前記処理手段により音声処理が施された前記音声データである複数の音声データを合成する音声合成手段とを更に有することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
【請求項８】
情報処理装置の制御方法であって、
表示画面上に表示される画像データの配置位置の変化量を検出する検出ステップと、
前記検出ステップによる検出結果に応じた画像処理を前記画像データに対して施すとともに、前記検出ステップによる検出結果に応じた音声処理を前記画像データに対応する音声データに対して施す処理ステップとを含むことを特徴とする情報処理装置の制御方法。
【請求項９】
表示画面上に表示される画像データの配置位置の変化量を検出する検出ステップと、
前記検出ステップによる検出結果に応じた画像処理を前記画像データに対して施すとともに、前記検出ステップによる検出結果に応じた音声処理を前記画像データに対応する音声データに対して施す処理ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示画面上における画像データの配置位置の移動量に応じて、画像データ及び当該画像データに対応する音声データに対する処理を施す技術に関するものである。
【背景技術】
【０００２】
従来、複数の２次元画像・映像データを表示する際の音声データの出力方法としては、表示中の２次元画像・映像データの中から１つを選択し、その２次元画像・映像データに対応する音声データのみを出力する方法が知られている。
【０００３】
例えば、特許文献１には、画面上の各２次元画像・映像データの大きさと重なりに応じて、各２次元画像・映像データに対応する音声データの音量を調整し、合成して出力する技術が開示されている。
【０００４】
例えば、特許文献２には、画面上の各２次元画像・映像データの大きさと重なりに応じて、各２次元画像・映像データに対応する音声データにフィルタをかけ、合成して出力する技術が開示されている。
【０００５】
例えば、特許文献３には、画面上の各２次元画像・映像データの大きさと位置に応じて、各２次元画像・映像データに対応する音声データの音量と音場を調整し、合成して出力する技術が開示されている。
【０００６】
【特許文献１】特開平５−１９７２９号公報
【特許文献２】特開平７−４９７６３号公報
【特許文献３】特開２０００−６９３９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来、左右のスピーカから聞こえてくる２次元画像・映像データの音量データとバランスを調整する方法を採用しているが、これは指向性に乏しく、複数の聞き分けが難しいという問題があった。
【０００８】
また、２次元画像・映像データを移動させる時に音量及び音場を調整するだけでは、どの２次元画像・映像データが移動しているのかを判別するのが難しいという問題があった。
【０００９】
そこで、本発明の目的は、画像データの検索及び選択をより容易に行うことを可能とすることにある。
【課題を解決するための手段】
【００１０】
本発明の情報処理装置は、表示画面上に表示される画像データの配置位置の変化量を検出する検出手段と、前記検出手段による検出結果に応じた画像処理を前記画像データに対して施すとともに、前記検出手段による検出結果に応じた音声処理を前記画像データに対応する音声データに対して施す処理手段とを有することを特徴とする。
本発明の情報処理装置の制御方法は、表示画面上に表示される画像データの配置位置の変化量を検出する検出ステップと、前記検出ステップによる検出結果に応じた画像処理を前記画像データに対して施すとともに、前記検出ステップによる検出結果に応じた音声処理を前記画像データに対応する音声データに対して施す処理ステップとを含むことを特徴とする。
本発明のプログラムは、表示画面上に表示される画像データの配置位置の変化量を検出する検出ステップと、前記検出ステップによる検出結果に応じた画像処理を前記画像データに対して施すとともに、前記検出ステップによる検出結果に応じた音声処理を前記画像データに対応する音声データに対して施す処理ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１１】
本発明においては、表示画面上における画像データの配置位置の変化量に応じて当該画像データに画像処理を施すとともに、その変化量に応じて当該画像データに対応する音声データに音声処理を施すように構成している。従って、本発明によれば、画像データの位置を、画像データに対する画像処理結果だけではなく、音声データに対する音声処理結果でも把握することが可能となり、画像データの検索及び選択をより容易に行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１３】
図１は、本発明の実施形態に係る映像音声出力装置の構成を示すブロック図である。図１において、１００は、本実施形態に係る映像音声出力装置の本体である。５０１は、映像音声出力装置１００に入力される２次元画像・映像データである。５０４は、映像音声出力装置１００に入力される音声データである。なお、映像音声出力装置１００は、本発明の情報処理装置の適用例となる構成である。また、上記の２次元画像・映像データ及び音声データは夫々、本発明の画像データ及び音声データの適用例となる構成である。
【００１４】
１０１は、映像音声出力装置１００に入力された２次元画像・映像データを、表示装置５０３の表示領域を包含する２次元領域のどこに配置するかを決定する映像配置処理部である。
【００１５】
１０２は、映像配置処理部１０１によって配置された２次元画像・映像データの配置位置が変化したことを検出したり、また、その変化量を計算する映像位置変化検出処理部である。映像位置変化検出処理部１０２は、本発明の検出手段の適用例となる構成である。
【００１６】
１０３は、映像音声出力装置１００に入力された２次元画像・映像データの例えば拡大・縮小といった２次元的な形状を変形して出力する映像変形処理部である。映像変形処理部１０３は、本発明の変形処理手段の適用例となる構成である。
【００１７】
１０４は、映像変形処理部１０３で得られた２次元画像・映像データに空間周波数フィルタ処理等の信号処理を行う映像信号処理部である。映像信号処理部１０４は、本発明の処理手段の適用例となる構成である。
【００１８】
１０５は、映像信号処理部１０４から出力された２次元画像・映像データ群を配置し、合成して出力する映像合成処理部である。映像合成処理部１０５は、本発明の画像合成手段の適用例となる構成である。
【００１９】
１０６は、映像音声出力装置１００に入力された音声データに音声周波数フィルタ処理等の信号処理を行う音声信号処理部である。音声信号処理部１０６は、本発明の処理手段の適用例となる構成である。
【００２０】
１０７は、音声信号処理部１０６から出力された音声データを合成して出力する音声合成処理部である。音声合成処理部１０７は、本発明の音声合成手段の適用例となる構成である。
【００２１】
５０２は、映像合成処理部１０５により合成された２次元画像・映像データ群を表示装置５０３に表示させるためのデータ変換処理を行う映像表示処理部である。
【００２２】
５０３は、ディスプレイ等の表示装置である。５０５は、音声合成処理部１０７により出力された合成音声データを音声出力装置５０６で出力させるためのデータ変換処理を行う音声出力処理部である。５０６は、スピーカ等の音声出力装置である。
【００２３】
なお、上述した各構成によるデータ処理は、２次元画像・映像データ毎に順次で行ってもよいし、全ての２次元画像・映像データ分の処理を並列して行うようにしてもよい。
【００２４】
次に、図２を参照しながら、映像音声出力装置１００の処理の流れについて説明する。図２は、映像音声出力装置１００の処理の流れを示すフローチャートである。
【００２５】
先ず、映像配置処理部１０１は、入力される一つ又は複数の２次元画像・映像データ５０１を、表示装置５０３の表示領域を包含する２次元領域のどこに配置するかを決定し、配置する（ステップＳ２０１）。この配置処理では、時間の経過に伴う２次元画像・映像データ５０１の配置位置の変更も行う。即ち、２次元画像・映像データ５０１の配置位置を時間の経過と共に滑らかに移動させたり、加減速して移動させたり、突然別の位置に配置したりする処理を行う。また、配置位置の決定は、リモートコントローラ等のユーザインタフェースを用いたユーザによる指定としてもよい。
【００２６】
また、映像配置処理部１０１は、２次元画像・映像データの配置位置に基づく映像変形処理のためのパラメータを計算したり、配置位置の変化量を検出するためや合成処理のための例えば２次元画像・映像データの重心点の値を計算して出力する。
【００２７】
次に、映像位置変化検出処理部１０２は、映像配置処理部１０１より出力された各２次元画像・映像データの配置位置情報（例えば、重心点の値）を入力し、一定時間毎の各２次元画像・映像データの配置位置の変化量を計算する（ステップＳ２０２）。映像位置変化検出処理部１０２は、その変化量を基に、映像信号処理部１０４、音声信号処理部１０６用の処理パラメータを計算し出力する。
【００２８】
一方、２次元画像・映像データ５０１は、映像変形処理部１０３に入力され、２次元画像・映像データの２次元的な形状を変形する変換処理が行われる。ここで、２次元画像・映像データ５０１の２次元的な変形処理とは、拡大、縮小、回転、台形、四辺形変形等の処理である。例えば、台形変形処理は、各入力画素に伸長計数を乗、加算し、座標変換を行う方法等がある。また、２次元画像・映像データの変形処理は、当該２次元画像・映像データの配置位置の単位時間当たりの移動量に応じて行われる。
【００２９】
映像信号処理部１０４は、映像位置変化検出処理部１０２より出力された配置位置の変化量に応じたフィルタ処理等を、映像変形処理部１０３から出力された２次元画像・映像データに対して行って出力する（ステップＳ２０３）。フィルタ処理としては、例えば、空間周波数ローパスフィルタ処理等が挙げられ、映像位置変化検出処理部１０２より出力された配置位置の変化量に応じて、フィルタの係数を変化させる。
【００３０】
映像信号処理部１０４から出力された一つ又は複数の２次元画像・映像データは、映像合成処理部１０５にて合成され、出力される（ステップＳ２０５）。そして、映像表示処理装置５０２は、表示装置５０３に表示するための処理を２次元画像・映像データに施す。映像表示処理装置５０２で処理が施された２次元画像・映像データは表示装置５０３上で表示される（ステップＳ２０７）。
【００３１】
上述したステップＳ２０３、Ｓ２０５及びＳ２０７の処理に平行して、以下に説明するステップＳ２０４、Ｓ２０６及びＳ２０８の処理が実行される。
【００３２】
音声信号処理部１０６は、各入力画像・映像データ５０１に対応する音声データ５０４に対し、映像位置変化検出処理部１０２より出力された配置位置の変化量に応じたフィルタ処理等を実行する（ステップＳ２０４）。ここでのフィルタ処理としては、例えば、音声周波数ローパスフィルタ処理等である。映像位置変化検出処理部１０２より出力された配置位置の変化量に応じてフィルタの係数を変化させる。
【００３３】
音声信号処理部１０６から出力された一つ又は複数の２次元画像・映像データに対応する音声データは、音声合成処理部１０７にて合成され、出力される（ステップＳ２０６）。音声データ合成の際には、単純に各音声データを加算する方法でも良いし、また、２次元画像・映像データの配置位置に応じた音場を考慮した合成を行っても良い。
【００３４】
音声出力処理部５０５は、上記合成された音声データに対して音声出力部５０６に出力するための処理を行う。音声出力装置５０６は、音声出力処理部５０５より出力された音声データを出力する（ステップＳ２０８）。
【００３５】
図３は、表示装置５０３上における２次元画像・映像データの配置位置の変化に伴う、２次元画像データの表示状態の変化及び音声データの出力状態の変化を説明するための図である。ここで、６０１は表示装置５０３上の表示領域である。６０２は、表示領域６０１上に表示された２次元画像・映像データである。６０３の矢印は、２次元画像・映像データ６０２の配置位置の変化量を表す。本表示例では、２次元画像・映像データ６０２が、表示領域６０１の左上から表示され、右斜め下、表示領域６０１の下方中央に速度を落としながら移動し、その後、右斜め上、表示領域６０１の右上の方向に速度を上げながら移動する状態を表している。
【００３６】
本実施形態では、時間単位の位置の変化量が最も小さいとき、つまり表示領域６０１の下方中央に位置するときは、２次元画像・映像データ６０２に対して空間周波数の高域成分を余り減衰させないローパスフィルタ処理を行う。同時に、音声データに対しても音声周波数の高域成分を余り減衰させないローパスフィルタ処理を行う。その結果、２次元画像・映像データ６０２の鮮鋭度は最も高くなり、対応する音声データの明瞭度も最も高くなる。
【００３７】
また、時間単位の位置の変化量が大きいとき、つまり画面領域６０１の左上又は右上に位置するときは、２次元画像・映像データ６０２に対して空間周波数の高域成分を多く減衰させるローパスフィルタ処理を行う。同時に、音声データに対しても音声周波数の高域成分を多く減衰させるローパスフィルタ処理を行う。その結果、２次元画像・映像データ６０２の鮮鋭度は最も低くなり、対応する音声データの明瞭度も最も低くなる。
【００３８】
図４は、複数の２次元画像・映像データを同時に表示領域６０１上において配置位置を変えながら表示させた場合における、２次元画像・映像データの表示状態の変化及び音声データの出力状態の変化を説明するための図である。６０４は、表示領域６０１上に表示された２次元画像・映像データである。６０５の矢印は、２次元画像・映像データの配置位置の変化量を表す。
【００３９】
ある時刻において映像１から５までの２次元画像・映像データ６０４がそれぞれの移動変化量で移動している。このとき、映像１、映像２、映像３のような時間単位の位置の変化量が小さい２次元画像・映像データ６０４に対しては、空間周波数の高域成分を余り減衰させないローパスフィルタ処理を行う。また、映像１、映像２、映像３に対応する音声データに対しては音声周波数の高域成分を余り減衰させないローパスフィルタ処理を行う。その結果、映像１、映像２、映像３の２次元画像・映像データ６０４の鮮鋭度は最も高くなり、対応する音声データの明瞭度も最も高くなる。
【００４０】
また、映像４、映像５のような時間単位の位置の変化量が大きい２次元画像・映像データ６０４に対しては、空間周波数の高域成分を多く減衰させるローパスフィルタ処理を行う。映像４、映像５に対応する音声データに対しては、音声周波数の高域成分を多く減衰させるローパスフィルタ処理を行う。その結果、映像４、映像５の２次元画像・映像データ６０４の鮮鋭度は最も低くなり、対応する音声データの明瞭度も最も低くなる。
【００４１】
以上のように、本実施形態においては、移動する２次元画像・映像データに対してフィルタ処理を行うとともに、対応する音声データに対してもフィルタ処理を行う。具体的には、時間単位の位置の変化量が小さい２次元画像・映像データに対しては、空間周波数の高域成分を余り減衰させないローパスフィルタ処理を施す。また、それとともに、当該２次元画像・映像データに対応する音声データに対しては、音声周波数の高域成分を余り減衰させないローパスフィルタ処理を施す。換言すると、当該２次元画像・映像データ及び当該音声データには低いレベルのぼかし処理を施す。
【００４２】
一方、時間単位の位置の変化量が大きい２次元画像・映像データに対しては、空間周波数の高域成分を多く減衰させるローパスフィルタ処理を施すとともに、対応する音声データに対しては、音声周波数の高域成分を多く減衰させるローパスフィルタ処理を施す。換言すると、当該２次元画像・映像データ及び当該音声データには高いレベルのぼかし処理を施す。
【００４３】
これにより、コンテンツの閲覧時等、各２次元画像・映像データの位置関係を、２次元画像・映像データの表示状態と音声データの出力状態との双方から把握することが可能となり、２次元画像・映像データの検索及び選択をより容易に行うことができる。また、音声データにもフィルタ処理（ぼかし処理）を施すことにより、ユーザは画面を注視していなくても、音声データの出力状態からコンテンツの検索を行うことができる。
【００４４】
なお、上述した実施形態においては、２次元画像・映像データの配置位置の移動量に応じて音声周波数ローパスフィルタの係数を変化させ、対応する音声データのフィルタ処理を行っている。本発明はこれに限らず、２次元画像・映像データの配置位置の移動量に応じて音声のピッチが変化するように、対応する音声データに対応する音声処理を行ってもよい。例えば、２次元画像・映像データの配置位置の単位時間当たりの移動量が大きい場合には、ピッチを速めて対応する音声データを出力させる。一方、２次元画像・映像データの配置位置の単位時間当たりの移動量が小さい場合には、ピッチを遅めて対応する音声データを出力させるようにすることが考えられる。
【００４５】
上述した本発明の実施形態を構成する各手段及び各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００４６】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。
【００４７】
なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００４８】
従って、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００４９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。更に、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００５０】
更に、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施形態に係る映像音声出力装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る映像音声出力装置の処理の流れを示すフローチャートである。
【図３】表示装置上における２次元画像・映像データの配置位置の変化に伴う、２次元画像・映像データの表示状態の変化及び音声データの出力状態の変化を説明するための図である。
【図４】複数の２次元画像・映像データを同時に表示領域上において配置位置を変えながら表示させた場合における、２次元画像・映像データの表示状態の変化及び音声データの出力状態の変化を説明するための図である。
【符号の説明】
【００５２】
１００  映像音声出力装置
１０１  映像配置処理部
１０２  映像位置変化検出処理部
１０３  映像変形処理部
１０４  映像信号処理部
１０５  映像合成処理部
１０６  音声信号処理部
１０７  音声合成処理部
５０１  ２次元画像・映像データ
５０２  映像表示処理部
５０３  表示装置
５０４  音声データ
５０５  音声出力処理部
５０６  音声出力装置
【図１】
2010009419.tif 000003
【図２】
2010009419.tif 000004
【図３】
2010009419.tif 000005
【図４】
2010009419.tif 000006