(57)【特許請求の範囲】
【請求項１】
１つの表示面に配置された複数の画面のそれぞれにコンテンツを表示するための画像信号を生成する生成部と、
複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置および音量が異なるように前記音声信号を合成する合成部と
を備え、
複数の画面のうちの第１の画面と第２の画面が同じ大きさで表示される場合において、前記第１の画面に対応する第１の音声信号に基づく音声が定位する第1の位置と、前記第２の画面に対応する第２の音声信号に基づく音声が定位する第２の位置が、前記第1の画面と前記第2の画面から等距離の線を基準として、前記第1の画面の方向および前記第2の画面の方向にそれぞれ変位し、前記第１の音声信号に基づく音声の音量と前記第２の音声信号に基づく音声の音量とが同一となり、
前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置及び音量が変化し、
前記第1の画面と前記第2の画面の大きさが異なる場合、より大きい前記画面の音声が、より小さい前記画面の音声より、前記線により近く、かつ前記表示面からより遠い位置に定位し、より大きい前記画面の音声の音量がより小さい前記画面の音声の音量よりも大きくなり、
前記第1の画面と前記第2の画面の一方が最大の大きさになった場合、最大の前記画面の音声が前記線上であって、他方の前記画面の音声よりも前記表示面から遠い位置に定位し、前記最大の前記画面の音声の音量が、他方の前記画面の音声の音量よりも大きくなり、
前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、
前記第2の画面において、前記第1の画面の画像に対応する前記サムネール画像がフォーカスされている場合、前記第1の画面の前記音声が前記線上に定位し、
前記第2の画面において、前記第1の画面の画像と異なる前記サムネール画像がフォーカスされている場合、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置が変化する
画像処理装置。
【請求項２】
前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、前記第1の画面の画像がフォーカスされているとき、前記第1の画面の前記音声が前記線上に定位する
請求項１に記載の画像処理装置。
【請求項３】
前記第1の画面と前記第2の画面のそれぞれの前記音声が定位する位置を表示する
請求項１に記載の画像処理装置。
【請求項４】
前記第1の画面と前記第2の画面のそれぞれの前記音声の音量を表示する
請求項１に記載の画像処理装置。
【請求項５】
１つの表示面に配置された複数の画面のそれぞれにコンテンツを表示するための画像信号を生成し、
複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置および音量が異なるように前記音声信号を合成する
ステップを含み、
複数の画面のうちの第１の画面と第２の画面が同じ大きさで表示される場合において、前記第１の画面に対応する第１の音声信号に基づく音声が定位する第1の位置と、前記第２の画面に対応する第２の音声信号に基づく音声が定位する第２の位置が、前記第1の画面と前記第2の画面から等距離の線を基準として、前記第1の画面の方向および前記第2の画面の方向にそれぞれ変位し、前記第１の音声信号に基づく音声の音量と前記第２の音声信号に基づく音声の音量とが同一となり、
前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置及び音量が変化し、
前記第1の画面と前記第2の画面の大きさが異なる場合、より大きい前記画面の音声が、より小さい前記画面の音声より、前記線により近く、かつ前記表示面からより遠い位置に定位し、より大きい前記画面の音声の音量がより小さい前記画面の音声の音量よりも大きくなり、
前記第1の画面と前記第2の画面の一方が最大の大きさになった場合、最大の前記画面の音声が前記線上であって、他方の前記画面の音声よりも前記表示面から遠い位置に定位し、前記最大の前記画面の音声の音量が、他方の前記画面の音声の音量よりも大きくなり、
前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、
前記第2の画面において、前記第1の画面の画像に対応する前記サムネール画像がフォーカスされている場合、前記第1の画面の前記音声が前記線上に定位し、
前記第2の画面において、前記第1の画面の画像と異なる前記サムネール画像がフォーカスされている場合、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置が変化する
画像処理装置の画像処理方法。
【請求項６】
１つの表示面に配置された複数の画面のそれぞれにコンテンツを表示するための画像信号を生成し、
複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置および音量が異なるように前記音声信号を合成し、
複数の画面のうちの第１の画面と第２の画面が同じ大きさで表示される場合において、前記第１の画面に対応する第１の音声信号に基づく音声が定位する第1の位置と、前記第２の画面に対応する第２の音声信号に基づく音声が定位する第２の位置が、前記第1の画面と前記第2の画面から等距離の線を基準として、前記第1の画面の方向および前記第2の画面の方向にそれぞれ変位し、前記第１の音声信号に基づく音声の音量と前記第２の音声信号に基づく音声の音量とが同一となり、
前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置及び音量が変化し、
前記第1の画面と前記第2の画面の大きさが異なる場合、より大きい前記画面の音声が、より小さい前記画面の音声より、前記線により近く、かつ前記表示面からより遠い位置に定位し、より大きい前記画面の音声の音量がより小さい前記画面の音声の音量よりも大きくなり、
前記第1の画面と前記第2の画面の一方が最大の大きさになった場合、最大の前記画面の音声が前記線上であって、他方の前記画面の音声よりも前記表示面から遠い位置に定位し、前記最大の前記画面の音声の音量が、他方の前記画面の音声の音量よりも大きくなり、
前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、
前記第2の画面において、前記第1の画面の画像に対応する前記サムネール画像がフォーカスされている場合、前記第1の画面の前記音声が前記線上に定位し、
前記第2の画面において、前記第1の画面の画像と異なる前記サムネール画像がフォーカスされている場合、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置が変化する
処理をコンピュータに実行させるプログラム。
【請求項７】
１つの表示面に配置された複数の画面のそれぞれにコンテンツを表示するための画像信号を生成し、
複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置および音量が異なるように前記音声信号を合成し、
複数の画面のうちの第１の画面と第２の画面が同じ大きさで表示される場合において、前記第１の画面に対応する第１の音声信号に基づく音声が定位する第1の位置と、前記第２の画面に対応する第２の音声信号に基づく音声が定位する第２の位置が、前記第1の画面と前記第2の画面から等距離の線を基準として、前記第1の画面の方向および前記第2の画面の方向にそれぞれ変位し、前記第１の音声信号に基づく音声の音量と前記第２の音声信号に基づく音声の音量とが同一となり、
前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置及び音量が変化し、
前記第1の画面と前記第2の画面の大きさが異なる場合、より大きい前記画面の音声が、より小さい前記画面の音声より、前記線により近く、かつ前記表示面からより遠い位置に定位し、より大きい前記画面の音声の音量がより小さい前記画面の音声の音量よりも大きくなり、
前記第1の画面と前記第2の画面の一方が最大の大きさになった場合、最大の前記画面の音声が前記線上であって、他方の前記画面の音声よりも前記表示面から遠い位置に定位し、前記最大の前記画面の音声の音量が、他方の前記画面の音声の音量よりも大きくなり、
前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、
前記第2の画面において、前記第1の画面の画像に対応する前記サムネール画像がフォーカスされている場合、前記第1の画面の前記音声が前記線上に定位し、
前記第2の画面において、前記第1の画面の画像と異なる前記サムネール画像がフォーカスされている場合、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置が変化する
処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、プログラム並びに記録媒体に関し、特に、コンテンツの内容を迅速に識別することができるようにした画像処理装置および方法、プログラム並びに記録媒体に関する。
【背景技術】
【０００２】
最近、テレビジョン放送の画像を表示するディスプレイの大型化が進み、１つのディスプレイに複数の画面を表示しても、ユーザがそれぞれの画面の画像を充分楽しむことができるようになってきた。ただし音声については、選択された１つの画面のステレオ音声を聴取することができるだけのことが多い。
【０００３】
そこで本出願人は、１つのディスプレイに2画面を表示した場合に、左右のスピーカから、それぞれ左側の画面のモノラル音声と右側の画面のモノラル音声を出力させ、必要に応じて２つのモノラル音声の音量のバランスを調整することを先に提案した(例えば、特許文献１)。
【０００４】
【特許文献１】特開平９−３０７８３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、バランスを調整するにはそのための特別の操作が必要となる。またバランスを一方に調整してその音声を確認した後、他方の音声を確認するには、バランスを逆の方向に操作しなければならない。その結果、ユーザはコンテンツとしての音声の内容を迅速に識別することが困難になる。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、コンテンツの内容を迅速に識別することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面は、１つの表示面に配置された複数の画面のそれぞれにコンテンツを表示するための画像信号を生成する生成部と、複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置および音量が異なるように前記音声信号を合成する合成部とを備え、複数の画面のうちの第１の画面と第２の画面が同じ大きさで表示される場合において、前記第１の画面に対応する第１の音声信号に基づく音声が定位する第1の位置と、前記第２の画面に対応する第２の音声信号に基づく音声が定位する第２の位置が、前記第1の画面と前記第2の画面から等距離の線を基準として、前記第1の画面の方向および前記第2の画面の方向にそれぞれ変位し、前記第１の音声信号に基づく音声の音量と前記第２の音声信号に基づく音声の音量とが同一となり、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置及び音量が変化し、前記第1の画面と前記第2の画面の大きさが異なる場合、より大きい前記画面の音声が、より小さい前記画面の音声より、前記線により近く、かつ前記表示面からより遠い位置に定位し、より大きい前記画面の音声の音量がより小さい前記画面の音声の音量よりも大きくなり、前記第1の画面と前記第2の画面の一方が最大の大きさになった場合、最大の前記画面の音声が前記線上であって、他方の前記画面の音声よりも前記表示面から遠い位置に定位し、前記最大の前記画面の音声の音量が、他方の前記画面の音声の音量よりも大きくなり、前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、前記第2の画面において、前記第1の画面の画像に対応する前記サムネール画像がフォーカスされている場合、前記第1の画面の前記音声が前記線上に定位し、前記第2の画面において、前記第1の画面の画像と異なる前記サムネール画像がフォーカスされている場合、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置が変化する画像処理装置である。
【００１２】
前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、前記第2の画面において、前記第1の画面の画像に対応する前記サムネール画像がフォーカスされている場合、前記第1の画面の前記音声が前記線上に定位し、前記第2の画面において、前記第1の画面の画像と異なる前記サムネール画像がフォーカスされている場合、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置が変化することができる。
【００１３】
前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、前記第1の画面の画像がフォーカスされているとき、前記第1の画面の前記音声が前記線上に定位することができる。
【００１４】
前記第1の画面と前記第2の画面のそれぞれの前記音声が定位する位置を表示することができる。
【００１５】
前記第1の画面と前記第2の画面のそれぞれの前記音声の音量を表示することができる。
【００１６】
本発明の一側面は、１つの表示面に配置された複数の画面のそれぞれにコンテンツを表示するための画像信号を生成し、複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置および音量が異なるように前記音声信号を合成するステップを含み、複数の画面のうちの第１の画面と第２の画面が同じ大きさで表示される場合において、前記第１の画面に対応する第１の音声信号に基づく音声が定位する第1の位置と、前記第２の画面に対応する第２の音声信号に基づく音声が定位する第２の位置が、前記第1の画面と前記第2の画面から等距離の線を基準として、前記第1の画面の方向および前記第2の画面の方向にそれぞれ変位し、前記第１の音声信号に基づく音声の音量と前記第２の音声信号に基づく音声の音量とが同一となり、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置及び音量が変化し、前記第1の画面と前記第2の画面の大きさが異なる場合、より大きい前記画面の音声が、より小さい前記画面の音声より、前記線により近く、かつ前記表示面からより遠い位置に定位し、より大きい前記画面の音声の音量がより小さい前記画面の音声の音量よりも大きくなり、前記第1の画面と前記第2の画面の一方が最大の大きさになった場合、最大の前記画面の音声が前記線上であって、他方の前記画面の音声よりも前記表示面から遠い位置に定位し、前記最大の前記画面の音声の音量が、他方の前記画面の音声の音量よりも大きくなり、前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、前記第2の画面において、前記第1の画面の画像に対応する前記サムネール画像がフォーカスされている場合、前記第1の画面の前記音声が前記線上に定位し、前記第2の画面において、前記第1の画面の画像と異なる前記サムネール画像がフォーカスされている場合、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置が変化する画像処理装置の画像処理方法である。
【００１７】
本発明の一側面は、１つの表示面に配置された複数の画面のそれぞれにコンテンツを表示するための画像信号を生成し、複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置および音量が異なるように前記音声信号を合成するステップを含み、複数の画面のうちの第１の画面と第２の画面が同じ大きさで表示される場合において、前記第１の画面に対応する第１の音声信号に基づく音声が定位する第1の位置と、前記第２の画面に対応する第２の音声信号に基づく音声が定位する第２の位置が、前記第1の画面と前記第2の画面から等距離の線を基準として、前記第1の画面の方向および前記第2の画面の方向にそれぞれ変位し、前記第１の音声信号に基づく音声の音量と前記第２の音声信号に基づく音声の音量とが同一となり、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置及び音量が変化し、前記第1の画面と前記第2の画面の大きさが異なる場合、より大きい前記画面の音声が、より小さい前記画面の音声より、前記線により近く、かつ前記表示面からより遠い位置に定位し、より大きい前記画面の音声の音量がより小さい前記画面の音声の音量よりも大きくなり、前記第1の画面と前記第2の画面の一方が最大の大きさになった場合、最大の前記画面の音声が前記線上であって、他方の前記画面の音声よりも前記表示面から遠い位置に定位し、前記最大の前記画面の音声の音量が、他方の前記画面の音声の音量よりも大きくなり、前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、前記第2の画面において、前記第1の画面の画像に対応する前記サムネール画像がフォーカスされている場合、前記第1の画面の前記音声が前記線上に定位し、前記第2の画面において、前記第1の画面の画像と異なる前記サムネール画像がフォーカスされている場合、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置が変化する処理をコンピュータに実行させるプログラムである。
【００１８】
本発明の一側面は、１つの表示面に配置された複数の画面のそれぞれにコンテンツを表示するための画像信号を生成し、複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置および音量が異なるように前記音声信号を合成するステップを含み、複数の画面のうちの第１の画面と第２の画面が同じ大きさで表示される場合において、前記第１の画面に対応する第１の音声信号に基づく音声が定位する第1の位置と、前記第２の画面に対応する第２の音声信号に基づく音声が定位する第２の位置が、前記第1の画面と前記第2の画面から等距離の線を基準として、前記第1の画面の方向および前記第2の画面の方向にそれぞれ変位し、前記第１の音声信号に基づく音声の音量と前記第２の音声信号に基づく音声の音量とが同一となり、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置及び音量が変化し、前記第1の画面と前記第2の画面の大きさが異なる場合、より大きい前記画面の音声が、より小さい前記画面の音声より、前記線により近く、かつ前記表示面からより遠い位置に定位し、より大きい前記画面の音声の音量がより小さい前記画面の音声の音量よりも大きくなり、前記第1の画面と前記第2の画面の一方が最大の大きさになった場合、最大の前記画面の音声が前記線上であって、他方の前記画面の音声よりも前記表示面から遠い位置に定位し、前記最大の前記画面の音声の音量が、他方の前記画面の音声の音量よりも大きくなり、前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、前記第2の画面において、前記第1の画面の画像に対応する前記サムネール画像がフォーカスされている場合、前記第1の画面の前記音声が前記線上に定位し、前記第2の画面において、前記第1の画面の画像と異なる前記サムネール画像がフォーカスされている場合、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置が変化する処理をコンピュータに実行させるプログラムが記録されている記録媒体である。
【００１９】
本発明の一側面においては、１つの表示面に配置された複数の画面のそれぞれにコンテンツを表示するための画像信号を生成する生成部と、複数の前記画像信号に対応する複数の音声信号に基づく音声の定位する位置および音量が異なるように前記音声信号を合成する合成部とを備えられ、複数の画面のうちの第１の画面と第２の画面が同じ大きさで表示される場合において、前記第１の画面に対応する第１の音声信号に基づく音声が定位する第1の位置と、前記第２の画面に対応する第２の音声信号に基づく音声が定位する第２の位置が、前記第1の画面と前記第2の画面から等距離の線を基準として、前記第1の画面の方向および前記第2の画面の方向にそれぞれ変位し、前記第１の音声信号に基づく音声の音量と前記第２の音声信号に基づく音声の音量とが同一となり、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置及び音量が変化し、前記第1の画面と前記第2の画面の大きさが異なる場合、より大きい前記画面の音声が、より小さい前記画面の音声より、前記線により近く、かつ前記表示面からより遠い位置に定位し、より大きい前記画面の音声の音量がより小さい前記画面の音声の音量よりも大きくなり、前記第1の画面と前記第2の画面の一方が最大の大きさになった場合、最大の前記画面の音声が前記線上であって、他方の前記画面の音声よりも前記表示面から遠い位置に定位し、前記最大の前記画面の音声の音量が、他方の前記画面の音声の音量よりも大きくなる。前記第1の画面が、前記第2の画面に表示された複数のサムネール画像から選択された前記サムネール画像に対応する画像を表示する場合、前記第2の画面において、前記第1の画面の画像に対応する前記サムネール画像がフォーカスされている場合、前記第1の画面の前記音声が前記線上に定位され、前記第2の画面において、前記第1の画面の画像と異なる前記サムネール画像がフォーカスされている場合、前記第1の画面と前記第2の画面の連携したスケーリングに従って前記定位する位置が変化する。
【発明の効果】
【００２０】
以上のように、本発明の一側面によれば、コンテンツの内容を迅速に識別することができる。
【発明を実施するための最良の形態】
【００２１】
以下、図を参照して本発明の実施の形態について説明する。
【００２２】
図１は本発明の画像処理装置の一実施の形態の構成を表している。この画像処理装置１は、ユーザにより操作される操作部２１からの操作信号に基づいて所定の処理を行い、表示部１６にコンテンツの画像を表示する。操作部２１は、例えばリモートコントローラにより構成され、左ボタン２２、右ボタン２３、移動ボタン２４、確定ボタン２５、その他のボタン（図示せず）を有する。もちろん画像処理装置１の本体に取り付けられた各種のボタン、スイッチなどにより操作部２１を構成することもできる。
【００２３】
画像処理装置１は、操作信号取得部１１、制御部１２、コンテンツ取得部１３、記録部１４、画像信号生成部１５、表示部１６、音量定位計算部１７、音声合成部１８、音声出力部１９を有している。このうちの記録部１４、表示部１６、および音声出力部１９は、画像処理装置１の本体とは独立して構成することもできる。
【００２４】
操作信号取得部１１は、ユーザが操作部２１を操作することで操作部２１から供給される、ユーザからの操作信号を取得する。取得された操作信号は制御部１２に供給される。制御部１２はこの操作信号に基づいて各部の動作を制御する。
【００２５】
コンテンツ取得部１３は複数のチューナを内蔵し、衛星放送、通信衛星、ケーブルにより伝送される放送信号などから、異なるチャンネルの画像信号を独立に同時に受信する機能を有している。そしてコンテンツ取得部１３は、チューナにより受信された画像信号を同時に独立にデコードし、画像信号生成部１５に出力する。この実施の形態の場合、合計９チャンネルの画像信号を同時に取得可能である。もちろんこれらの数は任意であり、９個に限られるものではない。
【００２６】
またコンテンツ取得部１３は、記録部１４に記録させる画像信号をエンコードするとともに、記録部１４により再生された画像信号をデコードし、画像信号生成部１５に出力する。
【００２７】
さらに、コンテンツ取得部１３は、インターネットに代表される各種のネットワークを介して異なる複数の画像信号を同時に受信する機能を有している。
【００２８】
記録部１４は、ハードディスク、光ディスク、光磁気ディスク、個体メモリなどにより構成され、コンテンツ取得部１３により取得され、エンコードされた画像信号を記録する。記録部１４にはまた、必要に応じてコンピュータプログラムが記録される。
【００２９】
画像信号生成部１５は、表示部１６に複数の画面を表示するための画像信号を生成する。具体的には、メイン表示エリアとサブ表示エリアの２画面の画像信号が生成される（表示エリアについては図３を参照して後述する。）。画像信号生成部１５は、サブ表示エリアの画像信号として、コンテンツ取得部１３から供給された９チャンネルの画像信号のそれぞれをスケーリングして、動画のサムネール画像の画像信号を生成し、サブ表示エリアのうち選択されたエリアの画像信号をメイン表示エリアの画像信号とする。画像信号生成部１５は、生成した画像信号を表示部１６に出力し、対応する画像を表示させる。
【００３０】
表示部１６はLCD（Liquid Crystal Display）、CRT（Cathode Ray Tube）、有機EL（Electroluminescence）、プラズマなどのディスプレイにより構成され、１つの表示面に複数の画面を表示する。
【００３１】
音量定位計算部１７は、メイン表示エリアの画面の音声と、サブ表示エリアの画面の音声の音量と定位する位置を計算する。音声合成部１８は、音量定位計算部１７により計算された音量の音声が、計算された位置に定位するように、コンテンツ取得部１３から供給される音声信号を、そのレベルと位相を調整して合成する。
【００３２】
スピーカなどにより構成される音声出力部１９は表示部１６の左右の両端部に配置され、音声合成部１８から供給された音声信号に対応する音声を出力する。
【００３３】
次に図２のフローチャートを参照して、画像処理装置１が行う連携スケーリング処理について説明する。この処理は画像の表示が指示されたとき開始される。
【００３４】
ステップＳ１において画像信号生成部１５は、デフォルトの表示をする。この実施の形態においては、図３に示されるように、表示部１６の１つの表示面１６Ａの左側にメイン表示エリア５１を、右側にサブ表示エリア５２を、同じ大きさで若干離して表示する状態がデフォルトの状態とされる。コンテンツ取得部１３により同時に受信されるか、または記録部１４より再生された２つのチャンネルの画像信号が、メイン表示エリア５１とサブ表示エリア５２の画像信号とされる。図３の例では、メイン表示エリア５１とサブ表示エリア５２に、それぞれ画像Ｖ１，Ｖ２が表示されている。
【００３５】
何らかの指示が出された場合、ステップＳ２において制御部１２は、指示されたのは、左画面を拡大する連携スケーリングであるかを判定する。すなわち、ユーザは左側のメイン表示エリア５１の画面のサイズと、右側のサブ表示エリアの画面のサイズの比率を変更する場合、操作部２１の専用の左ボタン２２または右ボタン２３を操作する。メイン表示エリア５１の画面のサイズを大きくするとき左ボタン２２が操作され、右側のサブ表示エリアの画面のサイズを大きくするとき右ボタン２３が操作される。
【００３６】
指示されたのが、左画面を拡大する連携スケーリングである場合（すなわち、左ボタン２２の操作信号が操作信号取得部１１により取得された場合）、ステップＳ３において画像信号生成部１５は、左画面を拡大し、連携して右画面を縮小する処理を実行する。
【００３７】
例えば図４に示されるように、メイン表示エリア５１の画面のサイズが小さく、サブ表示エリア５２の画面のサイズが大きい状態で、左ボタン２３が操作された場合、画像信号生成部１５は、左側のメイン表示エリア５１の画面のサイズを大きくし、右側のサブ表示エリア５２の画面のサイズを小さくする。その結果、図３に示されるように、メイン表示エリア５１の画面とサブ表示エリア５２の画面のサイズが等しい状態になる。
【００３８】
左ボタン２２がさらに操作された場合、画像信号生成部１５は、左側のメイン表示エリア５１の画面のサイズをさらに大きくし、右側のサブ表示エリア５２の画面のサイズをさらに小さくする。その結果、図５に示されるように、メイン表示エリア５１の画面のサイズがサブ表示エリア５２の画面のサイズより大きくなる。以上の動作は、メイン表示エリア５１の画面のサイズが最大になるまで（すなわち、サブ表示エリア５２の画面のサイズが最小になるまで）、左ボタン２２が操作されている間実行される。その結果、左ボタン２２の操作時間を調整することで、ユーザは、メイン表示エリア５１の画面を任意の大きさにすることができる。
【００３９】
ステップＳ３の処理の後、ステップＳ５において音声合成部１８は、連携特性に沿って音声を調整する。具体的には、図４に示されるように、メイン表示エリア５１の画面が最小で、サブ表示エリア５２の画面のサイズが最大である場合、表示面１６Ａの中心を通る線（図３に示されるように、メイン表示エリア５１の画面とサブ表示エリア５２の画面のサイズが等しい場合における、２つの画面から等距離の線）ＬＮｃ上の位置Ｐｖ２に、そのとき最大であるサブ表示エリア５２の画面の画像Ｖ２の音声Ｌｖ２，Ｒｖ２を定位させるように、音声Ｌｖ２，Ｒｖ２の音声信号の位相が音量定位計算部１７により計算される。その計算値に基づいて、音声合成部１８は、表示面１６Aの左側の端部に位置する音声出力部１９Ｌから出力される音声Ｌｖ２の音声信号と、右側の音声出力部１９Ｒから出力される音声Ｒｖ２の音声信号の位相を制御する。
【００４０】
そして、最小であるメイン表示エリア５１の画面の画像Ｖ１の音声を、最も左端の位置Ｐｖ１に定位させるための位相が音量定位計算部１７により計算され、その計算値に基づいて、音声合成部１８は左側の音声出力部１９Ｌから出力される音声Ｌｖ１の音声信号と、右側の音声出力部１９Ｒから出力される音声Ｒｖ１の音声信号の位相を制御する。
【００４１】
さらに最大であるサブ表示エリア５２の画面の画像Ｖ２の音声の音量は、最小であるメイン表示エリア５１の画面の画像Ｖ１の音声より大きくなるように、左側の音声出力部１９Ｌから出力される音声Ｌｖ２と、右側の音声出力部１９Ｒから出力される音声Ｒｖ２の音声信号のレベルが音量定位計算部１７により計算される。その計算値に基づいて音声合成部１８がそれらの音声信号のレベルを制御する。最小であるメイン表示エリア５１の画面の画像Ｖ１の音声は、実質的にミュートした状態のレベルにすることもできる。
【００４２】
左側のメイン表示エリア５１の画面のサイズが大きくなり、図３に示されるように、サブ表示エリア５２の画面のサイズと等しくなった状態において、メイン表示エリア５１の画面の画像Ｖ１の音声が定位する位置Ｐｖ１は、線ＬＮｃより左側（メイン表示エリア５１の画面の方向）に変位した位置となるように、音声合成部１８は音量定位計算部１７の計算結果に基づいて、左側の音声出力部１９Ｌから出力される音声Ｌｖ１と、右側の音声出力部１９Ｒから出力される音声Ｒｖ１の位相を制御する。
【００４３】
また、サブ表示エリア５２の画面の画像Ｖ２の音声が定位する位置Ｐｖ２は、線ＬＮｃより右側（サブ表示エリア５２の画面の方向）に変位した位置となるように、音声合成部１８は音量定位計算部１７の計算結果に基づいて、左側の音声出力部１９Ｌから出力される音声Ｌｖ２と、右側の音声出力部１９Ｒから出力される音声Ｒｖ２の位相を制御する。
【００４４】
そして、メイン表示エリア５１の画面の画像Ｖ１の音声とサブ表示エリア５２の画面の画像Ｖ２の音声の音量は同一となるように、左側の音声出力部１９Ｌから出力される音声Ｌｖ１，Ｌｖ２と、右側の音声出力部１９Ｒから出力される音声Ｒｖ１，Ｒｖ２の音声信号のレベルが、音量定位計算部１７の計算結果に基づいて、音声合成部１８により制御される。ただし、この音量は、図４の最大のサイズのサブ表示エリア５２の画面の画像Ｖ２の音声の音量より小さい値とされる。
【００４５】
従って、ユーザは、線ＬＮｃ近傍に位置において、メイン表示エリア５１の画面の画像Ｖ１の音声とサブ表示エリア５２の画面の画像Ｖ２の音声のいずれをも、その一方に意識を集中するだけで、あるいは精々体を若干左または右に傾けるだけで、特別の操作をすることなく、迅速に確認することができる。また音声をステレオで聴くことができるので、ユーザは臨場感にとんだ音声を楽しむことができる。
【００４６】
さらに左側のメイン表示エリア５１の画面のサイズが大きくなり、図５に示されるように、メイン表示エリア５１の画面のサイズが最大となり、サブ表示エリア５２の画面のサイズが最小となった状態においては、そのとき最大であるメイン表示エリア５１の画面の画像Ｖ１の音声が線ＬＮｃ上の位置Ｐｖ１に定位するように、左側の音声出力部１９Ｌから出力される音声Ｌｖ１と、右側の音声出力部１９Ｒから出力される音声Ｒｖ１の位相が、音声合成部１８により制御される。
【００４７】
そして、最小であるサブ表示エリア５２の画面の画像Ｖ２の音声は、最も右端の位置Ｐｖ２に定位するように、左側の音声出力部１９Ｌから出力される音声Ｌｖ２と、右側の音声出力部１９Ｒから出力される音声Ｒｖ２の位相が制御される。
【００４８】
さらにメイン表示エリア５１の画面の画像Ｖ１の音声の音量は、最小であるサブ表示エリア５２の画面の画像Ｖ２の音声より大きくなるように、左側の音声出力部１９Ｌから出力される音声Ｌｖ１と、右側の音声出力部１９Ｒから出力される音声Ｒｖ１の音声信号のレベルが音声合成部１８により制御される。最小であるサブ表示エリア５２の画面の画像Ｖ２の音声は、実質的にミュートした状態のレベルにすることもできる。
【００４９】
図４の位置Ｐｖ２における音量と図５の位置Ｐｖ１における音量は等しく、また図４の位置Ｐｖ１における音量と図５の位置Ｐｖ２における音量は等しい値とされる。
【００５０】
図６は、２つの画面の連携したスケーリングに対応して音声の定位する位置が変化する様子を表している。左側のメイン表示エリア５１のサイズが大きくなるとき、対応する音声の定位する位置は、連携の特性線ＬＮｖ１に沿って、位置Ｐｖ１１，Ｐｖ１２，Ｐｖ１３と、矢印Ａの方向に変化する。この変化に連携して、右側のサブ表示エリア５２のサイズが小さくなるとき、対応する音声の定位する位置は、連携の特性線ＬＮｖ２に沿って、位置Ｐｖ２１，Ｐｖ２２，Ｐｖ２３と、矢印Ｂの方向に変化する。
【００５１】
なお、左側のメイン表示エリア５１の定位位置が位置Ｐｖ１１であるときの、対応する右側のサブ表示エリア５２の定位位置は位置Ｐｖ２１であり、左側のメイン表示エリア５１の定位位置が位置Ｐｖ１２であるときの、対応する右側のサブ表示エリア５２の定位位置は位置Ｐｖ２２であり、左側のメイン表示エリア５１の定位位置が位置Ｐｖ１３であるときの、対応する右側のサブ表示エリア５２の定位位置は位置Ｐｖ２３である。より大きい画面の音声の方が、その音量がより大きくなり、かつその定位する位置が線ＬＮｃに近くなる。
【００５２】
定位位置と音量は、音量定位計算部１７による計算値に基づいて、音声合成部１８が左右の対応する音声Ｒｖ１１，Ｌｖ１１，Ｌｖ１２，Ｒｖ１２，Ｌｖ１３，Ｒｖ１３，Ｌｖ２１，Ｒｖ２１，Ｌｖ２２，Ｒｖ２２，Ｌｖ２３，Ｒｖ２３の位相とレベル（直接的にはそれらの音声信号の位相とレベル）を、それぞれ制御することで調整される。
【００５３】
ステップＳ２において、指示されたのは、左画面を拡大する連携スケーリングではないと判定された場合（すなわち、指示されたのは、右画面を拡大する連携スケーリングであると判定された場合）、ステップＳ３と逆方向の処理が行われる。
【００５４】
すなわちステップＳ４において画像信号生成部１５は、右画面を拡大し、連携して左画面を縮小する処理を実行する。図５に示されるように、サブ表示エリア５２の画面のサイズが小さく、メイン表示エリア５１の画面のサイズが大きい状態で、右ボタン２３が操作された場合、画像信号生成部１５は、右側のサブ表示エリア５２の画面のサイズを大きくし、左側のメイン表示エリア５１の画面のサイズを小さくする。その結果、図３に示されるように、サブ表示エリア５２の画面とメイン表示エリア５１の画面のサイズが等しい状態になる。
【００５５】
右ボタン２３がさらに操作された場合、画像信号生成部１５は、右側のサブ表示エリア５２の画面のサイズをさらに大きくし、左側のメイン表示エリア５１の画面のサイズをさらに小さくする。その結果、図４に示されるように、サブ表示エリア５２の画面のサイズがメイン表示エリア５１の画面のサイズより大きくなる。以上の動作は、サブ表示エリア５２の画面のサイズが最大になるまで（メイン表示エリア５１の画面のサイズが最小になるまで）、右ボタン２３が操作されている間実行される。その結果、右ボタン２３の操作時間を調整することで、ユーザは、サブ表示エリア５２の画面を任意の大きさにすることができる。
【００５６】
ステップＳ４の処理の後、ステップＳ５において音声合成部１８は、連携特性に沿って音声を調整する。この場合の処理は、上述したように、ステップＳ３の処理の後に行われる場合と実質的に同じ処理である。
【００５７】
ただし今の場合、右側のサブ表示エリア５２の画面のサイズを大きくするので、図６において、対応する音声の定位する位置は、特性線ＬＮｖ２に沿って、位置Ｐｖ２３，Ｐｖ２２，Ｐｖ２１と、矢印Cの方向に変化する。この変化に連携して、左側のメイン表示エリア５１のサイズが小さくなるとき、対応する音声の定位する位置は、特性線ＬＮｖ１に沿って、位置Ｐｖ１３，Ｐｖ１２，Ｐｖ１１と、矢印Dの方向に変化する。
【００５８】
ステップＳ５の処理の後、ステップＳ６において制御部１２は、終了が指示されたかを判定する。終了が指示されていない場合、処理はステップＳ２に戻り、それ以降の処理が繰り返される。終了が指示された場合、処理は終了される。
【００５９】
以上のように、左ボタン２２と右ボタン２３のいずれかが操作されると、左側の画面と右側の画面の一方がスケーリングされるだけではなく、他方も連携してスケーリングされる。従って、ユーザは、２画面のそれぞれに表示された２つのコンテンツを同時に並行して楽しむことができるだけでなく、簡単な操作で任意のタイミングで必要に応じて一方のコンテンツに重点的に楽しむことができる。
【００６０】
また、２つのコンテンツの音声がそれぞれ異なる位置に定位される。従って、２つの音声をモノラルで出力する場合に較べて、ユーザはコンテンツの内容としての音声を簡単かつ迅速に識別することができる。しかも２つの音声のそれぞれがステレオなので、ユーザは２つのコンテンツを臨場感にとんだ状態で視聴することができる。
【００６１】
さらに画面の連携スケーリングに従って音声の音量と定位も連携して制御される。従って画面のサイズのスケーリングの操作と音声の制御の操作とを、それぞれ独立した操作にする場合に較べて、操作性が向上する。
【００６２】
音声は、より大きい画面の音量がより大きく、かつより中心の線ＬＮｃの近くに定位するように、画面のスケーリングに連携して調整される。従ってユーザは、同時に視聴する２つのコンテンツのうちより注目する方の内容を、簡単かつ迅速に、重点的に視聴することができる。
【００６３】
一方の画面が最大になったとき、その最大の画面の音声が中心に定位される。その結果、ユーザは２つの画面のスケーリングを適当に調整するだけで、簡単に、２つのコンテンツのうちの一方に特に着目して視聴することができる。
【００６４】
以上の第１の実施の形態にいては、２つの画面のそれぞれに異なる画像（もちろん同じ画像であってもよいが）を1つずつ表示させるようにしたが、以下の第2の実施の形態にいては、２の画面のうちのサブ表示エリア５２の画面が分割され、分割された各エリアに画像を１つずつ表示させることで、１つのサブ表示エリア５２の画面に複数の画像が表示される。そして、2画面のうちの他方のメイン表示エリア５１には、分割されたエリアから選択された１つの画像が表示される。
【００６５】
この第2の実施の形態においては、画像連携スケーリング処理が図７に示されるように行われる。この処理は、図２のステップＳ１乃至Ｓ４，Ｓ６の処理と同様の処理であり、画像の表示が指示されたとき開始される。
【００６６】
ステップＳ５１において制御部１２は、デフォルトの表示をする。この実施の形態においては、図８に示されるように、左側のメイン表示エリア５１と右側のサブ表示エリア５２を、同じ大きさで表示する状態がデフォルトの状態とされる。
【００６７】
そして、サブ表示エリア５２は9個のエリアに分割され、コンテンツ取得部１３により同時に受信されるか、または記録部１４より再生された９つのチャンネルの画像信号が、サブ表示エリア５２の各分割エリアの画像信号とされる。9個の画像信号は9個の動画のサムネール画像（図８にはＶ１乃至Ｖ９として示されている）が表示できるように画像信号生成部１５によりスケーリングされる。
【００６８】
メイン表示エリア５１には、サブ表示エリア５２の９個の分割エリアに表示されている9個のサムネール画像の中から選択、確定されたエリアの画像が表示される。デフォルトの状態においては、図８に示されるように、サブ表示エリア５２の左上のエリアがカーソル７１により選択、確定され、そのエリアと同じ画像Ｖ１がメイン表示エリア５１に表示されている。画像処理装置１の電源がオフされる直前に選択されていたエリアの画像をメイン表示エリア５１に表示させるようにしてもよい。
【００６９】
画像信号生成部１５は、ユーザが移動ボタン２４を操作した場合、カーソル７１をその操作の方向に移動させる。ユーザが確定ボタン２５を操作した場合、画像信号生成部１５は、そのときカーソル７１により選択されているサブ表示エリア５２のエリアの画像信号の選択を確定し、メイン表示エリア５１の画像として表示させる。
【００７０】
以上のようにして、ユーザは、メイン表示エリア５１のコンテンツを視聴しながら、サブ表示エリア５２に表示されている９個のコンテンツを同時に並行して確認することができる。これにより表示面１６Aに１つの画面だけを表示し、その画面に表示される画像を切り替えてザッピングする場合に較べて、そのとき着目しているコンテンツの内容を見損なうことなく、他のコンテンツを確認することができる。
【００７１】
さらに、必要に応じて９個のコンテンツのいずれかをカーソル７１で選択することで、選択するコンテンツの内容を音声に基づいて、より詳細に確認することができる。なお、この点については、図１１を参照して後述する。
【００７２】
何らかの指示が出された場合、ステップＳ５２において制御部１２は、指示されたのは、左画面を拡大する連携スケーリングであるかを判定する。指示されたのが、左画面を拡大する連携スケーリングである場合（左ボタン２２の操作信号が操作信号取得部１１により取得された場合）、ステップＳ５３において左画面を拡大し、連携して右画面を縮小する処理が実行される。
【００７３】
例えば図９に示されるように、メイン表示エリア５１の画面が小さく、サブ表示エリア５２の画面のサイズが大きい状態で、左ボタン２２が操作された場合、画像信号生成部１５は、左側のメイン表示エリア５１の画面のサイズが大きくし、右側のサブ表示エリア５２の画面のサイズを小さくする。その結果、図８に示されるように、次第にメイン表示エリア５１の画面とサブ表示エリア５２の画面のサイズが等しい状態になる。
【００７４】
左ボタン２２がさらに操作された場合、画像信号生成部１５は、左側のメイン表示エリア５１の画面のサイズをさらに大きくし、右側のサブ表示エリア５２の画面のサイズをさらに小さくする。その結果、図１０に示されるように、メイン表示エリア５１の画面のサイズがサブ表示エリア５２の画面のサイズより大きくなる。以上の動作は、メイン表示エリア５１の画面のサイズが最大になるまで（サブ表示エリア５２の画面のサイズが最小になるまで）、左ボタン２２が操作されている間実行される。その結果、左ボタン２２の操作時間を調整することで、ユーザは、メイン表示エリア５１の画面を任意の大きさにすることができる。
【００７５】
ステップＳ５２において、指示されたのは、左画面を拡大する連携スケーリングではないと判定された場合（指示されたのは、右画面を拡大する連携スケーリングであると判定された場合）、ステップＳ５４においてステップＳ５３と逆方向の処理が行われる。
【００７６】
すなわちステップＳ５４において制御部１２は、右画面を拡大し、連携して左画面を縮小する処理を実行する。図１０に示されるように、サブ表示エリア５２の画面が小さく、メイン表示エリア５１の画面のサイズが大きい状態で、右ボタン２３が操作された場合、画像信号生成部１５は、右側のサブ表示エリア５２の画面のサイズが大きくし、左側のメイン表示エリア５１の画面のサイズを小さくする。その結果、図８に示されるように、次第にサブ表示エリア５２の画面とメイン表示エリア５１の画面のサイズが等しい状態になる。
【００７７】
右ボタン２３がさらに操作された場合、画像信号生成部１５は、右側のサブ表示エリア５２の画面のサイズをさらに大きくし、左側のメイン表示エリア５１の画面のサイズをさらに小さくする。その結果、図９に示されるように、サブ表示エリア５２の画面のサイズがメイン表示エリア５１の画面のサイズより大きくなる。以上の動作は、サブ表示エリア５２の画面のサイズが最大になるまで（メイン表示エリア５１の画面のサイズが最小になるまで）、右ボタン２３が操作されている間実行される。その結果、右ボタン２３の操作時間を調整することで、ユーザは、サブ表示エリア５２の画面を任意の大きさにすることができる。
【００７８】
ステップＳ５３，Ｓ５４の処理の後、ステップＳ５５において制御部１２は、終了が指示されたかを判定する。終了が指示されていない場合、処理はステップＳ５２に戻り、それ以降の処理が繰り返される。終了が指示された場合、処理は終了される。
【００７９】
以上のように、ユーザの左ボタン２２または右ボタン２３の一方の操作に応じて、メイン表示エリア５１の画面とサブ表示エリア５２の画面のサイズが連携してスケーリングされるのは、第1の実施の形態における場合と同様である。
【００８０】
このような図７の画像連携スケーリング処理にさらに連携して、図１１のフローチャートに示される音声連携スケーリング処理が実行される。
【００８１】
ステップＳ７１において制御部１２は、デフォルトの音声を設定する。上述したようにこの実施の形態の場合、図８に示される状態がデフォルトの状態とされる。そしてこの場合、サブ表示エリア５２のうちのカーソル７１により左上のエリアが選択されており、かつその左上のエリアの画像がメイン表示エリア５１の画面に表示されているので、ユーザが視聴しようとしている画像は画像Ｖ１である。そこで、音声合成部１８は、定位の位置が線ＬＮｃ上の位置Ｐｖ１になるように、左の音声出力部１９Ｌから出力される音声Ｌｖ１と、右の音声出力部１９Ｒから出力される音声Ｒｖ１の音声信号の位相を、音量定位計算部１７の計算値に基づいて制御する。
【００８２】
ステップＳ７２において制御部１２は、フォーカスされているのはメイン表示エリアの画面であるかを判定する。この実施の形態の場合、カーソル７１が位置する画面がフォーカスされていると判定される。図８に示される場合、カーソル７１がサブ表示エリア５２の左上のエリアに位置しているので、フォーカスされているのはサブ表示エリア５２であって、メイン表示エリア５１ではないと判定される。
【００８３】
この場合、ステップＳ７４において制御部１２は、サブ表示エリアでフォーカスされているのは、メイン表示エリアの画像として選択されている画像であるかを判定する。図８に示される場合、カーソル７１で選択されている画像Ｖ１がメイン表示エリア５１にも画像Ｖ１として表示されている。そこでこのような場合、ステップＳ７３において音声合成部１８は、音量定位計算部１７の計算値に基づいて、メイン表示エリアの画像の音声を選択し、定位の位置を中央にする。すなわち、図８に示されるように、メイン表示エリア５１の画像Ｖ１の音声が選択され、線ＬＮｃの位置Ｐｖ１上に定位するように位相制御され、左側の音声出力部１９Ｌから音声Ｌｖ１が出力され、右側の音声出力部１９Ｒから音声Ｒｖ１が出力される。
【００８４】
図９と図１０に示される場合も、サブ表示エリア５２の左上のエリアの画像Ｖ１がカーソル７１で選択され、メイン表示エリア５１に画像Ｖ１として表示されている。従って、これらの場合も、メイン表示エリア５１の画像Ｖ１の音声Ｌｖ１，Ｒｖ１が、線ＬＮｃ上の位置Ｐｖ１に定位するように出力される。
【００８５】
このように、サブ表示エリア５２においてカーソル７１で選択されているコンテンツと、メイン表示エリア５１に表示されているコンテンツが同じ場合には、ユーザが着目しているのは、その選択されているコンテンツ（すなわちメイン表示エリア５１に表示されているコンテンツ）である。そこで、この場合には、メイン表示エリア５１に表示されているコンテンツの音声だけを出力することで、ユーザに不必要な音声を提供することが防止される。
【００８６】
ステップＳ７２においてフォーカスされているのがメイン表示エリア５１の画面であると判定された場合にも、ステップＳ７３の処理が実行される。従って、例えば図１２に示されるように、メイン表示エリア５１とサブ表示エリア５２の画面が同じ大きさとされており、かつカーソル７１によりメイン表示エリア５１の画像V１がフォーカスされた状態から、図１３に示されるようにメイン表示エリア５１の画面を小さくしたり、逆に図１４に示されるようにメイン表示エリア５１の画面を大きくしたりした場合においても、メイン表示エリア５１の画像Ｖ１の音声Ｌｖ１，Ｒｖ１が、線ＬＮｃ上の位置Ｐｖ１に定位するように出力される。
【００８７】
このように、カーソル７１によりメイン表示エリア５１が選択されている場合にも、ユーザが着目しているのはメイン表示エリア５１のコンテンツである。そこで、この場合には、メイン表示エリア５１に表示されているコンテンツの音声だけを出力することで、ユーザに不必要な音声を提供することが防止される。
【００８８】
ステップＳ７４において、サブ表示エリア５２でフォーカスされているのは、メイン表示エリア５１の画像として選択されている画像ではないと判定された場合、ステップＳ７５において音声合成部１８は、連携特性に沿って音声を調整する。すなわち、図２のステップＳ５と同様の処理が実行される。
【００８９】
例えば図１５に示される場合、サブ表示エリア５２でカーソル７１によりフォーカスされているのは、画像Ｖ５が表示されている中央のエリアであり、メイン表示エリア５１に表示されている画像Ｖ１が表示されている左上のエリアではない。図１５の場合、メイン表示エリア５１の画面は最小であり、サブ表示エリア５２の画面は最大であるので、フォーカスされているサブ表示エリア５２のエリアであって、カーソルが実際に位置するエリアの画像Ｖ５の音声が選択される。そして、左側の音声出力部１９Ｌからの音声Ｌｖ５と、右側の音声出力部１９Ｒからの音声Ｒｖ５が、線ＬＮｃ上で定位するようにその位相が制御される。画像Ｖ１の音声は実質的にミュートされ、出力されない。
【００９０】
図１５の状態から左側のメイン表示エリア５１の画面が大きくされ、図１６に示されるように、サブ表示エリア５２の画面と同じサイズにされた場合、線ＬＮｃよりメイン表示エリア５１側の位置Ｐｖ１に定位するように、メイン表示エリア５１の画面の画像Ｖ１の音声Lｖ１，Ｒｖ１の位相が制御される。同様に、線ＬＮｃよりサブ表示エリア５２側の位置Ｐｖ５に定位するように、サブ表示エリア５２の画面の画像Ｖ５の音声Ｌｖ５，Ｒｖ５の位相が制御される。
【００９１】
図１６の状態から左側のメイン表示エリア５１の画面がさらに大きくされ、図１７に示されるように、最大のサイズにされた場合、線ＬＮｃ上の位置Ｐｖ１に定位するように、メイン表示エリア５１の画面の画像Ｖ１の音声Lｖ１，Ｒｖ１の位相が制御される。画像Ｖ５の音声は実質的にミュートされ、出力されない。
【００９２】
サブ表示エリア５２において、メイン表示エリア５１の画面のコンテンツとは異なるエリアのコンテンツの画像がフォーカスされている場合には、ユーザはサブ表示エリア５２において、これから見るコンテンツを探している最中であると考えられる。そこで、この場合には、図６に示した場合と同様に、連携の特性線ＬＮｖ１，ＬＮｖ２に沿って音声が調整される。すなわち、図２乃至図６に示される第１の実施の形態のサブ表示エリア５２に、カーソル７１で選択されたコンテンツが表示されている場合と同様に音声が調整される。
【００９３】
これによりステップＳ７５の処理においても、第１の実施の形態の場合と同様の効果を奏することができる。
【００９４】
すなわち、左ボタン２２と右ボタン２３のいずれかが操作されると、左側の画面と右側の画面の一方がスケーリングされるだけではなく、他方も連携してスケーリングされる。従って、ユーザは、メイン表示エリア５１の画面に表示されたコンテンツを確認しながら、並行してサブ表示エリア５２の画面から任意のコンテンツを簡単に探すことができる。
【００９５】
また、２つのコンテンツの音声がそれぞれ異なる位置に定位される。従って、２つの音声をモノラルで出力する場合に較べて、ユーザはコンテンツの内容としての音声を簡単かつ迅速に識別することができる。しかも２つの音声のそれぞれがステレオなので、ユーザは任意のコンテンツを臨場感にとんだ状態で、従ってより詳細に検索することができる。
【００９６】
さらに画面の連携スケーリングに従って音声の音量と定位も連携して制御される。従って画面のサイズのスケーリングの操作と音声の制御の操作とを、それぞれ独立した操作にする場合に較べて、操作性が向上する。
【００９７】
音声は、より大きい画面の音量がより大きく、かつより中心の線ＬＮｃの近くに定位するように、画面のスケーリングに連携して調整される。従ってユーザは、同時に検索するコンテンツの内容を、簡単かつ迅速に、重点的に視聴することができる。
【００９８】
一方の画面が最大になったとき、その最大の画面の音声が中心に定位される。その結果、ユーザは２つの画面のスケーリングを適当に調整するだけで、簡単に、２つのコンテンツのうちの一方に特に着目して視聴することができる。
【００９９】
図１８乃至図２０は、画面に音声の定位する位置と音量を表すようにした第３の実施の形態の表示例を表している。これらの図に示されるように、メイン表示エリア５１とサブ表示エリア５２の画面には、それぞれの表示する画像の音声の定位する位置が、バー９１，１０１上で移動部９２，１０２により表示されている。この移動部９２，１０２のバー９１，１０１上の位置は、メイン表示エリア５１とサブ表示エリア５２の画面の音声が定位する位置に応じて移動される。これらの表示は、画像信号生成部１５が音量定位計算部１７により計算された定位位置と音量の値に応じて制御する。
【０１００】
図１８においては、メイン表示エリア５１の画面の画像Ｖ１の音声が、左端の位置Ｐｖ１に定位しているので、移動部９２はバー９１の左端に表示されている。サブ表示エリア５２の画面の画像Ｖ２の音声は、線ＬＮｃ上の位置ＰＶ２に定位しているので、サブ表示エリア５２の音声の定位する位置を表すバー１０１では、その中央に移動部１０２が表示されている。
【０１０１】
図１９においては、メイン表示エリア５１の画面の画像Ｖ１の音声が、左端より中央よりで、線ＬＮｃより左側の位置Pｖ１に定位しているので、移動部９２はバー９１の左端と中央との間に表示されている。サブ表示エリア５２の画面の画像Ｖ２の音声は、右端より中央よりで、線ＬＮｃより右側の位置Pｖ２に定位しているので、移動部１０２はバー１０１の右端と中央との間に表示されている。
【０１０２】
図２０においては、メイン表示エリア５１の画面の画像Ｖ１の音声は、線ＬＮｃ上の位置ＰＶ１に定位しているので、メイン表示エリア５１の画面の音声の定位する位置を表すバー９１では、その中央に移動部９２が表示されている。サブ表示エリア５２の画面の画像Ｖ２の音声は、右端の位置Ｐｖ２に定位しているので、移動部１０２はバー１０１の右端に表示されている。
【０１０３】
さらに図１８乃至図２０においては、メイン表示エリア５１に、その画面の音声の音量を表すバー９３が表示されている。バー９３においては、対応する音声の音量が点灯するブロックの数で表される。同様に、サブ表示エリア５２には、その画面の音声の音量を表すバー１０３が表示されている。バー１０３においても、対応する音声の音量が点灯するブロックの数で表される。
【０１０４】
以上のように図１８乃至図２０の例では、音声の定位する位置と音量が表示されるので、ユーザは確実に定位する位置と音量を認識することができる。
【０１０５】
図示は省略するが、図８乃至図１０、並びに図１２乃至図１７に示される場合にも、同様に音声の定位する位置と音量を表示することができる。
【０１０６】
なお以上においては、画面の数を２個としたが、３個以上の場合にも、本発明は適用することができる。
【０１０７】
また、複数の画面を１つの表示面１６Aに表示するようにしたが、各画面をそれぞれ表示する別個の表示部を、左右方向にまとめて並べて配置し、その複数の表示部の左右端部に音声出力部１９Ｌ，１９Ｒを配置した場合にも本発明は適用することができる。
【０１０８】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１０９】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア、または、プログラムが一時的もしくは永続的に格納されるROMや、ハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１１０】
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１１】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１１２】
【図１】本発明の画像処理装置の一実施の形態の構成を表すブロック図である。
【図２】連携スケーリング処理を説明するフローチャートである。
【図３】連携スケーリング時の左右の画面のサイズが等しい状態を示す図である。
【図４】連携スケーリング時の左の画面が小さい場合の状態を示す図である。
【図５】連携スケーリング時の左の画面が大きい場合の状態を示す図である。
【図６】連携の特性を説明する図である。
【図７】画像連携スケーリング処理を説明するフローチャートである。
【図８】連携スケーリング時の左右の画面のサイズが等しい状態を示す図である。
【図９】連携スケーリング時の左の画面が小さい場合の状態を示す図である。
【図１０】連携スケーリング時の左の画面が大きい場合の状態を示す図である。
【図１１】音声連携スケーリング処理を説明するフローチャートである。
【図１２】連携スケーリング時の左右の画面のサイズが等しい状態を示す図である。
【図１３】連携スケーリング時の左の画面が小さい場合の状態を示す図である。
【図１４】連携スケーリング時の左の画面が大きい場合の状態を示す図である。
【図１５】連携スケーリング時の左の画面が小さい場合の状態を示す図である。
【図１６】連携スケーリング時の左右の画面のサイズが等しい状態を示す図である。
【図１７】連携スケーリング時の左の画面が大きい場合の状態を示す図である。
【図１８】定位する位置と音量の表示を示す図である。
【図１９】定位する位置と音量の表示を示す図である。
【図２０】定位する位置と音量の表示を示す図である。
【符号の説明】
【０１１３】
１  画像処理装置，  １１  操作信号画像取得部，  １２  制御部，  １３  コンテンツ取得部，  １４  記録部，  １５  画像信号生成部，  １６  表示部，  １７  音量定位計算部，  １８  音声合成部，  １９  音声出力部，  ２１  操作部，  ２２  左ボタン，  ２３  右ボタン，  ２４  移動ボタン，  ２５  確定ボタン
【図１】
0004735991.tif 000002
【図２】
0004735991.tif 000003
【図３】
0004735991.tif 000004
【図４】
0004735991.tif 000005
【図５】
0004735991.tif 000006
【図６】
0004735991.tif 000007
【図７】
0004735991.tif 000008
【図８】
0004735991.tif 000009
【図９】
0004735991.tif 000010
【図１０】
0004735991.tif 000011
【図１１】
0004735991.tif 000012
【図１２】
0004735991.tif 000013
【図１３】
0004735991.tif 000014
【図１４】
0004735991.tif 000015
【図１５】
0004735991.tif 000016
【図１６】
0004735991.tif 000017
【図１７】
0004735991.tif 000018
【図１８】
0004735991.tif 000019
【図１９】
0004735991.tif 000020
【図２０】
0004735991.tif 000021