(57)【特許請求の範囲】
【請求項１】
異なる撮影位置で撮像される第１及び第２の画像に同一の被写体が含まれ、前記第１の画像は前記被写体のパン画像であり、前記第２の画像は前記第１の画像に含まれる前記被写体のズーム画像である場合に、前記第１の画像を撮像する第１のカメラ及び前記第２の画像を撮像する第２のカメラの動き量をキャンセルした上で、入力された前記第１及び第２の画像に含まれる被写体が同一であることを特定する特徴量を求め、前記第１及び第２の画像を構成する画素毎に検出した所定の色座標系における色域の度数を各画像の色域毎に累積した値が所定の閾値より大きい色域が含まれる部分を、前記第１及び第２の画像における特徴部分として抽出する特徴量検出部と、
前記特徴量検出部によって求められた前記特徴量に基づいて前記被写体の動きを検出する画像処理部と、
前記第１及び第２の画像に共通する色域を特定し、前記第１の画像の特徴部分と前記第２の画像の特徴部分において共通する色域に該当する領域を、前記第２の画像から除去する除去領域検出部と、
前記共通する色域に該当する領域が除去された前記第２の画像を前記第１の画像に重ねて合成した画像を画像表示装置に出力する画像合成部と、
前記被写体の特徴量に基づいて、前記第１の画像に含まれる前記被写体の動きベクトルの変化量又は前記被写体の動き量を微分した動き量の変化量に応じて、音像を定位した音声を出力する音声処理部と、を備える
情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記画像合成部によって合成される前記第１の画像に対する前記第２の画像は、前記第１の画像の時間変化によって異なる画像を重ねた
情報処理装置。
【請求項３】
請求項１又は２に記載の情報処理装置において、
前記音声処理部によって音像が定位された前記第１の画像に含まれる前記被写体の音量を調整する操作部を備える
情報処理装置。
【請求項４】
異なる撮影位置で撮像される第１及び第２の画像に同一の被写体が含まれ、前記第１の画像は前記被写体のパン画像であり、前記第２の画像は前記第１の画像に含まれる前記被写体のズーム画像である場合に、前記第１の画像を撮像する第１のカメラ及び前記第２の画像を撮像する第２のカメラの動き量をキャンセルした上で、入力された前記第１及び第２の画像に含まれる被写体が同一であることを特定する特徴量を求め、前記第１及び第２の画像を構成する画素毎に検出した所定の色座標系における色域の度数を各画像の色域毎に累積した値が所定の閾値より大きい色域が含まれる部分を、前記第１及び第２の画像における特徴部分として抽出するステップと、
前記特徴量に基づいて前記被写体の動きを検出するステップと、
前記第１及び第２の画像に共通する色域を特定し、前記第１の画像の特徴部分と前記第２の画像の特徴部分において共通する色域に該当する領域を、前記第２の画像から除去するステップと、
前記共通する色域に該当する領域が除去された前記第２の画像を前記第１の画像に重ねて合成した画像を出力するステップと、
前記被写体の特徴量に基づいて、前記第１の画像に含まれる前記被写体の動きベクトルの変化量又は前記被写体の動き量を微分した動き量の変化量に応じて、音像を定位した音声を出力するステップと、を含む
情報処理方法。
【請求項５】
異なる撮影位置で撮像される第１及び第２の画像に同一の被写体が含まれ、前記第１の画像は前記被写体のパン画像であり、前記第２の画像は前記第１の画像に含まれる前記被写体のズーム画像である場合に、前記第１の画像を撮像する第１のカメラ及び前記第２の画像を撮像する第２のカメラの動き量をキャンセルした上で、入力された前記第１及び第２の画像に含まれる被写体が同一であることを特定する特徴量を求め、前記第１及び第２の画像を構成する画素毎に検出した所定の色座標系における色域の度数を各画像の色域毎に累積した値が所定の閾値より大きい色域が含まれる部分を、前記第１及び第２の画像における特徴部分として抽出するステップと、
前記特徴量に基づいて前記被写体の動きを検出するステップと、
前記第１及び第２の画像に共通する色域を特定し、前記第１の画像の特徴部分と前記第２の画像の特徴部分において共通する色域に該当する領域を、前記第２の画像から除去するステップと、
前記共通する色域に該当する領域が除去された前記第２の画像を前記第１の画像に重ねて合成した画像を出力するステップと、
前記被写体の特徴量に基づいて、前記第１の画像に含まれる前記被写体の動きベクトルの変化量又は前記被写体の動き量を微分した動き量の変化量に応じて、音像を定位した音声を出力するステップと、を含む
コンピュータに実行させるためのプログラム。
【請求項６】
請求項５に記載のプログラムを格納した
記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一画面に表示された複数の画像を効率よく視聴する場合に適用して好適な情報処理装置、情報処理方法、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
従来、一画面に複数の画像を合成し、表示する場合がある。一般に複数の画像を同時に表示する場合、例えば、縮小した複数の画像を並べたり、主画像の一部にアングルが異なる副画像をはめ込んだりするピクチャ・イン・ピクチャ（ＰｉｎＰ：Picture in Picture）方式が用いられていた。このとき、主画像、副画像のいずれか一方の音声を放音していた。
【０００３】
例えば、特許文献１には、注目する画像の絶対位置を合わせて音像を定位する技術について開示されている。
【特許文献１】特開２００５−２９５１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、複数の画像を一画面に提示する場合における音像の定位は考察されていなかった。このため、同じ被写体が含まれる主画像と副画像が一画面に表示された場合、一方の画像で注目している場面は、他方の画像のどの場面に対応しているかを直感的に理解することは難しい。例えば、主画像でサッカー選手のズーム画面が表示され、副画像でグラウンドのパン画面が表示された場合、ズーム画面に表示されるサッカー選手はパン画面のどこにいるかをすぐに知ることは難しかった。
【０００５】
本発明はこのような状況に鑑みて成されたものであり、同一の被写体が含まれる複数の画像を一画面に表示して同時に視聴する場合に、効率のよい視聴を実現することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、異なる撮影位置で撮像される第１及び第２の画像に同一の被写体が含まれ、第１の画像は被写体のパン画像であり、第２の画像は第１の画像に含まれる被写体のズーム画像である場合に、第１の画像を撮像する第１のカメラ及び第２の画像を撮像する第２のカメラの動き量をキャンセルした上で、入力された第１及び第２の画像に含まれる被写体が同一であることを特定する特徴量を求め、第１及び第２の画像を構成する画素毎に検出した所定の色座標系における色域の度数を各画像の色域毎に累積した値が所定の閾値より大きい色域が含まれる部分を、第１及び第２の画像における特徴部分として抽出し、特徴量に基づいて被写体の動きを検出する。次に、第１及び第２の画像に共通する色域を特定し、第１の画像の特徴部分と第２の画像の特徴部分において共通する色域に該当する領域を、第２の画像から除去する。次に、共通する色域に該当する領域が除去された第２の画像を第１の画像に重ねて合成した画像を出力する。そして、被写体の特徴量に基づいて、第１の画像に含まれる被写体の動きベクトルの変化量又は被写体の動き量を微分した動き量の変化量に応じて、音像を定位した音声を出力するものである。
【０００７】
このようにしたことで、画像に含まれる被写体の音像を定位すること（以下、「音像定位」とも言う。）によって被写体の動きが明確に示される。このため、ユーザは、１画面に複数の画像が表示される場合に、視線移動により各画像に含まれる被写体の動きを追わなくても、被写体の動きを容易に理解できる。
【発明の効果】
【０００８】
本発明によれば、ユーザは、音像定位によって被写体の動きを容易に理解しやすくなるという効果がある。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施の形態例について、図１〜図１８を参照して説明する。本実施の形態例では、アングル（撮影地点）やズーム（撮影倍率）が異なる複数のカメラから得られた画像を、本発明に係る情報処理装置によって一画面に表示できる情報処理システム１に適用した例について説明する。
【００１０】
図１は、本実施の形態に係る画像処理システム１の配置例を示す。
情報処理システム１は、第１の情景を撮像し、第１の画像を生成する第１のカメラ３と、第１の情景より狭い範囲の第２の情景を撮像し、第２の画像を生成する第２のカメラ４を備える。そして、情報処理システム１は、第１のカメラ３から入力された第１の画像と第２のカメラ４から入力された第２の画像に基づいて、画像を合成する処理を施す情報処理装置１０と、情報処理装置１０で合成された画像を表示する出力装置６を備える。
【００１１】
第１のカメラ３と第２のカメラ４は、互いにアングルやズームが異なる。出力装置６は、画像を表示し、音声を放音する装置である。第１の情景と第２の情景には、同一の被写体が含まれる。ただし、本実施の形態例において、第１のカメラ３は、パンして撮像し第１の画像を生成する。一方、第２のカメラ４は、ズームして撮像し第２の画像を生成する。このため、第１の情景には、第２の情景に比べて広い範囲の情景が含まれる。
【００１２】
情報処理装置１０は、マルチアングル放送の画像・音声や、ユーザ自身が撮影した同一の情景を異なるアングルから撮像した画像と収音した音声を保存部１１（後述の図２を参照）に保存する。また、情報処理装置１０は、第１のカメラ３と第２のカメラ４から入力される複数の画像のうち、一つの画像を主画像とし、主画像より画サイズが小さい他の画像を副画像として、主画像と副画像を重畳した合成画像を生成する。
【００１３】
出力装置６としては、例えば、液晶ディスプレイ装置、有機ＥＬ（Electro-Luminescence）ディスプレイ装置、プロジェクタ装置等が含まれる。さらに、出力装置６は、音声を放音するスピーカを備える。画像の出力方法としては、複数の画像を重畳して提示することを基本とするが、ユーザが特に注目したい画像のみを出力してもよい。また、複数のディスプレイを使って複数の画像を提示することも可能であり、画像の出力形態は限定されない。
【００１４】
音像の定位位置は、上下・左右・前後の３次元空間方向に移動する。全体を撮影したパン画像と、パン画像の一部の部分を詳細に撮影したズーム画像が情報処理装置１０に入力されると、音像の定位位置はパン画像に含まれる被写体に合わせて決定される。これは、パン画像の中でズーム画像に含まれる被写体がどの位置にあるかを、ユーザが複数の画像から直感的に理解するためである。
【００１５】
また、入力信号の組み合わせは、画像・音声などに限定されない。ここで、オブジェクトの位置情報や、音源の移動情報などがメタデータとして画像又は音声データに含まれている場合は、それらのデータも使って音像を定位する処理の正確性を高めることを、「入力信号の組み合わせ」と称している。
そして、複数の画像信号と音声信号を混ぜることによって音像が定位されるため、ユーザが複数の画像を観賞する際に自然に視線を移動できる。また、定位された音像が移動することによって視線が音の移動に追従するため、複数の画面間でオブジェクトの同定が容易となる。
【００１６】
図２は、情報処理装置１０の内部構成例を示す。
情報処理装置１０は、第１のカメラ３と第２のカメラ４並びにチューナから入力される画像を保存する保存部１１を備える。また、情報処理装置１０は、入力された画像に含まれる被写体の特徴量を検出する特徴量検出部２１と、保存部１１から読み出した画像に所定の処理を加える画像処理部２２と、保存部１１から読み出した音声に所定の処理を加える音声処理部２３を備える。画像処理部２２で処理された合成画像は、出力装置６によって表示される。一方、音声処理部２３で処理された音像定位された音声は、出力装置６によって放音される。
【００１７】
特徴量検出部２１は、入力される画像が異なる撮影位置で撮像される第１及び第２の画像であり、第１及び第２の画像に同一の被写体が含まれる場合に、第１及び第２の画像から被写体の特徴量を求める。
【００１８】
画像処理部２２は、特徴量検出部２１によって求められた特徴量に基づいて被写体の動きを検出する。音声処理部２３は、画像処理部２２によって検出された被写体の動きに応じて、被写体の音像を定位する。特徴量検出部２１、画像処理部２２、音声処理部２３は、例えば、中央処理回路（ＣＰＵ：Central Processing Unit）等が適用できる。
【００１９】
また、情報処理装置１０は、センサ情報として、ユーザ操作の情報、ユーザ情報並びにユーザの室内環境等の情報が入力される外部信号入力部１２を備える。ユーザ情報には、例えば提示された画像を視聴するユーザの人数、どのような方式で画面を提示するかを選択するための情報が含まれる。また、ユーザの室内環境には、例えば画像が提示される部屋の大きさや形状、スピーカやディスプレイ画面の数や配置等の情報が含まれる。外部信号入力部１２を介して入力された情報は、特徴量検出部２１、画像処理部２２，音声処理部２３に供給される。
【００２０】
保存部１１は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）等で構成される大容量の記録装置又は記録媒体である。保存部１１に保存される画像は、例えば、ＭＰＥＧ−２（Moving Picture Expert Group-2）形式で圧縮されたディジタルデータである。この画像には、カメラ、チューナ、ストレージ等から供給される動画像、静止画像が含まれる。以下、これらの情報をコンテンツとも称する。また、保存部１１には、カメラ情報（例えば、カメラの位置、アングル、倍率の情報）等も保存される。保存部１１に保存された情報は、ユーザが選択したり、情報処理装置１０が自動判定したりすることによって、複数の画像と音声が同時に提示されるよう加工される。
【００２１】
情報処理装置１０は、例えば、色空間としてＹＵＶ表色系を採用して画像を処理する。ＹＵＶ表色系で用いられるＹＵＶ座標系では、輝度信号（Ｙ）と、輝度信号と青色信号の差信号（Ｕ）、輝度信号と赤色信号の差信号（Ｖ）で定められる色空間によって色が表現される。そして、この色空間が表現できる範囲を色域という。情報処理装置１０に入力された画像を構成する画素は、必ずＹＵＶ表色系によって表現される。本実施の形態例では、画素ごとに定まるＵＶ座標の位置を、「色域」ともいう。
【００２２】
特徴量検出部２１は、同一の被写体を撮影した複数の画像に含まれる色域を特徴量として求める。このとき、主画像と副画像が決定される。色域は、画像を構成する画素毎に検出される。色域は３次元の度数分布図で表せる。画像の中で同じ色が多く含まれる場合、その色に対応する色域の度数が累積される。この累積された度数が所定の閾値より大きい場合に、最も出現頻度が高い色域として、その色域が含まれる画像の一部（以下、「最頻部分」ともいう。）を、その画像の特徴部分として抽出できる。
【００２３】
図３は、画像処理部２２の内部構成例を示す。
画像処理部２２は、副画像から除去領域を検出する除去領域検出部２４と、検出された除去領域が除かれた副画像を主画像に合成する画像合成部２５と、を備える。
【００２４】
除去領域検出部２４は、特徴量検出部２１で求められた複数の画像の色域から共通の色域を特定し、副画像から共通の色域に該当する領域を除去する。このとき、主画像と副画像の特徴部分に共通する色域が含まれる領域を、主画像又は副画像から除去する。例えば、主画像と副画像の両方に、グラウンドの画像が含まれる場合、このグラウンドの色域が最も画面に多く現れる色域（以下、「最頻色域」ともいう。）として検出される。そして、最頻色域が含まれるグラウンドの画像が最頻部分として除去される。
【００２５】
画像合成部２５は、除去領域検出部２４で共通の色域に該当する領域が除去された副画像を主画像に重ねて合成する。ユーザの操作は、図示しないリモートコントロール装置、ボタン、タッチパネル等の操作部（不図示）を用いて行われる。操作部は、外部信号入力部１２に接続される。操作部は、主画像と副画像を入れ替えたり、音声処理部２３によって音像が定位された第１の画像に含まれる被写体の音量を調整したりすることができる。操作部が発する操作信号は、外部信号入力部１２を介して入力される。そして、特徴量検出部２１によって求められる色域と、所定の閾値と、除去領域検出部２４によって除去される領域が決定される。同様に、画像合成部２５によって合成される主画像に対する副画像の位置は、操作部からの入力に基づいて決定される。この位置は、例えば、タッチパネルで指示された場所で決定される。この結果、表示される合成画像は、ユーザにとって違和感が生じない。
【００２６】
図４は、情報処理装置１０が行う主処理の例を示す。
初めに、音声アシスト処理が有効であるか否かを判断する（ステップＳ１）。音声アシスト処理とは、パン画像とズーム画像を合成する場合に、パン画像に含まれる被写体を基準として音像を定位させる処理である。音声アシスト処理が無効である場合、主処理を終了する。
【００２７】
一方、音声アシスト処理が有効である場合、特徴量検出部２１は保存部１１に保存されたコンテンツを読み出す（ステップＳ２）。そして、特徴量検出部２１は、読み出したコンテンツに含まれる複数のアングルから撮像された第１の画像と第２の画像に共通する特徴量を検出する（ステップＳ３）。
【００２８】
読み出したコンテンツに含まれる複数の画像が同一の被写体を撮影したものである場合、これらの画像に含まれる同一の被写体（以下、「オブジェクト」ともいう。）の有無、形状を判定する。この判定は、各画像に含まれる被写体の特徴量をマッチングすることで行われる。
【００２９】
もしくは、ユーザが出力装置６に表示された画像に対して、被写体を示す対応点を入力してもよい。この対応点に該当する被写体を初期値とする。この初期値としては、オブジェクトの位置、動きベクトルの大きさ、オブジェクトの輪郭等がある。初期値が設定されると、オブジェクト（例えば、ボール、人物像、背番号）の動きベクトルやユーザの操作入力によって画像の特定部分を検出し、動きを追尾できる。被写体の特徴量をマッチングする処理としては、同一フレームにおけるブロックマッチングや、動き量のマッチングによる推定等がある。
【００３０】
被写体を示す初期値が設定されると、この被写体を注目オブジェクトとする。特徴量検出部２１は、画像毎に注目オブジェクトの動きを検出して、各画像におけるオブジェクトの位置を追尾する。
【００３１】
次に、画像処理部２２は、図５に示す所定の画像処理を行う（ステップＳ４）。特徴量が検出されると、画像処理部２２によって、画像が処理される。この処理は、ユーザの操作入力による要求や画像を出力する環境に適するように行われる。
【００３２】
例えば、出力装置６にディスプレイ画面が一つしかないときは、複数の画像が重畳して提示される。ただし、画像処理によって作成される画像は、複数のディスプレイ画面に提示されることもある。
【００３３】
次に、音声処理部２３は所定の音声処理を行う（ステップＳ５）。ここでは、注目オブジェクトが検出された画像に示されるオブジェクトの位置関係に基づいて、音像の定位位置を決定する処理が行われる。
【００３４】
例えば、一つの画面内で同じ被写体が同じ位置となるよう制御されている場合、被写体が映る位置に音声が定位される。また、ユーザが注目する被写体が画面内で同じ位置にない場合は、一方の音像を他方の注目する被写体の位置に定位させる。音像定位とは、仮想的な音像を空間に位置させることによって、ユーザは音像から音が出ているように感じることができる技術である。例えば、左右スピーカを同じ音量、かつ、同じ時間に放音すると、左右スピーカの真ん中に音像定位される。しかし、左右スピーカの音量を変えたり、放音する時間を遅らせたりすることで、定位される音像は移動する。このため、ユーザは、音像の動きを感じることができる。
【００３５】
そして、画像処理部２２は、出力装置６に処理された画像を出力する（ステップＳ６）。このとき、出力装置６は、処理された画像をディスプレイ画面に表示する。
【００３６】
一方、音声処理部２３は、画像処理部２２で処理された画像に基づいて音声を処理し、出力装置６に処理された音声を出力する（ステップＳ７）。このとき、出力装置６は、処理された音声をスピーカから放音する。出力装置６によって放音される音声は、パン画像における被写体の位置に音像定位される。
【００３７】
画面に含まれる被写体の動きは、特にパン画像の動きに基づいて音像定位される。このため、ユーザはズーム画像の被写体を見つつ、パン画像における被写体の位置に音像定位された音声を聴きながら、この被写体がパン画像のどの位置で動いているかを違和感なく理解できる。
【００３８】
図５は、画像処理の例を示すフローチャートである。
始めに、画像処理部２２は、複数の画像をどのように合成し、出力装置６に表示するかを決定する（ステップＳ１１）。この決定は、外部信号入力部１２を介して入力されたユーザ操作やユーザ環境の状態に基づいて行われる。
【００３９】
そして、画像処理部２２は、特徴量検出部２１から画像を読み込む（ステップＳ１２）。そして、読み込んだ複数の画像の画素毎に色域を検出する（ステップＳ１３）。
【００４０】
除去領域検出部２４は、読み込んだ複数の画像から最頻色域を検出する（ステップＳ１４）。そして、第２の画像から除去する最頻色域が含まれる領域を決定し（ステップＳ１５）、決定された領域から最頻色域を除去する。
【００４１】
画像合成部２５は、最頻色域が除去された第２の画像を第１の画像に重ねて合成する（ステップＳ１６）。そして、画像合成部２５は、合成した画像を画像表示装置６に出力する（ステップＳ１７）。
【００４２】
そして、画像合成部３２は、画像表示装置６に重畳した合成画像を出力するか否かを判断する（ステップＳ１８）。出力された映像が所望の映像でなければ、最頻度数を変更し、色域を再決定する（ステップＳ１９）。
【００４３】
このとき、ユーザ操作に基づいて、もしくは、操作ログなどを用いて、除去する色域の領域を変化させたり、例外処理をしたりする等の変更を行う。例外処理とは、除去領域検出部２４によって除去された領域が想定より大きい場合に、色を戻す処理である。そして、ステップＳ１３に処理を戻す。
一方、ユーザが所望する画像が得られていれば画像合成処理を終了する。
【００４４】
図６は、音声処理の例を示すフローチャートである。
【００４５】
初めに、音声処理部２３は、画像処理部２２で画像処理が行われた画像を読み込む（ステップＳ２１）。次に、画像処理部２２によって処理された画像がどのように出力されるかを解析する（ステップＳ２２）。このとき、音声処理部２３は、画像の提示方法やディスプレイ数を検出し、音声と画像の関係性を解析する（ステップＳ２３）。
【００４６】
そして、音声処理部２３は、音源がどのように入力されるかを解析する（ステップＳ２４）。このとき、画像信号の特徴量と音声信号の特徴量を交換することで、音像の定位位置を入れ替える。この処理では、パン画像に含まれるオブジェクトの動きに合わせて、ズーム画像に含まれるオブジェクトの音像を定位している。このように、ズーム画像の音声信号の動きをパン画像に含まれるオブジェクトの動きと交換することを、「特徴量を交換する」と称している。そして、処理された音声は、出力装置６のスピーカ等で放音される（ステップＳ２５）。
【００４７】
図７〜図１５は、重畳される画像とそれらの色域の例を示す。
図７は、第１のカメラ３が撮像した第１の画像３１の例である。
図８は、第２のカメラ４が撮像した第２の画像３２の例である。
情報処理装置１に入力される画像は、同一情景を撮影した画像である。本例では、第１の画像３１は被写体３５（ラグビー競技におけるラック状態）のパン画像である。第２の画像３２は第１の画像に含まれる被写体３５のズーム画像である。保存部１１から読み出される複数の画像には、例えば、原画像と原画像の一部をズームした画像、又は、アングルが異なる複数の加工画像がある。ただし、これらの画像には同一の被写体が含まれる。
【００４８】
画像の重畳処理が行われる場合、ユーザは複数の画像から主画像となる画像を選択する。ここでは、第２の画像３２が主画像として選択されたものとする。ただし、本例では、主画像としてズーム画像を用い、副画像として加工されたパン画像を用いる。
【００４９】
図９は、第１の画像３１の色域分布の例である。
図１０は、第２の画像３２の色域分布の例である。
以下の説明において、色域分布の図は、ＹＵＶ座標系におけるｕ，ｖと、各色域の度数を示す。撮像したカメラの画素数が異なる場合、色域分布図における度数の範囲は異なる。このため、共通部分の色域を求める際には、正規化を行い、度数を合わせる必要がある。正規化とは、２つの画像の度数の最大値を合わせる処理である。
【００５０】
図９と図１０には、それぞれ最頻色域を決定するための閾値３７，３７′を示している。この閾値を超える色域が画像毎に多く含まれる色であると言える。特徴量検出部２１は、各入力画像に対して、全画面の色域の分布をとる。そして、各色域の分布を正規化し、複数の入力画像信号から色域が共通する領域を検出する。このとき、第１のカメラ３と第２のカメラ４のパラメータを補正し、頻出色域をどちらかに合わせる。色域の変換テーブルを用いてもよい。そして、重畳する画像から除去する色域を決定する。ただし、検出した色域が含まれる領域と、除去する領域は、必ずしも１対１に対応しない。
【００５１】
図１１は、閾値を超える第１の画像３１の色域の例である。
図１２は、閾値を超える第２の画像３２の色域の例である。
図１１と図１２は、図９と図１０に示された色域分布から所定の閾値３７，３７′を超える色域を示している。閾値は、ユーザが任意に変更できる。そして、第１の画像３１と第２の画像３２に共通する色域は、以下のように求められる。
【００５２】
図１３は、閾値を超える第１の画像３１と第２の画像３２の共通部分の色域の例である。
図１４は、第１の画像３１と第２の画像３２の共通部分の色域を２次元表示した例である。
第１の画像３１と第２の画像３２に共通して最も多く見られる色は、グラウンドの色（例えば、茶色）である。このため、図９と図１０で示した色域分布から、所定の閾値を超える色域分布を抽出し、各画像に共通する色域を求める。共通する色域がない場合、閾値を下げ、色域分布を広げて共通する色域を求める。そして、除去領域検出部２４によって、該当する領域の色域が除去される。
【００５３】
図１５は、第１の画像３１に画像処理が施された第１の画像３１′の例を示す。
図１５に示す画像は、二つの画像（第１の画像３１と第２の画像３２）から冗長と判定される最頻の共通部分を抽出したものである。この共通部分の抽出は、複数の画像から背景を抽出する方法としても用いられる。
【００５４】
主画像（第２の画像３２）が決定されると、副画像（第１の画像３１）と共通し冗長な共通部分として抽出される最頻色域が求められる。第１の画像３１で最も高い色域は、画面のほぼ半分を占めるグラウンドの色である。同様に、第２の画像３２で最も高い色域は、画面のほぼ半分を占めるグラウンドの色である。このため、第１の画像３１から最頻色域が除かれると第１の画像３１′が生成される。
【００５５】
また、シーンによっては、色域の最頻部分を判定するために、それぞれのカメラの動きをキャンセルする。このとき、動きベクトルの最頻値を複数の画像の共通部分として用いる。複数のカメラで撮像する場合、パンやチルトする個々のカメラの動きによって、画像のマッチングをとることが難しい場合がある。そのため、画像のマッチング前にカメラの動き量をキャンセルすることでマッチング精度を上げる処理を行っている。この処理を、「カメラの動きをキャンセルする。」とも称する。なお、画像に含まれる色の判断をするときには、カメラの動きをキャンセルする処理は不要である。一方、最頻の動きベクトルを検出してオブジェクトを特定する場合には、カメラの動きをキャンセルする処理が必要である。
【００５６】
図１６は、第２の画像３２を主画像として、第１の画像３１を副画像として合成した合成画像３３の例を示す。
図１６（ａ）は、共通色域を除去した場合の合成画像の例を示す。
図１６（ｂ）は、共通色域を除去しない場合の合成画像の例を示す。
【００５７】
ここでは、画像処理された第１の画像３１（第１の画像３１′）を第２の画像３２に重ねる。第１の画像３１に施される画像処理は、上述した図１５で説明した処理と同様である。ただし、副画像となる第１の画像３１′の画像はズーム率を変えて重畳される。このように画像合成の倍率、形状は、ユーザの操作によって変えられる。例えば、動画像である場合、個々の人物の動きが明確になる。このため、ユーザは、違和感なく重畳された画像を見ることができる。また、共通部分（本例では、グラウンドの色域）を除去した上で、複数の画像を重畳できる。これにより、ユーザが画像を観賞する際に視点移動が少なくなる。
【００５８】
第２の画像３２の音声の定位位置は、第１の画像３１内における被写体の位置とオブジェクトの変化によって決定される。例えば、図１６（ａ）に示される審判３６にピン型のマイクロホンを取り付けて音声を収音する場合、第１の画像３１′のズーム率を変えたパン画像３４に含まれる被写体３５によって音像の定位位置が決定される。このため、第２の画像３２が主画像として表示されると、パン画像３４が副画像として表示されるため、被写体３５の位置（左側）に定位される。
【００５９】
合成画像３３は、第２の画像３２の下部に第１の画像３１の一部が重ねて合成される。ただし、第１の画像３１が重ねられる位置は、第２の画像３２の上部、中部等に限られない。また、図１６（ｂ）に示す合成画像３７のように、主画像の一部に副画像をはめ込んで提示してもよい。
【００６０】
図１７は、時間経過によって変化するズーム画像の音声の定位位置の例である。
図１７（ａ）は、時刻ｔにおける合成画像と音像の例を示す。
図１７（ｂ）は、時刻ｔ＋１における合成画像と音像の例を示す。
【００６１】
図１７で示すように、第１の画像４１に含まれる被写体４６の位置を音像として音像定位させる。音像の定位位置は、上下・左右・前後の３次元空間方向に移動する。被写体４６が含まれるパン画像４１とズーム画像４２が重ねて提示される合成画像４３がスクリーンに投影される。ユーザ５０は、音像４５の定位を感じられるため、ズーム画像４２の被写体４６を見ながらパン画像４１における被写体４６の動きを理解できる。
【００６２】
例えば、図１７（ａ）において、パン画像４１に含まれる被写体４６の動きがユーザ５０に近づくように撮像されている場合を検討する。この場合、被写体４６の音像に該当する音像４５についても、図１７（ｂ）に示すように、被写体４６の移動に伴って定位する。被写体４６の移動は被写体４６の輪郭の大きさの変化や動きベクトルの変化量から求められる。このため、ユーザ５０は、被写体４６が自分に近づいてくるように感じられる。
【００６３】
音像の定位は、両壁面に設置されたスピーカ５１，５２によって行われる。例えば、スピーカ５１，５２で放音される音声を遅延して出力するとユーザ５０は音像定位を感じられる。音像の定位を変える処理としては、オブジェクトの純粋な動き量を用いるのではなく、動き量の変化量から音像の動きを求めることが考えられる。ここで、「動き量」とは、純粋に前後のフレーム差分から求められる移動量を表す。また、「動き量の変化量」とは、動き量を微分した値である。例えば、被写体が等速運動をしている場合について検討する。オブジェクトの純粋な動き量を用いると、この動き量に合わせて音像が移動する。一方、動き量の変化量を用いると、音像は移動しない。この場合、オブジェクトが加速した場合や、方向を変えた時に動き量の変化量が大きくなるため、音像の定位が移動する。
【００６４】
図１８は、時間経過によって変化するパン画像の音声の定位位置の例である。ただし、図１８において、既に説明した図１７に対応する部分には同一符号を付し、詳細な説明を省略する。
図１８（ａ）は、時刻ｔにおける合成画像と音像の例を示す。
図１８（ｂ）は、時刻ｔ＋１における合成画像と音像の例を示す。
【００６５】
パン画像が撮像された際に、音声がサラウンド録音された場合、ズーム画像の変化に応じて音量などを変える等の処理も行う。
本実施の形態例では、パン画像４１の音声の定位位置が変わる。例えば、ユーザ５０が注目する被写体４６が左から右へ移動するシーンであれば、左のスピーカ音量が小さくなり、右のスピーカの音量が大きくなる。このため、ユーザ５０は、音像の定位を感じられる。
【００６６】
以上説明した本実施の形態例に係る情報処理装置１０では、複数のカメラで撮像された画像から、主画像と副画像を選択して自由に画像を重ねて合成できる。このとき、どの画像を重ねて合成するかを選択したり、ズーム率や選択画像の切り出し方を変えたりする操作が可能である。このため、ユーザは、複数の画像に含まれる被写体を見る際における、視線移動が容易となるという効果がある。また、音声による視線の誘導によって複数のアングルの画像を効率よく視聴することが可能になる。
【００６７】
ユーザは、画像だけではなく、音の効果によっても視線が誘導される。このため、同じオブジェクトが離れた場所に提示されていても、ユーザは視線の移動が容易であり、オブジェクトを認識することが容易になる。また、ユーザに提示される情報が画像である場合、ディスプレイパネルのように、平面上にしか情報（画像）を提示できない。しかし、ユーザに提示される情報が音声である場合、３次元空間内で音像を定位させることで位置を表現できる。従来は、ズーム画像と空間内を移動する音像だけでは、音と映像の関連情報が少ないため、音と映像の関係を同時に認識することが困難であった。この課題を解消するためには、パン画像を提示しながらパン画像の音声に基づいて音像を定位させ、ズーム画像を重ねて提示することで、複数映像を同時に視聴することができる。これによって、ユーザは複数の映像を同時に観賞しながら、画像毎に提示されていたときには分からなかった注目したいズーム画像の状況とパン画像に含まれる被写体との関係性を同時に理解できる。
【００６８】
また、ユーザは主画像として提示されるズーム画像を観賞しながら、副画像として提示されるパン画像に基づいて音像定位された音声を聴くことができる。このため、ユーザはパン画像に含まれる被写体の位置関係を容易に理解できる。
【００６９】
また、複数の画像を提示する場合に、従来のように複数の画面を並べると、各画像は元の画サイズより小さいサイズでしか提示されない。しかし、本実施の形態例のように画像を重ねて提示することで、主画像については画サイズを維持できる。このため、複数の画像があっても、主画像の迫力等が損なわれないという効果がある。
【００７０】
また、複数の画像間で冗長な共通部分を排除して重畳することで、複数の画像を重畳しても、各画像の内容を直感的に理解できる。また、重要部分は重畳した画像の最上面に配置するため、重畳される側の画像も大きく隠されることなく視聴できるという効果がある。
【００７１】
また、主画像のうちユーザが指定する部分（あるいは、情報処理装置１０が指定する部分）のみに副画像が重畳される。このため、従来のように二つの画像を並べて見る場合に比べて、異なるアングルから撮像された複数の画像を同時に比較することが容易となる。また、画像合成部２３によって合成される第１の画像に対する第２の画像は、第１の画像の時間変化によって異なる画像を重ねてもよい。例えば、ユーザが画枠をズームして重畳画像を加工する処理として、単位時間毎に撮像した時間をずらして複数の画像を重畳してもよい。この場合、ユーザは、同じ被写体の時間による変化を明瞭に理解できるという効果がある。
【００７２】
なお、本発明は上述した実施の形態例に限られない。以下、図１９〜図２１を参照して他の実施の形態例について説明する。ただし、図１９〜図２１において、既に説明した図１７に対応する部分には同一符号を付し、詳細な説明を省略する。
【００７３】
図１９は、床に設置された表示装置である床面ディスプレイ装置５３にパン画像４１が提示される例である。
本実施の形態例では、複数の画像を二つの画面に出力するものである。このとき、ズーム画像４２を壁面のディスプレイ装置に提示する。そして、パン画像４１を床面ディスプレイ装置５３に提示する。音声処理部２３は、パン画像４１に含まれる被写体４６が遠ざかる動作に応じて、音声の高周波成分を除いて音像を定位する。このため、被写体４６が遠ざかると音声はこもる。このため、ユーザは、パン画像４１に表示された被写体４６の動きに合わせて、音像４５の移動を感じられる。
【００７４】
図２０は、前後左右に移動可能な可動ディスプレイ装置５４にズーム画像４２が提示される例である。
本実施の形態例では、ズーム画像４２を可動ディスプレイ装置５４に表示する。このとき、パン画像４１の移動に合わせて音像を定位する。このとき、ユーザ５０は可動ディスプレイ装置５４に提示された被写体４６を見ながらパン画像４１に含まれる被写体の位置を知ることができる。
【００７５】
図２１は、３つ以上の画像を合成した画像が提示される例である。
本実施の形態例では、パン画像４１に含まれる被写体のそれぞれに対して、ズーム画像４２ａ，４２ｂが重ねて合成される。ズーム画像４２ａ，４２ｂのそれぞれに含まれる被写体４６ａ，４６ｂに対応して音像４５ａ，４５ｂが定位される。ただし、音像４５ａ，４５ｂは、パン画像４１に含まれる被写体の位置関係に基づいて定位される。このため、ユーザ５０は、３つ以上の画像が一画面に同時に提示された場合であっても、各画像の関係を理解しやすい。このため、提示される画像の数は限定されない。
【００７６】
また、図１９〜図２１に示した画像と音声の出力形態はそれぞれを組み合わせてもよい。このとき、画像の重畳の仕方をオブジェクトの位置に合わせたり、ピクチャ・イン・ピクチャで合成画像を提示したり、別の表示装置に画像を提示したりする等、様々な方式で提示する方法を選択できるようにしてもよい。
【００７７】
また、上述した実施の形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。
【００７８】
また、上述した実施の形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００７９】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００８０】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行い、その処理によって上述した実施の形態例の機能が実現される場合も含まれる。
【００８１】
また、本明細書において、ソフトウェアを構成するプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８２】
さらに、本発明は上述した実施の形態例に限られるものではなく、本発明の要旨を逸脱することなくその他種々の構成を取り得ることは勿論である。
【図面の簡単な説明】
【００８３】
【図１】本発明の一実施の形態例における情報処理装置の配置例を示す説明図である。
【図２】本発明の一実施の形態例における情報処理装置の内部構成例を示すブロック図である。
【図３】本発明の一実施の形態例における画像処理部の内部構成例を示すブロック図である。
【図４】本発明の一実施の形態例における画像の色域検出処理と画像合成処理の例を示すフローチャートである。
【図５】本発明の一実施の形態例における画像処理の例を示すフローチャートである。
【図６】本発明の一実施の形態例における音声処理の例を示すフローチャートである。
【図７】本発明の一実施の形態例における第１の画像の例を示す説明図である。
【図８】本発明の一実施の形態例における第２の画像の例を示す説明図である。
【図９】本発明の一実施の形態例における第１の画像の色域分布の例を示す説明図である。
【図１０】本発明の一実施の形態例における第２の画像の色域分布の例を示す説明図である。
【図１１】本発明の一実施の形態例における閾値を超える第１の画像の色域の例を示す説明図である。
【図１２】本発明の一実施の形態例における閾値を超える第２の画像の色域の例を示す説明図である。
【図１３】本発明の一実施の形態例における第１及び第２の画像の色域分布のうち、閾値を超える共通部分の色域を３次元表示した例を示す説明図である。
【図１４】本発明の一実施の形態例における第１及び第２の画像の色域分布のうち、閾値を超える共通部分の色域を２次元表示した例を示す説明図である。
【図１５】本発明の一実施の形態例における第２の画像から所定の色域（グラウンドの色）を除いた例を示す説明図である。
【図１６】本発明の一実施の形態例における合成画像の例を示す説明図である。
【図１７】本発明の一実施の形態例における時間経過によって変化するズーム画像の音声の定位位置の例を示す説明図である。
【図１８】本発明の一実施の形態例における時間経過によって変化するパン画像の音声の定位位置の例を示す説明図である。
【図１９】本発明の他の実施の形態例における複数の画面に提示される例を示す説明図である。
【図２０】本発明の他の実施の形態例における可動ディスプレイ装置を用いて画面に提示される例を示す説明図である。
【図２１】本発明の他の実施の形態例における３つ以上の画像を同時に提示する例を示す説明図である。
【符号の説明】
【００８４】
１…情報処理システム、３…第１のカメラ、４…第２のカメラ、６…画像表示装置、１０…情報処理装置、１１…保存部、１２…外部信号入力部、２１…特徴量検出部、２２…画像処理部、２３…音声処理部、２４…除去領域検出部、２５…画像合成部
【図１】
0004557035.tif 000002
【図２】
0004557035.tif 000003
【図３】
0004557035.tif 000004
【図４】
0004557035.tif 000005
【図５】
0004557035.tif 000006
【図６】
0004557035.tif 000007
【図１７】
0004557035.tif 000008
【図１８】
0004557035.tif 000009
【図１９】
0004557035.tif 000010
【図２０】
0004557035.tif 000011
【図２１】
0004557035.tif 000012
【図７】
0004557035.tif 000013
【図８】
0004557035.tif 000014
【図９】
0004557035.tif 000015
【図１０】
0004557035.tif 000016
【図１１】
0004557035.tif 000017
【図１２】
0004557035.tif 000018
【図１３】
0004557035.tif 000019
【図１４】
0004557035.tif 000020
【図１５】
0004557035.tif 000021
【図１６】
0004557035.tif 000022