(57)【要約】【課題】視聴者の関心の高い映像を表示しつつ、視聴者にとって表示内容を把握し易い映像を表示することを目的とする。【解決手段】複数の映像の中から、表示装置が表示する表示映像を選択する情報処理システムであって、複数の映像それぞれの映像重要度と、複数の映像のうち、表示装置が表示中の映像と、他の映像との間の関係と、に基づいて、各映像の表示適正度を決定する決定手段と、表示適正度に基づいて、複数の映像の中から、表示装置に表示すべき映像を選択する選択手段とを有する。【選択図】図１
2016046642.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像の中から、表示装置が表示する表示映像を選択する情報処理システムであって、
複数の映像それぞれの映像重要度と、複数の映像のうち、前記表示装置が表示中の映像と、他の映像との間の関係と、に基づいて、各映像の表示適正度を決定する決定手段と、
前記表示適正度に基づいて、複数の映像の中から、前記表示装置に表示すべき映像を選択する選択手段と
を有することを特徴とする情報処理システム。
【請求項２】
前記映像から注視領域を抽出する抽出手段と、
前記注視領域の領域重要度を算出する領域重要度算出手段と、
前記領域重要度に基づいて、前記映像重要度を算出する映像重要度算出手段と
をさらに有し、
前記決定手段は、前記映像重要度算出手段により算出された前記映像重要度と、前記関係とに基づいて、各映像の表示適正度を決定することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記領域重要度算出手段は、前記注視領域の種類、面積及び閲覧対象としての適正度のうち少なくとも１つに基づいて、前記領域重要度を算出することを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記選択手段により選択された前記映像の前記映像重要度に、切替加算値を加える加算手段をさらに有し、
前記決定手段は、前記切替加算値を含む前記映像重要度に基づいて、各映像の表示適正度を決定することを特徴とする請求項１乃至３何れか１項に記載の情報処理システム。
【請求項５】
前記切替加算値を時間の経過に応じて、前記切替加算値をより小さい値に変更する変更手段をさらに有することを特徴とする請求項４に記載の情報処理システム。
【請求項６】
前記変更手段は、一定時間が経過する度に、前記切替加算値から一定値を減ずることを特徴とする請求項５に記載の情報処理システム。
【請求項７】
前記映像重要度算出手段は、前記映像から抽出された注視領域の前記領域重要度の和を前記映像重要度として算出し、前記抽出手段により、異なる映像から同一の注視領域が抽出された場合に、複数の映像のうち、前記表示装置が表示中の映像の前記注視領域の前記領域重要度を、前記映像重要度を算出する際の加算対象とし、他の映像の前記注視領域の前記領域重要度を、加算対象としないことを特徴とする請求項２に記載の情報処理システム。
【請求項８】
前記決定手段は、前記表示中の映像と、前記他の映像との間の、撮影位置、撮影角度及び撮影距離のうち少なくとも１つに関する関係と、前記映像重要度とに基づいて、各映像の表示適正度を決定することを特徴とする請求項１に記載の情報処理システム。
【請求項９】
複数の映像の中から、表示装置が表示する表示映像を選択する情報処理装置であって、
複数の映像それぞれの映像重要度と、複数の映像のうち、前記表示装置が表示中の映像と、他の映像との間の関係と、に基づいて、各映像の表示適正度を決定する決定手段と、
前記表示適正度に基づいて、複数の映像の中から、前記表示装置に表示すべき映像を選択する選択手段と
を有することを特徴とする情報処理装置。
【請求項１０】
複数の映像の中から、表示装置が表示する表示映像を選択する情報処理システムが実行する情報処理方法であって、
複数の映像それぞれの映像重要度と、複数の映像のうち、前記表示装置が表示中の映像と、他の映像との間の関係と、に基づいて、各映像の表示適正度を決定する決定ステップと、
前記表示適正度に基づいて、複数の映像の中から、前記表示装置に表示すべき映像を選択する選択ステップと
を含むことを特徴とする情報処理方法。
【請求項１１】
複数の映像の中から、表示装置が表示する表示映像を選択する情報処理装置が実行する情報処理方法であって、
複数の映像それぞれの映像重要度と、複数の映像のうち、前記表示装置が表示中の映像と、他の映像との間の関係と、に基づいて、各映像の表示適正度を決定する決定ステップと、
前記表示適正度に基づいて、複数の映像の中から、前記表示装置に表示すべき映像を選択する選択ステップと
を含むことを特徴とする情報処理方法。
【請求項１２】
コンピュータを、
複数の映像の中から、表示装置が表示する表示映像を選択する情報処理装置であって、
複数の映像それぞれの映像重要度と、複数の映像のうち、表示装置が表示中の映像と、他の映像との間の関係と、に基づいて、各映像の表示適正度を決定する決定手段と、
前記表示適正度に基づいて、複数の映像の中から、前記表示装置に表示すべき映像を選択する選択手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、スポーツの試合等において、スタジアムに複数のカメラが設置され、各カメラで撮影された複数映像から視聴者が表示映像を自由に選ぶことのできるシステムが知られている。また、特許文献１には、視聴者が逐次表示の切替えを指示する煩わしさをなくし、自動で映像の切替えを行う方法が開示されている。特許文献１の方法では、複数カメラから得られた各映像について、その映像を元に視聴者の関心の高さを表す関心度を算出し、高い関心度が算出された映像を表示する。この方法によれば、撮影している複数映像のうち視聴者にとって関心が高い映像を表示させることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４９３４０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えばスポーツの試合における注目選手等、視聴者の関心のある対象が、撮影領域が隣接するカメラの撮影映像間を頻繁に行き来する場合がある。このような場合に、対象の移動に応じて、映像を切替えることとすると、映像の切替えが頻繁に起こり、視聴者にとって、内容を理解し難い映像が表示されることとなってしまう。また、表示映像の撮影アングルの急激な変更が繰り返された場合にも、視聴者にとって、内容を理解し難い映像が表示されることとなってしまうという問題があった。
【０００５】
本発明はこのような問題点に鑑みなされたもので、視聴者の関心の高い映像を表示しつつ、視聴者にとって表示内容を把握し易い映像を表示することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、複数の映像の中から、表示装置が表示する表示映像を選択する情報処理システムであって、複数の映像それぞれの映像重要度と、複数の映像のうち、前記表示装置が表示中の映像と、他の映像との間の関係と、に基づいて、各映像の表示適正度を決定する決定手段と、前記表示適正度に基づいて、複数の映像の中から、前記表示装置に表示すべき映像を選択する選択手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、視聴者の関心の高い映像を表示しつつ、視聴者にとって表示内容を把握し易い映像を表示することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る撮影システムを示す図である。
【図２】ＰＣのハードウェア構成を示す図である。
【図３】ＰＣのソフトウェア構成を示す図である。
【図４】映像選択装置のソフトウェア構成を示す図である。
【図５】ＰＣによる映像解析処理を示すフローチャートである。
【図６】注視領域テーブルを示す図である。
【図７】映像の一例を示す図である。
【図８】映像情報のデータフォーマットの一例を示す図である。
【図９】表示映像選択処理を示すフローチャートである。
【図１０】表示適正度の算出結果の推移の一例を示す図である。
【図１１】注視領域の軌跡を示す図である。
【図１２】第２の実施形態に係る表示映像選択処理を示すフローチャートである。
【図１３】第２の実施形態に係る表示適正度の算出結果の推移の一例を示す図である。
【図１４】第３の実施形態に係る撮影システムの一例を示す図である。
【図１５】第３の実施形態に係る表示映像選択処理を示すフローチャートである。
【図１６】アングル類似度の説明図である。
【図１７】第３の実施形態に係る映像情報のデータフォーマットの一例を示す図である。
【図１８】第３の実施形態に係る表示適正度の算出結果の推移の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
【００１０】
（第１の実施形態）
図１は、第１の実施形態に係る情報処理システムとしての撮影システムを示す図である。第１カメラ１００ａ、第２カメラ１００ｂ及び第３カメラ１００ｃは、それぞれ、第１撮影領域１０１ａ、第２撮影領域１０１ｂ及び第３撮影領域１０１ｃを撮影する。第１撮影領域１０１ａ、第２撮影領域１０１ｂ及び第３撮影領域１０１ｃは、この順に隣接する領域である。第１カメラ１００ａ、第２カメラ１００ｂ及び第３カメラ１００ｃは、それぞれに有線又は無線で接続された第１ＰＣ１１０ａ、第２ＰＣ１１０ｂ及び第３ＰＣ１１０ｃに、撮影により得られた映像を送信する。なお、第１カメラ１００ａ、第２カメラ１００ｂ及び第３カメラ１００ｃは、設置位置が異なるのみで同一のカメラである。以下、第１カメラ１００ａ、第２カメラ１００ｂ及び第３カメラ１００ｃを、適宜カメラ１００ａ〜１００ｃと称する。また、各カメラ１００ａ〜１００ｃの区別が不要な場合には、各カメラ１００ａ〜１００ｃを、単にカメラ１００と称する。また、第１ＰＣ１１０ａ、第２ＰＣ１１０ｂ及び第３ＰＣ１１０ｃは、同一の装置である。以下、第１ＰＣ１１０ａ、第２ＰＣ１１０ｂ及び第３ＰＣ１１０ｃを、適宜ＰＣ１１０ａ〜１１０ｃと称する。また、各ＰＣ１１０ａ〜１１０ｃの区別が不要な場合に、各ＰＣ１１０ａ〜１１０ｃを、単にＰＣ１１０と称する。
【００１１】
各ＰＣ１１０ａ〜１１０ｃは、対応するカメラ１００ａ〜１００ｃから受信した映像に基づいて、各カメラ１００ａ〜１００ｃにより撮影された各映像のうちいずれの映像を優先的に表示するかを決定するために利用される映像情報を生成する。具体的には、各ＰＣ１１０ａ〜１１０ｃは、受信した映像から、注視領域を抽出し、注視領域の重要度、すなわち領域重要度を算出する。そして、ＰＣ１１０ａ〜１１０ｃは、映像と領域重要度とを含む映像情報を生成し、これを映像選択装置１２０に送信する。なお、注視領域は、ユーザが注目する領域である。
【００１２】
本実施形態においては、図１に示すように、第１撮影領域１０１ａから注視領域Ａが抽出され、第２撮影領域１０１ｂから注視領域Ｂ，Ｃが抽出され、第３撮影領域１０１ｃから注視領域Ｄが抽出されたものとする。なお、各カメラ１００ａ〜１００ｃにより撮影された１つの映像から抽出される注視領域の数は、１つであってもよく、複数であってもよい。また、注視領域が存在しない場合には、注視領域は抽出されない。映像選択装置１２０は、映像情報に基づいて、各カメラ１００ａ〜１１０ｃにより撮影された複数の映像の中から、表示装置１３０が表示すべき表示映像を選択する。なお、カメラ１００及びこれに対応するＰＣ１１０の数は、実施形態に限定されるものではない。
【００１３】
図２は、ＰＣ１１０のハードウェア構成を示す図である。ＰＣ１１０は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、表示部２０５と、入力部２０６と、ネットワークＩ／Ｆ部２０７とを有している。ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ２０４は、画像データや各種プログラム等各種情報を記憶する。表示部２０５は、各種情報を表示する。入力部２０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。
【００１４】
ネットワークＩ／Ｆ部２０７は、ネットワークを介して画像形成装置等の外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット（登録商標）が挙げられる。また、他の例としては、ネットワークＩ／Ｆ部２０７は、無線により外部装置との通信を行ってもよい。なお、後述するＰＣ１１０の機能や処理は、ＣＰＵ２０１がＲＯＭ２０２又はＨＤＤ２０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
映像選択装置１２０及び表示装置１３０のハードウェア構成は、ＰＣ１１０のハードウェア構成とほぼ同様である。また、カメラ１００のハードウェア構成は、ＰＣ１１０のハードウェア構成とほぼ同様であるが、カメラ１００は、ＨＤＤ２０４に替えて、ＳＤを有している。また、カメラ１００は、撮像部をさらに有している。
【００１５】
図３は、ＰＣ１１０のソフトウェア構成を示す図である。通信部３０１は、外部装置との通信を行う。通信部３０１は例えば、後述の注視領域抽出部３０２及び領域重要度算出部３０３による処理結果を映像選択装置１２０に送信する。注視領域抽出部３０２は、カメラ１００から受信した映像から、注視領域を抽出する。領域重要度算出部３０３は、注視領域抽出部３０２により抽出された各注視領域の領域重要度を算出する。注視領域及び領域重要度については、後に詳述する。
【００１６】
図４は、映像選択装置１２０のソフトウェア構成を示す図である。通信部４０１は、外部装置との通信を行う。表示適正度処理部４０２は、通信部４０１がＰＣ１１０から受信した情報に基づいて、各カメラ１００ａ〜１１０ｃにより得られた各映像の表示適正度を算出する。ここで、表示適正度とは、表示装置１３０に表示するのに適した映像かどうかを判断するための評価値である。表示装置１３０に表示するのに適した映像である程、表示適正度は高くなるものとする。表示映像選択部４０３は、各映像の表示適正度に基づいて、表示装置１３０に表示する映像、すなわち表示映像を選択する。
【００１７】
図５は、ＰＣ１１０による映像解析処理を示すフローチャートである。Ｓ５０１において、ＰＣ１１０の通信部３０１は、対応するカメラ１００から、ネットワークＩ／Ｆ部２０７を介して映像を受信する。次に、Ｓ５０２において、注視領域抽出部３０２は、受信した映像に対し、画像認識処理を行い、注視領域を抽出する。例えば、ＰＣ１１０は、ＨＤＤ２０４等に、図６に示す注視領域テーブル６００を記憶している。注視領域テーブル６００は、抽出すべき注視領域の種類を記憶している。注視領域テーブル６００はさらに、注視領域の種類に対応付けて、各種類の注視領域に対して割り当てる種類重要度を記憶している。ここで、種類重要度とは、注視領域の種類に応じて定まる注視領域の重要度である。なお、注視領域の種類及び種類重要度は、例えば管理者等により入力部２０６等を用いた入力操作により予め設定されるものとする。
【００１８】
そして、注視領域抽出部３０２は、注視領域テーブル６００に記憶されている種類の注視領域を抽出する。本実施形態においては、図６に示すように、注視領域抽出部３０２は、スポーツの試合におけるボールや各選手、特定のプレー等を注視領域として抽出する。注視領域抽出部３０２は、ボールや選手等、抽出対象を含む矩形領域を画像認識処理により、注視領域として抽出する。注視領域抽出部３０２はまた、シュートやパス等一連のプレーを注視領域として抽出する。この場合、注視領域抽出部３０２は、選手の姿勢変化やボールとの位置関係から選手の行動を認識し、プレーの開始位置のボール周囲の矩形領域、予測されるボールの到達位置周囲の領域、又はこれら両方を含む領域を注視領域として抽出する。なお、ボールの到達予測位置については、例えば、以下に示す２つの文献に示される技術を参照することができる。
Kihwan  Kim,  et  al.,  "Detecting  Regions  of  Interest  in  Dynamic  Scenes  with  Camera  Motions",  CVPR  2012,  June  2012.
Kihwan  Kim,  et  al.,  "Motion  Field  to  Predict  Play  Evolution  in  Dynamic  Sport  Scenes",  CVPR  2010,   June  2010.
【００１９】
本実施形態においては、スポーツ映像を処理対象とする場合の注視領域について説明するが、処理対象の映像の種類、及び抽出すべき注視領域の種類は、実施形態に限定されるものではない。また、処理対象の映像の種類、及び抽出すべき注視領域の種類は、管理者等が自由に設定又は変更することができるものである。また、各注視領域の検出方法や、注視領域の形状及びサイズの決定方法についても、実施形態に限定されるものではない。
【００２０】
図５に戻り、Ｓ５０２の処理の後、Ｓ５０３において、領域重要度算出部３０３は、処理対象の注視領域に対し、画像認識処理により、撮影のアングル適正度を算出する。領域重要度算出部３０３は、例えば、選手の注視領域を処理対象とする場合には、選手をどれだけ正面に近いアングルで撮影できているかを画像認識処理により検出し、検出結果に基づいて、撮影のアングル適正度を算出する。ここで、アングル適正度は、注視領域が、ユーザによる閲覧対象としての適正度の一例である。領域重要度算出部３０３はまた、処理対象の注視領域の画像処理により、注視領域の面積を算出する。領域重要度算出部３０３はまた、注視領域テーブル６００を参照し、処理対象の注視領域の種類に対応付けられている種類重要度を特定する。
【００２１】
そして、領域重要度算出部３０３は、各注視領域の、種類重要度、アングル適正度及び面積に基づいて、各注視領域の領域重要度を算出する。具体的には、領域重要度算出部３０３は、（式１）により、領域重要度（Ｉ）を算出する。
Ｉ＝i×ｓ×ａ      …（式１）
ここで、ｉは、注視領域テーブル６００に登録されている種類重要度である。ｓは、抽出された注視領域の面積である。また、ａは、抽出された撮影領域に対するアングルの適正度である。なお、領域重要度は、注視領域の種類、アングル適正度及び面積のうち少なくとも１つにより定まる値であればよく、具体的な値は、実施形態に限定されるものではない。また、他の例としては、領域重要度は、注視領域の種類、アングル適正度及び面積以外の、注視領域に関する指標により定まる値であってもよい。
【００２２】
図７は、第２カメラ１００ｂにより得られた映像７００の一例を示す図である。映像７００には、２つの注視領域Ｂ，Ｃが含まれている。この場合、Ｓ５０２において、第２ＰＣ１１０ｂの注視領域抽出部３０２は、注視領域の種類「パス」の注視領域Ｂと、注視領域の種類「選手Ａ」の注視領域Ｃの２つの注視領域を抽出する。そして、Ｓ５０３において、領域重要度算出部３０３は、注視領域テーブル６００を参照し、注視領域Ｂに対し、注視領域の種類「パス」に対応付けられている種類重要度「２０」を算出する。さらに、領域重要度算出部３０３は、注視領域Ｂの画像処理により、面積「６０」、アングル適正度「１０」を算出したものとする。この場合、領域重要度算出部３０３は、（式１）により、注視領域Ｂの領域重要度として、２０×６０×１０＝１２０００を得る。また、領域重要度算出部３０３は、注視領域テーブル６００を参照し、注視領域Ｃに対し、注視領域の種類「選手Ａ」に対応付けられている種類重要度「３０」を算出する。さらに、領域重要度算出部３０３は、注視領域Ｃの画像処理により、面積「２０」、アングル適正度「８」を算出したものとする。この場合、領域重要度算出部３０３は、（式１）により、注視領域Ｃの領域重要度として、３０×２０×８＝４８００を得る。
【００２３】
図５に戻り、Ｓ５０３の処理の後、Ｓ５０４において、通信部３０１は、映像情報を映像選択装置１２０に送信する。図８は、映像情報８００のデータフォーマットの一例を示す図である。映像情報８００は、映像を撮影したカメラ１００を識別するカメラ識別子と、映像から抽出された注視領域とを対応付ける情報である。１つの映像から複数の注視領域が抽出された場合には、抽出されたすべての注視領域がカメラ識別子に対応付けられる。すなわち、図８に示すｎは、映像から抽出された注視領域の数である。さらに、各注視領域には、注視領域の種類と、領域重要度が含まれている。
【００２４】
図９は、映像選択装置１２０による、表示映像選択処理を示すフローチャートである。Ｓ９０１において、映像選択装置１２０の通信部４０１は、カメラ１００から映像情報を受信するまで待機する。通信部４０１は、映像情報を受信すると（Ｓ９０１でＹｅｓ）、処理をＳ９０２へ進める。Ｓ９０２において、表示適正度処理部４０２は、ＰＣ１１０から受信した映像情報に含まれる領域重要度を、対応付けられているカメラ識別子を元に、各カメラ１００ａ〜１００ｃに割り振る。そして、表示適正度処理部４０２は、各カメラ１００ａ〜１００ｃにより得られた映像の表示適正度を更新する。具体的には、表示適正度処理部４０２は、表示適正度に対し、映像情報に含まれる、領域重要度を加算することにより、新たな表示適正度を得る。なお、表示適正度の初期値は「０」に設定されているものとする。１つの映像から複数の注視領域が抽出され、映像情報が複数の注視領域を含む場合には、表示適正度処理部４０２は、映像情報に含まれるすべての注視領域の領域重要度の合計値を映像重要度として算出する（映像重要度算出処理）。そして、表示適正度処理部４０２は、領域重要度を表示適正度に加算する。例えば、図７に示す例においては、注視領域Ｂの領域重要度１２０００と、注視領域Ｃの領域重要度４８００が加算され、第２カメラ１００ｂにより得られた第２カメラ映像の表示適正度は、１２０００＋４８００＝１６８００となる。
【００２５】
次に、Ｓ９０３において、表示適正度処理部４０２は、１つの映像情報８００に含まれるすべての注視領域に対する処理が完了したか否かを確認する。表示適正度処理部４０２は、処理が完了した場合には（Ｓ９０３でＹｅｓ）、処理をＳ９０４へ進める。表示適正度処理部４０２は、処理が完了していない場合には（Ｓ９０３でＮｏ）、処理をＳ９０１へ進める。Ｓ９０４において、表示映像選択部４０３は、表示適正度が最大となる映像を、表示映像として選択し、選択した表示映像を示す選択情報を生成する。そして、通信部４０１は、選択情報を、表示装置１３０に送信する。表示装置１３０は、選択情報に示される映像を表示する。なお、表示装置１３０は、選択情報に示される映像を、撮影したカメラ１００に対応するＰＣ１１０から受信する。また、他の例としては、映像選択装置１２０が映像を記憶している場合には、表示装置１３０は、映像選択装置１２０から、選択情報に示される映像を受信してもよい。
【００２６】
次に、Ｓ９０５において、表示適正度処理部４０２は、Ｓ９０４において選択された表示映像が、処理時点において表示映像として選択されている映像と異なる映像に切替わったか否かを確認する。表示適正度処理部４０２は、表示映像が切替わった場合には（Ｓ９０５でＹｅｓ）、処理をＳ９０６へ進める。表示適正度処理部４０２は、表示映像が切替わっていない場合には（Ｓ９０５でＮｏ）、処理をＳ９０８へ進める。
【００２７】
Ｓ９０６において、表示適正度処理部４０２は、直前のＳ９０４において新たに選択された表示映像の表示適正度に、切替加算値を加算することにより、表示適正度を更新する。ここで、切替加算値は、新たに表示映像として選択された映像の表示適正度に加算される値であり、切替加算値は、予めＨＤＤ２０４等に記憶されているものとする。次に、Ｓ９０７において、表示適正度処理部４０２は、直前のＳ９０４において選択された表示映像よりも過去の時点において、表示映像として選択されていた映像の表示適正度から、切替加算値を「０」に減ずる。このように、映像選択装置１２０は、Ｓ９０６及びＳ９０７の処理を実行することにより、表示装置１３０が表示中の表示映像の表示適正度に対してのみ、切替加算値を加算することができる。
【００２８】
次に、Ｓ９０８において、表示適正度処理部４０２は、Ｓ９０４の処理の実行時点、又は直前のＳ９０９の処理の実行時点から一定時間が経過するまで待機し、一定時間が経過すると（Ｓ９０８でＹｅｓ）、処理をＳ９０９へ進める。ここで、一定時間は、任意の値であり、例えばＨＤＤ２０４等に予め設定されているものとする。Ｓ９０９において、表示適正度処理部４０２は、表示映像の表示適正度に加算されている切替加算値から一定値を減算し、その後、処理をＳ９０１へ進める。ここで、一定値は、予め定められた値であり、例えばＨＤＤ２０４等に予め設定されているものとする。
【００２９】
このように、切替加算値は、時間の経過とともに減少する値である。このため、表示映像は、表示映像として選択された時点においては、切替加算値分だけ、他の映像に比べて表示対象として選択され易い状態になっている。そして、表示映像が表示された後は、徐々に切替加算値が減少するのに従い、表示映像の優先度が低くなり、他の映像が表示対象として選択され易い状態へと変化する。
【００３０】
なお、切替加算値を時間の経過に対してどのように減少させるかは、実施形態に限定されるものではない。他の例としては、表示適正度処理部４０２は、時間の経過に伴い減少率がより大きくなるように、切替加算値を減少させてもよい。
【００３１】
図１０は、表示適正度の算出結果の推移の一例を示す図である。図１０（ａ）は、時刻ｔにおいて算出された各カメラ１００ａ〜１００ｃにより得られた各映像の表示適正度を示す図である。第１カメラ１００ａにより撮影された第１カメラ映像は、注視領域Ａを含み、注視領域Ａに対する領域重要度は「９０」であったとする。この場合、第１カメラ映像の映像重要度は「９０」となり、第１カメラ映像の表示適正度も「９０」となる。
【００３２】
一方、第２カメラ１００ｂにより撮影された第２カメラ映像は、注視領域Ｂ，Ｃを含み、注視領域Ｂ，の領域重要度はともに「４０」であったとする。この場合、第２カメラ映像の映像重要度は、「８０」となり、第２カメラ映像の表示適正度も「８０」となる。また、第３カメラ１００ｃにより撮影された第３カメラ映像は、注視領域Ｅを含み、注視領域Ｅの領域重要度は「６０」であったとする。この場合、第３カメラ映像の映像重要度は「６０」となり、第３カメラ映像の表示適正度も「６０」となる。すなわち、時刻ｔにおいては、第１カメラ映像の表示適正度が最大となり、第１カメラ映像が表示映像として選択される。そして、第１カメラ映像には、切替加算値が加算される。
【００３３】
図１０（ｂ）は、時刻ｔからΔｔ１経過後、すなわち時刻ｔ＋Δｔ１において算出された各カメラ映像の表示適正度を示す図である。時刻ｔ＋Δｔ１においては、時間の経過とともに、第１カメラ映像に加算された切替加算値がゼロになっている。さらに、第２カメラ映像の表示適正度が「１００」に増加し、第１カメラ映像の表示適正度「９０」よりも大きくなっている。このため、第２カメラ映像が表示映像として選択される。そして、第２カメラ映像に切替加算値「３０」が加算されている。
【００３４】
図１０（ｃ）は、時刻ｔ＋Δｔ１＋Δｔ２において算出された各カメラ映像の表示適正度を示す図である。時刻ｔ＋Δｔ１＋Δｔ２においては、第２カメラ映像の映像重要度の合計値は「８０」である。これは、第１カメラ映像の表示適正度「９０」よりも小さい値である。しかしながら、第２カメラ映像の表示適正度には、切替加算値が加算されており、時刻ｔ＋Δｔ１＋Δｔ２の時点で、切替加算値は「２０」である。このため、第２カメラ映像の表示適正度は、第１カメラ映像の適正度よりも大きい値となり、第２カメラ映像が引き続き、表示映像として選択される。このため、時刻ｔ＋Δｔ１＋Δｔ２の時点において、表示映像の切替わりは起こらない。
【００３５】
このように、本実施形態に係る撮影システムにおいては、表示装置１３０が表示中の映像の表示適正度に、切替加算値を加算するため、単に映像内容に応じた表示映像の切替えを行う場合に比べて、表示映像の切替え回数を少なく抑えることができる。これにより、本実施形態に係る撮影システムは、視聴者の関心の高い映像を表示しつつ、視聴者にとって表示内容を把握し易い、表示映像を提供することができる。
【００３６】
第１の実施形態の第１の変更例としては、各カメラ１００ａ〜１００ｃは、ＰＣ１１０ａ〜１１０ｃの機能を備えてもよい。この場合、カメラ１００ａ〜１００ｃは、映像から映像情報を生成し、映像情報を映像選択装置１２０に送信する。
【００３７】
また、第２の変更例としては、ＰＣ１１０ａ〜１１０ｃは、映像から映像情報を生成することなく、映像自体を映像選択装置１２０に送信してもよい。この場合、映像選択装置１２０は、各映像に対し、図５を参照しつつ説明したＳ５０２、Ｓ５０３の処理を実行することにより、注視領域の抽出及び領域重要度の算出を行えばよい。このように、映像選択装置１２０は、ＰＣ１１０ａ〜１１０ｃに替わって、映像解析処理の一部の処理を実行してもよい。
【００３８】
（第２の実施形態）
第２の実施形態に係る撮影システムは、注視領域が複数のカメラの撮影領域間を何度も移動するような場合に、表示映像の切替えを適切に制御する。ここでは、第２の実施形態に係る撮影システムについて、第１の撮影システムと異なる点について説明する。図１１は、時間の経過に伴い移動した注視領域Ａの軌跡を示す図である。なお、図１１に示すように、第１撮影領域１０１ａと第２撮影領域１０１ｂは、その一部が重なっている。この重なった領域を重複領域１１１０と称する。本実施形態においては、注視領域Ａが、軌跡１１１１に示すように、第１撮影領域１０１ａから切替点Ｘを経由し、その後、重複領域１１１０、第２撮影領域１０１ｂを移動した後、切替点Ｙを経由して、第１撮影領域１０１ａへ移動した場合を例に説明する。なお、切替点Ｘは、注視領域Ａが第１撮影領域１０１ａから第１撮影領域１０１ａ外へ出る瞬間の位置である。切替点Ｙは、注視領域Ａが第２撮影領域１０１ｂから第２撮影領域１０１ｂ外へ出る瞬間の位置である。
【００３９】
図１２は、第２の実施形態に係る映像選択装置１１００による、表示映像選択処理を示すフローチャートである。なお、図１２において、第１の実施形態に係る表示映像選択処理の各処理と同一の処理には、同一番号を付している。表示適正度処理部４０２は、Ｓ９０３において、１つの映像情報８００に含まれるすべての注視領域に対する処理が完了した場合には（Ｓ９０３でＹｅｓ）、処理をＳ１２０１へ進める。Ｓ１２０１において、表示適正度処理部４０２は、処理時点において選択中の表示映像における注視領域の種類と、表示映像以外の他の映像における注視領域の種類とを比較し、重複する注視領域が存在するか否かを判断する。ここで、重複する注視領域とは、２つの映像から抽出された同一の注視対象に対応する注視領域である。例えば、図１１に示す重複領域１１１０に注視対象が存在する場合に、第１カメラ映像及び第２カメラ映像から重複する注視領域が抽出される。
【００４０】
表示適正度処理部４０２は、重複する注視領域が存在する場合には（Ｓ１２０１でＹｅｓ）、処理をＳ１２０２へ進める。表示適正度処理部４０２は、重複する注視領域が存在しない場合には（１２０１でＮｏ）、処理をＳ１２０３へ進める。Ｓ１２０２において、表示適正度処理部４０２は、他の映像の表示適正度から、重複する注視領域に対して算出された領域重要度を減ずる。すなわち、表示適正度処理部４０２は、重複する注視領域に対しては、表示映像の注視領域の領域重要度は、映像重要度を算出する際の加算対象とする。一方で、表示適正度処理部４０２は、表示映像以外の他の映像の注視領域の領域重要度は、映像重要度を算出する際の加算対象としないこととする。次に、Ｓ１２０３において、表示映像選択部４０３は、表示適正度が最大となる映像を表示映像として選択する。次に、Ｓ１２０４において、表示適正度処理部４０２は、Ｓ１２０３の処理時点から一定時間が経過するまで待機し、一定時間が経過すると（Ｓ１２０４でＹｅｓ）、処理をＳ９０１へ進める。
【００４１】
図１３は、第２の実施形態に係る撮影システムによる、表示適正度の算出結果の推移の一例を示す図である。図１３（ａ）は、注視領域Ａが第１撮影領域１０１ａに存在し、切替点Ｘに到達する前の、各カメラ映像の表示適正度を示す図である。このとき、第１カメラ映像の表示適正度が最大となり、第１カメラ映像が表示映像として選択される。注視領域Ａは、切替点Ｘに到達するまでの間に、重複領域１１１０を通過する。注視領域Ａが重複領域１１１０に存在する場合には、第１カメラ１００ａ及び第２カメラ１００ｂそれぞれの映像から注視領域Ａが抽出される。しかし、Ｓ１２０１，Ｓ１２０２の処理により、表示映像として選択されていない第２カメラ映像の表示適正度から、注視領域Ａの領域重要度が減算される。このため、図１３（ａ）に示すように、第２カメラ映像の表示適正度には、注視領域Ａの領域重要度は加算されない。
【００４２】
図１３（ｂ）は、注視領域Ａが切替点Ｘから切替点Ｙの間を移動している期間における、各カメラ映像の表示適正度を示す図である。切替点Ｘの通過後、注視領域Ａが第２撮影領域１０１ｂへ移動すると、注視領域Ａは、第２カメラ映像のみから抽出されることとなる。このため、注視領域Ａの領域重要度は、第２カメラ映像の表示適正度に加算され、第１カメラ映像の表示適正度への注視領域Ａの領域重要度の加算はなくなる。その後、注視領域Ａは、切替点Ｙへ移動するまでの間に、重複領域１１１０内に移動する場合もあるが、このとき表示映像として選択されているのは、第２カメラ映像であるため、第１カメラ映像の表示適正度には、注視領域Ａの領域重要度は加味されない。
【００４３】
図１３（ｃ）は、注視領域Ａが切替点Ｙを通過した後の、各カメラ映像の表示適正度を示す図である。切替点Ｙの通過後は、注視領域Ａが第１撮影領域１０１ａに移動し、第１カメラ映像のみから注視領域Ａが抽出されることとなる。このため、注視領域Ａの領域重要度は、第１カメラ映像の表示適正度に加算され、第２カメラ映像の表示適正度への注視領域Ａの領域重要度の加算はなくなる。そして、第１カメラ映像が表示映像として選択される。
【００４４】
以上のように、注視領域Ａが図１１に示すような軌跡１１１１を描くように移動する場合には、注視領域Ａが切替点Ｘを通過する時点と、切替点Ｙを通過する時点において、表示映像の切替えが２回行われる。これに対し、Ｓ１２０１〜１２０３の処理を行わなかった場合には、切替点Ｘから切替点Ｙまで移動する期間において、さらに頻繁に表示映像の切替えが発生する可能性がある。
【００４５】
本実施形態に係る撮影システムは、このように、重複する撮影領域において、同一の注視対象に対応する注視領域が抽出された場合に、表示映像に対してのみ注視領域の領域重要度を表示適正度に加算する。これにより、注視領域が複数カメラの撮影領域間を頻繁に行き来する場合においても、表示映像の切替え回数を適切な回数に抑えることができる。すなわち、本実施形態に係る撮影システムは、視聴者の関心の高い映像を表示しつつ、視聴者にとって表示内容を把握し易い、表示映像を提供することができる。なお、第２の実施形態に係る撮影システムのこれ以外の構成及び処理は、第１の実施形態に係る撮影システムの構成及び処理と同様である。
【００４６】
（第３の実施形態）
図１４は、第３の実施形態に係る撮影システムの一例を示す図である。本実施形態においては、第１カメラ１００ａ及び第２カメラ１００ｂは、略同一方向を撮影方向として設置されているのに対し、第３カメラ１００ｃは、第１カメラ１００ａ及び第２カメラ１００ｂと略反対方向を撮影方向として設置されているものとする。また、第１撮影領域１０１ａ、第２撮影領域１０１ｂ及び第３撮影領域１０１ｃは、この順に隣接しているものとする。この場合、第３撮影領域１０１ｃは、第２撮影領域１０１ｂに隣接するものの、撮影方向が逆方向となる。このため、視聴者にとっては、第２カメラ映像から第３カメラ映像への切替えは、第１カメラ映像から第２カメラ映像への切替えに比べて、切替えをより強く意識するものとなる。そこで、第３の実施形態に係る撮影システムは、このように撮影方向の大きく変わるような切替えを適切に制御する。
【００４７】
図１５は、第３の実施形態に係る映像選択装置１４００による、表示映像選択処理を示すフローチャートである。なお、図１５において、第１の実施形態に係る表示映像選択処理の各処理と同一の処理には、同一番号を付している。表示適正度処理部４０２は、Ｓ９０５において、表示映像の切替えがあった場合には（Ｓ９０５でＹｅｓ）、処理をＳ１５０１へ進める。Ｓ１５０１において、表示適正度処理部４０２は、各カメラ映像に設定されているアングル類似度をリセットし、「０」に初期化する。次に、Ｓ１５０２において、表示適正度処理部４０２は、新たに選択された表示映像に対応し、各映像のアングル類似度を設定する。そして、表示適正度処理部４０２は、アングル類似度をアングル加算値として表示適正度に加算する。次に、Ｓ１５０３において、表示適正度処理部４０２は、Ｓ１５０２の処理時点から一定時間が経過するまで待機し、一定時間が経過すると（Ｓ１５０３でＹｅｓ）、処理をＳ９０１へ進める。
【００４８】
ここで、アングル類似度について説明する。アングル類似度は、表示映像と他の映像との間の撮影領域や撮影方向の類似度を示す指標値であり、撮影方向と、撮影領域（位置）とにより定まる値である。表示適正度処理部４０２は、表示映像のアングル類似度には、アングル類似度の最大値を設定する。また、表示適正度処理部４０２は、他の映像に対しては、他の映像と表示映像の撮影方向が異なる程、また、他の映像と表示映像の撮影位置の間の距離が長くなる程、小さい値となるようなアングル類似度を設定する。
【００４９】
図１６は、アングル類似度の説明図である。図１６において、第１カメラ１６００ａと第２カメラ１６００ｂの２台のうち、第１カメラ１６００ａによる第１カメラ映像が表示映像として選択されているものとする。Ｐ１は、第１カメラ１６００ａの撮影位置であり、第１カメラ１６００ａの撮影レンズ中央から所定距離だけ撮影方向に離れた地点である。Ｐ２は、第２カメラ１６００ｂの撮影位置であり、第２カメラ１６００ｂの撮影レンズ中央から所定距離だけ撮影方向に離れた地点である。ここでは、Ｐ１，Ｐ２の座標をそれぞれ（ａ１，ｂ１），（ａ２，ｂ２）とする。また、基準方向（図１６においてはｘ軸）を定め、基準方向と第１カメラ１６００ａによる撮影方向との間の角度をθａ、基準方向と第２カメラ１６００ｂによる撮影方向との間の角度をθｂとする。
【００５０】
ここで、第１カメラ１６００ａによる第１カメラ映像が表示映像として選択されているとすると、表示映像に対する他のカメラ映像（ここでは、第２カメラ１６００ｂによる第２カメラ映像）のアングル類似度αは、（式２）により算出することができる。
【数１】
2016046642.tif 000003
ここで、角度の単位はラジアンとし、Ｃ, Ｄは任意に定められる正の実定数とする。（式２）により、表示映像のアングル類似度は、Ｃ（最大値）となる。
【００５１】
図１７は、第３の実施形態に係る映像情報のデータフォーマットの一例を示す図である。第３の実施形態に係る映像情報は、第１の実施形態に係る映像情報に含まれる情報に加えて、カメラの撮影角度及び撮影位置をさらに含んでいる。表示適正度処理部４０２は、映像情報を参照することにより、（式２）によるアングル類似度の算出に必要な情報（撮影角度及び撮影位置）を得ることができる。なお、アングル類似度は、撮影角度、撮影位置及び撮影距離の少なくとも１つを評価可能な値であればよく、その具体的な値は、実施形態に限定されるものではない。
【００５２】
表示適正度処理部４０２は、アングル類似度の算出に際し、カメラが固定カメラである場合には、その設置位置に応じてパラメータとしてカメラに対応するＰＣに予め設定された値を、カメラ座標として用いることができる。また、他の例としては、カメラに位置センサーを取り付け、表示適正度処理部４０２は、位置センサーの情報を用いても良く、また、カメラに方向センサーを取り付け、表示適正度処理部４０２は、方向センサーの情報を用いてもよい。また、他の例としては、表示適正度処理部４０２は、雲台に設置され自動パン・チルトするカメラであれば、予め設定された初期角度とパン・チルトの制御情報から計算した値を、カメラ座標として用いることができる。
【００５３】
図１８は、第３の実施形態に係る撮影システムによる、表示適正度の算出結果の推移の一例を示す図である。図１８（ａ）は、第１カメラ映像が表示映像として選択されている場合の、各カメラ映像の表示適正度を示す図である。この場合、表示映像として選択されている第１カメラ映像の表示適正度には、アングル類似度の最大値「６０」がアングル加算値として加算されている。さらに、第２カメラ１００ｂにより得られた第２カメラ映像には、アングル加算値「５０」が加算されている。第３カメラ１００ｃにより得られた第３カメラ映像には、第２カメラ映像のアングル加算値よりも小さいアングル加算値「２０」が加算されている。第３カメラ１００ｃの撮影位置と第１カメラ１００ａの撮影位置の間の距離は、第２カメラ１００ｂの撮影位置と第１カメラ１００ａの撮影位置の間の距離に比べて大きい。また、第２カメラ１００ｂの撮影方向は、第１カメラ１００ａの撮影方向と同一方向であるのに対し、第３カメラ１００ｃの撮影方向は、第１カメラ１００ａの撮影方向と逆の方向である。このことから、第３カメラ映像に対するアングル加算値は、第２カメラ映像に対するアングル加算値に比べて小さい値となっている。
【００５４】
図１８（ｂ）は、表示映像が第１カメラ映像から第２カメラ映像に切替わる時点における、各カメラ映像の表示適正度を示す図である。図１８（ａ）の状態から時間が経過し、第２カメラ映像の注視領域Ｂの領域重要度が増加すると、このように、表示映像が第１カメラ映像から第２カメラ映像に切替わる。図１８（ｃ）は、図１８（ｂ）の状態から時間が経過し、第２カメラ映像が引き続き表示映像として選択されている場合の、各カメラ映像の表示適正度を示す図である。第２カメラ映像が表示映像として選択された時点で、各映像のアングル類似度が再計算され、表示適正度が更新されている。すなわち、第２カメラ映像の表示適正度には、アングル類似度の最大値「６０」が加算されている。第２カメラ１００ｂの撮影位置と第１カメラ１００ａ撮影位置の間の距離と、第２カメラ１００ｂの撮影位置と第３カメラ１００ｃの撮影位置の間の距離は、同程度である。しかしながら、第１カメラ１００ａの撮影方向が第２カメラ１００ｂの撮影方向と同方向なのに対し、第３カメラ１００ｃの撮影方向は第２カメラ１００ｂの撮影方向と逆方向である。このため、第１カメラのアングル類似度が「５０」であるのに対し、第３カメラ１００ｃのアングル類似度はより小さい「３０」となる。
【００５５】
以上のように、第３の実施形態に係る撮影システムにおいては、表示映像により撮影アングルの近い映像に優先して表示が切替えられる。これにより、撮影システムは、急激なアングル変更を緩和することができる。すなわち、撮影システムは、視聴者の関心の高い映像を表示しつつ、視聴者にとって表示内容を把握し易い、表示映像を提供することができる。
【００５６】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００５７】
以上、上述した各実施形態によれば、視聴者の関心の高い映像を表示しつつ、視聴者にとって表示内容を把握し易い映像を表示することができる。
【００５８】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。例えば、第１〜第３の実施形態に係る表示適正度処理部４０２の機能を組み合わせて、同時に実施してもよい。
【符号の説明】
【００５９】
１００  カメラ
１１０  ＰＣ
１２０  映像選択装置
１３０  表示装置
３０２  注視領域抽出部
３０３  領域重要度算出部
４０２  表示適正度処理部
４０３  表示映像選択部
【図１】
2016046642.tif 000004
【図２】
2016046642.tif 000005
【図３】
2016046642.tif 000006
【図４】
2016046642.tif 000007
【図５】
2016046642.tif 000008
【図６】
2016046642.tif 000009
【図７】
2016046642.tif 000010
【図８】
2016046642.tif 000011
【図９】
2016046642.tif 000012
【図１０】
2016046642.tif 000013
【図１１】
2016046642.tif 000014
【図１２】
2016046642.tif 000015
【図１３】
2016046642.tif 000016
【図１４】
2016046642.tif 000017
【図１５】
2016046642.tif 000018
【図１６】
2016046642.tif 000019
【図１７】
2016046642.tif 000020
【図１８】
2016046642.tif 000021