(57)【特許請求の範囲】
【請求項１】
映像の少なくとも一部の領域を切り出す映像切出し装置を制御する映像切出し制御装置であって、
撮像される対象物を見ている二人以上の観客の視線情報を取得し、取得した視線情報を統計的に処理する統計処理手段と、
前記統計的に処理した結果に応じて、撮像された映像から切り出す切出し領域を決定する切出し領域決定手段とを有し、
前記統計処理手段は、取得した視線情報に応じて前記二人以上の観客の視線方向の平均を算出する平均算出手段と、
取得した視線情報に応じて前記二人以上の観客の視線方向のばらつきを算出するばらつき算出手段とを有し、
前記切出し領域決定手段は、算出した視線方向の平均に応じて前記映像から切り出す切出し位置を決定する切出し位置決定手段と、
算出した視線方向のばらつきに応じて前記映像から切り出す切出し範囲を決定する切出し範囲決定手段とを有し、
前記決定した切出し位置及び切出し範囲に応じて前記映像切出し装置を制御することを特徴とする映像切出し制御装置。
【請求項２】
前記視線情報の替わりに、前記観客が選択した前記映像上の位置情報を用いることを特徴とする請求項１記載の映像切出し制御装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像切出し制御装置に係り、特に映像から所望の領域を切り出す映像切出し処理を制御する映像切出し制御装置に関する。
【０００２】
【従来の技術】
例えばスポーツ中継などでは、カメラマン自らの判断または他人からの指示によって，又はリモコンカメラなどを用いて操作者の指示によって，又はロボットカメラを用いて予め登録された指示によって、映像撮像装置（カメラ）の撮影方向および撮影画角が決定されている。この撮影方向および撮影画角に応じて撮像された映像は、放送映像として出力されていた。
【０００３】
近年、超高精細カメラなどで予め精細度の高い映像を取得しておき、その映像から一部の領域を切り出すことにより、電子的にズームした映像を取得する映像切出し装置が知られるようになった。このような映像切出し装置の一例が、例えば「島本ほか：“超高精細動画像からのハイビジョン切り出し映像”、信学技報ＩＥ９６−７２」などに記載されている。
【０００４】
例えばスポーツ中継などにおいて会場全体を超高精細カメラで撮像しておくことにより、映像切出し装置は実時間又は後処理において会場全体の映像から一部の領域を切出して電子的にズームした映像を取得する。なお、会場全体の映像から切り出された切出し領域は、放送映像の画素数を有するものとする。
【０００５】
従来、映像切出し装置を利用することにより、カメラマン等によるカメラワーク（撮影方向および撮影画角などの操作）で撮像された映像と同様な映像を電子的な処理により取得していた。
【０００６】
【発明が解決しようとする課題】
しかしながら、カメラマン自らの判断または他人からの指示によって，又はリモコンカメラなどを用いて操作者の指示によって，又はロボットカメラを用いて予め登録された指示によって、カメラの撮影方向および撮影画角を決定する場合には、人間が撮影方向および撮影画角を決定しなければならなかった。また、カメラの撮影方向および撮影画角の制御は機構的な動作が必要であるため、大きな動作に素早く反応することが困難であった。
【０００７】
さらに、映像切出し装置を利用することで、カメラマン等によるカメラワークにより撮像された映像と同様な映像を電子的な処理により取得する場合には、映像から一部の領域を切出して電子的にズームする処理を人間が行わなければならなかった。
【０００８】
本発明は、上記の点に鑑みなされたもので、映像のうち視聴者が所望する領域を決定することができ、映像から視聴者が所望する領域を自動的に切り出させることが可能な映像切出し制御装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
そこで、上記課題を解決するため、本発明は、映像の少なくとも一部の領域を切り出す映像切出し装置を制御する映像切出し制御装置であって、撮像される対象物を見ている二人以上の観客の視線情報を取得し、取得した視線情報を統計的に処理する統計処理手段と、前記統計的に処理した結果に応じて、撮像された映像から切り出す切出し領域を決定する切出し領域決定手段とを有し、前記統計処理手段は、取得した視線情報に応じて前記二人以上の観客の視線方向の平均を算出する平均算出手段と、取得した視線情報に応じて前記二人以上の観客の視線方向のばらつきを算出するばらつき算出手段とを有し、前記切出し領域決定手段は、算出した視線方向の平均に応じて前記映像から切り出す切出し位置を決定する切出し位置決定手段と、算出した視線方向のばらつきに応じて前記映像から切り出す切出し範囲を決定する切出し範囲決定手段とを有し、前記決定した切出し位置及び切出し範囲に応じて前記映像切出し装置を制御することを特徴とする。
【００１３】
このような映像切出し制御装置では、撮像される対象物を見ている二人以上の観客の視線情報を取得し、取得した視線情報を統計処理手段により統計的に処理する。視線情報を統計的に処理した結果は、映像のうち観客の視線が集まっている領域を表しており、視聴者が所望する可能性の高い領域であると判断できる。
【００１４】
したがって、視線情報を統計的に処理した結果に応じて、切出し領域決定手段により映像から切り出す切出し領域を決定することにより、視聴者が所望する領域を切り出すように映像切出し装置を制御することが可能となる。
【００１６】
このような映像切出し制御装置では、統計処理手段が、取得した視線情報から観客の視線方向の平均とばらつきとを算出することができる。
【００１８】
このような映像切出し制御装置では、切出し領域決定手段が、視線方向の平均に応じて切出し位置を決定すると共に、視線方向のばらつきに応じて切出し範囲を決定することができる。
【００１９】
また、本発明は、前記決定した切出し位置および切出し範囲に応じて前記映像切出し装置を制御することを特徴としてもよい。
【００２０】
このような映像切出し制御装置では、算出した切出し位置および切出し範囲に応じて映像切出し装置を制御することができる。
【００２１】
また、本発明は、前記視線情報の替わりに、前記観客が選択した前記映像上の位置情報を用いることを特徴とする。
【００２２】
このような映像切出し制御装置では、視線情報に限ることなく、映像上の位置情報を用いることもできる。つまり、視聴者が所望する可能性の高い領域であるか否かを判断できる情報を利用することにより、視聴者が所望すると予測される領域を判断することが可能である。
【００２３】
【発明の実施の形態】
次に、本発明の実施の形態について図面に基づいて説明する。なお、本実施例では、撮像する映像の一例としてスポーツ中継の例を説明するが、いかなる映像でもよい。
【００２４】
図１は、本発明の映像切出し制御装置を含むシステムの一実施例の構成図を示す。図１のシステム１は、映像切出し制御装置１０，視線入力装置２０ａ〜２０ｎ，映像撮像装置３０，映像切出し装置４０を含むように構成される。また、映像切出し制御装置１０は、平均値算出回路１１，分散値算出回路１２，切出し位置決定回路１３および切出し範囲決定回路１４を含む。
【００２５】
以下、スポーツ中継の一例としてサッカーの試合を中継する場合について説明する。映像撮像装置３０は、映像切出し装置４０で映像切出し処理を行っても放送映像として十分な画質を保持できる詳細な映像を撮像できる映像撮像装置である。映像撮像装置３０は、放送映像として利用する例えばサッカー会場の全範囲の映像を撮像する。映像撮像装置３０により撮像された映像は、映像切出し装置４０に供給される。
【００２６】
映像切出し装置４０は、映像撮像装置３０から供給される映像の一部を映像切出し制御装置１０からの制御に応じて切出し、切出した映像を切出し映像として出力する。なお、切出し映像は、放送映像の画素数を有している。
【００２７】
視線入力装置２０ａ〜２０ｎは、サッカー会場に来ている観客の一部又は全部に一つずつ取り付けられる。視線入力装置２０ａ〜２０ｎは、取り付けている観客の視線位置を検出し、検出した観客の視線位置を映像切出し制御装置１０に供給する。
【００２８】
映像切出し制御装置１０は、視線入力装置２０ａ〜２０ｎから夫々供給された視線位置を統計的に処理する。具体的に説明すると、平均値算出回路１１は供給された視線位置の平均を算出する。平均値算出回路１１は、算出した視線位置の平均を切出し位置決定回路１３に供給する。例えばｎ人の観客の視線位置を二次元平面上に投影したときの空間的な位置をＥｉ（ｘ，ｙ）とすると、観客の視線位置の平均的な位置（重心）は、以下の式（１）から算出される。
【００２９】
【数１】
0003891402.tif 000002
分散値算出回路１２は供給された視線位置のばらつきとして標準偏差又は分散を算出する。分散値算出回路１２は、算出した視線位置の標準偏差又は分散を切出し範囲決定回路１４に供給する。例えば観客の視線位置の標準偏差は、以下の式（２）から算出される。また、観客の視線位置の分散は、以下の式（３）から算出される。
【００３０】
【数２】
0003891402.tif 000003
切出し位置決定回路１３は、供給された視線位置の平均に基づき映像の切出し位置を決定する。ここで、視線位置の平均はサッカー会場の内で観客の視線が集まっている位置を表している。つまり、視線位置の平均は、そのサッカー中継を放送した場合に、放送映像の視聴者が視聴を所望する可能性の高い位置（撮影方向）であると判断できる。切出し位置決定回路１３は、決定した映像の切出し位置を映像切出し装置４０に供給する。
【００３１】
切出し範囲決定回路１４は、供給された標準偏差又は分散に基づき映像の切出し範囲を決定する。ここで、視線位置の標準偏差又は分散はサッカー会場の内で観客の視線がばらついている範囲を表している。つまり、視線位置の標準偏差又は分散は、そのスポーツ中継を放送した場合に、放送映像の視聴者が視聴を所望する可能性の高い範囲（撮影画角）であると判断できる。切出し範囲決定回路１４は、決定した映像の切出し範囲を映像切出し装置４０に供給する。
【００３２】
例えば映像撮像装置３０でサッカー会場の全体映像を、映像切出し処理を行っても放送映像として十分な画質を保持できる高精細な映像で撮像し、撮像した全体映像の一部を映像切出し装置４０で切り出すときの切出し範囲（領域）の大きさは、以下の式（４）から算出される。
【００３３】
【数３】
0003891402.tif 000004
以上のように、映像切出し制御装置１０は、決定した切出し位置および切出し範囲を映像切出し装置４０に供給することで、映像切出し装置４０で行う映像切出し処理を制御する。したがって、映像切出し装置４０から出力される切出し映像は、サッカー中継の視聴者が所望すると予測される領域のものとなる。
【００３４】
なお、視線入力装置２０ａ〜２０ｎは、サッカー会場に来ている観客に限ることなく、映像撮像装置３０により撮像された全画面を視聴する視聴者に取り付けてもよい。また、視線入力装置２０ａ〜２０ｎは、取り付けている観客の視線位置が取得できるのであれば、観客の視線位置を自動検出するものに限らず、手動入力するものであってもよい。
【００３５】
すなわち、視線入力装置２０ａ〜２０ｎを手動入力装置とし、その手動入力装置はサッカー会場に来ている観客の一部又は全部に配布され、観客の意志による希望切出し位置が入力される。手動入力装置は、視線情報の替わりに、観客の興味が高い領域を判断できる情報が入力されるものであればよく、例えばジョイスティックや音声入力装置などで構成される。手動入力装置は、入力された希望切出し位置を映像切出し制御装置１０に供給する。
【００３６】
更に、図１のシステム１の処理について、具体的な数値を用いて説明する。例えば、６人の観客ａ〜ｆに視線入力装置２０ａ，２０ｂ，２０ｃ，２０ｄ，２０ｅおよび２０ｆが一つずつ取り付けられているとする。また、観客ａ〜ｆの二次元空間上の視線位置を水平方向ｘ，垂直方向ｙとする。
【００３７】
視線入力装置２０ａ〜２０ｆは、観客ａ〜ｆの視線位置Ｅｉ（ｘ，ｙ）を検出し、検出した視線位置Ｅｉを映像切出し制御装置１０に供給する。例えば視線位置の空間範囲を正規化（０≦ｘ≦１，０≦ｙ≦１）したとき、映像切出し制御装置１０は以下の表１のような視線位置Ｅｉ（ｘ，ｙ）が供給される。
【００３８】
【表１】
0003891402.tif 000005
映像切出し制御装置１０は上記の式（１）を利用することで、以下の式（５）のような観客ａ〜ｆの平均的な視線位置を算出する。映像切出し制御装置１０は上記の式（２）を利用することで、以下の式（６）のような観客ａ〜ｆの視線位置の標準偏差を算出する。また、映像切出し制御装置１０は上記の式（４）を利用することで、以下の式（７）のような映像切出し装置４０で切り出す切出し領域の大きさを算出する。
【００３９】
【数４】
0003891402.tif 000006
したがって、映像切出し制御装置１０は、映像切出し装置４０で切り出す切出し範囲の中心を（０．４６，０．５４）、切出し範囲を（０．４４,０．４０）と決定することができる。なお、切出し範囲は、視線位置の標準偏差をベクトルで求め、そのベクトル長を所定の縦横比，例えば１６：９の比率でそれぞれ横方向および縦方向の大きさを求めて算出してもよい。また、切出し範囲の中心位置や大きさを決定する手段として、観客の平均的な視線位置や視線位置の標準偏差を用いると共に、所定の重み付けや非線形処理などを施してもよい。
【００４０】
図２は、本発明の映像切出し制御装置を含むシステムの他の実施例の構成図を示す。図２のシステム２は、映像切出し制御装置１０，映像撮像装置３０，切出し位置希望入力装置５０ａ〜５０ｎ，カメラ撮像位置制御装置６０を含むように構成される。なお、図２のシステム２は、図１のシステム１と同様な構成部分を有しているため、同一な構成部分に同一符号を付して説明を省略する。
【００４１】
切出し位置希望入力装置５０ａ〜５０ｎは、サッカー会場に来ている観客の一部又は全部に配布され、観客の意志による希望切出し位置が入力される。切出し位置希望入力装置５０ａ〜５０ｎは、視線情報の替わりに、観客の興味が高い領域を判断できる情報が入力されるものであればよい。切出し位置希望入力装置５０ａ〜５０ｎは、例えばジョイスティックや音声入力装置などで構成される。切出し位置希望入力装置５０ａ〜５０ｎは、入力された希望切出し位置を映像切出し制御装置１０に供給する。
【００４２】
映像切出し制御装置１０は、切出し位置希望入力装置５０ａ〜５０ｎから夫々供給された希望切出し位置を前述した視線位置と同様、統計的に処理する。映像切出し制御装置１０は、統計的に処理した結果として、切出し位置および切出し範囲をカメラ撮像位置制御装置６０に供給する。
【００４３】
カメラ撮像位置制御装置６０は、映像切出し制御装置１０から供給された切出し位置および切出し範囲に応じて、映像撮像装置３０の撮影方向および撮影画角を制御する。映像撮像装置３０は、カメラ撮像位置制御装置６０からの制御に応じて撮影方向および撮影画角を決定する。映像撮像装置３０は、例えばカメラ三脚に取り付けられた電動パン・チルト駆動装置および電動ズーム装置などで撮影方向および撮影画角を制御することが考えられる。このように、図２のシステムでは、映像切出し制御装置１０を使わない場合に、ズーム，パン・チルトで対応することを特徴としている。
【００４４】
以上のように、映像切出し制御装置１０は、決定した切出し位置および切出し範囲をカメラ撮像位置制御装置６０に供給することで、映像撮像装置３０の撮影方向および撮影画角を制御する。したがって、映像撮像装置３０から出力される映像は、サッカー中継の視聴者が所望すると予測される領域のものとなる。
【００４５】
【発明の効果】
上述の如く、本発明によれば、視線情報を統計的に処理した結果に応じて、映像から切り出す切出し領域を決定することにより、視聴者が所望する領域を切り出すように映像切出し処理を制御することが可能となる。
【００４６】
また、本発明によれば、視線情報に限ることなく、視聴者が所望する可能性の高い領域であるか否かを判断できる情報を利用することにより、視聴者が所望すると予測される領域を判断することが可能となる。
【００４７】
【図面の簡単な説明】
【図１】本発明の映像切出し制御装置を含むシステムの一実施例の構成図である。
【図２】本発明の映像切出し制御装置を含むシステムの他の実施例の構成図である。
【符号の説明】
１，２    システム
１０    映像切出し制御装置
１１    平均値算出回路
１２    分散値算出回路
１３    切出し位置決定回路
１４    切出し範囲決定回路
２０ａ〜２０ｎ    視線入力装置
３０    映像撮像装置
４０    映像切出し装置
５０ａ〜５０ｎ    切出し位置希望入力装置
６０    カメラ撮像位置制御装置
【図１】
0003891402.tif 000007
【図２】
0003891402.tif 000008