(57)【要約】【課題】入力されたビデオ信号からフレーム解像度の異なるビデオデータを生成する処理の効率および精度の向上、さらには機能的な向上を図る。【解決手段】この装置は、カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力するビデオ入力部と、第１のビデオ信号のフレーム毎の第１のビデオデータを時刻データと対応付けて記憶するビデオ記憶部と、第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信する位置情報入力部と、受信された位置情報と時刻とを対応付けて記憶する位置情報記憶部と、位置情報記憶部から特定の時間区間毎に１以上の位置情報を読み出し、これらの情報が各々示す１以上の位置を含む切り出し領域を算出し、時間区間の第１のビデオデータから切り出し領域のビデオデータを切り出し、第２のフレーム解像度の第２のビデオデータを生成するコントローラとを備える。【選択図】図３
2016163311.tif 000002
【特許請求の範囲】
【請求項１】
カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力するビデオ入力部と、
前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と、
前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信する位置情報入力部と、
前記受信された位置情報と時刻とを対応付けて記憶する位置情報記憶部と、
時間区間の始まりを特定する時刻を記憶する指定開始時刻記憶部と、
前記時間区間の終わりを特定する時刻を記憶する指定終了時刻記憶部と、
前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと
を具備するビデオ処理装置。
【請求項２】
請求項１に記載のビデオ処理装置であって、
前記コントローラは、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出するように構成される
ビデオ処理装置。
【請求項３】
請求項２に記載のビデオ処理装置であって、
前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力するビデオ出力部
さらに具備するビデオ処理装置。
【請求項４】
請求項３に記載のビデオ処理装置であって、
前記コントローラは、１つの前記時間区間の１以上の位置情報と次の時間区間の少なくとも先頭よりの１以上の位置情報が各々示す複数の位置を含む前記切り出し領域を算出するように構成される
ビデオ処理装置。
【請求項５】
請求項４に記載のビデオ処理装置であって、
前記時間区間の変更の指示を操作者より受け付ける操作入力部をさらに具備し、
前記コントローラは、前記操作入力部で受け付けた指示に従って前記時間区間を変更するように構成される
ビデオ処理装置。
【請求項６】
請求項５に記載のビデオ処理装置であって、
前記コントローラは、次の前記切り出し領域を算出するために用いられる次の時間区間の前記移動体の位置のうち、現在の切り出し領域の端に最も近い位置が、現在の切り出し領域の端から予め定められた距離以上の内側にある場合、切り出し領域の算出をスキップして現在の切り出し領域を有効とするように構成される
ビデオ処理装置。
【請求項７】
請求項６に記載のビデオ処理装置であって、
前記コントローラは、外部から、前記被写体の場所を特定する情報を含むイベント情報を受けて、前記第１のビデオ信号の画枠において前記イベント情報により特定される場所を含む領域を前記切り出し領域として設定するように構成される
ビデオ処理装置。
【請求項８】
請求項１に記載のビデオ処理装置であって、
前記ビデオ入力部は、共通の前記被写体を異なる方向から撮影する複数のカメラによって各々撮影され、第１のフレーム解像度を有し、フレーム毎に時刻データが付加された複数の第１のビデオ信号の１つを選択する切替部を有し、
前記コントローラは、前記位置情報記憶部から少なくとも１つの前記時間区間の１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成される
ビデオ処理装置。
【請求項９】
請求項８に記載のビデオ処理装置であって、
前記ビデオ入力部の前記切替部は、前記複数の第１のビデオ信号に加え、前記被写体の特定の領域を前記第２のフレーム解像度で撮影する１以上の領域撮影用カメラによって撮影され、フレーム毎に時刻データが付加された第３のビデオ信号の中から１つを選択可能に構成され、
前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記領域撮影用カメラの前記第３のビデオ信号を選択させるように構成される
ビデオ処理装置。
【請求項１０】
移動体を含む被写体を第１のフレーム解像度で定点撮影し、フレーム毎の時刻データが付加された第１のビデオ信号を出力する少なくとも１つのカメラと、
前記移動体の位置情報を生成する位置情報生成装置と、
前記第１のビデオ信号を入力するビデオ入力部と；
前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と；
前記位置情報生成装置によって生成された位置情報を受信する位置情報入力部と；
前記受信された位置情報と時刻とを対応付けて記憶する位置情報記憶部と；
時間区間の始まりを特定する時刻を記憶する指定開始時刻記憶部と、
前記時間区間の終わりを特定する時刻を記憶する指定終了時刻記憶部と、
前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと；
を有するビデオ処理装置と
を具備するビデオ処理システム。
【請求項１１】
請求項１０に記載のビデオ処理システムであって、
前記カメラは、共通の前記被写体を異なる方向から撮影するように各々配置され、
前記ビデオ処理装置の前記ビデオ入力部は、前記複数のカメラによって各々撮影された複数の第１のビデオ信号の１つを選択する切替部を有し、
前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成される
ビデオ処理システム。
【請求項１２】
請求項１１に記載のビデオ処理システムであって、
前記被写体の特定の領域を前記第２のフレーム解像度で撮影して第３のビデオ信号を時刻データと対応付けて送信する特定領域用カメラをさらに有し、
前記切替部は、前記第１のビデオ信号および前記第３のビデオ信号の中から１つのビデオ信号を選択可能に構成され、
前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記１以上の第３のビデオ信号のいずれかを選択させるように構成される
ビデオ処理システム。
【請求項１３】
カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力し、
前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けてビデオ記憶部に記憶し、
前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信し、
前記取得された位置情報を時刻と対応付けて位置情報記憶部に記憶し、
コントローラにより、前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成する
ビデオ処理方法。
【請求項１４】
請求項１３に記載のビデオ処理方法であって、
前記コントローラにより、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出する
ビデオ処理方法。
【請求項１５】
請求項１４に記載のビデオ処理方法であって、
ビデオ出力部により、前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力する
ビデオ処理方法。
【請求項１６】
カメラによって第１のフレーム解像度で撮影され、フレーム毎に時刻データが付加された第１のビデオ信号を入力するビデオ入力部と、
前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と、
前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の時刻データ付きの位置情報を受信する位置情報入力部と、
前記受信された位置情報と前記時刻データとを対応付けて記憶する位置情報記憶部と、
前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと
を具備するビデオ処理装置。
【請求項１７】
請求項１６に記載のビデオ処理装置であって、
前記コントローラは、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出するように構成される
ビデオ処理装置。
【請求項１８】
請求項１７に記載のビデオ処理装置であって、
前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力するビデオ出力部
さらに具備するビデオ処理装置。
【請求項１９】
請求項１８に記載のビデオ処理装置であって、
前記コントローラは、１つの前記時間区間の１以上の位置情報と次の時間区間の少なくとも先頭よりの１以上の位置情報が各々示す複数の位置を含む前記切り出し領域を算出するように構成される
ビデオ処理装置。
【請求項２０】
請求項１９に記載のビデオ処理装置であって、
前記時間区間の変更の指示を操作者より受け付ける操作入力部をさらに具備し、
前記コントローラは、前記操作入力部で受け付けた指示に従って前記時間区間を変更するように構成される
ビデオ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、ビデオ処理装置に関し、特にスポーツ競技などの様子をカメラで撮影した第１のビデオ信号から少なくとも一部の領域を切り出して第２のビデオ信号を出力するビデオ処理装置、ビデオ処理システムおよびビデオ処理方法に関する。
【背景技術】
【０００２】
スポーツ映像など、被写体の一部として移動体を含む映像から新たなカメラワークの映像を自動的に生成する技術が知られる。例えば、特許文献１には、スポーツ映像を入力し、入力したスポーツ映像から、各選手の移動情報を検出し、各選手の移動情報に含まれる各選手の複数のフレームにわたる各位置に基づき、最も各選手が集中しかつ各選手の動きが大きい領域を求めこれを新たなカメラワークの映像のフレーム位置として設定すること、さらには、設定されたフレーム位置に基づき、スポーツ映像から新たなカメラワークの映像を切り出し、切り出した映像を出力するデジタルカメラワーク装置が開示されている。また、特許文献１では、スポーツ映像からボールの位置を検出し、検出したボールの位置を加味してフレーム位置を算出することとされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２２３４８７号公報（段落［０００６］、［００１０］）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、この種のカメラ処理システムでは、機能的に未だ改善すべき課題が多々残されている。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、本技術に係る一形態のビデオ処理装置は、ビデオ入力部、ビデオ記憶部、位置情報入力部、指定開始時刻記憶部、指定終了時刻記憶部およびコントローラを備える。
ビデオ入力部は、カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力するように構成される。
ビデオ記憶部は、前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するように構成される。
位置情報入力部は、前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信するように構成される。
位置情報記憶部は、前記受信された位置情報と時刻とを対応付けて記憶するように構成される。
指定開始時刻記憶部は、時間区間の始まりを特定する時刻を記憶するように構成される。
指定終了時刻記憶部は、前記時間区間の終わりを特定する時刻を記憶するように構成される。
そしてコントローラは、前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するように構成される。
【０００６】
本技術に係る一形態のビデオ処理装置は、このような構成を有するので、第１のフレーム解像度を有する第１のビデオ信号のフレームから、時間区間における移動体の１以上の位置を含む領域を切り出した第２のフレーム解像度の第２のビデオデータを、各々の時間区間毎に連続的に生成できる。これにより、一台のカメラで撮影された被写体全体の第１のビデオ信号から様々な位置とサイズの画枠の第２のビデオデータを自動生成できる。
【０００７】
また、このビデオ処理装置は、特定の移動体の位置情報と時刻データを位置情報入力部が外部より受信し、コントローラは、この外部より取得した位置情報等をもとに切り出し領域の算出を行う。このため、移動情報の検出や移動体の位置情報の算出などの処理がコントローラの処理の速度的なボトルネックとならず、第１のビデオ信号からライブ放送用の第２のビデオ信号が出力されるまでの遅延時間を短縮できる。
【０００８】
さらに、第１のビデオ信号のフレームと移動体の位置情報とは互いに同期したまたは略同期した時刻データによって対応付けられるので、コントローラは、移動体の位置情報をもとに算出された切り出し領域を適用してビデオデータを切り出す対象のフレームを正しく判断できる。すなわち、第１のビデオデータからのタイミング的な切り出しの誤りを抑制できる。
【０００９】
上記のビデオ処理装置において、前記コントローラは、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出するように構成されてもよい。
【００１０】
上記のビデオ処理装置において、前記コントローラは、１つの前記時間区間の１以上の位置情報と次の時間区間の少なくとも先頭よりの１以上の位置情報が各々示す複数の位置を含む前記切り出し領域を算出するように構成されてもよい。
【００１１】
これにより、ビデオデータを切り出す対象の時間区間の最後の時刻から、移動体がその後さらに移動していく先の領域を含めた切り出し領域が算出されるので、例えば、サッカー競技などの場合には、ロングパスを出す先の領域のパス直前の様子、すなわちロングパスを受ける競技者の動きの様子を含めたビデオデータの切り出しが行われる。よって、ダイジェストとして視聴価値の高いビデオデータが得られる。
【００１２】
上記のビデオ処理装置は、前記時間区間の変更の指示を操作者より受け付ける操作入力部をさらに具備し、記コントローラは、前記操作入力部で受け付けた指示に従って前記時間区間を変更するように構成されてよい。
【００１３】
時間区間をマニュアルで変更できるので、スポーツ競技における動きの大きさや早さに合せて適切な時間区間を設定できる。
【００１４】
上記のビデオ処理装置において、前記コントローラは、次の前記切り出し領域を算出するために用いられる次の時間区間の前記移動体の位置のうち、現在の切り出し領域の端に最も近い位置が、現在の切り出し領域の端から予め定められた距離以上の内側にある場合、切り出し領域の算出をスキップして現在の切り出し領域を有効とするように構成される。
【００１５】
これにより、切り出し領域の余計な更新のための算出処理を省き、第１のビデオ信号からライブ放送用の第２のビデオ信号が出力されるまでの遅延時間をより短縮できる。また出力ビデオの視聴者の疲労を低減できる。
【００１６】
上記のビデオ処理装置において、前記コントローラは、外部から、前記被写体の場所を特定する情報を含むイベント情報を受けて、前記第１のビデオ信号の画枠において前記イベント情報により特定される場所を含む領域を前記切り出し領域として設定するように構成されてよい。
【００１７】
この仕組みによっても切り出し領域の算出を省けることになり、第１のビデオ信号からライブ放送用の第２のビデオ信号が出力されるまでの遅延時間をより短縮できる。
【００１８】
上記のビデオ処理装置において、前記ビデオ入力部は、共通の前記被写体を異なる方向から撮影する複数のカメラによって各々撮影され、第１のフレーム解像度を有し、フレーム毎の時刻データが付加された複数の第１のビデオ信号の１つを選択する切替部を有し、
前記コントローラは、前記位置情報記憶部から少なくとも１つの前記時間区間の１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成されてよい。
【００１９】
この構成により、移動体が例えばサーカー競技のボールや競技者などである場合、競技者の略正面側を捕えた迫力のある映像が得られる。
【００２０】
上記のビデオ処理装置において、前記ビデオ入力部の前記切替部は、前記複数の第１のビデオ信号に加え、前記被写体の特定の領域を前記第２のフレーム解像度で撮影する１以上の領域撮影用カメラによって撮影され、フレーム毎の時刻データが付加された第３のビデオ信号の中から１つを選択可能に構成され、前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記領域撮影用カメラの前記第３のビデオ信号を選択させるように構成されてもよい。
【００２１】
第３のビデオ信号が切替部によって選択された場合には、コントローラによって切り出し領域の算出、ビデオデータの切り出し、第２のフレーム解像化などは不要となる。すなわち、切替部によって選択された第３のビデオ信号のビデオデータはそのまま第２のビデオデータとして得られる。したがって、このことによっても、第１のビデオ信号からライブ放送用の第２のビデオ信号が出力されるまでの遅延時間をより短縮できる。また、領域撮影用カメラによって、例えば、ゴールエリア内の攻撃側の選手を略正面から撮影するように配置することなどによって、迫力のある映像が得られる。
【００２２】
また、本技術に係る他の形態のビデオ処理システムは、カメラ、位置情報生成装置およびビデオ処理装置を有する。
カメラは、移動体を含む被写体を第１のフレーム解像度で定点撮影し、フレーム毎の時刻データが付加された第１のビデオ信号を出力する少なくとも１つのカメラである。
位置情報生成装置は、前記移動体の位置情報を生成するように構成される。
ビデオ処理装置は、ビデオ入力部と、ビデオ記憶部と、位置情報入力部と、位置情報記憶部と、指定開始時刻記憶部と、指定終了時刻記憶部と、コントローラとを有する。
ビデオ入力部は、前記第１のビデオ信号を入力するように構成される。
ビデオ記憶部は、前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するように構成される。
位置情報入力部は、前記位置情報生成装置によって生成された位置情報を受信するように構成される。
位置情報記憶部は、前記受信された位置情報と時刻とを対応付けて記憶するように構成される。
指定開始時刻記憶部は、時間区間の始まりを特定する時刻を記憶するように構成される。
指定終了時刻記憶部は、前記時間区間の終わりを特定する時刻を記憶するように構成される。
コントローラは、前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するように構成される。
【００２３】
上記のビデオ処理システムにおいて、前記カメラは、共通の前記被写体を異なる方向から撮影するように各々配置され、前記ビデオ処理装置の前記ビデオ入力部は、前記複数のカメラによって各々撮影された複数の第１のビデオ信号の１つを選択する切替部を有し、
前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成されてよい。
【００２４】
上記のビデオ処理システムは、前記被写体の特定の領域を前記第２のフレーム解像度で撮影して第３のビデオ信号を時刻データと対応付けて送信する特定領域用カメラをさらに有し、前記切替部は、前記第１のビデオ信号および前記第３のビデオ信号の中から１つのビデオ信号を選択可能に構成され、前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記１以上の第３のビデオ信号のいずれかを選択させるように構成されてよい。
【００２５】
本技術に係る他の形態のビデオ処理方法は、ビデオ信号入力ステップと、ビデオ記憶ステップと、位置情報入力ステップと、位置情報記憶ステップと、切り出しビデオデータ生成ステップとを有する。
【００２６】
ビデオ信号入力ステップは、カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力する。
ビデオ記憶ステップは、前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けてビデオ記憶部に記憶する。
位置情報入力ステップは、前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信する。
位置情報記憶ステップは、前記取得された位置情報を時刻と対応付けて位置情報記憶部に記憶する。
切り出しビデオデータ生成ステップは、コントローラにより、前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成する。
【００２７】
また、本技術に係る他の形態のビデオ処理装置は、ビデオ入力部、ビデオ記憶部、位置情報入力部、位置情報記憶部およびコントローラを備える。
ビデオ入力部は、カメラによって第１のフレーム解像度で撮影され、フレーム毎に時刻データが付加された第１のビデオ信号を入力する。
ビデオ記憶部は、前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶する。
位置情報入力部は、前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の時刻データ付きの位置情報を受信する。
位置情報記憶部は、前記受信された位置情報と前記時刻データとを対応付けて記憶する。
コントローラは、前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するように構成される。
【発明の効果】
【００２８】
以上のように、本技術によれば、入力されたビデオ信号からビデオデータを生成する処理の機能的な向上を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２９】
【図１】本実施形態のビデオ処理システムにおけるカメラ１と競技エリア２と位置関係の例を示す図である。
【図２】図１に示すカメラ１から出力される第１のビデオ信号の第１のフレーム解像度に相当する全体の画枠１１と、本実施形態のビデオ処理装置によって算出されるビデオデータの矩形の切り出し領域１２との関係を示す図である。
【図３】本技術に係る第１の実施形態のビデオ処理装置の構成を機能的に示すブロック図である。
【図４】ビデオデータを切り出す時間区間の開始と終了の各時刻を設定する時間区間設定部１２０の構成を示すブロック図である。
【図５】第１の実施形態のビデオ処理システム１０の構成とビデオ処理装置１００のより具体的な構成を示すブロック図である。
【図６】第１の実施形態のビデオ処理装置１００によるビデオ入力処理のフローチャートである。
【図７】第１の実施形態のビデオ処理装置１００による位置情報入力処理のフローチャートである。
【図８】第１の実施形態のビデオ処理装置１００によるビデオクリップ作成処理のフローチャートである。
【図９】遅延ライブ処理Ａのタイミング図である。
【図１０】遅延ライブ処理Ａにおいてt1-t2区間とt2-t3区間の処理において生成される２つの切り出し領域の例を示す図である。
【図１１】t1-t2区間の３つの位置P1,P2,P3によって決まるマージン付加前の矩形領域１２Ａを示す図である。
【図１２】矩形領域１２Ａにマージンを付加した矩形領域１２Ｂを示す図である。
【図１３】マージンを付加した矩形領域１２Ｂを第２のフレーム解像度の縦横比に調整することによって作成された切り出し領域１２を示す図である。
【図１４】遅延ライブ処理Ｂを示すタイミング図である。
【図１５】遅延ライブ処理Ｂでt1-t3区間の位置情報をもとに算出された切り出し領域を示す図である。
【図１６】遅延ライブ処理Ｂの手順を示すフローチャートである。
【図１７】切り出し領域を変化させる際に用いられる第２のビデオ信号N個の補間矩形の例を示す図である。
【図１８】複数のカメラを用いたビデオ処理システムを説明する図である。
【図１９】俯瞰用の４機のカメラの切替方法を説明する図である。
【図２０】ビデオ処理装置１００Ａの変形例３の構成を示すブロック図である。
【図２１】図２０のビデオ処理装置１００Ａによる遅延ライブ処理のタイミング図である。
【発明を実施するための形態】
【００３０】
以下、本技術に係る実施の形態を説明する。
【００３１】
＜第１の実施形態＞
この実施形態は、ビデオ送信部より送信された第１のフレーム解像度を有する第１のビデオ信号の少なくとも一部の時間区間のビデオデータから、被写体に含まれる対象の移動体が移動した範囲を含む第２のフレーム解像度の第２のビデオ信号を生成するビデオ処理装置およびビデオ処理システムに関する。
【００３２】
本技術に係る実施形態のビデオ処理装置およびビデオ処理システムにおいて、ビデオ送信部から送信される第１のビデオ信号のフレーム解像度はビデオ処理装置により生成される第２のビデオ信号のフレーム解像度よりも高い。一例として、第１のビデオ信号のフレーム解像度が8K(7680×4320)であり、第２のビデオ信号のフレーム解像度がフルHD(1920×1080)である場合などが挙げられる。なお、本実施形態において「フレーム」と説明しているものは、インターレース方式においては「フィールド」としてもよい。
【００３３】
以下の説明においては、第１のビデオ信号が、カメラによって競技エリア２全体のサッカー競技の様子を定点撮影することによって得られたビデオ信号である場合を想定する。ビデオ送信部はカメラに内蔵されたものであってよいし、カメラから送信された第１のビデオ信号を中継してビデオ処理装置に伝送するものであってもよい。以下、ビデオ送信部はカメラに内蔵されていることを想定して説明を行う。
【００３４】
図１は、本実施形態のビデオ処理システムにおけるカメラ１とサッカーの競技エリア２と位置関係の例を示す図である。
同図に示すように、カメラ１は、サッカーの競技エリア２の全体を定点撮影することのできる位置に固定される。
【００３５】
図２は、カメラ１から出力される第１のビデオ信号の第１のフレーム解像度に相当する全体の画枠１１と、本実施形態のビデオ処理装置によって算出されるビデオデータの矩形の切り出し領域１２との関係を示す図である。
【００３６】
ここで、切り出し領域１２のサイズと位置は、第１のビデオ信号の一部の時間区間に対象の移動体（例えばボール３）が移動した範囲などをもとに決定される。切り出し領域１２は第２のフレーム解像度の縦横比を有する領域とされる。
【００３７】
［ビデオ処理装置の構成］
図３は、本技術に係る第１の実施形態のビデオ処理装置の構成を機能的に示すブロック図である。
【００３８】
このビデオ処理装置１００は、ビデオ入力部１０１、ビデオ記憶部１０２、位置情報入力部１０３、位置情報記憶部１０４、変換部１０５、切り出し領域算出部１０６、指定開始時刻記憶部１０７、指定終了時刻記憶部１０８、切り出しビデオ生成部１０９、ビデオ出力部１１０、およびクリップ記憶部１１１を有する。
【００３９】
ビデオ入力部１０１は、カメラ１から伝送された第１のフレーム解像度を有する第１のビデオ信号を受信する。例えば、8Kのフレーム解像度の第１のビデオ信号の伝送には、例えば複数の3G-SDI（Serial Digital Interface）インタフェースなどが用いられる。
【００４０】
カメラ１は、被写体である競技エリア２を定点撮像してフレーム毎のタイムコードが付加された第１のビデオ信号を送信する。タイムコードは、例えばインターネット上の時刻サーバなどより取得される標準の時刻に定期的に同期がとられるカメラ１内の時計によって与えられる。
【００４１】
ビデオ入力部１０１は、カメラ１より伝送された第１のビデオ信号を受信し、この第１のビデオ信号の各フレームをタイムコードと対応付けてビデオ記憶部１０２に記憶させる。
【００４２】
なお、ビデオ入力部１０１は、第１のビデオ信号に付加されたタイムコードを利用するのではなく、内蔵のリアルタイム・クロックあるいは、インターネット上の時刻サーバなどの外部から与えられる時刻に定期的に同期がとられるコンピュータ１３０内の時計から与えられる時刻をもとに与えられるタイムコードを利用してもよい。
【００４３】
ビデオ記憶部１０２は、ビデオ入力部１０１に入力された第１のビデオ信号の各フレームをタイムコードと対応付けて記憶する。ビデオ記憶部１０２には、第１のビデオ信号の各フレームのビデオデータが第１のフレーム解像度のまま記憶される。あるいは、可逆圧縮方式により第１のビデオ信号の各フレームのビデオデータが圧縮されたものが記憶されてもよい。
【００４４】
位置情報入力部１０３は、外部の位置情報生成装置１４０（図５）から送信される移動体の位置情報とこれに対応付けられたタイムコードを周期的に受信する。
【００４５】
この実施形態では、位置情報入力部１０３に受信される移動体の位置情報は、ボール３と１以上の競技者４の地上座標系における位置情報、または第１のビデオ信号の画枠の座標系における位置情報である。あるいは、ボール３の位置情報だけが位置情報入力部１０３に受信されてもよい。
【００４６】
第１のビデオ信号のフレーム毎のタイムコードと、位置情報に対応付けられているタイムコードは互いに同期していることが好ましいが、完全に同期していなくても、処理上問題はない。
【００４７】
移動体の位置情報と、移動体がその位置にあるときの第１のビデオ信号は同じタイミングでビデオ処理装置１００にて入力されることが好ましいが、移動体の位置情報の方がやや遅れて（例えば、数秒程度遅れて）供給されても、切り出したビデオデータの出力時期に影響するだけで処理上問題はない。
【００４８】
位置情報記憶部１０４は、位置情報入力部１０３にて受信された各移動体の位置情報とタイムコードとを対応付けて記憶する。
【００４９】
変換部１０５は、位置情報記憶部１０４から各移動体の位置情報を読み出し、この位置情報が地上座標系における位置情報である場合に、これを第１のビデオ信号の画枠１１内の座標系における位置情報に変換する。但し、入力される位置情報が、元々、第１のビデオ信号の画枠の座標系における位置情報である場合には変換部１０５による変換は不要である。
【００５０】
指定開始時刻記憶部１０７は、切り出しを開始するフレームのタイムコードを記憶する領域である。
【００５１】
指定終了時刻記憶部１０８は、切り出しを終了するフレームのタイムコードを記憶する領域である。開始フレームのタイムコードおよび終了フレームのタイムコードは、例えば本ビデオ処理装置１００の操作者などによって人為的に与えられるトリガによって指定されてよい。あるいは、本ビデオ処理装置１００の外部から与えられるイベント情報などをトリガとして指定されてもよい。
【００５２】
切り出し領域算出部１０６は、指定開始時刻記憶部１０７から開始フレームのタイムコードを読み出すとともに指定終了時刻記憶部１０８から終了フレームのタイムコードを読み出す。切り出し領域算出部１０６は、開始フレームのタイムコードが示す時刻から終了フレームのタイムコードが示す時刻までの時間区間の、移動体の１以上の位置情報を位置情報記憶部１０４から読み出す。切り出し領域算出部１０６は、位置情報記憶部１０４から読み出した１以上の位置情報が示す１以上の位置を含む第２のフレーム解像度の縦横比を有する領域を切り出し領域として算出する。この切り出し領域の算出方法は、後でさらに詳しく説明する。
【００５３】
切り出しビデオ生成部１０９は、指定開始時刻記憶部１０７から開始フレームのタイムコードを読み出すとともに指定終了時刻記憶部１０８から終了フレームのタイムコードを読み出す。切り出しビデオ生成部１０９は、開始フレームのタイムコードから終了フレームのタイムコードが示す時刻までの時間区間の各フレームをビデオ記憶部１０２から読み出し、読み出した各フレームの切り出し領域にあたる部分のビデオデータを切り出す。
【００５４】
これによって、開始フレームのタイムコードが示す時刻から終了フレームのタイムコードが示す時刻までの時間区間に移動体が移動した範囲を少なくとも含む第２のフレーム解像度の縦横比を有する矩形領域１２の上記時間区間分のビデオデータが、第１のビデオ信号の上記時間区間の各フレームから切り出される。
【００５５】
切り出しビデオ生成部１０９は、各フレームから切り出された各ビデオデータをフルHDなどの第２のフレーム解像度となるように拡大（画素補間）または縮小（画素間引き）することによって第２のビデオデータを生成する。
【００５６】
ビデオ出力部１１０は、切り出しビデオ生成部１０９によって切り出された第２のビデオデータを第２のビデオ信号である例えばHD-SDI信号などに変換して出力する。HD-SDIはhigh-definition serial digital interfaceという伝送規格である。
【００５７】
ビデオ出力部１１０はバッファを有する。ビデオ出力部１１０は、切り出しビデオ生成部１０９から間欠的に供給される第２のビデオデータをバッファで遅延させて連続的なHD-SDI信号などの第２のビデオ信号として出力する。
【００５８】
以上により、カメラ１より伝送された第１のフレーム解像度を有する第１のビデオ信号から、時間区間に移動体が移動した範囲を少なくとも含む第２のフレーム解像度を有する上記時間区間分の第２のビデオ信号が得られる。この第２のビデオ信号は、上記時間区間に移動体が移動した矩形の範囲を含む範囲を第１のビデオ信号の映像に対してズームインした映像となる。
【００５９】
ビデオ出力部１１０より出力されたHD-SDI信号は、外部の例えばHD放送機器等に、ビデオ入力部１０１に入力される第１のビデオ信号と同じフレームレートで伝送される。
【００６０】
クリップ記憶部１１１は、切り出しビデオ生成部１０９によって生成された第２のフレーム解像度を有する第２のビデオデータをファイル化してランダムアクセス可能な状態のビデオクリップとして記憶する。
【００６１】
［時間区間の開始／終了時刻の設定方法］
サッカーなどのスポーツのライブ放送では、コーナーキックやフリーキックなどの注目プレイのビデオクリップを迅速に作成して視聴者に提供できることが望まれる。そこで、本ビデオ処理装置１００は、競技が進行する中で、ビデオデータを切り出す時間区間の開始と終了の各時刻を操作者がリアルタイムに指定できるように構成されている。
【００６２】
図４は、ビデオデータを切り出す時間区間の開始と終了の各時刻を設定する時間区間設定部１２０の構成を示すブロック図である。
時間区間設定部１２０は、時刻提供部１２１と、開始時刻トリガ受信部１２２と、終了時刻トリガ受信部１２３とを有する。
【００６３】
時刻提供部１２１は、時計機能を有し、ビデオ入力部１０１に入力された第１のビデオ信号に付加されたタイムコード、あるいはインターネット上の時刻サーバにアクセスして取得した時刻に時計機能を同期させる。
【００６４】
開始時刻トリガ受信部１２２は、ビデオデータを切り出す時間区間の開始の時刻を指定する外部からのトリガを受けると、時刻提供部１２１に時刻を問い合わせ、時刻提供部１２１から応答された時刻を示すタイムコードを指定開始時刻記憶部１０７に設定する。
【００６５】
終了時刻トリガ受信部１２３は、ビデオデータを切り出す時間区間の終了の時刻を指定する外部からのトリガを受けると、時刻提供部１２１に時刻を問い合わせ、時刻提供部１２１から応答された時刻を示すタイムコードを指定終了時刻記憶部１０８に設定する。
【００６６】
外部のトリガを発生させる方法としては、操作者がマニュアルでトリガを入力する方法のほか、例えばコーナーキックやフリーキックなどの注目プレイが行われることを第１のビデオ信号に対する画像認識や競技場に設置されたセンサーにより検出することによってトリガを発生する方法などがある。
【００６７】
このような時間区間設定部１２０を設けたことによって、ビデオデータを切り出す時間区間の開始と終了の各時刻をリアルタイムで指定することができ、ビデオクリップを迅速に作成して視聴者に提供できる。
【００６８】
［ビデオ処理システム１０の構成とビデオ処理装置１００のより具体的な構成］
図５は、第１の実施形態のビデオ処理装置１００を用いたビデオ処理システム１０の構成とビデオ処理装置１００のより具体的な構成を示すブロック図である。
【００６９】
ビデオ処理システム１０は、主にカメラ１と、位置情報生成装置１４０と、ビデオ処理装置１００からなる。
ビデオ処理装置１００はコンピュータ１３０により実現可能である。
コンピュータ１３０は、CPU（Central Processing Unit）１３１、ROM（Read Only Memory）１３２、RAM（Random Access Memory）１３３、GPU（Graphics Processing Unit）１３４、操作入力部１３５、ディスプレイ１３６、ストレージデバイス１３７、ネットワークインタフェース１３８、バス回路１３９などを備える。コンピュータ１３０は、さらに、ビデオ入力部１０１である第１のビデオ信号の入力インタフェース、位置情報入力部１０３である位置情報の入力インタフェース、ビデオ出力部１１０である第２のビデオ信号の出力インタフェースなどを備える。
【００７０】
CPU１３１は、コンピュータ１３０のメインメモリとして用いられるRAM１３３に格納されたプログラムを実行することによって、上記のビデオ処理装置１００の少なくとも変換部１０５、切り出し領域算出部１０６、切り出しビデオ生成部１０９などとして動作する。
【００７１】
RAM１３３は、コンピュータ１３０のメインメモリとして用いられる。メインメモリは、上記のビデオ処理装置１００のビデオ記憶部１０２、位置情報記憶部１０４、指定開始時刻記憶部１０７および指定終了時刻記憶部１０８などとしても用いられる。
【００７２】
GPU１３４は、CPU１３１と共に動作して、ビデオデータの各種編集処理を行う。すなわち、GPU１３４は上記のビデオ処理装置１００の例えば切り出しビデオ生成部１０９におけるビデオデータの拡大処理および縮小処理などにも用いられてもよい。
【００７３】
操作入力部１３５は、キーボード、マウス、マイクロホンなどの、操作者が各種の情報や指令をコンピュータ１３０に入力するためのインタフェースである。操作入力部１３５は、上記の時間区間設定部１２０に、操作者がビデオデータを切り出す時間区間の開始の時刻を指定するトリガを入力するための手段として用いられてよい。
【００７４】
ディスプレイ１３６は、液晶ディスプレイなど、操作者に各種の情報を提示するためのインタフェースである。
【００７５】
ストレージデバイス１３７は、例えばHDD（Hard Disk Drive）やSSD（Solid State Drive）などの大容量の不揮発性記憶装置である。ストレージデバイス１３７は、上記のクリップ記憶部１１１などとして用いられる。また、第１のビデオ信号の第１のビデオデータ、第１のビデオデータから切り出されたビデオデータ、さらには第２のフレーム解像度を有する第２のビデオデータの記憶領域として用いられてもよい。
【００７６】
ネットワークインタフェース１３８は、LAN（Local Area Network）、WAN（Wide Area Network）などのネットワーク２０との接続を処理するインタフェースである。
【００７７】
［位置情報生成装置１４０の構成］
次に、ビデオ処理システム１０に属する位置情報生成装置１４０の構成について説明する。
位置情報生成装置１４０は、各移動体の位置情報を周期的に生成し、生成された位置情報にタイムコードを付加してビデオ処理装置１００に送信する装置である。位置情報を供給する周期は例えば0.2秒程度でよい。但し、この周期は短いほど好ましい。
【００７８】
位置情報生成装置１４０は、画像認識部１４１、移動体ＧＰＳ情報受信部１４２、センサー出力受信部１４３および位置情報算定部１４４などで構成される。
【００７９】
画像認識部１４１は、第１のビデオ信号の被写体における対象の移動体（ボール３と各競技者４）の位置情報（第１のビデオ信号の画枠１１内の座標系における位置情報）を画像認識技術により算出し、位置情報算定部１４４に出力する。画像認識部１４１は、例えば、0.2秒程度の周期で各移動体の位置情報を算出し、認識対象のフレームのタイムコードを上記位置情報に付加して位置情報算定部１４４に出力する。
【００８０】
移動体ＧＰＳ情報受信部１４２は、図１に示したように、例えば各競技者４に取り付けられたＧＰＳ発信機５から発信された時刻データ付きの移動体ＧＰＳ情報を受信し、位置情報算定部１４４に出力する。
【００８１】
センサー出力受信部１４３は、図１に示したように、競技エリア２のゴールラインなどの特定の位置を対象の各移動体が通過したことを検出する移動体通過センサー６の時刻データ付きの通過検出データを受信し、位置情報算定部１４４に通過検出情報を送信する。
【００８２】
位置情報算定部１４４は、画像認識部１４１、移動体ＧＰＳ情報受信部１４２およびセンサー出力受信部１４３から受信した各情報を個別にまたは総合的に処理することによって移動体の位置情報を算定する。
【００８３】
位置情報算定部１４４による画像認識部１４１、移動体ＧＰＳ情報受信部１４２およびセンサー出力受信部１４３から受信した各情報の総合的な処理の例を説明する。
【００８４】
１．位置情報決定部１４４は、画像認識部１４１によって認識されたボール３などの移動体のタイムコード付きの位置情報を、センサー出力受信部１４３より受信した時刻データ付きの通過検出データ（例えば、ボール３などの移動体が競技エリア２のエンドラインを何時通過したかを示すデータなど）と照合するなどして確定する。
【００８５】
２．位置情報算定部１４４は、移動体ＧＰＳ情報受信部１４２より供給された競技者４の競技エリア２の地上座標系における時刻データ付き位置情報を第１のビデオ信号の画枠の座標系の位置情報に変換し、これを画像認識部１４１によって認識された各競技者４のタイムコード付きの位置情報や、センサー出力受信部１４３より供給された時刻データ付きの通過検出データと照合するなどして、各競技者４の位置情報を確定する。
【００８６】
なお、画像認識部１４１、移動体ＧＰＳ情報受信部１４２およびセンサー出力受信部１４３の間で相互に情報を交換するようにしてもよい。これにより、各々の方法による位置情報の計算精度の向上を期待できる。
【００８７】
［ビデオクリップ作成処理］
次に、ビデオ処理装置１００によるビデオクリップ作成処理について説明する。
図６は、ビデオクリップ作成処理の前段のビデオ入力処理のフローチャートである。
図７は、ビデオクリップ作成処理の前段の位置情報入力処理のフローチャートである。
図８は、ビデオクリップ作成処理のフローチャートである。
【００８８】
（ビデオ入力処理）
図６に示すように、ビデオ入力部１０１は、カメラ１より伝送されたタイムコード付きの第１のフレーム解像度を有する第１のビデオ信号を入力する（ステップＳ１０１）。ビデオ入力部１０１は、入力した第１のビデオ信号における各フレームの第１のビデオデータを、ビデオ信号に付加されたタイムコードと対応付けてビデオ記憶部１０２に記憶する（ステップＳ１０２）。
【００８９】
（位置情報入力処理）
図７に示すように、位置情報入力部１０３は、位置情報生成装置１４０からタイムコードが付加された移動体の位置情報を受信する（ステップＳ２０１）。ここで、位置情報に付加されたタイムコードは、ビデオ信号に付加されたタイムコードと同期したものであることが好ましいが、略同期したものであってもよい。位置情報入力部１０３は、受信した移動体の位置情報をタイムコードと対応付けてメインメモリ内の位置情報記憶部１０４に記憶する（ステップＳ２０２）。
【００９０】
（ビデオクリップ作成処理）
図８に示すように、ビデオ処理装置１００のコンピュータ１３０において、CPU１３１（時間区間設定部１２０の時刻提供部１２１）は、ビデオ入力部１０１に入力された第１のビデオ信号に付加されたタイムコードが示す時刻に、内蔵時計（リアルタイム・クロック）の時刻を同期させる（ステップＳ３０１）。なお、タイムコードは、ネットワークインタフェース１３８を用いてネットワーク２０上の時刻サーバから取得してもよい。あるいは、カメラ１と通信してカメラ１の内蔵時計と同期させてもよい。
【００９１】
次に、CPU１３１（時間区間設定部１２０の開始時刻トリガ受信部１２２）は、ビデオデータの切り出し開始時刻を指定するためのトリガの入力を待つ（ステップＳ３０２）。
【００９２】
ビデオデータの切り出し開始時刻を指定するためのトリガが入力されると、CPU１３１（開始時刻トリガ受信部１２２）は、そのトリガが入力された時刻を時刻提供部１２１に問い合わせ、応答された時刻を示すタイムコードt1をRAM１３３（指定開始時刻記憶部１０７）に切り出し開始時刻Tsとして記憶させる（ステップＳ３０３）。
【００９３】
続いて、CPU１３１（時間区間設定部１２０の終了時刻トリガ受信部１２３）は、ビデオデータの切り出し終了時刻を指定するためのトリガの入力を待つ（ステップＳ３０４）。
【００９４】
ビデオデータの切り出し終了時刻を指定するためのトリガが入力されると、CPU１３１（終了時刻トリガ受信部１２３）は、そのトリガが入力された時刻を時刻提供部１２１に問い合わせ、応答された時刻を示すタイムコードt2をRAM１３３（指定終了時刻記憶部１０８）に切り出し終了時刻Teとして記憶させる（ステップＳ３０５）。
【００９５】
CPU１３１（切り出し領域算出部１０６）は、RAM１３３（指定開始時刻記憶部１０７）からタイムコードt1を読み出すとともにRAM１３３（指定終了時刻記憶部１０８）からタイムコードt2を読み出す。CPU１３１（切り出し領域算出部１０６）は、タイムコードt1からタイムコードt2までの時間区間の位置情報を位置情報シーケンスPaとしてRAM１３３（位置情報記憶部１０４）から読み出す（ステップＳ３０６）。タイムコードt1からタイムコードt2までの時間区間とは、t1以後からt2前（t2は含まない。）までの時間区間である。以降これをt1-t2区間と表記する。他の時間区間についても同様に表記する。
【００９６】
CPU１３１（変換部１０５）は、位置情報シーケンスPaにおける各位置情報（移動体の地上座標系における位置情報）を第１のビデオ信号の画枠の座標系の位置情報（位置情報シーケンスPp）に変換する（ステップＳ３０７）。
【００９７】
CPU１３１（切り出し領域算出部１０６）は、位置情報シーケンスPpにおける各位置情報が示す各々の位置を含む矩形（t1-t2区間に移動体が移動した矩形範囲）を算出する。この矩形は、より具体的には、各々の位置に外接する矩形であってよい。
【００９８】
CPU１３１（切り出し領域算出部１０６）は、算出した矩形に所定のマージンDmを加えた矩形R12を算出する（ステップＳ３０８）。
【００９９】
CPU１３１（切り出し領域算出部１０６）は、算出された矩形R12を含み、かつ第２のフレーム解像度の縦横比を有する矩形R0を切り出し領域として算出する（ステップＳ３０９）。
【０１００】
CPU１３１（切り出しビデオ生成部１０９）は、RAM１３３（ビデオ記憶部１０２）から、t1-t2区間の各フレームを読み出し、各フレームから切り出し領域R0にあたるビデオデータを切り出す。さらに、CPU１３１（切り出しビデオ生成部１０９）は、切り出された各ビデオデータを、必要に応じて第２のフレーム解像度となるように拡大（画素補間）または縮小（画素間引き）する。これにより、指定された時間区間に移動体が動いた範囲を少なくとも含む、第２のフレーム解像度の第２のビデオデータが得られる（ステップＳ３１０）。
【０１０１】
CPU１３１は、t1-t2区間の第２のフレーム解像度の第２のビデオデータをビデオクリップとするためにファイル化し、ストレージデバイス１３７（クリップ記憶部１１１）に保存する（ステップＳ３１１）。
【０１０２】
［遅延ライブ処理］
以上、指定された時間区間のビデオクリップを作成する処理について説明したが、本ビデオ処理装置１００は、入力された第１のフレーム解像度の第１のビデオ信号から、予め設定された時間区間毎に、移動体が移動した範囲を含む第２のフレーム解像度を有する第２のビデオ信号を連続的に生成することが可能である。
【０１０３】
この場合、時間区間の長さを例えば10秒とすると、本ビデオ処理装置１００に第１のビデオ信号が入力されてから第２のビデオ信号が出力されるまでに、常に10秒以上の遅延が発生する。但し、この程度の遅延時間であれば、概ねライブ放送においては問題はない。被写体の種類（競技）により、好適な時間区間の長さは異なるが、例えば画枠の中で移動する移動体（ボール）の速度などを考慮して、１秒から２０秒の間で設定する構成が可能である。この第１のビデオ信号から予め指定された間隔の時間区間毎に、移動体が移動した範囲の第２のビデオ信号を連続的に生成する処理を以下では「遅延ライブ処理」と呼ぶこととする。なお、時間区間を長めにすることで、画枠が安定する時間が長くなり、視聴者の疲れを減らすことができる。逆に時間区間を短めにすると、より細部を鑑賞・観戦でき視聴者の興奮度を上げることができる。このような調整ができることは、本技術の効果の一つである。
【０１０４】
本明細書では、遅延ライブ処理として２種類の遅延ライブ処理Ａと遅延ライブ処理Ｂを開示する。
【０１０５】
［遅延ライブ処理Ａ］
図９は、遅延ライブ処理Ａのタイミング図である。
同図の最下部に示すt1,t2,t3,・・・は時計上のタイムコードの時間軸を示している。t1,t2,t3,・・・の各々の間隔は例えば5秒、10秒などである。
【０１０６】
t1-t2区間はt1以後からt2前（t2は含まない。）までの区間を意味する。同様に、t2-t3区間はt2以後からt3前（t3は含まない。）までの区間を意味する。
【０１０７】
まず、t1-t2区間の第１のビデオ信号の受信および記憶が時刻t1からやや遅れて開始される。また、t1-t2区間の移動体の位置情報の受信および記憶がt1-t2区間の第１のビデオ信号の受信および記憶の開始にやや遅れて開始される。
【０１０８】
t1-t2区間の位置情報の受信および記憶が終了すると、t1-t2区間の位置情報を第１のビデオ信号の画枠の座標系の位置情報に変換する処理が開始される。
【０１０９】
変換処理が完了すると、この変換されたt1-t2区間の位置情報をもとに切り出し領域が算出される。
【０１１０】
切り出し領域が算出されると、t1-t2区間の第１のビデオ信号の各フレームから当該切り出し領域にあたるビデオデータが切り出される。ビデオデータが切り出される毎に、そのビデオデータが第２のフレーム解像度となるように拡大または縮小されて、第２のビデオデータとなる。
【０１１１】
第２のフレーム解像度とされた第２のビデオデータは、生成されたものから順に、ビデオ出力部１１０によって第２のビデオ信号にエンコードされて出力される。
【０１１２】
t2-t3区間の第１のビデオ信号の受信および記憶は、先行するt1-t2区間の第１のビデオ信号の受信および記憶が終了次第に開始される。同様に、t2-t3区間の移動体の位置情報の受信および記憶も、先行するt1-t2区間の移動体の位置情報の受信および記憶が終了次第に開始される。そして、位置情報の座標系の変換、切り出し領域の算出、ビデオデータの切り出し、第２のビデオ信号の出力が、先行するt1-t2区間の処理と同様に繰り返される。
【０１１３】
図１０は、上記２つの時間区間（t1-t2区間とt2-t3区間）の処理において生成される２つの切り出し領域の例を示す図である。
【０１１４】
図１０において、実線で示される全体の矩形はカメラ１により撮影された第１のビデオ信号の全体の画枠１１であり、破線で示される矩形領域１２がt1-t2区間に対する切り出し領域であり、同じく破線で示される矩形領域１３がt2-t3区間に対する切り出し領域である。
【０１１５】
［切り出し領域の算出方法］
CPU１３１（切り出し領域算出部１０６）は、t1-t2区間の位置情報をもとにt1-t2区間の切り出し領域１２を算出する。この例ではt1-t2区間に位置情報が指す３つの位置P1,P2,P3が存在する。CPU１３１（切り出し領域算出部１０６）は、これら３つの位置P1,P2,P3を含む矩形に所定のマージンを加えた矩形を算出し、このマージンを加えた矩形を含む、第２のフレーム解像度の縦横比の領域を切り出し領域１２として生成する。
【０１１６】
同様に、CPU１３１（切り出し領域算出部１０６）は、t2-t3区間の位置情報をもとにt2-t3区間の切り出し領域１３を算出する。この例ではt2-t3区間に位置情報が指す３つの位置P4,P5,P6が存在する。CPU１３１（切り出し領域算出部１０６）は、これら３つの位置P4,P5,P6を含む矩形に所定のマージンを加えた矩形を算出し、このマージンを加えた矩形を含む、第２のフレーム解像度の領域を切り出し領域１３とする。
【０１１７】
さらに、詳細に切り出し領域の算出方法を説明する。
図１１は、t1-t2区間の３つの位置P1,P2,P3によって決まるマージン付加前の矩形領域１２Ａを示している。
【０１１８】
図１２は、矩形領域１２Ａにマージンを付加した矩形領域１２Ｂを示している。矩形領域１２Ａの左右にマージンＭｈが付加され、上下にマージンＭｖが付加される。ここで、マージンＭｈとマージンＭｖは同一の値でもよいし、異なる値であってもよい。
【０１１９】
図１３は、マージンを付加した矩形領域１２Ｂを広げて、第２のフレーム解像度の縦横比に調整することによって作成された切り出し領域１２を示している。
【０１２０】
なお、フルHDの縦横比は16:9である。マージンを付加した矩形領域１２Ｂと切り出し領域１２は互いに中心を一致させた位置関係としている。これら限らず、マージンを付加した矩形領域１２Ｂに対して、移動体が移動する方向またはその逆方向に切り出し領域１２をずらしてもよい。
【０１２１】
マージンの付加や縦横比の調整によって切り出し領域が第１のビデオ信号の全体の画枠１１から計算上はみ出てしまう場合には、その全体の画枠１１に収まるように、マージンの付加の仕方を変えたり、マージンを付加した矩形領域１２Ｂに対する切り出し領域１２の位置関係を変えてもよい。マージンは、例えば垂直方向は被写体領域の２ｍに相当する長さ以上とし、水平方向は被写体領域の１ｍに相当する長さ以上とすることで、移動体に接している人間が欠けないようにできる。あるいは、切り出し領域の中央から端までの１／３がマージンとなるように単純に決めてもよい。
【０１２２】
［遅延ライブ処理Ｂ］
図１４は、遅延ライブ処理Ｂを示すタイミング図である。
ここでは連続する３つの時間区間（t1-t2区間、t2-t3区間、t3-t4区間）が示されている。
【０１２３】
この遅延ライブ処理Ｂでは、t1-t3区間の位置情報をもとに算出された切り出し領域を使って、t1-t2区間の第１のビデオ信号のフレームからのビデオデータの切り出しが行われる。すなわち、t1-t2区間から見て未来のt2-t3区間を含むt1-t3区間の位置情報を用いて算出された切り出し領域を使ってt1-t2区間の第１のビデオ信号のフレームからのビデオデータの切り出しが行われるので、移動体であるボール３が移動していく先の領域を含めた第２のビデオ信号が得られる。
【０１２４】
次のサイクルでも同様に、t2-t4区間の位置情報をもとに算出された切り出し領域を使って、t2-t3区間の第１のビデオ信号のフレームからのビデオデータの切り出しが行われ、第２のビデオ信号が出力される。
以降同様に処理が繰り返される。
【０１２５】
図１５は、上記の遅延ライブ処理Ｂでt1-t3区間の位置情報をもとに算出された切り出し領域を示す図である。
この例ではt1-t2区間に位置情報が指す３つの位置P1,P2,P3が存在し、t2-t3区間に位置情報が指す３つの位置P4,P5,P6が存在する。
【０１２６】
CPU１３１（切り出し領域算出部１０６）は、t1-t3区間に存在する位置情報をもとにt1-t2区間の切り出し領域１２を算出する。より詳細には、CPU１３１（切り出し領域算出部１０６）は、t1-t3区間に存在する６つの位置P1,P2,P3,P4,P5,P6を含む矩形に所定のマージンを付加し、マージンを加えた矩形を含む、第２のフレーム解像度の縦横比を有する領域を切り出し領域１４として算出する。この切り出し領域１４は、t1-t2区間の第１のビデオ信号の各フレームからビデオデータを切り出すために使用される。言い換えれば、ボール３がP1の位置からP3の位置にある時間区間に使用される。したがって、t1-t2区間の最後の時刻より、ボール３が移動していく先の領域を含めたビデオデータが得られる。
【０１２７】
また、t1-t2区間とt2-t3区間の前半区間に存在する位置情報をもとにt1-t2区間の切り出し領域１４を算出し、t2-t3区間とt3-t4区間の前半区間に存在する位置情報をもとにt2-t3区間の切り出し領域１４を算出してもよい（図２１参照）。あるいは、t1-t2区間の位置情報とt2-t3区間の先頭より１以上の所定の数の位置情報をもとにt1-t2区間の切り出し領域１４を算出してもよい。
【０１２８】
また、t1-t(1+n)区間に存在する位置情報をもとにt1-t2区間の切り出し領域１４を算出してもよい。nは１以上の整数である。
【０１２９】
［遅延ライブ処理Ｂの動作詳細］
次に、本ビデオ処理装置１００での遅延ライブ処理Ｂの動作の詳細を説明する。
図１６は、この遅延ライブ処理Ｂの手順を示すフローチャートである。
【０１３０】
なお、この遅延ライブ処理Ｂの動作詳細では、切り出し領域のサイズが変化する際の視聴者に与え得る違和感を緩和するための処理などが新たに追加されている。
【０１３１】
第１のビデオ信号の受信処理および位置情報の受信処理について前述したビデオクリップ作成時と同じであるため、ここでは説明を省く。
【０１３２】
まず、CPU１３１（切り出し領域算出部１０６）は、反復動作のための変数の初期化を行う。反復動作のための変数としては、切り出し領域のサイズRvと、切り出し領域のサイズを変化させるフレーム数である補間フレーム数Nがある。これらの変数の初期化は、例えば、Rvを第１のビデオ信号の全体画枠１１のフレーム解像度の値とし、Nを4とすることなどによって行われる（ステップＳ４０１）。
【０１３３】
次に、CPU１３１（時間区間設定部１２０の時刻提供部１２１）は、ビデオ入力部１０１に入力された第１のビデオ信号に付加されたタイムコードが示す時刻に、内蔵時計（リアルタイム・クロック）の時刻を同期させる（ステップＳ４０２）。なお、時刻の情報は、ネットワークインタフェース１３８を用いてネットワーク２０上の時刻サーバから取得してもよい。あるいは、カメラ１と通信してカメラ１の内蔵時計と同期させてもよい。
【０１３４】
次に、CPU１３１（時刻提供部１２１）は、内蔵時計の現在時刻を示すタイムコードt1を、RAM１３３（指定開始時刻記憶部１０７）に切り出し開始時刻Tsとして記憶させる（ステップＳ４０３）。
【０１３５】
なお、上記のようにCPU１３１が動作する一方で、カメラ１より第１のビデオ信号が本ビデオ処理装置１００にビデオ入力部１０１から入力され、RAM１３３（ビデオ記憶部１０２）に記憶される。
【０１３６】
CPU１３１（時刻提供部１２１）は、Ts+Tdの時刻を示すタイムコードt2を、RAM１３３（指定終了時刻記憶部１０８）に切り出し終了時刻Teとして記憶させる（ステップＳ４０４）。ここで、Tdは、切り出し領域を算出するための固定の時間区間長であり、例えば、5秒、10秒などである。
【０１３７】
CPU１３１（切り出し領域算出部１０６）は、Te+Tdの時刻までの位置情報がRAM１３３（位置情報記憶部１０４）に記憶されるまで待つ（ステップＳ４０５）。
【０１３８】
CPU１３１（切り出し領域算出部１０６）は、Te+Tdの時刻までの位置情報がRAM１３３（位置情報記憶部１０４）に記憶されたところで、切り出し開始時刻TsからTe +Tdまでの時間区間の複数の位置情報を位置情報シーケンスPbとしてRAM１３３（ビデオ記憶部１０２）から読み出す（ステップＳ４０６）。TsからTe+Tdまでの時間区間は、時刻Ts以後で、Te+Td前（Te+Tdは含まない。）までの時間区間である。
【０１３９】
CPU１３１（変換部１０５）は、位置情報シーケンスPbにおける各位置情報（移動体の地上座標系における位置情報）を第１のビデオ信号の画枠の座標系の位置情報に変換する（ステップＳ４０７）。変換された位置情報の系列を位置情報シーケンスPqとする。
【０１４０】
CPU１３１（切り出し領域算出部１０６）は、位置情報シーケンスPqにおける各位置情報が示す各々の位置を含む矩形を算出する。CPU１３１（切り出し領域算出部１０６）は、算出した矩形に所定のマージンDmを加えた矩形R13を算出する（ステップＳ４０８）。
【０１４１】
CPU１３１（切り出し領域算出部１０６）は、算出された矩形R13を含み、かつ第２のフレーム解像度の縦横比を有する矩形Rwを切り出し領域として算出する（ステップＳ４０９）。
【０１４２】
次に、切り出し領域の位置やサイズの急変に対して視聴者が違和感を覚えることを緩和するために、CPU１３１（切り出し領域算出部１０６）は、切り出し領域を矩形Rvから矩形Rwに(N+1)フレームかけて徐々に変化させるためのN個の補間矩形を算出する（ステップＳ４１０）。
【０１４３】
図１７は、N個の補間矩形の例を示す図である。
矩形Rvから矩形Rwにかけて時間順に作成されるN個の矩形R1,R2,R3,R4が補間矩形である。
【０１４４】
CPU１３１（切り出しビデオ生成部１０９）は、RAM１３３（ビデオ記憶部１０２）より、切り出し開始時刻TsからN個のフレームを読み出し、切り出し開始時刻Tsのフレームから順番に、そこからR1,R2,R3,R4,Rwの順番に矩形領域を適用してビデオデータを各々切り出す（ステップＳ４１１）。
【０１４５】
その後、CPU１３１（切り出しビデオ生成部１０９）は、RAM１３３（ビデオ記憶部１０２）より、時刻Te前までの各フレームを読み出し、これらのフレームから、矩形Rwの領域にあたるビデオデータを各々切り出す（ステップＳ４１２）。
【０１４６】
CPU１３１（切り出しビデオ生成部１０９）は、各フレームから切り出された各ビデオデータを、必要に応じて、出力用の所定のフレーム解像度となるように拡大（画素補間）または縮小（画素間引き）する。これにより、時刻Tsから時刻Teの時間区間に移動体が動いた範囲を少なくとも含む第２のフレーム解像度を有する第２のビデオデータが得られる。
【０１４７】
第２のフレーム解像度とされた第２のビデオデータは、生成されたものから順に、ビデオ出力部１１０によって第２のビデオ信号にエンコードされて出力される（ステップＳ４１３）。
【０１４８】
最後に、CPU１３１は、次の処理サイクルのための準備として、切り出し開始時刻TsをTeフレームに対応する値で更新し、切り出し開始時刻TeをTs+Tdの値で更新し、さらに切り出し領域の変数Rvの値をRwの値で更新する（ステップＳ４１４）。
【０１４９】
なお、Te時刻に正確に一致するタイムコードのフレームが存在しない場合は、それ以降で最も近いタイムコードの時刻をTsとする。
【０１５０】
図１６のフローチャートとその説明では、時間区間毎の第２のビデオデータは、この時間区間分の生成が完了してからビデオ出力部１１０に供給されることとしたが、第２のビデオデータのフレームが作成される都度、ビデオ出力部１１０に供給されてもよい。このようにすることによって、第１のビデオ信号が入力されてから第２のビデオ信号が出力するまでの遅延時間を減らすことができる。
【０１５１】
図１６のフローチャートとその説明では、各処理を順次行う場合を想定したが、パイプライン処理が可能な処理については、用意されたデータから順に、並行して行うようにしてもよい。
【０１５２】
さらに、上記の説明では、例えば、t1-t2区間をt1以後からt2前（t2を含まない。）とし、t2-t3区間をt2以後からt3前（t2を含まない。）としたが、t1-t2区間をt1以後からt2以前（t2を含む。）とし、t2-t3区間をt2以後からt3以前（t3を含む。）のように、境界の時刻を前後の各単位区間で共有してもよい。
以上の動作により、第１のビデオ信号の受信とは別に外部から遅れて到着する位置情報を用いて、かつ、時刻情報を有効に利用し、切り出し領域が算出される。例えば競技場のセンサーによるボールの位置の検知結果などを有効に利用することが可能である。
【０１５３】
次に、上記の実施形態のビデオ処理装置１００の変形例および補足の説明を行う。
【０１５４】
＜変形例１＞
［イベント情報に基づく時間区間の指定］
上記の実施形態のビデオ処理装置１００のCPU１３１は、外部のイベント情報発生装置からのイベント情報を受けて、第１のビデオ信号の画枠においてそのイベント情報に対応する領域を含む領域を切り出し領域を一意に設定してもよい。
【０１５５】
イベント情報とは、例えば、サッカー競技にあってはコーナーキック、ペナルティキック、フリーキックなど、注目プレイが行われる場所や注目プレイの種類などをビデオ処理装置１００に通知する情報である。例えば、コーナーキックの場合、このコーナーキックから始まる一連のプレイが行われるゴールエリア付近を含めたエリアを特定する情報などを含むイベント情報がビデオ処理装置１００のCPU１３１に通知される。
なお、このエリアを特定する情報は、例えば、競技エリア２を複数のエリアに区分し、各々のエリアに割り当てられるIDなどであってよい。
【０１５６】
図５に示すように、イベント情報は、例えばビデオ処理装置１００とネットワーク２０を通じて通信可能な外部の情報処理装置などのイベント情報発生装置１６０からビデオ処理装置１００に送信されるものであってよい。このイベント情報発生装置１６０は、例えば、操作者からの指令に従って、イベント情報をネットワーク２０を通じてビデオ処理装置１００に送信する。ビデオ処理装置１００のCPU１３１は、このイベント情報を受信すると、例えば、そのイベントの情報に対応する領域を含む領域を切り出し領域として設定する。
【０１５７】
また、CPU１３１は、例えば、外部からのイベント終了を指示する情報を受けて、切り出し領域の前記設定を解除し、移動体の位置情報をもとに切り出し領域を算出する動作モードに戻る。
【０１５８】
また、イベント情報発生装置１６０からは、操作者からの指令のみならず、第１のビデオ信号に対する画像認識あるいはセンサーからの情報によって注目プレイが行われることを判定し、イベント情報をネットワーク２０を通じてビデオ処理装置１００に送信するものであってよい。
【０１５９】
＜変形例２＞
［複数のカメラを用いた方法］
図１８は、複数のカメラ１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈを競技エリア２の周囲に配置した例である。
この例では、競技エリア２の周囲に、競技エリア２を４方向から各々俯瞰するための４機のカメラ１ａ、１ｂ、１ｃ、１ｄと、競技エリア２の一方のゴールエリア付近の領域を競技エリア２の短辺に沿った方向であるＹ１方向およびその逆方向（Ｙ２方向）から撮影可能な２機のカメラ１ｅ、１ｇと、競技エリア２の他方のゴールエリア付近の領域をＹ方向およびその逆方向（Ｙ２方向）から撮影可能な２機のカメラ１ｆ、１ｈの、計８機のカメラが配置されている。
【０１６０】
俯瞰用のカメラ１ａ、１ｂ、１ｃ、１ｄは例えば８Ｋ解像度のカメラであり、ゴールエリア撮影用のカメラ１ｅ、１ｆ、１ｇ、１ｈ（特定領域用カメラ）は第２のフレーム解像度と同じ解像度を有するカメラ（例えばHD解像度カメラなど）とされる。
【０１６１】
ここで、１機の俯瞰用のカメラ１ａと、２機のゴールエリア撮影用のカメラ１ｅ、１ｆの運用を想定する。これらのカメラ１ａ、１ｅ、１ｆは、競技エリア２の短辺方向（Ｙ２方向）の外側に配置されている。
【０１６２】
ビデオ処理装置１００のビデオ入力部１０１は、上記８機のカメラ１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈからビデオ信号を入力するチャンネルをCPU１３１からの指示により切り替える切替部１０１ａを有する。切り替え動作は、ビデオ信号のブランキング区間（Vertical blanking interval）に行われる。
【０１６３】
なお、このチャンネルの切替部１０１ａは、８機のカメラ１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈとビデオ処理装置１００のビデオ入力部１０１との各ビデオ信号ラインとの間に設けられた切替装置に代えることが可能である。
【０１６４】
ビデオ処理装置１００のコンピュータ１３０におけるRAM１３３には、２機のゴールエリア撮影用のカメラ１ｅ、１ｆの各々の画枠内に存在する、ゴールエリアを含む所定領域１５の、競技エリア２内の地上座標系の位置情報が記憶されている。ビデオ処理装置１００のCPU１３１（切り出し領域算出部１０６）は、指定された時間区間における移動体の複数の位置がすべて２機のゴールエリア撮影用のカメラ１ｅ、１ｆのうちいずれかのカメラの画枠内に含まれるという条件を満足するかどうかを判断する。この条件を満足する場合、CPU１３１は、その一方のゴールエリア撮影用のカメラのビデオ信号（第３のビデオ信号）を選択する。
【０１６５】
ゴールエリア撮影用のカメラ１ｅ、１ｆが第２のフレーム解像度と同じ例えばHD解像度のカメラであるため、コンピュータ１３０のCPU１３１は、それらのカメラ１ｅ、１ｆから入力されたビデオ信号の全体画枠のビデオデータをそのまま解像度を変えずにビデオ出力部１１０に供給する。
【０１６６】
上記条件を満足しない場合は、CPU１３１（切り出し領域算出部１０６）は、俯瞰用のカメラ１ａのビデオ信号（第１のビデオ信号）を選択し、既述の切り出し領域の算出、ビデオデータの切り出し、拡大／縮小を行う。
【０１６７】
このため、ゴールエリア撮影用のカメラ１ｅ、１ｆの選択時と俯瞰用のカメラ１ａの選択時とではビデオ信号の入力から第２のビデオ信号が出力されるまでに要する時間に差が生じる。そこで、ゴールエリア撮影用のカメラ１ｅ、１ｆが選択された場合はCPU１３１は、上記の時間差の分だけビデオデータをビデオ処理装置１００内でバッファリングしてビデオ出力部１１０に供給するようにする。これにより、ゴールエリア撮影用のカメラ１ｅ、１ｆのビデオ信号と俯瞰用のカメラ１ａの第１のビデオ信号が時間区間内に切り替わったときに出力される第２のビデオが途切れることがなくなる。
【０１６８】
なお、ここでは、位置情報入力部１０３に入力される外部からの位置情報をもとに上記の条件を満足したかどうかを判断して、ゴールエリア撮影用のカメラ１ｅ、１ｆと俯瞰用のカメラ１ａとを切り替えることとしたが、外部から競技に関するイベント情報をリアルタイムに受信し、このイベントの種類に応じて、ゴールエリア撮影用のカメラ１ｅ、１ｆと俯瞰用のカメラ１ａとを切り替えてもよい。
【０１６９】
俯瞰用の４機のカメラ１ａ、１ｂ、１ｃ、１ｄの運用を想定した場合のカメラの選択方法としては、例えば、以下が挙げられる。
【０１７０】
CPU１３１（切り出し領域算出部１０６）は位置情報シーケンスをもとに移動体の移動方向を判定する。CPU１３１は、移動体の移動先の方向に配置された俯瞰用のカメラの第１のビデオ信号を選択する。例えば、図１９に示すように、指定された時間区間にボール３がＰ１の位置からＰ２の位置に移動されたとする。この場合、ボール３の移動方向はＹ１方向であるため、競技エリア２をＹ１方向の向かい側より撮影する俯瞰用のカメラ１ｂの第１のビデオ信号が選択される。選択された第１のビデオ信号から、同様に切り出し領域の算出、ビデオデータの切り出し、拡大／縮小が行われて第２のビデオ信号が生成される。
【０１７１】
さらに、俯瞰用の４機のカメラ１ａ、１ｂ、１ｃ、１ｄに４機のゴールエリア撮影用のカメラ１ｅ、１ｆ、１ｇ、１ｈが加えられた運用においても、同様の方法で、移動体の移動先の方向に配置されたゴールエリア撮影用のカメラのビデオ信号が選択される。
【０１７２】
これにより、例えば、ボール３に絡んだ競技者４の主に正面側を撮影したビデオデータを含む第２のビデオ信号が得られる。
【０１７３】
なお、カメラは９機以上配置しても構わない。また、競技エリア２を四隅から斜め方向に撮影するカメラを追加してもよい。また第２のフレーム解像度より高い解像度を有するカメラをゴールエリア撮影用のカメラとし、その出力ビデオに対しても切り出しを行わせる構成としてもよい。
【０１７４】
複数のカメラのうち１以上のカメラがカメラマンによってPTZ（雲台）操作される場合であっても本変形例は適用される。この場合、ビデオ処理装置１００のCPU１３１は、第１のビデオ信号の画枠内の座標系における位置情報と競技エリア２内の地上座標系の位置情報との変換をPTZ情報を加味して行う。
【０１７５】
また、カメラマンによる操作によって、そのカメラマンが操作するカメラのビデオ信号をCPU１３１に選択させるように選択命令を通信できるようにしてもよい。
【０１７６】
＜変形例３＞
［変換部を備えないビデオ処理装置］
図２０は、ビデオ処理装置１００Ａの変形例３の構成を示すブロック図である。
【０１７７】
第１の実施形態のビデオ処理装置１００は、移動体の地上座標系における位置情報を第１のビデオ信号の全体画枠の座標系の位置情報に変換する変換部１０５を備える。これに対し、変形例３のビデオ処理装置１００Ａは、変換部２０５を有する外部装置２１０より、移動体の地上座標系から第１のビデオ信号の全体画枠の座標系に変換された位置情報を位置情報入力部１０３Ａが入力するように構成される。
【０１７８】
位置情報入力部１０３Ａに入力された位置情報は位置情報記憶部１０４に記憶される。切り出し領域算出部１０６は、位置情報記憶部１０４から位置情報を読み出し、読み出した位置情報をもとに切り出し領域を算出する。
【０１７９】
また、移動体の位置情報の検出は、ビデオ入力部１０１に入力されるビデオ信号に含まれるビデオデータを解析することによって行うことも可能である。この場合、ビデオ処理装置１００の内外ともに変換部１０５、２０５を省くことができる。
【０１８０】
図２１は、１つの時間区間と次の時間区間の前半に存在する位置情報をもとに切り出し領域を算出する場合であって、かつ、外部から第１のビデオ信号の全体画枠の座標系の位置情報が変形例３のビデオ処理装置１００Ａに入力される場合の遅延ライブ処理のタイミング図である。
【０１８１】
t1-t2区間の位置情報が位置情報記憶部１０４へ格納され、続いてt2-t3区間の中間の時刻t2+1/2までに存在する位置情報が位置情報記憶部１０４に格納されたところで、CPU１３１は、位置情報記憶部１０４からt1-t2区間の位置情報とt2-t3区間の中間の時刻t2+1/2までの位置情報を読み出し、これらの位置情報をもとに切り出し領域を算出する。CPU１３１は、この切り出し領域を使って、t1-t2区間の第１のビデオ信号のフレームからビデオデータを切り出し、第２のフレーム解像度となるように拡大または縮小してビデオ出力部１１０に供給する。以後の時間区間についても同様の処理が行われる。
【０１８２】
すなわち、t2-t3区間の位置情報が位置情報記憶部１０４へ格納され、続いてt3-t4区間の中間の時刻t3+1/2までに存在する位置情報が位置情報記憶部１０４に格納されたところで、CPU１３１は、位置情報記憶部１０４からt2-t3区間の位置情報とt3-t4区間の中間の時刻t3+1/2までの位置情報を読み出し、これらの位置情報をもとに切り出し領域を算出する。CPU１３１は、この切り出し領域を使って、t2-t3区間の第１のビデオ信号のフレームからビデオデータを切り出し、第２のフレーム解像度となるように拡大または縮小してビデオ出力部１１０に供給する。
【０１８３】
＜変形例４＞
［遅延ライブ処理における移動体の位置情報の手動補正］
移動体の位置情報の精度を上げるために、移動体の位置を手動により修正できることが望ましい。
【０１８４】
そこで、ビデオ処理装置１００とネットワークを通じて接続された遠隔地のコンピュータ１５０を用いて、位置情報生成装置１４０により生成された移動体の位置情報を手動により修正できるようにしてもよい。
【０１８５】
遠隔地のコンピュータ１５０は、ビデオ処理装置１００よりネットワーク２０を通じて位置情報生成装置１４０により生成された移動体の位置情報を受信し、時刻情報と対応付けて画像としてモニターに表示する。遠隔地のコンピュータ１５０の修正担当者は、例えば競技をリアルタイムに見ることのできる場所にてこの画像を確認し、実際の競技と見比べるなどして移動体の算出情報の問題をチェックする。問題を発見したならば修正情報を遠隔地のコンピュータ１５０から入力する。入力された修正情報は遠隔地のコンピュータ１５０からネットワーク２０を通じてビデオ処理装置１００に送信される。ビデオ処理装置１００のCPU１３１は、受信した修正情報をもとに、位置情報記憶部１０４に記憶されている該当する位置情報を修正する。
【０１８６】
なお、この遠隔地のコンピュータ１５０を使った修正システムを採用する場合には、人為的な修正操作およびコンピュータ１３０間でのやりとりに必要な時間を加味して、遅延ライブ処理などにおける遅延時間が決められる必要がある。
【０１８７】
＜変形例５＞
［切り出し領域の最小サイズ］
指定の時間区間内にボール３が略静止していたときなどに、切り出し領域は最小サイズの制限を受けて生成される必要がある。例えば、切り出し領域の最小サイズとしては、ボール３とその周囲の競技者４の体の全体が含まれるようなサイズとすることが好ましい。あるいは、拡大による画質劣化を制限するために、切り出し領域の水平画素数（解像度）が、第２のビデオ信号の水平画素数（解像度）の例えば１／２以上になるように最小サイズを定めてもよい。そこで、ビデオ処理装置１００では、切り出し領域の最小サイズが制限されている。計算上求められた切り出し領域のサイズがもし最小サイズよりも小さい場合には、CPU１３１は、そのサイズを規定の最小サイズに修正する。
【０１８８】
ところで、被写体はカメラ１に近い位置にあるほど大きく映り、カメラ１に遠い位置にあるほど小さく映る。このため、単に人間の体の平均的なサイズを考慮して決められた固定の最小サイズでは、ボール３がカメラ１に遠い位置にあるときは切り出し領域が過大となり、逆にボール３がカメラ１に近い位置にあるときは過小となり例えば切り出し領域から競技者４の体がはみ出てしまうおそれがある。
【０１８９】
この問題を軽減するため、例えば設置時に操作により、CPU１３１は、第１のビデオ信号の全体画枠の座標系における競技エリア２とカメラとの位置関係と、PTZから得られる情報から、第１のビデオ信号の全体画枠中の各位置に対して、切り出し領域の最適な最小サイズを算出し、RAM１３３に保存しておく。CPU１３１は、この保存された位置毎の切り出し領域の最適な最小サイズを適用して、切り出し領域の算出を行う。
【０１９０】
これにより、切り出し領域の最小サイズを良好に決定することができ、たとえばズームインされたシーンにおいて画枠内に競技者４の体の全体を含めた画像が得られる。
【０１９１】
＜変形例６＞
［切り出し領域の補正方法１］
CPU１３１は、算出された切り出し領域を、別の観点から補正してもよい。
【０１９２】
例えば、切り出し領域に入れる移動体の数の観点から切り出し領域を補正する方法が挙げられる。具体的には、CPU１３１は、例えば、時間区間の少なくとも一時点に、ボール３に対して所定の距離内にいる競技者４のうち、ボール３により近い位置にある所定の数の競技者４が含まれるように切り出し領域を補正してもよい。
【０１９３】
例えば、CPU１３１は、指定された時間区間にボール３から５ｍ以内に３人以上の競技者４がいる瞬間の、ボール３に近いものから少なくとも２人の競技者４の位置が切り出し領域に含まれるように切り出し領域の位置およびサイズを補正する。
【０１９４】
＜変形例７＞
［切り出し領域の補正方法２］
また、サッカー競技の場合には、ボール３に影響を与えた競技者４の位置が切り出し領域に入るように切り出し領域を補正する方法が挙げられる。
【０１９５】
ボール３に影響を与えた競技者４とは、例えば、ボール３の受け渡しが行われた複数の競技者４などのことである。例えば、CPU１３１は、時間区間において、ボール３の位置に予め設定された距離以内に接近した競技者４をボール３に影響を与えた競技者４として判定し、ボール３に影響を与えた競技者４の位置が含まれるように、接近した時刻から設定された時間例えば３秒の後まで切り出し領域を補正する。
【０１９６】
＜変形例８＞
［操作者による時間区間の分割］
固定の時間区間で切り出し領域を算出していたのではボール３や競技者４の動きが大きく高速になってきたときに、切り出し領域が平均して大きくなりがちとなり、ズームアウトした画像ばかりが生成されてしまう。そこで、時間区間は適宜変更できることが望ましい。
【０１９７】
また、遅延ライブ処理の際には時間区間を変更させるための指示操作を簡単に行えることが好ましい。
操作者による時間区間の変更の指示操作は操作入力部１３５を使って行われる。
【０１９８】
時間区間の変更は、例えば、初期設定の時間区間を、操作者からの分割の指示に応じて等分割したり、分割解除の指示に応じて戻したりすることによって行われる。例えば、一回目の分割の指示に従って初期の時間区間は1/2の長さに分割される。さらに次の分割の指示に従って初期の時間区間はから1/4の長さまで分割される。操作者からの時間区間を復帰させる指示が与えられると、初期の時間区間の1/2の長さに戻り、再度操作者からの時間区間を復帰させる指示が与えられると初期の時間区間に戻る。
【０１９９】
これにより、ボール３や競技者４の動きが大きく高速になってきたときに、操作者が時間区間を初期の時間区間の1/2や1/4の長さに切り替えることができ、適切な大きさの切り出し領域を作成できる。
【０２００】
＜変形例９＞
［移動体の移動量に基づく時間区間指定トリガの発生］
CPU１３１（位置情報入力部１０３）は、切り出し開始時刻（全体の処理開始時刻あるいは直前の切り出し終了時刻）から、移動体の位置情報の変化量（移動体の移動量）が予め設定された閾値を超えたときに切り出し終了時刻を指定するためのトリガを発生させるように構成されてもよい。これにより、例えば、ボール３が第１の閾値に相当する距離移動する時間区間毎に、切り出し領域が変化する第２のビデオ信号が得られる。
【０２０１】
＜変形例１０＞
遅延ライブ処理により生成されたビデオデータはビデオ出力部１１０によって出力されるだけではなく、別の用途のためにストレージデバイス１３７に保存されてもよい。切り出し領域の座標情報もストレージデバイス１３７に保存されてよい。ストレージデバイス１３７に保存された座標情報は、例えば後刻の試合分析に利用できる。
＜変形例１１＞
【０２０２】
カメラ１から入力された第１のビデオ信号のビデオデータと遅延ライブ処理により生成されたビデオデータとを対応付けてストレージデバイス１３７に保存してもよい。このようにすることによって、遅延ライブ処理により生成されたビデオデータの少なくとも一部を、第１のビデオ信号のビデオデータからマニュアルで決められた切り出し領域のビデオデータと入れ替えるなどの編集を行うことができる。
【０２０３】
＜変形例１２＞
本技術は、サッカーのみならず、バスケット、ラグビーなどの他の競技や、劇場の撮影にも適用できる。
【０２０４】
＜変形例１３＞
本ビデオ処理装置１００によって生成される第２のビデオ信号は、遠隔パブリック・ビューイングに使われてもよい。
【０２０５】
＜変形例１４＞
切り出し領域の縦横比は可変であってよい。
その場合、本ビデオ処理装置１００の出力先は、例えば、複数の表示器の画面を少なくとも縦および横のいずれか一方に複数並べて１つの画面を構成するディスプレイユニットなどが好適である。より具体的には、縦横比が16:9の解像度を有する表示器を横方向に２つ並べて縦横比が32:9の解像度を有する表示器を構成することができる。
【０２０６】
具体的な例を挙げると、ビデオ処理装置１００のCPU１３１は、移動体の位置情報シーケンスをもとに指定の時間区間の移動体の水平方向の移動距離が所定の値よりも大きい場合には切り出し領域の解像度を32:9とし、水平方向の移動距離が所定の値未満である場合には切り出し領域の解像度を16:9とする。後者のとき、CPU１３１は、16:9の解像度の同じビデオデータを２つの表示器に同時に出力するように構成されてもよい。
【０２０７】
＜変形例１５＞
指定された時間区間での移動体の移動距離が所定の値よりも小さい場合、ビデオ処理装置１００のCPU１３１は、第２のフレーム解像度の一部の領域にビデオデータをマッピングし、余った領域に例えば広告などの別画像をマッピングすることによって、広告付きの第２のビデオ信号を生成してもよい。
また、この広告付きの第２のビデオ信号を生成する処理は、ボール３などの移動体が予め設定された領域（例えばゴールエリアなど）内にあるときは無効にしてもよい。これにより、注目シーンの場合には、広告を外した第２のビデオ信号が得られる。
【０２０８】
＜変形例１６＞
ビデオ処理装置１００のCPU１３１は、競技中にその競技の放送の中断時間（例えばコマーシャル放送時間など）がある場合に、その中断時間の第１のビデオ信号のビデオデータおよび遅延ライブ処理により生成されたビデオデータをストレージデバイス１３７に保存してもよい。CPU１３１は、ストレージデバイス１３７に保存された中断時間のビデオデータのうち、ボール３などの移動体が予め設定された領域（例えばゴールエリアなど）内にある時間区間のビデオデータを読み出し、例えば放送再開のタイミングを受けてビデオ出力部１１０より第２のビデオ信号として出力させるようにしてもよい。
【０２０９】
あるいは、ボール３などの移動体の移動距離が予め設定された値より大きい時間区間のビデオデータを読み出し、ビデオ出力部１１０より第２のビデオ信号として出力させてもよい。
さらには、CPU１３１は、外部から入力される競技に関するイベント情報をもとに、ストレージデバイス１３７に保存された中断時間のビデオデータのなかから読み出すビデオデータの時間区間を決定してもよい。
【０２１０】
＜変形例１７＞
CPU１３１は、ストレージデバイス１３７に保存された全時間の第１のビデオ信号のビデオデータから重要な時間区間のビデオデータのみを抽出して切り出し処理の対象とすることによって、試合のダイジェストのビデオデータを得ることができる。
重要な時間区間は、例えば、ボール３などの移動体の移動量及び位置をもとに判断したり、外部からのイベント情報をもとに判断すればよい。移動体の移動速度で重要な時間区間を判断してもよい。
【０２１１】
＜変形例１８＞
サッカー競技場などの競技エリア２は広いので、その競技エリアが屋外である場合には日光が直接当たる場所とそうでない場所などとで切り出し領域の明るさが大きな差があることがある。このような場合、CPU１３１は、切り出し領域の画像の輝度平均値などの画質条件を各切り出し領域間で一致あるいは近付けるように、画像の補正を行ってもよい。
【０２１２】
＜変形例１９＞
カメラ１から得られる第１のビデオ信号が、ビデオ処理装置１００から出力される第２のビデオ信号よりもダイナミックレンジの広いHDR（high dynamic range）画像である場合、CPU１３１は、切り出しによって得たビデオデータに対してその画枠内で最適となるようにダイナミックレンジを狭くする変換を行ってもよい。
【０２１３】
＜変形例２０＞
本ビデオ処理装置１００によって得られたビデオデータはスタジアム内表示器へ表示させてもよい。例えば、ゴールシーンなどの注目すべきアクションがあった場合に、操作者が手動でプレイバックを開始させてもよい。
【０２１４】
＜変形例２１＞
遅延ライブ処理において、移動体通過センサー６の故障や画像認識の困難さなどによって、移動体の位置情報が想定していた遅延時間内に得られない場合が考えられる。この場合に、CPU１３１は、切り出し領域の算出などの処理をスキップし、切り出し領域を元の入力ビデオ信号の全体画枠にすることによって、遅延ライブ放送に支障が出ないように制御してもよい。
【０２１５】
＜変形例２２＞
切り出し領域の変更時の補間処理は、ズームインとなる場合のみ行われるようにしてよい。
【０２１６】
＜変形例２３＞
切り出し領域の急激なサイズ変更による視聴者にとっての違和感を緩和するために、切り出し領域が所定のサイズ以下になる場合、CPU１３１は変更前のサイズからの縮小率に制限を設けたり、切り出し領域の変更時の補間数を増やしたりしてもよい。
【０２１７】
＜変形例２４＞
CPU１３１は、次の切り出し領域を算出するために用いられる次の時間区間の複数の移動体の位置の全てが現在の切り出し領域の中にあり、内一つの位置が、端から予め定められた距離以上離れている（すなわちその距離以上に画枠の内側の中央よりにある）場合は、切り出し領域を変更しないようにしてもよい。これにより、連続する時間区間の間で移動体の移動量が小さい場合に切り出し領域を変更してかえって見づらい画像となることを回避できるとともに、余計な切り出し領域の算出処理を省くことができる。
【０２１８】
＜変形例２５＞
タイムコードや時刻として用いられる値は、同等の時刻情報を生成するカウンタやビデオフレームデータへのポインタなどで代替してよい。
【０２１９】
＜変形例２６＞
操作者は、ビデオ処理装置１００での処理で用いられる各種の閾値などの設定値を操作入力部１３５およびディスプレイ１３６を使って任意に設定することができる。
【０２２０】
＜変形例２７＞
ビデオ処理装置１００に入力されるビデオ信号は、複数のカメラで撮影した画像をつなぎ合わせて１つの画像のビデオ信号にしたものであってよい。
【０２２１】
＜変形例２８＞
本ビデオ処理装置１００は、カメラ１に組み込むことができる。また、本ビデオ処理装置１００は、高解像度ビデオのまま放送されたものを受信し蓄積する家庭用レコーダーに組み込むことができる。
【０２２２】
＜変形例２９＞
位置情報としてxy座標を用いたが、z座標を加えた３次元座標を用いることによって、より高い精度での切り出し領域の算出が可能になる。
【０２２３】
なお、本技術は以下のような構成もとることができる。
（１）カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力するビデオ入力部と、
前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と、
前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信する位置情報入力部と、
前記受信された位置情報と時刻とを対応付けて記憶する位置情報記憶部と、
時間区間の始まりを特定する時刻を記憶する指定開始時刻記憶部と、
前記時間区間の終わりを特定する時刻を記憶する指定終了時刻記憶部と、
前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと
を具備するビデオ処理装置。
【０２２４】
（２）上記（１）のビデオ処理装置であって、
前記コントローラは、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出するように構成される
ビデオ処理装置。
【０２２５】
（３）上記（１）または（２）のビデオ処理装置であって、
前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力するビデオ出力部
さらに具備するビデオ処理装置。
【０２２６】
（４）上記（１）ないし（３）のいずれかのビデオ処理装置であって、
前記コントローラは、１つの前記時間区間の１以上の位置情報と次の時間区間の少なくとも先頭よりの１以上の位置情報が各々示す複数の位置を含む前記切り出し領域を算出するように構成される
ビデオ処理装置。
【０２２７】
（５）上記（１）ないし（４）のいずれかのビデオ処理装置であって、
前記時間区間の変更の指示を操作者より受け付ける操作入力部をさらに具備し、
前記コントローラは、前記操作入力部で受け付けた指示に従って前記時間区間を変更するように構成される
ビデオ処理装置。
【０２２８】
（６）上記（１）ないし（５）のいずれかのビデオ処理装置であって、
前記コントローラは、次の前記切り出し領域を算出するために用いられる次の時間区間の前記移動体の位置のうち、現在の切り出し領域の端に最も近い位置が、現在の切り出し領域の端から予め定められた距離以上の内側にある場合、切り出し領域の算出をスキップして現在の切り出し領域を有効とするように構成される
ビデオ処理装置。
【０２２９】
（７）上記（１）ないし（６）のいずれかのビデオ処理装置であって、
前記コントローラは、外部から、前記被写体の場所を特定する情報を含むイベント情報を受けて、前記第１のビデオ信号の画枠において前記イベント情報により特定される場所を含む領域を前記切り出し領域として設定するように構成される
ビデオ処理装置。
【０２３０】
（８）上記（１）ないし（７）のいずれかのビデオ処理装置であって、
前記ビデオ入力部は、共通の前記被写体を異なる方向から撮影する複数のカメラによって各々撮影され、第１のフレーム解像度を有し、フレーム毎の時刻データが付加された複数の第１のビデオ信号の１つを選択する切替部を有し、
前記コントローラは、前記位置情報記憶部から少なくとも１つの前記時間区間の１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成される
ビデオ処理装置。
【０２３１】
（９）上記（８）のビデオ処理装置であって、
前記ビデオ入力部の前記切替部は、前記複数の第１のビデオ信号に加え、前記被写体の特定の領域を前記第２のフレーム解像度で撮影する１以上の領域撮影用カメラによって撮影され、フレーム毎の時刻データが付加された第３のビデオ信号の中から１つを選択可能に構成され、
前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記領域撮影用カメラの前記第３のビデオ信号を選択させるように構成される
ビデオ処理装置。
【０２３２】
（１０）移動体を含む被写体を第１のフレーム解像度で定点撮影し、フレーム毎の時刻データが付加された第１のビデオ信号を出力する少なくとも１つのカメラと、
前記移動体の位置情報を生成する位置情報生成装置と、
前記第１のビデオ信号を入力するビデオ入力部と；
前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と；
前記位置情報生成装置によって生成された位置情報を受信する位置情報入力部と；
前記受信された位置情報と時刻とを対応付けて記憶する位置情報記憶部と；
時間区間の始まりを特定する時刻を記憶する指定開始時刻記憶部と、
前記時間区間の終わりを特定する時刻を記憶する指定終了時刻記憶部と、
前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと；
を有するビデオ処理装置と
を具備するビデオ処理システム。
【０２３３】
（１１）上記（１０）のビデオ処理システムであって、
前記カメラは、共通の前記被写体を異なる方向から撮影するように各々配置され、
前記ビデオ処理装置の前記ビデオ入力部は、前記複数のカメラによって各々撮影された複数の第１のビデオ信号の１つを選択する切替部を有し、
前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成される
ビデオ処理システム。
【０２３４】
（１２）上記（１０）または（１１）のビデオ処理システムであって、
前記被写体の特定の領域を前記第２のフレーム解像度で撮影して第３のビデオ信号を時刻データと対応付けて送信する特定領域用カメラをさらに有し、
前記切替部は、前記第１のビデオ信号および前記第３のビデオ信号の中から１つのビデオ信号を選択可能に構成され、
前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記１以上の第３のビデオ信号のいずれかを選択させるように構成される
ビデオ処理システム。
【０２３５】
（１３）カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力し、
前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けてビデオ記憶部に記憶し、
前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信し、
前記取得された位置情報を時刻と対応付けて位置情報記憶部に記憶し、
コントローラにより、前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成する
ビデオ処理方法。
【０２３６】
（１４）上記（１３）のビデオ処理方法であって、
前記コントローラにより、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出する
ビデオ処理方法。
【０２３７】
（１５）上記（１３）または（１４）のビデオ処理方法であって、
ビデオ出力部により、前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力する
ビデオ処理方法。
【０２３８】
（１６）カメラによって第１のフレーム解像度で撮影され、フレーム毎に時刻データが付加された第１のビデオ信号を入力するビデオ入力部と、
前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と、
前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の時刻データ付きの位置情報を受信する位置情報入力部と、
前記受信された位置情報と前記時刻データとを対応付けて記憶する位置情報記憶部と、
前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと
を具備するビデオ処理装置。
【０２３９】
（１７）上記（１６）のビデオ処理装置であって、
前記コントローラは、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出するように構成される
ビデオ処理装置。
【０２４０】
（１８）上記（１６）のビデオ処理装置であって、
前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力するビデオ出力部
さらに具備するビデオ処理装置。
【０２４１】
（１９）上記（１６）ないし（１８）のいずれかのビデオ処理装置であって、
前記コントローラは、１つの前記時間区間の１以上の位置情報と次の時間区間の少なくとも先頭よりの１以上の位置情報が各々示す複数の位置を含む前記切り出し領域を算出するように構成される
ビデオ処理装置。
【０２４２】
（２０）上記（１６）ないし（１９）のいずれかのビデオ処理装置であって、
前記時間区間の変更の指示を操作者より受け付ける操作入力部をさらに具備し、
前記コントローラは、前記操作入力部で受け付けた指示に従って前記時間区間を変更するように構成される
ビデオ処理装置。
【符号の説明】
【０２４３】
１…カメラ
１０…ビデオ処理システム
１００…ビデオ処理装置
１０１…ビデオ入力部
１０１ａ…切替部
１０２…ビデオ記憶部
１０３…位置情報入力部
１０４…位置情報記憶部
１０６…切り出し領域算出部
１０９…切り出しビデオ生成部
１１０…切り出しビデオ出力部
１３０…コンピュータ
１３５…操作入力部
１３６…ディスプレイ
１４０…位置情報生成装置
【図１】
2016163311.tif 000003
【図２】
2016163311.tif 000004
【図３】
2016163311.tif 000005
【図４】
2016163311.tif 000006
【図５】
2016163311.tif 000007
【図６】
2016163311.tif 000008
【図７】
2016163311.tif 000009
【図８】
2016163311.tif 000010
【図９】
2016163311.tif 000011
【図１０】
2016163311.tif 000012
【図１１】
2016163311.tif 000013
【図１２】
2016163311.tif 000014
【図１３】
2016163311.tif 000015
【図１４】
2016163311.tif 000016
【図１５】
2016163311.tif 000017
【図１６】
2016163311.tif 000018
【図１７】
2016163311.tif 000019
【図１８】
2016163311.tif 000020
【図１９】
2016163311.tif 000021
【図２０】
2016163311.tif 000022
【図２１】
2016163311.tif 000023