(57)【要約】【課題】ビットレートの低下を抑制し、映像処理が容易なパノラマ映像処理システムを提供する。【解決手段】パノラマ映像処理システム１は、サッカー試合映像を撮影する固定カメラ２と、複数のサッカー試合映像から生成したパノラマ映像の分割映像を送出する映像送出装置３と、映像送出装置３から送出された分割映像をパノラマ映像として再構成し、再構成したパノラマ映像に追跡処理を施す映像処理装置４と、追跡処理後のパノラマ映像を切り出した番組映像をデジタル放送する放送装置５とを備える。【選択図】図２
2020145517.tif 000002
【特許請求の範囲】
【請求項１】
複数の入力映像からパノラマ映像を生成し、生成した前記パノラマ映像の分割映像を送出する映像送出装置と、前記映像送出装置から送出された分割映像を前記パノラマ映像として再構成し、再構成した前記パノラマ映像に所望の映像処理を施す映像処理装置と、を備えるパノラマ映像処理システムであって、
前記映像送出装置は、
前記複数の入力映像から前記パノラマ映像を生成するパノラマ映像生成部と、
前記分割映像の伝送フォーマットとして、伝送インターフェースの種類と、前記分割映像の有効画素数と、前記パノラマ映像の分割数と、前記分割映像の配置情報と、を予め設定する伝送フォーマット設定部と、
前記パノラマ映像生成部が生成したパノラマ映像から予め設定された関心領域を切り出し、切り出した前記パノラマ映像にスケーリング処理を施し、前記スケーリング処理後のパノラマ映像を前記配置情報に基づいて分割することで、前記有効画素数の分割映像を前記分割数だけ生成する分割映像生成部と、
前記伝送インターフェースを介して、前記分割映像を前記映像処理装置に送出する映像送出部と、
を備え、
前記映像処理装置は、
前記伝送インターフェースを介して、前記映像送出装置から、前記有効画素数の分割映像を前記分割数だけ受信する映像受信部と、
前記配置情報に基づいて、前記映像受信部が受信した分割映像から前記スケーリング処理後のパノラマ映像を再構成するパノラマ映像再構成部と、
前記パノラマ映像再構成部が再構成したパノラマ映像に前記映像処理を施す映像処理部と、
を備えることを特徴とするパノラマ映像処理システム。
【請求項２】
前記パノラマ映像生成部は、スティッチング処理により、前記複数の入力映像から前記パノラマ映像を生成することを特徴とする請求項1に記載のパノラマ映像処理システム。
【請求項３】
前記パノラマ映像再構成部は、前記配置情報に基づいて、前記映像受信部が受信した分割映像から前記スケーリング処理後のパノラマ映像を再構成することを特徴とする請求項1又は請求項２に記載のパノラマ映像処理システム。
【請求項４】
前記映像処理部は、前記映像処理として、前記パノラマ映像再構成部が再構成したパノラマ映像に含まれる被写体を追跡する追跡処理を行うことを特徴とする請求項1から請求項３の何れか一項に記載のパノラマ映像処理システム。
【請求項５】
前記映像処理装置は、予め設定されたデジタル放送規格に合わせて、前記映像処理が施されたパノラマ映像を切り出し、切り出した映像を放送装置に出力する映像出力部、をさらに備えることを特徴とする請求項1から請求項４の何れか一項に記載のパノラマ映像処理システム。
【請求項６】
複数の入力映像からパノラマ映像を生成し、生成した前記パノラマ映像の分割映像を送出する映像送出装置であって、
前記複数の入力映像から前記パノラマ映像を生成するパノラマ映像生成部と、
前記分割映像の伝送フォーマットとして、伝送インターフェースの種類と、前記分割映像の有効画素数と、前記パノラマ映像の分割数と、前記分割映像の配置情報と、を予め設定する伝送フォーマット設定部と、
前記パノラマ映像生成部が生成したパノラマ映像から予め設定された関心領域を切り出し、切り出した前記パノラマ映像にスケーリング処理を施し、前記スケーリング処理後のパノラマ映像を前記配置情報に基づいて分割することで、前記有効画素数の分割映像を前記分割数だけ生成する分割映像生成部と、
前記伝送インターフェースを介して、前記分割映像を映像処理装置に送出する映像送出部と、を備え、
前記パノラマ映像生成部は、スティッチング処理により、前記複数の入力映像から前記パノラマ映像を生成することを特徴とする映像送出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマ映像処理システム及び映像送出装置に関する。
【背景技術】
【０００２】
スポーツ番組を制作する際、サッカーフィールドのような広い範囲を撮影し、サッカーボール等の被写体を自動的に追跡したいという要望がある。１台の高解像度カメラと広角レンズや魚眼レンズとを使用することで、サッカーフィールドのパノラマ映像を撮影できる。一方、同等の画素数で広い範囲を撮影することになるため、高解像度カメラの分解能が不足することがある。さらに、パノラマ映像の中央と端で解像感が異なることや、フォーカスが合わないこともある。さらに、パノラマ映像の画角が不足するためにサッカーボールが画面から外れてしまい、その追跡処理が失敗することもある。
【０００３】
その解決策として、複数台のカメラで撮影した映像をつなぎ合わせることで、より広範囲のパノラマ映像を生成する手法が提案されている（例えば、特許文献１，２）。このつなぎ合わせ処理は、「イメージモザイキング」や「スティッチング」と呼ばれ、ＯｐｅｎＣＶ等の様々なソフトウェアで実装されている。このつなぎ合わせ処理により生成されたパノラマ映像は、各フレームの画素数が画像処理前よりも多くなるが、不要領域が一定の割合を占めるため、必要な領域だけを切り出して使用することがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第６２６７９６１号報
【特許文献２】特開第６３４４７２３号報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
同一の装置において、画素数が多いパノラマ映像を生成し、追跡などの映像処理を行うと処理時間が長くなってしまう。そこで、パノラマ映像を生成する装置と、映像処理を行う装置とに分けることを検討する。この場合、処理時間を短縮できるものの、両装置間でパノラマ映像を伝送する必要が生じる。一般的には、パノラマ映像が横方向に長いので、有効画素数やアスペクト比が規定されている伝送インターフェースを用いると、無駄が多く、ビットレートが低下するという問題がある。さらに、パノラマ映像の画素数が様々であるため、映像処理に手間を要するという問題もある。
【０００６】
そこで、本発明は、ビットレートの低下を抑制し、映像処理が容易なパノラマ映像処理システム及び映像送出装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記した課題に鑑みて、本発明に係るパノラマ映像処理システムは、複数の入力映像からパノラマ映像を生成し、生成したパノラマ映像の分割映像を送出する映像送出装置と、映像送出装置から送出された分割映像をパノラマ映像として再構成し、再構成したパノラマ映像に所望の映像処理を施す映像処理装置と、を備える構成とした。
【０００８】
そして、パノラマ映像処理システムは、映像送出装置が、複数の入力映像からパノラマ映像を生成するパノラマ映像生成部と、分割映像の伝送フォーマットとして、伝送インターフェースの種類と、分割映像の有効画素数と、パノラマ映像の分割数と、分割映像の配置情報と、を予め設定する伝送フォーマット設定部と、パノラマ映像生成部が生成したパノラマ映像から予め設定された関心領域を切り出し、切り出したパノラマ映像にスケーリング処理を施し、スケーリング処理後のパノラマ映像を配置情報に基づいて分割することで、有効画素数の分割映像を分割数だけ生成する分割映像生成部と、伝送インターフェースを介して、分割映像を映像処理装置に送出する映像送出部と、を備える。
【０００９】
さらに、映像処理装置が、伝送インターフェースを介して、映像送出装置から、有効画素数の分割映像を分割数だけ受信する映像受信部と、配置情報に基づいて、映像受信部が受信した分割映像からスケーリング処理後のパノラマ映像を再構成するパノラマ映像再構成部と、パノラマ映像再構成部が再構成したパノラマ映像に映像処理を施す映像処理部と、を備える。
【００１０】
また、前記した課題に鑑みて、本発明に係る映像送出装置は、複数の入力映像からパノラマ映像を生成し、生成したパノラマ映像の分割映像を送出する映像送出装置であって、前記したパノラマ映像生成部と、伝送フォーマット設定部と、分割映像生成部と、映像送出部と、を備え、パノラマ映像生成部が、スティッチング処理により、複数の入力映像からパノラマ映像を生成する構成とした。
【００１１】
このように、パノラマ映像処理システム及び映像送出装置は、パノラマ映像の不要領域を取り除き、映像送出装置と映像処理装置との伝送インターフェースに合わせ、分割映像を伝送することができる。
【発明の効果】
【００１２】
本発明によれば、分割映像を伝送する際、パノラマ映像の不要領域を取り除くので、ビットレートの低下を抑制することができる。さらに、本発明によれば、映像送出装置と映像処理装置との伝送インターフェースに合わせて分割映像を伝送するので、分割映像が所定の画素数となり、分割映像を容易に映像処理することができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係るパノラマ映像処理システムの全体構成図である。
【図２】実施形態に係るパノラマ映像処理システムの構成を示すブロック図である。
【図３】実施形態において、入力映像の一例を示す図である。
【図４】実施形態において、平面パノラマ映像の一例を示す図である。
【図５】実施形態において、球面パノラマ映像の一例を示す図である。
【図６】実施形態において、パノラマ映像の切り出しを説明する説明図である。
【図７】実施形態において、パノラマ映像のスケーリング処理を説明する説明図である。
【図８】実施形態において、パノラマ映像のマッピングを説明する説明図である。
【図９】実施形態において、入力映像と分割映像の関係を説明する説明図である。
【図１０】実施形態において、パノラマ映像の再構成を説明する説明図である。
【図１１】実施形態において、番組映像の切り出しを説明する説明図である。
【図１２】実施形態に係るパノラマ映像処理システムの動作を示すシーケンス図である。
【発明を実施するための形態】
【００１４】
［パノラマ映像システムの構成］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１を参照し、実施形態に係るパノラマ映像処理システム１の構成について説明する。
【００１５】
パノラマ映像処理システム１は、２台の固定カメラ２でサッカー試合映像（入力映像）を撮影する。また、パノラマ映像処理システム１は、映像送出装置３によって、撮影したサッカー試合映像からパノラマ映像を生成し、生成したパノラマ映像を映像処理装置４に送出する。そして、パノラマ映像処理システム１は、映像処理装置４によって、パノラマ映像に含まれるサッカーボールを追跡し、その軌跡を描画する。このように、パノラマ映像処理システム１は、サッカーボールの軌跡が描画された番組映像を自動的に制作し、視聴者に提供することができる。
【００１６】
図１に示すように、パノラマ映像処理システム１は、２台の固定カメラ２（２Ａ，２Ｂ）と、映像送出装置３と、映像処理装置４と、放送装置５と、を備える。本実施形態では、固定カメラ２が、サッカースタジアムαに設置されている。また、映像送出装置３、映像処理装置４及び放送装置５は、放送局βに設置されている。図１には、視聴者の自宅に設置されている放送受信機６を図示した。
【００１７】
固定カメラ２は、サッカー試合映像を撮影する一般的な撮影カメラである。本実施形態では、固定カメラ２は、その撮影画角、撮影姿勢及び撮影位置が固定されていることとする。例えば、固定カメラ２Ａ，２Ｂのそれぞれがサッカーフィールドの半面を撮影できるように、固定カメラ２Ａ，２Ｂの画角、姿勢及び位置が調整されている。また、固定カメラ２は、解像度が特に制限されないが、後記する分割映像の画素数以上の解像度を有することが好ましい。例えば、固定カメラ２の解像度は、８Ｋ（縦７６８０画素×横４３２０画素）である。
固定カメラ２は、撮影したサッカー試合映像を映像送出装置３に出力する。
【００１８】
映像送出装置３は、固定カメラ２Ａ，２Ｂより２つのサッカー試合映像が入力され、入力されたサッカー試合映像からパノラマ映像を生成するものである。そして、映像送出装置３は、パノラマ映像の不要領域を取り除き、後記する伝送インターフェースに合わせて、分割映像を映像処理装置４に送出する。
なお、映像送出装置３の詳細は、後記する。
【００１９】
映像処理装置４は、映像送出装置３から送出された分割映像をパノラマ映像として再構成し、再構成したパノラマ映像に所望の映像処理を施すものである。例えば、映像処理装置４は、所望の映像処理として、再構成したパノラマ映像にサッカーボールの追跡処理を施す。そして、映像処理装置４は、後記するデジタル放送規格に合わせて映像処理後のパノラマ映像を切り出し、番組映像として、切り出した映像を放送装置５に出力する。
なお、映像処理装置４の詳細は、後記する。
【００２０】
放送装置５は、映像処理装置４から入力された番組映像をデジタル放送する一般的なデジタル放送装置である。例えば、放送装置５は、デジタル放送規格に応じて、番組映像を符号化及び多重化し、デジタル放送信号を放送受信機６に送信する。このデジタル放送規格としては、例えば、ＩＳＤＢ−Ｔ（Integrated Services Digital Broadcasting-Terrestrial）、ＤＶＢ−Ｔ（Digital Audio Broadcast-Terrestrial）、ＡＴＳＣ（Advanced Television Systems Committee）があげられる。
【００２１】
放送受信機６は、番組映像を受信する一般的なデジタル放送受信機である。例えば、放送受信機６は、放送装置５からデジタル放送信号を受信し、受信したデジタル放送信号を復号化及び多重分離し、番組映像を表示する。
【００２２】
［映像送出装置の構成］
図２を参照し、映像送出装置３の構成についてさらに詳細に説明する。
図２に示すように、映像送出装置３は、映像入力部３０と、フレーム記憶部３１と、フレーム合成部（パノラマ映像生成部）３２と、伝送フォーマット設定部３３と、フレームマッピング部（分割映像生成部）３４と、フレーム送出部（映像送出部）３５と、を備える。
【００２３】
映像入力部３０は、各固定カメラ２からサッカー試合映像が入力されるものである。本実施形態では、映像入力部３０は、同じサッカーの試合を別々のアングルで撮影したサッカー試合映像が２つ入力されることとする。そして、映像入力部３０は、各サッカー試合映像をフレーム毎にフレーム記憶部３１に書き込む。
【００２４】
フレーム記憶部３１は、映像入力部３０より書き込まれた各サッカー試合映像をフレーム毎に記憶するメモリ等の記憶手段である。フレーム記憶部３１に書き込まれたサッカー試合映像の各フレームは、フレーム合成部３２によって参照される。
ここで、映像送出装置３では、サッカー試合映像の各フレームがフレーム記憶部３１に書き込まれた順に処理するインプットロックを基本とする。また、各サッカー試合映像のフレームが同期している場合、各フレームを同位相のフレームとして紐付けして記憶することが好ましい。一方、各サッカー試合映像のフレームが同期していない場合、各フレームに重畳されているタイムスタンプ情報を参照し、同一のタイムスタンプを有するフレームの位相を合わせて記憶することが好ましい。図３には、フレーム記憶部３１に書き込まれた２つのサッカー試合映像Ａ１，Ａ２において、同期したフレームの一例を示した。例えば、図３のサッカー試合映像Ａ１，Ａ２の画素数は、８Ｋである。
【００２５】
フレーム合成部３２は、フレーム記憶部３１に記憶されているサッカー試合映像の各フレームからパノラマ映像を生成するものである。
具体的には、フレーム合成部３２は、各サッカー試合映像で同位相のフレーム同士をスティッチング処理する。このスティッチング処理とは、複数のサッカー試合映像から１つのパノラマ映像を生成（合成）する処理のことである。ここで、スティッチング処理は、特に限定されず、例えば、（１）特徴点の検出及びマッチング、（２）幾何学的変換の推定、（３）画像の幾何学的変換及び合成という手順で行えばよい。
【００２６】
また、フレーム合成部３２は、パノラマ映像の投影面の形状に応じて、異なるパノラマ映像を出力する。この投影面の形状は、パノラマ映像の用途に応じて、任意に設定できる。例えば、投影面の形状としては、平面パノラマ、球面パノラマ、又は、円筒面パノラマがあげられる。図３のサッカー試合映像Ａ１，Ａ２を平面パノラマ映像Ｂ１としてスティッチング処理した例を図４に示す。図４の平面パノラマ映像Ｂ１の画素数は、横２４３００画素×縦１１５００画素である。また、図３のサッカー試合映像Ａ１，Ａ２を球面パノラマ映像Ｂ２としてスティッチング処理した一例を図５に示す。図５の球面パノラマ映像Ｂ２の画素数は、横１４３００画素×縦４５００画素である。
なお、図４及び図５では、サッカー試合映像Ａ１，Ａ２の画角から外れる個所を不要領域としてハッチングで図示した。
【００２７】
また、スティッチング処理の際、サッカー試合映像同士のつなぎ目が目立ってしまうことが多い。そこで、フレーム合成部３２は、サッカー試合映像同士のつなぎ目の位置を適切に設定する手法や、サッカー試合映像同士が重なる部分で画素値を混ぜ合わせる手法を用いる。以下、後者の手法の一例として、アルファブレンディングを説明する。
【００２８】
＜アルファブレンディング＞
ここで、アルファブレンディングを利用し、サッカー試合映像同士が重なる領域の画素について、互いの画面端からの距離に応じた重み付き平均し、サッカー試合映像同士をつなぎ合わせればよい。具体的には、以下の式（１）を用いて、各画素値を重み付け平均する。なお、式（１）では、一方のサッカー試合映像の画素値をＩ１、他方のサッカー試合映像の画素値をＩ２、一方のサッカー試合映像の端からの距離をｄ１、他方のサッカー試合映像の端からの距離をｄ２とする。
【００２９】
【数１】
2020145517.tif 000003
【００３０】
フレーム合成部３２は、生成したパノラマ映像をフレーム毎にフレームマッピング部３４に出力する。
【００３１】
伝送フォーマット設定部３３は、伝送フォーマットをユーザが予め設定するものである。例えば、ユーザが、図示を省略したマウス、キーボード等の操作手段を用いて、伝送フォーマットを伝送フォーマット設定部３３に設定する。そして、伝送フォーマット設定部３３は、設定された伝送フォーマットをフレームマッピング部３４に出力する。
【００３２】
＜伝送フォーマット＞
以下、伝送フォーマットを詳細に説明する。
伝送フォーマットとしては、例えば、伝送インターフェースの種類、分割映像の有効画素数、パノラマ映像の分割数、および、分割映像の配置情報があげられる。この分割映像とは、パノラマ映像を分割した映像のことである。
【００３３】
伝送インターフェースの種類は、ビデオ伝送信号規格の種類を表し、例えば、１２Ｇ−ＳＤＩ（Serial Digital Interface）である。
分割映像の有効画素数は、分割映像の水平画素数及び垂直画素数であり、例えば、４Ｋ（横３８４０画素×縦２１６０画素）である。
パノラマ映像の分割数は、パノラマ映像を分割する数、つまり、分割映像の数である。例えば、パノラマ映像の分割数は、３である。
分割映像の配置情報は、各分割映像の配置を表した情報であり、縦方向の行数と横方向の列数で表される。また、分割映像の配置情報は、パノラマ映像の分割数と整合するように設定することが好ましい。例えば、パノラマ映像の分割数が３の場合、分割映像の配置情報は、１行３列である。
【００３４】
本実施形態では、伝送インターフェースの種類が１２Ｇ−ＳＤＩ、分割映像の有効画素数が横３８４０画素×縦２１６０画素、パノラマ映像の分割数が３、分割映像の配置情報が１行３列であることとして説明を続ける。
【００３５】
フレームマッピング部３４は、フレーム合成部３２から入力されたパノラマ映像の各フレームを伝送フォーマット設定部３３から入力された伝送フォーマットにマッピングし、分割映像を生成するものである。
【００３６】
＜マッピング＞
以下、マッピングについて詳細に説明する。
まず、フレームマッピング部３４は、パノラマ映像から関心領域（ＲＯＩ：Region of Interest）を切り出し（トリミング）て、不要画素を除去する。例えば、ユーザが、操作手段を用いて、関心領域をフレームマッピング部３４に設定する。図４の平面パノラマ映像Ｂ１をトリミングした一例を図６に示す。図６のパノラマ映像Ｃの画素数は、横２００００画素×縦３５００画素である。つまり、関心領域のサイズが、横２００００画素×縦３５００画素である。
【００３７】
次に、フレームマッピング部３４は、伝送フォーマットに適合するように、切り出したパノラマ映像にスケーリング処理を施す。スケーリング処理とは、所望の画素数となるようにパノラマ映像を拡大又は縮小する処理のことである。例えば、拡大の場合、スケーリング処理としては、バイリニア補間やバイキュービック補間があげられる。また、縮小の場合、スケーリング処理としては、画素の間引きがあげられる。
【００３８】
前記したように、伝送フォーマットとして、分割映像の有効画素数が横３８４０画素×縦２１６０画素、パノラマ映像の分割数が３、分割映像の配置情報が１行３列と設定されている。従って、横方向の有効画素数３８４０に分割数３を乗算すると、横１１５２０画素となる。そこで、フレームマッピング部３４は、図６のパノラマ映像Ｃが横１１５２０画素となるようにスケーリング処理（縮小処理）を施す。図６のパノラマ映像Ｃをスケーリング処理した一例を図７に示す。図７のパノラマ映像Ｄの画素数は、横１１５２０画素×縦２０１６画素である。
【００３９】
ここで、フレームマッピング部３４は、図７のパノラマ映像Ｄが縦２０１６画素なので、縦方向の有効画素数（例えば、縦２１６０画素）と一致するようにパノラマ映像を補間してもよい。例えば、補間手法としては、水平ラインを付け加える手法や、事前に用意した３８４０×２１６０の画素配列に再マッピングする手法がある。
【００４０】
このとき、フレームマッピング部３４は、３列分の分割映像の境界がずれないようにすることが好ましい。例えば、フレームマッピング部３４は、特許第３９７１８８５号に記載の手法を用いて、分割映像の境界ずれを抑制できる。
以下、分割映像の境界ずれを抑制する手法の一例を簡単に説明する。まず、複数の山形波形状の明度分布を持つテストパターン画像を分割映像として生成し、各テストパターン画像の中心位置を求める。次に、求めた中心位置に基づき各テストパターン画像の間隔及び各テストパターン画像を結ぶ線分と隣接画面との交点位置の水平方向と垂直方向における間隔を求める。そして、それら間隔から各分割映像の境界ずれを求め、その境界ずれを調整すればよい。
【００４１】
一方、スケーリング処理後の垂直画素数が分割映像の有効画素数（例えば、縦２１６０画素）を超える場合もある。この場合、スケーリング処理後のパノラマ映像から余分な水平ラインを手動で除去するか、又は、伝送フォーマットを再設定すればよい。
【００４２】
次に、フレームマッピング部３４は、スケーリング処理後のパノラマ映像を配置情報に基づいて分割することで、有効画素数の分割映像を分割数だけ生成する。図７のパノラマ映像Ｄから３つの分割映像Ｅ１〜Ｅ３を生成した例を図８に示す。図８の分割映像Ｅ１〜Ｅ３の画素数は、４Ｋである。
フレームマッピング部３４は、生成した分割映像をフレーム送出部３５に出力する。
【００４３】
図２に戻り、映像送出装置３の説明を続ける。
フレーム送出部３５は、伝送インターフェースを介して、フレームマッピング部３４から入力された各分割映像をフレーム毎に映像処理装置４に送出するものである。このとき、フレーム送出部３５は、パノラマ映像の同一フレームから分割した分割映像について、位相を揃えて送出する。例えば、フレーム送出部３５は、図８の分割映像Ｅ１〜Ｅ３の位相を揃えて送出する。
【００４４】
なお、フレーム送出部３５では、分割映像のフレームレートが特に制限されず、入力映像が映像入力部３０に入力されたときのフレームレートと同一にすればよい。また、フレーム送出部３５は、入力映像にタイムスタンプが重畳されていない場合、分割映像にタイムスタンプを付加してもよい。
【００４５】
図９に示すように、映像送出装置３は、２つの入力映像Ａ１，Ａ２を合成してパノラマ映像を生成し、映像送出装置３と映像処理装置４との伝送インターフェースに合わせ、そのパノラマ映像を３分割した分割映像Ｅ１〜Ｅ３を生成する。そして、映像送出装置３は、生成した分割映像Ｅ１〜Ｅ３を映像処理装置４に送出する。
【００４６】
［映像処理装置の構成］
図２に戻り、映像処理装置４の構成について説明する。
図２に示すように、映像処理装置４は、フレーム受信部（映像受信部）４０と、フレーム記憶部４１と、伝送フォーマット設定部４２と、パノラマ映像再構成部４３と、映像処理部４４と、映像出力部４５と、を備える。
【００４７】
フレーム受信部４０は、伝送インターフェースを介して、映像送出装置３から各分割映像をフレーム毎に受信するものである。そして、フレーム受信部４０は、受信した各分割映像をフレーム毎にフレーム記憶部４１に書き込む。
【００４８】
フレーム記憶部４１は、フレーム受信部４０より書き込まれた各入力映像をフレーム毎記憶するメモリ等の記憶手段である。フレーム記憶部４１に書き込まれたフレームは、パノラマ映像再構成部４３によって参照される。
【００４９】
伝送フォーマット設定部４２は、伝送フォーマット設定部３３と同様、伝送フォーマットをユーザが予め設定するものである。例えば、ユーザが、操作手段を用いて、伝送フォーマット設定部３３と同様の伝送フォーマットを伝送フォーマット設定部４２に設定する。そして、伝送フォーマット設定部４２は、設定された伝送フォーマットをパノラマ映像再構成部４３に出力する。
【００５０】
なお、映像処理装置４は、伝送フォーマット設定部４２を備えなくともよい。この場合、映像処理装置４は、映像送出装置３から伝送フォーマットを受信し、受信した伝送フォーマットを用いればよい。
【００５１】
パノラマ映像再構成部４３は、伝送フォーマット設定部４２の配置情報に基づいて、フレーム記憶部４１に記憶されている分割映像からスケーリング処理後のパノラマ映像を再構成するものである。ここで、映像処理装置４では、分割映像の各フレームがフレーム記憶部４１に書き込まれた順に処理するインプットロックを基本とする。また、パノラマ映像再構成部４３は、分割映像で同期したフレームをパノラマ映像として再構成する。
【００５２】
例えば、パノラマ映像再構成部４３は、図１０に示すように、分割映像Ｅ１〜Ｅ３を配置情報に従って１行３列に配置し、パノラマ映像Ｄを再構成する。このとき、パノラマ映像再構成部４３は、フレーム合成部３２と同様の手法（例えば、アルファブレンディング）を用いて、分割映像のつなぎ目を目立たないようにしてもよい。
パノラマ映像再構成部４３は、再構成したパノラマ映像を映像処理部４４に出力する。
【００５３】
映像処理部４４は、パノラマ映像再構成部４３から入力されたパノラマ映像に映像処理を施すものである。本実施形態では、映像処理部４４は、映像処理として、パノラマ映像に含まれるサッカーボールを追跡する追跡処理（トラッキング）を行い、その軌跡を描画する。例えば、追跡処理としては、テンプレートマッチング、ＫＬＴ（Kanade-Lucas-Tomasi）トラッカー、ミーンシフトトラッキング、ベイジアンフィルタがあげられる。
映像処理部４４は、映像処理後のパノラマ映像を映像出力部４５に出力する。
【００５４】
映像出力部４５は、前記したデジタル放送規格に合わせて、映像処理部４４から入力されたパノラマ映像を切り出すものである。例えば、映像出力部４５は、図１１に示すように、追跡処理の対象となったサッカーボール９の軌跡が含まれる映像Ｆをパノラマ映像Ｄから切り出す。そして、映像出力部４５は、番組映像として、切り出した映像Ｆを放送装置５に出力する。
【００５５】
［パノラマ映像システムの動作］
図１２を参照し、パノラマ映像処理システム１の動作について説明する。
図１２に示すように、ステップＳ１において、ユーザが、操作手段を用いて、伝送フォーマットを伝送フォーマット設定部３３に設定する。
ステップＳ２において、ユーザが、操作手段を用いて、伝送フォーマットを伝送フォーマット設定部４２に設定する。
【００５６】
ステップＳ３において、固定カメラ２は、サッカー試合映像を撮影する。
ステップＳ４において、固定カメラ２は、サッカー試合映像を映像送出装置３に出力する。
ステップＳ５において、映像入力部３０は、固定カメラ２からサッカー試合映像が入力され、入力された各サッカー試合映像をフレーム毎にフレーム記憶部３１に書き込む。
ステップＳ６において、フレーム合成部３２は、フレーム記憶部３１に記憶されている各サッカー試合映像からパノラマ映像を生成（合成）する。例えば、フレーム合成部３２は、スティッチング処理によりパノラマ映像を生成する。
【００５７】
ステップＳ７において、ステップＳ６で生成したパノラマ映像を、ステップＳ１で設定した伝送フォーマットにマッピングし、分割映像を生成する。まず、フレームマッピング部３４は、パノラマ映像から関心領域を切り出して、不要画素を除去する。次に、フレームマッピング部３４は、伝送フォーマットに適合するように、切り出したパノラマ映像にスケーリング処理を施す。次に、フレームマッピング部３４は、スケーリング処理後のパノラマ映像を配置情報に基づいて分割することで、有効画素数の分割映像を分割数だけ生成する。
【００５８】
ステップＳ８において、フレーム送出部３５は、伝送インターフェースを介して、ステップＳ６で生成した各分割映像をフレーム毎に映像処理装置４に送出する。
ステップＳ９において、フレーム受信部４０は、伝送インターフェースを介して、映像送出装置３から各分割映像をフレーム毎に受信し、受信した各分割映像をフレーム毎にフレーム記憶部４１に書き込む。
【００５９】
ステップＳ１０において、パノラマ映像再構成部４３は、配置情報に基づいて、ステップＳ９で記憶した分割映像から、スケーリング処理後のパノラマ映像を再構成する。例えば、パノラマ映像再構成部４３は、各分割映像を配置情報に従って配置し、パノラマ映像を再構成する。このとき、パノラマ映像再構成部４３は、例えば、アルファブレンディングを用いて、分割映像のつなぎ目を目立たないようにしてもよい。
【００６０】
ステップＳ１１において、映像処理部４４は、ステップＳ１０で再構成したパノラマ映像の各フレームに映像処理を施すものである。本実施形態では、映像処理部４４は、映像処理として、パノラマ映像に含まれるサッカーボールを追跡する追跡処理を行う。
【００６１】
ステップＳ１２において、映像出力部４５は、前記したデジタル放送規格に合わせて、ステップＳ１１で映像処理を施したパノラマ映像を切り出す。例えば、映像出力部４５は、追跡処理の対象となったサッカーボールが含まれる映像をパノラマ映像から切り出す。
【００６２】
ステップＳ１３において、映像出力部４５は、番組映像として、ステップＳ１２で切り出した映像を放送装置５に出力する。
ステップＳ１４において、放送装置５は、映像出力部４５から番組映像を受信し、受信した番組映像をデジタル放送する。
【００６３】
［作用・効果］
以上のように、パノラマ映像処理システム１は、分割映像を伝送する際、パノラマ映像の不要領域を取り除くので、ビットレートの低下を抑制することができる。さらに、パノラマ映像処理システム１は、映像送出装置３と映像処理装置４との伝送インターフェースに合わせて分割映像を伝送するので、分割映像の画素数が定まるので、分割映像の映像処理が容易になる。
【００６４】
さらに、パノラマ映像処理システム１は、固定カメラ２で撮影したサッカー試合映像に追跡処理を施し、デジタル放送規格に合わせた番組映像を自動的に制作することができる。このとき、パノラマ映像処理システム１では、固定カメラ２でサッカーフィールド全体を撮影できるので、カメラマンが不要であり、人手を削減できる。さらに、パノラマ映像処理システム１では、サッカーフィールド全体が撮影されたパノラマ映像を再構成し、この再構成したパノラマ映像に追跡処理を施すので、画角の不足に起因する追跡処理の失敗を抑制できる。パノラマ映像処理システム１は、パノラマ映像を生成する映像送出装置３と、映像処理を行う映像処理装置４との間で処理を分担するので、処理時間が短くなり、リアルタイムを向上させることができる。このように、パノラマ映像処理システム１は、高品質な番組映像を自動的に制作することができる。
【００６５】
（変形例）
以上、実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、入力映像がサッカー試合映像であることとして説明したが、これに限定されない。例えば、入力映像は、ラグビー、野球、バスケットボール、バレーボール等のサッカー以外のスポーツ映像であってもよく、スポーツ映像以外の映像であってもよい。特に、パノラマ映像処理システムは、広い範囲を撮影した映像に適する。
【００６６】
前記した実施形態では、固定カメラが２台、つまり、入力映像が２つであることとして説明したが、これ以上であってもよい。
また、固定カメラではなく、撮影画角、撮影姿勢又は撮影位置の何れか一以上が可変なロボットカメラで撮影してもよい。
【００６７】
前記した実施形態では、パノラマ映像を１行３列に分割し、３つの分割映像を伝送することとして説明したが、これに限定されない。例えば、パノラマ映像を２行３列に分割し、６つの分割映像を伝送してもよい。
また、入力映像、パノラマ映像及び分割映像の画素数を例示したが、画素数はこれに限定されない。
また、伝送インターフェースが１２Ｇ−ＳＤＩであることとして説明したが、これに限定されない。
【００６８】
前記した実施形態では、映像処理がサッカーボールの追跡処理であることとして説明したが、これに限定されない。例えば、映像処理として、特定の選手を追跡してもよく、特定の選手を強調表示してもよい。
【符号の説明】
【００６９】
１  パノラマ映像処理システム
２，２Ａ，２Ｂ  固定カメラ
３  映像送出装置
４  映像処理装置
５  放送装置
６  放送受信機
３０  映像入力部
３１  フレーム記憶部
３２  フレーム合成部（パノラマ映像生成部）
３３  伝送フォーマット設定部
３４  フレームマッピング部（分割映像生成部）
３５  フレーム送出部（映像送出部）
４０  フレーム受信部（映像受信部）
４１  フレーム記憶部
４２  伝送フォーマット設定部
４３  パノラマ映像再構成部
４４  映像処理部
４５  映像出力部
【図１】
2020145517.tif 000004
【図２】
2020145517.tif 000005
【図３】
2020145517.tif 000006
【図４】
2020145517.tif 000007
【図５】
2020145517.tif 000008
【図６】
2020145517.tif 000009
【図７】
2020145517.tif 000010
【図８】
2020145517.tif 000011
【図９】
2020145517.tif 000012
【図１０】
2020145517.tif 000013
【図１１】
2020145517.tif 000014
【図１２】
2020145517.tif 000015