(57)【要約】【課題】撮像装置の設置状態の変化を正確に検知可能とする。【解決手段】画像処理装置は、撮像装置により撮影された撮像画像を受信する受信手段と、撮像画像から背景画像を分離する分離手段と、撮像装置により第１の時刻に撮影された第１の撮像画像に基づく基準画像を格納する第１の格納手段と、第２の時刻に撮影された第２の撮像画像に基づく現画像を格納する第２の格納手段と、基準画像と現画像とを比較することで、撮像装置の状態変化を検出する検出手段と、を有する。現画像は、分離手段により第２の撮像画像から分離された背景画像である。【選択図】図２４
2019047431.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮影された撮像画像を受信する受信手段と、
前記受信手段により受信された撮像画像から背景画像を分離する分離手段と、
前記撮像装置により第１の時刻に撮影された第１の撮像画像に基づく基準画像を格納する第１の格納手段と、
前記撮像装置により前記第１の時刻とは異なる第２の時刻に撮影された第２の撮像画像に基づく現画像を格納する第２の格納手段と、
前記基準画像と前記現画像とを比較することで、前記撮像装置の状態変化を検出する検出手段と、
を有し、
前記現画像は、前記分離手段により前記第２の撮像画像から分離された背景画像である
ことを特徴とする画像処理装置。
【請求項２】
前記基準画像は、前記分離手段により前記第１の撮像画像から分離された背景画像である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記撮像装置の状態変化が所定の基準値より大きい場合に警報を出力する出力手段を有する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記分離手段は、分離対象の撮像画像よりも前に前記撮像装置により撮影された１以上の画像に基づき生成される第１の基準背景画像と前記分離対象の撮像画像との比較による時間的相関と、前記撮像装置とは別の撮像装置により撮影された１以上の画像に基づき生成される第２の基準背景画像と前記分離対象の撮像画像との比較による空間的相関と、に基づいて前記分離対象の撮像画像から背景画像を分離する
ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記撮像装置の振動を検知する検知手段を更に有し、
前記第２の時刻は、前記検知手段による所定の基準値以上の振動の検知に基づき決定される
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記基準画像と前記現画像との輝度差を検出する輝度差検出手段と、
前記輝度差検出手段により所定の閾値以上の輝度差が検出された場合、前記現画像に基づいて前記基準画像を更新する更新手段と、
を更に有する
ことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記撮像装置は注視点を切り替え可能に構成されており、
前記第１の格納手段は、注視点ごとに基準画像を格納し、
前記検出手段は、前記撮像装置の注視点が変更された場合、該変更された注視点に応じた基準画像を前記第１の格納手段から読み出し、現画像と比較する
ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記撮像装置は、仮想視点コンテンツの生成に利用される複数視点画像を撮影する複数の撮像装置の１つである
ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
撮像装置の設置状態の変化を検出するための画像処理装置の制御方法であって、
前記撮像装置により撮影された撮像画像を受信する受信工程と、
前記撮像装置により第１の時刻に撮影された第１の撮像画像に基づく基準画像を第１の格納部に格納する第１の格納工程と、
前記撮像装置により前記第１の時刻とは異なる第２の時刻に撮影された第２の撮像画像から背景画像を分離し現画像として第２の格納部に格納する第２の格納工程と、
前記基準画像と前記現画像とを比較することで、前記撮像装置の状態変化を検出する検出工程と、
を含むことを特徴とする制御方法。
【請求項１０】
仮想視点画像を生成する画像処理システムであって、
複数の異なる方向から撮影する複数の撮像装置と、
前記複数の撮像装置それぞれに対応し、対応する撮像装置により撮影された撮像画像を処理し所定形式の画像を生成する複数の画像処理装置と、
前記複数の画像処理装置により生成された複数の前記所定形式の画像に基づいて仮想視点画像を生成する画像生成装置と、
を有し、
前記複数の画像処理装置の少なくとも１つは、
対応する撮像装置により撮影された撮像画像を受信する受信手段と、
前記受信手段により受信された撮像画像から背景画像を分離する分離手段と、
前記撮像装置により第１の時刻に撮影された第１の撮像画像に基づく基準画像を格納する第１の格納手段と、
前記撮像装置により前記第１の時刻とは異なる第２の時刻に撮影された第２の撮像画像に基づく現画像を格納する第２の格納手段と、
前記基準画像と前記現画像とを比較することで、前記撮像装置の状態変化を検出する検出手段と、
を有し、
前記現画像は、前記分離手段により前記第２の撮像画像から分離された背景画像である
ことを特徴とする画像処理システム。
【請求項１１】
コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の設置状態の変化を検出する技術に関するものである。
【背景技術】
【０００２】
昨今、スタジアム等で複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。仮想視点コンテンツにより、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが出来るため、ユーザは通常の画像と比較して高い臨場感を得ることが出来る。
【０００３】
ところで、上述の複数視点画像を撮影する複数のカメラの設置時及び撮影前ワークフローには、設置時キャリブレーションが含まれる。設置時キャリブレーション後のカメラ設置状態の変化を検知し、キャリブレーションを再度行うことにより、複数視点画像を用いた仮想視点コンテンツの画質の低下を防ぐことができる。具体的には、設置時キャリブレーション後の画像を基準画像とし、その後に得られる画像（現画像）と比較し画像の変化を検出することにより、カメラ設置状態の変化を検知している。特許文献１には、被写体の存在しない背景画像を予め用意しておき、当該背景画像と現在の撮影画像との差を比較して被写体の有無を判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１７２９４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の従来技術においては、比較に利用する撮影画像（比較画像）に時間的に変化する人物等の前景が入った場合、カメラ設置状態の変化を正確に検知することができない場合がある。つまり、スタジアムのフィールドに選手や会場関係者が存在する場合、正確な検出の為に必要な比較画像を撮影することが出来ない。そのため、例えば、フィールドから人がいなくなるまで待機し比較画像を撮影する必要があった。
【０００６】
本発明は、このような問題に鑑みてなされたものであり、撮像装置の設置状態の変化を正確に検知可能とする技術を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、撮像装置により撮影された撮像画像を受信する受信手段と、前記受信手段により受信された撮像画像から背景画像を分離する分離手段と、前記撮像装置により第１の時刻に撮影された第１の撮像画像に基づく基準画像を格納する第１の格納手段と、前記撮像装置により前記第１の時刻とは異なる第２の時刻に撮影された第２の撮像画像に基づく現画像を格納する第２の格納手段と、前記基準画像と前記現画像とを比較することで、前記撮像装置の状態変化を検出する検出手段と、を有し、前記現画像は、前記分離手段により前記第２の撮像画像から分離された背景画像である。
【発明の効果】
【０００８】
本発明によれば、撮像装置の設置状態の変化を正確に検知可能とする技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係る画像処理システムの全体構成を示す図である。
【図２】カメラアダプタの機能構成を示すブロック図である。
【図３】画像処理部の機能構成を示すブロック図である。
【図４】フロントエンドサーバの機能構成を示すブロック図である。
【図５】データベースの機能構成を示すブロック図である。
【図６】バックエンドサーバの機能構成を示すブロック図である。
【図７】仮想カメラ操作ＵＩの機能構成を示すブロック図である。
【図８】仮想カメラを説明する図である。
【図９】エンドユーザ端末の機能構成を示すブロック図である。
【図１０】第１実施形態におけるワークフロー全体を示すフローチャートである。
【図１１】設置時処理の詳細フローチャートである。
【図１２】設置時キャリブレーション処理のシーケンス図である。
【図１３】カメラパラメータ推定処理の詳細フローチャートである。
【図１４】三次元モデル情報の生成処理のシーケンス図である。
【図１５】カメラから撮像画像を受信した際のカメラアダプタの動作を示すフローチャートである。
【図１６】隣接するカメラアダプタからデータを受信した際のカメラアダプタの動作を示すフローチャートである。
【図１７】注視点グループを説明する図である。
【図１８】バイパス伝送制御を説明する図である。
【図１９】カメラアダプタにおけるバイパス制御を説明する図である。
【図２０】複数のカメラアダプタ間のデータの流れを例示的に示す図である。
【図２１】伝送部における出力処理のフローチャートである。
【図２２】背景画像を説明する図である。
【図２３】画像処理部における各種処理のフローチャートである。
【図２４】ズレ検出報知部における処理のフローチャートである。
【図２５】前景背景分離処理を例示的に示す図である。
【図２６】第２実施形態におけるズレ検出報知部における処理のフローチャートである。
【図２７】第３実施形態におけるズレ検出報知部における処理のフローチャートである。
【図２８】第４実施形態におけるズレ検出報知部における処理のフローチャートである。
【図２９】カメラアダプタのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１１】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置し撮影及び集音を行うシステムを例に挙げて以下に説明する。
【００１２】
＜システムの全体構成＞
図１は、第１実施形態に係る画像処理システムの全体構成を示す図である。画像処理システム１００は、センサシステム１１０ａ〜１１０ｚ、画像コンピューティングサーバ２００、コントローラ３００、スイッチングハブ１８０、及びエンドユーザ端末１９０を含む。
【００１３】
コントローラ３００は、制御ステーション３１０と仮想カメラ操作ＵＩ３３０を有する。制御ステーション３１０は、画像処理システム１００を構成するそれぞれのブロックに対してネットワーク３１０ａ〜３１０ｃ、１８０ａ、１８０ｂ、及び１７０ａ〜１７０ｙを通じて動作状態の管理及びパラメータ設定制御などを行う。ここで、ネットワークはＥｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。
【００１４】
最初に、センサシステム１１０ａ〜１１０ｚの２６セットの画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作を説明する。本実施形態の画像処理システム１００は、センサシステム１１０ａ〜１１０ｚがデイジーチェーンにより接続される。
【００１５】
本実施形態において、特別な説明がない場合は、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットのシステムを区別せず、単にセンサシステム１１０と記載する。各センサシステム１１０内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０と記載する。なお、センサシステムの台数として２６セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。なお、本実施形態では、特に断りがない限り、画像という文言は、動画及び静止画の双方の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。
【００１６】
センサシステム１１０ａ〜１１０ｚは、それぞれ１台ずつのカメラ１１２ａ〜１１２ｚを有する。即ち、画像処理システム１００は、被写体を複数の方向から撮影するための複数のカメラを有する。複数のセンサシステム１１０同士はデイジーチェーンにより接続される。この接続形態により、撮影画像の４Ｋや８Ｋなどへの高解像度化及び高フレームレート化に伴う画像データの大容量化において、接続ケーブル数の削減や配線作業の省力化ができる効果があることをここに明記しておく。
【００１７】
なおこれに限らず、接続形態として、各センサシステム１１０ａ〜１１０ｚがスイッチングハブ１８０に接続されて、スイッチングハブ１８０を経由してセンサシステム１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。
【００１８】
また、図１では、デイジーチェーンとなるようセンサシステム１１０ａ〜１１０ｚの全てがカスケード接続されている構成を示したがこれに限定するものではない。例えば、複数のセンサシステム１１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１１０間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタ１２０がスイッチングハブに接続されて画像コンピューティングサーバ２００へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいてとくに有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム１１０を配備する場合が考えられる。この場合に、フロア毎、あるいはスタジアムの半周毎に画像コンピューティングサーバ２００への入力を行うことができ、全センサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。
【００１９】
また、デイジーチェーン接続されて画像コンピューティングサーバ２００へ画像入力を行うカメラアダプタ１２０が１つであるか２つ以上であるかに応じて、画像コンピューティングサーバ２００での画像処理の制御が切り替えられる。すなわち、センサシステム１１０が複数のグループに分割されているかどうかに応じて制御が切り替えられる。画像入力を行うカメラアダプタ１２０が１つの場合は、デイジーチェーン接続で画像伝送を行いながら競技場全周画像が生成されるため、画像コンピューティングサーバ２００において全周の画像データが揃うタイミングは同期がとられている。すなわち、センサシステム１１０がグループに分割されていなければ、同期はとれる。
【００２０】
しかし、画像入力を行うカメラアダプタ１２０が複数になる（センサシステム１１０がグループに分割される）場合は、それぞれのデイジーチェーンのレーン（経路）によって遅延が異なる場合が考えられる。そのため、画像コンピューティングサーバ２００において全周の画像データが揃うまで待って同期をとる同期制御によって、画像データの集結をチェックしながら後段の画像処理を行う必要があることを明記しておく。
【００２１】
本実施形態では、センサシステム１１０ａはマイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、外部センサ１１４ａ、及びカメラアダプタ１２０ａを有する。なお、この構成に限定するものではなく、少なくとも１台のカメラアダプタ１２０ａと、１台のカメラ１１２ａまたは１台のマイク１１１ａを有していれば良い。また例えば、センサシステム１１０ａは１台のカメラアダプタ１２０ａと、複数のカメラ１１２ａで構成されてもよいし、１台のカメラ１１２ａと複数のカメラアダプタ１２０ａで構成されてもよい。即ち、画像処理システム１００内の複数のカメラ１１２と複数のカメラアダプタ１２０はＮ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、センサシステム１１０は、マイク１１１ａ、カメラ１１２ａ、雲台１１３ａ、及びカメラアダプタ１２０ａ以外の装置を含んでいてもよい。また、カメラ１１２とカメラアダプタ１２０が一体となって構成されていてもよい。さらに、カメラアダプタ１２０の機能の少なくとも一部をフロントエンドサーバ２３０が有していてもよい。本実施形態では、センサシステム１１０ｂ〜１１０ｚについては、センサシステム１１０ａと同様の構成なので省略する。なお、センサシステム１１０ａと同じ構成に限定されるものではなく、其々のセンサシステム１１０が異なる構成でもよい。
【００２２】
マイク１１１ａにて集音された音声と、カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、デイジーチェーン１７０ａを通してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。同様にセンサシステム１１０ｂは、集音された音声と撮影された画像を、センサシステム１１０ａから取得した画像及び音声と合わせてセンサシステム１１０ｃに伝送する。
【００２３】
前述した動作を続けることにより、センサシステム１１０ａ〜１１０ｚが取得した画像及び音声は、センサシステム１１０ｚからネットワーク１８０ｂを介してスイッチングハブ１８０に伝わり、その後、画像コンピューティングサーバ２００へ伝送される。
【００２４】
なお、本実施形態では、カメラ１１２ａ〜１１２ｚとカメラアダプタ１２０ａ〜１２０ｚが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１ａ〜１１１ｚは一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。
【００２５】
次に、画像コンピューティングサーバ２００の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ２００はフロントエンドサーバ２３０、データベース（ＤＢ）２５０、バックエンドサーバ２７０、タイムサーバ２９０を有する。
【００２６】
タイムサーバ２９０は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介してセンサシステム１１０ａ〜１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ〜１２０ｚは、カメラ１１２ａ〜１１２ｚを時刻と同期信号をもとにＧｅｎｌｏｃｋさせ画像フレーム同期を行う。即ち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ２９０が複数のカメラ１１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１２０が独立して行ってもよい。
【００２７】
フロントエンドサーバ２３０は、センサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換した後に、カメラの識別子やデータ種別、フレーム番号に応じてデータベース２５０に書き込む。
【００２８】
次に、バックエンドサーバ２７０では、仮想カメラ操作ＵＩ３３０から視点の指定を受け付け、受け付けられた視点に基づいて、データベース２５０から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。
【００２９】
なお、画像コンピューティングサーバ２００の構成はこれに限らない。例えば、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０のうち少なくとも２つが一体となって構成されていてもよい。また、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ２００内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２００の機能の少なくとも一部をエンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していてもよい。
【００３０】
レンダリング処理された画像は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信され、エンドユーザ端末１９０を操作するユーザは視点の指定に応じた画像閲覧及び音声視聴が出来る。すなわち、バックエンドサーバ２７０は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報とに基づく仮想視点コンテンツを生成する。より具体的には、バックエンドサーバ２７０は、例えば複数のカメラアダプタ１２０により複数のカメラ１１２による撮影画像から抽出された所定領域の画像データと、ユーザ操作により指定された視点に基づいて、仮想視点コンテンツを生成する。そしてバックエンドサーバ２７０は、生成した仮想視点コンテンツをエンドユーザ端末１９０に提供する。カメラアダプタ１２０による所定領域の抽出の詳細については後述する。
【００３１】
本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお、本実施形態では、仮想視点コンテンツに音声データ（オーディオデータ）が含まれる場合の例を中心に説明するが、必ずしも音声データが含まれていなくても良い。また、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信してもよい。また、仮想視点画像は、非圧縮でエンドユーザ端末１９０へ送信されてもよい。とくに圧縮符号化を行う前者はエンドユーザ端末１９０としてスマートフォンやタブレットを想定しており、後者は非圧縮画像を表示可能なディスプレイを想定している。すなわち、エンドユーザ端末１９０の種別に応じて画像フォーマットが切り替え可能であることを明記しておく。また、画像の送信プロトコルはＭＰＥＧ−ＤＡＳＨに限らず、例えば、ＨＬＳ（HTTP Live Streaming）やその他の送信方法を用いても良い。
【００３２】
この様に、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインはセンサシステム１１０ａ〜１１０ｚを含み、データ保存ドメインはデータベース２５０、フロントエンドサーバ２３０及びバックエンドサーバ２７０を含み、映像生成ドメインは仮想カメラ操作ＵＩ３３０及びエンドユーザ端末１９０を含む。なお本構成に限らず、例えば、仮想カメラ操作ＵＩ３３０が直接センサシステム１１０ａ〜１１０ｚから画像を取得する事も可能である。しかしながら、本実施形態では、センサシステム１１０ａ〜１１０ｚから直接画像を取得する方法ではなくデータ保存機能を中間に配置する方法をとる。具体的には、フロントエンドサーバ２３０がセンサシステム１１０ａ〜１１０ｚが生成した画像データや音声データ及びそれらのデータのメタ情報をデータベース２５０の共通スキーマ及びデータ型に変換している。これにより、センサシステム１１０ａ〜１１０ｚのカメラ１１２が他機種のカメラに変化しても、変化した差分をフロントエンドサーバ２３０が吸収し、データベース２５０に登録することができる。このことによって、カメラ１１２が他機種カメラに変わった場合に、仮想カメラ操作ＵＩ３３０が適切に動作しない虞を低減できる。
【００３３】
また、仮想カメラ操作ＵＩ３３０は、直接データベース２５０にアクセスせずにバックエンドサーバ２７０を介してアクセスする構成である。バックエンドサーバ２７０で画像生成処理に係わる共通処理を行い、操作ＵＩに係わるアプリケーションの差分部分を仮想カメラ操作ＵＩ３３０で行っている。このことにより、仮想カメラ操作ＵＩ３３０の開発において、ＵＩ操作デバイスや、生成したい仮想視点画像を操作するＵＩの機能要求に対する開発に注力する事ができる。また、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０の要求に応じて画像生成処理に係わる共通処理を追加又は削除する事も可能である。このことによって仮想カメラ操作ＵＩ３３０の要求に柔軟に対応する事ができる。
【００３４】
このように、画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１２による撮影に基づく画像データに基づいて、バックエンドサーバ２７０により仮想視点画像が生成される。なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。
【００３５】
＜各ノードの機能構成＞
次にシステムを構成する各ノード（カメラアダプタ１２０、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、仮想カメラ操作ＵＩ３３０、エンドユーザ端末１９０）の機能構成を説明する。
【００３６】
図２は、カメラアダプタ１２０の機能構成を示すブロック図である。なお、カメラアダプタ１２０の機能ブロック間でのデータの流れの詳細は図２０を用いて後述する。
【００３７】
カメラアダプタ１２０は、ネットワークアダプタ６１１０、伝送部６１２０、画像処理部６１３０及び、外部機器制御部６１４０から構成されている。ネットワークアダプタ６１１０は、データ送受信部６１１１及び時刻制御部６１１２から構成されている。
【００３８】
データ送受信部６１１１は、デイジーチェーン１７０、ネットワーク２９１、及びネットワーク３１０ａを介し他のカメラアダプタ１２０、フロントエンドサーバ２３０、タイムサーバ２９０、及び制御ステーション３１０とデータ通信を行う。例えばデータ送受信部６１１１は、カメラ１１２による撮影画像から前景背景分離部６１３１により分離された前景画像と背景画像とを、別のカメラアダプタ１２０に対して出力する。出力先のカメラアダプタ１２０は、画像処理システム１００内のカメラアダプタ１２０のうち、データルーティング処理部６１２２の処理に応じて予め定められた順序において次のカメラアダプタ１２０である。各カメラアダプタ１２０が所定形式の画像として前景画像と背景画像とを出力することで、複数の視点から撮影された前景画像と背景画像に基づいて仮想視点画像が生成される。なお、撮影画像から分離した前景画像を出力して背景画像は出力しないカメラアダプタ１２０が存在してもよい。
【００３９】
時刻制御部６１１２は、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ  Ｃｌｏｃｋに準拠し、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存する機能と、タイムサーバ２９０と時刻同期を行う。なお、ＩＥＥＥ１５８８に限定する訳ではなく、他のＥｔｈｅｒＡＶＢ規格や、独自プロトコルによってタイムサーバ２９０との時刻同期を実現してもよい。本実施形態では、ネットワークアダプタ６１１０としてＮＩＣ（Network Interface Card）を利用するが、ＮＩＣに限定するものではなく、同様の他のＩｎｔｅｒｆａｃｅを利用してもよい。また、ＩＥＥＥ１５８８はＩＥＥＥ１５８８−２００２、ＩＥＥＥ１５８８−２００８のように標準規格として更新されており、後者については、ＰＴＰｖ２（Precision Time Protocol Version 2）とも呼ばれる。
【００４０】
伝送部６１２０は、ネットワークアダプタ６１１０を介してスイッチングハブ１８０等に対するデータの伝送を制御する機能を有し、以下の機能部から構成されている。
【００４１】
データ圧縮・伸張部６１２１は、データ送受信部６１１１を介して送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能を有している。
【００４２】
データルーティング処理部６１２２は、後述するデータルーティング情報保持部６１２５が保持するデータを利用し、データ送受信部６１１１が受信したデータ及び画像処理部６１３０で処理されたデータのルーティング先を決定する。さらに、決定したルーティング先へデータを送信する機能を有している。ルーティング先としては、同一の注視点にフォーカスされたカメラ１１２に対応するカメラアダプタ１２０とするのが、それぞれのカメラ１１２同士の画像フレーム相関が高いため画像処理を行う上で好適である。複数のカメラアダプタ１２０それぞれのデータルーティング処理部６１２２による決定に応じて、画像処理システム１００内において前景画像や背景画像をリレー形式で出力するカメラアダプタ１２０の順序が定まる。
【００４３】
時刻同期制御部６１２３は、ＩＥＥＥ１５８８規格のＰＴＰ（Precision Time Protocol）に準拠し、タイムサーバ２９０と時刻同期に係わる処理を行う機能を有している。なお、ＰＴＰに限定するのではなく他の同様のプロトコルを利用して時刻同期してもよい。
【００４４】
画像・音声伝送処理部６１２４は、画像データ又は音声データを、データ送受信部６１１１を介して他のカメラアダプタ１２０またはフロントエンドサーバ２３０へ転送するためのメッセージを作成する機能を有している。メッセージには画像データ又は音声データ、及び各データのメタ情報が含まる。本実施形態のメタ情報には画像の撮影または音声のサンプリングをした時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２やマイク１１１の個体を示す識別子などが含まれる。なお送信する画像データまたは音声データはデータ圧縮・伸張部６１２１でデータ圧縮されていてもよい。また、画像・音声伝送処理部６１２４は、他のカメラアダプタ１２０からデータ送受信部６１１１を介してメッセージを受取る。そして、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を画像データまたは音声データに復元する。なお、データを復元した際にデータが圧縮されている場合は、データ圧縮・伸張部６１２１が伸張処理を行う。
【００４５】
データルーティング情報保持部６１２５は、データ送受信部６１１１で送受信されるデータの送信先を決定するためのアドレス情報を保持する機能を有する。ルーティング方法については後述する。
【００４６】
画像処理部６１３０は、カメラ制御部６１４１の制御によりカメラ１１２が撮影した画像データ及び他のカメラアダプタ１２０から受取った画像データに対して処理を行う機能を有し、以下の機能部から構成されている。
【００４７】
前景背景分離部６１３１は、カメラ１１２が撮影した画像データを前景画像と背景画像に分離する機能を有している。すなわち、複数のカメラアダプタ１２０それぞれの前景背景分離部６１３１は、複数のカメラ１１２のうち対応するカメラ１１２による撮影画像から所定領域を抽出する。所定領域は例えば撮影画像に対するオブジェクト検出の結果得られる前景画像であり、この抽出により前景背景分離部６１３１は、撮影画像を前景画像と背景画像に分離する。なお、オブジェクトとは、例えば人物である。ただし、オブジェクトが特定人物（選手、監督、及び／又は審判など）であっても良いし、ボールやゴールなど、画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。人物等の重要なオブジェクトを含む前景画像とそのようなオブジェクトを含まない背景領域を分離して処理することで、画像処理システム１００において生成される仮想視点画像の上記のオブジェクトに該当する部分の画像の品質を向上できる。また、前景と背景の分離を複数のカメラアダプタ１２０それぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。なお、所定領域は前景画像に限らず、例えば背景画像であってもよい。また、後述するズレ検出のために前景背景分離部６１３１において行われる前景画像と背景画像に分離する処理は、上記画像処理であってもよい。しかし、本実施形態においては、より正確なズレ測定の為に、時間的相関及び空間的相関の両方を用いて前景と背景を分離する前景背景分離処理を行う。このズレ検出に用いる前景背景分離に関しては、後述する。
【００４８】
三次元モデル情報生成部６１３２は、前景背景分離部６１３１で分離された前景画像及び他のカメラアダプタ１２０から受取った前景画像を利用し、例えばステレオカメラの原理を用いて三次元モデルに係わる画像情報を生成する機能を有している。
【００４９】
キャリブレーション制御部６１３３は、キャリブレーションに必要な画像データを、カメラ制御部６１４１を介してカメラ１１２から取得し、キャリブレーションに係わる演算処理を行うフロントエンドサーバ２３０に送信する機能を有している。なお本実施形態ではキャリブレーションに係わる演算処理をフロントエンドサーバ２３０で行っているが、演算処理を行うノードはフロントエンドサーバ２３０に限定されない。例えば、制御ステーション３１０やカメラアダプタ１２０（他のカメラアダプタ１２０を含む）など他のノードで演算処理が行われてもよい。またキャリブレーション制御部６１３３は、カメラ制御部６１４１を介してカメラ１１２から取得した画像データに対して、予め設定されたパラメータに応じて撮影中のキャリブレーション（動的キャリブレーション）を行う機能を有している。
【００５０】
ズレ検出報知部６１３４は、前景背景分離部６１３１で分離された背景画像から画像の位置ズレ（以降ではズレと呼ぶ）を検出する機能を有する。まず、カメラ初期設定時に撮影した画像に対して時間的相関、及び、空間的相関から前景と背景を分離する前景背景分離処理を行う。そして、得られた背景画像を基準画像として保存する。次に、起動時や定期的に現画像を撮影し、同様の前景背景分離処理を行い、得られた背景画像を現画像として保存する。そして、基準画像と現画像とを比較してズレを検出する。ズレが所定の基準値より大きい場合には、カメラの設置状態が状態変化したと判断し、警報を報知する。
【００５１】
外部機器制御部６１４０は、カメラアダプタ１２０に接続する機器を制御する機能を有し、下記機能ブロックから構成されている。
【００５２】
カメラ制御部６１４１は、カメラ１１２と接続し、カメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定などを行う機能を有している。カメラ１１２の制御には、例えば撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始及び停止や、ピント調整などがある。なお、本実施形態ではカメラ１１２を介してピント調整を行っているが、取り外し可能なレンズがカメラ１１２に装着されている場合は、カメラアダプタ１２０がレンズに接続し、直接レンズの調整を行ってもよい。また、カメラアダプタ１２０がカメラ１１２を介してズーム等のレンズ調整を行ってもよい。同期信号提供は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を利用し、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。時刻設定は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受取る画像データに提供したタイムコードが付与されることになる。なおタイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットであってもよい。また、カメラ制御部６１４１は、カメラ１１２に対するタイムコードの提供はせず、カメラ１１２から受取った画像データに自身がタイムコードを付与してもよい。
【００５３】
マイク制御部６１４２は、マイク１１１と接続し、マイク１１１の制御、収音の開始及び停止や収音された音声データの取得などを行う機能を有している。マイク１１１の制御は例えば、ゲイン調整や、状態取得などである。またカメラ制御部６１４１と同様にマイク１１１に対して音声サンプリングするタイミングとタイムコードを提供する。音声サンプリングのタイミングとなるクロック情報としては、タイムサーバ２９０からの時刻情報が例えば４８ＫＨｚのワードクロックに変換されてマイク１１１に供給される。
【００５４】
雲台制御部６１４３は、雲台１１３と接続し、雲台１１３の制御を行う機能を有している。雲台１１３の制御は例えば、パン・チルト制御や、状態取得などがある。
【００５５】
センサ制御部６１４４は、外部センサ１１４と接続し、外部センサ１１４がセンシングしたセンサ情報を取得する機能を有する。例えば、外部センサ１１４としてジャイロセンサが利用される場合は、振動を表す情報を取得することができる。そして、センサ制御部６１４４が取得した振動情報を用いて、画像処理部６１３０は、前景背景分離部６１３１での処理に先立って、振動を抑えた画像を生成することができる。振動情報は例えば、８Ｋカメラの画像データを、振動情報を考慮して、元の８Ｋサイズよりも小さいサイズで切り出して、隣接設置されたカメラ１１２の画像との位置合わせを行う場合に利用される。これにより、建造物の躯体振動が各カメラに異なる周波数で伝搬しても、カメラアダプタ１２０に配備された本機能で位置合わせを行う。その結果、電子的に防振された画像データを生成でき、画像コンピューティングサーバ２００におけるカメラ１１２の台数分の位置合わせの処理負荷を軽減する効果が得られる。なお、センサシステム１１０のセンサは外部センサ１１４に限定するわけではなく、カメラアダプタ１２０に内蔵されたセンサであっても同様の効果が得られる。
【００５６】
続いて、上述の各実施形態を構成する各装置のハードウェア構成について、より詳細に説明する。上述の通り、カメラアダプタ１２０がＦＰＧＡ及び／又はＡＳＩＣなどのハードウェアを実装し、これらのハードウェアによって、上述した各処理を実行する場合の例を中心に説明した。それはセンサシステム１１０内の各種装置や、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、及びコントローラ３００についても同様である。しかしながら、上記装置のうち、少なくとも何れかが、例えばＣＰＵ、ＧＰＵ、ＤＳＰなどを用い、ソフトウェア処理によって各実施形態の処理を実行するようにしても良い。
【００５７】
図２９は、カメラアダプタ１２０のハードウェア構成を示す図である。ここでは、図２に示した機能構成を、例えばＣＰＵ、ＧＰＵ、ＤＳＰなどを用いたソフトウェア処理によって実現することを想定している。なお、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、制御ステーション３１０、仮想カメラ操作ＵＩ３３０、及びエンドユーザ端末１９０などの装置も、図２９のハードウェア構成となりうる。カメラアダプタ１２０は、ＣＰＵ１２０１、ＲＯＭ１２０２、ＲＡＭ１２０３、補助記憶装置１２０４、表示部１２０５、操作部１２０６、通信部１２０７、及びバス１２０８を有する。
【００５８】
ＣＰＵ１２０１は、ＲＯＭ１２０２やＲＡＭ１２０３に格納されているコンピュータプログラムやデータを用いてカメラアダプタ１２０の全体を制御する。ＲＯＭ１２０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ１２０３は、補助記憶装置１２０４から供給されるプログラムやデータ、及び通信部１２０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１２０４は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータを記憶する。
【００５９】
表示部１２０５は、例えば液晶ディスプレイ等で構成され、ユーザがカメラアダプタ１２０を操作するためのＧＵＩ（Graphical User Interface）などを表示する。操作部１２０６は、例えばキーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１２０１に入力する。通信部１２０７は、カメラ１１２やフロントエンドサーバ２３０などの外部の装置と通信を行う。例えば、カメラアダプタ１２０が外部の装置と有線で接続される場合には、ＬＡＮケーブル等が通信部１２０７に接続される。なお、カメラアダプタ１２０が外部の装置と無線通信する機能を有する場合、通信部１２０７はアンテナを備える。バス１２０８は、カメラアダプタ１２０の各部を繋いで情報を伝達する。
【００６０】
なお、例えばカメラアダプタ１２０の処理のうち一部をＦＰＧＡで行い、別の一部の処理を、ＣＰＵを用いたソフトウェア処理によって実現するようにしても良い。また、図２９に示したカメラアダプタ１２０の各構成要素は、単一の電子回路で構成されていてもよいし、複数の電子回路で構成されていてもよい。例えば、カメラアダプタ１２０は、ＣＰＵ１２０１として動作する電子回路を複数備えていてもよい。これら複数の電子回路がＣＰＵ１２０１としての処理を並行して行うことで、カメラアダプタの処理速度を向上することができる。
【００６１】
また、上述の各実施形態では表示部１２０５と操作部１２０６はカメラアダプタ１２０の内部に存在するが、カメラアダプタ１２０は表示部１２０５及び操作部１２０６の少なくとも一方を備えていなくてもよい。また、表示部１２０５及び操作部１２０６の少なくとも一方がカメラアダプタ１２０の外部に別の装置として存在していて、ＣＰＵ１２０１が、表示部１２０５を制御する表示制御部、及び操作部１２０６を制御する操作制御部として動作してもよい。画像処理システム１００内の他の装置についても同様である。また例えば、フロントエンドサーバ２３０、データベース２５０及びバックエンドサーバ２７０は表示部１２０５を備えず、制御ステーション３１０、仮想カメラ操作ＵＩ３３０及びエンドユーザ端末１９０は表示部１２０５を備えていてもよい。また、上述の各実施形態では、画像処理システム１００が競技場やコンサートホールなどの施設に設置される場合の例を中心に説明した。施設の他の例としては、例えば、遊園地、公園、競馬場、競輪場、カジノ、プール、スケートリンク、スキー場、ライブハウスなどがある。また、各種施設で行われるイベントは、屋内で行われるものであっても屋外で行われるものであっても良い。また、各実施形態における施設は、一時的に（期間限定で）建設される施設も含む。
【００６２】
図３は、カメラアダプタ１２０内部の画像処理部６１３０の機能構成を示すブロック図である。キャリブレーション制御部６１３３は、入力された画像に対して、カメラ毎の色のばらつきを抑えるための色補正処理や、カメラの振動に起因するブレに対して画像の位置を安定させるためのブレ補正処理（電子防振処理）などを行う。
【００６３】
前景背景分離部６１３１の機能ブロックについて説明する。前景分離部５００１は、カメラ１１２の画像に関して位置合わせが行われた画像データに対して、背景画像５００２との比較により前景画像の分離処理を行う。
【００６４】
背景更新部５００３は、背景画像５００２とカメラ１１２の位置合わせが行われた画像を用いて新しい背景画像を生成し、背景画像５００２を新しい背景画像に更新する。
【００６５】
背景切出部５００４は、背景画像５００２の一部を切り出す制御を行う。ここで、三次元モデル情報生成部６１３２の機能について説明する。
【００６６】
三次元モデル処理部５００５は、前景分離部５００１で分離された前景画像と、伝送部６１２０を介して受信した他のカメラ１１２の前景画像を用いて、例えばステレオカメラの原理等から三次元モデルに関わる画像情報を逐次生成する。
【００６７】
他カメラ前景受信部５００６は、他のカメラアダプタ１２０で前景背景分離された前景画像を受信する。
【００６８】
カメラパラメータ受信部５００７は、カメラ固有の内部パラメータ（焦点距離、画像中心、及びレンズ歪みパラメータ等）と、カメラの位置姿勢を表す外部パラメータ（回転行列及び位置ベクトル等）を受信する。これらのパラメータは、後述のキャリブレーション処理で得られる情報であり、制御ステーション３１０から対象となるカメラアダプタ１２０に対して送信及び設定される。つぎに、三次元モデル処理部５００５は、カメラパラメータ受信部５００７と他カメラ前景受信部５００６によって三次元モデル情報を生成する。
【００６９】
ここで、ズレ検出報知部６１３４の機能について説明する。ズレ検出報知部６１３４は、前景背景分離部６１３１で分離された背景画像から画像のズレを検出する機能を有する。
【００７０】
まず、カメラ初期設定時のキャリブレーション終了後（第１の時刻）に画像を撮影する。次に、このカメラ初期設定時に撮影した画像に対して前景分離部５００１において時間的相関、及び、空間的相関から前景と背景を分離する前景背景分離処理を行う。この時間的相関、及び、空間的相関から前景と背景を分離する前景背景分離処理に関しての詳細に関しては、後述する。そして、この背景画像５００２を基準画像として基準背景画像記憶部５００８（第１の格納部）に保存する。次に、起動時や定期的（第２の時刻）に現画像を撮影する。次に、この画像に対して前景分離部５００１において上述と同様の時間的相関、及び、空間的相関から前景と背景を分離する前景背景分離処理を行う。そして、背景画像５００２を比較用の現画像（比較現画像）として比較現背景画像記憶部５００９（第２の格納部）に保存する。次に、ズレ検出部５０１０で基準背景画像記憶部５００８の基準画像と比較現背景画像記憶部５００９の比較現画像とを比較してズレを検出する。比較する手法は、対応する特徴点間のベクトルを用いる方法、その他、周知の技法を用いる。ズレが所定の基準値より大きい場合には、カメラの設置状態が状態変化したと判断し、警報を報知し警報情報を伝送部６１２０に伝送する。
【００７１】
図４は、フロントエンドサーバ２３０の機能構成を示すブロック図である。制御部２１１０はＣＰＵやＤＲＡＭ、プログラムデータや各種データを記憶したＨＤＤやＮＡＮＤメモリなどの記憶媒体、Ｅｔｈｅｒｎｅｔ（登録商標）等のハードウェアで構成される。そして、フロントエンドサーバ２３０の各機能ブロック及びフロントエンドサーバ２３０のシステム全体の制御を行う。また、モード制御を行って、キャリブレーション動作や撮影前の準備動作、及び撮影中動作などの動作モードを切り替える。また、Ｅｔｈｅｒｎｅｔ（登録商標）を通じて制御ステーション３１０からの制御指示を受信し、各モードの切り替えやデータの入出力などを行う。また、同じくネットワークを通じて制御ステーション３１０からスタジアムＣＡＤデータ（スタジアム形状データ）を取得し、スタジアムＣＡＤデータをＣＡＤデータ記憶部２１３５と撮影データファイル生成部２１８０に送信する。なお、本実施形態におけるスタジアムＣＡＤデータ（スタジアム形状データ）はスタジアムの形状を示す三次元データであり、メッシュモデルやその他の三次元形状を表すデータであればよく、ＣＡＤ形式に限定されない。
【００７２】
データ入力制御部２１２０は、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信路とスイッチングハブ１８０を介して、カメラアダプタ１２０とネットワーク接続されている。そしてデータ入力制御部２１２０は、ネットワークを通してカメラアダプタ１２０から前景画像、背景画像、被写体の三次元モデル、音声データ、及びカメラキャリブレーション撮影画像データを取得する。ここで、前景画像は仮想視点画像の生成のための撮影画像の前景領域に基づく画像データであり、背景画像は当該撮影画像の背景領域に基づく画像データである。カメラアダプタ１２０は、カメラ１１２による撮影画像に対する所定のオブジェクトの検出処理の結果に応じて、前景領域及び背景領域を特定し、前景画像及び背景画像を生成する。所定のオブジェクトとは、例えば人物である。なお、所定のオブジェクトは特定の人物（選手、監督、及び／又は審判など）であっても良い。また、所定のオブジェクトには、ボールやゴールなど、画像パターンが予め定められている物体が含まれていてもよい。また、所定のオブジェクトとして、動体が検出されるようにしても良い。
【００７３】
また、データ入力制御部２１２０は、取得した前景画像及び背景画像をデータ同期部２１３０に送信し、カメラキャリブレーション撮影画像データをキャリブレーション部２１４０に送信する。また、データ入力制御部２１２０は受信したデータの圧縮伸張やデータルーティング処理等を行う機能を有する。また、制御部２１１０とデータ入力制御部２１２０は共にＥｔｈｅｒｎｅｔ（登録商標）等のネットワークによる通信機能を有しているが、通信機能はこれらで共有されていてもよい。その場合は、制御ステーション３１０からの制御コマンドによる指示やスタジアムＣＡＤデータをデータ入力制御部２１２０で受けて、制御部２１１０に対して送る方法を用いてもよい。
【００７４】
データ同期部２１３０は、カメラアダプタ１２０から取得したデータをＤＲＡＭ上に一次的に記憶し、前景画像、背景画像、音声データ及び三次元モデルデータが揃うまでバッファする。なお、前景画像、背景画像、音声データ及び三次元モデルデータをまとめて、以降では撮影データと称する。撮影データにはルーティング情報やタイムコード情報（時間情報）、カメラ識別子等のメタ情報が付与されており、データ同期部２１３０はこのメタ情報を元にデータの属性を確認する。これによりデータ同期部２１３０は、同一時刻のデータであることなどを判断してデータがそろったことを確認する。これは、ネットワークによって各カメラアダプタ１２０から転送されたデータについて、ネットワークパケットの受信順序は保証されず、ファイル生成に必要なデータが揃うまでバッファする必要があるためである。
【００７５】
データがそろったら、データ同期部２１３０は、前景画像及び背景画像を画像処理部２１５０に、三次元モデルデータを三次元モデル結合部２１６０に、音声データを撮影データファイル生成部２１８０にそれぞれ送信する。なお、ここで揃えるデータは、後述される撮影データファイル生成部２１８０に於いてファイル生成を行うために必要なデータである。また、背景画像は前景画像とは異なるフレームレートで撮影されてもよい。例えば、背景画像のフレームレートが１ｆｐｓである場合、１秒毎に１つの背景画像が取得されるため、背景画像が取得されない時間については、背景画像が無い状態で全てのデータがそろったとしてよい。また、データ同期部２１３０は、所定時間を経過しデータが揃っていない場合には、データ集結ができないことを示す情報をデータベース２５０に通知する。そして、後段のデータベース２５０が、データを格納する際に、カメラ番号やフレーム番号とともにデータ欠落を示す情報を格納する。これにより、仮想カメラ操作ＵＩ３３０からバックエンドサーバ２７０への視点指示に応じて、データ集結したカメラ１１２の撮影画像から所望の画像が形成できるか否かをレンダリング前に自動通知することが可能となる。その結果、仮想カメラ操作ＵＩ３３０のオペレータの目視負荷を軽減できる。
【００７６】
ＣＡＤデータ記憶部２１３５は制御部２１１０から受け取ったスタジアム形状を示す三次元データをＤＲＡＭまたはＨＤＤやＮＡＮＤメモリ等の記憶媒体に保存する。そして、画像結合部２１７０に対して、スタジアム形状データの要求を受け取った際に保存されたスタジアム形状データを送信する。
【００７７】
キャリブレーション部２１４０はカメラのキャリブレーション動作を行い、キャリブレーションによって得られたカメラパラメータを後述する非撮影データファイル生成部２１８５に送る。また同時に、自身の記憶領域にもカメラパラメータを保持し、後述する三次元モデル結合部２１６０にカメラパラメータ情報を提供する。
【００７８】
画像処理部２１５０は前景画像や背景画像に対して、カメラ間の色や輝度値の合わせこみ、ＲＡＷ画像データが入力される場合には現像処理、及びカメラのレンズ歪みの補正等の処理を行う。そして、画像処理を行った前景画像は撮影データファイル生成部２１８０に、背景画像は２１７０にそれぞれ送信する。
【００７９】
三次元モデル結合部２１６０は、カメラアダプタ１２０から取得した同一時刻の三次元モデルデータをキャリブレーション部２１４０が生成したカメラパラメータを用いて結合する。そして、ＶｉｓｕａｌＨｕｌｌと呼ばれる方法を用いて、スタジアム全体における前景画像の三次元モデルデータを生成する。生成した三次元モデルは撮影データファイル生成部２１８０に送信される。
【００８０】
画像結合部２１７０は画像処理部２１５０から背景画像を取得し、ＣＡＤデータ記憶部２１３５からスタジアムの三次元形状データ（スタジアム形状データ）を取得し、取得したスタジアムの三次元形状データの座標に対する背景画像の位置を特定する。背景画像の各々についてスタジアムの三次元形状データの座標に対する位置が特定できると、背景画像を結合して１つの背景画像とする。なお、本背景画像の三次元形状データの作成については、バックエンドサーバ２７０が実施してもよい。
【００８１】
撮影データファイル生成部２１８０はデータ同期部２１３０から音声データを、画像処理部２１５０から前景画像を、三次元モデル結合部２１６０から三次元モデルデータを、画像結合部２１７０から三次元形状に結合された背景画像を取得する。そして、取得したこれらのデータをＤＢアクセス制御部２１９０に対して出力する。ここで、撮影データファイル生成部２１８０は、これらのデータをそれぞれの時間情報に基づいて対応付けて出力する。ただし、これらのデータの一部を対応付けて出力してもよい。例えば、撮影データファイル生成部２１８０は、前景画像と背景画像とを、前景画像の時間情報及び背景画像の時間情報に基づいて対応付けて出力する。また例えば、撮影データファイル生成部２１８０は、前景画像、背景画像、及び三次元モデルデータを、前景画像の時間情報、背景画像の時間情報、及び三次元モデルデータの時間情報に基づいて対応付けて出力する。なお、撮影データファイル生成部２１８０は、対応付けられたデータをデータの種類別にファイル化して出力してもよいし、複数種類のデータを時間情報が示す時刻ごとにまとめてファイル化して出力してもよい。このように対応付けられた撮影データがＤＢアクセス制御部２１９０によってデータベース２５０に出力されることで、バックエンドサーバ２７０は時間情報が対応する前景画像と背景画像とから仮想視点画像を生成できる。
【００８２】
なお、データ入力制御部２１２０により取得される前景画像と背景画像のフレームレートが異なる場合、撮影データファイル生成部２１８０は、常に同時刻の前景画像と背景画像を対応付けて出力することは難しい。そこで、撮影データファイル生成部２１８０は、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像とを対応付けて出力する。ここで、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像は、例えば、撮影データファイル生成部２１８０が取得した背景画像のうち前景画像の時間情報に最も近い時間情報を有する背景画像である。
【００８３】
このように、所定の規則に基づいて前景画像と背景画像を対応付けることにより、前景画像と背景画像のフレームレートが異なる場合でも、近い時刻に撮影された前景画像と背景画像とから仮想視点画像を生成することができる。なお、前景画像と背景画像の対応付けの方法は上記のものに限らない。例えば、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像は、取得された背景画像であって前景画像より前の時刻に対応する時間情報を有する背景画像のうち、前景画像の時間情報に最も近い時間情報を有する背景画像であってよい。この方法によれば、前景画像よりフレームレートの低い背景画像の取得を待つことなく、対応付けられた前景画像と背景画像とを低遅延で出力することができる。また、前景画像の時間情報と所定の規則に基づく関係にある時間情報を有する背景画像は、取得された背景画像であって前景画像より後の時刻に対応する時間情報を有する背景画像のうち、前景画像の時間情報に最も近い時間情報を有する背景画像でもよい。
【００８４】
非撮影データファイル生成部２１８５は、キャリブレーション部２１４０からカメラパラメータ、制御部２１１０からスタジアムの三次元形状データを取得し、ファイル形式に応じて成形した後にＤＢアクセス制御部２１９０に送信する。なお、非撮影データファイル生成部２１８５に入力されるデータであるカメラパラメータまたはスタジアム形状データは、個別にファイル形式に応じて成形される。すなわち、非撮影データファイル生成部２１８５は、どちらか一方のデータを受信した場合、それらを個別にＤＢアクセス制御部２１９０に送信する。
【００８５】
ＤＢアクセス制御部２１９０は、ＩｎｆｉｎｉＢａｎｄなどにより高速な通信が可能となるようにデータベース２５０と接続される。そして、撮影データファイル生成部２１８０及び非撮影データファイル生成部２１８５から受信したファイルをデータベース２５０に対して送信する。本実施形態では、撮影データファイル生成部２１８０が時間情報に基づいて対応付けた撮影データは、フロントエンドサーバ２３０とネットワークを介して接続される記憶装置であるデータベース２５０へＤＢアクセス制御部２１９０を介して出力される。ただし、対応付けられた撮影データの出力先はこれに限らない。例えば、フロントエンドサーバ２３０は、時間情報に基づいて対応付けられた撮影データを、フロントエンドサーバ２３０とネットワークを介して接続され仮想視点画像を生成する画像生成装置であるバックエンドサーバ２７０に出力してもよい。また、データベース２５０とバックエンドサーバ２７０の両方に出力してもよい。
【００８６】
また、本実施形態ではフロントエンドサーバ２３０が前景画像と背景画像の対応付けを行うものとするが、これに限らず、データベース２５０が対応付けを行ってもよい。例えば、データベース２５０はフロントエンドサーバ２３０から時間情報を有する前景画像及び背景画像を取得する。そしてデータベース２５０は、前景画像と背景画像とを前景画像の時間情報及び背景画像の時間情報に基づいて対応付けて、データベース２５０が備える記憶部に出力してもよい。
【００８７】
図５は、データベース２５０の機能構成を示すブロック図である。制御部２４１０はＣＰＵやＤＲＡＭ、プログラムデータや各種データを記憶したＨＤＤやＮＡＮＤメモリなどの記憶媒体、及びＥｔｈｅｒｎｅｔ（登録商標）等のハードウェアで構成される。そして、データベース２５０の各機能ブロック及びデータベース２５０のシステム全体の制御を行う。
【００８８】
データ入力部２４２０はＩｎｆｉｎｉＢａｎｄ等の高速な通信によって、フロントエンドサーバ２３０から撮影データや非撮影データのファイルを受信する。受信したファイルはキャッシュ２４４０に送られる。また、受信した撮影データのメタ情報を読み出し、メタ情報に記録されたタイムコード情報やルーティング情報、カメラ識別子等の情報を元に、取得したデータへのアクセスが可能になるようにデータベーステーブルを作成する。
【００８９】
データ出力部２４３０は、バックエンドサーバ２７０から要求されたデータが後述するキャッシュ２４４０、一次ストレージ２４５０、二次ストレージ２４６０のいずれに保存されているか判断する。そして、ＩｎｆｉｎｉＢａｎｄ等の高速な通信によって、保存された先からデータを読み出してバックエンドサーバ２７０に送信する。
【００９０】
キャッシュ２４４０は高速な入出力スループットを実現可能なＤＲＡＭ等の記憶装置を有しており、データ入力部２４２０から取得した撮影データや非撮影データを記憶装置に格納する。格納されたデータは一定量保持され、それを超えるデータが入力される場合に、古いデータから随時一次ストレージ２４５０へと書き出され、書き出し済みのデータは新たなデータによって上書きされる。ここでキャッシュ２４４０に一定量保存されるデータは少なくとも１フレーム分の撮影データである。それによって、バックエンドサーバ２７０に於いて画像のレンダリング処理を行う際に、データベース２５０内でのスループットを最小限に抑え、最新の画像フレームを低遅延かつ連続的にレンダリングすることが可能となる。ここで、前述の目的を達成するためにはキャッシュされているデータの中に背景画像が含まれている必要がある。そのため、背景画像を有さないフレームの撮影データがキャッシュされる場合、キャッシュ上の背景画像は更新されず、そのままキャッシュ上に保持される。キャッシュ可能なＤＲＡＭの容量は、予めシステムに設定されたキャッシュフレームサイズ、または制御ステーション３１０からの指示によって決められる。なお、非撮影データについては、入出力の頻度が少なく、また、試合前などにおいては高速なスループットを要求されないため、すぐに一次ストレージ２４５０へとコピーされる。キャッシュされたデータはデータ出力部２４３０によって読み出される。
【００９１】
一次ストレージ２４５０はＳＳＤ等のストレージメディアを並列につなぐなどして構成されデータ入力部２４２０からの大量のデータの書き込み及びデータ出力部２４３０からのデータ読み出しが同時に実現できるなど高速化される。そして、一次ストレージ２４５０には、キャッシュ２４４０上に格納されたデータの古いものから順に書き出される。二次ストレージ２４６０はＨＤＤやテープメディア等で構成され、高速性よりも大容量が重視され、一次ストレージと比較して安価で長期間の保存に適するメディアであることが求められる。二次ストレージ２４６０には、撮影が完了した後、データのバックアップとして一次ストレージ２４５０に格納されたデータが書き出される。
【００９２】
図６は、バックエンドサーバ２７０の機能構成を示すブロック図である。バックエンドサーバ２７０は、データ受信部３００１、背景テクスチャ貼り付け部３００２、前景テクスチャ決定部３００３、テクスチャ境界色合わせ部３００４、仮想視点前景画像生成部３００５、及びレンダリング部３００６を有する。さらに、仮想視点音声生成部３００７、合成部３００８、画像出力部３００９、前景オブジェクト決定部３０１０、要求リスト生成部３０１１、要求データ出力部３０１２、及びレンダリングモード管理部３０１４を有する。
【００９３】
データ受信部３００１は、データベース２５０およびコントローラ３００から送信されるデータを受信する。またデータベース２５０からは、スタジアムの形状を示す三次元データ（スタジアム形状データ）、前景画像、背景画像、前景画像の三次元モデル（以降、前景三次元モデルと称する）、及び音声を受信する。
【００９４】
また、データ受信部３００１は、仮想視点画像の生成に係る視点を指定するコントローラ３００から出力される仮想カメラパラメータを受信する。仮想カメラパラメータとは、仮想視点の位置や姿勢などを表すデータであり、例えば、外部パラメータの行列と内部パラメータの行列が用いられる。
【００９５】
なお、データ受信部３００１がコントローラ３００から取得するデータは仮想カメラパラメータに限らない。例えばコントローラ３００から出力される情報は、視点の指定方法、コントローラが動作させているアプリケーションを特定する情報、コントローラ３００の識別情報、及びコントローラ３００を使用するユーザの識別情報の少なくとも何れかを含んでいてよい。また、データ受信部３００１は、コントローラ３００から出力される上記の情報と同様の情報を、エンドユーザ端末１９０から取得してもよい。さらに、データ受信部３００１は、データベース２５０やコントローラ３００などの外部の装置から、複数のカメラ１１２に関する情報を取得してもよい。複数のカメラ１１２に関する情報は、例えば、複数のカメラ１１２の数に関する情報や複数のカメラ１１２の動作状態に関する情報などである。カメラ１１２の動作状態には、例えば、カメラ１１２の正常状態、故障  状態、待機状態、起動準備状態、及び再起動状態の少なくとも何れかが含まれる。背景テクスチャ貼り付け部３００２は、背景メッシュモデル管理部３０１３から取得する背景メッシュモデル（スタジアム形状データ）で示される三次元空間形状に対して背景画像をテクスチャとして貼り付けることでテクスチャ付背景メッシュモデルを生成する。メッシュモデルとは、例えばＣＡＤデータなど三次元の空間形状を面の集合で表現したデータのことである。テクスチャとは、物体の表面の質感を表現するために貼り付ける画像のことである。
【００９６】
前景テクスチャ決定部３００３は、前景画像及び前景三次元モデル群より前景三次元モデルのテクスチャ情報を決定する。
【００９７】
前景テクスチャ境界色合わせ部３００４は、各前景三次元モデルのテクスチャ情報と各三次元モデル群からテクスチャの境界の色合わせを行い、前景オブジェクト毎に色付き前景三次元モデル群を生成する。
【００９８】
仮想視点前景画像生成部３００５は、仮想カメラパラメータに基づいて、前景画像群を仮想視点からの見た目となるように透視変換する。レンダリング部３００６は、レンダリングモード管理部３０１４で決定された、仮想視点画像の生成に用いられる生成方式に基づいて、背景画像と前景画像をレンダリングして全景の仮想視点画像を生成する。
【００９９】
本実施形態では仮想視点画像の生成方式として、モデルベースレンダリング（Model-Based Rendering：ＭＢＲ）とイメージベースレンダリング（Image-Based Rendering：ＩＢＲ）の２つのレンダリングモードが用いられる。
【０１００】
ＭＢＲとは、被写体を複数の方向から撮影した複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ−Ｖｉｅｗ−Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し，仮想視点からのシーンの見えを画像として生成する技術である。
【０１０１】
ＩＢＲとは、対象のシーンを複数視点から撮影した入力画像群を変形、合成することによって仮想視点からの見えを再現した仮想視点画像を生成する技術である。本実施形態では、ＩＢＲを用いる場合、ＭＢＲを用いて三次元モデルを生成するための複数の撮影画像より少ない１又は複数の撮影画像に基づいて仮想視点画像が生成される。
【０１０２】
レンダリングモードがＭＢＲの場合、背景メッシュモデルと前景テクスチャ境界色合わせ部３００４で生成した前景三次元モデル群を合成することで全景モデルが生成され、その全景モデルから仮想視点画像が生成される。
【０１０３】
レンダリングモードがＩＢＲの場合、背景テクスチャモデルに基づいて仮想視点から見た背景画像が生成され、そこに仮想視点前景画像生成部３００５で生成された前景画像を合成することで仮想視点画像が生成される。
【０１０４】
なお、レンダリング部３００６はＭＢＲとＩＢＲ以外のレンダリング手法を用いてもよい。また、レンダリングモード管理部３０１４が決定する仮想視点画像の生成方式はレンダリングの方式に限らず、レンダリングモード管理部３０１４は仮想視点画像を生成するためのレンダリング以外の処理の方式を決定してもよい。レンダリングモード管理部３０１４は、仮想視点画像の生成に用いられる生成方式としてのレンダリングモードを決定し、決定結果を保持する。
【０１０５】
本実施形態では、レンダリングモード管理部３０１４は、複数のレンダリングモードから使用するレンダリングモードを決定する。この決定は、データ受信部３００１が取得した情報に基づいて行われる。例えば、レンダリングモード管理部３０１４は、取得された情報から特定されるカメラの数が閾値以下である場合に、仮想視点画像の生成に用いられる生成方式をＩＢＲに決定する。一方、カメラ数が閾値より多い場合は生成方式をＭＢＲに決定する。これにより、カメラ数が多い場合にはＭＢＲを用いて仮想視点画像を生成することで視点の指定可能範囲が広くなる。また、カメラ数が少ない場合には、ＩＢＲを用いることで、ＭＢＲを用いた場合の三次元モデルの精度の低下による仮想視点画像の画質低下を回避することができる。また例えば、撮影から画像出力までの許容される処理遅延時間の長短に基づいて生成方式を決めてもよい。遅延時間が長くても視点の自由度を優先する場合はＭＢＲ、遅延時間が短いことを要求する場合はＩＢＲを用いる。また例えば、コントローラ３００やエンドユーザ端末１９０が視点の高さを指定可能であることを示す情報をデータ受信部３００１が取得した場合には、仮想視点画像の生成に用いられる生成方式をＭＢＲに決定する。これにより、生成方式がＩＢＲであることによってユーザによる視点の高さの変更要求が受け入れられなくなることを防ぐことができる。このように、状況に応じて仮想視点画像の生成方式を決定することで、適切に決定された生成方式で仮想視点画像を生成できる。また、複数のレンダリングモードを要求に応じて切り替え可能な構成にすることで、柔軟にシステムを構成することが可能になり、スタジアム以外の被写体にも適用可能である。
【０１０６】
なお、レンダリングモード管理部３０１４が保持するレンダリングモードは、システムに予め設定された方式であってもよい。また、仮想カメラ操作ＵＩ３３０やエンドユーザ端末１９０を操作するユーザがレンダリングモードを任意に設定できてもよい。
【０１０７】
仮想視点音声生成部３００７は、仮想カメラパラメータに基づいて、仮想視点において聞こえる音声（音声群）を生成する。合成部３００８は、レンダリング部３００６で生成された画像群と仮想視点音声生成部３００７で生成された音声を合成して仮想視点コンテンツを生成する。
【０１０８】
画像出力部３００９は、コントローラ３００とエンドユーザ端末１９０へＥｔｈｅｒｎｅｔ（登録商標）を用いて仮想視点コンテンツを出力する。ただし、外部への伝送手段はＥｔｈｅｒｎｅｔ（登録商標）に限定されるものではなく、ＳＤＩ、ＤｉｓｐｌａｙＰｏｒｔ、及びＨＤＭＩ（登録商標）などの信号伝送手段を用いてもよい。なお、バックエンドサーバ２７０は、レンダリング部３００６で生成された、音声を含まない仮想視点画像を出力してもよい。
【０１０９】
前景オブジェクト決定部３０１０は、仮想カメラパラメータと前景三次元モデルに含まれる前景オブジェクトの空間上の位置を示す前景オブジェクトの位置情報から、表示される前景オブジェクト群を決定して、前景オブジェクトリストを出力する。つまり、前景オブジェクト決定部３０１０は、仮想視点の画像情報を物理的なカメラ１１２にマッピングする処理を実施する。本仮想視点は、レンダリングモード管理部３０１４で決定されるレンダリングモードに応じてマッピング結果が異なる。そのため、複数の前景オブジェクトを決定する制御部が前景オブジェクト決定部３０１０に配備されレンダリングモードと連動して制御を行うことを明記しておく。
【０１１０】
要求リスト生成部３０１１は、指定時間の前景オブジェクトリストに対応する前景画像群と前景三次元モデル群、及び背景画像と音声データをデータベース２５０に要求するための、要求リストを生成する。前景オブジェクトについては仮想視点を考慮して選択されたデータがデータベース２５０に要求されるが、背景画像と音声データについてはそのフレームに関する全てのデータが要求される。バックエンドサーバ２７０の起動後、背景メッシュモデルが取得されるまで背景メッシュモデルの要求リストが生成される。
【０１１１】
要求データ出力部３０１２は、入力された要求リストを元にデータベース２５０に対してデータ要求のコマンドを出力する。背景メッシュモデル管理部３０１３は、データベース２５０から受信した背景メッシュモデルを記憶する。
【０１１２】
なお、本実施形態ではバックエンドサーバ２７０が仮想視点画像の生成方式の決定と仮想視点画像の生成の両方を行う場合を中心に説明するが、これに限らない。即ち、生成方式を決定した装置はその決定結果に応じたデータを出力すればよい。例えば、フロントエンドサーバ２３０が、複数のカメラ１１２に関する情報や仮想視点画像の生成に係る視点を指定する装置から出力される情報などに基づいて、仮想視点画像の生成に用いられる生成方式を決定してもよい。そしてフロントエンドサーバ２３０は、カメラ１１２による撮影に基づく画像データと決定された生成方式を示す情報とを、データベース２５０などの記憶装置及びバックエンドサーバ２７０などの画像生成装置の少なくとも何れかに出力してもよい。この場合には、例えばフロントエンドサーバ２３０が出力した生成方式を示す情報に基づいてバックエンドサーバ２７０が仮想視点画像を生成する。フロントエンドサーバ２３０が生成方式を決定することで、決定された方式とは別の方式での画像生成のためのデータをデータベース２５０やバックエンドサーバ２７０が処理することによる処理負荷を低減できる。一方、本実施形態のようにバックエンドサーバ２７０が生成方式を決定する場合、データベース２５０は複数の生成方式に対応可能なデータを保持するため、複数の生成方式それぞれに対応する複数の仮想視点画像の生成が可能となる。
【０１１３】
図７は、仮想カメラ操作ＵＩ３３０の機能構成を示すブロック図である。また、図８は、仮想カメラ８００１を説明する図である。図８（ａ）に示す仮想カメラ８００１は、設置されたどのカメラ１１２とも異なる視点において撮影を行うことができる仮想的なカメラである。即ち、画像処理システム１００において生成される仮想視点画像が、仮想カメラ８００１による撮影画像である。図８（ａ）において、円周上に配置された複数のセンサシステム１１０それぞれがカメラ１１２を有している。例えば、仮想視点画像を生成することにより、あたかもサッカーゴールの近くの仮想カメラ８００１で撮影されたかのような画像を生成することができる。仮想カメラ８００１の撮影画像である仮想視点画像は、設置された複数のカメラ１１２の画像を画像処理することで生成される。オペレータ（ユーザ）は仮想カメラ８００１の位置等操作することで、自由な視点からの撮影画像を得ることができる。
【０１１４】
仮想カメラ操作ＵＩ３３０は、仮想カメラ管理部８１３０および操作ＵＩ部８１２０を有する。これらは同一機器上に実装されてもよいし、それぞれサーバとなる装置とクライアントとなる装置に別々に実装されてもよい。例えば、放送局が使用する仮想カメラ操作ＵＩ３３０においては、中継車内のワークステーションに仮想カメラ管理部８１３０と操作ＵＩ部８１２０が実装されてもよい。また例えば、仮想カメラ管理部８１３０をｗｅｂサーバに実装し、エンドユーザ端末１９０に操作ＵＩ部８１２０を実装することで、同様の機能を実現してもよい。
【０１１５】
仮想カメラ操作部８１０１は、オペレータの仮想カメラ８００１に対する操作、すなわち仮想視点画像の生成に係る視点を指定するためのユーザによる指示を受け付けて処理する。オペレータの操作内容は、例えば、位置の変更（移動）、姿勢の変更（回転）、及びズーム倍率の変更などである。オペレータは、仮想カメラ８００１を操作するために、例えば、ジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどの入力装置を使う。各入力装置による入力と仮想カメラ８００１の操作との対応は予め決められる。例えば、キーボードの「Ｗ」キーを、仮想カメラ８００１を前方へ１メートル移動する操作に対応付ける。また、オペレータは軌跡を指定して仮想カメラ８００１を操作することができる。例えばオペレータは、ゴールポストを中心とする円周上を仮想カメラ８００１が回るという軌跡を、タッチパッドに円を書いて指定する。仮想カメラ８００１は、指定された軌跡に沿ってゴールポストの回りを移動する。このとき、仮想カメラ８００１が常にゴールポストの方を向くように自動で姿勢を変更してもよい。仮想カメラ操作部８１０１は、ライブ画像およびリプレイ画像の生成に利用することができる。リプレイ画像を生成する際は、カメラの位置及び姿勢の他に時間を指定する操作が行われる。リプレイ画像では、例えば、時間を止めて仮想カメラ８００１を移動させることも可能である。
【０１１６】
仮想カメラパラメータ導出部８１０２は、仮想カメラ８００１の位置や姿勢などを表す仮想カメラパラメータを導出する。仮想パラメータは、演算によって導出されてもよいし、ルックアップテーブルの参照などによって導出されてもよい。仮想カメラパラメータとして、例えば、外部パラメータを表す行列と内部パラメータを表す行列が用いられる。ここで、仮想カメラ８００１の位置と姿勢は外部パラメータに含まれ、ズーム値は内部パラメータに含まれる。
【０１１７】
仮想カメラ制約管理部８１０３は、仮想カメラ操作部８１０１により受け付けられる指示に基づく視点の指定が制限される制限領域を特定するための情報を取得し管理する。この情報は例えば、仮想カメラ８００１の位置や姿勢、ズーム値などに関する制約である。仮想カメラ８００１は、カメラ１１２と異なり、自由に視点を移動して撮影を行うことができるが、常にあらゆる視点からの画像を生成できるとは限らない。例えば、どのカメラ１１２にも映っていない対象物が映る向きに仮想カメラ８００１を向けても、その撮影画像を取得することはできない。また、仮想カメラ８００１のズーム倍率を上げると、解像度の制約により画質が劣化する。そこで、一定基準の画質を保つ範囲のズーム倍率などを仮想カメラ制約としてよい。仮想カメラ制約は、例えば、カメラ１１２の配置などから事前に導出しておいてもよい。また、伝送部６１２０がネットワークの負荷に応じて伝送データ量の削減を図ることがある。このデータ量削減により、撮影画像に関するパラメータが変化し、画像を生成できる範囲や画質を保つことができる範囲が動的に変わる。仮想カメラ制約管理部８１０３は、伝送部６１２０から出力データのデータ量の削減に用いた方法を示す情報を受け取り、その情報に応じて仮想カメラ制約を動的に更新する構成であってもよい。これにより、伝送部６１２０によりデータ量削減が図られても、仮想視点画像の画質を一定基準に保つことが可能となる。
【０１１８】
また、仮想カメラ８００１に関する制約は上記の物に限定されない。本実施形態では、視点の指定が制限される制限領域（仮想カメラ制約を満たさない領域）は、画像処理システム１００に含まれる装置の動作状態及び仮想視点画像を生成するための画像データに関するパラメータの少なくとも何れかに応じて変化する。例えば、制限領域は、画像処理システム１００において伝送される画像データのデータ量が所定範囲内となるように制御されるパラメータに応じて変化する。当該パラメータは、画像データのフレームレート、解像度、量子化ステップ、及び撮影範囲などのうち少なくとも何れかを含む。例えば、伝送データ量削減のために画像データの解像度が低減されると、所定の画質を維持可能なズーム倍率の範囲が変化する。このような場合に、仮想カメラ制約管理部８１０３がパラメータに応じて変化する制限領域を特定する情報を取得することで、仮想カメラ操作ＵＩ３３０はパラメータの変化に応じた範囲でユーザによる視点の指定がなされるよう制御できる。なお、パラメータの内容は上記のものに限定されない。また、本実施形態において上記のデータ量が制御される画像データは複数のカメラ１１２による複数の撮影画像の差分に基づいて生成されるデータであるものとするが、これに限らず、例えば撮影画像そのものでもよい。
【０１１９】
また例えば、制限領域は、画像処理システム１００に含まれる装置の動作状態に応じて変化する。ここで画像処理システム１００に含まれる装置には、例えばカメラ１１２及びカメラ１１２による撮影画像に対する画像処理を行って画像データを生成するカメラアダプタ１２０の少なくとも何れかが含まれる。そして装置の動作状態には、例えば当該装置の正常状態、故障状態、起動準備状態、及び再起動状態の少なくとも何れかが含まれる。例えば、何れかのカメラ１１２が故障状態や再起動状態にある場合、そのカメラの周辺位置に視点を指定することができなくなる場合が考えられる。このような場合に、仮想カメラ制約管理部８１０３が装置の動作状態に応じて変化する制限領域を特定する情報を取得することで、仮想カメラ操作ＵＩ３３０は装置の動作状態の変化に応じた範囲でユーザによる視点の指定がなされるよう制御できる。なお、制限領域の変化に関係する装置及びその動作状態は上記のものに限定されない。
【０１２０】
衝突判定部８１０４は、仮想カメラパラメータ導出部８１０２で導出された仮想カメラパラメータが仮想カメラ制約を満たしているかを判定する。制約を満たしていない場合は、例えば、オペレータによる操作入力をキャンセルし、制約を満たす位置から仮想カメラ８００１が動かないよう制御したり、制約を満たす位置に仮想カメラ８００１を戻したりする。
【０１２１】
フィードバック出力部８１０５は、衝突判定部８１０４の判定結果をオペレータにフィードバックする。例えば、オペレータの操作により、仮想カメラ制約が満たされなくなる場合に、そのことをオペレータに通知する。例えば、オペレータが仮想カメラ８００１を上方に移動しようと操作したが、移動先が仮想カメラ制約を満たさないとする。その場合、オペレータに、これ以上上方に仮想カメラ８００１を移動できないことを通知する。通知方法としては、音、メッセージ出力、画面の色変化、及び仮想カメラ操作部８１０１をロックする等の方法がある。さらには、制約を満たす位置まで仮想カメラの位置を自動で戻してもよく、これによりオペレータの操作簡便性につながる効果がある。フィードバックが画像表示により行われる場合、フィードバック出力部８１０５は、仮想カメラ制約管理部８１０３が取得した情報に基づいて、制限領域に応じた表示制御に基づく画像を表示部に表示させる。例えば、フィードバック出力部８１０５は、仮想カメラ操作部８１０１により受け付けられた指示に応じて、当該指示に対応する視点が制限領域内であることを表す画像を表示部に表示させる。これにより、オペレータは指定している視点が制限領域内であって所望の仮想視点画像を生成できない虞があることを認識でき、制限領域外の位置（制約を満たす位置）に視点を指定し直すことができる。即ち、仮想視点画像の生成において、状況に応じて変化する範囲内で視点を指定できるようになる。なお、フィードバック出力部８１０５により表示部に表示される内容はこれに限定されない。例えば、視点の指定の対象となる領域（スタジアムの内部など）のうち制限領域に当たる部分を所定の色で塗りつぶした画像が表示されてもよい。本実施形態では表示部が仮想カメラ操作ＵＩ３３０と接続される外部のディスプレイであるものとするが、これに限らず、表示部が仮想カメラ操作ＵＩ３３０の内部に存在してもよい。
【０１２２】
仮想カメラパス管理部８１０６は、オペレータの操作に応じた仮想カメラ８００１のパス（仮想カメラパス８００２）を管理する。仮想カメラパス８００２とは、仮想カメラ８００１の１フレームごと位置や姿勢を表す情報の列である。図８（ｂ）を参照して説明する。例えば、仮想カメラ８００１の位置や姿勢を表す情報として仮想カメラパラメータが用いられる。例えば、６０フレーム／秒のフレームレートの設定における１秒分の情報は、６０個の仮想カメラパラメータの列となる。仮想カメラパス管理部８１０６は、衝突判定部８１０４で判定済みの仮想カメラパラメータを、バックエンドサーバ２７０に送信する。バックエンドサーバ２７０は、受信した仮想カメラパラメータを用いて、仮想視点画像及び仮想視点音声を生成する。また、仮想カメラパス管理部８１０６は、仮想カメラパラメータを仮想カメラパス８００２に付加して保持する機能も有する。例えば、仮想カメラ操作ＵＩ３３０を用いて、１時間分の仮想視点画像及び仮想視点音声を生成した場合、１時間分の仮想カメラパラメータが仮想カメラパス８００２として保存される。本仮想カメラパスを保存しておくことによって、データベースの二次ストレージ２４６０に蓄積された画像情報と仮想カメラパスを後から参照することで、仮想視点画像及び仮想視点音声を再度生成することが可能になる。つまり、高度な仮想カメラ操作を行うオペレータが生成した仮想カメラパスと二次ストレージ２４６０に蓄積された画像情報を他のユーザが再利用できる。なお、複数の仮想カメラパスに対応する複数のシーンを選択可能となるように仮想カメラ管理部８１３０に蓄積することもできる。複数の仮想カメラパスを仮想カメラ管理部８１３０に蓄積する際には、各仮想カメラパスに対応するシーンのスクリプトや試合の経過時間、シーンの前後指定時間、及びプレーヤ情報等のメタ情報もあわせて入力及び蓄積することができる。仮想カメラ操作ＵＩ３３０は、これらの仮想カメラパスを仮想カメラパラメータとして、バックエンドサーバ２７０に通知する。
【０１２３】
エンドユーザ端末１９０は、バックエンドサーバ２７０に仮想カメラパスを選択するための選択情報を要求することで、シーン名やプレーヤ、及び試合経過時間などから、仮想カメラパスを選択できる。バックエンドサーバ２７０はエンドユーザ端末１９０に選択可能な仮想カメラパスの候補を通知し、エンドユーザはエンドユーザ端末１９０を操作して、複数の候補の中から希望の仮想カメラパスを選択する。そして、エンドユーザ端末１９０は選択された仮想カメラパスに応じた画像生成をバックエンドサーバ２７０に要求することで、画像配信サービスをインタラクティブに享受することができる。
【０１２４】
オーサリング部８１０７は、オペレータがリプレイ画像を生成する際の編集機能を提供する。オーサリング部８１０７は、ユーザ操作に応じて、リプレイ画像用の仮想カメラパス８００２の初期値として、仮想カメラパス管理部８１０６が保持する仮想カメラパス８００２の一部を取り出す。前述したように、仮想カメラパス管理部８１０６には、仮想カメラパス８００２と対応付けてシーン名、プレーヤ、経過時間、及びシーンの前後指定時間などのメタ情報が保持されている。例えば、シーン名がゴールシーン、シーンの前後指定時間が前後合わせて１０秒分である仮想カメラパス８００２が取り出される。また、オーサリング部８１０７は、編集したカメラパスに再生速度を設定する。例えば、ボールがゴールに飛んで行く間の仮想カメラパス８００２にスロー再生を設定する。なお、異なる視点からの画像に変更する場合、つまり仮想カメラパス８００２を変更する場合は、ユーザは仮想カメラ操作部８１０１を用いて再度、仮想カメラ８００１を操作する。
【０１２５】
仮想カメラ画像・音声出力部８１０８は、バックエンドサーバ２７０から受け取った仮想カメラ画像・音声を出力する。オペレータは出力された画像及び音声を確認しながら仮想カメラ８００１を操作する。なお、フィードバック出力部８１０５によるフィードバックの内容によっては、仮想カメラ画像・音声出力部８１０８は、制限領域に応じた表示制御に基づく画像を表示部に表示させる。例えば、仮想カメラ画像・音声出力部８１０８は、オペレータが指定した視点の位置が制限領域に含まれる場合に、指定された位置の近辺であり且つ制限領域外である位置を視点とした仮想視点画像を表示させてもよい。これにより、オペレータが制限領域外に視点を指定し直す手間が削減される。
【０１２６】
図９は、エンドユーザ端末１９０の機能構成を示すブロック図である。
【０１２７】
アプリケーション管理部１０００１は、後述する基本ソフト部１０００２から入力されたユーザ入力情報を、バックエンドサーバ２７０のバックエンドサーバコマンドに変換して、基本ソフト部１０００２へ出力する。また、アプリケーション管理部１０００１は、基本ソフト部１０００２から入力された画像を、所定の表示領域に描画するための画像描画指示を、基本ソフト部１０００２へ出力する。
【０１２８】
基本ソフト部１０００２は、例えばＯＳ（Operating System）であり、後述するユーザ入力部１０００４から入力されたユーザ入力情報を、アプリケーション管理部１０００１へ出力する。また、後述するネットワーク通信部１０００３から入力された画像や音声をアプリケーション管理部１０００１へ出力したり、アプリケーション管理部１０００１から入力されたバックエンドサーバコマンドをネットワーク通信部１０００３へ出力したりする。さらに、アプリケーション管理部１０００１から入力された画像描画指示を、画像出力部１０００５へ出力する。
【０１２９】
ネットワーク通信部１０００３は、基本ソフト部１０００２から入力されたバックエンドサーバコマンドを、ＬＡＮケーブル上で通信可能なＬＡＮ通信信号に変換して、バックエンドサーバ２７０へ出力する。そして、バックエンドサーバ２７０から受信した画像や音声データが加工可能となるように、基本ソフト部１０００２へデータを渡す。
【０１３０】
ユーザ入力部１０００４は、キーボード入力（物理キーボード又はソフトキーボード）やボタン入力に基づくユーザ入力情報や、ユーザ入力機器からＵＳＢケーブルを介して入力されたユーザ入力情報を取得し、基本ソフト部１０００２へ出力する。
【０１３１】
画像出力部１０００５は、基本ソフト部１０００２から出力された画像表示指示に基づく画像を画像信号に変換して、外部ディスプレイや一体型のディスプレイなどに出力する。
【０１３２】
音声出力部１０００６は、基本ソフト部１０００２から出力された音声出力指示に基づく音声データを外部スピーカあるいは一体型スピーカに出力する。端末属性管理部１０００７は、端末１９０の表示解像度、画像符号化コーデック種別、及び端末種別（スマートフォンなのか、大型ディスプレイなのかなど）を管理する。
【０１３３】
サービス属性管理部１０００８は、エンドユーザ端末１９０に提供するサービス種別に関する情報を管理する。例えば、エンドユーザ端末１９０に搭載されるアプリケーションの種別や利用可能な画像配信サービスなどが管理される。
【０１３４】
課金管理部１０００９では、ユーザの画像配信サービスへの登録決済状況や課金金額に応じた、受信可能な画像配信シーン数の管理などが行われる。
【０１３５】
＜システムのワークフロー＞
次に、競技場やコンサートホールなどの施設に複数のカメラ１１２やマイク１１１を設置し撮影を行う場合のワークフローについて説明する。
【０１３６】
図１０は、第１実施形態におけるワークフロー全体を示すフローチャートである。なお、以下で説明するワークフローの処理は、特に明示の記述がない場合、コントローラ３００の制御により実現される。すなわち、コントローラ３００が、画像処理システム１００内の他の装置（例えばバックエンドサーバ２７０やデータベース２５０等）を制御することにより、ワークフローの制御が実現される。
【０１３７】
ワークフローの処理開始前において、画像処理システム１００の設置や操作を行う操作者（ユーザ）は設置前に必要な情報（事前情報）を収集し計画の立案を行う。また、操作者は、予め、対象となる施設に機材を設置しているものとする。
【０１３８】
Ｓ１１００において、コントローラ３００の制御ステーション３１０は、ユーザから事前情報に基づく設定を受け付ける。つぎに、ステップＳ１１０１において画像処理システム１００の各装置は、ユーザからの操作に基づいてコントローラ３００から発行されたコマンドに従って、システムの動作確認のための処理を実行する。
【０１３９】
ステップＳ１１０２において、仮想カメラ操作ＵＩ３３０は、競技等のための撮影開始前に画像や音声を出力する。これにより、ユーザは、競技等の前に、マイク１１１により集音された音声やカメラ１１２により撮像された画像を確認できる。
【０１４０】
Ｓ１１０３において、コントローラ３００の制御ステーション３１０は、各マイク１１１に集音を実施させ、各カメラ１１２に撮影を実施させる。本ステップにおける撮影はマイク１１１を用いた集音を含むものとするがこれに限らず、画像の撮影だけであってもよい。そして、ステップＳ１１０１で行った設定を変更する場合、または撮影を終了する場合はステップＳ１１０４に進む。つぎに、Ｓ１１０４において、Ｓ１１０１で行われた設定を変更して撮影を継続する場合はＳ１１０５に進み、撮影を完了する場合はＳ１１０６に進む。Ｓ１１０４における判定は、典型的には、ユーザからコントローラ３００への入力に基づいて行われる。ただしこの例に限らない。Ｓ１１０５において、コントローラ３００は、Ｓ１１０１で行われた設定を変更する。変更内容は、典型的には、Ｓ１１０４にて取得されたユーザ入力に基づいて決定される。本ステップにおける設定の変更において撮影を停止する必要がある場合は、一度撮影を停止し、設定を変更した後に撮影を再開する。また、撮影を停止する必要がない場合は、撮影と並行して設定の変更を実施する。
【０１４１】
Ｓ１１０６において、コントローラ３００は、複数のカメラ１１２により撮影された画像及び複数のマイク１１１により集音された音声の編集を実施する。当該編集は、典型的には、仮想カメラ操作ＵＩ３３０を介して入力されたユーザ操作に基づいて行われる。なお、Ｓ１１０６とＳ１１０３の処理は並行して行われるようにしても良い。例えば、スポーツ競技やコンサートなどがリアルタイムに配信される（例えば競技中に競技の画像が配信される）場合は、Ｓ１１０３の撮影とＳ１１０６の編集が同時に実施される。また、スポーツ競技におけるハイライト画像が競技後に配信される場合は、Ｓ１１０４において撮影を終了した後に編集が実施される。
【０１４２】
図１１は、設置時処理（Ｓ１１０１）の詳細フローチャートである。
【０１４３】
Ｓ１３００において、制御ステーション３１０は、設置機材の過不足の有無に関するユーザ入力を受け付ける。ユーザは、Ｓ１２０１で入力された機器情報と設置する機材を比較し過不足の有無を確認することで、設置機材の過不足の有無を判定できる。つぎに、Ｓ１３０１において制御ステーション３１０は、Ｓ１３００で不足すると判定された機材の設置確認処理を実行する。つまり、ユーザは、Ｓ１３００とＳ１３０１との間に、不足機材を設置することができ、制御ステーション３１０は、ユーザにより不足機材が設置されたことを確認する。
【０１４４】
Ｓ１３０２において、制御ステーション３１０は、Ｓ１３０１で設置された機材を起動し正常に動作するかの調整前システム動作確認を行う。なお、Ｓ１３０２の処理は、ユーザがシステム動作確認を実施し、その確認結果を制御ステーション３１０に対してユーザが入力するようにしても良い。
【０１４５】
ここで、機材の過不足や動作にエラーが発生した場合には、制御ステーション３１０に対して、エラー通知が行われる（Ｓ１３０３）。制御ステーション３１０は、エラーが解除されるまで次のステップには進まないロック状態となる。エラー状態が解除された場合には、制御ステーション３１０に正常通知が行われ（Ｓ１３０４）、次のステップに進む。これにより、初期段階でエラーを検知することができる。確認の後、カメラ１１２に関する処理についてはＳ１３０５へ、マイク１１１に関する処理についてはＳ１３０８に進む。
【０１４６】
最初に、カメラ１１２について述べる。Ｓ１３０５において、制御ステーション３１０は、設置されたカメラ１１２の調整を実施する。本ステップのカメラ１１２の調整とは、画角合わせと色合わせを指し、設置されたカメラ１１２全てについて実施される。Ｓ１３０５の調整は、ユーザ操作に基づいて行われるようにしても良いし、自動調整機能により実現されても良い。
【０１４７】
また、画角合わせでは、ズーム、パン、チルト、及びフォーカスの調整が並行して実施され、それらの調整結果が制御ステーション３１０に保存される。そして、色合わせでは、ＩＲＩＳ、ＩＳＯ／ゲイン、ホワイトバランス、シャープネス、及びシャッタースピードの調整が同時に実施され、それらの調整結果が制御ステーション３１０に保存される。
【０１４８】
Ｓ１３０６において、制御ステーション３１０は、設置されたカメラ全てが同期する様に調整する。Ｓ１３０６における同期の調整は、ユーザ操作に基づいて行われるようにしても良いし、自動調整機能により実現されても良い。さらに、Ｓ１３０７において、制御ステーション３１０は、カメラ設置時キャリブレーションを行う。より具体的には、制御ステーション３１０は、設置されたカメラ全ての座標が世界座標に一致する様に調整を行う。キャリブレーション処理の詳細については図１２を参照して後述する。なお、カメラ１１２の制御コマンドやタイムサーバとの同期に関するネットワーク経路の疎通確認もあわせて実施される。そして、マイク調整が進むまで調整後システム動作正常確認処理で待つ（Ｓ１３１１）。
【０１４９】
マイク１１１に関する処理について述べる。まず、Ｓ１３０８において、制御ステーション３１０は、設置されたマイク１１１の調整を実施する。本ステップのマイク１１１の調整とは、ゲイン調整を指し、設置したマイク全てについて実施される。Ｓ１３０８におけるマイク１１１の調整は、ユーザ操作に基づいて行われても良いし、自動調整機能により実現されても良い。
【０１５０】
Ｓ１３０９において、制御ステーション３１０は、設置されたマイク全てが同期する様に調整する。具体的には、同期クロックの確認を実施する。Ｓ１３０９における同期の調整は、ユーザ操作に基づいて行われるようにしても良いし、自動調整機能により実現されても良い。
【０１５１】
Ｓ１３１０において、制御ステーション３１０は、設置されたマイク１１１のうち、フィールドに設置されたマイク１１１について位置の調整を実施する。Ｓ１３１０におけるマイク１１１の位置の調整は、ユーザ操作に基づいて行われても良いし、自動調整機能により実現されても良い。なお、マイク１１１の制御コマンドやタイムサーバとの同期に関するネットワーク経路の疎通確認もあわせて実施される。
【０１５２】
Ｓ１３１１において、制御ステーション３１０は、カメラ１１２ａ〜１１２ｚ、およびマイク１１１ａ〜１１１ｚが正しく調整できたかを確認することを目的として調整後システム動作確認を実施する。Ｓ１３１１の処理は、ユーザ指示に基づいて実行されうる。カメラ１１２、マイク１１１ともに調整後システム動作正常確認がとれた場合には、Ｓ１３１３において、制御ステーション３１０へ正常通知が行われる。一方、エラーが発生した場合には、カメラ１１２あるいはマイク１１１の種別及び個体番号と共に制御ステーション３１０へエラー通知が行われる（Ｓ１３１２）。制御ステーション３１０は、エラーが発生した機器の種別と個体番号をもとに再調整の指示を出す。
【０１５３】
次に設置時処理（Ｓ１１０１）及び撮影前処理（Ｓ１１０２）の動作例について説明する。画像処理システム１００は、設置時キャリブレーションを行う状態と通常の撮影を行う状態を動作モード変更により切替制御できる。なお、撮影中にある特定カメラのキャリブレーションが必要になるケースもあり、この場合には撮影とキャリブレーションという二種類の動作が両立する。
【０１５４】
図１２は、設置時キャリブレーション処理のシーケンス図である。ここでは、装置間で行われる指示に対するデータの受信完了や処理完了の通知についての記載は省略するが、指示に対して何らかのレスポンスが返却されるものとする。
【０１５５】
まず、カメラ１１２の設置が完了すると、ユーザは制御ステーション３１０に対して、設置時キャリブレーションの実行を指示する。すると、制御ステーション３１０は、フロントエンドサーバ２３０およびカメラアダプタ１２０に対して、キャリブレーション開始を指示する（Ｓ４１００）。
【０１５６】
フロントエンドサーバ２３０は、キャリブレーション開始指示を受けると、それ以降に受信した画像データをキャリブレーション用データと判定し、キャリブレーション部２１４０が処理できるように制御モードを変更する（Ｓ４１０２ａ）。また、カメラアダプタ１２０は、キャリブレーション開始指示を受けると、前景背景分離等の画像処理を行わず非圧縮のフレーム画像を扱う制御モードに移行する（Ｓ４１０２ｂ）。さらに、カメラアダプタ１２０は、カメラ１１２に対してカメラモード変更を指示する（Ｓ４１０１）。これを受けたカメラ１１２は、例えば、フレームレートを１ｆｐｓに設定する。あるいは、カメラ１１２が動画でなく静止画を伝送するモードに設定してもよい（Ｓ４１０２ｃ）。また、カメラアダプタ１２０によってフレームレートが制御されてキャリブレーション画像が伝送されるモードに設定してもよい。
【０１５７】
制御ステーション３１０は、カメラアダプタ１２０に対して、カメラのズーム値とフォーカス値の取得を指示し（Ｓ４１０３）、カメラアダプタ１２０は、制御ステーション３１０に、カメラ１１２のズーム値とフォーカス値を送信する（Ｓ４１０４）。
【０１５８】
なお図１２においては、カメラアダプタ１２０及びカメラ１１２はそれぞれ１つしか記載しないが、カメラアダプタ１２０及びカメラ１１２に関する制御は、画像処理システム１００内の全カメラアダプタ１２０及び全カメラ１１２に対してそれぞれ実行される。そのため、Ｓ４１０３及びＳ４１０４はカメラ台数分実行され、全カメラ１１２に対するＳ４１０３及びＳ４１０４の処理が完了した時点で、制御ステーション３１０は、全カメラ分のズーム値とフォーカス値を受信できている状態となる。
【０１５９】
制御ステーション３１０は、フロントエンドサーバ２３０に、Ｓ４１０４で受信した全カメラ分のズーム値とフォーカス値を送信する（Ｓ４１０５）。次いで、制御ステーション３１０は、フロントエンドサーバ２３０に、設置時キャリブレーション用撮影の撮影パターンを通知する（Ｓ４１０６）。
【０１６０】
ここで撮影パターンには、画像特徴点となるマーカ等をグラウンド内で動かして複数回撮影する場合の、別タイミングで撮影された画像を区別するためのパターン名（例えばパターン１〜１０）の属性が付加される。つまり、フロントエンドサーバ２３０は、Ｓ４１０６以降に受信したキャリブレーション用の画像データを、Ｓ４１０６で受信した撮影パターンにおける撮影画像であると判定する。そして、制御ステーション３１０は、カメラアダプタ１２０に対して同期静止画撮影を指示し（Ｓ４１０７）、カメラアダプタ１２０は、全カメラで同期した静止画撮影をカメラ１１２に指示する（Ｓ４１０８）。そして、カメラ１１２は撮影画像をカメラアダプタ１２０に送信する（Ｓ４１０９）。
【０１６１】
なお、注視点のグループが複数ある場合には、注視点グループ毎にＳ４１０６からＳ４１１１のキャリブレーション用画像撮影を行っても良い。
【０１６２】
そして、制御ステーション３１０は、カメラアダプタ１２０に対して、Ｓ４１０７で撮影指示した画像をフロントエンドサーバ２３０に伝送するように指示する（Ｓ４１１０）。さらに、カメラアダプタ１２０は、伝送先として指定されたフロントエンドサーバ２３０にＳ４１０９で受信した画像を伝送する（Ｓ４１１１）。
【０１６３】
Ｓ４１１１で伝送するキャリブレーション用画像については、前景背景分離等の画像処理が行われず、撮影された画像が圧縮せずにそのまま伝送されるものとする。そのため、全カメラが高解像度で撮影を行う場合や、カメラ台数が多くなった場合、伝送帯域の制約上、全ての非圧縮画像を同時に送信することができなくなることが発生する虞がある。その結果、ワークフローの中でキャリブレーションに要する時間が長くなる虞がある。その場合、Ｓ４１１０の画像伝送指示において、カメラアダプタ１２０の１台ずつに対して、キャリブレーションのパターン属性に応じた非圧縮画像の伝送指示が順番に行われる。さらにこのような場合、マーカのパターン属性に応じたより多くの特徴点を撮影する必要があるため、複数マーカを用いたキャリブレーション用の画像撮影が行われる。この場合、負荷分散の観点から、画像撮影と非圧縮画像伝送を非同期に行ってもよい。また、キャリブレーション用の画像撮影で取得した非圧縮画像を、カメラアダプタ１２０にパターン属性ごとに逐次蓄積する。更に、並行して非圧縮画像の伝送をＳ４１１０の画像伝送指示に応じて行うことで、ワークフローの処理時間やヒューマンエラーの削減を図ることができる効果がある。
【０１６４】
全カメラ１１２においてＳ４１１１の処理が完了した時点で、フロントエンドサーバ２３０は、全カメラ分の撮影画像を受信できている状態となる。
【０１６５】
前述したように、撮影パターンが複数ある場合には、Ｓ４１０６からＳ４１１１の処理をパターン数分繰り返す。
【０１６６】
次いで、全てのキャリブレーション用撮影が完了すると、制御ステーション３１０は、フロントエンドサーバ２３０に対して、カメラパラメータ推定処理を指示する（Ｓ４１１２）。
【０１６７】
フロントエンドサーバ２３０は、カメラパラメータ推定処理指示を受けると、Ｓ４１０５で受信した全カメラ分のズーム値とフォーカス値、及びＳ４１１１で受信した全カメラ分の撮影画像を用いて、カメラパラメータ推定処理を行う（Ｓ４１１３）。Ｓ４１１３におけるカメラパラメータ推定処理の詳細については後述する。なお、注視点が複数ある場合には、注視点グループ毎にＳ４１１３のカメラパラメータ推定処理を行うものとする。
【０１６８】
そして、フロントエンドサーバ２３０は、Ｓ４１１３のカメラパラメータ推定処理の結果として導出された全カメラ分のカメラパラメータをデータベース２５０に送信して保存する（Ｓ４１１４）。
【０１６９】
また、フロントエンドサーバ２３０は、制御ステーション３１０に対しても同様に全カメラ分のカメラパラメータを送信（Ｓ４１１５）する。制御ステーション３１０は、カメラアダプタ１２０に対して、各カメラ１１２に対応するカメラパラメータを送信し（Ｓ４１１６）、カメラアダプタ１２０は、受信した自カメラ１１２のカメラパラメータを保存する（Ｓ４１１７）。
【０１７０】
そして、制御ステーション３１０は、キャリブレーション結果を確認する（Ｓ４１１８）。確認方法としては、導出されたカメラパラメータの数値を確認しても良いし、Ｓ４１１４のカメラパラメータ推定処理の演算過程を確認しても良いし、カメラパラメータを用いて画像生成を行い、生成された画像を確認するようにしても良い。そして、制御ステーション３１０は、フロントエンドサーバ２３０に対して、キャリブレーション終了を指示する（Ｓ４１１９）。
【０１７１】
フロントエンドサーバ２３０はキャリブレーション終了指示を受けると、Ｓ４１０１で実行したキャリブレーション開始処理とは逆に、それ以降に受信した画像データをキャリブレーション用データでないと判定するよう制御モードを変更する。（Ｓ４１２０）
以上の処理により、設置時キャリブレーション処理として、全カメラ分のカメラパラメータを導出し、導出されたカメラパラメータをカメラアダプタ１２０及びデータベース２５０に保存することができる。
【０１７２】
また、上述した設置時キャリブレーション処理は、カメラ設置後及び撮影前に実施され、カメラが動かされなければ再度処理する必要はないが、カメラを動かす場合（例えば、試合の前半と後半とで注視点を変更するなど）には、再度同様の処理が行われるも。
【０１７３】
また、撮影中にボールがぶつかる等のアクシデントにより所定の閾値以上にカメラ１１２が動いてしまった場合に、当該カメラ１１２を撮影状態からキャリブレーション開始状態に遷移させ上述の設置時キャリブレーションを行っても良い。その場合、システムとしては通常の撮影状態を維持し、当該カメラ１１２のみがキャリブレーション用画像を伝送している旨をフロントエンドサーバ２３０に通知することで、システム全体をキャリブレーションモードにする必要はなく撮影の継続性を図れる。さらには、本システムのデイジーチェーンでの伝送においては、通常の撮影における画像データの伝送帯域にキャリブレーション用の非圧縮画像を送ると、伝送帯域制限を超過する場合が考えられる。この場合、非圧縮画像の伝送優先度を下げたり、非圧縮画像を分割して送信したりすることで対応する。さらには、カメラアダプタ１２０間の接続が１０ＧｂＥなどの場合は、全二重の特徴を使うことで、通常の撮影の画像データ伝送とは逆向きに非圧縮画像を伝送することで帯域確保が図れるという効果がある。
【０１７４】
また、複数の注視点のうちの１つの注視点を変更したい場合など、１つの注視点グループのカメラ１１２のみ、上述した設置時キャリブレーション処理を再度行うようにしても良い。その場合、キャリブレーション処理中は、対象の注視点グループのカメラ１１２については、通常の画像撮影及び仮想視点画像生成を行うことができない。そのため、キャリブレーション処理中であることが制御ステーション３１０に通知され、制御ステーション３１０が仮想カメラ操作ＵＩ３３０に対して視点操作の制限をかけるなどの処理を要求する。フロントエンドサーバ２３０では、仮想視点画像生成の処理に影響が出ないよう制御してカメラパラメータ推定処理を行うものとする。
【０１７５】
図１３は、カメラパラメータ推定処理の詳細フローチャートである。なお、キャリブレーション部２１４０は、制御ステーション３１０からの指示に基づいて、カメラパラメータ推定処理を実行する。本シーケンスを開始する時点で、内部パラメータマップ、スタジアムデータ、全カメラ分のズーム値とフォーカス値、及び全カメラ分のキャリブレーション用撮影画像は、キャリブレーション部２１４０が既に保持しているものとする。
【０１７６】
まずキャリブレーション部２１４０は、カメラ１１２を特定し（Ｓ４２０１）、対応するズーム値とフォーカス値を特定し、特定したズーム値とフォーカス値より、内部パラメータマップを用いて内部パラメータ初期値を導出する（Ｓ４２０２）。Ｓ４２０２における内部パラメータ初期値の導出が全カメラ分完了するまで、Ｓ４２０１とＳ４２０２の処理が繰り返される（Ｓ４２０３）。
【０１７７】
次いでキャリブレーション部２１４０は、再度カメラ１１２を特定し、対応するキャリブレーション用撮影画像を特定し（Ｓ４２０４）、画像内の特徴点（画像特徴点）を検出する（Ｓ４２０５）。画像特徴点としては、例えば、キャリブレーション用に用意したマーカや、予めスタジアムの地面に描かれているピッチラインや、予め置かれている物（例えば、サッカーゴールや選手控えベンチなど）のエッジ部分などが挙げられる。
【０１７８】
Ｓ４２０５における画像特徴点検出が全カメラ分完了するまで、Ｓ４２０４とＳ４２０５の処理が繰り返される（Ｓ４２０６）。
【０１７９】
次いでキャリブレーション部２１４０は、Ｓ４２０５で検出した各カメラ１１２におけるキャリブレーション用撮影画像の画像特徴点のマッチングを行う（Ｓ４２０７）。そして、カメラ１１２間でマッチングされた使用特徴点数が閾値以下であるかを判定する（Ｓ４２０８）。Ｓ４２０８で用いる使用特徴点数の閾値については予め設定しておいても良いし、カメラ台数や画角などの撮影条件によって自動で導出するようにしても良く、外部パラメータ推定を行うために最低限必要である値が用いられる。
【０１８０】
Ｓ４２０８でキャリブレーション部２１４０は、使用特徴点数が閾値以下でない場合、各カメラ１１２の外部パラメータ推定処理を行う（Ｓ４２０９）。そして、Ｓ４２０９の外部パラメータ推定処理の結果、再投影誤差が閾値以下であるかを判定する（Ｓ４２１０）。Ｓ４２１０で用いる再投影誤差の閾値については予め設定しておいても良いし、カメラ台数などの撮影条件によって自動で導出するようにしても良く、生成する仮想視点画像の精度に応じた値が用いられる。
【０１８１】
Ｓ４２１０の判定において、再投影誤差が閾値以下でない場合、キャリブレーション部２１４０は誤差が大きいと判断し、Ｓ４２０５における画像特徴点の誤検出、及びＳ４２０７における画像特徴点の誤マッチングの削除処理を行う（Ｓ４２１１）。
【０１８２】
Ｓ４２１１の誤検出及び誤マッチングの判定方法としては、例えばキャリブレーション部２１４０が再投影誤差の大きい特徴点を自動で削除するようにしても良いし、ユーザが再投影誤差及び画像を見ながら手作業で削除するようにしても良い。
【０１８３】
そしてキャリブレーション部２１４０は、Ｓ４２０２で導出した内部パラメータ初期値に対して、内部パラメータの補正を行う（Ｓ４２１２）。そして、Ｓ４２０８において使用特徴点数が閾値以下にならない範囲で、Ｓ４２１０において再投影誤差が閾値以下になるまで、Ｓ４２０８からＳ４２１２の処理を繰り返す。
【０１８４】
Ｓ４２０８の判定においてキャリブレーション部２１４０は、使用特徴点数が閾値以下であればキャリブレーション失敗と判断する（Ｓ４２１３）。キャリブレーション失敗の場合、キャリブレーション用撮影からやり直すなどの対応が行われる。成功又は失敗の判断結果は、逐次制御ステーション３１０に対して通知され、失敗時点以降のキャリブレーション処理を実施するなどの対応が、一元的に制御ステーション３１０で管理される。
【０１８５】
Ｓ４２１０の判定において、再投影誤差が閾値以下であれば、キャリブレーション部２１４０は、スタジアムデータを用いて、Ｓ４２０９で推定された外部パラメータ座標について、カメラ座標系から世界座標系へ剛体変換を行う（Ｓ４２１４）。
【０１８６】
ここで用いるスタジアムデータとしては、Ｘ／Ｙ／Ｚ軸それぞれの原点（例えばピッチ上のセンターサークルの中心点など）、及びスタジアム内の複数の特徴点（例えばピッチラインの交差点など）の座標値など、剛体変換を行うための座標値が定義される。
【０１８７】
ただし、スタジアムデータが存在しない、もしくはデータの精度が低い場合などは、剛体変換を行うための世界座標の入力を手動で行うようにしても良いし、世界座標を示すためのデータがキャリブレーション部２１４０に別途与えられるようにしても良い。
【０１８８】
また、Ｓ４２１４の処理を行うことでキャリブレーション用撮影画像内の世界座標が導出されるため、導出結果を用いて、予めスタジアムデータに記録されているスタジアム内の特徴点の座標をより精度が高くなるよう更新しても良い。
【０１８９】
以上の処理により、カメラパラメータ推定処理フローとして、全カメラ分のカメラパラメータが導出され、導出されたカメラパラメータをカメラアダプタ１２０及びデータベース２５０に保存することができる。
【０１９０】
なお、複数カメラの撮影画像を用いて仮想視点画像生成を行うシステムにおいては、カメラ１１２設置時に各カメラ１１２の位置姿勢推定を行うキャリブレーション処理（設置時キャリブレーション）が必要である。
【０１９１】
設置時キャリブレーションでは、各カメラのカメラパラメータを求める処理が行われる。カメラパラメータとは、カメラ固有の内部パラメータ（焦点距離、画像中心、及びレンズ歪みパラメータ等）と、カメラの位置姿勢を表す外部パラメータ（回転行列及び位置ベクトル等）から成る。設置時キャリブレーション処理が完了すると、各カメラのカメラパラメータが導出された状態となる。
【０１９２】
カメラパラメータのうち、内部パラメータは、カメラ１１２及びレンズが定まっている場合、ズーム値とフォーカス値に応じて変わるパラメータである。そのため、本システムにおいては、カメラ１１２をスタジアムに設置する以前に、同カメラ１１２及びレンズを用いて、内部パラメータ導出に必要な撮影を行うことで内部パラメータの導出を行っておく。そして、カメラ１１２をスタジアムに設置した際にズーム値とフォーカス値が決まると、自動的に内部パラメータを導出することができるようにしておく。これを本明細書では内部パラメータをマップ化すると表現し、マップ化の結果を内部パラメータマップと記載する。
【０１９３】
内部パラメータマップの形式としては、ズーム値とフォーカス値に応じた内部パラメータを複数パターン記録しておく形式としても良いし、内部パラメータ値を算出できる演算式の形式としても良い。即ち、内部パラメータマップは、ズーム値とフォーカス値に応じて一意に内部パラメータが求まるものであればよい。
【０１９４】
また、内部パラメータマップによって求められたパラメータ値は、内部パラメータの初期値として用いられるものとする。そして、カメラパラメータ推定処理結果としての内部パラメータは、カメラ１１２をスタジアムに設置した後にキャリブレーション用として撮影した画像を用いたカメラパラメータ推定処理の過程で補正された値となる。
【０１９５】
また、本実施形態では、設置されるカメラ１１２及びレンズは何れも同機種であり、同ズーム値及び同フォーカス値であれば内部パラメータも同じであるものとする。ただしこれに限らず、複数機種のカメラ１１２及びレンズを用いる場合など、同ズーム値及び同フォーカス値であっても内部パラメータに個体差がある場合は、機種毎及びカメラ１１２毎に内部パラメータマップを保持するようにしても良い。
【０１９６】
ところで、カメラ画像の高解像度化にともない、各カメラ１１２の画像フレームを伝送した際にデータ伝送量がネットワーク伝送帯域制限を超過する虞がある。この虞を低減する方法について説明する。
【０１９７】
図１４は、三次元モデル情報の生成処理のシーケンス図である。ここでは、複数のカメラアダプタ１２０（１２０ａ、１２０ｂ、１２０ｃ、及び１２０ｄ）が連動して三次元モデル情報を生成する処理について説明する。なお、処理の順番は図に示したものに限定される訳ではない。
【０１９８】
なお、本実施形態の画像処理システム１００には２６台のカメラ１１２とカメラアダプタ１２０が含まれるが、ここでは２台のカメラ１１２ｂと１１２ｃ、及び、４台のカメラアダプタ１２０ａ、１２０ｂ、１２０ｃ、及び１２０ｄに注目して説明する。カメラ１１２ｂとカメラアダプタ１２０ｂ、及びカメラ１１２ｃとカメラアダプタ１２０ｃは、其々接続されている。なおカメラアダプタ１２０ａおよびカメラアダプタ１２０ｄに接続するカメラ１１２や、各カメラアダプタ１２０に接続するマイク１１１、雲台１１３、及び外部センサ１１４については省略する。また、カメラアダプタ１２０ａ〜１２０ｄはタイムサーバ２９０と時刻同期が完了し、撮影状態となっているものとする。
【０１９９】
カメラ１１２ｂおよびカメラ１１２ｃは其々カメラアダプタ１２０ｂ及び１２０ｃに対して撮影画像（１）及び撮影画像（２）を送信する（Ｆ６３０１、Ｆ６３０２）。カメラアダプタ１２０ｂ及び１２０ｃは、受信した撮影画像（１）または撮影画像（２）に対して、キャリブレーション制御部６１３３においてキャリブレーション処理を行う（Ｆ６３０３、Ｆ６３０４）。キャリブレーション処理は例えば色補正やブレ補正等である。なお、本実施形態ではキャリブレーション処理が実施されているが、必ずしも実施しなくてもよい。
【０２００】
次に、キャリブレーション処理済の撮影画像（１）または撮影画像（２）に対して、前景背景分離部６１３１によって前景背景分離処理が行われる（Ｆ６３０５、Ｆ６３０６）。
【０２０１】
次に、分離された前景画像及び背景画像其々に対してデータ圧縮・伸張部６１２１において圧縮が行われる（Ｆ６３０７、Ｆ６３０８）。なお分離した前景画像及び背景画像の其々の重要度に応じて圧縮率が変更されてもよい。また、場合によっては圧縮を行わなくてもよい。例えば、カメラアダプタ１２０は、背景画像よりも前景画像の圧縮率が低くなるように、前景画像と背景画像とのうち少なくとも背景画像を圧縮して次のカメラアダプタ１２０に対して出力する。前景画像も背景画像も圧縮する場合、重要な撮影対象を含む前景画像はロスレス圧縮を行い、撮影対象を含まない背景画像に対してはロスあり圧縮を行う。これにより、この後に次のカメラアダプタ１２０ｃまたはカメラアダプタ１２０ｄに伝送されるデータ量を効率的に削減する事ができる。例えばサッカー、ラグビー及び野球等が開催されるスタジアムのフィールドを撮影した場合には、画像の大半が背景画像で構成され、プレーヤ等の前景画像の領域が小さいという特徴があるため、伝送データ量を大きく削減できることをここに明記しておく。
【０２０２】
さらには、カメラアダプタ１２０ｂ又はカメラアダプタ１２０ｃは、重要度に応じて、次のカメラアダプタ１２０ｃまたはカメラアダプタ１２０ｄに対して出力する画像のフレームレートを変更してもよい。例えば、前景画像よりも背景画像の出力フレームレートが低くなるように、重要な撮影対象を含む前景画像は高フレームレートで出力し、撮影対象を含まない背景画像は低フレームレートで出力してもよい。この事によって更に次のカメラアダプタ１２０ｃまたはカメラアダプタ１２０ｄに伝送されるデータ量を削減する事ができる。またカメラ１１２の設置場所、撮影場所、及び／又はカメラ１１２の性能などに応じて、カメラアダプタ１２０毎に圧縮率や伝送フレームレートを変更してもよい。また、スタジアムの観客席等の三次元構造は図面を用いて事前に確認することができるため、カメラアダプタ１２０は背景画像から観客席の部分を除いた画像を伝送してもよい。これにより、後述のレンダリングの時点で、事前に生成したスタジアム三次元構造を利用することで試合中のプレーヤに重点化した画像レンダリングを実施し、システム全体で伝送及び記憶されるデータ量の削減ができるという効果が生まれる。
【０２０３】
次にカメラアダプタ１２０は、圧縮した前景画像及び背景画像を隣接するカメラアダプタ１２０に転送する（Ｆ６３１０、Ｆ６３１１、Ｆ６３１２）。なお、本実施形態では前景画像及び背景画像は同時に転送されているが、其々が個別に転送されてもよい。
【０２０４】
次に、カメラアダプタ１２０ｂは、カメラアダプタ１２０ａから受信した前景画像と前景背景分離処理Ｆ６３０５で分離した前景画像とを使用して三次元モデル情報を作成する（Ｆ６３１３）。同様にカメラアダプタ１２０ｃも三次元モデル情報を作成する（Ｆ６３１４）。
【０２０５】
次に、カメラアダプタ１２０ｂはカメラアダプタ１２０ａから受信した前景画像及び背景画像をカメラアダプタ１２０ｃへ転送する（Ｆ６３１５）。カメラアダプタ１２０ｃも同様にカメラアダプタ１２０ｄへ前景画像及び背景画像を転送する。なお、本実施形態では前景画像及び背景画像は同時に転送されているが、其々が個別に転送されてもよい。
【０２０６】
さらに、カメラアダプタ１２０ｃは、カメラアダプタ１２０ａが作成し、カメラアダプタ１２０ｂから受信した前景画像及び背景画像をカメラアダプタ１２０ｄへ転送する（Ｆ６３１７）。
【０２０７】
次に、各カメラアダプタ１２０ａ〜１２０ｃは、作成した三次元モデル情報を其々次のカメラアダプタ１２０ｂ〜１２０ｄへ転送する（Ｆ６３１８、Ｆ６３１９、Ｆ６３２０）。
【０２０８】
さらに、カメラアダプタ１２０ｂ及び１２０ｃは、逐次受信した三次元モデル情報を次のカメラアダプタ１２０ｃ及び１２０ｄへ転送する（Ｆ６３２１、Ｆ６３２２）。さらに、カメラアダプタ１２０ｃは、カメラアダプタ１２０ａが作成し、カメラアダプタ１２０ｂから受信した三次元モデル情報をカメラアダプタ１２０ｄへ転送する（Ｆ６３２３）。
【０２０９】
最終的に、カメラアダプタ１２０ａ〜１２０ｄが作成した前景画像、背景画像、及び三次元モデル情報は、ネットワーク接続されたカメラアダプタ１２０間を逐次伝送され、フロントエンドサーバ２３０に伝送される。
【０２１０】
なお、本シーケンス図ではカメラアダプタ１２０ａ及びカメラアダプタ１２０ｄのキャリブレーション処理、前景背景分離処理、圧縮処理、及び三次元モデル情報作成処理については記載を省略している。しかし実際には、カメラアダプタ１２０ａ及びカメラアダプタ１２０ｄも、カメラアダプタ１２０ｂやカメラアダプタ１２０ｃと同様の処理を行い、前景画像、背景画像及び三次元モデル情報を作成している。また、ここでは４台のカメラアダプタ１２０間のデータ転送シーケンスについて説明したが、カメラアダプタ１２０の数が増えても同様の処理が行われる。
【０２１１】
ここまで説明したように、複数のカメラアダプタ１２０のうち、予め定められた順序において最後のカメラアダプタ１２０以外のカメラアダプタ１２０は、対応するカメラ１１２による撮影画像から所定領域を抽出する。そしてその抽出結果に基づく画像データを、上記の予め定められた順序において次のカメラアダプタ１２０へ出力する。一方、上記の予め定められた順序において最後のカメラアダプタ１２０は、抽出結果に基づく画像データをフロントエンドサーバ２３０へ出力する。すなわち、複数のカメラアダプタ１２０はデイジーチェーンで接続され、各カメラアダプタ１２０が撮影画像から所定領域を抽出した結果に基づく画像データは、予め定められたカメラアダプタ１２０によってフロントエンドサーバ２３０へ入力される。このようなデータの伝送方式を用いることで、画像処理システム１００内におけるセンサシステム１１０の数が変動した場合の、フロントエンドサーバ２３０における処理負荷やネットワークの伝送負荷の変動を抑制することができる。また、カメラアダプタ１２０が出力する画像データは、上記の抽出結果に基づく画像データと、予め定められた順序において前のカメラアダプタ１２０による所定領域の抽出結果に基づく画像データとを用いて生成されるデータであってもよい。例えば、各カメラアダプタ１２０が自身による抽出結果と前のカメラアダプタ１２０による抽出結果の差分に基づく画像データを出力することで、システム内の伝送データ量を低減することができる。上記の順序において最後のカメラアダプタ１２０は、他のカメラ１１２による撮影画像から他のカメラアダプタ１２０により抽出された所定領域の画像データに基づく抽出画像データを上記の他のカメラアダプタ１２０から取得する。そして、自身が抽出した所定領域の抽出結果と、他のカメラアダプタ１２０から取得した抽出画像データとに応じた画像データを、仮想視点画像を生成するための画像コンピューティングサーバ２００に対して出力する。
【０２１２】
また、カメラアダプタ１２０は、カメラ１１２が撮影した画像を前景部分と背景部分に分け、例えばそれぞれの重要度に応じて圧縮率や伝送するフレームレートを変える。このことにより、カメラ１１２が撮影したデータの全てをフロントエンドサーバ２３０に伝送する場合よりも伝送量を低減する事ができる。また、三次元モデル生成に必要な三次元モデル情報を各カメラアダプタ１２０が逐次作成する。この事により、全てのデータをフロントエンドサーバ２３０に集結させ、サーバで全ての三次元モデル生成処理を行う場合と比較し、サーバの処理負荷を低減させる事ができ、よりリアルタイムに三次元モデル生成を可能とする事ができる。
【０２１３】
図１５は、カメラから撮像画像を受信した際のカメラアダプタの動作を示すフローチャートである。具体的には、カメラアダプタ１２０が、受信した撮像画像から前景画像及び背景画像を生成し後続のカメラアダプタ１２０へ転送する処理である。
【０２１４】
カメラアダプタ１２０は、自身に接続されているカメラ１１２から撮影画像を取得する（Ｓ６５０１）。次に、取得した撮影画像を前景画像及び背景画像に分離する処理を実施する（Ｓ６５０２）。なお、本実施形態における前景画像は、カメラ１１２から取得した撮影画像に対する所定オブジェクトの検出結果に基づいて決定される画像である。所定オブジェクトとは、例えば人物である。ただし、オブジェクトが特定人物（選手、監督、及び／又は審判など）であっても良いし、ボールやゴールなど、画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。
【０２１５】
次に、分離した前景画像及び背景画像の圧縮処理を行う（Ｓ６５０３）。前景画像に対してはロスレス圧縮が行われ、前景画像は高画質を維持する。背景画像に対してはロスあり圧縮が行われ、伝送データ量が削減される。
【０２１６】
次にカメラアダプタ１２０は、圧縮した前景画像と背景画像を次のカメラアダプタ１２０へ転送する（Ｓ６５０４）。なお背景画像に関しては毎フレーム転送するのではなく転送フレームを間引いて転送してもよい。例えば、撮影画像が６０ｆｐｓである場合に、前景画像は毎フレーム伝送されるが、背景画像は１秒間の６０フレーム中１フレームのみが伝送される。これにより伝送データ量の削減を行う事ができる特有の効果がある。
【０２１７】
またカメラアダプタ１２０は、次のカメラアダプタ１２０へ前景画像及び背景画像を転送する際に、メタ情報を付与してもよい。例えば、カメラアダプタ１２０またはカメラ１１２の識別子や、フレーム内の前景画像の位置（ｘｙ座標）や、データサイズ、フレーム番号、及び撮影時刻などがメタ情報として付与される。また注視点を識別するための注視点グループ情報や、前景画像及び背景画像を識別するデータ種別情報などが付与されてもよい。但し付与されるデータの内容はこれらに限定される訳ではなく、他のデータが付与してもよい。
【０２１８】
なお、カメラアダプタ１２０がデイジーチェーンを通じてデータを伝送する際に、自身に接続されたカメラ１１２と相関の高いカメラ１１２の撮影画像のみを選択的に処理することで、カメラアダプタ１２０における伝送処理負荷を軽減することができる。また、デイジーチェーン伝送において、何れかのカメラアダプタ１２０において故障が発生してもカメラアダプタ１２０間のデータ伝送が停止しないようにシステムを構成することで、ロバスト性を確保できる。
【０２１９】
図１６は、隣接するカメラアダプタからデータを受信した際のカメラアダプタの動作を示すフローチャートである。
【０２２０】
まずカメラアダプタ１２０は隣接するカメラアダプタ１２０からデータを受信する（Ｓ６６０１）。カメラアダプタ１２０は自身の転送モードがバイパス制御モードか否かを判断する（Ｓ６６０２）。なおバイパス制御モードの詳細については図１９を参照して後述する。
【０２２１】
バイパス制御モードの場合は、カメラアダプタ１２０は、次のカメラアダプタ１２０へデータを転送する（Ｓ６６１１）。バイパス制御モードでない場合は、受信したデータのパケットを解析する（Ｓ６６０３）。
【０２２２】
カメラアダプタ１２０は、パケットを解析した結果、バイパス伝送制御対象のパケットであると判断した場合は（Ｓ６６０４のＹｅｓ）、次のカメラアダプタ１２０へデータを転送する（Ｓ６６１０）。バイパス伝送制御対象のパケットは、例えば三次元モデル情報生成に利用しない画像データまたは後述する制御メッセージや時刻補正に係わるメッセージである。なおバイパス伝送制御の詳細については図１８を参照して後述する。
【０２２３】
カメラアダプタ１２０は、バイパス伝送制御対象ではないと判断した場合は、データ種別を判別し（Ｓ６６０５）、データの種別に応じた処理を行う。
【０２２４】
データの種別が、制御ステーション３１０から自身のカメラアダプタ１２０宛ての制御メッセージパケットである場合、制御メッセージを解析し、解析結果に基づき処理を行う（Ｓ６６０６）。制御メッセージの送信元が制御ステーション３１０でなく他のノードである場合も同様である。また、パケットが自身のカメラアダプタ１２０宛ての場合だけではなく、カメラアダプタ１２０が属する注視点グループ宛てである場合も同様である。また、カメラアダプタ１２０が行う処理の例としては、カメラアダプタ１２０に接続されるマイク１１１、カメラ１１２及び雲台１１３の制御や、カメラアダプタ１２０自身の制御がある。カメラアダプタ１２０は、制御メッセージの内容に応じて制御結果を送信元もしくは指示されたノードに対して返送する。またパケットがグループ宛ての制御メッセージの場合は次のカメラアダプタ１２０へ制御メッセージを転送する。
【０２２５】
次にカメラアダプタ１２０は、データ種別が時刻補正に係わる場合は時刻補正処理を行う（Ｓ６６０７）。例えばタイムサーバ２９０との間でのＰＴＰ処理に基づき自身の時刻補正を行う。そして補正した時刻に基づきマイク１１１及びカメラ１１２へ供給するワードクロックの補正を行う。なお時刻の補正量が大きい場合にワードクロックのタイミングを一度に変更すると音声や画像品質に影響が出るため、予め設定された変更量に基づき徐々に時刻を補正する処理を行ってもよい。またカメラアダプタ１２０は、作成した三次元モデル情報及び三次元モデル情報作成に使用した前景画像などを、フロントエンドサーバ２３０に送信するために次のカメラアダプタ１２０へ転送する。
【０２２６】
次にカメラアダプタ１２０は、データ種別が前景画像または背景画像の場合に三次元モデル情報作成処理を行う（Ｓ６６０８）。
【０２２７】
図１７は、注視点グループを説明する図である。各カメラ１１２は光軸が特定の注視点６３０２を向くように設置される。同じ注視点グループ６３０１に分類されるカメラ１１２は、同じ注視点６３０２を向くように設置される。
【０２２８】
図１７では、注視点Ａ（６３０２Ａ）及び注視点Ｂ（６３０２Ｂ）の２つの注視点６３０２が設定され、９台のカメラ（１１２ａ〜１１２ｉ）が設置された場合の例を示している。４台のカメラ（１１２ａ、１１２ｃ、１１２ｅ及び１１２ｇ）は、同じ注視点Ａ（６３０２Ａ）を向いており、注視点グループＡ（６３０１Ａ）に属する。また、残りの５台のカメラ（１１２ｂ、１１２ｄ、１１２ｆ、１１２ｈ及び１１２ｉ）は、同じ注視点Ｂ（６３０２Ｂ）を向いており、注視点グループＢ（６３０１Ｂ）に属する。
【０２２９】
ここでは、同じ注視点グループ６３０１に属するカメラ１１２の中で最も近い（接続ホップ数が小さい）カメラ１１２の組を「論理的に隣接している」と表現する。例えば、カメラ１１２ａとカメラ１１２ｂは、物理的には隣接しているが、異なる注視点グループ６３０１に属するため論理的には隣接していない。カメラ１１２ａと論理的に隣接しているのは、カメラ１１２ｃである。一方、カメラ１１２ｈとカメラ１１２ｉは、物理的に隣接しているだけでなく、論理的にも隣接している。
【０２３０】
物理的に隣接するカメラ１１２が論理的にも隣接しているか否かにより、カメラアダプタ１２０で異なる処理が行われる。以下で具体的な処理について説明する。
【０２３１】
図１８は、バイパス伝送制御を説明する図である。バイパス伝送制御は、各カメラアダプタ１２０が属する注視点グループに応じて伝送データをバイパスする機能である。外部機器制御部６１４０、各画像処理部６１３０、伝送部６１２０、及びネットワークアダプタ６１１０を構成する機能部の記載は省略している。
【０２３２】
画像処理システム１００において、カメラアダプタ１２０の台数や、どのカメラアダプタ１２０がどの注視点グループに属するかの設定は変更可能である。図１８では、注視点グループＡにカメラアダプタ１２０ｇ、カメラアダプタ１２０ｈ及びカメラアダプタ１２０ｎが属し、注視点グループＢにカメラアダプタ１２０ｉが属していることとする。
【０２３３】
ルート６４５０はカメラアダプタ１２０ｇが作成した前景画像の伝送ルートを示しており、前景画像は最終的にフロントエンドサーバ２３０へ伝送される。本図では、背景画像、三次元モデル情報、及び制御メッセージや、カメラアダプタ１２０ｈ、カメラアダプタ１２０ｉ及びカメラアダプタ１２０ｎが作成した前景画像の記載は省略している。
【０２３４】
カメラアダプタ１２０ｈは、カメラアダプタ１２０ｇが作成した前景画像を、ネットワークアダプタ６１１０ｈを介して受信し、伝送部６１２０ｈによってルーティング先を決定する。伝送部６１２０ｈは、受信した前景画像の作成元のカメラアダプタ１２０ｇが同じ注視点グループ（ここではグループＡ）に属していると判断すると、受信した前景画像を画像処理部６１３０ｈへ転送する。画像処理部６１３０ｈにおいて、カメラアダプタ１２０ｇが作成し送信した前景画像に基づいて三次元モデル情報を生成されると、カメラアダプタ１２０ｇの前景画像は次のカメラアダプタ１２０ｉに転送される。
【０２３５】
次にカメラアダプタ１２０ｉは、カメラアダプタ１２０ｈからカメラアダプタ１２０ｇが作成した前景画像を受信する。カメラアダプタ１２０ｉの伝送部６１２０ｉはカメラアダプタ１２０ｇと自身が属する注視点グループが異なる事を判断すると、画像処理部６１３０ｉには転送せず次のカメラアダプタ１２０に転送する。
【０２３６】
次にカメラアダプタ１２０ｎは、カメラアダプタ１２０ｇが作成した前景画像を、ネットワークアダプタ６１１０ｎを介して受信し、伝送部６１２０ｎによってルーティング先を決定する。伝送部６１２０ｎは、カメラアダプタ１２０ｎがカメラアダプタ１２０ｇと同じ注視点グループであると判断する。しかし、画像処理部６１３０ｎによりカメラアダプタ１２０ｇの前景画像が三次元モデル情報生成に必要な前景画像ではないと判断されると、前景画像はそのまま次のカメラアダプタ１２０にデイジーチェーンのネットワークを介して転送される。
【０２３７】
このように各カメラアダプタ１２０の伝送部６１２０は、受信したデータが画像処理部６１３０における画像処理による三次元モデル情報の作成に必要なデータか否かを判断する。画像処理に必要なデータではない、つまり自身のカメラアダプタ１２０との相関が低いデータであると判断すると、画像処理部６１３０へデータを転送することなく、次のカメラアダプタ１２０に伝送する。つまり、デイジーチェーン１７０を介したデータの伝送において、各カメラアダプタ１２０で必要なデータが選択されて逐次三次元モデル情報を生成する処理が実施される。これによりカメラアダプタ１２０内でデータ受信してから転送するまでのデータ転送に係わる処理負荷及び処理時間を短縮する事ができる。
【０２３８】
図１９は、カメラアダプタ１２０ｂのバイパス制御を説明する図である。なお外部機器制御部６１４０、各画像処理部６１３０、伝送部６１２０、及びネットワークアダプタ６１１０を構成する機能部の記載は省略している。
【０２３９】
バイパス制御とは、カメラアダプタ１２０ｂが、カメラアダプタ１２０ｃから受信したデータを、伝送部６１２０のデータルーティング処理部６１２２によるルーティング制御を行わずに次のカメラアダプタ１２０ａへ転送する機能である。
【０２４０】
例えばカメラアダプタ１２０ｂは、カメラ１１２ｂの状態が撮影停止中やキャリブレーション中、又はエラー処理中である場合に、ネットワークアダプタ６１１０に対してバイパス制御を起動させる。また例えば、伝送部６１２０または画像処理部６１３０などの動作不良などが発生した場合にも、バイパス制御を起動させる。また、ネットワークアダプタ６１１０が伝送部６１２０の状態を検知し、能動的にバイパス制御モードに遷移してもよい。なお、伝送部６１２０または画像処理部６１３０がエラー状態や停止状態にあることを検知するサブＣＰＵをカメラアダプタ１２０ｂに配備し、サブＣＰＵがエラー検知を行った場合にネットワークアダプタ６１１０をバイパス制御にする処理を加えてもよい。これにより、各機能ブロックのフォールト状態とバイパス制御を独立して制御できる効果がある。
【０２４１】
また、カメラアダプタ１２０は、カメラ１１２の状態がキャリブレーション状態から撮影状態に遷移した場合や、伝送部６１２０などが動作不良から復旧した場合に、バイパス制御モードから通常の通信モードに遷移してもよい。
【０２４２】
このバイパス制御機能により、カメラアダプタ１２０はデータ転送を高速に行う事ができ、また不慮の故障などが発生しデータルーティングに係わる判断ができない場合でも次のカメラアダプタ１２０ａへデータを転送する事ができる。
【０２４３】
本システムにおいては、前景画像、背景画像、および三次元モデル情報が、デイジーチェーンで接続された複数のカメラアダプタ１２０間を伝送されてフロントエンドサーバ２３０へ入力される。ここで、撮影画像内で前景領域が極端に多くなるイベント、例えば全選手が集う開会式などが撮影される場合には、伝送される前景画像のデータ量が通常の競技を撮影する場合よりも膨大になる。そこで、デイジーチェーンで伝送されるデータ量が伝送帯域を超過しないように制御するための方法を以下に示す。
【０２４４】
図２０および図２１を使用して、カメラアダプタ１２０において伝送部６１２０がデータを出力する処理のフローについて説明する。
【０２４５】
図２０は、カメラアダプタ１２０ａ、１２０ｂ及び１２０ｃ間のデータの流れを例示的に示す図である。カメラアダプタ１２０ａとカメラアダプタ１２０ｂ、及びカメラアダプタ１２０ｂとカメラアダプタ１２０ｃが其々接続されている。また、カメラアダプタ１２０ｂにはカメラ１１２ｂが接続されており、カメラアダプタ１２０ｃはフロントエンドサーバ２３０と接続されている。カメラアダプタ１２０ｂの伝送部６１２０のデータ出力処理フローについて説明する。
【０２４６】
カメラアダプタ１２０ｂの伝送部６１２０には、カメラ１１２ｂから撮影データ６７２０が入力され、カメラアダプタ１２０ａから画像処理された入力データ６７２１及び６７２２が入力される。また伝送部６１２０は、入力されたデータに対して、画像処理部６１３０への出力、圧縮、フレームレートの設定、およびパケット化等の処理を行って、そのデータをネットワークアダプタ６１１０に出力している。
【０２４７】
図２１は、伝送部６１２０における出力処理のフローチャートである。伝送部６１２０は、画像処理部６１３０からの入力データ６７２１及び６７２０の各々について画像処理結果のデータ量を取得するステップ（Ｓ６７０１）を実行する。
【０２４８】
次に、カメラアダプタ１２０ａからの入力データ６７２２のデータ量を取得するステップ（Ｓ６７０２）を実行する。次に、カメラアダプタ１２０ｃへの出力データ量導出について、入力データのデータ種別に応じて導出するステップ（Ｓ６７０３）を実行する。
【０２４９】
次に伝送部６１２０は、出力データ量と所定の伝送帯域制約量を比較し、伝送可能性を確認する。具体的には、ネットワークアダプタ６１１０へ出力するデータ量が予め指定された出力データ量の閾値を超えるか否かを判断する（Ｓ６７０４）。なお閾値はデータ種別（ここでは、前景画像、背景画像、全景フレームデータ、及び三次元モデル情報等があげられる）ごとに設けられてもよい。また出力するデータ量については、伝送部６１２０でデータを圧縮する場合は圧縮結果に基づいて導出される。なお出力データ量の閾値はパケット化する際のヘッダ情報やエラー訂正情報等のオーバヘッドを考慮して設定されることが望ましい。
【０２５０】
伝送部６１２０が、出力データ量が閾値を超えないと判断した場合は、入力データをネットワークアダプタ６１１０へ出力する通常転送を行う（Ｓ６７１２）。出力データ量が閾値を超えたと判断された場合（Ｓ６７０４のＹｅｓ）、伝送部６１２０に入力されたデータが画像データの場合は出力データ量オーバ時のポリシーを取得する（Ｓ６７０５）。そして、取得したポリシーに基づいて、以下で説明する複数の処理（Ｓ６７０７〜Ｓ６７１１）の少なくとも何れかを選択して（Ｓ６７０６）実行する。なお伝送部６１２０は、画像データ以外の時刻補正に係わるデータや制御メッセージ係わるデータについては通常転送を行ってもよい。また、メッセージの種別や優先度に応じてメッセージをドロップしてもよい。出力データのデータ量を減らすことによってデータ転送のオーバーフローを抑止することができる。
【０２５１】
伝送部６１２０が実行する処理の１つとして、画像データのフレームレートを落としてネットワークアダプタ６１１０へ出力する（Ｓ６７０７）。フレームを間引いて伝送することによりデータ量が削減される。ただし、動きの速いオブジェクトを追従する際には高フレームレートで出力する場合と比較し画質面で劣る虞があるため、対象となる撮影シーンに応じて本手法の適用可否が判断される。
【０２５２】
また別の処理として、伝送部６１２０は、画像データの解像度を落としてネットワークアダプタ６１１０へ出力する（Ｓ６７０８）。この処理は出力画像の画質に影響するため、エンドユーザ端末の種別に応じてポリシー設定がされる。例えば、スマートフォンへ出力する場合は解像度を大きく落としてデータ量削減を行い、高解像度ディスプレイ等へ出力する場合は解像度を小さく落とす等の適応的な解像度変換に関するポリシー設定がされる。
【０２５３】
また別の処理として、伝送部６１２０は、画像データの圧縮率を上げてネットワークアダプタ６１１０へ出力する（Ｓ６７０９）。ここでは、入力画像データに対して、ロスレス圧縮、あるいはロッシー圧縮等の復元性能要求、つまり、画像品質の要求に応じてデータ量削減が図られる。
【０２５４】
また別の処理として、伝送部６１２０は、画像処理部６１３０からの撮影データ６７２０の出力を停止する（Ｓ６７１０）。ここでは、画像処理を施した画像データの出力を停止してデータ量削減を図る。十分な台数のカメラ１１２が配備されている場合は、仮想視点画像の生成において、同一注視点グループのカメラ１１２がすべて必須ではない場合がある。例えばスタジアムのフィールド全体を撮影する上でカメラ１１２を削減しても死角が発生しないことを事前に把握できている場合に本制御が適用される。つまり、後工程での画像の破綻が起きないことを条件とし、画像データの送信を行わないカメラを選定することで伝送帯域を確保することができる。
【０２５５】
また別の処理として、伝送部６１２０は、画像処理部６１３０からの入力データ６７２１の出力を停止するかまたはそのうちの一部のカメラアダプタ１２０の画像の出力のみ停止する（Ｓ６７１１）。上記に加えて、他のカメラアダプタ１２０からの入力画像を利用して三次元モデル情報を生成できた場合は、他のカメラアダプタ１２０からの前景画像や背景画像の出力を停止して、三次元モデル情報のみを出力制御することでデータ量削減を図ってもよい。
【０２５６】
出力データのデータ量を減らすのに使用された方法は後段のフロントエンドサーバ２３０を介してバックエンドサーバ２７０、仮想カメラ操作ＵＩ３３０、制御ステーション３１０へ通知される（Ｓ６７１３）。本実施形態では、ポリシーに応じてフレームレート、解像度、圧縮率、及びデータ停止等の制御処理の何れかが行われるようにフローが分岐しているがこれに限定されるものではない。これらの制御のうち複数を組み合わせで実行することでさらなるデータ量削減効果が得られることを明記しておく。また、Ｓ６７１３において本制御処理の通知が行われる。この通知により、仮想カメラ操作ＵＩ３３０において、例えば、圧縮率を上げた結果、画像品質面で十分な解像度が得られない場合はズーム操作に制約を設けることができる。さらに、伝送帯域制約量オーバ処理後も、逐次出力データ量の超過をチェックし、データ量が安定したら伝送処理のポリシーを元の設定値に戻すことができることをここに示す。
【０２５７】
このように、デイジーチェーンの伝送帯域を超過するという課題に対して、状態に応じた伝送制御処理を行うことで、伝送帯域制約を満たす伝送を実現できるという効果がある。
【０２５８】
図２３は、カメラアダプタ１２０の画像処理部６１３０における各種処理のフローチャートである。図２３（ａ）の処理に先だって、まずキャリブレーション制御部６１３３は、入力された画像に対して、カメラ毎の色のばらつきを抑えるための色補正処理や、カメラの振動に起因するブレに対して画像の位置を安定させるためのブレ補正処理などを行う。このブレ補正処理は例えば電子防振処理である。
【０２５９】
色補正処理では、フロントエンドサーバ２３０から受信したパラメータに基づいて、入力画像の画素値にオフセット値を加算するなどの処理が行われる。またブレ補正処理では、カメラに内蔵された加速度センサあるいはジャイロセンサなどのセンサからの出力データに基づき画像のブレ量が推定される。そして推定されたブレ量に基づいて入力画像に対する画像位置のシフトや画像の回転処理が行われることで、フレーム画像間のブレが抑制される。なおブレ補正の手法としてはその他の方法を用いてもよい。例えば、時間的に連続した複数のフレーム画像を比較することで画像の移動量を推定し補正するような画像処理による方法や、レンズシフト方式及びセンサシフト方式などのカメラの内部で実現する方法等でもよい。
【０２６０】
背景更新部５００３は、入力画像と、メモリに保存されている背景画像とを用いて、背景画像５００２を更新する処理を行う。
【０２６１】
図２２は、背景画像を説明する図である。図２２（ａ）は背景画像の一例を示す。更新処理は各画素に対して行われる。その処理フローを図２３（ａ）に示す。
【０２６２】
まず背景更新部５００３は、Ｓ５００１で、入力画像の各画素に対して、背景画像内の対応する位置にある画素との差分を導出する。つぎに、Ｓ５００２で、差分が定められた閾値Ｋより小さいかどうか判定する。差分がＫより小さい場合にはその画素は背景であるという判断がされる（Ｓ５００２のＹＥＳ）。つぎに背景更新部５００３は、Ｓ５００３で、入力画像の画素値と背景画像の画素値とを一定の比率で混合した値を導出する。そしてＳ５００４で、背景画像内の画素値を導出した値で更新する。
【０２６３】
一方、図２２（ｂ）は、背景画像である図２２（ａ）に対して人物が映っている画像を示す図である。このような場合には、人物が位置している画素に着目すると、背景に対して画素値の差分が大きくなり、Ｓ５００２において差分がＫ以上となる。その場合には画素値の変化が大きいので背景以外の何らかのオブジェクトが映っているという判断がされて、背景画像５００２の更新は行われない（Ｓ５００２のＮＯ）。なお背景更新処理については他にも様々な手法が考えられる。
【０２６４】
次に背景切出部５００４は、背景画像５００２からその一部を読み出し、伝送部６１２０へ送信する。スタジアム等でサッカーなどの競技を撮影する際に、フィールド全体を死角なく撮影できるようカメラ１１２を複数配置した場合、カメラ１１２間で背景情報の大部分が重複するという特徴がある。背景情報は膨大なため、伝送帯域制約の面から重複した部分は削除して伝送することで伝送量を削減することができる。その処理の流れを図２３（ｄ）に示す。Ｓ５０１０で、背景切出部５００４は、例えば図２２（ｃ）に示した点線で囲まれた部分領域３４０１のように、背景画像の中央部分を設定する。つまり、本部分領域３４０１は自カメラ１１２が伝送を担当する背景領域であり、それ以外の背景領域は、他のカメラ１１２によって伝送を担当される。
【０２６５】
Ｓ５０１１で背景切出部５００４は、設定された背景画像の部分領域３４０１を読み出す。そしてＳ５０１２で伝送部６１２０へ出力する。出力された背景画像は画像コンピューティングサーバ２００に集められ、背景モデルのテクスチャとして利用される。各カメラアダプタ１２０において背景画像５００２を切出す位置は、背景モデルに対するテクスチャ情報が不足しないように、予め決められたパラメータ値に応じて設定されている。通常は伝送データ量をより少なくするため、切出す領域は必要最小限となるように設定される。これにより、膨大な背景情報の伝送量を削減できるという効果があり、高解像度化にも対応できるシステムにすることができる。
【０２６６】
次に前景分離部５００１では、前景領域（人物などのオブジェクト）を検出する処理が行われる。画素毎に実行される前景領域検出処理の流れを図２３（ｂ）に示す。前景の検出については、背景差分情報を用いる方法が用いられる。まずＳ５００５で、前景分離部５００１は、新たに入力された画像の各画素と、背景画像５００２内の対応する位置にある画素との差分を導出する。そしてＳ５００６で差分が閾値Ｌより大きいかどうか判定する。ここで、図２２（ａ）に示した背景画像５００２に対して、新たに入力された画像が例えば図２２（ｂ）のようになっているものとすると、人物が映っている領域の各画素においては差分が大きくなる。差分が閾値Ｌより大きい場合にはＳ５００７で、その画素が前景として設定される。なお背景差分情報を用いる前景の検出方法においては、前景をより高精度に検出するための様々な工夫が考えられている。また前景検出についてはその他にも、特徴量や機械学習を用いる手法などさまざまな手法がある。
【０２６７】
前景分離部５００１は、以上図２３（ｂ）で説明した処理を入力された画像の画素毎に実行した後、前景領域をブロックとして決定して出力する処理を行う。処理の流れを図２３（ｃ）に示す。Ｓ５００８においては、前景領域を検出した画像に対して、複数の画素が連結した前景領域を１つの前景画像として設定する。画素が連結した領域を検出する処理としては例えば領域成長法を用いる。領域成長法は公知のアルゴリズムであるため詳細な説明は省く。Ｓ５００８で前景領域がそれぞれ前景画像としてまとめられた後、Ｓ５００９で順次各前景画像が読み出されて伝送部６１２０へ出力される。
【０２６８】
次に三次元モデル情報生成部６１３２では、前景画像を用いて三次元モデル情報の生成を行う。カメラアダプタが隣のカメラからの前景画像を受信すると、伝送部６１２０を介して他カメラ前景受信部５００６にその前景画像が入力される。前景画像が入力されたときに三次元モデル処理部５００５が実行する処理の流れを図２３（ｅ）に示す。ここで、画像コンピューティングサーバ２００がカメラ１１２の撮影画像データが集め、画像処理を開始し仮想視点画像を生成する場合に、計算量が多く画像生成に係る時間が長くなる場合が考えられる。とくに三次元モデル生成における計算量が顕著に大きくなる虞がある。そこで図２３（ｅ）では、画像コンピューティングサーバ２００における処理量を低減するために、カメラアダプタ１２０間をデイジーチェーンつないでデータを伝送する中で逐次三次元モデル情報を生成する方法について説明する。
【０２６９】
まずＳ５０１３で三次元モデル情報生成部６１３２は、他のカメラ１１２により撮影された前景画像を受信する。つぎに三次元モデル情報生成部６１３２は、５０１４では、受信した前景画像を撮影したカメラ１１２が自カメラ１１２と同一注視点のグループに属し、且つ、隣接カメラであるかどうかを確認する。Ｓ５０１４がＹＥＳの場合はＳ５０１５に進む。ＮＯの場合は、当該他カメラ１１２の前景画像との相関がないと判断し、処理を行わず終了する。また、Ｓ５０１４において、隣接カメラであるかどうかの確認が行われているが、カメラ１１２間の相関の判断方法はこれに限らない。例えば、三次元モデル情報生成部６１３２が事前に相関のあるカメラ１１２のカメラ番号を入手及び設定し、そのカメラ１１２の画像データが伝送された場合のみ画像データを取り込んで処理する方法でも、同様の効果が得られる。
【０２７０】
次にＳ５０１５では、三次元モデル情報生成部６１３２は、前景画像のデプス情報の導出を行う。具体的には、まず前景分離部５００１から受信した前景画像と他のカメラ１１２の前景画像との対応付けを行い、次に対応付けされた各画素の座標値とカメラパラメータに基づいて、各前景画像上の各画素のデプス情報を導出する。ここで画像の対応付けの手法としては例えばブロックマッチング法が用いられる。ブロックマッチング法は良く知られた方法であるので詳細な説明は省く。また対応付けの方法としてはその他にも、特徴点検出、特徴量算出、及びマッチング処理などを組み合わせて性能を向上させるようなさまざまな手法があり、どの手法を用いてもよい。
【０２７１】
次にＳ５０１６で、三次元モデル情報生成部６１３２は、前景画像の三次元モデル情報を導出する。具体的には、前景画像の各画素について、Ｓ５０１５で導出したデプス情報とカメラパラメータ受信部５００７に格納されたカメラパラメータに基づいて画素の世界座標値を導出する。そして世界座標値と画素値をセットとして、点群として構成される三次元モデルの１つの点データを設定する。以上の処理により、前景分離部５００１から受信した前景画像から得られた三次元モデルの一部の点群情報と、他のカメラ１１２の前景画像から得られた三次元モデルの一部の点群情報とが得られる。そしてＳ５０１７で、三次元モデル情報生成部６１３２は、得られた三次元モデル情報にカメラ番号およびフレーム番号をメタ情報として付加し（メタ情報は例えば、タイムコードや絶対時刻でもよい。）伝送部６１２０へ出力する。
【０２７２】
これによって、カメラアダプタ１２０間がデイジーチェーンで接続され、複数の注視点が設定される場合でも三次元モデル情報を逐次生成することができる。すなわち、デイジーチェーンによってデータを伝送しながら、カメラ１１２間の相関に応じて画像処理を行い、三次元モデル情報を逐次生成することができる。その結果、処理が高速化される効果がある。
【０２７３】
なお本実施形態では、以上に説明した各処理はカメラアダプタ１２０に実装されたＦＰＧＡまたはＡＳＩＣなどのハードウェアによって実行されるが、例えばＣＰＵ、ＧＰＵ、ＤＳＰなどを用いてソフトウェア処理によって実行してもよい。また本実施形態ではカメラアダプタ１２０内で三次元モデル情報生成を実行したが、各カメラ１１２からの全ての前景画像が集められる画像コンピューティングサーバ２００が三次元モデル情報の生成を行ってもよい。
【０２７４】
図２４（ａ）は、ズレ検出報知部における処理のフローチャートである。図２４（ｂ）は、ステップＳ２０２の前景背景分離処理の詳細フローチャートである。ズレ検出報知部６１３４は、前景背景分離部６１３１で分離された背景画像から画像のズレを検出する機能を有する。
【０２７５】
まず図２４（ａ）について説明する。ステップＳ２０１で、設定時キャリブレーション終了後に画像を撮影する。次に、ステップＳ２０２で、Ｓ２０１で得られた画像に対して前景分離部５００１において時間的相関、及び、空間的相関から前景と背景を分離する前景背景分離処理を行う。この時間的相関、及び、空間的相関から前景と背景を分離する前景背景分離処理に関しての詳細に関しては、後述する。そして、この背景画像５００２を基準画像として基準背景画像記憶部５００８で保存する。なお、例えば、Ｓ２０１おける撮影がスタジアム開場前（フィールド上に選手等が存在せずスタンドに観客が存在しない）に行われる場合などにおいては、Ｓ２０１において得られた画像をそのまま基準画像として用いるよう構成してもよい。
【０２７６】
次に、ステップＳ２０３で、システムの起動時や定期的なタイミングで、現画像を撮影する。次に、ステップＳ２０４で、この画像に対して前景分離部５００１において上述と同様の時間的相関、及び、空間的相関から前景と背景を分離する前景背景分離処理を行い、背景画像５００２を比較用の現画像として比較現背景画像記憶部５００９で保存する。次に、ステップＳ２０５で、ズレ検出部５０１０で基準背景画像記憶部５００８に記憶された基準画像と比較現背景画像記憶部５００９に記憶された比較現画像とを比較してズレを検出する。比較する手法としては、対応する特徴点間のベクトルを用いる方法、その他、周知の技法を用いることができる。ズレが所定の基準値より大きい場合には、カメラの設置状態が状態変化したと判断し、警報を報知し警報情報を伝送部６１２０に伝送する。
【０２７７】
次に図２４（ｂ）について説明する。図２４（ｂ）の処理は、入力画像の各画素について行われる。ステップＳ２０２０１では、入力画像の対象画素について、時間的相関と空間的相関のそれぞれにおける背景画像との差分を算出する。具体的には、時間的相関差分を算出する場合、入力画像と同じカメラで過去に撮像された画像を背景画像として、入力画像の対象画素の値と背景画像の対応する画素の値との差分が算出される。一方、空間的相関差分を算出する場合、入力画像とは異なるカメラにより略同じタイミングで撮像された画像を背景画像として、入力画像の対象画素の値と背景画像の対応する画素の値との差分が算出される。次に、ステップＳ２０２０２で時間的相関差分に関し判断し、差分が所定値Ｌより小さい場合には、次のステップに進み、そうでない場合には終了する。次に、ステップＳ２０２０３で空間的相関差分に関し判断し、差分が所定値Ｄより小さい場合には、次のステップに進み、そうでない場合には終了する。次に、ステップＳ２０２０４で、時間的相関差分と空間的相関差分がともに基準範囲内であると判断された入力画像の対象画素を、分離される背景の画素として保存する。以上の図２４（ｂ）の処理を入力画像の全画素について実行することにより、入力画像から空間的相関及び時間的相関に基づく背景を分離することができる。
【０２７８】
尚、図２４（ａ）におけるステップＳ２０４における前景背景分離処理も同様である。なお、Ｓ２０２及びＳ２０４における前景背景分離の少なくとも何れかが、時間的相関のみに基づく前景背景分離又は空間的相関のみに基づく前景背景分離であってもよい。ここでいう時間的相関における差分検出とは、例えば、過去の一定時間の画像の情報に基づいて背景データを生成して、現在の画像との差分を検出する手法であってよい。また、この検出方法についてこの手法に限定されるものではなく、特徴量や機械学習を用いる手法などのような手法を用いてもよい。一方、ここでいう空間的相関における前景背景分離処理は、空間的相関性から共通オブジェクト、領域を抽出する手法であってよい。具体的な手法として、予め３Ｄ情報を有する所与の３Ｄモデルとしての背景を保持し、これと現画像を比較することにより、一致する背景領域のみを抽出する手法がある。同様の手法として、同時に各オブジェクトに対応した距離を測定する手段により、近距離にある前景を遠距離にある背景に対して分離する手法でもよい。また、空間的相関における前景背景分離処理は、これに限定されるものではない。この処理により、同時刻に撮影された画像から遠距離にある背景のみを分離することができる。
【０２７９】
図２５は、時間的相関及び空間的相関を利用した前景背景分離処理を例示的に示す図である。ここでは、図２５（ａ）に示すように、カメラ１１０が、スタジアムのフィールドおよび観客席の方向を撮影している状態を示している。カメラ１１０により撮影される概略の撮影範囲をＫで示している。図２５（ｂ１）〜（ｂ４）は、この撮影範囲のカメラ撮影画像に対して前景背景分離処理を適用した際の画像変化を説明する図である。図２５（ｂ１）は、前景背景分離の対象となる画像を示す。この画像に含まれる人物は、時間的に位置が変化しているが、その他の構造物は、時間的に不変である。従って、この図２５（ｂ１）に示す分離対象の画像に対し、別の時刻に同じカメラで撮影された画像との差分を算出して、時間的相関による前景背景分離処理を行えば、図２５（ｂ２）の様に、動きのある人物が前景として分離され、構造物が背景として分離される。
【０２８０】
一方、構造物の中でも比較的カメラに近距離に配置される手前のゴールとカメラから遠距離にある観客席の床、梁、柱がある。隣り合って設置された複数のカメラの撮影画像を比較した場合、カメラから近距離にあるオブジェクトの位置の差は大きくなるが、カメラから遠距離にあるオブジェクトの位置の差は比較的小さい。従って、略同じタイミングで複数のカメラにより撮影された複数の撮影画像の差分を算出することで、遠方の観客席と手前のゴールや人物は分離可能である。この空間的相関による前景背景分離手法は、前述の通り、３Ｄ情報を有する３Ｄモデルとしての背景を用いる方法、或いは、距離情報を用いる方法等でもよい。図２５（ｂ１）の画像に対し、空間的相関による前景背景分離処理を行えば、図２５（ｂ３）の様に、手前にあるゴールと選手が前景として分離され、観客席が背景として分離される。
【０２８１】
さらに、図２５（ｂ１）から時間的相関で分離された図２５（ｂ２）の画像に空間的相関による前景背景分離処理を行えば、図２５（ｂ４）の様に、ゴールが分離され、観客席の床、梁、柱等の構造物のみの背景が分離される。一方、図２５（ｂ１）から空間的相関で分離された図２５（ｂ３）の画像に時間的相関による前景背景分離処理を行えば、図２５（ｂ４）の様になる。つまり、動きのある観客席の人物が分離され、観客席の床、梁、柱等の構造物のみの背景が分離される。
【０２８２】
つまり、元画像（図２５（ｂ１））に対し、時間的相関による前景背景分離処理と空間的相関による前景背景分離処理を行うことにより、その分離処理の順序に関わらず、目的とする背景画像（図２５（ｂ４））を得ることができる。つまり、図２４（ｂ）のフローチャートでは、時間的相関による前景背景分離処理の後に空間的相関による前景背景分離処理を行うフローチャートを示したが、この処理の順序は逆にしてもよい。更には、このズレ検出報知部においては、時間的相関による前景背景分離処理と空間的相関による前景背景分離処理を同時に行ってもよい。
【０２８３】
結果として、このズレ検出報知部５００９における時間的相関による前景背景分離処理と空間的相関による前景背景分離処理により、図２５（ｂ４）に示す様な、例えば観客席の床、梁、柱等の構造物のみの背景が得られる。この背景は、図２４（ａ）で示す様なカメラ設置状態のズレを検知するのに適した時間的にも空間的にも変化の少ない安定的な背景画像である。
【０２８４】
従って、スタジアムで複数カメラの設置調整が終わった時、フィールド上に選手や会場関係者がいる状況であっても、上述の画像処理により適切な基準画像が得られる。すなわち、基準画像を得るために従来のようにフィールドから人がいなくなるまで待機する必要が無くなり、設置作業の効率が向上する。また、上述の画像処理により得られた現画像の背景と基準画像の背景とを比較することで、現画像の撮影時の撮影範囲内に移動するオブジェクトが存在していても、安定的にカメラのずれを検出することができる。
【０２８５】
また、上述の画像処理により得られる背景画像は、カメラから距離のある遠方の背景である。そのため、カメラの光軸方向に対してカメラの並進方向のズレ（視差）の影響が少ない条件で、カメラの角度変動の影響を画像のズレとして正確に検出することができる。撮影対象が遠方になるほどカメラの撮影オブジェクトとしての大きさの要因が消え、純粋な位置のみの点として扱えるので、より正確なカメラの角度ズレの影響を検出することができるようになる。
【０２８６】
以上説明したとおり第１実施形態によれば、撮影した画像に対して前景背景分離処理を適用することにより得られる背景画像を基準画像との比較用の現画像として利用することで、カメラのずれを検出する。背景画像は、変動要素の大きい前景の影響を受けないため、カメラ設置状態（位置・姿勢など）の状態変化をより正確に検知することが可能となる。
【０２８７】
（第２実施形態）
第２実施形態では、現画像を他のタイミングで撮影する形態に関して説明する。具体的には、第１実施形態では定期的に現画像を撮影する形態について説明したが、第２実施形態ではカメラにおいて基準値以上の振動が発生した場合に現画像を撮影する。すなわち、カメラ設置状態が変化した可能性が高いタイミングで現画像を撮影する。なお、撮影タイミング以外については第１実施形態と同様であるため説明は省略する。
【０２８８】
図２６は、第２実施形態におけるズレ検出報知部における処理のフローチャートである。まず、ステップＳ３８０１で、カメラ初期設定時のキャリブレーション終了後に画像を撮影する。次に、ステップＳ３８０２で、このカメラ初期設定時に撮影した画像に対して前景分離部５００１において時間的相関、及び、空間的相関から前景と背景を分離する前景背景分離処理を行う。この時間的相関、及び、空間的相関から前景と背景を分離する前景背景分離処理に関しての詳細に関しては、第１実施形態と同様である。そして、この背景画像５００２を基準画像として基準背景画像記憶部５００８で保存する。
【０２８９】
次に、ステップＳ３８０３で、カメラに加えられた振動レベルが基準値以上で有るかどうかを検知する。この振動を検知するセンサは、前述の各センサシステム１１０を構成する外部センサ１１４であり、前述の通り、例えばジャイロセンサにより振動に関する情報を得ることができる。もちろん、外部センサ１１４は、振動を検出するもので有れば、加速度センサ等他のセンサにより構成されてもよい。この基準値は、予め、画像に影響を与えるズレの閾値を導出しておき、この値を採用するとよい。ここで、基準値以上の振動が検知された場合には、ステップＳ３８０４で、現画像を撮影する。ステップＳ３８０５で、この画像に対して前景分離部５００１において上述と同様の時間的相関、及び、空間的相関から前景と背景を分離する前景背景分離処理を行い、背景画像５００２を現画像として比較現背景画像記憶部５００９で保存する。
【０２９０】
次に、ステップＳ３８０６で、ズレ検出部５０１０で基準背景画像記憶部５００８の基準画像と比較現背景画像記憶部５００９の比較現画像とを比較してズレを検出する。比較する手法は、対応する特徴点間のベクトルを用いる方法、その他、周知の技法を用いる。ズレが所定の基準値より大きい場合には、カメラの設置状態が変化したと判断し、警報を報知するため警報情報を伝送部６１２０に伝送する。
【０２９１】
以上説明したとおり第２実施形態によれば、カメラにおいて基準値以上の振動が発生した場合に現画像を撮影する。この構成により、カメラ設置状態の変化の有無をより適切なタイミングで判定することが可能となる。また、カメラ設置状態の変化を警報により外部へ通知することが可能となる。
【０２９２】
（第３実施形態）
第３実施形態では、基準画像を更新する形態に関して説明する。具体的には、第１実施形態では設置時処理の撮影画像に基づく基準画像を継続的に用いる形態について説明したが、第３実施形態では画像比較において基準値以上の輝度差（明るさの変化）を検知した場合に基準画像を更新する。なお、基準画像の更新以外については第１実施形態と同様であるため説明は省略する。
【０２９３】
図２７は、第３実施形態におけるズレ検出報知部における処理のフローチャートである。まず、ステップＳ３９０１で、カメラ初期設定時のキャリブレーション終了後に画像を撮影する。次に、ステップＳ３９０２で、このカメラ初期設定時に撮影した画像に対して前景分離部５００１において時間的相関、及び、空間的相関から前景と背景を分離する前景背景分離処理を行う。この時間的相関、及び、空間的相関から前景と背景を分離する前景背景分離処理に関しての詳細に関しては、第１実施形態と同様である。そして、この背景画像５００２を基準画像として背景画像記憶部５００８で保存する。次に、ステップＳ３９０３で、現画像を撮影する。このタイミングは、第１実施形態と同様に起動時や定期的でもよいが、操作者が環境の変化に気付いて操作を行う任意のタイミングでもよい。
【０２９４】
次に、ステップＳ３９０４で、基準画像と現画像とを比較し、輝度の変化（差）が基準値以上で有るかどうかを検知する。尚、このフローチャートでは、ステップＳ３９０３とステップＳ３９０４で撮影した画像を比較することにより、画像から輝度差検出を行う構成を示したが、輝度の変化を検知する手段で有れば、他の構成でもよい。例えば、各センサシステム１１０を構成する外部センサ１１４に例えば輝度センサが用い、輝度変化に関する情報を得ることができる。この輝度変化に関する基準値は、予め、画像に影響を与える輝度変化の限界値を導出しておき、この値を採用する。ここで、基準値以上の輝度変化が検知された場合には、ステップＳ３９０５で、現画像に前景背景分離処理を行い、背景画像を新たな基準画像として、基準背景画像記憶部５００８に記憶された過去の基準画像を更新して保存する。そして、ステップＳ３９０３へ繰り返す。基準値以上の輝度変化が検知されなかった場合には、上述の実施形態と同様なので、以下は省略する。
【０２９５】
以上説明したとおり第３実施形態によれば、基準画像と現画像との比較において基準値以上の輝度変化を検知した場合に基準画像を更新する。この構成により、画像に影響のある輝度変化（屋外における時間帯の違いによる明るさの変化など）がある場合であっても、適切な画像比較が可能となり、カメラ設置状態の変化を好適に検出可能となる。
【０２９６】
（第４実施形態）
第４実施形態では、カメラの注視点が１点に固定されない場合の形態について説明する。注視点の変更以外については第１実施形態と同様であるため説明は省略する。
【０２９７】
図２８は、第４実施形態におけるズレ検出報知部における処理のフローチャートである。まず、ステップＳ４００１で、予め想定される複数の注視点に関する情報を入力する。具体的には、カメラの運台におけるパン・チルト角、カメラの撮影条件（ズーム値、絞り、シャッター、ゲイン等）、あるいは、ターゲットとなる注視点オブジェクトに関する情報である。次に、ステップＳ４００２で、上記で設定した複数の注視点ごとにキャリブレーションを行い、その後の画像を初期設定時の画像として撮影する。
【０２９８】
ステップＳ４００３で、このカメラ初期設定時に撮影した画像に対して前景分離部５００１において時間的相関、及び、空間的相関から前景と背景を分離する前景背景分離処理を行う。この時間的相関、及び、空間的相関から前景と背景を分離する前景背景分離処理に関しての詳細に関しては、第１実施形態と同様である。そして、この注視点ごとの複数の背景画像５００２を注視点ごとの複数の基準画像として基準背景画像記憶部５００８で保存する。
【０２９９】
次に、ステップＳ４００４で、予め定められた注視点のいずれかにおいて、現画像を撮影する。次に、ステップＳ４００５で、次の動作を行う。この画像に対して前景分離部５００１において上述と同様の時間的相関、及び、空間的相関から前景と背景を分離する前景背景分離処理を行い、背景画像５００２をその注視点における現画像として比較現背景画像記憶部５００９で保存する。
【０３００】
ステップＳ４００６では、この現撮影と同じ注視点に対応する基準画像を選択する。ステップＳ４００７では、ズレ検出部５０１０で、選択した同じ注視点に対する基準背景画像記憶部５００８の基準画像と比較現背景画像記憶部５００９の比較現画像とを比較してズレを検出する。以降は、上述の実施形態と同様なので省略する。
【０３０１】
以上説明したとおり第４実施形態によれば、上述の実施形態と同様のカメラ設置状態の変化検知を、注視点が複数通り存在するシステムにも適用することが可能となる。また、カメラ１１２の台数などのシステムを構成する装置の規模、及び撮影画像の出力解像度や出力フレームレートなどに依らず、仮想視点画像を簡便に生成することが出来る。
【０３０２】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０３０３】
１１０ａ  センサシステム；  １１１ａ  マイク；  １１２ａ  カメラ；  １１３ａ  雲台；  １２０ａ  カメラアダプタ；  １８０  スイッチングハブ；  １９０  エンドユーザ端末；  ２３０  フロントエンドサーバ；  ２５０  データベース；  ２７０  バックエンドサーバ；  ２９０  タイムサーバ；  ３１０  制御ステーション；  ３３０  仮想カメラ操作ＵＩ
【図１】
2019047431.tif 000003
【図２】
2019047431.tif 000004
【図３】
2019047431.tif 000005
【図４】
2019047431.tif 000006
【図５】
2019047431.tif 000007
【図６】
2019047431.tif 000008
【図７】
2019047431.tif 000009
【図８】
2019047431.tif 000010
【図９】
2019047431.tif 000011
【図１０】
2019047431.tif 000012
【図１１】
2019047431.tif 000013
【図１２】
2019047431.tif 000014
【図１３】
2019047431.tif 000015
【図１４】
2019047431.tif 000016
【図１５】
2019047431.tif 000017
【図１６】
2019047431.tif 000018
【図１７】
2019047431.tif 000019
【図１８】
2019047431.tif 000020
【図１９】
2019047431.tif 000021
【図２０】
2019047431.tif 000022
【図２１】
2019047431.tif 000023
【図２２】
2019047431.tif 000024
【図２３】
2019047431.tif 000025
【図２４】
2019047431.tif 000026
【図２５】
2019047431.tif 000027
【図２６】
2019047431.tif 000028
【図２７】
2019047431.tif 000029
【図２８】
2019047431.tif 000030
【図２９】
2019047431.tif 000031