(57)【要約】【課題】設定画角の範囲内への不要なオブジェクトの映り込みをより正確に判定する。【解決手段】カメラに予め設定された設定画角より広角で経時変動の無い経時不変オブジェクトを含む撮影情報を取得し、取得した撮影情報から経時不変オブジェクトを認識する。認識した経時不変オブジェクトに属し、経時変動のある経時変動オブジェクトが含まれ得る不要画像領域を導出する。そして、不要画像領域と撮影画像とを用いて、該撮影画像における前記設定画角の範囲と該不要画像領域とが重なりにより、該設定画角の範囲内への前記経時変動オブジェクトの映り込みがあるかを判定する。【選択図】図７
2019096926.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを複数の方向から所定の注視点を撮影する複数のカメラで得られた画像を用いて、任意の仮想視点から見た仮想視点画像を生成する画像処理システムにおける画像処理装置であって、
前記カメラに予め設定された設定画角より広角で経時変動の無い経時不変オブジェクトを含む撮影情報を取得する第一の取得手段と、
前記撮影情報から前記経時不変オブジェクトを認識する認識手段と、
前記経時不変オブジェクトに属し、経時変動のある経時変動オブジェクトが含まれ得る不要画像領域を導出する導出手段と、
前記不要画像領域と前記撮影情報とを用いて、該撮影情報における前記設定画角の範囲と該不要画像領域との重なりにより、該設定画角の範囲内への前記経時変動オブジェクトの映り込みがあるかを判定する判定手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記不要画像領域と前記撮影情報とを重畳した画像情報を取得する第二の取得手段を有し、
前記判定手段は、前記画像情報を用いて、該撮影情報における前記設定画角の範囲と該不要画像領域との重なりにより、該設定画角の範囲内への前記経時変動オブジェクトの映り込みがあるかを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第一の取得手段は、画像を撮影する撮影手段であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第一の取得手段は、前記注視点に対応した前記撮影情報をシミュレーションで取得する手段であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記導出手段は、前記経時不変オブジェクトから該経時不変オブジェクトの形状に関する情報を認識し、該経時不変オブジェクトの形状に関する情報に応じて、前記経時変動オブジェクトの変動範囲と、前記経時変動オブジェクトに付随する付随オブジェクトの変動範囲とから３次元空間情報を推定し、推定した３次元空間情報を変換して前記不要画像領域を導出する
ことを特徴とする請求項１から４の何れか一項に記載の画像処理装置。
【請求項６】
前記不要画像領域と前記撮影情報とを重畳して表示する表示手段を有することを特徴とする請求項１から５の何れか一項に記載の画像処理装置。
【請求項７】
前記注視点の変更を検知する検知手段を有し、
前記判定手段は、前記検知手段で前記注視点の変更が検知されると、その変更に応じて、前記撮影情報における前記設定画角の範囲と前記不要画像領域との重なりにより、該設定画角の範囲内への前記経時変動オブジェクトの映り込みがあるかを判定することを特徴とする請求項１から６の何れか一項に記載の画像処理装置。
【請求項８】
前記判定手段の判定結果に応じて、警報を報知する報知手段を有することを特徴とする請求項１から７の何れか一項に記載の画像処理装置。
【請求項９】
オブジェクトを所定の注視点で撮影するカメラによる撮影画像を生成する画像処理装置であって、
前記カメラに予め設定された設定画角より広角で経時変動の無い経時不変オブジェクトを含む撮影情報を取得する第一の取得手段と、
前記撮影情報から前記経時不変オブジェクトを認識する認識手段と、
前記経時不変オブジェクトに属し、経時変動のある経時変動オブジェクトが含まれ得る不要画像領域を導出する導出手段と、
前記不要画像領域と前記撮影情報とを用いて、該撮影情報における前記設定画角の範囲と該不要画像領域との重なりにより、該設定画角の範囲内への前記経時変動オブジェクトの映り込みがあるかを判定する判定手段と、
を有することを特徴とする画像処理装置。
【請求項１０】
オブジェクトを複数の方向から所定の注視点を撮影する複数のカメラで得られた画像を用いて、任意の仮想視点から見た仮想視点画像を生成する画像処理システムにおける画像処理方法であって、
前記カメラに予め設定された設定画角より広角で経時変動の無い経時不変オブジェクトを含む撮影情報を取得するステップと、
前記撮影情報から前記経時不変オブジェクトを認識するステップと、
前記経時不変オブジェクトに属し、経時変動のある経時変動オブジェクトが含まれ得る不要画像領域を導出するステップと、
前記不要画像領域と前記撮影情報とを用いて、該撮影情報における前記設定画角の範囲と該不要画像領域との重なりにより、該設定画角の範囲内への前記経時変動オブジェクトの映り込みがあるかを判定するステップと、
を有することを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１から９の何れか一項に記載の装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像への不要画像の映り込みを判定する技術に関するものである。
【背景技術】
【０００２】
スタジアム等で複数のカメラを異なる位置に設置し、複数視点で同期して撮影を行い、当該撮影により得られた複数視点の画像を用いて仮想視点画像を生成する技術がある。複数のカメラで撮影された各画像は、例えば、サーバなどの画像処理装置に伝送され、画像処理装置において仮想視点画像の生成が行われる。
【０００３】
特許文献１には、同一の範囲を取り囲むように複数の撮像装置を配置して、その同一の範囲を撮影した画像を用いて、任意の指定に対応する仮想視点画像を生成、表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２１５８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、スタジアムに複数のカメラを設置する場合、観客が入場していない状況で観客席の近くに複数のカメラを設置することが考えられる。このような場合、観客が入場し、複数のカメラによる撮影を開始した後に、観客が立ち上がったりタオルなどを振り回したりするなどの行為に起因して観客などがカメラの設定画角の範囲内に入り込む場合がある。観客などが映り込んだ画像を用いて、例えば、上述の仮想視点画像を生成すると、画質が悪くなる恐れがある。
【０００６】
そこで、本発明は、設定画角の範囲内への不要なオブジェクトの映り込みを判定することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係る画像処理装置は、オブジェクトを複数の方向から所定の注視点を撮影する複数のカメラで得られた画像を用いて、任意の仮想視点から見た仮想視点画像を生成する画像処理システムにおける画像処理装置であって、前記カメラに予め設定された設定画角より広角で経時変動の無い経時不変オブジェクトを含む撮影情報を取得する第一の取得手段と、前記撮影情報から前記経時不変オブジェクトを認識する認識手段と、前記経時不変オブジェクトに属し、経時変動のある経時変動オブジェクトが含まれ得る不要画像領域を導出する導出手段と、前記不要画像領域と前記撮影情報とを用いて、該撮影情報における前記設定画角の範囲と該不要画像領域との重なりにより、該設定画角の範囲内への前記経時変動オブジェクトの映り込みがあるかを判定する判定手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、設定画角の範囲内への不要なオブジェクトの映り込みを判定することができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理システムの構成の一例を示す図である。
【図２】カメラアダプタの機能構成を説明するブロック図である。
【図３】画像処理部の機能構成を説明するブロック図である。
【図４】フロントエンドサーバの機能構成を説明するブロック図である。
【図５】フロントエンドサーバのデータ入力制御部の構成を説明するブロック図である。
【図６】データベースの機能構成を説明するブロック図である。
【図７】第１の実施形態における不要画像領域判定処理のフローチャートである。
【図８】設定画角に不要画像が重畳しない場合の、画角と経時不変および経時変動オブジェクトとの関係を説明する図である。
【図９】設定画角に不要画像が重畳する場合の、画角と経時不変および経時変動オブジェクトとの関係を説明する図である。
【図１０】画角と付随オブジェクトとの関係を説明する図である。
【図１１】不要画像領域の認識推定処理の詳細を示すフローチャートである。
【図１２】第２の実施形態における不要画像領域判定処理のフローチャートである。
【図１３】第３の実施形態における画像処理部の機能構成を説明するブロック図である。
【図１４】第４の実施形態における不要画像領域判定処理のフローチャートである。
【図１５】第４の実施形態における画像処理部の機能構成を説明するブロック図である。
【図１６】第５の実施形態における不要画像領域判定処理のフローチャートである。
【図１７】第５の実施形態における画像処理部の機能構成を説明するブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を参照して説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。また、実施形態で説明されている構成要素の組み合わせのすべてが、課題を解決するための手段に必須のものとは限らず、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形及び変更が可能である。
【００１１】
本明細書において符号の末尾のアルファベットは、同種の構成において個々の構成を識別するために用いている。末尾のアルファベットを省略して記載する場合、個々の構成を特に区別せずに記載しているものとする。
【００１２】
［第１の実施形態］
＜システム構成＞
図１は、本実施形態に係る画像処理システムの構成の一例を示す図である。本実施形態の画像処理システム１００は、例えば競技場（スタジアム）やコンサートホールなどの施設に、複数のカメラ及びマイクを設置し、撮影及び集音を行う形態のものである。画像処理システム１００は、センサシステム１１０ａ〜１１０ｚ、画像コンピューティングサーバ２００、コントローラ３００、スイッチングハブ１８０、及びエンドユーザ端末１９０を有する。
【００１３】
コントローラ３００は、制御ステーション３１０と仮想カメラ操作ＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）３３０を有する。制御ステーション３１０は、画像処理システム１００を構成するそれぞれのブロック（サーバまたは装置など）に対してネットワーク３１０ａ，３１０ｂ，３１０ｃ，１８０ａ，１８０ｂ、及びデイジーチェーン１７０ａ〜１７０ｙを通じた制御が可能である。例えば、制御ステーション３１０は、各ブロックの動作状態の管理及びパラメータ設定制御などを行う。上記のネットワークは、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。
【００１４】
センサシステム１１０ａ〜１１０ｚは、２６セットの画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する。本実施形態の画像処理システム１００は、センサシステム１１０ａ〜１１０ｚが、デイジーチェーンにより接続される。このため、各センサシステムで得られた画像及び音声は、チェーン接続されている下流側のセンサシステムに順次伝送される。そして、最下流のセンサシステム１１０ｚから、２６セット分の画像及び音声が、ネットワーク１８０ｂ及びスイッチングハブ１８０を介して画像コンピューティングサーバ２００へ伝送される。デイジーチェーン接続の構成を採用することで、接続ケーブル数の削減や配線作業負担の軽減ができる。なお、各センサシステム１１０がスイッチングハブ１８０に接続されて、スイッチングハブ１８０を経由してセンサシステム１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。図１においては、センサシステムの台数として２６セットを例に挙げて説明しているが、あくまでも一例であり、台数をこれに限定するものではない。
【００１５】
本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１００は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。
【００１６】
センサシステム１１０は、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、及びカメラアダプタ１２０を有する。センサシステム１１０は、それぞれ１台ずつのカメラ１１２を有する。このように画像処理システム１００は、オブジェクトを複数の方向から撮影するための複数のカメラ１１２を有する。なお、カメラ１１２とカメラアダプタ１２０が一体となって構成されていてもよい。さらに、カメラアダプタ１２０の機能の少なくとも一部をフロントエンドサーバ２３０が有していてもよい。
【００１７】
次に、画像コンピューティングサーバ２００の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ２００は、フロントエンドサーバ２３０、データベース２５０（以下、ＤＢと記載することもある。）、バックエンドサーバ２７０、及びタイムサーバ２９０を有する。
【００１８】
タイムサーバ２９０は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介してセンサシステム１１０ａ〜１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ〜１２０ｚは、カメラ１１２ａ〜１１２ｚを、時刻と同期信号をもとにＧｅｎｌｏｃｋさせ、画像（フレーム）の同期を行う。すなわち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。これにより、画像処理システム１００は、同じタイミングで撮影された複数の画像（以下、撮影画像ともいう）に基づいて仮想視点画像を生成できるので、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ２９０が、複数のカメラ１１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１２０が独立して行ってもよい。
【００１９】
フロントエンドサーバ２３０は、センサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換する。そして、カメラの識別子、データ種別、及びフレーム番号に応じてデータベース２５０にデータを書き込む。
【００２０】
データベース２５０は、フロントエンドサーバ２３０から受信したデータへのアクセスが可能になるようにデータベーステーブルを作成する。また、バックエンドサーバ２７０から要求されたデータが、キャッシュ、一次ストレージ、または二次ストレージのいずれかに保存されているか判定し、保存された先からデータを読み出してバックエンドサーバ２７０に送信する。
【００２１】
バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から視点の指定を受け付け、受け付けた視点に基づいて、データベース２５０から対応する画像データ及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。すなわち、バックエンドサーバ２７０は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と視点情報とに基づく仮想視点画像を生成する。そしてバックエンドサーバ２７０は、生成した仮想視点画像をエンドユーザ端末１９０に提供する。本実施形態における仮想視点画像は、仮想的な視点からオブジェクトを撮影した場合に得られる仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（仮想視点画像）が含まれる。
【００２２】
なお、画像コンピューティングサーバ２００の構成はこれに限らない。例えば、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０のうち少なくとも２つが一体となって構成されていてもよい。また、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ２００内の任意の位置に上記の装置以外の装置が含まれていてもよい。さらに、画像コンピューティングサーバ２００の機能の少なくとも一部をエンドユーザ端末１９０や仮想カメラ操作ＵＩ３３０が有していてもよい。
【００２３】
エンドユーザ端末１９０は、ユーザ入力機器１９１、およびディスプレイ１９２を有する。エンドユーザ端末１９０は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）ケーブルや、無線ＬＡＮを介してルータおよびインターネット回線１９０ａを介してバックエンドサーバ２７０と接続されている。エンドユーザ端末１９０として、例えばＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、スマートフォンやタブレット端末、高精細な大型ディスプレイを用いることが可能である。ユーザ入力機器１９１は、マウスやキーボードなどの視聴者による視点変更などの操作を受け付ける機器であり、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブルなどを介してエンドユーザ端末１９０と接続されている。ディスプレイ１９２は、液晶ディスプレイなどの、視聴者がスポーツ放送画像等の仮想視点画像を視聴するための機器であって、Ｄｉｓｐｌａｙ  Ｐｏｒｔケーブルを介してエンドユーザ端末１９０と接続されている。
【００２４】
なお本構成に限らず、例えば、仮想カメラ操作ＵＩ３３０が、直接センサシステム１１０から画像を取得することも可能である。
【００２５】
次に、図１に記載の画像処理システム１００におけるカメラアダプタ１２０、フロントエンドサーバ２３０、データベース２５０、及びバックエンドサーバ２７０の詳細な構成を、図面を参照しながらそれぞれ説明する。
【００２６】
＜カメラアダプタの構成＞
図２は、本実施形態におけるカメラアダプタ１２０の機能ブロックを示す図である。カメラアダプタ１２０は、ネットワークアダプタ１２１０、伝送部１２２０、画像処理部１２３０、及び外部機器制御部１２４０を有する。
【００２７】
ネットワークアダプタ１２１０は、データ送受信部１２１１及び時刻制御部１２１２を有する。データ送受信部１２１１は、デイジーチェーン１７０、ネットワーク１８０、ネットワーク２９１、及びネットワーク３１０ａを介したデータ通信を行う。データ送受信部１２１１は、他のカメラアダプタ１２０、フロントエンドサーバ２３０、タイムサーバ２９０、及び制御ステーション３１０とデータ通信を行う。例えば、データ送受信部１２１１は、カメラ１１２によって撮影された撮影画像が前景背景分離部１２３１によって分離された前景画像と背景画像とを、別のカメラアダプタ１２０に対して出力する。出力先のカメラアダプタ１２０は、画像処理システム１００内のカメラアダプタ１２０のうち、データルーティング処理部１２２２の処理に応じて予め定められた順序において次のカメラアダプタ１２０である。各カメラアダプタ１２０が前景画像と背景画像とを出力することで、複数の視点から撮影された前景画像と背景画像に基づいて仮想視点画像が生成されることになる。なお、撮影画像から分離した前景画像を出力して背景画像は出力しないカメラアダプタ１２０が存在してもよい。
【００２８】
時刻制御部１２１２は、例えばＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ Ｃｌｏｃｋに準拠し、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存する機能と、タイムサーバ２９０と時刻同期を行う機能とを実現する。
【００２９】
伝送部１２２０は、ネットワークアダプタ１２１０を介してスイッチングハブ１８０等に対するデータの伝送を制御する機能を有する。伝送部１２２０は、データ圧縮・伸張部１２２１、データルーティング処理部１２２２、時刻同期制御部１２２３、画像・音声伝送処理部１２２４、及びデータルーティング情報保持部１２２５を有する。
【００３０】
データ圧縮・伸張部１２２１は、データ送受信部１２１１を介して送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行う機能と、圧縮されたデータを伸張する機能とを有する。圧縮処理には、例えば量子化処理及び符号化処理が含まれる。伸張処理には、例えば復号化処理及び逆量子化処理が含まれる。
【００３１】
データルーティング処理部１２２２は、データルーティング情報保持部１２２５が保持するデータを利用し、データ送受信部１２１１が受信したデータ及び画像処理部１２３０で処理されたデータのルーティング先を決定する。さらに、決定したルーティング先にデータを送信する機能を有する。
【００３２】
時刻同期制御部１２２３は、ＩＥＥＥ１５８８規格のＰＴＰ（Ｐｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）に準拠し、タイムサーバ２９０と時刻同期に係わる処理を行う機能を有する。なお、ＰＴＰに限定するのではなく他の同様のプロトコルを利用して時刻同期してもよい。
【００３３】
画像・音声伝送処理部１２２４は、データ圧縮・伸張部１２２１で圧縮された画像データ又は音声データを、他のカメラアダプタ１２０またはフロントエンドサーバ２３０へ転送するためのメッセージを作成する機能を有する。メッセージには画像データ又は音声データ、及び各データのメタ情報が含まる。メタ情報には、画像の撮影または音声のサンプリングをした時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２やマイク１１１の個体を示す識別子などが含まれる。また、画像・音声伝送処理部１２２４は、他のカメラアダプタ１２０からデータ送受信部１２１１を介してメッセージを受取る。そして、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を、画像データまたは音声データに復元する。復元されたデータは、データ圧縮・伸張部１２２１によって伸張処理が行われる。
【００３４】
データルーティング情報保持部１２２５は、データ送受信部１２１１で送受信されるデータの送信先を決定するためのアドレス情報を保持する機能を有する。
【００３５】
画像処理部１２３０は、カメラ制御部１２４１の制御によりカメラ１１２が撮影した画像データ、及び、他のカメラアダプタ１２０から受取った画像データに対して処理を行う機能を有する。画像処理部１２３０は、前景背景分離部１２３１、三次元モデル情報生成部１２３２、キャリブレーション制御部１２３３、及び不要画像領域判定制御部１２３４を有する。
【００３６】
前景背景分離部１２３１は、カメラ１１２が撮影した画像データを、前景画像と背景画像とに分離する機能を有する。すなわち、複数のカメラアダプタ１２０それぞれの前景背景分離部１２３１は、複数のカメラ１１２のうち対応するカメラ１１２による撮影画像から所定領域を抽出する。所定領域は例えば撮影画像に対するオブジェクト検出の結果得られる前景画像であり、この抽出により前景背景分離部１２３１は、撮影画像を前景画像と背景画像とに分離する。なお、オブジェクトとは、例えば人物である。オブジェクトは特定人物（選手、監督、又は審判など）であっても良いし、ボールやゴールなど、画像パターンが予め定められている物体であってもよい。また、オブジェクトとして、動体が検出されるようにしても良い。人物等の重要なオブジェクトを含む前景画像とそのようなオブジェクトを含まない背景画像とを分離して処理することで、画像処理システム１００で生成される仮想視点画像における上記オブジェクトに該当する部分の画像の品質を向上できる。また、前景画像と背景画像との分離を複数のカメラアダプタ１２０それぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。なお、所定領域は前景画像に限らず、例えば背景画像であってもよい。
【００３７】
三次元モデル情報生成部１２３２は、前景背景分離部１２３１で分離された前景画像及び他のカメラアダプタ１２０から受取った前景画像を利用し、例えばステレオカメラの原理を用いて三次元モデルに係わる画像情報を生成する機能を有する。また、三次元モデル情報生成部１２３２は、カメラ固有の内部パラメータ（焦点距離、画像中心、及びレンズ歪みパラメータ等）と、カメラの位置姿勢を表す外部パラメータ（回転行列及び位置ベクトル等）とを取得する。取得したパラメータを用いて三次元モデルに係る画像情報を生成する。
【００３８】
キャリブレーション制御部１２３３は、キャリブレーションに必要な画像データを、カメラ制御部１２４１を介してカメラ１１２から取得し、キャリブレーションに係わる演算処理を行うフロントエンドサーバ２３０に送信する機能を有する。キャリブレーション制御部１２３３は、入力された画像に対して、カメラ毎の色のばらつきを抑えるための色補正処理や、カメラの振動に起因するブレに対して画像の位置を安定させるためのブレ補正処理（電子防振処理）などを行う。
【００３９】
不要画像領域判定制御部１２３４は、撮影画像（撮影情報）にける設定画角の範囲と不要画像領域との重なりにより、該設定画角の範囲内への経時変動オブジェクトの映り込みがあるかを判定する処理を行う。不要画像領域判定制御部１２３４の機能の詳細については後述する。
【００４０】
外部機器制御部１２４０は、カメラアダプタ１２０に接続する機器を制御する機能を有する。外部機器制御部１２４０は、カメラ制御部１２４１、マイク制御部１２４２、雲台制御部１２４３、及びセンサ制御部１２４４を有する。
【００４１】
カメラ制御部１２４１は、カメラ１１２と接続し、カメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定などを行う機能を有する。カメラ１１２の制御には、例えば撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照が含まれる。また、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始及び停止、ならびに、ピント調整などが含まれる。
【００４２】
マイク制御部１２４２は、マイク１１１と接続し、マイク１１１の制御、収音の開始及び停止、ならびに、収音された音声データの取得などを行う機能を有する。雲台制御部１２４３は、雲台１１３と接続し、雲台１１３の制御を行う機能を有する。雲台１１３の制御は例えば、パン・チルト制御や、状態取得などがある。センサ制御部１２４４は、外部センサ１１４と接続し、外部センサ１１４がセンシングしたセンサ情報を取得する機能を有する。例えば、外部センサ１１４としてジャイロセンサが利用される場合は、振動を表す情報を取得することができる。そして、センサ制御部１２４４が取得した振動情報を用いて、画像処理部１２３０は、前景背景分離部１２３１での処理に先立って、振動を抑えた画像を生成することができる。
【００４３】
＜画像処理部の構成＞
図３は、カメラアダプタ１２０内部の画像処理部１２３０の機能ブロックを示した図である。画像処理部１２３０は、前景背景分離部１２３１、三次元モデル情報生成部１２３２、キャリブレーション制御部１２３３、及び不要画像領域判定制御部１２３４を有する。
【００４４】
キャリブレーション制御部１２３３は、入力された画像に対して、カメラ毎の色のばらつきを抑えるための色補正処理や、カメラの振動に起因するブレに対して画像の位置を安定させるためのブレ補正処理（電子防振処理）などを行う。
【００４５】
前景背景分離部１２３１は、前景分離部１２３１１、背景画像記憶部１２３１２、背景更新部１２３１３、及び背景切出部１２３１４を有する。
【００４６】
前景分離部１２３１１は、カメラ１１２の画像に関して位置合わせが行われた画像データに対して、背景画像記憶部１２３１２に記憶された背景画像との比較により、前景画像の分離処理を行う。
【００４７】
背景画像記憶部１２３１２は、背景更新部１２３１３で更新された背景画像を保存する処理を行う。
【００４８】
背景更新部１２３１３は、背景画像記憶部１２３１２に記憶された背景画像と、カメラ１１２の位置合わせが行われた画像とを用いて新しい背景画像を生成し、背景画像記憶部１２３１２に記憶された背景画像を新しい背景画像に更新する。なお、背景画像記憶部１２３１２に背景画像が記憶されてない場合、背景更新部１２３１３は、カメラ１１２の位置合わせが行われた画像を背景画像として背景画像記憶部１２３１２に記憶させる。
【００４９】
背景切出部１２３１４は、背景画像の一部を切り出す制御を行う。
【００５０】
三次元モデル情報生成部１２３２は、三次元モデル処理部１２３２１、他カメラ前景受信部１２３２２、およびカメラパラメータ受信部１２３２３を有する。
【００５１】
他カメラ前景受信部１２３２２は、伝送部１２２０を介して、他のカメラアダプタ１２０で背景画像が分離された前景画像を受信する。
【００５２】
カメラパラメータ受信部１２３２３は、カメラ固有の内部パラメータ（焦点距離、画像中心、及びレンズ歪みパラメータ等）と、カメラの位置姿勢を表す外部パラメータ（回転行列及び位置ベクトル等）を受信する。これらのパラメータは、キャリブレーション処理で得られる情報であり、制御ステーション３１０から対象となるカメラアダプタ１２０に対して送信されて設定される。このキャリブレーション処理は、全てのカメラ１１２の設置が完了した際に、ユーザの指示により実行される。
【００５３】
三次元モデル処理部１２３２１は、例えばステレオカメラの原理等から三次元モデルに関わる画像情報を逐次生成する。この画像情報の生成には、前景分離部１２３１１で分離された前景画像と、他カメラ前景受信部１２３２２で受信した他のカメラ１１２の前景画像と、カメラパラメータ受信部１２３２３で受信したカメラの内部および外部パラメータとが用いられる。
【００５４】
不要画像領域判定制御部１２３４は、画角制御部１２３４１、画角別画像記憶部１２３４２、経時不変オブジェクト抽出部 １２３４３、不要画像領域導出部１２３４４、２画角画像重畳部１２３４５、および映り込み判定部１２３４６を有する。
【００５５】
画角制御部１２３４１は、制御ステーション３１０から受け取った信号をカメラ制御部１２４１へ送信することで、カメラ１１２の画角を制御する。画角制御部１２３４１は、例えば、注視点に対する設定画角となる様に、カメラ制御部１２４１に所定の焦点距離情報を送信したり、前記設定画角より広角の画角となる様に、カメラ制御部１２４１に所定の焦点距離情報を送信したりする。この広角の焦点距離の設定値として、設定画角に対する映り込む可能性のあるオブジェクトを含む周囲の範囲に拡がる画角値が設定される。オブジェクトとしては、スタジアム等の椅子などの、時間が経過しても動かず変動のないオブジェクト（以下、経時不変オブジェクトともいう）が挙げられる。例えば、設定画角の焦点距離が１００ｍｍである場合、広角画角の焦点距離を５０ｍｍに設定する、等である。この倍率は任意に変更できるようにしてもよい。或いは、その撮影現場、そのスタジアムの特徴により、変更できるようにしてもよい。
【００５６】
画角別画像記憶部１２３４２は、カメラ制御部１２４１から送信された画像を保存する。この画像は、画角制御部１２３４１からの焦点距離情報を基に、カメラ制御部１２４１で制御されたカメラ１１２が撮影した画像である。カメラ１１２が設定画角で撮影した場合には、設定画角の画像として保存する。カメラ１１２が広角の画角で撮影した場合には、広角画角の画像（撮影情報）として保存する。設定画角の画像を取得することにより、後述するリアルタイム表示の際の確認で使用することができる。従って、不要画像領域判定機能のみをリアルタイムに表示しない場合、設定画角の画像を取得しない構成とすることも可能である。画角別画像記憶部１２３４２は、保存した広角画角の画像を経時不変オブジェクト抽出部１２３４３に、保存した設定画角の画像および広角画角の画像を２画角画像重畳部１２３４５にそれぞれ送信する。
【００５７】
経時不変オブジェクト抽出部１２３４３は、画角別画像記憶部１２３４２から送信された広角画角の画像から、経時不変オブジェクトを認識し、抽出する。経時不変オブジェクト抽出部１２３４３は、広角画角の画像および経時不変オブジェクトを不要画像領域導出部１２３４４に送信する。経時不変オブジェクト抽出部１２３４３は、画像の特徴点を抽出し、パターンマッチングに適した画像処理を行う機能を有する。また、経時不変オブジェクト抽出部１２３４３は、ユーザにより入力されてデータベース２５０に保存された、スタジアムの椅子等の定型パターンとのマッチングにより椅子等の設備を抽出する機能を有する。さらに、経時不変オブジェクト抽出部１２３４３は、椅子等の位置、寸法、向き、複数の椅子の３次元軸上での位置関係を認識する機能、すなわち、設備の形状に関する情報を認識する機能も有する。
【００５８】
不要画像領域導出部１２３４４は、広角画角の画像および経時不変オブジェクトを基に、椅子に属する観客が手を上げたり、タオルを回したり、旗を振った場合に生じる近傍の経時変動オブジェクト映り込み空間情報に基づく不要画像領域を導出する。すなわち、不要画像領域導出部１２３４４は、経時不変オブジェクトに属する経時変動のある経時変動オブジェクトと、経時変動オブジェクトに付随する付随オブジェクトとを含む経時変動空間情報に基づく不要画像領域を導出する。経時変動オブジェクトは、経時不変オブジェクトと関連し、かつ、撮影中に動く可能性のあるオブジェクトが挙げられる。不要画像領域導出部１２３４４は、導出した不要画像領域を２画角画像重畳部１２３４５に送信する。
【００５９】
２画角画像重畳部１２３４５は、前記保存した広角画角の画像に前記不要画像領域の画像情報を重畳する。２画角画像重畳部１２３４５は、重畳したデータ（画像情報）を映り込み判定部１２３４６に送信する。
【００６０】
映り込み判定部１２３４６は、前記不要画像領域が、設定画角の領域に含まれるか、すなわち映り込むかを判定する。言い換えると、映り込み判定部１２３４６は、前記不要画像領域と前記撮影情報とを用いて、該撮影情報における前記設定画角の範囲と該不要画像領域との重なりにより、該設定画角の範囲内への経時変動オブジェクトの映り込みがあるかを判定する。映り込みありと判定した場合には、その情報を伝送部１２２０に伝送する。
【００６１】
＜フロントエンドサーバの構成＞
図４は、フロントエンドサーバ２３０の機能ブロックを示した図である。フロントエンドサーバ２３０は、制御部２３１０、データ入力制御部２３２０、データ同期部２３３０、ＣＡＤデータ記憶部２３３５、キャリブレーション部２３４０、画像処理部２３５０、および三次元モデル結合部２３６０を有する。また、画像結合部２３７０、撮影データファイル生成部２３８０、非撮影データファイル生成部２３８５、及びＤＢアクセス制御部２３９０を有する。
【００６２】
制御部２３１０は、ＣＰＵ、ＤＲＡＭ、プログラムデータや各種データを保存したＨＤＤやＮＡＮＤメモリなどの記憶媒体、およびＥｔｈｅｒｎｅｔ（登録商標）等のハードウェアで構成される。制御部２３１０は、フロントエンドサーバ２３０の各機能ブロックおよびフロントエンドサーバ２３０のシステム全体の制御を行う。また、キャリブレーション動作、撮影前の準備動作、および撮影中動作などの動作モードを切り替える。また、Ｅｔｈｅｒｎｅｔ（登録商標）を通じて制御ステーション３１０からの制御指示を受信し、各モードの切り替えやデータの入出力などを行う。また、ネットワークを通じて制御ステーション３１０からスタジアムＣＡＤデータ（スタジアム形状データ）を取得し、スタジアムＣＡＤデータをＣＡＤデータ記憶部２３３５と非撮影データファイル生成部２３８５に送信する。なお、本実施形態におけるスタジアムＣＡＤデータ（スタジアム形状データ）はスタジアムの形状を示す三次元データであり、メッシュモデルやその他の三次元形状を表すデータであればよく、ＣＡＤ形式に限定されない。
【００６３】
データ入力制御部２３２０は、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信路およびスイッチングハブ１８０を介して、カメラアダプタ１２０とネットワーク接続されている。データ入力制御部２３２０は、ネットワークを通してカメラアダプタ１２０から前景画像、背景画像、オブジェクトの三次元モデル、音声データ、およびカメラキャリブレーション撮影画像データを取得する。データ入力制御部２３２０は、取得した前景画像および背景画像をデータ同期部２３３０に送信し、カメラキャリブレーション撮影画像データをキャリブレーション部２３４０に送信する。また、データ入力制御部２３２０は受信したデータの圧縮伸張やデータルーティング処理等を行う機能を有する。
【００６４】
データ同期部２３３０は、カメラアダプタ１２０から取得したデータをＤＲＡＭ上に一次的に保存し、前景画像、背景画像、音声データおよび三次元モデルデータが揃うまでバッファする。データが揃ったら、データ同期部２３３０は、前景画像および背景画像を画像処理部２３５０に、三次元モデルデータを三次元モデル結合部２３６０に、音声データを撮影データファイル生成部２３８０に、それぞれ送信する。
【００６５】
ＣＡＤデータ記憶部２３３５は、制御部２３１０から受け取ったスタジアム形状を示す三次元データをＤＲＡＭまたはＨＤＤやＮＡＮＤメモリ等の記憶媒体に保存する。そして、画像結合部２３７０に対して、スタジアム形状データの要求を受け取った際に保存されたスタジアム形状データを送信する。
【００６６】
キャリブレーション部２３４０は、カメラのキャリブレーション動作を行い、キャリブレーションによって得られたカメラパラメータを非撮影データファイル生成部２３８５に送る。また、自身の記憶領域にもカメラパラメータを保持し、後述する三次元モデル結合部２３６０にカメラパラメータ情報を提供する。
【００６７】
画像処理部２３５０は、前景画像や背景画像に対して、カメラ間の色や輝度値の合わせこみ、ＲＡＷ画像データが入力される場合には現像処理を行う。また、カメラのレンズ歪みの補正等の処理を行う。そして、画像処理を行った前景画像を撮影データファイル生成部２３８０に、背景画像を画像結合部２３７０に、それぞれ送信する。
【００６８】
三次元モデル結合部２３６０は、カメラアダプタ１２０から取得した同一時刻の三次元モデルデータを、キャリブレーション部２３４０によって生成されたカメラパラメータを用いて結合する。そして、ＶｉｓｕａｌＨｕｌｌと呼ばれる方法を用いて、スタジアム全体における前景画像の三次元モデルデータを生成する。生成した三次元モデルは撮影データファイル生成部２３８０に送信される。
【００６９】
画像結合部２３７０は、画像処理部２３５０から背景画像を取得し、ＣＡＤデータ記憶部２３３５からスタジアムの三次元形状データ（スタジアム形状データ）を取得し、取得したスタジアムの三次元形状データの座標に対する背景画像の位置を特定する。背景画像の各々についてスタジアムの三次元形状データの座標に対する位置が特定できると、背景画像を結合して１つの背景画像とする。なお、本背景画像の三次元形状データの作成については、バックエンドサーバ２７０が実施してもよい。
【００７０】
撮影データファイル生成部２３８０は、データ同期部２３３０から音声データを、画像処理部２３５０から前景画像を、三次元モデル結合部２３６０から三次元モデルデータを、画像結合部２３７０から三次元形状に結合された背景画像を取得する。そして、取得したこれらのデータをＤＢアクセス制御部２３９０に対して出力する。なお、撮影データファイル生成部２３８０は、対応付けられたデータをデータの種類別にファイル化して出力してもよいし、複数種類のデータを時間情報が示す時刻ごとにまとめてファイル化して出力してもよい。このように対応付けられた撮影データがＤＢアクセス制御部２３９０によってデータベース２５０に出力されることで、バックエンドサーバ２７０は、時間情報が対応している前景画像と背景画像とから仮想視点画像を生成できる。
【００７１】
非撮影データファイル生成部２３８５は、キャリブレーション部２３４０からカメラパラメータを、制御部２３１０からスタジアムの三次元形状データを取得し、ファイル形式に応じて成形した後にＤＢアクセス制御部２３９０に送信する。
【００７２】
ＤＢアクセス制御部２３９０は、ＩｎｆｉｎｉＢａｎｄなどにより高速な通信が可能となるようにデータベース２５０と接続される。そして、撮影データファイル生成部２３８０および非撮影データファイル生成部２３８５から受信したファイルをデータベース２５０に対して送信する。
【００７３】
なお、本実施形態ではフロントエンドサーバ２３０が前景画像と背景画像の対応付けを行うものとするが、これに限らず、データベース２５０が対応付けを行ってもよい。例えば、データベース２５０は、フロントエンドサーバ２３０から時間情報を有する前景画像および背景画像を取得する。そしてデータベース２５０は、前景画像と背景画像とを前景画像の時間情報および背景画像の時間情報に基づいて対応付けて、データベース２５０が備える記憶部に出力してもよい。
【００７４】
＜フロントエンドサーバのデータ入力制御部の構成＞
図５は、フロントエンドサーバ２３０のデータ入力制御部２３２０の機能ブロックを示す図である。データ入力制御部２３２０は、サーバネットワークアダプタ２３２１、サーバ伝送部２３２２、およびサーバ画像処理部２３２３を有する。サーバネットワークアダプタ２３２１は、サーバデータ受信部２３２４を有する。サーバ伝送部２３２２は、サーバデータ伸張部２３２５、サーバデータルーティング処理部２３２６、サーバ画像・音声伝送処理部２３２７、およびサーバデータルーティング情報保持部２３２８を有する。
【００７５】
サーバネットワークアダプタ２３２１は、サーバデータ受信部２３２４を介してカメラアダプタ１２０から送信されるデータを受信する。
【００７６】
サーバ伝送部２３２２は、サーバデータ受信部２３２４から受取ったデータに対する処理を行う機能を有する。サーバデータ伸張部２３２５は、圧縮されたデータを伸張する機能を有する。サーバデータルーティング処理部２３２６は、サーバデータルーティング情報保持部２３２８が保持するアドレス等のルーティング情報に基づきデータの転送先を決定し、サーバデータ受信部２３２４から受取ったデータを転送する。サーバ画像・音声伝送処理部２３２７は、カメラアダプタ１２０からサーバデータ受信部２３２４を介してメッセージを受取り、メッセージに含まれるデータ種別に応じて、フラグメント化されたデータを画像データまたは音声データに復元する。なお、復元後のデータは、サーバデータ伸張部２３２５において伸張される。サーバデータルーティング情報保持部２３２８は、サーバデータ受信部２３２４が受信したデータの送信先を決定するためのアドレス情報を保持する機能を有する。
【００７７】
サーバ画像処理部２３２３は、カメラアダプタ１２０から受信した画像データまたは音声データに係わる処理を行う機能を有する。例えば、画像データのデータ実体（前景画像、背景画像、および三次元モデル情報）に応じた、カメラ番号や画像フレームの撮影時刻、画像サイズ、画像フォーマット、および画像の座標の属性情報などが付与されたフォーマットへの整形処理などである。
【００７８】
＜データベースの構成＞
図６は、データベースの機能構成を説明するブロック図である。データベース２５０は、制御部２５１０、データ入力部２５２０、データ出力部２５３０、キャッシュ（ＲＡＭ）２５４０、一次ストレージ（高速）２５５０、二次ストレージ（大容量）２５６０を有する。
【００７９】
制御部２５１０は、ＣＰＵやＤＲＡＭ、プログラムデータや各種データを保存したＨＤＤやＮＡＮＤメモリなどの記憶媒体、およびＥｔｈｅｒｎｅｔ（登録商標）等のハードウェアで構成される。制御部２５１０は、データベース２５０の各機能ブロックおよびデータベース２５０のシステム全体の制御を行う。
【００８０】
データ入力部２５２０は、ＩｎｆｉｎｉＢａｎｄ等の高速な通信によって、フロントエンドサーバ２３０から取得した撮影データや非撮影データのファイルを受信する。受信したファイルはキャッシュ２５４０に対して送られる。また、この時、受信した撮影データのメタ情報を読み出し、メタ情報に記録されたタイムコード情報やルーティング情報、カメラ識別子等の情報を基に、取得したデータへのアクセスが可能になるようにデータベーステーブルを作成する。
【００８１】
データ出力部２５３０は、ＩｎｆｉｎｉＢａｎｄ等の高速な通信によって、バックエンドサーバ２７０から要求されたデータがキャッシュ２５４０、一次ストレージ２５５０、二次ストレージ２５６０のいずれに保存されているかを判断する。そして、ＩｎｆｉｎｉＢａｎｄ等の高速な通信によって、保存された先からデータを読み出してバックエンドサーバ２７０に送信する。
【００８２】
キャッシュ２５４０は、高速な入出力スループットを達成実現可能なＤＲＡＭ等の記憶装置を有しており、データ入力部２５２０から取得した撮影データや非撮影データを記憶装置に保存する。保存されたデータは一定量保持され、それを超えるデータが入力される場合に、古いデータから随時一次ストレージ２５５０へと書き出され、書き出されたデータは新たなデータによって上書きされる。キャッシュされたデータはデータ出力部２５３０によって読み出される。
【００８３】
一次ストレージ２５５０は、ＳＳＤ等のストレージメディアを並列につなぐなどして構成され高速化し、データ入力部２５２０からの大量のデータの書き込み及びデータ出力部２５３０からのデータ読み出しが同時に実現できるようになど高速化構成される。そして、一次ストレージ２５５０には、キャッシュ２５４０上に保存されたデータの古いものから順に書き出される。
【００８４】
二次ストレージ２５６０は、ＨＤＤやテープメディア等で構成され、高速性よりも大容量が重視され、一次ストレージと比較して安価で長期間の保存に適するメディアであることが求められる。二次ストレージ２５６０には、撮影が完了した後、データのバックアップ先として一次ストレージ２５５０に保存されたデータが書き出される。
【００８５】
＜バックエンドサーバの説明＞
次に、バックエンドサーバ２７０の処理について説明する。バックエンドサーバ２７０は、データベース２５０およびコントローラ３００から送信されるデータを受信する。データベース２５０からは、スタジアムの形状を示す三次元データ（スタジアム形状データ）、前景画像、背景画像、前景画像の三次元モデル（以降、前景三次元モデルと称する）、および音声を受信する。また、仮想視点画像の生成に係る視点を指定するコントローラ３００から出力される仮想カメラパラメータを受信する。仮想カメラパラメータとは、仮想視点の位置や姿勢などを表すデータであり、例えば、外部パラメータの行列と内部パラメータの行列とが用いられる。
【００８６】
バックエンドサーバ２７０は、背景メッシュモデル（スタジアム形状データ）で示される三次元空間形状に対して背景画像をテクスチャとして貼り付けることでテクスチャ付き背景メッシュモデルを生成する。メッシュモデルとは、例えばＣＡＤデータなど三次元の空間形状を面の集合で表現したデータのことである。テクスチャとは、物体の表面の質感を表現するために貼り付ける画像のことである。また、バックエンドサーバ２７０は、前景画像および前景画像の三次元モデル群より前景三次元モデルのテクスチャ情報を決定し、前景三次元モデル群を生成する。
【００８７】
バックエンドサーバ２７０は、仮想カメラパラメータに基づいて、前景画像群を仮想視点からの見た目となるように透視変換する。そして、背景画像と前景画像をレンダリング処理して全景の仮想視点画像を生成する。
【００８８】
本実施形態では仮想視点画像の生成方式として、モデルベースレンダリング（Ｍｏｄｅｌ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）とイメージベース（Ｉｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ：ＩＢＲ）の２つのレンダリングモードが用いられる。
【００８９】
ＭＢＲとは、オブジェクトを複数の方向から撮影した複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ−Ｖｉｅｗ−Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。ＩＢＲとは、対象のシーンを複数視点から撮影した入力画像群を変形、合成することによって仮想視点からの見えを再現した仮想視点画像を生成する技術である。本実施形態では、ＩＢＲを用いる場合、ＭＢＲを用いて三次元モデルを生成するための複数の撮影画像より少ない１又は複数の撮影画像に基づいて仮想視点画像が生成される。レンダリングモードがＭＢＲの場合、背景メッシュモデルと前景三次元モデル群とを合成することで全景モデルが生成され、その全景モデルから仮想視点画像が生成される。レンダリングモードがＩＢＲの場合、背景テクスチャモデルに基づいて仮想視点から見た背景画像が生成され、その背景画像に、前景画像を合成することで仮想視点画像が生成される。なお、バックエンドサーバ２７０は、ＭＢＲとＩＢＲ以外のレンダリング手法を用いてもよい。
【００９０】
バックエンドサーバ２７０はまた、仮想視点において聞こえる音声（音声群）を生成する。そして、生成した音声と仮想視点画像とを合成して仮想視点コンテンツを生成し、コントローラ３００とエンドユーザ端末１９０へ例えばＥｔｈｅｒｎｅｔ（登録商標）を用いて仮想視点コンテンツを出力する。なお、バックエンドサーバ２７０は、レンダリング処理で生成された、音声を含まない仮想視点画像を出力してもよい。
【００９１】
＜ワークフローの概略の説明＞
次に、画像処理システムのワークフローの概略について説明する。
【００９２】
設置前処理、設置時処理、撮影前処理、撮影時処理が順番に行われる。そして、設定変更判定処理が行われ、設定変更があると判定されると、設定変更が行われ、撮影時処理と、設定変更判定処理とが再び行われる。設定変更がないと判定されると、編集時処理が行われ、本フローが終了することになる。
【００９３】
設置前処理において、制御ステーション３１０は、撮影対象となる施設情報（スタジアム情報）、機器情報、機器の配置情報、および運用情報についてユーザからの入力を受け付ける。スタジアム情報には、スタジアムの形状、音響、照明、電源、伝送環境、およびスタジアムの三次元モデルデータなどが含まれる。撮影対象となる施設には、スタジアムに限定されるものではなく、コンサートホールなどが含まれる。機器情報には、カメラ、雲台、レンズ、およびマイク等の撮影機材、ＬＡＮ、ＰＣ、サーバ、およびケーブル等の情報機器、および中継車などに関する情報が含まれる。機器配置情報には、カメラ、雲台、およびマイクの配置情報が含まれる。運用情報には、撮影対象、撮影時間、カメラワーク、および注視点などが含まれる。例えば、撮影対象が、撮影画像において選手等の前景画像が試合と比較して圧倒的に多い開会式などである場合には、画像生成の手法をその状況に適した手法に変更しうる。また、陸上競技であるかフィールドを使うサッカー競技等であるかなどの競技種別に応じて、注視点の変更と、カメラワークの制約条件変更が行われうる。これらの運用情報の組み合わせで構成される設定情報のテーブルが制御ステーション３１０で管理、変更、および指示される。
【００９４】
設置時処理において、画像処理システムが仮想視点コンテンツを生成できるように、各種機器の動作などが調整される。例えば、設置されたカメラ全てについて、画角合わせ、色合わせ、同期、およびキャリブレーションが行われる。設置されたマイク全てについて、ゲイン調整、同期、およびキャリブレーションが行われる。それらの調整結果が制御ステーション３１０に保存される。
【００９５】
撮影前処理において、仮想カメラ操作ＵＩ部による操作の動作が確認される。
【００９６】
撮影時処理において、画像処理システムの動作と、仮想視点コンテンツの生成とが適切に行われているかが確認される。
【００９７】
設定変更判定処理において、設置時処理で行われた設定の有無が判定される。設定変更判定は、例えば、ユーザからコントローラ３００への入力に基づいて行われる。
【００９８】
設定変更処理において、コントローラ３００は、ユーザからの入力に基づいて、設置時処理で行われた設定を変更する。なお、設定変更処理において撮影を停止する必要がある場合は、一度撮影が停止され、設定が変更された後に撮影が再開される。また、撮影を停止する必要がない場合は、撮影と並行して設定の変更が実施される。
【００９９】
編集時処理において、コントローラ３００は、複数のカメラ１１２により撮影された画像および複数のマイク１１１により集音された音声の編集を実施する。当該編集は、典型的には、仮想カメラ操作ＵＩ３３０を介して入力されたユーザ操作に基づいて行われる。
【０１００】
以上述べたようなシステム構成とすることにより、複数のカメラで取得された撮影画像から所望の仮想視点画像の生成が可能となる。
【０１０１】
なお本実施形態では、以上に説明した各処理はカメラアダプタ１２０に実装されたＦＰＧＡまたはＡＳＩＣなどのハードウェアによって実行されるが、例えばＣＰＵ、ＧＰＵ、ＤＳＰなどを用いてソフトウェア処理によって実行してもよい。また本実施形態ではカメラアダプタ１２０内で三次元モデル情報生成を実行したが、各カメラ１１２からの全ての前景画像が集められる画像コンピューティングサーバ２００が三次元モデル情報の生成を行ってもよい。
【０１０２】
＜不要画像領域判定処理のフロー＞
不要画像領域判定処理の動作は、設置時処理や撮影時処理などのタイミングで実行することが可能である。また、システム全体の作動とは独立に個々のカメラ毎に独立に作動する構成とすることも可能である。
【０１０３】
図７は、不要画像領域判定処理のフローチャートである。図８は、設定画角に不要画像が重畳しない場合の、画角と経時不変および経時変動オブジェクトとの関係を説明する図である。図９は、設定画角に不要画像が重畳する場合の、画角と経時不変および経時変動オブジェクトとの関係を説明する図である。図８（Ａ），（Ｂ）および図９（Ａ），（Ｂ）は、カメラの撮影方向を側方から見た状態を示している。図８（Ａ），（Ｃ）および図９（Ａ），（Ｃ）は観客がいない状態を、図８（Ｂ），（Ｄ）および図９（Ｂ），（Ｄ）は観客がいる状態を、それぞれ示している。図１０は、画角と付随オブジェクトとの関係を説明する図である。以下、図７〜図１０の説明図を用いて説明する。
【０１０４】
先ず、画角制御部１２３４１は、注視点に対し設定画角となる所定の焦点距離情報（焦点距離ａ）をカメラ制御部１２４１に送信し、カメラ制御部１２４１がカメラ１１２を制御してカメラ１１２の画角を設定画角Ａに設定する（ステップＳ７１０）。このカメラ１１２の設定画角Ａは、例えば、ユーザの操作により、制御ステーション３１０などに保存されている。設定画角Ａに設定されたカメラ１１２で撮影が行われると、カメラ制御部１２４１は、該カメラ１１２で撮影された画像を画角別画像記憶部１２３４２に送信する。そして、画角別画像記憶部１２３４２は、この画像を設定画角Ａの画像として保存する。設定画角Ａは、経時不変オブジェクトを含まない範囲である。例えば、図８（Ａ），（Ｃ）にて、設定画角Ａは、設定画角Ａ内に椅子８０１が入り込まない範囲に設定される。
【０１０５】
次に、画角制御部１２３４１は前記設定画角Ａより広角の画角（以下、広角画角ともいう）となる所定の焦点距離情報（焦点距離ａよりも短い焦点距離ｂ）をカメラ制御部１２４１に送信する。そして、カメラ制御部１２４１がカメラ１１２を制御してカメラ１１２の画角を広角画角Ｂに設定する（ステップＳ７２０）。このカメラ１１２の広角画角Ｂは、例えば、ユーザの操作により、制御ステーション３１０などに保存されている。広角画角Ｂは、設定画角に対し映り込む要因となる経時不変オブジェクトを含む、設定画角Ａの周囲に拡がる範囲である。例えば、図８（Ａ），（Ｃ）にて、広角画角Ｂは、広角画角Ｂ内に椅子８０１が入り込む範囲に設定される。これらステップＳ７１０，Ｓ７２０の処理を実行することにより、同一のカメラ１１２に対して、設定画角Ａと広角画角Ｂの２つの画角が設定されることになる。
【０１０６】
次に、広角画角Ｂに設定されたカメラ１１２で撮影する（ステップＳ７３０）。例えば、図８（Ａ），（Ｃ）にて、椅子８０１が映り込んだ広角画角Ｂに設定されたカメラ１１２で撮影する。広角画角Ｂに設定されたカメラ１１２で撮影した画像が画角別画像記憶部１２３４２に送信される。そして、画角別画像記憶部１２３４２は、この画像を広角画角Ｂの画像として保存する。広角画角Ｂの画像は、詳細につき後述する、広角画角Ｂと同一注視点である設定画角Ａへの不要画像の映り込みを判定する画像（同一注視点判断用画角Ｂ画像）として利用される。なお、広角画角Ｂの画像は、設定画角Ａの範囲を認識可能な情報を含んでいる。
【０１０７】
次に、経時不変オブジェクト抽出部１２３４３は、画角別画像記憶部１２３４２に保存された広角画角Ｂの画像から椅子８０１などのオブジェクトを経時不変オブジェクトとして認識し、抽出する（ステップＳ７４０）。
【０１０８】
次に、不要画像領域導出部１２３４４は、認識した経時不変オブジェクトから、椅子に属する観客近傍の経時変動オブジェクト映り込み空間情報を取得する（ステップＳ７５０）。すなわち、不要画像領域導出部１２３４４は、保存された広角画角Ｂの画像と、抽出された経時不変オブジェクトとを用いて、経時不変オブジェクトに属する経時変動オブジェクトの映り込み空間情報に基づく不要画像領域を導出して取得する。例えば、図８，９の（Ｂ），（Ｄ）では、椅子８０１に属する観客８０２、及び、その観客８０２が手を上げた場合に生じる前記椅子８０１近傍の経時変動オブジェクト映り込み空間情報に基づく不要画像領域を導出する。図８，９の（Ｃ）と（Ｄ）は、上記で認識される、経時不変オブジェクトである椅子８０１、及び、経時変動オブジェクト映り込み空間情報である観客８０２及び、それに付随するオブジェクトを示している。なお、経時不変オブジェクトの例として、椅子である場合について説明したが、経時的に変動せず広角画角に映り込みを生じる得るオブジェクトであればこれに限定されるものではない。
【０１０９】
次に、２画角画像重畳部１２３４５は、画角別画像記憶部１２３４２に保存された広角画角Ｂの画像と、不要画像領域導出部１２３４４で導出された不要画像領域とを用いて、該広角画角Ｂの画像に該不要画像領域を重畳する（ステップＳ７６０）。広角画角Ｂの画像に前記不要画像領域を重畳した画像は、例えば、図８（Ｃ），（Ｄ）および図９（Ｃ），（Ｄ）に示される画像である。これらの図で示した不要画像領域は、手を上に挙げた状態の観客８０２の画像情報である。
【０１１０】
次に、映り込み判定部１２３４６は、２画角画像重畳部１２３４５により広角画角Ｂの画像と前記不要画像領域とを重畳した画像（画像情報）を用いて、前記不要画像領域が設定画角Ａの領域に含まれるか、つまり映り込むかを判定する（ステップＳ７７０）。すなわち、映り込み判定部１２３４６は、画像情報を用いて、該撮影情報における設定画角Ａの範囲と該不要画像領域との重なりにより、該設定画角Ａの範囲内への経時変動オブジェクトの映り込みがあるかを判定する。設定画角Ａの範囲内への経時変動オブジェクトの映り込みがあると判定した場合（ステップＳ７７０のＹＥＳ）、その情報が伝送部１２２０に伝送され（ステップＳ７８０）、不要画像領域の判定処理が終わる。設定画角Ａの範囲内への経時変動オブジェクトの映り込みがないと判定した場合（ステップＳ７７０のＮＯ）、不要画像領域の判定処理が終わる。
【０１１１】
図８は映り込みがないと判定する場合を示し、図１０は映り込みがあると判定する場合を示している。図８（Ｄ）では、観客の挙げた手の先から、設定画角の範囲までの距離が離れているため、映り込みがないと判定される。一方、図９（Ｄ）では、観客の挙げた手の先が、設定画角の範囲内に含まれているため、映り込みがあると判定される。
【０１１２】
設定画角Ａの範囲内への映り込みの判定対象であるオブジェクト（経時変動オブジェクト）は、観客８０２の手ばかりではなく、観客８０２が立った場合の頭も含まれる。設定画角Ａの範囲内への映り込み判定対象であるオブジェクトは、図１０（Ａ）に示す、観客８０２が振る旗８０５、及び、図１０（Ｂ）に示す、観客８０２が振るタオル８０６などの経時変動オブジェクトに付随する付随オブジェクトである場合も想定される。経時変動オブジェクトが設定画角の下方から映り込むばかりでなく、図１０（Ｂ）に示す様に、観客８０２が振ったタオル８０６が横方向から映り込む場合も想定される。これらの場合であっても、設定画角Ａの範囲内への経時変動オブジェクトの映り込みの判定を正確に行われるためには、経時変動オブジェクト映り込み空間情報を正確に認識する必要がある。そのためのより詳細なプロセスについて、前記ステップＳ７４０及びステップＳ７５０の認識推定フローを更に詳細にした、図１１のフローチャートを用いて説明する。
【０１１３】
ステップＳ７３０の処理を行った後の経時不変オブジェクトを抽出するステップＳ７４０では、次の処理が行われる。経時不変オブジェクト抽出部１２３４３は、ステップＳ７３０の処理で得られた広角画角Ｂの画像に対して、画像の特徴点を抽出する処理を実施し、更にパターンマッチングに適した画像処理を実施する（ステップＳ７４１）。
【０１１４】
次に、経時不変オブジェクト抽出部１２３４３は、ステップＳ７４１の処理が実施された広角画角Ｂの画像に対して、スタジアムの椅子等の定型パターンとのマッチングにより椅子等の設備オブジェクトを抽出する（ステップＳ７４２）。
【０１１５】
そして、経時不変オブジェクト抽出部１２３４３は、ステップＳ７４２で抽出された設備オブジェクトに対して、設備オブジェクトである椅子等の位置、寸法、向き、複数の椅子の３次元軸上での位置関係を認識する（ステップＳ７４３）。すなわち、経時不変オブジェクト抽出部１２３４３は、設備オブジェクト（経時不変オブジェクト）の形状に関する情報を認識する。
【０１１６】
次に、経時変動オブジェクト映り込み空間情報に基づく不要画像領域を導出するステップＳ７５０では、不要画像領域導出部１２３４４は、撮影エリアが、応援旗が振られるなどの付随オブジェクトの使用が想定されるエリアかを判定する（ステップＳ７５１）。不要画像領域導出部１２３４４は、撮影エリアの領域毎の付随情報を判定する。例えば、応援旗が振られることが想定される応援自由席エリアか、応援が比較的おとなしい指定席エリアか、等である。応援席エリアであり、応援旗が振られる可能性があるエリアと判定された場合（ステップＳ７５１のＹＥＳ）、次の処理が行われる。不要画像領域導出部１２３４４は、近傍の経時変動映り込みオブジェクトに、旗相当サイズのオブジェクト（付随オブジェクト）を追加する（ステップＳ７５２）。
【０１１７】
次に、不要画像領域導出部１２３４４は、椅子等の経時不変オブジェクトに応じて、観客等の身体の動作範囲、及び、観客等が保持するオブジェクトの動作範囲の３次元空間領域の位置、寸法、向き、相互の位置関係等を調整し推定する（ステップＳ７５３）。ここでいう観客等の身体とは、具体的には、頭、手、足、指先、等であり、観客等が保持するオブジェクトとは、具体的に、観客等が保持し振る可能性のあるタオル、帽子、応援旗等である。席のサイズ、向き等に応じて、的確なサイズ、向きの観客、及び、観客等が保持するオブジェクトの動作範囲のサイズ、向きが調整され推定される。複数の椅子の相互の位置関係により、隣り合う観客の操作動線範囲の重複領域を調整し推定する。すなわち、不要画像領域導出部１２３４４は、上記経時不変オブジェクトに応じて、３次元空間領域内での３次元空間情報である経時変動および付随オブジェクトの変動範囲を推定する（ステップＳ７５３）。
【０１１８】
次に、不要画像領域導出部１２３４４は、現広画角範囲の２Ｄ画像に上記観客の身体及び旗の動作範囲を射影変換する（ステップＳ７５４）。すなわち、不要画像領域導出部１２３４４は、３次元空間領域内での経時変動および付随オブジェクトの変動範囲を現在の広角画角Ｂの画像に射影変換する。
【０１１９】
次に、前記の通り、ステップＳ７５４の処理を行った後にステップＳ７６０〜Ｓ７８０の処理が行われる。上述の認識推定処理に関しては、これに限定されるものではなく、同様の他の汎用技術を用いてもよい。
【０１２０】
上述した実施形態によれば、カメラ１１２の台数などのシステムを構成する装置の規模、及び撮影画像の出力解像度や出力フレームレートなどに依らず、仮想視点画像を簡便に生成することができる。
【０１２１】
また、広角画角Ｂの画像に含まれる経時不変オブジェクトに属する経時変動および付随オブジェクトのみが、設定画角Ａの範囲内への映り込みの判定対象となる。これにより、経時不変オブジェクトに属しないオブジェクトは、設定画角Ａの範囲内への映り込みの判定対象外となる。そのため、設定画角の範囲内への不要なオブジェクトの映り込みをより正確に判定することができる。
【０１２２】
［第２の実施形態］
第１の実施形態では、広角画角の画像を実際の撮影を前提に説明を行ったが、その広角画角の画像に関する情報は、予め取得していたシミュレーション画像情報でもよい。
【０１２３】
図１２は、本実施形態に係る画像処理システムにおける画像処理部のフローチャートである。
【０１２４】
先ず、不要画像領域判定制御部１２３４は、注視点に対し設定画角となる所定の焦点距離情報（焦点距離ａ）をカメラ制御部１２４１に送信し、カメラ制御部１２４１がカメラ１１２を制御してカメラ１１２の画角を設定画角Ａに設定する（ステップＳ７１０）。設定画角Ａに設定されたカメラ１１２で撮影が行われると、カメラ制御部１２４１がカメラ１１２で撮影された画像を画角別画像記憶部１２３４２に送信し、画角別画像記憶部１２３４２がこの画像を設定画角Ａの画像として保存する。但し、これは、通常使用時であり、カメラ設営時の場合には、設定画角を画角制御部１２３４１にインプットするのみで特にカメラからの画像を取得し保存する必要はない。
【０１２５】
次に、画角制御部１２３４１は広角画角Ｂとなる所定の焦点距離情報（焦点距離ａよりも短い焦点距離ｂ）をカメラ制御部１２４１に送信し、カメラ制御部１２４１がカメラ１１２を制御してカメラ１１２の画角を広角画角Ｂに設定する（ステップＳ７２０）。カメラ設置時には、ステップＳ７２０ で、画角制御部１２３４１から、前記インプットした設定画角より広角の画角となる様にカメラ制御部に所定の焦点距離情報を送信する。すなわち、ステップＳ７１０の処理対象と同一のカメラ１１２に対して広角画角Ｂが設定される。
【０１２６】
次に、予め取得した、そのスタジアムに関するシミュレーションに基づく広角画角のシミュレーション画像が不要画像領域判定制御部１２３４の画角別画像記憶部１２３４２に送信される。そして、画角別画像記憶部１２３４２は、広角画角Ｂのシミュレーション画像を保存する。（ステップＳ７３１）。すなわち、広角画角Ｂのシミュレーション画像を取得する。広角画角Ｂのシミュレーション画像は、詳細につき後述する、広角画角Ｂと同一注視点である設定画角Ａへの不要画像の映り込みを判定するシミュレーション画像（同一注視点判断用画角Ｂシミュレーション画像）として利用される。シミュレーションに基づく広角画角Ｂのシミュレーション画像は、公知の技術を利用して得られる情報である。例えば、広角画角Ｂのシミュレーション画像は、事前にスタジアムの設計図、測量図、３Ｄ測定結果による３Ｄ図面等から、ステップＳ７１０の処理対象のカメラ１１２の注視点、設定画角、設置位置をインプットすることにより得られる情報である。これらの情報は、工事等による変更が生じた場合、常に最新の情報に更新されていることが望ましい。
【０１２７】
次に、経時不変オブジェクト抽出部１２３４３は、画角別画像記憶部１２３４２に保存された広角画角Ｂのシミュレーション画像から椅子８０１等の時間が経過しても動かないオブジェクトを経時不変オブジェクトとして認識し、抽出する（ステップＳ７４０）。
【０１２８】
次に、不要画像領域導出部 １２３４４は、認識したオブジェクトから、椅子に属する観客、及び、その観客が手を上げた場合に生じる近傍の経時変動オブジェクト映り込み空間情報に基づく不要画像領域を導出して取得する（ステップＳ７５０）。
【０１２９】
次に、２画角画像重畳部 １２３４５は、保存された広角画角Ｂのシミュレーション画像と、導出された不要画像領域とを用いて、該広角画角Ｂのシミュレーション画像に該不要画像領域を重畳する（ステップＳ７６０）。次に、映り込み判定部１２３４６は、画角画像重畳部１２３４５により広角画角Ｂの画像と前記不要画像領域とを重畳した画像（画像情報）を用いて、前記不要画像領域が、設定画角Ａの領域に含まれるか、すなわち映り込むかを判定する（ステップＳ７７０）。言い換えると、ステップＳ７６０で得た画像情報を用いて、広角画角Ｂのシミュレーション画像における設定画角Ａの範囲と不要画像領域との重なりにより、該設定画角Ａの範囲内への経時変動オブジェクトの映り込みがあるか判定される。設定画角Ａの範囲内への経時変動オブジェクトの映り込みがあると判定した場合（Ｓ７７０のＹＥＳ）、その情報が伝送部１２２０に伝送され（ステップＳ７８０）、不要画像領域の判定処理が終わる。設定画角Ａの範囲内への経時変動オブジェクトの映り込みがないと判定した場合（ステップＳ７７０のＮＯ）、不要画像領域の判定処理が終わる。
【０１３０】
本実施形態では、上述の実施形態と同様、図８に示される画像であれば経時変動オブジェクトの映り込みがないと判定され、図９に示される画像であれば経時変動オブジェクトの映り込みがあると判定される。
【０１３１】
上述した実施形態によれば、実際の広角画角Ｂの撮影画像を取得しなくても、設定画角Ａと同一視点である同一視点判断用画角Ｂシミュレーション画像を用いて、設定画角Ａの範囲内への不要なオブジェクトの映り込みをより正確に判定することができる。
【０１３２】
［第３の実施形態］
上述の第１，第２の実施形態では、不要なオブジェクトの映り込みを判定し、映り込みがあった場合にのみその情報を送信する構成としたが、その判定の根拠となる広角画角Ｂの画像に前記不要画像領域を重畳した画像を表示する構成としてもよい。
【０１３３】
図１３は、本実施形態に係る画像処理システムにおける画像処理部のブロック図である。本実施形態の画像処理システム１００は、不要画像領域判定制御部１２３４に表示制御部１２３４７を追加した構成であり、他の構成は上述の実施形態と同じでその説明を省略する。
【０１３４】
画像処理部１２３０の不要画像領域判定制御部１２３４は、２画角画像重畳部１２３４５と入力側が接続され、伝送部１２２０と出力側が接続された表示制御部１２３４７を有する。表示制御部１２３４７は、エンドユーザ端末１９０のディスプレイ１９２などの表示機器への入力画像の表示を制御する。例えば、表示制御部１２３４７は、２画角画像重畳部１２３４５から入力された、広角画角Ｂの画像に前記不要画像領域を重畳した画像が２画角画像重畳部１２３４５から入力されると、この画像をディスプレイ１９２などの表示機器に表示する。このような表示処理を、重畳処理を行うステップＳ７６０に追加することも可能である。
【０１３５】
上述した実施形態によれば、表示制御部１２３４７をさらに有することで、不要画像領域と設定画角Ａの範囲との関係について確認することができる。そのため、確認作業を行いながらカメラなどの設置変更を行うことができ、利便性が向上する。
【０１３６】
［第４の実施形態］
上述の第１〜第３の実施形態では、注視点の位置が固定された場合について説明したが、注視点の位置が複数の位置に変更（変動）された場合について説明する。
【０１３７】
図１４は、本実施形態に係る画像処理システムにおける画像処理部のフローチャートである。図１５は、本実施形態に係る画像処理システムにおける画像処理部のブロック図である。ステップＳ７１０〜Ｓ７８０は、上述の実施形態と同様であり、その説明を省略する。本実施形態の画像処理システム１００は、不要画像領域判定制御部１２３４に注視点変更検知部１２３４８を追加した構成であり、他の構成は上述の実施形態と同じでその説明を省略する。
【０１３８】
不要画像領域判定制御部１２３４は、カメラ制御部１２４１と入力側が接続され、画角制御部１２３４１と出力側が接続された注視点変更検知部１２３４８を有する。注視点変更検知部１２３４８は、入力側が接続されたカメラ制御部１２４１の制御対象のカメラ１１２に関し、注視点の変更の有無を検知する。
【０１３９】
本実施形態では、ステップＳ７１０〜Ｓ７８０の処理に続いて、注視点変更検知部１２３４８は、注視点の変更を検知する（ステップＳ７９０）。注視点変更検知部１２３４８が注視点の変更を検知した場合（ステップＳ７９０のＹＥＳ）、ステップＳ７１０に戻り、ステップＳ７１０〜Ｓ７９０の処理が再び行われる。注視点変更検知部１２３４８は、注視点の変更を検知しない場合（ステップＳ７９０のＮＯ）、不要画像領域の判定処理が終わる。
【０１４０】
上述した実施形態によれば、注視点変更検知部１２３４８をさらに有することで、注視点の位置が固定される場合に限らず、注視点の位置が複数の位置に変更される場合でも、不要画像領域の判定を注視点の位置に速やかに対応させることができる。
【０１４１】
［第５の実施形態］
本実施形態では、不要画像領域の映り込みありと判定された場合に警報を報知する形態について説明する。
【０１４２】
図１６は、本実施形態に係る画像処理システムにおける画像処理部のフローチャートである。図１７は、本実施形態に係る画像処理システムにおける画像処理部のブロック図である。ステップＳ７１０〜ステップＳ７７０は、上述の実施形態と同様であり、その説明を省略する。本実施形態の画像処理システム１００は、不要画像領域判定制御部１２３４に警報報知部１２３４９を追加した構成であり、他の構成は上述の実施形態と同じでその説明を省略する。
【０１４３】
不要画像領域判定制御部１２３４は、映り込み判定部１２３４６と入力側が接続され、伝送部１２２０と出力側が接続された警報報知部１２３４９を有する。警報報知部１２３４９は、映り込み判定部１２３４６の判定結果に応じて、警報を報知する機器である。例えば、警報報知部１２３４９は、映り込み判定部１２３４６によって、設定画角Ａの範囲内への経時変動オブジェクトの映り込みがあると判定された場合に、警報を報知する。警報として、音や光などのユーザに警報情報を報知可能な形態を利用可能である。
【０１４４】
本実施形態では、ステップＳ７１０〜Ｓ７６０の処理に続いて、映り込み判定部１２３４６は、前記不要画像領域が設定画角Ａの領域に含まれるか、すなわち映り込むかを判定する（ステップＳ７７０）。言い換えると、映り込み判定部１２３４６は、ステップＳ７６０で得られた画像情報を用いて、該撮影情報における設定画角Ａの範囲と該不要画像領域との重なりにより、該設定画角Ａの範囲内への経時変動オブジェクトの映り込みがあるかを判定する。設定画角Ａの範囲内への経時変動オブジェクトの映り込みがあると判定した場合（ステップＳ７７０のＹＥＳ）、警報報知部１２３４９は警報を報知し（ステップＳ７８１）、不要画像領域の判定処理が終わる。設定画角Ａの範囲内への経時変動オブジェクトの映り込みがないと判定した場合（ステップＳ７７０のＮＯ）、不要画像領域の判定処理が終わる。この警報報知を全体のシステムに送信するだけでなく、個々のカメラで警報を発する構成としてもよい。
【０１４５】
上述した実施形態によれば、警報報知部１２３４９をさらに有することで、不要画像領域と設定画角Ａとの関係について認識することができる。そのため、確認作業を行いながらカメラなどの設置変更を行うことができ、利便性が向上する。
【０１４６】
［変形例］
以下に本実施形態の変形例について説明する。
【０１４７】
上記では、複数のカメラにより撮影した画像を用いた仮想視点画像を生成する画像処理システムに適用した場合について説明したが、１つのカメラにより撮影した画像を生成する画像処理システムに適用することも可能である。すなわち、仮想視点画像を生成しないシステムに適用することも可能である。このようなシステムによれば、設定画角Ａとこれよりも広角の画角と、経時不変，経時変動，付随オブジェクトを設定するだけで、設定画角Ａへの不要画像領域の映り込みを判定することができる。そのため、不要画像領域の判定対象箇所が予め設定されるシステムと比べて、ユーザの利便性が向上する。
【０１４８】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１４９】
１１０ａ〜ｚ  センサシステム
１１１ａ〜ｚ  マイク
１１２ａ〜ｚ  カメラ
１２０ａ〜ｚ  カメラアダプタ
１２３４      不要画像領域判定制御部
１２３４１    画角制御部
１２３４２    画角別画像記憶部
１２３４３    経時不変オブジェクト抽出部
１２３４４    不要画像領域導出部
１２３４５    ２画角画像重畳部
１２３４６    映り込み判定部
１２３４７    表示制御部
１２３４８    注視点変更検知部
１２３４９    警報報知部
８０１        椅子（経時不変オブジェクト）
８０２        観客（経時変動オブジェクト）
８０３        設定画角Ａ
８０４        広角画角Ｂ
８０５        旗（付随オブジェクト）
８０６        タオル（付随オブジェクト）
【図１】
2019096926.tif 000003
【図２】
2019096926.tif 000004
【図３】
2019096926.tif 000005
【図４】
2019096926.tif 000006
【図５】
2019096926.tif 000007
【図６】
2019096926.tif 000008
【図７】
2019096926.tif 000009
【図８】
2019096926.tif 000010
【図９】
2019096926.tif 000011
【図１０】
2019096926.tif 000012
【図１１】
2019096926.tif 000013
【図１２】
2019096926.tif 000014
【図１３】
2019096926.tif 000015
【図１４】
2019096926.tif 000016
【図１５】
2019096926.tif 000017
【図１６】
2019096926.tif 000018
【図１７】
2019096926.tif 000019