(57)【要約】【課題】  複数の撮像装置により撮像領域を異なる方向から撮像するシステムにおいて、撮像装置の姿勢調整作業を効率的に行えるよう支援する。【解決手段】  撮像装置が設置されるべき位置及び姿勢において前記撮像装置により撮像されるべき画像である第１の画像と、前記撮像装置が現在設置されている位置及び姿勢において前記撮像装置により撮像された画像である第２の画像を取得し、取得した前記第１の画像と共に前記第２の画像を表示させる。【選択図】  図７
2020188395.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置により撮像領域を異なる方向から撮像するシステムにおいて各撮像装置の姿勢の調整を支援する方法であって、
前記複数の撮像装置のうちの一つの撮像装置が設置されるべき位置及び姿勢において前記撮像装置により撮像されるべき画像である第１の画像を取得する第１の取得工程と、
前記撮像装置が現在設置されている位置及び姿勢において前記撮像装置により撮像された画像である第２の画像を取得する第２の取得工程と、
前記第１の取得工程において取得した前記第１の画像と共に、前記第２の取得工程において取得した前記第２の画像を表示させる表示工程と、
を有することを特徴とする方法。
【請求項２】
前記表示工程では、前記第１の画像と前記第２の画像とを並べて表示させることを特徴とする請求項１記載の方法。
【請求項３】
前記表示工程では、前記第１の画像と前記第２の画像とを重畳して表示させることを特徴とする請求項１記載の方法。
【請求項４】
前記表示工程では、前記第１の画像と前記第２の画像とを並べて表示させる表示レイアウトと、前記第１の画像と前記第２の画像とを重畳して表示させる表示レイアウトと、を切り替えることを特徴とする請求項１記載の方法。
【請求項５】
前記第１の取得工程では、前記第１の画像として焦点距離の異なる複数の画像を取得し、
前記表示工程では、焦点距離の異なる前記複数の画像の中から、前記第２の画像と共に表示させる画像を選択的に切り替えることを特徴とする請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記表示工程では、焦点距離の異なる前記複数の画像のうち、焦点距離の長い画像から順に表示させることを特徴とする請求項５記載の方法。
【請求項７】
前記表示工程では、ユーザの操作に基づいて、焦点距離の異なる前記複数の画像の中から前記第２の画像と共に表示させる画像を切り替えることを特徴とする請求項５または６記載の方法。
【請求項８】
前記表示工程では、前記撮像装置の焦点距離の変更に基づいて、焦点距離の異なる前記複数の画像の中から前記第２の画像と共に表示させる画像を切り替えることを特徴とする請求項５または６記載の方法。
【請求項９】
前記第１の画像を生成する生成工程と、
前記生成工程において生成された前記第１の画像を記憶させる記憶工程と、を有することを特徴とする請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記生成工程では、少なくとも、撮像が行われる施設の三次元形状を示す形状データと、前記撮像装置が設置されるべき位置及び姿勢を示す情報と、に基づいて前記第１の画像が生成されることを特徴とする請求項９記載の方法。
【請求項１１】
前記生成工程では、前記複数の撮像装置それぞれについて前記第１の画像を生成し、
前記記憶工程では、前記複数の撮像装置それぞれを識別するための識別情報に対応づけて、前記第１の画像が記憶されることを特徴とする請求項９または１０記載の方法。
【請求項１２】
前記第１の取得工程では、前記記憶工程において記憶された前記第１の画像を取得することを特徴とする請求項９から１１のいずれか一項に記載の方法。
【請求項１３】
前記表示工程では、前記撮像領域と、前記複数の撮像装置の設置位置と、を俯瞰的に示す画像を表示させ、姿勢調整を行う撮像装置を指定するユーザ操作を受け付けたことに従って、前記第１の画像と前記第２の画像の表示に切り替えることを特徴とする請求項１から１２のいずれか一項に記載の方法。
【請求項１４】
前記第１の画像と前記第２の画像との画像解析の結果に基づいて、前記撮像装置の姿勢が調整されるよう制御する制御工程を有することを特徴とする請求項１から１３のいずれか一項に記載の方法。
【請求項１５】
前記システムは、前記複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、仮想視点画像を生成するシステムであることを特徴とする請求項１から１４のいずれか一項に記載の方法。
【請求項１６】
複数の撮像装置により撮像領域を異なる方向から撮像するシステムにおいて各撮像装置の姿勢の調整を支援する情報処理装置であって、
前記複数の撮像装置のうちの一つの撮像装置が設置されるべき位置及び姿勢において前記撮像装置により撮像されるべき画像である第１の画像と、前記撮像装置が現在設置されている位置及び姿勢において前記撮像装置により撮像された画像である第２の画像と、を取得する取得手段と、
前記取得手段により取得した前記第１の画像と共に前記第２の画像を表示させる表示制御手段と、
を有することを特徴とする情報処理装置。
【請求項１７】
コンピュータに請求項１から１５に記載の方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の姿勢の調整を支援する方法に関する。
【背景技術】
【０００２】
複数のカメラ（撮像装置）を異なる位置に設置して多視点で同期撮影し、当該撮影によって得られた多視点画像を用いて、任意の視点に基づく仮想視点画像を生成する技術が注目されている（特許文献１参照）。このような技術によれば、例えば、サッカーやバスケットボール等の試合のハイライトシーンやコンサート等を様々な角度から視聴することが可能となり、通常の画像と比較してユーザに高臨場感を与えることができる。
【０００３】
スポーツの試合やコンサート等のイベント撮影の際には、その準備段階としてカメラ等の機材を設置する必要がある。仮想視点画像生成システムにおいては、各カメラの位置、姿勢の調整を高精度に行う必要がある。
【０００４】
従来、カメラの設置作業者は、マーカーを対象施設（フィールド）に設置し、カメラの光軸方向が当該マーカーを向くよう、撮像画像を見ながらカメラの姿勢調整を行っていた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−０１５７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、マーカーは、広いフィールドに対して相対的に小さく、また複数ある場合もあるため、各カメラをどのマーカーに対して合わせて姿勢調整すればよいかは、マニュアルなどを参照する必要があった。その結果、作業時間や作業人数が増加する要因となっていた。また、作業者によるターゲット間違いなどのヒューマンエラーにつながる恐れもあった。さらには、施設の様々な都合により、マーカーを設置することができない場合があり、姿勢調整作業そのものが困難な場合もあった。
【０００７】
本発明は、複数の撮像装置により撮像領域を異なる方向から撮像するシステムにおいて、撮像装置の姿勢調整作業を効率的に行えるよう支援することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、複数の撮像装置により撮像領域を異なる方向から撮像するシステムにおいて各撮像装置の姿勢の調整を支援する方法であって、前記複数の撮像装置のうちの一つの撮像装置が設置されるべき位置及び姿勢において前記撮像装置により撮像されるべき画像である第１の画像を取得する第１の取得工程と、
前記撮像装置が現在設置されている位置及び姿勢において前記撮像装置により撮像された画像である第２の画像を取得する第２の取得工程と、前記第１の取得工程において取得した前記第１の画像と共に、前記第２の取得工程において取得した前記第２の画像を表示させる表示工程と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数の撮像装置により撮像領域を異なる方向から撮像するシステムにおいて、撮像装置の姿勢調整作業を効率的に行えるように支援することができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理システムの構成例を示す図である。
【図２】画像生成装置１５０と仮想カメラ操作端末１６０の機能構成例を示す図である。
【図３】カメラアダプタの機能構成例を示す図である。
【図４】システムを稼働させるためのワークフローの例を示す図である。
【図５】カメラ運用端末における画面表示の例を示す図である。
【図６】カメラ運用端末における機材設置状況の例を示す図である。
【図７】カメラの姿勢調整時のカメラ運用端末における表示例を説明するための図である。
【図８】カメラの姿勢調整時の処理の流れの例を示す図である。
【図９】カメラの姿勢調整時のカメラ運用端末における別の表示例を説明するための図である。
【図１０】カメラの姿勢調整時の処理の流れの別の例を示す図である。
【図１１】カメラ運用端末のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施形態について説明する。なお、以下の実施形態で説明される構成は一例に過ぎず、本発明を、説明される実施形態に限定することは意図されていない。
【００１２】
＜第１の実施形態＞
（システム構成）
本実施形態では、競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ（撮像装置）を設置し撮影を行い、当該撮影により得られた複数視点画像を用いて仮想視点画像を生成するシステムの例について説明する。本実施形態では、仮想視点画像生成用のマルチカメラシステムにおいて、各カメラの姿勢調整作業を視覚的に行うことにより、作業の効率的な進行を支援する方法について説明する。
【００１３】
（画像処理システム１００の説明）
図１に、本実施形態に係る画像処理システム１００の構成例を示す。画像処理システム１００は、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。
【００１４】
画像処理システム１００は、撮像領域を複数の方向から撮像する複数のカメラ（撮像装置）を有する。撮像領域は、例えばサッカーなどの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数のカメラは、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数のカメラは撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の一部の方向にのみ設置されていてもよい。また、望遠カメラと広角カメラなど機能が異なるカメラが設置されていてもよい。
【００１５】
画像処理システム１００は、センサシステム１１０ａ〜１１０ｚ、スイッチングハブ１２０、カメラ運用端末１３０、画像コンピューティングサーバ１４０、画像生成装置１５０、仮想カメラ操作端末１６０、及び制御ステーション１７０を含む。
【００１６】
まず、センサシステム１１０ａ〜１１０ｚの構成及び動作について説明する。センサシステム１１０ａ〜１１０ｚは、それぞれ、マイク１１１ａ〜１１１ｚ、カメラ１１２ａ〜１１２ｚ、雲台１１３ａ〜１１３ｚ、外部センサ１１４ａ〜１１４ｚ、及びバッテリ１１５ａ〜１１５ｚを有する。また、センサシステム１１０ａ〜１１０ｚは、それぞれカメラアダプタ１１６ａ〜１１６ｚを有し、このカメラアダプタ１１６ａ〜１１６ｚを介して、デイジーチェーン１２１ａ〜１２１ｙによって相互に接続される。なお、接続形態はデイジーチェーン接続に限らず、スター型など別のネットワークトポロジーを採用しても良い。また、図１では、２６個のセンサシステム１１０ａ〜１１０ｚが存在する例について説明するが、センサシステムの台数はこれに限るものではない。また、図１では、センサシステム１１０ａ〜１１０ｚが共通の構成を有するものとしているが、少なくとも一部のセンサシステムが、他のセンサシステムと異なる構成を有してもよい。
【００１７】
なお、本実施形態では、特に言及がない限りは、センサシステム１１０ａ〜１１０ｚを区別せずに「センサシステム１１０」と呼ぶ。また、センサシステム１１０が有する各構成についても、特に区別する必要のない場合には、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、バッテリ１１５、及びカメラアダプタ１１６と呼ぶ。センサシステム１１０は、それぞれが有するカメラ１１２によって撮影を行うことにより画像データを取得し、また、マイク１１１を用いて録音を行うことにより音声データを取得する。すなわち、画像処理システム１００は、同一の被写体をそれぞれが異なる方向から撮影する複数のセンサシステム１１０を用いることにより、複数の方向から撮影された画像データを得ることができる。同様に、画像処理システム１００は、これらの複数のセンサシステム１１０を用いて、異なる位置において（必要に応じて異なる指向特性で）収音を行うことにより、複数の位置で録音された音声データを得ることができる。
【００１８】
複数のカメラ１１２は何れも光軸が固定され、パンやチルト等による撮影範囲の左右や上下への変更は行われないものとする。なお、カメラ１１２の初期設定時等における光軸の調整や環境による光軸のずれの修正等は、カメラ１１２が設置される雲台１１３によって行うことができる。複数のセンサシステム１１０は、それぞれ、デイジーチェーン１２１ａ〜１２１ｙにより、自身の下流の他のセンサシステムへ、撮影によって得られた画像データを送信する。このとき、それぞれのセンサシステム１１０は、上流の他のセンサシステムから取得した画像データについても下流の他のセンサシステムへ転送する。例えば、センサシステム１１０ａは、カメラ１１２ａを用いて撮影された画像データを、カメラアダプタ１１６ａにおいて後述の画像処理を施した後に、デイジーチェーン１２１ａを介してセンサシステム１１０ｂのカメラアダプタ１１６ｂへ伝送する。同様に、センサシステム１１０ｂは、カメラ１１２ｂを用いて撮影された画像データを、センサシステム１１０ａから取得した画像データと共に（場合によっては別個の信号で）センサシステム１１０ｃへ伝送する。なお、センサシステム１１０ｚは、撮影により得られた画像データと上流のセンサシステムから取得した画像データを、ネットワーク１２２ｂを介してスイッチングハブ１２０へ伝送する。デイジーチェーンを用いることにより、撮影画像の４Ｋや８Ｋなどへの高解像度化及びハイフレームレート化に伴って画像データが大容量化しても、接続ケーブル数や配線作業の煩雑性の増大を防ぐことができる。
【００１９】
複数のマイク１１１の取り扱い及びそれらのマイク１１１で収音された音声データについても同様である。すなわち、複数のマイク１１１は、指向方向が固定されており、その方向の変更は行われないものとする。また、収音により得られた音声データは、デイジーチェーンを介して伝送される。このような動作により、センサシステム１１０ａ〜１１０ｚが取得した画像データ及び音声データは、センサシステム１１０ｚからネットワーク１２２ｂを用いてスイッチングハブ１２０に伝わり、その後、画像コンピューティングサーバ１４０へ転送される。
【００２０】
外部センサ１１４は、撮影や収音以外の方法により、各種環境情報を取得する。例えば、外部センサ１１４は、センサシステム１１０の振動や傾き、気温、湿度、風向き、風速等の各種情報を取得可能である。なお、これらは一例であり、外部センサ１１４は、任意の環境パラメータを取得するための任意の装置構成を有する。
【００２１】
バッテリ１１５は、後述の、センサシステム１１０を競技場などの施設に設置または撤収する際のワークフローを実行する際に使用され、例えば競技場にシステム用電源が敷設されていない場合に使用される。なお、センサシステム１１０は、設置の完了後でシステム用電源が敷設された後は、バッテリ１１５を使用しないようにしうる。さらに、センサシステム１１０は、システム用電源が事前に敷設される場合には、バッテリ１１５を有さずに、その電源を使用して動作するように構成されてもよい。なお、システム用電源ではなく、施設に常設されている電源が用いられてもよい。
【００２２】
なお、図１では、カメラ１１２とカメラアダプタ１１６とが分離された例を示しているが、これらは同一の筺体内に含まれる１つの装置であってもよい。また、マイク１１１も、カメラ１１２に内蔵されたマイクであってもよいし、図１のように別個の装置が用意されてもよい。このように、図１に示される複数の機能部が１つの装置によって実現されてもよく、また、１つの機能部が複数の装置が協働することによって実現されてもよい。
【００２３】
また、本実施形態では、特に言及のない限り、「画像」という用語が動画と静止画との両方の概念を含むものとする。すなわち、画像処理システム１００は、静止画及び動画のいずれについても対処可能である。また、本実施形態では、仮想視点コンテンツとして、仮想視点画像と仮想聴点音響が画像処理システム１００によって提供される場合について説明するが、これに限られない。例えば、仮想視点コンテンツは、音響を含まなくてもよい。また、例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより録音された音声であるなど、仮想聴点音響以外の形式で提供されてもよい。また、本実施形態では、説明を簡単にするため、音声についての説明を部分的に省略しているが、画像と音声は共に処理されるものとする。
【００２４】
次に、画像コンピューティングサーバ１４０の構成及び動作について説明する。画像コンピューティングサーバ１４０は、センサシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ１４０は、タイムサーバ１４１と、フロントエンドサーバ１４２とを含む。
【００２５】
タイムサーバ１４１は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１２０を介して、センサシステム１１０ａ〜１１０ｚに時刻及び同期信号を配信する。センサシステム１１０ａ〜１１０ｚは、カメラアダプタ１１６ａ〜１１６ｚを介して時刻と同期信号を受信すると、時刻と同期信号に基づいてカメラ１１２ａ〜１１２ｚを同期させ、画像フレーム同期を確立する。すなわち、タイムサーバ１４１は、複数のカメラ１１２の撮影タイミングを同期させる。
【００２６】
フロントエンドサーバ１４２は、センサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換する。その後、カメラの識別子、画像か音声かを示すデータ種別、フレーム番号に応じてフロントエンドサーバ１４２内のデータベース（不図示）に書き込む。
【００２７】
なお、フロントエンドサーバ１４２では、カメラアダプタ１１６から取得したデータをＤＲＡＭ上に一次的に記憶し、前景画像、背景画像、音声データ、及び三次元モデルデータが揃うまでバッファする。
【００２８】
ここで、前景画像とは、カメラ１１２により撮像されて取得された撮像画像から、前景オブジェクトの領域（前景領域）を抽出した画像である。前景領域として抽出される前景オブジェクトとは、時系列で同じ方向から撮像を行った場合において動きのある（その絶対位置や形が変化し得る）動的オブジェクト（動体）を指す。前景オブジェクトは、競技において、それが行われるフィールド内にいる選手や審判などの人物、球技であればボールなど、またコンサートやエンタテイメントにおける歌手、演奏者、パフォーマー、司会者などである。
【００２９】
背景画像とは、少なくとも前景となるオブジェクトとは異なる領域（背景領域）の画像である。具体的には、背景画像は、撮像画像から前景となるオブジェクトを取り除いた状態の画像である。また、背景は、時系列で同じ方向から撮像を行った場合において静止している、又は静止に近い状態が継続している撮像対象物を指す。このような撮像対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、フィールド、などである。ただし、背景は少なくとも前景オブジェクトとは異なる領域であり、撮像対象としては、前景オブジェクトと背景の他に、別の物体等が含まれていてもよい。
【００３０】
三次元モデルデータとは、前景オブジェクトの三次元形状を表す形状データであり、複数の前景画像に基づいて生成される。
【００３１】
なお、以下では、前景画像、背景画像、音声データ、及び三次元モデルデータ等の、仮想視点コンテンツを生成するためのデータをまとめて、素材データと呼ぶ。素材データには、ルーティング情報やタイムコード情報（時間情報）、カメラ識別子等のメタ情報が付与されており、フロントエンドサーバ１４２は、このメタ情報に基づいてデータの属性を確認する。これにより、フロントエンドサーバ１４２は、ある１つの時刻について、バッファされているデータを確認することによって、素材データが揃ったか否かを判定することができる。この判定により、データがカメラアダプタ１１６からネットワーク１２２等を介して転送される際に、ネットワークパケットの受信順序がデータの順序と対応しない場合であっても、必要なデータが揃うまで待つことで、ファイル生成を確実に行うことができる。なお、背景画像は、前景画像とは異なるフレームレートで撮影されてもよい。例えば、背景画像のフレームレートが１ｆｐｓ（ｆｒａｍｅｓ  ｐｅｒ  ｓｅｃｏｎｄ）である場合、１秒ごとに１つの背景画像が取得される。これに対して、前景画像が例えば６０ｆｐｓで取得される場合、前景画像が取得されるが背景画像が取得されないタイミングが存在しうる。このため、このようなタイミングにおいては、フロントエンドサーバ１４２は、背景画像がない状態で全てのデータが揃ったと判定してもよい。
【００３２】
カメラ運用端末１３０は、汎用のパーソナルコンピュータ（ＰＣ）やタブレットであり、カメラ１１２の設置や姿勢調整の支援のために使用される情報処理装置である。図１ではカメラ運用端末１３０が一台のみの場合について示しているが、複数台設けるようにしてもよい。
【００３３】
カメラ運用端末１３０は、センサシステム１１０と無線通信可能に構成される。そして、カメラ運用端末１３０は、運用システムアプリケーションを動作させることができる。運用システムアプリケーションは、マルチカメラシステムを運用する際に使用され、イベント撮影の計画から、システムの設置、撮影、システムの撤収までの運用を管理するのに使用される。また、カメラ運用端末１３０は、システムを運用する上で必要な運用システムアプリケーションの画面表示や、別のカメラ運用端末とのテキストメッセージや音声等による通信を実行可能に構成されうる。
【００３４】
画像生成装置１５０は、仮想カメラ操作端末１６０からの指示に基づく仮想カメラパスパラメータと、フロントエンドサーバ１４２に記憶された素材データと、に基づいて仮想視点画像を生成する。仮想カメラ操作端末１６０は、ユーザから仮想カメラパスを指定するための指示を受け付け、受け付けた指示に応じた情報を画像生成装置１５０に送信する。
【００３５】
ここで、仮想カメラとは、撮像領域の周囲に実際に設置された複数のカメラ１１２とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。また、仮想カメラパスとは、経時的な仮想視点の変遷を示す情報である。ただし、本実施形態の構成を実現するために仮想カメラの概念を用いることは必須ではない。すなわち、少なくとも空間内における特定の位置を表す情報と向きを表す情報とが設定され、設定された情報に応じて仮想視点画像が生成されればよい。
【００３６】
画像生成装置１５０と仮想カメラ操作端末１６０の機能構成について図２を用いて説明する。なお、画像生成装置１５０は、上述のフロントエンドサーバ１４２と協働するため、図２には、フロントエンドサーバ１４２の機能構成の一部についても図解されている。
【００３７】
フロントエンドサーバ１４２は、その機能として、複数視点画像保持部２００及び実空間情報保持部２１０を有する。複数視点画像保持部２００は、上述のように、競技フィールドやスタジオ等を取り囲むように設置された複数台のカメラによって同期撮影された画像に関する画像データを保持する。
【００３８】
また、実空間情報保持部２１０は、被写体を含む所定範囲の空間に関する情報を保持する。実空間情報保持部２１０は、競技場のフィールドや観客席、スタジオの設備等、仮想視点画像内に背景として映りこむ物体（背景オブジェクト）の三次元モデル情報や、仮想視点を設定可能な範囲を示す三次元空間情報等を保持する。
【００３９】
画像生成装置１５０は、仮想視点画像生成部２２１、仮想カメラパス算出部２２２、仮想カメラ情報保持部２２３、表示画像生成部２２４、及び装置通信部２２５を有する。また、仮想カメラ操作端末１６０は、端末通信部２３１、画像表示部２３２、仮想カメラパス指示部２３３、及びユーザ情報発信部２３４を有する。
【００４０】
仮想視点画像生成部２２１は、複数視点画像保持部２００から取得した複数視点画像を用いて、前景オブジェクトの三次元モデルを生成する。生成した前景三次元モデルと、実空間情報保持部２１０から取得した背景三次元モデルとに対して、仮想カメラパス算出部２２２から取得した仮想視点に合わせたテクスチャをマッピングし、レンダリングを行うことにより、仮想視点画像が生成される。仮想視点画像生成部２２１は、この仮想視点画像の生成の過程で、生成しようとする仮想視点画像に映りこむ前景オブジェクトおよび背景オブジェクトの座標を算出し、その座標についてのみのテクスチャマッピングとレンダリングとを実行する。仮想視点画像生成部２２１は、算出した座標値を、被写体前景座標および実空間背景座標として、後述の仮想カメラ情報保持部２２３に出力する。
【００４１】
仮想カメラパス算出部２２２は、後述の仮想カメラパス指示部２３３に対するユーザからの指示内容に基づいて、時間的に連続する仮想カメラパスパラメータを算出する。仮想カメラパスパラメータは、ユーザが被写体を観察する際の仮想的なカメラの動きを示すパラメータであり、仮想カメラの位置及び向き（注視方向）を少なくとも含む。なお、仮想カメラパスパラメータは、これらに限定されるものではなく、例えば画角（焦点距離）を含んでいてもよい。また、仮想カメラパスパラメータは、撮影シーン中のどの瞬間に関するものであるかを特定できるように、複数視点画像に付されたフレーム番号又はタイムコードと関連付けられる。仮想カメラパス算出部２２２は、仮想カメラパスパラメータの算出の際に、実空間情報保持部２１０から取得した実空間情報を参照して、仮想視点を設定可能な範囲に仮想カメラパスを設定する。
【００４２】
仮想カメラ情報保持部２２３は、仮想視点画像生成部２２１から取得した、被写体前景座標および実空間背景座標と、仮想カメラパス算出部２２２で算出された仮想カメラパスパラメータとを蓄積する。
【００４３】
表示画像生成部２２４は、仮想カメラ操作端末１６０の画像表示部２３２に表示されるための表示画像を生成する。ここで生成される表示画像は、仮想視点画像生成部２２１で生成される仮想視点画像である。装置通信部２２５は、画像生成装置１５０と仮想カメラ操作端末１６０との間での、不図示のネットワーク等を介した有線通信又は無線通信を行うための機能部である。画像生成装置１５０と仮想カメラ操作端末１６０との間では、画像、音声、及びテキストの各データや、仮想視点画像を生成する際にユーザから指示された仮想カメラパスに関する指示情報が送受信される。
【００４４】
仮想カメラ操作端末１６０において、端末通信部２３１は、上述のように、装置通信部２２５との間で種々の情報を送受信する。画像表示部２３２は、上述の表示画像生成部２２４において生成され、端末通信部２３１を介して受信された画像を画面表示する。仮想カメラパス指示部２３３は、ユーザから仮想カメラパスに対する指示を受け付け、その指示を示す情報を、端末通信部２３１を用いて画像生成装置１５０へ送信する。なお、画像生成装置１５０は、装置通信部２２５を用いてこの情報を受信し、仮想カメラパス算出部２２２に受信した情報を渡す。なお、ユーザは、視聴したい全時間に対して、仮想カメラパラメータのすべてを厳密に指示しなくてもよい。例えば、ユーザは、「特定の被写体（選手や演者等）に注目した仮想視点画像を視聴したい」、「ボールの周囲のある一定の範囲を視聴したい」、「より注目すべきイベントが発生している箇所を視聴したい」等、種々の観点に基づく指示を入力してもよい。ユーザ情報発信部２３４は、端末通信部２３１から装置通信部２２５に向けて送信される情報に対して、ユーザＩＤ等のユーザ情報を添付する。
【００４５】
制御ステーション１７０は、デイジーチェーン１２１ａ〜１２１ｙ、ネットワーク１２２ａ〜１２２ｂ及び１２３〜１２４を通じて、画像処理システム１００を構成するそれぞれのブロックの動作状態の管理及びパラメータ設定制御等を行う。
【００４６】
続いて、図３を用いて、カメラアダプタ１１６の機能構成について説明する。カメラアダプタ１１６は、ネットワークアダプタ３００と、伝送部３１０と、画像処理部３２０と、外部機器制御部３３０とを含む。ここで、ネットワークアダプタ３００は、データ送受信部３０１と無線通信部３０２とを含み、伝送部３１０は、画像・音声伝送処理部３１１とデータ圧縮・伸張部３１２とを含む。また、画像処理部３２０は、前景背景分離部３２１と、三次元モデル情報生成部３２２と、キャリブレーション制御部３２３とを含む。また、外部機器制御部３３０は、マイク制御部３３１と、カメラ制御部３３２と、雲台制御部３３３と、センサ制御部３３４とを含む。なお、外部機器制御部３３０は、外部機器接続状態検出部３３５をさらに含む。
【００４７】
ネットワークアダプタ３００は、他の装置との通信を行うための各種機能を有する。データ送受信部３０１は、デイジーチェーン１２１、ネットワーク１２３及びネットワーク１２４を介して、他のカメラアダプタ１１６、フロントエンドサーバ１４２、タイムサーバ１４１、及び制御ステーション１７０と、データ通信を行う。例えば、データ送受信部３０１は、カメラ１１２による撮影画像が後述の前景背景分離部３２１により分離されて得られる前景画像と背景画像とを、別のカメラアダプタ１１６に対して出力する。出力先のカメラアダプタ１１６は、画像処理システム１００のカメラアダプタ１１６のうち、デイジーチェーン１２１において隣接する下流側のカメラアダプタ１１６である。多数のカメラアダプタ１１６が、前景画像及び背景画像を出力することで、複数の視点から撮影された前景画像と背景画像とがフロントエンドサーバ１４２に伝送され、画像生成装置１５０によって仮想視点画像が生成される。なお、撮影画像から分離した前景画像を出力して背景画像は出力しないカメラアダプタ１１６が存在してもよい。
【００４８】
無線通信部３０２は、カメラ運用端末１３０との通信を行う。無線通信部３０２を介して通信するデータは、後述の外部機器接続状態検出部３３５が処理するデータであり、カメラ運用端末１３０で動作する運用システムアプリケーションで処理を実行するためのデータである。
【００４９】
伝送部３１０は、ネットワークアダプタ３００を介して送受信されるデータについて信号処理を実行する。画像・音声伝送処理部３１１は、画像データ又は音声データを、データ送受信部３０１を介して他のカメラアダプタ１１６またはフロントエンドサーバ１４２へ転送するためのメッセージを作成する。メッセージには、画像データ又は音声データ、及び各データのメタ情報が含まれる。なお、本実施形態のメタ情報は、画像の撮影または音声のサンプリング時のタイムコードまたはシーケンス番号、データ種別、及び、マイク１１１やカメラ１１２の個体を示す識別子などを含む。また、送信される画像データまたは音声データは、データ圧縮・伸張部３１２でデータ圧縮されていてもよい。また、画像・音声伝送処理部３１１は、他のカメラアダプタ１１６から、データ送受信部３０１を介してメッセージを受け取る。そして、画像・音声伝送処理部３１１は、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズに分割されたデータから、画像データまたは音声データを復元する。なお、データを復元した際に、そのデータが圧縮されている場合は、データ圧縮・伸張部３１２が伸張処理を行う。データ圧縮・伸張部３１２は、データ送受信部３０１を介して送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行い、また、圧縮されたデータを伸張する。
【００５０】
画像処理部３２０は、カメラ制御部３３２の制御の下でカメラ１１２によって撮影された画像データと、他のカメラアダプタ１１６から受信した画像データとに対して、画像処理を行う。前景背景分離部３２１は、カメラ１１２によって撮影された画像データを、前景画像と背景画像とに分離する。すなわち、複数のカメラアダプタ１１６のそれぞれにおける前景背景分離部３２１は、複数のカメラ１１２のうち、対応するカメラ１１２によって撮影された撮影画像から前景領域を抽出する。前景背景分離部３２１は、撮影画像から抽出した前景領域内の画像を前景画像とすると共に、その前景領域外の領域の画像（すなわち、前景画像ではない領域の画像）を背景画像として、前景画像及び背景画像を出力する。三次元モデル情報生成部３２２は、前景背景分離部３２１で分離された前景画像と、他のカメラアダプタ１１６から受取った前景画像とを用いて、例えば、ステレオカメラの原理を用いて三次元モデルに関する画像情報を生成する。キャリブレーション制御部３２３は、入力された画像に対して、カメラごとの色のばらつきを抑えるための色補正処理や、カメラの振動に起因するブレに対して画像の位置合わせ及び画像の切り出し処理などを行う。
【００５１】
外部機器制御部３３０は、カメラアダプタ１１６に接続する機器を制御する機能を有する。カメラ制御部３３２は、カメラアダプタ１１６が含まれるセンサシステム内のカメラ１１２と接続され、そのカメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定などを行う。カメラ１１２の制御は、例えば、撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランス等）の設定と参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラー等）を示す情報の取得、撮影の開始及び停止、及びピント調整等を含む。マイク制御部３３１、雲台制御部３３３、及びセンサ制御部３３４は、それぞれ、カメラアダプタ１１６が含まれるセンサシステム内のマイク１１１、雲台１１３、外部センサ１１４に接続され、その接続された機器を制御する。また、マイク制御部３３１、雲台制御部３３３、及びセンサ制御部３３４は、接続された機器が正常に動作しているか等の状態を示す情報を、各機器から読み出す処理を行う。外部機器接続状態検出部３３５は、カメラアダプタ１１６に接続する機器の接続状態および各機器が正常に動作しているかなどのセルフチェック結果を読み出す機能を有する。外部機器接続状態検出部３３５は、マイク制御部３３１、カメラ制御部３３２、雲台制御部３３３、及びセンサ制御部３３４と通信し、各機能部から取得した外部機器の接続状態およびセルフチェック結果を、外部機器接続状態検出部３３５内のメモリに記憶する。なお、外部機器接続状態検出部３３５は、外部機器に電源が供給されていない場合は、ケーブルの接続状態のみを検出する。ケーブルの接続は、カメラアダプタ１１６のケーブル端子の１つをＨＩＧＨポートに設定しておき、ケーブルが接続されたときにＬＯＷになるようにすることにより、ハードウェアレベルで検出することができる。
【００５２】
（ハードウェア構成）
次に、カメラ運用端末１３０のハードウェア構成について、図１１を用いて説明する。なお、カメラアダプタ１１６、タイムサーバ１４１、フロントエンドサーバ１４２、画像生成装置１５０、仮想カメラ操作端末１６０、及び制御ステーション１７０のハードウェア構成も、カメラ運用端末１３０の構成と同様である。
【００５３】
カメラ運用端末１３０は、ＣＰＵ１１０１、ＲＯＭ１１０２、ＲＡＭ１１０３、補助記憶装置１１０４、表示部１１０５、操作部１１０６、通信Ｉ／Ｆ１１０７、及びバス１１０８を有する。
【００５４】
ＣＰＵ１１０１は、ＲＯＭ１１０２やＲＡＭ１１０３に格納されているコンピュータプログラムやデータを用いてカメラ運用端末１３０の全体を制御することで、図１に示すカメラ運用端末１３０の各機能を実現する。なお、カメラ運用端末１３０がＣＰＵ１１０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１１０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ１１０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ１１０３は、補助記憶装置１１０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ１１０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１１０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。
【００５５】
表示部１１０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザがカメラ運用端末１３０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部１１０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１１０１に入力する。ＣＰＵ１１０１は、表示部１１０５を制御する表示制御部、及び操作部１１０６を制御する操作制御部として動作する。なお、本実施形態では表示部１１０５と操作部１１０６がカメラ運用端末１３０の内部に存在するものとするが、表示部１１０５と操作部１１０６との少なくとも一方がカメラ運用端末１３０の外部に別の装置として存在していてもよい。
【００５６】
通信Ｉ／Ｆ１１０７は、カメラ運用端末１３０の外部の装置との通信に用いられる。例えば、カメラ運用端末１３０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１１０７に接続される。カメラ運用端末１３０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１１０７はアンテナを備える。バス１１０８は、カメラ運用端末１３０の各部をつないで情報を伝達する。
【００５７】
（ワークフロー）
続いて、スタジアムや競技場、コンサートホールなどの施設に複数のカメラ１１２やマイク１１１を設置して撮影を行う際に実行されるワークフローについて説明する。図４は、ワークフローの全体像を概略的に示している。なお、以下で説明する処理は、特段の説明がない限り、カメラ運用端末１３０の制御により実現される。なお、カメラ運用端末１３０によって実行される処理は、例えば、カメラ運用端末１３０のＣＰＵ１１０１がＲＯＭ１１０２またはＲＡＭ１１０３に格納されたプログラムを実行することによって実現される。
【００５８】
本ワークフローでは、まず、一連の処理の前に、画像処理システム１００の設置や操作を行う操作者（ユーザ）が、設置前に必要な情報（事前情報）の収集や計画の立案等の設置前処理を行う。カメラ運用端末１３０は、この設置前処理により、事前情報に基づいてどのようにシステムの設置・撤収を行うか等の計画立案を行ったユーザから、その計画に応じた設定を受け付ける（Ｓ４０１）。
【００５９】
なお、ここでの事前情報とは、例えば、施設情報、機器情報、運用情報を含む。施設情報は、例えば、撮像場所がスタジアムの場合、スタジアム情報であり、スタジアムの形状、音響、照明、電源、伝送環境、及びスタジアムの三次元モデルデータなどの情報を含む。機器情報は、例えば、カメラ、雲台、レンズ、及びマイク等の撮影機材、ＬＡＮ、ＰＣ、サーバ、及びケーブル等の情報機器に関する情報を含む。なお、必ずしもこれらすべての情報が入力されなければならないわけではない。カメラ運用端末１３０は、機器情報が入力された撮影機材のうち、カメラ、雲台、及びマイクの配置情報に関する入力を受け付ける。配置情報は、上述のスタジアムの三次元モデルデータを利用して入力することができる。運用情報は、カメラ取付形態（高所作業など）、作業種別（作業段階）、作業時間、作業者人数、作業者スキルレベルなどの情報を含む。なお、運用情報は、撮影対象、撮影時間、カメラワーク、及び目標位置（カメラの光軸を向ける方向、注視点とも呼ぶ）などの情報を含んでもよい。例えば、撮影対象が陸上競技であるか、フィールド全面を使うサッカーであるかなどの競技種別に応じて、目標位置の変更と、カメラワークの制約条件の変更とが行われる。カメラ運用端末１３０は、これらの運用情報の組み合わせで構成される設定情報のテーブルを管理し、変更し、また、各種指示等の処理に用いる。
【００６０】
続いて、ユーザは対象となる施設に機材を設置する。そして、画像処理システム１００の各装置は、ユーザからの操作に基づいてカメラ運用端末１３０から発行されたコマンドに従って、システムの動作確認のための処理を実行する（Ｓ４０２）。なお、機材の設置中はシステムが動作しないため、カメラ運用端末１３０とカメラアダプタ１１６とが逐次通信を行うことによって、設置時の運用管理を行う。機材の設置が完了した後に、設置されたカメラ１１２の調整が実行される。カメラ１１２の調整は、画角合わせと色合わせを含む。この調整は、設置されたカメラ１１２の全てについて実行される。なお、調整は、ユーザ操作に基づいて行われるようにしてもよいし、自動調整機能により実現されてもよい。また、画角合わせでは、ズーム、パン、チルト、及びフォーカスの調整が並行して同時に実行され、カメラ運用端末１３０は、それらの調整結果を取得して保存する。この処理については、後述する。
【００６１】
そして、ユーザは、競技等の前に、マイク１１１により集音された音声やカメラ１１２により撮影された画像の確認と、その確認結果に応じた調整等を含みうる撮影前処理を実行する（Ｓ４０３）。その後、カメラ運用端末１３０は、マイク１１１に集音を行わせ、カメラ１１２に撮影を実行させる（Ｓ４０４）。なお、Ｓ４０４での撮影はマイク１１１を用いた集音を含むものとするが、これに限られず、画像の撮影だけが行われてもよい。Ｓ４０４の処理は、Ｓ４０２での設定を変更するまで、または撮影を終了するまで継続的に実行される。Ｓ４０２での設定を変更する場合または撮影を終了する場合に、処理がＳ４０５に進められる。
【００６２】
カメラ運用端末１３０は、Ｓ４０５において、Ｓ４０２での設定を変更して撮影を継続するユーザ操作が行われた場合（Ｓ４０５でＹＥＳ）には処理をＳ４０６へ進め、撮影を完了するユーザ操作が行われた場合（Ｓ４０５でＮＯ）には処理をＳ４０７へ進める。なお、この判定はユーザ操作に基づいて行われなくてもよく、カメラ運用端末１３０は、自律的に設定変更が必要であるか否かを判定してもよい。
【００６３】
Ｓ４０６では、カメラ運用端末１３０は、Ｓ４０２で行われた設定を、新しい設定へと変更する。変更内容は、例えば、Ｓ４０５において取得されたユーザ操作に基づいて決定される。Ｓ４０６における設定の変更において撮影停止の必要がある場合は、一度撮影が停止され、設定が変更された後に撮影が再開される。また、撮影停止の必要がない場合は、撮影を継続しながら設定の変更が実行される。
【００６４】
Ｓ４０７では、カメラ運用端末１３０は、複数のカメラ１１２により撮影された画像及び複数のマイク１１１により集音された音声の編集の指示を発行する。なお、Ｓ４０７の処理は、Ｓ４０４の処理と並行して実行されてもよい。例えば、スポーツ競技やコンサートなどをリアルタイムに配信する（例えば競技中に競技の画像が配信される）等の場合は、Ｓ４０４の撮影が終わるのを待たずに、並行して撮影で得られたデータに対するＳ４０７の編集が実行される。一方、スポーツ競技におけるハイライト画像を競技後に配信する等の場合は、Ｓ４０５において撮影を終了した後に編集が実行される。
【００６５】
撮影及び編集が終了した後は、機材の撤収の処理が行われる（Ｓ４０８）。撤収処理は、例えば、Ｓ４０２で設置された機材の取外し作業等により、施設を設置前の状態に戻すことである。なお、上述の処理は、カメラ運用端末１３０において実行するとしたが、設置が完了して、システムの通常運用が可能となっている状態においては、制御ステーション１７０が処理を実行してもよい。すなわち、Ｓ４０３の撮影前処理以降の処理は、制御ステーション１７０によって実行されてもよい。（カメラの姿勢調整）
ここで、設置時処理（Ｓ４０２）として実行するカメラ１１２の調整について説明する。この調整は、画角合わせを含むことを先述したが、画角合わせでは、ズーム、パン、チルトの調整が、カメラ運用端末１３０の表示内容に基づいて実行される。
【００６６】
図５（Ａ）は、カメラ運用端末１３０に表示される画面例を示しており、撮像領域であるフィールドと、複数のカメラの設置位置、及び各カメラの目標位置等が俯瞰的に示されている。図５（Ａ）の例では、２つの目標位置Ａ（５１０）とＢ（５２０）が設定され、２６台のカメラのうち半数ずつがそれぞれの目標位置に光軸を向けるよう設定されることを示している。具体的には、Ａグループのカメラが目標位置Ａ（５１０）を向くように設置され、Ｂグループのカメラが目標位置Ｂ（５２０）を向くように設置されることを示している。また、調整すべきカメラと調整済みのカメラとが識別可能に表示されており、図５（Ａ）の例ではカメラ５３０とカメラ５５０が調整すべきカメラであることが示されている。このような画面を、設置作業を担当するスタッフが有する別のカメラ運用端末１３０と共有することにより、スタッフは、設置すべきカメラを視覚的に認識することができ、誤りなく設置作業を行うことができる。また、このような画面を制御ステーション１７０と共有することにより、制御ステーション１７０を操作する管理者との意思疎通を図るとともに、適切な作業指示を受けることが可能となる。
【００６７】
なお、カメラ運用端末１３０は、カメラアダプタ１１６の無線通信部３０２を介してカメラ５３０と通信し、設置済のカメラの情報を収集して表示する。本システムでは、デイジーチェーンによってセンサシステム１１０が接続されているため、カメラ運用端末１３０は、いずれかのセンサシステム１１０のカメラアダプタ１１６から、他のセンサシステムにおける情報を取得することができる。複数のカメラ運用端末１３０が使用される場合は、これらの複数のカメラ運用端末１３０の間で収集されるデータや表示されるデータが共有される。例えば、カメラ５３０と通信するカメラ運用端末１３０は、カメラ５４０を介してカメラ５５０の情報を収集可能であり、同様に、カメラ５５０と通信するカメラ運用端末１３０は、カメラ５３０の情報を収集可能である。また、カメラ運用端末１３０は、いずれも、カメラ５４０やカメラ５６０の情報を収集することができる。なお、データ入力および各種判断は、特定のユーザに操作権限を設定することによって制御されるようにしてもよい。また、情報の共有は、外部のネットワーク（例えば、システムを構築する設備内に設けた一時的なローカルエリアネットワーク）を介して行われてもよい。これによれば、センサシステム１１０間の接続が途切れている場合であっても、システム全体の機材の設置状況を収集することが可能となる。
【００６８】
図５（Ｂ）は、カメラの姿勢調整を説明するための図である。機材の設置作業において、カメラの設置は、施設の所定の位置に取り付けられる。当該設置位置は、世界座標値であって、Ｘ軸、Ｙ軸、Ｚ軸で定義された空間に、予め用意されたスタジアムの三次元モデルデータに基づいて設定される。カメラの設置済状態とは、水平方向Ｘ軸、鉛直方向Ｙ軸、光軸方向Ｚ軸の座標値が定まった状態である。また、姿勢調整は、この水平方向Ｘ軸、鉛直方向Ｙ軸、光軸方向Ｚ軸の座標値で定まった位置に対して、各軸の回転方向のＸθ、Ｙθ、Ｚθについて調整を行う。本実施形態においては、雲台１１３が上記回転方向の３軸で調整可能な構成になっている。なお、設定された画角に調整するには、カメラの焦点距離も合わせて調整する作業が必要である。
【００６９】
図６は、カメラ運用端末１３０に表示される各カメラの状態を示す図である。横軸には、カメラごとの接続・設置状態に関するタスク名が表示されており、縦軸には、カメラごとのデータが表示されている。カメラごとの接続状態について、例えば、カメラＩＤ（カメラ識別情報）の横のＳＴＡＴＵＳ欄の情報によって、カメラ１１２とカメラアダプタ１１６との間のケーブルの接続状態が表示される。また、レンズＩＤの横のＳＴＡＴＵＳ欄の情報によって、例えばレンズを制御するためのケーブルがカメラアダプタ１１６に接続されているか否かが示される。なお、レンズＩＤの横のＳＴＡＴＵＳ欄の情報は、例えば外部センサ１１４によってレンズが適切に設定されているか否かを監視する準備ができているか否かを示してもよい。この場合、レンズＩＤの横のＳＴＡＴＵＳ欄の情報は、例えばレンズの監視用の外部センサ１１４がカメラアダプタ１１６に接続されているか否かを示す情報であってもよい。また、他のセンサシステム１１０との通信用のケーブルの接続状態や、その他の外部機器との接続状態を示す情報を、図６のようなテーブルの形式で管理されるようにしてもよい。なお、設置状態に関する表示は、ケーブル接続のみではなく、接続されている機器のセルフチェック結果、または、カメラ１１２やカメラアダプタ１１６を施設へ取り付けるための取付金具等への取付状態を含む。
【００７０】
また、設置ＳＴＡＴＵＳ欄６０２は、所定の位置へのカメラ１１２の設置が完了済みか否かを示し、姿勢調整ＳＴＡＴＵＳ欄６０３は、姿勢調整が完了済みか否かを示す。カメラが撮影を実行可能な状態となると、そのカメラに対応する行の全情報が「ＯＫ」となる。なお、少なくとも一部のセンサシステム１１０において、使用されない外部機器については、その状態を示す欄が用意されなくてもよいし、その状態を示す欄に「−」などの記号が記述されてもよい。例えば、図６の例では、カメラＩＤがＣａｍ０３のカメラは、ケーブル等の接続や予め指定された位置への設置は完了しているが、姿勢調整は未完了であることを示している。
【００７１】
本実施形態においては、カメラ１１２を設置すべき位置・姿勢において、撮影すべき画像（撮像範囲）を示すシミュレーション画像（推定画像）を用いて、カメラの姿勢調整を実行する。この姿勢調整時に用いる推定画像は、汎用アプリケーションで生成可能である。推定画像生成にあたり、施設の三次元データ（スタジアム三次元モデルデータ）を必要とする。また、推定画像の生成には、カメラのセンサ情報、カメラを設置すべき位置を示す座標、カメラの取るべき姿勢、焦点距離、目標位置の座標情報等のパラメータが必要である。これらのデータを用いて、三次元空間で、スタジアムの所定の位置にカメラを設置したときに撮影されるべき撮像範囲を示す推定画像推定画像が取得できる。より具体的には、スタジアムの三次元モデルデータをレーザスキャンで点群として取得し、これをメッシュデータに変換する。そして、設置するカメラの位置とそのカメラの目標位置の位置関係からカメラの姿勢を決め、焦点距離を設定することで、コンピュータグラフィックスの技術を用いて、そのカメラから撮影されるであろう画像を生成する。なお、スタジアムのＣＡＤデータ等からも同様のことを実現できる。
【００７２】
この推定画像を、設置するカメラ１１２ごとに生成しておき、カメラ運用端末１３０に、カメラＩＤと関連付けて画像データを記憶させる。なお、推定画像の記憶場所として、各カメラアダプタ１１６に記憶してもよく、各機器のメモリ容量やシステム構成に応じて適宜記憶場所を設定可能である。なお、推定画像は、カメラ運用端末１３０で生成してもよいし、カメラアダプタ１１６、制御ステーション１７０等で生成してもよい。また、本システムには含まれない別のＰＣなどの情報機器を用いて生成してもよい。
【００７３】
図７（Ａ）は、カメラ姿勢調整時に、調整作業の対象となるカメラが撮像しているリアルタイムな画像を、カメラ運用端末１３０で表示した一例である。また、調整対象となるカメラの推定画像の一例を図７（Ｂ）に示す。姿勢調整の作業としては、推定画像（図７（Ｂ））に対して、リアルタイム画像（図７（Ａ））を合わせる。すなわち、作業担当者であるユーザは、リアルタイム画像として表示される画像が推定画像と略等しくなるように、雲台１１３を用いて、パン、チルト、そしてカメラ１１２の焦点距離（ズーム）を調整する。なお、調整の方法として、スタジアムの特徴点（例えば、観客席の角や、ゴールポストなどの競技固有の構造物）を目標として、合わせると作業がしやすい。また、推定画像の上に、調整すべき方向を示す矢印やガイド線などのガイド情報を重畳表示し、このガイド情報を用いて姿勢調整するようにしてもよい。
【００７４】
姿勢調整時のカメラ運用端末１３０の画面としては、例えば、図７（Ｃ）に示すように、リアルタイム画像（Ｒの表示）と推定画像（Ｓの表示）をオーバーレイ（重畳）させて表示させる。また、調整中に各々の画角が大きく異なる場合には、重畳表示では調整しにくい場合もあるので、図７（Ｄ）のようにリアルタイム画像と推定画像とを並べて表示させてもよい。また、図７（Ｃ）、（Ｄ）の表示をユーザの操作または自動で切り替えられるようにしてもよい。例えば、推定画像とリアルタイム画像とを画像解析することにより一致度（類似度）を判定し、各々の画角が大きく異なるときは図７（Ｄ）のように表示し、画角が所定の範囲内に近づくと図７（Ｃ）に切り替えるようにしてもよい。重畳表示と隣接表示のどちらの表示レイアウト（表示形態）をデフォルトで使用するかは、機器の設定として固定にしてもよいし、ユーザにより変更可能にしてもよい。
【００７５】
続いて、図８を用いて、カメラの姿勢調整時の処理の流れについて説明する。なお、図８の処理は、例えば、カメラ運用端末１３０のＣＰＵ１１０１がＲＯＭ１１０２またはＲＡＭ１１０３に格納されたプログラムを実行することによって実現される。この処理は、例えば、図５（Ａ）に示す画像からユーザから調整作業のカメラを指定することにより開始される。
【００７６】
まず、Ｓ８０１では、ＣＰＵ１１０１は、調整作業の対象となるカメラＩＤを読み出す。次に、ＣＰＵ１１０１は、読み出したカメラＩＤに対応する推定画像の読み出しを実行する（Ｓ８０２）。そして、同様にＣＰＵ１１０１は、カメラＩＤに対応するリアルタイム画像の読み出しを実行する（Ｓ８０３）。
【００７７】
Ｓ８０４では、ＣＰＵ１１０１は、推定画像とリアルタイム画像のカメラ運用端末１３０における表示レイアウトの設定値を読み出す。この設定値は、上述したような推定画像とリアルタイム画像を並べて表示するか重畳して表示するかの設定を含む。
【００７８】
Ｓ８０５では、ＣＰＵ１１０１は、読み出した設定値で示される表示レイアウトに従って、推定画像とリアルタイム画像とを同一画面上に表示する。Ｓ８０６では、カメラ運用端末１３０のユーザからの表示レイアウトの変更指示を受け付けたかどうかが判定される。表示レイアウト変更指示を受け付けた場合（Ｓ８０６でＹＥＳ）は、Ｓ８０５に戻り、変更後の表示レイアウトに従って推定画像とリアルタイム画像とが表示される。変更指示を受けなかった場合（Ｓ８０６でＮＯ）は、Ｓ８０７に進む。
【００７９】
ユーザはカメラ運用端末１３０に表示されているリアルタイム画像と推定画像を参照しながら、カメラ１１２の姿勢調整を実行することになる。また、カメラ運用端末１３０の表示内容や表示レイアウトの切替えを行いながら、設置作業を実行することになる。そして、姿勢調整が完了した場合、カメラ運用端末１３０において完了した旨の操作を行う。Ｓ８０７では、ＣＰＵ１１０１は、姿勢調整が完了した旨のユーザ操作が行われたか否かを判定する。姿勢調整が完了した旨の操作が行われた場合（Ｓ８０７でＹＥＳ）は、姿勢調整の処理を終了する。また、当該操作が行われると、図６の姿勢調整ＳＴＡＴＵＳ欄６０３に反映される。また、姿勢調整処理が終了すると、図５（Ａ）の画面に表示を切り替えるようにしてもよい。
【００８０】
以上のように、本実施形態では、各カメラの設置作業を支援すべく、各カメラの設置すべき位置及び姿勢において撮影されるべき推定画像を予め生成しておく。そして、カメラの姿勢調整を行う際には、あらかじめ生成された推定画像を取得し、設置されたカメラにより撮像中のリアルタイム画像と共に表示する。ユーザは表示された推定画像とリアルタイム画像を見比べながらカメラの姿勢を調整することで、撮像領域にマーカーなどを設置せずとも、カメラの姿勢調整を効率的に行うことができる。
【００８１】
＜第２の実施形態＞
第１の実施形態においては、カメラの姿勢調整は、該当するカメラが設置・姿勢調整済の状態を各種パラメータとして与え、生成したシミュレーション画像（推定画像）を用いて、調整作業を実行した。しかしながら、スタジアムなどの施設においては、撮像領域のフィールドが広いため画角によっては、例えば芝生と競技種目のラインしか、撮影されない場合がある。こういった場合に、フィールドのどの位置に画角を合わせてよいか分かりにくい場合があった。本実施形態では、このようなケースにおいても調整作業の作業性を改善するための方法について説明する。
【００８２】
図９は、本実施形態の調整作業を説明するための説明図である。調整作業対象のカメラの広角側リアルタイム画像（図９（Ａ））および広角側推定画像（図９（Ｂ））、最終的な画角に調整中のリアルタイム画像（図９（Ｃ））、調整すべき画角の推定画像（図９（Ｄ））の例を示している。
【００８３】
本実施形態においては、最初から調整すべき画角の推定画像を表示させてリアルタイム画像を合わせこむのではなく、まずは広角側の推定画像を表示させ、広角側のリアルタイム画像を合わせる作業を実行する。広角側の画像には、例えばスタジアムの構造物（観客席など）が画角に入るように設定すると、推定画像に対してリアルタイム画像を合わせこむ作業（姿勢調整）が実行しやすい。そして、広角側で姿勢が調整できたならば、ユーザは、焦点距離を変更して、調整すべき画角に合わせるようにズームすればよい。なお、この広角側の姿勢調整は、厳密に行う必要はなく、最終的な画角において、正確に姿勢調整を行えばよい。
【００８４】
また、焦点距離を変更（ズーム）後、調整すべき方向を示す画像（例えば９０１の矢印）をリアルタイム画像上に重畳させてもよい。また、設定すべき焦点距離を表示し、ユーザが焦点距離を調整するようにしてもよい。さらには、上述の例では、２段階の焦点距離での推定画像の表示の例について説明したが、広角側から調整すべき焦点距離まで、段階的に画角を変更したシミュレーション画像を用意して、表示を切り替えてもよい。すなわち、焦点距離の異なる複数の推定画像の中から、リアルタイム画像と共に表示する画像を選択的に切り替えて表示することができる。
【００８５】
図１０を用いて、本実施形態の機材の設置時の調整処理の流れについて説明する。なお、図１０の処理は、例えば、カメラ運用端末１３０のＣＰＵ１１０１がＲＯＭ１１０２またはＲＡＭ１１０３に格納されたプログラムを実行することによって実現される。この処理は、図８の処理と同様に、例えば図５（Ａ）に示す画像からユーザから調整作業のカメラを指定することにより開始される。
【００８６】
まず、Ｓ１００１では、調整作業の対象となるカメラＩＤが読み出される。次に調整作業ステップ１として、当該カメラＩＤに対応する広角側の推定画像の読み出しが実行される（Ｓ１００２）。そして、同様に当該カメラＩＤに対応するリアルタイム画像の読み出しが実行される（Ｓ１００３）。
【００８７】
Ｓ１００４では、読み出された広角側の推定画像と、リアルタイム画像が同一画面上に表示される。ここで、先述したようにユーザはリアルタイム画像を推定画像に対して合わせこむように、カメラ１１２の姿勢を調整する。Ｓ１００５では、調整作業ステップ１の姿勢調整が完了したか否かが判定される。当該判定は、ユーザによる完了操作が行われたか否かによって判定される。ステップ１の姿勢調整が完了した旨の操作が行われた場合（Ｓ１００５でＹＥＳ）には、処理をＳ１００６に進める。
【００８８】
Ｓ１００６では、ＣＰＵ１１０１は、対象となるカメラＩＤの焦点距離情報を読み出す。この焦点距離情報は、ユーザの操作により変更になった値が、カメラアダプタ１１６から逐次送信され、カメラ運用端末１３０で保持されている。ＣＰＵ１１０１は、この焦点距離情報を用いて、調整作業用に表示する画像を切り替えるかどうかの判断を行う。この判断は、切り替える焦点距離の値を予め閾値として記憶し、その設定値を超えたかどうかを監視することによって実行される。焦点距離情報が設定値を超えた場合（Ｓ１００６でＹＥＳ）は、調整作業ステップ２で、画角調整作業用の画像を切り替える。
【００８９】
調整作業ステップ２として、ＣＰＵ１１０１は、カメラＩＤに対応する設置すべき画角の推定画像の読み出しを実行する（Ｓ１００７）。そして、同様にＣＰＵ１１０１は、カメラＩＤに対応するリアルタイム画像の読み出しを実行する（Ｓ１００８）。そして、Ｓ１００９において、ＣＰＵ１１０１は、読み出した推定画像とリアルタイム画像とを共に表示する。先述したようにユーザはリアルタイム画像を推定画像に対して合わせこむように、カメラ１１２の姿勢を調整する。Ｓ１０１０では、ＣＰＵ１１０１は、ステップ２の姿勢調整が完了した旨のユーザ操作が行われたか否かを判定する。姿勢調整が完了した旨の操作を受け付けた場合（Ｓ１０１０でＹＥＳ）は、姿勢調整の処理を終了する。
【００９０】
なお、上記説明では、推定画像とリアルタイム画像の表示レイアウトについての説明は省略したが、第１の実施形態と同様に、重畳表示と隣接表示とを適宜切り替えながら行ってもよい。
【００９１】
また、上記説明では、Ｓ１００５にてユーザによるステップ１の姿勢調整が完了したかのユーザ操作が行われたことを待ってＳ１００６に進むものとして説明したが、Ｓ１００５の判定は省略してもかまわない。すなわち、焦点距離の値が上記閾値を超えたか否かを判定し、閾値を超えた場合にはステップ１の姿勢調整が完了したとみなして、Ｓ１００７以降のステップ２の姿勢調整作業に進むようにしてもよい。
【００９２】
また、Ｓ１００６の判定処理を省略し、Ｓ１００５にてユーザによるステップ１の調整作業が完了した旨の操作が行われたことをもって、Ｓ１００７以降の処理に進むようにしても構わない。
【００９３】
以上のように、本実施形態では、最終的に調整すべき画角の推定画像のほかに、より画角の広い推定画像を用意し、まずは当該広角側の推定画像とリアルタイム画像を比較することでカメラの姿勢調整を行う。そして、概ね姿勢調整が完了した段階で、最終的に調整すべき画角の推定画像に表示を切り替え、リアルタイム画像を合わせこむように姿勢調整を行う。これにより、最終的な画角の撮像範囲ではターゲットがわかりにくいような位置に設置されるカメラの姿勢調整であっても、効率的に行うことができる。
【００９４】
＜その他の実施形態＞
なお、上記説明では、カメラ１１２の姿勢調整が完了したことをユーザが判断し、ユーザの完了操作をもって姿勢調整を完了済みとする例について説明したが、姿勢調整が完了したか否かを自動的に判定するようにしてもよい。例えば、カメラ運用端末１３０において、公知の画像マッチング技術を用いて推定画像とリアルタイム画像の一致度（類似度）を算出し、算出した値に基づいて姿勢調整が完了したか否かを判定するようにしてもよい。また、カメラ１１２の姿勢調整についても、手動ではなく自動で調整するようにしてもよい。その場合も上記と同様に、カメラ運用端末１３０が推定画像とリアルタイムの一致度を算出し、推定画像とリアルタイム画像が一致するように、姿勢の調整指示をカメラアダプタ１１６に送信する。カメラアダプタ１１６は、受信した指示に基づいて雲台制御部３３３を制御することにより、カメラ１１２の姿勢を自動的に調整することができる。また、自動調整した後、微調整のためにユーザがさらに手動で調整しても構わない。
【００９５】
また、上記説明では、２つの目標位置を設定し、２６台のカメラ１１２がそのいずれに光軸を向けるよう姿勢を調整する例について説明したが、目標位置の数はこれに限るものではない。例えば、すべてのカメラ１１２の目標位置を異なる位置に設定した場合であっても、適用可能である。
【００９６】
また、上記説明では、カメラ運用端末１３０において推定画像やリアルタイム画像を表示し、カメラ１１２の姿勢調整を支援する方法について説明したが、他の装置を用いても構わない。例えば、カメラアダプタ１１６や制御ステーション１７０にて上記の画面を表示し、調整作業を行うユーザを支援するようにしてもよい。その場合、例えば制御ステーション１７０から、推定画像を記憶しているカメラ運用端末１３０等に対して、調整対象のカメラＩＤを送信し、対応する推定画像を取得して表示するようにすればよい。また、制御ステーション１７０を操作している管理者は、カメラ１１２の調整作業をしているユーザに対して電話等で具体的な調整内容を指示してもよいし、カメラアダプタ１１６を介した遠隔操作によりカメラ１１２の姿勢を調整してもよい。
【００９７】
また、上記説明では、複数のカメラにより撮像領域を異なる方向から撮像した画像と、指定された仮想視点とに基づいて生成される仮想視点画像生成システムに関して説明したが、他のカメラシステムにも適用可能である。
【００９８】
例えば、複数のカメラにより異なる方向から撮像した画像を、適宜切り替えて表示するシステムや、複数のカメラがそれぞれ異なる領域を撮影する監視カメラシステムにも適用可能である。また、複数のカメラで撮像するシステムに限らず、１台のカメラで撮像する場合であって、そのカメラの設置位置、姿勢を予め決められた位置、姿勢に調整するようなユースケースにも、適用可能である。
【００９９】
以上のように、上記各実施形態では、撮像装置を設置すべき位置及び姿勢において撮像されるべき撮像範囲を示す画像を、実際に当該撮像装置が現在設置されている位置及び姿勢において撮像された画像と、を比較可能に表示する。これにより、撮像装置の設置作業を行うユーザは、当該画像を見比べながら撮像装置の姿勢を調整することで、撮像装置の姿勢調整を容易かつ効率的に行うことが可能となる。
【０１００】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０１】
１００  画像処理システム
１１０  センサシステム
１１６  カメラアダプタ
１２０  スイッチングハブ
１３０  カメラ運用端末
１４０  画像コンピューティングサーバ
１５０  画像生成装置
１６０  仮想カメラ操作端末
１７０  制御ステーション
【図１】
2020188395.tif 000003
【図２】
2020188395.tif 000004
【図３】
2020188395.tif 000005
【図４】
2020188395.tif 000006
【図５】
2020188395.tif 000007
【図６】
2020188395.tif 000008
【図７】
2020188395.tif 000009
【図８】
2020188395.tif 000010
【図９】
2020188395.tif 000011
【図１０】
2020188395.tif 000012
【図１１】
2020188395.tif 000013