(57)【要約】【課題】生成される仮想視点画像の画質劣化を抑制しつつ、当該仮想視点画像を生成するためのシステム内で伝送されるデータ量を削減すること。【解決手段】複数の異なる方向からの撮影に基づく複数の画像の少なくとも一部を、指定された仮想視点に基づく仮想視点画像を生成する画像処理装置に転送する情報処理装置は、撮影装置による撮影に基づく画像を取得する画像取得手段と、撮影装置の位置及び向きの少なくとも何れかに関するカメラ視点情報を取得する第１取得手段と、仮想視点の位置及び向きの少なくとも何れかに関する仮想視点情報を取得する第２取得手段と、カメラ視点情報及び仮想視点情報に基づいて、取得した画像の情報量を削減する削減手段と、情報量が削減された画像を画像処理装置に送信する送信手段と、を備える。【選択図】  図６
2019103067.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる方向からの撮影に基づく複数の画像の少なくとも一部を、指定された仮想視点に基づく仮想視点画像を生成する画像処理装置に転送する情報処理装置であって、
撮影装置による撮影に基づく画像を取得する画像取得手段と、
前記撮影装置の位置及び向きの少なくとも何れかに関するカメラ視点情報を取得する第１取得手段と、
前記仮想視点の位置及び向きの少なくとも何れかに関する仮想視点情報を取得する第２取得手段と、
前記カメラ視点情報及び前記仮想視点情報に基づいて、前記取得した画像の情報量を削減する削減手段と、
前記情報量が削減された画像を前記画像処理装置に送信する送信手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記カメラ視点情報は、前記撮影装置の光軸の向きを示す情報を含み、
前記仮想視点情報は、前記仮想視点の光軸の向きを示す情報を含み、
前記削減手段は、前記撮影装置の光軸の向きと、前記仮想視点の光軸の向きとの差異に基づいて、前記取得した画像の情報量を削減するか否か判断する、ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第２取得手段は、複数の仮想視点に関する仮想視点情報を取得し、
前記削減手段は、前記撮影装置の光軸の向きと、前記複数の仮想視点の光軸の向きとのそれぞれの差異に基づいて、前記取得した画像の情報量を削減するか否か判断する、ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記削減手段は、前記差異が所定の値より大きい場合に、前記取得した画像の情報量を削減する、請求項３に記載の情報処理装置。
【請求項５】
前記削減手段は、前記取得した画像の色および／または形状に関する情報を削減する、ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記削減手段は、前記取得した画像に含まれるオブジェクトに関する情報を削減する、ことを特徴とする請求項４または請求項５に記載の情報処理装置。
【請求項７】
前記削減手段は、前記オブジェクトに関する色および／または形状の情報を削減する処理を行う、ことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記削減手段は、前記取得した画像のフレームレートを削減する、ことを特徴とする請求項４から請求項７のいずれか一項に記載の情報処理装置。
【請求項９】
被写体を複数の異なる方向から撮影する複数の撮影装置の位置及び向きの少なくとも何れかに関する情報を取得する第１取得手段と、
仮想視点の位置及び向きの少なくとも何れかに関する情報を取得する第２取得手段と、
前記複数の撮影装置及び前記仮想視点の位置及び向きの少なくとも何れかに関する情報に基づいて、前記複数の撮影装置の撮影画像の中から選択した撮影画像の情報量を削減する削減手段と、
前記情報量を削減した撮影画像を記憶装置に書き込む書き込み手段と、を備えることを特徴とする情報処理装置。
【請求項１０】
被写体を複数の異なる方向から撮影する複数の撮影装置の位置及び向きの少なくとも何れかに関する情報を取得する第１取得手段と、
仮想視点の位置及び向きの少なくとも何れかに関する情報を取得する第２取得手段と、
前記複数の撮影装置及び前記仮想視点の位置に関する情報に基づいて、前記複数の撮影装置の撮影画像の中から選択した撮影画像の情報量を削減する削減手段と、
前記情報量を削減した撮影画像を保持する保持手段と、を備えることを特徴とする記憶装置。
【請求項１１】
被写体を複数の異なる方向から撮影する複数の撮影装置の撮影画像を保持する保持手段と、
前記撮影画像の読み出し要求を受け付ける受け付け手段と、
前記読み出し要求に対応する撮影画像を撮影した撮影装置の位置及び向きの少なくとも何れかに関する情報を取得する第１取得手段と、
仮想視点の位置及び向きの少なくとも何れかに関する情報を取得する第２取得手段と、
前記撮影装置及び前記仮想視点の位置及び向きの少なくとも何れかに関する情報に基づいて、前記読み出し要求に対応する撮影画像の情報量を削減する削減手段と、
前記情報量を削減した撮影画像を出力する出力手段と、を備えることを特徴とする記憶装置。
【請求項１２】
被写体を複数の異なる方向から撮影する複数の撮影装置の撮影画像を記憶する記憶装置から前記撮影画像を読み出し、指定された仮想視点に基づく仮想視点画像を生成する画像処理装置であって、
前記撮影装置の位置及び向きの少なくとも何れかに関する情報を取得する第１取得手段と、
前記仮想視点の位置及び向きの少なくとも何れかに関する情報を取得する第２取得手段と、
前記仮想視点に基づいて、前記記憶装置に対し前記撮影画像の読み出し要求を行う要求手段と、
前記読み出し要求に応じて取得した撮影画像を用いて、前記指定された仮想視点に基づく仮想視点画像を生成する仮想視点画像生成手段と、を備え、
前記要求手段は、前記撮影装置及び前記仮想視点の位置及び向きの少なくとも何れかに関する情報に基づいて、情報量を削減した撮影画像の読み出し要求を行う、ことを特徴とする画像処理装置。
【請求項１３】
被写体を複数の異なる方向から撮影する複数の撮影装置の撮影画像を記憶する記憶装置から前記撮影画像を読み出し、指定された仮想視点に基づく仮想視点画像を生成する仮想視点画像生成手段を備える画像処理装置であって、
前記撮影装置の位置及び向きの少なくとも何れかに関する情報を取得する第１取得手段と、
前記仮想視点の位置及び向きの少なくとも何れかに関する情報を取得する第２取得手段と、
前記仮想視点に基づいて、前記撮影画像の読み出し要求を行う要求手段と、
前記読み出し要求に応じて取得した撮影画像のうち、前記撮影装置及び前記仮想視点の位置及び向きの少なくとも何れかに関する情報に基づいて、撮影画像の情報量を削減する削減手段と、を備え、
前記削減手段は、前記情報量が削減された撮影画像を前記仮想視点画像生成手段に提供することを特徴とする画像処理装置。
【請求項１４】
被写体を複数の異なる方向から撮影する複数の撮影装置と、
前記複数の撮影装置で撮影された撮影画像から、指定された仮想視点に基づく仮想視点画像を生成する画像処理装置と、
前記撮影装置の撮影画像を前記画像処理装置に転送する情報処理装置と、を備える画像処理システムであって、
前記撮影装置から撮影画像を取得する画像取得手段と、
前記撮影装置の位置及び向きの少なくとも何れかに関する情報を取得する第１取得手段と、
前記仮想視点の位置及び向きの少なくとも何れかに関する情報を取得する第２報取得手段と、
前記撮影装置及び前記仮想視点の位置及び向きの少なくとも何れかに関する情報に基づいて、前記取得した撮影画像について情報量を削減する削減手段と、を備えることを特徴とする画像処理システム。
【請求項１５】
前記情報量を削減した撮影画像を保持する記憶装置をさらに備えることを特徴とする請求項１４に記載の画像処理システム。
【請求項１６】
複数の異なる方向からの撮影に基づく複数の画像の少なくとも一部を、指定された仮想視点に基づく仮想視点画像を生成する画像処理装置に転送する情報処理装置の制御方法であって、
撮影装置による撮影に基づく画像を取得する画像取得工程と、
前記撮影装置の位置及び向きの少なくとも何れかに関するカメラ視点情報を取得する第１取得工程と、
前記仮想視点の位置及び向きの少なくとも何れかに関する仮想視点情報を取得する第２取得工程と、
前記カメラ視点情報及び前記仮想視点情報に基づいて、前記取得した画像の情報量を削減する削減工程と、
前記情報量が削減された画像を前記画像処理装置に送信する送信工程と、
を備えることを特徴とする情報処理装置の制御方法。
【請求項１７】
被写体を複数の異なる方向から撮影する複数の撮影装置の位置及び向きの少なくとも何れかに関する情報を取得する第１取得工程と、
仮想視点の位置及び向きの少なくとも何れかに関する情報を取得する第２取得工程と、
前記複数の撮影装置及び前記仮想視点の位置及び向きの少なくとも何れかに関する情報に基づいて、前記複数の撮影装置の撮影画像の中から選択した撮影画像の情報量を削減する削減工程と、
前記情報量を削減した撮影画像を記憶装置に書き込む書き込み工程と、を備えることを特徴とする情報処理装置の制御方法。
【請求項１８】
被写体を複数の異なる方向から撮影する複数の撮影装置の位置及び向きの少なくとも何れかに関する情報を取得する第１取得工程と、
仮想視点の位置及び向きの少なくとも何れかに関する情報を取得する第２取得工程と、
前記複数の撮影装置及び前記仮想視点の位置に関する情報に基づいて、前記複数の撮影装置の撮影画像の中から選択した撮影画像の情報量を削減する削減工程と、
前記情報量を削減した撮影画像を保持する保持工程と、を備えることを特徴とする記憶装置の制御方法。
【請求項１９】
被写体を複数の異なる方向から撮影する複数の撮影装置の撮影画像を保持する保持工程と、
前記撮影画像の読み出し要求を受け付ける受け付け工程と、
前記読み出し要求に対応する撮影画像を撮影した撮影装置の位置及び向きの少なくとも何れかに関する情報を取得する第１取得工程と、
仮想視点の位置及び向きの少なくとも何れかに関する情報を取得する第２取得工程と、
前記撮影装置及び前記仮想視点の位置及び向きの少なくとも何れかに関する情報に基づいて、前記読み出し要求に対応する撮影画像の情報量を削減する削減工程と、
前記情報量を削減した撮影画像を出力する出力工程と、を備えることを特徴とする記憶装置の制御方法。
【請求項２０】
被写体を複数の異なる方向から撮影する複数の撮影装置の撮影画像を記憶する記憶装置から前記撮影画像を読み出し、指定された仮想視点に基づく仮想視点画像を生成する画像処理装置の制御方法であって、
前記撮影装置の位置及び向きの少なくとも何れかに関する情報を取得する第１取得工程と、
前記仮想視点の位置及び向きの少なくとも何れかに関する情報を取得する第２取得工程と、
前記仮想視点に基づいて、前記記憶装置に対し前記撮影画像の読み出し要求を行う要求工程と、
前記読み出し要求に応じて取得した撮影画像を用いて、前記指定された仮想視点に基づく仮想視点画像を生成する仮想視点画像生成工程と、を備え、
前記要求工程は、前記撮影装置及び前記仮想視点の位置及び向きの少なくとも何れかに関する情報に基づいて、情報量を削減した撮影画像の読み出し要求を行う、ことを特徴とする画像処理装置の制御方法。
【請求項２１】
被写体を複数の異なる方向から撮影する複数の撮影装置の撮影画像を記憶する記憶装置から前記撮影画像を読み出し、指定された仮想視点に基づく仮想視点画像を生成する仮想視点画像生成手段を備える画像処理装置の制御方法であって、
前記撮影装置の位置及び向きの少なくとも何れかに関する情報を取得する第１取得工程と、
前記仮想視点の位置及び向きの少なくとも何れかに関する情報を取得する第２取得工程と、
前記仮想視点に基づいて、前記撮影画像の読み出し要求を行う要求工程と、
前記読み出し要求に応じて取得した撮影画像のうち、前記撮影装置及び前記仮想視点の位置及び向きの少なくとも何れかに関する情報に基づいて、撮影画像の情報量を削減する削減工程と、を備え、
前記削減工程は、前記情報量が削減された撮影画像を前記仮想視点画像生成手段に提供することを特徴とする画像処理装置の制御方法。
【請求項２２】
被写体を複数の異なる方向から撮影する複数の撮影装置と、
前記複数の撮影装置で撮影された撮影画像から、指定された仮想視点に基づく仮想視点画像を生成する画像処理装置と、
前記撮影装置の撮影画像を前記画像処理装置に転送する情報処理装置と、を備える画像処理システムの制御方法であって、
前記撮影装置から撮影画像を取得する画像取得工程と、
前記撮影装置の位置及び向きの少なくとも何れかに関する情報を取得する第１取得工程と、
前記仮想視点の位置及び向きの少なくとも何れかに関する情報を取得する第２報取得工程と、
前記撮影装置及び前記仮想視点の位置及び向きの少なくとも何れかに関する情報に基づいて、前記取得した撮影画像について情報量を削減する削減工程と、を備えることを特徴とする画像処理システムの制御方法。
【請求項２３】
コンピュータに、請求項１６から請求項２２のいずれか一項に記載の制御方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を複数の方向から撮影するための複数のカメラからの撮影画像を伝送する技術に関する。
【背景技術】
【０００２】
昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数の撮影画像（複数視点画像）を用いて仮想視点コンテンツを生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることが出来る。
【０００３】
複数視点画像に基づく仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、当該画像処理部にて、三次元モデル生成、レンダリングなどの処理を施し、ユーザ端末に伝送を行うことで実現できる。
【０００４】
特許文献１では、複数のカメラをそれぞれとペアとなる制御ユニットを介して光ファイバで接続し、制御ユニットに各カメラの画像フレームを蓄積し、蓄積された画像フレームを使って連続的な動きを表現する画像出力を行うことについて記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第７１０６３６１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複数の撮影画像から仮想視点画像を生成する画像処理システムでは、複数のカメラによる撮影に基づく複数の画像がシステム内で伝送される。ここで、伝送される複数の画像のデータ量に応じた十分な通信帯域を確保することができない場合、仮想視点画像の生成に遅延が生じたり仮想視点画像が生成できなくなったりする恐れがあった。
【０００７】
一方、伝送される画像のデータ量を削減するために、伝送される画像に一律に圧縮処理などを行った場合、生成される仮想視点画像の画質が大きく劣化する恐れがあった。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、生成される仮想視点画像の画質劣化を抑制しつつ、当該仮想視点画像を生成するためのシステム内で伝送されるデータ量を削減することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係る情報処理装置は、以下の構成であることを特徴とする。すなわち、複数の異なる方向からの撮影に基づく複数の画像の少なくとも一部を、指定された仮想視点に基づく仮想視点画像を生成する画像処理装置に転送する情報処理装置は、撮影装置による撮影に基づく画像を取得する画像取得手段と、撮影装置の位置及び向きの少なくとも何れかに関するカメラ視点情報を取得する第１取得手段と、仮想視点の位置及び向きの少なくとも何れかに関する仮想視点情報を取得する第２取得手段と、カメラ視点情報及び仮想視点情報に基づいて、取得した画像の情報量を削減する削減手段と、情報量が削減された画像を画像処理装置に送信する送信手段と、を備える。
【発明の効果】
【００１０】
本発明によれば、生成される仮想視点画像の画質劣化を抑制しつつ、当該仮想視点画像を生成するためのシステム内で伝送されるデータ量を削減することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１に係る画像処理システム１００の構成図。
【図２】カメラアダプタ１２０の機能構成を説明するためのブロック図。
【図３】カメラアダプタ１２０のハードウェア構成を示すブロック図。
【図４】実施の形態１に係るサッカースタジアムの例を示す図。
【図５】カメラアダプタ間のデータの流れを表す図。
【図６】実施の形態１に係る画像処理部６１３０においてフレームごとに行われるデータ量削減の処理フロー。
【図７】仮想視点の光軸の向きとカメラ１１２ｂの光軸の向きとを示した図。
【図８】実施の形態２に係る画像処理システム１００の構成図。
【図９】実施の形態２に係る画像処理部６１３０においてフレームごとに行われるデータ量削減の処理フロー。
【図１０】実施の形態３に係るフロントエンドサーバ２３０の構成図。
【図１１】実施の形態３に係るデータ量削減の処理フロー。
【図１２】カメラの選択方法を説明するための図。
【図１３】実施の形態４に係るデータベース２５０の構成図。
【図１４】実施の形態５に係るデータベース２５０の構成図。
【図１５】実施の形態６に係るバックエンドサーバ２７０の構成図。
【図１６】データ選択処理部２７５０の読み出しデータ指定の処理フロー。
【図１７】実施の形態７に係るバックエンドサーバ２７０の構成図。
【発明を実施するための形態】
【００１２】
以下、図面に従って本発明に係る実施形態を詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜実施の形態１＞
まず、実施の形態１の前提となる、競技場（スタジアム）やコンサートホールなどの施設に複数のカメラ及びマイクを設置し撮影及び収音を行う仮想視点コンテンツ生成システムの例について、図１を用いて説明する。
【００１３】
図１は、実施の形態１に係る画像処理システム１００の一例を示す構成図である。図１を参照すると、画像処理システム１００は、センサシステム１１０ａ，...，１１０ｚと、画像コンピューティングサーバ２００と、コントローラ３００と、スイッチングハブ１８０と、エンドユーザ端末１９０とを含む。
【００１４】
センサシステム１１０ａ，...，センサシステム１１０ｚの２６セットで取得される画像及び音声をセンサシステム１１０ｚから画像コンピューティングサーバ２００へ送信する動作について説明する。
【００１５】
画像処理システム１００では、センサシステム１１０ａ，...，センサシステム１１０ｚがデイジーチェーンにより接続される。以下、特別な説明がない場合は、センサシステム１１０ａからセンサシステム１１０ｚまでの２６セットのシステムを区別せずセンサシステム１１０と記載する。また、各センサシステム１１０内の装置についても同様に、特別な説明がない場合は区別せず、マイク１１１、カメラ１１２、雲台１１３及びカメラアダプタ１２０と記載する。なお、センサシステムの台数として２６セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。ここで、特に断りがない限り、画像という文言は、動画と静止画の概念を含むものとして説明する。すなわち、画像処理システム１００は、静止画及び動画の何れについても処理可能である。
【００１６】
また、本実施形態では、画像処理システム１００により提供される仮想視点コンテンツには、仮想視点画像と仮想視点音声が含まれる例を中心に説明するが、これに限らない。例えば、仮想視点コンテンツに音声が含まれていなくても良い。また例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより集音された音声であっても良い。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声は共に処理されるものとする。
【００１７】
センサシステム１１０ａ，...，１１０ｚは、それぞれ１台ずつのカメラ１１２ａ，...，１１２ｚを含む。すなわち、画像処理システム１００は、同一の被写体を複数の方向から撮影するための複数の撮影装置を有する。複数のセンサシステム１１０同士は、デイジーチェーンにより接続される。
【００１８】
なおこれに限らず、接続形態として、各センサシステム１１０ａ，...，１１０ｚがスイッチングハブ１８０に接続されて、スイッチングハブ１８０を経由してセンサシステム１１０間のデータ送受信を行うスター型のネットワーク構成としてもよい。
【００１９】
また、図１では、デイジーチェーンとなるようセンサシステム１１０ａ，...，１１０ｚの全てがカスケード接続されている構成を示したがこれに限定するものではない。例えば、複数のセンサシステム１１０をいくつかのグループに分割して、分割したグループ単位でセンサシステム１１０間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタ１２０がスイッチングハブに接続されて画像コンピューティングサーバ２００へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいて特に有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム１１０を配備する場合が考えられる。この場合に、フロア毎、あるいはスタジアムの半周毎に画像コンピューティングサーバ２００への入力を行うことができ、全センサシステム１１０を１つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。
【００２０】
また、デイジーチェーン接続されて画像コンピューティングサーバ２００へ画像入力を行うカメラアダプタ１２０が１つであるか２つ以上であるかに応じて、画像コンピューティングサーバ２００での画像処理の制御が切り替えられる。すなわち、センサシステム１１０が複数のグループに分割されているかどうかに応じて制御が切り替えられる。画像入力を行うカメラアダプタ１２０が１つの場合は、デイジーチェーン接続で画像伝送を行いながら競技場全周画像が生成されるため、画像コンピューティングサーバ２００において全周の画像データが揃うタイミングは同期がとられている。すなわち、センサシステム１１０がグループに分割されていなければ、同期はとれる。
【００２１】
センサシステム１１０は、マイク１１１と、カメラ１１２と、雲台１１３と、カメラアダプタ１２０とを含んで構成されるが、この構成に限定するものではない。少なくとも１台のカメラアダプタ１２０と、１台のカメラ１１２または１台のマイク１１１を有していれば良い。また例えば、センサシステム１１０は１台のカメラアダプタ１２０と、複数のカメラ１１２で構成されてもよいし、１台のカメラ１１２と複数のカメラアダプタ１２０で構成されてもよい。即ち、画像処理システム１００内の複数のカメラ１１２と複数のカメラアダプタ１２０は、Ｎ対Ｍ（ＮとＭは共に１以上の整数）で対応する。また、センサシステム１１０は、マイク１１１、カメラ１１２、雲台１１３、及びカメラアダプタ１２０以外の装置を含んでいてもよい。また、カメラ１１２とカメラアダプタ１２０が一体となって構成されていてもよい。さらに、カメラアダプタ１２０の機能の少なくとも一部をフロントエンドサーバ２３０が有していてもよい。本実施形態では、センサシステム１１０ｂ，...，１１０ｚについては、センサシステム１１０ａと同様の構成なので省略する。なお、センサシステム１１０ａと同じ構成に限定されるものではなく、其々のセンサシステム１１０が異なる構成でもよい。
【００２２】
マイク１１１ａにて収音された音声と、カメラ１１２ａにて撮影された画像は、カメラアダプタ１２０ａにおいて後述の画像処理が施された後、デイジーチェーン１７０ａを通してセンサシステム１１０ｂのカメラアダプタ１２０ｂに伝送される。同様にセンサシステム１１０ｂは、収音された音声と撮影された画像を、センサシステム１１０ａから取得した画像及び音声と合わせてセンサシステム１１０ｃに伝送する。
【００２３】
前述した動作を続けることにより、センサシステム１１０ａ，...，センサシステム１１０ｚが取得した画像及び音声は、センサシステム１１０ｚから１８０ｂを用いてスイッチングハブ１８０に伝わり、その後、画像コンピューティングサーバ２００へ伝送される。
【００２４】
なお、本実施の形態では、カメラ１１２ａ，...，１１２ｚとカメラアダプタ１２０ａ，...，１２０ｚが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク１１１ａ，...，１１１ｚは一体化されたカメラ１１２に内蔵されてもよいし、カメラ１１２の外部に接続されていてもよい。
【００２５】
次に、画像コンピューティングサーバ２００の構成及び動作について説明する。本実施形態の画像コンピューティングサーバ２００は、センサシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ２００はフロントエンドサーバ２３０、データベース２５０（以下、ＤＢとも記載する。）、バックエンドサーバ２７０、タイムサーバ２９０を有する。
【００２６】
タイムサーバ２９０は時刻及び同期信号を配信する機能を有し、スイッチングハブ１８０を介してセンサシステム１１０ａ，...，センサシステム１１０ｚに時刻及び同期信号を配信する。時刻と同期信号を受信したカメラアダプタ１２０ａ，...，１２０ｚは、カメラ１１２ａ，...，１１２ｚを時刻と同期信号をもとにＧｅｎｌｏｃｋさせ画像フレーム同期を行う。即ち、タイムサーバ２９０は、複数のカメラ１１２の撮影タイミングを同期させる。また、撮影した画像データにタイムコード等の情報を付加することにより、画像処理システム１００は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。なお、本実施形態ではタイムサーバ２９０が複数のカメラ１１２の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各カメラ１１２又は各カメラアダプタ１２０が独立して行ってもよい。
【００２７】
フロントエンドサーバ２３０は、センサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換した後に、カメラの識別子やデータ種別、フレーム番号に応じてデータベース２５０に書き込む。
【００２８】
データベース２５０は、センサシステム１１０ｚから取得した、各センサシステム１１０からの各フレームや画像データの受信状況を状態管理テーブルで管理する。例えば、各時刻と各カメラについて画像データが届いていなければ０、届いていれば１のフラグを立てることで対応できる。また、所定の時間ごと（例えば、１秒間）に全て届いていれば１を届いていない場合は所定時間内の各時刻と各カメラについて同様のフラグを立てることで管理できる。
【００２９】
バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０から仮想視点の指定を受け付ける。そして、受け付けた視点に基づいて、データベース２５０から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。この時、データベース２５０は、バックエンドサーバ２７０からの読み出し要求に対して、状態管理テーブルの受信状況に合わせてバックエンドサーバ２７０にデータを提供する。レンダリング処理された仮想視点画像は、バックエンドサーバ２７０からエンドユーザ端末１９０に送信される。そして、エンドユーザ端末１９０を操作するユーザは、視点の指定に応じた画像閲覧及び音声視聴ができる。すなわち、バックエンドサーバ２７０は、複数のカメラ１１２により撮影された撮影画像（複数視点画像）と仮想視点情報とに基づく仮想視点コンテンツを生成する。本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。言い換えると、仮想視点画像は、指定された視点における見えを表す画像であるとも言える。仮想的な視点（仮想視点）は、ユーザにより指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。また、バックエンドサーバ２７０は、仮想視点画像をＨ．２６４やＨＥＶＣに代表される標準技術により圧縮符号化したうえで、ＭＰＥＧ−ＤＡＳＨプロトコルを使ってエンドユーザ端末１９０へ送信してもよい。
【００３０】
この様に、画像処理システム１００は、映像収集ドメイン、データ保存ドメイン、及び映像生成ドメインという３つの機能ドメインを有する。映像収集ドメインは、センサシステム１１０ａ，...，１１０ｚを含む。データ保存ドメインは、データベース２５０、フロントエンドサーバ２３０及びバックエンドサーバ２７０を含む。映像生成ドメインは、仮想カメラ操作ＵＩ３３０及びエンドユーザ端末１９０を含む。なお本構成に限らず、例えば、仮想カメラ操作ＵＩ３３０が直接センサシステム１１０ａ，...，１１０ｚから画像を取得する事も可能である。しかしながら、本実施形態では、センサシステム１１０ａ，...，１１０ｚから直接画像を取得する方法ではなくデータ保存機能を中間に配置する方法をとる。具体的には、フロントエンドサーバ２３０がセンサシステム１１０ａ，...，１１０ｚが生成した画像データや音声データ及びそれらのデータのメタ情報をデータベース２５０の共通スキーマ及びデータ型に変換している。
【００３１】
コントローラ３００は、制御ステーション３１０と、仮想カメラ操作ＵＩ３３０とを含む。制御ステーション３１０は、画像処理システム１００を構成するそれぞれのブロックに対して、ネットワーク３１０ａ，...，３１０ｄ、１８０ａ、１８０ｂ、及び１７０ａ，...，１７０ｙを通じて動作状態の管理及びパラメータ設定制御などを行う。
【００３２】
仮想カメラ操作ＵＩ３３０は、直接データベース２５０にアクセスせずにバックエンドサーバ２７０を介してアクセスする構成である。バックエンドサーバ２７０で画像生成処理に係わる共通処理を行い、操作ＵＩに係わるアプリケーションの差分部分を仮想カメラ操作ＵＩ３３０で行っている。このことにより、仮想カメラ操作ＵＩ３３０の開発において、ＵＩ操作デバイスや、生成したい仮想視点画像を操作するＵＩの機能要求に対する開発に注力する事ができる。また、バックエンドサーバ２７０は、仮想カメラ操作ＵＩ３３０の要求に応じて画像生成処理に係わる共通処理を追加又は削除する事も可能である。このことによって仮想カメラ操作ＵＩ３３０の要求に柔軟に対応する事ができる。
【００３３】
このように、画像処理システム１００においては、被写体を複数の方向から撮影するための複数のカメラ１１２による撮影に基づく画像データに基づいて、バックエンドサーバ２７０により仮想視点画像が生成される。なお、本実施形態における画像処理システム１００は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。
【００３４】
図２は、カメラアダプタ１２０の機能構成を説明するためのブロック図である。
【００３５】
カメラアダプタ１２０は、情報処理装置の一例であり、ネットワークアダプタ６１１０と、伝送部６１２０と、画像処理部６１３０と、外部機器制御部６１４０と、を含む。ネットワークアダプタ６１１０は、データ送受信部６１１１と、時刻制御部６１１２とを含む。
【００３６】
データ送受信部６１１１は、デイジーチェーン１７０、ネットワーク２９１、及びネットワーク３１０ａを介し他のカメラアダプタ１２０、フロントエンドサーバ２３０、タイムサーバ２９０、及び制御ステーション３１０とデータ通信を行う。例えば、データ送受信部６１１１は、カメラ１１２による撮影画像から前景背景分離部６１３１により分離された前景画像と背景画像とを、別のカメラアダプタ１２０に対して出力する。各カメラアダプタ１２０が前景画像と背景画像とを出力することで、複数の視点からの撮影に基づく前景画像と背景画像を用いた仮想視点画像が画像処理システム１００により生成される。なお、撮影画像から分離した前景画像を出力して背景画像は出力しないカメラアダプタ１２０が存在してもよい。また、前景画像と背景画像の分離は後述する画像コンピューティングサーバ２００の内部で行ってもよい。
【００３７】
時刻制御部６１１２は、例えば、ＩＥＥＥ１５８８規格のＯｒｄｉｎａｙ  Ｃｌｏｃｋに準拠し、タイムサーバ２９０との間で送受信したデータのタイムスタンプを保存する機能を有する。そして、タイムサーバ２９０と時刻同期を行う。なお、ＩＥＥＥ１５８８に限定する訳ではなく、他のＥｔｈｅｒＡＶＢ規格や、独自プロトコルによってタイムサーバ２９０との時刻同期を実現してもよい。本実施形態では、ネットワークアダプタ０６１１０としてＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）を利用するが、ＮＩＣに限定するものではなく、同様の他のＩｎｔｅｒｆａｃｅを利用してもよい。また、ＩＥＥＥ１５８８はＩＥＥＥ１５８８−２００２、ＩＥＥＥ１５８８−２００８のように標準規格として更新されており、後者については、ＰＴＰｖ２（Ｐｒｅｃｉｓｉｏｎ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ  Ｖｅｒｓｉｏｎ２）とも呼ばれる。
【００３８】
伝送部６１２０は、ネットワークアダプタ６１１０を介してスイッチングハブ１８０等に対するデータの伝送を制御する機能を有し、以下の機能部から構成されている。
【００３９】
時刻同期制御部６１２３は、ＩＥＥＥ１５８８規格のＰＴＰ（Ｐｒｅｃｉｓｉｏｎ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）に準拠し、タイムサーバ２９０と時刻同期に係わる処理を行う機能を有している。なお、ＰＴＰに限定するのではなく他の同様のプロトコルを利用して時刻同期してもよい。
【００４０】
画像・音声伝送処理部６１２４は、画像データ又は音声データを、データ送受信部６１１１を介して他のカメラアダプタ１２０またはフロントエンドサーバ２３０へ転送するためのメッセージを作成する機能を有している。メッセージには画像データ又は音声データ、及び各データのメタ情報が含まる。本実施形態のメタ情報には画像の撮影または音声のサンプリングをした時のタイムコードまたはシーケンス番号、データ種別、及びカメラ１１２やマイク１１１の個体を示す識別子などが含まれる。また、画像・音声伝送処理部６１２４は、他のカメラアダプタ１２０からデータ送受信部０６１１１を介してメッセージを受取る。そして、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズにフラグメントされたデータ情報を画像データまたは音声データに復元する。
【００４１】
画像処理部６１３０は、カメラ制御部６１４１の制御によりカメラ１１２が撮影した画像データを取得する。そして、取得したデータに対して次に説明する処理を行う機能を有し、以下の機能部から構成されている。
【００４２】
前景背景分離部６１３１は、カメラ１１２の撮影した画像データを取得する。すなわち、前景背景分離部６１３１は、撮影画像を取得する画像取得手段として機能する。そして、前景背景分離部６１３１は、撮影画像を前景画像と背景画像に分離する処理を行う。複数のカメラアダプタ１２０それぞれの前景背景分離部６１３１は、複数のカメラ１１２のうち対応するカメラ１１２による撮影画像から所定領域を抽出する。所定領域は、例えば撮影画像に対するオブジェクト検出の結果得られる前景画像であり、この抽出により前景背景分離部６１３１は、撮影画像を前景画像とそれ以外の部分である背景画像に分離する。
【００４３】
なお、オブジェクトとは、例えば人物である。ただし、オブジェクトが特定人物（選手、監督、及び／又は審判など）であっても良いし、ボール等の画像パターンが予め定められている物体であっても良い。また、オブジェクトとして、動体が検出されるようにしても良い。人物等の重要なオブジェクトを含む前景画像とそのようなオブジェクトを含まない背景画像を分離して処理することで、画像処理システム１００において生成される仮想視点画像の上記のオブジェクトに該当する部分の画像の品質を向上できる。また、前景画像と背景画像の分離を複数のカメラアダプタ１２０それぞれが行うことで、複数のカメラ１１２を備えた画像処理システム１００における負荷を分散させることができる。なお、抽出される所定領域は前景画像に限らず、例えば背景画像であってもよい。また、本実施形態ではカメラアダプタ１２０が前景背景分離を行うものとするが、これに限らず、フロントエンドサーバ２３０などシステム内の他の装置が、各カメラで取得された撮影画像を前景画像と背景画像に分離してもよい。
【００４４】
データ選択処理部６１３２は、仮想視点位置情報取得部６１３５とカメラ位置情報取得部６１３６で取得した情報に基づいて、前景背景分離部６１３１で分離した前景画像と背景画像のデータのうち、情報量を削減するデータを選択する。そして、選択したデータについては情報量を削減してデータ送受信部６１１１に転送する。すなわち、データ選択処理部６１３２は、削減手段及び送信手段として機能する。なお、データ選択処理部６１３２の処理の詳細に関しては後述する。
【００４５】
カメラ位置情報取得部６１３６は、あらかじめ計測したカメラ１１２の位置及び向きの少なくとも何れかに関する情報（以下では、カメラ位置情報又はカメラ視点情報と記載する）を、制御ステーション３１０からネットワーク３１０ａ、１８０ａ、１８０ｂ、スイッチングハブ１８０、及びデイジーチェーン１７０ａ，...，１７０ｙを通じて取得する。ここで、カメラ位置情報（カメラ視点情報）は、例えば、カメラの位置を示す情報およびカメラの光軸の向きやカメラの姿勢を示す情報を含む。すなわち、カメラ位置情報取得部６１３６は、撮影装置の位置及び向きの少なくとも何れかに関する情報を取得する第１取得手段として機能する。なお、カメラアダプタ１２０は、カメラ位置情報をあらかじめ取得してカメラアダプタ内に設置された記録部に記録しておき、使用する際に読み出して取得してもよい。
【００４６】
仮想視点位置情報取得部６１３５は、コントローラ３００でユーザによって指定された仮想視点の位置及び向きの少なくとも何れかに関する情報（以下では、仮想視点位置情報又は仮想視点情報と記載する）を、ネットワーク３１０ａ、１８０ａ、１８０ｂ、スイッチングハブ１８０、及びデイジーチェーン１７０ａ，...，１７０ｙを通じて取得する。ここで、仮想視点位置情報（仮想視点情報）は、例えば、仮想視点の位置、仮想視点の光軸の向き及び焦点距離を含む。すなわち、仮想視点位置情報取得部６１３５は、仮想視点の位置及び向きの少なくとも何れかに関する情報を取得する第２取得手段として機能する。
【００４７】
外部機器制御部６１４０は、カメラ制御部６１４１と、マイク制御部６１４２と、雲台制御部６１４３から構成される。
【００４８】
カメラ制御部６１４１は、カメラ１１２と接続し、カメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定などを行う機能を有している。カメラ１１２の制御には、例えば撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照がある。さらに、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始及び停止や、ピント調整などがある。同期信号提供は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を利用し、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。時刻設定は、時刻同期制御部６１２３がタイムサーバ２９０と同期した時刻を例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受け取る画像データに提供したタイムコードが付与されることになる。なおタイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットであってもよい。また、カメラ制御部６１４１は、カメラ１１２に対するタイムコードの提供はせず、カメラ１１２から受け取った画像データに自身がタイムコードを付与してもよい。
【００４９】
マイク制御部６１４２は、マイク１１１と接続し、マイク１１１の制御、収音の開始及び停止や収音された音声データの取得などを行う機能を有している。
【００５０】
雲台制御部６１４３は雲台１１３と接続し、雲台１１３の制御を行う機能を有している。雲台１１３の制御は例えば、パン・チルト制御や、状態取得などがある。
【００５１】
図３は、カメラアダプタ１２０のハードウェア構成を示すブロック図である。
【００５２】
カメラアダプタ１２０は、ＣＰＵ１２０１と、ＲＯＭ１２０２と、ＲＡＭ１２０３と、補助記憶装置１２０４と、表示部１２０５と、操作部１２０６と、通信部１２０７と、バス１２０８とを含む。
【００５３】
ＣＰＵ１２０１は、ＲＯＭ１２０２やＲＡＭ１２０３に格納されているコンピュータプログラムやデータを用いてカメラアダプタ１２０の全体を制御する。ＲＯＭ１２０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ１２０３は、補助記憶装置１２０４から供給されるプログラムやデータ、及び通信部１２０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１２０４は、例えばハードディスクドライブ等で構成され、静止画や動画などのコンテンツデータを記憶する。
【００５４】
表示部１２０５は、例えば、液晶ディスプレイ等で構成され、ユーザがカメラアダプタ１２０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部１２０６は、例えば、キーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ１２０１に入力する。通信部１２０７は、カメラ１１２やフロントエンドサーバ２３０などの外部の装置と通信を行う。バス１２０８は、カメラアダプタ１２０の各部を繋いで情報を伝達する。
【００５５】
なお、フロントエンドサーバ２３０、データベース２５０、バックエンドサーバ２７０、制御ステーション３１０、仮想カメラ操作ＵＩ３３０、及びエンドユーザ端末１９０などの装置も、図３のハードウェア構成となりうる。また、上述した各装置の機能は、ＣＰＵなどを用いてソフトウェア処理によって実現してもよい。
【００５６】
本実施形態においては、前景画像、背景画像が、デイジーチェーンで接続された複数のカメラアダプタ１２０間を伝送されてフロントエンドサーバ２３０へ入力される。ここで、前景画像は背景画像よりも重要なオブジェクトを含むため、高い画質やフレームレートで伝送される。そのため、撮影画像内で前景領域が極端に多くなる場合には、伝送される前景画像のデータ量が膨大になる。
【００５７】
ここで、図４を用いて、本実施形態の画像処理システム１００をサッカースタジアムに設置した例について説明する。図４は、本実施形態に係るサッカースタジアムの例を示す図である。図４において、複数のカメラ１１２と接続するデイジーチェーン１７０は、１７０Ａと１７０Ｂの２系統に分けられている。それぞれのネットワークに接続されたカメラ１１２は、ネットワークごとに異なるゴール前の領域（注目領域８１０Ａ及び８１０Ｂ）を撮影するように設置されている。そして本実施形態では、それぞれの注目領域８１０Ａ，８１０Ｂに対して、画像処理システム１００（不図示）を２組設置している。サッカー等の団体スポーツの特徴として、ボールがある領域では、プレーヤの数は多くなる。例えば、図４の例では、ボール４０１を有する注目領域８１０Ａは、注目領域８１０Ｂよりプレーヤ数が多い。このため、ボール４０１のあるサイドの注目領域８１０Ａを撮影しているセンサシステム１１０による撮影画像では、前景画像となるオブジェクトが多くなり、送信する画像データ量は増加する。一方、ボールのないサイドに位置するプレーヤの数は少なくなる。このため、ボールのないサイドの注目領域８１０Ｂを撮影しているセンサシステム１１０では、前景画像となるオブジェクトが少なくなり、送信する画像データ量は減少する。注目領域内の選手の数が増えた場合、該当する注目領域をカバーするセンサシステム１１０の出力データ量は増加していく。このため、センサシステム１１０がそのままデータを送信してしまうと、デイジーチェーンのネットワークの下流に接続されたセンサシステム１１０では、上流から送信されるデータで通信帯域が飽和してしまい、データを送信できない状態となってしまう。
【００５８】
そこで、注目領域に選手が集まり、出力データ量が増加する場合に、デイジーチェーンで伝送されるデータ量が予め設定された伝送帯域を超過しないように制御する。本実施の形態では、仮想視点とカメラの位置関係から、仮想視点画像生成のための寄与度が低い撮影画像の情報量を削減する。これにより、データ量が予め設定された伝送帯域を超過しないようにして、通信帯域が飽和することを防ぐ。以下、図５及び図６を用いて、本実施形態の処理について説明する。
【００５９】
図５は、カメラアダプタ１２０ａ、１２０ｂ及び１２０ｃ間のデータの流れを表す図である。カメラアダプタ１２０ａとカメラアダプタ１２０ｂ、及びカメラアダプタ１２０ｂとカメラアダプタ１２０ｃが其々接続されている。また、カメラアダプタ１２０ｂにはカメラ１１２ｂが接続されており、カメラアダプタ１２０ｃはフロントエンドサーバ２３０と接続されている。ここでは、カメラアダプタ１２０ｂの画像処理部６１３０のデータ出力の流れについて説明する。
【００６０】
カメラアダプタ１２０ｂの画像処理部６１３０は、カメラ１１２ｂから外部機器制御部６１４０を介して送られた撮影画像６７２０を受け取る（Ｄ５０１）。
【００６１】
また、画像処理部６１３０は、伝送部６１２０から、ネットワークアダプタ６１１０を介してカメラアダプタ１２０ａから送信（Ｄ５０２）されたデータ６７２１を受け取る（Ｄ５０３）。カメラアダプタ１２０ａから送信されたデータ６７２１には、仮想視点の位置、向き、焦点距離を含む仮想視点位置情報と、カメラ１１２ｂ，...，カメラ１１２ｚの位置、向きを含むカメラ位置情報が含まれる。
【００６２】
画像処理部６１３０は、撮影画像６７２０に対し、画像処理、及びデータ量の調整を行い（図６において詳述）、伝送部６１２０へ送る（Ｄ５０４）。その際、撮影画像６７２０に対するタイムコードを含むメタ情報も送られる。
【００６３】
画像処理部６１３０が送信したデータは、カメラ１１２ｂのカメラ位置データが除かれたデータ６７２１を含む。伝送部６１２０は、入力されたデータに対して、パケット化等の処理を行って、ネットワークアダプタ６１１０に送る（Ｄ５０５）。
【００６４】
カメラアダプタ１２０ｃは、ネットワークアダプタ６１１０からデータ６７２２を受け取る。
【００６５】
図６は、画像処理部６１３０においてフレームごとに行われるデータ量削減の処理フローである。図６に示す処理は、カメラアダプタ１２０ｂのＣＰＵ１２０１がＲＯＭ１２０２に格納されたプログラムをＲＡＭ１２０３に展開して実行し、カメラアダプタ１２０のモジュールを機能させることで実現される。なお、図６に示す処理の少なくとも一部を、ＣＰＵ１２０１とは異なる専用のハードウェアにより実現してもよい。
【００６６】
ステップＳ６７０１では、カメラ位置情報取得部６１３６は、カメラ１１２ｂのカメラ位置情報を取得する。図５の例では、カメラアダプタ１２０ａにより送られたデータからカメラ１１２ｂのカメラ位置情報を取得する。
【００６７】
ステップＳ６７０２では、仮想視点位置情報取得部６１３５は、仮想視点位置情報を取得する。図５の例では、カメラアダプタ１２０ａにより送られたデータから仮想視点位置情報を取得する。
【００６８】
ステップＳ６７０４では、データ選択処理部６１３２は、仮想視点の光軸の向きとカメラ１１２ｂの光軸の向きの差異を計算し、その差異が所定の値Ｔｈ＿ａｎｇよりも大きいかどうかを判断する。ここで、図７を参照して、ステップＳ６７０４の処理についてさらに説明する。
【００６９】
図７は、仮想視点の光軸の向きとカメラ１１２ｂの光軸の向きとを示した図である。図７に示すように、仮想視点５１０の光軸の向きを３次元単位ベクトルＶｖ＝（ｘ，ｙ，ｚ）、カメラ１１２ｂの光軸の向きを３次元単位ベクトルＶｂ＝（ｘｂ，ｙｂ，ｚｂ）と表す。この場合、その差異、すなわち、ＶｖとＶｂのなす角θを、
θ＝arccos(Ｖｖ・Ｖｂ)・１８０／π
＝arccos(ｘ・ｘｂ＋ｙ・ｙｂ＋ｚ・ｚｂ)・１８０／π（度）    （１）
として求める。本実施形態では、θがＴｈ＿ａｎｇ＝９０度よりも大きいかどうかをカメラ１１２ｂについて判断する。所定の値Ｔｈ＿ａｎｇは、ユーザにより指定されてもよいし、指定された仮想視点に基づいて、仮想視点画像生成のために重要な撮影範囲に対応する値として自動で決められてもよい。またその他の方法でＴｈ＿ａｎｇが決定されてもよい。θの値が大きいカメラの撮影画像、即ち仮想視点画像生成のための寄与度が低い撮影画像については、情報量を削減することで、伝送負荷を低減することができる。なお、仮想視点画像生成のための寄与度が低い撮影画像は、仮想視点の向きとカメラ１１２の向きの関係に基づいて決まるものに限らない。例えば、仮想視点の位置とカメラ１１２の位置との間の距離が所定範囲内か否かに基づいて決まってもよいし、仮想視点とカメラ１１２の位置関係及び向きの関係の両方に基づいて決まってもよい。
【００７０】
図６に戻って、データ選択処理部６１３２は、式（１）で求めた値が所定の値以下であると判断した場合（ステップＳ６７０４においてＮｏ）、ステップＳ６７１５で、データ量を削減せずにそのままデータを伝送部６１２０へ送る。
【００７１】
データ選択処理部６１３２は、式（１）で求めた値が所定の値より大きいと判断した場合（ステップＳ６７０４においてＹｅｓ）、ステップＳ６７０６で、データ量を削減する処理の内容を示す設定値を取得する。設定値は、例えば、差異θの大きさや、カメラの位置、撮影対象のオブジェクトとカメラの位置関係等によって決められてもよいし、ユーザによる指定に応じて予め決められてもよい。
【００７２】
ステップＳ６７１３（設定値＝１）では、データ選択処理部６１３２は、前景画像の色の情報を削減して転送する。この処理により、仮想視点画像生成のための寄与度が低い情報、例えば仮想視点から見てオブジェクトの裏側の領域に対応する色情報を削減することができる。情報の削減対象は前景画像に限定するものではなく、例えば仮想視点から見た画角の外側に対応する背景画像の一部または全部から色情報を削減してもよい。また、前景背景分離が行われる前の撮影画像から色情報が削減されてもよい。また、色の情報の削減に代えて、画像圧縮やサブサンプリング（縮小）などによりデータ量を削減するものであってもよい。
【００７３】
別の処理として、ステップＳ６７０７（設定値＝２）では、データ選択処理部６１３２は、前景画像と背景画像のフレームを送信する時刻と送信しない時刻ができるようにフレームを間引いて転送する。このとき、間引いたフレームは図示しない記録部に記録しておいてもよい。
【００７４】
また別の処理として、ステップＳ６７０９（設定値＝３）では、データ選択処理部６１３２は、前景領域のシルエット形状を表す２値画像を削減して転送する。この処理により、仮想視点画像生成のための寄与度が低い形状情報、例えば仮想視点から見て手前のオブジェクトによって遮蔽されるオブジェクトの形状を求めるための情報を削減することができる。
【００７５】
なお、ステップＳ６７０６で選択される処理は上記に限定されるものではなく、仮想視点画像生成のための寄与度の低い情報を削減することができる処理であればよい。例えば、仮想視点画像生成のための寄与度が低い画像の画質を下げるものであってもよいし、仮想視点画像生成のための寄与度が低い又は用いない情報を転送しないものであってもよい。また、上記の処理を複数組み合わせてもよい。
【００７６】
以上のように、本実施形態に係る画像処理システムは、仮想視点とカメラの位置情報に基づき、仮想視点画像生成に寄与度が低い情報を削減する。これにより、ネットワークの伝送負荷を軽減し、かつコンテンツの画質の劣化を抑制することができる。
＜実施の形態２＞
実施の形態１では、仮想視点の数を１つと仮定して説明した。しかしながら、複数のユーザがコンテンツを閲覧して、複数の仮想視点を指定する場合がある。この例を実施の形態２として説明する。
【００７７】
図８は、実施の形態２に係る画像処理システム１００の一例を示す構成図である。複数のエンドユーザ端末１９０、１９２は、無線または有線のネットワークを介して仮想カメラ操作ＵＩ３３０、３３２にそれぞれ接続される。そして、制御ステーション３１０、ネットワーク３１０ａ、１８０ａ、１８０ｂ、スイッチングハブ１８０、及びデイジーチェーン１７０ａ，...，１７０ｙを通じてカメラアダプタ内の画像処理部６１３０に仮想視点位置情報が送信される。そのほかのシステム構成は実施の形態１と同じであるため説明を省略する。
【００７８】
図９は、実施の形態２に係る画像処理部６１３０においてフレームごとに行われるデータ量削減の処理フローである。以下、実施の形態１と同じ処理のステップについては説明を省略する。
【００７９】
ステップＳ２６７０２では、仮想視点位置情報取得部６１３５は、エンドユーザ端末１９０、１９２で指定された複数の仮想視点の仮想視点位置情報を取得する。ステップＳ２６７０３では、データ選択処理部６１３２は、各仮想視点に対して光軸の向きの差異を計算する。
【００８０】
ステップＳ２６７０４では、データ選択処理部６１３２は、計算した全ての差異が所定の値よりも大きいか否かを判断する。所定の値より小さい差異が１つ以上存在すると判断した場合（ステップＳ２６７０４においてＮｏ）、ステップＳ６７１５において、データ量を削減せず、そのままデータを転送する。なお、判断方法はこれに限らず、例えば、差異の小さい仮想視点の数が所定の数以上であれば、そのままデータを転送するようにしてもよい。
【００８１】
一方、全ての差異が所定の値よりも大きいと判断した場合（ステップＳ２６７０４においてＹｅｓ）、ステップＳ６７０６において、データ選択処理部６１３２は設定値を取得する。そして、ステップＳ６７０７−Ｓ６７１３において、データ選択処理部６１３２はデータ量を削減してデータを転送する。
【００８２】
上述したように、仮想視点が複数の場合は、例えばすべての仮想視点から見えない領域の撮影画像の情報量を削減することができる。
＜実施の形態３＞
実施の形態２では、複数の仮想視点が指定された場合に、カメラアダプタ１２０においてデータ量を削減することでネットワーク間のデータの伝送負荷を軽減する方法を説明した。実施の形態３では、フロントエンドサーバ２３０からデータベース２５０にデータを送信する際のデータ量削減について説明する。なお、実施の形態３に係るシステムの構成は実施の形態２と同様のため説明を省略する。
【００８３】
図１０は、実施の形態３に係るフロントエンドサーバ２３０の構成図である。
【００８４】
仮想視点位置情報取得部２１１０は、制御ステーション３１０から仮想視点位置情報を取得する。カメラ位置情報取得部２１２０は、制御ステーション３１０からカメラ１１２のカメラ位置情報を取得する。
【００８５】
データ取得部２１３０は、カメラアダプタ１２０から前景画像、背景画像、音声データおよびそれらのメタデータを取得する。データ選択処理部２１５０は、取得したデータからデータ量削減を行うカメラを選択し、選択したカメラのデータについてデータ量削減処理を行う。ＤＢアクセス制御部２１９０は、データ量を削減したデータをＤＢ２５０に書き込む書き込み手段として機能する。
【００８６】
図１１は、実施の形態３に係るデータ量削減の処理フローを示す。以下、実施の形態１と同じ処理のステップについては説明を省略する。
【００８７】
ステップＳ３６７０１において、フロントエンドサーバ２３０のデータ取得部２１３０は、フレームごとに伝送パケットを再構成してデータ形式を変換する。
【００８８】
ステップＳ３６７０２において、カメラ位置情報取得部２１２０は、制御ステーション３１０からネットワーク３１０ｂを介して複数のカメラ１１２のカメラ位置情報を取得する。
【００８９】
ステップＳ３６７０３において、仮想視点位置情報取得部２１１０は、制御ステーション３１０からネットワーク３１０ｂを介して複数の仮想視点の仮想視点位置情報を取得する。
【００９０】
ステップＳ３６７０４において、データ選択処理部２１５０は、カメラ位置情報取得部２１２０及び仮想視点位置情報取得部２１１０が取得した情報に基づき、実施の形態１と同様に仮想視点の光軸の向きと、カメラの光軸の向きとの差異を計算する。そして、差異が所定の値より大きいカメラを選択する。なお、選択方法については図１２において詳述する。
【００９１】
以下、全てのカメラについてステップＳ３６７０５〜Ｓ３６７２０の処理が実行される。ステップＳ３６７０５において、データ選択処理部２１５０は、ステップＳ３６７０４で選択したカメラについて、ステップＳ６７０４〜Ｓ６７１５の処理を行い、データ量を削減して、ＤＢアクセス制御部２１９０に転送する。ステップＳ３６７０４で選択されていないカメラについてはデータをそのままＤＢアクセス制御部２１９０に転送する（ステップＳ６７１５）。ステップＳ３６７２０において、ＤＢアクセス制御部２１９０は、データベース２５０の共通スキーマ及びデータ型に変換してデータベース２５０にデータを送信する。
【００９２】
図１２は、カメラの選択方法を説明するための図である。図１２では、複数のカメラ１１２およびエンドユーザ端末１９０、１９２で指定された仮想視点５１０、５２０が示されている。データ選択処理部２１５０は、各カメラの光軸の向きと各仮想視点５１０，５２０の光軸の向きとについて差異を求める。図１２において、カメラ群１７１０は、仮想視点５１０の光軸の向きとの差異が所定の値より大きいと判断されたカメラである。カメラ群１７２０は、同様に、仮想視点５２０の光軸の向きとの差異が所定の値より大きいと判断されたカメラである。データ選択処理部２１５０は、カメラ群１７１０と１７２０の積集合であるカメラ群１７３０を、仮想視点５１０および５２０との差異が所定の値より大きいカメラとして選択する。ここでは、仮想視点の数が２の例について説明したが、仮想視点の数が１の場合についても、同様に処理することができる。すなわち、フロントエンドサーバ２３０において仮想視点の光軸の向きとの差異が所定の値より大きなカメラを選択して、そのカメラが撮影した撮影画像のデータ量を削減する処理を行う。また、仮想視点の数が２より大きい場合についても、各カメラと仮想視点との光軸の向きの差異を求め、上述したようにカメラ群の積集合をとるようにしてもよい。また、仮想視点画像生成のための寄与度が低い画像を撮影するカメラが特定できるその他の方法でカメラを選択してもよい。
【００９３】
上述したように、フロントエンドサーバ２３０からデータベース２５０にデータを送信する際のデータ伝送負荷を軽減することができる。
＜実施の形態４＞
実施の形態３では、フロントエンドサーバ２３０においてデータ量を削減する方法を説明した。実施の形態４では、データベース２５０がデータを書き込む際のデータ量削減について説明する。システム構成は実施の形態１と同様のため説明を省略する。
【００９４】
図１３は、実施の形態４に係るデータベース２５０の構成図である。
【００９５】
仮想視点位置情報取得部２５１０は、制御ステーション３１０から仮想視点位置情報を取得する。カメラ位置情報取得部２５２０は、制御ステーション３１０からカメラ１１２のカメラ位置情報を取得する。それぞれ取得した位置情報を、データ選択処理部２５５０に送る。
【００９６】
データ取得部２５３０は、フロントエンドサーバから前景画像、背景画像、音声データおよびそれらのメタデータを取得する。データ選択処理部２５５０は、取得したデータからデータ量削減を行うカメラを選択し、選択したカメラの撮影画像についてデータ量削減処理を行う。
【００９７】
ストレージ２５９０は、データ量を削減したデータを保持する保持手段として機能する。また、バックエンドサーバ２７０からの読み出し要求に応じて該当するデータをバックエンドサーバ２７０に送信する。データ量削減の処理フローは、実施の形態３（図１１）と同じであるため説明を省略する。
【００９８】
以上の処理によって、データベース２５０のデータ書き込み時の負荷を軽減することができる。
＜実施の形態５＞
実施の形態３では、フロントエンドサーバ２３０からデータベース２５０にデータを送信する際の負荷を軽減する方法を説明した。実施の形態５では、データベース２５０がバックエンドサーバ２７０へデータを送信する際のデータ量削減について説明する。システム構成は実施の形態１と同様のため説明を省略する。
【００９９】
図１４は、実施の形態５に係るデータベース２５０の構成図である。図１３で詳述した、実施の形態４に係るＤＢ２５０と符号が同じブロックについては、同様の機能を有するため説明を省略する。
【０１００】
ストレージ２５９０は、データ取得部２５３０から取得した前景画像、背景画像および音声データを保持する。また、バックエンドサーバ２７０からの読み出し要求を受け付け、読み出し要求に対応する撮影画像をデータ選択処理部２５５０に送信する。このとき、音声データは直接バックエンドサーバ２７０へ送信する。すなわち、ストレージ２５９０は、撮影画像を保持する保持手段および読み出し要求を受け付ける受け付け手段として機能する。
【０１０１】
データ選択処理部２６５０は、取得したデータからデータ量削減を行うカメラを選択し、選択したカメラの撮影画像についてはデータ量削減処理を行う。また、データ選択処理部２６５０は、データ量を削減したデータをバックエンドサーバ２７０へ出力する出力手段としても機能する。データ選択処理部２６５０のデータ量削減の処理フローは、実施の形態３（図１１）と同じであるため説明を省略する。
【０１０２】
以上の処理によって、データベース２５０がバックエンドサーバ２７０へデータを送信する際の負荷を軽減することができる。
＜実施の形態６＞
実施の形態５では、データベース２５０からバックエンドサーバ２７０へデータを送信する際にデータ量を削減する方法について説明した。実施の形態６では、バックエンドサーバ２７０からデータベース２５０に対して読み出し要求をする際に指定するデータのデータ量を削減する場合について説明する。システム構成は実施の形態１と同様のため説明を省略する。
【０１０３】
図１５は、実施の形態６に係るバックエンドサーバ２７０の構成図である。
【０１０４】
仮想視点位置情報取得部２７１０は、仮想カメラ操作ＵＩ３３０から仮想視点位置情報を取得する。カメラ位置情報取得部２７２０は、制御ステーション３１０からカメラ１１２のカメラ位置情報を取得する。これらの取得した位置情報は、データ選択処理部２７５０及び仮想視点画像生成部２７９０に送られる。
【０１０５】
データ選択処理部２７５０は、読み出すデータを指定してデータベース２５０に対して読み出し要求を行う要求手段として機能する。読み出し要求については、図１６で詳述する。仮想視点画像生成部２７９０は、指定された仮想視点に基づく仮想視点画像を生成する生成手段として機能する。すなわち、データベース２５０から読み出したデータに基づき、仮想視点映像をレンダリングし、エンドユーザ端末１９０に生成した映像を送信する。
【０１０６】
図１６は、データ選択処理部２７５０の読み出しデータ指定の処理フローである。
ステップＳ６７０１−Ｓ６７０６は、実施の形態１（図６）と同様の処理のため説明を省略する。
【０１０７】
ステップＳ６６７０７では、データ選択処理部２７５０は、フレームを間引くなどして読み出すデータ量が減るようにフレームを指定して読み出し要求をする。ステップＳ６６７０９では、データ選択処理部２７５０は、前景領域のシルエット形状を表す２値画像を除外して読み出し要求をする。ステップＳ６６７１３では、データ選択処理部２７５０は、前景画像の色の情報を除外して読み出し要求をする。ステップＳ６６７１５では、データ選択処理部２７５０は、そのままのデータ量で読み出し要求を行う。
【０１０８】
ＤＢ２５０は、それぞれの要求に応じて格納されているデータから指定された内容のデータをバックエンドサーバ２７０に送信する。
【０１０９】
以上の処理によって、データベース２５０の読み出し要求時のデータ量を削減し、データベース２５０がバックエンドサーバ２７０へデータを送信する際の負荷を軽減することができる。
＜実施の形態７＞
バックエンドサーバ２７０においてレンダリング処理をする際レンダリング対象のデータのデータ量が大きいと処理負荷が高くなる場合があるため、バックエンドサーバ２７０においてデータ量の削減を行ってもよい。実施の形態７では、この場合のデータ量削減について説明する。システム構成は実施の形態１と同様のため説明を省略する。
【０１１０】
図１７は、実施の形態７に係るバックエンドサーバ２７０の構成図である。
【０１１１】
仮想視点位置情報取得部２８１０及びカメラ位置情報取得部２８２０は、それぞれ取得した仮想視点とカメラ１１２の位置情報を、データ選択処理部２８５０及び仮想視点画像生成部２８９０へ送る。
【０１１２】
仮想視点画像生成部２８９０は、取得した仮想視点とカメラ１１２の位置情報に基づいて、データベース２５０に読み出し要求する要求手段として機能する。データベース２５０は、読み出し要求に応じて、指定されたデータを出力する。
【０１１３】
データ選択処理部２８５０は、データベース２５０から受け取ったデータに対して実施の形態１と同様の処理（図６）を行い、仮想視点画像生成部２８９０にデータを送る。
【０１１４】
仮想視点画像生成部２８９０はデータ選択処理部２８５０から受け取ったデータに基づいて仮想視点映像をレンダリングし、エンドユーザ端末１９０に映像を送信する。
【０１１５】
以上の処理によって、レンダリング処理の入力データ量を削減することでレンダリングの処理負荷を軽減することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１１６】
以上、本発明の実施形態について詳述したが、本発明は上述の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形及び変更が可能である。
【符号の説明】
【０１１７】
１００  画像処理システム、１１０  センサシステム、１１１  マイク、１１２  カメラ、１１３  雲台、１２０  カメラアダプタ、１８０  スイッチングハブ、１９０  ユーザ端末、２３０  フロントエンドサーバ、２５０  データベース、２７０  バックエンドサーバ、２９０  タイムサーバ、３１０  制御ステーション、３３０  仮想カメラ操作ＵＩ。
【図１】
2019103067.tif 000003
【図２】
2019103067.tif 000004
【図３】
2019103067.tif 000005
【図４】
2019103067.tif 000006
【図５】
2019103067.tif 000007
【図６】
2019103067.tif 000008
【図７】
2019103067.tif 000009
【図８】
2019103067.tif 000010
【図９】
2019103067.tif 000011
【図１０】
2019103067.tif 000012
【図１１】
2019103067.tif 000013
【図１２】
2019103067.tif 000014
【図１３】
2019103067.tif 000015
【図１４】
2019103067.tif 000016
【図１５】
2019103067.tif 000017
【図１６】
2019103067.tif 000018
【図１７】
2019103067.tif 000019