(57)【要約】【課題】複数の撮像装置が撮影された画像を用いて仮想視点画像を生成する際に、例えば、反射光などを写した異常な画素による影響を低減することを目的とする。【解決手段】複数の撮像装置が撮影した複数の画像を用いて仮想視点画像を生成する画像処理システムにおける画像処理装置であって、前記複数の撮像装置のうちの２台以上の撮影範囲が重複する重複領域を写す複数の撮像画像を取得する取得手段と、前記取得手段が取得した前記複数の撮像画像の画素値の比較結果に基づいて、前記仮想視点画像における前記重複領域に対応する領域の画像値を決定する決定手段と、を有することを特徴とする。【選択図】図４
2019053382.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置が撮影した複数の画像を用いて仮想視点画像を生成する画像処理システムにおける画像処理装置であって、
前記複数の撮像装置のうちの２台以上の撮影範囲が重複する重複領域を写す複数の撮像画像を取得する取得手段と、
前記取得手段が取得した前記複数の撮像画像の画素値の比較結果に基づいて、前記仮想視点画像における前記重複領域に対応する領域の画像値を決定する決定手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記複数の撮像画像のうち、前記重複領域に対応する画素値が前記重複領域に対応する前記複数の撮像画像の画素値の平均値より閾値以上異なる撮像画像を用いないで、前記仮想視点画像における前記重複領域に対応する領域の画像値を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の撮像装置のパラメータを基に前記重複領域を検出する重複領域検出手段と、
前記重複領域と前記複数の撮像装置のパラメータを基に前記複数の撮像装置の各々の背景画像データの生成領域を決定し、前記決定した複数の撮像装置の各々の背景画像データの生成領域を前記複数の撮像装置の各々に送信する背景領域決定手段と、
各々の背景画像データの生成領域の背景画像データを前記複数の撮像装置から受信し、前記受信した複数の撮像装置の各々の背景画像データを合成する背景画像合成手段とをさらに有し、
前記決定手段は、前記背景画像合成手段が前記重複領域について背景画像データを合成する際に、前記複数の撮像装置の前記重複領域の背景画像データを基に前記重複領域の中の異常な画素値を補正することで、前記仮想視点画像における前記重複領域に対応する領域の画像値を決定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記背景領域決定手段は、前記複数の撮像装置の中から、前記重複領域の背景画像データを生成する所定数の撮像装置を決定し、前記所定数の撮像装置に対して前記重複領域を含む背景画像データの生成領域を決定し、前記所定数の撮像装置以外の撮像装置に対して前記重複領域を除く背景画像データの生成領域を決定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記背景領域決定手段は、前記複数の撮像装置の位置座標を基に、前記複数の撮像装置の中の前記重複領域を撮影する前記所定数の撮像装置の位置を結ぶ図形の面積が最大となるような前記所定数の撮像装置を決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記背景画像合成手段は、前記受信した複数の撮像装置の前記重複領域の同一の画素の画素値の中で、一の撮像装置の画素値が他の撮像装置の画素値に対して閾値以上異なる場合に前記異常な画素値であるとすることを特徴とする請求項３〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記背景画像合成手段は、前記受信した複数の撮像装置の前記重複領域の中の異常な画素値を除いて前記重複領域の画像データを合成することを特徴とする請求項３〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記背景画像合成手段は、前記受信した複数の撮像装置の前記重複領域の中の異常な画素値を除いて、前記重複領域の画素毎に画素値を平均することを特徴とする請求項３〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記背景領域決定手段は、光源の位置情報を基に、前記重複領域について前記光源の光の反射が映り込む撮像装置を検出し、前記検出された撮像装置に対して前記重複領域を除く背景画像データの生成領域を決定することを特徴とする請求項３〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
さらに、前記複数の撮像装置の各々の前景画像データを受信し、前記受信した複数の撮像装置の各々の前景画像データを合成する前景画像合成手段を有し、
前記背景画像合成手段は、複数の撮像装置の各々の背景画像データを３次元モデル上で合成することを特徴とする請求項３〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
さらに、前記背景画像合成手段により合成された背景画像データと、前記前景画像合成手段により合成された前景画像データとを合成し、視点座標からの仮想視点画像を生成する仮想視点画像生成手段を有することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
複数の撮像装置と、前記複数の撮像装置が撮影した複数の画像を用いて仮想視点画像を生成する画像処理装置と有する画像処理システムであって、
前記複数の撮像装置のうちの２台以上の撮影範囲が重複する重複領域を写す複数の撮像画像を取得する取得手段と、
前記取得手段が取得した前記複数の撮像画像の画素値の比較結果に基づいて、前記仮想視点画像における前記重複領域に対応する領域の画像値を決定する決定手段と、を有することを特徴とする画像処理システム。
【請求項１３】
複数の撮像装置が撮影した複数の画像を用いて仮想視点画像を生成する画像処理システムによる画像処理方法であって、
前記複数の撮像装置のうちの２台以上の撮影範囲が重複する重複領域を写す複数の撮像画像を取得する取得工程と、
前記取得工程において取得された前記複数の撮像画像の画素値の比較結果に基づいて、前記仮想視点画像における前記重複領域に対応する領域の画像値を決定する決定工程と、を有することを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１〜１１のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、その撮影により得られた複数視点画像を用いて仮想視点画像を生成する技術が注目されている。その技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から閲覧することができるため、ユーザに高臨場感を与えることができる。まず、複数のカメラが撮影した画像を通信によってサーバなどの画像処理部に集約し、カメラで撮影された画像を背景と前景とに分離し、それぞれ別々に画像処理を施し、仮想のカメラから撮影された前景画像と背景画像を計算によって求める。そして、３次元モデルを生成し、レンダリング処理を施す。この時、背景画像は、背景の３次元モデルに対してカメラ画像を貼りつけることで生成される（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１１３８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、前述のカメラで撮影された画像を背景の３次元モデル上に貼りつけると、カメラで撮影した画像中に光源の反射が映り込んでしまった場合などもそのまま背景モデル上に貼りつけられる。特許文献１では、仮想視点画像を生成する際に、その視点からは見えないはずの反射光を取り除くことができないという課題がある。
【０００５】
本発明の目的は、複数の撮像装置で撮影された画像を用いて仮想視点画像を生成する際に、例えば、反射光などを写した異常な画素による影響を低減することができる画像処理装置、画像処理システム、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、複数の撮像装置が撮影した複数の画像を用いて仮想視点画像を生成する画像処理システムにおける画像処理装置であって、前記複数の撮像装置のうちの２台以上の撮影範囲が重複する重複領域を写す複数の撮像画像を取得する取得手段と、前記取得手段が取得した前記複数の撮像画像の画素値の比較結果に基づいて、前記仮想視点画像における前記重複領域に対応する領域の画像値を決定する決定手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の撮像装置で撮影された画像を用いて仮想視点画像を生成する場合に異常な画素値の生成を防止することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の画像処理システムのブロック図である。
【図２】第１の実施形態の撮像システムのブロック図である。
【図３】第１の実施形態のサーバのブロック図である。
【図４】第１の実施形態の仮想視点画像生成処理を示すフローチャートである。
【図５】撮影範囲を示す模式図である。
【図６】撮像システムによって撮影される画像を示す模式図である。
【図７】撮影する範囲及び画像を示す模式図である。
【図８】画像を示す模式図である。
【図９】第２の実施形態のサーバのブロック図である。
【図１０】スタジアムの光源情報の設定値を示す図である。
【図１１】第１の実施形態の仮想視点画像生成処理を示すフローチャートである。
【図１２】撮像範囲と光線の関係を示す模式図である。
【図１３】光線を示す模式図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
図１は、本発明の第１の実施形態による画像処理システム１００の構成例を示すブロック図である。画像処理システム１００は、撮像システム１１０ａ〜１１０ｎと、サーバ１２０と、通信回線１３０とを有する。画像処理システム１００は、スタジアム等の異なる位置に複数の撮像システム１１０ａ〜１１０ｎのカメラを設置し、設置されたカメラにより撮影された画像データを通信回線１３０によってサーバ１２０に集約し、仮想視点画像を生成する。
【００１０】
複数の撮像システム（撮像装置）１１０ａ〜１１０ｎは、スタジアム等に設置され、カメラによって撮像した撮像画像データを加工し、加工した画像データをサーバ１２０に送信する。撮像システム１１０ａ〜１１０ｎの個数は、任意の台数でよい。なお、撮像システム１１０の詳細な構成は後述する。サーバ１２０は、画像処理装置であり、撮像システム１１０ａ〜１１０ｎから受信した画像データを用いて、仮想視点画像を生成する。なお、サーバ１２０の詳細な構成は、後述する。通信回線１３０は、各撮像システム１１０ａ〜１１０ｎとサーバ１２０とが双方向に通信するための通信回線である。
【００１１】
図２は、撮像システム１１０の構成例を示すブロック図である。撮像システム１１０は、図１の撮像システム１１０ａ〜１１０ｎの各々に対応する。撮像システム１１０ａ〜１１０ｎは、相互に同じ構成を有する。撮像システム１１０は、カメラ部２１０と、背景画像生成部２２０と、前景画像生成部２３０と、通信部２４０とを有する。
【００１２】
カメラ部２１０は、レンズ及びＣＭＯＳセンサなどのカメラを有し、光電変換により画像を生成し、その生成した画像をアナログからデジタルデータに変換する。背景画像生成部２２０は、サーバ１２０からの指示により、カメラ部２１０によって生成された画像データと、サーバ１２０の背景領域生成部３４０（図３）によって指示される背景画像データの生成領域を用いて、背景画像データを生成する。なお、背景画像とは、画像中の所定のオブジェクトの領域である前景の領域を除く領域の画像である。通信部２４０は、背景画像生成部２２０により生成された背景画像データをサーバ１２０に送信する。前景画像生成部２３０は、カメラ部２１０によって生成された画像データから背景を除いた前景を抽出して、前景画像データを生成する。ここで、前景とは、所定のオブジェクトであり、例えば、人物またはボールなどである。通信部２４０は、前景画像生成部２３０により生成された前景画像データをサーバ１２０に送信する。通信部２４０は、通信回線１３０を用いて、サーバ１２０との通信を行う。
【００１３】
図３は、図１のサーバ１２０の構成例を示すブロック図である。なお、各構成は、記憶装置により記憶されるプログラムを一つまたは複数のＣＰＵが実行し、情報の演算及び加工並びにハードウェアの制御を行うことで実現される。なお、図３に示す各構成の一部またはすべてが、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＡＳＩＣまたはＦＰＧＡなどの専用のハードウェアにより構成されてもよい。また、サーバ１２０は、一つの装置であっても、複数の装置であってもよい。サーバ１２０は、背景モデル管理部３１０と、カメラパラメータ管理部３２０と、重複領域検出部３３０と、背景領域生成部３４０と、背景画像合成部３５０と、前景画像合成部３６０と、仮想視点画像生成部３７０と、通信部３８０とを有する。
【００１４】
背景モデル管理部３１０は、撮像システム１１０が撮影しているスタジアム等の背景の３次元情報を保持し、後述する重複領域検出部３３０に対して背景の３次元情報を提供する。なお、３次元情報は、被写体の背景の構造物のＣＡＤやメッシュモデルファイル、又は、レーザースキャナなどを用いて３次元スキャンするなどして予め作成されたものである。
【００１５】
カメラパラメータ管理部３２０は、撮像システム１１０ａ〜１１０ｎの各カメラ部２１０のカメラパラメータを保持し、後述する重複領域検出部３３０及び背景領域生成部３４０にカメラパラメータを提供する。なお、カメラパラメータは、位置・姿勢を示す外部パラメータと、焦点距離や画素間隔等を示す内部パラメータを含む。なお、カメラパラメータは、外部パラメータ及び内部パラメータのうちの何れか一方のみであってもよい。
【００１６】
重複領域検出部３３０は、背景モデル管理部３１０から背景の３次元情報を入力し、カメラパラメータ管理部３２０からカメラパラメータを入力する。そして、重複領域検出部３３０は、背景の３次元情報とカメラパラメータを用いて、複数の撮像システム１１０ａ〜１１０ｎのうちの２台以上の撮影範囲（背景の同一部分）が重複する重複領域を検出する。具体的には、重複領域検出部３３０は、各撮像システム１１０ａ〜１１０ｎのカメラパラメータを用いて、各撮像システム１１０ａ〜１１０ｎのカメラ部２１０から計算によって光線を飛ばす。そして、重複領域検出部３３０は、各撮像システム１１０ａ〜１１０ｎのカメラ部２１０からの光線がぶつかる背景の３次元情報上の領域を求め、それらの領域が重なる範囲について重複領域として検出する。重複領域検出部３３０は、その検出した重複領域情報を背景領域生成部３４０及び背景画像合成部３５０に出力する。なお、重複領域は、ユーザ操作に基づいて特定されてもよい。
【００１７】
背景領域生成部３４０は、カメラパラメータ管理部３２０からカメラパラメータを入力し、重複領域検出部３３０から重複領域情報を入力する。そして、背景領域生成部３４０は、カメラパラメータと重複領域情報を用いて、複数の撮像システム１１０の中から、重複領域の背景画像データを生成する所定数の撮像システム１１０を決定する。そして、背景領域生成部３４０は、所定数の撮像システム１１０に対して重複領域を含む背景画像データの生成領域を決定し、所定数の撮像システム１１０以外（撮像装置以外）の撮像システム１１０に対して重複領域を除く背景画像データの生成領域を決定する。所定数は、ユーザが予め決定したものであり、例えば３である。なお、所定数は、重複領域に応じて動的に決定されてもよい。通信部３８０は、背景領域生成部３４０により決定された各撮像システム１１０の背景画像データの生成領域の情報を、各撮像システム１１０に送信する。
【００１８】
背景画像合成部３５０は、複数の撮像システム１１０の各々から入力した背景画像データを、背景モデル管理部３１０から入力した背景の３次元情報（３次元モデル）上で合成して貼りつけ、背景モデル情報として仮想視点画像生成部３７０に出力する。
【００１９】
前景画像合成部３６０は、各撮像システム１１０から入力した前景画像データを合成し、前景モデル情報として仮想視点画像生成部３７０に出力する。例えば、前景画像合成部３６０は、例えばＶｉｓｕａｌＨｕｌｌと呼ばれる物体形状を推定する方法を用いて被写体の３次元形状を推定することで、前景画像データを合成する。
【００２０】
仮想視点画像生成部３７０は、ユーザからの視点座標の入力を受け付け、背景画像合成部３５０から入力した背景モデル情報及び前景画像合成部３６０から入力した前景モデル情報を合成し、視点座標からの仮想視点画像を生成する。通信部３８０は、通信回線１３０を用いて、撮像システム１１０との通信を行う。
【００２１】
図４（ａ）は、第１の実施形態による画像処理システム１００が仮想視点画像を生成する処理を示すフローチャートであり、画像処理システム１００の画像処理方法を示す。ステップＳ４０１では、重複領域検出部３３０は、カメラパラメータ管理部３２０からカメラパラメータを入力し、背景モデル管理部３１０から背景の３次元情報を入力する。そして、重複領域検出部３３０は、カメラパラメータを用いてカメラ部２１０から光線を背景の３次元情報上に飛ばし、交点を求めることで、撮像システム１１０ａ〜１１０ｎのそれぞれのカメラ部２１０の撮影範囲を計算する。
【００２２】
図５（ａ）は、スタジアムとそのスタジアムに於いて撮像システム１１０のカメラ撮影範囲を示す模式図である。重複領域検出部３３０は、図５（ａ）のように、撮像システム１１０のカメラ部２１０からスタジアムの３次元情報への光線の交点を求めることで、撮像システム１１０のカメラ部２１０の撮影範囲５００ａを計算する。同様に、重複領域検出部３３０は、図５（ｂ）のように、各撮像システム１１０のカメラパラメータを用いて、すべての撮像システム１１０の撮影範囲５００ａ〜５００ｎを計算する。そして、重複領域検出部３３０は、複数の撮像システム１１０の撮影範囲５００ａ〜５００ｎの重複領域（斜線で示す）５１０を検出する。ここで、重複領域５１０以外に撮像システム１１０の撮影範囲の重複箇所は複数存在するが、それらの重複領域についても重複領域５１０と同様の処理を行うものであるため省略する。
【００２３】
次に、ステップＳ４０２では、背景領域生成部３４０は、重複領域５１０と複数の撮像システム１１０のカメラパラメータを基に複数の撮像システム１１０の各々の背景画像データの生成領域を決定する。そして、背景領域生成部３４０は、その決定した複数の撮像システム１１０の各々の背景画像データの生成領域を、通信部３８０を介して複数の撮像システム１１０の各々に送信する。
【００２４】
ここで、背景画像データ生成領域の決定方法について、重複領域５１０を例に説明する。先にも述べた通り、例えば、所定数の撮像システム１１０は、３台の撮像システム１１０の重複数である。まず、背景領域生成部３４０は、重複領域５１０を撮影する撮像システム１１０として、適当な１台の撮像システム１１０を選択する。例えば、背景領域生成部３４０は、撮像システム１１０ａを選択し、残りの２台の撮像システム１１０をさらに選択する。ここで、背景領域生成部３４０は、近距離の３台の撮像システム１１０を選択するのではなく、互いに離れた距離にある３台の撮像システム１１０を選択することが望ましい。そこで、背景領域生成部３４０は、撮像システム１１０ａ〜１１０ｎの各カメラ部２１０のカメラパラメータの世界位置座標を用いて、３台の撮像システム１１０を選択する。背景領域生成部３４０は、撮像システム１１０ａと、残る撮像システム１１０ｂ〜１１０ｎのうちの２台のすべての組み合わせに於いて、３台の撮像システム１１０の世界位置座標を結んだ三角形の面積を求める。そして、背景領域生成部３４０は、三角形の面積が最大になる３台の撮像システム１１０の組み合わせを選択する。図５（ｃ）に示すように、背景領域生成部３４０は、例えば、三角形の面積が最大になる３台の撮像システム１１０ａ、１１０ｆ、１１０ｋを選択する。すなわち、背景領域生成部３４０は、複数の撮像システム１１０の位置座標を基に、複数の撮像システム１１０の中の重複領域５１０を撮影する所定数の撮像システム１１０の位置を結ぶ図形の面積が最大となるような所定数の撮像システム１１０を決定する。
【００２５】
背景領域生成部３４０により、３台の撮像システム１１０ａ、１１０ｆ、１１０ｋは、重複領域５１０を背景画像データとして生成する領域として決定される。さらに、背景領域生成部３４０により、撮像システム１１０ａ、１１０ｆ、１１０ｋ以外の撮像システム１１０は、重複領域５１０を背景画像データとして生成しない領域として決定される。以上により、背景領域生成部３４０は、各撮像システム１１０の背景画像データの生成領域を決定する。
【００２６】
背景領域生成部３４０は、複数の撮像システム１１０の中から、重複領域５１０の背景画像データを生成する所定数（例えば３台）の撮像システム１１０を決定する。そして、背景領域生成部３４０は、所定数の撮像システム１１０に対して重複領域５１０を含む背景画像データの生成領域を決定し、所定数の撮像システム１１０以外の撮像システム１１０に対して重複領域５１０を除く背景画像データの生成領域を決定する。
【００２７】
次に、ステップＳ４０３では、各撮像システム１１０において、通信部２４０は、ステップＳ４０２で決定された背景画像データの生成領域を受信し、その背景画像データの生成領域を背景画像生成部２２０に出力する。各撮像システム１１０の背景画像生成部２２０は、その背景画像データの生成領域を設定する。
【００２８】
次に、ステップＳ４０４では、各撮像システム１１０のカメラ部２１０は、撮影により画像を生成し、その画像を背景画像生成部２２０と前景画像生成部２３０に出力する。その後、各撮像システム１１０は、ステップＳ４０５及びＳ４０７の並列処理に処理を進める。
【００２９】
ステップＳ４０５では、各撮像システム１１０において、背景画像生成部２２０は、カメラ部２１０から画像を入力し、その画像から前景を抜き去り、背景画像を生成する。そして、背景画像生成部２２０は、その背景画像に対して、ステップＳ４０３で設定された背景画像データの生成領域を抜き出し、他の部分を削除し、その抜き出した背景画像データを生成する。
【００３０】
図６は、図５（ｃ）の撮像システム１１０ａ、１１０ｆ、１１０ｋにより撮影された画像６００ａ、６００ｆ、６００ｋを示す図である。画像６００ａ、６００ｆ、６００ｋは、それぞれ、図５（ｃ）の撮像システム１１０ａ、１１０ｆ、１１０ｋの撮影範囲５００ａ、５００ｆ、５００ｋの画像に対応する。画像６００ａ、６００ｆ、６００ｋは、それぞれ、重複領域６１０ａ、６１０ｆ、６１０ｋを有する。重複領域６１０ａ、６１０ｆ、６１０ｋは、図５（ｃ）の重複領域５１０に対応する。撮像システム１１０ａ、１１０ｆ、１１０ｋの背景画像生成部２２０は、重複領域５１０が背景画像データの生成領域に含まれているので、重複領域５１０を含む背景画像データを生成する。
【００３１】
図７（ａ）は、撮像システム１１０ｄの撮影領域５００ｄを示す図である。撮影領域５００ｄは、重複領域５１０を含む。しかし、撮像システム１１０ｄは、重複領域５１０が背景画像データの生成領域に含まれないと決定された撮像システムである。図７（ｂ）は、撮像システム１１０ｄのカメラ部２１０により撮影された画像を示す図である。図７（ｂ）の画像内の領域７１０ｄは、重複領域５１０に対応する。撮像システム１１０ｄの背景画像生成部２２０は、重複領域５１０が背景画像データの生成領域に含まれていないので、図７（ｃ）に示すように、重複領域７１０ｄを除いた背景画像データを生成する。撮像システム１１０ａ、１１０ｆ、１１０ｋ以外の撮像システム１１０は、撮像システム１１０ｄと同様に、重複領域５１０が背景画像データの生成領域に含まれていないので、重複領域５１０を除いた背景画像データを生成する。各撮像システム１１０において、通信部２４０は、背景画像生成部２２０により生成された背景画像データをサーバ１２０に送信する。
【００３２】
次に、ステップＳ４０６では、サーバ１２０の通信部３８０は、複数の撮像システム１１０の各々から背景画像データを受信し、複数の撮像システム１１０の各々の背景画像データを背景画像合成部３５０に出力する。背景画像合成部３５０は、複数の撮像システム１１０の各々の背景画像データを、背景モデル管理部３１０から入力した背景の３次元情報（３次元モデル）に対して投影することにより、背景画像データを合成し、ステップＳ４０９に処理を進める。ここで、重複領域５１０は３台の撮像システム１１０ａ、１１０ｆ、１１０ｋが背景画像データを生成することになっている。そのため、背景画像合成部３５０は、重複領域５１０については、３台の撮像システム１１０ａ、１１０ｆ、１１０ｋの背景画像データを合成する。
【００３３】
図８（ａ）は、図６の重複領域６１０ａ、６１０ｆ、６１０ｋの画像８１０ａ、８１０ｆ、８１０ｋを示す図である。画像８１０ａは、重複領域６１０ａを含み、撮像システム１１０ａにより撮影された図６の画像６００ａの一部である。画像８１０ｆは、重複領域６１０ｆを含み、撮像システム１１０ｆにより撮影された図６の画像６００ｆの一部である。画像８１０ｋは、重複領域６１０ｋを含み、撮像システム１１０ｋにより撮影された図６の画像６００ｋの一部である。背景画像合成部３５０は、画像８１０ａ、８１０ｆ、８１０ｋを背景の３次元モデル上に射影すると、被写体が同様の形状となるように、画像８１０ａ、８１０ｆ、８１０ｋが変形され、図８（ｂ）の画像８２０が生成される。図８（ａ）の画像８１０ａ、８１０ｆ、８１０ｋは、それぞれ、図８（ｂ）の画像８２０と同じ形状となるように、図８（ｃ）の画像８２０ａ、８２０ｆ、８２０ｋに変形される。背景画像合成部３５０は、合成を行う際、画像８２０ａ、８２０ｆ、８２０ｋの同位置の画素値の平均値となるように、合成画像の画素値を決める。以下、その詳細を説明する。
【００３４】
図４（ｂ）は、背景画像合成部３５０の重複領域５１０の合成方法を示すフローチャートである。ステップＳ４１１では、背景画像合成部３５０は、３台の撮像システム１１０ａ、１１０ｆ、１１０ｋの重複領域を写す撮像画像８２０ａ、８２０ｆ、８２０ｋの画素値を取得する。例えば、背景画像合成部３５０は、画像８２０ａ、８２０ｆ、８２０ｋの同位置の画素の画素値８３０ａ、８３０ｆ、８３０ｋを取得する。
【００３５】
次に、ステップＳ４１２では、背景画像合成部３５０は、画素値８３０ａ、８３０ｆ、８３０ｋの中で一の画素値が他の画素値より閾値以上に異なる画素値を有するか否かを判定する。背景画像合成部３５０は、閾値以上に異なる画素値を有すると判定した場合にはステップＳ４１３に処理を進め、閾値以上に異なる画素値を有しないと判定した場合にはステップＳ４１４に処理を進める。背景画像合成部３５０は、画素値８３０ａ、８３０ｆ、８３０ｋの比較結果に応じて、ステップＳ４１３又はＳ４１４に処理を進める。
【００３６】
ここで、画素値８３０ａ、８３０ｆ、８３０ｋは、光源の反射などがない画素の画素値である場合、カメラ部２１０による誤差を含めても、相互に閾値以上に異なることがないため、背景画像合成部３５０は、ステップＳ４１４に処理を進める。
【００３７】
また、画素値８３０ｋは、光源の反射が映っている画素の画素値である場合、画素値８３０ａ、８３０ｆとは閾値以上に異なる。このような場合、背景画像合成部３５０は、ステップＳ４１３に処理を進める。
【００３８】
なお、背景画像合成部３５０は、各画素値の差分が閾値以上異なるか否かを判定したが、これに限定されない。背景画像合成部３５０は、例えば事前に各画素値の中央値を計算によって求め、各画素値と中央値との差分が閾値以上異なる画素値がある場合、ステップＳ４１３に処理を進めてもよい。
【００３９】
ステップＳ４１３では、背景画像合成部３５０は、閾値以上異なると判定された画素値８３０ｋを除き、画素値８３０ａ、８３０ｆを残し、ステップＳ４１４に処理を進める。
【００４０】
ステップＳ４１４では、背景画像合成部３５０は、画素値の平均値を求め、その平均値を背景の３次元モデル上に射影する。ステップＳ４１２からＳ４１４に進む場合、背景画像合成部３５０は、３個の画素値８３０ａ、８３０ｆ、８３０ｋの平均値を求める。また、ステップＳ４１３からＳ４１４へ進む場合、背景画像合成部３５０は、２個の画素値８３０ａ、８３０ｆの平均値を求める。
【００４１】
次に、ステップＳ４１５では、背景画像合成部３５０は、重複領域５１０内のすべての画素の画素値を取得済みであるか否かを判定する。背景画像合成部３５０は、すべての画素の画素値を取得済みでないと判定した場合には、次の画素の処理のため、ステップＳ４１１に処理を戻す。また、背景画像合成部３５０は、すべての画素の画素値を取得済みであると判定した場合には、図４（ｂ）の処理を終了する。背景画像合成部３５０は、重複領域５１０内のすべての画素について、図４（ｂ）の処理を行う。背景画像合成部３５０は、図４（ｂ）の処理により、特定の撮像システム１１０に映り込んでしまった光源の反射を除去しながら、背景画像を合成することができる。
【００４２】
ステップＳ４１２では、背景画像合成部３５０は、複数の撮像システム１１０の重複領域５１０の同一の画素の画素値の中で、一の撮像システム１１０の画素値が他の撮像システム１１０の画素値に対して閾値以上異なる場合に異常な画素値であるとする。ステップＳ４１３及びＳ４１４では、背景画像合成部３５０は、複数の撮像システム１１０の重複領域５１０の中の異常な画素値を除いて、重複領域５１０の画素毎に画素値を平均（合成）する。すなわち、背景画像合成部３５０は、重複領域５１０について、複数の撮像システム１１０の重複領域５１０の背景画像データを基に重複領域５１０の中の異常な画素値を補正する。
【００４３】
なお、ステップＳ４１４では、背景画像合成部３５０は、平均値を用いて合成しているが、これに限定されない。背景画像合成部３５０は、中央値、画像の解像度、画像の形状、撮影位置等に基づいて、各画像に重みづけを行った上で合成してもよい。また、背景画像合成部３５０は、各画素値の差分を用いて、光源の反射を判定しているが、各画素値をＨＳＶ色空間に変換し、線形ではない箇所を光源の反射候補としてもよい。また、背景画像合成部３５０は、光源の反射候補について、撮像システム１１０間に於いて論理積をとることで、光源の反射候補となるノイズ部分を除いてもよい。また、背景画像合成部３５０は、最小二乗法などの手法によって、閾値以上異なると判定する基準値を求めて、比較してもよい。
【００４４】
図４（ａ）のステップＳ４０７では、各撮像システム１１０において、前景画像生成部２３０は、カメラ部２１０から画像を入力し、その画像から背景を抜き去り、前景画像データを生成する。例えば、前景画像生成部２３０は、特開２０１０−９７３５５号公報又は特開２０１３−９７５８４号公報の技術を用いて、前景背景分離処理を行って、前景画像データを生成する。各撮像システム１１０において、通信部２４０は、前景画像生成部２３０により生成された前景画像データをサーバ１２０に送信する。
【００４５】
次に、ステップＳ４０８では、サーバ１２０の通信部３８０は、複数の撮像システム１１０の各々から前景画像データを受信し、複数の撮像システム１１０の各々の前景画像データを前景画像合成部３６０に出力する。前景画像合成部３６０は、複数の撮像システム１１０の各々の前景画像データを合成し、ステップＳ４０９に処理を進める。
【００４６】
ステップＳ４０９では、仮想視点画像生成部３７０は、前景画像合成部３６０により合成された前景画像データと背景画像合成部３５０により合成された背景画像データとを合成することにより、視点座標からの仮想視点画像を生成する。具体的には、仮想視点画像生成部３７０は、前景画像データと背景画像データに対して、仮想カメラのカメラパラメータを設定し、仮想カメラ上に結像される画像をレンダリングし、仮想視点画像の画像値を生成する。
【００４７】
次に、ステップＳ４１０では、画像処理システム１００は、終了が指示されたか否かを判定し、終了が指示されていないと判定した場合にはステップＳ４０４に処理を戻し、終了が指示されたと判定した場合には図４（ａ）の処理を終了する。
【００４８】
以上の処理により、画像処理システム１００は、複数台の撮像システム１１０を用いて、仮想視点画像を生成することができる。その場合、画像処理システム１００は、一の撮像システム１１０で正しく撮影できなかった画素を、他の撮像システム１１０が撮影した画素を用いて補うことで、画質低下を回避した背景画像を生成することができる。なお、重複領域５１０の背景画像データを生成する撮像システム１１０の台数を３台としたが、何台としてもよく、すべての撮像システム１１０を用いてもよい。さらに、重複領域５１０の撮像システム１１０の台数を少なくする時、背景画像の生成に必要な背景画像データのサイズが抑えられ、サーバ１２０への画像の集約に必要な通信量を抑える効果が得られる。
【００４９】
また、ステップＳ４０２では、背景領域生成部３４０は、最初の１台として任意の撮像システム１１０ａを選択したが、これに限定されない。例えば、背景領域生成部３４０は、重複領域５１０がカメラ部２１０のセンサ上に結像される面積が最も大きくなる撮像システム１１０をカメラパラメータより計算によって求め、面積が最も大きくなる撮像システム１１０を選択してもよい。あるいは、背景領域生成部３４０は、任意の１台の撮像システム１１０を選択せず、すべての撮像システム１１０の中から３台の撮像システム１１０を組み合わせた面積を求めてもよい。また、背景領域生成部３４０は、３台の撮像システム１１０の距離が最も離れるように選択したが、例えば、重複領域５１０がカメラ部２１０のセンサ上に結像される面積の上位の撮像システム１１０から選択してもよい。
【００５０】
（第２の実施形態）
図９は、本発明の第２の実施形態によるサーバ１２０の構成例を示すブロック図である。図９のサーバ１２０は、図３のサーバ１２０に対して、光源情報設定部９１０を追加したものである。光源情報設定部９１０は、被写体の背景において、光源となるスタジアム照明や、太陽などの光源について、光源の座標や光源情報などを設定する。なお、以下で説明されないブロックや処理フローについては、第１の実施形態において説明されたものと同様である。
【００５１】
図１０（ａ）は、スタジアムの光源となる照明１０１０、１０２０、１０３０、１０４０を示す図である。スタジアムには、４個の照明１０１０、１０２０、１０３０、１０４０が設置されている。図１０（ｂ）は、４個の照明１０１０、１０２０、１０３０、１０４０の光源種類の設置座標情報が設定されたテーブルを示す図である。照明１０１０、１０２０、１０３０、１０４０は、共に点光源として設定され、それぞれ、座標値（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、（ｘ３，ｙ３，ｚ３）、（ｘ４，ｙ４，ｚ４）を有する。
【００５２】
光源情報設定部９１０は、図１０（ｂ）の光源情報を背景領域生成部３４０に出力する。なお、光源の種類は、ここでは点光源として説明するが、これに限定されるものではなく、面光源や線光源等の光源を用いた場合でも同様である。背景領域生成部３４０は、カメラパラメータ管理部３２０から各撮像システム１１０のカメラパラメータを入力し、重複領域検出部３３０から重複領域情報を入力し、さらに、光源情報設定部９１０から光源情報を入力する。そして、背景領域生成部３４０は、カメラパラメータと重複領域情報と光源情報を基に、各撮像システム１１０において撮影する範囲を決定する。以下、その方法について説明する。
【００５３】
図１１は、第２の実施形態による画像処理システム１００が仮想視点画像を生成する処理を示すフローチャートである。図１１のフローチャートは、図４（ａ）のフローチャートに対して、ステップＳ４０２及びＳ４０３の代わりに、ステップＳ１１０１及びＳ１１０２を設けたものである。図１１のステップＳ４０１、Ｓ４０３〜Ｓ４１０の処理は、図４（ａ）のものと同じである。
【００５４】
まず、画像処理システム１００は、図４（ａ）と同様に、ステップＳ４０１の処理を行う。次に、ステップＳ１１０１では、背景領域生成部３４０は、光源情報設定部９１０の光源情報を用いて、光源の１次反射が起こる領域を算出する。
【００５５】
図１２は、撮像システム１１０ｋの撮影範囲の画像６００ｋと撮像システム１１０ｋから飛ばす光線の関係を示す図である。背景領域生成部３４０は、図１２の画像６００ｋの各画素１２１０、１２２０、１２３０、１２４０等に対して光線を飛ばして、レイトレーシングを行う。画素１２２０は、領域８３０上の点であり、光源の反射が映り込む領域である。
【００５６】
図１３（ａ）及び（ｂ）は、画素１２１０、１２２０、１２３０、１２４０の光線を撮像システム１１０ｋから背景の３次元モデル（スタジアム）に飛ばした様子を示す図である。図１３（ａ）は、撮像システム１１０ｋの画素１２１０、１２２０、１２３０、１２４０の各々から背景の３次元モデル上の交わる点まで光線を飛ばした様子を表す。画素１２１０、１２２０、１２３０、１２４０からそれぞれ光線１３１０、１３２０、１３３０、１３４０が背景の３次元モデル上に飛んでいる様子がわかる。
【００５７】
図１３（ｂ）は、図１３（ａ）の光線１３１０、１３２０、１３３０、１３４０が背景の３次元モデル上で１次反射する様子を示す図である。光線１３１０、１３２０、１３３０、１３４０は、背景の３次元モデル上で反射し、光線１３５０、１３６０、１３７０、１３８０となる。光線１３５０、１３６０、１３８０は、１次反射した後、光源にぶつからない。光線１３７０は、１次反射した後、光源１０２０にぶつかる。よって、光線１３７０の画像６００ｋ中の画素１２２０は、光源１０２０の反射が映り込む可能性がある領域であると判断される。背景領域生成部３４０は、同様の処理を他の撮像システム１１０についても実施し、重複領域５１０の光源の反射が映り込む可能性のある撮像システム１１０を検出する。例えば、背景領域生成部３４０は、重複領域５１０の光源の反射が映り込む可能性のある３台の撮像システム１１０ｋ、１１０ｄ、１１０ｇ、１１０ｎを検出する。
【００５８】
次に、ステップＳ１１０２では、背景領域生成部３４０は、ステップＳ１１０１で検出した光源の１次反射が起こる領域を除いて、各撮像システム１１０における背景画像データの生成領域を決定する。例えば、背景領域生成部３４０は、ステップＳ１１０１で検出した重複領域５１０に光源の反射が映り込む可能性がある撮像システム１１０ｄ、１１０ｇ、１１０ｋ、１１０ｎを撮像システム１１０ａ〜１１０ｎの中から除く。そして、背景領域生成部３４０は、撮像システム１１０ｄ、１１０ｇ、１１０ｋ、１１０ｎ以外の撮像システム１１０の中から、図４（ａ）のステップＳ４０２と同様に、重複領域５１０の背景画像データを生成するための３台の撮像システム１１０を決定する。そして、背景領域生成部３４０は、ステップＳ４０２と同様に、各撮像システム１１０の背景画像データの生成領域を決定する。通信部３８０は、背景領域生成部３４０により決定された背景画像データの生成領域を各撮像システム１１０に送信する。各撮像システム１１０の背景画像生成部２２０は、図４（ａ）のステップＳ４０３と同様に、その背景画像データの生成領域を設定する。その後、画像処理システム１００は、図４（ａ）と同様に、ステップＳ４０４〜Ｓ４１０の処理を行う。
【００５９】
以上のように、背景領域生成部３４０は、反射が起こる可能性が高いと判断された撮像システム１１０を、重複領域５１０の背景画像データを生成する３台の撮像システム１１０の候補から外す。背景領域生成部３４０は、重複領域５１０において光源の反射が起こる可能性がある撮像システム１１０を除いた撮像システム１１０の中から３台の撮像システム１１０の座標値を組み合わせた際の面積が最大になるものを探す。そして、背景領域生成部３４０は、面積が最大となる３台の撮像システム１１０を、重複領域５１０の背景画像データを生成する３台の撮像システム１１０として決定し、各撮像システム１１０の背景画像データの生成範囲を決定する。背景領域生成部３４０は、光源の位置情報を基に、重複領域５１０について光源の光の反射が映り込む撮像システム１１０を検出し、その検出された撮像システム１１０に対して重複領域５１０を除く背景画像データの生成領域を決定する。画像処理システム１００は、予め各撮像システム１１０の画像中において反射の可能性のある領域を背景画像データの生成領域から除いて、背景画像データを生成することができる。
【００６０】
第１及び第２の実施形態では、光源の反射を取り除く形態を例に挙げたが、これに限定されるものではなく、例えばカメラ部２１０のレンズ表面やカメラ部２１０のセンサ上のゴミや傷、カメラ部２１０の前を横切った虫や鳥などにも同様に適用することができる。この時、カメラ部２１０のセンサ上のゴミ判断については、第２の実施形態の光源反射と同様に、特開２０１２−２２２５０８号公報のゴミ影部識別技術などを用いて、事前にゴミの付着位置を特定しておいてもよい。
【００６１】
第１及び第２の実施形態では、画像処理システム１００は、複数の撮像システム１１０を用いて仮想視点画像を生成する。その場合、画像処理システム１００は、一の撮像システム１００が正しく撮影できなかった画素を他の撮像システム１１０の画素を用いて補正することで、その視点からは見えないはずの反射光を取り除くことができる。また、画像処理システム１００は、重複領域５１０を基に、各撮像システム１１０の背景画像データの生成領域を決定することにより、背景画像データの通信量を削減することができる。
【００６２】
（その他の実施形態）
第１及び第２の実施形態の画像処理システム１００は、カメラ部２１０を除き、コンピュータがプログラムを実行することにより上記の処理を行ってもよい。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６３】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６４】
３１０  背景モデル管理部、３２０  カメラパラメータ管理部、３３０  重複領域検出部、３４０  背景領域生成部、３５０  背景画像合成部、３６０  前景画像合成部、３７０  仮想視点画像生成部
【図１】
2019053382.tif 000003
【図２】
2019053382.tif 000004
【図３】
2019053382.tif 000005
【図４】
2019053382.tif 000006
【図５】
2019053382.tif 000007
【図６】
2019053382.tif 000008
【図７】
2019053382.tif 000009
【図８】
2019053382.tif 000010
【図９】
2019053382.tif 000011
【図１０】
2019053382.tif 000012
【図１１】
2019053382.tif 000013
【図１２】
2019053382.tif 000014
【図１３】
2019053382.tif 000015