(57)【要約】【課題】それぞれの撮像装置により得られる撮像画像上での色の違いに起因する視覚的な違和感を低減した仮想視点画像を生成することを目的としている。【解決手段】複数の第一の入力画像データを用いて、仮想視点から見た第一仮想視点画像の第一の画素値を取得する第一の取得手段と、仮想視点画像データの各画素に対応する第一の撮影対象上の点が第二の入力画像データにおいて見えるか否かを表す可視情報と、前記複数の第一の入力画像データと複数の第二の入力画像データとを用いて、前記仮想視点から見た第二仮想視点画像の第二の画素値であって、前記複数の第一の画像データと前記複数の第二の画像データの差異を表す第二の画素値を取得する第二の取得手段と、前記第一の画素値と前記第二の画素値とを用いて、前記仮想視点画像データを生成する画像生成手段と、を有する。【選択図】図１１
2019061558.tif 000002
【特許請求の範囲】
【請求項１】
第一の撮影対象を複数の視点から見た複数の第一の入力画像データと、前記第一の撮影対象と第二の撮影対象を前記複数の視点から見た複数の第二の入力画像データとを用いて、任意の仮想視点から見た仮想視点画像データを生成する画像処理装置であって、
前記複数の第一の入力画像データを用いて、前記仮想視点から見た第一仮想視点画像の第一の画素値を取得する第一の取得手段と、
前記仮想視点画像データの各画素に対応する前記第一の撮影対象上の点が前記第二の入力画像データにおいて見えるか否かを表す可視情報と、前記複数の第一の入力画像データと前記複数の第二の入力画像データとを用いて、前記仮想視点から見た第二仮想視点画像の第二の画素値であって、前記複数の第一の画像データと前記複数の第二の画像データの差異を表す第二の画素値を取得する第二の取得手段と、
前記第一の画素値と前記第二の画素値とを用いて、前記仮想視点画像データを生成する画像生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像生成手段は、前記第一の画素値に前記第二の画素値が表す前記差異を反映することで前記仮想視点画像データの各画素の画素値を取得することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第一の入力画像データと前記第二の入力画像データの差異を表す差異データを取得する差異取得手段をさらに有し、
前記第二の取得手段は、前記可視情報に基づき前記差異データに基づいて、前記第二の画素値を取得することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記可視情報と前記複数の第一の入力画像データとに基づく第三の画素値と、前記可視情報と前記複数の第二の入力画像データとに基づく第四の画素値とを用いて、前記第一の入力画像データと前記第二の入力画像データの差異を表す差異データを取得する差異取得手段をさらに有し、
前記第二の画素値は、前記差異データが示す画素値であることを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記差異取得手段が２つの画素値の差分を取得することで前記差異データを取得し、
前記画像生成手段が前記第一の画素値と前記第二の画素値の和を取得することで前記仮想視点画像データの各画素の画素値を生成することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記差異取得手段は、２つの画素値の比に基づいて、前記差異データを取得し、
前記画像生成手段は、前記第一の画素値と前記第二の画素値の積に基づいて、前記仮想視点画像データが示す画像の各画素の画素値を生成することを特徴とする請求項３または４に記載の画像処理装置。
【請求項７】
前記第二の画素値の彩度を小さくする補正手段をさらに有することを特徴とする請求項１から６の何れか一項に記載の画像処理装置。
【請求項８】
前記第二の画素値のノイズを低減する低減手段をさらに有することを特徴とする請求項１から７の何れか一項に記載の画像処理装置。
【請求項９】
前記第一の取得手段と前記第二の取得手段は、
前記仮想視点から見た前記第一の撮影対象の距離情報に基づいて、前記仮想視点画像データの各画素と前記複数の視点との対応関係を取得し、
前記対応関係に基づいて、前記仮想視点画像データの各画素に対応する画素値を取得することを特徴とする請求項１から８の何れか一項に記載の画像処理装置。
【請求項１０】
前記第二の取得手段は、
前記可視情報において可視である視点の画素値の寄与を可視でない視点の画素値の寄与より大きくすることを特徴とする請求項１から９の何れか一項に記載の画像処理装置。
【請求項１１】
前記仮想視点から見た前記第一の撮影対象の距離情報と前記複数の視点から見た前記第二の撮影対象の距離情報との整合性から前記可視情報を取得する可視情報取得手段をさらに有することを特徴とする請求項１から１０の何れか一項に記載の画像処理装置。
【請求項１２】
前記第二の取得手段は、
前記可視情報が前記複数の視点のいずれかにおいて可視である前記仮想視点画像データの画素に対してのみ前記第二の画素値を取得することを特徴とする請求項１から１１の何れか一項に記載の画像処理装置。
【請求項１３】
前記第二の入力画像データから前記第二の撮影対象を前記仮想視点から見た被写体仮想視点画像データを生成する被写体画像生成手段と、
前記仮想視点画像データに前記被写体仮想視点画像データを重畳する被写体重畳手段をさらに有することを特徴とする請求項１から１２の何れか一項に記載の画像処理装置。
【請求項１４】
第一の撮影対象を複数の視点から見た複数の第一の入力画像データと、前記第一の撮影対象と第二の撮影対象を前記複数の視点から見た複数の第二の入力画像データとから、前記第一の撮影対象を仮想視点から見た仮想視点画像データを生成する画像処理装置であって、
前記仮想視点画像データの各画素と前記複数の視点における画素位置の対応に基づき、前記複数の第一の入力画像データから第一の仮想視点画像データを取得する第一の視点変換手段と、
前記視点が同一である第一の入力画像データと第二の入力画像データの差異を表す複数の差異画像データを生成する差異画像生成手段と、
前記画素位置の対応と、前記仮想視点画像データの各画素に対応する前記第一の撮影対象上の点が前記第二の入力画像データから見えるかを表す可視情報に基づき、前記複数の差異画像データから第二の仮想視点画像データを取得する第二の視点変換手段と、
前記第一の仮想視点画像データに前記第二の仮想視点画像データが表す差異を反映することで前記仮想視点画像データを生成する画像生成手段と
を有することを特徴とする画像処理装置。
【請求項１５】
第一の撮影対象を複数の視点から見た複数の第一の入力画像データと、前記第一の撮影対象と第二の撮影対象を前記複数の視点から見た複数の第二の入力画像データとから、前記第一の撮影対象を仮想視点から見た仮想視点画像データを生成する画像処理装置であって、
前記仮想視点画像データの各画素と前記複数の視点における画素位置の対応に基づき、前記複数の第一の入力画像データから第一の仮想視点画像データを取得する第一の視点変換手段と、
前記画素位置の対応と、前記仮想視点画像データの各画素に対応する前記第一の撮影対象上の点が前記第二の入力画像データから見えるかを表す可視情報に基づき、前記複数の第一の入力画像データから第二の仮想視点画像データを取得する第二の視点変換手段と、
前記画素位置の対応と、前記可視情報に基づき、前記複数の第二の入力画像データから第三の仮想視点画像データを取得する第三の視点変換手段と、
前記第二の仮想視点画像データと前記第三の仮想視点画像データの差異を表す差異画像データを生成する差異画像生成手段と、
前記第一の仮想視点画像データに前記差異画像データが表す差異を反映することで前記仮想視点画像データを生成する画像生成手段と
を有することを特徴とする画像処理装置。
【請求項１６】
第一の撮影対象を複数の視点から見た複数の第一の入力画像データと、前記第一の撮影対象と第二の撮影対象を前記複数の視点から見た複数の第二の入力画像データとを用いて、任意の仮想視点から見た仮想視点画像データを生成する画像処理方法であって、
前記複数の第一の入力画像データを用いて、前記仮想視点から見た第一仮想視点画像の第一の画素値を取得する第一の取得工程と、
前記仮想視点画像データの各画素に対応する前記第一の撮影対象上の点が前記第二の入力画像データにおいて見えるか否かを表す可視情報と、前記複数の第一の入力画像データと前記複数の第二の入力画像データとを用いて、前記仮想視点から見た第二仮想視点画像の第二の画素値であって、前記複数の第一の画像データと前記複数の第二の画像データの差異を表す第二の画素値を取得する第二の取得工程と、
前記第一の画素値と前記第二の画素値とを用いて、前記仮想視点画像データを生成する画像生成工程と、
を有することを特徴とする画像処理方法。
【請求項１７】
コンピュータを請求項１から１５の何れか一項に記載の画像処理装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像から仮想視点画像を合成する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
複数の撮像装置で異なる視点から被写体を撮像して得られた多視点画像から、任意の仮想視点から被写体を観察した仮想視点画像を再構成する技術が知られている。特許文献１には、以下の方法が開示されている。まず、複数の撮像装置により撮像された被写体の撮像画像と、撮像装置の位置情報とを用いて、被写体の三次元モデルを作成する。次に、三次元モデル上の各位置のテクスチャ画像を、複数の撮像画像に写っているテクスチャ画像をブレンドすることにより生成する。最後に、ブレンドテクスチャ画像を三次元モデルにテクスチャマッピングすることにより、撮像装置が配置されていない仮想視点からの画像を生成している。このように生成される、撮像装置が配置されていない任意の視点からの画像を仮想視点画像と呼ぶ。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５０１１２２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、照明等の影響や撮像装置の個体差により、被写体の同じ部位であっても、それぞれの撮像装置により得られる撮像画像上での色が異なることがある。このため、例えば、被写体によって一部の撮像装置に対して遮蔽領域があると、仮想視点画像において、遮蔽領域を撮影可能な他の撮像装置により撮影される画像を用いて遮蔽領域に対応する領域をテクスチャマッピングする必要がある。このように、仮想視点画像において、複数の撮像装置により撮影された画像を用いてテクスチャマッピングされる領域付近に不自然な色の変化が見られ、視覚的な違和感を生じさせることがあった。
【０００５】
そこで本発明は、それぞれの撮像装置により得られる撮像画像上での色の違いに起因する視覚的な違和感を低減した仮想視点画像を生成することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述した課題を解決するために為されたものであって、第一の撮影対象を複数の視点から見た複数の第一の入力画像データと、前記第一の撮影対象と第二の撮影対象を前記複数の視点から見た複数の第二の入力画像データとを用いて、任意の仮想視点から見た仮想視点画像データを生成する画像処理装置であって、前記複数の第一の入力画像データを用いて、前記仮想視点から見た第一仮想視点画像の第一の画素値を取得する第一の取得手段と、前記仮想視点画像データの各画素に対応する前記第一の撮影対象上の点が前記第二の入力画像データにおいて見えるか否かを表す可視情報と、前記複数の第一の入力画像データと前記複数の第二の入力画像データとを用いて、前記仮想視点から見た第二仮想視点画像の第二の画素値であって、前記複数の第一の画像データと前記複数の第二の画像データの差異を表す第二の画素値を取得する第二の取得手段と、前記第一の画素値と前記第二の画素値とを用いて、前記仮想視点画像データを生成する画像生成手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、それぞれの撮像装置により得られる撮像画像上での色の違いに起因する視覚的な違和感を低減した仮想視点画像を生成することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１に係る画像処理装置を含む撮像システムの一例を表す模式図である。
【図２】画像処理装置のハードウェア構成の一例を示すブロック図である。
【図３】画像処理装置のソフトウェア構成の一例を示すブロック図である。
【図４】画像処理装置の処理の流れの一例を示すフローチャートである。
【図５】遮蔽領域に起因する課題を説明するための図である。
【図６】遮蔽領域に起因する課題の解決手段を説明するための図である。
【図７】画像処理装置の対応算出部の構成の一例を示すブロック図である。
【図８】対応算出部の処理の流れの一例を示すフローチャートである。
【図９】画像処理装置の遮蔽判定部の構成の一例を示すブロック図である。
【図１０】遮蔽判定部の処理の流れの一例を示すフローチャートである。
【図１１】画像処理装置の仮想視点画像合成部の構成の一例を示すブロック図である。
【図１２】仮想視点画像合成部の処理の流れの一例を示すフローチャートである。
【図１３】画像処理装置の差分画像生成部の構成の一例を示すブロック図である。
【図１４】差分画像生成部の処理の流れの一例を示すフローチャートである。
【図１５】画像処理装置の画像変換部の構成の一例を示すブロック図である。
【図１６】画像変換部の処理の流れの一例を示すフローチャートである。
【図１７】実施形態２に係る画像処理装置の仮想視点画像合成部の構成の一例を示すブロック図である。
【図１８】仮想視点画像合成部の処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照して説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。また、実施形態で説明されている構成要素の組み合わせのすべてが、課題を解決するための手段に必須のものとは限らない。
【００１０】
［実施形態１］
＜撮像システムの全体構成＞
図１は、本発明に係る実施形態１の画像処理装置を含む撮像システムの一例を示した模式図である。撮像システムは、複数（図示例では１０個）の撮像装置１０１と画像処理装置１０２とを有する。画像処理装置１０２は、表示装置１０３、入力装置（キーボード）１０４、入力装置（マウス）１０５を有する。複数の撮像装置１０１は、被写体１０６〜１０８を囲むような配置で設置され、全周から被写体１０６〜１０８を撮像する。すなわち、複数の撮像装置１０１は、異なる視点から被写体１０６〜１０８を撮像可能に配置されている。画像処理装置１０２は、複数の撮像装置１０１が撮像した画像データを用いて、仮想視点からの再構成画像（以降、仮想視点画像とする）を合成する。
【００１１】
撮像された画像は入力画像データと呼ぶものとする。また、本システムは被写体１０７（選手）や被写体１０８（ボール）のような移動する特定のオブジェクトであり、前景とする被写体（動体）と、被写体１０６（グラウンド）のような移動せず、背景とする被写体（不動体）を区別して扱う。事前の撮影や画像処理装置１０２での合成で取得した、移動しない被写体１０６のみが撮像された画像を背景画像データと呼ぶものとする。背景画像データは、例えば、特定のオブジェクトが存在しない際に撮影されるものとする。本システムでは入力画像データと背景画像データから、仮想視点画像データを生成する。入力画像データと背景画像データの視点を実視点と呼ぶ。仮想視点画像データの視点を仮想視点と呼ぶ。
【００１２】
また、画像処理装置１０２には表示装置１０３及び入力装置１０４，１０５が接続されている。利用者は表示装置１０３と入力装置１０４，１０５を介して画像処理装置１０２を操作することで、仮想視点の設定、撮像条件の設定、撮像により取得した画像データを処理した結果の確認を行う。
【００１３】
＜画像処理装置のハードウェア構成＞
図２は、画像処理装置のハードウェア構成の一例を示す図である。
【００１４】
画像処理装置１０２は、ＣＰＵ２０１、メインメモリ２０２、記憶部２０３を有する。画像処理装置１０２は、表示部２０４、入力部２０５、外部インターフェース（以下、外部Ｉ／Ｆと記す）部２０６を有する。これら各機能部は、バス２０７を介して接続している。外部Ｉ／Ｆ部２０６は、ＬＡＮ２０８を介して複数の撮像装置１０１と接続している。
【００１５】
記憶部２０３には、後述する図４，８，１０，１２，１４，１６のフローチャートに示す画像処理装置１０２の処理を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータなどが記憶されている。制御プログラムやデータは、ＣＰＵ２０１による制御のもとバス２０７を通じてメインメモリ２０２に取り込まれる。これがＣＰＵ２０１によって実行されることで、上述のハードウェアと協働して上述の各機能が実現される。例えば表示部２０４は表示装置１０３として機能し、入力部２０５は入力装置（キーボード）１０４および入力装置（マウス）１０５として機能する。また、かかるソフトウェアとハードウェアの協働により画像処理装置１０２による処理が実現される。
【００１６】
＜画像処理装置のソフトウェア構成と処理の流れ＞
図３は、画像処理装置１０２のソフトウェア構成の一例を示すブロック図である。
【００１７】
画像処理装置１０２は、入力画像取得部３０１、背景画像取得部３０２、仮想視点カメラパラメータ取得部３０３、実視点カメラパラメータ取得部３０４、形状取得部３０５を有する。また、画像処理装置１０２は、対応算出部３０６、遮蔽判定部３０７、仮想視点画像合成部３０８を有する。
【００１８】
入力画像取得部３０１は入力画像データを取得する。入力画像データは、複数の撮像装置１０１が撮像した画像データを、画像処理装置１０２のメインメモリ２０２上に転送、格納しておいたものを用いるものとする。また、現像処理、色処理、歪曲補正なども事前に実施されているものとする。
【００１９】
背景画像取得部３０２は背景画像データを取得する。背景画像データは、移動する被写体が存在しない状態で撮像装置１０１が撮像した画像データを、画像処理装置１０２のメインメモリ２０２上に転送、格納しておいたものを用いるものとする。もしくは、入力画像データに対して時系列のフィルタを適用し、あらかじめ生成しておくものとする。本実施形態では、移動する被写体に関するデータを、先頭に被写体を付したデータ名で記し、移動しない被写体に関するデータを、先頭に背景を付したデータ名で記すものとする。
【００２０】
仮想視点カメラパラメータ取得部３０３は、仮想視点カメラパラメータを取得する。仮想視点カメラパラメータとは仮想視点の内部パラメータおよび外部パラメータである。仮想視点の内部パラメータとして、例えば、焦点距離、画像中心位置などが挙げられる。仮想視点の外部パラメータとして、例えば、カメラ位置、カメラ向きが挙げられる。仮想視点カメラパラメータは、画像処理装置１０２の使用者による入力装置１０４，１０５の操作により表示装置１０３上で仮想視点が指定されると、仮想視点に応じて生成される。そして、仮想視点に応じて生成された仮想視点カメラパラメータは、画像処理装置１０２のメインメモリ２０２上に格納される。
【００２１】
実視点カメラパラメータ取得部３０４は実視点カメラパラメータを取得する。実視点カメラパラメータとは実視点の内部パラメータ（焦点距離、画像中心位置）、外部パラメータ（カメラ位置、カメラ向き）であり、あらかじめ測定されて画像処理装置１０２のメインメモリ２０２上に格納されているものとする。
【００２２】
形状取得部３０５は被写体及び背景形状データを取得する。背景形状データはあらかじめ計測、作成されて、画像処理装置１０２のメインメモリ２０２上に格納されているものとする。被写体形状データは、入力画像データに基づき視体積交差法やマルチビューステレオなどの手法で、あらかじめ生成されて画像処理装置１０２のメインメモリ２０２上に格納されているものとする。形状データの形態は、ポリゴン、点群、距離マップなど、どのようなものでもかまわない。
【００２３】
対応算出部３０６は仮想視点カメラパラメータ、実視点カメラパラメータ、被写体及び背景形状データに基づき、仮想視点画像と入力画像の対応データを算出する。すなわち、対応データである、画素位置データ、光線角データ、領域データを算出する。各データは、被写体と背景それぞれについて算出する。画素位置データは仮想視点画像データの各画素に対して、各実視点上の対応する画素位置を格納したデータである。光線角データは、仮想視点と各実視点の光線のなす角を表すデータである。領域データは、仮想視点画像データの各画素に対して、被写体、背景それぞれが着目画素を通る光線上に存在するかを表す情報を格納した描画処理を行う領域を表すデータである。詳細は後述する。
【００２４】
遮蔽判定部３０７は実視点カメラパラメータと被写体及び背景形状データ、対応算出部３０６が算出した画素位置データと領域データに基づき遮蔽データを算出する。遮蔽データは、仮想視点画像データの各画素に対して、着目画素から見えている被写体、背景上の点が実視点から見えていないかを表す情報を格納したデータである。詳細は後述する。
【００２５】
仮想視点画像合成部３０８は入力画像データ、背景画像データ、被写体及び背景画素位置データ、被写体及び背景光線角データ、被写体及び背景領域データ、被写体及び背景遮蔽データに基づき、仮想視点画像データを生成する。詳細は後述する。
【００２６】
図４は、画像処理装置１０２における処理の流れの一例を示すフローチャートである。
【００２７】
ステップＳ４０１では入力画像取得部３０１は、複数の撮像装置１０１で撮像されメインメモリ２０２上に格納された入力画像データを取得する。
【００２８】
ステップＳ４０２では背景画像取得部３０２は、複数の撮像装置１０１で撮像されメインメモリ２０２上にあらかじめ格納された背景画像データを取得する。
【００２９】
ステップＳ４０３では仮想視点カメラパラメータ取得部３０３は使用者による仮想視点の指定に応じて生成されメインメモリ２０２上に格納された仮想視点カメラパラメータを取得する。
【００３０】
ステップＳ４０４では実視点カメラパラメータ取得部３０４がメインメモリ２０２上に格納された実視点カメラパラメータを取得する。
【００３１】
ステップＳ４０５では形状取得部３０５がメインメモリ２０２上に格納された被写体及び背景形状データを取得する。
【００３２】
ステップＳ４０６では対応算出部３０６が仮想視点カメラパラメータ、実視点カメラパラメータ、被写体形状データに基づき、被写体の仮想視点画像と入力画像の対応データを算出する。被写体画像の対応データとして、被写体画素位置データ、被写体光線角データ、被写体領域データを算出する。
【００３３】
ステップＳ４０７では対応算出部３０６が仮想視点カメラパラメータ、実視点カメラパラメータ、背景形状データに基づき、背景の仮想視点画像と入力画像の対応データを算出する。背景画像の対応データとして、背景画素位置データ、背景光線角データ、背景領域データを算出する。
【００３４】
ステップＳ４０８では遮蔽判定部３０７が実視点カメラパラメータ、被写体形状データ、被写体画素位置データ、被写体領域データに基づき、被写体の仮想視点画像において入力画像が遮蔽されている領域を表す被写体遮蔽データを算出する。
【００３５】
ステップＳ４０９では遮蔽判定部３０７が実視点カメラパラメータ、被写体及び背景形状データ、背景画素位置データ、背景領域データに基づき、背景の仮想視点画像において入力画像が遮蔽されている領域を表す背景遮蔽データを算出する。
【００３６】
ステップＳ４１０では仮想視点画像合成部３０８が入力画像データ、背景画像データ、被写体及び背景画素位置データ、被写体及び背景光線角データ、被写体及び背景領域データ、被写体及び背景遮蔽データに基づき、仮想視点画像データを生成する。
【００３７】
＜課題と解決手段の概要＞
ここで、図５（ａ），（ｂ）を用いて遮蔽領域に起因する課題について説明する。図５（ａ）は入力画像データの取得の過程を表す図である。ここでは、光線の異なる２つの実視点５０４，５０５から入力画像データ５０６，５０７を取得する例について説明する。実視点５０４，５０５は、平面視で撮像対象の被写体５０１を挟んで対向配置される。被写体５０１は、背景５０３上に被写体５０１の影５０２が映るものである。被写体５０１は円柱状の物体（動体）であり、背景５０３は被写体５０１が設置される平面状の物体（不動体）であるものとする。実視点５０４から撮像して取得した入力画像データ５０６と実視点５０５から撮像して取得した入力画像データ５０７は撮像装置の個体差や、視点による見え方の違いによって、異なる明るさや色の画像データになっているものとする。
【００３８】
図５（ｂ）は２つの入力画像データを合成して得られた仮想視点画像データの説明図である。仮想視点５０９は、実視点５０４，５０５の光線と異なり、実視点５０５よりも実視点５０４に近接した位置に配置されているものとする。入力画像データ５０６，５０７を、被写体５０１と背景５０３それぞれの形状データに基づき変換することで、仮想視点５０９の仮想視点画像データ５１０を生成する。このとき、視点による見え方の違いを再現するため、仮想視点５０９により近い、実視点５０４から撮像した入力画像データ５０６を優先的に画像生成に用いる。実視点５０４に対して被写体５０１で背景５０３が遮蔽された領域５０８では、実視点５０５から撮像された入力画像データ５０７を用いる。すなわち、被写体の５０１の写る領域を除去しながら、入力画像データ５０６、５０７を貼り合せる。しかし、入力画像データ５０６と入力画像データ５０７とでは明るさや色が異なる。そのため、入力画像データ５０６，５０７を合成して得られた仮想視点画像データ５１０では、遮蔽された領域５０８に対応する領域とそれ以外の背景５０３に対応する領域との間で不自然な色の変化が見られ、視覚的な違和感が生じてしまう。
【００３９】
続いて、本発明における課題の解決手段について図６を用いて説明する。本発明では背景、影、被写体をそれぞれ仮想視点に変換した後に、合成して仮想視点画像データを生成する。
【００４０】
ここでは、複数の実視点のうちn番目の実視点の入力画像データをIn、背景画像データをBnとする。ｎは、２以上の自然数である。また、被写体による遮蔽を考慮しない背景の変換をTbとする。被写体による遮蔽を考慮した背景の変換をToとする。また、被写体の遮蔽を考慮した被写体の変換をTfとする。ここで、被写体による遮蔽を考慮した背景の変換とは、図５（ｂ）を用いて前述したような変換であり、実視点の画像データから被写体が射影される領域を除去して貼り合せながら、背景の形状に基づいて仮想視点上に画像データに変換する処理である。このとき、実視点の画像データに何が写っているかは問題ではなく、与えられた被写体と背景の形状によって、この変換は定義される。また、被写体による遮蔽を考慮しない背景の変換とは、被写体が射影される領域についても特に何もせずに、実視点の画像データを背景の形状に基づいて仮想視点上に画像データに変換する処理である。また、被写体の遮蔽を考慮した被写体の変換とは、実視点の画像データから、被写体に対応する領域の仮想視点画像データを生成する処理であり、方法はどのようなものでも良い。
【００４１】
図６（ａ）は背景画像データBnに被写体による遮蔽を考慮しない背景の変換Tbを適用した、Tb(Bn)の生成処理を説明するための図である。すなわち、実視点６０１から移動する被写体が存在しない被写体６０５を撮像して取得した背景画像データ６０３に、被写体による遮蔽を考慮しない変換Tbを適用して背景変換画像データ６０７を生成する。
【００４２】
図６（ｂ）は入力画像データInから背景画像データBnを引いた差分画像データIn-Bnに被写体による遮蔽を考慮した背景の変換Toを適用した、To(In--Bn)の生成処理を説明するための図である。この画像データは影の成分に相当する。すなわち、実視点６０１，６０２から被写体を撮像してメインメモリ上に格納された入力画像データ５０６、５０７から背景画像データ６０３，６０４を引いた差分画像データ６０８、６０９に、被写体による遮蔽を考慮した背景の変換Toを適用する。そして、影変換画像データ６１０が生成される。差分画像データ６０８、６０９には被写体５０１と背景５０３との差分も現れるが、この領域は被写体形状データに基づいて特定し、影変換画像データ６１０には現れないようにする。
【００４３】
図６（ｃ）は入力画像データInに被写体の仮想視点への変換Tfを適用した、Tf(In)の生成処理を説明するための図である。すなわち、実視点６０１，６０２から被写体６１６が撮像されメインメモリ上に格納された入力画像データに、被写体による遮蔽を考慮した被写体の変換Tfを適用して被写体変換画像データ６１５を生成する。
【００４４】
図６（ｄ）は、各変換画像データから仮想視点画像データTb(Bn)+ To(In--Bn)+Mf・Tf(In)の生成処理を説明するための図である。すなわち、背景変換画像データ６０７、影変換画像データ６１０、被写体変換画像データ６１５を合成することで、仮想視点画像データ６１７を生成する。ここでMfは仮想視点画像データ上の被写体の占める範囲を表す領域データである。
【００４５】
仮想視点画像データの背景領域における不自然な色の変化は、視点間で見えの違う入力画像データを被写体の遮蔽を考慮して貼り合せながら、仮想視点に変換することによって生じる。同一の実視点の入力画像データと背景画像データの差分である差分画像データでは、視点固有の明るさや色偏りが差分を取ることで除去されている。そのため、差分画像データを遮蔽を考慮して貼り合せても、不自然な色の変化は生じにくい。また、背景画像データから生成した仮想視点画像データにも、被写体による遮蔽に由来する貼り合せを行わないため、不自然な色の変化は生じない。したがって、差分画像データを被写体の遮蔽を考慮して仮想視点に変換した画像データと、背景画像データを仮想視点に変換した画像データを足し合わせることで、不自然な色の変化を抑えつつ、影を含む背景領域の仮想視点画像データを生成することができる。これに被写体領域の仮想視点画像データを重畳することで、違和感のない仮想視点画像データを生成する。
【００４６】
＜対応算出部の構成と処理の流れ＞
図７は、対応算出部３０６の構成の一例を示すブロック図である。
【００４７】
対応算出部３０６は、仮想視点距離データ算出部７０１、射影変換部７０２、光線角算出部７０３を有する。
【００４８】
仮想視点距離データ算出部７０１は仮想視点カメラパラメータと形状データに基づき、領域データと距離データを算出する。距離データは仮想視点画像データの各画素に対して被写体または背景までの距離を算出して得られるデータであり、Ｚバッファ法などを用いることで、点群やポリゴンなどの形状データから算出する。また、領域データは仮想視点画像データの各画素に対して、距離データが無限遠でないか、すなわち何らかの被写体または背景が各画素を通る光線上に存在するかを算出して得られるデータである。なお、距離データの算出は明示的な形状データを必ずしも用いる必要はなく、その都度、距離データを算出、取得する構成としてもかまわない。
【００４９】
射影変換部７０２は距離データと実視点カメラパラメータに基づき画素位置データを算出する。画素位置データは仮想視点画像データの各画素に対して、各実視点上の対応する画素位置を格納したデータである。ここで、実視点に対応する仮想視点の画素位置の算出方法について説明する。着目画素(u',v')の距離をd'とする。仮想視点の内部パラメータ行列をA'とし、仮想視点の外部パラメータ行列を[R' T']とする。n番目の実視点の内部パラメータ行列をAnとし、n番目の実視点の外部パラメータ行列を[Rn Tn]とする。n番目の実視点に対応する仮想視点の画素位置(u,v)は式１によって算出される。R'およびRnは回転行列を表す。T'およびTnは並進ベクトルを表す。
【００５０】
【数１】
2019061558.tif 000003
【００５１】
光線角算出部７０３は、仮想視点カメラパラメータと実視点カメラパラメータに基づき、仮想視点と各実視点の光線のなす角を表す光線角データを算出する。ここでは、各視点の視線方向を撮像装置が設置されている平面上に射影し、正規化したベクトル間の角度を算出することで、仮想視点と各実視点の光線のなす角を求める。この場合、被写体と背景の全画素で光線角データは共通になるが、画素毎の光線の方向に基づいて被写体と背景それぞれに対して算出してもかまわない。また、角度でなく内積など、角度を特定できる他の形態のデータを用いても構わない。
【００５２】
図８は、対応算出部３０６における処理の流れの一例を示すフローチャートである。
【００５３】
ステップＳ８０１では仮想視点距離データ算出部７０１が仮想視点カメラパラメータと形状データに基づき、領域データと距離データを算出する。
【００５４】
ステップＳ８０２では対応算出部３０６が処理対象の視点としてｎ個の実視点の中から１つの実視点を新たに選択する。ｎは、２以上の自然数である。
【００５５】
ステップＳ８０３では射影変換部７０２が距離データと実視点カメラパラメータに基づき画素位置データを算出する。すなわち、選択した実視点（以下、選択実視点と記す）の実視点カメラパラメータに基づき仮想視点の距離データを選択実視点に射影して画素位置データを算出する。
【００５６】
ステップＳ８０４では光線角算出部７０３が選択実視点の実視点カメラパラメータと仮想視点カメラパラメータに基づき、選択実視点と仮想視点の光線のなす角を表す光線角データを算出する。
【００５７】
ステップＳ８０５では対応算出部３０６がｎ個の実視点のうちの全視点を処理したか判定し、全視点を処理していなければステップＳ８０２に戻り、ステップＳ８０２〜Ｓ８０５の処理を継続する。全視点を処理していれば対応算出部３０６の処理を終了する。
【００５８】
なお、ここで示した対応算出の手法は一例に過ぎず、他のどの手法を用いても構わない。ポリゴン毎の射影変換として対応を算出しても構わない。また、明示的な画素位置データを生成せずに、仮想視点画像合成部３０８で必要となる度に算出してもかまわない。
【００５９】
＜遮蔽判定部の構成と処理の流れ＞
図９は、遮蔽判定部３０７の構成の一例を示すブロック図である。
【００６０】
遮蔽判定部３０７は、仮想視点距離データ算出部９０１、実視点距離データ算出部９０２、座標変換部９０３、距離比較部９０４を有する。
【００６１】
仮想視点距離データ算出部９０１は仮想視点カメラパラメータ、形状データ、領域データに基づき仮想視点距離データを算出する。形状データと領域データは、被写体に対する遮蔽データ算出の場合、被写体形状データと被写体領域データを用い、背景に対する遮蔽データ算出の場合、背景形状データと背景領域データを用いる。仮想視点距離データの算出は対応算出部３０６の仮想視点距離データ算出部７０１と同様に行う。対応算出部３０６おいて算出した距離データを流用する構成としてもかまわない。なお、仮想視点カメラパラメータおよび形状データに加えて領域データを用いると、仮想視点カメラパラメータおよび形状データを用いた場合と比べて仮想視点距離データの算出範囲が限定され、算出コストが低減できて好ましい。
【００６２】
実視点距離データ算出部９０２は実視点カメラパラメータ、被写体形状データ、領域データ、画素位置データに基づき実視点距離データを算出する。画素位置データと領域データは、被写体に対する遮蔽データ算出の場合、被写体画素位置データと被写体領域データを用い、背景に対する遮蔽データ算出の場合、背景画素位置データと背景領域データを用いる。形状データについては、被写体に対する遮蔽データ算出および背景に対する遮蔽データ算出のいずれの場合も、被写体による遮蔽が問題となるので、被写体形状データのみを用いる。実視点距離データ、各実視点における画素位置データが表す画素位置での距離データであり、仮想視点距離データ算出部９０１と同様に、実視点に対して算出した距離データを画素位置データでリサンプリングするなどして算出する。あるいは各対応画素位置に対して直接、距離データを算出するような構成としても構わない。
【００６３】
座標変換部９０３は実視点カメラパラメータに基づき、仮想視点距離データを実視点距離データの座標系に変換する。着目画素(u',v')の距離をd'とする。仮想視点の内部パラメータ行列をA'とし、仮想視点の外部パラメータ行列を[R' T']とする。複数の実視点のうちn番目の実視点の内部パラメータ行列をAnとし、外部パラメータ行列を[Rn Tn]とする。n番目の実視点に対して変換された距離データdは式2によって算出される。R'およびRnは回転行列を表す。T'およびTnは並進ベクトルを表す。
【００６４】
【数２】
2019061558.tif 000004
【００６５】
距離比較部９０４は実視点距離データと変換された仮想視点距離データの距離を画素毎に比較し、遮蔽データを生成する。距離比較部９０４は距離の差がある閾値以上であれば遮蔽されていると判定する。
【００６６】
図１０は、遮蔽判定部３０７における処理の流れの一例を示すフローチャートである。
【００６７】
ステップＳ１００１では仮想視点距離データ算出部９０１は仮想視点カメラパラメータ、形状データ、領域データに基づき仮想視点距離データを算出する。
【００６８】
ステップＳ１００２では遮蔽判定部３０７が処理対象の視点としてｎ個の実視点の中から１つの実視点を新たに選択する。ｎは、２以上の自然数である。
【００６９】
ステップＳ１００３では実視点距離データ算出部９０２が選択実視点の実視点カメラパラメータ、被写体形状データ、画素位置データ、被写体領域データに基づき実視点距離データを算出する。すなわち、仮想視点画像の各画素に対応する、選択実視点の実視点距離データを算出する。
【００７０】
ステップＳ１００４では座標変換部９０３は選択実視点の実視点カメラパラメータに基づき、仮想視点距離データを実視点距離データの座標系に変換する。すなわち、仮想視点の距離データを選択実視点に射影して変換された仮想視点距離データを算出する。
【００７１】
ステップＳ１００５では距離比較部９０４が実視点距離データと変換された仮想視点距離データの距離を画素毎に比較し、遮蔽データを生成する。距離比較部９０４は距離の差がある閾値以上であれば遮蔽されていると判定する。
【００７２】
ステップＳ１００６では遮蔽判定部３０７がｎ個の実視点のうちの全視点を処理したか判定し、全視点を処理していなければステップＳ１００２に戻り、ステップＳ１００２〜Ｓ１００６の処理を継続する。全視点を処理していれば遮蔽判定部３０７の処理を終了する。
【００７３】
なお、ここで示した遮蔽判定の手法は一例に過ぎず、他のどの手法を用いても構わない。明示的に距離データを生成せずに判定したり、点群毎に判定したりしても構わない。
【００７４】
＜仮想視点画像合成部の構成と処理の流れ＞
図１１は、仮想視点画像合成部３０８の構成の一例を示すブロック図である。
【００７５】
仮想視点画像合成部３０８は、画像変換部１１０１、差分画像生成部１１０２、画像変換部１１０３、画像加算部１１０４、画像変換部１１０５、画像重畳部１１０６を有する。
【００７６】
画像変換部１１０１は背景画素位置データ、背景光線角データ、背景領域データに基づき背景画像データを変換する。すなわち、画像変換部１１０１は、被写体による遮蔽を考慮せず多視点画像を仮想視点から見た画像の画素値を算出する機能を有する。詳細は後述する。
【００７７】
差分画像生成部１１０２は入力画像データと背景画像データから差分画像データを生成する。詳細は後述する。
【００７８】
画像変換部１１０３は背景画素位置データ、背景領域データ、背景遮蔽データに基づき、差分画像データを変換する。すなわち、画像変換部１１０３は、被写体による遮蔽を考慮して仮想視点から多視点画像を見た画像の画素値を算出する機能を有する。詳細は後述する。
【００７９】
画像加算部１１０４は変換された背景画像データに差分画像データを加算し、背景仮想視点画像データを生成する。
【００８０】
画像変換部１１０５は被写体画素位置データ、被写体領域データ、被写体遮蔽データに基づき、入力画像データを変換し、被写体仮想視点画像データを生成する。すなわち、画像変換部１１０５は、被写体による遮蔽を考慮して仮想視点から多視点画像を見た画像の画素値を算出する機能を有する。詳細は後述する。
【００８１】
画像重畳部１１０６は被写体領域データに基づき背景仮想視点画像データに被写体仮想視点画像データを重畳し、仮想視点画像データを生成する。背景仮想視点画像データをGb、被写体仮想視点画像データをGf、背景領域データをMb、被写体領域データをMfとすると、仮想視点画像データはMf・Gf +(1- Mf) ・Mb・Gbにより算出される。
【００８２】
図１２は、仮想視点画像合成部３０８における処理の流れの一例を示すフローチャートである。
【００８３】
ステップＳ１２０１では画像変換部１１０１が背景画素位置データ、背景光線角データ、背景領域データに基づき背景画像データを変換する。すなわち、画像変換部１１０１は、被写体のいない画像から仮想視点から見た画像の画素値である背景画素値を算出する。
【００８４】
ステップＳ１２０２では差分画像生成部１１０２が入力画像データと背景画像データから差分画像データを生成する。すなわち、差分画像生成部１１０２は、被写体のいる多視点画像と被写体のいない多視点画像の差分画像を生成する。
【００８５】
ステップＳ１２０３では画像変換部１１０３が背景画素位置データ、背景光線角データ、背景領域データ、背景遮蔽データに基づき、差分画像データを変換する。すなわち、画像変換部１１０３は、差分画像データから仮想視点から見た差分画素値を算出する。
【００８６】
ステップＳ１２０４では画像加算部１１０４が変換された背景画像データに差分画像データを加算し、背景仮想視点画像データを生成する。すなわち、画像加算部１１０４は、画像変換部１１０３が算出した画素値と画像変換部１１０１が算出した画素値に基づき前記背景仮想視点画像データを合成する。
【００８７】
ステップＳ１２０５では画像変換部１１０５が被写体画素位置データ、被写体光線角データ、被写体領域データ、被写体遮蔽データに基づき、入力画像データを変換し、被写体仮想視点画像データを生成する。すなわち、画像変換部１１０５は、前記被写体のいる前記多視点画像から前記仮想視点から見た被写体画素値を算出する。
【００８８】
ステップＳ１２０６では画像重畳部１１０６が被写体領域データに基づき背景仮想視点画像データに対して被写体仮想視点画像データを重畳し、仮想視点画像データを生成する。
【００８９】
なお、被写体が存在する領域をあらかじめ限定できる場合、差分画像データの画像変換に用いる背景領域データの範囲を限定することで、算出コストを低減するなどしても良い。
【００９０】
＜差分画像生成部の構成と処理の流れ＞
図１３は、差分画像生成部１１０２の構成の一例を示すブロック図である。
【００９１】
差分画像生成部１１０２は、差分算出部１３０１、色補正部１３０２、ノイズ低減部１３０３を有する。
【００９２】
差分算出部１３０１は入力画像データの各画素の画素値から背景画像データの各画素の画素値を引いた差分画像データを算出する。
【００９３】
色補正部１３０２は差分画像データの色補正を行う。色補正は差分画像データにおける差分画素値の彩度を所定の閾値より小さくする処理や、上限を設けてクリッピングする処理などである。差分画像データは影の成分が主であるため、この処理により意図しない色づきなどの発生を抑制することができる。なお、この処理は必ずしも行う必要はない。
【００９４】
ノイズ低減部１３０３は色補正された差分画像データにおける差分画素値にノイズを低減する処理を行う。ノイズ低減処理は平均値フィルタやバイラテラルフィルタなどのフィルタ処理である。差分画像データは影の成分が主であり、高周波成分が少ないため、この処理により効果的にノイズのみを低減することができる。なお、この処理は必ずしも行う必要はない。
【００９５】
図１４は、差分画像生成部１１０２における処理の流れの一例を示すフローチャートである。
【００９６】
ステップＳ１４０１では差分画像生成部１１０２が処理対象の視点としてｎ個の実視点の中から１つの実視点を新たに選択する。ｎは、２以上の自然数である。
【００９７】
ステップＳ１４０２では差分算出部１３０１は入力画像データの各画素の画素値から背景画像データの各画素の画素値を引いた差分画像データを算出する。
【００９８】
ステップＳ１４０３では色補正部１３０２は差分画像データの色補正を行う。
【００９９】
ステップＳ１４０４ではノイズ低減部１３０３は色補正された差分画像データにノイズ低減処理を行う。
【０１００】
ステップＳ１４０５では差分画像生成部１１０２がｎ個の実視点のうちの全視点を処理したか判定し、全視点を処理していなければステップＳ１４０１に戻り、ステップＳ１４０１〜Ｓ１４０５の処理を継続する。全視点を処理していれば差分画像生成部１１０２の処理を終了する。
【０１０１】
＜画像変換部の構成と処理の流れ＞
図１５は、画像変換部１１０３の構成の一例を示すブロック図である。
【０１０２】
画像変換部１１０３は、視点選択部１５０１、リサンプリング部１５０２、ブレンディング部１５０３を有する。
【０１０３】
視点選択部１５０１は画素位置データ、光線角データ、領域データ、遮蔽データに基づき、画像データの各画素に対して、画素値の算出に用いる視点を選択する。視点選択部１５０１は領域データにおいて処理対象となっている画素についてのみ処理を行う。視点選択においては遮蔽データにおいて可視となっており、画素位置データにおいても対応画素位置が画像データ内になっている候補の中で、光線角が正、負それぞれで最小の視点を選択する。
【０１０４】
リサンプリング部１５０２は画素位置データ、領域データに基づき、選択された視点の画像データをリサンプリングして画素値を算出する。リサンプリングは最近傍や線形補間などどのような方法を用いてもかまわない。すなわち、リサンプリング部１５０２は、仮想視点から見た距離情報に基づき多視点画像への対応を算出し、前記対応に基づき前記多視点画像をサンプリングする機能を有する。
【０１０５】
ブレンディング部１５０３はリサンプリングされた画素値をブレンディングして変換画像データを生成する。選択した２視点の光線角をθ0、θ1、リサンプリングされた画素値をI0、I1とするならば、ブレンディングされた画素値は(I0・|θ1 |+ I1・|θ0|) / (|θ0 |+|θ1 |)によって算出される。なお、ブレンディングは他の式に基づいて算出しても構わない。
【０１０６】
図１６は、画像変換部１１０３における処理の流れの一例を示すフローチャートである。
【０１０７】
ステップＳ１６０１では画像変換部１１０３が処理対象の画素を新たに選択する。
【０１０８】
ステップＳ１６０２では視点選択部１５０１は領域データに基づき、ステップＳ１６０１で選択した画素が処理領域内か判定する。処理領域内であればステップＳ１６０３に進み、処理領域外であればステップＳ１６０６に進む。
【０１０９】
ステップＳ１６０３では視点選択部１５０１は遮蔽データ、画素位置データ、光線角データに基づき、画像データの各画素に対して、画素値の算出に用いる視点を選択する。
【０１１０】
ステップＳ１６０４ではリサンプリング部１５０２が画素位置データ、領域データに基づき、選択された視点の画像データをリサンプリングして画素値を算出する。ステップＳ１６０２〜１６０４から、画像変換部１１０３は、仮想視点から見た距離情報と多視点画像の視点から見た距離情報との整合性を示す遮蔽データに基づき遮蔽と判定すると、リサンプリングを行わないことになる。
【０１１１】
ステップＳ１６０５ではブレンディング部１５０３がリサンプリングされた画素値をブレンディングして変換画像データを生成する。
【０１１２】
ステップＳ１６０６では視点選択部１５０１が全画素を処理したか判定し、処理していなければステップＳ１６０１に戻りステップＳ１６０１〜Ｓ１６０６の処理を継続する。全画素を処理していれば画像変換部１１０３の処理を終了する。
【０１１３】
なお、ここで示した画像変換の方法は一例に過ぎず、他のどの手法を用いても構わない。例えば、光線角を考慮せずに遮蔽されていない全視点の画像データをリサンプリングし平均することで画素値を算出してもかまわない。また、３つ以上の視点を用いて、光線角に基づくブレンディングを行ってもかまわない。また、遮蔽領域や画像端からの距離に基づくブレンディングを行ってもかまわない。また、画像変換部１１０５による被写体仮想視点画像データの生成は、被写体の仮想視点画像を生成する手法ならば、どのような手法を用いても構わない。例えば、ビルボード法など、被写体形状を用いない手法を用いても良い。
【０１１４】
また、本実施形態では入力画像データと背景画像データの差を算出することで差分画像データを生成し、差分画像データと背景画像データを仮想視点に変換した後に和を算出することで、背景仮想視点画像データを生成したが、必ずしも差と和を用いる必要はない。例えば、入力画像データと背景画像データの差を算出する代わりに比を算出し、仮想視点に変換した後に比を乗じるものとしても良い。また、差の絶対値に指数関数などを適用し、仮想視点に変換した後に逆変換を適用しても良い。
【０１１５】
ここでは画像変換部１１０３の処理について説明したが、画像変換部１１０５についても同様である。また、遮蔽データを用いない画像変換部１１０１についても、遮蔽が無いものとして同様に処理を行えばよい。
【０１１６】
以上が本実施形態の画像処理装置１０２による仮想視点画像の生成の際の処理内容である。仮想視点画像合成部３０８は被写体のいる多視点画像、被写体のいない多視点画像、これらの差分画像から遮蔽を考慮して算出した画素値と、遮蔽を考慮せず算出した画素値との和となるよう仮想視点画像を合成する。そのため、被写体による遮蔽領域に起因する視覚的な違和感を低減した仮想視点画像を生成することができる。
【０１１７】
［実施形態２］
本実施形態では、仮想視点画像合成部３０８が実施形態１とは異なる順序で処理を行う例を示す。図１７は、実施形態２の仮想視点画像合成部３０８の構成の一例を示すブロック図である。
【０１１８】
仮想視点画像合成部３０８は、画像変換部１７０１、差分画像生成部１７０２、画像変換部１７０３、画像加算部１７０４、画像変換部１１０５、画像重畳部１１０６を有する。
【０１１９】
本実施形態では、実施形態１と異なり、画像変換部１７０１が入力画像データと背景画像データをそれぞれ変換した後に、差分画像生成部１７０２が変換された差分画像データを生成する。
【０１２０】
画像変換部１７０１は、変換された画像データに加えて、仮想視点画像データの各画素に対して、遮蔽により選択視点が変化したかを表す情報を格納した、遮蔽領域データを算出する。すなわち、遮蔽領域データは、仮想視点画像データの各画素に対して、着目画素から見えている背景上の点が実視点から見えていないかを表す遮蔽データに関し、仮想視点画像の全画素に対応したデータである。
【０１２１】
画像変換部１７０１と画像変換部１７０３は、遮蔽領域データに基づき、遮蔽の影響があった領域についてのみ、背景画像データの変換を行う。
【０１２２】
画像加算部１７０４は画像変換部１７０１が変換した入力画像データに対して、遮蔽の影響があった領域についてのみ、画像変換部１７０３と差分画像生成部１７０２の出力画像データの和に置き換える処理を行う。その他の構成は、実施形態１と同様である。
【０１２３】
図１８は、実施形態２の仮想視点画像合成部３０８における処理の流れの一例を示すフローチャートである。
【０１２４】
ステップＳ１８０１では画像変換部１７０１が背景領域データ、背景光線角データ、背景遮蔽データに基づき、遮蔽領域データを算出する。
【０１２５】
ステップＳ１８０２では画像変換部１７０１が背景画素位置データ、背景光線角データ、背景領域データ、背景遮蔽データ、 遮蔽領域データに基づき背景画像データを変換する。
【０１２６】
ステップＳ１８０３では画像変換部１７０１が背景画素位置データ、背景光線角データ、背景領域データ、背景遮蔽データ、 遮蔽領域データに基づき入力画像データを変換する。
【０１２７】
ステップＳ１８０４では差分画像生成部１７０２が遮蔽領域データに基づき変換された入力画像データと背景画像データから差分画像データを生成する。
【０１２８】
ステップＳ１８０５では画像変換部１７０３が背景画素位置データ、背景光線角データ、背景領域データ、遮蔽領域データに基づき背景画像データを変換する。
【０１２９】
ステップＳ１８０６では画像加算部１７０４が遮蔽領域データに基づき変換された差分画像データに背景画像データを加算する。
【０１３０】
次に、被写体対応データの各データと被写体遮蔽データに基づき入力画像データを変換して背景仮想視点画像データを生成する（ステップＳ１２０５）。そして、被写体領域データに基づき背景仮想視点画像データに対して被写体仮想視点画像データを重畳し、仮想視点画像データを生成する（ステップＳ１２０６）。
【０１３１】
以上が本実施形態の仮想視点画像合成部３０８による仮想視点画像データ生成の際の処理内容である。遮蔽領域データに基づき遮蔽の影響があった領域についてのみ、画像変換部１７０３と差分画像生成部１７０２の出力画像の和に置き換える場合でも、被写体による遮蔽領域に起因する視覚的な違和感を低減した仮想視点画像を生成することができる。
【０１３２】
なお、本実施形態では算出コストの低減のために、遮蔽領域データに基づく処理範囲の限定を行ったが、この処理を行わずに、全領域で遮蔽による影響があるとみなして画像の変換を行ってもかまわない。また、仮想視点画像上の画素毎に順次処理を行う構成としても構わない。
【０１３３】
また、本実施形態では、遮蔽領域を特定して、遮蔽領域に起因する視覚的な違和感を低減した仮想視点画像を生成したが、上述した画像処理が適用可能な領域は遮蔽領域に限定されない。上述した実施形態で説明した画像処理は、例えば、仮想視点画像において、複数の撮像装置により撮影された画像をテクスチャマッピングに用いる領域を特定し、その領域に対して行われてもよい。
【０１３４】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１３５】
１０１    撮像装置
１０２    画像処理装置
１１０１  画像変換部
１１０２  差分画像生成部
１１０３  画像変換部
１１０４  画像加算部
１１０５  画像変換部
１１０６  画像重畳部
１３０１  差分算出部
１３０２  色補正部
１３０３  ノイズ低減部
【図１】
2019061558.tif 000005
【図２】
2019061558.tif 000006
【図３】
2019061558.tif 000007
【図４】
2019061558.tif 000008
【図５】
2019061558.tif 000009
【図６】
2019061558.tif 000010
【図７】
2019061558.tif 000011
【図８】
2019061558.tif 000012
【図９】
2019061558.tif 000013
【図１０】
2019061558.tif 000014
【図１１】
2019061558.tif 000015
【図１２】
2019061558.tif 000016
【図１３】
2019061558.tif 000017
【図１４】
2019061558.tif 000018
【図１５】
2019061558.tif 000019
【図１６】
2019061558.tif 000020
【図１７】
2019061558.tif 000021
【図１８】
2019061558.tif 000022