(57)【要約】【課題】教師データ生成のコストを大幅に削減しつつ、影領域でも精確に、かつ、任意背景下において背景変動に対しても頑健に、さらに、被写体の輪郭部分においても高い精度でデプス画像を合成可能な画像合成装置、画像合成方法、及び画像合成プログラムを提供すること。【解決手段】画像合成装置は、教師多視点背景画像と３Ｄ形状モデルに基づく被写体を示す画像を含むＣＧデータとを重畳させて多視点の教師画像データを生成する教師データ生成部と、前記教師画像データを用いて機械学習を行い、学習パラメータを算出する学習パラメータ算出部と、多視点撮影画像と、前記学習パラメータとを用いて、前記機械学習により前記多視点撮影画像に対するデプス画像を生成する画像合成部と、を備える。【選択図】図１
2018124939.tif 000002
【特許請求の範囲】
【請求項１】
教師多視点背景画像と３Ｄ形状モデルに基づく被写体を示す画像を含むＣＧデータとを重畳させて多視点の教師画像データを生成する教師データ生成部と、
前記教師画像データを用いて機械学習を行い、学習パラメータを算出する学習パラメータ算出部と、
多視点撮影画像と、前記学習パラメータとを用いて、前記機械学習により前記多視点撮影画像に対するデプス画像を生成する画像合成部と、
を備える画像合成装置。
【請求項２】
前記機械学習は、ディープニューラルネットワークを用いた機械学習である
請求項１に記載の画像合成装置。
【請求項３】
前記ＣＧデータは、被写体の姿勢、前記被写体の位置、及び照明の状態うち、少なくとも１つを指定する情報を含むデータである
請求項１に記載の画像合成装置。
【請求項４】
前記ディープニューラルネットワークは、前記多視点撮影画像に基づく投影画像群と、前記多視点撮影画像と同一の視点で撮影された多視点背景画像に基づく背景投影画像群と、をそれぞれ入力する入力層を有する
請求項２に記載の画像合成装置。
【請求項５】
コンピュータによる画像合成方法であって、
教師データ生成部が、教師多視点背景画像と３Ｄ形状モデルに基づく被写体を示す画像を含むＣＧデータとを重畳させて多視点の教師画像データを生成する教師データ生成ステップと、
学習パラメータ算出部が、前記教師画像データを用いて機械学習を行い、学習パラメータを算出する学習パラメータ算出ステップと、
画像合成部が、多視点撮影画像と、前記学習パラメータとを用いて、前記機械学習により前記多視点撮影画像に対するデプス画像を生成する画像合成ステップと、
を有する画像合成方法。
【請求項６】
コンピュータに、
教師多視点背景画像と３Ｄ形状モデルに基づく被写体を示す画像を含むＣＧデータとを重畳させて多視点の教師画像データを生成する教師データ生成ステップと、
前記教師画像データを用いて機械学習を行い、学習パラメータを算出する学習パラメータ算出ステップと、
多視点撮影画像と、前記学習パラメータとを用いて、前記機械学習により前記多視点撮影画像に対するデプス画像を生成する画像合成ステップと、
を実行させるための画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所望の画像を画像合成処理によって生成する画像合成装置、画像合成方法、及び画像合成プログラムに関する。
【背景技術】
【０００２】
映像から任意の被写体の３次元形状を推定するニーズが古くからある。３Ｄ映像の提示をはじめ、近年ではAugmented Reality（ＡＲ）やMixed Reality（ＭＲ）と呼ばれるＣＧ（Computer Graphics）空間と現実空間との融合など、様々な領域で３次元形状の推定が必要とされる。
【０００３】
ところで、被写体が人間である場合、映像から人の全身３Ｄ（three-dimensional；三次元の）モデルを推定することが究極的なゴールとなるが、単体のカメラによる映像からでは被写体の一部の面しか映されてはいない。そのため、映されていない面については、なんらかの他の情報を利用した推測が必要となる。
【０００４】
一方で、撮影された画像の画素ごとにカメラから被写体までの距離に関する情報を保持するデプス画像を推定する研究が盛んにおこなわれている。デプス画像を推定することによって、撮影された被写体の一部の面だけではあるが、被写体の凹凸を把握することが可能となる。これにより、デプス画像は、例えば、視差のさほど大きくない３Ｄ映像の提示などに利用することができる。
【０００５】
また、被写体を取り囲むようにして設置された多視点のカメラに対し、視点ごとにデプス画像を推定し、それらのデプス画像を合成することによって、被写体の全身３Ｄモデルを復元する試みもなされている。デプス画像を合成する手法の多くは、複数台のステレオカメラなどによるカメラ映像から推定する手法、または、デプスセンサなどの特殊なデバイスをカメラと併用して推定する手法の２つに大別することができる。
【０００６】
ステレオカメラなどを用いる手法（例えば、非特許文献１参照）においては、カメラパラメータと呼ばれるカメラの位置および姿勢、カメラの焦点距離などを利用して、各カメラ間の幾何的な関係に基づく制約下で、画像間の画素値を比較することにより、デプス画像を推定しようとしている。一方、デプスセンサなどを用いる手法（例えば、非特許文献２参照）においては、被写体に対し非可視光である近赤外線などを高周波に照射し、その反射波を観測し、位相差信号からデプス画像を推定している。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Andreas Klaus, Mario Sormann, and Konrad Karner, ”Segment-Based Stereo Matching Using Belief Propagation and a Self-Adapting Dissimilarity Measure.” 18th International Conference on Pattern Recognition (ICPR’06)， Vol.3， IEEE, 2006.
【非特許文献２】Zhengyou Zhang, ”Microsoft Kinect Sensor and Its Effect２”, IEEE multimedia 19.2, pp.4-10, 2012.
【非特許文献３】Wenjie Luo, Alexander G. Schwing, and Raquel Urtasun, ”Efficient Deep Learning for Stereo Matching”, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献２のような、デプスセンサとカラー画像を用いてシーンの奥行を測定する手法では、実際の撮影会場などにおいてはデプスセンサの照射光と反射光とが干渉してデプス情報がうまく観測できないケースや、被写体とデプスセンサとの距離が遠すぎることによってデプスセンサの照射光が被写体まで届かずにデプス情報が計測できないケースがある。
【０００９】
一方、非特許文献１のような、ステレオ画像からの画素値の比較に基づく手法では、画素値の比較を行っているため、例えば、影の領域など均一色で埋め尽くされている場合などには、精確な奥行きを推定することができない。また、オクルージョンと呼ばれる遮蔽が起きる状況においても、画素どうしの比較ができないため、正しいデプス情報を計測することが難しい。そこで、ディープニューラルネットワーク（ＤＮＮ；Deep Neural Network）を用いることによって、これらの課題を解決しようとする手法が提案されている（例えば、非特許文献３参照）。非特許文献３では、ＤＮＮと教師データを用いて、ステレオマッチングを行い、デプス画像を算出している。しかしながら、当該手法には、大量の教師データが必要であるという課題がある。さらに、当該手法には、デプス画像の輪郭部分が滲んでしまうという課題がある。
【００１０】
本発明は、このような事情に鑑みてなされたもので、教師データ生成のコストを大幅に削減しつつ、影領域でも精確に、かつ、任意背景下において背景変動に対しても頑健に、さらに、被写体の輪郭部分においても精度の高いデプス画像を合成可能な画像合成装置、画像合成方法、及び画像合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一態様は、教師多視点背景画像と３Ｄ形状モデルに基づく被写体を示す画像を含むＣＧデータとを重畳させて多視点の教師画像データを生成する教師データ生成部と、前記教師画像データを用いて機械学習を行い、学習パラメータを算出する学習パラメータ算出部と、多視点撮影画像と、前記学習パラメータとを用いて、前記機械学習により前記多視点撮影画像に対するデプス画像を生成する画像合成部と、を備える画像合成装置である。
【００１２】
本発明の一態様は、上記の画像合成装置であって、前記機械学習は、ディープニューラルネットワークを用いた機械学習である。
【００１３】
本発明の一態様は、上記の画像合成装置であって、前記ＣＧデータは、被写体の姿勢、前記被写体の位置、及び照明の状態うち、少なくとも１つを指定する情報を含むデータである。
【００１４】
本発明の一態様は、上記の画像合成装置であって、前記ディープニューラルネットワークは、前記多視点撮影画像に基づく投影画像群と、前記多視点撮影画像と同一の視点で撮影された多視点背景画像に基づく背景投影画像群と、をそれぞれ入力する入力層を有する。
【００１５】
本発明の一態様は、コンピュータによる画像合成方法であって、教師データ生成部が、教師多視点背景画像と３Ｄ形状モデルに基づく被写体を示す画像を含むＣＧデータとを重畳させて多視点の教師画像データを生成する教師データ生成ステップと、学習パラメータ算出部が、前記教師画像データを用いて機械学習を行い、学習パラメータを算出する学習パラメータ算出ステップと、画像合成部が、多視点撮影画像と、前記学習パラメータとを用いて、前記機械学習により前記多視点撮影画像に対するデプス画像を生成する画像合成ステップと、を有する画像合成方法である。
【００１６】
本発明の一態様は、コンピュータに、教師多視点背景画像と３Ｄ形状モデルに基づく被写体を示す画像を含むＣＧデータとを重畳させて多視点の教師画像データを生成する教師データ生成ステップと、前記教師画像データを用いて機械学習を行い、学習パラメータを算出する学習パラメータ算出ステップと、多視点撮影画像と前記学習パラメータとを用いて、前記機械学習により前記多視点撮影画像に対するデプス画像を生成する画像合成ステップと、を実行させるための画像合成プログラムである。
【発明の効果】
【００１７】
本発明によれば、ＣＧにより意図的に条件を変えてレンダリングした多視点画像と、事前に撮影した多視点背景画像とを重畳した画像を投影画像群に変換しＤＮＮの教師データとして生成することにより、教師データの作成コストを削減すると同時に、背景変動に頑健で、かつ、被写体の影部分と境界部分においても精確にデプス画像の合成を実現することができるという効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態における画像合成装置の機能構成を示すブロック図である。
【図２】本発明の実施形態における画像合成装置の動作の概要を示すフローチャートである。
【図３】本発明の実施形態における画像合成装置の教師データ生成部の動作を示すフローチャートである。
【図４】本発明の実施形態における画像合成装置の教師データ生成部による教師データの生成の概要を示す概略図である。
【図５】本発明の実施形態における画像合成装置の第１画像変換部の動作を示すフローチャートである。
【図６】本発明の実施形態における画像合成装置の第１画像変換部による画像変換の概要を示す概略図である。
【図７】本発明の実施形態における画像合成装置の学習パラメータ算出部の動作を示すフローチャートである。
【図８】本発明の実施形態における画像合成装置の学習パラメータ算出部による学習パラメータの算出の概要を示す概略図である。
【図９】本発明の実施形態における画像合成装置の画像合成部の動作を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面を参照しながら、本発明の実施形態における画像合成装置について説明する。
なお、以下の説明においては、１枚の画像（静止画像）に対する処理についての説明をするが、複数の連続する画像（フレーム）に対してそれぞれ同様の処理を繰り返すことによって映像（動画）に対する処理を行うこともできる。なお、映像に含まれる全てのフレームに対して処理を行うのではなく、映像の一部のフレームにのみ処理を行うような構成であってもよい。
【００２０】
＜画像合成装置の機能構成＞
以下、画像合成装置１の機能構成について、図面を参照しながら説明する。
図１は、本実施形態における画像合成装置１の機能構成を示すブロック図である。図示するように、画像合成装置１は、教師データ生成部１１と、学習パラメータ算出部１２と、画像合成部１３と、第１画像変換部１４と、第２画像変換部１５と、第３画像変換部１６と、第４画像変換部１７と、を含んで構成される。画像合成装置１は、コンピュータ装置、例えば、パーソナルコンピュータ（ＰＣ）、又は汎用コンピュータなどによって構成される。
【００２１】
本実施形態における画像合成装置１には、多視点カメラによって撮影された多視点からの画像（以下、「多視点画像」ともいう）を示す画像データが入力される。そして、画像合成装置１は、多視点の中から任意に選ばれた１視点を基準視点として、基準視点におけるデプス画像を合成して出力する。
なお、多視点画像は、各視点間で時間的に同期がとられているものとする。
【００２２】
教師データ生成部１１は、一般的なＣＧデータと、教師多視点背景画像群と、多視点カメラのカメラパラメータと、を入力値として、後述する学習パラメータ算出部１２において教師データとして用いられる教師デプス画像群の生成、及び、後述する学習パラメータ算出部１２において教師データとして用いられる教師投影画像群の元データとなる教師多視点画像群の生成を行う。
【００２３】
なお、本実施形態においては、人間を被写体とする場合を例として説明する。そのため、ＣＧデータは、人体の一般的な３Ｄ形状モデルを示す情報、及び照明情報であるものとして説明する。なお、人間ではなく、例えば動物が被写体である場合には、動物の３Ｄ形状モデルを用いればよい。
また、ここでいう３Ｄ形状モデルとは、モデル表面上の３次元頂点座標、メッシュ連結情報、テクスチャ情報、スキニングパラメータ、及びリグ情報が含まれる情報であるものとする。
【００２４】
また、ここでいう教師多視点背景画像群とは、後述する画像合成部１３に入力される多視点撮影画像の視点と同一の視点で撮影された、１フレーム以上の多視点画像である。教師多視点背景画像群は、最終的に抽出したい被写体が映りこんでいない、撮影画像の背景のみが撮影された多視点画像のことであるものとする。
【００２５】
また、ここでいうデプス画像とは、一般的なデプス画像のデータ形式で生成された画像であり、背景画像と同一の解像度の１チャネルの画像であるものとする。デプス画像の各画素には、カメラの光学中心点から被写体までの奥行を示す値が格納されている。
【００２６】
また、ここでいうカメラパラメータとは、一般的なカメラパラメータを示す情報であり、カメラの焦点距離などを含む内部パラメータの値、及び位置姿勢を表す外部パラメータの値を含むデータである。
【００２７】
第１画像変換部１４、第２画像変換部１５、第３画像変換部１６、及び第４画像変換部１７は、多視点画像とカメラパラメータとを示す情報を、投影画像群を示す情報に変換する。
【００２８】
第１画像変換部１４は、教師データ生成部１１から入力された教師多視点画像群と、カメラパラメータと、を入力値として教師投影画像群を生成し、学習パラメータ算出部１２へ出力する。
第２画像変換部１５は、教師多視点背景画像群と、カメラパラメータと、を入力値として教師背景投影画像群を生成し、学習パラメータ算出部１２へ出力する。
第３画像変換部１６は、多視点撮影画像と、カメラパラメータと、を入力値として投影画像群を生成し、画像合成部１３へ出力する。
第４画像変換部１７は、多視点背景撮影画像と、カメラパラメータと、を入力値として投影画像群を生成し、画像合成部１３へ出力する。
【００２９】
学習パラメータ算出部１２は、ネットワーク構造情報と、教師データ生成部１１から出力された教師デプス画像群と、第１画像変換部１４から出力された教師投影画像群と、第２画像変換部１５から出力された教師背景投影画像群と、を入力値として学習パラメータの算出を行う（機械学習）。そして、学習パラメータ算出部１２は、算出した学習パラメータに基づく学習済みネットワーク情報を、後述する画像合成部１３へ出力する。
【００３０】
学習パラメータ算出部１２は、ディープニューラルネットワーク（ＤＮＮ）を含んで構成されており、学習パラメータ算出部１２に入力されるネットワーク構造情報とは、ＤＮＮのネットワークの構造を具体的に表す構造情報である。ネットワーク構造情報には、例えば、畳込層の順序、総数、カーネルおよびチャネル数、プーリング層の有無、活性化関数の種類、ロス関数の定義などを示す情報が含まれる。
【００３１】
画像合成部１３は、第３画像変換部１６から入力された投影画像群と、第４画像変換部１７から入力された背景投影画像群と、を入力値として、学習パラメータ算出部１２において算出された学習済みネットワーク情報を用いて、基準視点におけるデプス画像を合成し、出力する。すなわち、ＤＮＮは、多視点撮影画像に基づく投影画像群と、当該多視点撮影画像と同一の視点で撮影された多視点背景画像に基づく背景投影画像群と、をそれぞれ入力する入力層を有する。
【００３２】
＜画像合成装置の動作＞
以下、画像合成装置１の動作の概要について、図面を参照しながら説明する。
図２は、本発明の実施形態における画像合成装置１の動作の概要を示すフローチャートである。
本フローチャートは、教師データ生成部１１に、ＣＧデータと、教師多視点背景画像群を示す情報と、カメラパラメータの値を示す情報とが入力された際に開始する。
【００３３】
（ステップＳ００１）教師データ生成部１１は、ＣＧデータと、教師多視点背景画像群と、カメラパラメータとから、教師多視点画像群、及び教師デプス画像群を生成する。そして、教師データ生成部１１は、教師多視点画像群を第１画像変換部１４へ、及び教師デプス画像群を学習パラメータ算出部１２へ、それぞれ出力する。その後、ステップＳ００２へ進む。
なお、教師データの生成における教師データ生成部１１の動作の詳細については、後述する。
【００３４】
（ステップＳ００２）第１画像変換部１４は、教師データ生成部１１から入力された教師多視点画像群を、カメラパラメータを用いて、教師投影画像群に変換する。そして、第１画像変換部１４は、教師投影画像群を、学習パラメータ算出部１２へ出力する。その後、ステップＳ００３へ進む。
なお、教師多視点画像群から教師投影画像群への変換における、第１画像変換部の動作の詳細については、後述する。
【００３５】
（ステップＳ００３）第２画像変換部１５は、教師多視点背景画像群を、カメラパラメータを用いて、教師背景投影画像群に変換する。そして、第２画像変換部１５は、教師背景投影画像群を、学習パラメータ算出部１２へ出力する。その後、ステップＳ００４へ進む。
【００３６】
（ステップＳ００４）学習パラメータ算出部１２は、教師データ生成部１１から入力された教師デプス画像群と、第１画像変換部１４から入力された教師投影画像群と、第２画像変換部１５から入力された教師背景投影画像群と、ネットワーク構造情報とを用いて、ＤＮＮの学習を実行して、学習パラメータを算出する。そして、学習パラメータ算出部１２は、算出した学習パラメータに基づく学習済みネットワーク情報を、画像合成部１３へ出力する。その後、ステップＳ００５へ進む。
【００３７】
（ステップＳ００５）第３画像変換部１６は、多視点撮影画像を、カメラパラメータを用いて、投影画像群に変換する。そして、第３画像変換部１６は、投影画像群を、画像合成部１３へ出力する。その後、ステップＳ００６へ進む。
【００３８】
（ステップＳ００６）第４画像変換部１７は、多視点背景画像を、カメラパラメータを用いて、背景投影画像群に変換する。そして、第４画像変換部１７は、背景投影画像群を、画像合成部１３へ出力する。その後、ステップＳ００７へ進む。
【００３９】
（ステップＳ００７）画像合成部１３は、第３画像変換部１６から入力された投影画像群と、第４画像変換部１７から入力された背景投影画像群とから、デプス画像を合成し、出力する。
以上で、本フローチャートの処理が終了する。
【００４０】
＜教師データ生成部の動作＞
以下、教師データ生成部１１の動作について、図面を参照しながら説明する。
図３は、本発明の実施形態における画像合成装置１の教師データ生成部１１の動作を示すフローチャートである。
本フローチャートは、教師データ生成部１１に、ＣＧデータと、教師多視点背景画像群を示す情報と、カメラパラメータの値を示す情報とが入力された際に開始する。
【００４１】
（ステップＳ１０１）教師データ生成部１１は、人物のＣＧデータ、背景多視点画像群、及びカメラパラメータを取得し、保持する。その後、ステップＳ１０２へ進む。
【００４２】
（ステップＳ１０２）教師データ生成部１１は、人物のＣＧデータに対し、人物の姿勢、人物の位置、及び照明条件の変更を行う。以下に、人物のＣＧデータに対する、人物の姿勢、人物の位置、及び照明条件の変更について、図４を参照して説明する。
図４は、本発明の実施形態における画像合成装置１の教師データ生成部１１による教師データの生成の概要を示す概略図である。
【００４３】
人物の姿勢は、ＣＧデータのリグ情報を用いて変更することができる。図４に図示するように、例えば、人物が棒立ちしている姿勢、人物が両手を広げている姿勢、及び人物が足を開いている姿勢、の３つの姿勢の中から、ランダムに１つを選択して、人物の姿勢の変更を行うことができる。
なお、これらの姿勢がランダムに変更されるようにしてもよいが、画像合成部１３に入力される投影画像群の被写体がとりうる姿勢を網羅して変更されることが望ましい。
【００４４】
人物の位置は、人物の３Ｄ形状モデルが画像中にレンダリングされる範囲内であれば、どの位置に変更されてもよい。例えば、図４に図示するように、床面を仮定し、人物が床面に足をつけて立てる位置の範囲内で、かつ、レンダリングされる範囲内において、変更を行うことができる、なお、図示するように、床面上をグリッドに区切ることによって、各格子点の位置の中から、人物の位置をランダムに選択することができるようにしてもよい。
【００４５】
照明条件は、任意に変更することができる。具体的には、例えば、図４に図示するように、人物の３Ｄ形状モデルの位置が決定された後、決定された位置を中心とする半天球面上の格子点（図示せず）の中からランダムに選択することができるようにしてもよい。なお、照明条件は、画像合成部１３に入力される投影画像群における照明条件と類似する照明条件に変更することが望ましい。
【００４６】
このように、本実施形態における画像合成装置１によれば、人物の姿勢、人物の位置、及び照明条件を変動させて、教師データとして利用することによって、ＤＮＮにおいて、数万枚という大量の教師データが必要であるという課題を解決しつつ、姿勢変動、位置変動、及び照明変動に対して、頑健にデプス画像の合成が可能となる。
【００４７】
（ステップＳ１０３）教師データ生成部１１は、入力された教師多視点背景画像群の中から、視点ごとに背景画像を１枚選択し、背景画像に対する前景画像として、人物領域のレンダリングを実行する。また、教師データ生成部１１は、人物領域のデプス画像をレンダリングする。
【００４８】
図４に図示するように、具体的には、教師データ生成部１１は、ステップＳ１０２において指定された、人物の姿勢、人物の位置、及び照明条件に基づいて透過度を含むＲＧＢＡ（Red, Green, Blue, Alpha）の４チャネル画像として、カメラパラメータを用いて視点ごとにレンダリングし、多視点前景画像を生成する。
【００４９】
この際、人物の３Ｄ形状モデルがレンダリングされる領域の画素のアルファ値は０（不透明）、人物の影となる領域の画素のアルファ値は０より大きく１未満、及びそれ以外の領域の画素のアルファ値は１（透明）とする。なお、人物の影となる領域の画素のアルファ値は、例えば、照明の強度に応じて変更されるようにしてもよいし、または例えば、固定値（例えば、０．５）としてもよい。
【００５０】
次に、教師データ生成部１１は、基準視点において、人物の３Ｄ形状モデルがレンダリングされた画素のみのデプス画像を、教師デプス画像としてレンダリングする。
【００５１】
次に、教師データ生成部１１は、入力された教師多視点背景画像群の中から、各視点について１フレームの教師背景画像をランダムに選択する。そして、教師データ生成部１１は、選択したそれぞれの教師背景画像に対して、多視点前景画像のアルファ値を利用して上述した多視点前景画像を重畳させることによって、多視点教師画像を生成する。教師データ生成部１１は、得られた教師デプス画像、及び多視点教師画像を保存しておく。その後、ステップＳ１０４へ進む。
【００５２】
このように、本実施形態における画像合成装置１によれば、教師データ生成部１１が、撮影画像と同一視点の背景画像に対して前景画像を重畳させることによって、背景変動に対する頑健性の向上、及び輪郭部分のデプス推定精度の向上が可能になる。
【００５３】
（ステップＳ１０４）教師データ生成部１１は、上述した人物の姿勢、人物の位置、及び照明条件の変更について、全ての変更パターンでのレンダリングが完了したか否かを判定する。なお、どのような変更パターンのレンダリングをするかについて、事前に設定がなされているものとする。
教師データ生成部１１が、全ての変更パターンでのレンダリングが完了したと判定された場合は、ステップＳ１０５へ進む。そうでない場合はステップＳ１０２に戻り、レンダリングが完了していない変更パターンに条件を変更して、レンダリングを実行する。
【００５４】
（ステップＳ１０５）教師データ生成部１１は、レンダリングされたすべての教師多視点画像群、及び教師デプス画像群を、上述した条件ごとにフレームとしてまとめる。そして、教師データ生成部１１は、教師多視点画像群を第１画像変換部１４へ、及び教師デプス画像群を学習パラメータ算出部１２へ出力する。
以上で、本フローチャートの処理が終了する。
【００５５】
＜画像変換部の動作＞
以下、第１画像変換部１４の動作について、図面を参照しながら説明する。
図５は、本発明の実施形態における画像合成装置１の第１画像変換部１４の動作を示すフローチャートである。
本フローチャートは、第１画像変換部１４に、教師データ生成部１１から出力された教師多視点画像群と、カメラパラメータの値を示す情報とが入力された際に開始する。
【００５６】
（ステップＳ２０１）第１画像変換部１４は、教師データ生成部１１から出力された教師多視点画像群と、カメラパラメータと、を取得する。その後、ステップＳ２０２へ進む。
【００５７】
（ステップＳ２０２）第１画像変換部１４は、基準とするカメラの画像平面と平行する、仮想的な面である奥行き平面の、最小の奥行値、及び最大の奥行値を設定する。以下に、図６を参照しながら具体的に説明する。
【００５８】
図６は、本発明の実施形態における画像合成装置１の第１画像変換部１４による画像変換の概要を示す概略図である。ここでは、図６に図示するように、入力される多視点画像が３視点（カメラ０、カメラ１、及びカメラ２からの視点）であり、仮定する奥行き平面が５層（ｄ＝０〜４）であり、基準カメラをカメラ１とした場合における、投影画像群について説明する。
【００５９】
図６において、各奥行き平面は、カメラ１の画像平面と平行する仮想的な面であるものとする。奥行き平面の数は、シーンに存在する物体の奥行きに応じて任意に設定することができる。例えば、基準カメラ（カメラ１）と平行な巨大な壁が背景であって、厚みの薄い被写体が１つだけ存在するようなシーンにおいては、奥行き平面を２層に設定することができる。一方、奥行き方向に向かって、多数の被写体が連続的に分布するようなシーンにおいては，数百層の奥行き平面を設定することが好ましい場合もある。
【００６０】
第１画像変換部１４は、最小、及び最大の奥行値を設定する。ここでいう最小の奥行値とは、図６に示すｄ＝０の奥行き平面からカメラ１の光学中心点までの距離である。また、ここでいう最大の奥行値とは、図６に示すｄ＝４の奥行き平面からカメラ１の光学中心点までの距離である。最小、及び最大の奥行値は、撮影される前景として被写体が映っている範囲に基づいて、手動で大まかに設定されてもよい。
その後、ステップＳ２０３へ進む。
【００６１】
（ステップＳ２０３）第１画像変換部１４は、取得した教師多視点画像群から、１フレーム分の同一時刻の教師多視点画像を選択する。その後、ステップＳ２０４へ進む。
【００６２】
（ステップＳ２０４）第１画像変換部１４は、ステップＳ２０３において選択した教師多視点画像に含まれる全ての画素を、全ての仮想面（奥行き平面）へと投影し、仮想面ごと、及びカメラごとに、画像として保存する。
【００６３】
以下、図６を参照しながら、具体的に説明する。上述したように、図６は、入力される多視点画像が３視点（カメラ０、カメラ１、及びカメラ２からの視点）であり、仮定する奥行き平面が５層（ｄ＝０〜４）であり、基準カメラをカメラ１とした場合における、投影画像群について示したものである。ここで、ｄは、奥行き平面のインデックス番号であるため、図６は、ｄ＝３の場合における、奥行き平面の投影画像群を構築する手順について示したものである。
【００６４】
ここで言う投影画像群とは、各ｄの値において、各カメラ（カメラ０、カメラ１、及びカメラ２）から投影される画像の集合である。投影画像群のそれぞれの投影画像は、ＲＧＢＡの４チャネルで構成されている。以下、Ｎ視点の入力でＤ層構成である投影画像群における、入力視点ｎ、及び奥行き平面ｄの投影画像を、Ｉｄ，ｎと表す。
【００６５】
また、カメラ０、カメラ１、及びカメラ２の画像を、それぞれＳ０、Ｓ１、及びＳ２とする。また、基準カメラであるカメラ１の画像Ｓ１の中のひとつの画素の画像座標ベクトルをｐ１とする。また、画像Ｓ１のｐ１の画素値を、Ｓ１（ｐ１）とする。
【００６６】
基準カメラからの視点で見た場合、奥行き平面は常に画像平面と平行である。そのため、投影画像群の画像座標ベクトルｑは、常にｑ＝ｐ１が成りたつ。そのため、投影画像群のＩｄ，１（ｑ）＝Ｓ１（ｐ１）となる。
次に、カメラ０、及びカメラ２からの投影画像群の画素値Ｉ３，０（ｑ）、及びＩ３，２（ｑ）については、Ｉ３，０（ｑ）＝Ｓ０（ｐ０）、及びＩ３，２（ｑ）＝Ｓ２（ｐ２）とする。ここで、ｐ０＝Ｐ３，０（ｑ）、ｐ２＝Ｐ３，２（ｑ）とし、Ｐｄ，ｃは、奥行きインデックスｄ、投影先のカメラ番号ｃを仮定したときの、投影マッピング関数である。
【００６７】
Ｐｄ，ｃは、それぞれのカメラパラメータ、奥行値Ｆ（ｄ）から一般的に計算することができる。Ｆは一般的な関数であれば、どのような関数を用いてもかまわないが、遠方ほど奥行き平面の間隔が疎になる方が、効率的に計算ができるため、例えば、Ｆ＝ａ／（ｄ＋ｂ）とすることができる。なお、ａ、及びｂは任意の定数であり、シーンの奥行きによって手動で設定されるものとする。
【００６８】
このように、全ての奥行き平面（ｄ＝０〜４）において、全てのカメラ（カメラ０、カメラ１、及びカメラ２）からの投影画像Ｉｄ，ｃを算出するが、Ｉｄ，ｃのうちの、Ｉｄ，０、及びＩｄ，２の一部の画素については、カメラからの画角外であるため、画素値が格納されない。この場合、これらの画素については、アルファ値を１とし、透過であるものとする。また、それ以外の画素が格納されている画素については、アルファ値を０とし、不透明であるものとする。
【００６９】
このようにして、第１画像変換部１４は、Ｉｄ，ｃを算出し、保持する。そして、第１画像変換部１４は、別のフレームに対しても、同様に投影画像群の算出と保持を行う。第１画像変換部１４は、全てのフレームに対して同様の処理が完了するまで、当該処理を繰り返すものとする。
【００７０】
（ステップＳ２０５）第１画像変換部１４は、全てのフレームに対して処理が完了したか否かを判定する。全てのフレームに対して処理が完了した場合、本フローチャートの処理が終了する。そうでない場合、ステップＳ２０３へ戻り、処理が完了していないフレームに対しての処理を実行する。
【００７１】
このように、第１画像変換部１４は、教師多視点画像群を、教師投影画像群に変換する。なお、第２画像変換部による、教師多視点背景画像群から教師背景投影画像群への変換における処理についても、上記と同様な処理によって行われる。また、第３画像変換部による、デプス推定の対象である多視点撮影画像から投影画像群への変換における処理についても、上記と同様な処理によって行われる。また、第４画像変換部による、多視点背景画像から背景投影画像群への変換における処理についても、上記と同様な処理によって行われる。
【００７２】
＜学習パラメータ算出部の動作＞
以下、学習パラメータ算出部１２の動作について、図面を参照しながら説明する。
図７は、本発明の実施形態における画像合成装置１の学習パラメータ算出部１２の動作を示すフローチャートである。
本フローチャートは、学習パラメータ算出部１２に、教師データ生成部１１から出力された教師デプス画像群と、第１画像変換部１４から出力された教師投影画像群と、第２画像変換部１５から出力された教師背景投影画像群と、ネットワーク構造情報とが入力された際に開始する。
【００７３】
（ステップＳ３０１）学習パラメータ算出部１２は、教師データ生成部１１から出力された教師デプス画像群、第１画像変換部１４から出力された教師投影画像群、第２画像変換部１５から出力された教師背景投影画像群、及びネットワーク構造情報を取得する。学習パラメータ算出部１２は、取得したネットワーク構造情報に基づいて、ディープニューラルネットワーク（ＤＮＮ）を構築する。その後、ステップＳ３０２へ進む。
【００７４】
（ステップＳ３０２）学習パラメータ算出部１２は、取得した教師投影画像群の中の教師投影画像をＤＮＮに入力する。その後、ステップＳ３０３へ進む。
【００７５】
（ステップＳ３０３）学習パラメータ算出部１２は、ＤＮＮから出力される教師デプス画像を取得する。その後、ステップＳ３０４へ進む。
【００７６】
（ステップＳ３０４）学習パラメータ算出部１２は、各層のパラメータを更新する。その後、ステップＳ３０５へ進む。
【００７７】
（ステップＳ３０５）学習パラメータ算出部１２は、取得した教師投影画像群に含まれる全ての教師投影画像に対して処理が完了したか否かを判定する。学習パラメータ算出部１２が、全ての教師投影画像に対して処理が完了したと判定した場合、ステップＳ３０６へ進む。そうでない場合、ステップＳ３０２へ戻り、処理が完了いない教師投影画像に対して処理を実行する。
【００７８】
（ステップＳ３０６）学習パラメータ算出部１２は、学習パラメータを保存する。
以上で、本フローチャートの処理が終了する。
【００７９】
上記の、学習パラメータ算出部１２の動作について、図８を参照して更に具体的に説明する。
まず、学習パラメータ算出部１２は、ネットワーク構造情報に基づいて、ディープニューラルネットワーク（ＤＮＮ）を構築する。なお、ＤＮＮの構造は、図８に示す構造に限られるものではなく、例えば、その層数などについては適宜変更してもかまわない。また、図８において「畳込層」と記載しているものについては、ＤＮＮにおける一般的な畳み込みと同義であり、畳み込み演算と活性化関数とを併用しているものとする。また、画像サイズを調整するためのZero Padding層については、表記を省略している。
【００８０】
図８において、入力層は、各教師投影画像、及び教師背景投影画像と同一解像度のＲＧＢ３チャネルを、視点数と奥行き平面数の積の数だけ積み重ねたものであり、出力層は、同一解像度の１チャネルとしている。図８において、Ｉｄ，ｃは、上述した第１画像変換部１４の動作の説明における表記と同様の表記であり、投影画像群の中の一枚の投影画像を表している。同様に、Ｂｄ，ｃは、教師背景投影画像群の中の一枚を表している。
【００８１】
このようにして、視点数と奥行数の積の数だけ、Ｉｄ，ｃ、及びＢｄ，ｃを入力層に設定し、中間層で連結していくことによって、多視点画像中の幾何制約をかけた状態のデータを入力することができる。これにより、ＤＮＮが、中間層において幾何制約を学習する必要がなくなるため、より効率的に学習を行うことができるうえ、背景画像との差分情報を参照することができるようになる。これによって、本実施形態における画像合成装置１は、被写体の境界部分でのデプス推定精度を向上させることができる。
【００８２】
次に、学習パラメータ算出部１２は、構築したＤＮＮに対し、入力層を教師投影画像群、及び教師背景投影画像群として設定し、出力層を教師デプス画像として設定して、ＤＮＮの学習を実行する。学習の方法は、一般的なＤＮＮの学習方法を用いればよいが、例えば、ＤＮＮの各層の学習パラメータの更新を、誤差逆伝搬法を利用して行う方法がある。そして、学習パラメータ算出部１２は、全ての教師画像とデプス画像の対に対して、学習パラメータの更新を行い、学習パラメータを保存する。そして、学習パラメータ算出部１２は、ネットワーク構造とともに、学習パラメータを、学習済みネットワーク情報として画像合成部１３へ出力する。
【００８３】
＜画像合成部の動作＞
以下、画像合成部１３の動作について、図面を参照しながら説明する。
図９は、本発明の実施形態における画像合成装置１の画像合成部１３の動作を示すフローチャートである。
本フローチャートは、学習パラメータ算出部１２に、画像合成部１３に、学習パラメータ算出部１２から出力された学習済みネットワーク情報と、第３画像変換部１６から出力された投影画像群と、第４画像変換部１７から出力された背景投影画像群とが入力された際に開始する。
【００８４】
（ステップＳ４０１）画像合成部１３は、学習パラメータ算出部１２から出力された学習済みネットワーク情報と、第３画像変換部１６から出力された投影画像群と、第４画像変換部１７から出力された背景投影画像群と、を取得する。その後、ステップＳ４０２へ進む。
【００８５】
（ステップＳ４０２）画像合成部１３は、ステップＳ４０１において取得した投影画像群、及び背景投影画像群を入力層として、学習済みネットワークを用いて出力層の計算を行う。そして、画像合成部１３は、出力層の計算に基づいて合成されたデプス画像を出力する。
以上で、本フローチャートの処理が終了する。
【００８６】
以上説明したように、本実施形態における画像合成装置１は、同一の被写体を注視して近接して設置された複数のカメラによって撮影された画像を用いて、当該複数のカメラの中の任意の１台のカメラによって撮影された画像のデプス画像を出力する。
【００８７】
本実施形態における画像合成装置１は、事前にＣＧにより意図的に条件を変えてレンダリングした多視点画像と事前に撮影した多視点背景画像とを重畳した画像を投影画像群に変換して、当該投影画像群をＤＮＮの教師画像データとする。そして、画像合成装置１は、教師画像データをディープニューラルネットワーク（ＤＮＮ）に入力し学習させる。
そして、画像合成装置１は、学習がなされたＤＮＮに対して、デプス推定したい画像を含む多視点撮影画像とカメラパラメータとを入力することにより、デプス画像を合成し出力する。
【００８８】
本実施形態における画像合成装置１は、背景画像を入力画像と併せて入力してＤＮＮの学習を行うため、デプス画像において被写体領域の輪郭部分の精度をより高精度にすることができる。
また、本実施形態における画像合成装置１は、ＣＧを用いて教師画像データを生成するため、実写では用意することが困難な大量の教師データであっても、より容易に生成することができる。
【００８９】
また、本実施形態における画像合成装置１は、照明の状態を意図的に変化させて生成したＣＧのレンダリング画像を教師画像データとするため、とくに推定精度が低い領域である被写体の影領域においても誤検出を防ぐことができ、影領域の推定精度をより向上させることができる。
また、本実施形態における画像合成装置１は、撮影会場の撮影位置と同位置における実写の背景画像に対してＣＧを重畳させる形でレンダリングを行って教師画像データを生成するため、撮影会場に特化した学習を行うことができ、より頑健なデプス画像の合成を行うことができる。
【００９０】
以上説明したように、本実施形態における画像合成装置１は、教師データ生成のコストを大幅に削減しつつ、影領域でも精確に、かつ、任意背景下において背景変動に対しても頑健に、さらに、被写体の輪郭部分においても精度の高いデプス画像を合成することができる。
本実施形態における画像合成装置１は、静止画像または動画像から被写体の奥行情報を表すデプス画像を取得することが不可欠な用途に対して適用できる。
【００９１】
上述した実施形態における画像合成装置１の少なくとも１部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【００９２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００９３】
１・・・画像合成装置、１１・・・教師データ生成部、１２・・・学習パラメータ算出部、１３・・・画像合成部、１４・・・第１画像変換部、１５・・・第２画像変換部、１６・・・第３画像変換部、１７・・・第４画像変換部
【図１】
2018124939.tif 000003
【図２】
2018124939.tif 000004
【図３】
2018124939.tif 000005
【図４】
2018124939.tif 000006
【図５】
2018124939.tif 000007
【図６】
2018124939.tif 000008
【図７】
2018124939.tif 000009
【図８】
2018124939.tif 000010
【図９】
2018124939.tif 000011