(57)【要約】【課題】照明条件やカメラ位置を変更した場合でも、実際にその照明条件やカメラ位置で撮影した場合に近似した画像を得ることができるようにする。【解決手段】学習データ入力部１００が、学習用画像、光源の位置と強さとを含む照明条件、照明条件の下での学習用画像の撮影範囲を表す正解画像、及び学習用画像の撮影範囲における３次元情報の入力を受け付け、領域分割部が、学習用画像を物体毎の領域に分割した領域分割を行い、反射モデル学習部が、学習用画像と、正解画像と、３次元情報と、領域分割部による領域分割結果と、照明条件とを用いて、照明条件の下で当該撮影範囲を撮影したときに得られる疑似撮影画像を出力するニューラルネットワークである反射モデルとその反射モデルを用いた疑似撮影画像の生成処理を学習する。【選択図】図１
2019144899.tif 000002
【特許請求の範囲】
【請求項１】
学習用画像、光源の位置と強さとを含む照明条件、前記照明条件の下での前記学習用画像の撮影範囲を表す正解画像、及び前記学習用画像の撮影範囲における３次元情報の入力を受け付ける学習データ入力部と、
前記学習用画像を物体毎の領域に分割した領域分割を行う領域分割部と、
前記学習用画像と、前記正解画像と、前記３次元情報と、前記領域分割部による領域分割結果と、前記照明条件とを用いて、前記照明条件の下で当該撮影範囲を撮影したときに得られる疑似撮影画像を出力するニューラルネットワークである反射モデルと前記反射モデルを用いた疑似撮影画像の生成処理を学習する反射モデル学習部と、
を含む反射モデル学習装置。
【請求項２】
前記照明条件は、前記撮影範囲を含む全方位画像に対して、Ｗａｖｅｌｅｔ関数を用いた圧縮変換、球面調和関数を用いた圧縮変換、又は画素サンプリングを行った結果から抽出したものとする請求項１記載の反射モデル学習装置。
【請求項３】
撮影画像を取得する撮影画像取得部と、
前記撮影画像に対して適用したい照明条件を取得する照明条件取得部と、
前記撮影画像から、前記撮影画像の撮影範囲における３次元情報を生成する画像生成部と、
前記撮影画像を物体毎の領域に分割した領域分割を行う領域分割部と、
前記撮影画像と、前記３次元情報と、前記照明条件と、前記領域分割部による領域分割結果と、請求項１記載の反射モデル学習装置で学習された反射モデルと前記反射モデルを用いた疑似撮影画像の生成処理とに基づいて、前記照明条件の下で前記撮影範囲を撮影したときに得られる疑似撮影画像を生成する疑似画像生成部と、
を含む画像生成装置。
【請求項４】
請求項３記載の画像生成装置により生成された疑似撮影画像に対して、所定の画像処理を実行する画像処理アルゴリズム実行部と、
前記画像処理アルゴリズム実行部による実行結果と、前記撮影画像に対して予め定められた正解の実行結果とを比較することにより、前記画像処理を評価する出力結果比較部と、
を含む評価装置。
【請求項５】
コンピュータを、
学習用画像、光源の位置と強さとを含む照明条件、前記照明条件の下での前記学習用画像の撮影範囲を表す正解画像、及び前記学習用画像の撮影範囲における３次元情報の入力を受け付ける学習データ入力部、
前記学習用画像を物体毎の領域に分割した領域分割を行う領域分割部、及び
前記学習用画像と、前記正解画像と、前記３次元情報と、前記領域分割部による領域分割結果と、前記照明条件とを用いて、前記照明条件の下で当該撮影範囲を撮影したときに得られる疑似撮影画像を出力するニューラルネットワークである反射モデルと前記反射モデルを用いた疑似撮影画像の生成処理を学習する反射モデル学習部
として機能させるためのプログラム。
【請求項６】
コンピュータを、
撮影画像を取得する撮影画像取得部、
前記撮影画像に対して適用したい照明条件を取得する照明条件取得部、
前記撮影画像から、前記撮影画像の撮影範囲における３次元情報を生成する画像生成部、
前記撮影画像を物体毎の領域に分割した領域分割を行う領域分割部、及び
前記撮影画像と、前記３次元情報と、前記照明条件と、前記領域分割と、請求項５記載のプログラムで学習された反射モデルと前記反射モデルを用いた疑似撮影画像の生成処理とに基づいて、前記照明条件の下で前記撮影範囲を撮影したときに得られる疑似撮影画像を生成する疑似画像生成部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、反射モデル学習装置、画像生成装置、評価装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、画像から日照による影響を除去することができる技術がある（非特許文献１）。また、非特許文献１では、新たな照明条件を適用することもできる。
【０００３】
カメラを位置を固定して、照明条件を様々に変更して多数の画像を撮影し、照明条件を変えた画像を、ニューラルネットワークを用いて生成する技術がある（非特許文献２）。
【０００４】
また、様々な景色（地点）を日照、天候、季節を変えて撮影し、日照、天候、季節変化データベースを作成する技術がある（非特許文献３）。非特許文献３では、入力画像に対して似た景色（地点）の画像をデータベースから探し、その画像の日照、天候、季節変化を適用する。
【０００５】
深層学習により、画像に写っている物体の輪郭とテクスチャ（フォトスタイル）を分離するニューラルネットを学習する技術がある（非特許文献４）。非特許文献４では、入力画像とリファレンス画像を与えると、入力画像のフォトスタイルをリファレンス画像のフォトスタイルに変更することができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】大蔵苑子, 川上玲, 池内克史, “光源環境と対象物の同時撮影による屋外物体の拡散反射率推定とその評価”, CVIM, Vol.2, No.1, Mar.2009, pp.32-41.
【非特許文献２】Image based relighting using neural networks, SIGGRAPH, Microsoft, 2015.
【非特許文献３】Transient attributes for high-level understanding and editing of outdoor scenes, SIGGRAPH, Brown University, 2014.
【非特許文献４】Deep photo style transfer, arXiv:1703.07511[cs.CV], Cornell University and Adobe．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記非特許文献１の技術は、照明条件を固定し、カメラ位置も固定したときの反射特性を求めているため、照明条件やカメラ位置を変更した場合の反射特性は不明であるので、これらを変更した場合には違和感のある画像となる。
【０００８】
また、非特許文献２では、カメラ位置を固定して照明条件を様々に変える技術であるため、カメラ位置を変更した画像に対して照明条件を変更することはできない。
【０００９】
非特許文献３及び４では、３次元情報を使っていないので、太陽（照明）の位置を変えて、陽の当たる面／当たらない面（影のできる面／できない面）を変えるような変更をすることができない。
【００１０】
したがって、従来技術の反射特性は、その画像における照明条件・カメラ位置に限定された反射特性であり、照明条件やカメラ位置を変えたときの反射特性とは異なるため、入力画像の照明条件・カメラ位置を変更しても、実際に変更後の照明条件・カメラ位置で撮影した場合とは大きく異なる画像となってしまう、という問題があった。
【００１１】
本発明は、上記問題点を解決するためになされたもので、照明条件を変更して撮影した場合の適切な疑似撮影画像を得るための反射モデル学習装置、画像生成装置、評価装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、本発明の反射モデル学習装置は、学習用画像、光源の位置と強さとを含む照明条件、前記照明条件の下での前記学習用画像の撮影範囲を表す正解画像、及び前記学習用画像の撮影範囲における３次元情報の入力を受け付ける学習データ入力部と、前記学習用画像を物体毎の領域に分割した領域分割を行う領域分割部と、前記学習用画像と、前記正解画像と、前記３次元情報と、前記領域分割部による領域分割結果と、前記照明条件とを用いて、前記照明条件の下で当該撮影範囲を撮影したときに得られる疑似撮影画像を出力するニューラルネットワークである反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とを学習する反射モデル学習部と、を含んで構成されている。
【００１３】
また、本発明のプログラムは、コンピュータを、学習用画像、光源の位置と強さとを含む照明条件、前記照明条件の下での前記学習用画像の撮影範囲を表す正解画像、及び前記学習用画像の撮影範囲における３次元情報の入力を受け付ける学習データ入力部、前記学習用画像を物体毎の領域に分割した領域分割を行う領域分割部、及び前記学習用画像と、前記正解画像と、前記３次元情報と、前記領域分割部による領域分割結果と、前記照明条件とを用いて、前記照明条件の下で当該撮影範囲を撮影したときに得られる疑似撮影画像を出力するニューラルネットワークである反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とを学習する反射モデル学習部として機能させるためのプログラムである。
【００１４】
本発明の反射モデル学習装置及びプログラムによれば、学習データ入力部が、学習用画像、光源の位置と強さとを含む照明条件、前記照明条件の下での前記学習用画像の撮影範囲を表す正解画像、及び前記学習用画像の撮影範囲における３次元情報の入力を受け付け、領域分割部が、前記学習用画像を物体毎の領域に分割した領域分割を行う。
【００１５】
そして、反射モデル学習部が、前記学習用画像と、前記正解画像と、前記３次元情報と、前記領域分割部による領域分割結果と、前記照明条件とを用いて、前記照明条件の下で当該撮影範囲を撮影したときに得られる疑似撮影画像を出力するニューラルネットワークである反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とを学習する。
【００１６】
このように、学習用画像と、正解画像と、３次元情報と、領域分割部による領域分割結果と、照明条件とを用いて、照明条件の下で当該撮影範囲を撮影したときに得られる疑似撮影画像を出力するニューラルネットワークである反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とを学習することにより、照明条件を変更して撮影した場合の適切な疑似撮影画像を得るための反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とを得ることができる。
【００１７】
また、本発明の反射モデル学習装置は、前記照明条件は、前記撮影範囲を含む全方位画像に対して、Ｗａｖｅｌｅｔ関数を用いた圧縮変換、球面調和関数を用いた圧縮変換、又は画素サンプリングを行った結果から抽出したものとすることができる。
【００１８】
本発明の画像生成装置は、撮影画像を取得する撮影画像取得部と、前記撮影画像に対して適用したい照明条件を取得する照明条件取得部と、前記撮影画像から、前記撮影画像の撮影範囲における３次元情報を生成する画像生成部と、前記撮影画像を物体毎の領域に分割した領域分割を行う領域分割部と、前記撮影画像と、前記３次元情報と、前記照明条件と、前記領域分割と、上記反射モデル学習装置で学習された反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とに基づいて、前記照明条件の下で前記撮影範囲を撮影したときに得られる疑似撮影画像を生成する疑似画像生成部と、を含んで構成される。
【００１９】
また、本発明のプログラムは、コンピュータを、撮影画像を取得する撮影画像取得部、前記撮影画像に対して適用したい照明条件を取得する照明条件取得部、前記撮影画像から、前記撮影画像の撮影範囲における３次元情報を生成する画像生成部、前記撮影画像を物体毎の領域に分割した領域分割を行う領域分割部、及び前記撮影画像と、前記３次元情報と、前記照明条件と、前記領域分割と、上記プログラムで学習された反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とに基づいて、前記照明条件の下で前記撮影範囲を撮影したときに得られる疑似撮影画像を生成する疑似画像生成部として機能させるためのプログラムである。
【００２０】
本発明の画像生成装置及びプログラムによれば、撮影画像取得部が、撮影画像を取得し、照明条件取得部が、前記撮影画像に対して適用したい照明条件を取得し、画像生成部が、前記撮影画像から、前記撮影画像の撮影範囲における３次元情報を生成する。
【００２１】
そして、領域分割部が、前記撮影画像を物体毎の領域に分割した領域分割を行い、疑似画像生成部が、前記撮影画像と、前記３次元情報と、前記照明条件と、前記領域分割と、上記反射モデル学習装置で学習された反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とに基づいて、前記照明条件の下で前記撮影範囲を撮影したときに得られる疑似撮影画像を生成する。
【００２２】
このように、撮影画像と、３次元情報と、照明条件と、領域分割と、反射モデル学習装置で学習された反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とに基づいて、照明条件の下で撮影範囲を撮影したときに得られる疑似撮影画像を生成することにより、照明条件を変更して撮影した場合の適切な疑似撮影画像を得ることができる。
【００２３】
本発明の評価装置は、上記画像生成装置により生成された疑似撮影画像に対して、所定の画像処理を実行する画像処理アルゴリズム実行部と、前記画像処理アルゴリズム実行部による実行結果と、前記撮影画像に対して予め定められた正解の実行結果とを比較することにより、前記画像処理を評価する出力結果比較部と、を含んで構成される。
【００２４】
本発明の評価装置によれば、画像処理アルゴリズム実行部が、上記画像生成装置により生成された疑似撮影画像に対して、所定の画像処理を実行し、出力結果比較部が、前記画像処理アルゴリズム実行部による実行結果と、前記撮影画像に対して予め定められた正解の実行結果とを比較することにより、前記画像処理を評価する。
【００２５】
このように、画像生成装置により生成された疑似撮影画像に対して、所定の画像処理を実行した実行結果と、撮影画像に対して予め定められた正解の実行結果とを比較して、画像処理を評価することにより、照明条件を変更した場合でも、照明条件を変更して撮影した場合の適切な疑似撮影画像を利用した画像処理アルゴリズムを評価することができる。
【発明の効果】
【００２６】
以上説明したように、本発明の反射モデル学習装置及びプログラムによれば、照明条件を変更して撮影した場合の適切な疑似撮影画像を得るための反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とを得ることができる、という効果が得られる。
【００２７】
また、本発明の画像生成装置及びプログラムによれば、照明条件を変更して撮影した場合の適切な疑似撮影画像を得ることができる、という効果が得られる。
【００２８】
本発明の評価装置によれば、照明条件を変更して撮影した場合の適切な疑似撮影画像を利用した画像処理アルゴリズムを評価することができる、という効果が得られる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施の形態に係る評価装置の概略構成を示すブロック図である。
【図２】入力画像の例を示す図である。
【図３】デプスマップの例を示す図である。
【図４】全方位画像から正解画像を生成する際のイメージ図である。
【図５】入力画像を領域分割した場合における一例を示す図である。
【図６】本発明の実施の形態に係る反射モデルの学習のイメージ図である。
【図７】本発明の実施の形態に係る学習処理ルーチンの内容を示すフローチャートである。
【図８】本発明の実施の形態に係る評価処理ルーチンの内容を示すフローチャートである。
【発明を実施するための形態】
【００３０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００３１】
＜本発明の実施の形態に係る評価装置の構成＞
図１を参照して、本発明の実施の形態に係る評価装置１０の構成について説明する。図１は、本発明の実施の形態に係る評価装置１０の構成を示すブロック図である。
【００３２】
評価装置１０は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン、及び評価処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００３３】
図１に示すように、本発明の実施の形態に係る評価装置１０は、学習データ入力部１００と、演算部２００と、評価用データ入力部３００と、画像処理アルゴリズム実行部４００と、出力結果比較部５００と、出力部６００とを備えて構成される。
【００３４】
学習データ入力部１００は、学習用画像と、照明条件を表す全方位画像と、学習用画像の撮影範囲における３次元情報であるデプスマップとの入力を受け付ける。
【００３５】
学習用画像は、例えば図２のように、任意の撮影範囲を撮影した画像となる。
【００３６】
全方位画像は、学習用画像の撮影範囲を含む画像である。
【００３７】
デプスマップは、学習用画像の撮影範囲における３次元情報であり、例えば図３に示すように、画素毎に、暗ければカメラ等の撮影装置に近く、明るければ撮影装置に遠いというように表現される。
【００３８】
そして、学習データ入力部１００は、全方位画像を正解画像生成部２１１、及び照明条件データ生成部２１２に、学習用画像を領域分割部２１３に、学習用画像と、デプスマップとを、反射モデル学習部２１４に、それぞれ渡す。
【００３９】
演算部２００は、照明条件の下で撮影範囲を撮影したときに得られる疑似撮影画像を出力するニューラルネットワークである反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とを学習し、学習された反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とに基づいて、照明条件の下で前記撮影範囲を撮影したときに得られる疑似撮影画像を生成する。
【００４０】
具体的には、演算部２００は、照明条件変更部２１０と、画像生成部２２０と、正解生成部２３０とを備えて構成される。
【００４１】
照明条件変更部２１０は、反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とを学習し、学習された反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とに基づいて、照明条件を変更したときの疑似撮影画像を生成する。
【００４２】
具体的には、照明条件変更部２１０は、正解画像生成部２１１と、照明条件データ生成部２１２と、領域分割部２１３と、反射モデル学習部２１４と、反射モデル記憶部２１５と、疑似画像生成部２１６とを備えて構成される。
【００４３】
正解画像生成部２１１は、全方位画像とデプスマップとから、正解画像を生成する。
【００４４】
具体的には、図４に示すように、全方位画像から、学習用画像の撮影範囲に相当する部分を切出して、正解画像を生成する。学習用画像の撮影範囲に相当する部分は、デプスマップを用いて算出する。例えば、参考文献１の技術等を使う。
【００４５】
[参考文献１]Evaluation of image processing algorithms on vehicle safety system based on free viewpoint image rendering, IV2014, 奈良先端科学技術大学院大学, 2014.
【００４６】
そして、正解画像生成部２１１は、生成した正解画像を反射モデル学習部２１４に渡す。
【００４７】
照明条件データ生成部２１２は、光源の位置と強さとを含む照明条件を表す全方位画像から、照明条件データを生成する。
【００４８】
全方位画像をそのまま照明条件として用いると、データ量が大きすぎるため、反射モデルとその反射モデルを用いた疑似撮影方法の生成処理の学習に使用するのが困難である場合がある。また、実際に照明条件を変更させるときに、新規の照明条件として人手で全方位画像を作成するのは困難である。
【００４９】
そこで、照明条件を表す全方位画像に対して、Ｗａｖｅｌｅｔ関数を用いた圧縮変換、球面調和関数を用いた圧縮変換、又は画素サンプリングを行うことによりデータ量を減らすことで、照明条件データを生成する。
【００５０】
具体的には、Ｗａｖｅｌｅｔ関数や球面調和関数の係数を並べたベクトルや、サンプリングした画素の位置と画素値を並べたベクトルを照明条件データとする。
【００５１】
そして、照明条件データ生成部２１２は、生成した照明条件データを、反射モデル学習部２１４に渡す。
【００５２】
領域分割部２１３は、学習用画像を物体毎の領域に分割した領域分割を行う。
【００５３】
具体的には、領域分割部２１３は、図５に示すように、入力された学習用画像の撮影範囲に写っている物体毎に、領域を分割する。ここで、物体は、電柱や道路等の物体に限定されず、アスファルトやコンクリート、塗料等の材質としてもよい。
【００５４】
そして、領域分割部２１３は、領域分割の結果である学習用画像の領域分割データを、反射モデル学習部２１４に渡す。
【００５５】
また、領域分割部２１３は、画像生成部２２０から取得した撮影画像を物体毎の領域に分割した領域分割を行う。
【００５６】
そして、領域分割部２１３は、領域分割の結果である撮影画像の領域分割データを、疑似画像生成部２１６に渡す。
【００５７】
反射モデル学習部２１４は、学習用画像と、正解画像生成部２１１により生成された正解画像と、３次元情報と、領域分割部２１３による学習用画像の領域分割結果と、照明条件データ生成部２１２により抽出された照明条件とを用いて、照明条件の下で撮影範囲を撮影したときに得られる疑似撮影画像を出力するニューラルネットワークである反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とを学習する。
【００５８】
具体的には、図６に示すように、反射モデル学習部２１４は、学習用画像と、デプスマップと、学習用画像の領域分割データと、照明条件データとを入力とした場合に、照明条件の下で撮影範囲を撮影したときに得られる疑似撮影画像を出力するニューラルネットワークである反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とにより出力される疑似撮影画像が、正解画像に類似するように、反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とを学習する。ここで、ニューラルネットワークとしては、例えば、ディープニューラルネットワーク（ＤＮＮ）を用いることができ、学習方法としては、誤差逆伝搬法を用いることができる。
【００５９】
そして、反射モデル学習部２１４は、学習した反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とを、反射モデル記憶部２１５に渡す。
【００６０】
反射モデル記憶部２１５は、反射モデル学習部２１４により学習された反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とを記憶する。
【００６１】
疑似画像生成部２１６は、撮影画像と、３次元情報と、照明条件と、撮影画像の領域分割結果と、反射モデル記憶部２１５に記憶されている反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とに基づいて、照明条件の下で撮影範囲を撮影したときに得られる疑似撮影画像を生成する。
【００６２】
具体的には、疑似画像生成部２１６は、まず、反射モデル記憶部２１５に記憶されている反射モデルを取得する。
【００６３】
次に、疑似画像生成部２１６は、照明条件データと、画像生成部２２０により生成された入力画像、及びデプスマップと、領域分割部２１３による領域分割結果である撮影画像の領域分割データとを、取得した反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とに入力して、入力画像に照明条件を適用した疑似撮影画像を生成する。
【００６４】
そして、疑似画像生成部２１６は、生成した疑似撮影画像を、画像処理アルゴリズム実行部４００に渡す。
【００６５】
画像生成部２２０は、撮影画像から、撮影画像の撮影範囲における３次元情報を生成する。
【００６６】
具体的には、画像生成部２２０は、入力された撮影画像から、反射モデルとその反射モデルを用いた疑似撮影画像の生成処理に入力するための入力画像と、デプスマップとを生成する。
【００６７】
画像生成部２２０は、入力された撮影画像を整形、データ量を減らす等の処理を行うことにより、反射モデルとその反射モデルを用いた疑似撮影画像の生成処理に入力するのに適切な画像となるように入力画像を生成する。
【００６８】
また、画像生成部２２０は、入力された撮影画像から、例えば参考文献２の技術等を使うことにより、入力画像に対応するデプスマップを生成する。
【００６９】
[参考文献２]Depth Map prediction from a Single Image using a Multi-Scale Deep Network, NIPS2014, New York University, 2014.
【００７０】
そして、画像生成部２２０は、生成した入力画像を領域分割部２１３に、生成した入力画像及びデプスマップを疑似画像生成部２１６に、それぞれ渡す。
【００７１】
正解生成部２３０は、撮影画像に対して画像処理を行った場合の正解となる実行結果を生成する。
【００７２】
具体的には、正解生成部２３０は、撮影画像に対して、評価対象となる画像処理アルゴリズムを実行した場合に得られるべき実行結果を、正解の実行結果として生成する。
【００７３】
そして、正解生成部２３０は、当該正解の実行結果を出力結果比較部５００に渡す。
【００７４】
評価用データ入力部３００は、撮影画像と照明条件データの入力を受け付ける。
【００７５】
具体的には、評価用データ入力部３００は、撮影装置（図示しない）によって撮影された画像と評価を行いたい照明条件データの入力を受け付ける。撮影画像は、例えば、車載カメラで撮影した画像である。
【００７６】
そして、評価用データ入力部３００は、撮影画像を画像生成部２２０に、照明条件データを疑似画像生成部２１６に、それぞれ渡す。
【００７７】
画像処理アルゴリズム実行部４００は、疑似画像生成部２１６により生成された疑似撮影画像を入力として、所定の画像処理を行う画像処理アルゴリズムを実行する。
【００７８】
具体的には、画像処理アルゴリズム実行部４００は、疑似撮影画像を評価対象の画像処理アルゴリズムの入力として、当該画像処理アルゴリズムを実行し、当該画像処理アルゴリズムの実行結果を取得する。
【００７９】
そして、画像処理アルゴリズム実行部４００は、当該実行結果を出力結果比較部５００に渡す。
【００８０】
出力結果比較部５００は、画像処理アルゴリズム実行部４００による実行結果と、撮影画像に対して予め定められた正解の実行結果とを比較することにより、画像処理を評価する。
【００８１】
具体的には、出力結果比較部５００は、画像処理アルゴリズム実行部４００による実行結果と、正解生成部２３０により生成された正解の実行結果とを比較することにより、画像処理を評価する。
【００８２】
そして、出力結果比較部５００は、評価結果を出力部６００に渡す。
【００８３】
出力部６００は、出力結果比較部５００による評価結果を出力する。
【００８４】
＜本発明の実施の形態に係る評価装置１０の作用＞
次に、図７を参照して、本実施形態の評価装置１０の学習処理ルーチンについて説明する。
【００８５】
学習データ入力部１００に学習データが入力されると、図７に示す学習処理ルーチンが実行される。
【００８６】
まず、ステップＳ１００において、学習データ入力部１００は、入力された学習データから、学習用画像と、照明条件を表す全方位画像と、学習用画像の撮影範囲における３次元情報であるデプスマップとを取得する。
【００８７】
ステップＳ１１０において、正解画像生成部２１１は、全方位画像とデプスマップから、正解画像を生成する。
【００８８】
ステップＳ１２０において、照明条件データ生成部２１２は、全方位画像から、照明条件データを生成する。
【００８９】
ステップＳ１３０において、領域分割部２１３は、学習用画像を物体毎の領域に分割した領域分割を行う。
【００９０】
ステップＳ１４０において、反射モデル学習部２１４は、上記ステップＳ１００により入力された学習用画像、及びデプスマップと、上記ステップＳ１１０において生成された正解画像と、上記ステップＳ１３０における学習用画像の領域分割結果と、上記ステップＳ１２０により生成された照明条件データとを用いて、照明条件の下で撮影範囲を撮影したときに得られる疑似撮影画像を出力するニューラルネットワークである反射モデルとその反射モデルを用いた疑似撮影画像の生成処理を学習する。
【００９１】
ステップＳ１５０において、反射モデル記憶部２１５は、上記ステップＳ１４０において学習された反射モデルとその反射モデルを用いた疑似撮影画像の生成処理を記憶し、学習処理ルーチンを終了する。
【００９２】
次に、図８を参照して、本実施形態の評価装置１０の評価処理ルーチンについて説明する。
【００９３】
評価用データ入力部３００に、撮影画像が入力されると、図８に示す評価処理ルーチンが実行される。
【００９４】
まず、ステップＳ２００において、評価用データ入力部３００は、撮影画像と照明条件データの入力を受け付ける。
【００９５】
ステップＳ２１０において、画像生成部２２０は、上記ステップＳ２００において入力された撮影画像を整形、データ量を減らす等の処理を行うことにより、反射モデルとその反射モデルを用いた疑似撮影画像の生成処理に入力するのに適切な画像となるように入力画像を生成する。また、画像生成部２２０は、入力された撮影画像から、例えば参考文献２の技術等を使うことにより、入力画像に対応するデプスマップを生成する。
【００９６】
ステップＳ２２０において、領域分割部２１３は、撮影画像を物体毎の領域に分割した領域分割を行う。
【００９７】
ステップＳ２３０において、疑似画像生成部２１６は、反射モデル記憶部２１５に記憶されている反射モデルとその反射モデルを用いた疑似撮影画像の生成処理を取得する。
【００９８】
ステップＳ２４０において、正解生成部２３０は、入力画像に対して画像処理を行った場合の正解となる実行結果を生成する。
【００９９】
ステップＳ２６０において、疑似画像生成部２１６は、上記ステップＳ２００により入力された照明条件データと、上記ステップＳ２１０により生成された入力画像と、デプスマップと、上記ステップＳ２２０における撮影画像の領域分割結果と、上記ステップＳ２３０により取得した反射モデルとその反射モデルを用いた疑似撮影画像の生成処理とに基づいて、照明条件の下で撮影範囲を撮影したときに得られる疑似撮影画像を生成する。
【０１００】
ステップＳ２７０において、画像処理アルゴリズム実行部４００は、疑似画像生成部２１６により生成された疑似撮影画像を入力として、所定の画像処理を行う画像処理アルゴリズムを実行する。
【０１０１】
ステップＳ２８０において、出力結果比較部５００は、上記ステップＳ２７０により取得した実行結果と、上記ステップＳ２６０において生成した正解の実行結果とを比較することにより、画像処理を評価する。
【０１０２】
ステップＳ２９０において、出力部６００は、上記ステップＳ２８０により得られた評価結果を出力し、評価処理ルーチンを終了する。
【０１０３】
以上説明したように、本発明の実施の形態に係る評価装置によれば、生成された疑似撮影画像を入力として画像の処理を行う画像処理アルゴリズムを実行して、画像処理アルゴリズムによる処理を評価することにより、照明条件を変更して撮影した場合の適切な疑似撮影画像を利用した画像処理アルゴリズムを評価することができる。
【０１０４】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１０５】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１０６】
１０   評価装置
１００ 学習データ入力部
２００ 演算部
２１０ 照明条件変更部
２１１ 正解画像生成部
２１２ 照明条件データ生成部
２１３ 領域分割部
２１４ 反射モデル学習部
２１５ 反射モデル記憶部
２１６ 疑似画像生成部
２２０ 画像生成部
２３０ 正解生成部
３００ 評価用データ入力部
４００ 画像処理アルゴリズム実行部
５００ 出力結果比較部
６００ 出力部
【図１】
2019144899.tif 000003
【図２】
2019144899.tif 000004
【図３】
2019144899.tif 000005
【図４】
2019144899.tif 000006
【図５】
2019144899.tif 000007
【図６】
2019144899.tif 000008
【図７】
2019144899.tif 000009
【図８】
2019144899.tif 000010