(57)【要約】【課題】画像の微分値を考慮して低解像度画像から高解像度画像への画像変換を行うことができる。【解決手段】学習用変換部２２が、学習用の第１の画像を、第１の画像を該第１の画像よりも解像度が高い第２の画像へ変換するための変換処理モデルへ入力して、学習用の第１の画像に対応する学習用の第２の画像を得る。そして、微分値算出部２４が、得られた学習用の第２の画像から微分値を算出し、学習用の第１の画像に対応する正解の第２の画像から微分値を算出する。そして、学習部２６が、算出された学習用の第２の画像の微分値と、正解の第２の画像の微分値と、を関連付けることにより、変換処理モデルを学習させる。【選択図】図１
2020177528.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像を、該第１の画像よりも解像度が高い第２の画像へ変換する画像変換装置であって、
変換対象の第１の画像を取得する取得部と、
前記取得部によって取得された変換対象の第１の画像を、第１の画像を第２の画像へ変換するための変換処理モデルであって、かつ学習用の第１の画像を変換処理モデルへ入力することにより出力される学習用の第２の画像から得られる微分値と、学習用の第１の画像に対応する正解の第２の画像から得られる微分値と、を関連付けることにより予め学習された変換処理モデルへ入力して、変換対象の第１の画像に対応する第２の画像を得る変換部と、
を含む画像変換装置。
【請求項２】
前記変換処理モデルは、学習用の第２の画像の微分値と、学習用の第１の画像に対応する正解の第２の画像の微分値と、の間の差を用いて表される損失関数が小さくなるように、予め学習されたモデルである、
請求項１に記載の画像変換装置。
【請求項３】
学習用の第１の画像を、第１の画像を該第１の画像よりも解像度が高い第２の画像へ変換するための変換処理モデルへ入力して、学習用の第１の画像に対応する学習用の第２の画像を得る学習用変換部と、
前記学習用変換部によって得られた学習用の第２の画像から微分値を算出し、学習用の第１の画像に対応する正解の第２の画像から微分値を算出する微分値算出部と、
前記微分値算出部によって算出された学習用の第２の画像の微分値と、前記微分値算出部によって算出された正解の第２の画像の微分値と、を関連付けることにより、前記変換処理モデルを学習させる学習部と、
を含む画像変換モデル学習装置。
【請求項４】
前記学習部は、学習用の第２の画像の微分値と、正解の第２の画像の微分値と、の間の差を用いて表される損失関数が小さくなるように、前記変換処理モデルを学習させる、
請求項３に記載の画像変換モデル学習装置。
【請求項５】
第１の画像を、該第１の画像よりも解像度が高い第２の画像へ変換する画像変換方法であって、
変換対象の第１の画像を取得し、
取得された変換対象の第１の画像を、第１の画像を第２の画像へ変換するための変換処理モデルであって、かつ学習用の第１の画像を変換処理モデルへ入力することにより出力される学習用の第２の画像から得られる微分値と、学習用の第１の画像に対応する正解の第２の画像から得られる微分値と、を関連付けることにより予め学習された変換処理モデルへ入力して、変換対象の第１の画像に対応する第２の画像を得る、
処理をコンピュータが実行する画像変換方法。
【請求項６】
学習用の第１の画像を、第１の画像を該第１の画像よりも解像度が高い第２の画像へ変換するための変換処理モデルへ入力して、学習用の第１の画像に対応する学習用の第２の画像を得て、
得られた学習用の第２の画像から微分値を算出し、学習用の第１の画像に対応する正解の第２の画像から微分値を算出し、
算出された学習用の第２の画像の微分値と、算出された正解の第２の画像の微分値と、を関連付けることにより、前記変換処理モデルを学習させる、
処理をコンピュータが実行する画像変換モデル学習方法。
【請求項７】
第１の画像を、該第１の画像よりも解像度が高い第２の画像へ変換するためのプログラムであって、
変換対象の第１の画像を取得し、
取得された変換対象の第１の画像を、第１の画像を第２の画像へ変換するための変換処理モデルであって、かつ学習用の第１の画像を変換処理モデルへ入力することにより出力される学習用の第２の画像から得られる微分値と、学習用の第１の画像に対応する正解の第２の画像から得られる微分値と、を関連付けることにより予め学習された変換処理モデルへ入力して、変換対象の第１の画像に対応する第２の画像を得る、
処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像変換装置、画像変換モデル学習装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、スマートフォン等の小型撮像デバイスの普及に伴い、様々な場所又は環境において任意の物体が撮影され、撮影された画像中に写る物体を認識する技術への要望が高まってきている。
【０００３】
従来から、画像中の物体を認識する種々の技術が発明され、開示されている。例えば、クエリとして入力された画像について、同一の物体が写っている画像をあらかじめ登録しておいた参照画像中から取得する類似画像取得装置が知られている（例えば、特許文献１を参照）。
【０００４】
この類似画像取得装置は、まず、画像から特徴的な部分領域を複数検出し、各部分領域の特徴を実数値又は整数値からなる特徴量ベクトルとして表現する。この特徴量ベクトルは、一般的には、「局所特徴量」と呼ばれる。局所特徴量としては、Scale Invariant Feature Transform (SIFT)（例えば、非特許文献１を参照）が用いられることが多い。
【０００５】
次に、類似画像取得装置は、互いに異なる二つの画像に含まれる部分領域について特徴量ベクトルを比較し、同一性を判定する。類似度が高い特徴量ベクトルの数が多い場合、比較された二つの画像には、同一の物体が含まれている可能性が高い。一方、類似度が高い特徴量ベクトルの数が少ない場合、比較された二つの画像には、同一の物体が含まれている可能性は低い。
【０００６】
このように、上記特許文献１に記載されている類似画像取得装置は、認識対象の物体を含む画像（参照画像）の各々が格納された参照画像データベースを構築し、新たに入力された画像（クエリ画像）と同一の物体が写っている参照画像を検索することにより、クエリ画像中に存在する物体を特定することができる。このため、上記特許文献１に記載されている類似画像取得装置によれば、画像から一つ以上の局所特徴量を算出し、部分領域ごとに画像間の同一性を判定することにより、同一の物体を含む画像を探し出すことができる。
【０００７】
しかしながら、クエリ画像又は参照画像の解像度が低い場合、画像検索の検索精度が低下する、という問題がある。検索精度が低下する原因としては、クエリ画像と参照画像との解像度が大きく乖離するほど、クエリ画像と正解となる参照画像との間において、異なる局所特徴量が得られやすくなってしまう点が挙げられる。また、検索精度が低下する原因としては、クエリ画像又は参照画像の解像度が低いほど、画像に含まれる物体を十分に識別することのできる局所特徴量が得られなくなる点が挙げられる。
【０００８】
例えば、解像度が高い参照画像の各々に対して、解像度が低い画像をクエリ画像として検索するような場合には、低解像度画像であるクエリ画像中から高周波成分が失われていることが多く、上述のような問題が発生しやすい。
【０００９】
このような場合、高解像度画像の解像度を低下させることにより画像間の解像度を揃えた場合には、解像度の乖離は解消されるが、多くの詳細な情報が失われてしまうため、異なる画像間の局所特徴量が類似してしまい、検索精度は十分には改善されない。そのため、低解像度な画像の高周波成分を復元する、いくつかの技術が提案され、開示されている。
【００１０】
例えば、学習型超解像（例えば、非特許文献２を参照）が知られている。学習型超解像は、畳み込みニューラルネットワーク（CNN : Convolutional Neural Network）を用いて低解像度画像を高解像度画像へ変換する方法である。非特許文献２に開示されている学習型超解像では、任意の低解像度画像と当該低解像度画像の高解像度の画像である正解の高解像度画像とのペアを用いて、低解像度画像を高解像度画像へ変換するためのCNNを学習させる。具体的には、CNNによって得られた高解像度画像の画素値と正解の高解像度画像の画素値との間の平均二乗誤差（MSE : Mean squared error）を損失関数として設定して、CNNを学習させることで、低解像度画像を高解像度画像に変換させるためのCNNを得る。学習されたCNNを用いて低解像度画像を高解像度画像へ変換することにより、低解像度画像に含まれない高周波成分が高精度に復元される。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開2017-16501号公報
【非特許文献】
【００１２】
【非特許文献１】D.G.Lowe. "Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision", pp.91-110, 2004
【非特許文献２】C. Dong, C. C. Loy, K. He, and X. Tang, "Image super-resolution using deep convolutional networks", In CVPR, 2014.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上記非特許文献２に開示されている学習型超解像は、画像検索の際に抽出される局所特徴量が必ずしも改善されるとは限らない点が課題となる。
【００１４】
例えば、上記非特許文献１に記載のSIFTでは、画像の勾配の大きさと向きとに応じて局所特徴量としての特徴量ベクトルが算出される。一方、上記非特許文献１において損失関数として設定されるMSEは、CNNによって変換された高解像度画像の各画素の画素値と、正解の高解像度画像の各画素の画素値との間の誤差を小さくするものであり、局所特徴量における勾配の大きさと向きとの誤差が小さくなるとは限らない。そのため、CNNによって得られた高解像度画像と正解の高解像度画像とで同様の局所特徴量が得られるとは限らず、検索精度は十分には改善されない。
【００１５】
本発明は、上記事情を鑑みて成されたものであり、画像の微分値を考慮して低解像度画像から高解像度画像への画像変換を行う画像変換装置、方法、及びプログラムを提供することを目的とする。
【００１６】
また、本発明は、画像の微分値を考慮して低解像度画像から高解像度画像への画像変換を行うための変換処理モデルを得る画像変換モデル学習装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、第１の発明の画像変換装置は、第１の画像を、該第１の画像よりも解像度が高い第２の画像へ変換する画像変換装置であって、変換対象の第１の画像を取得する取得部と、前記取得部によって取得された変換対象の第１の画像を、第１の画像を第２の画像へ変換するための変換処理モデルであって、かつ学習用の第１の画像を変換処理モデルへ入力することにより出力される学習用の第２の画像から得られる微分値と、学習用の第１の画像に対応する正解の第２の画像から得られる微分値と、を関連付けることにより予め学習された変換処理モデルへ入力して、変換対象の第１の画像に対応する第２の画像を得る変換部と、を含んで構成されている。
【００１８】
また、画像変換装置において、前記変換処理モデルは、学習用の第２の画像の微分値と、学習用の第１の画像に対応する正解の第２の画像の微分値と、の間の差を用いて表される損失関数が小さくなるように、予め学習されたモデルであるようにすることができる。
【００１９】
第２の発明の画像変換モデル学習装置は、学習用の第１の画像を、第１の画像を該第１の画像よりも解像度が高い第２の画像へ変換するための変換処理モデルへ入力して、学習用の第１の画像に対応する学習用の第２の画像を得る学習用変換部と、前記学習用変換部によって得られた学習用の第２の画像から微分値を算出し、学習用の第１の画像に対応する正解の第２の画像から微分値を算出する微分値算出部と、前記微分値算出部によって算出された学習用の第２の画像の微分値と、前記微分値算出部によって算出された正解の第２の画像の微分値と、を関連付けることにより、前記変換処理モデルを学習させる学習部と、を含んで構成されている。
【００２０】
画像変換モデル学習装置において、前記学習部は、学習用の第２の画像の微分値と、正解の第２の画像の微分値と、の間の差を用いて表される損失関数が小さくなるように、前記変換処理モデルを学習させるようにすることができる。
【００２１】
第３の発明の画像変換方法は、第１の画像を、該第１の画像よりも解像度が高い第２の画像へ変換する画像変換方法であって、変換対象の第１の画像を取得し、取得された変換対象の第１の画像を、第１の画像を第２の画像へ変換するための変換処理モデルであって、かつ学習用の第１の画像を変換処理モデルへ入力することにより出力される学習用の第２の画像から得られる微分値と、学習用の第１の画像に対応する正解の第２の画像から得られる微分値と、を関連付けることにより予め学習された変換処理モデルへ入力して、変換対象の第１の画像に対応する第２の画像を得る、処理をコンピュータが実行する画像変換方法である。
【００２２】
第４の発明の画像変換モデル学習方法は、学習用の第１の画像を、第１の画像を該第１の画像よりも解像度が高い第２の画像へ変換するための変換処理モデルへ入力して、学習用の第１の画像に対応する学習用の第２の画像を得て、得られた学習用の第２の画像から微分値を算出し、学習用の第１の画像に対応する正解の第２の画像から微分値を算出し、算出された学習用の第２の画像の微分値と、算出された正解の第２の画像の微分値と、を関連付けることにより、前記変換処理モデルを学習させる、処理をコンピュータが実行する画像変換モデル学習方法である。
【００２３】
第５の発明のプログラムは、第１の画像を、該第１の画像よりも解像度が高い第２の画像へ変換するためのプログラムであって、変換対象の第１の画像を取得し、取得された変換対象の第１の画像を、第１の画像を第２の画像へ変換するための変換処理モデルであって、かつ学習用の第１の画像を変換処理モデルへ入力することにより出力される学習用の第２の画像から得られる微分値と、学習用の第１の画像に対応する正解の第２の画像から得られる微分値と、を関連付けることにより予め学習された変換処理モデルへ入力して、変換対象の第１の画像に対応する第２の画像を得る、処理をコンピュータに実行させるためのプログラムである。
【００２４】
第６の発明のプログラムは、学習用の第１の画像を、第１の画像を該第１の画像よりも解像度が高い第２の画像へ変換するための変換処理モデルへ入力して、学習用の第１の画像に対応する学習用の第２の画像を得て、得られた学習用の第２の画像から微分値を算出し、学習用の第１の画像に対応する正解の第２の画像から微分値を算出し、算出された学習用の第２の画像の微分値と、算出された正解の第２の画像の微分値と、を関連付けることにより、前記変換処理モデルを学習させる、処理をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００２５】
本発明の画像変換装置、方法、及びプログラムによれば、画像の微分値を考慮して低解像度画像から高解像度画像への画像変換を行うことができる、という効果が得られる。
【００２６】
また、画像変換モデル学習装置、方法、及びプログラムによれば、画像の微分値を考慮して低解像度画像から高解像度画像への画像変換を行うための変換処理モデルを得ることができる、という効果が得られる。
【図面の簡単な説明】
【００２７】
【図１】本実施形態に係る画像変換モデル学習装置の構成を示すブロック図である。
【図２】微分値を算出するためのフィルタの一例を示す図である。
【図３】本実施形態に係る画像変換装置の構成を示すブロック図である。
【図４】本実施形態に係る画像変換モデル学習装置において実行される画像変換モデル学習処理ルーチンを示すフローチャートである。
【図５】本実施形態に係る画像変換装置において実行される画像変換処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００２８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２９】
＜本実施形態に係る画像変換モデル学習装置の構成＞
【００３０】
図１は、本実施形態に係る画像変換モデル学習装置１０の構成の一例を示すブロック図である。本実施形態に係る画像変換モデル学習装置１０は、CPU（Central Processing Unit）と、GPU（Graphics Processing Unit）と、RAM（Random Access Memory）と、後述する画像変換モデル学習処理ルーチンを実行するためのプログラムを記憶したROM（Read Only Memory）とを備えたコンピュータで構成されている。画像変換モデル学習装置１０は、機能的には、学習用入力部１２と、学習用演算部１４とを備えている。
【００３１】
本実施形態に係る画像変換モデル学習装置１０は、解像度が低い第１の画像を、当該第１の画像よりも解像度が高い第２の画像へ変換するための変換処理モデルを生成する。
【００３２】
学習用入力部１２は、学習用の第１の画像ＩＬと正解の第２の画像ＩＨとのペアであるデータを複数受け付ける。正解の第２の画像ＩＨは任意の画像であり、学習用の第１の画像ＩＬは対応する正解の第２の画像ＩＨを低解像度化させた低解像度画像である。
【００３３】
学習用の第１の画像ＩＬは、例えば、公知の低解像度化処理を用いて作成することができる。例えば、既存の手法であるBicubic法によって正解の第２の画像ＩＨを縮小することにより、学習用の第１の画像ＩＬが作成される。以下では、１つの学習用の第１の画像ＩＬと、当該学習用の第１の画像ＩＬの高解像度画像である１つの正解の第２の画像ＩＨとが、１つのペアのデータとして扱われる。
【００３４】
学習用演算部１４は、図１に示されるように、学習用取得部１６と、画像記憶部１８と、変換処理モデル記憶部２０と、学習用変換部２２と、微分値算出部２４と、学習部２６とを備える。
【００３５】
学習用取得部１６は、学習用入力部１２によって受け付けられた複数のデータの各々を取得し、画像記憶部１８へ格納する。画像記憶部１８には、学習用の第１の画像ＩＬと正解の第２の画像ＩＨとのペアであるデータが複数格納される。
【００３６】
変換処理モデル記憶部２０には、低解像度画像である第１の画像を、当該第１の画像よりも解像度が高い高解像度画像である第２の画像へ変換するための変換処理モデルのパラメータが格納されている。
【００３７】
本実施形態では、変換処理モデルとして、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network）を用いる場合を例に説明する。このため、変換処理モデル記憶部２０には、畳み込みニューラルネットワーク（以下、単に「CNN」と称する。）のパラメータが格納されている。
【００３８】
本実施形態のCNNは、入力された画像を高解像度化して出力するCNNである。ＣＮＮの層の構成は、任意の公知の構成を用いる。本実施形態では、以下の非特許文献３に記載の層の構成を用いる。
【００３９】
（非特許文献３）M. Haris, G. Shakhnarovich, and N. Ukita, "Deep back-projection networks for super-resolution", In CVPR, 2018.
【００４０】
学習用変換部２２は、画像記憶部１８に格納された学習用の第１の画像ＩＬの各々を、CNNへ入力して、入力された学習用の第１の画像ＩＬに対応する学習用の第２の画像ＩＳの各々を得る。
【００４１】
具体的には、まず、学習用変換部２２は、変換処理モデル記憶部２０に格納されたCNNのパラメータを読み出す。次に、学習用変換部２２は、読み出したパラメータをCNNへ反映させ、画像変換を行うCNNを構成する。
【００４２】
次に、学習用変換部２２は、画像記憶部１８に格納された学習用の第１の画像ＩＬの各々を読み出す。そして、学習用変換部２２は、学習用の第１の画像ＩＬの各々をCNNへ入力して、学習用の第１の画像ＩＬに対応する学習用の第２の画像ＩＳの各々を生成する。これにより、学習用の第１の画像ＩＬと当該学習用の第１の画像ＩＬが高解像度化された学習用の第２の画像ＩＳとの複数のペアが生成される。正解の第２の画像ＩＨは、低解像度画像である学習用の第１の画像ＩＬの元画像となる高解像度な画像である。このため、正解の第２の画像ＩＨと学習用の第１の画像ＩＬとがCNNのパラメータを学習させるための教師データともいえる。
【００４３】
なお、本実施形態における画像の高解像度化は、上記非特許文献３に記載の構成のCNNによって入力された画像を畳み込むことにより実施するが、ニューラルネットワークを用いて畳み込む方法であればこれに限定されるものではない。
【００４４】
微分値算出部２４は、学習用変換部２２によって生成された学習用の第２の画像ＩＨの各々から微分値を算出する。また、微分値算出部２４は、学習用の第１の画像ＩＬに対応する正解の第２の画像ＩＨを画像記憶部１８から読み出し、正解の第２の画像ＩＨの各々から微分値を算出する。なお、処理対象の画像が３チャネルである場合は、微分値算出部２４は、公知のグレースケール化処理を画像に対して行い、１チャネルへと統合した画像の微分値を算出する。
【００４５】
微分値算出部２４は、例えば、微分値として、画像の横方向の微分（差分）値及び縦方向の微分（差分）値の各々を出力する。例えば、微分値算出部２４は、注目画素と当該注目画素の右の画素との差、及び、注目画素と当該注目画素の下の画素との差を微分値として出力する。この場合には、例えば、図２（ａ）（ｂ）に示されるような微分フィルタを用いた畳み込み処理を画像に対して行うことで微分値を算出すると好例である。なお、図２（ａ）は縦方向の微分フィルタ、図２（ｂ）は横方向の微分フィルタである。
【００４６】
または、微分値算出部２４は、図２（ｃ）（ｄ）に示されるソーベルフィルタを用いた畳み込み処理を画像に対して行うことで、微分値を算出してもよい。図２（ｃ）（ｄ）に示されるソーベルフィルタを用いた場合、処理時間は長くなるが、ノイズの影響を抑制することが可能である。
【００４７】
なお、微分値算出部２４によって算出される微分値は一次微分値に限定されるものではなく、微分値算出部２４は、任意の回数の微分を繰り返して算出した値を微分値として出力してもよい。
【００４８】
例えば、微分値算出部２４は、図２（ｅ）に示すラプラシアンフィルタを用いた畳み込み処理を画像に対して行うことで、二次微分値を算出して出力するようにしてもよい。この他にも、微分値算出部２４は、上記非特許文献１に記載される、ＬｏＧ(Laplacian of Gaussian)フィルタを用いて畳み込み処理を画像に対して行い、微分値を算出するようにしてもよい。
【００４９】
本実施形態においては、微分値算出部２４が、各画像から一次微分値と二次微分値とを算出する場合を例に説明する。
【００５０】
微分値算出部２４の処理により、学習用の第１の画像ＩＬから学習済みのCNNによって生成された学習用の第２の画像ＩＳの微分値と、学習用の第１の画像ＩＬの正解の画像である正解の第２の画像ＩＨの微分値が得られたことになる。
【００５１】
学習部２６は、微分値算出部２４によって算出された学習用の第２の画像ＩＳの微分値と、正解の第２の画像ＩＨの微分値と、を関連付けることにより、CNNのパラメータを学習させる。
【００５２】
具体的には、学習部２６は、同一の学習用の第１の画像ＩＬに対応する、学習用の第２の画像ＩＳの微分値と、正解の第２の画像ＩＨの微分値との間の差を用いて表される損失関数が小さくなるように、CNNのパラメータを学習させる。
【００５３】
上述したように、微分値としては１種類に限定されず、２種類以上の微分値を用いることができる。また、微分値に加えて、正解の第２の画像ＩＨの画素値と学習用の第２の画像ＩＳの画素値との間の差を損失関数に含めても良い。本実施形態では、正解の第２の画像ＩＨと学習用の第２の画像ＩＳとの画素値、一次微分値、及び二次微分値とから損失関数を計算する場合を例に説明する。
【００５４】
具体的には、学習部２６は、以下（１）式の損失関数を最小化するようにCNNのパラメータを学習させる。そして、学習部２６は、CNNのパラメータを最適化する。
【００５５】
【数１】
2020177528.tif 000003
（１）
【００５６】
上記式（１）におけるＩＨは高解像度画像である正解の第２の画像の画素値を表す。また、上記式（１）におけるＩＳは、学習用の第１の画像ＩＬをCNNへ入力した際に出力される学習用の第２の画像の画素値を表す。
【００５７】
また、上記式（１）における∇ｘＩは、画像Ｉの横方向の一次微分値を表し、∇ｙＩは、画像Ｉの縦方向の一次微分値を表す。また、上記式（１）における∇２Ｉは、画像Ｉの二次微分値を示す。また、||・||１はＬ１正則化を示す。λ１、λ２、λ３は重みのパラメータであり、0.5など任意の実数を用いる。
【００５８】
上記式（１）に示されるように、本実施形態の損失関数は、正解の第２の画像ＩＨと学習用の第２の画像ＩＳとの間における、画素値の差、一次微分値の差、及び二次微分値の差を用いて表される。学習部２６は、上記式（１）に示される損失関数が小さくなるように、誤差逆伝搬法を用いてCNNの全パラメータを更新する。これにより、画像から抽出される微分値に基づく局所特徴量が、正解の第２の画像ＩＨの微分値と学習用の第２の画像ＩＳとで類似するように、CNNのパラメータが最適化される。
【００５９】
なお、損失関数としては、画像の微分値を用いた項が含まれているのであれば、他の項が追加されていてもよい。例えば、上記式（１）に加えて、以下の非特許文献４に記載されるcontent loss、adversarial loss等を足し合わせた式を損失関数としてもよい。
【００６０】
（非特許文献４）C. Ledig, L. Theis, F. Husz´ar, J. Caballero, A. Cunningham,A. Acosta, A. P. Aitken, A. Tejani, J. Totz, Z. Wang et al., Photorealistic single image super-resolution using a generative adversarial network, In CVPR, 2017.
【００６１】
そして、学習部２６は、学習させたCNNのパラメータを変換処理モデル記憶部２０へ格納する。これにより、画像の微分値を考慮して低解像度画像を高解像度画像へ画像変換をするためのCNNのパラメータが得られたことになる。
【００６２】
例えば、画像検索が行われる際、クエリ画像の解像度が低い場合、又は、検索対象のデータベースに格納された参照画像の各々の解像度が低い場合、低解像度画像がCNNによって高解像度画像へ変換される場合がある。
【００６３】
例えば、クエリ画像が低解像度画像であり、参照画像の各々は高解像度画像である場合を考える。この場合、例えば、CNNによってクエリ画像が高解像度画像に変換される。このとき、CNNの変換処理によって得られた高解像度画像と、参照画像の各々に対応する高解像度画像とからは、同様の局所特徴量が抽出されるとは限らない。このため、CNNによってクエリ画像が高解像度化されたとしても、検索精度は改善されないことがある。
【００６４】
これに対し、本実施形態の画像変換モデル学習装置１０は、低解像度画像である第１の学習用画像ＩＬをCNNによって高解像度化して学習用の第２の画像ＩSを得る。そして、本実施形態の画像変換モデル学習装置１０は、学習用の第２の画像ＩＳから微分値を算出し、学習用の第１の画像ＩＬに対応する正解の高解像度画像である正解の第２の画像ＩＨから微分値を算出し、学習用の第２の画像ＩＳの微分値と、正解の第２の画像ＩＨの微分値との差が小さくなるように、CNNを学習させる。これにより、画像から抽出される微分値を考慮した画像変換を行うCNNのパラメータが得られる。このため、学習済みのCNNは、画像の微分値を考慮して低解像度画像を高解像度画像へ変換することになる。これにより、例えば、低解像度画像に含まれる物体を検索する際に、微分値に基づく局所特徴量を適切に抽出するための画像変換が可能なCNNのパラメータを得ることができる。
【００６５】
＜本実施形態に係る画像変換装置の構成＞
【００６６】
図３は、本実施形態に係る画像変換装置３０の構成の一例を示すブロック図である。本実施形態に係る画像変換装置３０は、CPU（Central Processing Unit）と、GPU（Graphics Processing Unit）と、RAM（Random Access Memory）と、後述する画像変換処理ルーチンを実行するためのプログラムを記憶したROM（Read Only Memory）とを備えたコンピュータで構成されている。画像変換装置３０は、機能的には、入力部３２と、演算部３４と、出力部４２とを備えている。画像変換装置３０は、学習済みのCNNを用いて、低解像度画像を高解像度画像へ変換する。
【００６７】
入力部３２は、変換対象の第１の画像を取得する。第１の画像は、低解像度画像である。
【００６８】
演算部３４は、図３に示されるように、取得部３６と、変換処理モデル記憶部３８と、変換部４０とを備える。
【００６９】
取得部３６は、入力部３２により受け付けられた変換対象の第１の画像を取得する。
【００７０】
変換処理モデル記憶部２０には、上記の画像変換モデル学習装置１０によって学習されたCNNのパラメータが格納されている。
【００７１】
変換部４０は、変換処理モデル記憶部３８に格納された学習済みのCNNのパラメータを読み出す。次に、学習用変換部２２は、読み出したパラメータをCNNへ反映させ、学習済みのCNNを構成する。
【００７２】
そして、変換部４０は、取得部３６によって取得された変換対象の第１の画像を、学習済みのCNNへ入力して、変換対象の第１の画像に対応する第２の画像を得る。第２の画像は、入力された第１の画像よりも解像度が高い画像であり、入力された第１の画像を高解像度化した画像である。
【００７３】
出力部４２は、変換部４０によって得られた第２の画像を結果として出力する。以上のようにして得られた第２の画像は、画像から抽出される微分値を考慮して変換されたものとなる。
【００７４】
＜本実施形態に係る画像変換装置及び画像変換モデル学習装置の作用＞
【００７５】
次に、本実施形態に係る画像変換装置３０及び画像変換モデル学習装置１０の作用について説明する。まず、画像変換モデル学習装置１０の作用を図４に示すフローチャートを用いて説明する。
【００７６】
＜画像変換モデル学習処理ルーチン＞
【００７７】
まず、学習用入力部１２が学習用の第１の画像ＩＬと正解の第２の画像ＩＨとのペアであるデータを複数受け付ける。次に、学習用取得部１６が、学習用入力部１２によって受け付けられた複数のデータの各々を取得し、画像記憶部１８へ格納する。そして、画像変換装置３０が学習処理開始の指示信号を受け付けると、図４に示す画像変換モデル学習処理ルーチンを実行する。
【００７８】
ステップＳ１００において、画像記憶部１８に格納された学習用の第１の画像ＩＬの各々を読み出す。
【００７９】
ステップＳ１０２において、学習用変換部２２は、変換処理モデル記憶部２０に格納されたCNNのパラメータを読み出す。次に、学習用変換部２２は、読み出したパラメータに基づき、画像変換を行うCNNを構成する。
【００８０】
ステップＳ１０４において、学習用変換部２２は、上記ステップＳ１００で読み出された学習用の第１の画像ＩＬの各々をCNNへ入力して、学習用の第１の画像ＩＬに対応する学習用の第２の画像ＩＳの各々を生成する。
【００８１】
ステップＳ１０６において、微分値算出部２４は、上記ステップＳ１０４で生成された学習用の第２の画像ＩＨの各々から微分値を算出する。また、微分値算出部２４は、上記ステップＳ１００で読み出された学習用の第１の画像ＩＬに対応する正解の第２の画像ＩＨを画像記憶部１８から読み出し、正解の第２の画像ＩＨの各々から微分値を算出する。
【００８２】
ステップＳ１０８において、学習部２６は、上記ステップＳ１０６で算出された、学習用の第２の画像ＩＳの微分値と正解の第２の画像の微分値ＩＨとに基づいて、上記式（１）の損失関数を最小化するように、CNNのパラメータを学習させる。
【００８３】
ステップＳ１１０において、学習部２６は、上記ステップＳ１０８で得られた学習済みのCNNのパラメータを、変換処理モデル記憶部２０へ格納して、画像変換モデル学習処理ルーチンの処理を終了する。
【００８４】
これにより、画像から抽出される微分値を考慮した画像変換を行うCNNのパラメータが得られたことになる。
【００８５】
次に画像変換装置３０の作用を図５に示すフローチャートを用いて説明する。
【００８６】
＜画像変換処理ルーチン＞
【００８７】
変換対象の第１の画像が画像変換装置３０へ入力されると、画像変換装置３０は、図５に示す画像変換処理ルーチンを実行する。
【００８８】
ステップＳ２００において、取得部３６は、入力された変換対象の第１の画像を取得する。
【００８９】
ステップＳ２０２において、変換部４０は、変換処理モデル記憶部２０に格納された学習済みのCNNのパラメータを読み出す。次に、変換部４０は、読み出したパラメータをCNNへ反映させ、学習済みのCNNを構成する。
【００９０】
ステップＳ２０４において、変換部４０は、上記ステップＳ２００で取得された変換対象の第１の画像を、上記ステップＳ２０２で得られた学習済みのCNNへ入力して、変換対象の第１の画像に対応する第２の画像を得る。第２の画像は、入力された第１の画像よりも解像度が高い画像であり、入力された第１の画像を高解像度化した画像である。
【００９１】
ステップＳ２０６において、出力部４２は、上記ステップＳ２０４で得られた第２の画像を結果として出力し、画像変換処理ルーチンを終了する。
【００９２】
以上説明したように、本実施形態の画像変換モデル学習装置は、学習用の第１の画像を、第１の画像を該第１の画像よりも解像度が高い第２の画像へ変換するためのCNNへ入力して、学習用の第１の画像に対応する学習用の第２の画像を得る。そして、画像変換モデル学習装置は、学習用の第２の画像から微分値を算出し、学習用の第１の画像に対応する正解の第２の画像から微分値を算出する。そして、画像変換モデル学習装置は、学習用の第２の画像の微分値と、正解の第２の画像の微分値と、を関連付けることにより、CNNを学習させる。これにより、画像の微分値を考慮して低解像度画像から高解像度画像への画像変換を行うための変換処理モデルを得ることができる。
【００９３】
また、本実施形態の画像変換装置は、変換対象の第１の画像を、学習用の第１の画像をCNNへ入力することにより出力される学習用の第２の画像から得られる微分値と、学習用の第１の画像に対応する正解の第２の画像から得られる微分値と、を関連付けることにより予め学習されたCNNへ入力して、変換対象の第１の画像に対応する第２の画像を得る。これにより、画像の微分値を考慮して低解像度画像から高解像度画像への画像変換を行うことができる。
【００９４】
また、低解像度画像に含まれる物体を検索する際に、微分値に応じた局所特徴量を適切に抽出することのできる、低解像度画像から高解像度画像への変換処理を実施することができる。これにより、低解像度画像に写る物体を高解像度画像の中から検索する際には、微分値を考慮して低解像度画像から高解像度画像へ画像変換がなされるため、高解像度画像からは精度のよい検索結果を得るための局所特徴量を抽出することができる。
【００９５】
また、低解像度画像に含まれる物体を検索する際に、微分値に応じた局所特徴量を適切に抽出することのできる変換処理を実施するための変換処理モデルとして、ニューラルネットワークの一例であるCNNを学習させることができる。
【００９６】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【符号の説明】
【００９７】
１０   画像変換モデル学習装置
１２   学習用入力部
１４   学習用演算部
１６   学習用取得部
１８   画像記憶部
２０   変換処理モデル記憶部
２２   学習用変換部
２４   微分値算出部
２６   学習部
３０   画像変換装置
３２   入力部
３４   演算部
３６   取得部
３８   変換処理モデル記憶部
４０   変換部
４２   出力部
【図１】
2020177528.tif 000004
【図２】
2020177528.tif 000005
【図３】
2020177528.tif 000006
【図４】
2020177528.tif 000007
【図５】
2020177528.tif 000008