(57)【要約】【課題】あいまいな画像識別情報を利用して適切に超解像処理を行えない。【解決手段】画像処理装置は、第一の画像データを取得する第一取得手段と、分類スコアを取得する第二取得手段と、分類スコアに基づいて第一の画像データから第一の画像データよりも高解像度の第二の画像データを生成する処理手段と、を備え、処理手段を構成するパラメータは、学習用画像データと学習用画像データの分類を識別する識別子とを含む組の複数のデータで構成される学習用データに基づいて決定され、分類スコアは、第一の画像データが識別子の各々である確率を示すことを特徴とする。【選択図】図３
2020024612.tif 000002
【特許請求の範囲】
【請求項１】
第一の画像データを取得する第一取得手段と、
分類スコアを取得する第二取得手段と、
前記分類スコアに基づいて前記第一の画像データから前記第一の画像データよりも高解像度の第二の画像データを生成する処理手段と、を備え、
前記処理手段を構成するパラメータは、学習用画像データと前記学習用画像データの分類を識別する識別子とを含む組の複数のデータで構成される学習用データに基づいて決定され、
前記分類スコアは、前記第一の画像データが前記識別子の各々である確率を示すことを特徴とする画像処理装置。
【請求項２】
第一の画像データを取得する第一取得手段と、
分類スコアを取得する第二取得手段と、
前記分類スコアに基づいて前記第一の画像データから前記第一の画像データよりも高解像度の第二の画像データを生成する処理手段と、を備え、
前記処理手段を構成するパラメータは、学習用画像データと学習用の分類スコアとを含む組の複数のデータで構成される学習用データに基づいて決定され、
前記分類スコアは、前記第一の画像データが、画像の分類を識別する識別子の各々である確率を示すことを特徴とする画像処理装置。
【請求項３】
前記分類スコアは、０でない要素を２つ以上含むことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記処理手段は、
ニューラルネットワークであり、
前記第一の画像データの空間サイズを縮小した中間データと、前記分類スコアとに基づいて統合中間データを生成し、
前記統合中間データを用いて前記第二の画像データを生成することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記処理手段は、前記中間データの空間サイズが前記分類スコアの空間サイズと同一となる段階の中間データと前記分類スコアとを用いて前記統合中間データを生成することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記分類スコアは前記第一の画像データに対応する画像の各々の領域について設定されることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記処理手段を構成するパラメータは、
前記処理手段を構成するパラメータを最適化するための目的関数と、
入力された入力画像が前記処理手段によって生成された画像であるか否かの真偽を示す値と、前記入力画像の分類を推定した推定分類スコアと、を出力する判定手段を構成するパラメータを最適化するための目的関数と、
を用いて決定されることを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記処理手段を構成するパラメータを最適化するための目的関数は、
前記処理手段が前記分類スコアに基づいて前記第一の画像データから生成した前記第二の画像データを、前記判定手段に入力した場合に、前記判定手段から出力される前記推定分類スコアと、前記分類スコアと、の差に基づいて設定される項を有することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記判定手段を構成するパラメータを最適化するための目的関数は、
前記処理手段が前記分類スコアに基づいて前記第一の画像データから生成した前記第二の画像データを、前記判定手段に入力した場合に、前記判定手段から出力される前記真偽を示す値と、前記推定分類スコアと、のうち、前記推定分類スコアを含まない項を有することを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
前記第二取得手段は、ＵＩを通じた指示に応じて前記分類スコアを取得することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
【請求項１１】
第一のデータを取得する第一取得手段と、
前記第一のデータよりも空間サイズが小さい第二のデータを取得する第二取得手段と、
前記第一のデータと前記第二のデータとに基づいて、第三のデータを生成する、ニューラルネットワークによって構成されている処理手段と、
を備え、
前記処理手段は、前記第一のデータを処理した中間データの空間サイズが前記第二のデータの空間サイズと同一となる段階の中間データと、前記第二のデータと、を用いて統合中間データを生成し、前記統合中間データに基づいて前記第三のデータを生成することを特徴とする処理装置。
【請求項１２】
前記第二のデータは、空間的な情報を有さず、
前記統合中間データは、空間的な情報がなくなった段階の中間データと前記第二のデータとを用いて生成されることを特徴とする請求項１１に記載の処理装置。
【請求項１３】
前記第二のデータは、空間サイズが１×１であることを特徴とする請求項１２に記載の処理装置。
【請求項１４】
分類スコアに基づいて第一の画像データから第一の画像データよりも高解像度の第二の画像データを生成する処理手段を用いる画像処理方法であって、
前記第一の画像データを取得するステップと、
前記分類スコアを取得するステップと、
前記第一の画像データと前記分類スコアとを前記処理手段に入力するステップと、
を備え、
前記処理手段を構成するパラメータは、学習用画像データと前記学習用画像データの分類を識別する識別子とを含む組の複数のデータで構成される学習用データに基づいて決定され、
前記分類スコアは、前記第一の画像データが前記識別子の各々である確率を示すことを特徴とする画像処理方法。
【請求項１５】
分類スコアに基づいて第一の画像データから第一の画像データよりも高解像度の第二の画像データを生成する処理手段を用いる画像処理方法であって、
前記第一の画像データを取得するステップと、
前記分類スコアを取得するステップと、
前記第一の画像データと前記分類スコアとを前記処理手段に入力するステップと、
を備え、
前記処理手段を構成するパラメータは、学習用画像データと学習用の分類スコアとを含む組の複数のデータで構成される学習用データに基づいて決定され、
前記分類スコアは、前記第一の画像データが、画像の分類を識別する識別子の各々である確率を示すことを特徴とする画像処理方法。
【請求項１６】
第一のデータと第二のデータとに基づいて、第三のデータを生成する、ニューラルネットワークによって構成されている処理手段を用いる処理方法であって、
前記第一のデータを取得するステップと、
前記第一のデータよりも空間サイズが小さい前記第二のデータを取得するステップと、
前記第一のデータと前記第二のデータとを前記処理手段に入力するステップと、
前記処理手段が、前記第一のデータを処理した中間データの空間サイズが前記第二のデータの空間サイズと同一となる段階の中間データと、前記第二のデータと、を用いて統合中間データが生成するステップと、
前記処理手段が、前記統合中間データに基づいて前記第三のデータを生成するステップと
を含むことを特徴とする処理方法。
【請求項１７】
コンピュータを請求項１から１０のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１８】
コンピュータを請求項１１から１３のいずれか一項に記載の処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習を用いて画像を高解像度化する画像処理の技術に関する。
【背景技術】
【０００２】
画素数の少ない低解像度画像を画素数の多い高解像度画像へと拡大する際、バイリニア補間などを用いて画像を拡大すると、拡大処理後の画像がぼけてしまう。このような問題を解決する方法として超解像処理が知られている。超解像処理として、学習型の超解像技術が知られている（特許文献１）。以降では、超解像の意味を明確にするため超解像を高解像度化と称する。特許文献１では、画像の種類を一意に識別する「正解ＩＤ」を用いて高解像度化処理を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１４／１６２６９０号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されているように、画像の種類を一意に識別する「正解ＩＤ」が常に取得可能であるとは限らない。例えば、防犯カメラで不審者が映っている画像を高解像度化により鮮明に拡大する際、不審者を識別するような「正解ＩＤ」は取得可能ではない場合が一般的である。むしろ目撃情報として「男性っぽい」、「中年のような気がした」、「ひょっとすると青年かもしれない」など、必ずしも画像の種類を一意に識別できない、あいまいな画像識別情報が得られることが一般的である。特許文献１の技術では、画像の種類を一意に識別する「正解ＩＤ」が得られない場合に、適切に高解像度化処理を行うことができない。
【課題を解決するための手段】
【０００５】
本発明の一態様に係る画像処理装置は、第一の画像データを取得する第一取得手段と、分類スコアを取得する第二取得手段と、前記分類スコアに基づいて前記第一の画像データから前記第一の画像データよりも高解像度の第二の画像データを生成する処理手段と、を備え、前記処理手段を構成するパラメータは、学習用画像データと前記学習用画像データの分類を識別する識別子とを含む組の複数のデータで構成される学習用データに基づいて決定され、前記分類スコアは、前記第一の画像データが前記識別子の各々である確率を示すことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、必ずしも画像の種類を一意に識別できない、あいまいな画像識別情報を用いることによって、高解像度化を適切に行うことが可能となる。
【図面の簡単な説明】
【０００７】
【図１】機械学習の基本フレームワークを示す概念図。
【図２】画像処理装置の構成の一例を示すブロック図。
【図３】画像処理装置の機能ブロック図。
【図４】画像処理装置による処理の流れの一例を示すフローチャート。
【図５】高解像度化ニューラルネットワークの構成の一例を示す図。
【図６】高解像度化ニューラルネットワークのパラメータ最適化を説明するための図。
【図７】判定部ニューラルネットワークの構成の一例を示す図。
【図８】分類スコアを設定するＵＩの例。
【図９】高解像度化ニューラルネットワークの構成を示す図。
【図１０】分類スコアを設定するＵＩの例。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【０００９】
＜＜実施形態１＞＞
＜機械学習の基本フレームワーク＞
図１は、機械学習の基本フレームワークを説明する図である。実施形態を円滑に説明するため、まず、機械学習の基本フレームワークについて説明する。図１を用いて、対応関係が明確ではないデータｘとデータｙとに関して、既知のｘから未知のｙを予測するモデルを構成する方法を説明する。
【００１０】
図１の学習用データ１０１は、ｘとｙとのペアの複数セットで構成されるデータである。図１では、Ｎセットのペアのデータが学習用データ１０１に含まれている。モデル１０２は、ｘとｙとを対応付ける関数ｙ＝ｆ（ｘ；θ）によって表すことができる。機械学習では、関数ｆと、そのパラメータθとが適切に設定されれば、関数ｆにより、ｘからｙが良好に推定できるとする。なお、そもそも因果関係が明確ではないため、関数ｆのパラメータθを極めて多く採ることにより、あらゆる対応関係を実現できる余地を残すことが一般的である。例えば、モデル１０２がニューラルネットワーク（以下、「ＮＮ」という）の一種であるコンボリューショナルニューラルネットワーク（以下、「ＣＮＮ」という）である場合を想定する。この場合、コンボリューション層の数や、その層に対応付けられる係数を増やすことがパラメータθを多く採ることに相当する。画像処理を行うＣＮＮでは、パラメータの数は数万以上であることが普通である。モデルパラメータ最適化１０３は、モデル１０２が既知のｘから未知のｙを良好に予測できるよう、パラメータθを最適化する処理である。典型的な最適化方法としては式（１）で与えられるＬ２ノルムの２乗を目的関数Ｌ（θ）として、この目的関数Ｌ（θ）を最小化するようパラメータθを設定する方法が挙げられる。
【００１１】
【数１】
2020024612.tif 000003
【００１２】
式（１）以外にも様々な目的関数が提案されている。目的関数に応じて機械学習による推定の特性が変わるため、目的関数の設定は重要である。目的関数を最小化するようモデルパラメータの最適化１０３が終了すると、最適なモデルパラメータθとして、θ0が決定される。予測モデル１０４は、この最適なモデルパラメータθ0をモデル１０２に適用したモデルである。予測モデル１０４を用いて、既知のｘから未知のｙを予測することができる。即ち、ｙ＝ｆ（ｘ；θ0）により既知のｘから未知のｙを予測することが可能となる。以上が機械学習の基本フレームワークである。
【００１３】
＜画像処理装置の構成＞
図２は、実施形態１の画像処理装置の構成の一例を示す図である。画像処理装置２００は、ＣＰＵ（Central Processing Unit）２０１、ＲＡＭ（Random Access Memory）２０２、ＨＤＤ（Hard Disk Drive）２０３を備える。また画像処理装置２００は、バス２０４、およびインターフェース２０５を備える。ＣＰＵ２０１は、ＲＡＭ２０２またはＨＤＤ２０３に格納されているコンピュータプログラムおよびデータを用いて各種の処理を実行する。これによりＣＰＵ２０１は、コンピュータ装置全体の動作制御を行うと共に、上述した機械学習に関する各処理を実行または制御する。またＣＰＵ２０１は、その処理の一部をバス２０４に接続された不図示のＧＰＵ（Graphics Processing Unit）に担わせてもよい。
【００１４】
ＲＡＭ２０２は、ＨＤＤ２０３からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。更にＲＡＭ２０２は、ＣＰＵ２０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２０２は、各種のエリアを適宜提供することができる。ＨＤＤ２０３は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。ＨＤＤ２０３には、ＯＳ（オペレーティングシステム）、ならびに、上述した機械学習に関する各処理をＣＰＵ２０１に実行させるためのコンピュータプログラムおよびデータが保存されている。ＨＤＤ２０３に保存されているデータには、処理対象となる画像または動画像のデータが含まれている。ＨＤＤ２０３に保存されているコンピュータプログラムおよびデータは、ＣＰＵ２０１による制御に従って適宜ＲＡＭ２０２にロードされ、ＣＰＵ２０１による処理対象となる。なお、ＨＤＤ２０３としては、ハードディスクドライブ装置以外にもＳＳＤ（Solid State Drive）、フラッシュメモリ、ＵＳＢ（Universal Serial Bus）メモリなどのメモリ装置でもよい。さらには、インターフェース２０５を介して接続されたネットワーク２０８上に存在する不図示の記憶装置を仮想的にＨＤＤ２０３としてもよい。
【００１５】
ＣＰＵ２０１、ＲＡＭ２０２、ＨＤＤ２０３、およびインターフェース２０５は、何れもバス２０４に接続されている。インターフェース２０５には、入力装置２０６、出力装置２０７、ネットワーク２０８、及びバス２０４が接続されている。入力装置２０６は、キーボード、マウス、タッチパネル、マイク、カメラ、またはジャイロセンサーなどにより構成されており、画像処理装置２００に対し、設定の変更や処理の開始を各種の様式で指示することができる。出力装置２０７は、ディスプレイ、プロジェクタ、またはプリンタなどにより構成されており、画像処理装置２００による処理結果を画像および文字などで表示、投影、および印刷することができる。なお、入力装置２０６および出力装置２０７は、タブレット端末およびスマートフォンのようにタッチパネルディスプレイ等を用いることにより一体化していてもよい。ネットワーク２０８には、複数の装置が接続されており、ＣＰＵ２０１の命令に応じて画像処理装置２００に情報記憶機能、演算機能、入出力機能などＳａａＳ（Ｓｏｆｔｗａｒｅ  ａｓ  ａ  Ｓｅｒｖｉｃｅ）等の形態により提供することができる。なお、図２に示した構成は、画像処理装置２００に適用可能なコンピュータ装置の構成の一例に過ぎず、他の構成を採用してもよい。
【００１６】
＜機能ブロック図＞
図３は、画像処理装置２００の機能ブロック図の一例を示す図である。画像処理装置２００は、低解像度画像取得部３０１、分類スコア取得部３０２、高解像度処理部３０３、学習用データ取得部３０４、パラメータ最適化部３０５、およびパラメータ保持部３０６を備えている。画像処理装置２００において、ＣＰＵ２０１がＨＤＤ２０３内に格納された制御プログラムを読み込み実行することで、上記各部の機能を実現する。なお、各構成部に相当する専用の処理回路を備えるように画像処理装置２００を構成するようにしてもよい。また、専用の処理回路と制御プログラムとを併せて用いても良い。
【００１７】
低解像度画像取得部３０１は、低解像度画像の画像データ（第一の画像データ）を取得する。低解像度画像取得部３０１は、ネットワーク２０８を通じて画像データを取得してもよいし、ＨＤＤ２０３に格納されている画像データを取得してもよい。また、取得した画像データが所定の解像度に満たない場合には、所定の解像度（低解像度）の画像データとなるように拡大処理を行ってもよい。
【００１８】
分類スコア取得部３０２は、低解像度画像取得部３０１で取得された低解像度画像の画像データに対応する分類スコアを取得する。本実施形態では、予め定められた複数の分類にカテゴライズされた分類を用いる。また、各分類を識別する識別子が用いられる。分類スコアとは、低解像度画像が、各分類を識別する識別子である確率を示すスコア値である。分類スコアの詳細は後述する。
【００１９】
高解像度処理部３０３は、パラメータ保持部３０６で保持されているパラメータを用いて高解像度処理を行う。高解像度処理部３０３は、パラメータ保持部３０６で保持されているパラメータで構成されているＮＮである。低解像度画像の画像データおよび分類スコアが入力されると、高解像度処理部３０３は、低解像度画像よりも解像度が高い高解像度画像の画像データ（第二の画像データ）を生成して出力する。詳細は後述する。
【００２０】
学習用データ取得部３０４は、学習用データを取得する。学習用データは、先に説明したように、学習用画像データであるｘとｙとに加えて、分類スコアｓの組の複数セットである。取得された学習用データは、パラメータ最適化部３０５に送られる。
【００２１】
パラメータ最適化部３０５は、学習用データを用いて高解像度処理部３０３で用いられるパラメータを最適化する。詳細は後述する。パラメータ保持部３０６は、パラメータ最適化部３０５で最適化されたパラメータを保持する。
【００２２】
なお、図３では、単一の画像処理装置２００の構成の例として説明したが、図３に示す各部は、複数の装置において分散され、複数の装置を用いた処理が行われても良い。例えば、低解像度画像取得部３０１、分類スコア取得部３０２、および高解像度処理部３０３が第１の画像処理装置で実装され、学習用データ取得部３０４およびパラメータ最適化部３０５が第２の画像処理装置で実装されてもよい。パラメータ保持部３０６は、パラメータ保持装置に実装されてもよい。そして、これらの第１の画像処理装置、パラメータ保持装置、および第２の画像処理装置がネットワークで接続される画像処理システムを用いても良い。また、例えばパラメータ最適化部３０５および高解像度処理部３０３が、複数の装置（サーバ）によって構成されており、処理の負荷を各サーバで分散する形態でも良い。
【００２３】
＜フローチャート＞
図４は、実施形態１の画像処理装置２００で行われる処理を示すフローチャートである。以下、図３に示す機能ブロック図および図４に示すフローチャートを用いて説明する。図４のフローチャートで示される一連の処理は、ＣＰＵ２０１がＨＤＤ２０３に記憶されているプログラムコードをＲＡＭ２０２に展開し実行することにより行われる。あるいはまた、図４におけるステップの一部または全部の機能をＡＳＩＣまたは電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。
【００２４】
Ｓ４０１においては、パラメータ保持部３０６に学習済パラメータが保持されていればＳ４０２〜Ｓ４０５の高解像度化フェーズに移行し、保持されていなければＳ４０６〜Ｓ４０９の学習フェーズに移行する。なお、Ｓ４０１では、パラメータ保持部３０６に学習用パラメータが保持されているか否か、即ち、学習済みであるか否かで処理が分かれる例を説明したが、これに限られない。既に学習済みである場合であっても、さらなる学習用データを用いて学習を行う場合には、Ｓ４０６に進んで良い。
【００２５】
＜学習フェーズ＞
まず学習フェーズの処理の流れを説明する。Ｓ４０６では学習用データ取得部３０４は、学習用データを取得する。学習用データは、例えば｛低解像度画像ｘi、高解像度画像ｙi、識別子ＩＤi｝からなる組のデータであり、この組のデータが複数含まれているデータである。なお添え字のｉはｉ番目の学習用データ組｛ｘi，ｙi，ＩＤi｝であることを示す。学習用データに用いられる低解像度画像ｘiは、高解像度画像ｙiをダウンサンプリングして生成されてもよい。また、画素数の少ないカメラで撮像した画像を低解像度画像ｘi、同一被写体を画素数の多いカメラで撮像した画像を高解像度画像ｙiとしても良い。あるいは、画素数は同一のカメラでも、広角で撮像した画像の第１被写体領域の画像を低解像度画像ｘi、望遠で撮像した画像のうちの同一の第１被写体領域に対応する画像を高解像度画像ｙiとしても良い。識別子ＩＤは、｛ｘ，ｙ｝が示す学習用画像を識別するデータである。例えばＩＤはスカラー値であって、年齢で識別する形態であれば、子供（ＩＤ＝１）、成人（ＩＤ＝２）、老人（ＩＤ＝３）などと設定することができる。
【００２６】
Ｓ４０７で学習用データ取得部３０４は、Ｓ４０６で得た学習用データのうち、識別子ＩＤを分類スコアｓへと変換する。本実施形態において分類スコアは、画像が、識別子の各々である確率を示す値である。具体的に、ｉ番目の識別子ＩＤiについての分類スコアｓiは、j番目の要素ｓijが式（２）で定義されるベクトルである。
【００２７】
【数２】
2020024612.tif 000004
【００２８】
例えば画像に老人（ＩＤ＝３）の識別子が設定されている場合、対応する分類スコアｓiは、［０  ０  １］のように３番目の要素が１であり、それ以外の要素が０のベクトルとなる。
【００２９】
なお、上記の例では、学習用データであるので、正解である識別子が与えられている識別子が用いられている。例えば、画像に老人（ＩＤ＝３）の識別子が設定されている場合、対応する分類スコアｓiは［０  ０  １］のように３番目の要素が１、即ち、老人である確率が１００％であることを示す分類スコアが用いられることになる。しかしながら、この例に限られるものではない。学習用データにおいても、複数の分類のうちの所定の分類の識別子の確率を示すデータが学習用データとして用いられても良い。例えば、子供である確率が５０％であり、成人である確率が５０％であるような学習用データの分類スコアとして、［０．５  ０．５  ０］のような値が、Ｓ４０７で得られても良い。即ち、分類スコアは、値が「０」でない要素が２つ以上含むものが用いられて良い。
【００３０】
なお、本実施形態では、学習用データには、識別子がスカラー値で設定されている例を説明した。ＮＮであるパラメータ最適化部３０５に入力するデータは、ベクトル表現されているデータであることが求められるので、Ｓ４０７では学習データを変換する処理を行う例を説明した。しかしながら、学習用データに既にベクトル表現されている分類スコアが含まれている場合には、Ｓ４０７の処理はスキップされても良い。
【００３１】
Ｓ４０８でパラメータ最適化部３０５は、学習用データ取得部３０４から入力される学習用データを用いて、高解像度化処理を行う高解像度化ＮＮのパラメータの最適化を行う。高解像度化ＮＮは、数式的には式（３）の関数ｆで定義できる。
ｙ＝ｆ（ｘ，ｓ；θ）    式（３）
【００３２】
式（３）において、ｘは低解像度画像、ｓは分類スコア、θはモデルパラメータ、ｙは関数ｆにより推定された高解像度画像である。パラメータ最適化部３０５は、上記の式（３）におけるモデルパラメータθを最適化する処理を行う。関数ｆはＮＮを用いて実現される。パラメータ最適化部３０５での最適化処理を説明するに先立って、まず、本実施形態の高解像度処理部３０３を構成する高解像度化ＮＮを説明する。
【００３３】
図５は、本実施形態の高解像度化ＮＮのネットワークアーキテクチャの一例を示す図である。図５のＮＮは、Ｕ−ｎｅｔと呼ばれるＵ字形式のＮＮをベースとしている。入力画像５０１の画像データは、入力データである低解像度画像のデータである。入力画像５０１は、低解像度画像を予めバイキュービック補間などにより所望の解像度まで拡大した３２×３２（画素）の１チャンネルからなるモノクロ画像である。なお、ここでは、説明のため、入力画像５０１のサイズを３２×３２（画素）の１チャンネルからなるモノクロ画像であるものとして説明するが、これに限られるものではない。例えば、５１２×５１２（画素）の画像や、１０２４×１０２４(画素)の画像を入力の画像データとしても良い。
【００３４】
入力画像５０１は、ストライデッドコンボリューション(strided convolution)により空間方向に半分に縮小され、その代りチャネル数が６４に増えた中間データＤ１となる。さらに空間サイズを縮小させ、チャネルを増加させる処理を繰り返して中間データＤ２，Ｄ３，Ｄ４を得て、最終的には画像サイズ１×１でチャネル数が１０１４の中間データ５０２となる。中間データ５０２を得るまで様々な処理が行われ、また中間データ５０２から最終的な出力画像５０４の画像データを算出するまでにも多くのコンボリューション等の演算が行われる。それら演算のパラメータを全てひっくるめてモデルパラメータθと呼んでいることに注意されたい。
【００３５】
さて中間データ５０２は、画像サイズ１×１であるため入力画像５０１の局所的な情報を喪失しており、画像全体の特徴あるいは意味を表すデータであると考えられる。そこで本実施形態では、この中間データ５０２に、高解像度化ＮＮへのもう一つの入力データである分類スコア５０３を継ぎ足して、統合中間データを得る。図５では分類スコアが１０要素のベクトルであるものとする。１０要素のベクトルが中間データ５０２に継ぎ足された結果、統合中間データは、画像サイズ１×１でチャネル数が１０２４の中間データとなる。
【００３６】
続いてこの統合中間データは、トランスポーズドコンボリューション(transposed convolution)、あるいはデコンボリューション（Deconvolution）によって、画像サイズが増えチャネル数が減った中間データＵ４となる。なお、中間データＵ４が画像サイズ２×２でチャンネル数が５１２の中間データとなるように、Ｕ−ｎｅｔのトランスポーズドコンボリューション、あるいはデコンボリューションのパラメータが設定されているものとする。中間データＵ４は、中間データＤ４と加算されて、同様の処理により画像サイズが増えチャネル数が減った中間データＵ３となる。このようなバイパス構造はＵ−ＮＥＴの特徴の一つである。同様の処理を繰り返すことで、最終的に出力画像５０４の画像データが出力される。ここでは、出力画像５０４は、入力画像５０１と同様に、画像サイズ３２×３２で１チャンネルからなる画像である。
【００３７】
図５のネットワークアーキテクチャに関して本実施形態の特徴的な構成の一つを述べる。本実施形態では、ＮＮに対して２系統で入力を行っている。２系統入力自体は、一般的に行われるものである。しかしながら、１系統の入力でＮＮの処理が開始され、ＮＮの処理の途中に追加的にもう１系統のデータが入力されることは、ＮＮにおける処理では異例である。一般的には、まとめて入力を与えて、まとめて出力を受け取ることが行われている。
【００３８】
なお、本実施形態のＮＮのアーキテクチャにおいても一般的な処理のように、まとめて入力を与える処理を行うことも可能である。例えば上述した図５の例では、分類スコアの要素は、１０要素である。従って、まとめて入力を与える形態の場合には、この１０要素分のデータを加えた入力データをＮＮに与えれば良い。具体的には、入力画像のチャネル数を１から１１へと変更し、冗長ではあるが各画素に分類スコアを定義すればよい。本実施形態において、一般的な処理をせずに、わざわざ入力データの供給パスを２分することには、次のような利点があるからである。まず、入力データサイズの増加を防げる。図５の例でいうと、入力画像の各画素に分類スコアを定義した場合、入力の要素数は３２×３２×１１＝１１２６４である。それに対し本実施形態の処理を採用した場合、入力の要素数は３２×３２×１＋１０＝１０３４であり、一般的な処理の場合に比べて１０分の１以下である。従って、本実施形態の処理を採用する場合、メモリを有効に使うことが可能となり、この結果、学習速度を速めることができる。例えばミニバッチ学習の際のバッチサイズを大きくとる事ができる。また、本実施形態の処理を採用する場合、パラメータの増大を防ぐことが出来る。ＮＮでは入力のチャネルが増えるとそれに応じてネットワーク全体の中間データ、及びそれを算出するためのパラメータを増やす事が一般的である。そうすることで、増えた入力データを適切に処理する余地を作るのである。単純に考えれば、入力が１０倍なら中間データも１０倍必要であるし、それを算出するためのパラメータも１０倍必要である。チャネル相互相関がある場合はより少なく設定することも可能であるが、何れにせよ中間データ、およびモデルパラメータは増大する。そしてそれらを計算するための計算負荷も当然増加する。これらの問題は分類スコアの要素数が多くなるほど深刻であることは言うまでもない。本実施形態では、すでに意味情報となっている分類スコアをあえて画像の形式に整形するような事をせず、入力画像が意味情報となる段階を待って、中間データ５０２に分類スコア５０３を継ぎ足すことが行われる。
【００３９】
なお、図５では、局所的な情報が欠落し、入力画像が意味情報となっている（即ち、画像全体の特徴を表している）、画像サイズが１×１でチャンネル数が１０２４の中間データに分類スコア５０３を継ぎ足す例を説明した。画像全体の特徴を表している中間データに、各々の識別子の確率を示す分類スコアを継ぎ足すことで、画像全体がどの識別子の特徴を有すべきかの方向付けを行うことができるので、適切な出力画像を得ることができるからである。しかしながら、この例に限られるものではない。例えば、画像を４分割することが可能であり、かつその分割画像の各々に相関がないような場合には、画像サイズが２×２でチャンネル数が５１２の中間データＵ４に分類スコアを継ぎ足す形態でもよい。あるいは、全体をそれほど考慮しなくて良いような画像の場合にも、画像サイズが２×２でチャンネル数が５１２の中間データＵ４に分類スコアを継ぎ足す形態でもよい。これらの形態でも、ある程度の効果が認められ得る。なお、図５において画像サイズが２×２でチャンネル数が５１２の中間データＵ４に分類スコアを継ぎ足す場合には、分類スコアのデータサイズも２×２であり、かつ１０チャンネル（１０要素）のデータ形式で継ぎ足すことになる。この場合、分類スコア５０３のデータを単純に２×２のサイズにコピーして用いれば良い。
【００４０】
なお、図５ではＵ−ｎｅｔを例に挙げて説明したが、これに限られるものではない。局所的な情報を喪失し、画像全体の特徴を表す画像サイズに縮小する処理を行うようなＮＮであればいずれのＮＮを適用してもよい。例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ  ａｒｃｈｉｔｅｃｔｕｒｅであっても良い。このＮＮでは、局所情報を喪失するまでＥｎｃｏｄｅｒ部で空間解像度を下げることが行われる。
【００４１】
また、図５では説明のために、入力画像５０１は、画像サイズが３２×３２の１チャンネルである場合を示し、５１２×５１２（画素）の画像や、１０２４×１０２４(画素)の画像を入力の画像データとしても良いことを説明した。ここで、実際の入力画像の画像サイズが、例えば５１２×５１２（画素）の１チャンネルの画像である場合、その画像（全体画像）を複数の部分画像に分割し、分割した部分画像を入力の画像データとしても良い。即ち、図５の入力画像５０１は、部分画像であっても良い。そして、出力画像として出力された各部分画像を合成して最終の出力画像が得られても良い。なお、各部分画像を合成する際に、所定の画像処理を行い、最終の出力画像が得られても良い。
【００４２】
以上が本実施形態の高解像度処理部３０３である高解像度化ＮＮのアーキテクチャの説明である。次に、説明を戻し、Ｓ４０８においてパラメータ最適化部３０５によって行われる高解像度化ＮＮのパラメータの最適化処理を説明する。
【００４３】
本実施形態では、パラメータの最適化処理に、敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Network）を用いる。敵対的生成ネットワークでは、一般的にＧｅｎｅｒａｔｏｒとＤｉｓｃｒｉｍｉｎａｔｏｒとの２つのネットワークを用いた処理が行われる。Ｇｅｎｅｒａｔｏｒは、Ｄｉｓｃｒｉｍｉｎａｔｏｒに見破られないようにオリジナルに限りなく近い「偽物」を生成するように学習される。Ｄｉｓｃｒｉｍｉｎａｔｏｒは、入力されたものが、Ｇｅｎｅｒａｔｏｒによって生成された「偽物」かオリジナル（「本物」）かを判定し、Ｇｅｎｅｒａｔｏｒによって生成された「偽物」を見破るように学習される。このような２つのネットワークが、いわば互いに切磋琢磨するように学習することで、Ｇｅｎｅｒａｔｏｒの学習精度が高まる。本実施形態では、このようなＧＡＮを用いてパラメータの最適化が行われる。
【００４４】
図６は、パラメータの最適化方法を説明する図である。分かりやすさのため、まず分類スコアを用いない基本的な高解像度化ＮＮの最適化方法を説明する。図６（ａ）は、分類スコアを用いない場合のパラメータの最適化方法を説明する図である。
【００４５】
図６（ａ）では高解像度処理部（Ｇｅｎｅｒａｔｏｒ）の最適化のために追加の判定部（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）を設けている。高解像度処理部の役割は、入力データ（低解像度画像）の高解像度化である。高解像度処理部は、関数的には式（４）として表せる。
【００４６】
【数３】
2020024612.tif 000005
【００４７】
ここで、ｘは学習データから取得した低解像度画像、θは高解像度処理部のモデルパラメータである。
【００４８】
【数４】
2020024612.tif 000006
【００４９】
は、高解像度処理部が生成した推定高解像度画像である。
【００５０】
一方、判定部の役割は入力画像が、高解像度処理部が生成した推定高解像度画像である場合には０（偽），学習データから取得した高解像度画像である場合には１（真）を出力する事である。判定部を関数で表すと式（５）となる。
ｂ＝ｇ（ｙ；φ）      式（５）
【００５１】
ここで、ｂは真偽を示す値、ｙは入力画像（高解像度画像）、φは判定部のモデルパラメータである。当然ながら、学習開始時において高解像度処理部、判定部とも役割通りの処理は行えないことに注意されたい。例えば判定部ｇ（ｙ；φ）の出力ｂなどは０〜１の連続値を取ることが通常である。学習が進むにつれて、出力ｂは、０または１の値に集約される。
【００５２】
このような高解像度処理部と判定部とを有する場合において、図６（ａ）の高解像度処理部の目的関数Ｌf（θ）は、式（６）で表せる。
【００５３】
【数５】
2020024612.tif 000007
【００５４】
式（６）の第一項は、高解像度処理部によって生成された推定高解像度画像と、学習用データから取得した正解の高解像度画像ｙiとの二乗誤差であって、両者を近づける作用がある。式（６）の第二項は、高解像度処理部によって生成された推定高解像度画像を、判定部に入力した際に、真（１）を出力せしめる作用がある。
【００５５】
一方、図６（ａ）の判定部の目的関数Ｌg（φ）は、式（７）で表せる。
【００５６】
【数６】
2020024612.tif 000008
【００５７】
式（７）の第一項は、学習用データから取得した正解の高解像度画像ｙiを判定部に入力した場合に真（１）を出力せしめる作用がある。第二項は、高解像度処理部によって生成された推定高解像度画像を、判定部に入力した際に、偽（０）を出力せしめる作用がある。
【００５８】
このように、判定部は、高解像度処理部の出力を偽と判定するようにパラメータが最適化される。一方、高解像度処理部は、判定部の出力を真とせしめるような画像を生成するようパラメータが最適化される。平たく言えば、判定部は高解像度画像が本物（学習用データ由来）か偽物かを判定し、高解像度処理部はその判定部を騙すように両者のパラメータが最適化される。これが敵対的生成ネットワークと呼ばれる所以である。
【００５９】
以上が、分類スコアを用いない場合の一般的なパラメータ最適化処理の説明である。以上の説明を基礎として、以下に本実施形態における、分類スコアを用いる高解像度化ＮＮの最適化方法を説明する。
【００６０】
図６（ｂ）は、本実施形態において分類スコアを用いたパラメータ最適化処理を説明する図である。本実施形態においては、判定部の役割には、画像の真偽を判定することに加えて、入力画像の分類スコアを推定することが含まれる。この理由は、次の通りである。本実施形態の高解像度処理部では、低解像度画像と分類スコアとを入力として高解像度画像（偽物）を出力することになる。例えば、「花」の分類スコアと低解像度画像とを高解像度処理部に入力して高解像度化処理した画像は、高解像の花の画像となる（「花」であることに方向付けされて高解像度化された画像となる）。つまり、この例では、高解像度処理部は、花と判定されるような高解像化の方法を学習する必要がある。高解像度処理部が花と判定されるような高解像度化の方法を学習するためには、ＧＡＮにおいては、高解像度処理部で生成された画像が花であるかを判定する（見破ることができる）判定部が必要になる。従って、本実施形態において判定部は、画像の真偽を判定することに加えて、入力画像の分類スコアを推定する役割を担うことになる。
【００６１】
本実施形態の図６（ｂ）の判定部を関数で表すと式（８）となる。
【００６２】
【数７】
2020024612.tif 000009
【００６３】
ここで、
【００６４】
【数８】
2020024612.tif 000010
【００６５】
は、入力画像の推定分類スコアである。つまり、上記の「花」の例では、推定分類スコアは、入力画像が花である確率を示す値を含むことになる。もちろん、他の識別子である確率を含むことになる。
【００６６】
一方、本実施形態の高解像度処理部の役割は、入力された低解像度画像を、入力された分類スコアに応じて高解像度化することである。図６（ｂ）の高解像度処理部を関数で表すと式（９）になる。
【００６７】
【数９】
2020024612.tif 000011
【００６８】
ここで、ｓは学習データから取得した分類スコアである。
【００６９】
以上のような高解像度処理部と判定部とを有する場合において、本実施形態の図６（ｂ）の高解像度処理部の目的関数Ｌf（θ）は、式（１０）で表せる。
【００７０】
【数１０】
2020024612.tif 000012
【００７１】
式（１０）の第一項は、高解像度処理部によって生成された推定高解像度画像と、学習用データから取得した正解の高解像度画像ｙiとの二乗誤差であって、両者を近づける作用がある。第二項は、高解像度処理部が分類スコアｓiに基づいて低解像度画像ｘiから生成した推定高解像度画像を判定部に入力した場合に、真（１）であり、かつ推定分類スコア
【００７２】
【数１１】
2020024612.tif 000013
【００７３】
と学習用データの分類スコアｓiとを近づける作用がある。即ち、式（１０）の第二項は、高解像度処理部が分類スコアｓiに基づいて低解像度画像ｘiから生成した推定高解像度画像を判定部に入力した場合に、真（１）であり、かつ分類スコアｓiと判定せしめる作用がある。
【００７４】
一方、本実施形態の図６（ｂ）の判定部の目的関数Ｌg（φ）は、式（１１）で表せる。
【００７５】
【数１２】
2020024612.tif 000014
【００７６】
上式の第一項は、学習用データから取得した正解の高解像度画像ｙiを判定部に入力した場合に真（１）かつ分類スコアｓiと出力せしめる作用がある。第二項のｇbは、判定部ｇの２つの出力
【００７７】
【数１３】
2020024612.tif 000015
【００７８】
のうち真偽を示す値ｂを意味する。式（１１）の第二項は、高解像度処理部によって生成された推定高解像度画像を、判定部に入力した際に、偽（０）を出力せしめる作用がある。
【００７９】
上記の目的関数の設定により、判定部は、画像の真偽を判定する能力に加えて、学習用データから高解像度画像と分類スコアとの関係を学習し、入力される画像から分類スコアを推定する能力を獲得する。なお本実施形態においては、分類スコアの学習に用いられる画像は、学習用データから取得した高解像度画像のみであって、高解像度処理部によって生成された推定高解像度画像を用いていない。学習中においては高解像度処理部によって生成された画像と分類スコアとの対応が確実ではないからである。このため、高解像度処理部と判定部とは、画像の真偽に関しては図６（ａ）と同様に対立関係にあるが、分類スコアに関しては対立関係にはない。
【００８０】
なお高解像度処理部を構成するＮＮの例は、図５で既に説明した。判定部を構成するＮＮとしては、画像を入力して真偽値と分類スコアとを連結したベクトルを出力する適切なＮＮであればよい。例えば図５のＮＮにおいて、中間データ５０２を最終出力とするようなＮＮでもよい。その際の中間データ５０２のサイズは１０１４ではなく１＋分類スコアの要素数となる。判定部を構成するＮＮのパラメータは、高解像度化ＮＮのパラメータと共有しないことは言うまでもない。
【００８１】
図７は、ＥｎｃｏｄｅｒタイプのＮＮの例である。判定部は、図７に示すようなＮＮで構成されて良い。Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  ＧＡＮのＤｉｓｃｒｉｍｉｎａｔｏｒタイプのアーキテクチャを有するＮＮの最終出力を、本来の真偽値に加え、分類スコアも合わせたベクトルで出力するように改良すれば良い。
【００８２】
以上が、Ｓ４０８においてパラメータ最適化部３０５で行われる高解像度化ＮＮのパラメータ最適法である。図４のフローチャートに戻り説明を続ける。Ｓ４０９ではパラメータ最適化部３０５が最適化されたパラメータをパラメータ保持部３０６に保存する。以上でＳ４０６〜Ｓ４０９の学習フェーズが終了し、Ｓ４０２から始まる高解像度化フェーズに移行する。
【００８３】
なお、図６（ｂ）で示す高解像度処理部は、高解像度処理部３０３と同じであっても良いし、別であってもよい。いずれにせよ、パラメータ最適化部３０５では、高解像度処理部３０３で用いられるパラメータが生成され、パラメータ保持部３０６に保持される。高解像度処理部３０３は、このパラメータ保持部３０６で保持されているパラメータを用いてＮＮが構成されことになる。図６（ｂ）で示す判定部は、パラメータ最適化部３０５に含まれるものである。
【００８４】
＜高解像度化フェーズ＞
Ｓ４０２では高解像度処理部３０３は、パラメータ保持部３０６から学習済のパラメータを取得する。学習フェーズにおいて高解像度処理部、判定部の二つのＮＮの学習（パラメータ最適化）を行ったが、高解像度化フェーズにおいて利用するのは高解像度化ＮＮのみであるため高解像度化ＮＮのパラメータのみ取得する。
【００８５】
Ｓ４０３では、低解像度画像取得部３０１が、ＨＤＤ２０３から低解像度画像データを取得する。
【００８６】
Ｓ４０４では、分類スコア取得部３０２が、ＨＤＤ２０３から分類スコアを取得する。或いはインタラクティブに表示キーボード等の入力装置２０６から分類スコアを取得しても良い。
【００８７】
図８は、分類スコアをインタラクティブに取得する際に用いられるＵＩの一例を示す図である。インタラクティブに分類スコアを取得する際には、ディスプレイなどの出力装置２０７に図８のようなＵＩを表示させることができる。図８には、分類スコア設定部８０１および画像表示領域８０２を含む。画像表示領域８０２は、分類スコア設定部８０１で設定された分類スコアを用いて高解像度化処理した画像を表示するための領域である。なお、Ｓ４０４で取得される分類スコアは、［０  ０  １］のようにどれかが「１」で他すべてが「０」でなくともよい。図８に例示した設定のように、分類スコアは、［０．２  ０．１  ０．７］のようにあいまいな情報であってよい。すなわち、本実施形態では、あいまいな画像識別情報を用いた高解像度化を行うことができる。
【００８８】
Ｓ４０５では、高解像度処理部３０３が、高解像度化処理を行う。具体的には図５に示す高解像度化ＮＮに、低解像度画像をバイキュービック補間等で所望のサイズに拡大した入力画像５０１と、分類スコア５０３とが入力され、高解像度化処理された出力画像５０４が得られる。
【００８９】
以上のステップにより、低解像度画像を分類スコアに応じて鮮明に拡大することができる。図８の例では、分類スコアが［０．２  ０．１  ０．７］であるため、鮮明に拡大した画像が、少し子供の要素はあるがほぼ老人であるように高解像度化処理がなされる。被写体が実際には老人であった場合、画像識別情報なしでの高解像度化をすると、分類スコアは、規定の種類の確率を均等に割り振った値のスコアとなる。図８の例では、分類スコアが［０．３３  ０．３３  ０．３３］での高解像度化になる。このような処理に比べ本実施形態の高解像度化処理の精度は向上する。
【００９０】
以上説明したように、本実施形態では、必ずしも画像の種類を一意に識別できない、あいまいな画像識別情報を利用して適切に高解像度化処理を行うことができる。即ち、本実施形態では、画像の種類を分類する分類スコアを用いて高解像度化が行われる。この分類スコアは、画像が、画像の種類を分類する識別子の各々である確率を示すスコアである。分類スコアを用いることで、必ずしも正解でないような、あいまいな情報であっても、画像処理装置において高解像度化処理が行われる場合の高解像度化の方向性を付与することができる。従って、画像識別情報（分類スコア）が平均的に正しい情報であれば、高解像度化の精度の期待値を向上させることができる。
【００９１】
＜＜実施形態２＞＞
本実施形態では分類スコアの概念を拡張する形態を説明する。例えば「鼻から上は子供らしいが、鼻から下は成人の様である」の如く、画像の場所に応じて異なる分類スコアを定義し、それらしく高解像度化を行う形態を説明する。本実施形態は、実施形態１とは、Ｓ４０４、Ｓ４０７、Ｓ４０８が異なる。特別な記述がない場合、他の処理は実施形態１と同じであるものとして説明する。以下、その動作について説明する。
【００９２】
Ｓ４０７では、Ｓ４０６で得た識別子ＩＤを分類スコアｓへと変換する。本実施形態の分類スコアは、画像中の各々の領域（本実施形態では画像を４分割した場合の左上、右上、左下、右下）が、識別子の各々である確率を示す値である。画像中の領域は指標（ｘ，ｙ）で表し、左上が（ｘ＝０，ｙ＝０）右下が（ｘ＝１，ｙ＝１）に対応するものとする。分類スコアｓの値は領域に応じて異なるためｓ（ｘ，ｙ）と表記する。
【００９３】
ｉ番目の識別子ＩＤiについて、画像領域（ｘ，ｙ）の分類スコアｓ（ｘ，ｙ）iはj番目の要素ｓ（ｘ，ｙ）ijが次式で定義されるベクトルである。
【００９４】
【数１４】
2020024612.tif 000016
【００９５】
例えば画像に老人（ＩＤ＝３）の識別子が設定されている場合、対応する分類スコアｓ（ｘ，ｙ）ijは全てのｘ，ｙについて［０  ０  １］のように３番目の要素が「１」であり、それ以外の要素が「０」のベクトルとなる。また、目元が若いが口元が老けているといったように、画像領域に応じて異なる識別子が設定されている場合には、目元に対応する画像領域（ｘ，ｙ）が［０  １  ０］となり、口元に対応する画像領域（ｘ，ｙ）が［０  ０  １］となる。
【００９６】
Ｓ４０８ではパラメータ最適化部３０５が、高解像度化処理を行うＮＮのパラメータの最適化を行う。本実施形態の高解像度化ＮＮのアーキテクチャは、実施形態１で説明した例とは異なる。これは分類スコアが（ｘ，ｙ）の空間次元を有するため、図５において中間データ５０２に分類スコア５０３を継ぎ足すことができないからである。中間データに分類スコア５０３を継ぎ足すことができない理由は、次元が一致しないためである。
【００９７】
図９は、本実施形態の高解像度化ＮＮのネットワークアーキテクチャを説明する図である。図９の大部分は図５と同じであるが、分類スコアを中間データと結合させる場所が異なる。分類スコアの空間解像度は２×２であるから、２×２の空間解像度を有する中間データ９０２に分類スコアｓ（ｘ，ｙ）iを結合させる。図９中で中間データ９０２はサイズ２×２×５０２であるが、連結によって中間データＵ４は２×２×５１２となる。以降の処理は実施形態１と同様である。
【００９８】
Ｓ４０４では分類スコア取得部３０２が、ＨＤＤ２０３から分類スコアを取得する。或いはインタラクティブに表示キーボード等の入力装置２０６から分類スコアを取得しても良い。
【００９９】
図１０は、インタラクティブに分類スコアを取得する際に用いられるＵＩの例を示す図である。インタラクティブに分類スコアを取得する際にはディスプレイなどの出力装置２０７に図１０のようなＵＩを表示させることができる。図１０には、画像領域選択枠１００３、分類スコア設定部１００１、および画像表示領域１００２が含まれる。分類スコア設定部１００１は、画像領域選択枠１００３で選択された画像領域の分類スコアを設定するために用いられる。画像表示領域１００２は、かかる分類スコアで高解像度化処理した画像を表示するための領域である。当然、領域ごとに異なる分類スコアを設定しても良い。
【０１００】
以上のステップにより、画像の領域ごとに異なる分類スコアを設定することができ、かかる領域を所定の分類スコアに応じて鮮明に拡大することができる。例えば犯罪捜査のためのモンタージュ写真作成の要領で、画像の領域ごとに識別情報を設定して、それに応じて鮮明に拡大された画像を得ることができる。識別情報は確実なものでなくとも良いことは言うまでもない。
【０１０１】
なお、実施形態１，２とも学習用データは（低解像度画像ｘi、高解像度画像ｙi、識別子ＩＤi）からなる複数の組とし、Ｓ４０７で識別子を分類スコアに変換した。しかしながら、必要に応じて、最初から学習データとして（低解像度画像ｘi、高解像度画像ｙi、分類スコアｓi）の形式で保持しても構わない。この場合、スカラー値ＩＤiをベクトル値ｓiの形式で保持するためデータ量は増えてしまう。しかし、識別子ＩＤiそのものがベクトルで表現することが適切であるケースにおいては、最初から分類スコアの形式で学習データを保持する事が好適である。そのケースとは例えば子供と成人の中間の少年の場合、学習用分類スコアとして［０．５  ０．５  ０］を設定する場合などである。
【０１０２】
＜＜その他の実施形態＞＞
以上説明した実施形態では、画像データを処理する画像処理装置を例に挙げて説明したが、これに限られない。第一のデータを取得する第一取得部と、第一のデータよりも空間サイズが小さい第二のデータを取得する第二取得部と、処理部と、を備える処理装置でも良い。処理部は、ニューラルネットワークにより構成されており、第一のデータと第二のデータとに基づいて、第三のデータを生成するように構成されている。このような処理装置において、処理部は、第一のデータを処理した中間データの空間サイズが第二のデータの空間サイズと同一となる段階の中間データと、第二のデータと、を用いて統合中間データを生成してよい。そして処理部は、統合中間データに基づいて第三のデータを生成してよい。より好適には、第二のデータは、空間的な情報を有さず、統合中間データは、空間的な情報がなくなった段階の中間データと第二のデータとを用いて生成されるとよい。
【０１０３】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０４】
３０１  低解像度画像取得部
３０２  分類スコア取得部
３０３  高解像度処理部
３０４  学習用データ取得部
３０５  パラメータ最適化部
【図１】
2020024612.tif 000017
【図２】
2020024612.tif 000018
【図３】
2020024612.tif 000019
【図４】
2020024612.tif 000020
【図５】
2020024612.tif 000021
【図６】
2020024612.tif 000022
【図７】
2020024612.tif 000023
【図８】
2020024612.tif 000024
【図９】
2020024612.tif 000025
【図１０】
2020024612.tif 000026