(57)【要約】      （修正有）【課題】解像度の異なる複数枚のＲＡＷ画像から、１枚のＲＡＷ画像を高精度に生成可能な画像処理方法を提供する。【解決手段】第１の解像度を有する第１の画像と第１の解像度よりも高い第２の解像度を有する第２の画像とに基づいて出力画像を生成する画像処理方法であって、第１の画像の画角を変えずに画素数を増やすことにより、第２の解像度を有する第３の画像を生成する第１のステップと、第２の画像と第３の画像とに基づいて出力画像を生成する第２のステップとを有する。出力画像は、第２の画像よりもノイズ量が少なく、第１の画像よりも被写体の高周波成分を多く含む。第１のステップは、第１の画像の画素数を増やすことにより生じる影響を低減する処理を行うステップを含む。【選択図】図３
2020187611.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度を有する第１の画像と該第１の解像度よりも高い第２の解像度を有する第２の画像とに基づいて出力画像を生成する画像処理方法であって、
前記第１の画像の画角を変えずに画素数を増やすことにより、前記第２の解像度を有する第３の画像を生成する第１のステップと、
前記第２の画像と前記第３の画像とに基づいて前記出力画像を生成する第２のステップと、を有し、
前記出力画像は、前記第２の画像よりもノイズ量が少なく、前記第１の画像よりも被写体の高周波成分を多く含み、
前記第１のステップは、前記第１の画像の前記画素数を増やすことにより生じる影響を低減する処理を行うステップを含むことを特徴とする画像処理方法。
【請求項２】
前記第１の画像、前記第２の画像および前記出力画像はそれぞれ、ＲＡＷ画像であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第１のステップは、
前記第１の画像に対してデモザイキングを行ってＲＧＢ画像を取得するステップと、
前記ＲＧＢ画像のカラーチャンネル毎に、前記第１の画像に対する補間処理を行って補間画像を取得するステップと、
前記補間画像に基づいて前記第３の画像を生成するステップと、を含むことを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記第１のステップは、
前記第１の画像を分解してＲＧＧＢ画像を取得するステップと、
前記ＲＧＧＢ画像のカラーチャンネル毎に、前記第１の画像に対する補間処理を行って補間画像を取得するステップと、
前記補間画像に基づいて前記第３の画像を生成するステップと、を含むことを特徴とする請求項１または２に記載の画像処理方法。
【請求項５】
前記補間処理は、最近傍補間、Ｂｉｌｉｎｅａｒ補間、Ｂｉｃｕｂｉｃ補間、および、Ｓｐｌｉｎｅ補間の少なくとも一つであることを特徴とする請求項３または４に記載の画像処理方法。
【請求項６】
前記第１のステップは、畳み込みニューラルネットワークにより前記第１の画像の前記画素数を増やすステップを含むことを特徴とする請求項１または２に記載の画像処理方法。
【請求項７】
前記第１のステップは、前記第１の画像の前記画素数を増やす処理と、前記第１の画像の前記画素数を増やすことにより生じる影響を低減する処理と、を前記畳み込みニューラルネットワークにより同時に行うステップを含むことを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記影響を低減する処理は、偽色、偽構造、ノイズ、および、ぼけの少なくとも一つを低減する処理であることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理方法。
【請求項９】
前記影響を低減する処理は、畳み込みニューラルネットワークを用いた処理であることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理方法。
【請求項１０】
前記第２のステップは、線形関数を用いて前記出力画像を生成するステップを含むことを特徴とする請求項１乃至９のいずれか一項に記載の画像処理方法。
【請求項１１】
前記線形関数は、入力訓練画像および出力訓練画像に基づいて最小二乗的に算出された関数であることを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記第２のステップは、畳み込みニューラルネットワークを用いて前記出力画像を生成することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理方法。
【請求項１３】
第１の解像度を有する第１の画像と該第１の解像度よりも高い第２の解像度を有する第２の画像とに基づいて出力画像を生成する画像処理装置であって、
前記第１の画像の画角を変えずに画素数を増やすことにより、前記第２の解像度を有する第３の画像を生成する第１の生成手段と、
前記第２の画像と前記第３の画像とに基づいて前記出力画像を生成する第２の生成手段と、を有し、
前記出力画像は、前記第２の画像よりもノイズ量が少なく、前記第１の画像よりも被写体の高周波成分を多く含み、
前記第１の生成手段は、前記第１の画像の前記画素数を増やすことにより生じる影響を低減する処理を行うことを特徴とする画像処理装置。
【請求項１４】
第１の解像度を有する第１の画像と該第１の解像度よりも高い第２の解像度を有する第２の画像とに基づいて出力画像を生成する画像処理システムであって、
第１の画像処理装置と、
第２の画像処理装置と、を有し、
前記第２の画像処理装置は、請求項１３に記載の画像処理装置であり、
前記第１の画像処理装置は、前記第２の画像処理装置に対して、前記第１の画像および前記第２の画像に対する処理の要求を送信し、
前記第２の画像処理装置は、前記第１の画像処理装置から受信した前記要求に応じて、前記処理を行うことを特徴とする画像処理システム。
【請求項１５】
第１の解像度を有する第１の画像と該第１の解像度よりも高い第２の解像度を有する第２の画像を取得する撮像部と、
請求項１３に記載の画像処理装置と、を有することを特徴とする撮像装置。
【請求項１６】
請求項１乃至１２のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、解像度の異なる複数枚のＲＡＷ画像から１枚のＲＡＷ画像を生成する画像処理方法に関する。
【背景技術】
【０００２】
非特許文献１には、低解像度画像をＢｉｃｕｂｉｃ補間で引き伸ばした後、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：ＣＮＮ）で処理して高解像度画像へ変換する技術が開示されている。特許文献１には、低解像度センサおよび高解像度センサでそれぞれ取得した低解像度画像および高解像度画像に基づいて高解像度化のための線形関数を算出し、算出した線形関数を用いて低解像度画像から高解像度画像へ変換する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２００３／０８４２０７号
【非特許文献】
【０００４】
【非特許文献１】Ｃｈａｏ  Ｄｏｎｇ、Ｃｈｅｎ  Ｃｈａｎｇｅ  Ｌｏｙ、Ｋａｉｍｉｎｇ  Ｈｅ、Ｘｉａｏｏｕ  Ｔａｎｇ、「Ｉｍａｇｅ  ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ  ｕｓｉｎｇ  ｄｅｅｐ  ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｔｗｏｒｋｓ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、アメリカ合衆国、２０１５、ｐｐ．２９５−３０７
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１に開示された技術では、低解像度画像と高解像度画像との解像度の比（倍率）が大きくなると、低解像度画像から高解像度画像への変換が一意に定まらず、高精度な変換が困難である。また、特許文献１に開示された技術では、画像にノイズが含まれるため、高精度な変換を行う線形関数の算出は一般に難しく、高精度な変換が困難である。加えて、非特許文献１や特許文献１の技術では、ＲＡＷ画像に対応することができない。
【０００６】
そこで本発明は、解像度の異なる複数枚のＲＡＷ画像から、１枚のＲＡＷ画像を高精度に生成可能な画像処理方法、画像処理装置、画像処理システム、撮像装置、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理方法は、第１の解像度を有する第１の画像と該第１の解像度よりも高い第２の解像度を有する第２の画像とに基づいて出力画像を生成する画像処理方法であって、前記第１の画像の画角を変えずに画素数を増やすことにより、前記第２の解像度を有する第３の画像を生成する第１のステップと、前記第２の画像と前記第３の画像とに基づいて前記出力画像を生成する第２のステップとを有し、前記出力画像は、前記第２の画像よりもノイズ量が少なく、前記第１の画像よりも被写体の高周波成分を多く含み、前記第１のステップは、前記第１の画像の前記画素数を増やすことにより生じる影響を低減する処理を行うステップを含む。
【０００８】
本発明の他の側面としての画像処理装置は、第１の解像度を有する第１の画像と該第１の解像度よりも高い第２の解像度を有する第２の画像とに基づいて出力画像を生成する画像処理装置であって、前記第１の画像の画角を変えずに画素数を増やすことにより、前記第２の解像度を有する第３の画像を生成する第１の生成手段と、前記第２の画像と前記第３の画像とに基づいて前記出力画像を生成する第２の生成手段とを有し、前記出力画像は、前記第２の画像よりもノイズ量が少なく、前記第１の画像よりも被写体の高周波成分を多く含み、前記第１の生成手段は、前記第１の画像の前記画素数を増やすことにより生じる影響を低減する処理を行う。
【０００９】
本発明の他の側面としての画像処理システムは、第１の解像度を有する第１の画像と該第１の解像度よりも高い第２の解像度を有する第２の画像とに基づいて出力画像を生成する画像処理システムであって、第１の画像処理装置と第２の画像処理装置とを有し、前記第２の画像処理装置は前記画像処理装置であり、前記第１の画像処理装置は、前記第２の画像処理装置に対して、前記第１の画像および前記第２の画像に対する処理の要求を送信し、前記第２の画像処理装置は、前記第１の画像処理装置から受信した前記要求に応じて、前記処理を行う。
【００１０】
本発明の他の側面としての撮像装置は、第１の解像度を有する第１の画像と該第１の解像度よりも高い第２の解像度を有する第２の画像を取得する画像取得部と、前記画像処理装置とを有する
本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。
【００１１】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１２】
本発明によれば、解像度の異なる複数枚のＲＡＷ画像から、１枚のＲＡＷ画像を高精度に生成可能な画像処理方法、画像処理装置、画像処理システム、撮像装置、および、プログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１における撮像装置の構成図である。
【図２】実施例１における画像処理システムのブロック図である。
【図３】各実施例における画像処理方法のフローチャートである。
【図４】各実施例におけるＲＡＷ画像の引き伸ばし方法（ＲＧＧＢ方式）の説明図である。
【図５】各実施例におけるＲＡＷ画像の引き伸ばし方法（ＲＧＢ方式）の説明図である。
【図６】各実施例におけるＲＡＷ画像のデモザイキング方法の説明図である。
【図７】実施例１における画像処理結果を示す図である。
【図８】実施例１における数値計算結果を示す図である。
【図９】比較例における画像処理結果を示す図である。
【図１０】比較例における数値計算結果を示す図である。
【図１１】実施例２における画像処理システムの構成図である。
【図１２】実施例２における画像処理システムのブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１５】
本実施形態において、ＲＡＷ画像は、単板式カラーセンサで取得された生画像データであり、撮像素子の前面に設置したカラーフィルタアレイに応じた配列の色情報を有する。例えば、カラーフィルタアレイがベイヤ配列を有する場合、ＲＡＷ画像はＲＧＧＢがベイヤ配列をした画像となる。前述の非特許文献１と特許文献１との組み合わせでは、低解像度画像を引き伸ばし、引き伸ばした画像を高解像度画像とともにＣＮＮへ入力することができるが、低解像度のＲＡＷ画像を引き伸ばすと、引き伸ばしによる影響（弊害）が生じる。これは、簡単にはＲＡＷ画像は通常の画像とは異なり、色情報が一部歯抜け（欠損）しているため、引き伸ばす際に歯抜け部分を推定する必要が生じるためである。
【００１６】
以下、各実施例において、互いに異なる解像度を有する複数のＲＡＷ画像に基づいて出力画像（再構成画像）を生成する画像処理方法に関し、ＲＡＷ画像の引き伸ばし方法とそれに伴う影響について説明する。
【実施例１】
【００１７】
まず、図１および図２を参照して、本発明の実施例１における撮像装置および画像処理システムについて説明する。図１は、本実施例における撮像装置１０の構成図である。図２は、本実施例における画像処理システム１００のブロック図である。
【００１８】
図２に示されるように、画像処理システム１００は、学習装置１０１、撮像装置１０、および、ネットワーク１０３を有する。学習装置１０１は、畳み込みニューラルネットワーク（ＣＮＮ）のパラメータ（畳み込みフィルタおよびバイアス）を学習する。学習装置１０１で学習されたＣＮＮのパラメータ情報は、記憶部１１１に記憶される。本実施例において、撮像装置１０は、画像処理部（画像処理装置）２０を有する。画像処理部２０は、画像取得部２１、画像引き伸ばし部２２、弊害除去部２３、および、出力画像生成部２４を有する。このような構成において、画像処理部２０は、複数枚のＲＡＷ画像を取得し、ＲＡＷ画像を引き伸ばす際に発生する影響（弊害）をＣＮＮにより低減（好ましくは除去）し、ＣＮＮ等を利用して出力画像を生成する。
【００１９】
図１に示されるように、撮像装置１０は、例えばデジタル一眼レフカメラであり、カメラ本体（撮像装置本体）１１とカメラ本体１１に着脱可能な交換レンズ（レンズ装置）１２とを備えて構成される。カメラ本体１１は、画像処理部（画像処理装置）２０、撮像素子（撮像部）３１、３２、および、ハーフミラー４１を有する。交換レンズ１２の撮像光学系により形成された光学像（被写体像）の一部は、ハーフミラー４１を透過して、撮像素子３１により受光される。また、交換レンズ１２の撮像光学系により形成された光学像の他の一部は、ハーフミラー４１で反射して、撮像素子３２により受光される。撮像素子３１、３２はそれぞれ、例えばＣＣＤセンサやＣＭＯＳセンサなどであり、撮像光学系により形成された光学像を光電変換して画像データを出力する。
【００２０】
本実施例において、撮像素子３１は、第１の解像度を有する第１の画像（メイン画像：低解像度画像）に相当する第１の画像データを出力する。撮像素子３２は、第１の解像度よりも高い第２の解像度を有する第２の画像（サブ画像：高解像度画像）に相当する第２の画像データを出力する。撮像素子３１、３２から出力された第１の画像データおよび第２の画像データはそれぞれ、画像処理部２０に入力される。画像処理部２０は、後述のように、第１の画像データおよび第２の画像データに基づいて出力画像（再構成画像）を生成する。
【００２１】
図２に示されるように、撮像装置１０は、記憶部５１、記録媒体５２、表示部５３、および、システムコントローラ５４を有する。記憶部５１は、例えば学習装置１０１により、画像の引き伸ばしに伴う影響（弊害）を低減（好ましくは除去）するように学習（訓練）されたパラメータ情報を記憶する。パラメータ情報は、事前に有線または無線のネットワーク１０３を介して学習装置１０１から読み込んで、記憶部５１に記憶されている。記憶されるパラメータ情報は、パラメータの数値そのものでもよいし、符号化された形式でもよい。記録媒体５２は、互いに解像度が異なる複数の撮像画像（ＲＡＷ画像）を記録する。記録媒体５２に記録された画像は、ユーザの指示に従って表示部５３に表示される。システムコントローラ５４は、一連の動作を制御する。また撮像装置１０は、画像を外部へ送信する送信部を備えていてもよい。
【００２２】
なお、撮像装置１０と画像処理部２０とは一体である必要はなく、別体として構成されていてもよい。その場合、例えば撮像装置１０であるデジタル一眼レフカメラで取得した解像度が異なる複数枚のＲＡＷ画像を、画像処理部（画像処理装置）であるＰＣへ送信し、ＰＣ内の演算部で本実施例の画像処理手法を実行することができる。
【００２３】
次に、図３を参照して、本実施例における画像処理方法について説明する。図３は、画像処理方法のフローチャートである。図３の各ステップは、主に、画像処理部２０の画像取得部２１、画像引き伸ばし部２２、弊害除去部２３、または、出力画像生成部２４により実行される。本実施例の画像処理方法は、第１の解像度を有する第１の画像（メイン画像：低解像度画像）と第１の解像度よりも高い第２の解像度を有する第２の画像（サブ画像：高解像度画像）とに基づいて出力画像（再構成画像）を生成する。
【００２４】
まずステップＳ１０１において、画像取得部２１は、解像度の異なる複数枚のＲＡＷ画像（第１の画像、第２の画像）を取得する。本実施例では、解像度の異なる複数枚のＲＡＷ画像を取得する撮像装置１０として、交換レンズ１２を通った光をハーフミラー４１で分岐し、解像度の異なる複数の撮像素子３１、３２で受光するデジタル一眼レフカメラを用いるが、これに限定されるものではない。例えば、広角カメラと望遠カメラなどの複数のカメラを有するスマートフォンを用いてもよい。複数のカメラを用いる場合、カメラの位置ずれから取得した画像に視差ずれが生じるため、位置合わせして用いてもよい。または、視差ずれした画像から対応点の抽出など行い、対応するパッチを切り出して用いてもよい。また、ＲＡＷ画像の色配列については限定されないが、既知の色配列である必要がある。
【００２５】
続いてステップＳ１０２において、画像引き伸ばし部（第１の生成手段）２２は、前述した解像度の異なる複数枚のＲＡＷ画像のうち、最大解像度のＲＡＷ画像（第２の画像）に合わせてその他のＲＡＷ画像（第１の画像）を引き伸ばす。すなわち画像引き伸ばし部２２は、第１の画像の画角を変えずに画素数を増やすことにより、第２の解像度を有する第３の画像を生成する。
【００２６】
ここで、図４および図５を参照して、本実施例における画像の引き伸ばし方法について説明する。図４は、第１の引き伸ばし方法（ＲＧＧＢ方式）の説明図である。図５は、第２の引き伸ばし方法（ＲＧＢ方式）の説明図である。
【００２７】
第１の引き伸ばし方法では、ＲＡＷ画像をＲＧＧＢ画像に分解し、カラーチャンネル毎に最大解像度のＲＡＷ画像とその他のＲＡＷ画像の解像度の比で決まる倍率で補間処理を行い、得られる補間画像から引き伸ばしたＲＡＷ画像を生成する。図４には、分かり易さのため、２倍の引き伸ばし方法を示している。まずステップＳ４１において、第１の画像を分解してＲＧＧＢ画像を取得する。続いてステップＳ４２において、ＲＧＧＢ画像のカラーチャンネル毎に、第１の画像に対する補間処理を行って補間画像（引き伸ばしたＲＧＧＢ画像）を取得する。続いてステップＳ４３において、補間画像に基づいて第３の画像（引き伸ばしたＲＡＷ画像）を生成する。
【００２８】
第２の引き伸ばし方式では、ＲＡＷ画像にデモザイキングを行い、得られるＲＧＢ画像のカラーチャンネル毎に最大解像度のＲＡＷ画像とその他のＲＡＷ画像の解像度の比で決まる倍率で補間処理を行い、得られる補間画像から引き伸ばしたＲＡＷ画像を生成する。図５には、分かり易さのため、２倍の引き伸ばし方法を示している。まずステップＳ５１において、第１の画像に対してデモザイキングを行ってＲＧＢ画像を取得する。続いてステップＳ５２において、ＲＧＢ画像のカラーチャンネル毎に、第１の画像に対する補間処理を行って補間画像（引き伸ばしたＲＧＢ画像）を取得する。続いてステップＳ５３において、補間画像に基づいて第３の画像（引き伸ばしたＲＡＷ画像）を生成する。
【００２９】
なお、本実施例の引き伸ばし方式は、ＲＧＧＢ方式またＲＧＢ方式に限定されるものではない。また、本実施例における補間方法として、例えば、最近傍補間、Ｂｉｌｉｎｅａｒ補間、Ｂｉｃｕｂｉｃ補間、または、Ｓｐｌｉｎｅ補間を用いることができるが、これらに限定されるものではない。また、前述のＣＮＮにより補間を行ってもよい。
【００３０】
以下、ＣＮＮについて簡単に説明する。ＣＮＮとは、学習により生成したフィルタを、入力画像に対して畳み込こみ、学習により生成したバイアスを加算した後、非線形演算することを繰り返し、所望の出力画像へ変換する学習型の画像処理である。学習は、入力訓練画像と出力訓練画像の組からなる訓練画像を大量に用いて行われる。これにより、入出力画像間の非線形な関係を学習することができる。ＣＮＮによる補間であれば、入力訓練画像として補間前の低解像度画像、出力訓練画像として高解像度画像を用意してＣＮＮを学習すればよい。
【００３１】
次に、図６を参照して、ＲＧＢ方式で用いられるデモザイキングについて説明する。図６は、デモザイキング方法の説明図である。デモザイキングとは、ＲＡＷ画像から得られる歯抜けの（欠損した）ＲＧＢ画像の歯抜け部分を補う画像処理である。これは単純な補間でなく、例えばＧ画像を参照してＲ画像の歯抜け部分を補うなど、カラーチャンネル間の関係を考慮することで、色ずれ無く歯抜け部分を補うことができる。図６に示されるように、まずステップＳ６１において、ＲＡＷ画像を分解して歯抜けしたＲＧＢ画像を生成する。続いてステップＳ６２において、デモザイキングにより、歯抜けしたＲＧＢ画像からＲＧＢ画像を生成する。
【００３２】
続いて、図３のステップＳ１０３において、弊害除去部（第１の生成手段）２３は、ステップＳ１０２にて実行した引き伸ばしに伴う弊害（影響）を除去（または低減）する。すなわち弊害除去部２３は、第１の画像の画素数を増やすことにより生じる影響（引き伸ばしに伴う弊害）を低減する処理を行う。
【００３３】
ここで、引き伸ばしに伴う弊害とは、例えばＲＧＧＢ方式ではカラーチャンネル間の関係を考慮せずにＲＧＧＢ画像を引き伸ばすことで生じる色ずれ（偽構造）と、２回の補間に伴うぼけである。２回の補間とは、ＲＧＧＢ画像に対する補間と、補間画像から引き伸ばしたＲＡＷ画像を生成する際の再配列に伴う最近傍補間である。また、ＲＧＢ方式では、その他のＲＡＷ画像に存在するノイズによりデモザイキング精度が低下し、それにより得られるＲＧＢ画像で生じる色づき（偽色）やノイズ増幅である。また、引き伸ばしに伴う弊害を除去するため、色ずれ、ぼけ除去、および、ノイズ除去などを同時に行ってもよい。
【００３４】
なお、弊害除去方法として、平均化フィルタ、ガウシアンフィルタ、または、メディアンフィルタなどの平滑化フィルタを用いてもよい。または、ラプラシアンフィルタまたはアンシャープマスクなどの鮮鋭化フィルタを用いてもよい。また、前述したＣＮＮにより弊害除去を行ってもよい。すなわち、入力訓練画像としてＲＧＧＢ方式で引き伸ばしたＲＡＷ画像、出力訓練画像として引き伸ばしに伴う弊害のないＲＡＷ画像を用意して、ＣＮＮ（のパラメータ）を学習すればよい。
【００３５】
なお本実施例において、ステップＳ１０２とステップＳ１０３とを一度に（同時に）行ってもよい。すなわち、解像度の異なる複数枚のＲＡＷ画像のうち、最大解像度のＲＡＷ画像に合わせてその他のＲＡＷ画像を引き伸ばし、それと同時に引き伸ばしに伴う弊害を除去することができる。例えばＣＮＮにより弊害除去を行う場合、入力訓練画像として低解像度のＲＡＷ画像、出力訓練画像として対応する低ノイズかつ高解像度のＲＡＷ画像を用意してＣＮＮを学習すればよい。
【００３６】
ステップＳ１０２、Ｓ１０３を一度に（同時に）行う場合、画像引き伸ばし部２２および弊害除去部２３はまとめて第１の生成手段として機能する。すなわち第１の生成手段は、第１の画像の画素数を増やす処理と、第１の画像の画素数を増やすことにより生じる影響を低減する処理と、を畳み込みニューラルネットワークにより同時に行う。これにより、比較的処理の重い処理を一つの処理で行うことができる。
【００３７】
続いてステップＳ１０４において、出力画像生成部（第２の生成手段）２４は、最大解像度のＲＡＷ画像（第２の画像）と引き伸ばしに伴う弊害を除去したＲＡＷ画像（第３の画像）とに基づいて出力画像を生成する。出力画像は、第２の画像よりもノイズ量が少なく、第１の画像よりも被写体の高周波成分を多く含むＲＡＷ画像である。すなわち、出力画像は第１の画像よりも鮮鋭な画像である。
【００３８】
出力画像の生成方法として、例えば、学習により生成した線形関数を用いることができる。より具体的には、最大解像度のＲＡＷ画像と引き伸ばしに伴う弊害を除去したＲＡＷ画像とから抽出したパッチと、低ノイズかつ高解像度なＲＡＷ画像から抽出したパッチとを用いて、最小二乗的に線形関数を算出すればよい。また出力画像生成部２４は、ＣＮＮにより出力画像を生成してもよい。すなわち、入力訓練画像として最大解像度のＲＡＷ画像と引き伸ばしに伴う弊害を除去したＲＡＷ画像、出力訓練画像として低ノイズかつ高解像度なＲＡＷ画像を用意してＣＮＮを学習すればよい。
【００３９】
次に、撮像装置１０により取得された低解像度ＲＡＷ画像（メイン画像）と高解像度ＲＡＷ画像（サブ画像）の２枚の画像から、本実施例の画像処理方法により出力画像を生成した場合の数値計算結果について説明する。なお本実施例において、メイン画像を取得するメインセンサとしての撮像素子３１とサブ画像を取得するサブセンサとしての撮像素子３２のセンサピッチはそれぞれ、６μｍと１．２μｍである。すなわち本実施例では、メイン画像を５倍に引き伸ばしサブ画像と同じ解像度とした後、ＣＮＮで引き伸ばしに伴う弊害除去を行う。
【００４０】
このＣＮＮの学習には、学習の出力である弊害除去したメイン訓練画像（正解画像）として、引き伸ばしに伴う弊害を持たない画像を用いる。また、ＲＡＷ画像の引き伸ばしにはＲＧＢ方式を用いる。また、メイン画像とサブ画像には望遠レンズのぼけと光学ローパスフィルタ、画素開口の効果と撮像素子のノイズを劣化要因として加えている。また、メインセンサに比べサブセンサは画素サイズが小さく、取り込む光量が少なくなることを考慮し、メイン画像に比べサブ画像に多くのセンサノイズを加えている。また、メイン画像とサブ画像は、交換レンズ１２の後方にハーフミラー４１またはペリクルミラーなどを設置し、メインセンサとサブセンサへ光路を分岐することで、同軸に画像を取得することができる。また本実施例では、メイン画像とサブ画像からＣＮＮで出力画像を生成する。このＣＮＮの学習には、学習の出力である出力訓練画像（正解画像）として、前述した劣化要因を持たないＲＡＷ画像を用いる。
【００４１】
図７は、本実施例における画像処理結果を示す図である。図７（ａ）はメイン画像、図７（ｂ）はサブ画像、図７（ｃ）は本実施例の画像処理により得られる出力画像、図７（ｄ）は正解画像をそれぞれ示す。また、全ての画像は２５６×２５６画素のモノクロ画像であり、画素値は［０  １］の範囲になるように規格化しているが、分かり易さのためコントラストを強調して示している。また全ての画像は、学習に用いていないテスト画像である。また全ての画像は、ＲＡＷ画像を現像し得られるカラー画像をモノクロに変換して示している。
【００４２】
図８は、本実施例における数値計算結果を示す図であり、メイン画像、サブ画像、および、本実施例の画像処理の結果得られる出力画像の画質を、画質評価指標ＲＭＳＥで表している。ここでＲＭＳＥは、正解画像とその推定との差分の二乗和の平均平方根をとったものであり、ＲＭＳＥが０に近いほど、正解画像と類似していることを表している。図８に示されるように、本実施例による画像処理の結果得られる出力画像は、メイン画像およびサブ画像のそれぞれよりも、ＲＭＳＥの値が０に近い。また出力画像は、メイン画像のぼけとサブ画像のノイズが除去され、正解画像に近い画像になっている。このため出力画像は、メイン画像およびサブ画像のそれぞれよりも定量的かつ定性的に正解画像に近いことがわかる。
【００４３】
次に、図９および図１０を参照して、比較例としての画像処理結果について説明する。ここでは、メイン画像をＲＧＢ方式で５倍に引き伸ばした後、弊害を除去することなくサブ画像とともにＣＮＮで出力画像を生成した場合を説明する。
【００４４】
図９は、比較例における画像処理結果を示す図である。図９には、メイン画像、サブ画像、および、正解画像はいずれも図７と同様であるため省略し、比較例による画像処理の結果得られる出力画像のみを示す。また出力画像は、２５６×２５６画素のモノクロ画像であり、画素値は［０  １］の範囲になるように規格化しているが、分かり易さのためコントラストを強調して示している。
【００４５】
図１０は、比較例における数値計算結果を示す図であり、比較例による画像処理の結果得られる出力画像の画質を、画質評価指標ＲＭＳＥで表している。これにより、比較例による画像処理の結果得られる出力画像の画質は、本実施例による画像処理の結果得られる出力画像の画質より低いことが定量的に分かる。また、定性的にも、比較例による画像処理の結果得られる出力画像は、本実施例による画像処理の結果得られる出力画像よりぼけていることが分かる。これは、ＲＡＷ画像の引き伸ばしに伴う弊害によるものである。
【実施例２】
【００４６】
次に、図１１および図１２を参照して、本発明の実施例２における画像処理システムについて説明する。図１１は、本実施例における画像処理システム１０００の構成図である。図１２は、画像処理システム１０００のブロック図である。
【００４７】
画像処理システム１０００は、撮像装置（第１の画像処理装置）１００１、画像処理装置（第２の画像処理装置）１００２、および、ネットワーク１０１０を有する。撮像装置１００１は、複数のカメラ（撮像素子１００３、１００４）および送信部１００５を備えたスマートフォン（多眼スマートフォン）である。撮像装置１００１は、解像度が異なる複数枚のＲＡＷ画像を取得（撮像）して、送信部１００５により、ネットワーク１０１０を介して画像処理装置１００２へ送信する。画像処理装置１００２は、サーバであり、受信部（画像取得部）１００６、画像引き伸ばし部１００７、弊害除去部１００８、および、出力画像生成部１００９を有する。画像処理装置１００２は、本実施例の画像処理方法を実行する。すなわち画像処理装置１００２は、撮像装置１００１から複数枚のＲＡＷ画像を受信（取得）し、ＲＡＷ画像を引き伸ばす際に発生する影響（弊害）をＣＮＮにより低減（好ましくは除去）し、ＣＮＮ等を利用して出力画像を生成する。また画像処理装置１００２は、画像を表示する表示部、画像を記憶する記憶部、または、画像をスマートフォンなどの外部装置へ送信する送信部などを備えていてもよい。
【００４８】
画像処理装置１００２は、ＣＮＮのパラメータを学習する学習装置を有するが、これに限定されるものではなく、画像処理装置１００２とは別に学習装置を設けてもよい。この場合、画像処理装置１００２は、ネットワークを介して学習装置からＣＮＮのパラメータを取得することができる。
【００４９】
次に、撮像装置１００１により取得した、低解像度ＲＡＷ画像（メイン画像）と高解像度ＲＡＷ画像（サブ画像）の２枚のＲＡＷ画像から、本実施例の画像処理方法により出力画像を生成する方法を説明する。まず、メイン画像をＲＧＧＢ方式で引き伸ばしてサブ画像と同じ解像度とした後、ＣＮＮで引き伸ばしに伴う弊害除去を行う。このＣＮＮの学習は、実施例１と同様である。次に、引き伸ばしに伴う弊害を除去したメイン画像とサブ画像とから線形関数で出力画像を生成する。この線形関数は、入力として引き伸ばしに伴う弊害を除去したメイン画像とサブ画像、出力として実施例１で説明した劣化要因を持たないＲＡＷ画像を用いて、最小二乗的に算出する。
【００５０】
このように本実施例において、撮像装置（第１の画像処理装置）１００１は、ネットワーク１０１０を介し、画像処理装置（第２の画像処理装置）１００２に対して、第１の画像および第２の画像に対する処理（本実施例の画像処理方法の実行）の要求を送信する。画像処理装置１００２は、撮像装置１００１から受信した要求に応じて、本実施例の画像処理方法を実行する。撮像装置１００１は、ネットワーク１０１０を介して、画像処理装置１００２により生成された出力画像を取得することができる。なお本実施例において、第１の画像処理装置は、ユーザＰＣなど、撮像装置１００１とは別に設けられた画像処理装置でもよい。
【００５１】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５２】
各実施例によれば、解像度の異なる複数枚のＲＡＷ画像から、１枚のＲＡＷ画像を高精度に生成可能な画像処理方法、画像処理装置、画像処理システム、撮像装置、および、プログラムを提供することができる。
【００５３】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５４】
２０  画像処理部（画像処理装置）
２２  画像引き伸ばし部（第１の生成手段）
２３  弊害除去部（第１の生成手段）
２４  出力画像生成部（第２の生成手段）
【図１】
2020187611.tif 000003
【図２】
2020187611.tif 000004
【図３】
2020187611.tif 000005
【図４】
2020187611.tif 000006
【図５】
2020187611.tif 000007
【図６】
2020187611.tif 000008
【図７】
2020187611.tif 000009
【図８】
2020187611.tif 000010
【図９】
2020187611.tif 000011
【図１０】
2020187611.tif 000012
【図１１】
2020187611.tif 000013
【図１２】
2020187611.tif 000014