(57)【要約】【課題】画像復元に有利な画像処理装置を提供すること。【解決手段】画像処理装置（１０１）は、欠陥領域を有する第１の画像の画素をずらして複数の画素ずれ画像を生成し、前記複数の画素ずれ画像から前記第１の画像よりも低解像度な複数の低解像度画像を生成する第１画像生成手段（２０４）と、前記複数の低解像度画像の前記欠陥領域を復元する画像復元手段（２０５）と、復元した欠陥領域を含む複数の低解像度画像を用いて、該低解像度画像よりも高解像度な第２の画像を生成する第２画像生成手段（２０６）と、を有する。【選択図】  図２
2016029522.tif 000002
【特許請求の範囲】
【請求項１】
欠陥領域を有する第１の画像の画素をずらして複数の画素ずれ画像を生成し、前記複数の画素ずれ画像から前記第１の画像よりも低解像度な複数の低解像度画像を生成する第１画像生成手段と、
前記複数の低解像度画像の前記欠陥領域を復元する画像復元手段と、
復元した欠陥領域を含む複数の低解像度画像を用いて、該低解像度画像よりも高解像度な第２の画像を生成する第２画像生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記第１の画像における前記欠陥領域を特定する特定手段をさらに有し、
前記特定手段は、前記第１の画像から抽出した第１領域と、前記第１領域を含んだ該第１領域の周囲の所定範囲内に存在する第２領域と、の相似度を算出し、算出した相似度に基づき、前記欠陥領域を特定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１領域をｘ、前記第２領域をｙ、前記第１領域のｉ番目の画素値をｘｉ、前記第２領域のｉ番目の画素値をｙｉ、前記第１領域または前記第２領域の全画素数をＮ、任意の定数をｈ、前記相似度をｚ、とすると、以下の式を満たすことを特徴とする請求項２に記載の画像処理装置。
【数１】
2016029522.tif 000006
【請求項４】
前記第１の画像における前記欠陥領域を特定する特定手段をさらに有し、
前記特定手段は、ユーザに指定された領域を前記欠陥領域とすることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第１画像生成手段は、前記第１の画像に対して補間処理を行うことで、異なる任意の画素ずれ量を持つ前記複数の画素ずれ画像を生成し、生成した画素ずれ画像の各々に対してダウンサンプリングを行うことで前記複数の低解像度画像を生成することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像復元手段は、前記低解像度画像から抽出した前記欠陥領域を含む第１領域と、前記第１領域を含んだ該第１領域の周囲の所定範囲内に存在する第２領域と、の相似度を算出し、算出した相似度に基づき、前記第１領域を前記第２領域と置き換えることで、前記欠陥領域を復元することを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第１領域をｘ、前記第２領域をｙ、前記第１領域のｉ番目の画素値をｘｉ、前記第２領域のｉ番目の画素値をｙｉ、前記第１領域または前記第２領域の全画素数をＮ、任意の定数をｈ、前記相似度をｚ、とすると、以下の式を満たすことを特徴とする請求項６に記載の画像処理装置。
【数２】
2016029522.tif 000007
【請求項８】
前記第２画像生成手段は、前記復元した複数の低解像度画像から、画素ずらし超解像により前記第２の画像を生成することを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第２画像生成手段は、前記復元した複数の低解像度画像の画素値を高解像度画像のグリッド上に配置し、補間処理により高解像度画像を生成し、生成した高解像度画像を第２の画像とすることを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記復元した複数の低解像度画像の画素値を高解像度画像のグリッド上に配置する場所は、前記第１画像生成手段において前記複数の低解像度画像を生成した際に設定した画素ずれ量から決定することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記欠陥領域は、前記第１の画像において不要物で隠された不要物領域であり、
前記画像復元手段は、前記複数の低解像度画像から前記不要物領域を除去する処理を行い、前記不要物で隠された背景を復元することを特徴とする請求項１ないし１０のいずれか１項に記載の画像処理装置。
【請求項１２】
第１の画像を取得する撮像手段と、
前記第１の画像の欠陥領域を復元した第２の画像を生成する請求項１ないし１１のいずれか１項に記載の画像処理装置と、を備えることを特徴とする撮像装置。
【請求項１３】
欠陥領域を有する第１の画像の画素をずらして複数の画素ずれ画像を生成し、前記複数の画素ずれ画像から前記第１の画像よりも低解像度な複数の低解像度画像を生成する第１画像生成ステップと、
前記複数の低解像度画像の前記欠陥領域を復元する画像復元ステップと、
復元した欠陥領域を含む複数の低解像度画像を用いて、該低解像度画像よりも高解像度な第２の画像を生成する第２画像生成ステップと、
を有することを特徴とする画像処理方法。
【請求項１４】
請求項１３に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１５】
コンピュータに、請求項１３に記載の画像処理方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に入力画像に含まれる欠陥領域を復元する画像処理装置に関する。
【背景技術】
【０００２】
近年、デジタル画像処理技術において、デジタル画像内の不要物を除去し、不要物に隠された背景（画像）を復元することが求められている。例えば、写真フィルムや写真プリントをデジタル化する際に、媒体上のカビや糸屑などによって生じる欠損領域を除去し、元の背景（画像）を復元することや、原稿に書き加えられた手書き文字を除去し、元の背景（画像）を復元すること等である。このために、従来から様々な試みが行われている。
【０００３】
例えば、特許文献１には、手書きオブジェクトで隠された原稿画像から、手書きオブジェクトを除去した原稿画像を復元することが開示されている。具体的には、原稿画像から手書きオブジェクトを、線分の長さ及び線分の色スペクトルに基づき探索し、手書きオブジェクトを削除した後、削除領域を周囲の画素からのグラデーションにより埋めることで、原稿画像を復元する。
【０００４】
また、特許文献２には、ゴミ等の微小物体が付着した事に起因する、デジタル画像内の欠損領域の修復を、自動的に行うことが開示されている。具体的には、デジタル画像を多重解像度表現し、画像から抽出した小領域の画素値の分散から、修復領域と修復優先度を算出する。次に、修復領域内の修復優先度が高い小領域と、修復領域外の小領域の相似度を、画素値のユークリッド距離に基づき算出し、相似度が高い小領域で修復領域内の小領域を置き換える。これにより、デジタル画像内の欠損領域の修復を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１７２２６０号公報
【特許文献２】特開２００６−２７９４４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術では、不要物で隠される領域が大きい場合、不要物で隠された背景（画像）を復元することができなかった。
【０００７】
例えば、特許文献１では、原稿画像から手書きオブジェクトを削除した領域を、周囲の画素からのグラデーションにより埋めるが、手書きオブジェクトが大きい場合、背景が複雑なテクスチャを持ち、うまく原稿画像が復元できないことが予想される。
【０００８】
また、特許文献２では、デジタル画像を多重解像度表現して得られる、低解像度画像において、修復領域は小さくなるが、高解像度画像においては、修復領域は大きくなり、うまくデジタル画像を復元できないことが予想される。
【０００９】
そこで、本発明は、上記課題を鑑み、画像復元に有利な画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一側面としての画像処理装置は、欠陥領域を有する第１の画像の画素をずらして複数の画素ずれ画像を生成し、前記複数の画素ずれ画像から前記第１の画像よりも低解像度な複数の低解像度画像を生成する第１画像生成手段と、前記複数の低解像度画像の前記欠陥領域を復元する画像復元手段と、復元した欠陥領域を含む複数の低解像度画像を用いて、該低解像度画像よりも高解像度な第２の画像を生成する第２画像生成手段と、を有することを特徴とする。
【００１１】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１２】
本発明によれば、画像復元に有利な画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の画像処理システムの構成例を示したブロック図である。
【図２】本発明の画像処理装置の構成例を示したブロック図である。
【図３】本発明の画像処理方法の手順を示したフローチャートである。
【図４】不要物が存在する領域と存在しない領域の特徴を示した図である。
【図５】不要物が存在する領域の特徴とその一部を拡大して示した図である。
【図６】本発明と従来技術により不要物除去を行った結果を示した図である。
【発明を実施するための形態】
【００１４】
本発明の実施形態による画像処理システムの構成例を、図１に示したブロック図に従い説明する。
【００１５】
画像処理システム１００は、画像処理装置１０１と、画像入力部１０２と、画像出力部１０３と、バス配線１０４により構成されている。
【００１６】
画像処理装置１０１は、画像入力部１０２、画像出力部１０３と、バス配線１０４を介して相互に接続されている。
【００１７】
画像入力部１０２は、例えばデジタルカメラやデジタルイメージスキャナで構成され、該デジタルカメラまたは該デジタルイメージスキャナによって得られた入力画像を画像処理装置１０１に入力する。また、デジタル画像データを保持するＵＳＢメモリやＣＤ−ＲＯＭ等の記憶媒体から、入力画像を読み出すようなＣＤ−ＲＯＭドライブやＵＳＢインターフェース等のインターフェース機器で、画像入力部を構成しても良い。また、これらの画像入力装置を複数兼ね備えた画像入力部を構成しても良い。また、入力画像とは、輝度値の２次元配列データを持つモノクロ画像、もしくはＲＧＢごとに輝度値の２次元配列データを持つカラー画像のことである。なお、カラー画像を表す色空間はＲＧＢに限らず、ＹＣｂＣｒでもＨＳＶでも良い。
【００１８】
画像出力部１０３は、例えば液晶ディスプレイ等の表示機器で構成され、出力画像を画像処理装置１０１から出力する。表示機器は画像処理システムの外部にあってもよく、その場合、画像出力部１０３は画像処理装置１０１から外部の表示機器に出力画像を出力する。また、ＣＤ−ＲＯＭドライブやＵＳＢインターフェース等のインターフェース機器で画像出力部を構成し、出力画像をＵＳＢメモリやＣＤ−ＲＯＭ等の記憶媒体に書き出しても良い。また、ＨＤＤ等の記憶装置で画像出力部を構成し、出力画像を記憶しても良い。また、これらの画像出力装置を複数兼ね備えた画像出力部を構成しても良い。
【００１９】
なお、図１において制御部であるＣＰＵや、一時記憶部であるＲＡＭ、入力装置であるキーボード等は不図示である。
【００２０】
また、図１では、画像入力部１０２と、画像処理装置１０１と、画像出力部１０３と、を別体として記載しているが、本発明はこれに限定されない。本発明の画像処理システム１００は、例えば画像入力部１０２と、画像処理装置１０１と、画像出力部１０３と、を一体とした撮像装置であってもよい。その場合、例えば撮像装置に設けられる撮像手段（撮像素子）が画像入力部１０２（入力画像を取得する手段）として機能し、例えば撮像装置の背面に設けられる表示手段が画像出力部として機能する。
【００２１】
次に、本発明の実施形態による画像処理装置１０１の構成例を、図２に示したブロック図に従い説明する。画像処理装置１０１は、入力画像（第１の画像）に含まれる欠陥領域を復元した出力画像（第２の画像）を生成するように構成される。ここで、欠陥領域とは入力画像において不要物が存在する領域のことである。また、欠陥領域を復元するとは、入力画像から不要物を除去し、不要物で隠された背景を復元することである。
【００２２】
画像処理装置１０１は、画像入力部１０２から送られる入力画像（第１の画像）を取得する取得手段２０１を有する。
【００２３】
入力画像を取得手段２０１から取得すると、画像処理手段２０２で所定の画像処理を施し、出力画像（第２の画像）が生成される。画像処理手段２０２は、不要物領域特定手段２０３、低解像度画像生成手段２０４、不要物除去手段２０５、高解像度画像生成手段２０６を有し、これらの具体的な作用・動作については後述する。
【００２４】
画像処理手段２０２で出力画像が生成されると、該出力画像は出力手段２０７に送られ、出力手段２０７から画像出力部１０３に出力される。
【００２５】
なお、取得手段２０１、画像処理手段２０２、出力手段２０７の制御は、画像処理装置１０１全体を制御する制御手段２０８によって制御される。なお、これらは図１において不図示の制御部によって制御されてもよい。
【００２６】
次に、本発明の画像処理方法を用いて、画像処理装置１０１が、入力画像（第１の画像）から不要物を除去し、不要物で隠された背景を復元した出力画像（第２の画像）を生成する手順を、図３に示したフローチャートに従い説明する。なお、第１の画像と第２の画像のサイズは、同じであるとする。また、画像のサイズとは、画像の縦方向の画素数をｐ、横方向の画素数をｑとして、ｐ×ｑと表され、以降断らずに用いる。また、以下では簡単のため、モノクロ画像への適用を念頭に説明するが、容易にカラー画像へ適用可能である。図３に示したフローチャートは、本実施例では画像処理手段２０２によって実行される。
【００２７】
ステップＳ３０１では、不要物領域特定手段２０３は、第１の画像から不要物が存在する領域を決定する。なお、この領域を以降では不要物領域、または、欠陥領域と呼ぶことにする。また、不要物領域（欠陥領域）以外の領域を正常領域と呼ぶことにする。換言すれば、不要物領域特定手段２０３（特定手段）は、入力画像（第１の画像）における不要物領域（欠陥領域）を特定する。
【００２８】
不要物領域の決定方法としては、特許文献１に記載の線分の長さ及び線分の色スペクトラムに基づく方法でも良いし、特許文献２に記載のコントラストに基づく方法でも良い。本実施形態では、周囲との相似度に基づく方法を用いることとする。具体的には、まず第１の画像から小領域を抽出し、抽出した小領域近傍の所定範囲内の小領域との相似度から、不要物が存在する領域内に抽出した小領域が属するかを判断する。なお、以降では抽出した小領域を比較小領域（第１領域）、抽出した小領域近傍の所定範囲内の小領域（換言すれば、比較小領域を含んだ該比較小領域の周囲の所定範囲内に存在する小領域）を被比較小領域（第２領域）と呼ぶことにする。また、比較小領域は、第１の画像全面を隙間なく覆うように抽出することとする。また、隣り合う比較小領域同士の重複を許して抽出することとする。また、比較小領域と被比較小領域のサイズは同じであるものとする。
【００２９】
また、相似度は数式１に基づき算出した。
【００３０】
【数１】
2016029522.tif 000003
【００３１】
ここで、入力画像（第１の画像）から抽出した比較小領域（第１領域）をｘ、比較小領域を含んだ該比較小領域の周囲の所定範囲内に存在する被比較小領域（第２領域）をｙ、とする。また、比較小領域（第１領域）のｉ番目の画素値をｘｉ、被比較小領域（第２領域）のｉ番目の画素値をｙｉ、とする。また、比較小領域または被比較小領域（各小領域）の全画素数をＮ、任意の定数をｈ、比較小領域（第１領域）と被比較小領域（第２領域）の相似度をｚ、とする。
【００３２】
これより、比較小領域と被比較小領域が全く同一である場合は相似度１を、比較小領域と被比較小領域が類似していない場合は、相似度がゼロに近い値をとることが分かる。
【００３３】
なお、相似度を算出する式は数式１に限らず、例えば比較小領域と被比較小領域との画素値の差分の２乗和でも良い。ただし、その際は得られた値が大きい程、相似度が小さくなる。また、本実施形態では小領域サイズとして８×８画素、比較小領域近傍の所定範囲サイズとして比較小領域を中心とする１６×１６画素を用いた。もちろん、小領域サイズ、所定範囲サイズは上記の値に限らない。また、被比較小領域を探索する所定範囲が、第１の画像の外にはみ出してしまう場合は、はみ出していない範囲内において被比較小領域を探索する。
【００３４】
また、不要物領域のある比較小領域と、所定範囲内の被比較小領域との相似度の一例をプロットすると図４（ａ）のようになる。なお、このグラフは横軸が被比較小領域の番号、縦軸が比較小領域と被比較小領域との相似度を表している。また本実施形態では、被比較小領域は、比較小領域を含む、比較小領域の周囲８１個の小領域である。これより、比較小領域はある被比較小領域とだけ相似度が高く、他の被比較小領域とは相似度が低いことが分かる。ここで、所定範囲内の相似度が高い被比較小領域とは、比較小領域自身なので、不要物領域から抽出した小領域は、周囲の小領域と相似していないと言える。
【００３５】
同様に、正常領域のある比較小領域と、所定範囲内の被比較小領域の相似度をプロットすると図４（ｂ）のようになる。先程と同様に考えると、比較小領域自身以外にも、周囲の小領域と若干相似があることが分かる。
【００３６】
これより、例えば所定範囲内の被比較小領域の相似度をプロットし、２番目に大きい相似度の値が予め定めた閾値以下であれば、比較小領域は不要物領域から抽出された、と判断できる。なお、判断方法は上記の閾値を用いる方法に限らない。
【００３７】
次に、不要物領域から抽出した、と判断された全小領域を包括するように、第１の画像から不要物領域を決定する。また、不要物の取りこぼしを避けるため、膨張処理等により不要物領域を余分に設定しても良い。ここで、膨張処理とは、不要物領域内の画素値を１、正常領域の画素値をゼロとした際、不要物領域の周辺の領域の画素値を１として、不要物領域を広げる処理のことである。また、ユーザに指定された領域を不要物領域（欠陥領域）としても良い。
【００３８】
ステップＳ３０２では、低解像度画像生成手段２０４は、第１の画像から、画素をずらして複数枚の低解像度画像を生成する。以下で説明するように、低解像度画像生成手段２０４（第１画像生成手段）は、不要物領域を有する第１の画像の画素をずらして複数の画素ずれ画像を生成し、該複数の画素ずれ画像から第１の画像よりも低解像度な複数の低解像度画像を生成する。
【００３９】
例えば、第１の画像から、横方向に０．１画素ずらして低解像度画像を生成することを考える。この時は、まず第１の画像から、横方向に０．１画素ずらした画像の画素値を補間処理により求める。なお、補間処理として、リニア補間やバイキュービック補間等、任意の方法を用いて良い。また、第１の画像外の画素値はゼロとする。次に、ずらした第１の画像（画素ずれ画像）をダウンサンプリングして、低解像度画像を生成する。なお、ダウンサンプリングとは、画像から一定間隔で画素値を抽出し、低解像度の画像を生成する方法のことである。これにより、画素をずらした低解像度画像が生成できる。なお、画素をずらす量は任意の量で良い。また、画素をずらす方向は、生成する低解像度画像毎に異なるものとする。本実施形態では、画素をずらす量と方向はランダムに決定した。つまり、本実施例では、第１の画像に対して補間処理を行うことで、異なる任意の画素ずれ量を持つ複数の画素ずれ画像を生成し、生成した画素ずれ画像の各々に対してダウンサンプリングを行うことで複数の低解像度画像を生成している。また、ダウンサンプリングする際のサンプリング間隔は、任意の間隔で良いが、複数枚の低解像度画像を生成する間一定している必要がある。本実施形態では、ダウンサンプリング間隔は５画素とした。また、生成する低解像度画像の枚数は、少なすぎると生成される第２の画像の精度に悪影響が出るため、多くすると良い。ただし、多すぎると第２の画像の生成に時間がかかるため、本実施形態では生成する低解像度画像の枚数は２５０枚とした。もちろん、ダウンサンプリング間隔や、生成する低解像度画像の枚数は、上記の値に限らない。
【００４０】
本ステップにより、低解像度画像における不要物領域のサイズを小さくすることができる。一方、特許文献２に記載の方法のように、第１の画像を多重解像度表現する方法を用いると、不要物領域のサイズを小さくすることができない。この理由を以下で順を追って説明する。まず、第１の画像を多重解像度表現することで、第１の画像より解像度が低く、かつ互いに解像度の異なる複数枚の低解像度画像が生成される。この低解像度画像のうち、一番解像度が低い画像においては、不要物領域のサイズは小さくなる。しかし、解像度が高い画像においては、不要物領域のサイズは大きいままである。なお、一般に不要物除去において、不要物領域のサイズが大きいと、不要物の除去は困難である。よって、既存技術では不要物領域のサイズを小さくすることができず、それを可能とした本ステップが、本発明の新規な点である。また、第１の画像における不要物領域が大きい場合であっても、本ステップにより低解像度画像における不要物領域のサイズを小さくすることで、不要物除去が可能となる。
【００４１】
ステップＳ３０３では、不要物除去手段２０５は、ステップＳ３０２で生成した、複数枚の低解像度画像の各々に対して、不要物を除去する処理を行う。換言すれば、複数の低解像度画像の不要物領域（各低解像度画像の不要物で隠された背景）を復元する処理を行う。この処理としては、特許文献１に記載のグラデーションを利用した方法でも良いし、特許文献２に記載の修復領域外、すなわち本発明における正常領域内の、小領域との相似度を利用した方法でも良い。
【００４２】
本実施形態では、特許文献２と同様に小領域の相似度に基づく方法を用いた。
【００４３】
具体的には、低解像度画像から抽出した不要物領域を含む比較小領域（第１領域）と、比較小領域を含んだ該比較小領域の周囲の所定範囲内に存在する被比較小領域（第２領域）と、の相似度を算出する。そして、抽出した不要物領域を含む比較小領域を、相似度が２番目に大きい被比較小領域と置き換えることで行った。換言すれば、低解像度画像の不要物領域から抽出した比較小領域（第１領域）と、被比較小領域（第２領域）と、の相似度を算出し、算出した相似度に基づき、第１領域を第２領域と置き換えることで、不要物領域（欠陥領域）を復元している。
【００４４】
なお、小領域は低解像度画像における不要物領域を隙間なく覆うように抽出することとする。また、隣り合う小領域同士の重複を許して抽出することとする。また、相似度は数式１に基づき算出した。ここでは、数式１において、低解像度画像から抽出した不要物領域を含む比較小領域（第１領域）をｘ、比較小領域を含んだ該比較小領域の周囲の所定範囲内に存在する被比較小領域（第２領域）をｙ、とした。また、比較小領域（第１領域）のｉ番目の画素値をｘｉ、被比較小領域（第２領域）のｉ番目の画素値をｙｉ、とした。また、比較小領域または被比較小領域（各小領域）の全画素数をＮ、任意の定数をｈ、比較小領域（第１領域）と被比較小領域（第２領域）の相似度をｚ、とした。また、小領域サイズ、所定領域サイズは、ステップＳ３０１と同様の値を用いた。また、所定範囲が低解像度画像からはみ出してしまう場合は、はみ出していない範囲内に存在する小領域のみと相似度を求める。
【００４５】
ここで、低解像度画像における不要物領域から抽出した比較小領域と、その所定範囲内の被比較小領域との相似度の一例をプロットすると図５（ａ）のようになる。ステップＳ３０１と同様に考えると、低解像度画像における不要物領域から抽出した比較小領域は、一見周囲の被比較小領域と全く相似していないと思われる。しかし、グラフの一部（図５（ａ）の点線枠内）を拡大した図５（ｂ）を見ると、周囲の被比較小領域とも若干相似していることが分かる。ここから、相似度が高い被比較小領域を選択し、不要物領域から抽出した比較小領域と置き換えることで、不要物を除去する。換言すれば、不要物除去手段２０５（画像復元手段）は、生成した低解像度画像を用いて、各低解像度画像の不要物を除去する処理を行い、各低解像度画像の不要物で隠された背景（不要物領域）を復元している。
【００４６】
また、低解像度画像における不要物領域から抽出した小領域と、低解像度画像における正常領域内の小領域との相似度を算出し、抽出した小領域を、相似度が２番目に大きい小領域と置き換えても良い。
【００４７】
ステップＳ３０４では、高解像度画像生成手段２０６は、ステップＳ３０３で生成した、不要物を除去し、不要物領域を復元した複数枚の低解像度画像から、画素ずらし超解像により第２の画像を生成する。なお、画素ずらし超解像とは、高解像度画像のグリッド上で、画素をずらして取得した低解像度画像の画素値を配置し、配置した画素値を補間することで、高解像度画像を生成する方法である。換言すれば、高解像度画像生成手段２０６（第２画像生成手段）は、不要物領域を復元した複数の低解像度画像を用いて、該低解像度画像よりも高解像度な第２の画像を生成する。また、画素ずらし量としては、ステップＳ３０２で設定した量を用いる。また、補間処理として、リニア補間やバイキュービック補間等、任意の方法を用いて良いが、ステップＳ３０２において、複数枚の低解像度画像を生成する際に用いた、補間処理方法を用いることが望ましい。本実施例では、不要物領域を復元した複数の低解像度画像の画素値を高解像度画像のグリッド上に配置し、ステップＳ３０２で用いた補間処理により高解像度画像を生成し、生成した高解像度画像を第２の画像とした。なお、不要物領域を復元した複数の低解像度画像の画素値を高解像度画像のグリッド上に配置する場所は、ステップＳ３０２において複数の低解像度画像を生成した際に設定した画素ずれ量から決定した。
【００４８】
以上が、第１の画像から不要物を除去し、不要物で隠された背景を復元した第２の画像を生成する手順である。
【実施例１】
【００４９】
図６に本発明による画像処理方法を用いて、第１の画像から不要物を除去し、不要物で隠された背景を復元した第２の画像を生成した例を示す。
【００５０】
図６（ａ）は第１の画像すなわち入力画像である。なお、図中矢印で示した位置に、不要物として５×５画素の欠陥を導入してある。図６（ｂ）は本発明による画像処理方法を用いて生成した第２の画像、すなわち出力画像である。図６（ｃ）は特許文献２に記載の方法による出力画像である。なお、簡単のため第１の画像を多重解像度表現せず、元の解像度のままで処理している。図６（ｄ）は真の画像である。
【００５１】
なお、全ての画像は各々の画素値の最大値が１、最小値が０となるように規格化している。また、全ての画像のサイズは１９１×１９１画素である。真の画像と本発明による出力画像、特許文献２に記載の方法による出力画像の、不要物領域における誤差を比較したところ、表１のようになった。
【００５２】
【表１】
2016029522.tif 000004
【００５３】
なお、誤差の評価指標として用いたＲＭＳＥ（Ｒｏｏｔ  Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ）は、数式２のように定義され、値がゼロに近いほど２枚の画像が類似していることを表している。
【００５４】
【数２】
2016029522.tif 000005
【００５５】
ここで、ａ１ｉは第１の画像のｉ番目の画素値、ａ２ｉは第２の画像のｉ番目の画素値、Ｎは第１の画像、第２の画像の全画素数である。
【００５６】
これにより、本発明による出力画像の方が、特許文献２に記載の方法による出力画像よりも、真の画像と類似していることが確認できた。
【００５７】
本発明によれば、不要物で隠される領域が大きい場合であっても、背景を復元することができ、画像復元に有利な画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体を提供することができる。
【００５８】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００５９】
上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００６０】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するための手順が記述されたコンピュータプログラム自体も本発明に含まれる。
【００６１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【００６２】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【産業上の利用可能性】
【００６３】
本発明の画像処理装置は、デジタルカメラやデジタルイメージスキャナなどの画像入力装置に好適に適用できる。
【符号の説明】
【００６４】
１０１  画像処理装置
２０４  低解像度画像生成手段
２０５  不要物除去手段
２０６  高解像度画像生成手段
【図１】
2016029522.tif 000008
【図２】
2016029522.tif 000009
【図３】
2016029522.tif 000010
【図４】
2016029522.tif 000011
【図５】
2016029522.tif 000012
【図６】
2016029522.tif 000013