(57)【要約】【課題】分解能の異方性を有する空間フィルタを有限化する際、モアレの発生を防止する。【解決手段】画像処理装置は、画像の分解能に異方性を有する有限の第１空間フィルタを取得する取得部と、第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで第２空間フィルタを算出する算出部と、を備える。【選択図】図３６
2014006667.tif 000002
【特許請求の範囲】
【請求項１】
画像の分解能に異方性を有する有限の第１空間フィルタを取得する取得部と、
前記第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで第２空間フィルタを算出する算出部と、
を備える画像処理装置。
【請求項２】
前記有限フィルタは、全要素で非０の係数を有するハイパスフィルタである請求項１記載の画像処理装置。
【請求項３】
前記算出部は、
前記第２空間フィルタを、中心要素が１であり、該中心要素以外の要素が０であるフィルタから減算することで、第３空間フィルタを算出する請求項１又は２記載の画像処理装置。
【請求項４】
入力される画像に前記第２空間フィルタを用いてフィルタ処理を行い、前記画像から前記フィルタ処理後の画像を減算して補正後の画像を生成するフィルタ処理部をさらに備える請求項１又は２記載の画像処理装置。
【請求項５】
入力される画像に前記第３空間フィルタを用いてフィルタ処理を行い、補正後の画像を生成するフィルタ処理部をさらに備える請求項３記載の画像処理装置。
【請求項６】
画像の分解能に異方性を有する有限の第１空間フィルタを取得し、
前記第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで第２空間フィルタを算出する
処理をコンピュータが実行する情報処理方法。
【請求項７】
画像の分解能に異方性を有する有限の第１空間フィルタを取得し、
前記第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで第２空間フィルタを算出する
処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどで撮影した画像では、周辺部の分解能が劣化していることが多い。レンズ光学系の収差や開口サイズの画角依存性のため、光軸中心部に対して周辺部の分解能が劣化する傾向がある。劣化の要因のひとつとして開口のけられがある。画角が大きいところでは、半径方向の開口がけられ、楕円の開口となりボケが生じる。このため半径方向の分解能が劣化してしまう。
【０００３】
この分解能の劣化に対し、例えば、入射する光の角度によるＰＳＦ（Point Spread Function）の変化に対応するため、画像中の処理対象の位置に応じて異なるフィルタデータを用いてフィルタリングし、画像補正を行う技術がある（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２３４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、分解能は、方向によって異なるという性質を有する。以降では、これを分解能の異方性と呼ぶ。例えば、光軸を中心とした半径方向と、円周方向とでは、分解能が異なる。
【０００６】
しかしながら、従来技術では、画像の位置に応じて異なるフィルタリングを行ってボケを補正するが、この方法では分解能の異方性を改善することはできない。
【０００７】
一方で、デジタルカメラなどのハードウェアにフィルタリングを実装するために、有限の空間フィルタで畳み込んで補正が行われる。これは、フーリエ変換などの周波数領域での演算は処理量が大きいからである。しかし、異方性を有する空間フィルタを有限の要素数に制限することにより、高周波成分の劣化が方向によって異なり、方向によるモアレが発生してしまう。
【０００８】
そこで、開示の技術では、分解能の異方性を有する空間フィルタを有限化する際、モアレの発生を防止することができる画像処理装置、情報処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
開示の一態様における画像処理装置は、画像の分解能に異方性を有する有限の第１空間フィルタを取得する取得部と、前記第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで第２空間フィルタを算出する算出部と、を備える。
【発明の効果】
【００１０】
開示の技術によれば、分解能の異方性を有する空間フィルタを有限化する際、モアレの発生を防止することができる。
【図面の簡単な説明】
【００１１】
【図１】光学系の一例を示す図。
【図２】画像位置に応じた開口の例を示す図。
【図３】画像位置に応じたボケの方向を示す図。
【図４】楔形チャートを用いる場合の分解能を説明するための図。
【図５】楔形チャートで分解能を計測した結果を示す図。
【図６】撮影画像位置による劣化を示す図。
【図７】撮影画像端部の楔形チャートの一例を示す図。
【図８】図７に示す楔形チャートの分解能分析結果を示す図。
【図９】撮影画像中央部の楔形チャートの一例を示す図。
【図１０】図９に示す楔形チャートの分解能分析結果を示す図。
【図１１】ボケ関数をフーリエ変換したときの特性例を示す図。
【図１２】Ｋ（ω）の逆数を示す図。
【図１３】一定値を分母に足した場合の逆フィルタを示す図。
【図１４】高周波ほどゲインを落とす場合の逆フィルタを示す図。
【図１５】楕円のＰＳＦの一例を示す図。
【図１６】楕円のボケ関数をフーリエ変換したときの特性例を示す図。
【図１７】Ｋ（ω，θ）の逆数を示す図。
【図１８】一定値を分母に足した場合の逆フィルタを示す図。
【図１９】高周波ほどゲインを落とす場合の逆フィルタを示す図。
【図２０】分解能の異方性を改善するための逆フィルタの一例を示す図。
【図２１】空間フィルタを生成する装置を含む撮像装置の概略構成の一例を示すブロック図。
【図２２】回転を説明するための図。
【図２３】逆フィルタＫｉｎｖの空間周波数２次元分布の一例を示す図。
【図２４】逆フィルタＫｉｎｖの空間周波数方向による分布の一例を示す図。
【図２５】係数分析部の機能の一例を示すブロック図。
【図２６】ＰＳＦを算出する手順を説明するための図。
【図２７】１２個のチャートを撮影した画像の一例を示す図。
【図２８】空間フィルタテーブルの一例を示す図。
【図２９】空間フィルタの一例を示す図。
【図３０】有限の空間フィルタの強度を示す図。
【図３１】補正画像に発生したモアレの一例を示す図。
【図３２】有限空間フィルタで補正した画像の分解能分析結果を示す図。
【図３３】モアレの発生を抑制して補正した画像の分解能分析結果を示す図。
【図３４】急激な輝度変化を示す図。
【図３５】ハイパスフィルタを通した後の輝度変化を示す図。
【図３６】実施例１における画像処理装置を含む撮像装置の概略構成の一例を示すブロック図。
【図３７】実施例１におけるフィルタ制御部及びフィルタ処理部の概略構成の一例を示すブロック図。
【図３８】有限空間フィルタＦ９の各画素での強度（その１）を示す図。
【図３９】有限空間フィルタＦ９の各画素での強度（その２）を示す図。
【図４０】実施例１における補正処理のイメージを示す図。
【図４１】注目画素の線形補間を説明するための図。
【図４２】画像補正前の分解能の分析結果を示す図。
【図４３】実施例１による画像補正後の分解能の分析結果を示す図。
【図４４】実施例１におけるフィルタ算出処理の一例を示すフローチャート。
【図４５】実施例１におけるフィルタ処理の一例を示すフローチャート。
【図４６】実施例２におけるフィルタ制御部及びフィルタ処理部の概略構成の一例を示すブロック図。
【図４７】有限空間フィルタＦ'９の各画素での強度を示す図。
【図４８】実施例２における補正処理のイメージを示す図。
【図４９】実施例２におけるフィルタ算出処理の一例を示すフローチャート。
【図５０】実施例２におけるフィルタ処理の一例を示すフローチャート。
【図５１】実施例３における画像処理装置の概略構成の一例を示すブロック図。
【図５２】チャート（その１）の例を示す図。
【図５３】チャート（その２）の例を示す図。
【図５４】チャート（その３）の例を示す図。
【発明を実施するための形態】
【００１２】
まず、分解能劣化の一つの要因について、図１〜３を用いて説明する。図１は、光学系の一例を示す図である。図２は、画像位置に応じた開口の例を示す図である。図１に示す光学系を用いる場合、図２に示すように、光軸中心での開口は円形であるが、画角が大きい場合の開口はけられが生じる。図２に示すように、画像位置によって開口は楕円となる。
【００１３】
図３は、画像位置に応じたボケの方向を示す図である。図１に示す光学系を用いる場合、図３に示すように、開口が狭くなると分解能が劣化するので、ボケの方向は半径方向に劣化する傾向がある。
【００１４】
次に、発明者らが行った分解能の分析について説明する。放射状にエッジが分布するシーメンスター（以下、チャートとも呼ぶ）の撮影により、分解能の劣化の傾向が詳細に分析できる。
【００１５】
図４は、楔形チャートを用いる場合の分解能を説明するための図である。図４に示す例では、矢印方向に分解能を計測するには、この方向と垂直な方向に複数データを取得する。図４に示す楔形のシーメンスターを用いる場合、端部から中心部に向かうほど、ライン幅が狭くなり、単位ピクセル当りのライン数は多くなる。中心部は、高周波成分を表す。また、端部から中心部に向かうほど、輝度値の振幅（Intensity）は減少する。
【００１６】
図４に示すように、放射状に広がる、例えば楔形形状の被写体を用いることで、方向による分解能（ＭＴＦ：Modulation Transfer Function）を分析することが可能になる。
【００１７】
図５は、楔形チャートで分解能を計測した結果を示す図である。図５は、図４に示す方向で分解能を計測したグラフを示す。図５に示す縦軸は輝度値の振幅を示し、横軸は１ピクセル当りのライン数（ＬＰ：Line Pair）を示す。この分析では、振幅は、中心部へ向かうほど小さくなり、高周波成分（横軸右方向）になるほど劣化していく様子（ＭＴＦ）を分析できる。
【００１８】
図６は、撮影画像位置による劣化を示す図である。図６に示す例では、シーメンスターを複数枚並べて撮影すると、中央部に対し、端部での分解能の劣化を分析できる。図６に示す例では、Ｄｘ方向は円周方向、Ｄｙ方向は半径方向を示す。Ｄｘ方向とＤｙ方向の定義は、以降の図においても同様である。
【００１９】
図６に示す分析の結果、画像端部を含む周辺部では、単に分解能が劣化しているだけでなく、分解能に異方性があることが分かる。シーメンスターの分解能を比較すると、中央部では、角度依存が少ないが、端部では、角度依存がある。
【００２０】
図７は、撮影画像端部の楔形チャートの一例を示す図である。図７に示す楔形チャートについて、Ｄｘ方向の垂直方向（半径方向）、Ｄｙ方向の垂直方向（円周方向）で分解能を分析する。
【００２１】
図８は、図７に示す楔形チャートの分解能分析結果を示す図である。図８に示すように、半径方向の分解能が円周方向よりも分解能が劣化している。これにより、画像端部では、分解能に異方性があることが分かり、その分解能を定量的に測定することが可能である。
【００２２】
図９は、撮影画像中央部の楔形チャートの一例を示す図である。図７に示す楔形チャートについて、Ｄｘ方向の垂直方向（半径方向）、Ｄｙ方向の垂直方向（円周方向）で分解能を分析する。
【００２３】
図１０は、図９に示す楔形チャートの分解能分析結果を示す図である。図１０に示すように、半径方向の分解能と、円周方向の分解能とは、それほどの違いはない。よって、画像中央部では、分解能の異方性は見られない。
【００２４】
ここで、上記のような分解能劣化を含むボケを補正するには、点広がり関数（ＰＳＦ）を用いて補正する手法がある。ＰＳＦは、例えばボケを表す関数である。以降では、ボケを表す関数をボケ関数とも呼ぶ。
【００２５】
元画像をｘ，ＰＳＦをｋとすると、ボケ画像ｙは、ｘとｋを畳み込みした画像となり、下記で表される。
【００２６】
【数１】
2014006667.tif 000003
実際にはノイズｎが含まれるが、ここでは説明を簡単にするため省略する。
【００２７】
式（１）は、フーリエ変換されると、式（２）になる。
【００２８】
【数２】
2014006667.tif 000004
ω：空間周波数
次に、逆フィルタＫｉｎｖは、単純に求めようとすると、Ｋの逆数で求められる。
【００２９】
【数３】
2014006667.tif 000005
これより、元画像のフーリエ変換Ｘ（ω）は、式（４）で求められ、これを逆フーリエ変換することにより元画像が算出される。
【００３０】
【数４】
2014006667.tif 000006
【００３１】
このようにＰＳＦをフーリエ変換し、逆数による逆フィルタ関数（以下、単に逆フィルタとも呼ぶ）を算出する際に、空間周波数での割り算を行うため、高周波領域で０割が生じてしまう場合がある。０割とは、０又は０に近い値で割り算することである。高周波が０に近いと逆数が大きくなりすぎ、高周波のノイズが強調されてしまう。
【００３２】
図１１は、ボケ関数をフーリエ変換したときの特性例を示す図である。図１１は、Ｋ（ω）を示し、高周波では０に近くなる。
【００３３】
図１２は、Ｋ（ω）の逆数を示す図である。図１２は、式（３）によるＫｉｎｖを示し、例えば高周波では分母が０に近いので高周波でのノイズが拡大されてしまう。
【００３４】
そこで、この高周波でのノイズを低減するために、分母に補正項を挿入して高周波での強調を防ぐ。
【００３５】
【数５】
2014006667.tif 000007
【００３６】
【数６】
2014006667.tif 000008
逆フィルタは、複素数なので、共役複素数を用いて表す。
【００３７】
図１３は、一定値を分母に足した場合の逆フィルタを示す図である。図１４は、高周波ほどゲインを落とす場合の逆フィルタを示す図である。図１３や図１４に示すように、周波数成分ごとに重みを加えてノイズを低減する。
【００３８】
ここで、ＰＳＦが楕円の場合について考える。図１５は、楕円のＰＳＦの一例を示す図である。図１５に示す例では、Ｄｘ方向よりもＤｙ方向の方が、分解能が悪いことを示す。つまり、Ｄｙ方向の方が、Ｄｘ方向よりも分解能が劣化している。
【００３９】
楕円のＰＳＦは、ｋ（ｒ，θ）で表される。ｒは半径を表し、θは方向を表す。例えば、楕円のＰＳＦは、半径ｒと方向θの関数として表される。楕円のＰＳＦをフーリエ変換すると、Ｋ（ω，θ）＝ｆｋ（ｒ，θ）となる。ｆは、フーリエ変換を表す。例えば、フーリエ変換後のＫ（ω，θ）は、空間周波数ωと方向θの関数である。
【００４０】
図１６は、楕円のボケ関数をフーリエ変換したときの特性例を示す図である。図１６は、図１５のボケ関数の用いており、方向θによって特性が異なる。図１６に示すように、Ｄｘ方向と、分解能が悪いＤｙ方向とでは、その特性が異なることが分かる。
【００４１】
図１７は、Ｋ（ω，θ）の逆数を示す図である。図１７は、式（７）によるＫｉｎｖを示し、例えば高周波では分母が０に近いので高周波でのノイズが拡大されてしまう。
【００４２】
【数７】
2014006667.tif 000009
【００４３】
そこで、この高周波でのノイズを低減するために、分母に補正項を挿入して高周波での強調を防ぐ。式（８）は、高周波のノイズを低減する逆フィルタを表す。
【００４４】
【数８】
2014006667.tif 000010
【００４５】
図１８は、一定値を分母に足した場合の逆フィルタを示す図である。図１９は、高周波ほどゲインを落とす場合の逆フィルタを示す図である。図１８や図１９に示すように、周波数成分ごとに重みを加えてノイズを低減する。
【００４６】
楕円のボケ関数（例えばＰＳＦ）の場合でも、補正した重み（λ）により高周波のノイズを低減することはできる。しかしながら、この重みによる補正では、分解能が悪い方向（例えばＤｙ方向）の補正改善を行うことができない。よって、単に重みを加えるだけでは、分解能の異方性を改善することはできない。そこで、方向に応じて適切な重み関数を調整することで、分解能の異方性を改善することができることを発明者らは見出した。
【００４７】
図２０は、分解能の異方性を改善するための逆フィルタの一例を示す図である。図２０に示す例は、高周波ほどゲインを落とすが、分解能が悪いＤｙ方向について改善をより強調する例である。
【００４８】
次に、分解能の異方性を改善するための空間フィルタの生成について説明する。以下に説明する装置は、図２０に示すように、ゲインを落とす方法を用いて説明するが、これに限られない。例えば、図１３などのように、一定値を足す方法でも分解能の異方性を改善することができる。この場合、Ｄｙ方向をＤｘ方向よりも強調して一定値を足すようにすればよい。
【００４９】
＜空間フィルタを生成する装置＞
まず、分解能の異方性を改善するための空間フィルタ生成について説明する。
【００５０】
＜構成＞
図２１は、空間フィルタを生成する装置を含む撮像装置の概略構成の一例を示すブロック図である。図１に示す撮像装置は、光学系１、撮像素子２、ＡＦＥ（Analog Front End）３、画像処理部４、後処理部５、駆動制御装置６、制御装置７、画像メモリ８、表示部９及び係数分析部１０を備える。
【００５１】
光学系１は、放射状の模様を有する被写体Ｋからの光を像面に集光する。例えば、光学系１は、レンズ１１ａ、１１ｂ、１１ｃ、及び絞り１２を含む。レンズ１１ａ、１１ｂ、１１ｃ、及び絞り１２は、被写体Ｋからの光を撮像素子２の撮像面に集光させて被写体の像を結像する。駆動制御装置６は、レンズ１１ａ、１１ｂ、１１ｃの位置や絞り１２の絞り度合い等を制御することができる。なお、光学系１の構成は特定のものに限定されない。
【００５２】
撮像素子２は、光学系１によって集光された被写体Ｋからの光を電子信号（アナログ信号）に変換する。撮像素子２は、例えば、ＣＣＤ／ＣＭＯＳ等の二次元撮像素子を含み、二次元撮像素子は、被写体の像を電子信号（画像信号）に変換してＡＦＥ３へ出力する。
【００５３】
ＡＦＥ３は、撮像画像のアナログ信号をデジタル信号に変換する。ＡＦＥ３は、例えばＡ／Ｄ（アナログデジタル）コンバータ３１及びタイミングジェネレータ３２を含む。タイミングジェネレータ３２は、制御装置７からの制御信号に基づいて、撮像素子２の駆動に用いられるタイミングパルスを生成し、撮像素子２及びＡ／Ｄコンバータ３１へ出力する。
【００５４】
画像処理部４は、デジタル信号の画像を保存して所定の画像処理を行う。画像処理部４は、例えばＡ／Ｄコンバータ３１でデジタル信号に変換された画像（ＲＡＷ画像）を記録するＲＡＷメモリ４１を含む。画像処理部４は、ＲＡＷ画像に対して、所定の処理を施してもよい。所定の処理が施された画像は画像メモリ８に記録される。
【００５５】
後処理部５は、所定の処理を経た画像に対して更に必要な処理を施して表示画像を生成する。後処理部５は、例えば、所定の処理が施された画像を画像メモリ８から読み出して、必要な処理を行って、表示するための画像を生成し、表示部９へ出力する。
【００５６】
画像メモリ８は、所定の処理後の画像を記憶する。表示部９は、例えば、画像を記録するＶＲＡＭ、及びＶＲＡＭの画像を出力するディスプレイを含む。なお、撮像装置は、表示機能を必ずしも備えなくてもよく、表示部９の替わりに、表示用の画像を記録する記録部（例えば、ＶＲＡＭ等）が設けられてもよい。
【００５７】
駆動制御装置６は、光学系１を制御する。制御装置７は、ＡＦＥ３、及び後処理部５を制御する。
【００５８】
係数分析部１０は、チャートが撮影された画像から、各画像位置での各方向の分解能を分析し、分解能の異方性を改善するための適切なフィルタデータを決定する。係数分析部１０の詳細は後述する。
【００５９】
フィルタデータは、例えば、デコンボリューションカーネルのように、画像補正のためのフィルタリングに必要なパラメータの集合とすることができる。デコンボリューションカーネルは、具体的には、ＰＳＦに応じた円形又は楕円形の被写体の像の分布する領域と、領域における各画素の重みを表すデータ（このようなデータをデコンボリューション分布と称する）で表すことができる。
【００６０】
（逆フィルタ）
ここで、実施例で用いる逆フィルタについて説明する。以下では、分解能の異方性を改善する、例えば、分解能の悪い方向の調整を行う逆フィルタの算出手順について説明する。また、逆フィルタは、単にフィルタとも呼ぶ。
【００６１】
式（１）で示すように、元画像ｘとＰＳＦ：ｋ、ボケ画像ｙを考える。この元画像ｘを求めるときに、逆問題として式（９）が最小となれば、元画像に近い画像が得られる。
【００６２】
【数９】
2014006667.tif 000011
通常は、逆問題を解くときに何らかの正則化項が施される。よって、正則化項を加算し、式（１０）から逆問題を解く。
【００６３】
【数１０】
2014006667.tif 000012
【００６４】
今回の問題では、方向性を必要とするから、画像の横（水平）方向（ｘ方向）および縦（垂直）方向（ｙ方向）の微分項を正則化項と追加する。
【００６５】
【数１１】
2014006667.tif 000013
ε：重み係数
ｄｍ，ｄｎ：行列方向の微分フィルタ
【００６６】
【数１２】
2014006667.tif 000014
【００６７】
【数１３】
2014006667.tif 000015
【００６８】
式（１１）が最小となるには、式（１１）をｘで偏微分した結果を０とすればよく、フーリエ変換して、Ｘ（ω）について解くと以下の式（１２）が得られる。
【００６９】
【数１４】
2014006667.tif 000016
Ｘ（ω）、Ｙ（ω）、Ｋ（ω）、Ｄｍ（ω）、Ｄｎ（ω）は、それぞれｘ，ｙ，ｋ，ｄｍ，ｄｎのフーリエ変換を表す。
【００７０】
周波数領域での逆フィルタＫｉｎｖ（ω）は、式（１３）を満たす。
【００７１】
【数１５】
2014006667.tif 000017
【００７２】
よって、逆フィルタＫｉｎｖ（ω）は、次の式（１４）を満たす。
【００７３】
【数１６】
2014006667.tif 000018
【００７４】
式（１４）は、共役複素数を用いると式（１５）式となる。
【００７５】
【数１７】
2014006667.tif 000019
【００７６】
実施例では、分解能の悪い方向を調整するため、回転行列を用いて角度θ方向に微分係数の軸を回転させることが特徴となる。
【００７７】
【数１８】
2014006667.tif 000020
【００７８】
【数１９】
2014006667.tif 000021
回転行列を用いることで、方向性を持たせることができる。
【００７９】
図２２は、回転を説明するための図である。図２２に示す例では、Ｄｎ方向をθ回転させてＤｙ方向にし、Ｄｍ方向をθ回転させてＤｘ方向にする。
【００８０】
ここで、楕円ＰＳＦをｋ（ｒ，θ）、フーリエ変換後の楕円ＰＳＦをＫ（ω，θ）＝ｆｋ（ｒ，θ）とする。
式（１５）に、式（１６）（１７）及びＫ（ω，θ）を代入するとともに、方向による重みγを設定すると、式（１８）が成り立つ。
【００８１】
【数２０】
2014006667.tif 000022
γ：逆フィルタの方向による重み係数
ε：全体の重み係数
【００８２】
この式（１８）により、各実施例で用いる逆フィルタの方向性の重み調整を施すことが可能となる。例えば、係数分析部１０は、分解能の悪い方向（Ｄｙ方向）の重みγを調整する。重み係数γを小さくすることで、分解能の悪い方向を改善することができる。
【００８３】
図２３は、逆フィルタＫｉｎｖの空間周波数２次元分布の一例を示す図である。図２３に示す例では、γ＝１／３００の場合の２次元分布の例である。Ｄｙ方向について、Ｄｘ方向よりも分解能が改善するように重み係数γ、ε（特にγ）が決定される。
【００８４】
図２４は、逆フィルタＫｉｎｖの空間周波数方向による分布の一例を示す図である。図２４は、Ｄｙ方向の重み係数を小さくすることにより、Ｄｙ方向の改善を強調することができる。また、図２４に示すＤｙ'は、γ＝１の場合の分布を示す。これにより、実施例によれば、逆フィルタのフィルタパラメータに乗算する重み係数にも異方性を持たせることができるようになる。
【００８５】
（係数分析部）
次に、係数分析部１０について説明する。係数分析部１０では、分解能の異方性を改善するための空間フィルタを決定する。
【００８６】
図２５は、係数分析部１０の機能の一例を示すブロック図である。図２５に示す係数分析部１０は、分解能分析部１０１及び決定部１０２を有する。係数分析部１０は、チャート画像が撮影された画像から係数分析を行う。以下に説明する例では、例えば左上の位置に撮影された楔形の画像から係数分析を行う。
【００８７】
分解能分析部１０１は、放射状の模様を有する被写体が撮像された画像の分解能劣化を少なくとも２方向で分析する。分析の仕方は、図４や図５などに説明した方法を用いる。
分解能分析部１０１は、横軸に１ピクセルあたりのライン数、縦軸に振幅強度をとるとＭＴＦがわかる。１ピクセルあたりのライン数は、実際の被写体距離位置での単位長さあたりのライン数を用いてもよい。実施例では、楔形で放射状なチャートを用いるため、図５に示すように方向によるＭＴＦを分析できる。
【００８８】
図２６は、ＰＳＦを算出する手順を説明するための図である。図２６に示す例では、まず、決定部１０２は、画像の位置に応じた角度と楕円率を算出する。決定部１０２は、所定角度毎に算出されたＭＴＦにおいて、ある一定閾値（最大振幅の半分程度）で等高線を作ると楕円を求めることができる。
【００８９】
決定部１０２は、求めた楕円の長軸と短軸から楕円率を算出できる。決定部１０２は、画像の位置に基づいて、幾何学的に角度θ１を算出する。また、決定部１０２は、分解能の楕円の長軸、短軸から角度θ１を算出することもできる。長軸、短軸から角度θ１を算出した方が、実際のボケ具合に合わせて角度を算出することができる。ここで、図３で説明したように、光軸中心から同心円を描いたときに半径方向のボケが大きい。
【００９０】
決定部１０２は、例えば縦方向と、半径方向との角度を算出すればよい。なお、光軸中心は、基本的には画像中心だが、レンズの位置ずれにより中心がずれる場合もある。決定部１０２は、この算出された楕円率と角度からＰＳＦを決定する。このときのＰＳＦの楕円は、ＭＴＦの等高線から得られた楕円とは９０度回転した方向になっている。
【００９１】
図２５に戻り、決定部１０２は、画像のボケ関数（ＰＳＦ）に応じたフィルタ（上記逆フィルタ）により補正された画像に対し、この補正後の画像の分解能分析結果に基づいて、この逆フィルタの異方性を有するフィルタデータを決定する。
【００９２】
また、決定部１０２は、画像の微分方向に対し、重み係数（例えばγ）を変えて決定する。例えば、Ｄｘ方向の重み係数は１にし、Ｄｙ方向の重み係数をγとし、このγを調整する。これにより、分解能の異方性を改善できる。
【００９３】
また、決定部１０２は、微分方向に対して、回転（例えばθ）をすることで重み係数を決定する。これにより、分解能の悪い方向を検出でき、フィルタリングを行うことができるようになる。
【００９４】
具体的には、決定部１０２は、例えば重み係数εとγとを調整して、適切な重み係数εとγを決定する。重み係数γは、分解能が悪い方向のフィルタパラメータの重み係数を表す。分解能が悪い方向のフィルタパラメータは、例えば、式（１８）の重み係数γにかかるＤｙ（ω、θ）とそのＤｙ（ω、θ）の共役複素数である。
【００９５】
重み係数を調整して決定するため、決定部１０２は、調整部１２１、画像補正部１２２、係数決定部１２３及びフィルタ決定部１２４を有する。
【００９６】
調整部１２１は、例えば、方向に依存しない重み係数εと、方向に依存するγを調整する。調整部１２１は、重み係数ε、γの初期値を設定し、その初期値を画像補正部１２２に渡す。
【００９７】
画像補正部１２２は、調整部１２１から取得した重み係数により画像補正を行う。画像補正部１２２は、式（１８）に示す逆フィルタを用いて画像をフィルタリングして補正する。画像補正部１２２は、補正後の画像を分解能分析部１０１に渡し、再度分解能の劣化を分析する。
【００９８】
係数決定部１２３は、補正後の画像に対する分解能分析結果に基づいて、２つの方向の分解能劣化の差が小さくなるように重み係数を決定する。係数決定部１２３は、様々な重み係数により補正された画像の分析結果を保持し、例えば、所定の振幅強度において、空間周波数の値の差分が最小となるように、重み係数εとγを決定する（決定処理１）。
【００９９】
また、係数決定部１２３は、所定の空間周波数において、振幅強度の差が最小となるように、重み係数εとγを決定してもよい（決定処理２）。
【０１００】
なお、閾値１、閾値２は、複数設定してもよく、係数決定部１２３は、各閾値での差分の二乗和が最小となるように重み係数を決定してもよい。なお、係数決定部１２３は、所定の差分が予め設定された閾値以下となるように重み係数を決定してもよい。この閾値は、事前の実験等により設定されればよい。
【０１０１】
また、係数決定部１２３は、画像中心部での２方向の分解能の差分二乗和と、画像中心部とは異なる画像周辺部での２方向の分解能の差分二乗和との差が所定値以下となるように重み係数を決定してもよい。また、係数決定部１２３は、画像中心部と画像周辺部との差分二乗和が最小となるように重み係数を決定してもよい。
【０１０２】
これは、分解能の異方性を低減する際、画像中央部の分解能と画像周辺部の分解能を同様にすることで、画像全体の分解能が同様になり、画質の向上が図れるからである。
【０１０３】
係数決定部１２３による最小化の判断は、最小化関数を用いて算出してもよいし、人が判断してもよい。最小化関数としては、例えば、シンプレックスサーチ法や、最急降下法、共役勾配法などがある。
【０１０４】
決定部１０２は、重み係数を変更して調整し、調整後の重み係数で逆フィルタを求め、求めた逆フィルタで画像を補正し、補正後の画像の分解能分析結果に基づいて、最適な重み係数を決定する。最適な重み係数が決定されるまで、重み係数の調整、逆フィルタの算出、フィルタリングによる補正、分解能分析の処理が繰り返される。
【０１０５】
フィルタ決定部１０４は、係数決定部１２３により決定された最適な重み係数を用いる逆フィルタＫｉｎｖを算出し、周波数領域の逆フィルタＫｉｎｖから空間領域の逆フィルタｋｉｎｖを求める。以降では、空間領域の逆フィルタを空間フィルタとも呼ぶ。
【０１０６】
【数２１】
2014006667.tif 000023
【０１０７】
【数２２】
2014006667.tif 000024
求められた逆フィルタｋｉｎｖは、処理対象のタップ（要素）数分が抜き出され、有限化される。
【０１０８】
なお、係数分析部１０は、以上の処理をチャートが存在する画像内の各位置で行う。係数分析部１０は、画像内の各位置で、分解能の異方性を分析し、その異方性を改善するための空間フィルタを決定する。
【０１０９】
以上の処理をすることで、所定の画像位置に対し、ボケを補正しつつ分解能の異方性を改善する空間フィルタを決定することができる。例えば、分解能が他の方向よりも悪い方向を検出し、その悪い方向に対して分解能がより改善するような重み係数を決定することができる。
【０１１０】
係数分析部１０は、空間フィルタの算出を、画像の各位置で行う。図２７は、１２個のチャートを撮影した画像の一例を示す図である。図２７に示す例は一例であり、１２個以外でも、画像を分割した複数の領域にそれぞれチャートが存在すればよい。
【０１１１】
係数分析部１０は、各チャートが存在する各領域でフィルタデータを決定し、空間フィルタを算出する。係数分析部１０は、画像の位置と、空間フィルタとを対応付けたテーブルを作成する。
【０１１２】
図２８は、空間フィルタテーブルの一例を示す図である。図２８に示す空間フィルタテーブルでは、各領域の左上の画素座標と、その領域のチャートにより算出された空間フィルタとを対応付ける。例えば、位置（ｘ１，ｙ１）には、空間フィルタ（ＦＩＬ１）が対応付けられている。
【０１１３】
これにより、係数分析部１０を含む画像処理装置は、分解能の異方性が改善された空間フィルタを決定することができる。分解能の異方性が改善された空間フィルタは、上記例に限られず、例えば、特開２０１２−２３４９８に記載された技術で求められる空間フィルタでもよい。この場合、空間フィルタには、分解能の異方性を持たせるようにする。
【０１１４】
なお、画像処理部４は、例えば、ＤＳＰ（Digital Signal Processor）により構成することができる。この場合、ＲＡＷメモリ４１は、ＤＳＰ内蔵メモリであってもよいし、外部のメモリであってもよい。また、後処理部５、画像メモリ８、係数分析部１０、表示のためのＶＲＡＭ等が画像処理部４とともに一体のＤＳＰで構成されてもよい。また、係数分析部１０は、単体又は他の処理部を含む画像処理装置として構成されてもよい。
【０１１５】
あるいは、ＤＳＰのような特定処理専用プロセッサでなく、ＣＰＵ等の汎用プロセッサが、所定のプログラムを実行することにより画像処理部４や係数分析部１０の機能を実現することもできる。駆動制御装置６、制御装置７及び後処理部５も同様に、少なくとも１台の、特定処理専用プロセッサまたは汎用プロセッサにより構成することができる。
【０１１６】
なお、プロセッサを画像処理部４や係数分析部１０として機能させるプログラムやそれを記録した記録媒体も本発明の実施形態に含まれる。この記録媒体は、一過性でない（non-transitory）ものであり、信号そのもののような一過性の媒体は含まれない。
【０１１７】
＜空間フィルタの有限化による問題＞
次に、空間フィルタの有限化による問題について説明する。異方性を有する空間フィルタを有限化すると、抜き出されたタップ（要素）以外のところで情報が失われてしまう。空間フィルタには異方性があるために、方向により失われる情報が異なる。また、要素を足し合わせた合計も等しくない。
【０１１８】
失われた情報には高周波の情報が含まれているので、有限の空間フィルタで画像を補正する際、補正の方向により補正度合いが異なってしまう。
【０１１９】
図２９は、空間フィルタの一例を示す図である。図２９に示す空間フィルタは、上述した式（２０）に基づく異方性を有する空間フィルタである。図２９では、空間フィルタの要素の値を色で表現している。
【０１２０】
図３０は、有限の空間フィルタの強度を示す図である。図３０に示す例では、例えばタップ数９とすると中心から９タップ分（９×９）の要素を抜き出す。図３０に示す例では、有限の空間フィルタの強度を縦軸に表す。空間フィルタから有限個の要素を抜き出すと、ａ１０１の部分では、情報が失われる。また、この空間フィルタは異方性を有するため、方向により失われる高周波情報が異なる。
【０１２１】
そのため、有限の空間フィルタを用いると、方向による補正度合いが異なる。図３１に示すような９タップの空間フィルタでチャートを補正すると、モアレが発生する。図３１は、補正画像に発生したモアレの一例を示す図である。図３１に示すように、空間フィルタを有限にすることで、モアレが発生してしまう。
【０１２２】
図３２は、有限空間フィルタで補正した画像の分解能分析結果を示す図である。図３２に示すように、方向によって、周波数の劣化の補正度合いが異なる。
【０１２３】
図３３は、モアレの発生を抑制して補正した画像の分解能分析結果を示す図である。図３３に示す例では、モアレの発生を防ぐため、高周波の改善を抑えたため、分解能の異方性が残ってしまう。
【０１２４】
そこで、以下に、空間フィルタを有限化する際に、モアレの発生を防ぐ各実施例について説明する。
【０１２５】
［実施例１］
まず、モアレの発生を防ぐ概要について説明する。図３４は、急激な輝度変化を示す図である。図３４に示すような急激な輝度変化を示す部分（例えば矩形）は、様々な高周波成分の集まりである。
【０１２６】
上述したように、分解能に異方性を有する空間フィルタを有限化することにより、高周波情報の消失が方向によって異なるため、モアレが発生する。つまり、方向によって周波数の劣化の補正度合いが異なるため、モアレが発生する。
【０１２７】
そこで、有限のハイパスフィルタを通すことで、急激に輝度が変化する部分を低減し、方向によって異なる高周波情報の補正度合いの違いを低減する。これにより、方向によって異なる周波数情報の劣化を原因とするモアレの発生を防ぐことができる。
【０１２８】
図３５は、ハイパスフィルタを通した後の輝度変化を示す図である。図３５に示す例は、図３４に示す輝度変化を二回微分した形状を示す。
【０１２９】
なお、有限のハイパスフィルタは、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタであればよい。以下では、有限フィルタとして、有限のハイパスフィルタを用いて説明する。
【０１３０】
次に、実施例１における画像処理装置を含む撮像装置について説明する。実施例１では、分解能の異方性を有する空間フィルタを有限化する際に、有限のハイパスフィルタを畳み込むことでモアレの発生を防ぐ。
【０１３１】
＜構成＞
図３６は、実施例１における画像処理装置を含む撮像装置の概略構成の一例を示すブロック図である。図３６に示す構成で、図２１に示す構成と同様のものは同じ符号を付す。以降では、実施例１における画像処理部１５を主に説明する。
【０１３２】
画像処理部１５は、ＲＡＷメモリ４１、フィルタ制御部１５１、及びフィルタ処理部１５２を備える。フィルタ制御部１５１は、図２８に示す空間フィルタテーブルを保持する。フィルタ制御部１５１は、空間フィルタテーブルの各空間フィルタに対して、有限のハイパスフィルタを畳み込む。フィルタ制御部１５１は、ハイパスフィルタを畳み込んだ空間フィルタをフィルタ処理部１５２に出力する。つまり、フィルタ制御部１５１は、処理対象画像の各位置に対応する各空間フィルタをフィルタ処理部１５２に出力する。
【０１３３】
フィルタ処理部１５２は、フィルタ制御部１５１から取得した有限の空間フィルタを用いて、対応する画像位置でフィルタリングを実行する。これにより、画像の各位置で異なる分解能の異方性を改善し、モアレの発生を防止して画質を向上させることができる。
【０１３４】
（フィルタ制御部及びフィルタ処理部）
次に、実施例１におけるフィルタ制御部１５１及びフィルタ処理部１５２について説明する。図３７は、実施例１におけるフィルタ制御部１５１及びフィルタ処理部１５２の概略構成の一例を示すブロック図である。まず、フィルタ制御部１５１について説明する。フィルタ制御部１５１は、フィルタ記憶部２０１、フィルタ取得部２０２、フィルタ算出部２０３を有する。
【０１３５】
フィルタ記憶部２０１は、第１空間フィルタ２１１と、第２空間フィルタ２１２とを記憶する。各フィルタは、それぞれ異なる記憶領域に記憶されればよい。第１空間フィルタ２１１は、分解能の異方性を有する空間フィルタである。第１空間フィルタ２１１は、例えば、図２８に示す空間フィルタテーブルの各フィルタである。第２空間フィルタ２１２は、フィルタ算出部２０３により算出されたフィルタである。第２空間フィルタは、例えば、第１空間フィルタ２１１にハイパスフィルタが畳み込まれたフィルタである。
【０１３６】
フィルタ取得部２０２は、画像の分解能に異方性を有する有限の空間フィルタを取得する。フィルタ取得部２０２は、例えば、フィルタ記憶部２０１から第１空間フィルタ２１１を取得する。フィルタ取得部２０２は、取得した第１空間フィルタ２１１をフィルタ算出部２０３に出力する。
【０１３７】
フィルタ算出部２０３は、フィルタ取得部２０２から取得した第１空間フィルタ２１１に対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで第２空間フィルタを算出する。フィルタ算出部２０３は、例えば、第１空間フィルタ２１１に有限のハイパスフィルタを畳み込んで第２空間フィルタを算出する。
【０１３８】
フィルタ算出部２０３は、有限のハイパスフィルタを予め保持している。有限なハイパスフィルタは、例えば３×３のフィルタとすると、次の式（２１）又は式（２２）を用いればよい。
【０１３９】
【数２３】
2014006667.tif 000025
【０１４０】
【数２４】
2014006667.tif 000026
【０１４１】
実施例で扱う異方性は、任意の方向の角度に応じたフィルタであるため、式（２２）に示すように、全ての要素に非０の係数がある方が好ましい。
【０１４２】
フィルタ算出部２０３は、ハイパスフィルタを３×３とすると、空間フィルタｋｉｎｖを７×７とすることで、その二つのフィルタを畳み込みして９×９のフィルタを算出する。このように、フィルタ算出部２０３は、ハイパスフィルタと空間フィルタを畳み込みして、所望のタップ数になるように算出する。
【０１４３】
ここで、７×７のフィルタをＦ７と表記し、ハイパスフィルタをＬａｐと表記すると、フィルタ算出部２０３で算出された９×９のフィルタＦ９は、以下の式（２３）で表される。
【０１４４】
【数２５】
2014006667.tif 000027
【０１４５】
図３８は、有限空間フィルタＦ９の各画素での強度（その１）を示す図である。図３８に示す例では、有限空間フィルタの２方向（横方向Ｄｘ、縦方向Ｄｙ）の強度変化を示す。図３９は、有限空間フィルタＦ９の各画素での強度（その２）を示す図である。図３９に示す例では、各画素での強度を色で表す。図３８や図３９に示すように、輝度が大きく変化する部分を余分に補正することがないので、安定した補正が可能となる。
【０１４６】
フィルタ算出部２０３は、上述した式（２３）により算出した第２空間フィルタＦ９をフィルタ記憶部２０１に記憶する。
【０１４７】
なお、フィルタ算出部２０３は、別の装置に設けられ、フィルタ制御部１５１では、別の装置で求められた第２空間フィルタ２１２を記憶するようにしてもよい。
【０１４８】
図３７に戻り、フィルタ処理部１５２について説明する。フィルタ処理部１５２は、畳み込み演算部３０１と、減算部３０２とを有する。畳み込み演算部３０１は、ＲＡＷメモリ４１から画像を取得し、その画像に対して第２空間フィルタＦ９で畳み込んでフィルタ処理を行う。畳み込み演算部３０１は、フィルタ処理後の画像を減算部３０２に出力する。
【０１４９】
減算部３０２は、ＲＡＷメモリ４１から取得した画像から、フィルタ処理後の画像を減算し、補正後の画像を生成する。ここで、補正後の画像をｘ、元の画像をｙとするとき、次の式（２４）が成り立つ。
【０１５０】
【数２６】
2014006667.tif 000028
【０１５１】
図４０は、実施例１における補正処理のイメージを示す図である。図４０に示すように、フィルタ処理部１５２は、元画像に対してデコンボリューションフィルタ処理を行い、元画像からフィルタ処理後の画像を減算することで、補正後の画像を生成する。元画像は、ＲＡＷメモリ４１から取得された画像であり、デコンボリューションフィルタは、有限の空間フィルタＦ９である。
【０１５２】
ここで、フィルタ処理部１５２は、画像の各領域の各画素に対して１つの空間フィルタを用いるのではなく、近傍の空間フィルタを用いて線形補間を行って注目画素の画素値を求めてもよい。
【０１５３】
図４１は、注目画素の線形補間を説明するための図である。図４１に示すように、フィルタ処理部１５２は、例えば近傍４つの空間フィルタで算出した各領域の中心画素を用いて、各画素の距離に応じた線形補間を行うことで、注目画素の画素値を求めてもよい。図４１の例では、フィルタ処理部１５２は、ＦＩＬ１と、ＦＩＬ２と、ＦＩＬ５と、ＦＩＬ６とでそれぞれ求められた各領域の画素値を線形補間することで、注目画素の画素値を算出する。
【０１５４】
また、フィルタ処理部１５２は、注目画素に対して空間フィルタ自体を線形補間で求めてから画素値を算出するようにしてもよい。また、上記例では、近傍４個としたが、これに限られず、他の複数個を用いてもよいし、線形補間として距離を用いたが、その他の手法で補間するようにしてもよい。また、補間は、領域をさらに細分化した小領域毎に行ってもよいし、画素毎に行ってもよい。
【０１５５】
＜効果＞
次に、上述した空間フィルタＦ９を用いる効果について説明する。図４２は、画像補正前の分解能の分析結果を示す図である。Ｄｙ方向の方がＤｘ方向よりも落ち込みが大きいため、分解能が劣化していることが分かる。
【０１５６】
図４３は、実施例１による画像補正後の分解能の分析結果を示す図である。図４３に示す例では、空間フィルタＦ９を用いている。図４３に示すように、Ｄｘ、Ｄｙ方向共に分解能が改善し、さらに、各方向の差が小さくなっている。よって、分解能の異方性を改善することができている。また、急激な輝度変化も低減しているため、モアレの発生を防止することもできる。
【０１５７】
＜動作＞
次に、実施例１における画像処理部１５の動作について説明する。図４４は、実施例１におけるフィルタ算出処理の一例を示すフローチャートである。
【０１５８】
ステップＳ１０１で、フィルタ取得部２０２は、フィルタ記憶部２０１から第１空間フィルタ２１１を取得する。
【０１５９】
ステップＳ１０２で、フィルタ算出部２０３は、第１空間フィルタに、有限ハイパスフィルタを畳み込む。
【０１６０】
ステップＳ１０３で、フィルタ制御部１５１は、フィルタ記憶部２０１に記憶されている第１空間フィルタ２１１を全て処理したか否かを判定する。全て処理してれば（ステップＳ１０３−ＹＥＳ）フィルタ算出処理を終了し、全て処理していなければ（ステップＳ１０３−ＮＯ）ステップＳ１０１に戻る。
【０１６１】
これにより、画像の各位置での第１空間フィルタにハイパスフィルタを畳み込んで、第２空間フィルタを生成することができる。
【０１６２】
図４５は、実施例１におけるフィルタ処理の一例を示すフローチャートである。図４５に示すステップＳ２０１で、畳み込み演算部３０１は、処理対象画像の領域の位置に応じて、第２空間フィルタを決定する。
【０１６３】
ステップＳ２０２で、畳み込み演算部３０１は、決定したフィルタを用いて処理対象画像の領域の画素を求める。このとき、フィルタ処理部１５２は、領域内の注目位置について、上述した線形補間を行ってフィルタ処理後の画素値を求める。
【０１６４】
ステップＳ２０３で、畳み込み演算部３０１は、全画素について補正を行ったか否かを判定する。全画素について処理済みであれば（ステップＳ２０３−ＹＥＳ）ステップＳ２０４に進み、全画素について処理が済んでいなければ（ステップＳ２０３−ＮＯ）ステップＳ２０１に戻る。
【０１６５】
ステップＳ２０４で、減算部３０２は、元画像から、フィルタ処理後の画像を減算し、補正後の画像を生成する。
【０１６６】
これにより、分解能の異方性を改善しつつ、モアレの発生を防止した補正後の画像を生成することができる。
【０１６７】
［実施例２］
次に、実施例２における画像処理装置を含む撮像装置について説明する。実施例２では、実施例１と同様の効果を得るが、フィルタ処理を簡素化する。
【０１６８】
＜構成＞
実施例２における撮像装置は、実施例１における撮像装置と同様であるため、同じ符号を用いて説明する。
【０１６９】
（フィルタ制御部及びフィルタ処理部）
次に、実施例２におけるフィルタ制御部１５１及びフィルタ処理部１５２について説明する。図４６は、実施例２におけるフィルタ制御部１５１及びフィルタ処理部１５２の概略構成の一例を示すブロック図である。まず、フィルタ制御部１５１について説明する。フィルタ制御部１５１は、フィルタ記憶部４０１、フィルタ取得部２０２、フィルタ算出部４０２を有する。
【０１７０】
実施例２におけるフィルタ制御部１５１の構成で、実施例１における構成と同様のものは同じ符号を付す。
【０１７１】
フィルタ記憶部４０１は、フィルタ算出部４０２により算出された第３空間フィルタ４１１を記憶する。
【０１７２】
フィルタ算出部４０２は、実施例１における画像同士の減算処理を不要にする第３空間フィルタ４１１を算出する。以下のように式変形を行うことで、減算処理を不要とすることができる。
【０１７３】
ここで、中心だけ１のフィルタＩ０が用いられる。
【０１７４】
【数２７】
2014006667.tif 000029
【０１７５】
次に、式（２５）を用いて式（２４）を変形すると式（２６）になる。
【０１７６】
【数２８】
2014006667.tif 000030
【０１７７】
次に、Ｆ'９を式（２７）のように定義する。
【０１７８】
【数２９】
2014006667.tif 000031
【０１７９】
式（２７）を用いて式（２６）を変形すると、式（２８）になる。
【０１８０】
【数３０】
2014006667.tif 000032
【０１８１】
これにより、実施例１と同じ結果が得られて、画像同士の減算処理を不要とする一つの有限空間フィルタを生成することができる。
【０１８２】
フィルタ算出部４０２は、式（２７）のＦ'９を算出する。フィルタ算出部４０２は、算出した空間フィルタＦ'９をフィルタ記憶部４０１に書き込む。空間フィルタＦ'９は、第３空間フィルタ４１１である。
【０１８３】
図４７は、有限空間フィルタＦ'９の各画素での強度を示す図である。図４７に示す例では、各画素での強度を色で表す。
【０１８４】
図４６に戻り、実施例２におけるフィルタ処理部１５２について説明する。フィルタ処理部１５２は、畳み込み演算部５０１を有する。畳み込み演算部５０１は、式（２８）に示す処理を行い、補正後の画像ｘを生成する。
【０１８５】
図４８は、実施例２における補正処理のイメージを示す図である。図４８に示すように、フィルタ処理部１５２は、元画像に対してデコンボリューションフィルタ処理を行うことで、補正後の画像を生成する。元画像は、ＲＡＷメモリ４１から取得された画像であり、デコンボリューションフィルタは、有限の空間フィルタＦ'９である。
【０１８６】
ここで、フィルタ処理部１５２は、実施例１同様、画像の各領域の各画素に対して１つの空間フィルタを用いるのではなく、近傍の空間フィルタを用いて線形補間を行って注目画素の画素値を求めてもよい。
【０１８７】
＜効果＞
実施例２では、画像同士の減算処理を不要にするため、式を変形しただけであるので、実施例１と同様の効果を得る。
【０１８８】
＜動作＞
次に、実施例２における画像処理部１５の動作について説明する。図４９は、実施例２におけるフィルタ算出処理の一例を示すフローチャートである。
【０１８９】
ステップＳ３０１で、フィルタ取得部２０２は、フィルタ記憶部４０１から第１空間フィルタ２１１を取得する。
【０１９０】
ステップＳ３０２で、フィルタ算出部４０２は、第１空間フィルタに、有限ハイパスフィルタを畳み込む。
【０１９１】
ステップＳ３０３で、フィルタ算出部４０２は、式（２７）により、第３空間フィルタＦ'９を算出する。
【０１９２】
ステップＳ３０４で、フィルタ制御部１５１は、フィルタ記憶部４０１に記憶されている第１空間フィルタ２１１を全て処理したか否かを判定する。全て処理してれば（ステップＳ３０４−ＹＥＳ）フィルタ算出処理を終了し、全て処理していなければ（ステップＳ３０４−ＮＯ）ステップＳ３０１に戻る。
【０１９３】
これにより、画像の各位置での第１空間フィルタにハイパスフィルタを畳み込み、このフィルタをフィルタＩ０から減算することで、第３空間フィルタを生成することができる。
【０１９４】
図５０は、実施例２におけるフィルタ処理の一例を示すフローチャートである。図５０に示すステップＳ４０１で、畳み込み演算部５０１は、処理対象画像の領域の位置に応じて、第３空間フィルタを決定する。
【０１９５】
ステップＳ４０２で、畳み込み演算部５０１は、決定したフィルタを用いて処理対象画像の領域の画素を求める。このとき、フィルタ処理部１５２は、領域内の注目位置について、上述した線形補間を行ってフィルタ処理後の画素値を求める。
【０１９６】
ステップＳ４０３で、畳み込み演算部５０１は、全画素について補正を行ったか否かを判定する。全画素について処理済みであれば（ステップＳ４０３−ＹＥＳ）フィルタ処理を終了し、全画素について処理が済んでいなければ（ステップＳ４０３−ＮＯ）ステップＳ４０１に戻る。
【０１９７】
これにより、実施例１同様、分解能の異方性を改善しつつ、モアレの発生を防止した補正後の画像を生成することができる。
【０１９８】
［実施例３］
次に、実施例３における画像処理装置について説明する。実施例３では、前述した係数分析部１０と、実施例１又は２の画像処理部１５との各処理をＣＰＵやＤＳＰなどに行わせる。
【０１９９】
＜構成＞
図５１は、実施例３における画像処理装置の概略構成の一例を示すブロック図である。図５１に示す画像処理装置は、制御部６０２と、主記憶部６０４と、補助記憶部６０６と、通信部６０８と、記録媒体Ｉ／Ｆ部６１０と、カメラＩ／Ｆ部６１２とを備える。各部は、バスを介して相互にデータ送受信可能に接続されている。画像処理装置は、例えば、ＰＣ（Personal Computer）やサーバ、スマートフォン、タブレット端末などの情報処理機能を有する装置である。
【０２００】
制御部６０２は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）などである。また、制御部６０２は、主記憶部６０４や補助記憶部６０６に記憶されたプログラムを実行する演算装置である。
【０２０１】
また、制御部６０２は、例えば補助記憶部６０６に記憶される係数分析処理や画像処理を行うためのプログラムを実行することで、上述した各処理を実行することができる。
【０２０２】
主記憶部６０４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部６０２が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【０２０３】
補助記憶部６０６は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。また、補助記憶部６０６は、記録媒体６１４などから取得された係数分析処理や画像処理を行うためのプログラムを記憶しておいてもよい。
【０２０４】
通信部６０８は、有線又は無線で通信を行う。通信部６０８は、例えば、サーバなどから複数の画像を取得し、例えば補助記憶部６０６に複数の画像を記憶する。
【０２０５】
記録媒体Ｉ／Ｆ（インターフェース）部６１０は、ＵＳＢ（Universal Serial Bus）などのデータ伝送路を介して接続された記録媒体６１４（例えば、フラッシュメモリなど）と画像処理装置とのインターフェースである。
【０２０６】
また、記録媒体６１４に、所定のプログラムを格納し、この記録媒体６１４に格納されたプログラムは記録媒体Ｉ／Ｆ部６１０を介して画像処理装置にインストールされる。インストールされた所定のプログラムは、画像処理装置により実行可能となる。
【０２０７】
カメラＩ／Ｆ部６１２は、カメラ６１６との通信を行うインターフェースである。カメラ６１６から撮像されたチャート画像や、補正対象の通常の画像などは、カメラＩ／Ｆ部６１２がカメラ６１６から取得し、補助記憶部６０６などに保存する。
【０２０８】
カメラ６１６は、図６などに示すようなチャート画像や、通常の風景や人物などを撮影する。撮影された画像は、カメラＩ／Ｆ部６１２を介して画像処理装置に取り込まれる。なお、カメラ６１６は、画像処理装置に内蔵されてもよい。
【０２０９】
これにより、画像処理装置は、チャート画像を取得して各位置での空間フィルタを算出し、補正対象画像に対して、算出した空間フィルタを用いて補正することができる。
【０２１０】
よって、前述した係数分析処理、画像処理を実現するためのプログラムを記録媒体に記録することで、前述した係数分析処理、画像処理をコンピュータに実施させることができる。
【０２１１】
例えば、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末、スマートフォン、タブレット端末などに読み取らせて、前述した係数分析処理、画像処理を実現させることも可能である。
【０２１２】
なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、記録媒体は、搬送波などの一過性のものを含まない。
【０２１３】
また、チャートの例として、図５２〜５４のチャートを用いてもよい。図５２は、チャート（その１）の例を示す図である。図５２に示すチャートは、少なくとも２方向で分解能が分析できるチャートである。
【０２１４】
図５３は、チャート（その２）の例を示す図である。図５３に示すチャートは、放射状にあらゆる方向で分解能が分析できるチャートである。図５３に示すチャートが分解能分析に適している。
【０２１５】
図５４は、チャート（その３）の例を示す図である。図５４に示すチャートは、中心部と、外側部で分解能が異なるチャートである。図５３に示すチャートが実施例の分解能分析に適しているが、図５２や図５４に示すチャートでも分解能の異方性を分析することができる。
【０２１６】
以上、画像処理装置、撮像装置、情報処理方法及びプログラムについて詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。
【０２１７】
なお、以上の各実施例に関し、さらに以下の付記を開示する。
（付記１）
画像の分解能に異方性を有する有限の第１空間フィルタを取得する取得部と、
前記第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで第２空間フィルタを算出する算出部と、
を備える画像処理装置。
（付記２）
前記有限フィルタは、全要素で非０の係数を有するハイパスフィルタである付記１記載の画像処理装置。
（付記３）
前記算出部は、
前記第２空間フィルタを、中心要素が１であり、該中心要素以外の要素が０であるフィルタから減算することで、第３空間フィルタを算出する付記１又は２記載の画像処理装置。
（付記４）
入力される画像に前記第２空間フィルタを用いてフィルタ処理を行い、前記画像から前記フィルタ処理後の画像を減算して補正後の画像を生成するフィルタ処理部をさらに備える付記１又は２記載の画像処理装置。
（付記５）
入力される画像に前記第３空間フィルタを用いてフィルタ処理を行い、補正後の画像を生成するフィルタ処理部をさらに備える付記３記載の画像処理装置。
（付記６）
付記１乃至５いずれか一項に記載の画像処理装置と、
撮像部と、
を備える撮像装置。
（付記７）
画像の分解能に異方性を有する有限の第１空間フィルタを取得し、
前記第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで第２空間フィルタを算出する
処理をコンピュータに実行させるプログラム。
（付記８）
画像の分解能に異方性を有する有限の第１空間フィルタを取得し、
前記第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで第２空間フィルタを算出する
処理をコンピュータが実行する情報処理方法。
【符号の説明】
【０２１８】
１０  係数分析部
１５  画像処理部
１０１  分解能分析部
１０２  決定部
１５１  フィルタ制御部
１５２  フィルタ処理部
２０１、４０１  フィルタ記憶部
２０２  フィルタ取得部
２０３、４０２  フィルタ算出部
３０１、５０１  畳み込み演算部
３０２  減算部
６０２  制御部
【図１】
2014006667.tif 000033
【図２】
2014006667.tif 000034
【図３】
2014006667.tif 000035
【図５】
2014006667.tif 000036
【図８】
2014006667.tif 000037
【図１０】
2014006667.tif 000038
【図１１】
2014006667.tif 000039
【図１２】
2014006667.tif 000040
【図１３】
2014006667.tif 000041
【図１４】
2014006667.tif 000042
【図１６】
2014006667.tif 000043
【図１７】
2014006667.tif 000044
【図１８】
2014006667.tif 000045
【図１９】
2014006667.tif 000046
【図２０】
2014006667.tif 000047
【図２４】
2014006667.tif 000048
【図２５】
2014006667.tif 000049
【図２８】
2014006667.tif 000050
【図３０】
2014006667.tif 000051
【図３２】
2014006667.tif 000052
【図３３】
2014006667.tif 000053
【図３４】
2014006667.tif 000054
【図３５】
2014006667.tif 000055
【図３６】
2014006667.tif 000056
【図３７】
2014006667.tif 000057
【図３８】
2014006667.tif 000058
【図４０】
2014006667.tif 000059
【図４１】
2014006667.tif 000060
【図４２】
2014006667.tif 000061
【図４３】
2014006667.tif 000062
【図４４】
2014006667.tif 000063
【図４５】
2014006667.tif 000064
【図４６】
2014006667.tif 000065
【図４８】
2014006667.tif 000066
【図４９】
2014006667.tif 000067
【図５０】
2014006667.tif 000068
【図５１】
2014006667.tif 000069
【図５４】
2014006667.tif 000070
【図４】
2014006667.tif 000071
【図６】
2014006667.tif 000072
【図７】
2014006667.tif 000073
【図９】
2014006667.tif 000074
【図１５】
2014006667.tif 000075
【図２１】
2014006667.tif 000076
【図２２】
2014006667.tif 000077
【図２３】
2014006667.tif 000078
【図２６】
2014006667.tif 000079
【図２７】
2014006667.tif 000080
【図２９】
2014006667.tif 000081
【図３１】
2014006667.tif 000082
【図３９】
2014006667.tif 000083
【図４７】
2014006667.tif 000084
【図５２】
2014006667.tif 000085
【図５３】
2014006667.tif 000086