(57)【要約】【課題】撮影時の情報に基づいたリサイズ処理を行うことで、解像度を保ちつつ、モアレを低減するような画像処理装置を提供すること。【解決手段】入力画像をリサイズするリサイズ処理手段と、入力画像に対してぼかし処理を行うぼかし処理手段と、光学補正の補正量を選択する光学補正量選択手段と、撮影レンズの光学性能を取得する光学性能取得手段と、前記光学補正量選択手段から取得した光学補正量ならびに前記光学性能取得手段から取得した撮影レンズの光学性能に基づいて合成率を算出する合成率算出手段と、前記リサイズ処理手段で作成したリサイズ画像ならびに前記ぼかし処理手段で作成したぼかし画像に対し、前記合成率算出手段により算出した合成率に従った合成処理を行う画像合成処理手段と、を備えることを特徴とする。【選択図】図２
2018007188.tif 000002
【特許請求の範囲】
【請求項１】
入力画像をリサイズするリサイズ処理手段（２０１）と、
入力画像に対してぼかし処理を行うぼかし処理手段（２０２）と、
光学補正の補正量を選択する光学補正量選択手段（２０４）と、
撮影レンズの光学性能を取得する光学性能取得手段（２０５）と、
前記光学補正量選択手段から取得した光学補正量ならびに前記光学性能取得手段から取得した撮影レンズの光学性能に基づいて合成率を算出する合成率算出手段（２０６）と、
前記リサイズ処理手段で作成したリサイズ画像ならびに前記ぼかし処理手段で作成したぼかし画像に対し、前記合成率算出手段により算出した合成率に従った合成処理を行う画像合成処理手段（２０７）と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記光学性能取得手段は、撮影レンズに対し、撮影時の絞りに応じたＭＴＦ特性（サジタル方向、メリジオナル方向）をそれぞれ取得することを特徴とする請求項１に記載の画像処理装置（２０５）。
【請求項３】
前記合成率算出手段は、前記光学性能取得手段により取得した光学性能を用い、サジタル方向、メリジオナル方向のコントラスト値を、加算平均ないし注目画素の直線方向に応じた加重平均の少なくとも一つにより算出することを特徴とする請求項１に記載の画像処理装置（２０６）。
【請求項４】
前記画像合成処理手段は、前記合成率算出手段により算出した合成率を用い、画素ごとにリサイズ画像、ぼかし画像を加重加算することを特徴とする請求項１に記載の画像処理装置（２０７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置および画像処理装置に関し、特に画像データの解像度を変換した際に生じるモアレを低減しつつ、被写体の解像度を保つ撮像装置および画像処理装置に関する。
【背景技術】
【０００２】
入力画像の解像度を低下させるリサイズ処理をする際に、折り返し歪み（モアレ）がリサイズ処理後の画像に発生する場合がある。ナイキストのサンプリング定理により、リサイズ処理後の出力画像のサンプリング周波数の１／２より高い空間周波数を含む信号が入力画像に含まれた際に、出力画像にモアレが発生してしまう。
【０００３】
この解決手段として、リサイズ処理の変換率に応じたローパスフィルタを設計する手法が提案されている。
【０００４】
特許文献１では入力画像をｎ倍の解像度に変換する際に、入力画像のナイキスト周波数の１／ｎより高い空間周波数を減衰させる周波数特性を持つフィルタを設計する構成が記載されている。
【０００５】
また、特許文献２ではリサイズ処理時の解像度の低下を抑えるため、入力画像を強調処理してからリサイズ処理を行う構成が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−３４１５０６号公報
【特許文献２】特開２００５−２９５２９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献１はリサイズ処理時に発生するモアレを低減できるが、例えば細線など被写体によってはリサイズ処理時に解像度が低下する場合があった。
【０００８】
また、特許文献２は入力画像を強調処理してから一律のぼかし処理をすることで、リサイズ処理時に発生するモアレの低減を行いつつ解像度の低下を抑えられる。
【０００９】
しかし、例えば小絞り撮影など入力画像の時点で低解像度であり、リサイズ時のモアレの発生頻度が低いような場合、モアレ低減効果はあるものの、一律のぼかし処理を行ってしまうことで一層解像度が低下してしまう場合があった。
【００１０】
本発明は、このような従来技術の課題に鑑みてなされたものであり、撮影時情報に基づき、画像ごとに適したリサイズ処理を行うことで、解像度を保ちつつ、モアレを低減するような画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明に係る画像処理装置は、
入力画像をリサイズするリサイズ処理手段と、
入力画像に対してぼかし処理を行うぼかし処理手段と、
光学補正の補正量を選択する光学補正量選択手段と、
撮影レンズの光学性能を取得する光学性能取得手段と、
前記光学補正量選択手段から取得した光学補正量ならびに前記光学性能取得手段から取得した撮影レンズの光学性能に基づいて合成率を算出する合成率算出手段と、
前記リサイズ処理手段で作成したリサイズ画像ならびに前記ぼかし処理手段で作成したぼかし画像に対し、前記合成率算出手段により算出した合成率に従った合成処理を行う画像合成処理手段と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明に係る画像処理装置によれば、解像度を保ちつつ、リサイズ処理時に発生するモアレを低減することができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１における撮像装置の構成図
【図２】実施例１における画像処理部のブロック構成図
【図３】実施例１におけるリサイズ画像の作成における全体の処理を示すフローチャート
【図４】実施例１における被写体のＣＺＰチャートの例を示す図
【図５】実施例１におけるＣＺＰチャートの本画像にリサイズ処理して作成したリサイズ画像の例を示す図
【図６】実施例１におけるＣＺＰチャートの本画像にぼかし処理ならびにリサイズ処理して作成したリサイズ画像の例を示す図
【図７】実施例１における合成率算出のためのＭＴＦ曲線図の例を示す図
【図８】実施例１におけるＣＺＰチャートのリサイズ画像とぼかし画像の合成例を示す図
【図９】実施例１におけるＣＺＰチャートのラインプロファイルを示す図
【図１０】実施例１におけるＣＺＰチャートのラインプロファイルの一部を示す図
【図１１】実施例２における画像処理部のブロック構成図
【図１２】実施例２における合成率算出のための説明図
【発明を実施するための形態】
【００１４】
［実施例１］
以下、本発明を適用した第１の実施例について説明する。
【００１５】
図１は本実施形態の画像処理装置を実現する一つの例である撮像装置１００の基本構成を示すブロック図である。
【００１６】
撮像装置１００は、デジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であっても良い。光学系１０１は、レンズ、シャッター、絞りから構成されており、ＣＰＵ１０３の制御によって被写体からの光を撮像素子１０２に結像させる。ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの撮像素子１０２は、光学系１０１を通って結像した光を電気信号に変換する。撮像素子１０２は光を電気信号に変換する複数の素子によって構成されており、１つの素子に対応する電気信号を画素と呼ぶ。
【００１７】
ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することで、撮像装置１００の機能を実現させる。一次記憶装置１０４は、例えばＲＡＭのような揮発性装置であり、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。また、一次記憶装置１０４に記憶されている情報は、画像処理装置１０５で利用されたり、記録媒体１０６へ記録されたりもする。
【００１８】
画像処理装置１０５は、撮像素子１０２で取得した電気信号を処理することで撮影画像を作成する。画像処理装置１０５は、電気信号を連続的に処理して複数枚の撮影画像を作成し、これら撮影画像の一枚を1フレームとして複数フレームにより構成される動画像を作成することができる。
【００１９】
二次記憶装置１０７は、例えばＥＥＰＲＯＭのような不揮発性記憶装置であり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０３によって利用される。
【００２０】
記録媒体１０６は、一次記憶装置１０４に記憶されている、撮影により得られた画像のデータなどを記録する。なお、記録媒体１０６は、例えば半導体メモリカードのように撮像装置１００から取り外し可能であり、記録されたデータはパーソナルコンピュータなどに装着してデータを読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０６の着脱機構及び読み書き機能を有する。表示部１０８は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。
【００２１】
操作部１０９は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等はもちろん、音声や視線などを用いた入力機器であっても良い。
【００２２】
なお、本実施形態の撮像装置１００は、画像処理装置１０５が撮影画像または動画像に適用する画像処理のパターンを複数有し、パターンを撮像モードとして操作部１０９から設定可能である。画像処理装置１０５は、いわゆる現像処理と呼ばれる画像処理をはじめ、撮影モードに応じた色調の調整なども行う。なお、画像処理装置１０５の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア的に実現しても良い。
【００２３】
また、ＣＰＵ１０３および一次記憶装置１０４、画像処理装置１０５、記録媒体１０６、二次記憶装置１０７を備えた情報処理装置が、撮像装置１００が撮影した画像を取得して、現像処理をはじめ撮影モードに応じた色調の調整などを行ってもよい。
【００２４】
図２は画像処理装置１０５の構成を示すブロック図である。
【００２５】
画像処理装置１０５の各部について、図３の本実施形態におけるリサイズ処理画像を作成する全体フローチャートを用いて説明する。
【００２６】
図３に、本実施形態におけるリサイズ画像作成の全体の流れを示し、図３から図８を用いて処理の詳細を説明する。
【００２７】
本実施例では、一般的にモアレ評価および解像度評価に用いられるＣＺＰチャートを被写体とする。図４にＣＺＰチャートを示す。また、本実施例において、比較のため、ＣＺＰチャートをＦ５．６、１／２５０秒、ＩＳＯ１００で撮影して得た画像と、Ｆ２２、１／１５、ＩＳＯ１００で撮影して得た画像とを用いる。ただし、本実施例はこれに限定されるものではない。
【００２８】
まず、ステップＳ３０１において、リサイズ処理部２０１は入力画像に対してリサイズ処理を行う。この際、ナイキストのサンプリング定理により、リサイズ処理後の画像Ｉｏｒのサンプリング周波数の１／２より高い空間周波数を含む信号が入力画像に含まれた際に、出力画像Ｉｏｒにモアレが発生する。Ｆ５．６およびＦ２２それぞれの絞り値で撮影したＣＺＰチャートに対してリサイズ処理をして得た画像を図５（ａ）、（ｂ）に示す。図５（ａ）、（ｂ）より、いずれの絞り値で撮影した場合でもモアレが発生しているが、Ｆ２２で撮影した画像の方がモアレの程度は少ない。これは、Ｆ２２での撮影時に回折現象が起こり、Ｆ５．６での撮影時よりもＭＴＦ特性が低いことによる。
【００２９】
ステップＳ３０２において、ぼかし処理部２０２は入力画像に対してぼかし処理を行う。この際、ぼかし処理は、特定の高域を遮断する特性を持った低域通過フィルタ処理や、一定の係数、サイズのガウシアンフィルタ処理などによって行う。
【００３０】
ステップＳ３０３において、リサイズ処理部２０３はステップＳ３０２で作成したぼかし画像に対してリサイズ処理を行い、リサイズされたぼかし画像Ｉｂｒを作成する。リサイズ処理としては、リサイズ処理部２０１と同様の処理を行う。Ｆ５．６、Ｆ２２それぞれの絞り値で撮影したＣＺＰチャートに対してぼかし処理ならびにリサイズ処理をして得た画像を図６（ａ）、（ｂ）および（ｃ）に示す。
【００３１】
ここで、図６（ａ）はＦ５．６の絞り値で、図６（ｂ）および（ｃ）はＦ２２の絞り値でそれぞれ撮影しており、図６（ａ）、（ｂ）は同一のぼかし処理を、図６（ｃ）はこれらよりぼかし量を弱めたぼかし処理をそれぞれ行っている。図６（ａ）、（ｂ）および（ｃ）により、いずれの絞り値で撮影された画像についてもモアレは低減できていることがわかる。しかし、図６（ｂ）よりＦ２２で撮影された画像に対してはモアレ低減に必要なぼかし量より多くぼかし処理を行ってしまっており、Ｆ２２での撮影時にはぼかし量を弱めた図６（ｃ）がより好適なぼかし処理を行っているといえる。
【００３２】
ステップＳ３０４において、光学補正量選択部２０４は撮影時に光学補正を行うか否かの判定を行い、光学補正を行う場合にはユーザが指定した補正量を取得する。
【００３３】
ステップＳ３０５において、光学補正を行う場合に、光学性能取得部２０５は、光学補正の補正量ならびに撮影レンズの撮影時の絞り値に対応した、ＭＴＦ特性を取得する。
【００３４】
ステップＳ３０６において、光学補正を行わない場合に、光学性能取得部２０５は撮影レンズの撮影時の絞り値に対応した、ＭＴＦ特性を取得する。
【００３５】
ステップＳ３０７において、合成率算出部２０６は、ステップＳ３０５ないしステップＳ３０６で取得したＭＴＦ特性を元に合成率αを算出する。合成率α算出の一例を式１に示す。
α  ＝  （ｓ０＋ｍ０）／２                                     式１
ここで、ｓ０、ｍ０は、図７に示すような、撮影レンズの撮影時の絞り値、選択した光学補正量に応じた像高ｒ０におけるサジタル方向、メリジオナル方向のコントラスト値をそれぞれ表す。
【００３６】
また、上記記載内容だけでなくＩＳＯ感度やシャープネス強度の設定など、撮影時に設定可能な条件に応じて合成率の算出方法を変更しても良い。さらに、上記式１ならびに式２は画素ごとに合成率を算出しているが、ある特定の合成率を一律に適用しても良い。
【００３７】
ステップＳ３０８において、画像合成処理部２０７は、ステップＳ３０１で作成したリサイズ画像ＩｏｒとステップＳ３０３で作成したぼかし処理後のリサイズ画像Ｉｂｒとを、ステップＳ３０７で算出した合成率αに従って合成処理をし、出力画像Ｉｍｒを作成する。合成処理の一例を式２に示す。
Ｉｍｒ  ＝  （１−α）Ｉｏｒ  ＋  αＩｂｒ                            式２
例えば、合成率を全画素一律でα＝０．９とした場合を考える。式２により、図５（ａ）、（ｂ）および図６（ａ）、（ｂ）を用いて、Ｆ５．６およびＦ２２の絞り値で撮影したＣＺＰチャートから作成される出力画像Ｉｍｒはそれぞれ図８（ａ）、（ｂ）のようになる。また、合成率を全画素一律でα＝０．６とした場合の、Ｆ２２でのＣＺＰチャートの出力画像Ｉｍｒは図８（ｃ）のようになる。
【００３８】
図８（ａ）と（ｃ）とでは、モアレが同程度となっていることが確認できる。また、図９に図８（ａ）、（ｂ）および（ｃ）それぞれにおいて、ある行におけるラインプロファイルを示す。さらに、図１０に一部を拡大表示した図９（ｂ）、（ｃ）のラインプロファイルを示す。図１０において、（ｂ）と（ｃ）を比較すると（ｂ）の方がより画素値の変動量が小さいことから、図８（ｂ）と（ｃ）とでは、（ｂ）の方がより解像度が低下していることが確認できる。以上より、本実施形態で用いたＣＺＰチャートの例では、Ｆ５．６での撮影時はα＝０．９、Ｆ２２での撮影時はα＝０．６が好適な合成率であり、解像度を保つためには、撮影情報に応じてリサイズ画像Ｉｏｒとぼかし画像Ｉｂｒの合成率を変更することが好ましいことがわかる。
【００３９】
このように本発明による撮像装置および画像処理装置により、画像データの解像度を変換した際に生じるモアレを低減しつつ、被写体の解像度を保つことができる。
【００４０】
［実施例２］
以下、本発明を適用した第２の実施例について説明する。
【００４１】
図１１は本実施例における画像処理装置１０５の構成を示すブロック図である。
【００４２】
本実施例においては、直線方向を検出し、注目した画素における直線の方向に応じて合成率αを算出する方法を提案する。そのため、第１の実施例と図１ならびに図３は共通であるが、図２の合成率算出部２０６の前に直線方向検出部２０８を追加している。
【００４３】
実施例１では、式１のようにサジタル方向、メリジオナル方向のコントラスト値の加算平均より合成率αを算出している。この方法では簡易的に合成率を算出できる一方で、サジタル方向とメリジオナル方向とでコントラスト値に乖離があるレンズを使用した際など、十分にモアレを低減できない場合や、過剰にぼかし処理を行ってしまう場合があると考えられる。例えば、ある像高においてメリジオナル方向のコントラスト値が１．０、サジタル方向のコントラスト値が０．５となるようなレンズを使用した場合を考える。
【００４４】
このとき、入力画像の前記像高においてメリジオナル方向のみを持つ直線が含まれた場合、式１の方法では合成率αは０．７５となる。ただ、この例では入力画像において、メリジオナル方向は十分に解像しているため、結果的にリサイズ画像にもより多くのモアレが発生してしまい、解像度は保持できるもののモアレは残ってしまう可能性がある。この例の場合では、αは０．７５よりも大きな値で、よりモアレを低減する方が好ましい。このことから、注目画素の直線方向に応じて合成率を変更すべきであるといえる。
【００４５】
そこで、注目画素Ａ上の直線の方向を検出し、式３のように直線の方向に応じて合成率αを算出することで、より正確に合成率αを算出できる。
α  ＝  （ｓ０・ｃｏｓθ＋ｍ０・ｓｉｎθ）／（ｓｉｎθ＋ｃｏｓθ）    式３
ここで、θは図１２に示すような、同心方向の方向ベクトル
【００４６】
【数１】
2018007188.tif 000003
【００４７】
と、注目画素Ａ上の直線の方向ベクトル
【００４８】
【数２】
2018007188.tif 000004
【００４９】
とのなす角を表す。
【００５０】
以上、本発明の画像処理方法を用いた撮像装置に関する実施形態を示したが、本発明の画像処理方法は、その要旨の範囲内で種々の変形及び変更が可能であり、装置での使用に限るものではない。例えば、ＰＣ上で動作する画像処理ソフトのアルゴリズムとして用いることもできる。
【００５１】
その場合、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５２】
１００  撮像装置、１０１  光学系、１０２  撮像素子、１０３  ＣＰＵ、
１０４  一次記憶装置、１０５  画像処理装置、１０６  記録媒体、
１０７  二次記憶装置、１０８  表示部、１０９  操作部
【図１】
2018007188.tif 000005
【図２】
2018007188.tif 000006
【図３】
2018007188.tif 000007
【図４】
2018007188.tif 000008
【図５】
2018007188.tif 000009
【図６】
2018007188.tif 000010
【図７】
2018007188.tif 000011
【図８】
2018007188.tif 000012
【図９】
2018007188.tif 000013
【図１０】
2018007188.tif 000014
【図１１】
2018007188.tif 000015
【図１２】
2018007188.tif 000016