(57)【要約】      （修正有）【課題】低解像度の画像の生成及び低域のノイズの低減を適切に行う。【解決手段】複数の階層画像データを生成し、プレフィルタにより帯域制限を行い、ノイズの低減を優先する場合は、縮小率可変縮小部３１１のみで１／４倍の縮小を行い、等倍画像に対し１／３２倍の解像度の第４階層画像を生成する。一方、ノイズの低減を優先しない場合は、縮小率可変縮小部３１１で帯域制限を超えた大きな縮小を行わずに、階層画像生成部２０１で折返りの少ない画像を生成する。【選択図】図３
2015041144.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子で得られた画像データから、複数の階層画像データを生成する階層画像生成手段と、
前記階層画像生成手段により生成された複数の階層画像データを用いて、１つの出力画像データを生成する出力画像生成手段と、
を有し、
前記階層画像生成手段は、
画像データの縮小率を変えることが可能な第１の縮小手段と、画像データの縮小率が固定された複数の第２の縮小手段と、が直列に接続されて構成されており、
前記第１の縮小手段は、前記撮像素子で得られた画像データの帯域制限を行うプレフィルタを有し、当該プレフィルタによる帯域制限に適した縮小率と異なる縮小率で当該プレフィルタを通過した画像データを縮小することが可能であり、
前記第２の縮小手段は、前記第１の縮小手段または１つ前に配置された前記第２の縮小手段によりサイズが縮小された画像データの帯域制限を行うプレフィルタを有し、当該プレフィルタを通過した画像データを固定の縮小率で縮小し、
前記出力画像データと同じサイズの階層画像データを、前記第１の縮小手段により、または、前記第１の縮小手段と少なくとも１つの前記第２の縮小手段とにより生成し、
前記出力画像データと同じサイズの階層画像データよりもサイズが小さい階層画像データを、前記複数の第２の縮小手段のうち、前記出力画像データと同じサイズの階層画像データを生成していない第２の縮小手段により生成することを特徴とする画像処理装置。
【請求項２】
ノイズの低減を優先するか否かを判断する判断手段と、
前記判断手段による判断の結果に応じて、前記第１の縮小手段における縮小率を決定する決定手段と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記判断手段により、ノイズの低減を優先すると判断された場合の方が、ノイズの低減を優先すると判断されなかった場合よりも、前記第１の縮小手段における縮小率の値を小さくすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記撮像素子は、画像データの縮小を行うことが可能な撮像素子駆動手段を有し、
前記判断手段により、ノイズの低減を優先すると判断されると、前記撮像素子による画像データの縮小を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記判断手段により、ノイズの低減を優先すると判断された場合、前記第１の縮小手段により、前記出力画像データと同じサイズの第１階層画像データを生成すると共に、前記複数の第２の縮小手段により、前記第１階層画像データよりもサイズが小さい階層画像データを生成し、
前記判断手段により、ノイズの低減を優先すると判断されなかった場合、前記第１の縮小手段と少なくとも１つの前記第２の縮小手段とにより、前記出力画像データと同じサイズの第１階層画像データを生成すると共に、前記複数の第２の縮小手段のうち、前記出力画像データと同じサイズの階層画像データを生成していない第２の縮小手段により、前記第１階層画像データよりもサイズが小さい階層画像データを生成することを特徴とする請求項２〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記判断手段は、撮影感度、または、ユーザーによる操作部の操作に基づいて、ノイズの低減を優先するか否かを判断することを特徴とする請求項２〜５の何れか１項に記載の画像処理装置。
【請求項７】
撮像素子で得られた画像データから、複数の階層画像データを生成する階層画像生成工程と、
前記階層画像生成工程により生成された複数の階層画像データを用いて、１つの出力画像データを生成する出力画像生成工程と、
を有し、
前記階層画像生成工程は、
画像データの縮小率を変えて画像データを縮小することが可能な第１の縮小工程と、画像データを固定の縮小率で縮小する複数の第２の縮小工程と、を順に実施し、
前記第１の縮小工程は、撮像素子で得られた画像データの帯域制限を行うプレフィルタにより画像データの帯域制限を行い、当該プレフィルタによる帯域制限に適した縮小率と異なる縮小率または当該プレフィルタによる帯域制限に適した縮小率で当該プレフィルタを通過した画像データを縮小し、
前記第２の縮小工程は、前記第１の縮小工程または１つ前の第２の縮小工程によりサイズが縮小された画像データの帯域制限を行うプレフィルタにより入力した画像データの帯域制限を行い、当該プレフィルタを通過した画像データを固定の縮小率で縮小し、
前記出力画像データと同じサイズの階層画像データを、前記第１の縮小工程により、または、前記第１の縮小工程と少なくとも１つの前記第２の縮小工程とにより生成し、
前記出力画像データと同じサイズの階層画像データよりもサイズが小さい階層画像データを、前記複数の第２の縮小工程のうち、前記出力画像データと同じサイズの階層画像データを生成していない第２の縮小工程により生成することを特徴とする画像処理方法。
【請求項８】
ノイズの低減を優先するか否かを判断する判断工程と、
前記判断工程による判断の結果に応じて、前記第１の縮小工程における縮小率を決定する決定工程と、
を有することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記決定工程は、前記判断工程により、ノイズの低減を優先すると判断された場合の方が、ノイズの低減を優先すると判断されなかった場合よりも、前記第１の縮小工程における縮小率の値を小さくすることを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記判断工程により、ノイズの低減を優先すると判断されると、前記撮像素子による画像データの縮小を行う撮像素子駆動工程を有することを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
前記判断工程により、ノイズの低減を優先すると判断された場合、前記第１の縮小工程により、前記出力画像データと同じサイズの第１階層画像データを生成すると共に、前記複数の第２の縮小工程により、前記第１階層画像データよりもサイズが小さい階層画像データを生成し、
前記判断工程により、ノイズの低減を優先すると判断されなかった場合、前記第１の縮小工程と少なくとも１つの前記第２の縮小工程とにより、前記出力画像データと同じサイズの第１階層画像データを生成すると共に、前記複数の第２の縮小工程のうち、前記出力画像データと同じサイズの階層画像データを生成していない第２の縮小工程により、前記第１階層画像データよりもサイズが小さい階層画像データを生成することを特徴とする請求項８〜１０の何れか１項に記載の画像処理方法。
【請求項１２】
前記判断工程は、撮影感度、または、ユーザーによる操作部の操作に基づいて、ノイズの低減を優先するか否かを判断することを特徴とする請求項８〜１１の何れか１項に記載の画像処理方法。
【請求項１３】
請求項７〜１２の何れか１項に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関し、特に、画像のノイズを低減するために用いて好適なものである。
【背景技術】
【０００２】
従来における画像のノイズ低減の方法として、注目画素とその周辺の画素とを用いてローパスフィルタ処理を行い、注目画素の画素値を決定する方法が知られている。しかしながら、低域のノイズを除去したい場合、より広範囲の周辺画素を用いて処理する必要がある。そのためには、ノイズ低減処理に用いるフィルタのサイズを大きくせねばならず、回路規模が増大してしまう問題がある。
【０００３】
そこで、特許文献１には、画像の縮小を複数回に分けて行うことで複数の解像度の異なる画像を生成し、生成したそれぞれの画像に対しノイズ低減処理を行った後に１枚の画像に合成するという技術が開示されている。これにより、縮小処理前の画像上では広い範囲に存在していた画素が、縮小処理後においては狭い範囲に含まれることになる。したがって、サイズが小さいフィルタでも実質的に広範囲の画素を参照でき、低域のノイズが除去可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０１５７４１号公報
【非特許文献】
【０００５】
【非特許文献１】水平＆垂直画素加算技術（VGA動画対応）、インターネットURL＜http://www.sony.co.jp/Products/SC-HP/imagingdevice/ccd/tec_vga.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術では、異なる解像度の画像生成法が固定である。したがって、縮小回路の個数、縮小前の帯域制限を行うためのプレフィルタ、及びノイズ低減処理の際のフィルタのサイズに制限がある場合において、ノイズ低減処理において利用可能な周辺画素の範囲が変わらない。よって、低解像度の画像の生成及び低域のノイズの低減には限界があるという問題があった。
本発明は、このような問題点に鑑みてなされたものであり、低解像度の画像の生成及び低域のノイズの低減を適切に行うことを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、撮像素子と、前記撮像素子で得られた画像データから、複数の階層画像データを生成する階層画像生成手段と、前記階層画像生成手段により生成された複数の階層画像データを用いて、１つの出力画像データを生成する出力画像生成手段と、を有し、前記階層画像生成手段は、画像データの縮小率を変えることが可能な第１の縮小手段と、画像データの縮小率が固定された複数の第２の縮小手段と、が直列に接続されて構成されており、前記第１の縮小手段は、前記撮像素子で得られた画像データの帯域制限を行うプレフィルタを有し、当該プレフィルタによる帯域制限に適した縮小率と異なる縮小率で当該プレフィルタを通過した画像データを縮小することが可能であり、前記第２の縮小手段は、前記第１の縮小手段または１つ前に配置された前記第２の縮小手段によりサイズが縮小された画像データの帯域制限を行うプレフィルタを有し、当該プレフィルタを通過した画像データを固定の縮小率で縮小し、前記出力画像データと同じサイズの階層画像データを、前記第１の縮小手段により、または、前記第１の縮小手段と少なくとも１つの前記第２の縮小手段とにより生成し、前記出力画像データと同じサイズの階層画像データよりもサイズが小さい階層画像データを、前記複数の第２の縮小手段のうち、前記出力画像データと同じサイズの階層画像データを生成していない第２の縮小手段により生成することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、低解像度の画像の生成及び低域のノイズの低減を適切に行うことができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置の構成を示す図である。
【図２】画像処理部の構成を示す図である。
【図３】階層画像生成部、ノイズ低減部、及び画像合成部の構成を示す図である。
【図４】画像処理部の処理動作を説明するフローチャートである。
【図５】縮小部における処理の第１の例を説明する図である。
【図６】撮像素子と画像処理部の処理動作を説明するフローチャートである。
【図７】縮小部における処理の第２の例を説明する図である。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
尚、本実施形態では、撮影した画像に対しノイズ低減処理をするデジタルカメラを画像処理装置として適用した場合を例に挙げて説明する。
図１は、本実施形態に係る画像処理装置の構成の一例を示すブロック図である。
本実施形態の画像処理装置は、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、記録部１０５、制御部１０６、操作部１０７、及び表示部１０８を備える。
【００１１】
光学系１０１には、フォーカスレンズや絞り、シャッターが含まれる。光学系１０１は、撮影時に、フォーカスレンズを駆動することにより被写体のピント合わせを行うことと、絞りやシャッターを制御することにより露光量の調節をすることとを行う。撮像素子１０２は、光学系１０１において結像された被写体の光量を光電変換によって電気信号にするＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子である。Ａ／Ｄ変換部１０３は、撮像素子１０２から入力した電気信号をデジタル化する。画像処理部１０４は、Ａ／Ｄ変換部１０３でデジタル化された信号に対し、ノイズ低減処理等の処理を施して最終的にＪＰＥＧ等の画像形式の画像データに変換し、記録部１０５に記録する。
【００１２】
制御部１０６は、本実施形態の画像処理装置全体の動作制御を行う。操作部１０７は、ユーザーが画像処理装置に対し操作指示を行う部分である。表示部１０８は、例えば、画像処理装置（デジタルカメラ）の背面に設置された液晶ディスプレイ等であり、撮像素子１０２で撮影され画像処理部１０４で処理された画像や、記録部１０５に保存されている画像等を表示する。
【００１３】
以下では、本実施形態の特徴的な部分を中心に説明を行う。本実施形態の特徴的な部分は、画像処理部１０４において解像度の異なる複数の画像を生成し、各々の画像にノイズ低減処理を行った後に、各々の画像を１枚の画像に合成する部分等である。
図２は、画像処理部１０４の構成の一例を示すブロック図である。
画像処理部１０４は、階層画像生成部２０１、ノイズ低減部２０２、画像合成部２０３、及び画像変換部２０４を有する。
階層画像生成部２０１は、入力された画像（入力画像）から複数の異なる解像度の画像を生成する。ノイズ低減部２０２は、階層画像生成部２０１で生成された各々の画像に対しノイズ低減処理を行う。画像合成部２０３は、ノイズ低減部２０２から出力された画像を１枚の画像に合成する。画像変換部２０４は、画像合成部２０３において合成された画像をＪＰＥＧ等の画像形式の画像に変換する。
【００１４】
図３は、階層画像生成部２０１、ノイズ低減部２０２、及び画像合成部２０３の詳細な構成の一例を示すブロック図である。
階層画像生成部２０１は、入力画像に対しＲＧＢ同時化等の変換を行う画像変換部３００と、画像を縮小する縮小部とを有する。同時化とは、各画素がＲＧＢの全ての色の信号を備えるように、画像にフィルタ処理を行うことである。本実施形態では、縮小部は、縮小率が可変の縮小率可変縮小部３１１（第１の縮小部）と、縮小率が１／２倍で固定の縮小率固定縮小部３１２〜３１４（第２の縮小部）とを有する。図３に示すように、縮小率可変縮小部３１１と縮小率固定縮小部３１２〜３１４は、直列に接続（配置）される。
縮小率可変縮小部３１１と縮小率固定縮小部３１２〜３１４はそれぞれ、ＬＰＦ部３２１〜３２４と、縮小部３３１〜３３４とを有する。ＬＰＦ部３２１〜３２４は、画像変換部３００から出力された画像に対し、帯域（周波数帯域）を制限するためのローパスフィルタをかけるプレフィルタである。縮小部３３１〜３３４は、ＬＰＦ部３２１〜３２４を通過した画像を縮小する。
【００１５】
ノイズ低減部２０２は、階層画像生成部２０１で生成されたそれぞれの階層画像データ（以下、必要に応じて「階層画像」と記す）に対しノイズ低減処理を行うノイズ低減処理部３４１〜３４４を有する。画像合成部２０３は、ノイズ低減部２０２から出力された階層画像を低解像度のものから順に合成し、最終的に１枚の出力画像データ（以下、必要に応じて「出力画像」と記す）を出力するための合成部３５１〜３５３を備える。ノイズ低減処理及び画像合成については、例えば特許文献１に開示されている方法を用いても良いし、他の公知の方法を用いても良い。ノイズ低減処理の例としては、信号のレベルが類似し、かつ、近傍に位置する画素の信号を用いて平均化を行う方法がある。あるいは、フィルタ処理を行ってエッジ度を検出し、エッジ度が閾値以下となる画素に対してローパスフィルタを適用する方法などがある。また、画像合成の例としては、画素ごとにエッジ度を判定し、エッジ度が大きい場合ほど、解像度の高い画像の重み付けを大きくして、複数の解像度の異なる画像を合成する方法などがある。
【００１６】
図４は、本実施形態の画像処理部１０４の処理動作の概要の一例を説明するフローチャートである。また、図５は、縮小部における処理の一例を説明する図である。具体的に図５（ａ）は、ノイズの低減を優先させる場合の縮小部における処理の一例を説明する図であり、図５（ｂ）は、ノイズの低減を優先させない場合の縮小部における処理の一例を説明する図である。
図４及び図５を参照しながら、本実施形態の画像処理部１０４の処理動作の一例を説明する。本実施形態では、後述する折返りよりもノイズの低減を優先させるか否かで、生成される階層画像の数と最低解像度の画像の画素数とを異ならせる。
例えば、撮像素子１０２から出力され得る最大サイズの画像（以下、必要に応じて「等倍画像」と記す）を水平、垂直方向共に１／４倍に縮小した画像を、記録部１０５に記録する最終的な画像として得るものとする。そうすると、例えば、等倍画像のサイズが水平４０９６画素、垂直３０７２画素の場合、最終的な出力画像のサイズは水平１０２４画素、垂直７６８画素になる。
【００１７】
尚、縮小率可変縮小部３１１と縮小率固定縮小部３１２〜３１３では、帯域制限の為のローパスフィルタが１／２倍の縮小率までに対応しているものとする。この縮小率に基づくサイズよりも小さなサイズになるように縮小すると（すなわち、例えば縮尺率の値が１／４になり、１／２よりも小さくなると）、縮小するサイズが小さくなるほど、縮小された画像には折返りが多く含まれることになる。このように本実施形態では、縮小率可変縮小部３１１のＬＰＦ部３２１と、縮小率固定縮小部３１２〜３１４のＬＰＦ部３２２〜３２４を構成するフィルタには、サイズの制限がある。また、ノイズ低減処理部３４１〜３４４を構成するフィルタにも、サイズの制限がある。
まず、図４のステップＳ４０１において、制御部１０６は、ノイズの低減を優先するか否かを判断する。この判断の結果、ノイズの低減を優先する場合にはステップＳ４０２に進み、ノイズの低減を優先しない場合には後述するステップＳ４０７に進む。例えば、ステップＳ４０１の前に制御部１０６が撮影感度の情報を取得する撮影感度情報取得処理を行い、取得した撮影感度に応じてノイズ低減を優先するか否かの処理動作を切り替えることができる。低感度で撮影を行った場合は、画像処理部１０４の入力画像に含まれるノイズは少量であるため、ノイズの低減を優先しない処理動作にする。一方、高感度での撮影を行った場合には、画像処理部１０４の入力画像には多くのノイズが含まれているため、ノイズの低減を優先する処理動作にする。
【００１８】
ノイズの低減を優先する場合、ステップＳ４０２において、制御部１０６は、縮小率可変縮小部３１１の縮小率を１／４倍に決定する。このように、縮小率可変縮小部３１１では、ＬＰＦ部３２１の帯域制限に適した縮小率（＝１／２倍）と異なる縮小率を選択することが可能である。一方、縮小率固定縮小部３１２〜３１４では、ＬＰＦ部３２２〜３２４の帯域制限に適した縮小率（＝１／２倍）で縮小率が固定される。ただし、縮小率固定縮小部３１２〜３１４の縮小率の値は、必ずしも１／２でなくてもよく、１／２を上回る値（例えば１／１．５）であってもよい。
次に、ステップＳ４０３において、縮小率可変縮小部３１１は、ステップＳ４０２で決定された縮小率で入力画像を縮小し、階層画像を生成する。また、縮小率固定縮小部３１２、３１３、３１４は、それぞれ、予め定められている固定の縮小率で、縮小率可変縮小部３１１、縮小率固定縮小部３１２、３１３で得られた階層画像を縮小し、階層画像を生成する。
【００１９】
具体的に縮小率可変縮小部３１１は、入力画像（等倍画像）に対して１／４倍の縮小を行い、最終的な出力画像と同じサイズの階層画像（第１階層画像５１１ａ）を生成する。続いて縮小率固定縮小部３１２、３１３、３１４は、それぞれ、入力画像（等倍画像）のサイズの１／８倍、１／１６倍、１／３２倍のサイズの階層画像（第２階層画像５１２ａ、第３階層画像５１３ａ、第４階層画像５１４ａ）を生成する。最終的な出力画像のサイズである水平１０２４画素、垂直７６８画素の第１階層画像５１１ａが縮小率可変縮小部３１１から出力される。また、入力画像（等倍画像）のサイズの１／８倍、１／１６倍、１／３２倍のサイズの第２階層画像５１２ａ、第３階層画像５１３ａ、第４階層画像５１４ａがそれぞれ縮小率固定縮小部３１２、３１３、３１４から出力される。図５（ａ）に示す例では、階層数は４であり、最低解像度の画像は、水平１２８画素、垂直９６画素の第４階層画像５１４ａとなる。
【００２０】
次に、ステップＳ４０４において、ノイズ低減処理部３４１、３４２、３４３、３４４は、それぞれ、４つの異なる解像度の第１階層画像５１１ａ、第２階層画像５１２ａ、第３階層画像５１３ａ、第４階層画像５１４ａに対してノイズ低減処理を施す。
次に、ステップＳ４０５において、合成部３５１、３５２、３５３は、ステップＳ４０４でノイズ低減処理が施された、第１階層画像５１１ａ、第２階層画像５１２ａ、第３階層画像５１３ａ、第４階層画像５１４ａを１枚の画像に合成する。
【００２１】
具体的に合成部３５３は、ノイズ低減処理部３４３、３４４でノイズ低減処理が施された第３階層画像５１３ａ及び第４階層画像５１４ａを合成する。合成部３５２は、ノイズ低減処理部３４２でノイズ低減処理が施された第２階層画像５１２ａと、合成部３５３で得られた画像とを合成する。合成部３５１は、ノイズ低減処理部３４１でノイズ低減処理が施された第１階層画像５１１ａと、合成部３５２で得られた画像とを合成する。
次に、ステップＳ４０６において、画像変換部２０４は、ステップＳ４０５で合成された画像を画像変換処理によりＪＰＥＧ等の画像形式に変換し、画像処理部１０４の出力画像として記録部１０５に記録する。
このように本実施形態では、ステップＳ４０４〜Ｓ４０６の処理により出力画像生成処理が実行される。
【００２２】
前述したように、ステップＳ４０１においてノイズの低減を優先しないと判断された場合には、ステップＳ４０７に進む。ステップＳ４０７に進むと、制御部１０６は、縮小率可変縮小部３１１の縮小率を１／２倍に決定する。
次に、ステップＳ４０８において、縮小率可変縮小部３１１は、ステップＳ４０７で決定された縮小率で入力画像を縮小し、階層画像を生成する。また、縮小率固定縮小部３１２、３１３、３１４は、それぞれ、予め定められている固定の縮小率で、縮小率可変縮小部３１１、縮小率固定縮小部３１２、３１３で得られた階層画像を縮小し、階層画像を生成する。
【００２３】
具体的に縮小率可変縮小部３１１は、入力画像（等倍画像）に対して１／２倍の縮小を行い、画像５１１ｂを生成する。続いて縮小率固定縮小部３１２は、縮小率可変縮小部３１１で生成された画像に対し１／２倍の縮小を行い、最終的な出力画像と同じサイズの階層画像（第１階層画像５１２ｂ）を生成する。続いて縮小率固定縮小部３１３、３１４は、それぞれ、入力画像（等倍画像）のサイズの１／８倍、１／１６倍のサイズの階層画像（第２階層画像５１３ｂ、第４階層画像５１４ｂ）を生成する。最終的な出力画像のサイズである水平１０２４画素、垂直７６８画素の第１階層画像５１２ｂが縮小率固定縮小部３１２から出力される。また、入力画像（等倍画像）のサイズの１／８倍、１／１６倍のサイズの第２階層画像５１３ｂ、第３階層画像５１４ｂがそれぞれ縮小率固定縮小部３１３、３１４から出力される。図５（ｂ）に示す例では、階層数は３であり、最低解像度の画像は水平２５６画素、垂直１９２画素の第３階層画像５１４ｂとなる。
【００２４】
次に、ステップＳ４０９において、ノイズ低減処理部３４２、３４３、３４４は、それぞれ、３つの異なる解像度の第１階層画像５１２ｂ、第２階層画像５１３ｂ、第３階層画像５１４ｂに対してノイズ低減処理を施す。
次に、ステップＳ４１０において、合成部３５２、３５３は、ステップＳ４０９でノイズ低減処理が施された、第１階層画像５１２ｂ、第２階層画像５１３ｂ、第３階層画像５１４ｂを１枚の画像に合成する。
【００２５】
具体的に合成部３５３は、ノイズ低減処理部３４３、３４４でノイズ低減処理が施された第２階層画像５１３ｂ及び第３階層画像５１４ｂを合成する。合成部３５２は、ノイズ低減処理部３４２でノイズ低減処理が施された第１階層画像５１２ａと、合成部３５３で得られた画像とを合成する。
次に、ステップＳ４１１において、画像変換部２０４は、ステップＳ４１０で合成された画像を画像変換処理によりＪＰＥＧ等の画像形式に変換し、画像処理部１０４の出力画像として記録部１０５に記録する。
このようにステップＳ４０９〜Ｓ４１１の処理により出力画像生成処理が実行される。
尚、縮小率可変縮小部３１１から出力された、入力画像（等倍画像）の１／２倍のサイズの画像５１１ｂは使用されない。このため、ノイズ低減処理部３４１でのノイズ低減処理及び合成部３５１での合成処理は行われず、合成部３５２からの出力画像がそのまま画像変換部２０４へと入力される。
【００２６】
以上のように本実施形態では、ノイズの低減を優先する場合は、縮小率可変縮小部３１１のみで１／４倍の縮小を行うため、階層画像生成部２０１では、等倍画像に対し１／３２倍の解像度の第４階層画像５１４ａを生成することができる。すなわち、ノイズ低減を優先しない場合に対してより低域のノイズ低減処理が可能になる。一方、ノイズの低減を優先しない場合は、縮小率可変縮小部３１１で帯域制限を超えた大きな縮小を行わないため、階層画像生成部２０１で折返りの少ない画像を生成することができる。
【００２７】
また、本実施形態では、低感度で撮影を行った場合はノイズの低減を優先しない処理動作にし、高感度での撮影を行った場合はノイズの低減を優先する処理動作にする。このようにノイズの低減を優先する場合に縮小率可変縮小部３１１で帯域制限を超えた大きな縮小を行い、より低解像度の画像を生成するのは、高感度になるほど折返りの影響による画質劣化よりもノイズの影響による画質劣化の方が大きくなるためである。また、高感度での撮影であるほど、ノイズが多く、またそれに伴いノイズ低減処理においてフィルタ処理を強くかけるため、結果として折返りが目立たなくなるためでもある。
【００２８】
尚、ノイズ低減を優先するか否かは、以上のように感度によって切り替えても良いし、ユーザーの操作部１０７からの指示により切り替えても良い。
このように、本実施形態では、縮小回路の個数、縮小前の帯域制限を行うためのプレフィルタ、及びノイズ低減処理の際のフィルタのサイズに制限がある場合でも、低解像度の画像の生成及び低域のノイズの低減を、シーンに応じて適切に行うことができる。したがって、シーンに適した画像、又は各々のユーザーの考える高画質な画像を選択的に得ることができる。
【００２９】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、撮像素子１０２から出力され得る最大サイズの画像（等倍画像）が入力される場合を例に挙げて説明した。これに対し、本実施形態では、ノイズの低減を優先させる場合には、撮像素子１０２で画像の縮小を行い、縮小した画像を画像処理部１０４に出力する。このように本実施形態と第１の実施形態とは、画像処理部１０４に入力される画像のサイズが異なることに基づく構成及び処理が主として異なる。したがって、本実施形態の説明において第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００３０】
本実施形態では、ノイズの低減を優先するか否かに応じて、撮像素子１０２が有する撮像素子駆動部により撮像素子１０２の駆動を変化させる。撮像素子駆動部を用いた撮像素子１０２の駆動は、例えば、全画素の出力と、近傍画素との画素加算平均による縮小画像の出力（非特許文献１を参照）との何れかを選択的に行うための撮像素子１０２の駆動等を指す。
本実施形態では、撮像素子１０２から出力され得る最大サイズの画像（等倍画像）に対し、１／４倍の縮小画像を最終的な出力画像として得るものとする。また、本実施形態では、ノイズの低減を優先するか否かの処理動作の切り替えは、撮像素子１０２内の駆動により行う。また、本実施形態の画像処理部１０４の構成は、第１の実施形態と同様のものとする。
【００３１】
図６は、本実施形態の撮像素子１０２と画像処理部１０４の処理動作の概要の一例を説明するフローチャートである。図７は、縮小部における処理の一例を説明する図である。具体的に図７（ａ）は、ノイズの低減を優先させる場合の縮小部における処理の一例を説明する図であり、図７（ｂ）は、ノイズの低減を優先させない場合の縮小部における処理の一例を説明する図である。
まず、ステップＳ６０１において、制御部１０６は、ノイズの低減を優先するか否かを判断する。この判断の結果、ノイズの低減を優先する場合にはステップＳ６０２に進み、ノイズの低減を優先しない場合には後述するステップＳ６０９に進む。
【００３２】
ノイズの低減を優先させる場合、ステップＳ６０２において、撮像素子１０２は、水平方向と垂直方向との双方における画素（画素値）の加算平均を行って、等倍画像のサイズを１／２倍に縮小する。この技術は、非特許文献１に記載された公知の技術で実現できるので、その詳細な説明を省略する。
次に、ステップＳ６０３において、Ａ／Ｄ変換部１０３は、撮像素子１０２から出力されたアナログ信号をデジタル信号に変換する。デジタル信号に変換された画像が画像処理部１０４の入力画像となる。等倍画像のサイズが水平４０９６画素、垂直３０７２画素の場合、画像処理部１０４の入力画像のサイズは、等倍画像の１／２倍である水平２０４８画素、垂直１５３６画素となる。
【００３３】
次に、ステップＳ６０４において、制御部１０６は、縮小率可変縮小部３１１の縮小率を１／２倍に決定する。
次に、ステップＳ６０５において、縮小率可変縮小部３１１は、ステップＳ４０２で決定された縮小率で入力画像を縮小し、階層画像を生成する。また、縮小率固定縮小部３１２、３１３、３１４は、それぞれ、予め定められている固定の縮小率で、縮小率可変縮小部３１１、縮小率固定縮小部３１２、３１３で得られた階層画像を縮小し、階層画像を生成する。
【００３４】
具体的に縮小率可変縮小部３１１は、入力画像に対して１／２倍の縮小を行い、最終的な出力画像と同じサイズの階層画像（第１階層画像７１１ａ）を生成する。続いて縮小率固定縮小部３１２、３１３、３１４は、それぞれ、入力画像（等倍画像）のサイズの１／８倍、１／１６倍、１／３２倍のサイズの階層画像（第２階層画像７１２ａ、第３階層画像７１３ａ、第４階層画像７１４ａ）を生成する。最終的な出力画像のサイズである水平１０２４画素、垂直７６８画素の第１階層画像７１１ａが縮小率可変縮小部３１１から出力される。また、等倍画像のサイズの１／８倍、１／１６倍、１／３２倍のサイズの第２階層画像７１２ａ、第３階層画像７１３ａ、第４階層画像７１４ａがそれぞれ縮小率固定縮小部３１２、３１３、３１４から出力される。図７（ａ）に示す例では、階層数は４であり、最低解像度の画像は水平１２８画素、垂直９６画素の第４階層画像７１４ａとなる。
【００３５】
次に、ステップＳ６０６において、ノイズ低減処理部３４１、３４２、３４３、３４４は、それぞれ、４つの異なる解像度の第１階層画像５１１ａ、第２階層画像５１２ａ、第３階層画像５１３ａ、第４階層画像５１４ａに対してノイズ低減処理を施す。
次に、ステップＳ６０７において、合成部３５１、３５２、３５３は、ステップＳ６０６でノイズ低減処理が施された、第１階層画像７１１ａ、第２階層画像７１２ａ、第３階層画像７１３ａ、第４階層画像７１４ａを１枚の画像に合成する。ステップＳ６０７の処理は、第１の実施形態で説明した図４のステップＳ４０５と同じであるので、ここでは、その詳細な説明を省略する。
次に、ステップＳ６０８において、画像変換部２０４は、ステップＳ６０７で合成された画像を画像変換処理によりＪＰＥＧ等の画像形式に変換し、画像処理部１０４の出力画像として記録部１０５に記録する。
このようにステップＳ６０６〜Ｓ６０８の処理により出力画像生成処理が実行される。
【００３６】
ステップＳ６０１においてノイズの低減を優先しないと判断された場合には、第１の実施形態のノイズの低減を優先しない場合と同様の処理動作を行う。
まず、ステップＳ６０９において、撮像素子１０２内での縮小は行わず、撮像素子１０２は、全画素の出力を行う。
次に、ステップＳ６１０において、Ａ／Ｄ変換部１０３は、撮像素子１０２から出力されたアナログ信号をデジタル信号に変換する。デジタル信号に変換された画像が画像処理部１０４の入力画像となる。画像処理部１０４の入力画像は等倍画像であるため、等倍画像のサイズが水平４０９６画素、垂直３０７２画素の場合、画像処理部１０４の入力画像のサイズは、等倍画像のサイズと同じ水平４０９６画素、垂直３０７２画素となる。
【００３７】
次に、ステップＳ６１１において、制御部１０６は、縮小率可変縮小部３１１の縮小率を１／２倍に決定する。
次に、ステップＳ６１２において、縮小率可変縮小部３１１は、ステップＳ４０７で決定された縮小率で入力画像を縮小し、階層画像を生成する。また、縮小率固定縮小部３１２、３１３、３１４は、それぞれ、予め定められている固定の縮小率で、縮小率可変縮小部３１１、縮小率固定縮小部３１２、３１３で得られた階層画像を縮小し、階層画像を生成する。
【００３８】
具体的に縮小率可変縮小部３１１は、入力画像（等倍画像）に対して１／２倍の縮小を行い、画像７１１ｂを生成する。続いて縮小率固定縮小部３１２は、縮小率可変縮小部３１１で生成された画像に対し１／２倍の縮小を行い、最終的な出力画像と同じサイズの階層画像（第１階層画像７１２ｂ）を生成する。続いて縮小率固定縮小部３１３、３１４は、それぞれ、入力画像（等倍画像）のサイズの１／８倍、１／１６倍のサイズの階層画像（第２階層画像７１３ｂ、第４階層画像７１４ｂ）を生成する。最終的な出力画像のサイズである水平１０２４画素、垂直７６８画素の第１階層画像７１２ｂが縮小率固定縮小部３１２から出力される。また、入力画像（等倍画像）のサイズの１／８倍、１／１６倍のサイズの第２階層画像７１３ｂ、第３階層画像７１４ｂがそれぞれ縮小率固定縮小部３１３、３１４から出力される。図７（ｂ）に示す例では、階層数は３であり、最低解像度の画像は水平２５６画素、垂直１９２画素の第３階層画像７１４ｂとなる。
【００３９】
次に、ステップＳ６１３において、ノイズ低減処理部３４２、３４３、３４４は、それぞれ、３つの異なる解像度の第１階層画像７１２ｂ、第２階層画像７１３ｂ、第３階層画像７１４ｂに対してノイズ低減処理を施す。
次に、ステップＳ６１４において、合成部３５２、３５３は、ステップＳ６１３でノイズ低減処理が施された、第１階層画像７１２ｂ、第２階層画像７１３ｂ、第３階層画像７１４ｂを１枚の画像に合成する。ステップＳ６１４の処理は、第１の実施形態で説明した図４のステップＳ４１０と同じであるので、ここでは、その詳細な説明を省略する。
【００４０】
次に、ステップＳ６１５において、画像変換部２０４は、ステップＳ６１４で合成された画像を画像変換処理によりＪＰＥＧ等の画像形式に変換し、画像処理部１０４の出力画像として記録部１０５に記録する。
このようにステップＳ６１３〜Ｓ６１４の処理により出力画像生成処理が実行される。
尚、縮小率可変縮小部３１１から出力された、入力画像（等倍画像）の１／２倍のサイズの画像７１１ｂは使用されない。このため、ノイズ低減処理部３４１でのノイズ低減処理及び合成部３５１での合成処理は行われず、合成部３５２からの出力画像がそのまま画像変換部２０４へと入力される。
【００４１】
以上のように本実施形態では、ノイズの低減を優先する場合は、等倍画像のサイズに対し１／３２倍の解像度の第４階層画像７１４ａを生成することができる。よって、ノイズの低減を優先しない場合に対し、より低域のノイズ低減処理が可能になる。また、縮小率可変縮小部３１１及び縮小率固定縮小部３１２〜３１４での縮小は１／２倍のみであるため、折返りの少ない階層画像が得られる。
本実施形態の処理動作は、第１の実施形態と同様に、撮影感度に応じて切り替えることができる。高感度での撮影を行った場合には、撮像された画像には多くのノイズが含まれているため、ノイズの低減を優先する処理動作にする。撮像素子１０２内で縮小を行うのは、画素値の加算平均によりノイズを緩和させるということと、縮小率可変縮小部３１１での大きな縮小を避けて折返りを緩和させるという２つの理由がある。
【００４２】
一方、低感度で撮影を行った場合にはノイズの低減を優先せずに、撮像素子１０２に全画素の出力をさせる。これは、撮像素子１０２内での単純な加算平均により必要以上に帯域が落ちてしまうのを防ぐためである。階層画像生成部２０１の画像変換部３００で所定のプレフィルタを用いて同時化を行えば、撮像素子１０２内で単純に加算平均された縮小画像を用いるよりも、帯域の落ちない縮小画像が得られる。よって、ノイズの低減を優先する場合よりも解像感のある画像が得られる。
【００４３】
例えば、解像感を保ちつつノイズの低減を優先させるか否かを切り替えたい場合には、第１の実施形態のような切り替えを行い、折返りが出るのを防ぎつつノイズ低減を優先させるか否かを切り替えたい場合には本実施形態のような切り替えを行えばよい。
また、ノイズの低減を優先するか否かは、前述のように撮影感度によって切り替えてもよいし、ユーザーの操作部１０７からの指示により切り替えてもよい。
【００４４】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００４５】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００４６】
１０１  光学系、１０２  撮像素子、１０４  画像処理部
【図１】
2015041144.tif 000003
【図２】
2015041144.tif 000004
【図３】
2015041144.tif 000005
【図４】
2015041144.tif 000006
【図５】
2015041144.tif 000007
【図６】
2015041144.tif 000008
【図７】
2015041144.tif 000009