(57)【要約】【課題】本発明は、ノイズ低減処理に利用するために記憶する画像信号のデータ量を抑制するとともに、ノイズ低減による効果を得ることができるノイズ低減処理装置及びノイズ低減処理方法を提供することを目的とする。【解決手段】３次元ノイズ低減処理部４０において３次元ノイズ低減処理がなされた画像信号が、電子ズーム部３８によって縮小されて、低解像度画像となる画像信号とされて、フレームメモリ３６に記憶される。そして、このフレームメモリ３６に記憶された画像信号が、電子ズーム部３９によって拡大されて、３次元ノイズ低減処理部４０に与えられることで、外部から入力される高解像度画像となる画像信号と同一の解像度となる画像信号に変換されて、３次元ノイズ低減処理が成される。【選択図】図５
2009100373.tif 000002
【特許請求の範囲】
【請求項１】
取得時間の異なる複数フレームの画像信号を用いて入力フレームとなる第１画像信号のノイズ量を画素毎に検出するノイズ検出部と、前記ノイズ検出部で検出された前記ノイズ量を前記第１画像信号から減算してノイズ低減を行って得られた画像信号を出力フレームとなる第２画像信号として出力する演算部とによって構成される３次元ノイズ低減処理部を備えるノイズ低減処理装置において、
前記３次元ノイズ低減処理部から出力される前記第２画像信号に対して低解像度化処理を施して、低解像度画像信号を生成して出力する第１電子ズーム部と、
前記第１電子ズーム部から出力される前記第２画像信号による低解像度画像信号を記憶するフレームメモリと、
前記フレームメモリに記憶された前記低解像度画像信号となる前記第２画像信号に対して高解像度化処理を施して、過去に得られた前記第２画像信号として、前記３次元ノイズ低減処理部に出力する第２電子ズーム部と、
を備え、
前記３次元ノイズ低減処理部において、前記入力フレームとなる前記第１画像信号と前記第２電子ズーム部より与えられる前記第２画像信号とに基づいて、前記第１画像信号に対して３次元ノイズ低減処理を施すことを特徴とするノイズ低減処理装置。
【請求項２】
取得時間の異なる複数フレームの画像信号を用いて入力フレームとなる第１画像信号のノイズ量を画素毎に検出するノイズ検出部と、前記ノイズ検出部で検出された前記ノイズ量を前記第１画像信号から減算してノイズ低減を行って得られた画像信号を出力フレームとなる第２画像信号として出力する演算部とによって構成される３次元ノイズ低減処理部を備えるノイズ低減処理装置において、
前記第１画像信号に対して低解像度処理を施して、前記第１画像信号を低解像度画像信号として前記３次元ノイズ低減処理部に出力する第１電子ズーム部と、
前記３次元ノイズ低減処理部より出力された前記第２画像信号を前記低解像度画像信号のままで記憶するとともに、記憶した前記第２画像信号を過去に得られた前記第２画像信号として前記３次元ノイズ低減処理部に出力するフレームメモリと、
前記３次元ノイズ低減処理部より出力された前記低解像度画像信号となる前記第２画像信号に対して高解像度化処理を施して、ノイズ低減後の現フレームの画像信号として出力する第２電子ズーム部と、
を備え、
前記３次元ノイズ低減処理部において、前記第１電子ズーム部より与えられる前記第１画像信号と前記フレームメモリより与えられる前記第２画像信号とに基づいて、前記第１画像信号に対して３次元ノイズ低減処理を施すことを特徴とするノイズ低減処理装置。
【請求項３】
前記第１画像信号のエッジ部分の判定を行う基準となるエッジ量を算出するエッジ算出部を備え、
前記演算部が、前記エッジ算出部で算出された前記エッジ量の大小に基づいて、前記第１画像信号のノイズ量を調整して、前記第１画像信号から減算することを特徴とする請求項１又は請求項２に記載のノイズ低減処理装置。
【請求項４】
前記３次元ノイズ低減処理部が、
前記エッジ算出部で算出された前記エッジ量が大きくなるときに、前記ノイズ検出部において検出されるノイズ量を小さくする第１演算式のパラメータを算出するノイズ検出用パラメータ算出部を備えることを特徴とする請求項３に記載のノイズ低減処理装置。
【請求項５】
前記３次元ノイズ低減処理部が、
複数フレームとなる前記第１及び第２画像信号より前記第１画像信号における動き量を画素毎に検出する動き量検出部と、
前記エッジ算出部で算出された前記エッジ量が大きくなるときに、前記動き量検出部において検出される動き量を大きくする第２演算式のパラメータを算出する動き量設定用パラメータ算出部と、
を備えることを特徴とする請求項３又は請求項４に記載のノイズ低減処理装置。
【請求項６】
装置外部より入力された前記第１画像信号の２次元空間におけるノイズ量を検出して、当該ノイズ量を抑制する２次元ノイズ低減部と、
前記２次元ノイズ低減部でノイズ低減が成されて出力される第３画像信号と、前記３次元ノイズ低減部でノイズ低減が成されるとともに前記第３画像信号と同一の解像度で出力される前記第２画像信号と、を加重加算処理して、ノイズ低減が成された画像信号を取得して出力する加重加算処理部と、
を備えることを特徴とする請求項１〜請求項５のいずれかに記載のノイズ低減処理装置。
【請求項７】
撮像された複数フレームとなる画像による画像信号が与えられるとともに、該画像信号のノイズを低減するノイズ低減処理部を備えた撮像装置において、
前記ノイズ低減処理部として、請求項１〜請求項６のいずれかに記載のノイズ低減処理装置を備え、入力フレームを含む複数フレームの画像信号により入力フレームとなる第１画像信号のノイズを低減することを特徴とする撮像装置。
【請求項８】
取得時間の異なる複数フレームの画像信号を用いて入力フレームとなる第１画像信号のノイズ量を画素毎に検出するノイズ検出ステップと、前記ノイズ検出ステップで検出された前記ノイズ量を前記第１画像信号から減算してノイズ低減を行って得られた画像信号を出力フレームとなる第２画像信号として出力する演算ステップと、を備えるノイズ低減処理方法において、
前記演算ステップで得られた前記第２画像信号に対して低解像度化処理を施して、低解像度画像信号を生成して出力する低解像度化処理ステップと、
前記低解像度化処理ステップで得られた前記第２画像信号による低解像度画像信号をフレームメモリに記憶する記憶ステップと、
前記フレームメモリに記憶された前記低解像度画像信号となる前記第２画像信号に対して高解像度化処理を施して、過去に得られた前記第２画像信号として出力する高解像度化処理ステップと、
を備え、
前記ノイズ検出ステップ及び前記演算ステップにおいて、前記第１及び第２画像信号を入力フレーム時の解像度となる画像信号として３次元ノイズ低減処理を施すことを特徴とするノイズ低減処理方法。
【請求項９】
取得時間の異なる複数フレームの画像信号を用いて入力フレームとなる第１画像信号のノイズ量を画素毎に検出するノイズ検出ステップと、前記ノイズ検出ステップで検出された前記ノイズ量を前記第１画像信号から減算してノイズ低減を行って得られた画像信号を出力フレームとなる第２画像信号として出力する演算ステップと、を備えるノイズ低減処理方法において、
前記第１画像信号に対して低解像度処理を施して、前記第１画像信号を低解像度画像信号とする低解像度化処理ステップと、
前記演算ステップで得られたノイズ低減が成された前記低解像度画像信号となる前記第２画像信号をフレームメモリに記憶する記憶ステップと、
前記演算ステップで得られたノイズ低減が成された前記低解像度画像信号となる前記第２画像信号に対して高解像度化処理を施して、入力フレーム時の解像度となる画像信号として出力する高解像度化処理ステップと、
を備え、
前記ノイズ検出ステップ及び前記演算ステップにおいて、前記第１及び第２画像信号を低解像画像として３次元ノイズ低減処理を施すことを特徴とするノイズ低減処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のフレームによって構成される動画像のノイズを低減するノイズ低減処理装置及びノイズ低減処理方法に関するもので、特に、時系列に連続した複数フレームによりノイズ検出する３次元ノイズ低減処理を行うノイズ低減処理装置及びノイズ低減処理方法に関する。又、本発明は、このノイズ低減処理装置を備えた電子機器に関する。
【背景技術】
【０００２】
近年、各種デジタル技術の発展に伴い、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子によってデジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置や、デジタル画像を表示する液晶ディスプレイやプラズマテレビなどといった表示装置が広く普及しつつある。そして、このような撮像装置や表示装置における、複数のフレームによって構成される動画像のノイズを低減するための、各種のノイズ低減技術が提案されている。
【０００３】
このノイズ低減技術の１つとして、１フレームの画像でノイズ低減を行う２次元ノイズ低減処理が挙げられる。この２次元ノイズ低減処理では、１フレームの画像に対して、空間的なローパスフィルタを作用させて、注目画素と周辺画素との画素値を平滑化することで、対象フレームにおけるノイズを低減する。この２次元ノイズ低減処理では、１フレーム内でのノイズ低減処理であるため、周辺画素の画素値による影響を受け、画像がぼけるという欠点がある。それに対して、時間的に連続する２つのフレームの信号を加算することによって時間的なローパスフィルタを作用させ、ノイズを低減しようとする３次元ノイズ低減処理が、別のノイズ低減技術として用いられている。
【０００４】
この３次元ノイズ低減処理を行う従来の３次元ノイズ低減処理装置について、その構成を図２２に示す。図２２に示すように、従来の３次元ノイズ低減処理装置は、固体撮像素子で取得された現フレームの画像信号と１フレーム前の画像信号とを比較することでノイズを検出するノイズ検出部３１と、現フレーム及び１フレーム前の２フレーム間の画像信号を比較することで動き量を検出する動き検出部３２と、動き検出部３２で検出された動き量に基づいて帰還係数を設定する帰還係数算出部３３と、帰還係数算出部３３からの帰還係数をノイズ検出部３１で得られたノイズに乗算する乗算部３４と、固体撮像素子で取得された現フレームの画像信号より乗算部３４で得られたノイズを減算する減算部３５と、減算部３５でノイズ除去された１フレーム分の画像信号を一時的に格納するフレームメモリ３６と、備える。
【０００５】
このように構成される従来の３次元ノイズ低減処理装置は、現フレームとなる画像信号が入力されると、ノイズ検出部３１において、フレームメモリ３６に格納された１フレーム前の画像信号との差分が求められ、この差分に基づいてノイズ量が検出される。又、動き量検出部３２において、現フレームと１フレーム前の画像信号間における被写体の動き量を検出する。そして、動き量が大きいときに帰還係数の値が小さくなるように、帰還係数算出部３３で帰還係数の値が算出され、乗算部３４に与えられる。
【０００６】
よって、乗算部３４では、ノイズ検出部３１で得られたノイズに、帰還係数算出部３３で算出された帰還係数を乗算することで、現フレームと１フレーム前の画像信号間で確認される真のノイズを算出して、減算部３５に与える。これにより、減算部３５では、現フレームの画像信号から、乗算部３４により求められたノイズを減算することで、ノイズ低減された現フレームの画像信号を出力する。このようにノイズ低減された現フレームの画像信号は、３次元ノイズ低減処理装置の後段に出力されるとともに、フレームメモリ３６に与えられて、次のフレームの画像信号のノイズ低減のために一時的に格納される。
【０００７】
又、このような３次元ノイズ低減処理を行う撮像装置において、静止画撮影及び動画撮影を行い、更に、静止画撮影におけるノイズの低減を効率よく行うことのできるものが提案されている（特許文献１参照）。特許文献１の撮像装置では、輝度信号及び色差信号を生成するマトリクス処理前のＲＧＢ信号に対して、上述の３次元ノイズ低減を行う。そして、３次元ノイズ低減処理が成されたＲＧＢ信号に対してマトリクス処理を施すとき、静止画像撮影時の方が動画撮影時よりも輝度信号の画素数を多くすることで、高品位で高精細な画像を取得できるものとしている。
【特許文献１】特開２００３−０１８４７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、図２２の３次元ノイズ低減処理装置や特許文献１の撮像装置における３次元ノイズ低減処理では、処理をするための１フレーム前の画像信号として、処理対象フレーム（現フレーム）の画像信号と同一解像度の画像信号が必要である。即ち、固体撮像素子から取得された画像信号をフレームメモリに記憶するため、固体撮像素子の画素数に応じたメモリ量のフレームメモリが必要となる。
【０００９】
よって、従来の３次元ノイズ低減処理装置によると、高精細な画像となる画像信号を取得するために、固体撮像素子を解像度の高いものとすると、フレームメモリに記憶する１フレーム前の画像信号の解像度も高くする必要があり、そのデータ量が大きくなる。これにより、１フレーム前の画像信号を記憶するフレームメモリのメモリ容量が増大するだけでなく、３次元ノイズ低減処理装置においてフレームメモリと各ブロックとの間でデータを転送するためのデータ転送量が増大する。その結果、装置が大型化するだけでなく、３次元ノイズ低減処理における消費電力も大きくなる。
【００１０】
上記の問題を鑑みて、本発明は、ノイズ低減処理に利用するために記憶する画像信号のデータ量を抑制するとともに、ノイズ低減による効果を得ることができるノイズ低減処理装置及びノイズ低減処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明のノイズ低減処理装置は、取得時間の異なる複数フレームの画像信号を用いて入力フレームとなる第１画像信号のノイズ量を画素毎に検出するノイズ検出部と、前記ノイズ検出部で検出された前記ノイズ量を前記第１画像信号から減算してノイズ低減を行って得られた画像信号を出力フレームとなる第２画像信号として出力する演算部とによって構成される３次元ノイズ低減処理部を備えるノイズ低減処理装置において、前記３次元ノイズ低減処理部から出力される前記第２画像信号に対して低解像度化処理を施して、低解像度画像信号を生成して出力する第１電子ズーム部と、前記第１電子ズーム部から出力される前記第２画像信号による低解像度画像信号を記憶するフレームメモリと、前記フレームメモリに記憶された前記低解像度画像信号となる前記第２画像信号に対して高解像度化処理を施して、過去に得られた前記第２画像信号として、前記３次元ノイズ低減処理部に出力する第２電子ズーム部と、を備え、前記３次元ノイズ低減処理部において、前記入力フレームとなる前記第１画像信号と前記第２電子ズーム部より与えられる前記第２画像信号とに基づいて、前記第１画像信号に対して３次元ノイズ低減処理を施すことを特徴とする。
【００１２】
又、本発明のノイズ低減処理装置は、取得時間の異なる複数フレームの画像信号を用いて入力フレームとなる第１画像信号のノイズ量を画素毎に検出するノイズ検出部と、前記ノイズ検出部で検出された前記ノイズ量を前記第１画像信号から減算してノイズ低減を行って得られた画像信号を出力フレームとなる第２画像信号として出力する演算部とによって構成される３次元ノイズ低減処理部を備えるノイズ低減処理装置において、前記第１画像信号に対して低解像度処理を施して、前記第１画像信号を低解像度画像信号として前記３次元ノイズ低減処理部に出力する第１電子ズーム部と、前記３次元ノイズ低減処理部より出力された前記第２画像信号を前記低解像度画像信号のままで記憶するとともに、記憶した前記第２画像信号を過去に得られた前記第２画像信号として前記３次元ノイズ低減処理部に出力するフレームメモリと、前記３次元ノイズ低減処理部より出力された前記低解像度画像信号となる前記第２画像信号に対して高解像度化処理を施して、ノイズ低減後の現フレームの画像信号として出力する第２電子ズーム部と、を備え、前記３次元ノイズ低減処理部において、前記第１電子ズーム部より与えられる前記第１画像信号と前記フレームメモリより与えられる前記第２画像信号とに基づいて、前記第１画像信号に対して３次元ノイズ低減処理を施すことを特徴とする。
【００１３】
そして、前記第１画像信号のエッジ部分の判定を行う基準となるエッジ量を算出するエッジ算出部を備え、前記演算部が、前記エッジ算出部で算出された前記エッジ量の大小に基づいて、前記第１画像信号のノイズ量を調整して、前記第１画像信号から減算する。
【００１４】
このとき、前記３次元ノイズ低減処理部が、前記エッジ算出部で算出された前記エッジ量が大きくなるときに、前記ノイズ検出部において検出されるノイズ量を小さくする第１演算式のパラメータを算出するノイズ検出用パラメータ算出部を備えるものとしても構わない。尚、前記ノイズ検出用パラメータ算出部は、以下における「ノイズ検出用閾値算出部」に相当する。
【００１５】
更に、前記３次元ノイズ低減処理部が、複数フレームとなる前記第１及び第２画像信号より前記第１画像信号における動き量を画素毎に検出する動き量検出部と、前記エッジ算出部で算出された前記エッジ量が大きくなるときに、前記動き量検出部において検出される動き量を大きくする第２演算式のパラメータを算出する動き量設定用パラメータ算出部と、を備えるものとしても構わない。尚、前記動き量設定用パラメータ算出部は、以下における「帰還係数算出用閾値算出部」に相当する。
【００１６】
上述のノイズ低減処理装置において、装置外部より入力された前記第１画像信号の２次元空間におけるノイズ量を検出して、当該ノイズ量を抑制する２次元ノイズ低減部と、前記２次元ノイズ低減部でノイズ低減が成されて出力される第３画像信号と、前記３次元ノイズ低減部でノイズ低減が成されるとともに前記第３画像信号と同一の解像度で出力される前記第２画像信号と、を加重加算処理して、ノイズ低減が成された画像信号を取得して出力する加重加算処理部と、を備えるものとしても構わない。
【００１７】
そして、前記加重加算部が、前記動き量検出部で検出された前記動き量が大きくなるときに、前記第３画像信号に乗算する加重加算係数を、前記第２画像信号に乗算する加重加算係数よりも大きい値とするものとしても構わない。
【００１８】
又、前記第１画像信号のエッジ部分の判定を行う基準となるエッジ量を算出するエッジ算出部を備え、前記加重加算部が、前記エッジ算出部で算出された前記エッジ量が大きくなるときに、前記第３画像信号に乗算する加重加算係数を、前記第２画像信号に乗算する加重加算係数よりも大きい値とするものとしても構わない。
【００１９】
更に、前記加重加算部が、前記第２電子ズーム部でのズーム倍率が大きくなったときに、前記第３画像信号に乗算する加重加算係数を、前記第２画像信号に乗算する加重加算係数よりも大きい値とするものとしても構わない。
【００２０】
本発明の撮像装置は、撮像された複数フレームとなる画像による画像信号が与えられるとともに、該画像信号のノイズを低減するノイズ低減処理部を備えた撮像装置において、前記ノイズ低減処理部として、上述のいずれかのノイズ低減処理装置を備え、入力フレームを含む複数フレームの画像信号により現フレームの画像信号のノイズを低減することを特徴とする。
【００２１】
本発明のノイズ低減処理方法は、取得時間の異なる複数フレームの画像信号を用いて入力フレームとなる第１画像信号のノイズ量を画素毎に検出するノイズ検出ステップと、前記ノイズ検出ステップで検出された前記ノイズ量を前記第１画像信号から減算してノイズ低減を行って得られた画像信号を出力フレームとなる第２画像信号として出力する演算ステップと、を備えるノイズ低減処理方法において、前記演算ステップで得られた前記第２画像信号に対して低解像度化処理を施して、低解像度画像信号を生成して出力する低解像度化処理ステップと、前記低解像度化処理ステップで得られた前記第２画像信号による低解像度画像信号をフレームメモリに記憶する記憶ステップと、前記フレームメモリに記憶された前記低解像度画像信号となる前記第２画像信号に対して高解像度化処理を施して、過去に得られた前記第２画像信号として出力する高解像度化処理ステップと、を備え、前記ノイズ検出ステップ及び前記演算ステップにおいて、前記第１及び第２画像信号を入力フレーム時の解像度となる画像信号として３次元ノイズ低減処理を施すことを特徴とする。
【００２２】
又、本発明のノイズ低減処理方法は、取得時間の異なる複数フレームの画像信号を用いて入力フレームとなる第１画像信号のノイズ量を画素毎に検出するノイズ検出ステップと、前記ノイズ検出ステップで検出された前記ノイズ量を前記第１画像信号から減算してノイズ低減を行って得られた画像信号を出力フレームとなる第２画像信号として出力する演算ステップと、を備えるノイズ低減処理方法において、前記第１画像信号に対して低解像度処理を施して、前記第１画像信号を低解像度画像信号とする低解像度化処理ステップと、前記演算ステップで得られたノイズ低減が成された前記低解像度画像信号となる前記第２画像信号をフレームメモリに記憶する記憶ステップと、前記演算ステップで得られたノイズ低減が成された前記低解像度画像信号となる前記第２画像信号に対して高解像度化処理を施して、入力フレーム時の解像度となる画像信号として出力する高解像度化処理ステップと、を備え、前記ノイズ検出ステップ及び前記演算ステップにおいて、前記第１及び第２画像信号を低解像画像として３次元ノイズ低減処理を施すことを特徴とする。
【発明の効果】
【００２３】
本発明によると、フレームメモリが、３次元ノイズ低減処理部でノイズ低減が成されるとともに低解像度画像となる画像信号を記憶するため、フレームメモリに記憶するデータ量を抑制するとともに、フレームメモリからのデータ転送量を低減することができる。これにより、フレームメモリを小さくすることができ、装置の小型化を図ることができるとともに、データ転送量の低減により、消費電力を抑制することができる。
【発明を実施するための最良の形態】
【００２４】
本発明の実施の形態について、図面を参照して説明する。なお、以下では、本発明における画像処理装置（以下では、「画像処理部」に含まれる）を備えたデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて説明する。
【００２５】
（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。
【００２６】
図１の撮像装置は、アナログ信号である画像信号を出力する撮像部１と、撮像部１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog FrontEnd）２と、外部から入力された音声を電気信号に変換するマイク３と、ＡＦＥ２からのデジタル信号となる画像信号に対してノイズ低減処理などを含む各種画像処理を施す画像処理部４と、マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と、画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部６と、圧縮処理部６で圧縮符号化された圧縮符号化信号を外部メモリ２０に記録するドライバ部７と、ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と、伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ９と、伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と、音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ１１と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するＴＧ（Timing Generator）１２と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と、ユーザからの指示が入力される操作部１５と、メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１６と、ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１７と、を備える。
【００２７】
（１）動画撮影動作
この撮像装置において、動画撮影動作を行うことが操作部１５によって指示されると、撮像部１内のイメージセンサの光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、撮像部１内のイメージセンサでは、タイミングジェネレータ１２からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号となる画像信号がデジタル信号に変換されて、画像処理部４に入力されると、輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施される。
【００２８】
又、この画像処理部４では、操作部１５によってデジタルズームにより、撮像部１より得られた画像信号の高解像度化が求められると、撮像部１からの複数フレーム分の画像信号に基づくノイズ低減処理が施される。更に、このノイズ低減処理が成された画像信号に基づいて、輝度信号及び色差信号が生成される。又、ノイズ低減処理が施されるために、後述するが、複数フレームの画像信号の動き量が算出され、その動き量に応じて各フレームの位置合わせが行われる。
【００２９】
そして、画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。又、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部９に与えられて、現在、撮像部１を通じて撮影されている被写体画像が表示される。
【００３０】
（２）静止画撮影動作
静止画撮影が指示された場合においても、動画撮影が指示された場合と異なり、マイク３による音声信号の取得がなく、画像信号のみの圧縮信号が圧縮処理部６においてＪＰＥＧ（Joint Photographic Experts Group）圧縮符号方式などの圧縮符号方式によって得られ、外部メモリ２０に記録されるだけとなり、その基本動作については動画撮影時の動作と同様である。又、この静止画撮影の場合、操作部１５によって撮影された静止画像に対する圧縮信号が外部メモリ２０に記録されるだけでなく、撮像部１によって撮影されている現時点の画像に対する圧縮信号も外部メモリ２０にスルー画像として一時的に記録される。
【００３１】
これにより、現在撮影されている画像に対する圧縮信号が伸長処理部８で伸長されることで、撮像部１によって撮影されている現時点の画像がディスプレイ部９に表示され、ユーザが確認することができる。このように、操作部１５によるシャッタ動作により静止画像の撮像が成される前に、このディスプレイ部９に表示させるためにスルー画像を構成する画像信号が取得される。このスルー画像を構成する画像信号は、シャッタ動作後に取得される静止画像の画像信号に比べて、その解像度が低い画像信号によって構成される。
【００３２】
スルー画像を構成する画像信号は、撮像部１内のイメージセンサで取得された画像信号が加算平均されることで、シャッタ動作後に取得される静止画像の画像信号よりも、その解像度が低い画像信号となる。このスルー画像となる画像信号の生成について、図２を参照して簡単に説明する。図２（ａ）に示すように、撮像部１内のイメージセンサは、ＲＧＢの原色フィルタを備えることによって、ＲＧＢの原色による画像信号がＡＦＥ２に出力されることとなる。そして、撮像部１内のイメージセンサに設けられるＲＧＢの原色フィルタは、水平及び垂直方向それぞれに２画素×２画素となる４画素において、対角線上に並んだ２画素にＧフィルタが設置され、残りの２画素には、Ｒフィルタ及びＢフィルタが設置される。
【００３３】
垂直方向及び水平方向それぞれに４画素×８画素で配列されたときのＲＧＢによる原色フィルタの配列を、図２（ａ）に図示する。そして、１行目に、Ｇフィルタが設置された画素ＧＲ１〜ＧＲ４とＲフィルタが設置された画素Ｒ１〜Ｒ４とが、水平方向に交互に配列され、２行目に、Ｂフィルタが設置された画素Ｂ１〜Ｂ４とＧフィルタが設置された画素ＧＢ１〜ＧＢ４とが、水平方向に交互に配列され、３行目に、Ｇフィルタが設置された画素ＧＲ５〜ＧＲ８とＲフィルタが設置された画素Ｒ５〜Ｒ８とが、水平方向に交互に配列され、４行目に、Ｂフィルタが設置された画素Ｂ５〜Ｂ８とＧフィルタが設置された画素ＧＢ５〜ＧＢ８とが、水平方向に交互に配列される。
【００３４】
撮像部１内のイメージセンサにおいて、この図２（ａ）のように、ＲＧＢの原色フィルタが設置された各画素が配列されると、スルー画像となる画像信号が、同一の色フィルタによる画素の画像信号が水平及び垂直方向に２画素×２画素毎に平均化される。即ち、図２（ｂ）に示すように、画素ＧＲ１，ＧＲ２，ＧＲ５，ＧＲ６の４画素の画素値を加算平均して、スルー画像における画素ＧＲ１ａの画素値が、画素ＧＢ１，ＧＢ２，ＧＢ５，ＧＢ６の４画素の画素値を加算平均して、スルー画像における画素ＧＢ１ａの画素値が、画素Ｒ１，Ｒ２，Ｒ５，Ｒ６の４画素の画素値を加算平均して、スルー画像における画素Ｒ１ａの画素値が、画素Ｂ１，Ｂ２，Ｂ５，Ｂ６の４画素の画素値を加算平均して、スルー画像における画素Ｂ１ａの画素値が、それぞれ算出される。
【００３５】
図２（ｂ）のように、同一の色フィルタによる４画素を加算平均することで、図２（ａ）のような４画素×８画素による画像信号を、図２（ｃ）に示すように、２画素×４画素のスルー画像となる画像信号に変換する。即ち、図２（ｃ）に示すスルー画像では、図２（ａ）により同一の色信号となる４画素により加算平均され、１行目に、Ｇ信号となる画素ＧＲ１ａ，ＧＲ２ａとＲ信号となる画素Ｒ１ａ，Ｒ２ａとが交互に配列し、Ｂ信号となる画素Ｂ１ａ，Ｂ２ａとＧ信号となる画素ＧＢ１ａ，ＧＢ２ａとが交互に配列することとなる。
【００３６】
このようにして、ディスプレイ部９においてスルー画像による低解像度画像が表示されているとき、上述の加算平均は、ＡＦＥ２でデジタル信号に変換された画像信号に対して行われるものであっても構わないし、撮像部１内のイメージセンサから出力される画像信号に対して直接行われるものであっても構わない。そして、操作部１５によるシャッタ動作が行われると、スルー画像を生成するための加算平均処理が停止して、撮像部１内のイメージセンサの解像度と同一の高解像度画像となる画像信号が画像処理部４に与えられる。よって、ドライバ部７によって、外部メモリ２０に高解像度画像となる画像信号を静止画像として記憶される。
【００３７】
上述のように、静止画像及び動画それぞれに対する撮像動作を行うとき、タイミングジェネレータ１２によって、ＡＦＥ２、画像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、撮像部１内のイメージセンサによる１フレームごとの撮像動作に同期した動作が行われる。又、静止画撮影のときは、操作部１５によるシャッタ動作に基づいて、タイミングジェネレータ１２より、撮像部１、ＡＦＥ２、画像処理部４、及び、圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させる。
【００３８】
（３）動画又は静止画像の再生
又、外部メモリ２０に記録された動画又は静止画像を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、動画の場合は、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ部１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。
【００３９】
又、静止画像の場合は、伸長処理部８において、ＪＰＥＧ圧縮符号方式に基づいて伸長復号されて、画像信号が取得される。そして、画像信号がディスプレイ部９に与えられて画像が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく静止画像が再生される。
【００４０】
（４）電子ズーム処理
図１のように構成される撮像装置において、以下の各実施形態では、画像処理部４におけるノイズ低減処理に特徴を備える。又、以下の各実施形態において説明するノイズ低減処理を行う画像処理部４では、ＡＦＥ２から取得される画像信号による画角を演算により変換する電子ズーム処理を行う。以下の各実施形態で共通となる電子ズーム処理についても、以下に簡単に説明する。
【００４１】
画像処理部４内における、電子ズーム処理を行う電子ズーム部５０は、図３に示すように、バス１７を介してＣＰＵ１３から信号が入力されて各ブロックに制御信号を出力するタイミング信号発生回路５０１と、電子ズーム処理を行う対象となる画像信号をフレームメモリ３６より読み出すためのアドレス値を算出するアドレス計算部５０２と、フレームメモリ３６より読み出された画像信号を一時記憶するリードバッファ５０３と、電子ズーム処理を行う対象となる画像信号に対する補間係数を生成する補間係数生成部５０４と、補間係数生成部５０４で生成された補間係数によってリードバッファ５０３に一時記憶された画像信号に対する補間値を算出する補間値生成部５０５と、を有している。
【００４２】
この図３に示す構成の電子ズーム部５０による、電子ズーム処理の動作の概略について説明する。電子ズーム部５０は、フレームメモリ３６より入力された信号に対して、バス１７を介してＣＰＵ１３から入力されたズーム倍率α及び中心座標（Ｘｃ、Ｙｃ）に基づく電子ズーム処理を施し、得られた電子ズーム後信号をノイズ検出部３１及び動き検出部３２に出力するものである。
【００４３】
具体的には、電子ズーム部５０においては、まず、タイミング信号発生回路５０１に、バス１７を介してＣＰＵ１３より、ズーム倍率α及び中心座標（Ｘｃ、Ｙｃ）が入力される。すると、タイミング信号発生回路５０１は、アドレス計算部５０２に、各座標（ｘ、ｙ）における電子ズーム処理後の信号値を求める指令を出力する。よって、アドレス計算部５０２は、座標（ｘ、ｙ）、ズーム倍率α、及び中心座標（Ｘｃ、Ｙｃ）から、以下の（１）式によって（Ｘａｄ、Ｙａｄ）を計算する。
【００４４】
【数１】
2009100373.tif 000003
【００４５】
そして、アドレス計算部５０２では、（[Ｘａｄ]、[Ｙａｄ]）、（[Ｘａｄ＋１]、[Ｙａｄ]）、（[Ｘａｄ]、[Ｙａｄ＋１]）、（[Ｘａｄ＋１]、[Ｙａｄ＋１]）のそれぞれの信号値が記憶されているフレームメモリ３６のアドレスを計算し、このアドレスを表す値をフレームメモリ３６に出力する。また、Ｘａｄ及びＹａｄの各値を、補間係数生成部５０４に出力する。尚、ここで、[]はガウス記号であることとする。
【００４６】
フレームメモリ３６は、アドレス計算部５０２で算出されたアドレスを表す値が与えられると、記憶しているフレームにおける、（[Ｘａｄ]、[Ｙａｄ]）、（[Ｘａｄ＋１]、[Ｙａｄ]）、（[Ｘａｄ]、[Ｙａｄ＋１]）、（[Ｘａｄ＋１]、[Ｙａｄ＋１]）のそれぞれの画素値となる信号値を、リードバッファ５０３に出力する。リードバッファ５０３では、フレームメモリ３６から読み出された、（[Ｘａｄ]、[Ｙａｄ]）、（[Ｘａｄ＋１]、[Ｙａｄ]）、（[Ｘａｄ]、[Ｙａｄ＋１]）、（[Ｘａｄ＋１]、[Ｙａｄ＋１]）のそれぞれの信号値を、一時的に記憶する。
【００４７】
又、補間係数生成部５０４は、アドレス計算部５０２で算出されたアドレスＸａｄ，Ｙａｄが与えられると、（[Ｘａｄ]、[Ｙａｄ]）、（[Ｘａｄ＋１]、[Ｙａｄ]）、（[Ｘａｄ]、[Ｙａｄ＋１]）、（[Ｘａｄ＋１]、[Ｙａｄ＋１]）の各座標の信号値の重み係数を、例えば、線形補間法によって算出する。そして、補間値生成部５０５は、リードバッファ５０３より入力された（[Ｘａｄ]、[Ｙａｄ]）、（[Ｘａｄ＋１]、[Ｙａｄ]）、（[Ｘａｄ]、[Ｙａｄ＋１]）、（[Ｘａｄ＋１]、[Ｙａｄ＋１]）のそれぞれの画素値となる信号値を、補間係数生成部５０４より入力された重み係数によって重み付け加算し、得られた電子ズーム処理後の座標（ｘ、ｙ）の画素値となる信号値を出力する。
【００４８】
次に、この電子ズーム部５０の動作例について、図４を用いて説明する。ここで、図４（ａ）においては、電子ズーム部５０に入力される画像信号に対応する三角形ＰＱＲがｘ−ｙ座標とともに表され、図４（ｂ）においては、図４（ａ）の画像が電子ズーム部５０によって倍率α＝２、中心座標（Ｘｃ、Ｙｃ）＝（２、２）で電子ズーム処理された後の画像信号に対応する三角形Ｐ１Ｑ１Ｒ１がｘ−ｙ座標とともに表されている。ここで、点Ｐの座標は（１、１）、点Ｑの座標は（３、１）、点Ｒの座標は（１、３）、点Ｐ１の座標は（０、０）、点Ｑ１の座標は（４、０）、点Ｒ１の座標は（０、４）である。
【００４９】
ここで、この電子ズーム処理は、上述の（１）式に基づいてなされる。つまり、上述の（１）式において、α＝２、（Ｘｃ、Ｙｃ）＝（２、２）とした上で、（ｘ、ｙ）を点Ｐ１の座標に対応させて（０、０）とすると、得られる（Ｘａｄ、Ｙａｄ）は点Ｐの座標に対応した（１、１）となる。また、（ｘ、ｙ）を点Ｑ１の座標に対応させて（４、０）とすると、得られる（Ｘａｄ、Ｙａｄ）は点Ｑの座標に対応した（３、１）となる。そして、（ｘ、ｙ）を点Ｒ１の座標に対応させて（０、４）とすると、得られる（Ｘａｄ、Ｙａｄ）は点Ｒの座標に対応した（１、３）となる。
【００５０】
尚、以下の各実施形態では、このように動作宇する電子ズーム部５０が、ノイズ低減処理を行うために構成されるものとしたが、光学ズームの倍率を補う目的で備えられるものとして、利用されるものとしても構わない。これにより、光学ズームによる高倍率撮影を行う際、光学系の複雑化や大型化などの問題の発生を防止することができる。即ち、撮像部１において、光学系のズーム機能として、フォーカスレンズとズームレンズとを備えるとき、倍率を高くして、フォーカスレンズとズームレンズとの距離が限界値となる場合（光学ズーム倍率の限界値となる場合）、この電子ズーム部５０を用いることで、更に高倍率な撮影を行うことができる。
【００５１】
以下では、このような電子ズーム部５０を共通の構成として備える撮像装置の各実施形態について説明するが、上述の構成及び動作については、各実施形態で共通となるため、その詳細な説明は省略する。よって、以下の各実施形態においては、画像処理部４におけるノイズ低減処理部の構成とその動作について、詳細に説明する。
【００５２】
＜第１の実施形態＞
本発明の第１の実施形態について、図面を参照して説明する。図５は、本実施形態の撮像装置における画像処理部内に設けられるノイズ低減処理部の構成を示すブロック図である。尚、本実施形態を含む以下の実施形態で説明するノイズ低減処理部は、［特許請求の範囲］におけるノイズ低減処理装置に相当する。
【００５３】
そして、図５に示すノイズ低減処理部３０は、図２２に示す３次元ノイズ低減処理装置の構成に更に、現フレームの画像信号における３次元ノイズ低減処理の対象となる注目画素のエッジ量を算出するエッジ量検出部３７と、減算部３５によってノイズが除去された画像信号を縮小（低解像度化）してフレームメモリ３６に出力する電子ズーム部３８と、フレームメモリ３６に記憶された画像信号を拡大（高解像度化）して出力する電子ズーム部３９と、を追加した構成となる。尚、ノイズ検出部３１、動き量検出部３２、帰還係数算出部３３、乗算部３４、減算部３５、及び、エッジ量検出部３７によって、３次元ノイズ低減処理部４０が構成される。
【００５４】
このように構成されるノイズ低減処理部３０では、３次元ノイズ低減処理部４０に対して、画像処理部４内におけるノイズ低減処理部３０よりも前段の回路又はＡＦＥ２より与えられる現フレームの画像信号と、フレームメモリ３６に一時的に格納されている１フレーム前の画像信号とが入力される。尚、１フレーム前の画像信号は、図２２の構成の３次元ノイズ低減装置と異なり、現フレームの画像信号よりも低解像度の画像となるため、電子ズーム部３９で拡大される。
【００５５】
そして、この現フレーム及び１フレーム前それぞれの画像信号は、図２２の構成の３次元ノイズ低減処理装置と同様、ノイズ検出部３１及び動き量検出部３２に入力されるとともに、新たに追加された構成となるエッジ量検出部３７にも入力される。尚、以下の説明において、画像処理部４内におけるノイズ低減処理部３０よりも前段の回路又はＡＦＥ２からの画像信号について、単に、「外部からの画像信号」と呼ぶものとする。
【００５６】
１．ノイズ検出
まず、ノイズ検出部３１におけるノイズの検出動作について説明する。ノイズ検出部３１では、まず、外部より入力された現フレームの画像信号から、フレームメモリ３６より読み出された１フレーム前の画像信号を減算することによって、各画素の差分信号値ｘを求める。そして、算出した各画素の差分信号値ｘに基づいて、ノイズ検出値Ｎ＝ｆ（ｘ）を算出し、このノイズ検出値Ｎを乗算部３４に出力する。ここで、関数ｆ（ｘ）としては、例えば、図６のような関係となる以下の（２）式に示されるような関数が用いられる。
【００５７】
【数２】
2009100373.tif 000004
【００５８】
上記（２）式に示される関数ｆ（ｘ）（図６参照）は、各画素の差分信号値ｘの絶対値が閾値ｔｈ（ｔｈ＞０）を超える場合にはノイズ検出値Ｎ（＝ｆ（ｘ））を抑えるものであり、これによって動き部分を誤ってノイズと検出してしまう誤動作を防止できる。又、差分信号値ｘ及びノイズ検出値Ｎについては、注目画素毎に、現フレーム及び１フレーム前の画像信号が与えられて算出される。更に、ノイズ検出値Ｎを算出するためのパラメータとなる閾値ｔｈが、エッジ量検出部３７において、注目画素に対して検出されたエッジ量より算出される。このエッジ量検出部３７での動作の詳細については、後述する。
【００５９】
２．動き量検出
次に、動き量検出部３２の構成と、この動き量検出部３２における被写体の動き量の検出動作について説明する。動き量検出部３２は、図７に示すように、現フレーム及び１フレーム前の画像信号が入力されて画素毎に減算を行う減算部３２１と、減算部３２１で得られた各画素の差分の絶対値を算出する絶対値化部３２２と、絶対値化部３２２で得られた各画素の差分の絶対値に対してフィルタ処理を行うフィルタ部３２３と、を備える。
【００６０】
図７に示す構成の動き量検出部３２による動き量の検出動作について、その概略的な動作ブロックを図８に示す。図８に示すように、外部からの現フレームの画像信号Ｆ１と、電子ズーム部３９からの１フレーム前の画像信号Ｆ２とが、減算部３２１に入力される。そして、減算部３２１において、現フレーム及び１フレーム前の画像信号Ｆ１，Ｆ２について、その差分を画素毎に算出する。即ち、減算部３２１において、現フレーム及び１フレーム前の画像信号Ｆ１，Ｆ２において同一となる画素位置毎に、その画素値の差分が算出され、２フレーム間の差分信号として絶対値化部３２２に出力される。
【００６１】
そして、絶対値化部３２２では、各画素位置の差分値を絶対値化することで、減算部３２１から入力された差分信号を絶対値化し、得られた絶対値化信号をフィルタ部３２３に出力する。このフィルタ部３２３は、例えば、注目画素を中心としたｍ画素×ｎ画素（図８の場合、３画素×５画素）の画素値を平均化するローパスフィルタによって、構成される。即ち、ｍ画素×ｎ画素それぞれの画素位置に対するフィルタ係数を１としたローパスフィルタによって、絶対値化部３２２からの絶対値化信号に対する演算を行うことで、その注目画素の動き量を算出する。
【００６２】
このとき、１フレーム前及び現フレームの画像信号の間に動きが発生した場合は、動きが発生した領域全体において、２つの画像信号間における差分値の絶対値が、減算部３２１及び絶対値化部３２２によって、比較的大きな値として算出される。一方、１フレーム前及び現フレームの画像信号のいずれかにノイズが発生した場合は、一般的に、動きが発生した場合と比べて小さな領域において、２つの画像信号間における差分値の絶対値が、減算部３２１及び絶対値化部３２２によって、比較的大きな値として算出される。よって、フィルタ部３２３により、ｍ画素×ｎ画素（図８の場合、３画素×５画素）となる、注目画素を含むある程度大きな領域に対して、ローパスフィルタ処理を施すことによって、注目画素におけるノイズ信号と動き量を示す信号との分離精度が高めることができる。
【００６３】
即ち、注目画素を含むｍ画素×ｎ画素による領域についてローパスフィルタ処理が施されて、その領域内の各画素の差分値の絶対値が平均化される。そのため、１フレーム前及び現フレームの画像信号の間に動きが発生した場合は、注目画素だけでなく、ローパスフィルタ処理を施す領域内の各画素においても、その差分値の絶対値が大きくなるため、フィルタ部３２３によるローパスフィルタ処理後の値が大きくなる。一方、１フレーム前及び現フレームの画像信号のいずれかにノイズが発生した場合は、一般的に注目画素及び注目画素近傍の画素における差分値の絶対値が大きくなるため、動きが発生した場合に比べて、フィルタ部３２３によるローパスフィルタ処理後の値が小さくなる。
【００６４】
このように、動き量検出部３２の各ブロックでの演算動作が行われることで、フィルタ部３２３によるローパスフィルタ処理後の値を現フレームにおける各画素に対する動き量とし、得られた動き量は帰還係数検出部３３に出力される。そして、ローパスフィルタ処理後の値が動き量検出部３２から動き量として出力されるため、動き量検出部３２において、後述するように、動き量検出部３２から出力される動き量が所定値より大きくなると、動きが発生したことを検出して、その動き量により帰還係数を算出することができる。
【００６５】
３．帰還係数算出
上述のように動き量検出部３２で検出された各画素位置での動き量が、帰還係数算出部３３に与えられると、帰還係数算出部３３において、ノイズ検出部３１で検出されたノイズ量に乗算する帰還係数が、画素毎に求められる。即ち、帰還係数検出部３３は、動き量検出部３２より入力された各画素の動き量ｙに基づいて、各画素の帰還係数ｋ＝ｇ（ｙ）を算出し、この帰還係数ｋを乗算部３４に出力する。ここで、関数ｇ（ｙ）としては、例えば、図９のような関係となる以下の（３）式に示されるような関数が用いられる。
【００６６】
【数３】
2009100373.tif 000005
【００６７】
上記（３）式に示される関数ｇ（ｙ）（図９参照）は、各画素の動き量ｙに対して、その値の増加に伴って一次関数的に帰還係数ｋを１から減少させるとともに、動き量ｙが閾値ｔｈＡ以上となると、帰還係数ｋを０とする。これによって、動き量ｙの小さい画素に対するノイズ検出部３１によるノイズ低減効果、即ち、３次元ノイズ低減処理の効果を大きくするとともに、動き量ｙの大きい画素に対するノイズ検出部３１によるノイズ低減効果、即ち、３次元ノイズ低減処理の効果を小さくしている。又、帰還係数ｋを０とする動き量ｙに対する閾値ｔｈＡが、エッジ量検出部３７において、注目画素に対して検出されたエッジ量より算出される。このエッジ量検出部３７での動作の詳細については、後述する。
【００６８】
４．エッジ量検出
次に、エッジ量検出部３７における現フレームの画像信号のエッジ量の検出動作と、検出されたエッジ量に基づく閾値ｔｈ，ｔｈＡの設定動作とについて、以下に説明する。エッジ量検出部３７は、図１０に示すように、注目画素とその周辺画素の画素値によって注目画素のエッジ判定量を算出するエッジ量算出部３７１と、エッジ量算出部３７１から算出されたエッジ量に基づいてノイズ検出用の閾値ｔｈを算出するノイズ検出用閾値算出部３７２と、エッジ量算出部３７１から算出されたエッジ量に基づいて帰還係数算出用の閾値ｔｈＡを算出する帰還係数算出用閾値算出部３７３と、を備える。
【００６９】
４−１．エッジ量算出
まず、エッジ量算出部３７１における注目画素のエッジ量の算出動作について、図面を参照して説明する。このエッジ量の算出動作を行うために、注目画素の画素値以外に、注目画素の周辺に配される複数の周辺画素の画素値が用いられる。このとき、例えば、図１１に示すように、注目画素Ｘ５を中心とする３画素×３画素となる画素Ｘ１〜Ｘ９の画素値が用いられて、注目画素Ｘ５に対するエッジ量が算出されるものとする。
【００７０】
エッジ量算出部３７１では、エッジ量算出を行うために、注目画素とその周辺画素によるｍ画素×ｎ画素の画素値の平均偏差ｘmdevを求めて、注目画素に対するエッジ量を算出する。即ち、図１１に示すように、注目画素Ｘ５を中心とする３画素×３画素となる画素Ｘ１〜Ｘ９の画素値が用いられる場合、まず。周辺画素及び注目画素による画素Ｘ１〜Ｘ９の平均値ｘavを、以下の（４）式により算出する。その後、この平均値ｘavと画素Ｘ１〜Ｘ９の画素値とを用いて、周辺画素及び注目画素による画素Ｘ１〜Ｘ９の平均偏差ｘmdevが、以下の（５）式により、注目画素Ｘ５のエッジ量として算出される。
【００７１】
【数４】
2009100373.tif 000006
【００７２】
４−２．ノイズ検出用閾値の算出
上述のように、エッジ量算出部３７１で注目画素と周辺画素とによる平均偏差を算出することで、エッジ量が算出されると、このエッジ量算出部３７１で算出されたエッジ量がノイズ検出用閾値算出部３７２に与えられて、ノイズ検出用の閾値ｔｈが算出される。即ち、ノイズ検出用閾値算出部３７２は、エッジ量算出部３７１より入力された各画素のエッジ量ｚに対して閾値ｔｈ＝ｈ１（ｚ）を算出し、この閾値ｔｈをノイズ検出部３１に出力する。ここで、関数ｈ１（ｚ）としては、例えば、図１２のような関係となる以下の（６）式に示されるような関数が用いられる。
【００７３】
【数５】
2009100373.tif 000007
【００７４】
上記（６）式に示される関数ｈ１（ｚ）（図１２参照）は、各画素に対して算出されたエッジ量ｚに対して、その値の増加に伴って一次関数的に閾値ｔｈを値ｂから減少させるとともに、エッジ量ｚが閾値ｂ／ａ以上となると、閾値ｔｈを０とする。これによって、現フレームにおいてエッジ量が大きいものと判断されると、ノイズ検出部３１での演算式における閾値ｔｈを小さくすることで、ノイズ判定による影響を小さくして、エッジ部分に生じるぼけを抑制することができる。
【００７５】
４−３．帰還係数算出用閾値の算出
更に、エッジ量算出部３７１で算出されたエッジ量は帰還係数算出用閾値算出部３７３にも与えられ、帰還係数算出用の閾値ｔｈＡが算出される。即ち、帰還係数算出用閾値算出部３７３は、エッジ量算出部３７１より入力された各画素のエッジ量ｚに対して閾値の逆数１／ｔｈＡ＝ｈ２（ｚ）を算出し、逆数より得られた閾値ｔｈＡを帰還係数算出部３３に出力する。ここで、関数ｈ２（ｚ）としては、例えば、図１３のような関係となる以下の（７）式に示されるような関数が用いられる。又、閾値の逆数１／ｔｈＡは、帰還係数算出部３３で行われる（３）式による演算式における傾きの絶対値に相当する。
【００７６】
【数６】
2009100373.tif 000008
【００７７】
上記（７）式に示される関数ｈ２（ｚ）（図１３参照）は、各画素に対して算出されたエッジ量ｚに対して、その値の増加に伴って一次関数的に閾値の逆数１／ｔｈＡを増加させる。即ち、各画素に対して算出されたエッジ量ｚが大きくなると、閾値ｔｈＡが小さくなるとともに、（３）式による演算式における傾きが急峻なものとなる。これによって、現フレームにおいてエッジ量が大きいものと判断されると、ノイズ検出部３１での演算式における閾値ｔｈＡを小さくすることで、ノイズ判定による影響を小さくして、エッジ部分に生じるぼけを抑制することができる。
【００７８】
上述のように、エッジ量検出部３７が構成されて動作することで、検出したエッジ量が大きくなったときに、ノイズ検出部３１でノイズ検出の確率が小さくなるように設定するとともに、帰還係数算出部３２で、乗算部３４で乗算される帰還係数が、動き量に対して小さい値となるように設定することができる。これにより、エッジ量検出部３７で検出されたエッジ量が大きくなった画素の画素値に対しては、減算部３５で減算されるノイズ量を抑えることで、ノイズ低減後に発生する画像のぼけを抑制することができる。尚、本実施形態においては、エッジ量ｚによって、帰還係数算出用の閾値ｔｈＡの値を変更するものとしたが、動き量検出部３２で取得した動き量をエッジ量ｚに比例するように変化させることで、同様の効果を取得することができる。
【００７９】
５．ノイズ低減処理
上述のようにして、ノイズ検出部３１においてノイズ検出値が得られるとともに、帰還係数算出部３３において帰還係数が算出されると、乗算部３４において、ノイズ低減を行うためのノイズ量が調整される。即ち、乗算部３４では、画素毎に、ノイズ検出部３１で得られたノイズ検出値Ｎに対して、帰還係数算出部３３より出力される帰還係数ｋを乗算することで、減算部３５に出力するノイズ量Ｎｚ（＝ｋ×Ｎ）を算出する。
【００８０】
そして、乗算部３４で算出されたノイズ量Ｎｚが減算部３５に与えられると、減算部３５において、画素毎に算出されたノイズ量Ｎｚに基づいて、各画素の画像信号のノイズ低減処理を行う。即ち、減算部３５では、画素毎に、外部より入力される現フレームの画像信号から、乗算部３４で算出されたノイズ量Ｎｚを減算することで、ノイズ低減された画像信号を取得して、画像処理部４内の後段の回路に出力する。尚、この画像処理部４内の後段の回路として、ノイズ低減後の画像信号より輝度信号及び色差信号を生成する信号処理部が挙げられる。
【００８１】
又、このようにしてノイズ低減処理部３０から、減算部３５でノイズ低減された画像信号が外部に出力されるとき、減算部３５でノイズ低減された画像信号が、電子ズーム部３８を介してフレームメモリ３６に与えられて、次のフレームの画像信号のノイズ低減処理に利用されるために一時的に格納される。尚、このフレームメモリ３６に格納される際、ノイズ低減処理部３０に入力される画像信号の解像度に応じて、電子ズーム部３８の倍率が設定され、低解像度画像となる画像信号がフレームメモリ３６に記憶される。同様に、フレームメモリ３６に記憶された１フレーム前の画像信号と、ノイズ低減処理部３０に対して外部より入力される現フレームの画像信号との間で、解像度が異なる場合、１フレーム前の画像信号の解像度を現フレームの解像度と同等のものとするように、電子ズーム部３９の倍率が設定される。
【００８２】
６．静止画撮影時のノイズ低減処理動作
上述のようにノイズ低減処理部３０の各部が動作するとき、操作部１５によって静止画撮影が指示されると、上述したように、操作部１５によるシャッタ動作が成されるまで、低解像度のスルー画像となる画像信号が画像処理部４に与えられる。その後、操作部１５によりシャッタ動作が成されると、撮像部１内のイメージセンサの画素数と同等の解像度の高解像度画像が画像処理部４に与えられる。このような静止画像撮影時におけるノイズ低減処理動作について、（１）スルー画像取得時、及び（２）シャッタ動作直後の静止画像取得時のそれぞれに対して説明する。
【００８３】
６−１．スルー画像取得時
スルー画像取得時においては、加重加算することで低解像度化された画像信号が画像処理部４に与えられるため、ノイズ低減処理部３０に対しても、低解像度の画像信号が入力されることとなる。よって、ノイズ低減処理部３０では、既に低解像度化された画像信号を扱い、減算部３５でノイズ除去された画像信号を低解像度化する必要がないため、図１４（ａ）のように、電子ズーム部３８，３９それぞれのズーム倍率を１に設定する。
【００８４】
このように、電子ズーム部３８，３９のズーム倍率が１に設定されることで、電子ズーム部３８は、減算部３５でノイズ除去された画像信号を画素毎に順番に、フレームメモリ３６に記憶する。そして、電子ズーム部３９は、フレームメモリ３６に記憶されたノイズ低減後の１フレーム前の画像信号を、画素毎に順番にフレームメモリ３６より読み出し、ノイズ検出部３１及び動き量検出部３２及びエッジ量検出部３７それぞれに出力する。このとき、フレームメモリ３６より読み出す画像信号の画素位置が、ノイズ低減処理部３０に入力される現フレームの画像信号の画素位置に対応するものとなるように、フレームメモリ３６へのアドレス指定が成される。
【００８５】
よって、スルー画像の取得時においては、低解像度画像となる画像信号が入力されるため、１フレーム前の画像信号を、フレームメモリ３６より倍率を変更せずに読み出すことで、現フレームの画像信号とのノイズ量及び動き量を検出し、現フレームの画像信号に対するノイズ低減処理が施される。そして、ノイズ低減処理が施された現フレームの画像信号についても、低解像度画像の画像信号となるため、その倍率を変更せずにフレームメモリ３６に記憶する。
【００８６】
６−２．静止画像取得時
上述のようにスルー画像を取得している間に、操作部１５によるシャッタ動作が成されることで、高解像度画像となる静止画像が取得され、この静止画像による画像信号が画像処理部４に与えられる。このとき、ノイズ低減処理部３０に対して、高解像度となる画像信号が入力されることとなり、ノイズ低減処理部３０では、フレームメモリ３６より読み出す画像信号が低解像度画像であることより、フレームメモリ３６からの画像信号を高解像度化する必要がある。そのため、図１４（ｂ）のように、電子ズーム部３９のズーム倍率をα（α＞１）に設定する。
【００８７】
このように、電子ズーム部３９のズーム倍率がαに設定されることで、電子ズーム部３９が、フレームメモリ３６より読み出した画像信号を拡大（高解像度化）する。即ち、上述した図３の電子ズーム部５０と同様の構成となる電子ズーム部３９において、フレームメモリ３６より読み出した画像信号に対して、上述の「（４）電子ズーム処理」で説明した拡大処理（高解像度化処理）を施す。これにより、フレームメモリ３６に格納されている１フレーム前となるスルー画像による画像信号が、電子ズーム部３９により高解像度画像に拡大され、ノイズ低減処理部３０に対して外部入力される現フレームの画像信号と同等の解像度となる。
【００８８】
よって、シャッタ動作直後における静止画像の取得時においては、１フレーム前のスルー画像による画像信号を、フレームメモリ３６より読み出した後、電子ズーム部３９においてα倍に拡大して、静止画像として入力される画像信号と同一の解像度に変更する。そして、拡大された１フレーム前の画像信号を用いて、現フレームの画像信号とのノイズ量及び動き量を検出し、現フレームの画像信号に対するノイズ低減処理が施される。
【００８９】
このようにして、ノイズ低減処理が成された現フレームの画像信号、即ち、静止画像となる画像信号が出力されると、次のフレームのノイズ低減処理を施す必要がない場合は、この静止画像となる画像信号のフレームメモリ３６への格納が省略される。又、シャッタ動作終了後、再び、スルー画像の取得が成される場合は、電子ズーム部３８のズーム倍率が１／αに設定され、ノイズ低減処理後の静止画像による画像信号が縮小（低解像度化）されて、フレームメモリ３６へ格納される。尚、この電子ズーム部３８による縮小動作については、例えば、スルー画像の生成時と同様、加算平均処理によって縮小するものであっても構わないし、縮小後の画素位置の画素値のみが読み出される間引き処理によって縮小するものであっても構わない。
【００９０】
よって、静止画撮影時においては、図１５のタイミングチャートに示すように、ｎフレーム目に高解像度画像の静止画像となる画像信号Ｆｎが取得される場合、ｎ−１フレーム目までの画像信号Ｆ１〜Ｆｎ−１は、低解像度画像となるスルー画像である。そのため、電子ズーム部３８，３９のズーム倍率を１として、画像信号Ｆ１〜Ｆｎ−１の縮小及び拡大が成されることなく、フレームメモリ３６への書き込み及び読み出しが成される。
【００９１】
即ち、外部よりスルー画像となる画像信号Ｆｍｘ（１≦ｍｘ≦ｎ−１）が入力されるとき、ノイズ低減処理後の画像信号ＦＮｍｘ−１がフレームメモリ３６より読み出されて、電子ズーム部３９で拡大されることなく、ノイズ検出部３１及び動き量検出部３２及びエッジ量検出部３７それぞれに与えられる。そして、減算部３５からは、ノイズ低減処理がなされた画像信号ＦＮｍｘが出力されるとともに、電子ズーム部３８で縮小されることなく、フレームメモリ３６に記憶される。
【００９２】
その後、ｎフレーム目の静止画像となる画像信号Ｆｎが入力されるとき、電子ズーム部３９のズーム倍率をαとして、フレームメモリ３６より読み出した画像信号ＦＮｎ−１に対して拡大処理が施される。この電子ズーム部３９で拡大された画像信号ＦＮＺｎ−１がノイズ検出部３１及び動き量検出部３２及びエッジ量検出部３７それぞれに与えられて、３次元ノイズ低減処理が施された画像信号ＦＮｎが出力されることとなる。
【００９３】
そして、ｎ＋１フレーム目以降の画像信号Ｆｍｙ（ｎ＋１≦ｍｙ）について、再び、スルー画像となる画像信号とされる場合は、図１５のタイミングチャートに示すように、ｎフレーム目の静止画像となる画像信号Ｆｎが入力されるとき、電子ズーム部３８のズーム倍率が１／αに設定される。これにより、減算部３５から出力される、ノイズ低減処理がなされた画像信号ＦＮｎに対して、ズーム倍率１／αにより縮小処理が施され、フレームメモリ３６に、縮小された画像信号ＦＮｚｎが記憶される。その後、電子ズーム部３８，３９の倍率が、ｎ−１フレーム目以前の画像信号Ｆｍｘが入力されるときと同様、１に再設定されて、スルー画像に対するノイズ低減処理が施される。
【００９４】
７．動画撮影時のノイズ低減処理動作
又、操作部１５によって動画撮影が指示されると、上述した静止画像取得時と同様、撮像部１内のイメージセンサの画素数と同等の解像度の高解像度画像となる画像信号が、連続して画像処理部４に与えられる。そのため、図１６のように、電子ズーム部３８，３９それぞれの倍率を１／α、αに設定する。よって、電子ズーム部３８が、減算部３５でノイズ除去された画像信号を縮小（低解像度化）するとともに、電子ズーム部３９が、フレームメモリ３６より読み出した画像信号を拡大（高解像度化）する。
【００９５】
このように、電子ズーム部３８，３９のズーム倍率が１／α、αに設定されることで、電子ズーム部３８では、減算部３５で得られたノイズ低減処理後の画像信号を縮小して、フレームメモリ３６に記憶するとともに、電子ズーム部３９では、フレームメモリ３６より読み出した画像信号に対して拡大処理が施される。このとき、電子ズーム部３８，３９では、上述の「（４）電子ズーム処理」で説明した動作によって、縮小又は拡大処理を施す。
【００９６】
尚、縮小処理を施す電子ズーム部３８についても、図３の電子ズーム部と同様の構成とされるとき、フレームメモリ３６の代わりに、垂直方向に縮小処理に必要な画素数に応じたラインメモリが設けられる。又、電子ズーム部３８については、例えば、スルー画像の生成時と同様、加算平均処理によって縮小するものであっても構わないし、縮小後の画素位置の画素値のみが読み出される間引き処理によって縮小するものであっても構わない。
【００９７】
よって、操作部１５によって動作撮影が指示されると、図１７のタイミングチャートにおいて、外部より入力される現フレームの画像信号Ｆｎと同等の解像度となるように、フレームメモリ３６に記憶された１フレーム前の画像信号ＦＮｚｎ−１が読み出されて、電子ズーム部３９によってズーム倍率αで拡大される。これにより、ノイズ検出部３１及び動き量検出部３２及びエッジ量検出部３７それぞれには、現フレームの画像信号Ｆｎと、電子ズーム部３９で拡大された１フレーム前の画像信号ＦＮＺｎ−１とが、入力される。
【００９８】
そして、ノイズ低減処理部３０の各部が上述の動作を行うことで、減算部３５から３次元ノイズ低減処理が施された現フレームの画像信号ＦＮｎが出力される。このようにして３次元ノイズ低減処理が施された現フレームの画像信号ＦＮｎが出力されると、電子ズーム部３８にも、この画像信号ＦＮｎが与えられ、ズーム倍率１／αで縮小される。これにより、フレームメモリ３６には、電子ズーム部３８で縮小された現フレームの画像信号ＦＮｚｎが、次のフレームの３次元ノイズ低減処理に利用されるために記憶される。
【００９９】
尚、動画撮影時においても、静止画撮影時と同様、操作部１５によって動画撮影の開始が指示されるまでは、スルー画像の取得が成されて、ディスプレイ９には、スルー画像による画像表示が成されるものとし、電子ズーム部３８，３９それぞれのズーム倍率が１に設定されるものとしても構わない。又、操作部１５によって動画撮影の終了が指示されたときも、動画撮影の開始前と同様、スルー画像の取得が成されて、ディスプレイ９には、スルー画像による画像表示が成されるものとし、電子ズーム部３８，３９それぞれのズーム倍率が１に設定されるものとしても構わない。
【０１００】
＜第２の実施形態＞
本発明の第２の実施形態について、図面を参照して説明する。図１８は、本実施形態の撮像装置における画像処理部内に設けられるノイズ低減処理部の構成を示すブロック図である。図１８に示すノイズ低減処理部の構成において、図５のノイズ低減処理部と同一の部分については、同一の符号を付してその詳細な説明は省略する。
【０１０１】
図１８に示すノイズ低減処理部３０ａは、外部入力された画像信号を縮小する電子ズーム部３８と、電子ズーム部３８で縮小された画像信号に対して３次元ノイズ低減処理を行う３次元ノイズ低減処理部４０ａと、３次元ノイズ低減処理部４０ａでノイズ低減処理された画像信号を記憶するフレームメモリ３６と、３次元ノイズ低減処理部４０ａでノイズ低減処理された画像信号を拡大する電子ズーム部３９と、外部入力された画像信号に対して２次元ノイズ低減処理を行う２次元ノイズ低減処理部４０ｂと、電子ズーム部３９で拡大された３次元ノイズ低減処理後の画像信号と２次元ノイズ低減処理部４０ｂで２次元ノイズ低減処理された画像信号とを加重加算する加重加算処理部４１と、を備える。
【０１０２】
そして、図１８に示すように、３次元ノイズ低減処理部４０ａが、図５に示す３次元ノイズ低減処理部４０からエッジ量検出部３７が省略された構成とされ、フレームメモリ３６と共に、図２２の従来の３次元ノイズ低減処理装置が構成されることとなる。又、２次元ノイズ低減処理部４０ｂが、注目画素とその周辺画素の画素値を加重加算することでノイズ低減処理を行うフィルタ部４０１と、図１０に示すエッジ量算出部３７１と同様の動作を行うエッジ量算出部４０２と、エッジ量算出部４０２で算出されたエッジ量によってフィルタ部４０１を通過した画像信号のエッジ強調処理を行うエッジ強調処理部４０３と、を備える。
【０１０３】
１．３次元ノイズ低減処理
図１８のように構成されるとき、３次元ノイズ低減処理部４０ａでは、フレームメモリ３６及び電子ズーム部３８それぞれより、低解像度となる画像信号が入力されて、電子ズーム部３８より与えられる現フレームの画像信号に対して、３次元ノイズ低減処理が成される。この３次元ノイズ低減処理部４０ａ内における各ブロックの動作については、第１の実施形態のノイズ低減処理部３０内における３次元ノイズ低減処理部４０を構成する各ブロックの動作と同様となるため、その詳細な説明は、第１の実施形態を参照するものとして省略する。
【０１０４】
１−１．スルー画像取得時
スルー画像が取得されるときは、電子ズーム部３８，３９それぞれにおけるズーム倍率が１に設定されることで、スルー画像となる画像信号が縮小されることなく、３次元ノイズ低減処理部４０ａに与えられる。そして、３次元ノイズ低減処理部４０ａで３次元ノイズ低減処理が施された画像信号は、フレームメモリ３６に格納されるとともに、電子ズーム部３９で拡大されることなく、加重加算処理部４１に出力される。
【０１０５】
１−２．動画撮影又は静止画撮影時
又、操作部１５により、シャッタ動作がなされて静止画像が取得されたとき、又は、動画撮影が開始されると、電子ズーム部３８，３９それぞれにおけるズーム倍率が、１／α、αに設定される。よって、高解像度画像となる静止画像又は動画像が、現フレームの画像信号として入力されると、この入力された現フレームの画像信号が、電子ズーム部３８において、ズーム倍率１／αによる縮小（低解像度化）が成される。
【０１０６】
そして、低解像度化された現フレームの画像信号が３次元ノイズ低減処理部４０ａに与えられるとき、フレームメモリ３６に格納された低解像度画像が、１フレーム前の画像信号として、３次元ノイズ低減処理部４０ａに与えられて、現フレームの画像信号に対する３次元ノイズ低減処理が施される。この３次元ノイズ低減処理が成された現フレームの画像信号は、フレームメモリ３６に格納されるとともに、電子ズーム部３９においてズーム倍率αで拡大されて、加重加算処理部４１に出力される。
【０１０７】
２．２次元ノイズ低減処理
又、上述の３次元ノイズ低減処理部４０ａによる時間的なノイズ除去を行う３次元ノイズ低減処理と並列して、現フレームの画像信号に対する空間的なノイズ除去を行う２次元ノイズ低減処理が、２次元ノイズ低減処理部４０ｂにおいて行われる。この２次元ノイズ低減処理部４０ｂにおける２次元ノイズ低減処理について、簡単に以下に説明する。
【０１０８】
２次元ノイズ低減処理部４０ｂでは、フィルタ部４０１において、空間的なノイズ除去を行うために、注目画素とその周辺画素に対するローパスフィルタ処理が成される。このとき、フィルタ部４０１において、図１１に示すように、注目画素Ｘ５を中心とする３画素×３画素となる画素Ｘ１〜Ｘ９の画素値が用いられるものとする。そして、例えば、フィルタ部４０１が、この３画素×３画素となる画素Ｘ１〜Ｘ９の画素値全てに係数１／９を乗算して加算するローパスフィルタとして構成される。このようにフィルタ部４０１が構成されることで、注目画素Ｘ５において発生したノイズが、周辺画素Ｘ１〜Ｘ４，Ｘ６〜Ｘ９の画素値によって平滑化されることで、低減される。
【０１０９】
又、エッジ量算出部４０２が、図１０におけるエッジ量検出部３７内のエッジ量算出部３７１と同様、注目画素に対して、上述の（４）式及び（５）式による演算を施すことによって、注目画素における平均偏差をエッジ量として算出する。そして、エッジ量算出部４０２で算出されたエッジ量が、エッジ強調処理部４０３に与えられると、エッジ強調処理部４０３では、フィルタ部４０１でノイズ除去された現フレームの画像信号に対して、与えられたエッジ量を加重加算することで、エッジ強調処理が成される。
【０１１０】
このように、フィルタ部４０１でノイズ除去が成されるとともにエッジ強調処理部４０３でエッジ強調されると、各処理がなされた現フレームの画像信号が加重加算処理部４１に出力される。尚、２次元ノイズ低減処理部４０ｂでは、３次元ノイズ低減処理部４０ａと異なり、スルー画像であるか否かに関わらず、電子ズーム部３８による縮小処理の成されていない画像信号が与えられる。そして、２次元ノイズ低減処理部４０ｂで２次元ノイズ低減処理が成された画像信号は、３次元ノイズ低減処理部４０ａと異なり、直接、加重加算処理部４１に出力される。
【０１１１】
３．加重加算処理
上述のようにして、加重加算処理部４１に対して、３次元ノイズ低減処理が成された現フレームの画像信号ＦＮＸｎが電子ズーム部３９で拡大（高解像度化）されて与えられるとともに、２次元ノイズ低減処理部４０ｂで２次元ノイズ低減処理が成された現フレームの画像信号ＦＮＹｎが与えられる。そして、加重加算処理部４１では、画像信号ＦＮＸｎ，ＦＮＹｎが加重加算されて、ノイズ低減処理が成された現フレームの画像信号ＦＮｎが出力される。この加重加算処理部４１の構成と各構成ブロックの動作について、図面を参照して、以下に説明する。
【０１１２】
加重加算処理部４１は、図１９に示されるように、３次元ノイズ低減処理が成された画像信号ＦＮＸｎと２次元ノイズ低減処理が成された画像信号ＦＮＹｎとに乗算する加重加算係数Ｋ１，１−Ｋ１を設定する加重加算係数設定部４１１と、加重加算係数設定部４１１で設定された加重加算係数Ｋ１を画像信号ＦＮＸｎに乗算する乗算部４１２と、加重加算係数設定部４１１で設定された加重加算係数１−Ｋ１を画像信号ＦＮＹｎに乗算する乗算部４１３と、乗算部４１２，４１３で加重加算係数が乗算された画像信号を加算する加算部４１４と、を備える。
【０１１３】
このように構成される加重加算処理部４１において、加重加算係数設定部４１１には、２次元ノイズ低減処理部４０ｂにおけるエッジ量算出部４０２で算出されたエッジ量と、電子ズーム部３８又は電子ズーム部３９で設定されたズーム倍率と、３次元ノイズ低減処理部４０ａにおける動き量検出部３２で検出された動き量とが与えられ、加重加算係数Ｋ１，１−Ｋ１が算出される。加重加算係数４１１で、動き量ｙ及びエッジ量ｚと、電子ズーム部３９で設定されたズーム倍率αとが与えられるものとする。尚、スルー画像が与えられるときは、ズーム倍率として等倍を意味する「１」が与えられる。
【０１１４】
この動き量ｙ及びエッジ量ｚとズーム倍率αとが与えられる加重加算係数設定部４１１における、加重加算係数Ｋ１，１−Ｋ１の設定動作について、以下に説明する。加重加算係数Ｋ１は、以下の（８）式のように、エッジ量ｚとズーム倍率αとによって設定されるエッジ用加重加算係数βと、動き量ｙによって設定される動き用加重加算係数γとが乗算されることで、その値が算出される。
【０１１５】
【数７】
2009100373.tif 000009
【０１１６】
尚、ズーム倍率αが用いられるものとして説明するが、ズーム倍率αに比例する画素数縮小率が用いられるものとしても構わない。この画素数縮小率は、外部から入力される高解像度画像よりフレームメモリ３６に格納される低解像度画像への画素数縮小率を表すものである。即ち、画素数縮小率が大きくなると、電子ズーム部３９で設定されるズーム倍率αが大きくなる。又、電子ズーム部３９で設定されたズーム倍率αではなく、電子ズーム部３８で設定されたズーム倍率１／αが与えられ、その逆数が用いられるものとしても構わない。
【０１１７】
３−１．エッジ用加重加算係数βの算出
まず、エッジ用加重加算係数βの算出について、以下に説明する。電子ズーム部３９よりズーム倍率αが与えられると、このズーム倍率αに比例する補正値δ（＝α×Ｄ）が算出される。そして、エッジ量算出部４０２よりエッジ量ｚが画素毎に与えられるため、補正値δとエッジ量ｚとの乗算値δ×ｚが画素毎に算出される。このように補正値δによって補正されたエッジ量δ×ｚは、ズーム倍率αが高くなるとき、補正値δを大きくなることから、その値が大きくなるように設定される。
【０１１８】
そして、各画素に対して算出された補正後のエッジ量δ×ｚに基づいて、各画素のエッジ用加重加算係数β＝ｉ１（δ×ｚ）を算出する。ここで、関数ｉ１（δ×ｚ）としては、例えば、図２０（ａ）のような関係となる以下の（９）式に示されるような関数が用いられる。
【０１１９】
【数８】
2009100373.tif 000010
【０１２０】
上記（９）式に示される関数ｉ１（δ×ｚ）（図２０（ａ）参照）は、各画素に対して算出された補正後のエッジ量δ×ｚに対して、その値の増加に伴ってエッジ用加重加算係数βを１から減少させるとともに、補正後のエッジ量δ×ｚが閾値ｔｈＢ以上となると、エッジ用加重加算係数βを０とする。これによって、エッジ量ｚの大きい画素に対するエッジ用加重加算係数βを小さくして、２次元ノイズ低減処理後の画像信号ＦＮＹｎと加重加算が成される３次元ノイズ低減処理後の画像信号ＦＮＸｎの割合を小さくする。
【０１２１】
即ち、３次元ノイズ低減処理後の画像信号ＦＮＸｎは、電子ズーム部３９で拡大されて与えられることにより、エッジ部分にボケが生じるが、加重加算係数Ｋ１を小さくすることで、加重加算される割合を小さくする。これにより、エッジ部分における３次元ノイズ低減処理後の画像信号ＦＮＸｎの影響を抑制して、加重加算後の画像信号におけるエッジ部分に発生するボケを抑制することができる。
【０１２２】
更に、画素数縮小率又はズーム倍率αが大きくなったときに、電子ズーム部３９で拡大される３次元ノイズ低減処理後の画像信号ＦＮＸｎのエッジ部分のボケが強くなるが、エッジ量ｚを補正するための補正値δを大きくすることで、上記（９）式に与えられる補正後のエッジ量δ×ｚを大きくする。これにより、画素数縮小率又はズーム倍率αが大きくなったときには、上記（９）式に示される関数ｉ１（δ×ｚ）により算出される加重加算係数Ｋ１の値を小さくして、３次元ノイズ低減処理後の画像信号ＦＮＸｎの影響を小さくして、エッジ部分に発生するボケを抑制することができる。
【０１２３】
３−２．動き用加重加算係数γの算出
又、動き量検出部３２で検出された各画素位置での動き量ｙが与えられると、加重加算係数設定部４１１において、動き用加重加算係数γが画素毎に算出される。即ち、各画素に対して検出された動き量ｙに基づいて、各画素の動き用加重加算係数γ＝ｉ２（ｙ）を算出する。ここで、関数ｉ２（ｙ）としては、例えば、図２０（ｂ）のような関係となる以下の（１０）式に示されるような関数が用いられる。
【０１２４】
【数９】
2009100373.tif 000011
【０１２５】
上記（１０）式に示される関数ｉ２（ｙ）（図２０（ｂ）参照）は、各画素に対して検出された動き量ｙに対して、その値の増加に伴って動き用加重加算係数γを１から減少させるとともに、動き量ｙが閾値ｔｈＣ以上となると、動き用加重加算係数γを０とする。これによって、動き量ｙの大きい画素に対する動き用加重加算係数γを小さくして、２次元ノイズ低減処理後の画像信号ＦＮＹｎと加重加算が成される３次元ノイズ低減処理後の画像信号ＦＮＸｎの割合を小さくする。
【０１２６】
即ち、３次元ノイズ低減処理部４０ａにおいて３次元ノイズ低減処理が施される際、動き量ｙが大きくなると、帰還係数算出部３３による帰還係数が小さくなるため、減算されるノイズ量が抑制されることとなる。そのため、３次元ノイズ低減処理後の画像信号ＦＮＸｎは、動き量ｙが大きいものと検出された画素に対して、ノイズの低減量が小さくなるため、加重加算係数Ｋ１を小さくすることで、画像信号ＦＮＸｎが加重加算される割合を小さくする。これにより、動き量の大きくなる画素部分での３次元ノイズ低減処理後の画像信号ＦＮＸｎの影響を抑制して、加重加算後の画像信号におけるノイズ低減量を適正なものとすることができる。
【０１２７】
３−３．加重加算
このようにして、加重加算係数設定部４１１では、エッジ量ｚとズーム倍率αとに基づいて、上述の（９）式における関数によって、エッジ用加重加算係数βを算出するとともに、動き量ｙに基づいて、上述の（１０）式における関数によって、動き用加重加算係数γを算出する。そして、上述の（８）式によって、このエッジ用加重加算係数βと動き用加重加算係数γとを乗算して、乗算部４１２に与える加重加算係数Ｋ１を算出するとともに、この加重加算係数Ｋ１により、乗算部４１３に与える加重加算係数１−Ｋ１を算出する。
【０１２８】
加重加算係数設定部４１１で算出された加重加算係数Ｋ１，１−Ｋ１はそれぞれ、乗算部４１２，４１３に与えられることで、画像信号ＦＮＸｎ，ＦＮＹｎに乗算される。この乗算部４１２，４１３での乗算結果が加算部４１４に与えられることで、３次元ノイズ低減処理後の画像信号ＦＮＸｎと２次元ノイズ低減処理後の画像信号ＦＮＹｎとが加重加算された画像信号ＫＮＸ（＝Ｋ１×ＦＮＸｎ＋（１−Ｋ１）×ＦＮＹｎ）が出力される。
【０１２９】
このように本実施形態においては、３次元ノイズ低減処理が行われた画像信号を、２次元ノイズ低減処理を行われた画像信号と加重加算する際、エッジ量や動き量が大きい画素位置では、３次元ノイズ低減処理の成された画像信号の重み係数を小さくすることで、動き量や電子ズーム部での拡大による影響を小さくすることができる。又、低解像度画像となる画像信号によって３次元ノイズ低減処理を行うため、３次元ノイズ低減処理を行うために記憶する１フレーム前の画像信号のデータ容量を小さくすることができる。
【０１３０】
尚、本実施形態において、第１の実施形態と同様（図５参照）、図２１に示すノイズ低減処理部３０ｂに示すように、３次元ノイズ低減処理部４０ａより出力されるノイズ低減後の画像信号を縮小するために、電子ズーム部３８をフレームメモリ３６の入力側に設けられるとともに、フレームメモリ３６に記憶された画像信号を拡大して３次元ノイズ低減処理部４０ａに出力するために、電子ズーム部３９をフレームメモリ３６の出力側に設けられる構成としても構わない。
【０１３１】
即ち、高解像度画像となる画像信号が外部より入力されるとき、３次元ノイズ低減処理部４０ａ及び２次元ノイズ低減処理部４０ｂそれぞれにおいて、高解像度画像となる画像信号に対する３次元ノイズ低減処理及び２次元ノイズ低減処理が成される。そして、３次元ノイズ低減処理部４０ａ及び２次元ノイズ低減処理部４０ｂそれぞれから出力される画像信号が、加重加算処理部４１に出力される。
【０１３２】
このとき、３次元ノイズ低減処理部４０ａから出力される画像信号は、電子ズーム部３８で縮小されてフレームメモリ３６に与えられ、次フレームの画像信号に対する３次元ノイズ低減処理に用いられるために記憶される。そして、フレームメモリ３６に記憶された１フレーム前の画像信号が、電子ズーム部３９で拡大されて、３次元ノイズ低減処理部４０ａに与えられ、現フレームの画像信号に対する３次元ノイズ低減処理が成される。
【０１３３】
又、第２の実施形態において、３次元ノイズ低減処理部４０ａ（図１８及び図２１参照）を、図２２の従来の３次元ノイズ低減処理装置と同様の構成のものとしたが、第１の実施形態における図５に示す３次元ノイズ低減処理部４０と同様、エッジ量検出部３７を備える構成としても構わない。
【０１３４】
更に、上述の各実施形態において、電子ズーム部３８，３９を利用して、低解像度画像と高解像度画像とを利用した３次元ノイズ低減処理を施しているが、エッジ量の大小を判定することで、３次元ノイズ低減処理における各種演算処理（第１の実施形態においてはノイズ検出部３１及び帰還係数算出部３３における演算処理、第２の実施形態においては、加重加算処理部４１での演算処理）を変更することができる。そのため、エッジ量の大小を考慮した演算処理を施すことができ、低解像度化した後に高解像度化することで発生するエッジ部分のボケを抑制することができる。
【産業上の利用可能性】
【０１３５】
本発明は、画像信号に対して３次元ノイズ低減処理を行う撮像装置に適用することが可能であり、静止画像を撮像するデジタルスチルカメラ、動画像を撮影するデジタルビデオなどの各種撮像装置に適用可能である。
【図面の簡単な説明】
【０１３６】
【図１】は、本発明のノイズ低減処理装置となるノイズ低減処理部を備えた撮像装置の内部構成を示すブロック図である。
【図２】は、スルー画像となる画像信号を生成する際の加算平均処理動作の概要を示す図である。
【図３】は、電子ズーム部の構成例を示すブロック図である。
【図４】は、図３の構成の電子ズーム部の動作を説明するための図である。
【図５】は、第１の実施形態の撮像装置における画像処理部内のノイズ低減処理部の構成を示すブロック図である。
【図６】は、ノイズ検出動作を行う際の関数ｆ（ｘ）を示すグラフである。
【図７】は、図５のノイズ低減処理部内における動き量検出部の構成を示すブロック図である。
【図８】は、図７の動き量検出部による動き量の検出動作の概略的な動作ブロックである。
【図９】は、帰還係数算出動作を行う際の関数ｇ（ｙ）を示すグラフである。
【図１０】は、図５のノイズ低減処理部内におけるエッジ量検出部の構成を示すブロック図である。
【図１１】は、注目画素と周辺画素との関係を示す図である。
【図１２】は、ノイズ検出用閾値算出動作を行う際の関数ｈ１（ｚ）を示すグラフである。
【図１３】は、帰還係数算出用閾値算出動作を行う際の関数ｈ２（ｚ）を示すグラフである。
【図１４】は、スルー画像取得時及び静止画像取得時それぞれのノイズ低減処理部の状態を示す図である。
【図１５】は、静止画撮影時における各部の信号の状態を示すタイミングチャートである。
【図１６】は、動画取得時のノイズ低減処理部の状態を示す図である。
【図１７】は、動画撮影時における各部の信号の状態を示すタイミングチャートである。
【図１８】は、第２の実施形態の撮像装置における画像処理部内のノイズ低減処理部の構成を示すブロック図である。
【図１９】は、図１８のノイズ低減処理部内における加重加算処理部の構成を示すブロック図である。
【図２０】は、エッジ用加重加算係数及び動き用加重加算係数を算出する際の関数ｉ１（δ×ｚ）、ｉ２（ｙ）を示すグラフである。
【図２１】は、第２の実施形態の撮像装置における画像処理部内のノイズ低減処理部の別の構成を示すブロック図である。
【図２２】は、従来の３次元ノイズ低減処理装置の構成を示すブロック図である。
【符号の説明】
【０１３７】
１    撮像部
２    ＡＦＥ
３    マイク
４    画像処理部
５    音声処理部
６    圧縮処理部
７    ドライバ部
８    伸長処理部
９    ディスプレイ
１０    音声出力回路部
１１    スピーカ
１２    ＴＧ
１３    ＣＰＵ
１４    メモリ
１５    操作部
１６，１７    バス回線
２０    外部メモリ
３０，３０ａ    ノイズ低減処理部
３１    ノイズ検出部
３２    動き量検出部
３３    帰還係数算出部
３４    乗算部
３５    減算部
３６    フレームメモリ
３７    エッジ量検出部
３８，３９    電子ズーム部
４０，４０ａ    ３次元ノイズ低減処理部
４０ｂ    ２次元ノイズ低減処理部
４１    加重加算処理部
３２１    減算部
３２２    絶対値化部
３２３    フィルタ部
３７１    エッジ量算出部
３７２    ノイズ検出用閾値算出部
３７３    帰還係数算出用閾値算出部
４０１    フィルタ部
４０２    エッジ量算出部
４０３    エッジ強調処理部
４１１    加重加算係数設定部
４１２，４１３    乗算部
４１４    加算部
【図１】
2009100373.tif 000012
【図２】
2009100373.tif 000013
【図３】
2009100373.tif 000014
【図４】
2009100373.tif 000015
【図５】
2009100373.tif 000016
【図６】
2009100373.tif 000017
【図７】
2009100373.tif 000018
【図８】
2009100373.tif 000019
【図９】
2009100373.tif 000020
【図１０】
2009100373.tif 000021
【図１１】
2009100373.tif 000022
【図１２】
2009100373.tif 000023
【図１３】
2009100373.tif 000024
【図１４】
2009100373.tif 000025
【図１５】
2009100373.tif 000026
【図１６】
2009100373.tif 000027
【図１７】
2009100373.tif 000028
【図１８】
2009100373.tif 000029
【図１９】
2009100373.tif 000030
【図２０】
2009100373.tif 000031
【図２１】
2009100373.tif 000032
【図２２】
2009100373.tif 000033