(57)【要約】【課題】２パス符号化方式を用いて画像を圧縮符号化する場合において、高いノイズ低減能力を得ること。【解決手段】入力画像に対して第１のノイズ低減処理を施す第１のノイズ低減処理部１０と、該第１のノイズ低減処理が施された第１画像に対して、第１の符号化パラメータを用いて第１の圧縮符号化処理を行う第１の圧縮符号化処理部１１と、第１の圧縮符号化処理の結果を用いて、第２の符号化パラメータを決定するパラメータ決定部１２と、入力画像に対して、第２のノイズ低減処理を施す第２のノイズ低減処理部１３と、第２のノイズ低減処理が施された第２画像に対して、第２の符号化パラメータを用いて第２の圧縮符号化処理を行う第２の圧縮符号化処理部１４とを備え、前記第１画像には、前記第２画像よりも多くのノイズが含まれている画像処理装置１を提供する。【選択図】図１
2010206412.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対して、第１のノイズ低減処理を施す第１のノイズ低減処理手段と、
該第１のノイズ低減処理が施された第１画像に対して、第１の符号化パラメータを用いて第１の圧縮符号化処理を行う第１の圧縮符号化処理手段と、
前記第１の圧縮符号化処理の結果を用いて、第２の符号化パラメータを決定するパラメータ決定手段と、
該入力画像または該入力画像に所定の画像処理が施された画像に対して、第２のノイズ低減処理を施す第２のノイズ低減処理手段と、
該第２のノイズ低減処理が施された第２画像に対して、前記第２の符号化パラメータを用いて第２の圧縮符号化処理を行う第２の圧縮符号化処理手段と
を備え、
前記第１画像には、前記第２画像よりも多くのノイズが含まれている画像処理装置。
【請求項２】
前記入力画像を第１の帯域信号と該第１の帯域信号よりも低帯域である第２の帯域信号とに分けた場合に、
前記第１画像は、該第１の帯域信号に含まれるノイズが低減された画像であり、
前記第２画像は、該第１の帯域信号に含まれるノイズ及び該第２の帯域信号に含まれるノイズが低減された画像である請求項１に記載の画像処理装置。
【請求項３】
前記第１のノイズ低減処理手段と前記第２のノイズ低減処理手段とは、共通のノイズ低減処理手段を用いて実現され、
該ノイズ低減処理手段は、
該入力画像中の一部の周波数帯域の信号をフィルタリングにより遮断し、その他の周波数帯域の信号を出力するフィルタリング手段を有するとともに、該入力画像の第１の周波数帯域に含まれる信号を生成する帯域信号生成手段と、
前記第１の周波数帯域に含まれる信号のノイズ量を低減するノイズ低減手段と、
前記画像信号の第２の周波数帯域に含まれ、ノイズ量が低減された信号を記憶する記憶手段と、
前記ノイズ低減手段によりノイズ量が低減された前記第１の周波数帯域の信号と入力された信号とを合成する画像合成手段と、
前記画像合成手段に入力される前記信号として、前記フィルタリング手段から出力される信号に基づく信号及び前記記憶手段から出力される前記第２の周波数帯域に含まれる信号のいずれかを選択する選択手段と
を具備し、
前記第１画像は、該ノイズ低減手段によりノイズ量が低減された前記第１の周波数帯域の信号と前記フィルタリング手段から出力される信号に基づく信号とが前記画像合成手段によって合成されて作成される画像であり、
前記第２画像は、該ノイズ低減手段によりノイズ量が低減された前記第１の周波数帯域の信号と前記記憶手段に記憶された信号とが前記画像合成手段によって合成されて作成される画像であることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記記憶手段に記憶される信号は、前記フィルタリング手段から出力される信号に対して、プロセッサによるプログラム制御によりノイズ低減処理を施すことにより作成された信号であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の圧縮符号化処理手段による圧縮符号化処理結果を、前記第２のノイズ低減処理手段のパラメータに応じて修正することを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。
【請求項６】
該修正は、前記第２のノイズ低減処理手段のパラメータと前記第１の圧縮符号化処理手段による圧縮符号化処理結果の修正量との関係を事前に統計的に調査して得られた関係に基づいてなされることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第１のノイズ低減処理手段は、前記入力画像に対して所定のノイズ低減処理を施すことで前記第１画像を作成し、
前記第２のノイズ低減処理手段は、前記第１画像に対して所定のノイズ低減処理を施すことで前記第２画像を作成することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記第１のノイズ低減処理手段と前記第２のノイズ低減処理手段とは、共通のノイズ低減処理手段を用いて実現されることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記第１のノイズ低減処理手段によるノイズ低減処理を行う場合と、前記第２のノイズ低減処理手段によるノイズ低減処理を行う場合とで、使用するパラメータを異ならせることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第１の圧縮符号化処理手段による圧縮符号化処理結果を、前記第２のノイズ低減処理手段のパラメータに応じて修正することを特徴とする請求項１または請求項７から請求項９のいずれかに記載の画像処理装置。
【請求項１１】
該修正は、前記第２のノイズ低減処理手段のパラメータと前記第１の圧縮符号化処理手段による圧縮符号化処理結果の修正量との関係を事前に統計的に調査して得られた関係に基づいてなされることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
画像を取得する撮像手段と、
前記撮像手段により取得された画像に対してノイズ低減処理を施す請求項１から請求項１１のいずれかに記載の画像処理装置と
を具備することを特徴とする撮像システム。
【請求項１３】
入力画像に対して、第１のノイズ低減処理を施す過程と、
該第１のノイズ低減処理が施された第１画像に対して、第１の符号化パラメータを用いて第１の圧縮符号化処理を行う過程と、
前記第１の圧縮符号化処理の結果を用いて、第２の符号化パラメータを決定する過程と、
該入力画像または該入力画像に所定の画像処理が施された画像に対して、第２のノイズ低減処理を施す過程と、
該第２のノイズ低減処理が施された第２画像に対して、前記第２の符号化パラメータを用いて第２の圧縮符号化処理を行う過程と
を有し、
前記第１画像には、前記第２画像よりも多くのノイズが含まれている画像処理方法。
【請求項１４】
入力画像に含まれるノイズを低減する第１のノイズ低減処理と、
該第１のノイズ低減処理が施された第１画像に対して、第１の符号化パラメータを用いた圧縮符号化を行う第１の圧縮符号化処理と、
前記第１の圧縮符号化処理の結果を用いて、第２の符号化パラメータを決定するパラメータ決定処理と、
該入力画像または該入力画像に所定の画像処理が施された画像に含まれるノイズを低減する第２のノイズ低減処理と、
該第２のノイズ低減処理が施された第２画像に対して、前記第２の符号化パラメータを用いた圧縮符号化を行う第２の圧縮符号化処理と
をコンピュータに実行させるための画像処理プログラムであって、
前記第１画像には、前記第２画像よりも多くのノイズが含まれている画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、方法、プログラム、および撮像システムに関するものである。
【背景技術】
【０００２】
ＣＣＤ等の撮像素子で画像を取得し、これをメモリカード等の記録媒体に記録する場合、限られた記録容量に多数の画像を記録するために、画像情報の圧縮符号化処理がなされる。圧縮符号化処理としては、ＤＣＴ変換を利用するＪＰＥＧ方式や、ウェーブレット変換を利用する方式等が広く使用されている。これら方式は、変換により出力される変換係数を可変長符号化方式で符号化するため、圧縮の対象とする画像により符号量が変化する。
【０００３】
一般に、デジタルカメラ等では、メモリカードに記録できる枚数が固定的に決まっていることが好ましく、撮影する画像に依存して記録枚数が変動することは好ましくない。このため、圧縮符号化処理においては、出力する符号量を一定の範囲内に収めるために符号量制御が行われる。
【０００４】
符号量制御には、２パス符号化方式が広く用いられている。例えば、特許文献１には、２パス符号化方式で符号量制御を行うことが開示されている。このような２パス符号化方式では、１パス目の符号化処理において、暫定的な圧縮パラメータを用いて圧縮符号化を施して、符号化結果や符号化処理中の情報等を収集し、２パス目の符号化処理において、目標とする符号量を発生し得る圧縮パラメータを、１パス目に収集した情報を基に決定し、決定した圧縮パラメータを用いて圧縮符号化を施す。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３０３７９６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、撮像素子で撮像された画像にはノイズ信号が含まれるため、良好な画像を得るためにはノイズ低減を行う必要がある。しかしながら、上記特許文献１には、ノイズを低減する方法については特に開示されておらず、ノイズ低減の能力向上を期待することはできない。
【０００７】
本発明は、上記問題に鑑みてなされたもので、２パス符号化方式を用いて画像を圧縮符号化する場合において、高いノイズ低減能力を得ることの可能な画像処理装置、方法、プログラム、および撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明の第１の態様は、入力画像に対して、第１のノイズ低減処理を施す第１のノイズ低減処理手段と、該第１のノイズ低減処理が施された第１画像に対して、第１の符号化パラメータを用いて第１の圧縮符号化処理を行う第１の圧縮符号化処理手段と、前記第１の圧縮符号化処理の結果を用いて、第２の符号化パラメータを決定するパラメータ決定手段と、該入力画像または該入力画像に所定の画像処理が施された画像に対して、第２のノイズ低減処理を施す第２のノイズ低減処理手段と、該第２のノイズ低減処理が施された第２画像に対して、前記第２の符号化パラメータを用いて第２の圧縮符号化処理を行う第２の圧縮符号化処理手段とを備え、前記第１画像には、前記第２画像よりも多くのノイズが含まれている画像処理装置である。
【０００９】
このような構成によれば、第１のノイズ低減処理が施された第１画像を用いて第２の符号化パラメータが決定され、この第２の符号化パラメータを用いた第２の圧縮符号化処理が第２画像に対して実施される。この場合において、第２画像は、第１画像よりもノイズ量が低減されているので、ノイズ量がより低減された圧縮符号化処理済み画像を得ることが可能となる。
【００１０】
本発明の第２の態様は、画像を取得する撮像手段と、前記撮像手段により取得された画像に対してノイズ低減処理を施す上記画像処理装置とを具備することを特徴とする撮像システムである。
【００１１】
本発明の第３の態様は、入力画像に対して、第１のノイズ低減処理を施す過程と、該第１のノイズ低減処理が施された第１画像に対して、第１の符号化パラメータを用いて第１の圧縮符号化処理を行う過程と、前記第１の圧縮符号化処理の結果を用いて、第２の符号化パラメータを決定する過程と、該入力画像または該入力画像に所定の画像処理が施された画像に対して、第２のノイズ低減処理を施す過程と、該第２のノイズ低減処理が施された第２画像に対して、前記第２の符号化パラメータを用いて第２の圧縮符号化処理を行う過程とを有し、前記第１画像には、前記第２画像よりも多くのノイズが含まれている画像処理方法である。
【００１２】
本発明の第４の態様は、入力画像に含まれるノイズを低減する第１のノイズ低減処理と、該第１のノイズ低減処理が施された第１画像に対して、第１の符号化パラメータを用いた圧縮符号化を行う第１の圧縮符号化処理と、前記第１の圧縮符号化処理の結果を用いて、第２の符号化パラメータを決定するパラメータ決定処理と、該入力画像または該入力画像に所定の画像処理が施された画像に含まれるノイズを低減する第２のノイズ低減処理と、該第２のノイズ低減処理が施された第２画像に対して、前記第２の符号化パラメータを用いた圧縮符号化を行う第２の圧縮符号化処理とをコンピュータに実行させるための画像処理プログラムであって、前記第１画像には、前記第２画像よりも多くのノイズが含まれている画像処理プログラムである。
【発明の効果】
【００１３】
本発明によれば、２パス符号化方式を用いて画像を圧縮符号化する場合において、高いノイズ低減能力を得ることができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る画像処理装置により実現される機能を展開して示した機能ブロック図である。
【図２】図１に示したノイズ低減処理部の概略構成を示した図である。
【図３】図２に示したノイズ低減処理部の第１モードについて説明するための図である。
【図４】図２に示したノイズ低減処理部の第２モードについて説明するための図である。
【図５】図２に示したノイズ低減処理部の第３モードについて説明するための図である。
【図６】図２に示したノイズ低減処理部により実現される縮小画像のノイズ低減処理をプロセッサにより実現する場合の構成例を示した図である。
【図７】本発明の第２の実施形態に係る画像処理装置により実現される機能を展開して示した機能ブロック図である。
【図８】本発明の本発明の第３の実施形態に係る画像処理装置により実現される機能を展開して示した機能ブロック図である。
【図９】図８に示した修正処理部の概略構成を示した図である。
【図１０】図９に示した修正係数取得部が保有する修正係数テーブルの一例を示した図である。
【図１１】本発明の本発明の第４の実施形態に係る画像処理装置により実現される機能を展開して示した機能ブロック図である。
【図１２】本発明の第１から第４のいずれかの実施形態に係る画像処理装置を適用した撮像システムの概略構成を示した図である。
【発明を実施するための形態】
【００１５】
以下に、本発明に係る画像処理装置、方法、プログラム、及び撮像システムの一実施形態について、図面を参照して説明する。
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像処理装置により実現される機能を展開して示した機能ブロック図である。
【００１６】
図１に示されるように、本実施形態に係る画像処理装置１は、入力画像に対して、第１のノイズ低減処理を施す第１のノイズ低減処理部（第１のノイズ低減処理手段）１０と、第１のノイズ低減処理が施された第１画像に対して、第１の符号化パラメータを用いて第１の圧縮符号化処理を行う第１の圧縮符号化処理部（第１の圧縮符号化処理手段）１１と、第１の圧縮符号化処理の結果を用いて、第２の符号化パラメータを決定するパラメータ決定部（パラメータ決定手段）１２と、入力画像に対して、第２のノイズ低減処理を施す第２のノイズ低減処理部（第２のノイズ低減処理手段）１３と、該第２のノイズ低減処理が施された第２画像に対して、前記第２の符号化パラメータを用いて第２の圧縮符号化処理を行う第２の圧縮符号化処理部（第２の圧縮符号化処理手段）１４とを備えている。
【００１７】
本実施形態において、第１のノイズ低減処理部１０と第２のノイズ低減処理部１３とは、異なるノイズ低減パラメータを用いてノイズ低減処理を行う。この場合において、第２のノイズ低減処理部１３が用いる第２のノイズ低減パラメータは、第１のノイズ低減処理部１０が用いる第１のノイズ低減パラメータよりもノイズ低減の強度が高く設定されている。これにより、第２のノイズ低減処理部１２から出力される第２画像は、第１のノイズ低減処理部１０から出力される第１画像よりもノイズが少ない画像とされる。
【００１８】
本実施形態において、上記第１のノイズ低減処理部１０と第２のノイズ低減処理部１２とは、共通のノイズ低減処理部（ノイズ低減処理手段）２０を用いて実現される。図２にノイズ低減処理部２０の概略構成を示す。図２に示されるように、ノイズ低減処理部２０は、２段分の多重解像度変換能力を持つ構成とされている。
【００１９】
図２に示されるように、ノイズ低減処理部２０は、入力画像２００中の一部の周波数帯域の信号をフィルタリングにより遮断し、その他の周波数帯域の信号を出力するフィルタ・縮小処理部（フィルタリング手段）を有するとともに、該画像信号の第１の周波数帯域に含まれる信号を生成する帯域信号生成部（帯域信号生成手段）２と、第１の周波数帯域に含まれる信号のノイズ量を低減するノイズ低減部（ノイズ低減手段）２０４，２１４と、ノイズ低減部２０４，２１４によりノイズ量が低減された第１の周波数帯域の信号と入力された信号とを合成する画像合成部（画像合成手段）４とを備えている。
【００２０】
ノイズ低減処理部２０は、更に、画像信号の第２の周波数帯域に含まれ、ノイズ量が低減された信号を記憶するフレームメモリ（記憶手段）２２４と、画像合成部４に入力される前記信号として、帯域信号生成部２が備えるフィルタ・縮小処理部２１１から出力される信号及びフレームメモリ２２４から出力される信号のいずれかを選択する第１の選択部（選択手段）２２２と、該フィルタ・縮小処理部２１１から出力された信号を記憶するフレームメモリ２２３と、帯域信号生成部２に入力される信号として、入力画像２００及びフレームメモリ２２３に記憶された信号のうちのいずれかを選択する第２の選択部２２５と、フィルタ・縮小処理部２１１とフレームメモリ２２３との接続と非接続とを切り替える接続切替部２２０とを備えている。
【００２１】
帯域信号生成部２は、２段のフィルタ・縮小処理部２０１，２１１を有するとともに、各フィルタ・縮小処理部２０１、２１１に対応してそれぞれ設けられた拡大処理部２０２，２１２、及び減算部２０３，２１３を備えている。
ノイズ低減部２０４，２１４は、各フィルタ・縮小処理部２０１，２１１に対応してそれぞれ設けられている。画像合成部４は、各フィルタ・縮小処理部２０１，２１１に対応して設けられた２段の合成部２０９，２１９を有している。各合成部２０９，２１９は、拡大処理部２０５，２１５、及び加算部２０６、２１６をそれぞれ備えている。なお、本実施形態では、２段の場合を一例に挙げて説明しているが、これらの段数については限定されない。
【００２２】
１段目のフィルタ・縮小処理部２０１は、入力画像２００にローパスフィルタ処理を施した後、所定のサイズに縮小する。これにより、例えば、入力画像２００の画像サイズは、水平方向、垂直方向ともに半分とされる。フィルタ・縮小処理部２０１により生成された縮小画像は、拡大処理部２０２及び後段のフィルタ・縮小処理部２１１に供給可能な構成とされている。
拡大処理部２０２は、フィルタ・縮小処理部２０１からの縮小画像を、フィルタ・縮小処理部２０１による縮小処理がされる前の大きさに拡大し、即ち、ここでは入力画像２００のサイズに拡大し、減算部２０３に出力する。減算部２０３は、拡大処理部２０２から入力された画像と、フィルタ・縮小処理部２０１に入力された画像、即ち、入力画像２００との差分信号を算出することで、帯域信号を生成し、これをノイズ低減部２０４に出力する。ノイズ低減部２０４は、入力された帯域信号に所定のノイズ低減処理を施し、出力する。
【００２３】
２段目のフィルタ・縮小処理部２１１は、フィルタ・縮小処理部２０１からの縮小画像に対してローパスフィルタ処理を行った後、縮小処理を行う。このように、各フィルタ・縮小処理部２０１，２１１は、前段のフィルタ・縮小処理部から出力された画像（１段目のフィルタ・縮小処理部２０１に関しては、入力画像２００）を更に縮小した縮小画像を生成して出力する。
フィルタ・縮小処理部２１１により生成された縮小画像は、拡大処理部２１２，接続切替部２２０，第１の選択部２２２に供給可能な構成とされている。
【００２４】
拡大処理部２１２は、入力された縮小画像を、フィルタ・縮小処理部２１１による縮小処理がされる前の大きさに拡大し、減算部２１３に出力する。減算部２１３は、拡大処理部２１２から供給された画像と、フィルタ・縮小処理部２１１に入力された画像との差分をとることで帯域信号を生成し、ノイズ低減部２１４に出力する。ノイズ低減部２１４は、入力された帯域信号に所定のノイズ低減処理を施し、出力する。
【００２５】
接続切替部２２０は、フィルタ・縮小処理部２１１とフレームメモリ２２３との接続と非接続を切り替える手段である。具体的には、接続切替部２２０の両端の配線が接続状態にあるときには、フィルタ・縮小処理部２１１から出力される縮小画像がフレームメモリ２２３に供給され、接続切替部２２０の両端の配線が非接続状態にあるときには、フィルタ・縮小処理部２１１から出力される縮小画像はフレームメモリ２２３に供給されない。
第１の選択部２２２は、画像合成部４の２段目の合成部２１９に入力される縮小画像の供給元を切り替える手段である。具体的には、フィルタ・縮小処理部２１１からの縮小画像またはフレームメモリ２２４に保持されているノイズ低減済み縮小画像４００を合成部２１９に供給する。
第２の選択部２２５は、帯域信号生成部２に入力される信号を切り替える手段である。具体的には、帯域信号生成部２に入力される信号として、入力画像２００及びフレームメモリ２２３に記憶された信号のうちのいずれかを選択し、いずれか一方を帯域信号生成部２の１段目のフィルタ・縮小処理部２０１に供給する。
【００２６】
２段目の合成部２１９の拡大処理部２１５は、入力された縮小画像を、対応するフィルタ・縮小処理部２１１に入力された縮小画像のサイズまで拡大し、加算部２１６に出力する。加算部２１６は、ノイズ低減部２１４から供給されるノイズ低減済みの帯域信号と拡大処理部２１５から供給される縮小画像とを加算して、１段目の合成部２０９に出力する。
合成部２０９の拡大処理部２０５は、合成部２１９からの縮小画像を拡大処理し、加算部２０６に出力する。加算部２０６は、ノイズ低減部２０４から供給されるノイズ低減済みの帯域信号と拡大処理部２０５から供給される縮小画像とを加算して出力する。これにより、所定のサイズに戻されたノイズ低減済みの画像が出力される。
【００２７】
次に、上述した構成を備えるノイズ低減処理部２０により実現されるノイズ低減処理方法について、図１乃至図６を参照して説明する。
まず、本実施形態に係るノイズ低減処理方法は、接続切替部２２０、第１の選択部２２２及び第２の選択部２２５の設定により３つのモードで構成される。
【００２８】
〔第１モード〕
まず、第１モードでは、図３に示されるように、第２の選択部２２５により、入力画像２００がフィルタ・縮小処理部２０１に供給され、接続切替部２２０によりフィルタ・縮小処理部２１１がフレームメモリ２２３に接続され、第１の選択部２２２により合成部２１９がフィルタ・縮小処理部２１１の出力ラインに接続される。
ここで、入力画像２００は、撮像素子（図示略）により取得された画像に対して、階調変換処理等の画像処理が施された画像とする。
【００２９】
入力画像２００は、フィルタ・縮小処理部２０１にてローパスフィルタ処理後に縮小される。この処理により、画像サイズは水平方向、垂直方向共に半分となる。縮小された画像は、次段のフィルタ・縮小処理部２１１に供給され、さらに縮小される。フィルタ・縮小処理部２１１から出力された縮小画像３００は、接続切替部２２０を経由してフレームメモリ２２３に保存される。
他方、各フィルタ・縮小処理部２０１、２１１により生成された縮小画像は、拡大処理部２０２，２１２及び減算部２０３，２１３にそれぞれ供給されることにより、各帯域信号が生成される。各帯域信号は、ノイズ低減部２０４，２１４にそれぞれ供給されることで、ノイズ低減処理が実施され、ノイズ低減後の帯域信号がそれぞれの合成部２０９，２１９に出力される。
【００３０】
合成部２１９には、フィルタ・縮小処理部２１１から出力された縮小画像３００が第１の選択部２２２を経由して供給される。合成部２１９において、縮小画像３００は拡大処理された後に、ノイズ低減部２１４からの帯域信号と合成される。この合成画像は、合成部２０９に供給され、拡大処理後にノイズ低減部２０４からの帯域信号と合成され、出力画像３０１が作成される。この出力画像３０１は、第１画像として、図１に示した第１の圧縮符号化処理部１０２に出力される。
【００３１】
〔第２モード〕
次に、第２モードでは、図４に示されるように、第２の選択部２２５によりフィルタ・縮小処理部２０１の入力はフレームメモリ２２３に接続され、接続切替部２２０は開状態となる。更に、第１の選択部２２２により合成部２１９はフィルタ・縮小処理部２１１の出力ラインに接続される。
このように接続されることで、第２モードでは、第１モードにおいてフレームメモリ２２３に保存した縮小画像３００が帯域信号生成部２、具体的には、１段目のフィルタ・縮小処理部２０１に入力される。
入力された縮小画像３００は、フィルタ・縮小処理部２０１、２１１によって更に縮小される。これにより、既に入力画像が４分の１に縮小されている縮小画像３００を更に２段階縮小し、その結果、１６分の１の画素サイズの縮小画像３０２を得ることができる。縮小画像３０２は、第１の選択部２２２を経由して合成部２１９に出力される。
【００３２】
他方、各フィルタ・縮小処理部２０１、２１１により生成された縮小画像は、拡大処理部２０２，２１２及び減算部２０３，２１３にそれぞれ供給されることにより、各帯域信号が生成される。各帯域信号は、ノイズ低減部２０４，２１４にそれぞれ供給されることで、ノイズ低減処理が実施され、ノイズ低減後の帯域信号がそれぞれの合成部２０９，２１９に出力される。
【００３３】
合成部２１９では、縮小画像３０２が拡大処理された後に、ノイズ低減部２１４からの帯域信号と合成される。この合成画像は、合成部２０９に供給され、拡大処理後にノイズ低減部２０４からの帯域信号と合成され、ノイズ低減済み縮小画像４００として出力される。このノイズ低減済み縮小画像４００は、フレームメモリ２２４に保存される。
【００３４】
このように、第２モードでは、縮小画像３００が帯域信号生成部２に再度入力されるので、帯域信号生成部２から出力される縮小画像３０２は、２×２段のフィルタ・縮小処理部を経由して作成される場合の縮小画像に相当することとなる。これにより、帯域信号生成部２に本来備えている能力以上の能力を発揮させることが可能となり、ハードウェア規模の増大を避けながらノイズ低減能力を向上させることができる。
【００３５】
〔第３モード〕
続いて、第３モードでは、図５に示されるように、第２の選択部２２５により入力画像２００がフィルタ・縮小処理部２０１に入力され、接続切替部２２０は開状態となり、第１の選択部２２２により合成部２１９はフレームメモリ２２４に接続される。
このように接続されることで、入力画像２００が帯域信号生成部２に供給され、フィルタ・縮小処理部２０１，２１１により段階的な縮小処理が施され、それぞれの縮小画像が拡大処理部２０２，２１２，減算部２０３，２１３に供給されることにより、各帯域信号が生成される。各帯域信号は、ノイズ処理部２０４，２１４によってノイズ低減処理が実施された後、対応する合成部２０９，２１９に出力される。
【００３６】
また、第１の選択部２２２により合成部２１９がフレームメモリ２２４に接続されることから、フレームメモリ２２４に保存されているノイズ低減済み縮小画像４００が、第１の選択部２２２を経由して合成部２１９に供給される。これにより、ノイズ低減済み縮小画像４００に対して拡大、合成処理が行われることにより、ノイズ低減部２１４からの帯域信号との合成画像が作成され、更に、合成部２０９においても拡大、合成処理が行われることにより、最終的に入力画像２００と略同じサイズの出力画像５００が出力されることとなる。この出力画像５００は、第２画像として、図１に示した第２の圧縮符号化処理部１４に出力される。
【００３７】
なお、上記第１モード及び第３モードにおいてノイズ低減部２０４，２１４で用いられるノイズ低減パラメータは、第１のノイズ低減パラメータであり、第２モードにおいてノイズ低減部２０４，２１４で用いられるノイズ低減パラメータは、第１のノイズ低減パラメータと異なる第２のノイズ低減パラメータとされている。
【００３８】
次に、上記第１画像及び第２画像を用いて行われる符号圧縮化処理について、図１を参照して詳しく説明する。
まず、ノイズ低減処理部２０により得られた出力画像３０１（図３参照）が第１画像として第１の圧縮符号化処理部１１に出力される。第１の画像圧縮符号化処理部１１は、第１の符号化パラメータを用いて、出力画像３０１に圧縮符号化処理を施し、処理結果をパラメータ決定部１２に出力する。
【００３９】
パラメータ決定部１２は、第１の圧縮符号化処理部１１の処理結果を受けて、所望の符号量を発生し得る第２の符号化パラメータを決定し、決定した第２の符号化パラメータを第２の圧縮符号化処理部１４に出力する。
【００４０】
また、第２の圧縮符号化処理部１４には、ノイズ低減処理部２０により得られた出力画像５００（図５参照）が第２画像として入力される。
第２の圧縮符号化処理部１４は、第２画像に対して第２の符号化パラメータに基づき圧縮符号化処理を行い、圧縮符号化済みの画像を出力する。作成された画像は例えば、図示しない記録媒体等に格納される。
【００４１】
以上、説明してきたように、本実施形態に係る画像処理装置１及び画像処理方法によれば、第１の圧縮符号化処理に用いる第１画像と第２の圧縮符号化処理に用いる第２画像とを共通のノイズ低減処理部２００により作成するので、ハードウェア規模の増加を抑えることができる。更に、第２の圧縮符号化処理において用いられる第２画像は、第１の圧縮符号化処理において用いられる第１画像よりも更にノイズ低減がなされた画像となることから、高いノイズ低減性能を得ることが可能となる。
【００４２】
なお、１パス目で行われる第１の圧縮符号化処理部１１による圧縮符号化処理は、２パス目の圧縮符号化処理の符号量を制御するために行われるので、それぞれに対する入力画像、つまり、第１画像と第２画像とは原則として同一とすることが好ましい。本実施形態では、第１の圧縮化処理部１１に入力される第１画像と、第２の圧縮化処理部１４に入力される第２画像とがノイズ量の異なる画像となっているため、符号量制御の精度が低下することが懸念される。
【００４３】
しかしながら、本実施形態において、第１画像として用いられる出力画像３０１と第２画像として用いられる出力画像５００との違いは、多重解像度変換における３段目以降の低周波成分である。通常、圧縮符号化においては、画像を８×８や１６×１６画素の小さなブロックに分割して処理することが多く、低周波成分の符号量に対する影響は軽微である。したがって、本実施形態に係る上記構成によって符号化制御を行ってもそれによる精度の程度は軽微であり、十分な精度を確保できるといえる。
【００４４】
なお、本実施形態においては、縮小画像３００（図３参照）に対するノイズ低減処理についても図２に示した装置構成を再利用することによりノイズ低減処理を実施していたが、これに限られず、例えば、図６に示すように、縮小画像３００のノイズ低減処理については、画像処理装置１内に存在するプロセッサ２５０を利用することとしてもよい。画素数の少ない縮小画像３００に関するノイズ低減処理については処理負担がそれほど大きくないため、プロセッサを用いてノイズ低減処理等を行っても処理遅延等の不都合を抑えることができる。
【００４５】
〔第２の実施形態〕
次に、本発明の第２の実施形態について、図７を用いて説明する。
本実施形態に係る画像処理装置は、図７に示されるように、第１のノイズ低減処理部１０´によって作成された第１画像を第２のノイズ低減処理部１３´の入力画像とし、この第１画像を用いて第２のノイズ低減処理部１３´がノイズ低減処理を実行する点で、上述した第１の実施形態に係る画像処理装置と異なる。
以下、本実施形態の画像処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００４６】
図７において、第１のノイズ低減処理部１０´は、入力画像２００に対して第１のノイズ低減処理を施し、第１画像を作成する。ここでのノイズ低減処理は、第１のノイズ低減パラメータに基づいて行われる。
第１のノイズ低減処理部１０´において作成された第１画像は、第１の圧縮符号化処理部１１に出力されるとともに、第２のノイズ低減処理部１３´に出力される。
第１の圧縮符号化処理部１１では、第１の符号化パラメータを用いた圧縮符号化処理が第１画像に対して行われ、この圧縮符号化処理結果がパラメータ決定部１２に出力される。パラメータ決定部１２は、第１の圧縮符号化処理部１１による処理結果に基づいて、所望の符号量を発生し得る第２の符号化パラメータを算出し、これを第２の圧縮符号化処理部１４に出力する。
【００４７】
第２のノイズ低減処理部１３´では、第１画像に対して第２のノイズ低減処理が実施され、第２画像が作成される。ここでのノイズ低減処理は、第２のノイズ低減パラメータに基づいて行われる。
第２のノイズ低減処理部１３´において作成された第２画像は、第２の圧縮符号化処理部１４に出力される。第２の圧縮符号化処理部１４は、第２画像に対して第２の符号化パラメータに基づき圧縮符号化処理を行い、圧縮符号化済みの画像を出力する。作成された画像は例えば、図示しない記録媒体等に格納される。
【００４８】
本実施形態において、第１のノイズ低減処理部１０´及び第２のノイズ低減処理部１３´は、共通のノイズ低減処理部を用いることが好ましい。このように、共通のノイズ低減処理部を用いてそれぞれのノイズ低減処理を実施することで、回路規模の増大を抑制できる。また、第１のノイズ低減処理部１０´及び第２のノイズ低減処理部１３´の構成については、上述した第１の実施形態のように多重解像度変換を利用したものとしてもよいし、その他の公知のノイズ低減処理を採用することとしてもよい。
【００４９】
以上説明してきたように、本実施形態に係る画像処理装置及び画像処理方法によれば、第１のノイズ低減処理部１０´において作成した第１画像に対して、第２のノイズ低減処理部１３´において更にノイズ低減処理を実施するので、高いノイズ低減性能を得ることが可能となる。
また、第１ノイズ低減処理と第２ノイズ低減処理において共通のノイズ低減処理部を利用することで、ハードウェア規模の増加を抑えることが可能となる。
【００５０】
なお、第１の圧縮符号化処理部１１による圧縮符号化処理は、第２の圧縮符号化処理部１４における圧縮符号化処理の符号量を制御するために行われるので、第１及び第２の圧縮符号化処理部１１、１２に入力される画像は原則として同一とすることが好ましい。本実施形態のように、これらを異なる画像とすると、符号量制御の精度が低下することが懸念される。
そこで本実施形態においては、第１のノイズ低減処理部１０´の動作を制御する第１のノイズ低減パラメータと、第２のノイズ低減処理部１３´の動作を制御する第２のノイズ低減パラメータとを個別に用意し、第２のノイズ低減パラメータによるノイズ低減強度を弱めに設定することとしている。これにより、第１画像と第２画像とが大幅に相違することを防止でき、符号量制御の精度の低下が軽微に留めることが可能となる。
【００５１】
〔第３の実施形態〕
次に、本発明の第３の実施形態について、図８乃至図１０を用いて説明する。
上述した第１の実施形態では、第１の圧縮符号化処理部１１において用いられる第１画像と、第２圧縮符号化処理部１４において用いられる第２画像とは同一ではないものの、それらの差分は低周波成分におけるノイズ成分の違いであり、符号量制御の精度の低下は軽微であった。
【００５２】
しかしながら、例えば、上述した第１の実施形態における縮小画像３００（図４参照）に対するノイズ低減の強度が強く、第１画像と第２画像との差分が拡張された場合には、符号量制御の精度の低下が無視できなくなるおそれがある。
そこで、本実施形態では、図８に示すように、第１の圧縮符号化処理部１１の処理結果を修正する修正処理部１５を設け、符号量制御の精度の低下を抑えることとしている。
以下、本実施形態の画像処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００５３】
図８に示すように、第１の圧縮符号化処理部１１とパラメータ決定部１２との間に、修正処理部１５が設けられている。修正処理部１５には、第１の圧縮符号化処理部１１による圧縮符号化の処理結果が入力されるとともに、第２のノイズ低減処理部１３（ノイズ低減処理部２０）において縮小画像３００をノイズ低減する際に用いられる第２のノイズ低減パラメータが入力されるようになっている。
【００５４】
図９に、修正処理部１５の概略構成を示す。本実施形態においては、第１の圧縮符号化処理部１１から出力される符号量を符号量８００とし、また、この符号量８００は第１の符号化パラメータを用いて第１画像を符号化した際の符号量とする。第１の圧縮符号化処理部１１に入力される第１画像と、第２の圧縮符号化処理部１４に入力される第２画像の差分量は、第２のノイズ低減パラメータで制御される縮小画像３００のノイズ低減処理の強度に依存する。
このノイズ低減処理の強度が弱い場合、第１画像と第２画像との差分量は小さいため、符号量８００は修正する必要性が低いが、強度が強い場合、差分量が大きくなるため、符号量８００は修正する必要性が高くなる。
【００５５】
修正処理部１５は、符号量修正部８０１、ノイズ低減強度推定処理部８０２、及び修正係数取得部８０３を備えて構成されている。
【００５６】
ノイズ低減強度推定処理部８０２は、第２のノイズ低減パラメータからノイズ低減強度を示すノイズ強度指数を算出する。例えば、第２のノイズ低減パラメータの中にノイズ低減強度と相関の強いパラメータが存在する場合には、これを抽出した後、一定範囲のノイズ低減強度指数とする（例えば、０から１５の１６段階の指標とする）。あるいは、第２のノイズ低減パラメータを事前に調整する段階で、このノイズ低減パラメータが実現するノイズ低減処理の強度を調査し、これを指数化したものをパラメータとして第２のノイズ低減パラメータの中に含めても良い。この場合には、ノイズ低減強度推定処理部８０２は、単に当該指数を抽出するのみの処理となる。
【００５７】
修正係数取得部８０３は、ノイズ低減強度指数と修正係数とが対応付けられた修正係数テーブルを有しており、この修正係数テーブルを用いてノイズ強度推定処理部８０２から入力されたノイズ低減強度指数に対応する修正係数を求め、この修正係数を符号量修正部８０１に出力する。
【００５８】
修正係数テーブルは、事前に設定されているものであり、例えば、ノイズ低減強度に応じて、符号量８００がどの程度影響を受けるかを複数の代表的な画像を用いて事前に統計的に調査することで作成される。具体的には、それぞれのノイズ低減強度において、複数の代表的な画像について、第１のノイズ低減処理部１０の出力である第１画像を第１の符号化パラメータで圧縮符号化した際の符号量と、第２のノイズ低減処理部１３の出力である第２画像を第１の符号化パラメータで圧縮符号化した際の符号量の比率を平均化処理により求めておく。一般に、ノイズ低減処理が強く適用された画像は、画像に含まれる情報量が減少するため、圧縮符号化処理による発生符号量も減少する。
【００５９】
図１０に、修正係数テーブルの一例を示す。図１０において、横軸はノイズ低減強度指数、縦軸は修正係数を示している。例えば、ノイズ低減強度指数が０の場合は、縮小画像３００に対してノイズ低減がほぼなされていない場合であり、この場合には、第１のノイズ低減処理部１０から出力される第１画像を第１の符号化パラメータで圧縮符号化した際の符号量と、第２のノイズ低減処理部１３から出力される第２画像を第１の符号化パラメータで圧縮符号化した際の符号量は変化しない。したがって、符号量８００は修正する必要はなく、修正係数は１．０となっている。
【００６０】
これに対し、例えば、ノイズ低減強度指数が１５の場合は、ノイズ低減が強くなされたことを意味し、この場合、符号量の減少度合いに応じて修正係数が設定される。例えば、統計的に調査した結果、符号量が１０％程度減少するという結果が得られた場合には、修正係数を０．９とする。
【００６１】
符号量修正部８０１は、修正係数取得部８０３から入力された修正係数を符合量８００に乗算することで、符号量８００を修正し、修正後の符号量をパラメータ決定部１２に出力する。パラメータ決定部１２は、修正処理部１５から出力された修正後の符号量と目標とする符号量との関係から第２の符号化パラメータを求め、この第２の符号化パラメータを第２の圧縮符号化処理部１４に出力する。
【００６２】
以上説明してきたように、本実施形態に係る画像処理装置及び画像処理方法によれば、第１画像に基づいて算出された符号量を、第２のノイズ低減処理部１３において実施されるノイズ低減強度に応じて修正するので、符号量制御の精度の低下を抑えることが可能となる。
【００６３】
〔第４の実施形態〕
次に、本発明の第４の実施形態について、図１１を用いて説明する。
上述した第２の実施形態においては、第１の圧縮符号化処理部１１に入力される第１画像と、第２の圧縮符号化処理部１４に入力される第２画像とは同一ではないものの、第１のノイズ低減処理部１０´の動作を制御する第１のノイズ低減パラメータと、第２のノイズ低減処理部１３´の動作を制御する第２のノイズ低減パラメータとを個別に用意し、第２のノイズ低減パラメータによるノイズ低減強度を弱めに設定することにより、符号量制御の精度の低下が軽微に留まるように調整していた。
【００６４】
しかしながら、第２のノイズ低減パラメータによるノイズ低減強度を弱くすることは、全体のノイズ低減性能の向上を犠牲にすることであり、好ましくない。また、ノイズ低減強度を弱くしても、符号量制御の精度の低下が無視できない場合もありえる。
【００６５】
そこで本実施形態においては、第３の実施形態に係る画像処理装置と同様に、第１圧縮符号化処理部１１とパラメータ決定部１２との間に修正処理部１５を設け、第１の圧縮符号化処理部１１から出力される符号量を補正することとしている。これにより、符号量制御の精度の低下を抑えることが可能となる。
本実施形態においても、第２のノイズ低減パラメータによるノイズ低減強度が、符号量制御の精度低下に影響するので、この第２のノイズ低減パラメータを修正処理部１５に入力し、この第２のノイズ低減パラメータに基づいて決定されるノイズ低減強度に対応する修正係数を用いて符合量を補正することとしている。
【００６６】
以上説明してきたように、本実施形態に係る画像処理装置及び画像処理方法によれば、第１画像に基づいて第１の圧縮符号化処理部１１において算出された符号量を、第２のノイズ低減パラメータに基づくノイズ低減強度に応じて修正するので、符号量制御の精度の低下を抑えることが可能となる。
【００６７】
〔応用例〕
次に、上述した各実施形態に係る画像処理装置及び方法を適用したデジタルカメラ等の撮像システムについて説明する。
図１２は、撮像システムの一構成例を示した図である。図１２に示されるように、撮像システムは、撮像装置と上述したいずれかの実施形態に係る画像処理装置とを備えて構成されている。
撮像装置（撮像手段）は、レンズ系８１０、撮像素子８１１を備えている。画像処理装置は、画像処理部８１２、ノイズ低減処理部８１３、画像圧縮部８１４、記録メディア８１５、及びフレームメモリ８１６を備えて構成されている。
このような構成を備える撮像システムにおいて、レンズ系８１０を通して撮像素子８１１により撮像された画像信号は、画像処理部８１２において階調変換処理やエッジ強調処理等の画像処理が施された後、一旦フレームメモリ８１６に格納される。フレームメモリ８１６に格納された画像は、ノイズ低減処理部８１３に読み出され、上述してきたいずれかの実施形態に係る入力画像として用いられる。
【００６８】
具体的には、上記第１または第３の実施形態に係る画像処理装置を適用する場合には、この入力画像に対して多重解像度変換処理を施すことにより出力画像３０１，５００（図３、図５参照）が得られる。出力画像３０１，５００は、画像圧縮部８１４に出力され、この出力画像を第１画像、第２画像として用いた圧縮符号化処理が画像圧縮部８１４により行われることにより、１パス目、２パス目の圧縮符号化処理がそれぞれ実施され、最終的に圧縮符号化済みの画像が得られる。圧縮符号済みの画像は、メモリカード等の記録メディア８１５に保存される。
【００６９】
また、第２または第４の実施形態に係る画像処理装置を適用する場合には、１パス目の符号化処理においては、フレームメモリ８１６に格納された画像を、ノイズ低減処理部８１３にてノイズ低減処理をした後、画像圧縮部８１４にて圧縮符号化処理を行い、このノイズ低減処理後の画像をフレームメモリ８１６に格納する。
２パス目の符号化処理においては、フレームメモリ８１６に格納されたノイズ低減処理後の画像をノイズ低減処理部８１３で再度処理した後、画像圧縮部８１４で適正な圧縮パラメータにおいて圧縮符号化処理をして、メモリカード等の記録メディア８１５に保存する。
【００７０】
このように撮像システムを構成することで、第１から第４の実施形態で示したノイズ低減方式の特徴を有する撮像システムを構成することができる。これにより、ハードウェア規模の増加を抑えつつ、高いノイズ低減性能を有する撮像システムを構成することが可能となる。
【００７１】
なお、上述した各実施形態では、画像処理装置としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置１は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【符号の説明】
【００７２】
１  画像処理装置
２  帯域信号生成部
４  画像合成部
１０，１０´  第１のノイズ低減処理部
１１  第１の圧縮符号化処理部
１２  パラメータ決定部
１３，１３´  第２のノイズ低減処理部
１４  第２の圧縮符号化処理部
２０  ノイズ低減処理部
２０１，２１１  フィルタ・縮小処理部
２０２，２１２，２０５，２１５  拡大処理部
２０３，２１３  減算部
２０４，２１４  ノイズ低減部
２０９，２１９  合成部
２０６，２１６  加算部
２２０  接続切替部
２２２  第１の選択部
２２３  フレームメモリ
２２５  第２の選択部
８１０  レンズ系
８１１  撮像素子
８１２  画像処理部
８１３  ノイズ低減処理部
８１４  画像圧縮部
８１５  記録メディア
８１６  フレームメモリ
【図１】
2010206412.tif 000003
【図２】
2010206412.tif 000004
【図３】
2010206412.tif 000005
【図４】
2010206412.tif 000006
【図５】
2010206412.tif 000007
【図６】
2010206412.tif 000008
【図７】
2010206412.tif 000009
【図８】
2010206412.tif 000010
【図９】
2010206412.tif 000011
【図１０】
2010206412.tif 000012
【図１１】
2010206412.tif 000013
【図１２】
2010206412.tif 000014