(57)【要約】【課題】画像を波状させることなく効果的に色信号ノイズを軽減させる色信号ノイズ軽減装置を提供する。【解決手段】撮影された画像において含まれる着目画素が輝度ノイズ又はエッジかどうかを判定する判定手段（１３）と、前記着目画素を含むブロックのサイズを変更するブロック決定手段（１４）と、輝度ノイズ又はエッジと判断された前記着目画素を含まない前記ブロック内の色差信号を平滑化処理する平滑化処理手段（１５）とを備える。【選択図】図１
2008131468.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像において含まれる着目画素が輝度ノイズ又はエッジかどうかを判定する判定手段と、
前記着目画素を含むブロックのサイズを変更するブロック決定手段と、
輝度ノイズ又はエッジと判断された前記着目画素を含まない前記ブロック内の色差信号を平滑化処理する平滑化処理手段とを備えることを特徴とする色信号ノイズ軽減装置。
【請求項２】
前記判定手段において、前記着目画素を含むデフォルトのサイズのブロック内の前記着目画素以外の画素の平均輝度値と、前記着目画素の輝度値とを比較して、前記着目画素が輝度ノイズ又はエッジかどうかを判定することを特徴とする請求項１記載の色信号ノイズ軽減手段。
【請求項３】
前記ブロック決定手段において、前記着目画素の輝度値に応じて前記ブロックのサイズを変更することを特徴とする請求項１又は２に記載の色信号ノイズ軽減装置。
【請求項４】
前記ブロック決定手段において、前記着目画素を含むブロック内の前記着目画素以外の画素の平均輝度値に応じて前記ブロックのサイズを変更することを特徴とする請求項１又は２に記載の色信号ノイズ軽減装置。
【請求項５】
前記ブロックのデフォルトのサイズを、前記画像のサイズと、撮影時のシャッタスピードの値とに基づいて決定することを特徴とする請求項１乃至４のいずれか１項に記載の色信号ノイズ軽減装置。
【請求項６】
前記ブロック決定手段において、決定されたサイズのブロックを着目画素に適用した場合、画像の外にはみ出てしまう場合にはブロックサイズを変更しないことを特徴とする請求項１乃至５のいずれか１項に記載の色信号ノイズ軽減装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の色信号ノイズ軽減装置を備えることを特徴とするカメラ付き携帯端末。
【請求項８】
撮影された画像において含まれる着目画素が輝度ノイズ又はエッジかどうかを判定する判定ステップと、
前記着目画素を含むブロックのサイズを変更するブロック決定ステップと、
輝度ノイズ又はエッジと判断された前記着目画素を含まない前記ブロック内の色差信号を平滑化処理する平滑化処理ステップとを含むことを特徴とする色信号ノイズ軽減方法。
【請求項９】
前記判定ステップにおいて、前記着目画素を含むデフォルトのサイズのブロック内の前記着目画素以外の画素の平均輝度値と、前記着目画素の輝度値とを比較して、前記着目画素が輝度ノイズ又はエッジかどうかを判定することを特徴とする請求項８記載の色信号ノイズ軽減方法。
【請求項１０】
前記ブロック決定ステップにおいて、前記着目画素の輝度値に応じて前記ブロックのサイズを変更することを特徴とする請求項８又は９に記載の色信号ノイズ軽減方法。
【請求項１１】
前記ブロック決定ステップにおいて、前記着目画素を含むブロック内の前記着目画素以外の画素の平均輝度値に応じて前記ブロックのサイズを変更することを特徴とする請求項８又は９に記載の色信号ノイズ軽減方法。
【請求項１２】
前記ブロックのデフォルトのサイズを、前記画像のサイズと、撮影時のシャッタスピードの値とに基づいて決定することを特徴とする請求項８乃至１１のいずれか１項に記載の色信号ノイズ軽減方法。
【請求項１３】
前記ブロック決定ステップにおいて、決定されたサイズのブロックを着目画素に適用した場合、画像の外にはみ出てしまう場合にはブロックサイズを変更しないことを特徴とする請求項８乃至１２のいずれか１項に記載の色信号ノイズ軽減方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色信号ノイズを軽減させる方法および装置に関し、特には、カメラ付き携帯電話に搭載されているような比較的廉価なカメラモジュールで撮影した画像において発生する色信号ノイズを軽減させる方法および装置に関する。本発明は、このような色信号ノイズ軽減装置を備えるカメラ付き携帯端末にも関する。
【背景技術】
【０００２】
コンパクトデジタルカメラやカメラ付き携帯電話が世に出回るようになり、誰でも手軽に撮影する機会が増えるようになった。しかし、手軽に撮ることを可能にするためには、いつでも携帯することができるように撮影装置は軽くなければならず、軽いがために画像がぶれてしまう「手ぶれ」が発生しやすくなった。
【０００３】
この手ぶれを補正するために、光学式手ぶれ補正やデジタル手ぶれ補正、高感度撮影などの方法がとられている。光学式手ぶれ補正は、レンズやＣＣＤ（Charge-Coupled Device）などの受光素子をぶれ方向に移動させることによって手ぶれを吸収する方式であり、高感度撮影は、高感度ＣＣＤの特徴を活かしてシャッタスピードを短くし、ノイズ量を抑えつつ、手ぶれだけでなく、被写体ぶれも軽減させる方式である。これらは現在、コンパクトデジタルカメラではよく搭載されている機能であるが、良好な画像を得るためにレンズや受光素子が大きくなったり、レンズを移動させるための機構が必要になるなどして、ある程度大きな筐体が必要になってくる。
【０００４】
一方、カメラ付き携帯電話は、携帯電話であることの意義から端末サイズを大きくすることは一般的に好ましくない。この理由から、カメラ付き携帯電話に搭載される手ぶれ補正には、ソフトウェアだけでも実現可能なデジタル手ぶれ補正方式がよく用いられる。この場合、シャッタスピードを速くして連写した画像から位置検出して合成する手法や、同じくシャッタスピードを速くして撮影した画像にノイズ除去処理をかけて手ぶれしない画像を得る技術があるが、シャッタスピードを上げることによって露光時間が短くなり、充分に光を集めることができないため、ノイズが発生しやすい。また、手ぶれ補正をせずに通常撮影モードで撮影しても暗所で撮影した画像はノイズが発生しやすく、特に画像の低輝度部に発生する色信号ノイズは目立ってしまう。
【０００５】
そこで、この色信号ノイズを軽減させるために、従来からノイズ軽減技術が検討されてきた。その中で、以下のような先行技術がある。
【０００６】
特許文献１に記載の技術では、エッジ検出フィルタを色差信号にかけ、変化が激しいエッジ部を検出し、エッジ部では入力された色差信号をそのまま出力する。一方、エッジ部を除く部分では輝度信号のレベルの差を見て領域をより小さく分割し、分割した各領域において色差信号を平均化して出力する。これにより、顕著な色むらの原因となる映像信号の色信号ノイズを除去することを特徴としている。
【特許文献１】特開平３−２９１０９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術では、輝度信号のレベルを参照して領域を決定し色信号の平滑化処理を行っているため、領域の境目で階調むらが出てしまう可能性がある。またランダムノイズはそのままエッジとして検出してしまう可能性がある。
【０００８】
本発明はこのような状況に鑑みてなされたもので、効果的に色信号ノイズを軽減させる方法及び装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
上記解決課題に鑑みて鋭意研究の結果、本発明者は、着目する画素の周辺に存在する色差成分を平滑化して着目画素の色差成分に置換し、色信号ノイズを軽減する際に、平滑化するブロックのサイズを変化させ、暗いところに多く存在する色信号ノイズには大きなブロックサイズを使って処理することにより、色信号ノイズを効果的に軽減できることに想到した。
【００１０】
すなわち、本発明の色信号ノイズ軽減装置は、撮影された画像において含まれる着目画素が輝度ノイズ又はエッジかどうかを判定する判定手段と、前記着目画素を含むブロックのサイズを変更するブロック決定手段と、輝度ノイズ又はエッジと判断された前記着目画素を含まない前記ブロック内の色差信号を平滑化処理する平滑化処理手段とを備えることを特徴とする。
【００１１】
本発明の色信号ノイズ軽減方法は、撮影された画像において含まれる着目画素が輝度ノイズ又はエッジかどうかを判定する判定ステップと、前記着目画素を含むブロックのサイズを変更するブロック決定ステップと、輝度ノイズ又はエッジと判断された前記着目画素を含まない前記ブロック内の色差信号を平滑化処理する平滑化処理ステップとを含むことを特徴とする。
【００１２】
好適には、前記着目画素を含むデフォルトのサイズのブロック内の前記着目画素以外の画素の平均輝度値と、前記着目画素の輝度値とを比較して、前記着目画素が輝度ノイズ又はエッジかどうかを判定する。
【００１３】
好適には、前記着目画素の輝度値か、前記着目画素を含むブロック内の前記着目画素以外の画素の平均輝度値に応じて前記ブロックのサイズを変更する。
【００１４】
好適には、前記ブロックのデフォルトのサイズを、前記画像のサイズと、撮影時のシャッタスピードの値とに基づいて決定する。
【００１５】
好適には、決定されたサイズのブロックを着目画素に適用した場合、画像の外にはみ出てしまう場合にはブロックサイズを変更しないようにする。
【００１６】
本発明のカメラ付き携帯端末は、上記のような色信号ノイズ軽減装置を備えることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、効果的に色信号ノイズを軽減させる方法及び装置が実現する。
【発明を実施するための最良の形態】
【００１８】
以下に、本発明の色信号ノイズ軽減装置の実施形態における一例を図面に基づいて詳しく説明する。
【００１９】
図１は、本発明による色信号ノイズ軽減装置の構成の一例を示すブロック図である。色信号ノイズ軽減装置１０は、記憶部１１と、制御部１２と、輝度差分検出部１３と、ブロック決定部１４と、平滑化処理部１５とを備える。色信号ノイズ軽減装置１０は、カメラモジュール１６に接続され、画像データや、シャッタスピード等のカメラ制御情報などを供給される。色信号ノイズ軽減装置１０は、例えばカメラ付き携帯端末に内蔵される。
【００２０】
記憶部１１は、カメラモジュール１６より出力される画像データやカメラ制御情報、処理後画像などを格納する部分である。カメラモジュール１６からは、画像データとカメラ制御情報の他に、画像のサイズと、画像フォーマットとが出力される必要がある。なお、この実施形態では画像フォーマットはＹＵＶであることを前提とする。
【００２１】
制御部１２では、記憶部１１に蓄えられたカメラモジュール１６からの出力画像データやカメラ制御情報等を受け取り、他の処理への受け渡しを行う。また、画像の走査制御も行い、平滑化処理部１５で算出されたブロックサイズや、輝度差分判定部１３から算出されるエッジ・輝度ノイズ判定を参照し、着目画素の座標変更を行う。
【００２２】
輝度差分判定部１３では、着目画素を含むブロック内の着目画素以外の画素の平均輝度値を算出し、着目画素の輝度値と比較を行う。これにより、エッジや輝度ノイズを検出することができる。輝度情報は制御部１２を介してブロック決定部１４に供給され、ブロック決定部１４では、着目画素の輝度値を参照して平滑化に使用する最適なブロックサイズを決定する。ただし、画像における最初の処理の場合は、撮影時のシャッタスピードの値（照度情報）と画像サイズを参照して基本的なブロックサイズを選択し、その後で着目画素の輝度値に応じて基本ブロックサイズを変化させる。色信号ノイズは暗部に存在することが多いので、着目画素の輝度値が低く（つまり、暗く）なるにつれ大きなブロックサイズを選択するよう制御し、着目した画素周辺に対する最適なブロックサイズを選択させるようにする。
【００２３】
平滑化処理部１５では、ブロック決定部１４で決定したブロックサイズを着目画素に対して適用し、ブロック内の色差信号（Ｕ、Ｖ）に対して平滑化処理を行う。この際、エッジや輝度ノイズでないと判断された着目画素を含むブロックに対してのみ平滑化処理を行う。
このような構成を採ることで、画像に発生した色信号ノイズを効果的に軽減する。
【００２４】
次に、実際の手順及び処理の流れについて説明する。カメラモジュール１６が撮影した画像とカメラ制御情報とを記憶部１１に格納した状態から平滑化処理部１５にて平滑化を行うまでの処理の流れを図２に示す。
【００２５】
ステップｓ２０１で、まず始めに画像データのサイズ情報（幅：Ｗ、高さ：Ｈとする）と、撮影時のシャッタスピードの値（ｔｂｌとする）から基本ブロックサイズを選択する。ブロックは色差信号（Ｕ、Ｖ）に対して平滑化をかける領域のことを示しており、小さなブロックサイズを適用すれば画像に対する平滑化処理の影響は少なくなり、大きなブロックサイズを適用すれば影響は大きくなる。画像に対しての影響が大きくなれば画像が破綻する場合もあるため、ステップｓ２０１で、影響が出てくる画像サイズ（Ｗ，Ｈ）と、撮影時のシャッタスピードの値ｔｂｌから最小のブロックサイズ（Ｂ＿ｍｉｎとする）を選択する。この最小ブロックサイズＢ＿ｍｉｎは、ブロックサイズのデフォルトの値として使われる。
【００２６】
次にステップｓ２０２で、着目画素を取得する。着目画素は、ステップｓ２０１で選択した最小ブロックサイズＢ＿ｍｉｎを構成する１辺の半分の長さ分だけ幅・高さ共に画像データの奥まった部分に位置する。つまり、最小ブロックサイズＢ＿ｍｉｎの１辺の長さをＤとし、画像データの先頭を座標（ｘ，ｙ）＝（０，０）とすると、最初の着目画素の座標は（Ｄ／２，Ｄ／２）となる。
【００２７】
そしてステップｓ２０３では、着目画素の輝度値と、ブロックサイズ内の着目画素を除いた輝度の平均から、差分値Ｅを算出する。ステップｓ２０４で、ステップｓ２０３で算出した輝度の差分値Ｅを、予め設定していた閾値Ｅ０と比較し、その結果で着目画素がエッジや輝度ノイズかどうかを判定する。
【００２８】
これは、後工程でエッジや輝度ノイズ部分の色差信号（Ｕ、Ｖ）を使って平滑化して色にじみが出ることを回避するために行っている。閾値Ｅ０よりもＥの値が高く、着目画素がエッジや輝度ノイズだと判断された場合にはステップｓ２０８に処理を移行する。ステップｓ２０８でまだ画像の末端ではないと判定された場合には、ステップｓ２０９で着目画素の位置を最小ブロックサイズＢ＿ｍｉｎ分だけ隣へ位置を移動し、ステップｓ２０２から処理を再開する。また、ステップｓ２０４にてＥの値が閾値Ｅ０未満であるならエッジや輝度ノイズではないと判断し、ステップｓ２０５に進む。なお、閾値Ｅ０は、カメラモジュールの特性や、シャッタスピード、画像サイズなどの情報に応じて可変させても構わない。
【００２９】
ステップｓ２０４で、着目画素の周辺が輝度ノイズやエッジが無い画像的に平坦な領域であると判断した場合、ステップｓ２０５で、着目画素の周辺領域にかけるブロックサイズの大きさが最小ブロックサイズＢ＿ｍｉｎの大きさで適正かどうかを判断する。前述したが、色信号ノイズは暗部に存在することが多い。そこで、着目画素の画素値か、先ほど求めた着目画素周辺の平均輝度値を使い、その周辺の領域が明るいのか暗いのかを判定する。輝度値が小さければ小さいほど色信号ノイズの存在する可能性が高くなるので、大きなブロックサイズを選択して平滑化処理の効果を上げる。デフォルトのブロックサイズが着目画素の輝度値又は着目画素周辺の平均輝度値に対して適性と判断した場合は、ブロックサイズの変更はせずにそのままステップｓ２０７の平滑化処理へ進む。なお、着目画素が画像の端ぎりぎりにある場合はデータのない領域を参照しないよう、同様にステップｓ２０７へ進む。
【００３０】
ステップｓ２０５でデフォルトのブロックサイズＢ＿ｍｉｎが着目画素の輝度値又は着目画素周辺の平均輝度値に対して適正でない（つまり、輝度値が低く、着目画素周辺の領域が暗いと判断できるため、今のブロックサイズでは平滑化処理をかけてもあまり効果がない）と判断した場合、ステップｓ２０６で、ブロックサイズを大きく取るよう変更する。ただし、着目画素が画像の端近辺にある場合は、データのない領域を参照しないだけのブロックサイズに限られる。
【００３１】
こうしてブロックサイズが確定した段階でステップｓ２０７に移行し、着目画素を中心としたブロックサイズ内の領域で色差信号のＵとＶに対してそれぞれ平滑化処理を行う。ステップｓ２０７の着目画素とその周辺に対しての平滑化処理が終わったら、ステップｓ２０８で、画像サイズと着目画素の位置関係から画像データの末端であるか確認する。ここで次の着目画素が存在するのであれば、ステップｓ２０９で、着目画素自体の位置を最小ブロックサイズ分だけ移動し、ステップｓ２０２から同様の処理手順を踏む。また、ステップｓ２０８で画像データの末端であることを確認できた場合は、画像全体の色信号ノイズ軽減処理をかけたことになるので、処理自体を終了させる。
【００３２】
上記にて説明された本発明により以下の効果がもたらされる。第１に、撮影時のシャッタスピードから推定される照度と、輝度値、２つの情報から色差信号を平滑化するブロックサイズを変化させることで、色信号ノイズの多い部位を効果的に平滑化できる。第２に、照度によって同じ輝度値でもノイズ量は異なり、照度情報を参照することで単に輝度成分情報のみを参照してノイズ除去するよりも効果的に軽減できる。第３に、エッジと検出されたランダムノイズ（輝度ノイズ）を回避できる。第４に、各画素に対して行うので階調ムラが出にくい。
【００３３】
このように、ブロックサイズをシャッタスピードや輝度値、画像サイズによって可変させることで、色信号ノイズを効果的に軽減させ、カメラ付き携帯電話のように比較的廉価なデバイスによって撮影された画像でも、より良好な画像にすることを実現できる。なお、この色信号ノイズ軽減装置は、この処理に入る前に輝度信号におけるフィルタ処理（例えば、平滑化処理や、メディアンフィルタなど）を施せば、より安定した輝度信号を参照することができるため、より高い効果を期待できると考える。
【００３４】
以上のように、本発明における実施の形態を示したが、上記の実施例に何ら限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採り得ることはいうまでもない。また、応用に関しても同様である。
【産業上の利用可能性】
【００３５】
本発明は、画像の色信号ノイズを軽減する色信号ノイズ軽減装置および方法に利用可能である。
【図面の簡単な説明】
【００３６】
【図１】本発明の色信号ノイズ軽減装置の構成の一例を示すブロック図である。
【図２】本発明の色信号ノイズ軽減装置における処理を説明するフローチャートである。
【符号の説明】
【００３７】
１０  色信号ノイズ軽減装置
１１  記憶部
１２  制御部
１３  輝度差分検出部
１４  ブロック決定部
１５  平滑化処理部
１６  カメラモジュール
【図１】
2008131468.tif 000003
【図２】
2008131468.tif 000004