(57)【特許請求の範囲】
【請求項１】
入力画像に対してぶれ補正処理を行う画像補正手段と、
ぶれ補正処理後の補正画像のエッジに関する情報を検出する補正画像エッジ検出手段と、
前記入力画像のエッジに関する情報を検出する入力画像エッジ検出手段と、
エッジに関する情報が検出されたエッジ検出補正画像と、エッジに関する情報が検出されたエッジ検出入力画像とに基づいて選択情報を出力する第２のエッジ判定手段と、
前記選択情報に基づいて、前記入力画像または前記補正画像のいずれか一方を出力する画像出力手段と
を備える画像処理装置であって、
前記選択情報は、前記エッジ検出補正画像と第１のしきい値とを比較し、かつ、前記エッジ検出入力画像と第２のしきい値とを比較した結果であり、
前記画像出力手段は、
前記選択情報が、前記エッジ検出補正画像が前記第１のしきい値以下、かつ、前記エッジ検出入力画像が前記第２のしきい値以下を表す場合、前記入力画像を出力し、
前記選択情報が、前記エッジ検出補正画像が前記第１のしきい値以上、または、前記エッジ検出入力画像が前記第２のしきい値以上を表す場合、前記補正画像を出力する
画像処理装置。
【請求項２】
選択情報を変更した変更情報を出力する第１の選択情報変更手段を備え、
画像出力手段は、前記変更情報に基づいて、入力画像または補正画像のいずれか一方を出力する
請求項１に記載の画像処理装置。
【請求項３】
画像のエッジに関する情報の検出は、画像を構成する所定領域毎に行う
請求項１に記載の画像処理装置。
【請求項４】
所定領域は、画素である
請求項３に記載の画像処理装置。
【請求項５】
第１の選択情報変更手段は、
処理対象となっている所定領域の選択情報を、前記処理対象以外の所定領域の選択情報を参照して変更する
請求項２に記載の画像処理装置。
【請求項６】
第１の選択情報変更手段は、
メディアンフィルタによるフィルタリング処理を行う
請求項５に記載の画像処理装置。
【請求項７】
入力画像に対してぶれ補正処理を行う画像補正ステップと、
ぶれ補正処理後の補正画像のエッジに関する情報を検出する補正画像エッジ検出ステップと、
前記入力画像のエッジに関する情報を検出する入力画像エッジ検出ステップと、
エッジ情報が検出されたエッジ検出補正画像と、エッジに関する情報が検出されたエッジ検出入力画像とに基づいて選択情報を出力する第２のエッジ判定ステップと、
前記選択情報に基づいて、前記入力画像または前記補正画像のいずれか一方を出力する画像出力ステップと
を備える画像処理方法であって、
前記選択情報は、エッジ検出補正画像と第１のしきい値とを比較し、かつ、エッジ検出入力画像と第２のしきい値とを比較した結果であり、
前記画像出力ステップは、
前記選択情報が、前記エッジ検出補正画像が前記第１のしきい値以下、かつ、前記エッジ検出入力画像が前記第２のしきい値以下を表す場合、入力画像を出力し、
前記選択情報が、前記エッジ検出補正画像が前記第１のしきい値以上、または、前記エッジ検出入力画像が前記第２のしきい値以上を表す場合、補正画像を出力する
画像処理方法。
【請求項８】
選択情報を変更した変更情報を出力する第１の選択情報変更ステップを備え、
画像出力ステップは、前記変更情報に基づいて、前記入力画像または前記補正画像のいずれか一方を出力する
請求項７に記載の画像処理方法。
【請求項９】
請求項１に記載の画像処理装置を備えた情報端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像時の手ぶれや撮像系自体が動いたことによるぶれ等の影響を低減する画像処理装置及び画像処理方法に関するものである。本発明は、例えば、携帯電話装置やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等の情報端末装置に搭載される撮像装置や、デジタルスチルカメラ、デジタルムービーカメラ等に適応可能である。
【背景技術】
【０００２】
従来より、銀塩フィルムカメラやデジタルスチルカメラを手で持って被写体を撮影すると、手ぶれなどによりカメラが振れ、撮像画像が手ぶれ方向に流れた劣化を受ける現象が知られている。【０００３】
このような、ぶれによる画像劣化を補正するために、光学系を駆動して撮像を行い、ぶれを低減する方法や、角速度センサ等により求めた手ぶれ量を用いて画像処理を行い、ぶれを低減する方法が提案されている（例えば、特許文献１）。【０００４】
【特許文献１】特開平６−２７５１２号公報（第７頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、画像処理によるぶれ補正の方法では、補正画像にリンギング等のノイズが発生し、画質がより劣化する場合がある。特に、ぶれ量が大きい画像を画像処理した場合、このような劣化は顕著となる。本発明は、このような問題に鑑みてなされたものであり、画像処理によりぶれ補正を行う画像処理装置において、ノイズが低減された画像を得ることを目的としている。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、入力画像に対してぶれ補正処理を行う画像補正手段と、ぶれ補正処理後の補正画像のエッジに関する情報を検出する補正画像エッジ検出手段と、前記入力画像のエッジに関する情報を検出する入力画像エッジ検出手段と、エッジに関する情報が検出されたエッジ検出補正画像と、エッジに関する情報が検出されたエッジ検出入力画像とに基づいて選択情報を出力する第２のエッジ判定手段と、前記選択情報に基づいて、前記入力画像または前記補正画像のいずれか一方を出力する画像出力手段とを備える画像処理装置であって、前記選択情報は、前記エッジ検出補正画像と第１のしきい値とを比較し、かつ、前記エッジ検出入力画像と第２のしきい値とを比較した結果であり、前記画像出力手段は、前記選択情報が、前記エッジ検出補正画像が前記第１のしきい値以下、かつ、前記エッジ検出入力画像が前記第２のしきい値以下を表す場合、前記入力画像を出力し、前記選択情報が、前記エッジ検出補正画像が前記第１のしきい値以上、または、前記エッジ検出入力画像が前記第２のしきい値以上を表す場合、前記補正画像を出力することとしたものである。
【発明の効果】
【０００７】
本発明によれば、リンギング等のノイズが低減された画像を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】画像の水平方向のエッジ成分を示す図である。
【図３】画像の垂直方向のエッジ成分を示す図である。
【図４】エッジ検出補正画像の分布を示す図である。
【図５】この発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図６】エッジ検出入力画像の分布を示す図である。
【図７】この発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図８】この発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。
【符号の説明】
【０００９】
１０、２０、３０、４０  画像処理装置、  １０１  入力画像用フレームメモリ、  １０２  画像補正手段、  １０３  補正画像用フレームメモリ、  １０４  補正画像エッジ検出手段、  １０５  第１のエッジ判定手段、  １０６  画像出力手段、  ２０４  入力画像エッジ検出手段、  ２０５  第２のエッジ判定手段、  ３０７  第１の選択情報変更手段、  ４０７  第２の選択情報変更手段、  ４０８  第１のゲインコントローラ、  ４０９  第２のゲインコントローラ、  ４１１  加算器。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
以下、この発明をその実施の形態を示す図に基づいて詳細に説明する。【００１１】
実施の形態１に係る画像処理装置１０は、入力画像を画像処理した補正画像の情報に基づいて、入力画像か補正画像のいずれか一方を選択して出力することにより、画像処理により発生したリンギング等を低減する。【００１２】
すなわち、入力画像には、ぶれが発生している可能性がある。一方、入力画像を画像処理した補正画像は、ぶれは低減されているが、画像処理によりリンギング等のノイズが発生している可能性がある。本実施の形態に係る画像処理装置は、補正画像においてノイズが発生していると判定された画素を入力画像の画素に置き換え、出力画像のノイズを低減する。【００１３】
図１は、実施の形態１に係る画像処理装置１０の構成を示すブロック図である。図１において、まず、カメラもしくは撮像素子等から得られる入力画像が、入力画像用フレームメモリ１０１に入力され、保存される。次に、入力画像用フレームメモリ１０１から出力された入力画像が画像補正手段１０２に入力され、画像補正手段１０２においてぶれ補正の画像処理が行われる。なお、画像補正手段１０２の画像補正アルゴリズムについては後述する。【００１４】
画像補正手段１０２で補正処理された画像（以下、「補正画像」と記す。）は、補正画像用フレームメモリ１０３に入力され、保存される。さらに、補正画像用フレームメモリ１０３から出力された補正画像は、補正画像エッジ検出手段１０４に入力され、補正画像エッジ検出手段１０４において補正画像のエッジ成分が検出される。なお、補正画像エッジ検出手段１０４におけるエッジ検出処理については後述する。【００１５】
エッジ成分が検出された補正画像（以下、「エッジ検出補正画像」と記す。）は、第１のエッジ判定手段１０５に入力される。第１のエッジ判定手段１０５は、エッジ検出補正画像の情報基づいて、画像本来のエッジ部であるか、画像本来のエッジではない擬似的なエッジ等のノイズであるか否かを画素毎に判定し、判定結果を画像出力手段１０６に出力する。なお、画像本来のエッジ部でないと判定された画素は、絵柄の構成部である場合や、絵柄内の平坦部である場合も考えられる。第１のエッジ判定手段１０５におけるエッジ判定処理についても後述する。【００１６】
画像出力手段１０６は、第１のエッジ判定手段１０５から入力される判定結果に基づいて、画素毎に入力画像と補正画像のいずれか一方を選択し、出力画像として出力する画像出力処理を行う。【００１７】
＜画像補正手段＞
次に、各構成要素における処理の詳細について説明する。まず、画像補正手段１０２について説明する。本実施の形態における画像補正手段１０２の画像補正アルゴリズムは、拘束条件付最小自乗法から導かれる逆フィルタを使用する。すなわち、この画像補正アルゴリズムは、ぶれ量を示すインパルス応答関数を用い、さらにこのインパルス応答関数から算出されるインパルス応答関数の逆フィルタを用いることを特徴としている。ここで、逆フィルタリングのアルゴリズムは、特徴抽出された画像の自乗ノルムの最小化問題を解けばよい。なお、自乗ノルムとはベクトルに対して、その要素の自乗和として計算されるものである。また、本実施の形態では、特徴量にラプラシアン・オペレータで抽出されたエッジ情報を採用する。すなわち、画像補正手段１０２では、ラプラシアン・オペレータにより抽出されたエッジ情報の自乗ノルム最小化問題の解として、ぶれ補正画像を算出する。【００１８】
なお、インパルス応答関数の逆フィルタを算出するためには、インパルス応答関数を予め算出しておく必要がある。インパルス応答関数を算出する方法は、シャッタースピードを変えた２枚の撮像画像から数学的に推定する方法でもよいし、加速度センサ等から得られる物理信号を処理して算出してもよい。ここでは、インパルス応答関数の算出方法の詳細な説明は省略する。【００１９】
次に、インパルス応答関数を算出した後、入力画像から補正画像を得る具体的な方法について説明する。【００２０】
まず、入力画像、補正画像を、式（１）で表される数学的画像モデルを用いて、ベクトル・行列表現にする。式（１）においてｉ、ｊは画素の位置を表しており、画面垂直方向にＭ画素、画面水平方向にＮ画素となるサイズの画像であれば、ｉ＝１，・・・，Ｍ、ｊ＝１，・・・，Ｎとなる整数値を取る。【００２１】
【数１】
0003959547.tif 000002
【００２２】
なお、ｓｉ，ｊはぶれが低減された画像、すなわち補正画像の画素信号であり、ｔｉ，ｊはぶれの発生している画像、すなわち入力画像の画素信号であり、ｖｉ，ｊは撮像時の付加的雑音成分であり、ｈｋ，ｌはぶれ量を示すインパルス応答関数であるとする。また、Ｋより計算される（２Ｋ＋１）はインパルス応答関数の画面垂直方向の次数、Ｌより計算される（２Ｌ＋１）はインパルス応答関数の画面水平方向の次数を表すとする。ただし、入力画像、補正画像の平均値は０であると仮定する。【００２３】
この仮定は、それぞれの画像の画素信号からそれぞれの画像の平均値、すなわち撮像素子から得られる撮像画像のバイアス値を計算し、全画素信号から引くことにより計算できる。さらに、これらの画像の期待値は平均値と等しい（エルゴード性）と仮定すると、Ｅ［・］を・の期待値を表すものとして、Ｅ［ｓｉ，ｊ］＝０、Ｅ［ｔｉ，ｊ］＝０と表すことができる。また、付加的雑音ｖｉ，ｊについてはＥ［ｓｉ，ｊｖｉａ，ｊａ］＝０（ｉａおよびｊａは任意）の性質を仮定する。この仮定は、付加的雑音は撮像される画像にほとんど依存しない事実から導かれた仮定である。【００２４】
次に、求めるべき補正画像及び入力画像の要素を辞書式配列で取り出し、列ベクトルとしてそれぞれｖｓ、ｖｔで定義し、インパルス応答関数に相当する行列をＨで表す。また、ラプラシアン・オペレータもインパルス応答関数のように行列Ｃで表す。このとき行列ＨおよびＣはブロックトエプリッツ行列となっており、近似的に２次元離散フーリエ変換（以下、「ＤＦＴ」と記す。）行列を用いて近似的に対角化することができるため、高速な演算処理を行うことが可能になる。以上を用いると、ラプラシアン・オペレータによる入力画像のエッジ抽出量Ｊ１を式（２）のように表すことができる。【００２５】
【数２】
0003959547.tif 000003
【００２６】
ここで、‖・‖は、・の２−ノルムを示す。一般的に、画像では近接画素間の相関性が強く、エッジ抽出量は少ないものとなることから、式（２）で表されるＪ１の最小化を拘束条件付最小自乗法で行えばよい。このときの拘束条件として、入力画像において式（１）が成り立つことから、付加的雑音のパワーをとして、式（３）に表す関係が存在すると考えられる。よって、式（２）に式（３）の拘束条件を付加した最小化問題を解くことで画像の補正を行うことができる。【００２７】
【数３】
0003959547.tif 000004
【００２８】
最終的に最小化を行う評価関数は、ラグランジェ未定乗数の逆数をγとすると、式（４）のように表すことができる。【００２９】
【数４】
0003959547.tif 000005
【００３０】
そして、式（４）を求めるべき補正画像ｖｓで偏微分することにより求めるべき補正画像の推定値ｖｓｓを式（５）のように表すことができる。【００３１】
【数５】
0003959547.tif 000006
【００３２】
ここで、式（５）はサイズの大きいブロックトエプリッツ行列を含んでいることから、厳密解を得るためには大きな計算量が必要となる。しかし、ＤＦＴ行列を用いて近似的に対角化することで、実用的な計算量で解を求めることができる。【００３３】
なお、式（５）中の変数の右肩に表記しているＴは行列の転置を表す。また、補正画像ｖｓおよび入力画像ｖｔをＤＦＴしたベクトル要素をＶＳＳ（ν１，ν２）、Ｔ（ν１，ν２）、ＤＦＴ行列により行列Ｈ、Ｃを近似的に対角化した行列の対角要素をＨ（ν１，ν２）、Ｃ（ν１，ν２）で表す。ここで、ν１、ν２（ν１＝ν１１，・・・，ν１Ｍ、  ν２＝ν２１，・・・，ν２Ｎ）は、それぞれ水平及び垂直方向の空間周波数成分である。【００３４】
これらを用いると、ＤＦＴ領域における補正画像は、式（６）として求まる。【００３５】
【数６】
0003959547.tif 000007
【００３６】
よって補正画像は、ＶＳＳ（ν１、ν２）を２次元逆離散フーリエ変換することにより算出することができる。【００３７】
以上説明したように、本実施の形態では、画像補正手段１０２における画像補正アルゴリズムとして上記のような方法を用いているが、以下の文献に記載されているような方法等を用いてもよい。【００３８】
文献１「Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｒｅｓｔｏｒａｔｉｏｎ、Ｈ．  Ｃ．  Ａｎｄｒｅｗｓ他著、Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ」
文献２「確率システム理論ＩＩＩ  砂原  善文編  第二章、杉本  末雄著、朝倉書店」
文献３「Ｆｕｎｄａｍｅｎｔａｌｓ  ｏｆ  Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ、Ａｎｉｌ  Ｋ．  Ｊａｉｎ著、Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ」
文献４「画像処理アルゴリズム、斉藤恒雄著、近代科学社」【００３９】
＜補正画像エッジ検出手段＞
次に、補正画像エッジ検出手段１０４について説明する。補正画像エッジ検出手段１０４は、補正画像のエッジ成分を検出するエッジ検出処理を行う。なお、補正画像はカラー画像であるが、本実施の形態の補正画像エッジ検出手段１０４は、補正画像の輝度信号に対してエッジ検出処理を行う。また、エッジ検出処理は、画像の水平方向、垂直方向についてそれぞれ行われる。【００４０】
画像の水平方向のエッジ成分の例を図２に、垂直方向のエッジ成分の例を図３に、それぞれ示す。なお、水平方向のエッジ成分とは、エッジが略水平方向に伸びているものを指し、垂直方向のエッジ成分とは、エッジが略垂直方向に伸びているものを指す。【００４１】
まず、水平方向のエッジ成分の検出処理について説明する。本実施の形態の補正画像エッジ検出手段１０４では、水平方向のエッジ成分の検出に、式７で表されるＳｏｂｅｌフィルタＨを用いる。すなわち、補正画像の画素毎の輝度信号に対し式７のフィルタを用いてフィルタリング処理を行い、画素毎に水平方向のエッジ成分ＩｍｇＨ１を得る。【００４２】
【数７】
0003959547.tif 000008
【００４３】
同様に、垂直方向のエッジ成分の検出に、式８で表されるＳｏｂｅｌフィルタＶ、つまり式７の行列Ｈの転置行列Ｈ’を用いる。すなわち、補正画像の画素毎の輝度信号に対し式７のフィルタを用いてフィルタリング処理を行い、画素毎に垂直方向のエッジ成分ＩｍｇＶ１を得る。【００４４】
【数８】
0003959547.tif 000009
【００４５】
画素毎に、水平方向のエッジ成分ＩｍｇＨ１と垂直方向のエッジ成分ＩｍｇＶ１を得た後、補正画像エッジ検出手段１０４は、式９で表されるエッジ検出補正画像ＩｍｇＳ１を出力する。式９に示すように、エッジ検出補正画像ＩｍｇＳ１は、水平方向のエッジ成分ＩｍｇＨ１と垂直方向のエッジ成分ＩｍｇＶ１の画素毎の絶対値和である。【００４６】
【数９】
0003959547.tif 000010
【００４７】
＜第１のエッジ判定手段＞
次に、第１のエッジ判定手段１０５について説明する。この第１のエッジ判定手段１０５は、エッジ検出補正画像の画素毎に、ノイズであるか、画像本来のエッジ部の画素であるかを判定するエッジ判定処理を行う。【００４８】
第１のエッジ判定手段１０５におけるエッジ判定処理は、以下の処理により行われる。まず、式１０に表されるように、エッジ検出補正画像ＩｍｇＳ１と第１のしきい値ｔｈｒｅ＿ｒｅｓを比較する。そして、エッジ検出補正画像ＩｍｇＳ１が第１のしきい値ｔｈｒｅ＿ｒｅｓよりも小さい場合は、その画素は、リンギング等の擬似的なエッジやノイズであると判定する。一方、エッジ検出補正画像ＩｍｇＳ１が第１のしきい値ｔｈｒｅ＿ｒｅｓよりも大きい場合は、その画素は、画像本来のエッジ部であると判定する。【００４９】
【数１０】
0003959547.tif 000011
【００５０】
エッジ検出補正画像ＩｍｇＳ１が第１のしきい値ｔｈｒｅ＿ｒｅｓよりも小さい場合、すなわち、リンギング等の擬似的なエッジやノイズであると判定された場合、第１のエッジ判定手段１０５は、その画素について画素値「１」を出力する。また、エッジ検出補正画像ＩｍｇＳ１が第１のしきい値ｔｈｒｅ＿ｒｅｓよりも大きい場合、つまり、画像本来のエッジ部であると判定された場合、第１のエッジ判定手段１０５は、その画素について画素値「０」を出力する。すなわち、第１のエッジ判定手段１０５から出力されるのは２値化された２値化画像である。後述する画像出力手段１０６は、この２値化画像を画像の選択情報として用いる。【００５１】
なお、エッジ判定処理のための第１のしきい値ｔｈｒｅ＿ｒｅｓは、予め定めた定数を用いてもよく、画像保存形式や画像ファイルの大きさ、画像内容等の画像情報から決定してもよい。【００５２】
画像内容から第１のしきい値ｔｈｒｅ＿ｒｅｓを決定する方法として、例えば、縦軸を画素数、横軸をエッジ検出補正画像ＩｍｇＳ１とした図４（ａ）、（ｂ）に示すように、エッジ検出補正画像ＩｍｇＳ１の分布を求め、その分布から決定する方法がある。図において、第１のしきい値ｔｈｒｅ＿ｒｅｓより左側にある各々領域１の画素が、リンギング等の擬似的なエッジやノイズと判定され、第１のしきい値ｔｈｒｅ＿ｒｅｓより右側にある領域２の画素が画像本来のエッジ部と判定される。なお、実験では、画像を構成する全画素の１０％程度が領域１に入るように第１のしきい値ｔｈｒｅ＿ｒｅｓを決定すると、良好な結果が得られた。ただし、エッジ検出補正画像ＩｍｇＳ１の分布の形状や、エッジ検出補正画像ＩｍｇＳ１の平均値等の統計量から、領域１に入る画素の割合を適応的に決定してもよい。【００５３】
また、その他、ぶれ量の大きさの関数から第１のしきい値ｔｈｒｅ＿ｒｅｓを決定する方法を用いてもよい。例えば、式１１のように、第１のしきい値ｔｈｒｅ＿ｒｅｓをぶれ量ｘ、係数ｋから定まる値で決定する。なお、式１１以外のぶれ量の関数を用いてもよい。【００５４】
【数１１】
0003959547.tif 000012
【００５５】
＜画像出力手段＞
次に、画像出力手段１０６について説明する。この画像出力手段１０６は、第１のエッジ判定手段１０５から出力される２値化画像を選択情報として用いて、画素毎に、入力画像か補正画像のいずれか一方を選択して出力する画像出力処理を行う。【００５６】
上記で説明したように、第１の判定手段１０５は、リンギング等の擬似的なエッジやノイズであると判定した画素について、画素値「１」を出力する。また、画像本来のエッジ部であると判定した画素について、画素値「０」を出力する。画像出力手段１０５は、この画素値に基づいて、画素値「１」の画素については、入力画像用フレームメモリ１０１にある入力画像を選択し、出力画像として出力する。【００５７】
一方、画素値「０」の画素については、補正画像用フレームメモリ１０３にある補正画像を選択し、出力画像として出力する。【００５８】
このように、画素値が「１」、すなわち、画像処理によりリンギング等の擬似的なエッジやノイズの可能性のある画素について、補正画像ではなく、入力画像を選択して出力することにより、ノイズの除去が可能となる。また、画素値が「０」、すなわち、画像本来のエッジ部であると判定された画素については、画像処理された補正画像を出力することにより、入力画像に発生しているぶれを低減することができる。【００５９】
以上説明したように、実施の形態１に係る画像処理装置１０は、入力画像を画像処理した補正画像の情報に基づいて、入力画像か補正画像のいずれか一方を選択して出力するようにした。したがって、画像処理により発生したリンギング等のノイズを低減することが可能となり、良好な画質の画像を得ることができる。【００６０】
なお、本実施の形態の補正画像エッジ検出手段では、エッジ検出を行うエッジ検出処理としてＳＯＢＥＬフィルタを用いる場合について説明したが、これに限るものではなく、エッジ検出の効果が得られるものであればよい。また、フィルタリング処理を水平方向、および垂直方向に行う場合について説明したが、どちらか一方の処理としてもよい。さらに、エッジ検出処理を輝度信号について行う場合について説明したが、色差信号を用いてもよく、Ｒ、Ｇ、Ｂの色信号を用いてもよく、これら色に関する情報を組み合わせて用いてもよい。【００６１】
また、本実施の形態の第１のエッジ判定手段では、エッジ検出処理をエッジ検出補正画像の絶対値に基づきスレッショルドを設定する場合について説明したが、これに限るものではなく、同様の効果が得られるものであればよい。また、ノイズであると判定された画素の画素値を「１」、画像本来のエッジ部の画素の画素値を「０」としたが、その逆であってもよい。さらに、いずれか一方の場合のみ信号を出力するとしてもよい。【００６２】
また、エッジ検出処理、エッジ判定処理、画像出力処理を画素単位で行う場合について説明したが、各処理ともマクロブロックやブロック等の所定の領域単位で行ってもよい。この場合は、所定領域にある全画素の画素値の平均値や、代表画素の画素値等を用いる。【００６３】
また、画像のエッジを用いて処理を行う方法について説明したが、エッジ以外にも画像の特徴を表すものであればよい。【００６４】
また、実施の形態１に係る画像処理装置１０は、手ぶれにより発生したぶれを補正する場合に適応可能であるが、手ぶれ以外のぶれの場合も適応可能であり、さらに、例えば撮像系自体が動いた場合に発生するぶれ等にも適応可能である。【００６５】
実施の形態２．
実施の形態２に係る画像処理装置２０は、実施の形態１に係る画像処理装置１０において、入力画像エッジ検出手段２０４を付加して構成する。また、第１のエッジ判定手段１０５に相当する構成要素として第２のエッジ判定手段２０５を備える。第２のエッジ判定手段２０５は、入力画像エッジ検出手段２０４からの出力と、補正画像エッジ検出手段１０４からの出力に基づいて、エッジ判定処理を行う。【００６６】
図５は、実施の形態２に係る画像処理装置２０の構成を示すブロック図である。図５において、図１と同じ符号が付されている構成要素は、実施の形態１の画像処理装置１０と同一、又は相当する構成要素である。【００６７】
＜入力画像エッジ検出手段＞
まず、入力画像エッジ検出手段２０４について説明する。入力画像エッジ検出手段２０４は、入力画像のエッジ成分を検出するエッジ検出処理を行い、エッジ成分が検出された画像（以下、「エッジ検出入力画像」と記す。）を出力する。なお、入力画像エッジ検出手段２０４で行われるエッジ検出処理は、実施の形態１で説明した補正画像エッジ検出手段１０４で行われるエッジ検出処理と同様である。【００６８】
すなわち、入力画像エッジ検出手段２０４は、入力画像の画素毎に水平方向のエッジ成分ＩｍｇＨ２と垂直方向のエッジ成分ＩｍｇＶ２を得た後、式１２で表されるエッジ検出入力画像ＩｍｇＳ２を出力する。【００６９】
【数１２】
0003959547.tif 000013
【００７０】
＜第２のエッジ判定手段＞
次に、第２のエッジ判定手段２０５について説明する。第２のエッジ判定部２０５は、入力画像エッジ検出手段２０４から出力されるエッジ検出入力画像と、補正画像エッジ検出手段１０４から出力されるエッジ検出入力画像とに基づいて、画素毎に、ノイズであるか、画像本来のエッジ部の画素であるかを判定するエッジ判定処理を行う。【００７１】
第２のエッジ判定手段２０５におけるエッジ判定処理は、以下の処理により行われる。まず、エッジ検出補正画像ＩｍｇＳ１と第１のしきい値ｔｈｒｅ＿ｒｅｓを比較する。さらに、エッジ検出入力画像ＩｍｇＳ２と第２のしきい値ｔｈｒｅ＿ｄｅｇを比較する。そして、式１３を満たした場合、つまりエッジ検出補正画像、エッジ検出入力画像のいずれもが各々のしきい値よりも小さい場合のみ、画像補正手段１０２の画像処理により発生したノイズであると判定し、第２の判定手段２０４は、その画素について画素値「１」を出力する。一方、その他の場合は、画素値「０」を出力する。【００７２】
つまり、縦軸を画素数、横軸をエッジ検出補正画像ＩｍｇＳ１とした図４（ａ）、（ｂ）の第１のしきい値ｔｈｒｅ＿ｒｅｓより左側にある領域１にあり、かつ縦軸を画素数、横軸をエッジ検出入力画像ＩｍｇＳ２とした図６（ａ）、（ｂ）の第２のしきい値ｔｈｒｅ＿ｄｅｇより左側にある領域１にある画素についてのみ、画像補正手段１０２の補正処理により発生したノイズであると判定し、第２の判定手段２０４は、その画素について画素値「１」を出力する。【００７３】
【数１３】
0003959547.tif 000014
【００７４】
これは、以下の理由による。すなわち、エッジ検出入力画像ＩｍｇＳ２が第２のしきい値ｔｈｒｅ＿ｄｅｇよりも大きいと、その画素は画像の本来的なエッジ部であると考えることができる。しかし、この画素について、エッジ検出補正画像ＩｍｇＳ１が第１のしきい値ｔｈｒｅ＿ｒｅｓのよりも小さい場合がある。この場合、実施の形態１のように、エッジ検出補正画像ＩｍｇＳ１と第１のしきい値ｔｈｒｅ＿ｒｅｓの関係から出力画像を決定すると、ぶれが発生している入力画像が出力されることとなる。したがって、出力画像のリンギング等のノイズは低減されるが、ぶれの影響により、画像の輪郭にボケが発生する場合がある。【００７５】
本実施の形態は、このような場合を考慮して、画像本来のエッジ部であると判定された画素、すなわち、エッジ検出入力画像ＩｍｇＳ２が第２のしきい値ｔｈｒｅ＿ｄｅｇよりも大きい画素については、ぶれが発生している可能性のある入力画像ではなく、ぶれが低減されている補正画像を出力し、出力画像の画質を向上させるものである。【００７６】
なお、画像出力手段１０６は、実施の形態１と同様、画素値「１」の画素については、入力画像用フレームメモリ１０１にある入力画像を選択し、画素値「０」の画素については、補正画像用フレームメモリ１０３にある補正画像を選択し、各々出力画像として出力する。すなわち、第２のエッジ判定手段２０５から出力されるのは２値化された２値化画像である。【００７７】
以上説明したように、実施の形態２に係る画像処理装置２０は、入力画像と補正画像に基づいてエッジ判定処理を行うこととした。したがって、画像本来のエッジ部に補正画像が出力されるので、より画質の向上した出力画像を得ることができる。【００７８】
なお、第２のしきい値ｔｈｒｅ＿ｄｅｇを決定する方法としては、実施の形態１で説明した第１のしきい値ｔｈｒｅ＿ｒｅｓを決定する方法と同様とすればよい。【００７９】
また、実施の形態１と同様、スレッショルドを設定してエッジ検出処理を行う場合について説明したが、これに限るものではなく、同様の効果が得られるものであればよい。また、ノイズであると判定された画素の画素値を「１」、画像本来のエッジ部の画素の画素値を「０」としたが、その逆であってもよい。さらに、いずれか一方の場合のみ信号を出力するとしてもよい。【００８０】
実施の形態３．
実施の形態３に係る画像処理装置３０は、実施の形態２に係る画像処理装置２０において、第１の選択情報変更手段３０７を付加して構成する。第１の選択情報変更手段３０７は、第２のエッジ判定手段２０５から出力される選択情報を適宜変更し、変更した変更情報を画像出力手段１０６に出力する。そして、画像出力手段１０６は、この変更情報に基づいて入力画像か補正画像のいずれか一方を選択して出力する。【００８１】
図７は、実施の形態３に係る画像処理装置３０の構成を示すブロック図である。図７において、図５と同じ符号が付されている構成要素は、実施の形態２の画像処理装置２０と同一、又は相当する構成要素である。【００８２】
＜第１の選択情報変更手段＞
まず、第１の選択情報変更手段３０７について説明する。実施の形態２で説明したように、第２のエッジ判定手段２０５では、エッジ検出入力画像とエッジ検出補正画像からエッジ判定が行われる。このときに、画像本来のエッジ部と判定された画素の集団の中に、例えば１点だけノイズと判定された画素（以下、「孤立画素」と記す。）が混入する場合がある。この場合、出力画像としては、補正画像の中に入力画像が混入することとなるので、入力画像、すなわち孤立画素が視覚上ノイズと判断される場合がある。第１の選択情報変更手段３０７は、このような孤立画素を除去する孤立画素除去処理を行う。【００８３】
以下、第１の選択情報変更手段３０７における孤立画素除去処理について説明する。まず、実施の形態２で説明したように、第２のエッジ判定手段２０５は、ノイズと判定した画素の画素値を「１」、画像本来のエッジ部と判定した画素の画素値を「０」とした選択情報を出力する。【００８４】
第１の選択情報変更手段３０７は、メディアンフィルタを用い、フィルタリング処理を行う。なお、メディアンフィルタは、設定した領域内の画素の画素値を検出し、多数を占める画素の画素値を選択するものである。例えば、メディアンフィルタの設定領域が縦３画素×横３画素、その領域内の画素値が｛０，０，０，０，０，１，１，１，１｝となっている場合、画素値「０」が５個存在し、画素値「１」が４個存在するので、メディアンフィルタによるフィルタリング処理後の画素値はすべて０、すなわち、｛０，０，０，０，０，０，０，０，０｝となる。このように、第１の選択情報変更手段３０７は、メディアンフィルタを用いて孤立画素を除去する。【００８５】
換言すると、第１の選択情報変更手段３０７は、第２のエッジ判定手段２０５から出力される２値化画像、すなわち選択情報を、他の画素の選択情報を参照して変更し、変更した変更情報を出力するものである。【００８６】
以上説明したように、実施の形態３に係る画像処理装置３０は、第１の選択情報変更手段３０７により孤立画素の除去を行うこととした。したがって、出力画像の画質が向上する。【００８７】
なお、第１の選択情報変更手段３０７で用いるメディアンフィルタとして、サイズが縦３画素×横３画素のメディアンフィルタについて説明したが、これに限るものではなく、例えば縦１９画素×横１９画素のメディアンフィルタを用いてもよい。また、メディアンフィルタは矩形以外の形状であってもよい。【００８８】
さらに、メディアンフィルタ以外にも孤立画素を除去することができるものであればよい。【００８９】
また、画像処理装置３０は、実施の形態２に係る画像処理装置２０に第１の選択情報変更手段３０７を追加して構成するとして説明したが、第１の選択情報変更手段３０７を実施の形態１に係る画像処理装置１０に追加して構成してもよい。【００９０】
実施の形態４．
実施の形態４に係る画像処理装置４０は、実施の形態２に係る画像処理装置２０において、第２の選択情報変更手段４０７を付加して構成する。さらに、画像出力手段１０６に相当する個所を、第１のゲインコントローラ４０９、第２のゲインコントローラ４１０、加算器４１１で構成する。【００９１】
図８は、実施の形態４に係る画像処理装置４０の構成を示すブロック図である。図８において、図５と同じ符号が付されている構成要素は、実施の形態２の画像処理装置２０と同一、又は相当する構成要素である。【００９２】
＜第２の選択情報変更手段＞
まず、第２の選択情報変更手段４０７について説明する。実施の形態３で説明したように、第２のエッジ判定手段２０５からの出力される２値化画像には、孤立画素が存在する場合がある。第２の選択情報変更手段４０７は、この孤立画素を除去する孤立画素除去処理を行うものであるが、孤立画素除去処理としてローパスフィルタ処理を行う。例えば、画素値が｛０，１，０，１，１，０｝となっている場合に、３タップローパスフィルタ｛１／４，１／２，１／４｝を適用すると、フィルタ処理の後の画素値は、｛０．２５，０．５，０．５，０．７５，０．７５，０．２５｝となる。すなわち、第２のエッジ判定手段２０５から出力された２値化画像は、第２の選択情報変更手段４０７により、画素値が０から１の実数値Ｋｉ，ｊをもつグレースケール画像となる。なお、i、ｊは画素の位置を示す。すなわち、第２の選択情報変更手段４０７は、第２のエッジ判定手段２０５から出力される２値化画像、すなわち選択情報を、他の画素の選択情報を参照して変更し、変更した変更情報を出力するものである。【００９３】
＜第１、第２のゲインコントローラ、加算器＞
次に、第１のゲインコントローラ（第１の画像出力器）４０８、第２のゲインコントローラ（第２の画像出力器）４０９、加算器４１１（第３の画像出力器）について説明する。第２の選択情報変更手段４０７から出力されるＫｉ，ｊは第１のゲインコントローラ４０８に入力される。また、１−Ｋｉ，ｊは第２のゲインコントローラ４０９に入力される。ここで、入力画像の座標（ｉ，ｊ）の画素値をＩｍｇＩｎｉｊ、補正画像の座標（ｉ，ｊ）の画素値をＩｍｇＣｉｊとすると、第１のゲインコントローラ４０８では、式１４で表される処理が行われる。一方、第２のゲインコントローラ４０９では、式１５で表される処理が行われる。【００９４】
【数１４】
0003959547.tif 000015
【００９５】
【数１５】
0003959547.tif 000016
【００９６】
そして、それぞれ、フィルタ入力画像値ＩｍｇＩｎ’ｉｊ、フィルタ補正画像値ＩｍｇＣ’ｉｊが加算器４１１に出力される。加算器４１１では式１６で表される、フィルタ入力画像値ＩｍｇＩｎ’ｉｊ、フィルタ補正画像値ＩｍｇＣ’ｉｊの加算、出力画像のビット数に適合させたクリッピング、整数値化が行われ、出力画像が出力される。【００９７】
【数１６】
0003959547.tif 000017
【００９８】
すなわち、第１のゲインコントローラ４０８は、第２の選択情報変更手段４０７から出力される変更情報を参照して補正画像を補正し、この補正後の補正画像を出力する第１の画像出力器として機能する。また、第２のゲインコントローラ４０９は、第２の選択情報変更手段４０７から出力される変更情報を参照して入力画像を補正し、この補正後の入力画像を出力する第２の画像出力器として機能する。さらに、加算器４１１は、第１のゲインコントローラ４０８から出力される補正後の補正画像と、第２のゲインコントローラ４０９から出力される補正後の入力画像とを加算して出力画像を出力する第３の画像出力器として機能する。【００９９】
なお、第２の選択情報変更手段４０７に入力される選択情報は「０」、「１」の２値化情報であるが、第２の選択情報変更手段４０７はこの２値化情報を多階調の整数、例えば２５６階調の整数とみなし、内部でローパスフィルタ処理を行ってもよい。すなわち、「０」を「０」に、「１」を「２５５」にそれぞれ射影し、ローパスフィルタ処理を行う。また、フィルタ処理は浮動小数点演算で行ってもよく、近似的に整数演算で行ってもよい。特に、整数演算でフィルタ処理を行う場合は、フィルタ処理速度の向上を図ることが可能となる。【０１００】
なお、２５６階調への射影を行う場合、第２の選択情報変更手段４０７から出力するＫｉ，ｊ、１−Ｋｉ，ｊを「０」から「１」までの実数値とする実数化の処理が必要であるので、「０」を「０」に、「２５５」を「１」に射影して、それぞれ出力する。【０１０１】
また、上記では、第２の選択情報変更手段４０７において２５６階調への射影を行った場合、Ｋｉ，ｊ、１−Ｋｉ，ｊを実数化して出力すると説明したが、第２の選択情報変更手段４０７では実数化の処理を行わずに、「０」から「２５５」の整数値のまま第１のゲインコントローラ４０８、第２のゲインコントローラ４０９に出力し、それぞれのゲインコントローラ内で２５５で除算する実数化を行ってもよい。【０１０２】
以上説明したように、実施の形態４に係る画像処理装置４０は、孤立画素除去処理をローパスフィルタによって行うので、孤立画素除去処理の効果を近傍の画素に分散させることができ、出力画像の画質が向上する。【０１０３】
なお、実施の形態では、孤立画素を除く処理として、ローパスフィルタ処理を用いる場合について説明したが、これに限るものではなく、同様に孤立画素を取り除く効果が得られるものであればよい。【０１０４】
また、第２の選択情報変更手段４０７から第１のゲインコントローラ４０８にＫｉ，ｊが出力され、第２のゲインコントローラ４０９に１−Ｋｉ，ｊが出力されるとしたが、第２の選択情報変更手段４０７から出力されるのはＫｉ，ｊとし、第２のゲインコントローラ４０９内で１−Ｋｉ，ｊと演算するとしてもよい。【０１０５】
また、画像処理装置４０は、実施の形態２に係る画像処理装置２０に第２の選択情報変更手段４０７等を追加、置換えて構成するとして説明したが、実施の形態１に係る画像処理装置１０に適応してもよい。
【図１】
0003959547.tif 000018
【図２】
0003959547.tif 000019
【図３】
0003959547.tif 000020
【図４】
0003959547.tif 000021
【図５】
0003959547.tif 000022
【図６】
0003959547.tif 000023
【図７】
0003959547.tif 000024
【図８】
0003959547.tif 000025