(57)【要約】【課題】簡便な処理によってブレ画像を適切に補正する。【解決手段】ブレ領域（ボケ部分）の輪郭をＦＩＲフィルタによって強調する。好ましくは、ボケ幅に応じて補正の実行有無を制御する。【選択図】図１
2007036894.tif 000002
【特許請求の範囲】
【請求項１】
ブレ画像におけるブレ領域の中心画素を中心とした、少なくとも当該ブレ領域を含む画素領域に対して、当該画素領域の中心付近の画素における画素値の変化を強調するフィルタを施し、前記中心画素に対応した画素値の第１補正値を生成するフィルタ手段と、
第１閾値から当該第１閾値より大きい第２閾値までの範囲内に収まるように、前記第１補正値を制限して第２補正値を生成するリミッタ手段と、
前記ブレ画像において前記中心画素を順に走査し、各画素における画素値を前記第２補正値とする補正手段と
を備えた画像処理装置。
【請求項２】
前記第１閾値は、前記ブレ領域に含まれる画素の画素値の最小値とし、前記第２閾値は、前記ブレ領域に含まれる画素の画素値の最大値とし、
前記補正手段は、前記最大値および最小値の差分値が所定の第３閾値よりも小さいことを条件として、前記ブレ領域の補正を行わない
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記補正手段は、前記差分値が前記第３閾値よりも小さい所定の第４閾値よりもさらに小さいことを条件として、前記ブレ領域の補正を行う
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記補正手段は、ブレ画像から得られるＲＧＢの色ごとの前記最大値および最小値の差分値の中で最大のものを、前記第３閾値または第４閾値と比較する
ことを特徴とする請求項２または３記載の画像処理装置。
【請求項５】
前記補正手段は、水平軸からの角度が０度、±３０度、±４５度、±６０度、±９０度のブレ方向に限定して、前記ブレ領域を補正する
ことを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記ブレ領域の水平軸からのブレ方向を検出するための角度検出手段または加速度検出手段、を備えた
ことを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
前記補正手段は、ブレ画像から得られるＲＧＢの色ごとの前記最大値および最小値の差分値の中で最大のものが前記第３閾値よりも大きいことを条件として、全色を補正する
ことを特徴とする請求項４記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は２次元画像を処理するための画像処理技術に関し、特に撮影動作等により劣化したブレ画像を原画像に近い画像に補正するための画像処理技術に関する。
【背景技術】
【０００２】
カメラ等の撮像装置によって撮影された画像が手ブレや被写体ブレ等によりブレを生じた際に、ブレ画像を復元（補正）する画像復元方法が知られている。
一般的に用いられる画像復元処理として、手ブレ部分を回復させる回復フィルタ（例えば逆フィルタやウイーナフィルタ等）による処理や、画像の点広がり関数（ＰＳＦ：Point Spread Function）から手ぶれ部分を復元するための情報を推定する処理などがある。たとえば下記特許文献１には、手ブレの軌跡データに基づき生成した点広がり関数を用いて手ブレ画像を復元する際に、手ブレ軌跡上の画素周辺の画素の輝度値を考慮して復元を行う技術が開示されている。
また、ブレが生じたときに視認される「ボケ」を、輪郭強調によって修正することが可能であり、たとえば下記特許文献２には、遅延回路と振幅制限回路を設けた輪郭補正方法が開示されている。
【０００３】
【特許文献１】特開平１１−１３４４８１号公報
【特許文献２】特開平０５−２９２５２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１に開示された技術では、ブレ軌跡の周辺画素の輝度値をそのブレ軌跡からの距離に応じて推定することでブレ画像を復元するが、その推定演算（特許文献１の式（１１）参照）による演算部の負担が大きい。
また、上記特許文献２に開示された技術によって輪郭を強調した場合には、人間の肌のようになめらかなグラデーションの部分において不自然な強調が行われてしまう。
【０００５】
本発明は、上述した観点に鑑みてなされてものであって、その目的は、簡便な処理によってブレ画像を適切に補正するようにした画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を克服するため、本発明は、ブレ画像におけるブレ領域の中心画素を中心とした、少なくとも当該ブレ領域を含む画素領域に対して、当該画素領域の中心付近の画素における画素値の変化を強調するフィルタを施し、前記中心画素に対応した画素値の第１補正値を生成するフィルタ手段と、第１閾値から当該第１閾値より大きい第２閾値までの範囲内に収まるように、前記第１補正値を制限して第２補正値を生成するリミッタ手段と、
前記ブレ画像において前記中心画素を順に走査し、各画素における画素値を前記第２補正値とする補正手段とを備えた画像処理装置である。
【０００７】
好適には、前記第１閾値は、前記ブレ領域に含まれる画素の画素値の最小値とし、前記第２閾値は、前記ブレ領域に含まれる画素の画素値の最大値とし、
前記補正手段は、前記最大値および最小値の差分値が所定の第３閾値よりも小さいことを条件として、前記ブレ領域の補正を行わない。
【０００８】
好適には、前記補正手段は、前記差分値が前記第３閾値よりも小さい所定の第４閾値よりもさらに小さいことを条件として、前記ブレ領域の補正を行う。
【０００９】
好適には、前記補正手段は、ブレ画像から得られるＲＧＢの色ごとの前記最大値および最小値の差分値の中で最大のものを、前記第３閾値または第４閾値と比較する。
【００１０】
好適には、前記補正手段は、水平軸からの角度が０度、±３０度、±４５度、±６０度、±９０度のブレ方向に限定して、前記ブレ領域を補正する。
【００１１】
好適には、前記ブレ領域の水平軸からのブレ方向を検出するための角度検出手段または加速度検出手段、を備える。
【００１２】
好適には、前記補正手段は、ブレ画像から得られるＲＧＢの色ごとの前記最大値および最小値の差分値の中で最大のものが前記第３閾値よりも大きいことを条件として、全色を補正する。
【発明の効果】
【００１３】
本発明によれば、簡便な処理によってブレ画像を適切に補正することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００１５】
図１は、本発明の画像処理装置の一実施形態であるデジタルスチルカメラ１のシステム構成図である。実施形態に係るデジタルスチルカメラ１は、ブレ補正機能を備えたカメラである。
図１に示すように、実施形態に係るデジタルスチルカメラ１は、撮影レンズ２１、ＣＣＤなどの撮像素子２２を含むレンズ光学系２、レンズ光学系２により取得した被写体像の画像信号を処理し、ＣＰＵ１１へ転送する信号処理系（ＣＤＳ（相関二重サンプリング）・ＡＧＣ（自動利得制御）回路３、Ａ／Ｄ変換回路４、画像処理部５）、レンズ光学系１を駆動するモータドライバ６、タイミングジェネレータ（ＴＧ）７、メモリ８、ブレ検出センサ９、表示部１０、全体を統括するＣＰＵ１１などを備えて構成される。
【００１６】
デジタルスチルカメラ１では、先ず、レンズ光学系２を通して入射した被写体像が撮像素子２２に結像される。
ＣＰＵ１１は、タイミングジェネレータ７を駆動し、ここで生成されたパルスにより撮像素子２２が駆動される。これにより、被写体像の蓄積および転送が行われる。
撮像素子２２から出力された画像信号は、ＣＤＳ・ＡＧＣ回路３によってサンプリングされ、かつ、所定の増幅率で増幅される。
増幅された画像信号は、Ａ／Ｄ変換回路４によってデジタルデータ（画像データ）に変換される。
【００１７】
画像処理部５は、撮像素子から出力された画像信号をＲＧＢデータに変換してＣＰＵ１１に出力する。
【００１８】
ブレ検出センサ９は、たとえば２つの角速度センサを含み、この２つの角速度センサによって、デジタルスチルカメラ１に固定された２軸（ヨー、ピッチ）回りの角速度を検出することで、撮影時の上記２軸の回りのカメラのブレ量およびブレ方向を算出する。
【００１９】
ＣＰＵ１１は、ＲＧＢの色ごとにブレ補正処理を行う。
ここで、撮影時にシャッターボタンに加わる力などによってカメラが動いたためボケてしまった画像（以下、ブレ画像と称する）は、レンズの焦点が合わないことによって生ずるピンボケ画像と比較して、ボケの態様が異なっている。すなわち、ピンボケ画像では点画像が円形に広がったボケの態様となるが、ブレ画像では、特定の方向にのみ広がるボケの態様となる。
そこで、本実施形態におけるブレ補正処理は、この特定の方向のブレに着目し、ブレ検出センサ９によって算出された、カメラのブレ量およびブレ方向に基づいて、ブレ画像を画素単位で走査し、元の画像を復元する。
ブレ補正処理については後述する。
【００２０】
復元された画像は、メモリ８内のフレームメモリに格納される。ＣＰＵ１１は、フレームメモリのデータに基づいて、被写体の画像を表示するための表示駆動信号を表示部１０に送出する
【００２１】
以下、本実施形態におけるブレ補正処理の補正原理について説明する。
図２は、手ブレ方向に対して垂直な方向から見た、画像上の画素（ピクセル）に対する成分値の分布を示し、（ａ）は手ブレが発生していない場合、（ｂ）は手ブレが発生した場合である。図２は、ＲＧＢの中のいずれか１つの色の成分値の変化を示している。
ここで、手ブレがなく正しく露光されて得られた、ある色についての成分値が、図２（ａ）に示すように、画素位置に関係なく一定であると想定する。その場合に、正常な露光時間の５分の１の時間で１画素（１ピクセル）ずつ移動し、合計５画素分の手ブレが発生したとすると、図２（ｂ）に示すように、５分の１の成分値の画像が右方向へ１画素ずつずれることで、両側にブレ領域（ボケ）が生ずる。すなわち、図２（ｂ）では、成分値の大きい部分が手ブレ量の５画素分小さくなっており（左側）、小さい部分が５ピクセル分大きくなっている（右側）。
【００２２】
実施形態におけるブレ補正処理では、このボケ部分を補正するため、ボケの傾斜（図２（ｂ）の階段状の部分）の中央部で成分値の傾斜を急峻にする、すなわち、輪郭をはっきりさせることで、元の画像（手ブレがない画像）に補正する。
【００２３】
実施形態に係るブレ補正処理は、（１）フィルタ処理、（２）リミッタ処理、を含む。以下、順にこれらの処理を説明する。
【００２４】
（１）フィルタ処理
フィルタ処理は、前述したブレ領域の中央部付近で成分値の傾斜を強調するためのデジタルフィルタ処理である。
図３を参照して、本フィルタ処理を説明する。図３において、（ａ）はブレ領域を量子化した図であり、（ｂ）は本フィルタ処理のフィルタ係数を示す図であり、（ｃ）はフィルタ結果（補正された成分値）を示す図である。
【００２５】
図３（ａ）において、ブレ領域の長さがＮ個の画素数に相当する場合に、このブレ領域の中心の画素（中心画素）に対して、図３（ｂ）に示すようなフィルタ係数を設定する。すなわち、ブレ領域の中心画素に（２×Ｅ＋１）を乗じ、中心画素以外の両側Ｎ個の画素には、−（Ｅ／Ｎ）を乗じ、これらフィルタ係数により畳み込み（convolution）を行うＦＩＲ（Finite Impulse Response）フィルタを構成する。これによって、中心画素付近の成分値の変化度合いを強調するフィルタとなっている。
なお、Ｅは、補正の程度を表す係数であって、１が標準である。
このフィルタ処理の結果、図３（ｃ）に見られるように、ブレ領域の傾斜が急峻となる。この中心画素のフィルタ結果は、本発明の第１補正値に相当する。
【００２６】
図３（ｂ）に示した例では、中心画素から両側Ｎ個の画素を畳み込み演算の対象としたが、少なくともブレ領域分（中心画素から両側Ｎ／２個以上）の画素をフィルタ処理の対象とすることができる。
【００２７】
（２）リミッタ処理
上記フィルタ処理の結果、ブレ領域の傾斜が急峻となるため、ボケが改善されるが、ブレ領域の両側には、大きなアンダーシュート、オーバーシュートが生ずる。したがって、自然な画質を得るために、このアンダーシュート、オーバーシュートを除去するための処理がリミッタ処理である。
このリミッタ処理は、所定の第１閾値〜第２閾値（＞第１閾値）の範囲内に、第１補正値を制限するための処理であるが、この第１閾値および第２閾値は、所定値であってもよく、また、ブレ領域の画素の成分値の範囲によって規定してもよい。本実施形態では、後者の場合について説明する。
かかる場合、先ず、ブレ領域の各画素の成分値の最大値および最小値を特定する。そして、この最小値から最大値までの範囲内に収まるように、前記第１補正値を制限することによって、第２補正値を得る。これによって、アンダーシュート、オーバーシュートが除去される。
このリミッタ処理は、最大値フィルタ処理および最小値フィルタ処理とも称する。
【００２８】
図４は、リミッタ処理によって得られた第２補正値を示す。
図４に示すように、リミッタ処理によって得られた第２補正値は、ブレ領域の長さ（ボケ幅）が小さくなっているとともに、オーバーシュートおよびアンダーシュートが抑制されたことで、滑らかな成分値変化となったことがわかる。
【００２９】
以上、本実施形態におけるブレ補正処理の補正原理について説明したが、以上の処理はＲＧＢの色ごとに行われる。
また、図３，４では、ボケ幅が５画素である場合について図示してきたが、ボケ幅が１０，１５画素，…と増えていくに従い、ブレ補正効果が十分に得られるようになる。また、図３（ｂ）に示した補正効果を表す係数Ｅ（効果係数Ｅ）を増加させることによっても、ブレ補正効果が増す。
【００３０】
なお、元々成分値の変化が少ない被写体に対して上記フィルタ処理を行ってしまうと、かえって不自然な画像となる場合がある。たとえば、被写体が人物の顔の場合、比較的成分値が小さい肌色をベースとして頬や鼻などの陰影があるが、これを手ブレとして認識し、フィルタ処理を行うと、元の画像と異なる画像、たとえば角張った鼻の画像となってしまう。
これを防止するため、上記フィルタ処理は、濃度差（成分値の最大値および最小値の差分）がある程度以上存在する場合に限り行うようにすることが望ましい。
【００３１】
逆に、地面や芝生など、成分値の変化が非常に少ない被写体に対しては、上記手ブレによって平面化した画像となってしまうことがないように、上記フィルタ処理を行って、輪郭を強調するようにした方が望ましい。
【００３２】
かかる観点から、上述した最大値および最小値の差分値に対して、大小２つの閾値（第３閾値、第４閾値：但し、第３閾値＞第４閾値）を設け、差分値が第３閾値よりも小さいことを条件として補正処理を行わないようにし、第４閾値よりもさらに小さいことを条件として補正処理を行うようにするとよい。
実験結果では、差分値の３０％程度の値に第３閾値、１０％程度の値に第４閾値を設定することで画質の良い結果が得られた。
【００３３】
また、カラー画像において色が変化するときには、ＲＧＢの３原色ともに大きく変化することは少ない。したがって、少なくとも１原色は上記第３閾値内の変化しかないことが多い。
しかしながら、ブレ領域に色の変化点が含まれている場合に、その変化点で一部の原色のみフィルタ処理を行わないとすると、その変化点で色の変化が生じ、色滲みになってしまう。これを避けるため、３原色の中で、少なくとも１原色についての上記差分値（最大値と最小値の差分）が第３閾値を越える場合には、３原色ともに補正処理を行うことが望ましい。換言すれば、３原色ともに上記差分値が第３閾値以下である場合には、３原色ともに補正処理を行わないことが望ましい。
【００３４】
また、手ブレは、実際にはあらゆる方向に生じうるが、マトリクス状に配列されたすべての画素のあらゆる方向に補正処理を行うことは困難であるので、水平軸に対する補正対象角度（ブレ方向）を限定して行うことが処理速度向上の点から望ましい。
画素のマトリクスにおいて、ブレ方向が０度、±４５度、±９０度の角度では、容易に画素を選択でき、上記補正処理を行うことができる。また、マトリクスのＸ軸方向に２画素、Ｙ軸方向に１画素進んだ、または、後退した位置の画素を選択することで、±３０度のブレ方向に対して補正処理を行うことができ、マトリクスのＸ軸方向に１画素、Ｙ軸方向に２画素進んだ、または、後退した位置の画素を選択することで、±６０度のブレ方向に対して補正処理を行うことができる。
実験結果では、このように水平軸からの角度が０度、±３０度、±４５度、±６０度、±９０度のブレ方向に限定して（丸めて）補正処理を行った場合でも、ほぼ満足できる結果を得ることができた。
【００３５】
次に、図５を参照して、水平軸からの角度（ブレ方向）が＋４５度である場合に、上述した補正処理を実際の画像に適用した処理について述べる。
図５は、補正処理を実際の画像に適用した処理を説明するための図である。
【００３６】
この補正処理は、処理対象であるブレ画像を、順次水平方向に走査していくことで行う。
先ず、ブレ領域の長さがＮ個の画素数に相当した場合に、このＮ個の画素のデータを格納するための（２×Ｎ＋１）個のレジスタ（メモリ領域）をＣＰＵ１１内に設ける。
処理対象の画素（中心画素）を中心として、ブレ方向である＋４５度の方向に沿って、中心画素と両側Ｎ個の画素（計（２×Ｎ＋１）個の画素）のデータ（ＲＧＢの別および成分値）をＣＰＵ１１内のレジスタに格納しておく。
図５では、黒丸で示した画素（計（２×Ｎ＋１）個の画素）のデータがレジスタに格納される。
【００３７】
次に、レジスタに格納された画素のデータに基づいて、中心画素についての第１補正値を算出する。なお、この第１補正値を算出する処理は、ＲＧＢの色ごとに行う。
第１補正値は、畳み込み演算によるフィルタ処理により得られる。すなわち、中心画素の成分値に（２×Ｅ＋１）を掛け、中心画素の両側Ｎ個の画素の成分値に（−Ｅ／Ｎ）を掛けた後にすべてを合算し、その合算結果をその中心画素における第１補正値とする。
【００３８】
次に、中心画素から＋４５度方向に（Ｎ／２）個の画素の範囲内において、中心画素を含む（２×Ｎ＋１）個の画素の成分値の中から最大値および最小値を特定する。この最大値および最小値がＲＧＢの色ごとに特定される。
さらに、ＲＧＢの各色の中で最大値と最小値の差分値のうち最も大きいものと、前述した大小２つの閾値（第３閾値、第４閾値：但し、第３閾値＞第４閾値）とを比較する。
そして、差分値が第３閾値と第４閾値の間にあることを条件として、補正処理を行わない。すなわち、第１補正値を使わずに、レジスタに格納されている元の成分値のままとする。
差分値が第３閾値よりも大きいか、または、第４閾値よりも小さいことを条件として、補正処理を行う。その際には、特定した最大値および最小値によって第１補正値を制限して、最終的な補正値である第２補正値とする。すなわち、第１補正値が最大値よりも大きいことを条件として、その最大値を第２補正値とし、第１補正値が最小値よりも小さいことを条件として、その最小値を第２補正値とし、第１補正値が最大値と最小値の間にあることを条件として、その第１補正値を第２補正値とする。
【００３９】
そして、元の成分値、または、算出された第２補正値を、中心画素における最終的な補正値として、メモリ８内のフレームメモリに書き込む。この中心画素がブレ画像に対して水平方向に走査され、順次、上述した処理を繰り返し行って、フレームメモリに書き込まれる。全画素に対する処理を行うことによって、ブレ画像に対して＋４５度方向に走査した場合と同じ結果が得られることになる。
【００４０】
なお、上述した説明では、手ブレの方向が直線的かつ等速度であることを前提としてきたが、上述した補正方法は、手ブレの方向が直線的かつ等速度であることに限られない。
たとえば、実際の手ブレにおいては、その速度が次第に速くなる、または、次第に遅くなることがある。したがって、図２（ａ）に示した、画素と成分値との関係は、図６（ａ）に示すように、隣接する画素間の成分値の変化が少なくなったり、大きくなったりする。図６（ａ）では、成分値の段差のある左右のボケは異なるが、ボケの幅は同じである。
この図６（ａ）に示した手ブレに対して、上述した補正処理を適用した結果、図６（ｂ）に示すように、輪郭が強調され、ほぼ満足な補正画像が得られた。
【００４１】
また、手ブレ方向が途中で変化する場合には、ボケが２方向以上に発生することになるが、かかる場合には、各方向で上記補正処理を繰り返すようにすればよい。なお、その場合には、効力係数Ｅを小さめにしておいた方がノイズの影響を受けにくい。
【００４２】
以上詳述したように、実施形態に係るデジタルスチルカメラによれば、ブレ領域（ボケ部分）の輪郭をＦＩＲフィルタによって強調するため、周波数領域の演算を行う必要がなく、ＣＰＵの演算における負担が軽減されるとともに、ボケ幅に応じて補正の実行の有無を適切に制御するため、不自然な補正を防止することができる。
【００４３】
なお、本発明の実施形態は、上述した実施形態に拘泥せず、当業者であれば、本発明の要旨を変更しない範囲内で様々な改変が可能である。
例えば、本実施例では、ブレ検出センサ９として、２つの角速度センサを用いた場合について説明したが、加速度センサを用いてブレ量およびブレ方向を算出してもよい。また、本実施例では、信号処理部５がＲＧＢデータを出力し、このＲＧＢの各色成分値を用いて補正する場合について説明したが、信号処理部５が入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー画像信号を形成するものであればよく、輝度データ（Ｙ）と色差データ（Ｕ，Ｖ）を出力してもよい。この輝度データと色差データを出力する場合には、輝度値と色差の成分値を用いて同様の方法で補正を行うことができる。
【図面の簡単な説明】
【００４４】
【図１】実施形態に係るデジタルスチルカメラのシステム構成図である。
【図２】手ブレ方向に対して垂直な方向から見た、画像上の画素に対する成分値の分布を示す図である。
【図３】フィルタ処理を説明するための図である。
【図４】リミッタ処理によって得られた第２補正値を示す図である。
【図５】補正処理を実際の画像に適用した処理を説明するための図である。
【図６】異なる手ブレの態様を説明するための図である。
【符号の説明】
【００４５】
１…デジタルスチルカメラ
２…レンズ光学系
２１…撮影レンズ、２２…撮像素子
３…ＣＤＳ・ＡＧＣ回路
４…Ａ／Ｄ変換回路
５…画像処理部
６…モータドライバ
７…タイミングジェネレータ
８…メモリ
９…ブレ検出センサ
１０…表示部
１１…ＣＰＵ
【図１】
2007036894.tif 000003
【図２】
2007036894.tif 000004
【図３】
2007036894.tif 000005
【図４】
2007036894.tif 000006
【図５】
2007036894.tif 000007
【図６】
2007036894.tif 000008