(57)【要約】【課題】非対称のボケを効果的に復元する。【解決手段】注目画素の左右の画素群に対し、非対称のボケの各ボケ量に応じた空間フィルタ係数を設定する。【選択図】図１
2007036799.tif 000002
【特許請求の範囲】
【請求項１】
一方向のブレ量と他方向のブレ量とが一致しない非対象のブレ画像における注目画素と、その注目画素から前記一方向のブレ量に相当する第１画素群と、その注目画素から前記他方向のブレ量に相当する第２画素群とに対して、それぞれ異なるフィルタ係数を設定したフィルタを施し、前記注目画素に対応した画素値の第１補正値を生成するフィルタ手段と、
第１閾値から当該第１閾値より大きい第２閾値までの範囲内に収まるように、前記第１補正値を制限して第２補正値を生成するリミッタ手段と、
前記ブレ画像において前記注目画素を順に走査し、各画素における画素値を前記第２補正値とする補正手段と
を備えた画像処理装置。
【請求項２】
前記ブレ画像におけるブレ量およびブレ方向を、画像撮影時のレンズ収差情報に基づいて特定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記ブレ画像におけるブレ量およびブレ方向を、画像撮影時の角速度センサによる移動軌跡に基づいて特定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記ブレ画像におけるブレ量およびブレ方向を、画像撮影時の加速度センサによる移動軌跡に基づいて特定する
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記一方向のブレ量の画素数をＮ１、前記他方向のブレ量の画素数をＮ２、所定の係数をＥとしたときに、前記注目画素、前記第１画素群、前記第２画素群に対するフィルタ係数を、それぞれ、２×Ｅ＋１、−Ｅ／Ｎ１、−Ｅ／Ｎ２とする
ことを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は２次元画像を処理するための画像処理技術に関し、特に撮影動作等により劣化したブレ画像を原画像に近い画像に補正するための画像処理技術に関する。
【背景技術】
【０００２】
カメラ等の撮像装置によって撮影された画像が手ブレや被写体ブレ等によりブレを生じた際に、ブレ画像を復元（補正）する画像復元方法が知られている。
たとえば、下記特許文献１および２には、オーバーシュート・アンダーシュートを生じることなく輪郭を補正する技術、下記特許文献３には、輪郭を滑らかに補正する技術が開示されている。
【０００３】
【特許文献１】特開平０９−２３８２７４号公報
【特許文献２】特開平１０−１５０５８２号公報
【特許文献３】特開平０８−１１１７９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献に記載された技術によるデジタル画像の輪郭には、ピンボケ、撮影レンズの収差、手ブレ、像ブレなどの要因のために、本来被写体の持っている輪郭情報が失われており、その結果、輪郭のぼけた画像になってしまうという課題がある。
特に、画像に発生する輪郭のボケは、左右上下対象ではなく方向性をもった非対称ボケである場合が多い。たとえば、レンズ収差の１つとしてコマ収差があるが、コマ収差は画面中心から同心円上に像流れを生じ、また、手ブレによる輪郭のボケは画面上で対称に発生することはほとんど無く、結果として非対称のボケとなって表れる。
【０００５】
本発明は、上述した観点に鑑みてなされてものであって、その目的は、非対称のボケを効果的に復元する画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を克服するため、本発明は、一方向のブレ量と他方向のブレ量とが一致しない非対象のブレ画像における注目画素と、その注目画素から前記一方向のブレ量に相当する第１画素群と、その注目画素から前記他方向のブレ量に相当する第２画素群とに対して、それぞれ異なるフィルタ係数を設定したフィルタを施し、前記注目画素に対応した画素値の第１補正値を生成するフィルタ手段と、第１閾値から当該第１閾値より大きい第２閾値までの範囲内に収まるように、前記第１補正値を制限して第２補正値を生成するリミッタ手段と、前記ブレ画像において前記注目画素を順に走査し、各画素における画素値を前記第２補正値とする補正手段とを備えた画像処理装置である。
【０００７】
好適には、前記ブレ画像におけるブレ量およびブレ方向を、画像撮影時のレンズ収差情報に基づいて特定する。
【０００８】
好適には、前記ブレ画像におけるブレ量およびブレ方向を、画像撮影時の角速度センサによる移動軌跡に基づいて特定する。
【０００９】
好適には、前記ブレ画像におけるブレ量およびブレ方向を、画像撮影時の加速度センサによる移動軌跡に基づいて特定する。
【００１０】
好適には、前記一方向のブレ量の画素数をＮ１、前記他方向のブレ量の画素数をＮ２、所定の係数をＥとしたときに、前記注目画素、前記第１画素群、前記第２画素群に対するフィルタ係数を、それぞれ、２×Ｅ＋１、−Ｅ／Ｎ１、−Ｅ／Ｎ２とする。
【発明の効果】
【００１１】
本発明によれば、非対称のボケを効果的に復元することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００１３】
図１は、本発明の画像処理装置の一実施形態であるデジタルスチルカメラ１のシステム構成図である。実施形態に係るデジタルスチルカメラ１は、ブレ補正機能を備えたカメラである。
図１に示すように、実施形態に係るデジタルスチルカメラ１は、撮影レンズ２１、ＣＣＤなどの撮像素子２２を含むレンズ光学系２、レンズ光学系２により取得した被写体像の画像信号を処理し、ＣＰＵ１１へ転送する信号処理系（ＣＤＳ（相関二重サンプリング）・ＡＧＣ（自動利得制御）回路３、Ａ／Ｄ変換回路４、画像処理部５）、レンズ光学系１を駆動するモータドライバ６、タイミングジェネレータ（ＴＧ）７、メモリ８、ブレ検出センサ９、表示部１０、全体を統括するＣＰＵ１１などを備えて構成される。
【００１４】
デジタルスチルカメラ１では、先ず、レンズ光学系２を通して入射した被写体像が撮像素子２２に結像される。
ＣＰＵ１１は、タイミングジェネレータ７を駆動し、ここで生成されたパルスにより撮像素子２２が駆動される。これにより、被写体像の蓄積および転送が行われる。
撮像素子２２から出力された画像信号は、ＣＤＳ・ＡＧＣ回路３によってサンプリングされ、かつ、所定の増幅率で増幅される。
増幅された画像信号は、Ａ／Ｄ変換回路４によってデジタルデータ（画像データ）に変換される。
【００１５】
画像処理部５では、画面を複数に分割したエリア毎に画像データの積算値が演算される。カラーの撮像素子の場合、例えばＲＧＢの色ごとに積算値を求める。画像処理部５による積算値は、撮像素子による撮像信号をそのまま積算した値と等価であり、当該積算値には被写体輝度を示す情報が含まれている。
画像処理部５は、さらにこの積算値をＲＧＢの色ごとの輝度データ（Ｙ）に変換して、ＣＰＵ１１に出力する。
【００１６】
ブレ検出センサ９は、たとえば２つのジャイロセンサ（角速度センサ）を含み、この２つのジャイロセンサによって、デジタルスチルカメラ１に固定された２軸（ヨー、ピッチ）回りの角速度を検出することで、撮影時の上記２軸の回りのカメラのブレ量およびブレ方向を算出する。
なお、ブレ検出センサ９は、ジャイロセンサに限らず、加速度センサを用いてもよい。
【００１７】
ＣＰＵ１１は、ブレ画像に対して輪郭補正処理を行って画像を復元し、復元した画像をメモリ８内のフレームメモリに格納する。ＣＰＵ１１は、フレームメモリのデータに基づいて、被写体の画像を表示するための表示駆動信号を表示部１０に送出する。
以下、本実施形態における輪郭補正処理の補正原理について説明する。
【００１８】
ＣＰＵ１１において実行される輪郭補正処理は、（１）フィルタ処理、（２）最大値フィルタ処理・最小値フィルタ処理、を含む。以下、順にこれらの処理を説明する。
【００１９】
（１）フィルタ処理
フィルタ処理は、注目画素付近における輝度値の傾斜を強調するためのデジタルフィルタ処理である。
【００２０】
たとえば収差、手ブレ等を要因として、ブレ画像に非対称のボケが生じることがあるが、その非対象のボケの一方向のブレ量が画素数Ｎ１に相当し、他方向のブレ量が画素数Ｎ２に相当する場合に、注目画素に対して、次の通り、空間フィルタ係数を設定する。すなわち、注目画素と、注目画素から上記一方向に対して画素数Ｎ１の画素群と、注目画素から上記他方向に対して画素数Ｎ２の画素群、の各画素に対して、それぞれ、２×Ｅ＋１、−Ｅ／Ｎ１、−Ｅ／Ｎ２（Ｅ：補正の程度を表す係数であって、１が標準）とするフィルタ係数を設定する。そして、このフィルタ係数によって、各画素の輝度値に対して畳み込み（convolution）を行うＦＩＲ（Finite Impulse Response）フィルタを構成する。
なお、この注目画素のフィルタ結果は、本発明の第１補正値に相当する。
【００２１】
（２）最大値フィルタ処理・最小値フィルタ処理
上記フィルタ処理の結果、ブレ領域の傾斜が急峻となるため、ボケが改善されるが、ブレ領域の両側には、大きなアンダーシュート、オーバーシュートが生ずる。したがって、このアンダーシュート、オーバーシュートを除去して自然な画質を得るために、最大値フィルタ処理、最小値フィルタ処理を行う。
【００２２】
最大値フィルタ処理、最小値フィルタ処理では、先ず、フィルタ注目画素領域（注目画素、および、その前後の画素数Ｎ１，Ｎ２の画素群）における画素の輝度値の最大値および最小値を特定する。そして、この最小値から最大値までの範囲内に収まるように、前記第１補正値を制限することによって、第２補正値を得る。これによって、アンダーシュート、オーバーシュートが除去される。
【００２３】
なお、アンダーシュート、オーバーシュートを除去するには、所定の第１閾値〜第２閾値（＞第１閾値）の範囲内に収まるように、ＦＩＲフィルタの処理結果を制限すればよく、その手法は、上記の最大値フィルタ処理、最小値フィルタ処理に限られない。
この最大値フィルタ処理、最小値フィルタ処理は、本発明のリミッタ手段に相当する。
【００２４】
次に、ＣＰＵ１１によって実行される輪郭補正処理について、図２および図３を参照して以下説明する。
図２は、輪郭補正処理を示すフローチャートである。すなわち、輪郭補正処理は、輪郭ボケ情報入力処理ステップＳＴ１、空間フィルタ係数設定ステップＳＴ２、畳み込み積分処理ステップＳＴ３、最大値フィルタ処理ステップＳＴ４、最小値フィルタ処理ステップＳＴ５から構成される。
図３は、輪郭補正処理の一例を示す図である。図３では、横軸を画素、縦軸を輝度値として示しており、（ａ）は原画像、（ｂ）はブレ画像、（ｃ）はＦＩＲフィルタ結果、（ｄ）最大値フィルタ処理結果、（ｅ）は最小値フィルタ処理結果、をそれぞれ示す。
【００２５】
図２において、輪郭ボケ情報入力処理ステップＳＴ１では、ブレ検出センサ９によって算出されたブレ量を取り込む、または、図示しない操作入力手段によって外部からブレ量を取り込むことによって、輪郭ボケ情報を取得する。たとえば収差、手ブレ等を要因として、図３（ａ）に示す画像が図３（ｂ）に示すように非対称に輪郭がぼけた場合には、図２のステップＳＴ１に例示するように、非対称のブレ画像の中で、一方向のブレ量の画素数Ｎ１を５個、他方向のブレ量の画素数Ｎ２を３個として入力する。
【００２６】
空間フィルタ係数設定ステップＳＴ２では、ＦＩＲフィルタにおける空間フィルタ係数を設定する。
空間フィルタ係数は、前述したように、注目画素と、注目画素から一方向に対して画素数Ｎ１の画素群と、注目画素から他方向に対して画素数Ｎ２の画素群、の各画素に対して、それぞれ、２×Ｅ＋１、−Ｅ／Ｎ１、−Ｅ／Ｎ２（Ｅ：補正の程度を表す係数）として設定される。
ここで、Ｎ１＝５、Ｎ２＝３、Ｅ＝１（標準）とすると、（Ｎ１＋Ｎ２＋１）個の画素のそれぞれに対する空間フィルタ係数は、図２に示すように、｛−０．２，−０．２，−０．２，−０．２，−０．２，３，−０．３，−０．３，−０．３｝となる。
【００２７】
畳み込み積分処理ステップＳＴ３では、ステップＳＴ２で設定された空間フィルタ係数に基づいて、注目画素に対して畳み込み積分を行う。その結果、たとえば図３（ｃ）に示すように、輪郭部分において輝度値の変化が強調され、ボケが改善される。但し、オーバーシュートおよびアンダーシュートが残留し、不自然な画質となっている。
【００２８】
最大値フィルタ処理ステップＳＴ４では、注目画素の畳み込み積分結果（図３（ｃ））を、（Ｎ１＋Ｎ２＋１）個の画素（図３（ｂ））の輝度値の最大値に置き換える処理を行う。これによって、図３（ｄ）に示すように、アンダーシュート成分が除去される。
【００２９】
最小値フィルタ処理ステップＳＴ５では、さらに、注目画素の畳み込み積分結果（図３（ｃ））を、（Ｎ１＋Ｎ２＋１）個の画素（図３（ｂ））の輝度値の最小値に置き換える処理を行う。これによって、図３（ｅ）に示すように、オーバーシュート成分が除去される。
【００３０】
このように、ＣＰＵ１１は、図２に示した輪郭補正処理を行うことによって、図３に示すように、ブレ画像が適切に復元することができる。
このように、本実施形態では、注目画素の左右の画素群に対して、非対称のボケの各ボケ量に応じた空間フィルタ係数を割り当てることで、この非対称のボケが適切に復元される。
【００３１】
上記処理とは異なり、非対称のボケの各ボケ量に応じた空間フィルタ係数を割り当てない場合には、図４および図５に示すように、非対称のボケを適切に復元することが困難となる。
図４および図５は、図３と同一形式の図であり、（ａ）〜（ｅ）の各表示内容が図３と対応する。図４および図５は、仮に非対称の空間フィルタ係数を設定しない場合の例であって、図４では、Ｎ１＝Ｎ２＝５、すなわち、空間フィルタ係数を｛−０．２，−０．２，−０．２，−０．２，−０．２，３，−０．２，−０．２，−０．２，−０．２，−０．２｝とした場合の画像の変化である。図５は、Ｎ１＝Ｎ２＝３、すなわち、空間フィルタ係数を｛−０．３，−０．３，−０．３，３，−０．３，−０．３，−０．３｝とした場合の画像の変化である。
図４に示す例では、最終的な復元画像は、図４（ｅ）に示すように、オーバーシュート成分が残留してしまう。図５に示す例では、最終的な復元画像は、図５（ｅ）に示すように、同様にオーバーシュート成分が残留し、かつ、右側エッジの強調具合が弱い結果となる。
図３〜５から、注目画素の左右の画素群に対し、非対称のボケの各ボケ量に応じた空間フィルタ係数を割り当てることが、適切に非対称のボケを復元するために肝要であることがわかる。
【００３２】
なお、図２に示した輪郭ボケ情報入力処理ステップＳＴ１では、ジャイロセンサを含むブレ検出センサ９によって得られたカメラのブレ量およびブレ方向（ブレ角度）が取り込まれるが、このカメラのブレ量およびブレ方向は、実際には複雑な挙動を示す。
図６は、ブレ検出センサ９におけるジャイロセンサの実際の出力の軌跡の一例（開始点：Ｘ、終了点：Ｙ）を示す図であって、縦軸および横軸は、それぞれピッチ方向およびヨー方向のブレ角度（ブレ方向）である。
図６から明らかなように、実際のジャイロセンサの出力に基づいて、ブレ方向を特定することは困難であるが、ブレの概略方向を特定し、その方向に対して輪郭補正処理を行うことでも、十分にブレが改善されて見える。たとえば、図６において、ブレ軌跡を矢印Ａで示すベクトルＡによって簡略化させて、上方向に０．１５度、下方向に０．１３度のブレ角度とする。
このようにブレ軌跡を簡略化したベクトルＡ（ブレ方向のベクトル）による移動をブレ量としての画素数Ｐｖａｌに換算するには、下記（１）式を用いればよい。
【００３３】
Ｐｖａｌ＝ｆ×ｔａｎθ／ｐ    …（１）
なお、  ｆ：撮影レンズ焦点距離
θ：ブレ角度
ｐ：撮像素子の画素ピッチ
【００３４】
本実施形態においては、ブレ検出センサ９では、ジャイロセンサの出力軌跡からブレ角度を特定し、また、ブレ量を上記画素数Ｐｖａｌによって算出し、このブレ角度およびブレ量に基づいて、ＣＰＵ１１は図２に示した輪郭補正処理を行う。
なお、ブレ検出センサ９として加速度センサを用いた場合でも、同様にブレ方向およびブレ量を特定することができる。
また、レンズの収差が原因の非対称ボケについて説明していないが、設計上あらかじめ明確であるため、ボケ量を事前に算出することが出来る。例えば、コマ収差は、光軸中心から離れる程外側へボケが生じるが、光軸からの距離の関数で算出し、その算出した値から画像上のボケ量（すなわち、ブレ量およびブレ方向）を特定することができる。さらに、ジャイロセンサ、加速度センサ、およびレンズ収差情報のいずれかの組み合わせによりブレ量およびブレ方向を特定するようにしてもよい。
【００３５】
次に、デジタルスチルカメラ１における輪郭補正処理の動作を説明する。
この補正処理は、処理対象であるブレ画像を、順次水平方向に走査していくことで行う。
先ず、ブレ検出センサ９がブレ角度およびブレ量を算出する。そして、ブレ角度に沿って左右に（または上下に）非対称のブレ量Ｎ１（画素数）、Ｎ２（画素数）を特定する。
ＣＰＵ１１内には、この（Ｎ１＋Ｎ２＋１）個の画素のデータを格納するためのレジスタ（メモリ領域）が予め設けられている。
なお、以下の説明では、説明の簡単のため、ブレ角度を０度（水平）とする。
【００３６】
次に、レジスタに格納された画素のデータに基づいて、注目画素についての第１補正値を算出する。なお、この第１補正値を算出する処理は、ＲＧＢの色ごとに行う。
第１補正値は、畳み込み演算によるフィルタ処理により得られる。すなわち、注目画素の輝度値に（２×Ｅ＋１）を掛け、注目画素の左側のＮ１個の画素に対して（−Ｅ／Ｎ１）を掛け、注目画素の左側のＮ２個の画素に対して（−Ｅ／Ｎ２）を掛けた後にすべてを合算し、その合算結果をその注目画素における第１補正値とする。
【００３７】
次に、注目画素を含む左右の（Ｎ１＋Ｎ２＋１）個の画素の範囲内において、画素の輝度値の中から最大値および最小値を特定し、最大値フィルタ処理および最小値フィルタ処理を行う。この最大値フィルタ処理および最小値フィルタ処理は、ＲＧＢの色ごとに行われる。
すなわち、特定した最大値および最小値によって第１補正値を制限して、最終的な補正値である第２補正値とする。すなわち、第１補正値が最大値よりも大きいことを条件として、その最大値を第２補正値とし、第１補正値が最小値よりも小さいことを条件として、その最小値を第２補正値とし、第１補正値が最大値と最小値の間にあることを条件として、その第１補正値を第２補正値とする。
【００３８】
そして、元の輝度値、または、算出された第２補正値を、注目画素における最終的な補正値として、メモリ８内のフレームメモリに書き込む。この注目画素がブレ画像に対して水平方向に走査され、順次、上述した処理を繰り返し行って、フレームメモリに書き込まれる。全画素に対する処理を行うことによって、ブレ画像が復元されることになる。
【００３９】
なお、ブレ角度を０度（水平）の場合について説明したが、０度以外の場合についても容易に実行することができる。
ブレ画像における画素のマトリクスにおいて、ブレ方向が０度、±４５度、±９０度の角度では、注目画素に対してボケ部分の画素を容易に選択でき、上記輪郭補正処理を行うことができる。また、マトリクスのＸ軸方向に２画素、Ｙ軸方向に１画素進んだ、または、後退した位置の画素を選択することで、±３０度のブレ方向に対して輪郭補正処理を行うことができ、マトリクスのＸ軸方向に１画素、Ｙ軸方向に２画素進んだ、または、後退した位置の画素を選択することで、±６０度のブレ方向に対して輪郭補正処理を行うことができる。
このように、０度、±３０度、±４５度、±６０度、±９０度のブレ方向に限定した（丸めた）場合でも、効果的な輪郭補正処理を行うことができる。
【００４０】
以上詳述したように、実施形態に係るデジタルスチルカメラによれば、注目画素の左右の画素群に対し、非対称のボケの各ボケ量に応じた空間フィルタ係数を設定するため、非対称のボケが適切に復元される。また、その際に、周波数領域の演算等を行う必要がなく、ＣＰＵの演算における負荷が小さくて済むので実装が容易である。
【００４１】
なお、本発明の実施形態は、上述した実施形態に拘泥せず、当業者であれば、本発明の要旨を変更しない範囲内で様々な改変が可能である。
【図面の簡単な説明】
【００４２】
【図１】実施形態に係るデジタルスチルカメラのシステム構成図である。
【図２】輪郭補正処理を示すフローチャートである。
【図３】輪郭補正処理の一例を示す図である。
【図４】非対称のボケの各ボケ量に応じた空間フィルタ係数を割り当てない場合について説明するための図である。
【図５】非対称のボケの各ボケ量に応じた空間フィルタ係数を割り当てない場合について説明するための図である。
【図６】ブレ検出センサにおけるジャイロセンサの出力の軌跡の一例を示す図である。
【符号の説明】
【００４３】
１…デジタルスチルカメラ
２…レンズ光学系
２１…撮影レンズ、２２…撮像素子
３…ＣＤＳ・ＡＧＣ回路
４…Ａ／Ｄ変換回路
５…画像処理部
６…モータドライバ
７…タイミングジェネレータ
８…メモリ
９…ブレ検出センサ
１０…表示部
１１…ＣＰＵ
【図１】
2007036799.tif 000003
【図２】
2007036799.tif 000004
【図３】
2007036799.tif 000005
【図４】
2007036799.tif 000006
【図５】
2007036799.tif 000007
【図６】
2007036799.tif 000008