(57)【要約】【課題】  エリアイメージセンサの各セルに入射した光の光量が線形に反映されている画像情報に種々の補正を行う場合において、光量が画像情報に線形に反映されていることを前提とする補正を精度良く行うことが可能な画像処理方法、ディジタルカメラ及び画像処理プログラムを提供する。【解決手段】  エリアイメージセンサの各セルに入射した光の光量が線形に反映されている画像情報の各画素の濃度を、前記画素の位置に応じて一意に決まる補正情報に基づいて補正する前補正段階と、前記前補正段階で補正が行われた前記画像情報を補正する後補正段階と、を含む。【選択図】      図１
2006211334.tif 000002
【特許請求の範囲】
【請求項１】
エリアイメージセンサの各セルに入射した光の光量が線形に反映されている画像情報の各画素の濃度を、前記画素の位置に応じて一意に決まる補正情報に基づいて補正する前補正段階と、
前記前補正段階で補正が行われた前記画像情報を補正する後補正段階と、
を含むことを特徴とする画像処理方法。
【請求項２】
前記補正情報は、前記エリアイメージセンサに被写体の光学像を結像するレンズと絞り値とに応じて画素毎に設定されている光量落ち込み率であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記後補正段階において、前記画像情報が表すディジタル画像に幾何変換が施されていない前記画像情報に基づいて結像の際の手ぶれ方向を特定し、特定した前記手ぶれ方向に基づいて前記ディジタル画像のぶれを補正することを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
前記後補正段階において、前記ぶれが補正された前記ディジタル画像を幾何変換することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記後補正段階において、前記ディジタル画像を幾何変換することにより、前記エリアイメージセンサに被写体の光学像を結像するレンズの歪曲収差に起因して前記ディジタル画像に生じている歪みを補正することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
エリアイメージセンサと、
前記エリアイメージセンサの各セルに入射した光の光量が線形に反映されている画像情報の各画素の濃度を、前記画素の位置に応じて一意に決まる補正情報に基づいて補正する前補正手段と、
前記前補正手段で補正が行われた前記画像情報を補正する後補正手段と、
を備えることを特徴とするディジタルカメラ。
【請求項７】
エリアイメージセンサの各セルに入射した光の光量が線形に反映されている画像情報の各画素の濃度を、前記画素の位置に応じて一意に決まる補正情報に基づいて補正する前補正手段と、
前記前補正手段で補正が行われた前記画像情報を補正する後補正手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
【請求項８】
被写体の光学像が結像されるエリアイメージセンサの出力信号に基づいて生成された画像情報であって当該画像情報が表すディジタル画像に幾何変換が施されていない画像情報に基づいて結像の際の手ぶれ方向を特定し、特定した前記手ぶれ方向に基づいて前記画像情報が表すディジタル画像のぶれを補正するぶれ補正段階と、
前記ぶれ補正段階でぶれが補正された前記ディジタル画像を幾何変換する幾何補正段階と、
を含むことを特徴とする画像処理方法。
【請求項９】
前記幾何補正段階において、前記ディジタル画像を幾何変換することにより、前記エリアイメージセンサに被写体の光学像を結像するレンズの歪曲収差に起因して前記ディジタル画像に生じている歪みを補正することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
被写体の光学像が結像されるエリアイメージセンサと、
前記エリアイメージセンサの出力信号に基づいて生成された画像情報であって当該画像情報が表すディジタル画像に幾何変換が施されていない画像情報に基づいて結像の際の手ぶれ方向を特定し、特定した前記手ぶれ方向に基づいて前記画像情報が表すディジタル画像のぶれを補正するぶれ補正手段と、
前記ぶれ補正手段でぶれが補正された前記ディジタル画像を幾何変換する幾何補正手段と、
を備えることを特徴とするディジタルカメラ。
【請求項１１】
被写体の光学像が結像されるエリアイメージセンサの出力信号に基づいて生成された画像情報であって当該画像情報が表すディジタル画像に幾何変換が施されていない画像情報に基づいて結像の際の手ぶれ方向を特定し、特定した前記手ぶれ方向に基づいて前記画像情報が表すディジタル画像のぶれを補正するぶれ補正手段と、
前記ぶれ補正手段でぶれが補正された前記ディジタル画像を幾何変換する幾何補正手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法、ディジタルカメラ及び画像処理プログラムに関する。
【背景技術】
【０００２】
ディジタルカメラでは、図７（Ａ）に示す画像７０のように、生成された画像情報が表すディジタル画像の外周側がレンズの周辺光量落ちによって暗くなることが知られている。周辺光量落ちによって画質が低下している場合、画像情報の各画素の濃度がその画素に対応するセルに入射した光の光量を線形に反映している状態であれば、その画素の位置で一意に決まる補正情報を用いて濃度を補正することにより、図７（Ａ）に示す画像７１のように画質を補正できる。ここで画素の濃度が光量を線形に反映している状態とは、光量から画素の濃度への写像が線形性を持つ状態にあることをいう。周辺光量落ちによる画質の低下の補正は、セルに入射した光の光量が画像情報に線形に反映されていなければ効果がない補正である。すなわち、周辺光量落ちによる画質の低下の補正は、セルに入射した光の光量が画像情報に線形に反映されていることを前提とする補正である。
【０００３】
また、ディジタルカメラでは、結像時の手ぶれによってディジタル画像が図７（Ｂ）に示す画像７２のようにぶれてしまうことがある。ディジタル画像がぶれてしまった場合、そのディジタル画像を解析して手ぶれの方向と手ぶれの大きさとを特定し、特定した手ぶれの方向と手ぶれの大きさとに基づいて補正することで、図７（Ｂ）に示す画像７３のようにぶれを補正できる（例えば、特許文献１参照。）。
【０００４】
また、ディジタルカメラでは、レンズの歪曲収差によってディジタル画像が幾何学的に歪んでしまうことがある。歪曲収差とは単色光について生じる収差の一つである。歪曲収差があると、例えば正方形の被写体はディジタル画像上において図７（Ｃ）に示す画像７４のような樽型や図７（Ｃ）に示す画像７５のような糸巻き型に歪んでしまう。歪曲収差によって生じた歪みは、レンズに固有の歪曲収差特性に基づいてディジタル画像を幾何変換することにより図７（Ｃ）に示す画像７６のように補正できる。
【特許文献１】特開２０００−１２５１７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
エリアイメージセンサの各セルに入射した光の光量が線形に反映されている画像情報に何等かの補正を行うと、補正後の画像情報は光量を線形に反映したものではなくなってしまう。従って、エリアイメージセンサの各セルに入射した光の光量が線形に反映されている画像情報に種々の補正を行う場合、光量が線形に反映されていることを前提とする補正より前に他の補正を行うと、光量が線形に反映されていることを前提とする補正を精度良く行うことができないという問題がある。
【０００６】
また、手ぶれ補正と幾何変換とを行う場合、手ぶれ補正の前に幾何変換を行うと、手ぶれ補正を精度良く補正できないという問題がある。幾何変換を行うとディジタル画像に生じているぶれが歪んでしまうので、手ぶれの方向を正確に特定できなくなってしまう。このため手ぶれを精度良く補正できなくなってしまう。
本発明は、かかる問題に鑑みて創作されたものであって、エリアイメージセンサの各セルに入射した光の光量が線形に反映されている画像情報に種々の補正を行う場合において、光量が画像情報に線形に反映されていることを前提とする補正を精度良く行うことが可能な画像処理方法、ディジタルカメラ及び画像処理プログラムを提供することを目的とする。
【０００７】
また、本発明の別の目的は、ディジタル画像のぶれの補正と幾何変換とを行う場合において、ぶれを精度良く補正することが可能な画像処理方法、ディジタルカメラ及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明に係る画像処理方法は、エリアイメージセンサの各セルに入射した光の光量が線形に反映されている画像情報の各画素の濃度を、前記画素の位置に応じて一意に決まる補正情報に基づいて補正する前補正段階と、前記前補正段階で補正が行われた前記画像情報を補正する後補正段階と、を含む。本発明によると、エリアイメージセンサの各セルに入射した光の光量が画像情報に線形に反映されていることを前提とする補正を行う前補正段階は、光量が線形に反映されている画像情報に対し、他の補正を行う後補正段階よりも前に行われる。よって本発明によると、エリアイメージセンサの各セルに入射した光の光量が線形に反映されている画像情報画像情報に種々の補正を行う場合において、光量が画像情報に線形に反映されていることを前提とする補正を精度良く行うことができる。
【０００９】
さらに本発明に係る画像処理方法では、前記補正情報は、前記エリアイメージセンサに被写体の光学像を結像するレンズと絞り値とに応じて画素毎に設定されている光量落ち込み率である。本発明によると、光量落ち込み率に基づいて濃度を補正することにより、レンズの周辺光量落ちに起因するディジタル画像の画質の低下を補正できる。
【００１０】
さらに本発明に係る画像処理方法では、前記後補正段階において、前記画像情報が表すディジタル画像に幾何変換が施されていない前記画像情報に基づいて結像の際の手ぶれ方向を特定し、特定した前記手ぶれ方向に基づいて前記ディジタル画像のぶれを補正する。本発明によると、光量が画像情報に線形に反映されていることを前提とする補正とぶれの補正とを行う場合において、光量が画像情報に線形に反映されていることを前提とする補正をぶれの補正の前に行うので、光量が画像情報に線形に反映されていることを前提とする補正を精度良く行うことができる。
【００１１】
さらに本発明に係る画像処理方法では、前記後補正段階において、前記ぶれが補正された前記ディジタル画像を幾何変換する。本発明によると、幾何変換の前にぶれの補正を行うので、ぶれを精度良く補正することが
さらに本発明に係る画像処理方法では、前記後補正段階において、前記ディジタル画像を幾何変換することにより、前記エリアイメージセンサに被写体の光学像を結像するレンズの歪曲収差に起因して前記ディジタル画像に生じている歪みを補正する。本発明によると、歪曲収差に起因してディジタル画像に生じている歪みを補正できる。
【００１２】
上記目的を達成するため、本発明に係るディジタルカメラは、エリアイメージセンサと、前記エリアイメージセンサの各セルに入射した光の光量が線形に反映されている画像情報の各画素の濃度を、前記画素の位置に応じて一意に決まる補正情報に基づいて補正する前補正手段と、前記前補正手段で補正が行われた前記画像情報を補正する後補正手段と、
を備える。本発明によると、エリアイメージセンサの各セルに入射した光の光量が線形に反映されている画像情報画像情報に種々の補正を行う場合において、光量が画像情報に線形に反映されていることを前提とする補正を精度良く行うことができる。
【００１３】
上記目的を達成するため、本発明に係る画像処理プログラムは、エリアイメージセンサの各セルに入射した光の光量が線形に反映されている画像情報の各画素の濃度を、前記画素の位置に応じて一意に決まる補正情報に基づいて補正する前補正手段と、前記前補正手段で補正が行われた前記画像情報を補正する後補正手段としてコンピュータを機能させる。本発明によると、エリアイメージセンサの各セルに入射した光の光量が線形に反映されている画像情報画像情報に種々の補正を行う場合において、光量が画像情報に線形に反映されていることを前提とする補正を精度良く行うことができる。
【００１４】
上記目的を達成するため、本発明に係る画像処理方法は、被写体の光学像が結像されるエリアイメージセンサの出力信号に基づいて生成された画像情報であって当該画像情報が表すディジタル画像に幾何変換が施されていない画像情報に基づいて結像の際の手ぶれ方向を特定し、特定した前記手ぶれ方向に基づいて前記画像情報が表すディジタル画像のぶれを補正するぶれ補正段階と、前記ぶれ補正段階でぶれが補正された前記ディジタル画像を幾何変換する幾何補正段階と、を含む。本発明によると、ぶれを補正するぶれ補正段階は、幾何変換されていない画像情報に対し、幾何変換を行う幾何補正段階よりも前に行われる。よって本発明によると、画像情報が表すディジタル画像のぶれの補正と幾何変換とを行う場合において、ぶれを精度良く補正できる。
【００１５】
さらに本発明に係る画像処理方法では、前記幾何補正段階において、前記ディジタル画像を幾何変換することにより、前記エリアイメージセンサに被写体の光学像を結像するレンズの歪曲収差に起因して前記ディジタル画像に生じている歪みを補正する。本発明によると、歪曲収差に起因してディジタル画像に生じている歪みを補正できる。
【００１６】
上記目的を達成するため、本発明に係るディジタルカメラは、被写体の光学像が結像されるエリアイメージセンサと、前記エリアイメージセンサの出力信号に基づいて生成された画像情報であって当該画像情報が表すディジタル画像に幾何変換が施されていない画像情報に基づいて結像の際の手ぶれ方向を特定し、特定した前記手ぶれ方向に基づいて前記画像情報が表すディジタル画像のぶれを補正するぶれ補正手段と、前記ぶれ補正手段でぶれが補正された前記ディジタル画像を幾何変換する幾何補正手段と、を備える。本発明によると、画像情報が表すディジタル画像のぶれの補正と幾何変換とを行う場合において、ぶれを精度良く補正できる。
【００１７】
上記目的を達成するため、本発明に係る画像処理プログラムは、被写体の光学像が結像されるエリアイメージセンサの出力信号に基づいて生成された画像情報であって当該画像情報が表すディジタル画像に幾何変換が施されていない画像情報に基づいて結像の際の手ぶれ方向を特定し、特定した前記手ぶれ方向に基づいて前記画像情報が表すディジタル画像のぶれを補正するぶれ補正手段と、前記ぶれ補正手段でぶれが補正された前記ディジタル画像を幾何変換する幾何補正手段としてコンピュータを機能させる。本発明によると、画像情報が表すディジタル画像のぶれの補正と幾何変換とを行う場合において、ぶれを精度良く補正できる。
【００１８】
尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための最良の形態を実施例に基づいて説明する。
図２は、本発明の一実施例によるディジタルスチルカメラ（ＤＳＣ）１を示すブロック図である。
エリアイメージセンサ１４は、二次元空間に離散的に配置されたセルとＣＣＤ（Charge Coupled Device）等の電荷転送素子を備えたカラー撮像素子であり、いわゆるＣＣＤカラーイメージセンサ、ＣＭＯＳカラーイメージセンサ等である。エリアイメージセンサ１４は、レンズ１０及び絞り１２によってセルの受光面に結像された被写体の光学像の濃淡に応じた電気信号を出力する。エリアイメージセンサ１４は、セル毎にベイヤ配列の色フィルタを備えるため、画素毎にＲＧＢいずれか１チャネルの濃淡レベルを示す電気信号を出力する。レンズ１０はレンズコントローラ１１によって駆動され、光軸方向に往復移動する。絞り１２は、絞りコントローラ１３によって駆動され、エリアイメージセンサ１４に入射する光量を調節する。エリアイメージセンサ１４に電荷を蓄積する時間は、機械的なシャッタで制御してもよいし、エリアイメージセンサ１４のゲート信号のオンオフにより電気的に制御してもよい。センサコントローラ１６は、所定のタイミングでゲート信号、シフト信号等のパルス信号をエリアイメージセンサ１４に出力し、エリアイメージセンサ１４を駆動する。
【００２０】
アナログフロントエンド（ＡＦＥ）１８は、エリアイメージセンサ１４から出力されるアナログ電気信号に対してＡＤ変換を施して、画像情報としてのＲＡＷデータを生成する。具体的には例えば、ＡＦＥ１８は電気信号に含まれる雑音の低減処理であるＣＤＳ（Correlated Double Sampling）処理、黒レベルを再現するためのオプティカル・ブラック・クランプ制御や、ゲインの調整による電気信号のレベル調整処理、量子化処理等を行ってＲＡＷデータを出力する。ＲＡＷデータとは、一般に撮像素子から出力されたアナログ電気信号を単純にディジタル化したデータのことである。したがって、ＲＡＷデータは画素毎にＲＧＢいずれか１チャネルの濃淡レベルを表している。このため、ＲＡＷデータをそのまま表示してもカラー画像を表示することはできない。ＡＦＥ１８から出力された直後のＲＡＷデータの各画素の濃度は、エリアイメージセンサ１４の各セルに入射した光の光量に比例する。従ってＡＦＥ１８から出力された直後のＲＡＷデータは各セルに入射した光の光量が線形に反映されている画像情報である。ＡＦＥ１８から出力されるＲＡＷデータは、ＲＡＭコントローラ３０によってＲＡＭ３２に格納される。
【００２１】
色処理部２４は、制御部３７と協働し、ＡＦＥ１８から出力されＲＡＭ３２に格納されたＲＡＷデータに対する周辺光量落ち補正、周辺光量落ち補正が行われた後のＲＡＷデータに基づいて生成条件に応じた画像を形成する画像形成処理などを施す。周辺光量落ち補正は、特許請求の範囲に記載の「前補正段階」で行われる補正に相当する。生成条件とは、撮像操作後にＲＡＷデータから出力用画像情報を生成するための条件である。画像形成処理は、各セルの蓄積電荷に対応するＲＡＷデータの各画素の濃淡レベルを近傍画素同士で補間し合うことによって、画素毎にＲＧＢの３チャネルの濃淡レベルを持つ画像情報を形成する処理である。画像形成処理後の画像情報を表示することにより、カラーのディジタル画像を表示できる。以降の説明では画像形成処理後の画像情報のことをカラー画像情報というものとする。一般に、注目画素を中心とするある程度広い範囲に位置する近傍画素を参照して注目画素の各チャネルの濃淡レベルを算出する方が、狭い範囲の近傍画素を参照する場合に比べて適正な濃淡レベルを算出できる。また一般に、広い範囲の近傍画素を参照する場合、狭い範囲の近傍画素を参照する場合に比べて処理時間が長くなる。したがって、撮像直後の画像形成処理では、比較的狭い範囲の近傍画素を参照して注目画素の濃淡レベルを算出することにより、連続撮像間隔を短縮できる。また、ユーザが次の撮像をする意思がない状態では、比較的広い範囲の近傍画素を参照して注目画素の濃淡レベルを算出することにより、高品質なカラー画像情報を形成できる。
【００２２】
また、画像形成処理では、周辺光量落ち補正を施したＲＡＷデータ、あるいはそのＲＡＷデータに基づいて形成したカラー画像情報に対し、ぶれ補正、シャープネス補正、明るさ補正、コントラスト補正、ホワイトバランス補正、カラーバランス補正、歪み補正等の各種の濃度変換、空間情報変換及び幾何変換を施す。例えばぼやけたディジタル画像を表すカラー画像情報に対してシャープネス補正を施せば、ぼやけたディジタル画像を鮮鋭なディジタル画像に補正できる。風景が表されたディジタル画像を表すカラー画像情報に対してシャープネス補正を施せば、広域に焦点が合った印象になる鮮鋭なディジタル画像に補正できる。露出過多又は露出不足のディジタル画像を表すカラー画像情報に対して明るさ補正及びコントラスト補正を施せば、適正露出のディジタル画像に近づけることができる。ホワイトバランス補正は、対象物の照明環境に応じてＲＧＢのゲインを調整する処理である。人物や花が表されたディジタル画像を表すカラー画像情報に対してカラーバランス補正を施せば、肌色を美しい色合いに補正したり、花弁をビビッドな色合いに補正できる。
【００２３】
解像度変換部２６は、カラー画像情報が表すディジタル画像の解像度を所定の解像度に変換する。具体的には例えば、解像度変換部２６は、ユーザが撮像前に設定する撮像条件やユーザが撮像後に設定する生成条件に応じた解像度にカラー画像情報を変換したり、ＬＣＤ３６の画面サイズに対応した解像度にカラー画像情報を変換する。
【００２４】
圧縮・伸張部２８は、カラー画像情報を圧縮し、また圧縮されたカラー画像情報を伸張する。圧縮方式は、可逆圧縮方式であってもよいし、不可逆圧縮方式であってもよい。具体的には例えば、ＤＣＴ、ウェーブレット変換、量子化、ハフマン符号化、ランレングス符号化等を組み合わせたＪＰＥＧ方式、ＪＰＥＧ２０００方式等を採用できる。尚、カラー画像情報を圧縮せずにリムーバブルメモリ４８に格納することもできる。
【００２５】
以上説明した色処理部２４、解像度変換部２６及び圧縮・伸張部２８の機能は、ＡＳＩＣ、ＤＳＰ等の専用回路で実現してもよいし、制御部３７が特定のプログラムを実行することによって実現してもよい。
グラフィックコントローラ３４は、合成機能を有する表示制御回路等を備え、ＲＡＭ３２のフレームメモリ領域に格納されている表示用カラー画像情報を単体でＬＣＤ３６の画面に表示したり、表示用カラー画像情報とメニューを重ねてＬＣＤ３６の画面に表示する。
【００２６】
操作部４０は、レリーズボタン、メニュー操作等のための各種の押しボタン、レバー、ジョグダイヤル等を備える。
外部インタフェースコントローラ４２は、ＤＳＣ１と図示しないパーソナルコンピュータ（ＰＣ）等の外部システムとを通信可能に接続する。
リムーバブルメモリコントローラ４４は、カードコネクタ４６に接続される不揮発性のリムーバブルメモリ４８にＲＡＭ３２に格納されているデータを転送する入出力機構である。
【００２７】
フラッシュメモリコントローラ３９は、フラッシュメモリ３８に格納されているデータをＲＡＭ３２に転送する。フラッシュメモリ３８はＣＰＵ２０が実行する画像処理プログラムやレンズ１０の種類毎に各画素に対応する光量落ち込み率を格納している不揮発性メモリである。ＤＳＣ１が作動するために必要な画像処理プログラムなどの各種のプログラムや各種のデータは、所定のサーバからのネットワークを介したダウンロード、リムーバブルメモリ４８からの読み出し等によってフラッシュメモリ３８に格納することもできる。
【００２８】
制御部３７は、ＣＰＵ２０、ＲＡＭ３２及びＲＡＭコントローラ３０を備える。ＣＰＵ２０はフラッシュメモリ３８に格納されている各種のプログラムを実行することでＤＳＣ１の各部を制御する。ＲＡＭコントローラ３０は、ＡＦＥ１８、色処理部２４、解像度変換部２６、圧縮・伸張部２８、ＣＰＵ２０、グラフィックコントローラ３４、リムーバブルメモリコントローラ４４、フラッシュメモリコントローラ３９等とＲＡＭ３２との間のデータ転送を制御する。
【００２９】
次に、画像処理プログラムについて説明する。
図３は、画像処理プログラムの論理的な構成を示すブロック図である。画像処理プログラムは、前補正モジュール５１、及び後補正モジュール５２を有している。後補正モジュール５２はぶれ補正モジュール５３及び幾何補正モジュール５４を有している。画像処理プログラムは、ＤＳＰで構成された色処理部２４で実行してもよいし、制御部３７で実行してもよいし、色処理部２４と制御部３７とが協働して実行してもよい。画像処理プログラムを実行する色処理部２４及び／又は制御部３７は、特許請求の範囲に記載の前補正手段、後補正手段、ぶれ補正手段、及び幾何補正手段に相当する。本実施例では制御部３７で画像処理プログラムを実行する場合を例に説明する。
【００３０】
前補正モジュール５１は、制御部３７を前補正手段として機能させるプログラム部品であって、ＲＡＷデータが生成された直後の又は生成と並行してＲＡＷデータの各画素の濃度を、画素の位置に応じて一意に決まる補正情報に基づいて補正する。補正情報とは、具体的にはレンズ１０と絞り値とに応じてセル毎に一意に決まる光量落ち込み率である。すなわち前補正モジュール５１は、周辺光量落ち補正を行うためのモジュールである。ＡＦＥ１８から出力された直後の状態のＲＡＷデータは、各画素の濃度にその画素に対応するセルに入射した光の光量が線形に反映されている。画素の濃度がセルの光量を線形に反映していれば、その画素に対応するセルの光量落ち込み率をその画素の濃度の落ち込み率として用いることができる。前補正モジュール５１は、ＡＦＥ１８から出力された直後のＲＡＷデータの各画素の濃度を、その画素に対応する光量落ち込み率に応じて補正することにより、レンズ１０の周辺光量落ちに起因するＲＡＷデータの画質の低下を補正する。
【００３１】
後補正モジュール５２は、制御部３７を後補正手段として機能させるプログラム部品であって、形成されたカラー画像情報に対して前述したぶれ補正、シャープネス補正、明るさ補正、コントラスト補正、ホワイトバランス補正、カラーバランス補正、歪み補正等の各種の濃度変換、空間情報変換及び幾何変換を施す。図３では、後補正モジュール５２のぶれ補正及び幾何変換を実行する機能をそれぞれぶれ補正モジュール５３、幾何補正モジュール５４として示している。
【００３２】
ぶれ補正モジュール５３は、画像情報を解析してぶれの方向とぶれの大きさとを特定し、特定したぶれの方向及び大きさに基づいてぶれが目立たないよう補正する。ぶれ補正モジュール５３は、被写体があたかも直線上を平行移動しているようにぶれが生じているという前提で、エッジ強度に基づいて手ぶれ方向を特定する。ぶれが直線的に生じている場合、ディジタル画像上に設定した所定の点を基準に［０、π］までの各角度方向についてそれぞれエッジ強度を求めると、ぶれが生じている方向θについて求めたエッジ強度は、各角度方向についてそれぞれ求めたエッジ強度の平均値（平均エッジ強度）より小さくなる。逆に、ぶれが生じている方向θに垂直な方向（θ＋π／２）について求めたエッジ強度は平均エッジ強度より大きくなる。従って、各角度方向についてその角度方向のエッジ強度と平均エッジ強度との差の絶対値（偏差）と、その角度方向に垂直な角度方向のエッジ強度と平均エッジ強度との差の絶対値（偏差）とを合計すると、手ぶれが生じている角度方向は合計値が最も大きくなる。後補正モジュール５２は、合計値が最も大きくなる角度方向を特定し、特定した角度方向に基づいて手ぶれの方向を特定する。
【００３３】
ぶれ補正を行うと、ディジタル画像の各画素の濃度は補正前と補正後とでは異なる値となる。すなわち、補正後のディジタル画像の各画素の濃度は、その画素に対応するセルに入射した光の光量を線形に反映したものではなくなる。従って、光量が画像情報に線形に反映されていることを前提とする補正である周辺光量落ち補正の前にぶれ補正を行うと、周辺光量落ち補正を精度良く行うことができななくなる。これはぶれ補正に限られるものではなく、他のいずれの補正を行った場合も同様である。
【００３４】
幾何補正モジュール５４は、画像情報が表すディジタル画像を幾何変換する。具体的には、幾何補正モジュール５４は、幾何変換することにより、レンズ１０の歪曲収差に起因して生じたディジタル画像の樽型や糸巻き型の歪みを本来の形状に近づくよう補正する。すなわち幾何補正モジュール５４は、歪み補正を行うためのモジュールである。歪み補正を行うと、例えば正方形の被写体は、補正前のディジタル画像では撓んでいた辺が、補正後には撓みのない真っ直ぐな辺となる。
【００３５】
ぶれ補正の前に歪み補正を行うと、歪みは補正されるものの、逆にぶれの生じ方は直線的ではなくなってしまう。前述したぶれ補正では、ぶれの生じ方が直線的でないとぶれの角度方向を正しく特定できない可能性があり、それにより手ぶれを正しく補正できない可能性がある。より具体的に説明すると、ぶれが直線的に表れていれば、そのぶれの影響はぶれに対応する角度方向θについての合計値に顕著に反映されるので、ぶれの方向を特定できる。しかしながら、ぶれが歪んで直線的でなくなると、ぶれの影響が例えば隣の角度方向（θ＋１）にも分散され、それにより角度方向θまたは角度方向（θ＋１）についての合計値がほぼ同じ、あるいは角度方向（θ＋１）についての合計値の方が大きくなってしまうことも起こり得る。このため、手ぶれの方向を正しく判定できなくなってしまう。従って、ぶれ補正の前に歪み補正を行うと、ぶれを精度良く補正できなくなる。
【００３６】
次に、上述した画像処理プログラムを実行する制御部３７の処理の流れについて説明する。
図１は、上述した画像処理プログラムを制御部３７で実行するＤＳＣ１による画像処理方法を示すフローチャートである。ここでは後補正モジュール５２を実行することによって行われる補正については、ぶれ補正モジュール５３及び幾何補正モジュール５４によって実行されるぶれ補正及び幾何変換のみを説明し、後補正モジュール５２を実行することによって行われる他の補正については省略する。
【００３７】
前補正段階としてのＳ１０５では、制御部３７は、前補正モジュール５１を実行し、ＲＡＷデータが生成された直後、又は生成と平行して周辺光量落ち補正を行う。一般にレンズは、入射する光の光軸に対する角度（入射角）がθである周辺部で（ｃｏｓθ）4に比例して明るさが減少する性質がある。例えばエリアイメージセンサ１４のサイズが横２３．７ｍｍ、縦１５．６ｍｍである場合、その対角線画角は６１°となる。この場合、上述した性質によれば、周辺部の光量は（ｃｏｓ（６１°／２））4＝０．５５となり、中央部の５５％の明るさしかないことになる。逆にいうと、この性質を利用してセルの光量落ち込み率を算出し、そのセルに対応する画素の濃度を光量落ち込み率に応じて補正すれば、周辺光量落ちに起因する画質の低下を補正できる。しかしながら、実際にはこの性質はレンズ１０と絞り値とに影響されるため、光量落ち込み率の算出においてはレンズ１０と絞り値とを考慮する必要がある。以下、レンズ１０及び絞り値の影響を反映させた光量落ち込み率の算出の一例について説明する。
【００３８】
以下に示す式（１）は、レンズ１０及び絞り値の影響を考慮した場合の最大光量落ち込み率を求めるための評価関数の一例である。
【００３９】
【数１】
2006211334.tif 000003
【００４０】
ここでθはエリアイメージセンサ１４のサイズに応じて一意に決まる値であり、対角線画角／２の整数値（０＜θ＜１２０）である。Ｅはエンハンス係数（０〜１００％）である。エンハンス係数は、レンズ１０の種類と絞り値とが決まれば一意に決まる値である。例えば使用可能な各レンズ１０についてそれぞれ適正な光量落ち込み率が得られるエンハンス係数を絞り値毎に実験的に求めて記憶しておき、レンズ１０及び絞り値に応じたエンハンス係数を式に代入すればよい。
【００４１】
出力されたＲＡＷデータの幅方向の画素数がＷピクセルであり、高さ方向の画素数がＨピクセルであるとすると、当該ＲＡＷデータ上の画素（ｘ，ｙ）に対応するセルにおける光量落ち込み率ｍ（ｘ，ｙ）は以下の数２によって算出される。ここでいう光量落ち込み率とは、落ち込みがなかったとした場合の光量に対する失われた分の光量の割合を示すものである。光量落ち込み率は、特許請求の範囲に記載の補正情報に相当する。
【００４２】
【数２】
2006211334.tif 000004
【００４３】
ここで、
【数３】
2006211334.tif 000005
であり、
【数４】
2006211334.tif 000006
である。
【００４４】
前述したように各画素に対応する光量落ち込み率はレンズ１０と絞り値とが決まれば一意に決まるので、補正の度に光量落ち込み率を計算する必要はない。本実施例のＤＳＣ１は予めレンズ１０の種類毎および絞り値毎に各画素に対応する光量落ち込み率をフラッシュメモリ３８に記憶している。制御部３７は、各画素について対応する光量落ち込み率をフラッシュメモリ３８から読み出し、読み出した光量落ち込み率に応じて当該画素の濃度を上げる補正を行うことにより周辺光量落ちを補正する。
【００４５】
後補正段階としてのＳ１１０では、制御部３７は、ぶれ補正モジュール５３を実行し、ディジタル画像を解析して結像時の手ぶれの方向と手ぶれの大きさとを特定し、特定した手ぶれの方向と手ぶれの大きさとに基づいてディジタル画像に生じているぶれを補正する。制御部３７は、Ｓ１０５で補正が行われた直後の画像情報であって当該画像情報が表すディジタル画像に幾何変換が施されていない画像情報に対してぶれの補正を行う。Ｓ１１０は特許請求の範囲に記載の「ぶれ補正段階」にも相当する。手ぶれの方向を特定する方法としては、エッジ強度に基づいて特定する方法などが公知である。また、手ぶれの大きさを特定する方法としては、特定された手ぶれの方向について画素値の自己相関係数を求め、求めた自己相関係数に基づいて特定する方法などが公知である。ここではエッジ強度に基づいて手ぶれの方向を特定する処理の一例について説明し、手ぶれの大きさを特定する方法や、特定された手ぶれの方向と手ぶれの大きさとに基づいてぶれを補正する処理については公知であるため説明を省略する。
【００４６】
図４は、手ぶれの方向を特定する処理の流れを示すフローチャートである。
Ｓ２０５では、制御部３７は、ディジタル画像の濃度に対して水平方向及び垂直方向のソーベルエッジ検出オペレータを適用し、水平方向のエッジ勾配を表すエッジ画像Ｇｘ（ｘ，ｙ）と、垂直方向のエッジ勾配を表すエッジ画像Ｇｙ（ｘ，ｙ）とを作成する。
【００４７】
Ｓ２１０では、制御部３７は、ディジタル画像上に図５（Ａ）に示すように半円６０を設定し、設定した半円６０を等角度に区切って複数の領域に分割する。
Ｓ２１５では、制御部３７は、次式により各角度方向θｎについて、［θｎ、θｎ＋１］の範囲を領域ｎとし、領域ｎのエッジ強度Ｅ（ｎ）を求める。
【００４８】
【数５】
2006211334.tif 000007
・・・  （３）
【００４９】
式（３）から明らかなように、エッジ強度Ｅ（ｎ）は、角度方向θｎのエッジ勾配の総和として計算される。
Ｓ２２０では、制御部３７は、各領域ｎについて求めたエッジ強度Ｅ（ｎ）の平均値である平均エッジ強度Ｅ（ｖａｒ）を求める。
【００５０】
Ｓ２２５では、制御部３７は、各角度方向θｎについて、図５（Ａ）の斜線で示すように［θｎ、θｎ＋π／２］の範囲を第一領域Ｒ１（ｎ）とし、第一領域Ｒ１（ｎ）に含まれる領域の平均エッジ強度ＥR1（ｎ）を求める。
Ｓ２３０では、制御部３７は、各角度方向θｎについて、第一領域Ｒ１（ｎ）以外の第二領域Ｒ２（ｎ）に含まれる領域の平均エッジ強度ＥR2（ｎ）を求める。図５（Ａ）では網掛けされていない領域が第二領域Ｒ２（ｎ）である。
【００５１】
Ｓ２３５では、制御部３７は、各角度方向θｎについて、平均エッジ強度ＥR1（ｎ）と平均エッジ強度Ｅ（ｖａｒ）との差の絶対値（偏差）と、平均エッジ強度ＥR2（ｎ）と平均エッジ強度Ｅ（ｖａｒ）との差の絶対値（偏差）とを合計し、角度方向θｎにおける合計値ＤＥＶ（ｎ）を求める。
Ｓ２４０では、制御部３７は、各角度方向θｎについて求めた合計値ＤＥＶ（ｎ）のうち、最大の合計値ＤＥＶ（ｍａｘ）に対応する角度方向θｍａｘについて、平均エッジ強度ＥR1（ｍａｘ）と平均エッジ強度ＥR2（ｍａｘ）とを比較し、平均エッジ強度が小さい方の領域を二等分する方向を手ぶれの方向として特定する。平均エッジ強度ＥR1（ｍａｘ）の方が小さい場合、図５（Ｂ）に示す方向Ｘが手ぶれの方向となり、平均エッジ強度ＥR2（ｍａｘ）の方が小さい場合、図５（Ｂ）に示す方向Ｙが手ぶれの方向となる。以上により手ぶれの方向が特定される。
【００５２】
図１に示す後補正段階としてのＳ１１５では、制御部３７は、幾何補正モジュール５４を実行し、レンズ１０の歪曲収差特性に基づいてカラー画像情報が表すディジタル画像の歪みを補正する。Ｓ１１５は特許請求の範囲に記載の「幾何補正段階」にも相当する。以下、幾何補正モジュール５４による補正の一例について説明する。
【００５３】
始めにレンズの歪曲収差特性について説明する。
図６は、歪曲収差特性の一例を表すグラフである。レンズはそれぞれ固有の歪曲収差特性を有している。歪曲収差特性は以下の式（４）に示す歪み率ｆ（ｒ）で表される。
ｆ（ｒ）＝（ｒ′−ｒ）／ｒ  ・・・  （４）
ここでｒ（０≦ｒ≦１）は、歪曲収差補正後のディジタル画像の画素位置（ｘ，ｙ）からレンズの光軸までの正規化した距離であり、以下に示す式（５）によって求められる。
【００５４】
【数６】
2006211334.tif 000008
【００５５】
ｒ′（０≦ｒ≦１）は、歪曲収差補正後のディジタル画像の画素位置（ｘ，ｙ）に対応する、歪曲収差補正前のディジタル画像の画素位置（ｘ′，ｙ′）からレンズの光軸までの正規化した距離である。
【００５６】
以下、上述した歪曲収差特性に基づく歪みの補正について説明する。
始めに、制御部３７は、歪みを補正する前のディジタル画像と同じピクセル数のディジタル画像を生成する。生成されたディジタル画像はこの段階では何の意味も持たず、以降の処理で適切な画素値が設定されることにより、最終的に歪みが補正されたディジタル画像となる。ここで生成したディジタル画像のことを補正後のディジタル画像というものとする。
【００５７】
次に、制御部３７は、補正後のディジタル画像の画素位置（ｘ，ｙ）に対応する補正前のディジタル画像の画素位置（ｘ′，ｙ′）を以下の式（６）、式（７）を用いて算出する。
ｘ′＝ｘ｛１＋ｆ（ｒ）｝  ・・・  （６）
ｙ′＝ｙ｛１＋ｆ（ｒ）｝  ・・・  （７）
【００５８】
次に、制御部３７は、画素位置（ｘ′，ｙ′）の画素値Ｄ′を算出する。ｘ′やｙ′は整数になるとは限らないので、制御部３７は算出した画素位置（ｘ′，ｙ′）の近傍４画素の画素値に基づいて最近傍点法などによる補間演算により画素値Ｄ′を算出する。
次に、制御部３７は、補正後の画素位置（ｘ，ｙ）の画素値Ｄを以下の式（８）を用いて算出する。
Ｄ＝Ｄ′×｛１＋ｆ（ｒ）｝×｛１＋ｒ×ｆ′（ｒ）＋ｆ（ｒ）｝
・・・  （８）
ここで、ｆ′（ｒ）＝Δｆ（ｒ）／Δｒである。
制御部３７は、算出した画素値Ｄを補正後のディジタル画像の画素位置（ｘ，ｙ）の画素値とする。この処理を補正後のディジタル画像の全画素位置について繰り返すことにより、歪みが補正されたディジタル画像が生成される。
【００５９】
なお、上述した例では後補正モジュール５２による補正についてはぶれ補正及び幾何変換のみを説明したが、後補正モジュール５２を実行することによって行われる他の補正は、Ｓ１０５以降の任意の段階で実行してよい。
以上説明した本発明の一実施例に係るＤＳＣ１によると、光量が画像情報に線形に反映されていることを前提とする補正である周辺光量落ち補正は、光量を線形に反映しているＲＡＷデータに対し、ぶれ補正や歪み補正などの他の補正よりも前に行われる。よってＤＳＣ１によると、画像情報に種々の補正を行う場合において、周辺光量落ちに起因するディジタル画像の画質の低下を精度良く補正できる。
【００６０】
更に、ＤＳＣ１によると、ぶれ補正はＳ１０５で周辺光量落ち補正が施された後のまだ歪み補正がされていないカラー画像情報に対して行われる。すなわち、歪み補正よりも前に行われる。よってＤＳＣ１によると、画像情報が表すディジタル画像のぶれ補正と歪み補正とを行う場合において、ぶれを精度良く補正できる。
【００６１】
なお、本実施例では幾何変換としてレンズの歪曲収差に起因する歪みを補正する場合を例に説明したが、幾何変換により、レンズのあおりに起因する歪み（パースペクティブ）を補正するようにしてもよい。
また、本実施例ではディジタルカメラとしてディジタルスチルカメラを例に説明したが、ディジタルビデオカメラやディジタルカメラ付き携帯電話に本発明を適用してもよい。
【００６２】
また、本発明に係る画像処理方法及び画像処理プログラムは、ディジタルカメラで実行してもよいし、パーソナルコンピュータなどで実行してもよい。
【図面の簡単な説明】
【００６３】
【図１】本発明の一実施例に係るフローチャート。
【図２】本発明の一実施例に係るディジタルカメラのブロック図。
【図３】本発明の一実施例に係る画像処理プログラムのブロック図。
【図４】本発明の一実施例に係るフローチャート。
【図５】本発明の一実施例に係る模式図。
【図６】本発明の一実施例に係る模式図。
【図７】（Ａ）は周辺光量落ちの補正前及び補正後、（Ｂ）はぶれの補正前及び補正後、（Ｃ）は歪みの補正前及び補正後の画像を示す模式図。
【符号の説明】
【００６４】
１  ディジタスチルルカメラ（ディジタルカメラ）、１０  レンズ、１４  エリアイメージセンサ、２４  色処理部（前補正手段、後補正手段、ぶれ補正手段、幾何補正手段）、３７  制御部（前補正手段、後補正手段、ぶれ補正手段、幾何補正手段）
【図１】
2006211334.tif 000009
【図２】
2006211334.tif 000010
【図３】
2006211334.tif 000011
【図４】
2006211334.tif 000012
【図５】
2006211334.tif 000013
【図６】
2006211334.tif 000014
【図７】
2006211334.tif 000015