(57)【要約】【課題】動きぼけを迅速に補正できるようにする。【解決手段】  記録部６１に記録された画像データが、再生部６２により再生され、キャプチャ部６３を介して表示部６７に表示される。キャプチャ部６３によりキャプチャされたフレームのうち、入力部６９により指定された補正領域の動きベクトルが、動きベクトル検出部１０１により検出される。動きベクトルは、パラメータ変換部１０２により、パラメータに変換され、記録部６１に対応する画像データとともに記憶される。そのフレームの画像データが、表示部６７に供給され表示されるとき、記憶されているぼけパラメータに基づいて、予測部６５により動きぼけが補正され、表示部６７に表示される。画像のぼけの補正が指示されたとき、記憶されているぼけパラメータを基準とする初期値が演算され、その初期値で補正した画像が表示される。本発明は、デジタルカメラに適用することができる。【選択図】図２
2005328117.tif 000002
【特許請求の範囲】
【請求項１】
画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存手段と、
保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第１の補正データを生成する第１の生成手段と、
前記第１の補正データに基づく第１の画像の表示を制御する第１の表示制御手段と、
前記第１の画像のぼけの補正の指示を判定する判定手段と、
前記第１の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値を設定する初期値設定手段と、
前記初期値に基づいてぼけを補正するように前記元データを補正して第２の補正データを生成する第２の生成手段と、
前記第２の補正データに基づく第２の画像の表示を制御する第２の表示制御手段と、
前記第２の画像を補正するパラメータを取得する取得手段と、
取得された前記パラメータに基づいてぼけを補正するように前記元データを補正して第３の補正データを生成する第３の生成手段と、
前記第３の補正データに基づく第３の画像の表示を制御する第３の表示制御手段と、
前記第３の画像の保存が指令された場合、前記取得手段により取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータを更新する更新手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記初期値設定手段は、複数の前記初期値を設定し、
前記第２の生成手段は、複数の前記初期値に基づいて、複数の前記第２の補正データを生成し、
前記第２の表示制御手段は、複数の前記第２の補正データに基づく複数の前記第２の画像の表示を制御し、
前記画像処理装置は、複数の前記第２の画像の１つを選択する選択手段をさらに備え、
前記取得手段は、選択された前記第２の画像を補正するパラメータを取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記初期値設定手段は、保存されている前記パラメータとの差分の総和、差分の絶対値、または差分の２乗の総和が最小となる値を、前記初期値として設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記初期値設定手段は、前記画像が撮影された月日、曜日、または時刻に基づいて、前記初期値を設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存ステップと、
保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第１の補正データを生成する第１の生成ステップと、
前記第１の補正データに基づく第１の画像の表示を制御する第１の表示制御ステップと、
前記第１の画像のぼけの補正の指示を判定する判定ステップと、
前記第１の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値を設定する初期値設定ステップと、
前記初期値に基づいてぼけを補正するように前記元データを補正して第２の補正データを生成する第２の生成ステップと、
前記第２の補正データに基づく第２の画像の表示を制御する第２の表示制御ステップと、
前記第２の画像を補正するパラメータを取得する取得ステップと、
取得された前記パラメータに基づいてぼけを補正するように前記元データを補正して第３の補正データを生成する第３の生成ステップと、
前記第３の補正データに基づく第３の画像の表示を制御する第３の表示制御ステップと、
前記第３の画像の保存が指令された場合、前記取得ステップにより取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータを更新する更新ステップと
を含むことを特徴とする画像処理方法。
【請求項６】
画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存ステップと、
保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第１の補正データを生成する第１の生成ステップと、
前記第１の補正データに基づく第１の画像の表示を制御する第１の表示制御ステップと、
前記第１の画像のぼけの補正の指示を判定する判定ステップと、
前記第１の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値を設定する初期値設定ステップと、
前記初期値に基づいてぼけを補正するように前記元データを補正して第２の補正データを生成する第２の生成ステップと、
前記第２の補正データに基づく第２の画像の表示を制御する第２の表示制御ステップと、
前記第２の画像を補正するパラメータを取得する取得ステップと、
取得された前記パラメータに基づいてぼけを補正するように前記元データを補正して第３の補正データを生成する第３の生成ステップと、
前記第３の補正データに基づく第３の画像の表示を制御する第３の表示制御ステップと、
前記第３の画像の保存が指令された場合、前記取得ステップにより取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータを更新する更新ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項７】
画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存ステップと、
保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第１の補正データを生成する第１の生成ステップと、
前記第１の補正データに基づく第１の画像の表示を制御する第１の表示制御ステップと、
前記第１の画像のぼけの補正の指示を判定する判定ステップと、
前記第１の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値を設定する初期値設定ステップと、
前記初期値に基づいてぼけを補正するように前記元データを補正して第２の補正データを生成する第２の生成ステップと、
前記第２の補正データに基づく第２の画像の表示を制御する第２の表示制御ステップと、
前記第２の画像を補正するパラメータを取得する取得ステップと、
取得された前記パラメータに基づいてぼけを補正するように前記元データを補正して第３の補正データを生成する第３の生成ステップと、
前記第３の補正データに基づく第３の画像の表示を制御する第３の表示制御ステップと、
前記第３の画像の保存が指令された場合、前記取得ステップにより取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータを更新する更新ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、ぼけた画像を補正し、効率的に保存することができるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
最近、デジタルカメラ（電子カメラ）が普及し、多くのユーザに使用されている。デジタルカメラで撮像された画像データは、メモリに記憶される。この画像データは、電子的かつデジタル的に記録されているため、ユーザは、撮像された画像の明るさや色調を補正することが可能である。画像データは、音声データなどに比べてデータ量が多いため、補正前の画像データと補正後の画像データの両方をメモリに保持しておくことは、メモリを有効に利用する点において、好ましくない。また、補正後の画像データで補正前の画像データを更新し、保存すると、画像を元に戻せなくなる。そこで、補正前の画像データ（未加工データ）と、画質設定のパラメータを対応付けて、メモリに記憶しておくことが知られている（例えば、特許文献１）。
【０００３】
【特許文献１】特開２００１−２５１５５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
撮像した画像の画質を調整するには、比較的面倒な操作が必要となる。このため、デジタルカメラ自体に、画質調整のための機能が備えられていたとしても、一般ユーザは、その機能を利用しないことが多い。特に画像のぼけを補正する場合、パラメータを設定し、補正する処理を何回も繰り返す必要があり、所望の補正画像（ぼけが充分補正された画像）を得るのに時間がかかる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、ユーザが、画像のぼけを比較的容易にかつ迅速に補正できるようにするものである。
【課題を解決するための手段】
【０００６】
請求項１の画像処理装置は、画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存手段と、保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第１の補正データを生成する第１の生成手段と、前記第１の補正データに基づく第１の画像の表示を制御する第１の表示制御手段と、前記第１の画像のぼけの補正の指示を判定する判定手段と、前記第１の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値を設定する初期値設定手段と、前記初期値に基づいてぼけを補正するように前記元データを補正して第２の補正データを生成する第２の生成手段と、前記第２の補正データに基づく第２の画像の表示を制御する第２の表示制御手段と、前記第２の画像を補正するパラメータを取得する取得手段と、取得された前記パラメータに基づいてぼけを補正するように前記元データを補正して第３の補正データを生成する第３の生成手段と、前記第３の補正データに基づく第３の画像の表示を制御する第３の表示制御手段と、前記第３の画像の保存が指令された場合、前記取得手段により取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータを更新する更新手段とを備えることを特徴とする。
【０００７】
前記初期値設定手段は、複数の初期値を設定し、第２の生成手段は、複数の初期値に基づいて、複数の第２の補正データを生成し、第２の表示制御手段は、複数の第２の補正データに基づく複数の第２の画像の表示を制御し、画像処理装置は、複数の第２の画像の１つを選択する選択手段をさらに備え、取得手段は、選択された第２の画像を補正するパラメータを取得するようにすることができる。
【０００８】
前記初期値設定手段は、保存されているパラメータとの差分の総和、差分の絶対値、または差分の２乗の総和が最小となる値を、初期値として設定するようにすることができる。
【０００９】
前記初期値設定手段は、画像が撮影された月日、曜日、または時刻に基づいて、初期値を設定するようにすることができる。
【００１０】
請求項５の画像処理方法は、画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存ステップと、保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第１の補正データを生成する第１の生成ステップと、前記第１の補正データに基づく第１の画像の表示を制御する第１の表示制御ステップと、前記第１の画像のぼけの補正の指示を判定する判定ステップと、前記第１の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値を設定する初期値設定ステップと、前記初期値に基づいてぼけを補正するように前記元データを補正して第２の補正データを生成する第２の生成ステップと、前記第２の補正データに基づく第２の画像の表示を制御する第２の表示制御ステップと、前記第２の画像を補正するパラメータを取得する取得ステップと、取得された前記パラメータに基づいてぼけを補正するように前記元データを補正して第３の補正データを生成する第３の生成ステップと、前記第３の補正データに基づく第３の画像の表示を制御する第３の表示制御ステップと、前記第３の画像の保存が指令された場合、前記取得ステップにより取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータを更新する更新ステップとを含むことを特徴とする。
【００１１】
請求項６の記録媒体のプログラムは、画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存ステップと、保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第１の補正データを生成する第１の生成ステップと、前記第１の補正データに基づく第１の画像の表示を制御する第１の表示制御ステップと、前記第１の画像のぼけの補正の指示を判定する判定ステップと、前記第１の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値を設定する初期値設定ステップと、前記初期値に基づいてぼけを補正するように前記元データを補正して第２の補正データを生成する第２の生成ステップと、前記第２の補正データに基づく第２の画像の表示を制御する第２の表示制御ステップと、前記第２の画像を補正するパラメータを取得する取得ステップと、取得された前記パラメータに基づいてぼけを補正するように前記元データを補正して第３の補正データを生成する第３の生成ステップと、前記第３の補正データに基づく第３の画像の表示を制御する第３の表示制御ステップと、前記第３の画像の保存が指令された場合、前記取得ステップにより取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータを更新する更新ステップとを含むことを特徴とする。
【００１２】
請求項７のプログラムは、画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存ステップと、保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第１の補正データを生成する第１の生成ステップと、前記第１の補正データに基づく第１の画像の表示を制御する第１の表示制御ステップと、前記第１の画像のぼけの補正の指示を判定する判定ステップと、前記第１の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値を設定する初期値設定ステップと、前記初期値に基づいてぼけを補正するように前記元データを補正して第２の補正データを生成する第２の生成ステップと、前記第２の補正データに基づく第２の画像の表示を制御する第２の表示制御ステップと、前記第２の画像を補正するパラメータを取得する取得ステップと、取得された前記パラメータに基づいてぼけを補正するように前記元データを補正して第３の補正データを生成する第３の生成ステップと、前記第３の補正データに基づく第３の画像の表示を制御する第３の表示制御ステップと、前記第３の画像の保存が指令された場合、前記取得ステップにより取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータを更新する更新ステップとをコンピュータに実行させることを特徴とする。
【００１３】
本発明においては、既に保存されているパラメータに基づいて補正された第１の画像が表示された場合に、ぼけの補正が指示されると、初期値が設定される。そして、初期値に基づいて補正された第２の画素が表示され、これを補正するパラメータが取得される。保存が指令された場合、取得されたパラメータにより、既に保存されているパラメータが更新される。
【発明の効果】
【００１４】
本発明によれば、画像のぼけを補正することができる。特に、本発明によれば、画像のぼけを簡単、容易、迅速に補正することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下に本発明の最良の形態を説明するが、開示される発明と実施の形態との対応関係を例示すると、次のようになる。明細書中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００１６】
さらに、この記載は、明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現し、追加される発明の存在を否定するものではない。
【００１７】
請求項１の画像処理装置は、画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存手段（例えば、図６のステップS26の処理を実行する図３の保存部134）と、保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第１の補正データを生成する第１の生成手段（例えば、図４のステップS6の処理を実行する図３の第1の生成部139）と、前記第１の補正データに基づく第１の画像の表示を制御する第１の表示制御手段（例えば、図４のステップS7の処理を実行する図３の第1の表示制御部142）と、前記第１の画像のぼけの補正の指示を判定する判定手段（例えば、図４のステップS10の処理を実行する図３の判定部131）と、前記第１の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値を設定する初期値設定手段（例えば、図５のステップS12の処理を実行する図３の初期値設定部133）と、前記初期値に基づいてぼけを補正するように前記元データを補正して第２の補正データを生成する第２の生成手段（例えば、図５のステップS14の処理を実行する図３の第2の生成部140）と、前記第２の補正データに基づく第２の画像の表示を制御する第２の表示制御手段（例えば、図５のステップS15の処理を実行する図３の第2の表示制御部143）と、前記第２の画像を補正するパラメータを取得する取得手段（例えば、図６のステップS18の処理を実行する図３の取得部137）と、取得された前記パラメータに基づいてぼけを補正するように前記元データを補正して第３の補正データを生成する第３の生成手段（例えば、図６のステップS20の処理を実行する図３の第3の生成部141）と、前記第３の補正データに基づく第３の画像の表示を制御する第３の表示制御手段（例えば、図６のステップS21の処理を実行する図３の第3の表示制御部144）と、前記第３の画像の保存が指令された場合、前記取得手段により取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータを更新する更新手段（例えば、図６のステップS26の処理を実行する図３の更新部135）とを備えることを特徴とする。
【００１８】
前記初期値設定手段は、複数の前記初期値を設定し、前記第２の生成手段は、複数の前記初期値に基づいて、複数の前記第２の補正データを生成し、前記第２の表示制御手段は、複数の前記第２の補正データに基づく複数の前記第２の画像の表示を制御し、前記画像処理装置は、複数の前記第２の画像の１つを選択する選択手段（例えば、図５のステップS16の処理を実行する図３の選択部136）をさらに備え、前記取得手段は、選択された前記第２の画像を補正するパラメータを取得する。
【００１９】
前記初期値設定手段は、保存されているパラメータとの差分の総和、差分の絶対値、または差分の２乗の総和が最小となる値を、初期値として設定する（例えば、図１３のステップS71乃至S74の処理）。
【００２０】
前記初期値設定手段は、画像が撮影された月日、曜日、または時刻に基づいて、初期値を設定する（例えば、図１６のステップS91乃至S95の処理）。
【００２１】
請求項５の画像処理方法、請求項６の記録媒体のプログラム、並びに請求項７のプログラムは、画像の元データと、前記元データに基づく画像を補正するパラメータを、前記元データに対応付けて保存する保存ステップ（例えば、保存時の図６のステップS26）と、保存されている前記元データに基づく画像を表示する場合、対応して保存されている前記パラメータに基づいて、前記画像のぼけを補正するように前記元データを補正して第１の補正データを生成する第１の生成ステップ（例えば、図４のステップS6）と、前記第１の補正データに基づく第１の画像の表示を制御する第１の表示制御ステップ（例えば、図４のステップS7）と、前記第１の画像のぼけの補正の指示を判定する判定ステップ（例えば、図４のステップS10）と、前記第１の画像のぼけの補正が指示された場合、ぼけを補正する前記パラメータの初期値を設定する初期値設定ステップ（例えば、図５のステップS12）と、前記初期値に基づいてぼけを補正するように前記元データを補正して第２の補正データを生成する第２の生成ステップ（例えば、図５のステップS14）と、前記第２の補正データに基づく第２の画像の表示を制御する第２の表示制御ステップ（例えば、図５のステップS15）と、前記第２の画像を補正するパラメータを取得する取得ステップ（例えば、図６のステップS18）と、取得された前記パラメータに基づいてぼけを補正するように前記元データを補正して第３の補正データを生成する第３の生成ステップ（例えば、図６のステップS20）と、前記第３の補正データに基づく第３の画像の表示を制御する第３の表示制御ステップ（例えば、図６のステップS21）と、前記第３の画像の保存が指令された場合、前記取得ステップにより取得された前記パラメータにより、前記元データに対応して保存されている前記パラメータを更新する更新ステップ（例えば、更新時の図６のステップS26）とを含むことを特徴とする。
【００２２】
以下、図を参照して本発明の実施の形態について説明する。
【００２３】
図１は、本発明を適用した画像処理装置の実施の形態の構成例を表している。この画像処理装置１は、例えば、デジタルカメラ（電子カメラ）として構成される。図１において、CPU（Central Processing Unit）２１は、ROM（Read Only Memory）２２に記憶されているプログラム、または記憶部２９からRAM（Random Access Memory）２３にロードされたプログラムに従って各種の処理を実行する。RAM２３にはまた、CPU２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００２４】
CPU２１、ROM２２、およびRAM２３は、バス２４を介して相互に接続されている。このバス２４にはまた、入出力インタフェース２５も接続されている。
【００２５】
入出力インタフェース２５には、CMOS（Complementary Metal-Oxide Semiconductor）、CCD（Charge Coupled Devices）などの撮像装置からなる撮像部２６、キー、スイッチ、ボタンなどよりなる入力部２７、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部２８、ハードディスクなどより構成される記憶部２９、モデムなどより構成される通信部３０が接続されている。通信部３０は、インターネットを含むネットワークを介しての通信処理を行う。
【００２６】
入出力インタフェース２５にはまた、必要に応じてドライブ３１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２９にインストールされる。リムーバブルメディア３２には、画像データ、音声データの他、パラメータのテーブル等も記憶される。
【００２７】
図２は、画像処理装置１の機能的構成例を表している。画像処理装置１は、音声データの処理部も有しているが、説明を簡単にするために、図２では、省略されている。撮像部２６は、制御部７０からの制御に基づいて被写体を撮像し、得られた画像データを記録部６１に供給し、記録させる。被写体を１回だけ撮影すれば、静止画（１フレーム分の画像データ）が記録され、連続的に撮影すれば、動画（連続する複数フレームの画像データ）が記録される。
【００２８】
記録部６１は、記憶部２９あるいはリムーバブルメディア３２に対応し、画像データとその画像データを補正するパラメータとが対応して記録される。再生部６２は、記録部６１に記録された画像データとパラメータとを適宜再生する。キャプチャ部６３は、再生部６２により、記録部６１から再生された動画像の画像データの中から、ユーザが入力部６９を操作して、制御部７０に対してキャプチャを指令したフレームの画像データをキャプチャする。再生された画像が静止画の画像データである場合には、そのフレームの画像データがそのまま取得される。表示部６７は、キャプチャ部６３を介して、再生部６２より供給された画像データを取得し、対応する画像を表示する。
【００２９】
クラス分類部６４は、キャプチャ部６３、制御部７０より供給されたパラメータを、クラスコードに変換し、予測部６５に出力する。
【００３０】
予測部６５は、係数記憶部９１と積和演算部９２とにより構成されている。係数記憶部９１は、予測係数をクラスコードごとに予め記憶している。この予測係数は、多くの動きぼけのある画像と動きぼけのない画像との関係を学習することで、動きぼけのある画像を動きぼけのない画像に変換するのに必要な係数として、予め求められたものである。学習のサンプル数を多くすることで、さまざまな種類の動きぼけの画像を動きぼけのない（動きぼけが補正された）画像に変換することが可能な予測係数が得られる。その原理として、例えば、特開２００１−２５０１１９号公報に開示されているものを用いることができる。その詳細は同公報に開示されているので、その説明は省略するが、この原理においては、動きぼけは、静止した背景の１つの画素の画素値に、移動する物体の移動速度に対応する数（Ｍ個）の画素の画素値を混合（加算）した結果であるとするモデルが考えられる。そこで、そのモデルにおいて、１つの画素の画素値が、Ｍ個の画素の画素値を重み付け加算した値に等しいとした式を解くことで、動きぼけを補正した画像の画素値が求められる。係数記憶部９１は、クラス分類部６４より供給されたクラスコードに対応する予測係数を読み出し、積和演算部９２に供給する。
【００３１】
積和演算部９２は、タップ抽出部６６より供給された予測タップ（予測画素）を、係数記憶部９１に供給された予測係数とともに、予め用意された線形１次結合式に適応することで、動きぼけが補正された画素を演算する。タップ抽出部６６は、クラス分類部６４から供給されたクラスコードに基づいて、キャプチャ部６３より供給された画素データの中から、所定の予測タップを抽出し、積和演算部９２に出力する。
【００３２】
表示部６７は、キャプチャ部６３より供給された画像データ、積和演算部９２より供給された画像データ、または撮像部２６より供給された画像データのいずれか１つを、制御部７０からの制御に基づいて選択し、入力された画像データに基づく画像を表示する。
【００３３】
パラメータ生成部６８は、パラメータ初期値を設定する。このパラメータ生成部６８は、動きベクトル検出部１０１とパラメータ変換部１０２とにより構成されている。
【００３４】
動きベクトル検出部１０１は、キャプチャ部６３より供給されたフレームの一部であって、制御部７０より指定された補正領域（範囲）の動きベクトルを検出し、パラメータ変換部１０２に出力する。この動きベクトルは、座標値で表現されている。パラメータ変換部１０２は、座標値で表現されている動きベクトルを、ベクトルとしてのパラメータに変換する。制御部７０は、パラメータ変換部１０２より入力されたベクトル表現されたパラメータに対して、入力部６９よりユーザにより入力されたオフセット値を加算し、加算して得られたパラメータ（初期値）をクラス分類部６４に出力する。
【００３５】
ユーザは、図１の入力部２７に対応する入力部６９を操作することで、画像のぼけを補正するパラメータとしてのオフセット値（パラメータを補正する値）を入力する他、各部の制御を制御部７０に指令する。制御部７０は、入力部６９からの指令に基づいて各部を制御し、必要なパラメータ、制御情報などを各部に供給する。
【００３６】
図３は、制御部７０のより詳細な機能的構成例を表している。
【００３７】
判定部１３１は、画像処理装置１が編集処理を行う上において必要な各種の判定処理を行う。領域設定部１３２は、ユーザの指令に基づいて補正領域を設定する処理を行う。初期値設定部１３３は、ぼけパラメータの初期値を設定する処理を行う。保存部１３４は、画像データとそれに対応する動きぼけを補正するぼけパラメータを対応付けて、テーブル上に保存する。更新部１３５は、保存部１３４により保存された動きパラメータの更新処理を行う。
【００３８】
選択部１３６は、表示された複数の補正画像のいずれかを選択する処理を行う。取得部１３７は、ユーザより入力されたオフセット値を取得する。補正部１３８は、取得されたオフセット値に基づいて、ぼけパラメータを補正する処理を行う。
【００３９】
第１の生成部１３９は、既に保存されているぼけパラメータに基づいて、動きぼけを補正した補正画像を表示するための補正画像データを生成する。第２の生成部１４０は、初期値として設定されたぼけパラメータに基づいて、動きぼけが補正された補正画像のための補正画像データを生成する。第３の生成部１４１は、ユーザから入力されたオフセット値により補正されたぼけパラメータに基づいて、動きぼけが補正された補正画像のための補正画像データを生成する。
【００４０】
第１の表示制御部１４２は、第１の生成部１３９により生成された補正画像データに対応する画像の表示を制御する。第２の表示制御部１４３は、第１の表示制御部１４２より生成された補正画像データに対応する画像の表示を制御する。第３の表示制御部１４４は、第３の生成部１４１により生成された補正画像データの画像の表示を制御する。
【００４１】
なお、図３の各部は、相互に接続されており、必要に応じて、必要なデータを他の処理部から供給を受けることができる。
【００４２】
次に、画像処理装置１の動作について説明する。ユーザが入力部６９を操作して撮像モードを指令すると、制御部７０は、撮像部２６を制御し、被写体を撮像させる。撮像部２６により撮像された被写体の画像データは、表示部６７に供給され、画像として表示される。ユーザは、この表示を見て被写体を確認することができる。
【００４３】
また、ユーザが表示部６７の画像を見て、記録を指令した場合には、撮像部２６により撮像された画像の画像データが記録部６１に静止画または動画として記録される。
【００４４】
次に、図４乃至図６のフローチャートを参照して、記録部６１に記録された画像データに基づく画像の編集処理について説明する。この処理は、ユーザが入力部６９を操作して、編集モードを指令し、制御部７０に対して編集処理の開始を指令したとき開始される。
【００４５】
ステップＳ１において、再生部６２は、記録部６１に記録されている画像のうち、ユーザにより指定された画像を再生する。すなわち、再生部６２は、記録部６１に記録されている画像データの中から、ユーザにより指定された画像データ（例えば、動画像データ）を再生し、キャプチャ部６３に出力する。キャプチャ部６３は、再生部６２より供給された画像データを表示部６７に出力し、表示させる。これにより、ユーザにより指定された画像であって、記録部６１に記録されている画像データに基づく画像が、動画像として表示される。例えば、この画像処理装置１が、ホームセキュリティシステムの一部を構成するような場合、この画像からユーザは侵入者を確認することができる。
【００４６】
ステップＳ２において、判定部１３１は、キャプチャが指示されたか否かを判定する。すなわち、ユーザは、表示部６７に表示された動画像を見て、確認したい画像が表示されたタイミングにおいて、入力部６９を操作することでキャプチャを指令する。キャプチャが指令されていない場合には、ステップＳ３において、判定部１３１は終了するか否かを判定する。すなわち、ユーザは、編集処理を終了する場合、入力部６９を操作して終了を指令する。終了が指令された場合、編集処理は終了されるが、指令されない場合、処理はステップＳ１に戻り、それ以降の処理が繰り返し実行される。
【００４７】
ステップＳ２において、キャプチャが指令されたと判定された場合、ステップＳ４において、キャプチャ部６３は、静止画をキャプチャする。すなわち、再生部６２から供給される画像のうち、制御部７０からキャプチャが指令されたタイミングにおいて、表示部６７に出力し、表示されているフレームの画像がキャプチャされる。これにより、表示部６７には、キャプチャした静止画が表示されることになる。
【００４８】
ステップＳ５において、判定部１３１は、ぼけパラメータが登録されているか否かを判定する。すなわち、動きぼけを補正する編集処理が過去に一度でも行われたことがある場合、後述する図６のステップＳ２６において、そのぼけパラメータが対応する画像データとともに保存されていることがある。このように、ぼけパラメータが既に登録されている場合には、キャプチャ部６３は、キャプチャされたフレームに対応するぼけパラメータを、再生部６２より供給される再生データの中から読み出し、これをクラス分類部６４に出力する。
【００４９】
ステップＳ６において、第１の生成部１３９は、ぼけパラメータに基づいて動きぼけを補正した補正画像データを生成する処理を実行する。すなわち、第１の生成部１３９は、クラス分類部６４と予測部６５を制御し、補正画像データを生成する処理を実行させる。具体的には、クラス分類部６４は、キャプチャ部６３が、キャプチャしているフレームに対応して記録部６１に記録されているぼけパラメータを取得し、供給してくるので、供給されたぼけパラメータに対応するクラスコードＣの値を次式により演算する。
【００５０】
Ｃ＝（ａ＋Ａ）×Ｎmax＋（ｎ＋Ｎ）            ・・・（１）
【００５１】
上記式（１）におけるａは、指定された領域における動きベクトルのｘ座標成分を表し、ｎは、ｙ座標成分を表す。また、Ａは、ユーザより入力されたオフセット値のｘ座標成分を表し、Ｎは、ｙ座標成分を表す。画像データに対応して保存されているぼけパラメータは、式（１）における（（ａ＋Ａ）,（ｎ＋Ｎ））の値である。従って、クラス分類部６４は、このぼけパラメータ（（ａ＋Ａ）,（ｎ＋Ｎ））の値を上記式（１）に適用して、クラスコードＣを演算する。
【００５２】
式（１）において、Ｎmaxは、ｙ座標成分のクラス総数を意味する。
【００５３】
係数記憶部９１は、クラス分類部６４より供給されたクラスコードＣに対応する予測係数を読み出し、積和演算部９２に出力する。タップ抽出部６６は、キャプチャ部６３より供給されたフレームの画素データから、クラス分類部６４より供給されたクラスコードに対応する予測タップを抽出する。抽出された予測タップは、積和演算部９２に供給される。
【００５４】
積和演算部９２は、予め用意されている線形１次結合式に、予測係数と予測タップを代入し、積和演算することで、ぼけが補正された補正画像データとしての画素データを生成する。
【００５５】
ステップＳ７において、表示部６７は、ステップＳ６で生成された補正画像データに対応する画像を表示する。従って、ユーザは、過去に１度でも動きぼけを補正し、補正画像（パラメータ）を保存したことがある場合には、その補正後の画像を見ることができる。
【００５６】
なお、ステップＳ５において、ぼけパラメータが登録されていないと判定された場合、ステップＳ６の補正画像データ生成処理はスキップされる。従って、この場合には、ステップＳ７において、記録部６１より再生された画像データ（補正されていない元データ）に対応する画像がそのまま表示されることになる。
【００５７】
ステップＳ８において、判定部１３１は、処理を終了するか否かを判定する。ユーザから処理の終了が指示されている場合には、編集処理は終了される。これに対して、終了が指示されていない場合には、ステップＳ９において、判定部１３１は、動画再生するか否かを判定する。すなわち、ユーザは、キャプチャし、表示部６７に表示された画像を確認し、さらに補正する必要がない場合には、入力部６９を操作し、動画再生を指令する。このとき処理はステップＳ１に戻り、制御部７０は、再生部６２を制御して、記録部６１に記録されている画像データを再び再生させる。これにより、表示部６７には、キャプチャしたフレームに続くフレームの画像が動画像として順次表示されることになる。
【００５８】
ステップＳ９において、動画再生が指示されていないと判定された場合、ステップＳ１０において、判定部１３１は、補正が指示されたか否かを判定する。補正が指示されていないと判定された場合には、処理はステップＳ８に戻り、それ以降の処理が繰り返し実行される。
【００５９】
ユーザは、表示部６７に表示されている画像を見て、動きぼけを補正したいと思う場合には、入力部６９を操作してその旨を指令する。そして、さらにユーザは、入力部６９を操作して、表示部６７に表示されている画像のうち、どの領域の動きぼけを補正するのかを指示する。領域設定部１３２は、ステップＳ１１において、ユーザからの指示に基づいて補正領域を設定する。例えば、図７に示されるように、フレームF1乃至フレームF3が順次動画像として表示される場合において、フレームF2が表示されたタイミングにおいて、キャプチャが指令された場合、図８に示されるように、キャプチャされたフレーム画像が静止画像として表示される。ユーザは、この画像を見て、動きぼけを補正したいと思う領域を、入力部６９（入力部２７を構成する、例えばマウス）により指定する。図８の例においては、人物が図中左方向に移動しているので、その人物の画像に動きぼけが発生している。そこで、ユーザは、その人物の画像を含む領域を補正領域１５１として指定する。
【００６０】
ステップＳ１２において、初期値設定部１３３は、初期値設定処理を実行する。すなわち、いまユーザより画像の動きぼけの補正が指示されたのであるが、動きぼけ補正のパラメータを、無設定の状態からユーザに入力させると、動きぼけを完全に補正した画像を実現するのに時間がかかることになる。そこで、これから補正する画像の補正の候補をユーザに呈示し、その呈示された補正候補の画像の中から、所望の画像をユーザに選択させることで、迅速な補正処理を実現可能にする。ユーザは、選択した候補画像を、必要に応じてさらに補正する。
【００６１】
そこで、ステップＳ１２の初期値設定処理では、例えば、図９のフローチャートに示されるように、２つの動きベクトルが検出され、対応するぼけパラメータが生成される。
【００６２】
すなわち、ステップＳ５１において、動きベクトル検出部１０１は、２つの動きベクトルを検出する。この動きベクトルとしては、ぼけパラメータがまだ保存されていない場合には、設定された補正領域１５１の画素毎の動きベクトルの中から、各動きベクトルの方向と絶対値を比較し、両者が等しい動きベクトルを同じ動きベクトルとして、最も頻度の大きい２つの動きベクトルが検出される。既にぼけパラメータが保存されている場合には、保存されているパラメータ（（ａ＋Ａ）,（ｎ＋Ｎ））のうちの、（ａ，ｎ）で表される動きベクトル以外の値が検出される。例えば、既に保存されている動きベクトルの値（ａ，ｎ）が、最も頻度の多い動きベクトルに対応している場合には、第２番目と第３番目の頻度の動きベクトルが検出される。すなわち、既に保存されている動きベクトルの値が、最も頻度が高い動きベクトルであったとしても、ユーザが求める動きぼけの補正量は、その動きベクトルに対応していないのであるから、頻度しては２番目、３番目であっても、ユーザが求める動きぼけを補正するための動きベクトルとしては、その方がより好ましいと考えられる。換言すれば、その方が、より迅速に、ユーザが求める動きぼけ補正処理を完了させることが可能となるからである。
【００６３】
ステップＳ５２において、パラメータ変換部１０２は、ステップＳ５１で検出された第１の動きベクトルを第１のぼけパラメータに変換する。そして、ステップＳ５３において、パラメータ変換部１０２は、ステップＳ５１で検出された他の１つの第２の動きベクトルを、第２のぼけパラメータに変換する。
【００６４】
このようにして、２つのぼけパラメータが生成されると、初期値設定部１３３は、この２つのぼけパラメータを、クラス分類部６４とタップ抽出部６６に供給する。
【００６５】
図５に戻り、ステップＳ１３において、クラス分類部６４は、制御部７０の初期値設定部１３３より供給された初期値として設定されたぼけパラメータに基づいてクラス分類する。すなわち、この処理により、２つのクラスコードが得られる。ステップＳ１４において、第２の生成部１４０は、ぼけパラメータに基づいて、動きぼけを補正した補正画像データを生成する。すなわち、第２の生成部１４０は、予測部６５を制御し、補正画像データを生成させる。具体的には、係数記憶部９１は、クラス分類部６４より供給された２つのクラスコードに対応する２組の予測係数を演算し、積和演算部９２に出力する。また、タップ抽出部６６は、入力された２組のクラスコードに対応する２組の予測タップを、キャプチャされているフレームの画素データの中から抽出し、積和演算部９２に出力する。積和演算部９２は、第１の予測係数と第１の予測タップを線形１次結合式に適用することで、第１の補正画像データを生成し、第２の予測係数と第２の予測タップを線形１次結合式に適用することで、第２の補正画像データを生成する。
【００６６】
ステップＳ１５において、第２の表示制御部１４３は、ステップＳ１４の処理で生成された補正画像データの補正画像を表示する処理を実行する。すなわち、表示部６７は、第２の表示制御部１４３により制御され、積和演算部９２により供給された第１の補正画像に基づく画像と、第２の補正画像に基づく画像とを、画面上の、例えば左側半分と右側半分に同時に表示させる。あるいはまた、第１の補正画像を画面の全体に表示させ、それが所定時間表示された後、それに代えて第２の補正画像を表示させるようにしてもよい。すなわち、空間を分割するか、または時間を分割することで、複数（いまの場合、２枚の画像）が表示される。
【００６７】
ステップＳ１６において、選択部１３６は、補正画像を選択する処理を実行する。具体的には、ユーザは、表示された２つの補正画像の一方を、入力部６９を操作することで選択する。これにより、既にパラメータが保存されている場合には、その保存されているパラメータを基準として、それと異なるパラメータが初期値として生成され、それに対応してぼけを補正した画像が自動的に（ユーザの操作によらずに）生成されるので、ユーザは、より迅速に動きぼけを補正した補正画像を得ることができる。
【００６８】
次に、ステップＳ１７において、判定部１３１は、ユーザより補正が指示されたか否かを判定する。すなわち、ユーザは、選択した補正画像を見て、自分自身が希望する状態に動きぼけが充分補正されているか否かを判断し、充分補正がなされていると判断した場合には、補正を指示せずに登録を指示する。この場合には、ステップＳ１７において、補正が指示されていないと判定され、ステップＳ２２において、判定部１３１により登録が指示されたと判定される。この場合、ステップＳ２６において、保存部１３４は、ぼけパラメータとキャプチャした静止画の画像データとを対応付けて保存する。
【００６９】
以上の処理が行われた場合には、ユーザは、実質的にぼけパラメータを自ら指定せずに、初期値により設定された値だけで実現することができるため、迅速な編集処理が可能となる。
【００７０】
これに対して、初期値に基づく補正画像を見て、さらに補正が必要であると判定した場合、ユーザは入力部６９を操作して補正を指示する。そして、ユーザは、さらに入力部６９を操作することにより、補正画像をさらに補正するためのオフセット値を入力する。
【００７１】
そこで、ステップＳ１７において、判定部１３１により補正が指示されていないと判定された場合、ステップＳ１８において、取得部１３７は、ユーザより入力されたオフセット値を取得する。具体的には、図１０に示されるように、左上の点Ｐ１（Ｘ１，Ｙ１）と右下の点Ｐ２（Ｘ２，Ｙ２）で表される補正領域１５１の中の動きベクトル１５２が、ｘ成分としての値ａと、ｙ成分としての値ｎのベクトル（ａ，ｎ）で表されている場合、オフセット値（オフセットパラメータ）は、この動きベクトル１５２の原点Ｑ（Ａ，Ｎ）を指定することで指定される。
【００７２】
ステップＳ１９において、補正部１３８は、ぼけパラメータを補正する処理を実行する。具体的には、既に得られている動きベクトル（ａ，ｎ）に、ステップＳ１８で取得されたオフセット値（Ａ，Ｎ）を加算することで、ぼけパラメータ（（ａ＋Ａ）,（ｎ＋Ｎ））が生成される。
【００７３】
ステップＳ２０において、第３の生成部１４１は、ステップＳ１９の処理で補正されたぼけパラメータに基づいて、補正画像データを生成する処理を実行する。すなわち、第３の生成部１４１は、補正後のぼけパラメータ（（ａ＋Ａ）,（ｎ＋Ｎ））をクラス分類部６４とタップ抽出部６６に供給する。クラス分類部６４は、入力されたぼけパラメータ（（ａ＋Ａ）,（ｎ＋Ｎ））に対応するクラスコードを係数記憶部９１とタップ抽出部６６に出力する。係数記憶部９１は、入力されたクラスコードに対応する予測係数を読み出し、積和演算部９２に出力する。タップ抽出部６６は、入力されたクラスコードに対応するクラスタップを、キャプチャ部６３より供給されるキャプチャされているフレームの画素データから抽出し、その予測タップを積和演算部９２に出力する。積和演算部９２は、入力された予測係数と予測タップとを線形１次結合式に代入して、動きぼけが補正された補正画像の補正画像データを生成する。
【００７４】
ステップＳ２１において、第３の表示制御部１４４は、補正画像を表示する。すなわち、第３の表示制御部１４４は、ステップＳ２０の処理で生成された補正画像データを、積和演算部９２から表示部６７に供給させ、補正画像として表示させる。
【００７５】
ユーザは、この補正画像を見て、動きぼけが充分補正されているか否かを判断し、さらに補正が必要であると判断した場合には、入力部６９を操作して、さらなる補正を指示する。この場合、ステップＳ２２において、判定部１３１は、登録が指示されていないと判定し、ステップＳ２３において、補正が指示されたと判定する。このため、処理は再びステップＳ１８に戻り、オフセット値取得処理が実行される。すなわち、ユーザは、再び入力部６９を操作することで、新たなオフセット値（Ａ，Ｎ）を入力する。そして、新たなオフセット値に基づいた補正画像生成処理が、上述した場合と同様に実行され、それに基づく補正画像が、表示部６７に出力され、表示される。
【００７６】
ステップＳ２３において、補正が指示されていないと判定された場合、ステップＳ２４において、判定部１３１は、ユーザからの指示に基づいて、処理を終了するか否かを判定する。すなわち、ユーザは処理を終了する場合には、入力部６９を操作してその旨を指令する。ステップＳ２４において、処理の終了が指示されていないと判定された場合、ステップＳ２５において、判定部１３１は、ユーザの指示に基づいて動画再生するか否かを判定する。すなわち、ユーザは、補正画像を見て登録する必要がないと判定した場合には、登録を指示せずに、動画再生を入力部６９を操作することで指示する。動画再生が指示された場合には、処理はステップＳ１に戻り、それ以降の処理が繰り返し実行される。
【００７７】
ステップＳ２５において、動画再生が指示されていないと判定された場合、判定部１３１は、ステップＳ２２において、登録が指示されたか否かを判定する。登録が指示されていないと判定された場合には、処理はステップＳ２３に戻り、それ以降の処理が繰り返し実行される。
【００７８】
ユーザは、補正画像を見て、登録すると判断した場合には、入力部６９を操作することで登録を指示する。このとき、更新部１３５は、ステップＳ２６において、ぼけパラメータとキャプチャした静止画の画像データとを、対応付けて保存する処理を実行する。すなわち、ぼけパラメータが既に保存されている場合には、そのぼけパラメータが、新たなぼけパラメータに更新される。画像データそのもの（元データ）は更新されない。従って、必要以上に画像データが増加することが防止される。
【００７９】
ステップＳ２６の処理の後、処理はステップＳ２３に戻り、それ以降の処理が繰り返し実行される。
【００８０】
以上のように、この実施の形態においては、既に保存されているぼけパラメータに基づく補正がなされた画像が表示され、さらにそれとは異なるパラメータが初期値として設定され、それに基づく補正画像が表示されるので、ユーザはその補正画像から、必要に応じてさらに補正すればよく、補正処理が簡単となり、迅速な補正が可能となる。
【００８１】
また、ぼけパラメータとしての初期値を、既に保存されているぼけパラメータとは異なるが、それと同じ基準で設定された値に設定するようにしたので、オフセット値を入力する回数を少なくすることができ、より少ない補正回数で、動きぼけを充分補正した画像を得ることが可能となる。
【００８２】
以上においては、動きぼけに対応する動きベクトルに基づいて、ぼけパラメータの初期値を設定するようにしたが、既に保存されているぼけパラメータを基準として、他の方法により初期値を設定することも可能である。
【００８３】
例えば、記録部６１には、図１１に示されるように、ぼけパラメータとそれに対応する画像データを識別する番号が、テーブル上に対応付けて記憶されているものとする。この例においては、コンテンツを識別するコンテンツID、そのコンテンツIDで特定されるコンテンツのフレームを特定するフレーム番号、そのフレームに対応するぼけパラメータ、並びにそのフレーム（コンテンツ）を撮像した日時が、対応付けて記録されている。具体的には、コンテンツID「001」に関しては、そのフレーム番号「125」に対してぼけパラメータ「P1」が、フレーム番号「160」に対してぼけパラメータ「P2」が、それぞれ記録されている。そして、このコンテンツIDのコンテンツは、「2003年10月22日」に撮像されたものとされている。
【００８４】
さらに、コンテンツIDが「002」のコンテンツのフレーム番号「295」に対しては、ぼけパラメータ「P21」が記録されている。このコンテンツの撮影日時は「2003年11月15日」とされている。同様に、「003」のコンテンツIDの「330」のフレーム番号のフレームに対しては、「P31」のぼけパラメータが記録されている。このコンテンツの撮影日時は、「2003年12月26日」とされている。
【００８５】
図１２は、図１１に示されるように予め登録されているぼけパラメータに基づいて、初期値設定を行う場合における初期値設定部１３３の機能的構成例を表している。同図に示されるように、初期値設定部１３３は、検出部２０１、重み付け部２０２、最小値計算部２０３、および設定部２０４により構成されている。
【００８６】
検出部２０１は、記録部６１から再生部６２により再生されたテーブル上のデータから、既に保存されているぼけパラメータを検出する。重み付け部２０２は、検出部２０１により検出されたぼけパラメータに対して、重み付けを行う。最小値計算部２０３は、重み付けされたパラメータとの差の総和が最小となる値を計算する。設定部２０４は、最小値計算部２０３で計算された最小値を初期値として設定し、クラス分類部６４とタップ抽出部６６に出力する処理を行う。
【００８７】
次に、図１３のフローチャートを参照して、保存されている動きパラメータに基づいて初期値を設定する場合の処理について説明する。
【００８８】
ステップＳ７１において、検出部２０１は、ぼけパラメータを検出する。具体的には、図１１に示されるように、テーブル上に記録されているぼけパラメータP1，P2，P21，P31，・・・が検出される。ステップＳ７２において、重み付け部２０２は、ステップＳ７１の処理で検出部２０１により検出されたぼけパラメータを重み付けする処理を実行する。この重み付けの係数は任意であるが、例えば、その総和が１となるように設定される。
【００８９】
ステップＳ７３において、最小値計算部２０３は、重み付けしたぼけパラメータとの差の総和が最小となる値を計算する。すなわち、ステップＳ７２において、重み付けされたぼけパラメータとの差の総和が最小となる値がここで算出される。ステップＳ７４において、設定部２０４は、計算した値を初期値とする処理を実行する。すなわち、ステップＳ７３の処理で計算されたぼけパラメータの値が、初期値として設定される。
【００９０】
以上のようにして、設定部２０４により、設定された初期値が、クラス分類部６４に供給され、上述したようにして、クラスコードに変換され、係数記憶部９１により対応する予測係数に変換される。タップ抽出部６６は、初期値に基づいて抽出した予測タップを積和演算部９２に出力する。積和演算部９２により予測タップと予測係数との積和演算処理が行われ、表示部６７に、この初期値として設定されたぼけパラメータ（保存されているぼけパラメータに重み付けして生成されたぼけパラメータ）に基づく補正画像が表示される。
【００９１】
そして、この補正画像に対して、上述したように、必要に応じてさらにオフセット値が加算され、それに基づいて補正が行われる。
【００９２】
なお、この実施の形態の場合、初期値に基づいて表示される補正画像は１つであるため、図５のステップＳ１６の処理は、実質的にはスルーされる。
【００９３】
もちろん、この場合にも、２つ以上の初期値を設定し、複数の補正画像を表示させるようにしてもよい。
【００９４】
図１３の処理では、全てのぼけパラメータを利用するようにしたが、より近似した撮影条件のぼけパラメータだけを基準として初期値を設定することも可能である。この場合、テーブルには、図１４に示されるように、日時の情報として、年月日だけではなく、曜日と時刻も各フレームに対応して記憶される。図１４の例においては、コンテンツID「001」のフレーム番号「125」の撮影年月日は「2003年10月22日」であり、曜日は「水曜日」とされている。そして、その撮影時刻は「10時05分03秒」とされ、フレーム「185」の撮影時刻は「10時05分05秒」とされている。コンテンツID「002」の日時情報は、「2003年11月15日」、「土曜日」、「15時23分03秒」とされている。コンテンツID「003」の日時情報は、「2003年12月26日」、「金曜日」、「19時55分25秒」とされている。
【００９５】
この場合、初期値設定部１３３は、図１５に示されるように、検出部２５１、第１の検索部２５２、第２の検索部２５３、第３の検索部２５４、および設定部２５５により構成される。
【００９６】
検出部２５１は、記録部６１に記録されている画像データの撮影日時を検出する。第１の検索部２５２は、キャプチャフレームの撮影時刻に最も近い時刻に撮影されているフレームを検索する。第２の検索部２５３は、キャプチャフレームの撮影日に最も近い曜日のフレームを検索する。第３の検索部２５４は、キャプチャフレームの撮影年月日に最も近い年月日に撮影されたフレームを検索する。設定部２５５は、検索されたフレームのぼけパラメータを初期値として設定し、クラス分類部６４とタップ抽出部６６に出力する処理を行う。
【００９７】
次に図１６のフローチャートを参照して、その動作について説明する。ステップＳ９１において、検出部２５１は、キャプチャフレームの撮影年月日、曜日、時刻を検出する。これらの日時情報も、テーブル上に予め記憶されている（但し、まだ編集処理していないので、ぼけパラメータは登録されていない）。
【００９８】
ステップＳ９２において、第１の検索部２５２は、ステップＳ９１の処理で検出された、キャプチャフレームの撮影時刻に最も近い時刻に撮影され、かつ、ぼけパラメータが記憶されているフレームを検索する。例えば、キャプチャフレームが、「19時50分03秒」に撮影された画像である場合、その時刻に近い時刻に撮影されたフレームであって、ぼけパラメータが記憶されているフレームが検索される。ステップＳ９３において、第２の検索部２５３は、キャプチャフレームの撮影日と同じ曜日か最も近い曜日に撮影され、かつ、ぼけパラメータが記憶されているフレームを検索する。例えば、キャプチャフレームが「土曜日」に撮影された場合、「土曜日」に最も近い曜日に撮影され、かつ、ぼけパラメータが記憶されているフレームが検索される。
【００９９】
ステップＳ９４において、第３の検索部２５４は、キャプチャフレームの撮影年月日と同じか最も近い年月日に撮影され、かつ、ぼけパラメータが記憶されているフレームを検索する。例えば、キャプチャフレームの撮影年月日が、「2003年11月15日」である場合、「2003年11月15日」に最も近い年月日に撮影され、かつ、ぼけパラメータが記憶されているフレームが検索される。
【０１００】
ステップＳ９５において、設定部２５５は、検索された１つのフレームのぼけパラメータを初期値として設定する。具体的には、ステップＳ９２乃至ステップＳ９４の処理で検索されたフレームの中から、最も誤差の少ないものが１つ選択され、そのフレームのぼけパラメータが初期値とされる。この場合において、例えば、撮影時刻が３時間以上離れている場合には、撮影時刻に最も近い時刻に撮影された他のフレームが存在しないと判定し、曜日でフレームを検索するようにしてもよい。また、例えば、曜日が３日以上離れている場合には、最も近い曜日のフレームが検索されなかったとして、撮影年月日で検索するようにしてもよい。
【０１０１】
以上のようにして、設定されたフレームの初期値が、クラス分類部６４とタップ抽出部６６に供給され、上述した場合と同様にして、初期値に基づく補正画像として表示部６７に表示される。
【０１０２】
なお、上記した動きぼけには、被写体の移動による動きぼけだけでなく、手ぶれによる動きぼけも含まれる。手ぶれによる場合は、動きぼけがフレーム（画面）の全体にわたって発生するので、補正領域が画面の全体とされる。また、パラメータとしては、各種のものを、各種の形式で用いることが可能である。例えば、動きベクトルに対応するパラメータは、動きベクトルの角度と大きさで表されるようにしてもよい。
【０１０３】
以上、本発明は動きぼけを補正する場合について説明したが、本発明は、動きぼけだけではなく、フォーカスぼけを補正する場合にも、適用することが可能である。この場合には、係数記憶部９１には、フォーカスぼけを補正するのに必要な予測係数が学習され、記憶されることになる。そして、この場合、パラメータ生成部６８は実質的に不要となる。フォーカスぼけを補正する場合には、フォーカスぼけは、σ値を有するガウシアン分布に従って、１つの画素の画素値に、周辺の複数の画素の画素値を混合（加算）した結果であるとするモデルが考えられる。そして、多くのフォーカスぼけの画像とフォーカスぼけしていない画像との関係を学習することで、フォーカスぼけの画像から、それを補正した画像を得るための予測係数が得られる。ユーザは、フォーカスぼけを補正するとき、σ値をパラメータとして設定する。この場合、クラスコードＣは、例えば、次のように演算される（従って、この場合、クラス分類部６４に画像データが供給される）。
【０１０４】
Ｃ＝σ×ADRCmax＋ ADRC              ・・・（２）
【０１０５】
上記式におけるADRCは、所定のブロック内の画素を閾値（そのブロック内のダイナミックレンジと最小値とで規定される）と比較した結果を表す値であり、ADRCmaxは、そのADRC処理によるクラスコードの総数を表す。
【０１０６】
さらにまた、係数記憶部９１に動きぼけを補正するためのぼけパラメータと、フォーカスぼけを補正するためのぼけパラメータの両方を記憶しておくことも可能である。そして、初期値として、動きぼけを補正するぼけパラメータに基づいて補正した補正画像と、フォーカスぼけを補正するぼけパラメータを用いて、補正した補正画像を表示部６７に表示し、ユーザに選択させるようにしてもよい。このようにすれば、ユーザが、動きぼけとフォーカスぼけのいずれが原因で画像がぼけているのかを正確に認識することができなくても、迅速にぼけ画像を補正することが可能となる。
【０１０７】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１０８】
この記録媒体は、図１に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア３２により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２や、記憶部２９に含まれるハードディスクなどで構成される。
【０１０９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【産業上の利用可能性】
【０１１１】
本発明は、デジタルカメラに適用することが可能である。
【図面の簡単な説明】
【０１１２】
【図１】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図２】図１の画像処理装置の機能的構成例を示すブロック図である。
【図３】図２の制御部の機能的構成例を示すブロック図である。
【図４】編集処理を説明するフローチャートである。
【図５】編集処理を説明するフローチャートである。
【図６】編集処理を説明するフローチャートである。
【図７】動画の例を示す図である。
【図８】キャプチャ画像を示す図である。
【図９】初期値設定処理を説明するフローチャートである。
【図１０】動きぼけに対応するパラメータを説明する図である。
【図１１】テーブルの例を示す図である。
【図１２】初期値設定部の機能的構成例を示すブロック図である。
【図１３】初期値設定処理を説明するフローチャートである。
【図１４】テーブルの構成例を示す図である。
【図１５】初期値設定部の他の機能的構成例を示すブロック図である。
【図１６】初期値設定処理を示すフローチャートである。
【符号の説明】
【０１１３】
１  画像処理装置，  ６１  記録部，  ６２  再生部，  ６３  キャプチャ部，  ６４  クラス分類部，  ６５  予測部，  ６６  タップ抽出部，  ６７  表示部，  ６８  パラメータ生成部，  ６９  入力部，  ７０  制御部，  ９１  係数記憶部，  ９２  積和演算部，  １０１  動きベクトル検出部，  １０２  パラメータ変換部，  １３１  判定部，  １３２  領域設定部，  １３３  初期値設定部，  １３４  保存部，  １３５  更新部，  １３６  選択部，  １３７  取得部，  １３８  補正部，  １３９  第１の生成部，  １４０  第２の生成部，  １４１  第３の生成部，  １４２  第１の表示制御部，  １４３  第２の表示制御部，  １４４  第３の表示制御部
【図１】
2005328117.tif 000003
【図２】
2005328117.tif 000004
【図３】
2005328117.tif 000005
【図４】
2005328117.tif 000006
【図５】
2005328117.tif 000007
【図６】
2005328117.tif 000008
【図７】
2005328117.tif 000009
【図８】
2005328117.tif 000010
【図９】
2005328117.tif 000011
【図１０】
2005328117.tif 000012
【図１１】
2005328117.tif 000013
【図１２】
2005328117.tif 000014
【図１３】
2005328117.tif 000015
【図１４】
2005328117.tif 000016
【図１５】
2005328117.tif 000017
【図１６】
2005328117.tif 000018