(57)【要約】【課題】正確に画像のぼけを修正することができるようにする。【解決手段】ぼけ付加部１１は、ぼけモデルのぼけデータに基づいて親画像データにぼけを付加して生徒画像データを生成する。タップ構築部１７は、生徒画像データから画像予測タップを構築する。予測係数演算部１８は、親画像データと画像予測タップに基づいて、生徒画像データに対応する画像データから、親画像データに対応する画像データを生成するための予測係数を演算する。本発明は、画像処理装置に適用することができる。【選択図】図３
2008109640.tif 000002
【特許請求の範囲】
【請求項１】
ぼけモデルのぼけデータに基づいて親画像データにぼけを付加して生徒画像データを生成するぼけ付加手段と、
前記生徒画像データから画像予測タップを構築する画像予測タップ構築手段と、
前記親画像データと前記画像予測タップに基づいて、前記生徒画像データに対応する画像データから、前記親画像データに対応する画像データを生成するための予測係数を演算する予測係数演算手段と
を備える予測係数演算装置。
【請求項２】
前記生徒画像データから画像クラスタップを構築する画像クラスタップ構築手段と、
前記ぼけデータからぼけデータクラスタップを構築するぼけデータクラスタップ構築手段と、
前記画像クラスタップと前記ぼけデータクラスタップに基づいて、前記生徒画像データのクラスを分類するクラス分類手段と
をさらに備え、
前記予測係数演算手段は、さらに分類された前記クラス毎に、前記予測係数を演算する
請求項１に記載の予測係数演算装置。
【請求項３】
前記ぼけ付加手段は、ユーザにより指定されたぼけパラメータに従った特性で、前記親画像データにぼけを付加し、
前記予測係数演算手段は、さらに前記ぼけパラメータ毎に前記予測係数を演算する
請求項２に記載の予測係数演算装置。
【請求項４】
ユーザにより指定されたノイズパラメータに従った特性で、前記ぼけデータにノイズを付加するぼけノイズ付加手段をさらに備え、
前記ぼけ付加手段は、ノイズが付加された前記ぼけデータに基づいて前記親画像データにぼけを付加し、
前記ぼけデータクラスタップ構築手段は、ノイズが付加された前記ぼけデータから前記ぼけデータクラスタップを構築し、
前記予測係数演算手段は、さらに前記ぼけパラメータ毎に前記予測係数を演算する
請求項３に記載の予測係数演算装置。
【請求項５】
ユーザにより指定されたスケーリングパラメータに基づいて、前記ぼけデータをスケーリングするぼけデータスケーリング手段をさらに備え、
前記ぼけノイズ付加手段は、スケーリングされた前記ぼけデータにノイズを付加し、
前記予測係数演算手段は、さらに前記スケーリングパラメータ毎に前記予測係数を演算する
請求項４に記載の予測係数演算装置。
【請求項６】
ユーザにより指定された画像ノイズパラメータに従った特性で、前記生徒画像データにノイズを付加する画像ノイズ付加手段をさらに備え、
前記画像クラスタップ構築手段は、ノイズが付加された前記生徒画像データから前記画像クラスタップを構築し、
前記画像予測タップ構築手段は、ノイズが付加された前記生徒画像データから前記画像予測タップを構築し、
前記予測係数演算手段は、さらに前記画像ノイズパラメータ毎に前記予測係数を演算する
請求項４に記載の予測係数演算装置。
【請求項７】
ユーザにより指定されたスケーリングパラメータに基づいて、前記生徒画像データをスケーリングする画像スケーリング手段をさらに備え、
前記画像ノイズ付加手段は、スケーリングされた前記生徒画像データにノイズを付加し、
前記予測係数演算手段は、さらに前記スケーリングパラメータ毎に前記予測係数を演算する
請求項６に記載の予測係数演算装置。
【請求項８】
前記ぼけデータからぼけデータ予測タップを構築するぼけデータ予測タップ構築手段をさらに備え、
前記予測係数演算手段は、前記親画像データ、前記画像予測タップ、および前記ぼけデータ予測タップに基づいて、分類された前記クラス毎に、前記生徒画像データに対応する画像データを生成するための予測係数を演算する
請求項２に記載の予測係数演算装置。
【請求項９】
前記ぼけデータは、ノイズを付加するデータである
請求項２に記載の予測係数演算装置。
【請求項１０】
予測係数を演算する予測係数演算装置の予測係数演算方法において、
ぼけ付加手段が、ぼけモデルのぼけデータに基づいて親画像データにぼけを付加して生徒画像データを生成し、
予測係数演算手段が、前記親画像データと前記画像予測タップに基づいて、前記生徒画像データに対応する画像データから、前記親画像データに対応する画像データを生成するための予測係数を演算する
予測係数演算方法。
【請求項１１】
ぼけモデルのぼけデータに基づいて親画像データにぼけを付加して生徒画像データを生成するぼけ付加ステップと、
前記生徒画像データから画像予測タップを構築する画像予測タップ構築ステップと、
前記親画像データと前記画像予測タップに基づいて、前記生徒画像データに対応する画像データから、前記親画像データに対応する画像データを生成するための予測係数を演算する予測係数演算ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項１２】
請求項１１に記載のプログラムが記録されている記録媒体。
【請求項１３】
ユーザにより指定されたパラメータであって、画像データのぼけに関するパラメータに対応する予測係数を提供する予測係数提供手段と、
前記画像データから画像予測タップを構築する画像予測タップ構築手段と、
前記画像予測タップと、提供された前記予測係数とを予測演算式に適用してぼけを修正した画像データを演算する画像データ演算手段と
を備える画像データ演算装置。
【請求項１４】
前記画像データから画像クラスタップを構築する画像クラスタップ構築手段と、
ぼけデータからぼけデータクラスタップを構築するぼけデータクラスタップ構築手段と、
前記画像クラスタップと前記ぼけデータクラスタップに基づいて、前記画像データのクラスを分類するクラス分類手段と
をさらに備え、
前記予測係数提供手段は、さらに分類された前記クラスに対応する前記予測係数を提供する
請求項１３に記載の画像データ演算装置。
【請求項１５】
前記予測係数提供手段は、ぼけの特性を規定するぼけパラメータ、前記画像データに含まれるノイズに基づくクラスを規定するパラメータ、前記ぼけデータに含まれるノイズに基づくクラスを規定するパラメータ、または動き情報に基づいて、前記予測係数を提供する
請求項１４に記載の画像データ演算装置。
【請求項１６】
前記予測係数提供手段は、さらにユーザにより指定されたパラメータであって、前記画像データまたは前記ぼけデータのスケーリングに基づくクラスを規定するパラメータに基づいて、前記予測係数を提供する
請求項１４に記載の画像データ演算装置。
【請求項１７】
前記ぼけデータは、
前記ぼけデータから前記ぼけデータ予測タップを構築する前記ぼけデータ予測タップ構築手段をさらに備え、
前記画像データ演算手段は、前記画像予測タップ、前記ぼけデータ予測タップ、並びに提供された前記予測係数を前記予測演算式に適用してぼけを修正した画像データを演算する
請求項１４に記載の画像データ演算装置。
【請求項１８】
画像データを演算する画像データ演算装置の画像データ演算方法において、
予測係数提供手段が、ユーザにより指定されたパラメータであって、前記画像データのぼけに関するパラメータに対応する予測係数を提供し、
画像予測タップ構築手段が、前記画像データから画像予測タップを構築し、
画像データ演算手段が、前記画像予測タップと、提供された前記予測係数とを予測演算式に適用してぼけを修正した画像データを演算する
画像データ演算方法。
【請求項１９】
ユーザにより指定されたパラメータであって、画像データのぼけに関するパラメータに対応する予測係数を提供する予測係数提供ステップと、
前記画像データから画像予測タップを構築する画像予測タップ構築ステップと、
前記画像予測タップと、提供された前記予測係数とを予測演算式に適用してぼけを修正した画像データを演算する画像データ演算ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項２０】
請求項１９に記載のプログラムが記録されている記録媒体。
【請求項２１】
パラメータを取得するパラメータ取得手段と、
取得された前記パラメータに基づいて、ぼけモデルのぼけのノイズを演算するノイズ演算手段と、
前記ぼけモデルのノイズを付加した画像データを演算する画像データ演算手段と
を備える画像データ演算装置。
【請求項２２】
前記画像データ演算手段は、ぼけの点広がり関数にノイズを付加して画像データを演算する
請求項２１に記載の画像データ演算装置。
【請求項２３】
前記ノイズ演算手段は、奥行きデータにノイズを付加した奥行きデータを演算し、
前記画像データ演算手段は、ノイズを付加した奥行きデータに基づいてぼけの点広がり関数にノイズを付加する
請求項２２に記載の画像データ演算装置。
【請求項２４】
前記ノイズ演算手段は、前記ぼけの点広がり関数の偏差、位相、先鋭度、またはそれらを複合したノイズを演算する
請求項２２に記載の画像データ演算装置。
【請求項２５】
前記ノイズ演算手段は、動き量、動きの方向、またはそれらを複合したノイズを演算する
請求項２１に記載の画像データ演算装置。
【請求項２６】
前記ノイズ演算手段は、前記動きの方向にノイズを付加する場合、前記動きの方向の補間画素の画素値を演算するときの前記補間画素の位置にノイズを付加する
請求項２５に記載の画像データ演算装置。
【請求項２７】
処理領域を設定する設定手段をさらに備え、
前記画像データ演算手段は、設定された前記処理領域の画像データについてノイズを付加する
請求項２１に記載の画像データ演算装置。
【請求項２８】
画像データを演算する画像データ演算装置の画像データ演算方法において、
パラメータ取得手段が、パラメータを取得し、
ノイズ演算手段が、取得された前記パラメータに基づいて、ぼけモデルのぼけのノイズを演算し、
画像データ演算手段が、前記ぼけモデルのノイズを付加した画像データを演算する
画像データ演算方法。
【請求項２９】
パラメータを取得するパラメータ取得ステップと、
取得された前記パラメータに基づいて、ぼけモデルのぼけのノイズを演算するノイズ演算ステップと、
前記ぼけモデルのノイズを付加した画像データを演算する画像データ演算ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項３０】
請求項２９に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は予測係数演算装置および方法、画像データ演算装置および方法、プログラム、並びに記録媒体に関し、特に、より正確に画像のぼけを修正することができるようにした予測係数演算装置および方法、画像データ演算装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
また、本発明は、自然に揺らぐ画像を生成し、またはその予測係数を演算することができるようにした画像データ演算装置および方法、予測係数演算装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００３】
デジタルスチルカメラにおいてオートフォーカス機能により撮像すると、本来撮像したい前景としての被写体ではなく、背景にフォーカスされてしまい、結果的に、本来の被写体の画像がぼけてしまうことがある。例えば、図１は、このような画像の例を表しており、背景にピントが合っているため、本来の被写体である前景の花の画像はピントぼけの状態になっている。
【０００４】
本出願人は、このようなぼけを補正することを先に提案した（例えば、特許文献１）。先の提案においては、画像の特徴が検出され、その画像の特徴に応じて、ぼけを補正した画像を演算するためのモデル式が変更される。これにより、エッジ部やディテール部において忠実な補正が可能となる。
【０００５】
また、多くの画像を学習し、クラス分類適応処理により予測係数を演算し、その予測係数を用いてぼけを補正することも考えられる。
【０００６】
さらに、ぼけではないが、特許文献２には、水面に移るオブジェクトの像を水面の揺れにあわせて揺らせるようにした画像を生成することが開示されている。
【０００７】
【特許文献１】特開２００５−６３０９７号公報
【特許文献２】特開２００６−３１８３８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の提案においては、画素毎に正確に画像のぼけを修正することは困難であった。
【０００９】
また、クラス分類適応処理により正確に画像のぼけを修正するには、ピントが合っている画素と、ピントが合っていない画素とを異なるクラスに分類する等して、画像を正確にクラス分離することが必要となる。しかしながら、通常の画像だけから、ピントが合っている画素と、ピントが合っていない画素とを異なるクラスに分類するクラス分類を実現することは困難である。すなわち、図２は、ピントが合っている背景（花と葉以外の景色）を構成する画素の多くが分類されている１つのクラスの画素を１とし、その他のクラスに分類されている画素を０として表した図であるが、同図に示されるように、ピントが合っていない前景（花と葉）を構成する多数の画素が、ピントが合っている背景を構成する画素の多くが分類されているクラスに分類されている。このことは、通常の画像だけからクラス分類により求めた予測係数を用いてピントを補正しても、正確なぼけの補正は困難であることを意味する。
【００１０】
また、特許文献２の技術は、水面に映る画像を生成するものであるため、それにより生成される画像は歪んだ画像であった。従って、例えば、人が空気中の物を遠くから見たような場合に観察されるような、比較的詳細な元の状態をそのまま確認することができる画像であって、周囲の空気の温度、湿度の変化などに起因して自然に揺らぐ画像を生成することは困難であった。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、正確に画像のぼけを修正することができるようにするものである。
【００１２】
また、本発明は、自然に揺らぐ画像を生成することができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面は、ぼけモデルのぼけデータに基づいて親画像データにぼけを付加して生徒画像データを生成するぼけ付加手段と、前記生徒画像データから画像予測タップを構築する画像予測タップ構築手段と、前記親画像データと前記画像予測タップに基づいて、前記生徒画像データに対応する画像データから、前記親画像データに対応する画像データを生成するための予測係数を演算する予測係数演算手段とを備える予測係数演算装置である。
【００１４】
前記生徒画像データから画像クラスタップを構築する画像クラスタップ構築手段と、前記ぼけデータからぼけデータクラスタップを構築するぼけデータクラスタップ構築手段と、前記画像クラスタップと前記ぼけデータクラスタップに基づいて、前記生徒画像データのクラスを分類するクラス分類手段と、をさらに備え、前記予測係数演算手段は、さらに分類された前記クラス毎に、前記予測係数を演算することができる。
【００１５】
前記ぼけ付加手段は、ユーザにより指定されたぼけパラメータに従った特性で、前記親画像データにぼけを付加し、前記予測係数演算手段は、さらに前記ぼけパラメータ毎に前記予測係数を演算することができる。
【００１６】
ユーザにより指定されたノイズパラメータに従った特性で、前記ぼけデータにノイズを付加するぼけノイズ付加手段をさらに備え、前記ぼけ付加手段は、ノイズが付加された前記ぼけデータに基づいて前記親画像データにぼけを付加し、前記ぼけデータクラスタップ構築手段は、ノイズが付加された前記ぼけデータから前記ぼけデータクラスタップを構築し、前記予測係数演算手段は、さらに前記ぼけパラメータ毎に前記予測係数を演算することができる。
【００１７】
ユーザにより指定されたスケーリングパラメータに基づいて、前記ぼけデータをスケーリングするぼけデータスケーリング手段をさらに備え、前記ぼけノイズ付加手段は、スケーリングされた前記ぼけデータにノイズを付加し、前記予測係数演算手段は、さらに前記スケーリングパラメータ毎に前記予測係数を演算することができる。
【００１８】
ユーザにより指定された画像ノイズパラメータに従った特性で、前記生徒画像データにノイズを付加する画像ノイズ付加手段をさらに備え、前記画像クラスタップ構築手段は、ノイズが付加された前記生徒画像データから前記画像クラスタップを構築し、前記画像予測タップ構築手段は、ノイズが付加された前記生徒画像データから前記画像予測タップを構築し、前記予測係数演算手段は、さらに前記画像ノイズパラメータ毎に前記予測係数を演算することができる。
【００１９】
ユーザにより指定されたスケーリングパラメータに基づいて、前記生徒画像データをスケーリングする画像スケーリング手段をさらに備え、前記画像ノイズ付加手段は、スケーリングされた前記生徒画像データにノイズを付加し、前記予測係数演算手段は、さらに前記スケーリングパラメータ毎に前記予測係数を演算することができる。
【００２０】
前記ぼけデータは、前記ぼけデータから前記ぼけデータ予測タップを構築する前記ぼけデータ予測タップ構築手段をさらに備え、前記予測係数演算手段は、前記親画像データ、前記画像予測タップ、および前記ぼけデータ予測タップに基づいて、分類された前記クラス毎に、前記生徒画像データに対応する画像データを生成するための予測係数を演算することができる。
【００２１】
前記ぼけデータは、ノイズを付加するデータとすることができる。
【００２２】
本発明の一側面はまた、予測係数を演算する予測係数演算装置の予測係数演算方法において、ぼけ付加手段が、ぼけモデルのぼけデータに基づいて親画像データにぼけを付加して生徒画像データを生成し、画像予測タップ構築手段が、前記生徒画像データから画像予測タップを構築し、予測係数演算手段が、前記親画像データと前記画像予測タップに基づいて、前記生徒画像データに対応する画像データから、前記親画像データに対応する画像データを生成するための予測係数を演算する予測係数演算方法である。
【００２３】
さらに本発明の一側面は、ぼけモデルのぼけデータに基づいて親画像データにぼけを付加して生徒画像データを生成するぼけ付加ステップと、前記生徒画像データから画像予測タップを構築する画像予測タップ構築ステップと、前記親画像データと前記画像予測タップに基づいて、前記生徒画像データに対応する画像データから、前記親画像データに対応する画像データを生成するための予測係数を演算する予測係数演算ステップとを含む処理をコンピュータに実行させるプログラムである。
【００２４】
このプログラムは記録媒体に記録することができる。
【００２５】
本発明の他の側面は、ユーザにより指定されたパラメータであって、画像データのぼけに関するパラメータに対応する予測係数を提供する予測係数提供手段と、前記画像データから画像予測タップを構築する画像予測タップ構築手段と、前記画像予測タップと、提供された前記予測係数とを予測演算式に適用してぼけを修正した画像データを演算する画像データ演算手段とを備える画像データ演算装置である。
【００２６】
前記画像データから画像クラスタップを構築する画像クラスタップ構築手段と、ぼけデータからぼけデータクラスタップを構築するぼけデータクラスタップ構築手段と、  前記画像クラスタップと前記ぼけデータクラスタップに基づいて、前記画像データのクラスを分類するクラス分類手段とをさらに備え、前記予測係数提供手段は、さらに分類された前記クラスに対応する前記予測係数を提供することができる。
【００２７】
前記予測係数提供手段は、ぼけの特性を規定するぼけパラメータ、前記画像データに含まれるノイズに基づくクラスを規定するパラメータ、前記ぼけデータに含まれるノイズに基づくクラスを規定するパラメータ、または動き情報に基づいて、前記予測係数を提供することができる。
【００２８】
前記予測係数提供手段は、さらにユーザにより指定されたパラメータであって、前記画像データまたは前記ぼけデータのスケーリングに基づくクラスを規定するパラメータに基づいて、前記予測係数を提供することができる。
【００２９】
前記ぼけデータは、前記ぼけデータから前記ぼけデータ予測タップを構築する前記ぼけデータ予測タップ構築手段をさらに備え、前記画像データ演算手段は、前記画像予測タップ、前記ぼけデータ予測タップ、並びに提供された前記予測係数を前記予測演算式に適用してぼけを修正した画像データを演算することができる。
【００３０】
本発明の他の側面はまた、画像データを演算する画像データ演算装置の画像データ演算方法において、予測係数提供手段が、ユーザにより指定されたパラメータであって、前記画像データのぼけに関するパラメータに対応する予測係数を提供し、画像予測タップ構築手段が、前記画像データから画像予測タップを構築し、画像データ演算手段が、前記画像予測タップと、提供された前記予測係数とを予測演算式に適用してぼけを修正した画像データを演算する画像データ演算方法である。
【００３１】
さらに本発明の他の側面は、ユーザにより指定されたパラメータであって、画像データのぼけに関するパラメータに対応する予測係数を提供する予測係数提供ステップと、前記画像データから画像予測タップを構築する画像予測タップ構築ステップと、前記画像予測タップと、提供された前記予測係数とを予測演算式に適用してぼけを修正した画像データを演算する画像データ演算ステップとを含む処理をコンピュータに実行させるプログラムである。
【００３２】
このプログラムは記録媒体に記録することができる。
【００３３】
本発明のさらに他の側面は、パラメータを取得するパラメータ取得手段と、取得された前記パラメータに基づいて、ぼけモデルのぼけのノイズを演算するノイズ演算手段と、前記ぼけモデルのノイズを付加した画像データを演算する画像データ演算手段とを備える画像データ演算装置である。
【００３４】
前記画像データ演算手段は、ぼけの点広がり関数にノイズを付加して画像データを演算することができる。
【００３５】
前記ノイズ演算手段は、奥行きデータにノイズを付加した奥行きデータを演算し、前記画像データ演算手段は、ノイズを付加した奥行きデータに基づいてぼけの点広がり関数にノイズを付加することができる。
【００３６】
前記ノイズ演算手段は、前記ぼけの点広がり関数の偏差、位相、先鋭度、またはそれらを複合したノイズを演算することができる。
【００３７】
前記ノイズ演算手段は、動き量、動きの方向、またはそれらを複合したノイズを演算することができる。
【００３８】
前記ノイズ演算手段は、前記動きの方向にノイズを付加する場合、前記動きの方向の補間画素の画素値を演算するときの前記補間画素の位置にノイズを付加することができる。
【００３９】
処理領域を設定する設定手段をさらに備え、前記画像データ演算手段は、設定された前記処理領域の画像データについてノイズを付加することができる。
【００４０】
本発明のさらに他の側面はまた、画像データを演算する画像データ演算装置の画像データ演算方法において、パラメータ取得手段が、パラメータを取得し、ノイズ演算手段が、取得された前記パラメータに基づいて、ぼけモデルのぼけのノイズを演算し、画像データ演算手段が、前記ぼけモデルのノイズを付加した画像データを演算する画像データ演算方法である。
【００４１】
さらに本発明の他の側面は、パラメータを取得するパラメータ取得ステップと、取得された前記パラメータに基づいて、ぼけモデルのぼけのノイズを演算するノイズ演算ステップと、前記ぼけモデルのノイズを付加した画像データを演算する画像データ演算ステップとを含む処理をコンピュータに実行させるプログラムである。
【００４２】
このプログラムは記録媒体に記録することができる。
【００４３】
本発明の一側面においては、ぼけ付加手段が、ぼけモデルのぼけデータに基づいて親画像データにぼけを付加して生徒画像データを生成し、画像予測タップ構築手段が、前記生徒画像データから画像予測タップを構築し、予測係数演算手段が、前記親画像データと前記画像予測タップに基づいて、前記生徒画像データに対応する画像データから、前記親画像データに対応する画像データを生成するための予測係数を演算する。
【００４４】
本発明の他の側面においては、予測係数提供手段が、ユーザにより指定されたパラメータであって、画像データのぼけに関するパラメータに対応する予測係数を提供し、画像予測タップ構築手段が、前記画像データから画像予測タップを構築し、画像データ演算手段が、前記画像予測タップと、提供された前記予測係数とを予測演算式に適用してぼけを修正した画像データを演算する。
【００４５】
本発明のさらに他の側面においては、パラメータ取得手段が、パラメータを取得し、ノイズ演算手段が、取得された前記パラメータに基づいて、ぼけモデルのぼけのノイズを演算し、画像データ演算手段が、前記ぼけモデルのノイズを付加した画像データを演算する。
【発明の効果】
【００４６】
以上のように、本発明の一側面によれば、正確に画像のぼけを修正することができる。
特に、クラス分類処理において、ぼけている画像とぼけていない画像が同じクラスに分類され、画像のぼけを正確に修正することが困難になることが抑制される。
【００４７】
また、本発明の他の側面によれば、自然に揺らぐ画像を生成することができる。
【発明を実施するための最良の形態】
【００４８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００４９】
本発明の一側面は、ぼけモデルのぼけデータに基づいて親画像データにぼけを付加して生徒画像データを生成するぼけ付加手段（例えば、図３のぼけ付加部１１）と、前記生徒画像データから画像予測タップを構築する画像予測タップ構築手段（例えば、図３のタップ構築部１７）と、前記親画像データと前記画像予測タップに基づいて、分類された前記クラス毎に、前記生徒画像データに対応する画像データから、前記親画像データに対応する画像データを生成するための予測係数を演算する予測係数演算手段（例えば、図３の予測係数演算部１８）とを備える予測係数演算装置（例えば、図３の学習装置１）である。
【００５０】
前記生徒画像データから画像クラスタップを構築する画像クラスタップ構築手段（例えば、図３のタップ構築部１４）と、前記ぼけデータからぼけデータクラスタップを構築するぼけデータクラスタップ構築手段（例えば、図３のタップ構築部１５）と、前記画像クラスタップと前記ぼけデータクラスタップに基づいて、前記生徒画像データのクラスを分類するクラス分類手段（例えば、図３のクラス分類部１６）とをさらに備え、  前記予測係数演算手段は、さらに分類された前記クラス毎に、前記予測係数を演算することができる。
【００５１】
ユーザにより指定されたノイズパラメータに従った特性で、前記ぼけデータにノイズを付加するぼけノイズ付加手段（例えば、図３のノイズ付加部１２）をさらに備え、前記ぼけ付加手段は、ノイズが付加された前記ぼけデータに基づいて前記親画像データにぼけを付加し、前記ぼけデータクラスタップ構築手段は、ノイズが付加された前記ぼけデータから前記ぼけデータクラスタップを構築し、前記予測係数演算手段は、さらに前記ぼけパラメータ毎に前記予測係数を演算することができる。
【００５２】
ユーザにより指定されたスケーリングパラメータに基づいて、前記ぼけデータをスケーリングするぼけデータスケーリング手段（例えば、図１１のダウンスケーリング部１０１）をさらに備え、前記ぼけノイズ付加手段は、スケーリングされた前記ぼけデータにノイズを付加し、前記予測係数演算手段は、さらに前記スケーリングパラメータ毎に前記予測係数を演算することができる。
【００５３】
ユーザにより指定された画像ノイズパラメータに従った特性で、前記生徒画像データにノイズを付加する画像ノイズ付加手段（例えば、図３のノイズ付加部１３）をさらに備え、前記画像クラスタップ構築手段は、ノイズが付加された前記生徒画像データから前記画像クラスタップを構築し、前記画像予測タップ構築手段は、ノイズが付加された前記生徒画像データから前記画像予測タップを構築し、前記予測係数演算手段は、さらに前記画像ノイズパラメータ毎に前記予測係数を演算することができる。
【００５４】
ユーザにより指定されたスケーリングパラメータに基づいて、前記生徒画像データをスケーリングする画像スケーリング手段（例えば、図１４のダウンスケーリング部１２１）をさらに備え、前記画像ノイズ付加手段は、スケーリングされた前記生徒画像データにノイズを付加し、前記予測係数演算手段は、さらに前記スケーリングパラメータ毎に前記予測係数を演算することができる。
【００５５】
前記ぼけデータは、前記ぼけデータから前記ぼけデータ予測タップを構築する前記ぼけデータ予測タップ構築手段（例えば、図１６のタップ構築部１３１）をさらに備え、前記予測係数演算手段は、前記親画像データ、前記画像予測タップ、および前記ぼけデータ予測タップに基づいて、分類された前記クラス毎に、前記生徒画像データに対応する画像データを生成するための予測係数を演算することができる。
【００５６】
また本発明の一側面は、予測係数を演算する予測係数演算装置の予測係数演算方法において、ぼけ付加手段（例えば、図３のぼけ付加部１１）が、ぼけモデルのぼけデータに基づいて親画像データにぼけを付加して生徒画像データを生成し、画像予測タップ構築手段（例えば、図３のタップ構築部１７）が、前記生徒画像データから画像予測タップを構築し、予測係数演算手段（例えば、図３の予測係数演算部１８）が、前記親画像データと前記画像予測タップに基づいて、前記生徒画像データに対応する画像データから、前記親画像データに対応する画像データを生成するための予測係数を演算する予測係数演算方法（例えば、図８の学習処理方法）である。
【００５７】
本発明の一側面は、ぼけモデルのぼけデータに基づいて親画像データにぼけを付加して生徒画像データを生成するぼけ付加ステップ（例えば、図８のステップＳ４）と、前記生徒画像データから画像予測タップを構築する画像予測タップ構築ステップ（例えば、図８のステップＳ１０）と、前記親画像データと前記画像予測タップに基づいて、前記生徒画像データに対応する画像データから、前記親画像データに対応する画像データを生成するための予測係数を演算する予測係数演算ステップ（例えば、図８のステップＳ１１）とを含む処理をコンピュータに実行させるプログラムである。
【００５８】
本発明の他の側面は、ユーザにより指定されたパラメータであって、画像データのぼけに関するパラメータに対応する予測係数を提供する予測係数提供手段（例えば、図９の係数メモリ９４）と、前記画像データから画像予測タップを構築する画像予測タップ構築手段（例えば、図９のタップ構築部９５）と、前記画像予測タップと、提供された前記予測係数とを予測演算式に適用してぼけを修正した画像データを演算する画像データ演算手段（例えば、図９の予測演算部９６）とを備える画像データ演算装置（例えば、図９の予測装置８１）である。
【００５９】
画像データから画像クラスタップを構築する画像クラスタップ構築手段（例えば、図９のタップ構築部９１）と、ぼけデータからぼけデータクラスタップを構築するぼけデータクラスタップ構築手段（例えば、図９のタップ構築部９２）と、前記画像クラスタップと前記ぼけデータクラスタップに基づいて、前記画像データのクラスを分類するクラス分類手段(例えば、図９のクラス分類部９３)とをさらに備え、前記予測係数提供手段は、さらに分類された前記クラスに対応する前記予測係数を提供することができる。
【００６０】
前記ぼけデータは、前記ぼけデータから前記ぼけデータ予測タップを構築する前記ぼけデータ予測タップ構築手段（例えば、図１８のタップ構築部１４１）をさらに備え、前記画像データ演算手段は、前記画像予測タップ、前記ぼけデータ予測タップ、並びに提供された前記予測係数を前記予測演算式に適用してぼけを修正した画像データを演算することができる。
【００６１】
本発明の他の側面は、画像データを演算する画像データ演算装置の画像データ演算方法において、予測係数提供手段（例えば、図９の係数メモリ９４）が、ユーザにより指定されたパラメータであって、前記画像データのぼけに関するパラメータに対応する予測係数を提供し、画像予測タップ構築手段（例えば、図９のタップ構築部９５）が、前記画像データから画像予測タップを構築し、画像データ演算手段（例えば、図９の予測演算部９６）が、前記画像予測タップと、提供された前記予測係数とを予測演算式に適用してぼけを修正した画像データを演算する画像データ演算方法（例えば、図１０の予測処理方法）である。
【００６２】
本発明の他の側面はまた、ユーザにより指定されたパラメータであって、画像データのぼけに関するパラメータに対応する予測係数を提供する予測係数提供ステップ（例えば、図１０のステップＳ３５）と、前記画像データから画像予測タップを構築する画像予測タップ構築ステップ（例えば、図１０のステップＳ３６）と、前記画像予測タップと、提供された前記予測係数とを予測演算式に適用してぼけを修正した画像データを演算する画像データ演算ステップ（例えば、図１０のステップＳ３７）とを含む処理をコンピュータに実行させるプログラムである。
【００６３】
本発明のさらに他の側面は、パラメータを取得するパラメータ取得手段（例えば、図２２の取得部３３２）と、取得された前記パラメータに基づいて、ぼけモデルのぼけのノイズを演算するノイズ演算手段（例えば、図２２の演算部３３４）と、前記ぼけモデルのノイズを付加した画像データを演算する画像データ演算手段（例えば、図２０のぼけ付加部３１１）とを備える画像データ演算装置（例えば、図２０の画像生成装置３０１）である。
【００６４】
処理領域を設定する設定手段（例えば、図２２の設定部３３１）をさらに備え、前記画像データ演算手段は、設定された前記処理領域の画像データについてノイズを付加することができる。
【００６５】
本発明のさらに他の側面は、画像データを演算する画像データ演算装置（例えば、図２０の画像生成装置３０１）の画像データ演算方法（例えば、図２４の距離によるピントぼけノイズ付加処理の方法）において、パラメータ取得手段（例えば、図２２の取得部３３２）が、パラメータを取得し、ノイズ演算手段（例えば、図２２の演算部３３４）が、取得された前記パラメータに基づいて、ぼけモデルのぼけのノイズを演算し、画像データ演算手段（例えば、図２０のぼけ付加部３１１）が、前記ぼけモデルのノイズを付加した画像データを演算する画像データ演算方法である。
【００６６】
本発明のさらに他の側面はまた、パラメータを取得するパラメータ取得ステップ（例えば、図２４のステップＳ２０２）と、取得された前記パラメータに基づいて、ぼけモデルのぼけのノイズを演算するノイズ演算ステップ（例えば、図２４のステップＳ２０４）と、前記ぼけモデルのノイズを付加した画像データを演算する画像データ演算ステップ（例えば、図２４のステップＳ２０６）とを含む処理をコンピュータに実行させるプログラムである。
【００６７】
以下、図を参照して本発明の実施の形態について説明する。
【００６８】
図３は、本発明を適用した学習装置１の一実施の形態の構成を示すブロック図である。
【００６９】
図３の予測係数演算装置としての学習装置１は、ぼけ付加部１１、ノイズ付加部１２、ノイズ付加部１３、タップ構築部１４、タップ構築部１５、クラス分類部１６、タップ構築部１７、予測係数演算部１８、および係数メモリ１９により構成され、ぼけのある画像であるぼけ画像から、それと同一のサイズの、ぼけを修正した画像であるぼけ修正画像をクラス分類適応処理により予測する予測処理を行うときに用いられる予測係数を学習する。
【００７０】
ぼけ付加部１１には、図示せぬ装置から、予測処理後のぼけ修正画像に相当する親画像の各画素の画素値である親画像データが入力される。ぼけ付加部１１は、ユーザにより指定されたぼけパラメータＰを取得し、ノイズ付加部１２から供給されるノイズ付加後の奥行きデータｚに基づいて、ぼけパラメータＰに従った特性で、親画像データにぼけを付加する。
【００７１】
奥行きデータｚは、画像に対応する実世界オブジェクトの３次元位置データであり、複数カメラにより撮像された複数の画像によるステレオ視やレーザ計測等により算出される。例えば、親画像データが図示せぬカメラにより取得されたときの、そのカメラから被写体までの画素毎の距離のデータである。各画素に対応する画素毎の距離のデータは、例えば、特開２００５-７００１４号公報に開示された方法で得ることができる。
ぼけ付加部１１は、ぼけ付加後の親画像データを、予測処理前のぼけ画像に相当する生徒画像の各画素の画素値である生徒画像データとして、ノイズ付加部１３に供給する。
【００７２】
ノイズ付加部１２には、図示せぬ装置から奥行きデータｚが入力される。また、ノイズ付加部１２は、ユーザにより指定された奥行きデータｚに付加するノイズのパラメータであるノイズパラメータＮｚを取得し、ノイズパラメータＮｚに従った特性で、奥行きデータｚにノイズを付加する。そして、ノイズ付加部１２は、ノイズ付加後の奥行きデータｚをぼけ付加部１１とタップ構築部１５に供給する。
【００７３】
ノイズ付加部１３は、ユーザにより指定された、生徒画像データに付加するノイズのパラメータであるノイズパラメータＮｉを取得する。ノイズ付加部１３は、ノイズパラメータＮｉに従った特性で、ぼけ付加部１１から供給される生徒画像データにノイズを付加する。そして、ノイズ付加部１３は、ノイズ付加後の生徒画像データをタップ構築部１４とタップ構築部１７に供給する。
【００７４】
なお、ノイズ付加部１２とノイズ付加部１３は、それらを設けることで、ぼけ画像のノイズの除去を考慮した予測係数を求めることができるが、その考慮をしない場合には省略することができる。
【００７５】
タップ構築部１４は、親画像を構成する画素を、順次、注目画素とし、その注目画素をクラスに分類するために用いる、生徒画像を構成する画素値の幾つかを抽出することで、画像クラスタップを生徒画像データから構築する。タップ構築部１４は、画像クラスタップをクラス分類部１６に供給する。
【００７６】
タップ構築部１５は、注目画素をクラスに分類するために用いる、幾つかの画素の奥行きデータｚを抽出することで、奥行きクラスタップを奥行きデータｚから構築する。タップ構築部１５は、奥行きクラスタップをクラス分類部１６に供給する。
【００７７】
クラス分類部１６は、タップ構築部１４から供給される画像クラスタップと、タップ構築部１５から供給される奥行きクラスタップとに基づいて、注目画素をクラスに分類する。
【００７８】
クラス分類は、クラスタップを構成する複数のデータから算出される特徴量を分類コードとすることにより実現される。
【００７９】
ここで、クラスに分類する方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。ADRC以外にも様々なデータ圧縮処理などを用いることができる。
【００８０】
ADRCを用いる方法では、画像クラスタップを構成する画素値と、奥行きクラスタップを構成する奥行きデータｚそれぞれが、ADRC処理され、その結果得られる２つのADRCコードに従って、注目画素のクラスが決定される。
【００８１】
なお、KビットADRCにおいては、例えば、画像クラスタップを構成する画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、画像クラスタップとしての複数の画素値の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、画像クラスタップとしての複数の画素値それぞれがKビットに再量子化される。すなわち、画像クラスタップとしての各画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、画像クラスタップとしてのKビットの各画素値を、所定の順番で並べたビット列が、ADRCコードとされる。
【００８２】
従って、画像クラスタップが、例えば、１ビットADRC処理される場合には、その画像クラスタップとしての各画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとされる。また、奥行きクラスタップについても同様に、奥行きクラスタップとしてのKビットの各画素の奥行きデータｚを、所定の順番で並べたビット列が、ADRCコードとされる。
【００８３】
なお、画像クラスタップに基づいて分類する方法と、奥行きクラスタップに基づいて分類する方法は、異なっていてもよい。例えば、画像クラスタップに基づいて分類する方法としては、上述したADRCを採用し、奥行きクラスタップに基づいて分類する方法としては、ADRCではなく、奥行きクラスタップを構成する奥行きデータｚを平滑化してクラスに分類する方法、奥行きクラスタップを構成する奥行きデータｚに対応する画素におけるエッジによりクラスに分類する方法等を採用してもよい。
【００８４】
奥行きデータｚを平滑化してクラスに分類する方法では、奥行きクラスタップを構成するすべての奥行きデータｚを積算したものを、奥行きクラスタップを構成する奥行きデータｚに対応する画素の数で除算し、所定の定数を乗算した値がクラスコードとされ、そのクラスコードに従って、クラスが決定される。
【００８５】
また、奥行きデータｚに対応する画素におけるエッジによりクラスに分類する方法では、奥行きクラスタップを構成する奥行きデータｚから隣接画素同士の奥行きデータｚの差分が算出され、その差分に基づいてエッジの位置が認識される。そして、そのエッジの位置を示すテンプレートが、予め用意されたテンプレートから選択され、そのテンプレートの番号がクラスコードとされ、そのクラスコードに従って、クラスが決定される。
【００８６】
クラス分類部１６は、注目画素が分類されたクラスを予測係数演算部１８に供給する。
以上のように、クラス分類部１６は、画像クラスタップだけでなく、奥行きクラスタップにも基づいて、注目画素のクラスを分類するので、ぼけている画像とぼけていない画像が同じクラスに分類されることを抑制することができる。
【００８７】
タップ構築部１７は、注目画素の画素値を予測するために用いる、生徒画像を構成する画素値の幾つかを抽出することで、画像予測タップを生徒画像データから構築する。タップ構築部１７は、画像予測タップを予測係数演算部１８に供給する。
【００８８】
なお、画像予測タップ、画像クラスタップ、または奥行きクラスタップとしては、任意の画素値が選択可能であるが、注目画素および／または注目画素の周辺の所定の画素の画素値を選択することができる。
【００８９】
予測係数演算部１８は、ユーザにより指定された、ノイズ付加部１２に供給されるノイズパラメータＮｚ、ノイズ付加部１３に供給されるノイズパラメータＮｉ、およびぼけ付加部１１に供給されるぼけパラメータＰを取得する。予測係数演算部１８は、図示せぬ装置から供給される親画像データとタップ構築部１７から供給される画像予測タップに基づいて、クラス分類部１６から供給されるクラス、並びにノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎に、予測係数を演算し、係数メモリ１９に供給して、記憶させる。
【００９０】
ここで、予測係数演算部１８による予測係数の演算について説明する。
【００９１】
例えば、いま、予測処理として、ぼけ画像から画像予測タップを抽出し、その画像予測タップと予測係数を用いて、ぼけ修正画像の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【００９２】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、ぼけ修正画像の画素（以下、適宜、ぼけ修正画素という）の画素値ｙは、次の線形１次式によって求められることになる。
【００９３】
【数１】
2008109640.tif 000003
【００９４】
但し、式（１）において、ｘnは、ぼけ修正画素ｙについての画像予測タップを構成する、ｎ番目のぼけ画像の画素（以下、適宜、ぼけ画素という）の画素値を表し、ｗnは、ｎ番目のぼけ画素の画素値と乗算されるｎ番目の予測係数を表す。なお、式（１）では、画像予測タップが、複数であるＮ個のぼけ画素の画素値ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。この場合、予測係数は、１クラスにつき、Ｎ個存在する。
【００９５】
ぼけ修正画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。すなわち、推定式としては、線形関数、非線形関数に拘わらず、任意の関数を用いることができる。
【００９６】
いま、第ｋサンプルのぼけ修正画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
【００９７】
【数２】
2008109640.tif 000004
【００９８】
いま、式（２）の予測値ｙk'は、式（１）に従って求められるため、式（２）のｙk'を、式（１）に従って置き換えると、次式が得られる。
【００９９】
【数３】
2008109640.tif 000005
【０１００】
但し、式（３）において、ｘn,kは、第ｋサンプルのぼけ修正画素についての画像予測タップを構成するｎ番目のぼけ画素の画素値を表す。
【０１０１】
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、ぼけ修正画素の画素値を予測するのに最適なものとなるが、すべてのぼけ修正画素について、そのような予測係数ｗnを求めることは、一般には困難である。
【０１０２】
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１０３】
【数４】
2008109640.tif 000006
【０１０４】
但し、式（４）において、Ｋは、ぼけ修正画素の画素値ｙkと、そのぼけ修正画素についての画像予測タップを構成するぼけ画素の画素値ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。すなわち、親画像の画素の画素値と、生徒画像の画素の画素値とのセットのサンプル数を表す。
【０１０５】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１０６】
【数５】
2008109640.tif 000007
【０１０７】
一方、上述の式（３）を予測係数ｗnで偏微分すると、次式が得られる。
【０１０８】
【数６】
2008109640.tif 000008
【０１０９】
式（５）と式（６）から、次式が得られる。
【０１１０】
【数７】
2008109640.tif 000009
【０１１１】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１１２】
【数８】
2008109640.tif 000010
【０１１３】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。
【０１１４】
予測係数演算部１８は、式（８）の正規方程式を、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎にたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗnを、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎に求めることができる。
【０１１５】
また、予測処理によれば、以上のようにして求められるクラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎の予測係数ｗnを用いて、式（１）の演算を行うことにより、ぼけ画像が、ぼけ修正画像に変換される。
【０１１６】
係数メモリ１９は、予測係数演算部１８から供給される予測係数ｗnを記憶する。
【０１１７】
以上のように、図３の学習装置１では、ぼけている画像とぼけていない画像が同じクラスに分類されることを抑制することができるので、図９を参照して後述する予測装置８１において、分類されたクラス毎に学習された予測係数ｗnを用いて予測処理を行うことにより、ぼけ画像のぼけを正確に修正し、高品質なぼけ修正画像に変換することできる。
【０１１８】
次に、図４乃至図６を参照して、図３のぼけ付加部１１による、親画像データへのぼけの付加について説明する。
【０１１９】
まず最初に、図４と図５を参照して、ぼけの付加の特性として、ぼけの拡がりの大きさσを求める式について説明する。
【０１２０】
図４に示すように、物体５１からの光がレンズ５２を介してセンサ５３に入射される場合、レンズの結合公式は、以下の式（９）で表される。
【０１２１】
1/f=1/v+1/L
・・・（９）
【０１２２】
なお、式（９）において、fは、レンズ５２の焦点距離を表し、ｖはレンズ５２とセンサ５３の距離を表し、Lは、物体５１とレンズ５２の距離を表す。
【０１２３】
また、オブジェクトを撮像する撮像系の構造や方式を考慮することにより定式化される、ぼけのないオブジェクト画像にぼけを付加するモデルである画像のぼけモデルとして、単位体積を持つ２次元のガウス関数を用いると、ぼけの拡がりの大きさσは以下の式（１０）で表されることが知られている。
【０１２４】
σ=rv（1/f-1/v-1/L）
・・・（１０）
【０１２５】
図５に示すように、ぼけが生じないとき、すなわち合焦するときの距離Lを奥行きデータｚ０とし、ぼけが生じるとき、すなわち合焦しないときの距離Lを奥行きデータｚ１とすると、ぼけが生じるときの大きさσ１と、ぼけが生じないときの大きさσ０の差分は、以下の式（１１）で表される。
【０１２６】
σ1-σ0=(fv/F)×（z1-z0）/(z1×z0)
・・・（１１）
【０１２７】
なお、式（１１）において、Fは、Fナンバー、すなわちf/rを表す。
【０１２８】
式（１１）において、ぼけが生じないときの大きさσ０を０とすると、物体５１が合焦位置から、距離ｄ離れた位置に物体５１がある場合の大きさσdは、以下の式（１２）で表される。
【０１２９】
σd=(fv/F)×(z1-z0)/(z1×z0)
・・・（１２）
【０１３０】
ここで、fv/Fをｋとおくと、式（１２）は以下の式（１３）で表される。
【０１３１】
σd=ｋ×(z1-z0)/(z1×z0)
・・・（１３）
【０１３２】
さらに、d=z1-z0とおくと、式（１３）は以下の式（１４）で表される。
【０１３３】
σd=（ｋ/z0）×d/(d+z0)
・・・（１４）
【０１３４】
式（１４）によれば、大きさσdは、距離dの関数となっており、その関数をf(d)とおくと、関数f(d)は、ぼけの付加の特性を表す関数であり、以下の式（１５）で表される。
【０１３５】
f(d)=（ｋ/z0）×d/(d+z0)
・・・（１５）
【０１３６】
式（１５）によれば、関数f(d)は、距離dが大きくなるにつれて定数k/z0に収束していく。
【０１３７】
なお、ぼけの付加の特性を表す関数として、関数ｆ（d）だけでなく、大きさσを直線で近似した関数ｇ（d）や、大きさσを平方根で近似した関数ｈ（d）を用いることもできる。関数ｇ（d）と関数ｈ（d）は以下の式（１６）と式（１７）で表される。
【０１３８】
【数９】
2008109640.tif 000011
【０１３９】
なお、式（１６）におけるａと、式（１７）におけるｂは、予め設定された定数を表す。
【０１４０】
図６は、関数ｆ（d）、関数ｇ（d）、および関数ｈ（d）を示すグラフである。図６に示すように、関数ｆ（d）は、距離dが大きくなるにつれて、ある値に収束していく。また、関数ｇ（d）は、直線で表され、関数ｈ（d）は、平方根を示す曲線で表される。
【０１４１】
なお、図６では、関数ｆ（d）において、ｋが1.0となっており、関数ｇ（d）においてａが0.05となっている。また、関数ｈ（d）において、ｂが0.05となっている。
【０１４２】
ぼけ付加部１１は、ユーザにより指定された、ぼけの付加の特性を表す関数を選択するためのパラメータであるぼけパラメータＰに従って、関数ｆ（d）、関数ｇ（d）、および関数ｈ（d）のうちのいずれか１つを選択し、その選択した関数が表す特性で、親画像データにぼけを付加し、生徒画像データを生成する。
【０１４３】
具体的には、ぼけ付加部１１は、以下の式（１８）に従って、生徒画像データを画素毎に生成する。
【０１４４】
【数１０】
2008109640.tif 000012
【０１４５】
なお、式（１８）において、Y(x,y)は、生徒画像を構成する画素のうち、ｘ座標がｘで、ｙ座標がｙの位置の画素の画素値を表しており、X(x+k,y+l)は、親画像を構成する画素のうち、ｘ座標がx+kで、ｙ座標がy+lの位置（注目画素の位置(x,y)から座標(k,l)だけ離れた位置）の画素の画素値を表している。また、式（１８）において、WT(k,l)は、ぼけの点広がり関数（ガウスPSF（Point Spread Function)）であり、以下の式（１９）で表される。
【０１４６】
【数１１】
2008109640.tif 000013
【０１４７】
なお、式（１９）において、S(x+k,y+l)は、距離dが、ｘ座標がx+kで、ｙ座標がy+lの位置の画素の奥行きデータｚから、奥行きデータｚ０を減算した値である場合の、関数ｆ（d）、関数ｇ（d）、および関数ｈ（d）のうちの選択された関数を表している。
【０１４８】
式（１８）と式（１９）によれば、ｘ座標がx+kで、ｙ座標がy+lの位置にある画素から、ｘ座標がｘで、ｙ座標がｙの位置にある注目画素に拡散される画素値を積算することにより、ぼけ付加後の注目画素の画素値が求められる。
【０１４９】
次に、図７Ａと図７Ｂを参照して、図３のノイズ付加部１３によるノイズの付加の方法について説明する。
【０１５０】
ノイズを付加する方法としては、例えば、ノイズパラメータＮｉに従って振幅レベルを段階的に変化させたノイズを付加する第１の方法、ノイズパラメータＮｉに従った割合でノイズを付加したものと付加しないものを生成する第２の方法などがある。
【０１５１】
まず最初に、図７Ａを参照して第１の方法について説明する。
【０１５２】
なお、図７Ａでは、ノイズパラメータＮｉが０からｊまでの値であるものとする。このことは、後述する図７Ｂにおいても同様である。なお、ここにおけるノイズパラメータＮｉは、ノイズの振幅レベルを指定するパラメータである。
【０１５３】
図７Ａに示すように、第１の方法では、ノイズパラメータＮｉの値が大きくなるにつれて、生徒画像に付加するノイズの振幅レベルが大きくなるように、段階的に変化された振幅レベルのノイズが付加される。すなわち、図７Ａに示すように、第１の方法では、ノイズパラメータＮｉの値が０である場合、生徒画像にノイズが付加されず、ノイズパラメータＮｉの値が大きくなるにつれて生徒画像に付加されるノイズの振幅レベルが大きくなり、ノイズパラメータＮｉの値がｊである場合、振幅レベルが最大のノイズが生徒画像に付加される。
【０１５４】
この場合、例えば後述する式（２３）に示されるように、係数Ｒと、疑似乱数を発生する関数mseq[m]との積で表されるRΣmseq[m]の式でノイズを規定するようにし、係数ＲをノイズパラメータＮｉの値に応じて制御することで、ノイズパラメータＮｉの値に応じてノイズの振幅レベルが大きくなるように制御することができる。
【０１５５】
次に、図７Ｂを参照して第２の方法について説明する。
【０１５６】
なお、図７Ｂの例では、１枚の生徒画像に対して１００枚のノイズ付加後の生徒画像を生成するものとする。
【０１５７】
図７Ｂに示すように、第２の方法では、ノイズパラメータＮｉに従った割合で、ノイズが付加されない生徒画像と、所定の振幅レベルのノイズが付加された生徒画像とが、ノイズ付加後の生徒画像として合計１００枚生成される。すなわち、図７Ｂに示すように、ノイズパラメータＮｉの値が０である場合、ノイズが付加されない１００枚の生徒画像が１００枚のノイズ付加後の生徒画像として生成され、ノイズパラメータＮｉの値が１である場合、ノイズが付加されない９９枚の生徒画像とノイズが付加された１枚の生徒画像とが１００枚のノイズ付加後の生徒画像として生成される。なお、ここにおけるノイズパラメータＮｉは、ノイズの混入割合を指定するパラメータである。
【０１５８】
以下も同様にして、ノイズパラメータＮｉの値が大きくなるにつれて、１００枚のノイズ付加後の生徒画像を構成する、ノイズが付加されない生徒画像の枚数が減少して、ノイズが付加された生徒画像の枚数が増加し、ノイズパラメータＮｉの値がｊである場合、ノイズが付加されない３０枚の生徒画像と、ノイズが付加された７０枚の生徒画像とが、１００枚のノイズ付加後の生徒画像として生成される。
【０１５９】
この場合、図３の予測係数演算部１８は、１枚の親画像と、１００枚の生徒画像を１サンプルとして用いて、式（８）に従って予測係数の演算を行う。すなわち、予測係数演算部１８は、以下の式（２０）の正規方程式を、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎にたてて解くことにより、最適な予測係数ｗnを、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎に求める。
【０１６０】
【数１２】
2008109640.tif 000014
【０１６１】
なお、式（２０）において、ｘn,qkは、第ｋサンプルのぼけ修正画像の画素についての画像予測タップを構成する、ｑ枚目の生徒画像のｎ番目の画素の画素値を表す。また、Ｑは、１つのサンプルに対する生徒画像の枚数であり、図７Ｂの例では１００である。
【０１６２】
ノイズ付加部１３は、上述した第１の方法または第２の方法で、生徒画像にノイズを付加する。なお、説明は省略するが、ノイズ付加部１２におけるノイズの付加も同様に行われる。この場合、例えば、撮像装置に起因するランダムノイズ、外来光の影響、物体表面の反射率の相違、測定誤差等によるランダムノイズが、奥行きデータｚに付加される。
【０１６３】
なお、図７Ａと図７Ｂで説明したノイズの付加の方法は一例であり、その他の方法であってもよい。例えば、ノイズ付加部１２は、反射による錯乱の影響、測定精度による平滑化等によって生じる錯乱ノイズを、ぼけの付加の特性を表す関数と同様の関数を用いて、奥行きデータｚに付加するようにしてもよい。
【０１６４】
次に、図８を参照して、図３の学習装置１が予測係数ｗnを学習する学習処理について説明する。この学習処理は、例えば、図３の学習装置１に親画像データと奥行きデータｚが入力されたとき、開始される。
【０１６５】
ステップＳ１において、ノイズ付加部１２は、ユーザにより指定されたノイズパラメータＮｚを取得する。ステップＳ２において、ノイズ付加部１２は、図７で説明した第１の方法、第２の方法などにより、ノイズパラメータＮｚに従った特性で、奥行きデータｚにノイズを付加する。
【０１６６】
ステップＳ３において、ぼけ付加部１１は、ユーザにより指定されたぼけパラメータＰを取得する。ステップＳ４において、ぼけ付加部１１は、ノイズ付加部１２から供給されるノイズ付加後の奥行きデータｚに基づいて、ぼけパラメータＰに従った特性で、図示せぬ装置から入力される親画像データにぼけを付加する。
【０１６７】
具体的には、ぼけ付加部１１は、ぼけパラメータＰに従って関数ｆ（ｄ）、関数ｇ（ｄ）、または関数ｈ（ｄ）を選択する。次に、ぼけ付加部１１は、選択した関数をＳに適用した式（１８）と式（１９）に従って、奥行きデータｚに基づいて注目画素の画素値Y(x,y)、すなわち生徒画像を構成する画素の画素値を求める。そして、ぼけ付加部１１は、生徒画像を構成する各画素の画素値を、生徒画像データとしてノイズ付加部１３に供給する。
【０１６８】
ステップＳ５において、ノイズ付加部１３は、ユーザにより指定されたノイズパラメータＮｉを取得する。ステップＳ６において、ノイズ付加部１３は、図７で説明した第１の方法、第２の方法などにより、ノイズパラメータＮｉに従った特性で、ぼけ付加部１１から供給される生徒画像データにノイズを付加し、ノイズ付加後の生徒画像データをタップ構築部１４とタップ構築部１７に供給する。
【０１６９】
ステップＳ７において、タップ構築部１４は、生徒画像データから所定のものを抽出することで画像クラスタップを構築し、その画像クラスタップをクラス分類部１６に供給する。ステップＳ８において、タップ構築部１５は、奥行きデータｚから所定のものを抽出することで奥行きクラスタップを構築し、その奥行きクラスタップをクラス分類部１６に供給する。
【０１７０】
ステップＳ９において、クラス分類部１６は、タップ構築部１４から供給される画像クラスタップと、タップ構築部１５から供給される奥行きクラスタップとに基づいて、注目画素をクラスに分類する。ステップＳ１０において、タップ構築部１７は、生徒画像データから所定のものを抽出することで画像予測タップを構築し、その画像予測タップを予測係数演算部１８に供給する。
【０１７１】
ステップＳ１１において、予測係数演算部１８は、図示せぬ装置から供給される親画像データと、タップ構築部１７から供給される画像予測タップとに基づいて、クラス分類部１６から供給されるクラス、並びにノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎に、上述した式（８）または式（２０）に従って予測係数ｗnを演算し、係数メモリ１９に供給する。
【０１７２】
ステップＳ１２において、係数メモリ１９は、予測係数演算部１８から供給される予測係数ｗnを記憶し、処理は終了する。
【０１７３】
図９は、図３の学習装置１で学習された予測係数ｗnを用いて予測処理を行う予測係数演算装置としての予測装置８１の構成を示すブロック図である。
【０１７４】
図９の予測装置８１は、タップ構築部９１、タップ構築部９２、クラス分類部９３、係数メモリ９４、タップ構築部９５、および予測演算部９６により構成される。
【０１７５】
図９の予測装置８１には、図示せぬ装置から、ぼけ画像を構成する各画素の画素値であるぼけ画像データと、それに対応する奥行きデータｚが入力される。このぼけ画像データは、タップ構築部９１とタップ構築部９５に供給され、奥行きデータｚは、タップ構築部９２に供給される。
【０１７６】
タップ構築部９１は、図３のタップ構築部１４と同様に、ぼけ修正画像を構成する画素を、順次、注目画素とし、その注目画素をクラスに分類するために用いる、ぼけ画像を構成する画素値の幾つかを抽出することで、画像クラスタップを、ぼけ画像データから構築する。タップ構築部９１は、画像クラスタップをクラス分類部９３に供給する。
【０１７７】
タップ構築部９２は、タップ構築部１５と同様に、注目画素をクラスに分類するために用いる、幾つかの奥行きデータｚを抽出することで、奥行きクラスタップを、奥行きデータｚから構築する。タップ構築部９２は、奥行きクラスタップをクラス分類部９３に供給する。
【０１７８】
クラス分類部９３は、クラス分類部１６と同様に、タップ構築部９１から供給される画像クラスタップと、タップ構築部９２から供給される奥行きクラスタップとに基づいて、注目画素をクラスに分類し、そのクラスを係数メモリ９４に供給する。
【０１７９】
係数メモリ９４には、図３の係数メモリ１９に記憶された、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎の予測係数ｗnが記憶されている。係数メモリ９４は、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰを取得する。
【０１８０】
係数メモリ９４は、クラス分類部９３から供給されるクラス、並びに、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰに基づいて、そのクラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰに対応する予測係数ｗnを、既に記憶している予測係数ｗnの中から読み出し、その予測係数ｗnを予測演算部９６に提供する。
【０１８１】
タップ構築部９５は、タップ構築部１７と同様に、注目画素の画素値を予測するために用いる、ぼけ画像を構成する画素値の幾つかを抽出することで、画像予測タップをぼけ画像データから構築する。タップ構築部９５は、画像予測タップを予測演算部９６に供給する。
【０１８２】
予測演算部９６は、タップ構築部９５から供給される画像予測タップと、係数メモリ９４から提供される予測係数ｗnとを用いて、注目画素の画素値の予測値を求める予測演算を行う。具体的には、予測演算部９６は、上述した式（１）の線形一次式の演算である予測演算を行う。これにより、予測演算部９６は、注目画素の画素値の予測値、すなわち、ぼけ修正画像を構成する画素の画素値を求める。そして、予測演算部９６は、ぼけ修正画像を構成する各画素の画素値を、ぼけ修正画像データとして出力する。
【０１８３】
次に、図１０を参照して、図９の予測装置８１がぼけ修正画像データを予測する予測処理について説明する。この予測処理は、例えば、予測装置８１にぼけ画像データと奥行きデータｚが入力されたとき、開始される。
【０１８４】
ステップＳ３１において、タップ構築部９１は、ぼけ画像データから画像クラスタップを構築し、その画像クラスタップをクラス分類部９３に供給する。ステップＳ３２において、タップ構築部９２は、奥行きデータｚから奥行きクラスタップを構築し、その奥行きクラスタップをクラス分類部９３に供給する。
【０１８５】
ステップＳ３３において、クラス分類部９３は、タップ構築部９１から供給される画像クラスタップと、タップ構築部９２から供給される奥行きクラスタップとに基づいて、注目画素をクラスに分類し、そのクラスを係数メモリ９４に供給する。ステップＳ３４において、係数メモリ９４は、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰを取得する。
【０１８６】
ステップＳ３５において、係数メモリ９４は、クラス分類部９３から供給されるクラス、並びに、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰに基づいて、そのクラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰに対応する予測係数ｗnを、既に記憶している予測係数ｗnの中から読み出し、その予測係数ｗnを予測演算部９６に提供する。
【０１８７】
ステップＳ３６において、タップ構築部９５は、ぼけ画像データから画像予測タップを構築し、その画像予測タップを予測演算部９６に供給する。
【０１８８】
ステップＳ３７において、予測演算部９６は、タップ構築部９５から供給される画像予測タップと、係数メモリ９４から供給される予測係数ｗnとを用いて、上述した式（１）の線形一次式の演算である予測演算を行い、ぼけ修正画像を構成する各画素の画素値を求め、ぼけ修正画像データとして出力する。そして、処理は終了する。
【０１８９】
図１１は、学習装置１の他の実施の形態の構成を示すブロック図である。
【０１９０】
図１１の学習装置１は、ぼけ付加部１１、ノイズ付加部１２、ノイズ付加部１３、タップ構築部１４、タップ構築部１５、クラス分類部１６、タップ構築部１７、係数メモリ１９、ダウンスケーリング部１０１、および予測係数演算部１０２により構成され、図示せぬ装置から入力される奥行きデータｚに対応する親画像のサイズが、それとともに入力される親画像データに対応する親画像のサイズに比べて大きい場合においても、入力される親画像データに対応する親画像と同一のサイズのぼけ画像と、対応する奥行きデータｚとを用いて、ぼけ画像から、それと同一のサイズのぼけ修正画像を予測する予測処理を行うときに用いられる予測係数ｗnを学習する。
【０１９１】
なお、図１１において、図３の学習装置１と同一のものには同一の符号を付してある。
すなわち、図１１の学習装置１は、図３の学習装置１にダウンスケーリング部１０１がさらに設けられ、予測係数演算部１８の代わりに予測係数演算部１０２が設けられたものである。
【０１９２】
ダウンスケーリング部１０１には、図示せぬ装置から奥行きデータｚが入力される。ダウンスケーリング部１０１は、ユーザにより指定された、ダウンスケーリング後の奥行きデータｚに対応する親画像の水平方向のサイズを表す水平スケーリングパラメータHと、垂直方向のサイズを表す垂直スケーリングパラメータVとから構成されるスケーリングパラメータ(H,V)を取得する。
【０１９３】
ダウンスケーリング部１０１は、スケーリングパラメータ(H,V)に基づいて、例えば、奥行きデータｚに対応する親画像のサイズが、ぼけ付加部１１に入力される親画像データに対応する親画像のサイズと同一となるように、奥行きデータｚをダウンスケーリングし、ダウンスケーリングした奥行きデータｚをノイズ付加部１２に供給する。
【０１９４】
予測係数演算部１０２は、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)を取得する。予測係数演算部１０２は、図示せぬ装置から供給される親画像データと、タップ構築部１７から供給される画像予測タップとに基づいて、画像クラスタップと、ダウンスケーリング後の奥行きデータｚから構築された奥行きクラスタップとに基づいて分類されたクラス、並びにノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)毎に、予測係数ｗnを演算し、係数メモリ１９に供給する。
【０１９５】
以上のように、図１１の学習装置１は、入力される奥行きデータｚをダウンスケーリングするので、ダウンスケーリング部１０１に入力される奥行きデータｚに対応する親画像のサイズが、それとともにぼけ付加部１１に入力される親画像データに対応する親画像のサイズに比べて大きい場合においても、ダウンスケーリング後の奥行きデータｚを用いて、ぼけ付加部１１に入力される親画像データに対応する親画像と同一のサイズのぼけ画像と、対応する奥行きデータｚとを用いた予測処理を行うときに用いられる予測係数ｗnを学習することができる。
【０１９６】
即ち、例えば、図１１の学習装置１は、標準より大きいサイズの撮像画像を縮小した画像を親画像として用いて、標準のサイズのぼけ画像からぼけ修正画像を予測する予測処理に用いられる予測係数ｗnを学習することができる。
【０１９７】
次に、図１２を参照して、図１１の学習装置１が予測係数ｗnを学習する学習処理について説明する。この学習処理は、例えば、図１１の学習装置に親画像データと奥行きデータｚが入力されたとき、開始される。
【０１９８】
ステップＳ６１において、ダウンスケーリング部１０１は、スケーリングパラメータ(H,V)を取得する。ステップＳ６２において、ダウンスケーリング部１０１は、ぼけ付加部１１に入力される親画像データに対応する親画像のサイズと一致するように、スケーリングパラメータ(H,V)に基づいて、奥行きデータｚをダウンスケーリングし、ダウンスケーリングした奥行きデータｚをノイズ付加部１２に供給する。
【０１９９】
ステップＳ６３乃至ステップＳ７２の処理は、図８のステップＳ１乃至ステップＳ１０の処理と同様であるので、その説明は省略する。
【０２００】
ステップＳ７３において、予測係数演算部１０２は、図示せぬ装置から供給される親画像データ、タップ構築部１７から供給される画像予測タップに基づいて、クラス分類部１６から供給されるクラス、並びにノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)毎に、予測係数ｗnを演算し、係数メモリ１９に供給する。
【０２０１】
ステップＳ７４において、係数メモリ１９は、ステップＳ１２と同様に、予測係数演算部１０２から供給される予測係数ｗnを記憶し、処理は終了する。
【０２０２】
図１３は、図１１の学習装置１で学習された予測係数ｗnを用いて予測処理を行う予測装置８１の構成を示すブロック図である。
【０２０３】
図１３の予測装置８１は、タップ構築部９１、タップ構築部９２、クラス分類部９３、タップ構築部９５、予測演算部９６、および係数メモリ１１１により構成される。
【０２０４】
なお、図１３において、図９の予測装置８１と同一のものには、同一の符号を付してある。すなわち、図１３の予測装置８１には、図９の予測装置８１の係数メモリ９４の代わりに、係数メモリ１１１が設けられている。
【０２０５】
係数メモリ１１１には、図１１の係数メモリ１９に記憶された、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)毎の予測係数ｗnが記憶されている。係数メモリ１１１は、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)を取得する。
【０２０６】
係数メモリ１１１は、クラス分類部９３から供給されるクラス、並びに、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)に基づいて、そのクラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)に対応する予測係数ｗnを、既に記憶している予測係数ｗnの中から読み出し、その予測係数ｗnを予測演算部９６に提供する。
【０２０７】
なお、図１３の予測装置８１は、図１０の予測処理と同様の予測処理を行うので、その説明は省略する。但し、この場合、図１０のステップＳ３５では、係数メモリ１１１は、クラス分類部９３から供給されるクラス、並びに、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)に基づいて、そのクラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)に対応する予測係数ｗnを、既に記憶している予測係数ｗnの中から読み出し、その予測係数ｗnを予測演算部９６に提供する。
【０２０８】
図１４は、学習装置１のさらに他の実施の形態の構成を示すブロック図である。
【０２０９】
図１４の学習装置１は、ぼけ付加部１１、ノイズ付加部１２、ノイズ付加部１３、タップ構築部１４、タップ構築部１５、クラス分類部１６、タップ構築部１７、係数メモリ１９、ダウンスケーリング部１０１、予測係数演算部１０２、およびダウンスケーリング部１２１により構成され、ぼけ画像から、ぼけ画像に比べて高解像度のぼけ修正画像をクラス分類適応処理により予測する予測処理を行うときに用いられる予測係数ｗnを学習する。
【０２１０】
なお、図１４において、図１１の学習装置１と同一のものには同一の符号を付してある。すなわち、図１４の学習装置１は、図１１の学習装置１にダウンスケーリング部１２１がさらに設けられたものである。
【０２１１】
ダウンスケーリング部１２１は、ユーザにより指定されたスケーリングパラメータ（H,V）に基づいて、例えば、生徒画像のサイズが、予測処理対象のぼけ画像のサイズと同一となるように、ぼけ付加部１１から供給される生徒画像データをダウンスケーリングし、ダウンスケーリングした生徒画像データをノイズ付加部１３に供給する。
【０２１２】
図１４のダウンスケーリング部１０１では、ダウンスケーリング部１０１は、スケーリングパラメータ(H,V)に基づいて、例えば、奥行きデータｚに対応する、ぼけ画像に比べて高解像度のぼけ修正画像に相当する親画像のサイズが、ぼけ画像のサイズと同一となるように、奥行きデータｚをダウンスケーリングする。
【０２１３】
また、予測係数演算部１０２は、図示せぬ装置から供給される親画像データと、タップ構築部１７から供給されるダウンスケーリング後の生徒画像データから構築された画像予測タップとに基づいて、ダウンスケーリング後の生徒画像データから構築されたクラスタップと、ダウンスケーリング後の奥行きデータｚから構築された奥行きクラスタップとに基づいて分類されたクラス、並びにノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)毎に、予測係数ｗnを演算し、係数メモリ１９に供給する。
【０２１４】
以上のように、図１４の学習装置１は、生徒画像データと奥行きデータｚに対してダウンスケーリングを行うので、生徒画像と、奥行きデータｚに対応する親画像の解像度を、図１４の学習装置１に入力される親画像データに対応する親画像に対して低解像度に変換することができる。その結果、図１４の学習装置１は、変換後の生徒画像と奥行きデータｚ、並びに親画像データを用いることにより、ぼけ画像から、ぼけ画像に比べて高解像度のぼけ修正画像を予測する予測処理に用いられる予測係数ｗnを学習することができる。
【０２１５】
即ち、例えば、図１４の学習装置１は、ＳＤ（Standard Definition）画像であるぼけ画像から、ＨＤ（High Definition）画像であるぼけ修正画像を予測する予測処理に用いられる予測係数ｗnを学習することができる。
【０２１６】
次に、図１５を参照して、図１４の学習装置１が予測係数ｗnを学習する学習処理について説明する。この学習処理は、例えば、図１４の学習装置１に親画像データと奥行きデータｚが入力されたとき、開始される。
【０２１７】
ステップＳ１０１乃至ステップＳ１０６の処理は、図１２のステップＳ６１乃至ステップＳ６６の処理と同様であるので、その説明は省略する。
【０２１８】
ステップＳ１０７において、ダウンスケーリング部１２１は、スケーリングパラメータ(H,V)を取得する。ステップＳ１０８において、ダウンスケーリング部１２１は、スケーリングパラメータ(H,V)に基づいて、ぼけ付加部１１から供給される生徒画像データをダウンスケーリングし、ダウンスケーリングされた生徒画像データをノイズ付加部１３に供給する。
【０２１９】
ステップＳ１０９乃至ステップＳ１１６の処理は、ステップＳ６７乃至ステップＳ７４の処理と同様であるので、その説明は省略する。
【０２２０】
なお、図１４の学習装置１で学習された予測係数ｗnを用いて予測処理を行う予測装置８１は、図１３の予測装置８１と同一であるので、その説明は省略する。
【０２２１】
また、予測係数ｗnの演算には、画素だけでなく、画素以外のデータも用いることができる。予測係数ｗnの演算に、ぼけ画素だけでなく、奥行きデータｚも用いる場合の学習装置１の構成を、図１６に示す。
【０２２２】
図１６の学習装置１は、ぼけ付加部１１、ノイズ付加部１２、ノイズ付加部１３、タップ構築部１４、タップ構築部１５、クラス分類部１６、タップ構築部１７、係数メモリ１９、タップ構築部１３１、および予測係数演算部１３２により構成され、親画像データと生徒画像データのほかに、奥行きデータｚも用いて、ぼけ画像と、対応する奥行きデータｚとから、同一のサイズのぼけ修正画像をクラス分類適応処理により予測する予測処理を行うときに用いられる予測係数ｗnを学習する。
【０２２３】
なお、図１６において、図３の学習装置１と同一のものには同一の符号を付してある。
すなわち、図１６の学習装置１は、図３の学習装置１に、さらに、タップ構築部１３１が設けられ、予測係数演算部１８の代わりに、予測係数演算部１３２が設けられたものである。
【０２２４】
タップ構築部１３１には、ノイズ付加部１２からノイズ付加後の奥行きデータｚが供給される。タップ構築部１３１は、その奥行きデータｚから、注目画素の画素値を予測するために用いる奥行きデータｚの幾つかを抽出することで、奥行き予測タップを構築する。
タップ構築部１３１は、奥行き予測タップを予測係数演算部１３２に供給する。
【０２２５】
予測係数演算部１３２は、予測係数演算部１８と同様に、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰを取得する。また、予測係数演算部１３２は、図示せぬ装置から供給される親画像データ、タップ構築部１７から供給される画像予測タップ、および、タップ構築部１３１から供給される奥行き予測タップに基づいて、クラス分類部１６から供給されるクラス、並びにノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎に、予測係数ｗnを演算する。
【０２２６】
具体的には、予測係数演算部１３２は、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎にたてられる上述した式（８）の正規方程式のｘn,kとして、第ｋサンプルのぼけ画素だけでなく、奥行き予測タップを構成する奥行きデータｚも用いることにより、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎に、画像予測タップと奥行き予測タップに対応する画素の数分の予測係数ｗnを演算する。予測係数演算部１３２は、演算の結果得られる、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎の予測係数ｗnを、係数メモリ１９に供給して記憶させる。
【０２２７】
以上のように、図１６の学習装置１は、奥行きデータｚから構築された奥行き予測タップも用いて、奥行きデータｚを考慮した、画像予測タップと奥行き予測タップに対応する画素の数分の予測係数ｗnを演算するので、この予測係数ｗnを用いることにより、後述する図１８の予測装置８１は、より正確にぼけ修正画像を予測することができる。
【０２２８】
次に、図１７を参照して、図１６の学習装置１が予測係数ｗnを学習する学習処理について説明する。この学習処理は、例えば、図１６の学習装置１に親画像データと奥行きデータｚが入力されたとき、開始される。
【０２２９】
ステップＳ１２１乃至ステップＳ１３０の処理は、図８のステップＳ１乃至ステップＳ１０の処理と同様であるので、その説明は省略する。
【０２３０】
ステップＳ１３１において、タップ構築部１３１は、ノイズ付加部１２から供給されるノイズ付加後の奥行きデータｚから所定のものを抽出することで奥行き予測タップを構築し、その奥行き予測タップを予測係数演算部１３２に供給する。
【０２３１】
ステップＳ１３２において、予測係数演算部１３２は、図示せぬ装置から供給される親画像データ、タップ構築部１７から供給される画像予測タップ、および、タップ構築部１３１から供給される奥行き予測タップに基づいて、クラス分類部１６から供給されるクラス、並びにノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎に、予測係数ｗnを演算し、係数メモリ１９に供給する。
【０２３２】
ステップＳ１３３において、係数メモリ１９は、図８のステップＳ１２と同様に、予測係数演算部１３２から供給される予測係数ｗnを記憶し、処理は終了する。
【０２３３】
図１８は、図１６の学習装置１で学習された予測係数ｗnを用いて予測処理を行う予測装置８１の構成を示すブロック図である。
【０２３４】
図１８の予測装置８１は、タップ構築部９１、タップ構築部９２、クラス分類部９３、係数メモリ９４、タップ構築部９５、タップ構築部１４１、および予測演算部１４２により構成される。
【０２３５】
なお、図１８において、図９の予測装置８１と同一のものには、同一の符号を付してある。すなわち、図１８の予測装置８１には、タップ構築部１４１が新たに設けられ、図９の予測装置８１の予測演算部９６の代わりに、予測演算部１４２が設けられている。
【０２３６】
タップ構築部１４１は、図１６のタップ構築部１３１と同様に、注目画素の画素値を予測するために用いる、奥行きデータｚの幾つかを抽出することで、奥行き予測タップを奥行きデータｚから構築する。タップ構築部１４１は、奥行き予測タップを予測演算部１４２に供給する。
【０２３７】
予測演算部１４２は、タップ構築部９５から供給される画像予測タップ、タップ構築部１４１から供給される奥行き予測タップ、および係数メモリ９４から提供される予測係数ｗnを用いて、注目画素の画素値の予測値を求める予測演算を行う。
【０２３８】
具体的には、予測演算部１４２は、上述した式（１）の線形一次式のｘnとして、画像予測タップを構成するぼけ画素だけでなく、奥行き予測タップを構成する奥行きデータｚも適用し、ｗnとして、図１６の学習装置１により学習された画像予測タップと奥行き予測タップに対応する画素の数分の予測係数を適用することにより、ぼけ修正画像を構成する画素の画素値を求める。
【０２３９】
予測演算部１４２は、ぼけ修正画像を構成する各画素の画素値を、ぼけ修正画像データとして出力する。
【０２４０】
次に、図１９を参照して、図１８の予測装置８１がぼけ修正画像データを予測する予測処理について説明する。この予測処理は、例えば、予測装置８１にぼけ画像データと奥行きデータｚが入力されたとき、開始される。
【０２４１】
ステップＳ１４１乃至ステップＳ１４６の処理は、図１０のステップＳ３１乃至ステップＳ３６の処理と同様であるので、その説明は省略する。
【０２４２】
ステップＳ１４７において、タップ構築部１４１は、奥行きデータｚから奥行き予測タップを構築し、その奥行き予測タップを予測演算部１４２に供給する。ステップＳ１４８において、予測演算部１４２は、タップ構築部９５から供給される画像予測タップ、タップ構築部１４１から供給される奥行き予測タップ、および係数メモリ９４から提供される予測係数ｗnを用いて、注目画素の画素値の予測値を求める予測演算を行い、ぼけ修正画像を構成する各画素の画素値を求め、ぼけ修正画像データとして出力する。そして、処理は終了する。
【０２４３】
以上に説明したノイズは、パラメータに付加される揺らぎを含めて考えることができる。ここで揺らぎとは、エネルギー、密度、電圧などの、広がりまたは強度を持つ量の空間的または時間的な平均値からの変動を含む。揺らぎを与える関数は任意であるが、パワーが周波数ｆに反比例する１／ｆ揺らぎとすることで、より自然に変化するエフェクトを付加した画像を生成することができる。
【０２４４】
１／ｆ揺らぎは、ノイズSWNをフーリエ変換し、周波数領域でパワースペクトラムを１／ｆに加工し、逆フーリエ変換することで生成することができる。パラメータに付加するノイズ振幅の時間方向の変動に関するパワースペクトラムを１／ｆにし、各画素のパラメータごとに個別の１／ｆ揺らぎを付加する。フレームに関しても、時間方向の変動に関するパワースペクトラムを１／ｆにする。
【０２４５】
次に、このような意味での揺らぎとしてのノイズを付加した画像を生成する処理について説明する。本発明の実施の形態においては、予め設定されたぼけモデルのぼけデータにノイズを与えることで、ノイズを付加した画像が生成される。
【０２４６】
図２０はノイズを付加した画像の画像データを生成する画像生成装置の一実施の形態の構成を示すブロック図である。この画像生成装置３０１の基本的な構成は図３の学習装置１と同様であり、ぼけ付加部３１１、ノイズ付加部３１２、ノイズ付加部３１３、タップ構築部３１４、タップ構築部３１５、クラス分類部３１６、タップ構築部３１７、予測係数演算部３１８、および係数メモリ３１９は、図３のぼけ付加部１１、ノイズ付加部１２、ノイズ付加部１３、タップ構築部１４、タップ構築部１５、クラス分類部１６、タップ構築部１７、予測係数演算部１８、および係数メモリ１９と同様の機能を有している。従って、その説明は省略する。
【０２４７】
ただし、この実施の形態においては、ノイズ付加部３１２に奥行きデータｚだけでなく、動き情報と親画像データが供給されている他、ノイズパラメータＮｚに代えて、ノイズパラメータＮが供給されている。また予測係数演算部３１８にはノイズパラメータＮｉとぼけパラメータＰの他、ノイズパラメータＮと動き情報が供給されている。
【０２４８】
この画像生成装置３０１は、ノイズを付加した画像の画像データを生成する機能を有する他、ノイズが付加された画像からノイズを修正する処理を行う場合の予測係数を学習する機能を有する。すなわち画像生成装置３０１は、画像データ生成装置としての機能と、予測係数演算装置としての機能を有する。このため、ノイズ付加部３１３で生成された画像データは、ノイズが付加された画像の画像データとして他の装置に出力される他、生徒画像データとしてタップ構築部３１４とタップ構築部３１７に供給される。
【０２４９】
ノイズを付加した画像は、画像の合焦状態または動きにノイズ成分を付加することで、ぼけ画像として生成される。
【０２５０】
なお、ノイズを付加した画像の画像データを生成する画像生成装置は、図１４に示した学習装置に対応した構成も考えられる。この場合の実施の形態が図２１に示されている。この画像生成装置４００の基本的な構成は図１４の学習装置１と同様である。すなわち、図２１のぼけ付加部３１１、ノイズ付加部３１２、ノイズ付加部３１３、タップ構築部３１４、タップ構築部３１５、クラス分類部３１６、タップ構築部３１７、予測係数演算部４０２、係数メモリ３１９、ダウンスケーリング部４０１、予測係数演算部４０２、およびダウンスケーリング部４２１は、図１４のぼけ付加部１１、ノイズ付加部１２、ノイズ付加部１３、タップ構築部１４、タップ構築部１５、クラス分類部１６、タップ構築部１７、係数メモリ１９、ダウンスケーリング部１０１、予測係数演算部１０２、およびダウンスケーリング部１２１と同様の機能を有している。従って、その説明は省略する。
【０２５１】
ただし、ダウンスケーリング部４０１には奥行きデータｚとスケーリングパラメータ（Ｈ,Ｖ）の他、動き情報と親画像データが供給されている。ノイズ付加部３１２にはノイズパラメータＮｚに代えて、ノイズパラメータＮが供給されている。また予測係数演算部４０２にはノイズパラメータＮｉ、ぼけパラメータＰ、スケーリングパラメータ（Ｈ，Ｖ）に加えて、動き情報が供給されているとともに、ノイズパラメータＮｚに代えてノイズパラメータＮが供給されている。
【０２５２】
合焦状態のノイズ（ピントぼけノイズ）の付加は、距離情報、ぼけのガウス関数の偏差σ、ぼけのガウス関数の位相、もしくはぼけのガウス関数の先鋭度にノイズを付加するか、またはそれらのうちの所定のものの複合により行われる。
【０２５３】
距離情報に基づいて合焦状態にノイズを与える場合、ぼけデータとしての奥行きデータｚにノイズが付加される。すなわち、ノイズ付加後の奥行きデータをＺswnとし、付加するノイズをSWNdとした場合、次式に示すように、ノイズ付加前の奥行きデータｚに対してノイズSWNdを加算することでノイズ付加後の奥行きデータＺswnが演算される。
Ｚswn＝ｚ＋SWNd                （２１）
【０２５４】
ノイズSWNdは、次式に示されるように、フレーム単位で変化される成分SWNd(frame)と、画素単位で変化される成分SWNd(pixel)の和で表される。
SWNd ＝SWNd(frame)＋SWNd(pixel)        （２２）
【０２５５】
そして、ノイズSWNdは、例えば次式で表すことができる。この関数mseqは、疑似乱数を発生する。
RΣmseq[m]        （２３）
ｍ＝０，１，２，・・・ｎ
【０２５６】
それぞれのフレーム単位で変化する成分をRΣmseq[m](frame)、画素単位で変化する成分をRΣmseq[m](pixel)とすると、ノイズSWNdは次式で表される。なお、次式の右辺の添字のdは、係数Rや関数mseqが、距離に関するものであることを表わす。
SWNd＝RdΣmseqd[m](frame)＋RdΣmseqd[m](pixel)        （２４）
【０２５７】
そしてノイズSWNdを決定するパラメータとしての係数ＲdがノイズパラメータＮに対応して設定される。
【０２５８】
ノイズ付加部３１２は、以上の処理を実行するために図２２に示されるように、設定部３３１、取得部３３２、決定部３３３、および演算部３３４の機能的構成を有している。
【０２５９】
設定部３３１はユーザの指示に基づいて処理領域を設定する。取得部３３２はノイズパラメータＮと動き情報を取得する。決定部３３３はノイズの式の係数を決定する。演算部３３４はノイズを含む各種の演算を行う。
【０２６０】
また、ぼけ付加部３１１は、図２３に示されるように、取得部３５１、選択部３５２、および演算部３５３の機能的構成を有している。
【０２６１】
取得部３５１はぼけパラメータＰを取得する。選択部３５２は重みｗiを選択する。演算部３５３は各種の演算を行う。
【０２６２】
距離情報に基づいてピントぼけノイズの画像を生成する処理について、図２４のフローチャートを参照して説明する。
【０２６３】
ステップＳ２０１において、設定部３３１はユーザの指示に基づいて、処理領域を設定する。この場合、ユーザは、画像の一部、若しくは全部を処理領域として設定することができる。常に画像の全体を処理する場合には、この処理を省略することもできる。ステップＳ２０２において、取得部３３２はユーザにより指定されたノイズパラメータＮを取得する。ステップＳ２０３において、決定部３３３は、ノイズパラメータＮに対応して、式（２４）のノイズSWNdの係数Ｒdを決定する。
【０２６４】
ステップＳ２０４において、演算部３３４はノイズSWNdを演算する。すなわち、式（２４）に従って、ノイズSWNdが演算される。
【０２６５】
ステップＳ２０５において、演算部３３４は設定された処理領域に関し、ノイズSWNdを付加した奥行きデータを演算する。具体的には、式（２１）に従って、取得された奥行きデータｚに対して、ステップＳ２０４で演算されたノイズSWNdが加算されて、ノイズSWNd付加後の奥行きデータＺswnが演算される。このノイズSWNdが付加された奥行きデータＺswnはぼけモデルにノイズを与えるパラメータとしてボケ付加部３１１に出力される。
【０２６６】
ステップＳ２０６において、ボケ付加部３１１の演算部３５３はノイズを付加した画素データを演算する。すなわち、ぼけ付加部３１１では上述したように、ぼけモデルとしての式（１９）のぼけの点広がり関数WT(k,l)が、ノイズが付加された奥行きデータＺswnに基づいて演算され、式（１８）に基づいて親画像データにぼけが付加され、合焦状態が揺らいだ静止画が生成される。このノイズはフレーム毎に異なり、また画素毎に異なっている。
【０２６７】
従って、１枚の静止画に対して、フレーム単位かつ画素単位のノイズ成分を変化させて複数枚のフレームの画像を生成すると、１枚の画像が揺れて見える一種の動画を生成することができる。これにより、例えば、人が空気中の物を遠くから見たような場合に観察されるような、比較的詳細な元の状態をそのまま確認することができる画像であって、周囲の空気の温度、湿度の変化などに起因して自然に揺らぐエフェクトを有する画像を生成することができる。
【０２６８】
すなわち、以上の処理を行うことで、例えば図２５に示されるように、１枚の静止画を、それぞれ異なるノイズSWNdi（ｉ＝１，２，３）を付加した奥行きデータＺswn１、Ｚswn２、Ｚswn３に基づいて処理することで、元の静止画と若干異なるフレーム１乃至フレーム３の画像を生成することができる。
【０２６９】
ぼけ関数としてのガウス関数の偏差σに基づいて合焦状態のノイズを与えることもできる。この場合、ぼけモデルとしての式（１９）のうちのぼけデータとしての偏差σに対応する関数S(x+k,y+l)の、ｘ方向の成分Sx(x+k,y+l)とｙ方向の成分Sy(x+k,y+l)を独立とすることで、式（１９）は次式のように書き換えられる。
【０２７０】
【数１３】
2008109640.tif 000015
【０２７１】
このぼけデータとしての関数Sx(x+k,y+l)、Sy(x+k,y+l)に独立にノイズが与えられる。すなわち、ノイズSWNsのｘ成分とｙ成分をそれぞれSWNsx、SWNsyとして、ノイズ付加後の関数Sxswn(x+k,y+l)、Syswn(x+k,y+l)は、次式で演算される。
Sxswn(x+k,y+l)＝Sx(x+k,y+l)＋SWNsx
Syswn(x+k,y+l)＝Sy(x+k,y+l)＋SWNsy                    （２６）
【０２７２】
関数Sx(x+k,y+l)、Sy(x+k,y+l)が独立しているということは、図２６に示されるように両関数を図示した場合、関数の一方を他方の関数の軸に沿うように回転した場合、両関数の形状が一致しないことを意味する。
【０２７３】
この場合においても、フレーム単位で変化されるｘ成分とｙ成分をSWNsx (frame)、SWNsy (frame)、画素単位で変化されるｘ成分とｙ成分をSWNsx (pixel)、SWNsy (pixel)とすると、ノイズSWNsのｘ成分SWNsxとｙ成分SWNsyは次式で表される。
SWNsx＝SWNsx (frame)＋SWNsx (pixel)
SWNsy＝SWNsy (frame)＋SWNsy (pixel)
（２７）
【０２７４】
そして、式（２５）の関数Sx(x+k,y+l)、Sy(x+k,y+l)を、それにノイズSWNsのｘ成分SWNsxとｙ成分SWNsyを付加した関数Sxswn(x+k,y+l)、Syswn(x+k,y+l)で置き換えた次の式によってぼけの点広がり関数WT(k,l)swnが演算され、このぼけの点広がり関数WT(k,l)swnを用いて、式（１８）に従って画像データY(x,y)が演算される。
【０２７５】
【数１４】
2008109640.tif 000016
【０２７６】
例えば、ノイズSWNsを上述した式（２３）で表すとする。そして、それぞれのフレーム単位で変化する成分をRΣmseq[m](frame)、画素単位で変化する成分をRΣmseq[m](pixel)とすると、ノイズSWNsのｘ成分SWNsxとｙ成分SWNsyは次式で表される。
SWNsx＝RSxΣmseqSx[m](frame)＋RSxΣmseqSx[m](pixel)   
SWNsy＝RSyΣmseqSy[m](frame)＋RSyΣmseqSy[m](pixel)  
（２９）
【０２７７】
そして係数RSx，RSyをノイズパラメータＮに応じて決定することで、ノイズSWNsx、SWNsyの値が決定される。ノイズSWNsx、SWNsyが付加された関数Sxswn(x+k,y+l)、Syswn(x+k,y+l)が、ぼけモデルでノイズを与えるパラメータとしてぼけ付加部３１１に供給される。
【０２７８】
偏差によるピントぼけノイズの画像生成処理の手順を、図２７のフローチャートを参照して説明する。
【０２７９】
ステップＳ２３１において、設定部３３１はユーザの指示に基づいて処理領域を設定する。この場合、ユーザは画像の一部、若しくは全部を処理領域として設定することができる。常に画像の全体を処理する場合には、この処理を省略することもできる。ステップＳ２３２において、取得部３３２はユーザにより指定されたノイズパラメータＮを取得する。ステップＳ２３３において、決定部３３３はノイズパラメータＮに基づいて式（２９）の係数RSx，RSyを決定する。
【０２８０】
ステップＳ２３４において、演算部３３４はノイズSWNsx、SWNsyを演算する。すなわち、ステップＳ２３２において取得されたノイズパラメータＮに対応する係数RSx，RSyに基づいて、式（２９）からノイズSWNsx、SWNsyが演算される。
【０２８１】
ステップＳ２３５において、演算部３３４はノイズSWNsx、SWNsyを付加したぼけの点広がり関数WT(k,l)swnを演算する。すなわち、ステップＳ２３４で演算されたノイズSWNsx、SWNsyが付加されたぼけの点広がり関数WT(k,l)swnが、式（２８）に従って演算される。このノイズSWNsx、SWNsyが付加されたぼけの点広がり関数WT(k,l)swnは、ぼけモデルにノイズを与えるパラメータとしてぼけ付加部３１１に出力される。
【０２８２】
ステップＳ２３６において、ぼけ付加部３１１の演算部３５３は設定された処理領域に関し、ノイズSWNsx、SWNsyを付加した画素データを演算する。具体的には、親画像データX(x+k,y+l)が取得され、取得された親画像データX(x+k,y+l)に対して、ステップＳ２３５で演算されたノイズSWNsx、SWNsyが付加されたぼけの点広がり関数WT(k,l)swnを用いて画素データY(x,y)が、式（１８）に従って演算される。
【０２８３】
このようにして生成された画像データの画像の各画素には、フレーム毎に異なり、また画素毎に異なるノイズ成分が付加されている。従って、１枚の静止画に対して、フレーム単位かつ画素単位のノイズ成分を変化させて複数枚のフレームの画像を生成すると、１枚の画像が揺れて見える一種の動画を生成することができる。
【０２８４】
すなわち、この場合においても、上述した場合と同様に、人が空気中の物を遠くから見たような場合に観察されるような、比較的詳細な元の状態をそのまま確認することができる画像であって、周囲の空気の温度、湿度の変化などに起因して自然に揺らぐエフェクトを有する画像を生成することができる。
【０２８５】
ぼけモデルを規定するぼけの点広がり関数WT(k,l)の位相にノイズを付加することで、画像に合焦状態のノイズを付加することができる。この場合、ぼけの点広がり関数WT(k,l)のぼけデータとしてのｘ成分ｋとｙ成分ｌにノイズSWNk(x,y)、SWNl(x,y)が付加され、ノイズ付加後のｘ成分kswnとｙ成分lswnは、次式で示すようになる。
kswn＝ｋ＋SWNk(x,y)
lswn＝ｌ＋SWNl(x,y)
（３０）
【０２８６】
式（３０）を代入することで式（１９）が次式のように書き換えられる。
【０２８７】
【数１５】
2008109640.tif 000017
【０２８８】
ノイズSWNk(x,y)、SWNl(x,y)も、次式で表されるように、フレーム単位でのノイズ成分SWNk(x,y) (frame)、SWNl (frame)と、画素単位でのノイズ成分SWNk(x,y) (pixel)、SWNl (pixel)の和で構成される。
【０２８９】
SWNk(x,y)＝SWNk(x,y) (frame)＋SWNk(x,y) (pixel)
SWNl(x,y)＝SWNl(x,y) (frame)＋SWNl(x,y) (pixel)
（３２）
【０２９０】
ノイズSWNk(x,y)、SWNl(x,y)を上述した式（２３）で表すものとする。そして、それぞれのフレーム単位で変化される成分をRkΣmseqk[m](frame)、RlΣmseql[m](frame)、画素単位で変化される成分をRkΣmseqk[m](pixel)、RlΣmseql[m](pixel)とすると、ノイズSWNk(x,y)、SWNl(x,y)は次式で表される。
SWNk(x,y)＝RkΣmseqk[m](frame)＋RkΣmseqk[m](pixel)
SWNl(x,y)＝RlΣmseql[m](frame)＋RlΣmseql[m](pixel)
（３３）
【０２９１】
そしてノイズSWNk(x,y)、SWNl(x,y)の係数Rk、RlがノイズパラメータＮに対応して決定される。
【０２９２】
位相によるピントぼけノイズの画像生成処理の手順を、図２８のフローチャートを参照して説明する。
【０２９３】
ステップＳ２６１において、設定部３３１はユーザの指示に基づいて処理領域を設定する。この場合、ユーザは画像の一部、若しくは全部を処理領域として設定することができる。常に画像の全体を処理する場合には、この処理を省略することもできる。ステップＳ２６２において、取得部３３２はユーザにより指定されたノイズパラメータＮを取得する。ステップＳ２６３において、決定部３３３はノイズパラメータＮに基づいて、式（３３）のノイズSWNk(x,y)、SWNl(x,y)の係数Rk、Rlを決定する。
【０２９４】
ステップＳ２６４において、演算部３３４はノイズSWNk(x,y)、SWNl(x,y)を演算する。すなわち、ステップＳ２６２において取得されたノイズパラメータＮに対応する係数Rk、Rlに基づいて、式（３３）からノイズSWNk(x,y)、SWNl(x,y)が演算される。
【０２９５】
ステップＳ２６５において、演算部３３４はノイズSWNk(x,y)、SWNl(x,y)を付加したぼけの点広がり関数WT(k,l)swnを演算する。すなわち、ステップＳ２６４で演算されたノイズSWNk(x,y)、SWNl(x,y)が付加されたぼけの点広がり関数WT(k,l)swnが、式（３１）に従って演算される。このノイズSWNk(x,y)、SWNl(x,y)が付加されたぼけの点広がり関数WT(k,l)swnは、ぼけモデルでノイズを与えるパラメータとして、ぼけ付加部３１１に出力される。
【０２９６】
ステップＳ２６６において、ぼけ付加部３１１の演算部３５３は設定された処理領域に関し、ノイズSWNk(x,y)、SWNl(x,y)を付加した画素データを演算する。具体的には、入力された親画像データX(x+k,y+l)から、ステップＳ２６５で演算されたノイズSWNk(x,y)、SWNl(x,y)が付加されたぼけの点広がり関数WT(k,l)swnを用いて式（１８）に従って、画素データY(x,y)が演算される。
【０２９７】
以上のように位相にノイズを与えることは、図２９に示されるように、例えばｘ座標で表されるぼけの点広がり関数WT1のピーク値を与えるｘ座標の値がμ1である場合、そのピーク値を与えるｘ座標がμ2またはμ3である位相の関数WT2、WT3にシフトすることを意味する。
【０２９８】
このようにした場合においても、上述した場合と同様に、自然に揺らぐエフェクトを有する画像を生成することができる。
【０２９９】
ぼけモデルとしてのぼけの点広がり関数WT(k,l)の先鋭度にノイズを付加することで、画像に合焦状態のノイズを付加することができる。図３０には最も先鋭度が高い関数WT11、中程度の関数WT12、最も低い関数WT13が示されている。式（１９）のサンプリングポイントの間隔を密にすることで先鋭度を低くし、粗にすることで高くすることができる。
【０３００】
係数値の合計が１．０にならない場合、各係数値を係数の総和で除算することで、正規化が行われる。
【０３０１】
すなわち、異なる偏差σで算出した複数の正規分布を結合して、レベルを正規化することで、先鋭度を変えた特性（すなわち式）を得ることができる。注目画素に対して異なる偏差σの足し込み特性を算出し、それらを積分後、レベル正規化が行われる。先鋭度が変化する状態は、１画素内で、奥行き方向（すなわち距離方向）にノイズが生じている状態（すなわち、１画素の積分時間内に前後に動きが生じた状態）と等価と考えることができる。この場合、ぼけの点広がり関数は、次の混合正規分布の式で表される。
【０３０２】
【数１６】
2008109640.tif 000018
【０３０３】
上記式のぼけデータとしての係数Ｋｐを、ノイズを与えた係数Ｋｐswnに変更すると、上記式は次のように書き換えられる。
【０３０４】
【数１７】
2008109640.tif 000019
【０３０５】
ノイズをSWNｐとすると、ノイズを与えた係数Ｋｐswnは次式で表される。
【０３０６】
【数１８】
2008109640.tif 000020
【０３０７】
ノイズSWNｐを式（２３）で表すとし、それぞれのフレーム単位で変化される成分をRpΣmseqp[m](frame)、画素単位で変化される成分をRpΣmseqp[m](pixel)とすると、ノイズSWNp(x,y)は次式で表される。
SWNp(x,y)＝RpΣmseqp[m](frame)＋RpΣmseqp[m](pixel)
（３８）
【０３０８】
そしてノイズSWNp(x,y)の係数RpがノイズパラメータＮに対応して設定される。
【０３０９】
尖鋭度によるピントぼけノイズの画像生成処理の手順を、図３１のフローチャートを参照して説明する。
【０３１０】
ステップＳ２７１において、設定部３３１はユーザの指示に基づいて処理領域を設定する。この場合、ユーザは画像の一部、若しくは全部を処理領域として設定することができる。常に画像の全体を処理する場合には、この処理を省略することもできる。ステップＳ２７２において、取得部３３２はユーザにより指定されたノイズパラメータＮを取得する。ステップＳ２７３において、決定部３３３はノイズパラメータＮに基づいて、式（３８）のノイズSWNp(x,y)の係数Rpを決定する。
【０３１１】
ステップＳ２７４において、演算部３３４はノイズSWNp(x,y)を演算する。すなわち、ステップＳ２７２において取得されたノイズパラメータＮに対応する係数Rpに基づいて、式（３８）からノイズSWNp(x,y)が演算される。
【０３１２】
ステップＳ２７５において、演算部３３４はノイズSWNp(x,y)を付加したぼけの点広がり関数WT(k,l)swnを演算する。すなわち、ステップＳ２７４で演算されたノイズSWNp(x,y)が付加されたぼけの点広がり関数WT(k,l)swnが、式（３５）に従って演算される。このノイズSWNp(x,y)が付加されたぼけの点広がり関数WT(k,l)swnは、ぼけモデルでノイズを与えるパラメータとして、ぼけ付加部３１１に出力される。
【０３１３】
ステップＳ２７６において、ぼけ付加部３１１の演算部３５３は設定された処理領域に関し、ノイズSWNp(x,y)を付加した画素データを演算する。具体的には、入力された親画像データX(x+k,y+l)から、ステップＳ２７５で演算されたノイズSWNp(x,y)が付加されたぼけの点広がり関数WT(k,l)swnを用いて式（１８）に従って、画素データY(x,y)が演算される。
【０３１４】
以上のように尖鋭度にノイズを与えた場合においても、上述した場合と同様に、自然に揺らぐエフェクトを有する画像を生成することができる。
【０３１５】
さらに図３２に示されるように、ぼけモデルとしての式（１９）のぼけの点広がり関数WT(k,l)を、ガウス関数WT21から歪ませた関数WT22、WT23と変化させることでも画像に合焦状態のノイズを付加することができる。
【０３１６】
次に動きぼけのノイズを付加した画像を生成する場合について説明する。
【０３１７】
静止した状態の背景の前を所定の物体の前景が移動する場合、これをセンサにより撮像すると、背景のみを撮像する画素、前景のみを撮像する画素、そして前景と背景を混合して撮像する画素が出現する。以下このことを詳述する。
【０３１８】
図３３は、センサによる撮像を説明する図である。センサ３９１は、例えば、固体撮像素子であるCCD（Charge-Coupled Device）エリアセンサを備えたCCDビデオカメラなどで構成される。現実世界における、前景に対応するオブジェクトは、現実世界における、背景に対応するオブジェクトと、センサ３９１との間を、例えば、図中の左側から右側に水平に移動する。
【０３１９】
例えばビデオカメラなどにより構成されるセンサ３９１は、前景に対応するオブジェクトを、背景に対応するオブジェクトと共に撮像する。センサ３９１は、撮像した画像を１フレーム単位で出力する。例えば、センサ３９１は、１秒間に３０フレームから成る画像を出力する。センサ３９１の露光時間は、１／３０秒とすることができる。露光時間は、センサ３９１が入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【０３２０】
図３４は、画素の配置を説明する図である。図３４において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、センサ３９１上に配置されている。センサ３９１が画像を撮像するとき、１つの検出素子は、画像を構成する１つの画素に対応する画素値を出力する。例えば、検出素子のＸ方向の位置は、画像上の横方向の位置に対応し、検出素子のＹ方向の位置は、画像上の縦方向の位置に対応する。
【０３２１】
図３５に示すように、例えば、CCDである検出素子は、シャッタ時間に対応する期間、入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。
【０３２２】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、センサ３９１から出力される個々の画素値は、前景または背景に対応するオブジェクトの空間的に広がりを有するある部分を、シャッタ時間について積分した結果である、１次元の空間に射影された値を有する。
【０３２３】
図３６は、静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。例えば、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。
【０３２４】
図３６に示すF01乃至F04の画素値は、静止している前景のオブジェクトに対応する画素の画素値である。図３６に示すB01乃至B04の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。
【０３２５】
図３６における縦方向は、図中の上から下に向かって時間が経過する。図３６中の矩形の上辺の位置は、センサ３９１が入力された光の電荷への変換を開始する時刻に対応し、図３６中の矩形の下辺の位置は、センサ３９１が入力された光の電荷への変換を終了する時刻に対応する。すなわち、図３６中の矩形の上辺から下辺までの距離は、シャッタ時間に対応する。
【０３２６】
以下において、シャッタ時間とフレーム間隔とが同一である場合を例に説明する。
【０３２７】
図３６における横方向は、空間方向Xに対応する。より具体的には、図３６に示す例において、図３６中の”F01”と記載された矩形の左辺から”B04”と記載された矩形の右辺までの距離は、画素のピッチの８倍、すなわち、連続している８つの画素の間隔に対応する。
【０３２８】
前景のオブジェクトおよび背景のオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサ３９１に入力される光は変化しない。
【０３２９】
ここで、シャッタ時間に対応する期間を２つ以上の同じ長さの期間に分割する。例えば、仮想分割数を４とすると、図３６に示すモデル図は、図３７に示すモデルとして表すことができる。仮想分割数は、前景に対応するオブジェクトのシャッタ時間内での動き量ｖなどに対応して設定される。例えば、４である動き量ｖに対応して、仮想分割数は、４とされ、シャッタ時間に対応する期間は４つに分割される。
【０３３０】
図中の最も上の行は、シャッタが開いて最初の、分割された期間に対応する。図中の上から２番目の行は、シャッタが開いて２番目の、分割された期間に対応する。図中の上から３番目の行は、シャッタが開いて３番目の、分割された期間に対応する。図中の上から４番目の行は、シャッタが開いて４番目の、分割された期間に対応する。
【０３３１】
以下、動き量ｖに対応して分割されたシャッタ時間をシャッタ時間／ｖとも称する。
【０３３２】
前景に対応するオブジェクトが静止しているとき、センサ３９１に入力される光は変化しないので、前景の成分F01/vは、画素値F01を仮想分割数で除した値に等しい。同様に、前景に対応するオブジェクトが静止しているとき、前景の成分F02/vは、画素値F02を仮想分割数で除した値に等しく、前景の成分F03/vは、画素値F03を仮想分割数で除した値に等しく、前景の成分F04/vは、画素値F04を仮想分割数で除した値に等しい。
【０３３３】
背景に対応するオブジェクトが静止しているとき、センサ３９１に入力される光は変化しないので、背景の成分B01/vは、画素値B01を仮想分割数で除した値に等しい。同様に、背景に対応するオブジェクトが静止しているとき、背景の成分B02/vは、画素値B02を仮想分割数で除した値に等しく、B03/vは、画素値B03を仮想分割数で除した値に等しく、B04/vは、画素値B04を仮想分割数で除した値に等しい。
【０３３４】
すなわち、前景に対応するオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサ３９１に入力される前景のオブジェクトに対応する光が変化しないので、シャッタが開いて最初の、シャッタ時間／ｖに対応する前景の成分F01/vと、シャッタが開いて２番目の、シャッタ時間／ｖに対応する前景の成分F01/vと、シャッタが開いて３番目の、シャッタ時間／ｖに対応する前景の成分F01/vと、シャッタが開いて４番目の、シャッタ時間／ｖに対応する前景の成分F01/vとは、同じ値となる。F02/v乃至F04/vも、F01/vと同様の関係を有する。
【０３３５】
背景に対応するオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサ３９１に入力される背景のオブジェクトに対応する光は変化しないので、シャッタが開いて最初の、シャッタ時間／ｖに対応する背景の成分B01/vと、シャッタが開いて２番目の、シャッタ時間／ｖに対応する背景の成分B01/vと、シャッタが開いて３番目の、シャッタ時間／ｖに対応する背景の成分B01/vと、シャッタが開いて４番目の、シャッタ時間／ｖに対応する背景の成分B01/vとは、同じ値となる。B02/v乃至B04/vも、同様の関係を有する。
【０３３６】
次に、前景に対応するオブジェクトが移動し、背景に対応するオブジェクトが静止している場合について説明する。
【０３３７】
図３８は、前景に対応するオブジェクトが図中の右側に向かって移動する場合の、カバードバックグラウンド領域（前景領域に対して、前景のオブジェクトの進行方向の前端部に対応する位置の、前景成分と背景成分の混合領域であり、時間の経過に対応して背景成分が前景に覆い隠される領域）を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図３８において、前景の動き量ｖは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図３８において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動する。
【０３３８】
図３８において、最も左側の画素乃至左から４番目の画素は、前景領域に属する。図３８において、左から５番目乃至左から７番目の画素は、カバードバックグラウンド領域である混合領域に属する。図３８において、最も右側の画素は、背景領域に属する。
【０３３９】
前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトを覆い隠すように移動しているので、カバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間に対応する期間のある時点で、背景の成分から、前景の成分に替わる。
【０３４０】
例えば、図３８中に太線枠を付した画素値Mは、式（３９）で表される。
【０３４１】
M=B02/v+B02/v+F07/v+F06/v            （３９）
【０３４２】
例えば、左から５番目の画素は、１つのシャッタ時間／ｖに対応する背景の成分を含み、３つのシャッタ時間／ｖに対応する前景の成分を含むので、左から５番目の画素の混合比α（前景成分と背景成分の和である１画素の値において前景成分が占める割合）は、1/4である。左から６番目の画素は、２つのシャッタ時間／ｖに対応する背景の成分を含み、２つのシャッタ時間／ｖに対応する前景の成分を含むので、左から６番目の画素の混合比αは、1/2である。左から７番目の画素は、３つのシャッタ時間／ｖに対応する背景の成分を含み、１つのシャッタ時間／ｖに対応する前景の成分を含むので、左から７番目の画素の混合比αは、3/4である。
【０３４３】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図３８中の左から４番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分F07/vは、図３８中の左から５番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分F07/vは、図３８中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図３８中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
【０３４４】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図３８中の左から３番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分F06/vは、図３８中の左から４番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分F06/vは図３８中の左から５番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図３８中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
【０３４５】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図３８中の左から２番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分F05/vは、図３８中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖのに対応する前景の成分に等しい。同様に、前景の成分F05/vは、図３８中の左から４番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図３８中の左から５番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
【０３４６】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図３８中の最も左側の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分F04/vは、図３８中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分F04/vは、図３８中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図３８中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
【０３４７】
動いているオブジェクトに対応する前景の領域は、このように動きぼけを含むので、歪み領域とも言える。
【０３４８】
図３９は、前景が図中の右側に向かって移動する場合の、アンカバードバックグラウンド領域（前景に対して、前景のオブジェクトの進行方向の後端部に対応する位置の、前景成分と背景成分の混合領域であり、時間の経過に対応して背景成分が現れる領域）を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図３９において、前景の動き量ｖは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図３９において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に移動する。
【０３４９】
図３９において、最も左側の画素乃至左から４番目の画素は、背景領域に属する。図３９において、左から５番目乃至左から７番目の画素は、アンカバードバックグラウンドである混合領域に属する。図３９において、最も右側の画素は、前景領域に属する。
【０３５０】
背景に対応するオブジェクトを覆っていた前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトの前から取り除かれるように移動しているので、アンカバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間に対応する期間のある時点で、前景の成分から、背景の成分に替わる。
【０３５１】
例えば、図３９中に太線枠を付した画素値M'は、式（４０）で表される。
【０３５２】
M'=F02/v+F01/v+B26/v+B26/v            （４０）
【０３５３】
例えば、左から５番目の画素は、３つのシャッタ時間／ｖに対応する背景の成分を含み、１つのシャッタ時間／ｖに対応する前景の成分を含むので、左から５番目の画素の混合比αは、3/4である。左から６番目の画素は、２つのシャッタ時間／ｖに対応する背景の成分を含み、２つのシャッタ時間／ｖに対応する前景の成分を含むので、左から６番目の画素の混合比αは、1/2である。左から７番目の画素は、１つのシャッタ時間／ｖに対応する背景の成分を含み、３つのシャッタ時間／ｖに対応する前景の成分を含むので、左から７番目の画素の混合比αは、1/4である。
【０３５４】
式（３９）および式（４０）をより一般化すると、画素値Mは、式（４１）で表される。
【０３５５】
【数１９】
2008109640.tif 000021
【０３５６】
ここで、αは、混合比である。Ｂは、背景の画素値であり、Fi/vは、前景の成分である。
【０３５７】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量ｖが４であるので、例えば、図３９中の左から５番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分F01/vは、図３９中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、F01/vは、図３９中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図３９中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
【０３５８】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、仮想分割数が４であるので、例えば、図３９中の左から６番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分F02/vは、図３９中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分F02/vは、図３９中の左から８番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分に等しい。
【０３５９】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量ｖが４であるので、例えば、図３９中の左から７番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分F03/vは、図３９中の左から８番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。
【０３６０】
図３７乃至図３９の説明において、仮想分割数は、４であるとして説明したが、仮想分割数は、動き量ｖに対応する。動き量ｖは、一般に、前景に対応するオブジェクトの移動速度に対応する。例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動しているとき、動き量ｖは、４とされる。動き量ｖに対応し、仮想分割数は、４とされる。同様に、例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて６画素分左側に表示されるように移動しているとき、動き量ｖは、６とされ、仮想分割数は、６とされる。
【０３６１】
動きぼけのノイズを付加した画像を生成する場合、以上に説明した式（４１）の動き量ｖにノイズを付加することができる。すなわちノイズSWNvを付加した動き量ｖswnは、次の式で表される。
ｖswn＝ｖ＋SWNv                        （４２）
【０３６２】
そして、式（４１）は次のように書き換えられ、各画素値Mは、次式に基づいて演算される。
【０３６３】
【数２０】
2008109640.tif 000022
【０３６４】
ここでもノイズSWNVは、次式で表されるように、フレーム単位で変化する成分SWNV(frame)と、画素単位で変化する成分SWNV(pixel)との和とされる。
SWNV＝SWNV(frame)＋SWNV(pixel)                （４４）
【０３６５】
ノイズSWNvを上述した式（２３）で表すものとする。そして、それぞれのフレーム単位で変化される成分をRVΣmseqV [m](frame)、画素単位で変化される成分をRVΣmseqV[m](pixel)とすると、ノイズSWNVは次式で表される。
SWNV＝RVΣmseqV[m](frame)＋RVΣmseqV[m](pixel)      （４５）
【０３６６】
そして式（４５）の係数RVがノイズパラメータＮに応じて決定される。
【０３６７】
動き量の動きぼけノイズの画像生成処理の手順は、図４０のフローチャートに示されるようになる。
【０３６８】
ステップＳ２９１において、設定部３３１はユーザにより指定された領域を処理領域として設定する。この場合、画像の一部、若しくは全部を処理領域として設定することができる。常に画像の全体を処理する場合には、この処理を省略することもできる。ステップＳ２９２において、取得部３３２はステップＳ２９１で設定された処理領域の各画素の動き情報を取得する。この動き情報には動き量ｖが含まれている。
【０３６９】
ステップＳ２９３において、取得部３３２はユーザにより指定されたノイズパラメータＮを取得する。ステップＳ２９４において、決定部３３３は取得されたノイズパラメータＮに基づいて、式（４５）の係数Ｒｖを決定する。ステップＳ２９５において、演算部３３４はノイズSWNVを演算する。すなわち、ステップＳ２９４において決定された係数Ｒｖに基づいて、式（４５）に従って、ノイズSWNVが演算される。
【０３７０】
ステップＳ２９６において、演算部３３４はノイズSWNVを付加した動き量ｖswnを演算する。すなわち、ステップＳ２９５で演算されたノイズSWNVが付加された動き量ｖswnが、式（４２）に従って演算される。このノイズSWNVが付加された動き量ｖswnは、ぼけモデルでノイズを与えるパラメータとして、ぼけ付加部３１１に出力される。
【０３７１】
ステップＳ２９７において、ぼけ付加部３１１の演算部３５３は設定された処理領域において、ノイズSWNVを付加した画素データを演算する。具体的には、親画像データとともに供給された混合比α、背景の画素値Ｂ、および前景の画素値Fi、並びに演算されたノイズSWNVが付加された動き量ｖswnを用いて、式（４３）に基づき画素値Ｍswnが演算される。
【０３７２】
このようにした場合においても、上述した場合と同様に、自然に揺らぐエフェクトを有する画像を生成することができる。
【０３７３】
次に、動きの方向（すなわち角度）にノイズを付加して、画像を生成する場合について説明する。
【０３７４】
図４１Ａに示されるように、動きの方向が水平方向である場合、対象とされる注目画素が位置するライン上の処理領域ＷＡ内の他の画素の画素値に所定の係数で重み付けして積和された値がぼけ成分として注目画素の画素値に加算される。動きの方向が垂直方向である場合、対象とされる注目画素が位置する垂直方向のライン上の処理領域ＷＡ内の他の画素の画素値に所定の係数で重み付けして積和された値がぼけ成分として注目画素の画素値に加算される。
【０３７５】
図４１Ｂに示されるように、動きの方向が斜め方向である場合、対象とされる注目画素が位置するその動きの方向のラインＬを中心として所定の幅の範囲が処理領域ＷＡとされる。そして、斜めのラインＬ上に、画素の水平および垂直方向のピッチと同じ距離だけ離れた位置の補間画素が演算される。
【０３７６】
図４２は補間画素の演算の原理を表している。同図に示されるように、補間位置Ｐwaの画素値ＤＰwaは、位置Ｐwaに最も近い周囲の４個の位置Ｐw1乃至Pw4の画素値ＤＰw1乃至ＤＰw4から、次式に基づいて演算される。
ＤＰwa＝｛（１−βｈ）（１−βｖ）／ｖ｝ＤＰw1
＋｛（βｈ）（１−βｖ）／ｖ｝ＤＰw2
＋｛（１−βｈ）（βｖ）／ｖ｝ＤＰw3
＋｛（βｈ）（βｖ）／ｖ｝ＤＰw4
（４６）
【０３７７】
式（４６）において、θを動きの方向のラインＬのｘ軸に対する角度とするとき、βｈはcosθ、βｖはsinθを、それぞれ表している。
【０３７８】
ぼけデータとしての角度θ（動きの方向）に対するノイズは、βｈ、βｖに対して分解して付加される。すなわち、ぼけデータとしてのβｈ、βｖに対するノイズをそれぞれSWNβh、SWNβvとすると、ノイズ付加後のβｈ、βｖであるβｈswn、βｖswnは、それぞれ次式で表される。
βｈswn ＝βｈ＋SWNβh
βｖswn ＝βｖ＋SWNβv
（４７）
【０３７９】
ノイズSWNβh、SWNβvを上述した式（２３）で表すものとする。そして、それぞれのフレーム単位で変化される成分をRβhΣmseqβh[m](frame)、RβvΣmseqβv[m](frame)、画素単位で変化される成分をRβhΣmseqβh[m](pixel)、RβvΣmseqβv[m](pixel)とすると、ノイズSWNβh、SWNβvは次式で表される。
SWNβh＝RβhΣmseqβh[m](frame)＋RβhΣmseqβh[m](pixel)
SWNβv＝RβvΣmseqβv[m](frame)＋RβvΣmseqβv[m](pixel)
（４８）
【０３８０】
従って、ノイズSWNβh、SWNβvを付加した補間位置Ｐwaの画素値ＤＰwaswnは、次式で表される。この式は、補間位置Ｐwaの画素値ＤＰwaを演算する場合の補間画素の位置にノイズを付加することを意味する。
ＤＰwaswn＝｛（１−βｈswn）（１−βｖswn）／ｖ｝ＤＰw1
＋｛（βｈswn）（１−βｖswn）／ｖ｝ＤＰw2
＋｛（１−βｈswn）（βｖswn）／ｖ｝ＤＰw3
＋｛（βｈswn）（βｖswn）／ｖ｝ＤＰw4
（４９）
【０３８１】
注目画素の画素値ＤＰw1にノイズを付加した注目画素の画素値ＤＰwswnは、次式で演算される。ｗiは各補間画素の重み付け係数であり、ぼけパラメータＰに基づいて選択、決定される。
【０３８２】
【数２１】
2008109640.tif 000023
【０３８３】
次に、図４３のフローチャートを参照して、動きの方向、すなわち角度による動きぼけノイズの画像生成処理について説明する。
【０３８４】
ステップＳ３６１において、設定部３３１はユーザからの指示に基づいて処理領域を設定する。この場合、画像の一部、若しくは全部を処理領域として設定することができる。常に画像の全体を処理する場合には、この処理を省略することもできる。ステップＳ３６２において、取得部３３２は処理領域の各画素の動き情報を取得する。この動き情報には、動き量ｖの他、動きの方向を表す情報が含まれている。
【０３８５】
ステップＳ３６３において、演算部３３４は動きの方向に沿った補間画素を演算する。すなわち、式（４６）に基づいて、画素値ＤＰwaが演算される。ステップＳ３６４において、取得部３３２はユーザからの入力に基づいてノイズパラメータＮを取得する。ステップＳ３６５において、決定部３３３は式（４８）のノイズSWNβh、SWNβvの係数Rβh,Rβvを決定する。
【０３８６】
ステップＳ３６６において、演算部３３４はノイズSWNβh、SWNβvを式（４８）に基づいて演算する。ステップＳ３６７において、演算部３３４はノイズSWNβh、SWNβvを付加した角度成分βｈswn、βｖswnを式（４７）に基づいて演算する。このノイズSWNβh、SWNβvを付加した角度成分βｈswn、βｖswnは、ぼけモデルでノイズを与えるパラメータとして、ぼけ付加部３１１に出力される。
【０３８７】
ステップＳ３６８において、ぼけ付加部３１１の取得部３５１はユーザからの入力に基づいてぼけパラメータＰを取得する。ステップＳ３６９において、選択部３５２は取得されたぼけパラメータＰに基づいて、予め記憶されている重みｗiの中から対応する重みｗiを選択する。ステップＳ３７０において、演算部３５３はノイズSWNβh、SWNβvを付加した角度成分βｈswn、βｖswnに基づいて画素データを演算する。すなわち、式（５０）に基づいて、画素値ＤＰwswnが演算される。
【０３８８】
このようにした場合においても、上述した場合と同様に、自然に揺らぐエフェクトを有する画像を生成することができる。
【０３８９】
なお、ぼけの画像を生成する場合、上記した複数の方法のうちの２個以上を適宜組み合わせることもできる。
【０３９０】
また、上記した各ノイズSWN（ノイズSWNd、SWNsx、SWNsy、SWNk(x,y)、SWNl(x,y)、SWNp、SWNv、SWNβh、SWNβv）は、式（２３）の他、次の式で表すこともできる。
SWN＝ａ＋ｂ・rand                            （５１）
−１．０≦rand≦１．０
ａはオフセット、ｂはゲインである。randは疑似乱数を発生する関数である。
【０３９１】
またはノイズSWNは、次の式で表すこともできる。
SWN＝ａ（ｄ）＋ｂ（ｄ）・rand                            （５２）
この式は、式（５１）のオフセットａとゲインｂを、ｄの関数としたものである。
【０３９２】
ぼけ付加部３１１でノイズが付加された画像データは、ノイズ付加部３１３で必要に応じてさらにノイズが付加された後、エフェクトを付加した画像データとして図示せぬ装置に供給される。
【０３９３】
この画像データはタップ構築部３１４に供給され、学習処理に用いられる。また、ノイズ付加部３１２からタップ構築部３１５にも学習に必要な情報（ぼけ付加部３１１に供給される情報と同じ情報）が供給される。
【０３９４】
ぼけ付加部３１１とノイズ付加部３１２，３１３に供給された情報のうち必要な情報は、予測係数演算部３１８にも供給される。すなわち、予測係数演算部３１８には、ノイズパラメータＮ、ノイズパラメータＮｉ、ぼけパラメータＰ、および動き情報（動き量と方向）が供給される。
【０３９５】
図２０の画像生成装置３０１や図２１の画像生成措置４００で行われる学習処理は、図３の学習装置１や図１４の学習装置１における場合と同様であり、その説明は繰り返しになるので省略するが、これにより、揺れが付加された画像から、揺れを修正した画像を生成するための予測係数が求められる。
【０３９６】
予測係数を演算するに当たり、使用するクラスは任意であるが、例えば、ぼけパラメータＰに対応するクラスＤを次式に基づいて決定することができる。
Ｄ＝（ａ＋Ａ）×Ｎmax＋（ｎ＋Ｎ） ・・・（５３）
【０３９７】
上記式（５３）におけるａは、指定された領域における動きベクトルのｘ座標成分を表し、ｎは、ｙ座標成分を表す。また、Ａは、ユーザより入力されたオフセット値のｘ座標成分を表し、Ｎは、ｙ座標成分を表す。Ｎmaxは、ｙ座標成分のクラス総数を意味する。画像データに対応して保存されているぼけパラメータは、式（５３）における（（ａ＋Ａ）,（ｎ＋Ｎ））の値である。従って、このぼけパラメータ（（ａ＋Ａ）,（ｎ＋Ｎ））の値を上記式（５３）に適用して、クラスＤを演算することができる。
【０３９８】
そこで、最終的なクラスtotal_classを、例えば波形パターンのクラスＷとぼけパラメータのクラスＤとを総合して、クラス分類部３１６により、次式で表されるように決定することができる。なお、size_wはclassＷのクラス数を表す。
total_class＝classＷ ＋ classＤ×size_w  ・・・  （５４）
【０３９９】
動き量ｖや動きの方向（角度θ）に基づいてクラス分類することもできる。その場合、動き量と角度の大きさに応じて画像からクラスタップを抽出し、それを１ビットADRCすることでクラス分類したり、動き量と角度そのものに基づいて、クラス分類することもできる。
【０４００】
また、例えば、動き量ｖの整数をそのまま用いたクラスclassVcと、注目画素とその周囲の隣接する８個の画素との差分値を、正、負、同値の３クラスに分類したクラスclassVdiffとを、次式で示されるように統合することができる。なお、ｉは各隣接画素に対応する。
total_class＝classVc ＋ classVdiff×size_Vc  
classVdiff＝Σi｛classVdiff_i×３i｝
（５５）
【０４０１】
１動きから３０動きを対象とする場合、式（５５）のsize_Vcは３０となる。
【０４０２】
図４４は、図２０の画像生成装置３０１の学習により生成された予測係数を用いて、ぼけが含まれる画像を修正する予測装置の一実施の形態の構成を示すブロック図である。この予測装置６８１は図９の予測装置８１と基本的に同様の構成とされている。
【０４０３】
すなわち、図４４の予測装置６８１が有するタップ構築部６９１、タップ構築部６９２、クラス分類部６９３、係数メモリ６９４、タップ構築部６９５、および予測演算部６９６は、図９の予測装置８１が有するタップ構築部９１、タップ構築部９２、クラス分類部９３、係数メモリ９４、タップ構築部９５、および予測演算部９６と基本的に同様の機能を有している。
【０４０４】
ただし、タップ構築部６９２には奥行きデータｚだけでなく、動き情報が入力されている。係数メモリ６９４にも、ノイズパラメータＮｉ、ぼけパラメータＰ以外に、動き情報が入力されている。またノイズパラメータＮｚに代えて、ノイズパラメータＮが入力されている。
【０４０５】
この予測装置６８１の予測処理は、処理に使用される情報が異なるだけで、図１０に示した場合と同様であり、その説明は省略する。但し、この場合、図１０のステップＳ３２では、タップ構築部６９２において奥行きデータｚまたは動き情報からクラスタップが構築される。
【０４０６】
ステップＳ３５では、係数メモリ７０１は、クラス分類部６９３から供給されるクラス、並びに、動き情報、ユーザにより指定されたノイズパラメータＮ、ノイズパラメータＮｉ、およびぼけパラメータＰに基づいて、そのクラス、動き情報、ノイズパラメータＮ、ノイズパラメータＮｉ、およびぼけパラメータＰに対応する予測係数ｗnを、既に記憶している予測係数ｗnの中から読み出し、その予測係数ｗnを予測演算部６９６に提供する。
【０４０７】
図４５は、図２１の画像生成装置４００の学習により生成された予測係数を用いて、ぼけが含まれる画像を修正する予測装置の一実施の形態の構成を示すブロック図である。この予測装置６８１は図１３の予測装置８１と基本的に同様の構成とされている。
【０４０８】
すなわち、図４５の予測装置６８１が有するタップ構築部６９１、タップ構築部６９２、クラス分類部６９３、係数メモリ７０１、タップ構築部６９５、および予測演算部６９６は、図１３の予測装置８１が有するタップ構築部９１、タップ構築部９２、クラス分類部９３、係数メモリ１１１、タップ構築部９５、および予測演算部９６と基本的に同様の機能を有している。
【０４０９】
ただし、タップ構築部６９２には奥行きデータｚだけでなく、動き情報が入力されている。係数メモリ７０１にも、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ（Ｈ,Ｖ）以外に、動き情報が入力されている。またノイズパラメータＮｚに代えて、ノイズパラメータＮが入力されている。
【０４１０】
この予測装置６８１の予測処理は、処理に使用される情報が異なるだけで、図１０に示した場合と同様であり、その説明は省略する。但し、この場合、図１０のステップＳ３２では、タップ構築部６９２において奥行きデータｚまたは動き情報からクラスタップが構築される。
【０４１１】
ステップＳ３５では、係数メモリ７０１は、クラス分類部６９３から供給されるクラス、並びに、動き情報、ユーザにより指定されたノイズパラメータＮ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)に基づいて、そのクラス、動き情報、ノイズパラメータＮ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)に対応する予測係数ｗnを、既に記憶している予測係数ｗnの中から読み出し、その予測係数ｗnを予測演算部６９６に提供する。
【０４１２】
図４６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）５２１は、ROM（Read Only Memory）５２２、または記憶部５２８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）５２３には、CPU５２１が実行するプログラムやデータなどが適宜記憶される。これらのCPU５２１、ROM５２２、およびRAM５２３は、バス５２４により相互に接続されている。
【０４１３】
CPU５２１にはまた、バス５２４を介して入出力インターフェース５２５が接続されている。入出力インターフェース５２５には、キーボード、マウス、マイクロホンなどよりなる入力部５２６、ディスプレイ、スピーカなどよりなる出力部５２７が接続されている。CPU５２１は、入力部５２６から入力される指令に対応して各種の処理を実行する。そして、CPU５２１は、処理の結果を出力部５２７に出力する。
【０４１４】
入出力インターフェース５２５に接続されている記憶部５２８は、例えばハードディスクからなり、CPU５２１が実行するプログラムや各種のデータを記憶する。通信部５２９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また、通信部５２９は、プログラムを取得し、記憶部５２８に記憶させるようにしてもよい。
【０４１５】
入出力インターフェース５２５に接続されているドライブ５３０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部５２８に転送され、記憶される。
【０４１６】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４１７】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０４１８】
【図１】撮像された画像の例を示す図である。
【図２】図１の画像のクラス分類結果を表す図である。
【図３】本発明を適用した学習装置の一実施の形態の構成を示すブロック図である。
【図４】ぼけの付加について説明する図である。
【図５】ぼけの付加について説明する他の図である。
【図６】ぼけの特性の関数を表すグラフである。
【図７】ノイズの付加方法について説明する図である。
【図８】図３の学習装置の学習処理を説明するフローチャートである。
【図９】本発明を適用した予測装置の一実施の形態の構成を示すブロック図である。
【図１０】図９の予測装置の予測処理を説明するフローチャートである。
【図１１】学習装置の他の実施の形態の構成を示すブロック図である。
【図１２】図１１の学習装置の学習処理を説明するフローチャートである。
【図１３】予測装置の他の実施の形態の構成を示すブロック図である。
【図１４】学習装置のさらに他の実施の形態の構成を示すブロック図である。
【図１５】図１４の学習装置の学習処理を説明するフローチャートである。
【図１６】学習装置のさらに他の実施の形態の構成を示すブロック図である。
【図１７】図１６の学習装置の学習処理を説明するフローチャートである。
【図１８】予測装置のさらに他の実施の形態の構成を示すブロック図である。
【図１９】図１８の予測処理について説明するフローチャートである。
【図２０】画像生成装置の一実施の形態の構成を示すブロック図である。
【図２１】画像生成装置の他の実施の形態の構成を示すブロック図である。
【図２２】図２０のノイズ付加部の一実施の形態の機能的構成を示すブロック図である。
【図２３】図２０のぼけ付加部の一実施の形態の機能的構成を示すブロック図である。
【図２４】距離によるピントぼけノイズの画像生成処理を説明するフローチャートである。
【図２５】画像の生成処理を説明する図である。
【図２６】関数を示す図である。
【図２７】偏差によるピントぼけノイズの画像生成処理を説明するフローチャートである。
【図２８】位相によるピントぼけノイズの画像生成処理を説明するフローチャートである。
【図２９】関数の位相シフトを説明する図である。
【図３０】関数を示す図である。
【図３１】先鋭度によるピントぼけノイズの画像生成処理を説明するフローチャートである。
【図３２】関数を示す図である。
【図３３】センサによる撮像を説明する図である。
【図３４】画素の配置を説明する図である。
【図３５】検出素子の動作を説明する図である。
【図３６】隣接して１列に並んでいる画素の画素値を時間方向に展開したモデルの図である。
【図３７】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデルの図である。
【図３８】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデルの図である。
【図３９】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデルの図である。
【図４０】動き量による動きぼけノイズの画像生成処理を説明するフローチャートである。
【図４１】補間画素について説明する図である。
【図４２】補間画素の演算方法について説明する図である。
【図４３】角度による動きぼけノイズの画像生成処理を説明するフローチャートである。
【図４４】予測装置の他の実施の形態の構成を示すブロック図である。
【図４５】予測装置のさらに他の実施の形態の構成を示すブロック図である。
【図４６】本発明を適用したコンピュータの一実施の形態の構成を示すブロック図である。
【符号の説明】
【０４１９】
１  学習装置，  １１  ぼけ付加部，  １２，１３  ノイズ付加部，  １４，１５  タップ構築部，  １６  クラス分類部，  １７  タップ構築部，  １８  予測係数演算部，  １９  係数メモリ，  ８１  予測装置，  ９１，９２  タップ構築部，  ９３  クラス分類部，  ９４  係数メモリ，  ９５  タップ構築部，  ９６  予測演算部，  １０１  ダウンスケーリング部，  １０２  予測係数演算部，  １１１  係数メモリ，  １２１  ダウンスケーリング部，  １３１  タップ構築部，  １３２  予測係数演算部，  １４１  タップ構築部，  １４２  予測演算部，  ３０１  画像生成装置，  ３１１  ぼけ付加部，  ３１２，３１３  ノイズ付加部，  ３１４，３１５  タップ構築部，  ３１６  クラス分類部，  ３１７  タップ構築部，  ３１８  予測係数演算部，  ３１９  係数メモリ
【図１】
2008109640.tif 000024
【図２】
2008109640.tif 000025
【図３】
2008109640.tif 000026
【図４】
2008109640.tif 000027
【図５】
2008109640.tif 000028
【図６】
2008109640.tif 000029
【図７】
2008109640.tif 000030
【図８】
2008109640.tif 000031
【図９】
2008109640.tif 000032
【図１０】
2008109640.tif 000033
【図１１】
2008109640.tif 000034
【図１２】
2008109640.tif 000035
【図１３】
2008109640.tif 000036
【図１４】
2008109640.tif 000037
【図１５】
2008109640.tif 000038
【図１６】
2008109640.tif 000039
【図１７】
2008109640.tif 000040
【図１８】
2008109640.tif 000041
【図１９】
2008109640.tif 000042
【図２０】
2008109640.tif 000043
【図２１】
2008109640.tif 000044
【図２２】
2008109640.tif 000045
【図２３】
2008109640.tif 000046
【図２４】
2008109640.tif 000047
【図２５】
2008109640.tif 000048
【図２６】
2008109640.tif 000049
【図２７】
2008109640.tif 000050
【図２８】
2008109640.tif 000051
【図２９】
2008109640.tif 000052
【図３０】
2008109640.tif 000053
【図３１】
2008109640.tif 000054
【図３２】
2008109640.tif 000055
【図３３】
2008109640.tif 000056
【図３４】
2008109640.tif 000057
【図３５】
2008109640.tif 000058
【図３６】
2008109640.tif 000059
【図３７】
2008109640.tif 000060
【図３８】
2008109640.tif 000061
【図３９】
2008109640.tif 000062
【図４０】
2008109640.tif 000063
【図４１】
2008109640.tif 000064
【図４２】
2008109640.tif 000065
【図４３】
2008109640.tif 000066
【図４４】
2008109640.tif 000067
【図４５】
2008109640.tif 000068
【図４６】
2008109640.tif 000069