【手続補正書】
【提出日】平成20年5月30日(2008.5.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置において、
前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換手段と、
前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出する検出手段と、
前記高レート変換手段による前記高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出手段により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１のレートは、前記撮影装置により前記動画像が撮影されたときのアクセスユニットのレートである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの少なくとも１つの画素における移動ベクトルのそれぞれを、前記パラメータの値として検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記検出手段は、前記動画像を構成する複数の前記アクセスユニットのそれぞれが前記撮影装置により撮影されたときの前記撮影装置のシャッタ速度のそれぞれを、前記パラメータの値として検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記補正手段は、
前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、
前記検出手段により検出された１以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換手段と、
前記フィルタ特性変換手段により特性が変換された前記ローパスフィルタの逆フィルタを生成する逆フィルタ生成手段と、
処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記逆フィルタ生成手段により生成された前記逆フィルタをかけることで、前記注目画素の画素値を補正するフィルタリング手段と
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記補正手段は、
前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、
前記検出手段により検出された１以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換手段と、
処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記フィルタ特性変換手段により特性が変換された前記ローパスフィルタをかけ、その結果得られる前記注目画素の補正された画素値を第１の値として出力するフィルタリング手段と、
前記注目画素の補正前の画素値と、前記フィルタリング手段から出力された前記第１の値との差分を演算し、その結果得られる差分値を第２の値として出力する減算手段と、
前記減算手段から出力された前記第２の値を、前記注目画素の補正前の前記画素値に加算し、その結果得られる加算値を、前記注目画素の補正後の画素値として出力する加算手段と
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記補正手段は、
前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、
処理対象の前記アクセスユニットのうちの、前記注目画素を含む所定の方向に連続して並ぶ画素群に対応する第１の画像信号が順次入力され、入力された前記第１の画像信号を、Ｎ画素分（Ｎは１以上の整数値）に対応する第１の遅延時間だけ遅延させ、その結果得られる第２の画像信号を出力する第１の遅延手段と、
第１の遅延手段から出力された前記第２の画像信号が順次入力され、入力された前記第２の画像信号を、Ｍ画素分（Ｍは、Ｎを含む１以上の整数値）に対応する第２の遅延時間だけ遅延させ、その結果得られる第３の画像信号を出力する第２の遅延手段と、
前記第１の遅延手段に入力された前記第１の画像信号、前記第１の遅延手段から出力されて前記第２の遅延手段に入力された前記第２の画像信号、および、前記第２の遅延手段から出力された前記第３の画像信号を利用して、前記注目画素の画素値を補正する画素値補正手段と、
前記検出手段により検出された前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記第１の遅延手段の前記第１の遅延時間を変更するとともに、前記第２の遅延手段の前記第２の遅延時間を変更する遅延時間変更手段と
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記第１のレートは３０Hzであり、前記第２のレートは１２０Hzである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記第１のレートは６０Hzであり、前記第２のレート１２０Hzである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記第１のレートは６０Hzであり、前記第２のレートは２４０Hzである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記第１のレートは５０Hzであり、前記第２のレートは１００Hzである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記第１のレートは５０Hzであり、前記第２のレートは２００Hzである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置の画像処理方法において、
前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、
前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出する検出ステップと、
前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出ステップの処理により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと
を含むことを特徴とする画像処理方法。
【請求項１４】
前記第１のレートは、前記撮影装置により前記動画像が撮影されたときのアクセスユニットのレートである
ことを特徴とする請求項１３に記載の画像処理方法。
【請求項１５】
前記検出ステップは、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する各画素のうちの少なくとも１つの画素における移動ベクトルのそれぞれを、前記パラメータの値として検出する処理を含む
ことを特徴とする請求項１３に記載の画像処理方法。
【請求項１６】
前記検出ステップは、前記動画像を構成する複数の前記アクセスユニットのそれぞれが前記撮影装置により撮影されたときの前記撮影装置のシャッタ速度のそれぞれを、前記パラメータの値として検出する処理を含む
ことを特徴とする請求項１３記載の画像処理方法。
【請求項１７】
前記補正ステップは、
前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、
前記注目画素に対するステップとして、
前記検出ステップの処理により検出された１以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップと、
前記フィルタ特性変換ステップの処理により特性が変換された前記ローパスフィルタの逆フィルタを生成する逆フィルタ生成ステップと、
処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記逆フィルタ生成ステップの処理により生成された前記逆フィルタをかけることで、前記注目画素の画素値を補正するフィルタリングステップと
を含むことを特徴とする請求項１３に記載の画像処理方法。
【請求項１８】
前記補正ステップは、
前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、
前記注目画素に対するステップとして、
前記検出ステップの処理により検出された１以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップと、
処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記フィルタ特性変換ステップの処理により特性が変換された前記ローパスフィルタをかけ、その結果得られる前記注目画素の補正された画素値を第１の値として出力するフィルタリングステップと、
前記注目画素の補正前の画素値と、前記フィルタリングステップの処理結果として出力された前記第１の値との差分を演算し、その結果得られる差分値を第２の値として出力する減算ステップと、
前記減算ステップの処理結果として出力された前記第２の値を、前記注目画素の補正前の前記画素値に加算し、その結果得られる加算値を、前記注目画素の補正後の画素値として出力する加算ステップと
を含むことを特徴とする請求項１３に記載の画像処理方法。
【請求項１９】
前記補正ステップは、
前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、
前記注目画素に対するステップとして、
処理対象の前記アクセスユニットのうちの、前記注目画素を含む所定の方向に連続して並ぶ画素群に対応する第１の画像信号が順次入力され、入力された前記第１の画像信号を、Ｎ画素分（Ｎは１以上の整数値）に対応する第１の遅延時間だけ遅延させ、その結果得られる第２の画像信号を出力する第１の遅延ステップと、
第１の遅延ステップの処理結果として出力された前記第２の画像信号が順次入力され、入力された前記第２の画像信号を、Ｍ画素分（Ｍは、Ｎを含む１以上の整数値）に対応する第２の遅延時間だけ遅延させ、その結果得られる第３の画像信号を出力する第２の遅延ステップと、
前記第１の遅延ステップの処理対象として入力された前記第１の画像信号、前記第１の遅延ステップの処理結果として出力されて前記第２の遅延ステップの処理対象として入力された前記第２の画像信号、および、前記第２の遅延ステップの処理結果として出力された前記第３の画像信号を利用して、前記注目画素の画素値を補正する画素値補正ステップと、
前記検出ステップの処理により検出された前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記第１の遅延ステップの前記第１の遅延時間を変更するとともに、前記第２の遅延ステップの前記第２の遅延時間を変更する遅延時間変更ステップと
を含むことを特徴とする請求項１３に記載の画像処理方法。
【請求項２０】
前記第１のレートは３０Hzであり、前記第２のレートは１２０Hzである
ことを特徴とする請求項１３に記載の画像処理方法。
【請求項２１】
前記第１のレートは６０Hzであり、前記第２のレート１２０Hzである
ことを特徴とする請求項１３に記載の画像処理方法。
【請求項２２】
前記第１のレートは６０Hzであり、前記第２のレートは２４０Hzである
ことを特徴とする請求項１３に記載の画像処理方法。
【請求項２３】
前記第１のレートは５０Hzであり、前記第２のレートは１００Hzである
ことを特徴とする請求項１３に記載の画像処理方法。
【請求項２４】
前記第１のレートは５０Hzであり、前記第２のレートは２００Hzである
ことを特徴とする請求項１３に記載の画像処理方法。
【請求項２５】
所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータに実行させるプログラムであって、
前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、
前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出する検出ステップと、
前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出ステップの処理により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと
を含むプログラムを記録していることを特徴とする記録媒体。
【請求項２６】
所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータに実行させるプログラムであって、
前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、
前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出する検出ステップと、
前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出ステップの処理により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと
を含むことを特徴とするプログラム。
【請求項２７】
所定の撮影装置により撮影された動画像と、
前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値と
が他の画像処理装置から供給されてきた場合、その動画像に対して処理を施す画像処理装置において、
前記他の画像処理装置から供給された前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換手段と、
前記高レート変換手段による前記高レート変換処理が実行される前または後に、前記他の画像処理装置から供給された前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記他の画像処理装置から供給された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正手段と
を備えることを特徴とする画像処理装置。
【請求項２８】
前記第１のレートは３０Hzであり、前記第２のレートは１２０Hzである
ことを特徴とする請求項２７に記載の画像処理装置。
【請求項２９】
前記第１のレートは６０Hzであり、前記第２のレート１２０Hzである
ことを特徴とする請求項２７に記載の画像処理装置。
【請求項３０】
前記第１のレートは６０Hzであり、前記第２のレートは２４０Hzである
ことを特徴とする請求項２７に記載の画像処理装置。
【請求項３１】
前記第１のレートは５０Hzであり、前記第２のレートは１００Hzである
ことを特徴とする請求項２７に記載の画像処理装置。
【請求項３２】
前記第１のレートは５０Hzであり、前記第２のレートは２００Hzである
ことを特徴とする請求項２７に記載の画像処理装置。
【請求項３３】
所定の撮影装置により撮影された動画像と、
前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値と
が他の画像処理装置から供給されてきた場合、その動画像に対して処理を施す画像処理装置の画像処理方法において、
前記他の画像処理装置から供給された前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、
前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、前記他の画像処理装置から供給された前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記他の画像処理装置から供給された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと
を含むことを特徴とする画像処理方法。
【請求項３４】
前記第１のレートは３０Hzであり、前記第２のレートは１２０Hzである
ことを特徴とする請求項３３に記載の画像処理方法。
【請求項３５】
前記第１のレートは６０Hzであり、前記第２のレート１２０Hzである
ことを特徴とする請求項３３に記載の画像処理方法。
【請求項３６】
前記第１のレートは６０Hzであり、前記第２のレートは２４０Hzである
ことを特徴とする請求項３３に記載の画像処理方法。
【請求項３７】
前記第１のレートは５０Hzであり、前記第２のレートは１００Hzである
ことを特徴とする請求項３３に記載の画像処理方法。
【請求項３８】
前記第１のレートは５０Hzであり、前記第２のレートは２００Hzである
ことを特徴とする請求項３３に記載の画像処理方法。
【請求項３９】
所定の撮影装置により撮影された動画像と、
前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値と
が与えられた場合、その動画像に対する画像処理の制御を行うコンピュータに実行させ
るプログラムであって、
与えられた前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、
前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、与えられた前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、与えられた前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと
を含むプログラムを記録していることを特徴とする記録媒体。
【請求項４０】
所定の撮影装置により撮影された動画像と、
前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値と
が与えられた場合、その動画像に対する画像処理の制御を行うコンピュータに実行させるプログラムであって、
与えられた前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、
前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、与えられた前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、与えられた前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと
を含むことを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
第１のフレームレートから第２のフレームレートに変換された動画像が、高フレームレート変換部１１から撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３とに供給されると、処理はステップＳ３に進む。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
ステップＳ４において、撮像ボケ抑制処理部１３は、高フレームレート変換部１１から供給された動画像を構成する各フレームのそれぞれについて、撮像ボケ特性検出部１２により検出されたパラメータの値のうちの処理対象のフレームに対応する１以上の値に基づいて、処理対象のフレームの各画素値を補正する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１２１
【補正方法】変更
【補正の内容】
【０１２１】
即ち、この移動平均フィルタ（ローパスフィルタ）を示す伝達関数（以下、撮像ボケの伝達関数と称する）をＨと記述し、撮像ボケが仮に発生しなかった場合の理想的な画像信号（以下、撮像ボケ前の信号と称する）を周波数領域でＦと記述し、かつ、カメラから出力される実際の画像信号、即ち、撮像ボケが発生した画像信号（以下、撮像ボケ後の信号と称する）を周波数領域でＧと記述すると、撮像ボケ後の信号Ｇは、次の式（１）のように表される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１３９
【補正方法】変更
【補正の内容】
【０１３９】
ところで、図５の逆移動平均フィルタ部２３の処理、即ち、逆移動平均フィルタ（ハイパスフィルタ）を入力画像に対してかける処理とは、入力画像の周波数特性のうちの、撮像ボケを示すローパスフィルタによりゲインが減衰してしまった周波数帯において、そのゲインを持ち上げる処理であるとも言える。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０２３１
【補正方法】変更
【補正の内容】
【０２３１】
入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体２１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０２３９
【補正方法】変更
【補正の内容】
【０２３９】
１  画像処理装置，  １１  高フレームレート変換部，  １２  撮像ボケ特性検出部，  １３  撮像ボケ抑制処理部，  ２１  移動平均フィルタ（ローパスフィルタ）特性変換部，  ２２  逆移動平均フィルタ（ハイパスフィルタ）生成部，  ２３  逆移動平均フィルタ部（ハイパスフィルタ部），  ３１  移動平均フィルタ（ローパスフィルタ）特性変換部，  ３２  移動平均フィルタ部（ローパスフィルタ部），  ３３  加算部，  ３４  加算部，  ５１  入力部，  ５２  可変ＤＬ部，  ５３  可変ＤＬ部，  ５４−１，５４−２  補正部，  ５５  遅延時間変更部，  ５６  出力部，  １０１，１０２，１１２，１３１  画像処理装置，  ２０１  ＣＰＵ，  ２０２  ＲＯＭ，  ２０３  ＲＡＭ，  ２０８  記憶部，  ２１１  リムーバブル記録媒体