(57)【要約】【課題】遠近感ある映像を表示できるようにする。【解決手段】エンハンス補正部１１は、入力信号T0に対して、移動量MVに応じたエンハンス処理を施し、その結果得られる信号を出力信号T3として出力する。エンハンス抑制補正部１２のＬＰＦ部２２は、入力信号T0に対してＬＰＦ処理を施し、その結果得られる信号を出力信号T4として出力する。その際、タップ量可変部２１は、移動量MVに応じてＬＰＦ部２２のタップ長を変更する。スイッチ部１４は、移動量ギャップ判定部１３により大小の移動量MVが混在していると判定された場合、フレーム画像のうちの、大きな移動量MVの部分についてはエンハンス補正部１１の出力信号T3を、小さな移動量MVの部分についてはエンハンス抑制補正部１２の出力信号B1を、出力信号T4としてそれぞれ出力する。本発明はテレビジョンシステムに適用可能である。【選択図】図１
2008252734.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する複数のアクセスユニットのそれぞれに対して処理を施す画像処理装置において、
処理対象の前記アクセスユニットを構成する各画素に対して、その移動量の大きさに応じたタップ長でローパスフィルタ処理をそれぞれ施すことで、処理対象の前記アクセスユニットを補正する第１の補正手段
を備える画像処理装置。
【請求項２】
処理対象の前記アクセスユニットを構成する各画素に対して、その移動量の大きさに応じてエンハンスさせるエンハンス処理をそれぞれ施すことで、処理対象の前記アクセスユニットを補正する第２の補正手段と、
処理対象の前記アクセスユニットが、第１の移動量を有する部分と、前記第１の移動量よりも大きい第２の移動量を有する部分とを混在して含む場合、処理対象の前記アクセスユニットを出力するとき、前記第１の移動量を有する部分については前記第２の補正手段の補正結果を出力し、前記第２の移動量を有する部分については前記第１の補正手段の補正結果を出力するスイッチ手段と
をさらに備える請求項１に記載の画像処理装置。
【請求項３】
動画像を構成する複数のアクセスユニットのそれぞれに対して処理を施す画像処理装置の画像処理方法において、
処理対象の前記アクセスユニットを構成する各画素に対して、その移動量の大きさに応じたタップ長でローパスフィルタ処理をそれぞれ施すことで、処理対象の前記アクセスユニットを補正する
ステップを含む画像処理方法。
【請求項４】
動画像を構成する複数のアクセスユニットのそれぞれに対して施す処理を制御するコンピュータに実行させるプログラムであって、
処理対象の前記アクセスユニットを構成する各画素に対して、その移動量の大きさに応じたタップ長でローパスフィルタ処理をそれぞれ施すことで、処理対象の前記アクセスユニットを補正する
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法並びにプログラムに関し、特に、遠近感ある映像の創造に寄与し得る画像処理を実行できるようになった画像処理装置および方法並びにプログラムに関する。
【背景技術】
【０００２】
カメラで撮像された動画像についての映像信号には、その撮像時に発生する動きボケ（以下、撮像ボケと称する）に起因する画像劣化、いわゆるボケ画像となって現れる画像劣化が生じていることが多々ある。そこで、かかる映像信号に対して、撮像ボケを抑制するための画像処理を施す画像処理装置が存在する。例えば、特許文献１に記載された画像処理装置が該当する。また、特許文献１が有する問題を解決できる画像処理装置であって、本発明人により発明され既に出願された特願２００５−３１９０１７号または特願２００４−２３４０５１号の願書に添付された明細書等に記載された画像処理装置も該当する。
【特許文献１】特開平7-59054号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、このような画像処理装置による画像処理後の映像信号がディスプレイ等に提供された場合、そのディスプレイ等の画面には、遠近感に乏しい映像が表示されるときがある、という問題があった。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、遠近感ある映像の創造に寄与し得る画像処理を実行できるようにするものである。
【課題を解決するための手段】
【０００５】
本発明の一側面の画像処理装置は、動画像を構成する複数のアクセスユニットのそれぞれに対して処理を施す画像処理装置であって、処理対象の前記アクセスユニットを構成する各画素に対して、その移動量の大きさに応じたタップ長でローパスフィルタ処理をそれぞれ施すことで、処理対象の前記アクセスユニットを補正する第１の補正手段を備える。
【０００６】
処理対象の前記アクセスユニットを構成する各画素に対して、その移動量の大きさに応じてエンハンスさせるエンハンス処理をそれぞれ施すことで、処理対象の前記アクセスユニットを補正する第２の補正手段と、処理対象の前記アクセスユニットが、第１の移動量を有する部分と、前記第１の移動量よりも大きい第２の移動量を有する部分とを混在して含む場合、処理対象の前記アクセスユニットを出力するとき、前記第１の移動量を有する部分については前記第２の補正手段の補正結果を出力し、前記第２の移動量を有する部分については前記第１の補正手段の補正結果を出力するスイッチ手段とをさらに備える。
【０００７】
本発明の一側面の画像処理方法およびプログラムは、上述した本発明の一側面の画像処理装置に対応する方法およびプログラムである。
【０００８】
本発明の一側面の画像処理装置および方法並びにプログラムにおいては、動画像を構成する複数のアクセスユニットのそれぞれに対して次のような処理が施される。即ち、処理対象の前記アクセスユニットを構成する各画素に対して、その移動量の大きさに応じたタップ長でローパスフィルタ処理がそれぞれ施されることで、処理対象の前記アクセスユニットが補正される。
【発明の効果】
【０００９】
以上のごとく、本発明によれば、動画像に対する画像処理を実現できる。特に、遠近感ある動画像（映像）を表示するために寄与し得る画像処理を実現できる。
【発明を実施するための最良の形態】
【００１０】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、明細書又は図面における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１１】
さらに、この記載は、明細書又は図面に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、明細書又は図面に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００１２】
本発明の一側面の画像処理装置（例えば、図１の画像処理装置）は、
動画像を構成する複数のアクセスユニットのそれぞれに対して処理を施す画像処理装置において、
処理対象の前記アクセスユニットを構成する各画素に対して、その移動量の大きさに応じたタップ長でローパスフィルタ処理をそれぞれ施すことで、処理対象の前記アクセスユニットを補正する第１の補正手段（例えば図１のエンハンス抑制補正部１２であって、移動量MVに応じたタップ長を示す信号TPを出力するタップ量可変部２１と、その信号TPに基づいてタップ長を可変させるＬＰＦ部２２とからなるエンハンス抑制補正部１２）
を備える。
【００１３】
処理対象の前記アクセスユニットを構成する各画素に対して、その移動量の大きさに応じてエンハンスさせるエンハンス処理をそれぞれ施すことで、処理対象の前記アクセスユニットを補正する第２の補正手段（例えば、図１のエンハンス補正部１１であって、具体的には例えば図２の構成のエンハンス補正部１１）と、
処理対象の前記アクセスユニットが、第１の移動量を有する部分と、前記第１の移動量よりも大きい第２の移動量を有する部分とを混在して含む場合、処理対象の前記アクセスユニットを出力するとき、前記第１の移動量を有する部分については前記第２の補正手段の補正結果を出力し、前記第１の移動量を有する部分については前記第２の補正手段の補正結果を出力するスイッチ手段（例えば図１のスイッチ部１４）と
をさらに備える請求項１に記載の画像処理装置。
【００１４】
本発明の一側面の画像処理方法（例えば図８の画像処理による方法）は、
動画像を構成する複数のアクセスユニットのそれぞれに対して処理を施す画像処理装置（例えば図１のエンハンス抑制補正部１２を有する画像処理装置）の画像処理方法であって、
処理対象の前記アクセスユニットを構成する各画素に対して、その移動量の大きさに応じたタップ長でローパスフィルタ処理をそれぞれ施すことで、処理対象の前記アクセスユニットを補正する（例えば図８のステップＳ２）
ステップを含むことを特徴とする。
【００１５】
本発明の一側面のプログラムは、上述した本発明の一側面の画像処理方法に対応するプログラムである。詳細については後述するが、このプログラムは、例えば、図９のリムーバブルメディア１１１や、記憶部１０８に含まれるハードディスク等の記録媒体に記録され、図９の構成のコンピュータにより実行される。
【００１６】
その他、本発明の一側面としては、上述した本発明の一側面のプログラムを記録した記録媒体も含まれる。
【００１７】
以上説明した本発明の一側面の画像処理装置は、例えば、テレビジョンシステム全体またはその一構成要素として利用可能である。テレビジョンシステムとは、テレビジョン放送受像機を含む１以上のＡＶ（Audio and Visual）機器からなるシステムを指す。
【００１８】
次に、図面を参照して、本発明の実施の形態について説明する。
【００１９】
なお、以下の説明においては、次の前提事項が成立しているとする。
【００２０】
即ち、後述する各種の実施の形態では、動画像に対する各種画像処理はアクセスユニットを単位とする。アクセスユニットとは、フレームやフィールドといった動画像の単位を指し、具体的には例えば、動画像を構成する各静止画像全体（フレーム等）またはその一部分（フィールド等）を指す。ただし、以下、説明の簡略上、動画像に対する各種画像処理の単位はフレーム単位であるとする。
【００２１】
また、画像処理が施される動画像（映像）の形態の表現方法として、信号またはデータという呼称を使用する。
【００２２】
さらにまた、後述する画像処理装置（図１参照）を構成する各機能ブロック（加算部等の演算部も含む）に入力される信号を、まとめて入力信号と適宜称する。即ち、動画像、動画像を構成する各フレーム、および、各フレームを構成する各画素（各画素値）といった入力単位によらず、一括して入力信号と適宜称する。同様に、各機能ブロックから出力される信号を、その出力単位によらず、一括して出力信号と適宜称する。換言すると、入力単位や出力単位の区別が必要な場合、その単位（主にフレームまたは画素値）を用いて説明を行い、それ以外の場合、単に入力信号または出力信号を用いて説明を行う。
【００２３】
図１は、本発明が適用される画像処理装置の一実施の形態を示している。
【００２４】
図１の例の画像処理装置は、エンハンス補正部１１、エンハンス抑制補正部１２、移動量ギャップ判定部１３、およびスイッチ部１４から構成されている。
【００２５】
図１の例の画像処理装置においては、動画像を構成する各フレームが順次処理対象フレームとなり、処理対象フレームを構成する各画素の画素値が入力信号T0として、エンハンス補正部１１、およびエンハンス抑制補正部１２のそれぞれに提供される。
【００２６】
また、詳細については後述するが、移動量MVは既知であるとして、外部から与えられるとする。即ち、入力信号T0について、移動量MVを算出または検出する装置等が外部に存在し、かかる装置等から移動量MVが与えられるとする。勿論、かかる装置等の機能を、図１の例の画像処理装置に委譲することもできる。
【００２７】
なお、以下の説明では、本発明の理解を容易なものとするために、入力信号T0は、処理対象フレームを構成する各画素の画素値の集合体（フレーム画像データ）を意味するときもあるし、それらの各画素のうちの処理対象として注目すべき画素（以下、注目画素と称する）の画素値を意味するときもあるとする。ただし、特に断りのないときは、入力信号T0は、処理対象フレームを構成する各画素の画素値の集合体（フレーム画像データ）を意味するとする。
【００２８】
ここで、入力信号T0が、カメラ等の撮像装置により撮像された動画像についてのフレーム画像データである場合、入力信号T0には、そのカメラによる撮像時に発生する被写体（物体等）についての動きボケ、即ち撮像ボケが含まれていることがある。
【００２９】
そこで、エンハンス補正部１１は、入力信号T0（処理対象フレームの各画素値）を、その撮像ボケを抑制するように補正し、その結果得られる信号を出力信号T3としてスイッチ部１４に提供する。
【００３０】
具体的は例えば図２に示されるように、エンハンス補正部１１は、ＨＰＦ（High Pass Filter）部３１、ゲイン可変部３２、乗算部３３、加算部３４、およびタップ量可変部３５から構成することができる。
【００３１】
入力信号T0は、ＨＰＦ部３１と加算部３４に入力される。ＨＰＦ部３１は、入力信号T0に対してＨＰＦ処理を施し、その結果得られる信号を出力信号T1として乗算部３３に提供する。乗算部３３は、ＨＰＦ部３１の出力信号T1に対して、ゲイン可変部３２から提供されたゲインG1を乗算し、その結果得られる信号G1×T1を出力信号T2として加算部３４に提供する。加算部３４は、入力信号T0に対して、乗算部３３の出力信号T2を加算し、その結果得られる信号T0+T2を出力信号T3としてスイッチ部１４（図１）に提供する。
【００３２】
ゲインG1は、画素毎に、その移動量MVに応じてゲイン可変部３２により可変される。具体的には例えば、ゲイン可変部３２は、図３に示されるような関数f1(α)を保持している。そこで、ゲイン可変部３２は、注目画素における移動量MVを入力値αとして関数f1(α)に代入し、その出力値f1(MV)を、注目画素についてのゲインG1として乗算部３３に提供する。
【００３３】
また、ＨＰＦ部３１のタップ長は、タップ量可変部３５によって、画素毎に、その移動量MVが大きくなる程長くなるようにそれぞれ可変調整される。即ち、タップ量可変部３５は、例えば図４に示されるような関数f2(α)を保持している。そこで、タップ量可変部３５は、注目画素における移動量MVを入力値αとして関数f2(α)に代入し、その出力値f2(MV)を、注目画素についてのタップ長を示す信号TP1としてＨＰＦ部３１に提供する。ＨＰＦ部３１のタップ長は、このタップ量可変部３５の出力信号TP1の大きさに応じて可変調整される。
【００３４】
以下、このエンハンス補正部１１の動作について説明する。
【００３５】
撮像ボケの特性は、ＬＰＦ（Low Pass Filter：ローパスフィルタ）として表される。換言すると、撮像ボケ後の画像信号とは、撮像ボケ前の画像信号（理想的な画像信号）に対してローパスフィルタがかけられた信号と等価な信号である。従って、撮像ボケ後の画像信号は、撮像ボケ前の画像信号と比較して、その周波数特性が落ちてしまう。即ち、撮像ボケ後の画像信号においては、撮像ボケ前の画像信号と比較して、高周波数になればなる程ゲインが一般的に落ちてしまう。
【００３６】
そこで、撮像ボケを含む入力信号T0を構成する各画素、即ち処理対象フレームを構成する各画素のそれぞれを注目画素とし、その注目画素の画素値に対して、撮像ボケにより落ちてしまった周波数特性の改善分に相当する量をエンハンス量（補正量）として加算する処理を施すことで、撮像ボケを抑制することが可能になる。なお、以下、かかる処理を、エンハンス処理と称する。
【００３７】
このエンハンス量を信号として生成する機能ブロックが、ＨＰＦ部３１である。即ち、ＨＰＦ部３１の出力信号T1のレベルが、基本的に、エンハンス量となる。
【００３８】
ここで「基本的に」と記述した理由は次の通りである。
【００３９】
即ち、撮像ボケの特性は、常に同一ではなく、一般的に被写体（物体等）の移動量に応じて可変する。即ち、撮像ボケの特性は、一般的に被写体（物体等）の移動量に依存した形態で表すことが可能である。
【００４０】
なお、被写体の移動量とは、実空間において被写体自体が移動してカメラが固定されている場合に、その被写体がカメラで撮像されたときの、フレーム内での被写体（画像）の移動量を当然ながら含む。さらに、ここでいう被写体の移動量とは、実空間において被写体が固定されてカメラが手振れ等により移動した場合、または、実空間において被写体に追従等してカメラが移動した場合に、その被写体がカメラで撮像されたときの、フレーム内での被写体（画像）の相対的な移動量も含む。
【００４１】
従って、撮像ボケの特性は、被写体の画像を構成する各画素における移動量に依存した形態で表すことができる。
【００４２】
注目画素における移動量とは、処理対象フレーム内の注目画素と、それよりも時間的に前のフレーム内の対応する画素（対応点）との間の空間的な距離を指す。例えば、処理対象フレーム内の注目画素と、その直前（時間的に１つ前）のフレーム内の対応する画素（対応点）との間の空間的な距離が、MV（MVは、０以上の任意の整数値）画素分である場合、その注目画素における移動量とは、MV［画素/フレーム］になる。
【００４３】
なお、以下、説明の簡略上、移動量MVは、フレーム画像における所定の一方向、例えば水平方向であるとする。勿論、移動量MVは所定の一方向になるとは限らないが、何れの方向になったとしても、以下の議論や処理等を基本的に適用することが可能である。
【００４４】
ここで、被写体の画像を構成する各画素のうちの所定の１つが注目画素に設定されているとすると、注目画素における撮像ボケの特性は、注目画素における移動量MV［画素/フレーム］の大小に依存した形態で表すことができる。
【００４５】
より具体的には例えば、注目画素における移動量MVが２，３，４［画素/フレーム］のそれぞれの場合、注目画素における撮像ボケの周波数特性のそれぞれは、図５の曲線Ｈ２乃至Ｈ４のそれぞれで表すことができる。
【００４６】
即ち、図５は、注目画素における移動量MVが２，３，４［画素/フレーム］のそれぞれの場合についての、注目画素における撮像ボケの周波数特性のそれぞれを示している。図５において、横軸は周波数を、縦軸はゲインのそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が１とされた場合の相対値を示している。
【００４７】
この図５の撮像ボケの特性からわかるように、移動量MVが大きくなるに従い、撮像ボケ量は大きくなる。これに対して、移動量MVが小さくなるに従い、撮像ボケ量は小さくなる。
【００４８】
即ち、ＨＰＦ部３１の出力信号T1では、この移動量MVに依存した撮像ボケの特性がまだ考慮されていない。即ち、ＨＰＦ部３１の出力信号T1のレベルは、正確には、撮像ボケにより落ちてしまった周波数特性に相当する量であるとは直ちにいえない。
【００４９】
そこで、かかる撮像ボケの特性を加味すべく、乗算部３３において、ＨＰＦ部３１の出力信号T1に対して、移動量MVに応じて可変するゲインG1が乗算され、その結果得られるG1×T1が出力信号T2として出力されるのである。即ち、乗算部３３の出力信号T2のレベルが、撮像ボケにより落ちてしまった周波数特性の改善分に相当する量であり、エンハンス量（補正量）として加算部３４に提供されるのである。
【００５０】
そこで、加算部３４において、この乗算部３３の出力信号T2のレベルがエンハンス量（補正量）として、入力信号T0のレベルに加算されることで、撮像ボケを抑制することが可能になるのである。即ち、加算部３４の出力信号T3（＝T0+T2）が、撮像ボケを抑制するように補正された信号として、図１のスイッチ部１４に提供されるのである。
【００５１】
ただし、このエンハンス補正部１１の出力信号T3を、画像処理装置の最終的な出力信号としてディスプレイ等に与えた場合、［発明が解決しようとする課題］の欄において上述した問題が発生することもある。以下、かかる問題の発生要因について説明する。
【００５２】
図２の構成から明らかなように、エンハンス補正部１１は、入力信号T0の全体に対してエンハンス処理を施す。即ち、処理対象フレームを構成する全画素に対してエンハンス処理がそれぞれ施される。
【００５３】
ここで、例えば処理対象フレームとして、小さい移動量MVaで動いている前景画像と、大きい移動量MVbで動いている背景画像とを含むフレームを考える。具体的には例えば、撮像者が、実世界上で動いている被写体をカメラのレンズで追いかけながら撮像した場合、その撮像により得られる動画像を構成する各フレームの信号が入力信号T0となる場合である。即ち、カメラは被写体に追従して動いているので、カメラに対する被写体の相対速度は遅くなる（完全に追従できていれば０となる）。これに対して、実世界上では静止している背景は、被写体に追従して動いているカメラから見ると、その被写体の速度（被写体への追従速度）で動いていることになる。即ち、カメラに対する背景の相対速度は、カメラに対する被写体の相対速度と比較して速くなる。従って、このようなカメラにより撮像された場合には、その入力信号T0に対応する処理対象フレーム内においては、実世界上で動いている被写体に対応する画素群が、小さい移動量MVaで動いている前景画像となり、また、実世界上では静止している背景に対応する画素群が、大きい移動量MVbで動いている背景画像となる。
【００５４】
この場合、図３の関数f1(α)の性質からも明らかなように、大きい移動量MVbで動いている背景画像に対するゲインG1bの方が、小さい移動量MVaで動いている前景画像に対するゲインG1aよりも大きくなる。従って、大きい移動量MVbで動いている背景画像に対するエンハンス量（乗算部３３の出力信号T2のレベル）の方が、小さい移動量MVaで動いている前景画像に対するエンハンス量よりも大きくなる。即ち、大きい移動量MVbで動いている背景画像の方が、小さい移動量MVaで動いている前景画像よりもエンハンスしてしまい、その結果、ディスプレイに表示された処理対象フレームは、ユーザの目には、前景画像に対して背景画像が近く映り、これにより、奥行き感がなくなってしまうのである。以上の内容が、上述した問題の発生要因である。
【００５５】
そこで、かかる問題を解決すべく、図１の例の画像処理装置には、エンハンス補正部１１に加えて、さらに、エンハンス抑制補正部１２、移動量ギャップ判定部１３、およびスイッチ部１４が設けられているのである。
【００５６】
エンハンス抑制補正部１２は、タップ量可変部２１とＬＰＦ部２２とから構成されている。
【００５７】
ＬＰＦ部２２は、入力信号T0（処理対象フレームの各画素値）に対してＬＰＦ処理を施し、その結果得られる信号を出力信号B1としてスイッチ部１４に提供する。
【００５８】
このＬＰＦ部２２のタップ長は、タップ量可変部２１によって、画素毎に、その移動量MVが大きくなる程長くなるようにそれぞれ可変調整される。即ち、タップ量可変部２１は、例えば図６に示されるような関数g(β)を保持している。そこで、タップ量可変部２１は、注目画素における移動量MVを入力値βとして関数g(β)に代入し、その出力値g(MV)を、注目画素についてのタップ長を示す信号TPとしてＬＰＦ部２２に提供する。ＬＰＦ部２２のタップ長は、このタップ量可変部２１の出力信号TPの大きさに応じて可変調整される。
【００５９】
移動量ギャップ判定部１３は、処理対象フレーム（入力信号T0に対応するフレーム）を構成する各画素における各移動量MVを用いて、例えば処理対象フレームの画像全体の四つの角と中央における移動量MVの集合（ベクトル集合）を比較し、その比較に基づいて、例えば小さな移動量MVと大きな移動量MVとの差分を計算し、その計算結果を示す差分信号を出力信号D1としてスイッチ部１４に提供する。なお、以下、かかる移動量ギャップ判定部１３の処理を、処理対象フレームにおける移動量MVギャップ判定と称する。
【００６０】
スイッチ部１４は、例えば図７に示されるような関数h(γ)を保持している。そこで、スイッチ部１４は、移動量ギャップ判定部１３の出力信号D1を入力値γとして関数h(γ)に代入し、その出力値h(D1)をMIX比Aとして算出する。次に、スイッチ部１４は、このMIX比A、エンハンス補正部１１の出力信号T3、およびエンハンス抑制補正部１２の出力信号B1を用いて、A×T3＋（1.0  A）×B1の式を演算し、その演算により出力された各画素値からなるフレーム画像データを、出力信号T4として出力する。
【００６１】
即ち、移動量ギャップ判定部１３の出力信号D1から、処理対象フレーム（入力信号T0に対応するフレーム）に小さな移動量MVと大きな移動量MVとが混在していると判断される場合には、処理対象フレームのうちの、移動量MVが小さい部分については、エンハンス補正部１１の出力信号T3が採用される一方、移動量MVが大きい部分については、エンハンス抑制補正部１２の出力信号B1が採用されることで、処理対象フレームの出力信号T4が生成されることになる。
【００６２】
より具体的には、処理対象フレームが、大きい移動量MVbで動いている背景画像と、小さい移動量MVaで動いている前景画像とで構成されている場合には、前景画像を構成する画素群は、エンハンス補正部１１の出力信号T3に対応する画素値が採用されるので、前景画像はエンハンスされることになる。これに対して、背景画像を構成する画素群は、エンハンス抑制補正部１２の出力信号B1に対応する画素値が採用されるので、背景画像はエンハンスされずに、逆に、ＬＰＦによるボケが加えられることになる。その結果、ディスプレイに表示された処理対象フレームは、ユーザの目には、前景画像に対して背景画像が遠く映るようになり、これにより、奥行きが創造されることになる。即ち、上述した問題を解決できるようになる。
【００６３】
以上の内容を換言すると、図１の画像処理装置は、図８のフローチャートに従った処理（以下、画像処理と称する）を実行していると把握することもできる。
【００６４】
なお、以下の図８の各ステップの処理の説明では、フレーム画像データのうちの、入力信号T0に対応するフレーム画像データを、入力画像データと称する。一方、出力信号T4に対応するフレーム画像データを、出力画像データと称する。また、フレーム画像データを構成する各画素値をそれぞれ、画素データと称する。
【００６５】
また、エンハンス補正部１１による処理を、移動量MVに応じたエンハンス処理またはボケ除去処理と称し、エンハンス補正部１１の出力信号T3に対応するフレーム画像データを、ボケ除去データと称する。一方、エンハンス抑制補正部１２による処理を、エンハンス抑制処理またはボケ加工処理と称し、エンハンス抑制補正部１２の出力信号B1に対応するフレーム画像データを、ボケ加工データと称する。
【００６６】
ステップＳ１において、エンハンス補正部１１は、入力画像データ（フレーム画像データ）に対して、移動量MVに応じたエンハンス処理（ボケ除去処理）を施し、それをボケ除去データとして出力する。
【００６７】
ステップＳ２において、エンハンス抑制補正部１２は、入力画像データ（フレーム画像データ）に対して、移動量MVに応じたエンハンス抑制処理（ボケ加工処理）を施し、それをボケ加工データとして出力する。
【００６８】
ステップＳ３において、移動量ギャップ判定部１３は、入力画像データ（フレーム画像データ）における移動量MVギャップ判定を行い、その判定結果を出力信号D1としてスイッチ部１４に出力する。
【００６９】
なお、ステップＳ１乃至Ｓ３の処理の順番は特に限定されない。基本的にはステップＳ１乃至Ｓ３の各処理は、それぞれ独立して実行される処理であるからである。
【００７０】
ステップＳ４において、スイッチ部１４は、移動量ギャップ判定部１３の出力信号D1に基づいて、小さな移動量MVと大きな移動量MVとが混在しているか否かを判定する。
【００７１】
ステップＳ４において、小さな移動量MVと大きな移動量MVとが混在していると判定した場合、スイッチ部１４は、ステップＳ５において、出力画像データ（フレーム画像データ）を構成する各画素データ（出力画素データ）として、移動量MVが小さい画素データについてはボケ除去データを採用し、移動量MVが大きい画素データについてはボケ加工データを採用する。そして、ステップＳ７において、スイッチ部１４は、出力画像データを出力する。
【００７２】
これに対して、ステップＳ４において、小さな移動量MVと大きな移動量MVとが混在していないと判定した場合、スイッチ部１４は、ステップＳ６において、出力画像データ（フレーム画像データ）として、ボケ除去データを採用する。そして、ステップＳ７において、スイッチ部１４は、出力画像データを出力する。
【００７３】
このようにして、ステップＳ７の処理で出力画像データが出力されると、画像処理は終了となる。
【００７４】
以上説明したように、一般的に撮像により得られた映像は、その映像を構成する各フレーム内におけるオブジェクト画像の動きが速いほど、ぼやけてしまう。そこで、図１の例のエンハンス補正部１１は、このぼやけを解消するために、その移動量MVにあわせてオブジェクト画像をエンハンスすること、即ち、移動量MVに応じたエンハンス処理（ボケ除去処理）を実行することができる。しかしながら、例えばフレーム画像において、前景画像（第１のオブジェクト画像）が遅い速度で動いているのに対して、背景画像（第２のオブジェクト画像）が速い速度で動いているような場合、エンハンス補正部１１が、そのフレーム画像データ全体に対して移動量MVに応じたエンハンス処理（ボケ除去処理）を施すと、前景画像よりもむしろ背景画像の方をより大きくエンハンスしてしまうことになる。従って、エンハンス補正部１１の出力信号T3をそのままディスプレイ等に入力させると、そのディスプレイの画面には、前景画像に対して背景画像が近く見え、奥行き感を損なってしまう映像が表示されてしまう、といった上述の問題が発生してしまう。
【００７５】
そこで、かかる問題を解決すべく、移動量MVの大きさに応じたタップ長を利用したＬＰＦ処理、即ち、移動量MVに応じたエンハンス抑制処理（ボケ加工処理）を実行可能なエンハンス抑制補正部１２が、図１の例の画像処理装置には設けられているのである。
【００７６】
これにより、フレーム画像における移動量MVの大きさの関係から、そのフレーム画像のうちの、小さな移動量MVの部分に対しては、移動量MVに応じたエンハンス処理（ボケ除去処理）を施してエンハンスさせる一方、大きな移動量MVの部分に対しては、移動量MVに応じたエンハンス抑制処理（ボケ加工処理）、即ち、その移動量MVに応じたタップ長を利用したＬＰＦ処理を施してぼかすようにすることができる。その結果、奥行き感が創造された映像を、ディスプレイ等の画面に表示させることができるようになる。
【００７７】
さらにまた、図示はしないが、本発明は、コマ補間にも適用可能である。即ち、コマ補間において移動量MVの大きなオブジェクトに対して正確にコマ補間を行うことは困難であるが、フレーム画像に小さな移動量MVと大きな移動量MVとが混在しているようなときには、移動量MVが小さいところ（画素群）に対しては動き補償を完全に行い、移動量MVが大きくなるにつれて（そのような画素群に対しては）２枚のフレーム間の平均を取るようにすることにより、破綻も抑制することが可能になる。
【００７８】
ところで、上述した一連の処理（或いはそのうちの一部分の処理）は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。
【００７９】
この場合、図１の画像処理装置全体若しくはその一部分は、例えば、図９に示されるようなコンピュータで構成することができる。
【００８０】
図９において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００８１】
CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。
【００８２】
入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置との通信処理を行う。
【００８３】
入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。
【００８４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【００８５】
このようなプログラムを含む記録媒体は、図９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【００８６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８７】
また、上述したように、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。
【００８８】
また、上述した例では、説明の簡略上、移動量MVは、フレーム内の一方向例えば水平方向の動きとしたが、当然ながらそれ以外の方向の動きともなり得る。このような場合、即ち、移動量MVの移動方向が水平方向以外でも、画像処理装置は、移動量MVをベクトルとして取り扱うことで、上述した各種処理と基本的に同様の処理を実行できる。
【図面の簡単な説明】
【００８９】
【図１】本発明が適用される画像処理装置の機能的構成例を示すブロック図である。
【図２】図１のエンハンス補正部の詳細な機能的構成例を示すブロック図である。
【図３】図２のエンハンス補正部のゲイン可変部が保持する関数の特性例を示す図である。
【図４】図２のエンハンス補正部のタップ量可変部が保持する関数の特性例を示す図である。
【図５】３つの移動量における撮像ボケの各特性例を示す図である。
【図６】図１のタップ量可変部が保持する関数の特性例を示す図である。
【図７】図１のスイッチ部が保持する関数の特性例を示す図である。
【図８】図１の画像処理装置が実行する画像処理の一例を説明するフローチャートである。
【図９】本発明が適用される画像処理装置の全部または一部分のハードウエア構成の一例を示すブロック図である。
【符号の説明】
【００９０】
１１  エンハンス補正部，  １２  エンハンス抑制補正部，  １３  移動量ギャップ判定部，  １４  スイッチ部，  ２１  タップ量可変部，  ２２  ＬＰＦ部，  ３１  ＨＰＦ部，  ３２  ゲイン可変部，  ３３  乗算部，  ３４  加算部，  ３５  タップ量可変部，  １０１  ＣＰＵ，  １０２  ＲＯＭ，  １０３  ＲＡＭ，  １０８  記憶部，  １１１  リムーバブルメディア
【図１】
2008252734.tif 000003
【図２】
2008252734.tif 000004
【図３】
2008252734.tif 000005
【図４】
2008252734.tif 000006
【図５】
2008252734.tif 000007
【図６】
2008252734.tif 000008
【図７】
2008252734.tif 000009
【図８】
2008252734.tif 000010
【図９】
2008252734.tif 000011