(57)【要約】【課題】  静止画像として用いられる画像に対して、動画像としても利用可能な画像処理を施し、動画像に動きのなめらかさを与える巡回型動画像処理装置を提供する。【解決手段】  入力される画像データの動き領域を抽出し、動き領域について時間的に異なる複数フレームの画像データから動きベクトルを算出する動きベクトル算出手段（１１）と、入力される画像データをフレーム単位で記憶可能な記憶手段（９８）と、入力された画像データと、記憶手段から出力される少なくとも１フレーム分前の画像データと、係数Ｋとを用いて、所定の巡回演算を行う演算手段（９６、９７、９８）と、動きベクトル算出手段で算出された動きベクトルの大きさに基づいて、動きベクトルの大きさが大きいほど、係数Ｋの値を小さくするように制御する係数制御手段（９４）とから構成される。【選択図】  図３
2006109361.tif 000002
【特許請求の範囲】
【請求項１】
入力される画像データの動き領域を抽出し、前記動き領域について時間的に異なる複数フィールドの画像データ又は複数フレームの画像データから動きベクトルを算出する動きベクトル算出手段と、
前記入力される画像データをフィールド又はフレーム単位で記憶可能な記憶手段と、
前記入力された画像データをＫ（０≦Ｋ≦１）倍すると共に、前記記憶手段から出力される少なくとも１フィールド分前の画像データ又は少なくとも１フレーム分前の画像データを（１−Ｋ）倍し、前記Ｋ倍された画像データと前記記憶手段から出力され（１−Ｋ）倍された画像データとを加算演算する巡回演算を行う演算手段と、
前記動きベクトル算出手段で算出された動きベクトルの大きさが大きいほど前記係数Ｋの値を小さくなるように変更制御する係数制御手段と
を有することを特徴とする巡回型動画像処理装置。
【請求項２】
請求項１記載の巡回型動画像処理装置において、
前記係数制御手段は、前記抽出された動き領域を含む領域について、動きベクトルの大きさが大きいほど前記係数Ｋの値を小さくなるように変更制御することを特徴とする巡回型動画像処理装置。
【請求項３】
請求項１記載の巡回型動画像処理装置において、
前記係数制御手段は、
抽出された複数の前記動き領域を各々に含む各領域について、動きベクトルの大きさが大きいほど前記係数Ｋの値を小さくなるように変更制御することを特徴とする巡回型動画像処理装置。
【請求項４】
請求項１乃至請求項３の何れか１つに記載の巡回型動画像処理装置において、
前記動きベクトル算出手段は、前記動き領域の大きさ、及び算出された前記動きベクトルの大きさと方向に応じて、前記入力された画像データのシーンチェンジを検出し、
前記係数制御手段は、前記動きベクトル算出手段によって、前記シーンチェンジが検出されたとき、前記動きベクトルの大きさにかかわらず、前記Ｋの値を１にすることを特徴とする巡回型動画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の静止画像を動画像として再生するとき、再生される動画像になめらかさを与えて、動画像を高画質化するのに適した巡回型動画像処理装置に関する。
【背景技術】
【０００２】
撮像装置として、撮像素子の撮像面上に結像した被写体像を光電変換し、得られた画像データを記録媒体に記録するものが一般に知られている。
また、撮像装置として、記録媒体として用いられるメモリの容量増大と画像処理速度の向上に伴い、単一の撮像系を用いて、静止画像の撮像のみでなく、動画像の撮像が可能なものが開発されている。
【０００３】
特に、報道分野等においては、このような撮像装置を用いて撮像された静止画像、動画像の両方の画像を鑑賞用として使用したいという要望がある。
例えば、単一の撮像系を用いて動画像を撮像して記録する際に、動画像の撮像が行われている状態でレリーズスイッチを押下して静止画像の撮像を指示すると、記録媒体に記録される動画中の対応する静止画にフラグが設定され、フラグが設定された画像のみを静止画像として再生可能な電子カメラが提案されている（特許文献１参照）。
【特許文献１】特開２０００−２９５５６８号公報
【非特許文献１】吹抜敬彦著「画像のディジタル信号処理（増補版）」日刊工業新聞社  昭和６１年７月３０日初版７刷（増補版）発行（第２５頁参照）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、前記した従来技術には次のような問題点がある。
すなわち、単一の撮像系で静止画像として使用される画像と、動画像として使用される画像とを同時に撮像する場合、通常の動画撮像条件で撮像された動画像の中から抽出された再生静止画像は、ぼけた画像となり静止画像として鑑賞に耐えない。
逆に、単一の撮像系で静止画像として使用される画像と、動画像として使用される画像とを同時に撮像する場合、通常の静止画撮像条件で撮像された動画像は、再生の際に動きのなめらかさがなく、動画像として鑑賞に耐えない。
【０００５】
本発明は、静止画像として用いられる画像に対して、動画像としても利用可能な画像処理を施し、動画像に動きのなめらかさを与える巡回型動画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、入力される画像データの動き領域を抽出し、動き領域について時間的に異なる複数フィールドの画像データ又は複数フレームの画像データから動きベクトルを算出する動きベクトル算出手段と、入力される画像データをフィールド又はフレーム単位で記憶可能な記憶手段と、入力された画像データをＫ（０≦Ｋ≦１）倍すると共に、記憶手段から出力される少なくとも１フィールド分前の画像データ又は少なくとも１フレーム分前の画像データを（１−Ｋ）倍し、Ｋ倍された画像データと記憶手段から出力され（１−Ｋ）倍された画像データとを加算演算する巡回演算を行う演算手段と、動きベクトル算出手段で算出された動きベクトルの大きさが大きいほど係数Ｋの値を小さくなるように変更制御する係数制御手段とを有することを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１記載の巡回型動画像処理装置において、係数制御手段は、抽出された動き領域を含む領域について、動きベクトルの大きさが大きいほど係数Ｋの値を小さくなるように変更制御することを特徴とする。
請求項３に記載の発明は、請求項１記載の巡回型動画像処理装置において、係数制御手段は、抽出された複数の動き領域を各々に含む各領域について、動きベクトルの大きさが大きいほど係数Ｋの値を小さくなるように変更制御することを特徴とする。
【０００８】
請求項４に記載の発明は、請求項１乃至請求項３の何れか１つに記載の巡回型動画像処理装置において、動きベクトル算出手段は、動き領域の大きさ、及び算出された動きベクトルの大きさと方向に応じて、入力された画像データのシーンチェンジを検出し、係数制御手段は、動きベクトル算出手段によって、シーンチェンジが検出されたとき、動きベクトルの大きさにかかわらず、Ｋの値を１にすることを特徴とする。
【０００９】
本発明の巡回型動画像処理装置は、次の原理に基づくものである。すなわち、演算手段を用いて画像データに巡回加算処理（低域通過フィルタ処理）を施すとき、係数Ｋの値を小さくすることにより、意図的に残像の量を大きくすることで、なめらかな動きの動画を得る。
【発明の効果】
【００１０】
本発明によれば、静止画像として利用可能な画像を動画像として再生する際に、動きのなめらかな動画像を得て、動画像の鑑賞を可能にする。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について、添付の図面を用いて説明する。
図１は、本発明の巡回型動画像処理装置を用いた画像処理システムの一例を示すブロック図である。この実施形態は全ての請求項に対応する。
図１に示す画像処理システムは、撮像素子１と、撮像レンズ２と、撮像素子駆動回路３と、処理回路４と、圧縮回路５と、記録媒体６と、操作部７と、撮影モード設定部８と、動き処理回路９と、制御回路１０と、動きベクトル算出回路１１と、表示部１２と、絞り装置１３と、絞り駆動回路１４と、レンズ駆動回路１５と、ズーム操作部１６とから構成されている。
【００１２】
図１において、図示していない被写体の像は、撮像レンズ２によって、撮像素子１の撮像面上に結像する。なお、図１では簡単のため、拡大光学系を含む複数枚のレンズで構成される撮像レンズ２を１枚のレンズとして示している。撮像レンズ２は、レンズ駆動回路１５によって駆動される。すなわち、ズーム操作部１６の操作に基づいて、制御回路１０の制御のもと、レンズ駆動回路１５によって撮像レンズ２が駆動され、光学ズーム機能が実現される。
【００１３】
また、撮像素子１と撮像レンズ２の間には、絞り駆動回路１４によって駆動される絞り装置１３が配置されている。
撮像素子１は電子シャッタ動作が可能であり、制御回路１０の制御のもとで、撮像素子駆動回路３によって駆動される。すなわち、撮像素子駆動回路３の出力する駆動信号によって撮像素子１より読み出された画像データは、処理回路４に入力されて直流再生、Ａ／Ｄ変換、ホワイトバランス、ガンマ変換、電子ズーム等の信号処理が施される。
【００１４】
なお、撮像素子１の電子シャッタ動作にかえて、機械的シャッタを用いるものであっても、両者を併用するものであってもよい。
処理回路４から出力される画像データは、圧縮回路５と表示部１２とに入力されるとともに、動き処理回路９と動きベクトル算出回路１１とに入力される。
圧縮回路５は入力された画像データに圧縮処理を施し、圧縮された画像データは当該画像データに関連する付帯データ（撮像素子１の蓄積時間情報、圧縮回路５による圧縮動作の圧縮率情報等）とともに記録媒体６に記録される。
【００１５】
表示部１２には、処理回路４より出力された画像データに対応する画面、又は動き処理回路９より出力された画像データに対応する画面が、制御回路１０の制御によって選択的に表示される。また、表示部１２の表示画像は、制御回路１０の制御によって、必要に応じて固定化（フリーズ）される。
なお、圧縮回路５に、圧縮された画像データを復号化する機能を付加し、制御回路１０の制御に基づいて、記録媒体６に記録された圧縮画像データに対応する画像を表示部１２に表示可能な構成としてもよい。
【００１６】
動き処理回路９は、動きベクトル算出回路１１の出力に基づいて、入力される画像データに対して後述する動き処理を行い、動き処理の施された画像データを圧縮回路５、表示部１２に出力する。圧縮回路５は、動き処理の施された画像データを圧縮し、記録媒体６に記録する。また、表示部１２は、動き処理の施された画像データを制御回路１０の制御により表示する。
【００１７】
図１において、操作部７は連続画像の撮像開始や記録開始を指示するものである。また、撮影モード設定部８は、撮像モードを設定するものである。操作者は、撮影モード設定部８の操作によって、動画撮像モードと、静止画撮像モードと、静止画像として用いられる画像であって、かつ動画像としても利用可能なブレの少ない連続画像を撮像する撮像モード（以下、静止画・動画撮像モードと称する）の中から１つの撮像モードを選択し、操作部７の操作によって撮像の開始を指示する。ここで、本発明が対象とするのは、静止画・動画撮像モードである。
【００１８】
なお、図１に示される表示部１２や記録媒体６等の各ユニットは、個別の装置として設けられるものであっても構わない。例えば、表示部１２や記録媒体６が、個別の装置として設けられる場合、表示部１２や記録媒体６との電気的接続を実現するため、接続コネクタ（無線接続の場合にはアンテナ）が設けられる。
以下、撮影モード設定部８の操作によって静止画・動画撮像モードが選択された場合、図１に示す画像処理システムの動作について説明する。
【００１９】
撮影モード設定部８の操作によって静止画、動画撮像モードが選択され、操作部７によって連続撮像の開始、記録が指示される。これによって、制御回路１０は、撮像素子１の電子シャッタ時間（電荷蓄積時間）を、像ブレが少なくなるように短く設定する。これによって、静止画像として用いられる画像の取得が可能となる。
撮像素子１より出力された画像データは、処理回路４で上述のような所定の処理（直流再生、Ａ／Ｄ変換等）が施される。
【００２０】
処理回路４から出力された画像データは、連続する複数の静止画像データとして圧縮回路５に入力されてデータ圧縮処理が施された後、記録媒体６に入力される。このようにして、記録媒体６には、連続する複数フレームの、像ブレの少ない高画質の静止画像が記録される。
また、処理回路４より出力された画像データは、動画像画像データとして動きベクトル算出回路１１、動き処理回路９に入力され、動き処理が施される。
【００２１】
動きベクトル算出回路１１は、時間的に連続して入力される複数の画像データをもとに、画像領域における動き領域を抽出し、動きベクトルを算出し、抽出された動き領域の動きの速さ（動きベクトルの大きさ）を求める。
次に、動きベクトル算出回路１１が行う動き領域の抽出、動きベクトル算出処理について説明する。
【００２２】
最初に、画面内の時間的に移動する領域の抽出について説明する。具体的には、対象フレームと、対象フレームより時間的に前のフレームとの差分、及び対象フレームと、対象フレームより時間的に後のフレームとの差分をとって、時間的に前後する２フレーム間で、変化のある領域を算出し、両差分の論理積をとることによって算出される。
図２は、動き領域の抽出原理を説明するための図である。
【００２３】
図２（ａ）は、時間的に連続するｔｘ−１，ｔｘ、ｔｘ＋１の３つのフレームＦにおいて、被写体１７が、画面内を右方向に一定の速度で移動する様子を示したものである。
動き領域を抽出するために、時刻ｔｘ−１の画像データと時刻ｔｘの画像データとの差分の絶対値、及び時刻ｔｘの画像データと時刻ｔｘ＋１の画像データとの差分の絶対値を算出し、所定レベルと比較して、連続するフレームＦ間で変化のあった領域１８，１９を抽出する（図２（ｂ）参照）。以上の処理は画素毎に行われる。また、所定レベルとは、例えば画像データに通常含まれているノイズ成分を超える値が考えられる。これにより、明らかに、当該画素に変化があったこと（移動したこと）が判明するからである。
【００２４】
このようにして抽出された、時間的に連続する２つの変化のあった領域の重複領域をアンド演算により求めることによって、動き領域２０が抽出される（図２（ｃ）参照）。言うまでもなく、この処理も画素毎に行われる。
抽出された動き領域２０のフレームＦ内の位置は、図２（ａ）に示す時刻ｔｘにおける被写体１７の位置と一致していることがわかる。
【００２５】
なお、動きベクトル算出回路１１は、このようにして抽出された動き領域と静止領域との境界を含むように、上記の抽出された動き領域２０より若干広い領域を新たな動き領域２０として判断する。
上記の処理が、動きベクトル算出回路１１に入力される動画像データに対して連続して施され、動画像を構成する各フレームＦ毎に、動き領域２０が抽出される。
【００２６】
このようにして抽出された動き領域２０は、各フレームＦ内で複数のブロックに分割され、隣接するフレームＦ間で、各ブロック毎にパターンマッチングを行うことによって、各ブロック毎に動きベクトルが算出される。
以下、図３に示す動き処理回路９について説明する。なお、動き処理回路９は、図１に示す動きベクトル算出回路１１とともに、本実施形態の特徴的な部分である。
【００２７】
図３に示す動き処理回路９は、入力される画像データＸiをＫ倍（但し、０≦Ｋ≦１）したものと、１フレーム遅延した画像データＹi-1を（１−Ｋ）倍したものとを加算して、順次遅延メモリに書き込む構成（Ｙi＝Ｋ＊Ｘi＋（１−Ｋ）＊Ｙi-1）である。
図３に示すように、動き処理回路９は、動きベクトル算出回路１１から端子９３を介して入力される動き情報（各分割ブロックの動きベクトル情報、動き領域情報）をもとに、端子９１から入力される連続した静止画像の画像データに対して時間軸方向の低域通過フィルタ処理（巡回加算処理）を施した上で、端子９２から時間軸方向に低域通過フィルタ処理を施した動画像データを出力する。以下、図３に基づいて、時間軸方向の低域通過フィルタ処理の実行について説明する。
【００２８】
端子９１より入力される連続した静止画像の画像データ（画素毎）は、乗算器９５でＫ倍（ここで、Ｋの値は、０≦Ｋ≦１である）され、乗算器９６の出力と、加算器９７で加算される。加算器９７の出力は、端子９２から出力されるとともに、フレームメモリ９８に入力される。フレームメモリ９８は、端子９９を介して入力される制御回路１０（図１参照）によるフレームメモリ９８の読み出し、書き込みの制御信号に基づいて、入力された画像データを所定期間保持した後に、乗算器９６に出力する。
【００２９】
乗算器９６では、フレームメモリ９８の出力する画像データに対して（１−Ｋ）倍の乗算が施され、この乗算結果が加算器９７に出力されて、乗算器９５の出力する動画像データと画素毎に順次巡回加算される。
フレームメモリ９８の保持期間は、乗算器９５の出力する画像データと乗算器９６の出力する画像データとの画面上の画素の位置が同じになるように制御される。
【００３０】
ここで、乗算器９５の係数Ｋの値と、乗算器９６の係数（１−Ｋ）の値とは、係数制御回路９４によって画素位置、あるいは領域位置毎に制御可能な構成とされる。係数制御回路９４は、端子９３から入力される動き情報に基づいて、前述の係数Ｋの値を制御する。
以上の動作において、図３に示すように、乗算器９６と加算器９７とフレームメモリ９８は、巡回フィルタを構成している。
【００３１】
次に、請求項との対応関係を説明する。すなわち、請求項に記載する動きベクトル算出手段が動きベクトル算出回路１１に対応し、記憶手段がフレームメモリ９８に対応し、演算手段が乗算器９５、９６、加算器９７等に対応し、係数制御手段が係数制御回路９４に対応する。なお、前記した請求項と実施形態との対応関係は解釈の一例を示したもので、これに限定されるものではない。
【００３２】
次に、上記巡回フィルタの動作について具体例を用いて説明する。
図４は、撮像素子１の撮像面上を、被写体像の右端に高輝度部（図４（ａ）（ｂ）の太線部分）を有する被写体像Ｘ、Ｙが右方向に移動する様子を示したものである。ここでは、ｔｘ−２、ｔｘ−１、ｔｘ、ｔｘ＋１、ｔｘ＋２は、撮像素子１により連続撮像がなされた時刻を示し、簡単のため、その時間間隔が一定である場合について説明する。
【００３３】
図４（ａ）は、撮像素子１の撮像面上を、被写体像Ｘが高速で等速移動する様子を示す。また、図４（ｂ）は、撮像素子１の撮像面上を、被写体像Ｙが低速で等速移動する様子を示す。なお、図４（ａ）（ｂ）においては、各時刻における被写体Ｘ、Ｙの識別を容易にするため、各時刻における被写体像を紙面縦方向に若干ずらして示している。
動きベクトル算出回路１１（図１参照）は、各撮像時刻において得られた画像データを用いて動き領域の抽出を行う。前述の動き領域の抽出原理から容易にわかるように、各撮像時刻において得られた画像中の動き領域の位置は、図４（ａ）（ｂ）に示される被写体像Ｘ、Ｙの位置と同じものとなる。
【００３４】
動きベクトル算出回路１１は、抽出された画面内の動き領域を含む領域を複数のブロックに分割し、各ブロックについて動きベクトルを算出するが（図２（ｃ）参照）、図４（ａ）（ｂ）の例では、被写体像Ｘ、Ｙが、等速で同方向に移動するので、被写体像Ｘ、Ｙの移動量と移動方向は、移動中の各時刻において変化しない。すなわち、動きベクトルの向きと大きさは、移動中の各時刻において抽出された動き領域の各ブロック内で同じものとなる。
【００３５】
このようにして算出された被写体像Ｘ，Ｙの各時刻の動きベクトルを、図４（ａ）（ｂ）の各々に矢印で示す。ここでは、仮に図４（ａ）（ｂ）に示される動きベクトルの大きさを、各々２００、１００とする。すなわち、図４（ａ）では、連続して撮像されたフレーム間において、被写体像Ｘが画面上右方向に２００画素移動し、図４（ｂ）では連続して撮像されたフレームの間において、被写体像Ｙが画面上右方向に１００画素移動している。
【００３６】
図４（ａ）（ｂ）の画面横方向の画素数を各々１０２４画素、同じく縦方向の画素数を各々７６８画素、被写体像Ｘ、Ｙの横方向の画素数を各々２００画素、同じく縦方向の画素数を３２０画素とし、被写体像Ｘ、Ｙ部のデータ値を８、高輝度部のデータ値を１６、静止部（背景部）のデータ値を０と仮定する。ここで、データ値とは、画像データを８ビット（０〜２５５）の輝度で表したときの値である。
【００３７】
係数制御回路９４は、動きベクトルの大きさが大きいほど、係数Ｋの値を小さくするように制御する。すなわち、動きが大きいほどＫの値を小さくし、残像を付加してなめらかな動きを実現する。
例えば、係数制御回路９４は、係数Ｋの値を、時刻ｔｘ−２〜ｔｘ＋２において、動き領域として抽出された領域を含む領域について、動きベクトルの大きさが２００のときには１／４、動きベクトルの大きさが１００のときには１／２に制御するものとすると、図４（ａ）（ｂ）の各時刻における図１の表示部１２に表示される画像は、各々図５の左側、図６の左側に示すものとなる。
【００３８】
また、図５の左側に表示される画像、及び図６の左側に表示される画像おいて、併記される数字は各領域のデータ値（輝度レベル）であり、小数点以下第３位を四捨五入した値を示している。
なお、図５の右側、図６の右側には、各時刻における画像に対応させて、画面中央水平方向におけるデータ値（輝度レベル）の変化をあわせて示している。
【００３９】
ここでは、簡単のため、図４（ａ）（ｂ）の各々において、時刻ｔｘ−２以前、時刻ｔｘ＋２以降の被写体像Ｘの位置は、各々時刻ｔｘ−２、時刻ｔｘ＋２の被写体像Ｘ、Ｙの位置と同じであるものとする。
比較のために、係数制御回路９４が、係数Ｋの値を、動きベクトルの大きさが２００のときには１／２、動きベクトルの大きさが１００のときには１／４に制御した際の、図４（ａ）（ｂ）の各時刻における画像と画面中央水平方向におけるデータ値（輝度レベル）の変化を、図５、図６の場合と同様に、各々図７、図８に示す。
【００４０】
例えば、図５の時刻ｔｘ＋１の輝度レベルをみると、図７の時刻ｔｘ＋１の輝度レベルと比較して、被写体像の残像効果が大きいことがわかる。すなわち、図５の時刻ｔｘ＋１の輝度レベルは画像位置左後部において大きくなり、図７の時刻ｔｘ＋１の輝度レベルは画像位置左後部において小さくなる。これは、図５の時刻ｔｘ＋１では、動いている被写体について残像効果が大きく、時間方向の解像度が劣化しており、これによって動きのなめらかな動画像を得ることができることを意味する。
【００４１】
一方、図６の時刻ｔｘ＋１の輝度レベルをみると、図８の時刻ｔｘ＋１の輝度レベルと比較して、被写体像の残像効果が少ない反面（図６の時刻ｔｘ＋１の輝度レベルは画像位置左後部において小さい）、動被写体像の輝度レベルが大きいことがわかる（図６の時刻ｔｘ＋１の輝度レベルは画像位置右前部において大きい）。すなわち、被写体の動きが小さい場合には、動被写体像の画面内解像度の劣化を少なくするように、残像効果が付与される。
【００４２】
なお、非特許文献１によれば、対象が動いているときには、視覚解像度が低下する旨が示されている。また、非特許文献１の図２．１４では、時間周波数が高いほど、高い空間周波数で相対感度が低くなる様子が示されている。換言すれば、被写体の移動速度が速いと、視覚解像度が低下するので、画像自体の解像度が低くてもなめらかな動画像として認識することができる。逆に、被写体の移動速度が遅いと、視覚解像度は低下しないので、画像の解像度を高くしないとぼけた動画像として認識されることとなる。
【００４３】
図５と図６を比較すると、図５の高輝度部のレベルは図６の高輝度部のレベルと比較して小さいものの、動きの大きい図５の方が動きの小さい図６と比較して、大きい残像効果を得ていることがわかる。
一方、動きの小さい図６の方が、動きの大きい図５と比較して、残像効果は小さいものの、高輝度部のレベルが大きく、画面内の解像度特性がよくなっていることがわかる。
【００４４】
このように、動きの大きい画像に対しては画像自体の解像度が低くてなめらかな動画像を得ることができ、動きの小さい画像に対しては動きの大きい画像の場合に比較して、視覚解像度が改善された動画像を得ることができる。
上記のように、被写体像の動きの大きさに応じて、係数Ｋの値を変更することによって、動きの大きい場合にもなめらかな動画像を得ることが可能となるとともに、動きの小さい場合にも、画面内解像度の劣化を防止しつつ、動きのなめらかな動画像を得ることができる。
【００４５】
なお、上記説明においては、動き処理回路９として、図３に示される例を用いて説明したが、これにかえて、例えば図９に示される構成や図１０に示すルックアップテーブルを用いる構成としてもよい。
図９に示す動き処理回路９は、入力画像データと１フレーム遅延画像データとの差分をとって、その差分を（１−Ｋ）倍して、入力画像データから減算する構成としたものであり、図３に示すものと同じ機能が実現できる。すなわち、次式により動き処理回路９を実現する回路である。
【００４６】
Ｙi＝Ｘi−（１−Ｋ）＊（Ｘi−Ｙi-1）
また、図１０に示す動き処理回路９は、前記した演算を行うことなく、あらかじめ入力画像データの値と１フレーム遅延画像データの関係からルックアップテーブル１００を構成し、入力画像データの値と１フレーム遅延画像データに応じて出力を読み出すものである。
【００４７】
また、上記説明においては、撮像素子１の撮像面上を単一の被写体像（Ｘ、又はＹ）が移動する例について説明した。しかし、本発明はこれに限定されるものではなく、例えば被写体像Ｘが撮像面上の上部を図４（ａ）に示す速度で移動し、被写体像Ｙが撮像面上の下部を図４（ｂ）に示す速度で移動するというように、複数の被写体像が撮像面上を移動する場合においても適用することができる。この場合でも、動きの速い被写体像の動き領域を含む領域についての係数Ｋの値は、動きの遅い被写体像の動き領域を含む領域についての係数Ｋよりも小さく設定される。
【００４８】
なお、前記した実施形態において、動き処理回路９は入力画像データと１フレーム遅延した画像データとに基づいて低域通過フィルタ処理（巡回加算処理）を実行した。しかし、本発明は１フレーム遅延した画像データを用いることに限定されるものではなく、複数フレーム分だけ遅延した画像データを用いても実現することができる。
また、前記した実施形態においては、フレーム単位に動き処理回路９を動作させたが、本発明はこれに限定されるものではなく、フィールド単位に動き処理回路９を動作させてもよい。ここで、フィールドとは、１フレームを互いに１本おきの走査線で走査した２面のフィールドで画面を構成することを意味する。フィールドを用いる場合、図３、図９に示すフレームメモリ９８の代わりに、フィールドメモリが用いられることになる。この場合においても、本発明は複数フィールド分だけ遅延した画像データを用いて実現することができる。
【００４９】
また、前記した実施形態においては、Ｋの値を１／２と１／４の２つの値に設定したが、本発明はこれに限定されるものではなく、Ｋの値としては、０≦Ｋ≦１の範囲で任意の値を取ることができる。また、Ｋの値を設定する場合においても、設定するＫの値は２つに限定されるものではない。
また、前記した実施形態においては、巡回型動画像処理装置を、撮像装置に適用した例について示したが、本発明はこれに限定されるものではなく、画像記録装置、画像再生装置等に対しても同様に適用できる。
【００５０】
このような装置においては、１フレームの画像を複数のブロックに分割して、各ブロックで動きベクトルを算出し、各ブロックの動きベクトルの大きさ、方向をもとに、画像のパンニング、被写体の動き、シーンチェンジを判別する。
ここで、一般的なシーンチェンジ時の動き領域は画面全体となり、動きベクトルの大きさ及び方向は、算出不能（算出できたとしても、各ブロックでランダム）となる。このような場合には、入力画像がシーンチェンジ状態であると判別し、動きベクトルの大きさに関係なく、上記係数Ｋの値を１として、巡回型動画像処理を行わない。すなわち、入力された画像データに何の演算も施されることなく、入力された画像データがそのまま出力される。これは、請求項４に対応する。
【００５１】
一方、画像のパンニングの場合には、動き領域は画面全体となり、各ブロックの動きベクトルは、大きさ、向きともほぼ一定となる。このような場合には、上述したとおり、動きの量が大きいほど、係数Ｋの値を小さくする。
被写体が動く場合は、前記実施形態において説明したとおりである。
さらに、画像の拡大、縮小がなされた場合にも、動き領域は画面全体となり、動きベクトルの向きは、拡大、縮小の中心点を中心として、拡散又は集中する。動きベクトルの向きにより、画像の拡大、縮小を判別し、動き量が大きい場合には、上記実施形態における説明と同様に、係数Ｋの値を小さくする。
【００５２】
また、動き量の判定は、所定の閾値と動きベクトルの大きさとを比較することによって行う構成としてもよい。動きベクトルの大きさが所定の閾値より大きくなった場合、係数Ｋの値を小さくする。また、係数Ｋの値は動きベクトルの大きさによって連続的に変化するものであってもよい。動き領域の範囲、動きベクトルの向き及び大きさによって、シーンチェンジを判別し、この場合には、上述の説明と同様に、動きベクトルの大きさにかからず、係数Ｋの値を１として巡回型動画像処理を行わない。
【００５３】
これらの画像の動きの形態判別は、図１に示す動きベクトル算出回路１１において行われる。
【産業上の利用可能性】
【００５４】
本発明は、撮像装置、画像記録装置、画像再生装置等の静止画像と動画像を扱う各分野で、産業上大いに利用することができる。
【図面の簡単な説明】
【００５５】
【図１】本発明の巡回型動画像処理装置を用いた画像処理システムの一例を示すブロック図である。
【図２】動き領域の抽出原理を説明するための図である。
【図３】動き処理回路の例を示す図である。
【図４】（ａ）は撮像素子の撮像面上を被写体像Ｘが高速で等速移動する様子を示し、（ｂ）は撮像素子の撮像面上を被写体像Ｙが低速で等速移動する様子を示す図である。
【図５】各時刻における画像に対応させ、画面中央水平方向における輝度レベルの変化を示す図である。
【図６】各時刻における画像に対応させ、画面中央水平方向における輝度レベルの変化を示す図である。
【図７】各時刻における画像に対応させ、画面中央水平方向における輝度レベルの変化を示す図である。
【図８】各時刻における画像に対応させ、画面中央水平方向における輝度レベルの変化を示す図である。
【図９】動き処理回路の他の例を示す図である。
【図１０】動き処理回路の他の例を示す図である。
【符号の説明】
【００５６】
１  撮像素子
２  撮像レンズ
３  撮像素子駆動回路
４  処理回路
５  圧縮回路
６  記録媒体
７  操作部
８  撮影モード設定部
９  動き処理回路
１０  制御回路
１１  動きベクトル算出回路
１２  表示部
１３  絞り装置
１４  絞り駆動回路
１５  レンズ駆動回路
１６  ズーム操作部
１７  被写体
１８、１９  連続フレーム間で変化した領域
２０  動き領域
９４  係数制御回路
９８  フレームメモリ
１００  ルックアップテーブル
Ｆ  フレーム
Ｋ  係数
【図１】
2006109361.tif 000003
【図２】
2006109361.tif 000004
【図３】
2006109361.tif 000005
【図４】
2006109361.tif 000006
【図５】
2006109361.tif 000007
【図６】
2006109361.tif 000008
【図７】
2006109361.tif 000009
【図８】
2006109361.tif 000010
【図９】
2006109361.tif 000011
【図１０】
2006109361.tif 000012