(57)【特許請求の範囲】
【請求項１】
記録部と、
撮影した画像の動きを検出して、画面の動き量を算出し、当該動き量とあらかじめ設定した動き閾値とを比較してフレームレートを決定する第１の処理部と、
上記第１の処理部により報知された動的に可変されるフレームレートをもって上記記録部に対して撮影画像の記録を行う第２の処理部と、を有し、
上記第１の処理部は、動き量の時間的な積算量からフレームレートの決定を行う
画像信号処理装置。
【請求項２】
上記第１の処理部は、動き量が動き閾値以上の場合に高フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録する
請求項１記載の画像信号処理装置。
【請求項３】
上記第１の処理部は、動き量が動き閾値より小さい場合に低フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録せず、間引いて記録する
請求項１記載の画像信号処理装置。
【請求項４】
上記第１の処理部は、動き量が動き閾値以上の場合に高フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録し、
上記第１の処理部は、動き量が動き閾値より小さい場合に低フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録せず、間引いて記録する
請求項１記載の画像信号処理装置。
【請求項５】
上記動き閾値は設定変更可能である
請求項１から４のいずれか一に記載の画像信号処理装置。
【請求項６】
被写体の像を撮像し画像データを出力する撮像部と、
画像データに所定の処理を行う画像信号処理装置と、を含み、
上記画像信号処理装置は、
記録部と、
撮影した画像の動きを検出して、画面の動き量を算出し、当該動き量とあらかじめ設定した動き閾値とを比較してフレームレートを決定する第１の処理部と、
上記第１の処理部により報知された動的に可変されるフレームレートをもって上記記録部に対して撮影画像の記録を行う第２の処理部と、を含み、
上記第１の処理部は、動き量の時間的な積算量からフレームレートの決定を行う
撮像装置。
【請求項７】
上記第１の処理部は、動き量が動き閾値以上の場合に高フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録し、
上記第１の処理部は、動き量が動き閾値より小さい場合に低フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録せず、間引いて記録する
請求項６記載の撮像装置。
【請求項８】
上記動き閾値は設定変更可能である
請求項６または７記載の撮像装置。
【請求項９】
被写体の像を任意のフレームレートで撮像可能で画像データを出力する撮像部と、
画像データに所定の処理を行う画像信号処理装置と、を含み、
上記画像信号処理装置は、
撮影した画像の動きを検出して、画面の動き量を算出し、当該動き量とあらかじめ設定した動き閾値とを比較する第１の処理部と、
上記撮影画像の動き量積算値が一定量に達した時点で、自律的に高フレームレート撮影を開始するように上記撮像部を制御する制御部と、を含む
撮像装置。
【請求項１０】
撮影可能範囲に入ってきた移動物体を、少なくとも当該の移動量、撮影に値する物体であるとの判断を下すための判定基準値を各フレームごとに算出する機能を有する
請求項９記載の撮像装置。
【請求項１１】
高フレームレート撮影を実行中に、撮影画像の動き量を算出・監視し、動き量の一定以上の減衰が認められた場合は、高フレームレート撮影を停止する機能を有する
請求項９記載の撮像装置。
【請求項１２】
上記第１の処理部により報知された動的に可変されるフレームレートをもって記録部に対して撮影画像の記録を行う第２の処理部を含む
請求項９記載の撮像装置。
【請求項１３】
撮影した画像の動きを検出する第１ステップと、
画面の動き量を算出する第２ステップと、
上記動き量の時間的な積算量とあらかじめ設定した動き閾値とを比較してフレームレートを決定する第３ステップと、
上記第３ステップで決定された動的に可変されるフレームレートをもって上記記録部に対して撮影画像の記録を行う第４ステップと
を有する画像信号処理方法。
【請求項１４】
撮影した画像の動きを検出する第１ステップと、
画面の動き量を算出する第２ステップと、
上記動き量の時間的な積算量とあらかじめ設定した動き閾値とを比較する第３ステップと、
上記撮影画像の動き量積算値が一定量に達した時点で、自律的に高フレームレート撮影を開始するように撮像部を制御する第４ステップと、を含む
画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続画像を処理する画像信号処理装置、撮像装置、および画像信号処理方法に関するものである。
【背景技術】
【０００２】
連続画像の処理データ量は一般的にフレームレートに比例する。
高フレームレートの連続画像を従来方式で記録するには大量の記録データが必要になるため、さらなる記録データ量を削減した記録方式が求められる。
【０００３】
連続画像を撮影する際の記録方法は大きくわけると次の２つに分類できる。
・静止画として記録する方法、および
・動画として記録する方法、
である。
【０００４】
まず、連続画像を静止画として記録する場合の一般的な記録方法について述べる。
この場合、記録された各静止画間は完全に独立していて依存関係はなく、各静止画間の時間の経過といった概念も普通存在しない。
そのため、たとえフレーム間の動きがほとんどなく非常に似た画像同士であっても、まったく別の静止画として別々に記録保存することになる。たとえば、JPEG方式などがこれに当たる。
記録するデータ量はフレームレートに比例するので、この方法では高フレームレートになると記録データ量が増大してしまう。
【０００５】
一方、連続画像を動画として記録する場合は、予め設定したフレームレートに従って一定の時間間隔で各フレームを記録しつづけることになり、動画シーケンス中の途中のフレームが１枚でも欠損することは許されない。
このため、各フレーム間の動きの増減にかかわらず常に各フレームをコマ落ちすることなく記録することが要求される。
つまりこの方法においても、フレーム間の動きがほとんどなく非常に似た画像同士であっても、フレームレート一定のため、高フレームレートになると記録データ量の増加は免れない。
たとえば、MotionJPEGやMPEG系のコーデック（Codec）がこれに当たる。
【０００６】
MotionJPEG 方式の場合、各フレームはJPEG方式によるイントラ圧縮のみとなるので、データ量はフレームレートに比例し、フレームレートは固定となっている。
MPEG2/4/H.264 AVCなどMPEG系の場合は、インター予測によるフレーム間差分を用いた圧縮により圧縮効率は向上しているが、こちらもフレームレートは固定となっている。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このように、従来技術でさらに記録データ量を削減するためには、以下の問題点がある。
静止画として記録する方法では、フレーム間の相関性が利用できない。
動画として記録する方法では、フレーム間の動き量の増減によらずに常に一定のフレームレートとなってしまう。
【０００８】
また、既存の動画記録方式(MotionJPEG, MPEG2/4/H.264 AVC, etc)では、フレームレートは予め静的な値(30fps/60fps etc)に固定されている。
したがって、一般的な画像撮像装置においては、動画で秒間あたり30または60フレーム記録であり、高速で移動する物体に対して、滑らかな画像を記録することができない。
また、静止画画像における連写機能は手動で行うため、高速で移動する物体に対して確実に撮像画像を記録することができない。
【０００９】
本発明は、動き量に応じて適応的（動的）にフレームレートを増減させることができ、連続画像記録を実現でき、滑らかな動画記録や、高速物体に追従した静止画記録を可能にする画像信号処理装置、撮像装置、および画像信号処理方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の第１の観点の画像信号処理装置は、記録部と、撮影した画像の動きを検出して、画面の動き量を算出し、当該動き量とあらかじめ設定した動き閾値とを比較してフレームレートを決定する第１の処理部と、上記第１の処理部により報知された動的に可変されるフレームレートをもって上記記録部に対して撮影画像の記録を行う第２の処理部と、を有し、上記第１の処理部は、動き量の時間的な積算量からフレームレートの決定を行う。
【００１１】
本発明の第２の観点の撮像装置は、被写体の像を撮像し画像データを出力する撮像部と、画像データに所定の処理を行う画像信号処理装置と、を含み、上記画像信号処理装置は、記録部と、撮影した画像の動きを検出して、画面の動き量を算出し、当該動き量とあらかじめ設定した動き閾値とを比較してフレームレートを決定する第１の処理部と、上記第１の処理部により報知された動的に可変されるフレームレートをもって上記記録部に対して撮影画像の記録を行う第２の処理部と、を含み、上記第１の処理部は、動き量の時間的な積算量からフレームレートの決定を行う。
【００１４】
好適には、上記第１の処理部は、動き量が動き閾値以上の場合に高フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録し、上記第１の処理部は、動き量が動き閾値より小さい場合に低フレームレートに決定し、上記第２の処理部は、記録すべき該当フレームを記録せず、間引いて記録する。
【００１５】
好適には、上記動き閾値は設定変更可能である。
【００１６】
本発明の第３の観点の撮像装置は、被写体の像を任意のフレームレートで撮像可能で画像データを出力する撮像部と、画像データに所定の処理を行う画像信号処理装置と、を含み、上記画像信号処理装置は、撮影した画像の動きを検出して、画面の動き量を算出し、当該動き量とあらかじめ設定した動き閾値とを比較する第１の処理部と、上記撮影画像の動き量積算値が一定量に達した時点で、自律的に高フレームレート撮影を開始するように上記撮像部を制御する制御部と、を含む。
【００１７】
好適には、撮影可能範囲に入ってきた移動物体を、少なくとも当該移動量、撮影に値する物体であるとの判断を下すための判定基準値を各フレームごとに算出する機能を有する。
【００１８】
好適には、高フレームレート撮影を実行中に、撮影画像の動き量を算出・監視し、動き量の一定以上の減衰が認められた場合は、高フレームレート撮影を停止する機能を有する。
【００１９】
本発明の第４の観点の画像信号処理方法は、撮影した画像の動きを検出する第１ステップと、画面の動き量を算出する第２ステップと、上記動き量の時間的な積算量とあらかじめ設定した動き閾値とを比較してフレームレートを決定する第３ステップと、上記第３ステップで決定された動的に可変されるフレームレートをもって上記記録部に対して撮影画像の記録を行う第４ステップとを有する。
【００２０】
本発明の第５の観点の画像信号処理方法は、撮影した画像の動きを検出する第１ステップと、画面の動き量を算出する第２ステップと、上記動き量の時間的な積算量とあらかじめ設定した動き閾値とを比較する第３ステップと、上記撮影画像の動き量積算値が一定量に達した時点で、自律的に高フレームレート撮影を開始するように撮像部を制御する第４ステップと、を含む。
【発明の効果】
【００２１】
本発明によれば、動き量に応じて適応的（動的）にフレームレートを増減させることができ、連続画像記録を実現でき、滑らかな動画記録や、高速物体に追従した静止画記録を可能にすることができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施形態を図面に関連付けて説明する。
【００２３】
図１は、本発明の第１の実施形態に係る画像信号処理装置を採用したカメラシステム（撮像装置）の構成例を示すブロック図である。
【００２４】
本カメラシステム１０は、光学系１１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ（撮像装置）１２、アナログ信号処理部１３、アナログ／デジタル（Ａ／Ｄ）コンバータ１４、デジタル信号処理部１５、第１の処理部としての動き検出および動き量計算部１６、第２の処理部としての画像圧縮伸長部１７、画像メモリ１８、表示装置インターフェース（Ｉ／Ｆ）１９、表示装置２０、制御ＣＰＵ２１、操作デバイス２２、ヒューマンインターフェース２４、ストレージインターフェース２４、および記録部としての外部保存用メモリ２５を有している。
カメラシステム１０において、デジタル信号処理部１５、画像圧縮伸長部１７、動き検出および動き量計算部１６、画像メモリ１８、および表示装置インターフェース１９がバス２６を介して接続されている。
光学系１１、ＣＣＤやＣＭＯＳセンサからなるイメージセンサ１２、アナログ信号処理部１３等により撮像部が構成される。
【００２５】
本実施形態に係るカメラシステム１０は、画面の動き量を算出し、その大きさに応じて動的にフレームレートを変化させる（設定する）機能を有する。
カメラシステム１０は、動き量の時間的積算量からフレームレートの設定を算出するアルゴリズムを含んで構成され、前画面のフレームレートを参照に現フレームレートを決定する機能を有する。
そして、本カメラシステム１０は、動的なフレームレート可変記録を実現している。
【００２６】
まず、図１のカメラシステム１０の各部の機能の概要について説明する。
【００２７】
光学系１１は、レンズを主体として構成され、図示しない被写体の像を撮像素子であるイメージセンサ１２の受光面に結像させる。
【００２８】
イメージセンサ１２は、光学系１１を通して結像した被写体像の情報を光電変換し、アナログ信号処理部１３に出力する。
【００２９】
アナログ信号処理部１３は、イメージセンサ１２のアナログ出力を相関二重サンプリング処理（ＣＤＳ）、アナログ増幅処理等を行い、処理後のアナログ画像データをＡ／Ｄコンバータ１４に出力する。
Ａ／Ｄコンバータ１４は、アナログ信号処理部１３によるアナログ画像データをデジタル信号に変換し、デジタル信号処理部１５に出力する。
【００３０】
デジタル信号処理部１５は、撮影に先立って撮影のシャッタスピードを決める処理や撮影した画像の明るさや色を調整するための処理や、撮影した画像データを後で詳述する圧縮方式に従って圧縮処理して記録媒体である画像メモリ１８に書き込み、書き込んだ画像データを画像メモリ１８から読み出して伸長（展開）する処理等を行う。
【００３１】
動き検出および動き量計算部１６は、画像メモリ１８に記憶された被圧縮データを読み出して撮影した画像の動きを検出するとともに、画面の動き量を算出し、積算動き量とあらかじめ設定した動き閾値ＭＴＨとを比較してフレームレートを決定し、決定したフレームレート情報を画像圧縮部１７に出力する。
【００３２】
動き検出および動き量計算部１６における動き量の算出、たとえば図２（Ａ）に示すように行われる。
図２（Ａ）の例は、車が図中の右方向へ直線的に加速しながら発車するシーンを見た図である。
このような場合、移動する車に着目すると一定時間内に車が動いた量を動き量と定義することができる。
たとえば、車が発車していない相対的な時刻Ｔ＝０のときを動き量を「０」、発車後の時刻Ｔ＝１０のときの動き量を「１０」、時刻Ｔ＝２０のときの動き量を「２０」、時刻Ｔ＝３０のときの動き量を「４０」、時刻Ｔ＝４０のときの動き量を「８０」として定義することができる。
【００３３】
このように、本実施形態に係る動き検出および動き量計算部１６は、動き量の時間的積算量からフレームレートの設定値を算出する。
動き検出および動き量計算部１６は、画面の動き量の大きさを、フレームレートの設定に反映させる機能を有し、たとえば、前画面のフレームレートを参照に現フレームレートを決定する機能を有する。
動き検出および動き量計算部１６は、積算動き量とあらかじめ設定した動き閾値ＭＴＨと比較してフレームレートを決定する。
動き閾値ＭＴＨは、たとえば操作デバイス２２のスイッチ操作により、たとえばＣＰＵ２１のレジスタに設定される。
動き閾値ＭＴＨは、たとえば５０、１００、２００、４００等の値に設定され、図２（Ａ）のように動き量に応じた積算動き量と比較されて、フレームレートが決定される。
【００３４】
画像圧縮伸長部１７は、基本的には、画像メモリ１８に記憶された被圧縮データを読み出して伸長処理するデコーダの機能や、カメラの信号などの複数の画像データから圧縮信号処理して画像ソースを作成するエンコード機能を有する。
画像圧縮伸長部１７は、いわゆるコーデック(Codec)エンジンとして機能し、動き検出および動き量計算部１６により報知されたフレームレートをもって、いわゆる動的なフレームレート可変記録を行う。
コーデックエンジンとしての画像圧縮伸長部１７は、ストレージインターフェース２４を通して画像保存用メモリ２５への画像データの保存、あるいはメモリ２５からの再生を行うことができる。
画像保存用メモリ２５としては、不揮発性のメモリであるフラッシュメモリやＨＤＤ、ＤＶが適用可能である。
【００３５】
コーデックエンジンとしての画像圧縮伸長部１７における動的可変フレームレート記録を図２（Ａ）、（Ｂ）の具体例に関連付けて説明する。
この場合、動き閾値ＭＴＨを５０に設定した例である。
動き閾値ＭＴＨ＝５０を超える車の積算動き量は、時刻Ｔ＝４０で７０となり、また、時刻Ｔ＝５０で８０となることから、本例では、時刻Ｔ＝０，４０，５０における画像が記録対象画像となる。
【００３６】
表示装置インターフェース１９は、表示すべき画像データを表示装置２０に出力し表示させる。
表示装置２０としては、液晶表示装置（ＬＣＤ）等が適用可能である。
【００３７】
制御ＣＰＵ２１は、デジタル信号処理部１５、画像圧縮伸長部１７や回路全体の制御を行う。
制御ＣＰＵ２１は、ヒューマンインターフェース２２を通して操作デバイス２２の操作に応じた制御を行う。
操作デバイス２２としては、シャッタボタン、ジョグダイヤル、タッチパネル等を含んで構成される。
【００３８】
次に、上記構成における動き検出および動き量計算部１６、およびコーデックエンジンとしての画像圧縮部１７の動作を、図３のフローチャートに関連付けて説明する。
【００３９】
ステップＳＴ１において、あらかじめ、フレームを記録するか間引くかを決定する「動き閾値ＭＴＨ」を設定しておく。
ステップＳＴ２において、また、フレームレートの決定に使用する一時データ「積算動き量」を最初に０クリアしておく。
そして、ステップＳＴ３において、イメージセンサ１２による高フレームレートな連続画像を取得すると、時間的に隣接（連続）するフレーム間の動きベクトルおよび動き量を算出する。
この算出は高フレームレートで行う必要がある。
【００４０】
次に、ステップＳＴ４において、算出された各フレーム間の動き量を積算し、「積算動き量」を算出する。
ステップＳＴ５において、この値「積算動き量ＡＭＭ」と「動き閾値ＭＴＨ」を比較して、そのフレームを記録するか間引いてフレームレートを落とすかを決定する。
このとき、「積算動き量ＡＭＭ」＜「動き閾値ＭＴＨ」のとき、当フレームは記録せず、間引いてフレームレートを落とすことに決定する。
一方、「積算動き量ＡＭＭ」≧「動き閾値ＭＴＨ」のとき、ステップＳＴ６において、該当フレームは記録することに決定する。そして、該当フレームを記録すると、ステップＳＴ２の処理に戻り、積算動き量を０にクリアして、次のフレームの処理に移る。
本実施形態では、記録フォーマットは特に限定しない。
このとき、適当な画像 Codec などを利用し、データ圧縮することが望ましい。
ただ、既存の Codec では、動的フレームレート可変に未対応なので、動的フレームレート可変部分などはフォーマットを拡張するあるいは新規Codecを採用することなどが必要となることもある。
本実施形態においては、記録に使用するCodec方式は特に限定しない。
ステップＳＴ５において、「積算動き量ＡＭＭ」＜「動き閾値ＭＴＨ」のとき、ステップＳＴ３の処理に戻り、動き量の検出を行う。
【００４１】
図４〜図７は、本実施形態の動き速度適応型における動的可変フレームレート記録動作を模式的に示す図であって、図４は動き閾値ＭＴＨが５０のときを、図５は動き閾値ＭＴＨが１００のときを、図６は動閾値ＭＴＨが２００のときの、図７は動き閾値ＭＴＨが４００のときをそれぞれ示している。
【００４２】
高フレームレートにするとデータ量が増大し、メモリの消費量やメディアへの書き込み量が増大する。たとえば、動きの少ないシーンの静止画連写では、ほとんど同じ画像を何枚も記録することになってしまう。
そこで、図４〜図７に示すように、動き速度に応じてフレームレートを可変にしている。具体的には、積算動き量が小さいとき、すなわち遅い動きのときは低フレームレートとして画像を間引いて記録し、積算動き量が大きいとき、すなわち、速い動きのときは高フレームレートで該当画像を記録する。
【００４３】
以上説明したように、本第１の実施形態によれば、撮影した画像の動きを検出するとともに、画面の動き量を算出し、積算動き量とあらかじめ設定した動き閾値とを比較してフレームレートを決定し、動き検出および動き量計算部１６と、コーデック(Codec)エンジンとして機能し、動き検出および動き量計算部１６により報知されたフレームレートをもって、いわゆる動的なフレームレート可変記録を行う画像圧縮伸長部１７と、を有することから、ひとつの動画シーケンス内において、高速で移動するシーンに対しては高時間精度（高フレームレート）で記録するが、低速で移動するシーンに対しては低時間精度（低フレームレート）で記録することにより、高フレームレートな連続画像の記録データ量を劇的に減らすことができる。
【００４４】
また、「動き閾値」の設定を（静的に）変更することで、被写体の動き速度に対する感度を変更することができ、また、連続画像の記録データ量も制御できる。
また、「動き閾値」の設定を記録中に動的に変更することで、「積算動き量」だけでないインテリジェントで細やかな制御が可能である。
たとえば、動きパターン認識を用いた動き感度の調整や、バス帯域やメディア書き込みレートなど動的要因に基づいたフレームレート調整などが可能である。
【００４５】
また、高フレームレートの膨大な連続画像の中から、所望のシーンを選択する作業は非常に時間と手間がかかり困難であるが、本方式では一定の動き量毎に記録することで類似のシーンは記録時に既に省略されているので、これらの多くの手間が省けることになる。
【００４６】
図８は、本発明の第２の実施形態に係るカメラシステムの構成例を示すブロック図である。
【００４７】
本第２の実施形態のカメラシステム１０Ａが第１の実施形態のカメラシステム１０と異なる点は、ＣＰＵ２１Ａによって、イメージセンサ１２Ａを制御可能としてフレームレートを自動的に上げるように構成したことにある。
【００４８】
さらに具体的には、本カメラシステム１０Ａは、基本構成は図１と略同様であり、高フレームレートでの撮影を行う機能と、各フレーム間の動き量を算出する機能と、各フレーム時点での動き量を積算・蓄積する機能と、一定時間の高フレームレート撮影データを一時的に保存できるデータ領域を備えており、撮影画像の動き量積算値が一定量に達した時点で、自律的に高フレームレート撮影を開始することで、急に撮影範囲に現れた移動量の大きい物体の撮り逃しを回避する機能を実現している。
また、カメラシステム１０Ａは、撮影可能範囲に入ってきた高速の移動物体を、その移動量、大きさなどから撮影に値する物体であるとの判断を下すための判定基準値を各フレームごとに算出する機能（アルゴリズム）を備えている。
また、カメラシステム１０Ａは、高フレームレート撮影を実行中に、撮影画像の動き量を算出・監視し、動き量の一定以上の減衰が認められた場合は、高フレームレート撮影を停止する機能を備えている。
【００４９】
動き検出および動き量計算部１６の機能は、第１の実施形態と同様であり、動き量の時間的積算量からフレームレートの設定値を算出する。
動き検出および動き量計算部１６は、画面の動き量の大きさを、フレームレートの設定に反映させる機能を有し、たとえば、前画面のフレームレートを参照に現フレームレートを決定する機能を有する。
動き検出および動き量計算部１６は、積算動き量とあらかじめ設定した動き閾値ＭＴＨと比較してフレームレートを決定する。
そして、ＣＰＵ２１Ａがイメージセンサ１２Ａの制御を行う。
【００５０】
以下に、動き量が動き閾値ＭＴＨとの比較に応じたＣＰＵ２１Ａの制御例を図９〜図１１に関連付けて説明する。
【００５１】
まず、図９のフローチャートに関連付けて第１制御例を説明する。
この場合、撮像画像内に動き量が動き閾値ＭＴＨを超えた時点から（ＳＴ１１）、制御ＣＰＵ２１Ａを介してイメージセンサ１２Ａに対してフレームレートを上げる指示を与え（ＳＴ１２）、撮像および記録のフレームレートを自動的に上げる。
次に、撮像画像内の動き量が動き閾値ＭＴＨを下回った時点から（ＳＴ１３）、制御ＣＰＵ２１Ａを介し、イメージセンサ１２Ａに対してフレームレートを通常値に戻す指示を与え、撮像および記録のフレームレートを通常値に戻す（ＳＴ１４）。
【００５２】
次に、図１０のフローチャートに関連付けて第２制御例を説明する。
この場合、通常時のイメージセンサの撮像をハイフレームレートとし（ＳＴ２１）、
画像メモリ１８に一定時間記録し（ＳＴ２２）、あるいは、撮像画像内に動き量が動き閾値ＭＴＨを超えた時点から（ＳＴ２３）、ハイフレームレート記録指示を記録装置（画像圧縮部１７）に対してのみ与えることにより（ＳＴ２４）、動きの速い部分を最初から記録可能とする。
次に、撮像画像内の動き量が動き閾値ＭＴＨを下回った時点から（ＳＴ２５）、通常フレームレート記録指示を記録装置に対して与える。
この場合、ステップＳＴ２２に示すように、ハイフレームレート画像を画像メモリ１８に貯めておく必要がある。
【００５３】
次に、図１１のフローチャートに関連付けて第３制御例を説明する。
この場合、図９に対応しており、ステップＳＴ１３の処理において、ハイフレームレートを抜ける場合の動き量の閾値に、時間の閾値も与えることにより、連続的な高速、非高速の動きに対しても、連続的にハイフレームレート撮像が可能としている。
【００５４】
本第２の実施形態によれば、高速な動きの物体に対して、フレームレートを上げることにより、滑らかな動きの動画の撮像および記録が可能となる。
また、高速な動きの物体に対して、フレームレートを上げることにより、決定的瞬間の静止画の撮像および記録が可能となる。
また、フレームレートを自動的に上げることにより、手動による高速連写にタイムラグ、撮り逃しなどの点で有利である。
また、定点撮像などを行う場合、動き量を判別して自動撮像、記録が可能となり、ユーザが装置のそばにいて制御する必要がなくなる。
【図面の簡単な説明】
【００５５】
【図１】本発明の第１の実施形態に係る画像信号処理装置を採用したカメラシステム（撮像装置）の構成例を示すブロック図である。
【図２】本実施形態に係る動き量の検出例と動的可変フレームレート記録ついて説明するための図である。
【図３】本実施形態における動き検出および動き量計算部、およびコーデックエンジンとしての画像圧縮部の動作を説明するためのフローチャートである。
【図４】動き閾値ＭＴＨが５０のときの本実施形態の動き速度適応型における動的可変フレームレート記録動作を模式的に示す図である。
【図５】動き閾値ＭＴＨが１００のときの本実施形態の動き速度適応型における動的可変フレームレート記録動作を模式的に示す図である。
【図６】動き閾値ＭＴＨが２００のときの本実施形態の動き速度適応型における動的可変フレームレート記録動作を模式的に示す図である。
【図７】動き閾値ＭＴＨが４００のときの本実施形態の動き速度適応型における動的可変フレームレート記録動作を模式的に示す図である。
【図８】本発明の第２の実施形態に係る画像信号処理装置を採用したカメラシステム（撮像装置）の構成例を示すブロック図である。
【図９】第２の実施形態に係る第１制御例を説明するためのフローチャートである。
【図１０】第２の実施形態に係る第２制御例を説明するためのフローチャートである。
【図１１】第２の実施形態に係る第３制御例を説明するためのフローチャートである。
【符号の説明】
【００５６】
１０，１０Ａ・・・カメラシステム、１１・・・光学系、１２，１２Ａ・・・イメージセンサ（撮像装置）、１３・・・アナログ信号処理部、１４・・・アナログ／デジタル（Ａ／Ｄ）コンバータ、１５・・・デジタル信号処理部、１６・・・動き検出および動き量計算部、１７・・・画像圧縮伸長部、１８・・・画像メモリ、１９・・・表示装置インインターフェース（Ｉ／Ｆ）、２０・・・表示装置、２１，２１Ａ・・・制御ＣＰＵ、２２・・・操作デバイス、２３・・・ヒューマンインターフェース、２４・・・ストレージインターフェース、２５・・・外部保存用メモリ、２６・・・バス。
【図１】
0004687404.tif 000002
【図２】
0004687404.tif 000003
【図３】
0004687404.tif 000004
【図４】
0004687404.tif 000005
【図５】
0004687404.tif 000006
【図６】
0004687404.tif 000007
【図７】
0004687404.tif 000008
【図８】
0004687404.tif 000009
【図９】
0004687404.tif 000010
【図１０】
0004687404.tif 000011
【図１１】
0004687404.tif 000012