(57)【要約】【課題】画素数が大きい静止画を動画と同時撮影する際にシステム破綻を防止できるようにする。【解決手段】動画撮影中に静止画撮影が行われることにより、静止画処理と動画像処理とが同時になってメモリ帯域を圧迫する状況のときにおいては、その同時処理のタイミングの動画を、負荷の高いＢフレームから負荷の低いＩフレームに変更したり、或いは、動き補償（ＭＥ）の処理を簡略化したり、サーチ範囲を狭めたりして、前記メモリのアクセスの量を低減するようにすることにより、静止画処理及び動画処理が重複した場合においてもシステム破綻が発生しないようにする。【選択図】図１
2009200627.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により生成された画像信号を処理する信号処理手段と、
前記信号処理手段により処理されたデータを符号化する符号化手段と、
前記信号処理手段により処理されたデータ、及び前記符号化手段により符号化されたデータをメモリに保持する記憶手段と、
システムの各部の制御を行うシステム制御手段とを有し、
前記システム制御手段は、前記信号処理手段において行われる信号処理の処理状況に応じて、前記メモリのアクセスの量を低減するように前記符号化手段の制御を行うことを特徴とする撮像装置。
【請求項２】
前記システム制御手段は、静止画動画同時記録の指示に応じて、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる符号化処理の制御を行い、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記システム制御手段は、静止画動画同時記録の指示に応じて、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる符号化処理において参照するフレームを減じるようにピクチャのタイプを変更し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記システム制御手段は、静止画動画同時記録の指示に応じて、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる符号化対象フレームがＢピクチャである場合、ＩもしくはＰピクチャへタイプを変更し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記システム制御手段は、静止画動画同時記録の指示に応じて、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる符号化処理において参照するフレームを減じるようにマクロブロックのタイプを変更し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記システム制御手段は、静止画動画同時記録の指示に応じて、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる符号化対象マクロブロックのタイプが双方向参照型である場合、それをイントラ型あるいは、片方向参照へ変更し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記システム制御手段は、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる符号化パラメータを制御し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記システム制御手段は、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる動き予測のための参照フレームの解像度を低減し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記システム制御手段は、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる動き予測のための参照フレーム内の検出枠のサイズを低減し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記システム制御手段は、前記信号処理手段を制御して静止画動画同時処理を行うフレームを検出し、その同一時間に前記符号化手段で行われる動き予測検出ブロックの数を低減し、前記メモリのアクセスの量を低減することを特徴とする請求項１に記載の撮像装置。
【請求項１１】
撮像素子により生成された画像信号を処理する信号処理工程と、
前記信号処理工程において処理されたデータを符号化する符号化工程と、
前記信号処理工程において処理されたデータ、及び前記符号化工程において符号化されたデータをメモリに保持する記憶工程と、
システムの各部の制御を行うシステム制御工程とを有し、
前記システム制御工程は、前記信号処理工程において行われる信号処理の処理状況に応じて、前記メモリのアクセスの量を低減するように前記符号化工程の制御を行うことを特徴とする撮像方法。
【請求項１２】
撮像素子により生成された画像信号を処理する信号処理工程と、
前記信号処理工程において処理されたデータを符号化する符号化工程と、
前記信号処理工程において処理されたデータ、及び前記符号化工程において符号化されたデータをメモリに保持する記憶工程と、
システムの各部の制御を行うシステム制御工程とをコンピュータに実行させるプログラムであって、
前記システム制御工程は、前記信号処理工程において行われる信号処理の処理状況に応じて、前記メモリのアクセスの量を低減するように前記符号化工程の制御を行うことをコンピュータに実行させることを特徴とするプログラム。
【請求項１３】
請求項１２に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び撮像方法に関し、特に、静止画と動画を同時撮影する際に、静止画の高精細化と動画のフレームレート保持を両立させるために用いて好適な技術に関する。
【背景技術】
【０００２】
動画と共に高精細な静止画を記録する技術として、例えば、特許文献１に記載された撮像装置が知られている。この撮像装置においては、静止画をキャプチャする操作キーからの指示を検知すると、撮像中のフレームにフラグを付ける。そして、一時的に記憶されたメモリから読み出して符号化する際に、フラグが付いているフレームをフレーム内符号化で符号化を行い、それ以外をフレーム間符号化を行って記憶することにより、高精細な静止画の記録を可能としている。
【０００３】
【特許文献１】特開平１０−１６４４９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記特許文献１において提案された撮像装置の場合、画素数の大きな静止画を記録するためには、撮像素子は通常動画時の画素加算読み出しから、全画素の読み出しとなる。このために、信号処理部で処理する画素数が多大になり、処理過程におけるメモリのアクセスの帯域も非常に大きなものになる問題点があった。
【０００５】
ところで、動画を記録するための符号化はフレーム単位でピクチャタイプが異なり、Ｉピクチャはフレーム内符号化なので、メモリのアクセス帯域は低いが、双方向参照を行うＢピクチャはメモリのアクセス帯域は高い。
【０００６】
一方、静止画を記録するか、動画を記録するかの指示は撮影者からの操作トリガに同期したものであり、動画記録開始から一定周期で繰り返す符号化のピクチャタイプとは非同期の関係にある。
【０００７】
したがって、１つのシステムで撮像信号処理と符号化処理とでメモリを共有する場合、メモリアクセスの高い静止画及び動画の同時処理と、Ｂピクチャ符号化処理とが同一時間で重なった場合、システムに破綻をきたす可能性がある。
【０００８】
図８は、静止画及び動画の同時処理を行う様子を図示したものである。図８（ａ）に示したように、動画撮影中に静止画トリガが発生した場合、センサはFr１フレームを全画素加算の高画素で読み出す。そして、図８（ｂ）に示すように、１フレーム時間遅延して信号処理が行われるが、この信号処理でのメモリアクセスは画素数が大きいためアクセス帯域が高い状態である。さらに、図８（ｃ）に示すように、これと同一フレームで行われている符号化がＢピクチャ(Ｂ１)の場合、符号化側でもアクセス帯域が高いので、このような重複はシステム破綻の原因となり得る可能性があった。
【０００９】
本発明は前述の問題点に鑑み、静止画処理及び動画処理が重複した場合においてもシステム破綻が発生しないようにすることを目的としている。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、撮像素子により生成された画像信号を処理する信号処理手段と、前記信号処理手段により処理されたデータを符号化する符号化手段と、前記信号処理手段により処理されたデータ、及び前記符号化手段により符号化されたデータをメモリに保持する記憶手段と、システムの各部の制御を行うシステム制御手段とを有し、前記システム制御手段は、前記信号処理手段において行われる信号処理の処理状況に応じて、前記メモリのアクセスの量を低減するように前記符号化手段の制御を行うことを特徴とする。
【００１１】
本発明の撮像方法は、撮像素子により生成された画像信号を処理する信号処理工程と、前記信号処理工程において処理されたデータを符号化する符号化工程と、前記信号処理工程において処理されたデータ、及び前記符号化工程において符号化されたデータをメモリに保持する記憶工程と、システムの各部の制御を行うシステム制御工程とを有し、前記システム制御工程は、前記信号処理工程において行われる信号処理の処理状況に応じて、前記メモリのアクセスの量を低減するように前記符号化工程の制御を行うことを特徴とする。
【００１２】
本発明のプログラムは、撮像素子により生成された画像信号を処理する信号処理工程と、前記信号処理工程において処理されたデータを符号化する符号化工程と、前記信号処理工程において処理されたデータ、及び前記符号化工程において符号化されたデータをメモリに保持する記憶工程と、システムの各部の制御を行うシステム制御工程とをコンピュータに実行させるプログラムであって、前記システム制御工程は、前記信号処理工程において行われる信号処理の処理状況に応じて、前記メモリのアクセスの量を低減するように前記符号化工程の制御を行うことをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、静止画と動画とを同時に撮影する際に、静止画処理及び動画処理が重複した場合においてもシステム破綻が発生しないようにすることが可能となり、静止画の高精細化及び動画のフレームレート保持を両立させることができる。
【発明を実施するための最良の形態】
【００１４】
（第１の実施形態）
図１は、本発明の撮像装置の全体構成の一例を説明するブロックである。
図１に示したように、本実施形態の撮像装置において、レンズ１０１により結像された映像は、センサ（撮像素子）１０２へ入射される。そして、センサ１０２で光電変換されて画像信号として生成される。この画像信号は、ＡＤ変換部１０４でＡＤ変換されてデジタルデータ化され、信号処理部１０５へ入力される。
【００１５】
信号処理部１０５は、撮影モードに応じて動画用信号処理、静止画信号処理もしくは双方の処理を行う。すなわち、静止画動画同時処理を行い、記録、表示用のデータをＩＰ変換部１０６に出力する。ＩＰ変換部１０６は、信号処理部１０５から入力される現フィールドのデータと、メモリ１１２から読み出した前フィールド画像のデータの何れかから、もう片方のフィールドデータを適応的に補間してプログレッシブ画像を生成する。
【００１６】
システム制御部１１５は、撮像システム制御部１１３及び動画符号化制御部１１４によって構成されている。撮像システム制御部１１３は撮影モードに応じて、フレームもしくはフィールド単位で動き予測パラメータを制御する。
【００１７】
ＴＧ１０３は、静止画動画同時記録、静止画記録ではセンサ１０２から全画素を読み出し、動画記録時には画素加算したデータをセンサ１０２から読み出すように駆動を行う。メモリ１１２に保持されたプログレッシブ画像は、静止画リサイズ部１０８で静止画記録画角に変換されてメモリ１１２に書き戻される。静止画符号化部１０９は、静止画リサイズ部１０８で静止画記録画角に変換されたデータを読み出して符号化し、記録装置（図示せず）に出力する。
【００１８】
動画リサイズ部１０７は、センサ１０２から読み出される画角からビデオ、記録用の画角へ変換してメモリ１１２へ書き戻す。VIDEO IF １１０は、動画画角データを読み出して表示処理を行い、表示装置（図示せず）に出力する。動画符号化部１１１は、メモリ１１２から動画フレームデータを読み出して符号化を行い、図示しない記録装置に出力する。システム制御部１１５のうちの、動画符号化制御部１１４は、静止画動画同時記録指示に応じて、静止画動画同時処理を行うフレームを検出する。そして、その同一時間に動画符号化部１１１で行われる信号処理の処理状況に応じて、メモリ１１２のアクセスの量を低減するように、動画符号化部１１１で用いられる符号化パラメータを制御する。
【００１９】
図２は、動画符号化部１１１の構成例を詳細に示したブロック図である。
図２に示すように、メモリ２１４（図１のメモリ１１２）には処理フレーム、前方向参照フレーム、後方向参照フレームがバッファされている。
【００２０】
第１の前方向サーチ部２０３は、前方向リファレンスフレームデータを低解像度で読み出し、大まかな動き予測対象マクロブロックをサーチする。サーチを行うための動き予測パラメータは、符号化制御部２０１より供給され、サーチ結果は符号化制御部２０１へ出力する。
【００２１】
第１の後方向サーチ部２０４は、後方向リファレンスフレームデータを低解像度で読み出し、大まかな動き予測対象マクロブロックをサーチする。サーチを行うための動き予測パラメータは符号化制御部２０１より供給され、サーチ結果は符号化制御部２０１へ出力する。
【００２２】
第２の前方向サーチ部２０５は、第１の前方向サーチ部２０３で検出されたサーチ領域を高解像度で読み出し、動き予測対象マクロブロックを決定する。サーチを行うための動き予測パラメータは符号化制御部２０１より供給され、サーチ結果は符号化制御部２０１へ出力する。
【００２３】
第２の後方向サーチ部２０６は、第１の後方向サーチ部２０４で検出されたサーチ領域を高解像度で読み出し動き予測対象マクロブロックを決定する。サーチを行うための動き予測パラメータは符号化制御部２０１より供給され、サーチ結果は符号化制御部２０１へ出力する。
【００２４】
第１の動き検出部２０７は、現フレームの処理マクロブロックと第２の前方向サーチ部２０５で検出されたマクロブロックとの差分をとり、動き検出を行う。第２の動き検出部２０８は現フレームの処理マクロブロックと第２の後方向サーチ部２０６で検出されたマクロブロックとの差分をとり、動き検出を行う。
【００２５】
参照フレーム切り替え部２０９は、符号化制御部２０１から指示される参照タイプ（イントラ、片方向、双方向）に応じて使用するデータを選択する。そして、離散コサイン変換部（ＤＣＴ）２１０、量子化部２１１、可変長符号化部２１２、バッファ２１３を経て記録される。
【００２６】
次に、図３のフローチャートを参照しながら、符号化処理手順の一例を説明する。
処理が開始されると、まず、ステップＳ３０１においてメモリ１１２に符号化対象フレームがバッファされる。次に、ステップＳ３０２において、符号化対象マクロブロックが切り出される。
【００２７】
次に、ステップＳ３０３において、切り出したマクロブロックがＩピクチャもしくはイントラタイプであるか判断される。この判断の結果、Ｉピクチャもしくはイントラタイプであれば、ステップＳ３０４に進んで離散コサイン変換される。次に、ステップＳ３０５において量子化された後、ステップＳ３０６において可変長符号化される。
【００２８】
一方、ステップＳ３０３の判断の結果、ステップＳ３０２で切り出したマクロブロックがＩピクチャもしくはイントラタイプではなかった場合にはステップＳ３０７に進む。ステップＳ３０７においては、Ｐピクチャもしくは前方向参照タイプ（片方向参照型）であるか否かを判断する。
【００２９】
この判断の結果、Ｐピクチャもしくは前方向参照タイプであれば、ステップＳ３０８に進む。ステップＳ３０８においては、動き予測パラメータの設定を行う。次に、ステップＳ３０９に進み、第１の前方向サーチを行う。次に、ステップＳ３１０に進み、第２の前方向サーチを行う。
【００３０】
その後、ステップＳ３１１に進み、動き検出を前方向でのみ行う。そして、検出結果をステップＳ３１２において離散コサイン変換処理するとともに、ステップＳ３１３において量子化し、ステップＳ３１４において可変長符号化する。
【００３１】
一方、ステップＳ３０７の判断の結果、Ｐピクチャもしくは前方向参照タイプではなかった場合には、Ｂピクチャもしくはマクロブロックタイプが双方向参照型であり、かつ静止画同時処理と重複しない。そこで、この場合はステップＳ３１５に進み、双方向サーチのパラメータ設定を行う。
【００３２】
次に、ステップＳ３２２において、静止画同時処理が重複しているか否かを判断する。この判断の結果、重複していない場合にはステップＳ３１６に進み、第１の双方向サーチを行う。次に、ステップＳ３１７に進み、第２の双方向サーチを行う。その後、ステップＳ３１８に進み、動き検出を双方向で行う。そして、検出結果をステップＳ３１９において離散コサイン変換処理するとともに、ステップＳ３２０において量子化し、ステップＳ３２１において可変長符号化する。
【００３３】
一方、ステップＳ３２２の判断の結果、静止画同時処理が重複している場合にはステップＳ３２３に進み、ピクチャ制御を行うか否かを判断する。この判断の結果、ピクチャ制御を行わない場合にはステップＳ３２４に進み、タイプ制御を行うか否かを判断する。この判断の結果、タイプ制御を行わない場合にはステップＳ３１６に進んで前述した処理を実行する。
【００３４】
また、ステップＳ３２４の判断の結果、タイプ制御を行う場合にはステップＳ３２６に進み、マクロブロックはイントラタイプへ変換される。また、ステップＳ３２３の判断の結果、ピクチャ制御を行う場合にはステップＳ３２５に進み、Ｉピクチャへ変換される。ステップＳ３２６またはステップＳ３２５の変換処理後はステップＳ３１９に進み、前述した処理を行う。
【００３５】
ステップＳ３０６、ステップＳ３１４またはステップＳ３２１における可変長符号化処理の後はステップＳ３２７において全てのマクロブロックの処理が完了したか否かを判断する。この判断の結果、完了していない場合にはステップＳ３０２に戻って前述した処理を繰り返し行う。また、ステップＳ３２７の判断の結果、全てのマクロブロックについて可変長符号化が完了していたらステップＳ３０１に戻り、次のフレーム処理を行う。
【００３６】
図４は、フレームの制御が行われた場合の時間遷移状況を説明する図である。図４（ａ）は、通常撮影時に行われる符号化の時間遷移を説明する図である。図４（ａ）において、例えばＢ３というＢピクチャフレームはＩ２及びＰ５を参照して動き予測を行う。Ｐ５というＰピクチャはＩ２を参照する。このため、フレーム参照の関係でDecodeで示されるフレーム順に並び替えられＧＯＰを構成して符号化される。
【００３７】
図４（ｂ）は、ピクチャタイプを変更した例である。この例の場合は、Ｂ３フレームが静止画同時記録処理と重複したのでＩ３に変更された場合、DecodeはＩ３を先頭とするＧＯＰ構造となる。Ｉ３はフレーム参照しないので、メモリアクセス帯域が低減する。
【００３８】
図４（ｃ）は、マクロブロックタイプを変更した例である。この例の場合は、Ｂ３フレームが静止画同時記録処理と重複したので、イントラ型のタイプへ変更される。その結果、ピクチャタイプはかわらないがＢ３はフレーム参照しないので、メモリアクセス帯域が低減する。
【００３９】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。第２の実施形態の場合も装置構成は前述した第１の実施形態と同様なので、装置構成の説明を省略する。
図５は、第２の実施形態における撮像装置の処理手順の一例を説明するフローチャートである。
処理が開始されると、まず、ステップＳ５０１においてメモリ１１２にフレームバッファされる。次に、ステップＳ５０２において、処理単位であるマクロブロックが切り出される。
【００４０】
次に、ステップＳ５０３において、切り出したマクロブロックがＩピクチャもしくはイントラタイプであるか判断される。この判断の結果、Ｉピクチャもしくはイントラタイプであれば、ステップＳ５０４に進んで離散コサイン変換される。次に、ステップＳ５０５において量子化された後、ステップＳ５０６において可変長符号化される。
【００４１】
一方、ステップＳ５０３の判断の結果、ステップＳ５０２で切り出したマクロブロックがＩピクチャもしくはイントラタイプではなかった場合にはステップＳ５０７に進む。ステップＳ５０７においては、Ｐピクチャもしくは前方向参照タイプであるか否かを判断する。
【００４２】
この判断の結果、Ｐピクチャもしくは前方向参照タイプであれば、ステップＳ５０８に進む。ステップＳ５０８においては、動き予測パラメータの設定を行う。次に、ステップＳ５０９に進み、第１の前方向サーチを行う。次に、ステップＳ５１０に進み、第２の前方向サーチを行う。
【００４３】
その後、ステップＳ５１１に進み、動き検出を前方向でのみ行う。そして、検出結果をステップＳ５１２において離散コサイン変換処理するとともに、ステップＳ５１３において量子化し、ステップＳ５１４において可変長符号化する。
【００４４】
一方、ステップＳ５０７の判断の結果、Ｐピクチャもしくは前方向参照タイプではなかった場合（Ｂピクチャ若しくは双方向参照タイプ）には、ステップＳ５１５に進んで同時処理重複か否かを判断する。この判断の結果、重複の場合にはステップＳ５１６に進んで、第１のパラメータである動き予測パラメータ１を設定する。また、重複ではない場合にはステップＳ５１７に進んで第２のパラメータである動き予測パラメータ２を設定する。なお、動き予測パラメータ１及び動き予測パラメータ２の相違については後述する。
【００４５】
ステップＳ５１６またはステップＳ５１７において動き予測パラメータを設定した後はステップＳ５１８に進んで第１のサーチ（サーチ１）を行う。その後、ステップＳ５１９において第２のサーチ（サーチ２）を行う。これらのサーチ１，２は双方向サーチである。
【００４６】
その後、ステップＳ５２０に進み、動き検出を双方向で行う。そして、検出結果をステップＳ５２１において離散コサイン変換処理するとともに、ステップＳ５２２において量子化し、ステップＳ５２３において可変長符号化する。
【００４７】
ステップＳ５０６、ステップＳ５１４またはステップＳ５２３における可変長符号化処理の後はステップＳ５２４において全てのマクロブロックの処理が完了したか否かを判断する。この判断の結果、完了していない場合にはステップＳ５０２に戻って前述した処理を繰り返し行う。また、ステップＳ５２４の判断の結果、全てのマクロブロックについて可変長符号化が完了していたらステップＳ５０１に戻り、次のフレーム処理を行う。
【００４８】
図６は、第１のサーチ及び第２のサーチで処理されるサイズについて詳細に説明する図である。
図６において、６０１は参照フレーム画像であり、HSIZE×VSIZEの画角の中（参照フレーム内）の１つのマクロブロック(HSIZE＿MB×VSIZE＿MB)を示している。６０２はマクロブロックを拡大したものである。動き予測はマクロブロックをさらにHNUM＿MB×VNUM＿MBに分割してそれぞれ実行できる。分割数は多ければ第１のサーチ、第２のサーチの処理が分割した数だけ発生するのでメモリアクセス帯域も増大する。
【００４９】
６０３は第１のサーチの画像を示している。第１のサーチでは、参照フレーム画像６０１より低い解像度(HSIZE１＿ALL×VSIZE１＿ALL)で読み出す。そして、その中のサーチ枠(HSIZE１＿SRCH×VSIZE１＿SRCH)の中から、第２のサーチのサーチ枠(HSIZE１＿DET×VSIZE１＿DET)を検出する。６０４は第２のサーチのフレームである。６０３で検出された画角を参照フレーム画像６０１と同一解像度で読み出し、その枠(HSIZE２＿SRCH×VSIZE２＿SRCH)の中で動き検出対象マクロブロックを決定する。
【００５０】
図７は、図６で示した動き予測パラメータの値を、図５のステップＳ５１６において設定する動き予測パラメータ１、ステップＳ５１７で設定する動き予測パラメータ２に分けてリストにした図である。同時処理重複した場合の動き予測パラメータ１は検出枠のサイズあるいはマクロブロック数、解像度が何れも低く設定されている（略半分に設定されている）。これにより、本実施形態においては、その同一時間に動画符号化部１１１で行われる動き予測検出ブロックの数を低減することができるのでメモリアクセスを低減することができる。
【００５１】
（本発明に係る他の実施の形態）
前述した本発明の実施の形態における撮像装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００５２】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００５３】
なお、本発明は、前述した撮像方法における各工程を実行するソフトウェアのプログラム（実施の形態では図３、図５に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００５４】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００５５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００５６】
プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【００５７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００５８】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００５９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００６０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行うことによっても前述した実施の形態の機能が実現され得る。
【００６１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施形態を示し、撮像装置の全体構成の一例を示すブロック図である。
【図２】本発明の実施形態を示し、符号化部の構成例の詳細を示すブロック図である。
【図３】第１の実施形態の撮像方法の処理手順の一例を示すフローチャートである。
【図４】第１の実施形態を示し、フレームの制御が行われた場合の時間遷移状況を説明する図である。
【図５】第２の実施形態の撮像方法の処理手順の一例を示すフローチャートである。
【図６】第２の実施形態を示し、第１のサーチ及び第２のサーチで処理されるサイズについて詳細に説明する図である。
【図７】本発明の第２の実施形態を示し、動き予測パラメータ１、動き予測パラメータ２をリストにした図である。
【図８】同時処理と符号化のタイミングを説明する図である。
【符号の説明】
【００６３】
１０１  レンズ
１０２  センサ
１０３  ＴＧ
１０４  ＡＤ変換部
１０５  信号処理部
１０６  ＩＰ変換部
１０７  動画リサイズ部
１０８  静止画リサイズ部
１０９  静止画符号化部
１１０  VIDEO IF
１１１  動画符号化部
１１２  メモリ
１１３  撮像システム制御部
１１４  動画符号化制御部
１１５  システム制御部
【図１】
2009200627.tif 000003
【図２】
2009200627.tif 000004
【図３】
2009200627.tif 000005
【図４】
2009200627.tif 000006
【図５】
2009200627.tif 000007
【図６】
2009200627.tif 000008
【図７】
2009200627.tif 000009
【図８】
2009200627.tif 000010