(57)【要約】【課題】  インターレース方式で動画撮影を行う撮像装置において、プログレッシブ方式の画像データを記録しようとする場合、メモリが破綻する恐れがある。【解決手段】  被写体を撮像する撮像手段と、撮像された画像データに対して補間処理を行う補間手段を有し、撮像手段の駆動中にはフィールド内補間処理によってプログレッシブ方式の画像データを生成する。【選択図】  図４
2011055188.tif 000002
【特許請求の範囲】
【請求項１】
被写体像をインターレース方式で撮像して得られた画像データをメモリに格納する撮像手段と、
前記メモリに格納された画像データを読み出し、フィールド内補間またはフィールド間補間によってプログレッシブ方式の画像データへと補間処理を行うことが可能である補間手段と、を有し、
前記補間手段は、前記撮像手段が前記撮像または前記画像データのメモリへの格納を行っている期間は、フィールド内補間によって前記補間処理を行うことを特徴とする撮像装置。
【請求項２】
前記メモリに格納された画像データを複数の分割画像データに分割する分割手段と、
前記分割画像データに対して被写体検出を行う被写体検出手段と、を有し、
前記補間手段は、前記撮像手段が前記撮像または前記画像データのメモリへの格納を行っている期間は、前記被写体検出手段によって被写体が検出されなかった分割画像データに対して、フィールド内補間によって前記補間処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記メモリに格納された画像データを複数の分割画像データに分割する分割手段と、
前記分割画像データに対して動きを検出する動き検出手段を有し、
前記補間手段は、前記撮像手段が前記撮像または前記画像データのメモリへの格納を行っている期間は、前記動き検出手段によって動きが検出された分割画像データのうち、動きが大きいものからフィールド内補間によって前記補間処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記分割手段による前記画像データの分割数は、前記画像データの解像度または前記撮像手段の駆動速度によって決定されることを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
撮像手段に被写体像をインターレース方式で撮像させ、得られた画像データをメモリに格納させる撮像ステップと、
前記メモリに格納された画像データを読み出し、プログレッシブ方式の画像データへと補間処理を行う補間ステップと、を有し、
前記補間ステップでは、前記撮像ステップが行われている期間は、フィールド内補間によって前記補間処理を行うことを特徴とする撮像装置の制御方法。
【請求項６】
請求項５に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項７】
請求項５に記載の撮像装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画撮影のできる撮像装置において、撮影中に撮像システムを破綻させることをふせぐ制御方法に関するものである。
【背景技術】
【０００２】
デジタルカメラ、デジタルビデオカメラ等の撮像装置、特に撮影画像に対する各種信号処理を実行する際、メインメモリ（例えば、ＳＤＲＡＭ）に一旦、データをバッファリングして該各種処理を実行するシステムがある。ここで、例えば撮像手段であるセンサから高速に画像データの読み出しを行う場合、高速に画像データを読み出している期間と画像処理を実行している期間が重複し、メインメモリに対するアクセスが集中してメモリ帯域が破綻してしまう場合がある。
【０００３】
特に、動画をプログレッシブ方式の信号に変換して記録するときや、動画記録中にプログレッシブ方式の信号である静止画の記録を行う同時記録時に問題が顕在化する。インターレース方式の信号からプログレッシブ方式の信号に変換するＩＰ変換処理の実行中にメモリ帯域が破綻し、メインメモリにアクセスできず、その結果、撮像システムを破綻させてしまうのである。
【０００４】
そこで、撮像システムを破綻させず、動画記録中においても高精細な静止画を得る方法が提案されている。撮影画像に現れる動きを検出し、該検出結果に応じて、水平／垂直ブランキング中にフィールド内補間処理、フィールド間補間処理かを切り替え、静止画用の画像を生成し、記録媒体に記録する手法である（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２２８１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述した方法で静止画用の画像を生成する場合、撮像素子から高速に画像データを読み出している期間における補間処理は、撮影画像に現れる動きが小さいと、フィールド間補間になる。すなわち、時間的に前のフィールドを参照するため、メインメモリに対するアクセスが増え、更に該ＣＭＯＳ等の固体撮像素子から高速に画像データを読み出し、メインメモリに書き込む期間と重複し、やはりメモリ帯域が破綻してしまう可能性がある。
【０００７】
また、デジタルカメラ、デジタルビデオカメラ等の撮像装置において、今後、撮像手段の更なる高解像度化が進んでいくと、更にＳＤＲＡＭの帯域が圧迫されることが懸念される。それを回避するためには、メインメモリとなるＳＤＲＡＭの容量を大きくする、メインメモリとなるＳＤＲＡＭを複数有する、などが考えられる。しかし、これらの手法のいずれにおいても、撮像装置のコストアップにつながる。
【０００８】
上記課題に鑑み、本発明は、コストアップすることなく、該撮像装置の各種信号処理を破綻させず、高精細な動画、および静止画を得る撮像装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に記載の撮像装置は、被写体像をインターレース方式で撮像して得られた画像データをメモリに格納する撮像手段と、前記メモリに格納された画像データを読み出し、プログレッシブ方式の画像データへと補間処理を行う補間手段と、を有し、前記補間手段は、前記撮像手段が前記撮像または前記画像データのメモリへの格納を行っている期間は、フィールド内補間によって前記補間処理を行うことを特徴とする。
【００１０】
また、本発明に記載の撮像装置の制御方法は、撮像手段に被写体像をインターレース方式で撮像させ、得られた画像データをメモリに格納させる撮像ステップと、前記メモリに格納された画像データを読み出し、プログレッシブ方式の画像データへと補間処理を行う補間ステップと、を有し、前記補間ステップでは、前記撮像ステップが行われている期間は、フィールド内補間によって前記補間処理を行うことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、メインメモリの帯域を破綻させず、撮像手段からの高精細な画像データの高速読出を可能とする。
【図面の簡単な説明】
【００１２】
【図１】本実施形態を説明するための撮像装置の構成図
【図２】本実施形態を説明するためのタイミング図
【図３】本実施形態の処理シーケンス説明図
【図４】本実施形態の処理のフローチャート図
【発明を実施するための形態】
【００１３】
（第１の実施形態）
図１に本実施形態に利用できるデジタルカメラ、デジタルビデオカメラ等の撮像装置の構成図を示す。
【００１４】
１０１はレンズ、１０２は被写体像を撮像するＣＭＯＳ等の固体撮像素子、１０３は該ＣＭＯＳ等の固体撮像素子１０２の読み出し制御を行うＴＧ（Ｔｉｍｉｎｇ  Ｇｅｎｅｒａｔｅ）部である。１０４は該固体撮像素子１０２から読み出されたアナログ信号をディジタル信号に変換するＡ／Ｄ変換部（センサインターフェース）、１０５はディジタル信号に変換された固体撮像素子からの信号を処理し、画像データを生成するカメラ信号処理部である。１０６は画像データにフィールド間補間処理、フィールド内補間処理のいずれかを施し、インターレース方式の信号からプログレッシブ方式の信号に変換する補間部である。１０７は画像データを動画像記録の画角にするための動画リサイズ部である。１０８は動画リサイズ部１０７にてリサイズした画像に対するＮＲ（Ｎｏｉｓｅ  Ｒｅｄｕｃｔｉｏｎ）処理部、１０９は、動画像の画角にリサイズされた画像データを符号化する動画符号化部である。１１０は、映像信号と音声情報入力手段であるマイクロフォン（不図示）からの音声情報信号を記録するフォーマットに変換する記録信号処理部であり、更に、音声データを復号処理し、音声信号としてスピーカー（不図示）に送る。１１１は、映像情報、音声情報を記録する記録媒体である。
【００１５】
１１２は、ＪＰＥＧ等の符号化処理を行う静止画符号化部、１１３は、ＪＰＥＧ等の静止画符号化手段にて符号化された静止画像データを格納するＳＤカード等の静止画記録部である。１１４は、各種信号処理部と符号化手段等の機能ブロックにて処理されたデータを一旦、格納するＳＤＲＡＭ等のメインメモリである。該各機能ブロックは、該メインメモリ１１４をシェアして使用しており、該メインメモリ１１４を介して信号処理データ、画像データの受け渡しを行っている。１１５は、該メインメモリ１１４に対する各機能ブロックからのアクセス要求を制御し、アクセスを調停するアービター部、１１６は、ＣＭＯＳ等の固体撮像素子１０２から読み出した画像データからなる撮影画角の領域を分割する領域制御部である。１１７は、撮影している被写体を検出し該被写体の動きを検出する動き／被写体検出部、１１８はこれら撮像システムを制御するシステム制御部である。また本構成において、シャッタはローリングシャッタとし、走査ラインごとに順次シャッタを切り、電荷蓄積を行い、各画像に対する蓄積電荷を読み出すものとする。
【００１６】
動き／被写体検出部１１７では、対象となる被写体の検出と、その動き量を検出する。被写体検出の検出方法は対象により様々であるが、本実施形態では人物の顔検出とし、肌色部を検出し、人間の顔の特徴（例えば、目の位置）から、被写体（顔）と判断する。肌色部が存在しない場合、被写体なしとする。また動き量検出は、被写体の動き方向と大きさを表す動きベクトルを用いて判断する（フレーム間で、動きベクトルを算出する）。前フレーム（N−1フレーム）と対象フレーム（Nフレーム）のブロック（例えば、N×N画素）をシフトさせ、最もよくマッチングする部分を検出し、動きベクトルを算出する。これらの詳細な検出方法の説明については周知の技術であるため省略する。
【００１７】
被写体をパンして撮影しているとき、あるいは、被写体の動きが大きいときは、ローリングシャッタの影響で画角内の走査時間差により、撮影画像に歪を生じる。そこで、固体撮像素子から高速に画像データを読み出し、画角内の走査時間差を極力抑え、ローリングシャッタによる画像歪の影響を抑制する。例えば、垂直同期信号（Ｖ）に同期して固体撮像素子から画像データを読み出すとする。図２に垂直同期信号（Ｖ）に同期して固体撮像素子から画像データを読み出した際の処理の負荷を示す。
【００１８】
図２（１）は１Ｖ期間かけてＣＭＯＳ等の固体撮像素子１０２から画像データを読み出す場合のメインメモリ１１４に対するメモリ帯域の占有率を示し、縦軸をメインメモリ１１４に対するメモリ帯域の占有率、横軸を画像処理に要する処理時間とする。図２（２）はＣＭＯＳ等の固体撮像素子１０２から画像データを高速に読み出す場合のメモリ帯域の占有率を示し、同様に縦軸をメインメモリ１１４に対するメモリ帯域の占有率、横軸を画像処理に要する処理時間とする。網掛け部はＣＭＯＳ等の固体撮像素子１０２から画像データを読み出した後のカメラ信号処理等の各機能ブロックにおける信号処理のメインメモリ１１４に対するメモリ帯域の占有率の総和である。
【００１９】
図２（２）はＣＭＯＳ等の固体撮像素子１０２から高速に画像データを読み出しているため、Ｖの前半の時間に該固体撮像素子１０２からの読み出し処理が集中している。各機能ブロックの中でも特に動画をプログレッシブ方式の信号に補間して記録する場合や、動画中静止画の記録時における補間部１０６の信号処理のメインメモリ１１４に対するメモリ帯域の占有率は高い。
【００２０】
補間部１０６において、上記の処理の場合に必要な映像信号は、Ｎフィールドと時間的に前のＮ−１フィールドであり、前者は現在、撮像素子１０３から得られるフィールド信号であり、後者は１フィールド前のフィールド信号である。補間部１０６における処理に必要な２つのフィールド信号のうちＮ−１フィールド信号は、メインメモリ１１４格納されているため、処理を行う際、該メインメモリ１１４から読み出してくる。また、動画符号化部１０９において、動画符号化フレームがＢピクチャの場合、双方向予測符号化ピクチャとなるため、過去と将来のＩピクチャまたはＰピクチャの２フレームが必要となる（参照フレームが複数）。そのため、動画符号化部１０９からのメインメモリ１１４に対するアクセスが増える。
【００２１】
従って、本撮像システムにおいて、固体撮像素子１０２から画像データを高速に読み出した際、補間部１０６の信号処理によるメインメモリ１１４に対するアクセスが最も集中する。このとき、メモリ帯域の占有率は１００％を越え、アクセス要求が受け付けられない可能性がある。その結果、撮像システムが破綻してしまう。そこで、デジタルカメラ、デジタルビデオカメラ等の撮像装置として、システムが破綻しない手法を用いるのが本実施形態であり、以下に説明する。
【００２２】
図１に示すデジタルカメラ、デジタルビデオカメラ等の撮像装置において、システム制御部１１８により、指示されたＴＧ１０３からのタイミングパルスに応じて固体撮像素子１０２から画像データが高速に読み出される。
【００２３】
この様相を図３に示す。図３中、横軸は時間軸であり、（１）〜（５）はそれぞれＶのタイミングを表す。「読み出し」の列は分割された各領域の読み出しタイミングを示したもので、「処理」はどの領域の画像データがどのタイミングで処理されたかを示す。「センサ駆動」の列にある色塗り部は固体撮像素子１０２が駆動している期間を示す。（１）では最初に固体撮像素子１０２から画像データを高速に読み出し、該画像データをＡ／Ｄ変換部１０４にて、ディジタル信号に変換し、アービター部１１５経由で一旦、メインメモリ１１４に格納する。この際、Ａ／Ｄ変換部１０４にて、ディジタル信号に変換された画像データは、動き／被写体検出部１１７にも入力される。メインメモリ１１４に格納されている（１）のタイミングで固体撮像素子１０２から高速に読み出された画像データは、次のＶのタイミング（２）でメインメモリ１１４から読み出され、カメラ信号処理部１０５に入力される。
【００２４】
更に該カメラ信号処理部１０５からの映像信号（Ｎフィールド）が補間部１０６に入力され、補間部１０６にて、該映像信号とメインメモリ１１４から読み出された一つ前のＮ−１フィールドの映像信号によって、フィールド間補間処理が施される。フィールド間補間処理後、映像信号はメインメモリ１１４に書き戻される。この後、静止画の記録のためにＪＰＥＧ等の符号化処理を行う静止画符号化部１１２にて、画像データがメインメモリ１１４から読み出され、静止画符号化され、メインメモリ１１４における静止画処理のみに使用される符号化データが格納される領域に格納される。その後、静止画データを格納するＳＤカード等の記録部１１３に格納される。
【００２５】
また、フィールド間補間処理を施された映像信号は、メインメモリ１１４から読み出され、動画リサイズ部１０７にて、画像データを動画像記録の画角に変換される。その後、ＮＲ（Ｎｏｉｓｅ  Ｒｅｄｕｃｔｉｏｎ）処理部１０８、動画リサイズ部１０７にて、動画像記録の画角に変換された画像データに対し、ＮＲ処理、リサイズを行う。そして動画符号化部１０９にて、符号化され、記録信号処理部１１０にて記録信号処理を施され、記録媒体１１１に記録される。同様に（２）のタイミングにおいて、各種画像信号処理を実行している最中でもリアルタイムで固体撮像素子１０２から画像データが高速に読み出される。該固体撮像素子１０２から高速に読み出された画像データは、同様にＡ／Ｄ変換部１０４にて、ディジタル信号に変換し、アービター部１１５経由でメインメモリ１１４に格納される。
【００２６】
上述したように、本実施形態では補間部１０６にて、ＮフィールドとＮ−１フィールドの画像データによってフィールド間補間が施され、その後、映像信号はメインメモリ１１４に書き戻される。従って、補間処理時にはメインメモリ１１４に対するアクセスが集中（メインメモリ１１４に対するＷｒｉｔｅ、Ｒｅａｄ要求）する。このとき、固体撮像素子１０２からの画像データの高速読み出し処理に伴う、メインメモリ１１４に対してアクセス（メインメモリ１１４に対するＷｒｉｔｅ、Ｒｅａｄ要求）するタイミングが重なってしまう。その結果、メインメモリ１１４に対する帯域を圧迫させ、メインメモリ１１４に対するアクセス要求を受け付けなくなるときが発生し、撮像装置としてのシステムを破綻させてしまう可能性がある。  そこで、システム破綻の回避策として、撮影している１画角内を複数の領域に分割し、各領域に対する各種処理の順番を切り替えるのが本実施形態の処理である。
【００２７】
本実施形態における処理シーケンスについて図３と、図４のフローチャートを用いて説明する。本実施形態では、通常撮影においては動画像データをインターレース方式の信号で記録している撮像装置において、動画像データをプログレッシブ方式の信号で記録するモードに設定した場合の処理を想定する。すなわち、メインメモリ１１４はインターレース方式の画像データを処理するのに必要な容量に合わせてあり、プログレッシブ方式の動画像データをそのまま処理すると、メインメモリが破綻してしまうような場合を想定する。図４は、（ａ）が本実施形態のメインのフローであり、（ｂ）は「読み出し・補間処理」のフローである。いずれもシステム制御部１１８が信号を送受信することにより各部に指示を出し、実行させているものである。
【００２８】
撮像装置の電源が投入されると処理が開始され（Ｓ４０１）、撮影者からの記録開始指示を待つ（Ｓ４０２）。記録開始指示を受けた後、まず図３（１）のタイミングにおいて、下記の処理を実行する。ＴＧ（Ｔｉｍｉｎｇ  Ｇｅｎｅｒａｔｅｒ）部１０３に対し記録開始指示を行い、固体撮像素子１０２に対して画像データ読み出し用のパルス信号を出力させる（Ｓ４０３）。固体撮像素子１０２から読み出された画像データは、Ａ／Ｄ変換部１０４（センサインターフェース）にてディジタル信号に変換され、動き／被写体検出部１１７に入力される。また画像データはアービター部１１５を介してメインメモリ１１４にも出力され、格納される。
【００２９】
カメラ信号処理部１０５では、領域制御部１１６の指示により、固体撮像素子１０２から読み出された画像データから構成される１画角を複数領域に分割して分割画像データとする（Ｓ４０４）。本実施形態では、１画角を４つの領域に分割するものとする。領域の分割は、メインメモリ（ＤＤＲ等）から画像データを読み出すことにより実現され、リードアドレスを制御することで読み出す順番が変えられる。
【００３０】
さらに動き／被写体検出部１１７により複数領域に分割された各々の領域に対し、撮影している被写体の有無を検出し（Ｓ４０５）、該検出した被写体の動き量を検出する（Ｓ４０６）。その後、読み出し・補間処理が実行される（Ｓ４０７）。
【００３１】
読み出し・補間処理について図４（ｂ）を用いて説明する。まずＳ４０５、Ｓ４０６で得られた被写体の有無と動き量検出の結果を基に、分割された各領域の読み出しの順番が決定される。本実施形態では、Ａ、Ｂ、Ｃ、Ｄいずれの領域にも被写体が存在し、Ａ領域の被写体の動きが他の３つの領域に存在する被写体の動きよりも大きいとする。このとき、メインメモリ１１４からＡ領域に相当する画像データを最初に読み出す（Ｓ４１１）。従って、メインメモリ１１４から読み出す画像データの順番は、図３（２）に示すようにＡ→Ｂ→Ｃ→Ｄの順番となる（Ｂ→Ｃ→Ｄは本来任意）。
【００３２】
メインメモリ１１４からまずはじめにＡ領域が読み出される（Ｓ４１１）。その後、フローチャートではＳ４１２として読み出された領域が１画像データ中で最初に読み出された領域かどうかを判定するステップを設け、ここではＹｅｓとしてＳ４１４に進む。Ａ領域の補間処理中は固体撮像素子１０２の動作中（センサ駆動中）であるので、メインメモリ１１４への負担の少ないフィールド内補間で補間処理を行う（Ｓ４１４）。ここでまだ全領域の読み出しを終了していないのでＳ４１１に戻って次の領域の読み出しを始める。今度はＳ４１２にてＮｏの分岐に進み、そのほかの３つの領域（Ｂ、Ｃ、Ｄ）に関しては、フィールド間補間で補間処理を行う（Ｓ４１３）。以上を全領域の読み込みが終了するまで行い（Ｓ４１５）、全領域の読み出しが終了したらメインのフローへ戻る（Ｓ４１６）。その後、記録終了指示を受けたか否かを判別し、終了指示を受けた場合は処理を終了し（Ｓ４０９）、受けていない場合は、Ｓ４０３に戻り、次のＶのタイミングで動作を始める（Ｓ４０８）。今、図３（２）のタイミングでメモリからの読み出し・補間処理を行っていたとすると、Ｓ４０３に戻ることにより同時並行で、次の図３（３）のタイミングでメモリからの読み出し・補間処理が行われる画像の、撮像素子からの読み出しを始めることになる。
【００３３】
同様に図３（３）のタイミングにおいても、被写体検出、動き量検出が行われる。今回はＡ、Ｂ、に被写体が存在し、Ｂ領域の被写体の動きがＡ領域に存在する被写体の動きよりも大きいとする。このとき、メインメモリ１１４からＢ領域に相当する画像データを最初に読み出す（Ｓ４１１）。従って、メインメモリ１１４から読み出す画像データの順番は、図３（２）に示すようにＢ→Ａ→Ｃ→Ｄの順番とする（Ａ→Ｃ→Ｄは本来任意）。
【００３４】
メインメモリ１１４からまずはじめにＢ領域が読み出される（Ｓ４１１）。その後、フローチャートではＳ４１２として読み出された領域が１画像データ中で最初に読み出された領域かどうかを判定するステップを設け、ここではＹｅｓとしてＳ４１４に進む。Ｂ領域の補間処理中は固体撮像素子１０２の動作中（センサ駆動中）であるので、メインメモリ１１４への負担の少ないフィールド内補間で補間処理を行う（Ｓ４１４）。ここでまだ全領域の読み出しを終了していないのでＳ４１１に戻って次の領域の読み出しを始める。今度はＳ４１２にてＮｏの分岐に進み、そのほかの３つの領域（Ａ、Ｃ、Ｄ）に関しては、フィールド間補間で補間処理を行う（Ｓ４１３）。以上を全領域の読み込みが終了するまで行い（Ｓ４１５）、全領域の読み出しが終了したらメインのフローへ戻る（Ｓ４１６）。
【００３５】
図３（４）、（５）のタイミングにおいては、それぞれ処理の順番がＢ→Ａ→Ｃ→Ｄ、Ｄ→Ａ→Ｂ→Ｃとなっており、同様に処理が行われる。
【００３６】
以上のように固体撮像素子から高速に画像データを読み出すデジタルカメラ、デジタルビデオカメラ等の撮像装置において、撮像装置が駆動している期間には、フィールド内補間処理を行い画像データを記録する。１画角を複数の領域に分割し、撮影している被写体の動きが大きい領域に対するフィールド内補間での補間処理と固体撮像素子１０２から画像データを読み出すタイミングが一致するようにメインメモリ１１４の画像データの読み出しタイミングを適応的に制御する。こうすることにより、固体撮像素子１０２から画像データを読み出している期間は、メインメモリ１１４に対するアクセス要求（Ｒｅａｄ要求）を実行することなく、メインメモリ１１４に対するアクセスを減らすことができる。その結果、メインメモリ１１４に対する帯域を圧迫させ、メインメモリ１１４に対するアクセス要求を受け付けなくなることを抑制でき、撮像システムを破綻させることを回避できる。
【００３７】
また、本実施形態では、動画撮影において動画像データをプログレッシブ方式の信号で記録する場合の実施例を示したが、それに限らず、動画撮影中に途中で同じくプログレッシブ方式の信号で記録される静止画像データを撮影する場合などにも適用できる。この場合、図３の各ＶＤのうちどこか１つのＶＤのタイミングで、その直前２つのタイミングで読み出された画像データを用いて中段の補間処理が実行されることになる。
【００３８】
また、本実施形態では、各撮影画像データの１画角を４つの分割画像データに分割し、処理を実行したが、この分割数は撮影される画像の解像度と撮像素子の駆動性能とのバランスで決定されたものである。従って、例えば本実施形態で用いた撮像素子よりも読み出し速度の速い撮像素子を用いた場合、１画角の８分の１の領域を処理する時間で撮像素子の駆動が終わることも考えられる。このような場合、１画角を８つの分割画像データに分割して最初の１領域の分割画像データのみをフィールド内補間によって補間処理を行えば、メモリは破綻せず、かつより多くの領域で精度の高い補間処理を行うことができる。
【００３９】
また、本発明の他の実施形態として、撮像素子の性能に関係なく分割数を決めておき、１領域の分割画像データの補間処理が終わるたびに撮像素子の駆動が終了しているかどうかを判定するステップを加える。そして、撮像素子の駆動が終了するまでは、フィールド内補間によって補間処理を行うようにしてもよい。
【００４０】
（第２の実施形態）
本実施形態では、第１の実施形態に比べて分割された各領域における被写体の動きが全てない場合の処理を考える。なお、第１の実施形態と処理が同様の箇所は説明を省略する。第１の実施形態と同じ図３、図４を用いて本実施形態における処理シーケンスについて説明する。
【００４１】
第１の実施形態と同様に、固体撮像素子１０２から読み出された画像データから構成される１画角を４領域に分割し（図３中、Ａ、Ｂ、Ｃ、Ｄ）、各領域における被写体の有無（Ｓ４０５）と、その動き量を検出する（Ｓ４０６）。その後読み出し・補間処理へと進む（Ｓ４０７）。
【００４２】
例えば、図３（２）のタイミングにおいては、図３（１）のタイミングで検出した被写体の動き量を検出した結果、被写体の動きがない場合、被写体（特に人物）の存在しない領域から優先して、メインメモリ１１４から画像データを読み出す。ここでは、Ａ領域のみ被写体が存在しなかったとする。この場合、メインメモリ１１４から画像データを読み出す順番は、Ａ→Ｂ→Ｃ→Ｄの順番となる（Ｓ４１０）。
以下、第１の実施形態と同様に、初めのＡ領域がフィールド内補間の補間処理、他の３つの領域（Ｂ、Ｃ、Ｄ）がフィールド間補間の補間処理によって補間され、全領域の補間処理が実行され、メインの処理に戻る（Ｓ４１６）。
【００４３】
図３（３）、（４）、（５）のタイミングにおいては、それぞれ処理の順番がＢ→Ａ→Ｃ→Ｄ、Ｂ→Ａ→Ｃ→Ｄ、Ｄ→Ａ→Ｂ→Ｃと決まり、同様に処理が行われている。
【００４４】
以上のようにプログレッシブ方式の信号で動画像データを記録する系において、撮影画角内を複数の領域に分割し、各領域の被写体の動きと被写体の有無を検出し、被写体の動きがなく、被写体の存在しない領域にはフィールド内補間処理を実行する。この処理と固体撮像素子１０２から画像データを高速に読み出す読み出し処理のタイミングが一致するようにメインメモリ１１４の画像データの読み出しを適応的に制御する。これにより、被写体に対しては、解像度を落とさずに補間処理を行いつつ、メインメモリ１１４に対するアクセスを減らすことができる。その結果、メインメモリ１１４に対する帯域を圧迫させ、メインメモリ１１４に対するアクセス要求を受け付けなくなることを抑制でき、撮像システムを破綻させることを回避できる。
【００４５】
本実施形態においても第１の実施形態と同様に、動画撮影中の静止画撮影にも適用できることは言うまでもない。
【００４６】
また、第１、第２の実施形態ではそれぞれ（第１の実施形態）全ての領域で被写体が確認されて、動き量に大小関係があるとき、（第２の実施形態）被写体が１つの領域で確認できなかったとき、について述べた。しかし、本発明は被写体の有無とその動き量に関してその他様々な状況に対しても適用できる。例えば、被写体の動きが大きい領域と被写体が存在しない領域が同時に存在した場合、どちらをフィールド内補間にするか優先度をつけて処理をするなどすればよい。
【００４７】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００４８】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００４９】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００５０】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００５１】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【００５２】
１０２  撮像素子
１０３  ＴＧ部
１０５  カメラ信号処理部
１０６  補間部
１１４  メインメモリ
１１６  領域制御部
１１７  動き／被写体検出部
１１８  システム制御部
【図１】
2011055188.tif 000003
【図２】
2011055188.tif 000004
【図３】
2011055188.tif 000005
【図４】
2011055188.tif 000006