(57)【要約】【課題】静止画と動画を同時撮影する際の、静止画の高精細化及び、動画のフレームレート保持を両立させることができる撮像装置を提供する。【解決手段】画素毎に光電変換により画像信号を生成する撮像素子（センサ１０２）と、撮像素子からの画像信号を処理する信号処理部１０５と、信号処理部１０５による信号処理の後、適応的にフィールド補間を行うＩＰ変換部１０６とを備える。またＩＰ変換後のデータを符号化する符号化部１１１と、シーケンス制御部１１６とを備える。シーケンス制御部１１６は、ＩＰ変換とＢフレームの符号化が重複する場合は、フィールド補間のシーケンスを制御する。そして、ＢフレームからＩまたはＰフレームにずらしたタイミングのフィールド画像を用いてＩＰ変換を行うようにＩＰ変換部１０６を制御する。【選択図】図１
2010016756.tif 000002
【特許請求の範囲】
【請求項１】
画素毎に光電変換により画像信号を生成する撮像素子と、
前記撮像素子からの前記画像信号を処理する信号処理手段と、
前記信号処理手段により信号処理された画像信号に、適応的なフィールド補間を行ってプログレッシブ画像を生成するＩＰ変換手段と、
前記ＩＰ変換手段によるＩＰ変換後のデータを画面内符号化、及び、画面間予測符号化によって符号化して、Ｉ、Ｐ、及びＢピクチャを生成する符号化手段と、
前記ＩＰ変換手段によるＩＰ変換と前記符号化手段によるＢピクチャの符号化が重複する場合は、前記フィールド補間のシーケンスを制御して、前記ＢピクチャからＩまたはＰピクチャにずらしたタイミングのフィールド画像を用いて前記ＩＰ変換を行うように前記ＩＰ変換手段を制御するシーケンス制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
画素毎に光電変換により画像信号を生成する撮像素子と、
前記撮像素子からの前記画像信号を処理する信号処理手段と、
前記信号処理手段により信号処理された画像信号に、適応的なフィールド補間を行ってプログレッシブ画像を生成するＩＰ変換手段と、
前記ＩＰ変換手段によるＩＰ変換後のデータを画面内符号化、及び、画面間予測符号化によって符号化する符号化手段と、
前記符号化手段におけるピクチャ毎の符号化の状態に応じて、前記ＩＰ変換手段のＩＰ変換処理のシーケンスを制御するシステム制御手段と、
を備えることを特徴とする撮像装置。
【請求項３】
前記システム制御手段は、静止画、動画同時記録の指示から、前記ＩＰ変換手段が前記ＩＰ変換処理を行うフィールドを検出し、それと同一時間に行われる前記符号化手段による符号化処理で参照するフレームを特定し、前記参照するフレームに応じて前記ＩＰ変換処理のシーケンスを補正することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記システム制御手段は、静止画、動画同時記録の指示から、前記ＩＰ変換手段が前記ＩＰ変換処理を行うフィールドを検出し、それと同一時間に行われる前記符号化手段による符号化処理で参照するフレームを特定し、前記ＩＰ変換処理の実施と重複するフィールドで前記符号化手段が双方向フレームを参照して符号化を行うことが検出された場合、前記ＩＰ変換処理の実施のフィールドと重複しないように前記撮像素子の駆動を制御することを特徴とする請求項２記載の撮像装置。
【請求項５】
前記システム制御手段は、静止画、動画同時記録の指示から、前記ＩＰ変換手段が前記ＩＰ変換処理を行うフィールドを検出し、それと同一時間に行われる前記符号化手段による符号化処理で参照するフレームを特定し、前記ＩＰ変換処理の実施と重複するフィールドでのＢピクチャ符号化が検出された場合、前記ＩＰ変換処理の実施のフィールドと重複しないように前記撮像素子の駆動を制御し、ＩまたはＰピクチャと重複するようにして前記ＩＰ変換処理と前記符号化処理を行うことを特徴とする請求項２記載の撮像装置。
【請求項６】
前記システム制御手段は、静止画、動画同時記録の指示から、前記ＩＰ変換手段が前記ＩＰ変換処理を行うフィールドを検出し、それと同一時間に行われる前記符号化手段による符号化処理で参照するフレームを特定し、前記ＩＰ変換処理の実施と重複するフィールドで前記符号化手段が双方向フレームを参照して符号化を行うことが検出された場合、前記ＩＰ変換処理の実施のフィールドを保持して、前記ＩＰ変換処理のタイミングをシフトして前記ＩＰ変換処理と前記符号化処理を行うことを特徴とする請求項２記載の撮像装置。
【請求項７】
前記システム制御手段は、静止画、動画同時記録の指示から、前記ＩＰ変換手段が前記ＩＰ変換処理を行うフィールドを検出し、それと同一時間に行われる前記符号化手段による符号化処理で参照するフレームを特定し、前記ＩＰ変換処理の実施と重複するフィールドでＢピクチャ符号化が検出された場合、前記ＩＰ変換処理の実施のフィールドを保持して、前記ＩＰ変換処理のタイミングをシフトして、ＩまたはＰピクチャと重複するようにして、前記ＩＰ変換処理と前記符号化処理を行うことを特徴とする請求項２記載の撮像装置。
【請求項８】
前記システム制御手段は、静止画、動画同時記録の指示から、前記ＩＰ変換手段が前記ＩＰ変換処理を行うフィールドを検出し、それと同一時間に行われる前記符号化手段による符号化処理で参照するフレームを特定し、前記ＩＰ変換処理の実施と重複するフィールドでＢピクチャ符号化が検出された場合、前記ＩＰ変換処理の実施のフィールドを保持して、ＩまたはＰピクチャと重複しない複数フィールド期間をかけて前記ＩＰ変換処理と前記符号化処理を行うことを特徴とする請求項２記載の撮像装置。
【請求項９】
前記システム制御手段は、静止画、動画同時記録の指示から、前記ＩＰ変換手段が前記ＩＰ変換処理を行うフィールドを検出し、それと同一時間に行われる前記符号化手段による符号化処理で参照するフレームを特定し、前記ＩＰ変換処理の実施と重複するフィールドでＢピクチャ符号化が検出された場合、前記ＩＰ変換処理の実施のフィールドを保持して、複数フィールド期間をかけて、Ｉ、Ｐピクチャの重複時は処理量が多く、Ｂピクチャの重複時は処理量が少なくなるようにして前記ＩＰ変換処理と前記符号化処理を行うことを特徴とする請求項２記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、静止画と動画を同時撮影する際の、静止画の高精細化と動画のフレームレート保持を両立させる技術に特徴のある撮像装置に関する。
【背景技術】
【０００２】
動画と共に高精細な静止画を記録する技術に関して、特許文献１には、以下の提案がなされている。
【０００３】
即ち、特許文献１に提案された技術では、静止画をキャプチャする操作キーの指示を検出して、そのフレームにフラグを付けて、一時的に記憶されたメモリから読み出して符号化する際に、フラグの付いているフレームをフレーム内符号化する。また、それ以外を、フレーム間符号化する。そして、それらを記憶することにより、高精細な静止画の記録を可能にする。
【特許文献１】特開平１０−１６４４９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし上記特許文献１は、同時撮影された静止画、動画を高精細にするために、画素数が多大になった際に、システムが破綻することに関して解決するものではない。
【０００５】
特に、動画用のインターレース読み出し時の静止画同時記録は、画素毎の動きを検出し適応的にフィールド補間を行うＩＰ（インターレース・プログレッシブ）変換が必要になる。このＩＰ変換処理は、保持している全フィールドを再度読み出して、現フィールドと補間処理を行う必要があり、処理過程におけるメモリのアクセスの帯域も非常に大きなものになる。
【０００６】
また、動画を記録するための符号化は、フレーム単位でピクチャタイプが異なり、Ｉピクチャはフレーム内符号化なので、メモリのアクセス帯域は低いが、双方向参照を行うＢピクチャはメモリのアクセス帯域は高い。
【０００７】
静止画、動画記録指示は、撮影者からのトリガに同期したものであり、動画記録開始から一定周期で繰り返す符号化のピクチャタイプとは非同期の関係にある。
【０００８】
従って、１つのシステムで撮像信号処理と符号化に際してメモリを共有する場合、メモリアクセスの高い静止画、動画同時処理時のＩＰ変換フィールドと、Ｂピクチャ符号化が同一時間で重なった場合、システムに破綻をきたす可能性がある。
【０００９】
図９は、従来例に係る撮像装置における静止画、動画同時記録（撮影）処理時のタイミングチャートである。
【００１０】
動画記録中で、センサはＡ−０、Ａ−１、Ｂ−０、‥と順次蓄積、読み出しを行う。静止画同時記録のトリガがかかり、Ｂ−０、Ｂ−１の画像は静止画として読み出される。Ｂ−０は、保持され１フィールド後に読み出され、Ｂ−１は、センサ読み出し後にＩＰ変換処理へ供給され、静止画としての画像を生成し保持する。
【００１１】
静止画同時記録に際して、解像度を上げるためには処理画素数（センサ読み出し画素数）が多く、さらに保持したＢ−０はＩＰ変換のため再度読み出される必要があり、通常動画処理時に対してメモリアクセスの帯域が多大になる。ここに丁度符号化処理がＢピクチャに当たった場合、メモリの帯域は破綻する恐れがある。
【００１２】
本発明の目的は、静止画と動画を同時撮影する際の、静止画の高精細化及び、動画のフレームレート保持を両立させることができる撮像装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、請求項１記載の撮像装置は、画素毎に光電変換により画像信号を生成する撮像素子と、前記撮像素子からの前記画像信号を処理する信号処理手段と、前記信号処理手段により信号処理された画像信号に、適応的なフィールド補間を行ってプログレッシブ画像を生成するＩＰ変換手段と、前記ＩＰ変換手段によるＩＰ変換後のデータを画面内符号化、及び、画面間予測符号化によって符号化して、Ｉ、Ｐ、及びＢピクチャを生成する符号化手段と、前記ＩＰ変換手段によるＩＰ変換と前記符号化手段によるＢピクチャの符号化が重複する場合は、前記フィールド補間のシーケンスを制御して、前記ＢピクチャからＩまたはＰピクチャにずらしたタイミングのフィールド画像を用いて前記ＩＰ変換を行うように前記ＩＰ変換手段を制御するシーケンス制御手段とを備えることを特徴とする。
【００１４】
請求項２記載の撮像装置は、画素毎に光電変換により画像信号を生成する撮像素子と、前記撮像素子からの前記画像信号を処理する信号処理手段と、前記信号処理手段により信号処理された画像信号に、適応的なフィールド補間を行ってプログレッシブ画像を生成するＩＰ変換手段と、前記ＩＰ変換手段によるＩＰ変換後のデータを画面内符号化、及び、画面間予測符号化によって符号化する符号化手段と、前記符号化手段におけるピクチャ毎の符号化の状態に応じて、前記ＩＰ変換手段のＩＰ変換処理のシーケンスを制御するシステム制御手段とを備えることを特徴とする。
【発明の効果】
【００１５】
本発明の撮像装置によれば、静止画と動画を同時撮影する際の、静止画の高精細化及び、動画のフレームレート保持を両立させることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【００１７】
図１は、本発明の実施の形態に係る撮像装置のブロック図である。
【００１８】
以下、その構成を動作と併せて説明する。
【００１９】
レンズ１０１により結像された画像（映像）は、センサ（撮像素子）１０２へ入射される。センサ１０２で光電変換、ＡＤ部１０３でＡＤ変換された画像信号は、センサＩＦ１０４を経由して信号処理部１０５へ入力される。
【００２０】
信号処理部１０５は、撮影モードに応じて動画用の信号処理、静止画用の信号処理もしくは双方の処理を行う。
【００２１】
ＩＰ（インターレース・プログレッシブ）変換部１０６は、信号処理部１０５からの出力である現フィールドと、メモリ１１２から読み出す前フィールド画像のいずれかから適応的にもう片方のフィールドを補間してプログレッシブ画像を生成する。
【００２２】
動画リサイズ部１０７は、同時撮影時では高画素で処理している動画の記録サイズにリサイズする。
【００２３】
ＮＲ（ノイズリダクション）部１０８は、全フレームの積分処理によりノイズの除去を行う。ノイズ除去後のデータは、エフェクト部１０９、ビデオＩＦ１１０を経由して表示系へ出力され、また、動画符号化部１１１を経由して符号化されて記録される。
【００２４】
動画符号化部１１１は、ＩＰ変換部１０６によるＩＰ変換後のデータを画面内符号化、及び、画面間予測符号化によって符号化して、Ｉピクチャ、Ｐピクチャ、及びＢピクチャを生成する。
【００２５】
静止画リサイズ部１１３は、静止画記録サイズにリサイズ処理を行い、静止画符号化部１１４は、そのリサイズ画像をメモリ１１２より読み出して符号化を行い記録する。
【００２６】
システム制御部１１５は、動作モードに応じて処理全般を制御する。シーケンス制御部１１６は、ＩＰ変換の処理シーケンスを、動画符号化部１１１のピクチャ情報を元に制御する。
【００２７】
システム制御部１１５は、符号化部におけるピクチャ毎の符号化の状態に応じて、ＩＰ変換部１０６のＩＰ変換処理のシーケンスを制御する。
【００２８】
また、システム制御部１１５は、静止画、動画同時記録の指示から、ＩＰ変換部１０６がＩＰ変換処理を行うフィールドを検出し、それと同一時間に行われる符号化部による符号化処理で参照するフレームを特定する。そして、参照するフレームに応じてＩＰ変換処理のシーケンスを補正する。
【００２９】
また、システム制御部１１５は、静止画、動画同時記録の指示から、ＩＰ変換部１０６がＩＰ変換処理を行うフィールドを検出し、それと同一時間に行われる符号化部による符号化処理で参照するフレームを特定する。そして、ＩＰ変換処理の実施と重複するフィールドで符号化部が双方向フレームを参照して符号化を行うことが検出された場合、ＩＰ変換処理の実施のフィールドと重複しないようにセンサ１０２の駆動を制御する。
【００３０】
また、システム制御部１１５は、静止画、動画同時記録の指示から、ＩＰ変換部１０６がＩＰ変換処理を行うフィールドを検出し、それと同一時間に行われる符号化部による符号化処理で参照するフレームを特定する。そして、ＩＰ変換処理の実施と重複するフィールドでＢピクチャ符号化が検出された場合、ＩＰ変換処理の実施のフィールドを保持して、ＩＰ変換処理のタイミングをシフトして、ＩまたはＰピクチャと重複するようにして、ＩＰ変換処理と符号化処理を行う。
【００３１】
また、システム制御部１１５は、静止画、動画同時記録の指示から、ＩＰ変換部１０６がＩＰ変換処理を行うフィールドを検出し、それと同一時間に行われる符号化部による符号化処理で参照するフレームを特定する。そして、ＩＰ変換処理の実施と重複するフィールドでＢピクチャ符号化が検出された場合、ＩＰ変換処理の実施のフィールドを保持して、ＩまたはＰピクチャと重複しない複数フィールド期間をかけてＩＰ変換処理と符号化処理を行う。
【００３２】
また、システム制御部１１５は、静止画、動画同時記録の指示から、ＩＰ変換部１０６がＩＰ変換処理を行うフィールドを検出し、それと同一時間に行われる符号化部による符号化処理で参照するフレームを特定する。そして、ＩＰ変換処理の実施と重複するフィールドでＢピクチャ符号化が検出された場合、以下のように制御する。即ち、ＩＰ変換処理の実施のフィールドを保持して、複数フィールド期間をかけて、Ｉ、Ｐピクチャの重複時は処理量が多く、Ｂピクチャの重複時は処理量が少なくなるようにしてＩＰ変換処理と符号化処理を行う。
【００３３】
詳しくは、以降に説明する。
【００３４】
（第１の実施の形態）
図２は、図１の撮像装置における静止画、動画同時記録処理時のタイミングチャートである（１）。
【００３５】
図２では、同時記録の処理の遷移をセンサ蓄積、センサ読み出し、ＩＰ変換、符号化にフェーズを分けて示している。
【００３６】
図２（ａ）は、ＩＰ変換処理とＩピクチャ（Ｉフレーム）符号化が重複している例である。Ｉピクチャのメモリ帯域は低いので静止画トリガ後のＢ−０、 Ｂ−１を静止画同時記録画像として高画素で読み出し、ＩＰ変換を行い、記録している。
【００３７】
図２（ｂ）は、ＩＰ変換処理とＢピクチャ（Ｂフレーム）が重複している例である。静止画トリガ時にＢピクチャと重複することが予測される。そのため、これを回避する目的で、センサの同時記録動作は１フィールド後にずらして、Ｂ−１、 Ｃ−０を静止画対象フィールドとしてＩＰ変換を行い記録している。
【００３８】
図３は、図１の撮像装置によって実行される静止画、動画同時記録処理の手順を示すフローチャートである（１）。
【００３９】
本フローチャートは、図１におけるシステム制御部１１５の制御の下に実行される。
【００４０】
図３において、まず、通常動画撮影中に、同時記録トリガが検出されたら（ステップＳ３０１、Ｓ３０２）、ＩＰ変換がＢピクチャと重複するか否かを判定する（ステップＳ３０３）。重複する場合は重複しないように、センサ１０２の静止画駆動を１フィールド遅延させる（ステップＳ３０４）。
【００４１】
静止画蓄積、読み出し処理（ステップＳ３０５）、信号処理（ステップＳ３０６）の後、動画処理としては、リサイズ処理（ステップＳ３０７）、ＮＲ処理（ステップＳ３０８）、符号化処理（ステップＳ３０９）、記録処理（ステップＳ３１０）を行う。
【００４２】
静止画処理として、ＩＰ変換処理（ステップＳ３１１）、リサイズ処理（ステップＳ３１２）、符号化処理（ステップＳ３１３）、記録処理（ステップＳ３１４）を行う。
【００４３】
図４は、図３のステップＳ３１１で実行されるＩＰ変換処理の手順を示すフローチャートである。
【００４４】
図４において、まず、動き判定（ステップＳ４０１）を画素単位で行い、動きと判定された場合はフィールド内からフィールド補間（ステップＳ４０２）、静止と反転された場合は全フィールドからフィールド補間（ステップＳ４０３）がされる。
【００４５】
図５は、図１における符号化部で行われる符号化のタイミングチャートである。図５は、フレームの制御が行われた場合の時間遷移状況を示している。
【００４６】
例えば、Ｂ３というＢピクチャフレームはＩ２及びＰ５を参照して動き予測を行い、Ｐ５というＰピクチャ（Ｐフレーム）はＩ２を参照する。フレーム参照の関係で、デコートで示されるフレーム順に並び替えられ、ＧＯＰを構成して符号化される。
【００４７】
図６は、図１の撮像装置によって実行される符号化処理の手順を示すフローチャートである。
【００４８】
図６において、まず、フレームバッファ（ステップＳ６０１）されて、処理単位であるマクロブロックが切り出される（ステップＳ６０２）。Ｉピクチャもしくはマクロブロックがイントラタイプであれば（ステップＳ６０３でＹＥＳ）、そのままＤＣＴ（ステップＳ６０４）、 量子化（ステップＳ６０５）、可変長符号化（ステップＳ６０６）を経て符号化が行われる。
【００４９】
Ｐピクチャもしくはマクロブロックが前方向参照タイプであれば（ステップＳ６０７でＹＥＳ）、サーチ（ステップＳ６０８）、動き検出（ステップＳ６０９）を前方向でのみ行う。そして、ＤＣＴ（ステップＳ６１０）、 量子化（ステップＳ６１１）、可変長符号化（ステップＳ６１２）を経て符号化が行われる。
【００５０】
Ｂピクチャもしくはマクロブロックタイプが双方向参照タイプであれば（ステップＳ６０７でＮＯ）、サーチ （Ｓ６１３）、動き検出（ステップＳ６１４）を双方向で行う。そして、ＤＣＴ（ステップＳ６１５）、 量子化（ステップＳ６１６）、可変長符号化（ステップＳ６１７）を経て符号化が行われる。
【００５１】
符号化が完了かつ、全マクロブロックが完了すれば（ステップＳ６１８でＹＥＳ）、次のフレーム処理に入り、全マクロブロックが完了していなければ（ステップＳ６１８でＮＯ）次のマクロブロック切り出し処理（ステップＳ６０２０２）を繰り返す。
【００５２】
（第２の実施の形態）
図７は、図１の撮像装置における静止画、動画同時記録処理時のタイミングチャートである（２）。
【００５３】
図７は、同時記録の処理の遷移をセンサ蓄積、センサ読み出し、ＩＰ変換、符号化にフェーズを分けて示している。
【００５４】
図７（ａ）は、ＩＰ変換処理とＩピクチャ符号化が重複している例である。Ｉピクチャのメモリ帯域は低いので静止画トリガ後のＢ−０、 Ｂ−１を静止画同時記録画像として高画素で読み出してＩＰ変換を行い、記録している。
【００５５】
図７（ｂ）は、ＩＰ変換処理とＢピクチャが重複している例である。静止画トリガ時にＢピクチャと重複することが予測されるために、Ｂ−０、 Ｂ−１双方とも保持してＩＰ変換実施フィールドを１サイクル遅延させることによりＢピクチャ重複を回避する。
【００５６】
また、一旦保持したＢ−０、 Ｂ−１フィールドは、次の静止画撮影フェーズにかからなければ、複数フィールドで分割してＩＰ変換を行うことで、さらにメモリの帯域は余裕が出る。また、その際にＩ、 Ｐ、 Ｂの重複に応じて処理量を可変としてもよい。
【００５７】
図８は、図１の撮像装置によって実行される静止画、動画同時記録処理の手順を示すフローチャートである（２）。
【００５８】
図８において、通常動画撮影中に、同時記録トリガが検出されたら（ステップＳ８０１、Ｓ８０２）、次のフィールドから静止画画角（高画素数）でセンサの蓄積、読み出し処理（ステップＳ８０３）、信号処理（ステップＳ８０４）を行う。
【００５９】
その後、ＩＰ変換がＢピクチャと重複するか否かを判定（ステップＳ８０５）して、重複するならば現フィールドも保持して処理を遅延させる（ステップＳ８０６）。
【００６０】
動画処理としては、リサイズ処理（ステップＳ８０７）、ＮＲ処理（ステップＳ８０８）、符号化処理（ステップＳ８０９）、記録処理（ステップＳ８１０）を行う。
【００６１】
静止画処理として、ＩＰ変換処理（ステップＳ８１１）、リサイズ処理（ステップＳ８１２）、符号化処理（ステップＳ８１３）、記録処理（ステップＳ８１４）を行う。
【００６２】
尚、ＩＰ変換処理（ステップＳ８１１）については、図４で説明した通りである。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施の形態に係る撮像装置のブロック図である。
【図２】図１の撮像装置における静止画、動画同時記録処理時のタイミングチャートである（１）。
【図３】図１の撮像装置によって実行される静止画、動画同時記録処理の手順を示すフローチャートである（１）。
【図４】図３のステップＳ３１１で実行されるＩＰ変換処理の手順を示すフローチャートである。
【図５】図１における符号化部で行われる符号化のタイミングチャートである。
【図６】図１の撮像装置によって実行される符号化処理の手順を示すフローチャートである。
【図７】図１の撮像装置における静止画、動画同時記録処理時のタイミングチャートである（２）。
【図８】図１の撮像装置によって実行される静止画、動画同時記録処理の手順を示すフローチャートである（２）。
【図９】従来例に係る撮像装置における静止画、動画同時記録（撮影）処理時のタイミングチャートである。
【符号の説明】
【００６４】
１０２  センサ
１０５  信号処理部
１０６  ＩＰ変換部
１１１  動画符号化部
１１５  システム制御部
１１６  シーケンス制御部
【図１】
2010016756.tif 000003
【図２】
2010016756.tif 000004
【図３】
2010016756.tif 000005
【図４】
2010016756.tif 000006
【図５】
2010016756.tif 000007
【図６】
2010016756.tif 000008
【図７】
2010016756.tif 000009
【図８】
2010016756.tif 000010
【図９】
2010016756.tif 000011