(57)【要約】【課題】  高画質な動画と静止画を撮影する。【解決手段】  撮像手段と、任意のタイミングで静止画撮影を指示する静止画撮影指示手段と、前記撮像手段より得られた画像データに対して画質調整処理を施す画像処理手段と、動画像の撮影中における前記静止画撮影指示手段による指示に応じて、前記画質調整処理のためのパラメータ値を静止画撮影に対応した所定の値に設定すると共に、前記撮像手段から出力された動画像データ中の前記静止画撮影指示に対応した一画面の画像データを前記変更したパラメータ値にて処理するよう前記画像処理手段を制御する制御手段とを備える。【選択図】  図１
2005217493.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
任意のタイミングで静止画撮影を指示する静止画撮影指示手段と、
前記撮像手段より得られた画像データに対して画質調整処理を施す画像処理手段と、
動画像の撮影中における前記静止画撮影指示手段による指示に応じて、前記画質調整処理のためのパラメータ値を静止画撮影に対応した所定の値に設定すると共に、前記撮像手段から出力された動画像データ中の前記静止画撮影指示に対応した一画面の画像データを前記変更したパラメータ値にて処理するよう前記画像処理手段を制御する制御手段とを備える撮像装置。
【請求項２】
前記制御手段は、前記一画面の画像データを前記変更したパラメータ値にて処理した後、前記画質調整処理のためのパラメータ値を動画撮影に対応した値に設定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記画像処理手段から出力された動画像データを記録媒体に記録する記録手段を備え、
前記制御手段は、前記記録媒体に記録された動画像データ中より前記静止画撮影指示手段による指示に対応した画面の画像データを静止画像データとして前記動画像データとは別に前記記録媒体に記録するよう前記記録手段を制御することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記記録媒体に記録された画像データの画質を補正する画質補正手段を備え、前記制御手段は、前記静止画撮影指示手段による指示に対応した画面の画像データを静止画像データとして記録した後、前記動画撮影に対応したパラメータ値で処理した際の画質となるよう前記静止画撮影指示手段による指示に対応した画面の画像データを補正処理するよう前記画質補正手段を制御することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記画像処理手段から出力された画像データを符号化すると共に、前記記録媒体から再生された画像データを復号する符号化処理手段を備え、
前記画質補正手段は前記符号化処理手段により復号された画像データに対して前記補正処理を施すことを特徴とする請求項４記載の撮像装置。
【請求項６】
画面内符号化方式と画面間予測符号化方式とを画面単位に選択して前記画像処理手段から出力された画像データを符号化する符号化処理手段を備え、
前記制御手段は、前記静止画撮影指示手段による指示に対応した画面の画像データを前記画面内符号化方式にて符号化するよう前記符号化処理手段を制御することを特徴とする請求項１記載の撮像装置。
【請求項７】
前記符号化手段は、前記静止画撮影指示手段による指示に対応した画面の画像データを前記動画撮影に対応したパラメータ値で処理した際の画質となるよう補正処理した後に前記画面間予測符号化のための参照画像データとして用いることを特徴とする請求項６記載の撮像装置。
【請求項８】
撮像手段と、
前記撮像手段より得られた画像データに対して画質調整処理を施す画像処理手段と、
動画像の撮影中における所定のタイミングで、前記画質調整処理のためのパラメータ値を静止画撮影に対応した所定の値に設定すると共に、前記撮像手段から出力された動画像データ中の前記静止画撮影指示に対応した一画面の画像データを前記変更したパラメータ値にて処理するよう前記画像処理手段を制御する制御手段とを備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に、動画像と静止画とを撮影可能な装置に関する。
【背景技術】
【０００２】
動画撮影・記録中に、任意のシーンを通常の静止画と同様に撮影・記録し、それを静止画として再生可能とした映像信号記録再生装置の一例が、例えば、特許文献１に記載されている。
【０００３】
この装置は、動画撮影中に静止画撮影が指示されると、静止画記録指示信号を圧縮された動画の制御データに付加し、再生時にその信号を検出して該当フレームを静止画として再生、および、動画とは別ファイルで記録する。
【０００４】
即ち、ある時点で生成された映像信号に対して、動画用と静止画用の符号化圧縮処理を時分割で行うことにより、動画と静止画の同時撮影を実現している。
【０００５】
また、データ量の異なるフレーム内符号化フレーム間符号化とを組み合わせて動画像を符号化するＭＰＥＧ方式を採用している撮像装置では、符号化されたＭＰＥＧストリームの中からＩピクチャを抽出し、ＪＰＥＧとして再符号化することによって静止画として扱うことができる。そして、動画撮影中に静止画撮影指示があった時、強制的にＩピクチャを生成することで、動画・静止画の同時撮影を実現した例が特許文献２に示されている。
【０００６】
これらの従来例において、符号化圧縮処理は、動画と静止画で区別されているが、撮像素子からの撮像情報をデジタルカラー映像信号に変換するまでの所謂カメラ信号処理は動画と静止画とで共通であった。
【０００７】
従って、動画撮影を主たる目的とするデジタルビデオカムコーダ等の撮像装置では、カメラ信号処理の設定が動画画質に最適化されたものであるため、その設定で生成されたカラー画像信号を静止画用に符号化圧縮しても、動画用の画質設定を継承した画像となっていた。
【０００８】
しかし、動画撮影記録中に、静止画撮影記録ができるという利便性に加えて、動画、静止画ともに画質面での要求が高くなっている今日、符号化前のデジタルカラー信号も、動画用と静止画用とで区別していく必要があるといえる。
【０００９】
また、動画用、静止画用にそれぞれ最適な処理を行うために、カメラ信号処理回路を二種類備える構成が特許文献３に記載されている。
【特許文献１】特開平９−２８４７０５号公報
【特許文献２】特開平７−２８４０５８号公報
【特許文献３】特開平５−１３０６４５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
特許文献３に記載の様に、カメラ信号処理回路を二種類備えた場合、システム全体の規模が大きくなってしまうという問題があった。
【００１１】
一方、単一の回路で、設定を切り替えて動画静止画同時撮影するために、静止画用の多画素のデータを保持するとなると大容量のメモリを搭載しなければならないという問題があった。
【００１２】
本発明はこの様な問題を解決し、回路規模の増加を抑えながら、高画質な動画像と静止画像とを撮影可能とすることを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、撮像手段と、任意のタイミングで静止画撮影を指示する静止画撮影指示手段と、前記撮像手段より得られた画像データに対して画質調整処理を施す画像処理手段と、動画像の撮影中における前記静止画撮影指示手段による指示に応じて、前記画質調整処理のためのパラメータ値を静止画撮影に対応した所定の値に設定すると共に、前記撮像手段から出力された動画像データ中の前記静止画撮影指示に対応した一画面の画像データを前記変更したパラメータ値にて処理するよう前記画像処理手段を制御する制御手段とを備える。
【発明の効果】
【００１４】
高画質な動画像と静止画像を撮影可能となる。
【発明を実施するための最良の形態】
【００１５】
図１は本発明を適用した撮像装置の構成を示すブロック図である。
【００１６】
図１において、１０１はレンズ、ＣＣＤ等を含む撮像部、１０２は撮像部１０１からのアナログ動画像信号をデジタル信号に変換し、後述の如く所定の処理を施すカメラ信号処理部、１０３は動画像信号をＭＰＥＧ方式で符号化、復号化すると共に、静止画像信号をＪＰＥＧ方式にて符号化、復号化する符号化処理部、１０４は動画撮影終了後にＭＰＥＧストリームから静止画の切り出し及び、ＭＰＥＧストリームの補正処理を行う補正処理部、１０５は外部装置に画像信号を出力する出力部、１０６は後述するカメラ信号処理部１０２の画質調整パラメータを保持するＲＯＭ、１０７は操作部１０８の指示に従って各部の処理を制御するＣＰＵ、１０８はユーザからの撮影開始、停止、撮影モードの切り替え指示等を入力する操作部、１０９は装置各部で処理される画像信号を一時的に保持するバッファメモリ、１１０は撮影された画像や再生された画像信号をモニタ１１０に表示する表示制御部、１１１はモニタ、１１２は符号化された動画像信号や静止画像信号を記録媒体Ｍに対して記録再生する記録再生部である。
【００１７】
本形態では、記録媒体Ｍとしてディスク媒体を使用するが、もちろん、これ以外の記録媒体を用いることも可能である。
【００１８】
また、図１には本発明に直接関係ある部分のみが示されており、本発明に直接関係ない部分は図示を省略して、その説明を省略する。
【００１９】
図１において、ユーザは操作部１０８により、静止画撮影モードと、動画撮影モードを切り替えることができる。ここで、静止画撮影モードでは、撮影した１フレーム分の映像信号をＪＰＥＧ方式にて符号化して静止画像ファイルとして記録し、動画撮影モードでは、撮影した複数フレーム分の動画像信号をＭＰＥＧ方式にて符号化して動画像ファイルとして記録する。
【００２０】
操作部１０８により、ユーザが動画撮影開始、もしくは、静止画撮影を指示すると、それぞれの指示信号に応じたタイミングで、撮像部１０１ではレンズを介して結像した光学像を撮像素子上で電気信号に変換する。
【００２１】
撮像部１０１の出力信号は、カメラ信号処理部１０２においてデジタル信号に変換され、色情報、輝度情報に関して後述する各種信号処理が行われ、デジタル映像信号が生成され、バス１１３を介してメモリ１０９に書き込まれる。
【００２２】
図２はカメラ信号処理部１０２の内部構成の一例である。
【００２３】
カメラ信号処理部１０２に入力された画像信号はＡ／Ｄ２０１２よりデジタル信号に変換され、色分離処理部２０２、同時化補間処理部２０３、ホワイトバランス調整処理部２０４、ガンマ補正処理部２０５、ＹＣ分離処理部２０６の各ブロックで順次信号処理を施され、デジタル映像フォーマットの輝度・色差信号が生成される。
【００２４】
本形態では、図２に示すカメラ信号処理部１０２の内部構成を、静止画撮影モードと動画撮影モード時とで共通とし、各処理ブロックの制御パラメータを各モードにおいて最適な画質が得られるように調整したものを適用する。
【００２５】
そして、ＲＯＭ１０６に静止画用と動画用の画質調整パラメータを保持しており、ＣＰＵ１０７の指示により、図２の各処理ブロックに付帯するレジスタ２０７ａ〜２０７ｅに画質調整パラメータ値を設定する。各ブロックはこのレジスタに設定されたパラメータ値に従って処理を行う。
【００２６】
カメラ信号処理部１０２から出力された輝度・色差信号は、バッファメモリ１０９に一時格納される。そして、符号化処理部１０３により、動画撮影モードのときにはＭＰＥＧ方式にて符号化され、また、静止画撮影モード時にはＪＰＥＧ方式にて符号化され、再びメモリ１０９に書き込まれる。記録再生部１１２は、この圧縮符号化された動画像データあるいは静止画像データをメモリ１０９から読み出し、記録媒体Ｍに画像ファイルとして記録する。
【００２７】
これら一連の処理はＣＰＵ１０７によって制御される。
【００２８】
また、カメラ信号処理部１０２から出力される輝度・色差信号の一部は、表示制御部１１０によりモニタ１１１に表示される。
【００２９】
次に、動画撮影時の処理について説明する。
【００３０】
図３は動画撮影時におけるＣＰＵ１０７の処理を示すフローチャートである。
【００３１】
操作部１０８より動画撮影開始の指示があると、静止画撮影のためのシャッタ操作があったか否かを判別し（Ｓ３０１）、シャッタ操作がない場合には動画撮影を行うため、カメラ信号処理部１０２に動画用画質調整パラメータ値を設定済みか否かを判別する（Ｓ３０２）。動画用画質調整パラメータ値を設定していない場合、ＲＯＭ１０６から動画用の画質調整パラメータ値を読み出し（Ｓ３０３）、読み出した動画用の画質調整パラメータをカメラ信号処理部１０２内の各信号処理ブロックに付帯するレジスタ２０７ａ〜２０７ｅに設定する（Ｓ３０４）。そして、前述の様に撮像部１０１、カメラ信号処理部１０２により得られた１フレームの画像信号をメモリ１０９に書き込む（Ｓ３０５）。
【００３２】
また、Ｓ３０２で既に動画用の画質調整パラメータ値を設定済みの場合、新たにパラメータ値を設定することなく１フレームの画像信号を取り込む。
【００３３】
そして、設定されたパラメータ値に従って取り込んだ１フレームの画像信号を処理し（Ｓ３０６、Ｓ３０７）、メモリ１０９に書き込む。そして、撮影終了の指示があると処理を終了する（Ｓ３０８）。
【００３４】
また、Ｓ３０１において、動画撮影中の静止画シャッタ操作を検出すると、カメラ信号処理部１０２に対して静止画用の画質調整パラメータ値を設定済みか否かを判別する（Ｓ３０９）。静止画用の画質調整パラメータ値を設定していない場合、ＲＯＭ１０６より静止画用画質調整パラメータ値を読み出し（Ｓ３１０）、この静止画用画質調整パラメータをカメラ信号処理部１０２のレジスタ２０７ａ〜２０７ｅに設定する（Ｓ３１１）。そして、これから処理する１フレームの画像信号の画質調整パラメータ値が静止画設定であることを示す画質調整パラメータ識別情報を画像信号と共にメモリ１０９に書き込む（Ｓ３１２）。
【００３５】
その後、設定された静止画用の画質調整パラメータ値にて画像信号を処理し、撮影終了の指示があるまで同様の処理を繰り返す。
【００３６】
この様に、動画撮影中に静止画撮影が指示されたときのみカメラ信号処理の画質調整パラメータ値を静止画用のデータに切り替え、それ以外はカメラ信号処理の画質調整パラメータ値を動画設定にして、輝度・色差信号を生成することが可能となる。
【００３７】
次に、符号化処理部１０３による符号化処理について説明する。
【００３８】
まず、ＭＰＥＧ符号化方式の階層構造について説明する。
【００３９】
図４はＭＰＥＧ符号化方式の階層構造を示す図であり、４０１は最上位層であるシーケンス層を示し、４０２はその１階層下のＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）層を示している。ＧＯＰとは、ＭＰＥＧ方式の符号化における基本的な単位であり、１フレームのＩピクチャ及び所定数のＰピクチャ、Ｂピクチャから構成される。
【００４０】
シーケンス層はＧＯＰの配列からなっており、各ＧＯＰの先頭にシーケンスヘッダＳＨが付加され、シーケンス層の最後にその終了を示すシーケンス終了コードＳＥＣが付加されている。ＧＯＰ層はＩピクチャ、Ｐピクチャ及びＢピクチャの三種類の圧縮符号化された画像データが所定の順序で配列されたデータ列であって、各ＧＯＰの先頭にＧＯＰヘッダＧＨが付加されている。
【００４１】
Ｉピクチャはフレーム内相関を利用して符号化したフレームであって、それ自身だけで復号可能である。Ｐピクチャは、一つ前のＩまたはＰピクチャとの相関を利用した、いわゆるフレーム間順方向予測符号化により符号化したフレームである。また、Ｂピクチャは、その前後のＩまたはＰピクチャとの相関を利用した、いわゆる双方向予測符号化により符号化したフレームである。
【００４２】
なお、ＧＯＰ層のピクチャは、さらにピクチャを細分化したスライス層からなる一つ下位のピクチャ層からなり、また、このピクチャ層は、輝度信号が１６×１６画素、色差信号が８×８画素のマクロブロックからなっている。このマクロブロック単位で符号化処理が行なわれる。
【００４３】
次に、符号化処理部１０３について説明する。
【００４４】
図５は符号化処理部１０３の構成を示す図である。
【００４５】
動画撮影モード時にはフレーム内符号化処理、片方向予測符号化処理、または両方向予測符号化処理を選択し、一つのＧＯＰにおいてＩピクチャ、Ｐピクチャ、Ｂピクチャを一定の割合、頻度で生成する。
【００４６】
例えば、図４に示すような、１ＧＯＰが１５ピクチャで構成される場合には、先頭の１フレームをＩピクチャとし、その後Ｂピクチャ２フレーム、Ｐピクチャ１フレームが交互に繰り返すというサイクルになっている。
【００４７】
また、動画撮影中にユーザの指示によって静止画シャッタトリガが発生した場合には、そのタイミングでＩピクチャを生成する割り込み処理が行われ、１ＧＯＰあたりの構成ピクチャ数が変化する。
【００４８】
図５において、メモリ１０９から符号化処理に適した順に読み出された画像データが減算器５０１と動きベクトル検出部５１０に出力される。
【００４９】
ここで、メモリ１０９から読み出されるフレームの順序について説明する。
【００５０】
図６はカメラ信号処理部１０２からメモリ１０９へ書き込まれる際のフレームの順序と、符号化処理部１０３により読み出されるフレームの順序を示した図である。６０１に示した順序でカメラ信号処理部１０２からメモリ１０９に書き込まれた画像データは、６０２に示した順に読み出され、符号化処理される。
【００５１】
動きベクトル検出部５１０はＣＰＵ１０７から符号化すべきピクチャの選択信号を受け、Ｉピクチャである場合には動きベクトルの検出処理を行わず、メモリ５０９から画像データの出力を禁止する。
【００５２】
その結果、Ｉピクチャの符号化時においては、減算器５０１は入力された画像データをそのままＤＣＴ部５０２に出力する。ＤＣＴ部５０２は入力された画像データをＤＣＴ処理し、量子化部５０３に出力する。量子化部５０３は設定された圧縮率に従ってＤＣＴ処理された画像データを量子化し、可変長符号化部５０４及び逆量子化部５０５に出力する。可変長符号化部５０４は量子化されたデータに対して周知の可変長符号化処理を施し、メモリ１０９に書き込む。
【００５３】
一方、逆量子化部５０５は量子化処理された画像データを逆量子化し、逆ＤＣＴ部５０７に出力する。逆ＤＣＴ部５０７は逆量子化されたデータに対して逆ＤＣＴの処理を施し、周波数領域のデータを元の空間領域のデータに変換し、加算器５０７に出力する。Ｉピクチャ処理の時には加算器５０７には参照画像データが出力されないので、そのまま画質補正部５０８を介してメモリ５０９に出力する。メモリ５０９に出力されたＩピクチャの画像データは参照用の画像データとしてメモリ５０９に記憶される。なお、本形態では、メモリ５０９として、図１のメモリ１０９の一部の領域を使用している。
【００５４】
また、画質補正部５０８の処理については後述する。
【００５５】
次に、Ｐピクチャを処理する場合、動きベクトル検出部５１０はＣＰＵ１０７からＰピクチャの選択信号を受けると、メモリ５０９に記憶された参照用の画像データと入力された画像データとを用いて符号化するブロックの動きベクトルを検出し、この動きベクトルに基づいてメモリ５０９から参照ブロックの画像データを読み出し、減算器５０１に出力する。
【００５６】
減算器５０１は入力された画像データとメモリ５０９から出力された参照用ブロックの画像データとを減算し、その差分をＤＣＴ部５０２に出力する。この差分データは、前述と同様に量子化、可変長符号化処理されてメモリ１０９に書き込まれる一方、逆量子化、逆ＤＣＴの処理が施されて加算器５０７に出力される。加算器５０７にはメモリ５０９から読み出された参照用ブロックの画像データが出力されており、この参照用の画像データと逆ＤＣＴ部５０７からの差分データとを加算して画質補正部５０８に出力する。
【００５７】
画質補正部５０８は、Ｐピクチャの場合には加算器５０７から出力された画像データに対して画質補正処理を行わずにメモリ５０９に出力し、参照用の画像データとして記憶する。
【００５８】
Ｂピクチャの処理についてもＰピクチャと同様にメモリ５０９から参照用の画像データを出力し、差分データを同様に符号化するが、動きベクトル検出部５１０は、符号化すべきフレームの前後のＩピクチャあるいはＰピクチャの参照用画像データを用いて動きベクトルを検出する。
【００５９】
また、本形態では、動画撮影中に静止画記録の指示があったフレームが、本来ＰピクチャあるいはＢピクチャとして処理されるべきであっても、これをＩピクチャとして符号化する。そこで、ＣＰＵ１０７は、メモリ１０９に記憶された画像データのうち、静止画識別情報が付加されているフレームを検出し、この識別情報が付加されているフレームをＩピクチャとして符号化するよう、ピクチャ選択信号を動きベクトル検出部５１０に出力すると共に、この静止画識別情報が付加されているフレームに応じてその前後のピクチャタイプを決定し、メモリ１０９からのフレームの読み出し順序を決定する。
【００６０】
以下、動画用の画質調整パラメータ値により処理され、ＭＰＥＧストリーム中で図６に示す所定のタイミング（１５フレーム毎）で符号化されるＩピクチャのことを動画設定Ｉピクチャとし、静止画用の画質調整パラメータ値により処理され、Ｉピクチャとして符号化されるフレームのことを静止画設定Ｉピクチャという。
【００６１】
動きベクトル検出部５１０は、ＣＰＵ１０７からこの様なＩピクチャの指示を受けると、前述の様に、動画設定Ｉピクチャの時と同様に参照用画像データをメモリ５０９から出力することなく、符号化処理を行う。
【００６２】
また、ＣＰＵ１０７は、メモリ１０９から読み出した画像データに静止画撮影の識別情報が付加されていることを検出した場合、符号化する画像データが動画撮影中に静止画撮影の指示があったフレームであると判断し、前述の様に静止画用の画質調整パラメータ値にて処理されている画像データを、動画用の画質に補正するよう画質補正部５０８に検出信号を出力する。
【００６３】
画質補正部５０８は、ＣＰＵ１０７より補正の指示があると、加算器５０７からの画像データに対し、動画用に最適な画質となるよう、補正処理を施してメモリ５０９に出力する。これにより、静止画設定Ｉピクチャを参照画像として、Ｐピクチャ、Ｂピクチャを符号化したときの符号量が動画設定Ｉピクチャを参照画像とする場合に比べて増大してしまうことを防ぐ。
【００６４】
この様な処理により生成されるＭＰＥＧのストリームは、図７に示すように、動画設定Ｉピクチャを含むＧＯＰと、静止画設定Ｉピクチャを含むＧＯＰが混在している。また、ＭＰＥＧストリーム中、静止画設定Ｉピクチャに対して、その旨を示す情報をＧＨあるいは、各ピクチャのデータに付加して記録する。
【００６５】
この様に、本形態では、動画撮影中において静止画撮影の指示があった場合に、この静止画撮影の指示に対応したフレームの画像データを静止画用の画質調整パラメータ値に従って処理している。
【００６６】
これは、動画撮影中に同時撮影した静止画の画質が動画用のカメラ信号処理の影響を受けないようにすることを目的としているためであるが、このストリームを動画としてそのまま再生した場合には、静止画設定Ｉピクチャを含むＧＯＰと他のＧＯＰとで違和感が生じてしまう。
【００６７】
そこで、本形態では、一連の動画撮影が終了した後、自動的に、あるいは、ユーザにより指定した任意のタイミングで、動画像信号中より静止画として記録されたフレームを抽出してＪＰＥＧ方式にて符号化する。そして、その後、動画としてＭＰＥＧストリームを再生した際に違和感がないよう、補正処理部１０４により静止画設定Ｉピクチャの画質補正処理を行う。
【００６８】
まず、静止画データの抽出処理について説明する。
【００６９】
ＣＰＵ１０７は、記録媒体Ｍに記録されているＭＰＥＧストリーム中から静止画設定Ｉピクチャを検出し、メモリ１０９に記憶するよう記録再生部１１２を制御する。そして、符号化処理部１０３に対して、この静止画設定Ｉピクチャを復号した後、ＪＰＥＧ方式にて再び符号化するよう制御し、ＪＰＥＧ符号化されたデータを静止画データとして記録媒体Ｍに記録する。
【００７０】
次に、ＭＰＥＧストリームの補正処理について説明する。
【００７１】
図８は補正処理部１０４の構成を示す図である。
【００７２】
ＭＰＥＧストリーム中の静止画設定Ｉピクチャの補正処理を行う場合、ＣＰＵ１０７は、記録媒体Ｍに記録されたＭＰＥＧストリームのデータを再生し、符号化処理部１０３により復号した後、メモリ１０９に書き込む。そして、この復号された動画像データを補正処理部１０４に出力する。
【００７３】
図８において、この様に復号された動画像データが入力され、スイッチ８０１に供給される。ＣＰＵ１０７は再生されたＭＰＥＧストリーム中の静止画設定Ｉピクチャのデータを検出し、この静止画設定Ｉピクチャのデータが復号され、スイッチ８０１に供給されるときに、切り替え制御部８０３に対してその旨を示す制御信号を出力する。
【００７４】
切り替え制御部８０３はこの制御信号に基づいて、静止画設定Ｉピクチャを復号したデータが供給されているときにはスイッチ８０１、８０２を共にｂ端子に接続し、それ以外の時にはａ端子に接続するよう切り替える。
【００７５】
スイッチ８０１から出力された静止画設定Ｉピクチャの復号データは画質補正部８０４に出力される。画質補正部８０４は入力された画像データに対し、動画像に適した画質となるよう補正処理を施し、スイッチ８０２を介して出力する。
【００７６】
この様に補正処理部１０４により処理された動画像データは再びメモリ１０９に書き込まれる。ＣＰＵ１０７は符号化処理部１０３を制御して、メモリ１０９に書き込まれた動画像データを再びＭＰＥＧ方式にて符号化し、記録媒体Ｍに書き込む。この際、元のＭＰＥＧストリームのデータは記録媒体Ｍから削除する。
【００７７】
以上の処理により、図９に示すように、ＭＰＥＧストリームに含まれる全てのＧＯＰに関して、構成要素であるＩ、Ｐ、Ｂピクチャは動画設定のカメラ信号処理の出力信号を符号化したものと等価となり、動画として再生したときの違和感が改善される。
【００７８】
次に、図５、図８の画質補正部で行われる補正処理の一例を示す。
【００７９】
ここでは、カメラ信号処理における、動画と静止画との相違点の一つとして挙げられる、輝度のダイナミックレンジ設定を例に、補正処理を示す。
【００８０】
動画の場合、カメラ信号処理手段の出力輝度・色差信号は、ＣＣＩＲ６０１の定めるデジタルカラービデオ信号規格に準拠するため、輝度に関しては、黒レベルが１６で白レベルが２３５という２２０段階のダイナミックレンジ設定となる（図１０（ａ））。
【００８１】
一方、静止画の場合はこの規格に準拠する必要はないため、黒レベルが０、白レベルが２５５の８ビットの輝度ダイナミックレンジを持つことができる（図１０（ｂ））。
【００８２】
この輝度のダイナミックレンジは、カメラ信号処理部１０２のガンマ補正処理回路における非線形量子化処理によって決まる。
【００８３】
図１１はガンマ補正処理部１０２で行われる非線形量子化処理の入出力特性を示しており、図１１（ａ）は動画用特性、図１１（ｂ）は静止画用特性の例である。両者の特性の違いは、出力画像においては、低輝度部分、および高輝度部分での明るさと階調性の違いとして観測される。
【００８４】
そこで、静止画設定のガンマ特性でガンマ補正処理が行われたデータを動画のストリームに戻す際には、図１２、図１３に示す画質補正処理を行う。
【００８５】
図１２では、静止画設定でガンマ補正処理が行われた輝度信号に対し、デガンマ演算回路にて、静止画設定ガンマ特性の逆関数を乗じ、一度、線形な輝度の入出力特性を求める。その後、ＲＯＭ１１から動画用ガンマ特性の設定パラメータ値を読み出し、ルックアップテーブル方式で動画設定のガンマ補正処理を行う。
【００８６】
図１３では、静止画設定でガンマ補正処理が行われた輝度信号を定数倍することで、輝度のダイナミックレンジを補正する。図１３の例では、ダイナミックレンジを２５５から２３９に落とすため、輝度に対して、一律に２３９／２５５倍する。
【００８７】
以上の処理により、静止画用のパラメータ値にて処理されたＩピクチャを動画用のパラメータ値にて処理されたＩピクチャと等価なものに修正することができる。
【００８８】
また、本形態では、画質補正処理の一例として輝度信号のダイナミックレンジ補正を取り上げたが、他の複数の要素についての補正処理を行ってもよい。
【００８９】
また、動画再生時の違和感を緩和するために画質補正処理及び再符号化処理を行っていたが、ＭＰＥＧストリームはそのまま記録しておき、再生時に静止画設定Ｉピクチャを検出し、補正処理部１０４にて同様に補正して出力する構成でもよい。
【００９０】
また、本形態では、動画撮影中にユーザより静止画撮影の指示が行われた場合にのみ、カメラ信号処理の画質調整パラメータ値を静止画設定に切り替え、該当フレームを静止画設定Ｉピクチャとして符号化したが、ＣＰＵの指示により所定のタイミングや一定の期間毎にカメラ信号処理の画質調整パラメータ値を静止画設定に切り替え、静止画設定Ｉピクチャとして符号化してもよい。
【００９１】
また、図５及び図８の画質補正部の構成は共用することが可能である。
【図面の簡単な説明】
【００９２】
【図１】本発明を適用した撮像装置の構成を示す図である。
【図２】カメラ信号処理部の構成を示す図である。
【図３】撮影時の処理を示すフローチャートである。
【図４】ＭＰＥＧストリームの様子を示す図である。
【図５】符号化処理部の構成を示す図である。
【図６】符号化時の動画像データの処理順序を示す図である。
【図７】動画撮影中に静止画撮影の指示があった場合のＭＰＥＧストリームの様子を示す図である。
【図８】補正処理部の構成を示す図である。
【図９】補正処理後のＭＰＥＧストリームの様子を示す図である。
【図１０】画質調整パラメータ値を示す図である。
【図１１】画質調整パラメータ値を示す図である。
【図１２】画質調整パラメータ値を示す図である。
【図１３】画質調整パラメータ値を示す図である。
【図１】
2005217493.tif 000003
【図２】
2005217493.tif 000004
【図３】
2005217493.tif 000005
【図４】
2005217493.tif 000006
【図５】
2005217493.tif 000007
【図６】
2005217493.tif 000008
【図７】
2005217493.tif 000009
【図８】
2005217493.tif 000010
【図９】
2005217493.tif 000011
【図１０】
2005217493.tif 000012
【図１１】
2005217493.tif 000013
【図１２】
2005217493.tif 000014
【図１３】
2005217493.tif 000015