(57)【特許請求の範囲】
【請求項１】
ビデオ信号を符号化したビデオデータおよびオーディオ信号を符号化したオーディオデータを多重化した多重化データを生成するようにした符号化方法において、
静止画データを符号化してＩピクチャを生成し、
全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化されたＰピクチャまたはＢピクチャを生成し、
上記Ｉピクチャの後に複数の上記ＰピクチャまたはＢピクチャが続くフレーム構造のビデオデータを発生する構成とされ、
上記ＰピクチャまたはＢピクチャの続く期間と上記オーディオ信号の記録時間とが略等しくされたことを特徴とする符号化方法。
【請求項２】
請求項１において、
さらに、記憶媒体に対して多重化データを記録することを特徴とする符号化方法。
【請求項３】
請求項１において、
さらに、通信路に対して多重化データを送出することを特徴とする符号化方法。
【請求項４】
請求項１において、
上記ビデオ信号および上記オーディオ信号をＭＰＥＧフォーマットで符号化する符号化方法。
【請求項５】
ビデオ信号を符号化したビデオデータおよびオーディオ信号を符号化したオーディオデータを多重化した多重化データを生成するようにした符号化装置において、
静止画データを符号化してＩピクチャを生成し、
全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化されたＰピクチャまたはＢピクチャを生成し、
上記Ｉピクチャの後に複数の上記ＰピクチャまたはＢピクチャが続くフレーム構造のビデオデータを発生する構成とされ、
上記ＰピクチャまたはＢピクチャの続く期間と上記オーディオ信号の記録時間とが略等しくされたことを特徴とする符号化装置。
【請求項６】
記録媒体に撮影画像をディジタル信号として記録するカメラ装置において、
撮影した静止画を出力する撮像手段と、
上記撮像手段からの信号を処理する信号処理手段と、
上記信号処理手段からのディジタル画像信号を符号化し、ビデオデータを生成するビデオ符号化手段と、
上記撮像信号に付随するオーディオ信号が入力されるオーディオ入力手段と、
入力オーディオ信号をディジタルオーディオ信号に変換し、上記ディジタルオーディオ信号を符号化し、オーディオデータを生成するオーディオ符号化手段と、
上記ビデオデータと上記オーディオデータとを多重化した多重化データを記憶するメモリ手段と、
上記メモリ手段への上記多重化データの取り込み動作を制御する制御手段と、
上記メモリ手段に格納された多重化データを記憶媒体に対して記憶する記憶手段とからなり、
上記ビデオ符号化手段は、
撮影された静止画データをフレーム内符号化によって符号化してＩピクチャを生成し、
全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化されたＰピクチャまたはＢピクチャを生成し、
上記Ｉピクチャの後に複数の上記ＰピクチャまたはＢピクチャが続くフレーム構造のビデオ符号化出力を発生し、
上記ＰピクチャまたはＢピクチャの続く期間と上記オーディオデータの記録時間とが略等しくされたことを特徴とするカメラ装置。
【請求項７】
請求項６において、
上記ビデオ信号および上記オーディオ信号をＭＰＥＧフォーマットで符号化するカメラ装置。
【請求項８】
請求項６において、
さらに、上記ディジタル画像信号を表示する表示手段と、
シャッターボタンを含む操作手段を有することを特徴とするカメラ装置。
【請求項９】
請求項６において、
静止画の撮影時点から所定時間経過するまでのオーディオ信号が上記オーディオ符号化手段によって符号化され、上記オーディオデータが生成されることを特徴とするカメラ装置。
【請求項１０】
請求項６において、
上記制御手段は、上記メモリ手段へ上記多重化データが取り込まれると、上記多重化データを上記メモリ手段から読出し、読出された多重化データを上記記憶媒体に記録するように、上記メモリ手段および上記記憶手段を制御することを特徴とするカメラ装置。
【請求項１１】
請求項６において、
さらに、上記ビデオデータを復号するビデオ復号手段と、上記オーディオデータを復号するオーディオ復号手段と、オーディオ再生手段と、上記ディジタル画像信号を表示する表示手段とを有し、
上記制御手段は、上記記憶媒体から多重化データを再生し、再生された多重化データを上記メモリ手段に格納するように、上記メモリ手段および上記記憶手段を制御し、
上記メモリ手段からの上記ビデオデータを上記ビデオ復号手段により復号し、復号された画像データを上記表示手段に表示すると共に、上記メモリ手段からの上記オーディオデータを上記オーディオ復号手段により復号し、復号されたオーディオデータを上記オーディオ再生手段により再生するようにしたカメラ装置。
【請求項１２】
請求項６において、
上記多重化データは、複数のパックからなるストリームであり、先頭のパックに上記オーディオデータと上記ビデオデータの上記Ｉピクチャのデータとを詰め込むことを特徴とするカメラ装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、撮影された静止画像を記録媒体に記録するディジタルスチルカメラに適用できる符号化方法、符号化装置およびカメラ装置に関する。
【０００２】
【従来の技術】
ディジタル画像情報をフロッピーディスク、半導体メモリ等の記録媒体に記録するディジタルカメラが普及している。ディジタルカメラは、撮影された画像をディジタル画像信号に変換し、ディジタル画像信号を圧縮し、圧縮した画像情報を記録媒体に記録する構成とされている。ディジタルカメラは、静止画の記録以外に動画の記録にまで拡張することが可能である。
【０００３】
静止画を圧縮する符号化の一つであるＪＰＥＧ(Joint Photographic Experts Group)、ＭＰＥＧ(Moving Picture Experts Group)は、ＩＳＯで規格化された汎用的フォーマットであり、ディジタルカメラで撮影された画像データをパーソナルコンピュータ（パソコンと略す）で利用するのに適している。ＪＰＥＧは、カラー静止画を圧縮する符号化で、ＤＣＴ（Discrete Cosine Transform)符号化を行い、係数データを量子化し、量子化出力を可変長符号化で符号化する方式である。ＭＰＥＧは、カラー動画を圧縮する符号化で、入力画像と動き補償で得られた予測画像とのフレーム間差分をＤＣＴで圧縮する符号化方式である。
【０００４】
【発明が解決しようとする課題】
ディジタルカメラにおいて、静止画のみならず、静止画に付随するオーディオ信号を記録することができれば、静止画に関連したメモをオーディオ信号として記録できる。しかしながら、ＪＰＥＧは、静止画情報の記録、伝送を目的としたものであって、静止画と関連付けられたオーディオ情報を同時に記録、伝送することができない。他の静止画フォーマット（ＧＩＦ、ＴＩＦＦ、ＢＭＰ等）も、同様に、静止画とオーディオ情報とを同時に記録、伝送することができない。静止画とオーディオ情報とを同時に記録、伝送することを可能とするソフトウェア（Ｅｘｉｆ）も存在する。しかしながら、このソフトウェアは、一般的でない。また、このソフトウェアによってオーディオ付き静止画データを作成したとしても、それを再生するプレイヤーのソフトウェアも簡単に入手できない問題がある。
【０００５】
従って、この発明の目的は、静止画と、これに関連付けられたオーディオ情報とを汎用性のあるフォーマットで符号化することが可能な符号化方法および符号化装置を提供することにある。
【０００６】
この発明の他の目的は、静止画撮影時に、これに関連付けられたオーディオ情報を同時に記録できる符号化方法、符号化装置およびカメラ装置を提供することにある。
【０００７】
【課題を解決するための手段】
上述した課題を達成するために、請求項１の発明は、ビデオ信号を符号化したビデオデータおよびオーディオ信号を符号化したオーディオデータを多重化した多重化データを生成するようにした符号化方法において、
静止画データを符号化してＩピクチャを生成し、
全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化されたＰピクチャまたはＢピクチャを生成し、
Ｉピクチャの後に複数のＰピクチャまたはＢピクチャが続くフレーム構造のビデオデータを発生する構成とされ、
ＰピクチャまたはＢピクチャの続く期間とオーディオ信号の記録時間とが略等しくされたことを特徴とする符号化方法である。
【０００８】
請求項５の発明は、ビデオ信号を符号化したビデオデータおよびオーディオ信号を符号化したオーディオデータを多重化した多重化データを生成するようにした符号化装置において、
静止画データを符号化してＩピクチャを生成し、
全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化されたＰピクチャまたはＢピクチャを生成し、
Ｉピクチャの後に複数のＰピクチャまたはＢピクチャが続くフレーム構造のビデオデータを発生する構成とされ、
ＰピクチャまたはＢピクチャの続く期間とオーディオ信号の記録時間とが略等しくされたことを特徴とする符号化装置である。
【０００９】
請求項６の発明は、記録媒体に撮影画像をディジタル信号として記録するカメラ装置において、
撮影した静止画を出力する撮像手段と、
撮像手段からの信号を処理する信号処理手段と、
信号処理手段からのディジタル画像信号を符号化し、ビデオデータを生成するビデオ符号化手段と、
撮像信号に付随するオーディオ信号が入力されるオーディオ入力手段と、
入力オーディオ信号をディジタルオーディオ信号に変換し、ディジタルオーディオ信号を符号化し、オーディオデータを生成するオーディオ符号化手段と、
ビデオデータとオーディオデータとを多重化した多重化データを記憶するメモリ手段と、
メモリ手段への多重化データの取り込み動作を制御する制御手段と、
メモリ手段に格納された多重化データを記憶媒体に対して記憶する記憶手段とからなり、
ビデオ符号化手段は、
撮影された静止画データをフレーム内符号化によって符号化してＩピクチャを生成し、
全てのマクロブロックの動きベクトルが０であり、時間的に前のピクチャをコピーするように符号化されたＰピクチャまたはＢピクチャを生成し、
Ｉピクチャの後に複数のＰピクチャまたはＢピクチャが続くフレーム構造のビデオ符号化出力を発生し、
ＰピクチャまたはＢピクチャの続く期間とオーディオデータの記録時間とが略等しくされたことを特徴とするカメラ装置である。
【００１２】
この発明は、静止画データを記録、伝送する時に、ＭＰＥＧフォーマットに準拠して、静止画データに関連付けられたオーディオ情報を多重化することができる。従って、パソコンを使用して、汎用性のあるソフトウェアによって静止画およびオーディオ情報を再生することができる。
【００１３】
この発明は、静止画を撮影する時に、静止画に関連したオーディオ情報も記録することが可能となる。そして、静止画およびオーディオ情報をＭＰＥＧフォーマットに準拠して多重化できる。従って、記録された静止画およびオーディオ情報を広く提供されているソフトウェアによって、パソコンにより再生することができる。
【００１４】
この発明は、デジタルスチルカメラが静止画のみならず、同時にオーディオ信号を記録することが可能な機能を実現できる。また、オーディオ付き静止画を記録する時に、同時に静止画のみを記録することができる。従って、用途に応じて記録データを利用することが可能となる
【００１５】
【発明の実施の形態】
以下、この発明によるディジタルカメラの一実施形態について説明する。この一実施形態は、静止画の撮影、記録と、オーディオ付き静止画の撮影、記録と、オーディオ付き動画の撮影、記録とが可能なディジタルカメラである。全体の構成を示す図１に示すように、レンズ部１とＣＣＤ(Charge Coupled Device) ２とによって撮像部が構成される。レンズ部１には、ＣＰＵ１２からの制御信号が供給され、自動絞り制御動作、自動焦点制御動作がなされる。ＣＣＤ２は、全画素を読出す動作モード（撮影モード）と、ライン数を１／３に減少させた信号を出力するライン間引きの動作モード（ＥtoＥモード）とがＣＰＵ１２からの制御信号によって切り替え可能とされている。ＣＣＤ２の画素数は、ＸＧＡ（eXtended Graphics Array,1024ｘ768 画素）とされている。
【００１６】
このようなＣＣＤ２についてより具体的に説明する。静止画撮影モードでは、各フォトセンサからの信号電荷を混合することなく垂直ＣＣＤに読出し、全画素の信号電荷を順次、水平ＣＣＤに転送するようになされる。また、E to Eモード並びに後述する動画を撮影する時では、各フォトセンサからの信号電荷の読出しに寄与する転送ゲートに対して読出し信号を供給するための配線を分割することによって、ライン数を例えば１／３に間引くようになされる。
【００１７】
なお、この発明は、他の構成によってライン間引きが可能とされた固体撮像素子（ＣＣＤに限られない）、水平方向の画素数の間引きが可能とされた固体撮像素子、または垂直方向のライン数および水平方向の画素数の間引きが可能とされた固体撮像素子を使用しても良い。
【００１８】
ＥtoＥモードは、撮影画像のデータをメモリ（ＤＲＡＭ９）に取り込むことなく、表示部（ＬＣＤ８）に表示するモードである。ＥtoＥモードにおいて、撮影時に画角を決めたり、焦点、露出、ホワイトバランスが適切に調整される。すなわち、撮影モードでシャッターを押す前の被写体を確認している状態がＥtoＥモードである。ＥtoＥモードでは、ＣＣＤ２から１０２４×２５６画素の撮像信号が得られる。一例として、撮影モードでは、毎秒１０フレームの撮像信号が出力され、ＥtoＥモードでは、毎秒３０フレームの撮像信号が出力される。
【００１９】
ＣＣＤ２の出力信号がサンプルホールドおよびＡ／Ｄ変換部３に供給され、サンプルホールドおよびＡ／Ｄ変換部３から１サンプル１０ビットのディジタル撮像信号が発生する。サンプルホールドおよびＡ／Ｄ変換部３は、相関二重サンプリング回路の構成とされ、ノイズの除去、波形整形、欠陥画素の補償がなされる。
【００２０】
ディジタル撮像信号がカメラ信号処理部４に供給される。カメラ信号処理部４は、ディジタルクランプ回路、輝度信号処理回路、色信号処理回路、輪郭補正回路、欠陥補償回路、自動絞り制御回路、自動焦点制御回路、自動ホワイトバランス補正回路等が含まれる。カメラ信号処理部４からは、ＲＧＢ信号から変換された輝度信号および色差信号からなるディジタルコンポーネント信号が発生する。
【００２１】
カメラ信号処理部４からのディジタル撮像信号の各コンポーネントがメモリコントローラ５に供給される。メモリコントローラ５に対しては、表示用バッファメモリ６と、ＣＰＵ１２のバス１４とが接続される。バッファメモリ６は、コンポーネント信号を処理することによって、ＲＧＢ信号を生成し、ＲＧＢ信号をＤ／Ａ変換器７に出力する。Ｄ／Ａ変換器７からのアナログ信号がＬＣＤ８に供給される。また、バッファメモリ６は、ＬＣＤ８の表示タイミングに合わせたタイミングで、ＲＧＢ信号を出力する。
【００２２】
バス１４に対して、ＤＲＡＭ(Dynamic Random Access Memory)９、ＣＰＵ１２、エンコーダ／デコーダ１５、インターフェース１０が接続されている。ＤＲＡＭ９は、メモリコントローラ５またはＣＰＵ１２から供給されるアドレス信号、制御信号によって制御される。また、メモリコントローラ５は、画素数変換機能を有し、撮影者の設定した画像サイズまたは動作モードに対応して画素数を変換した画像信号を発生する。
【００２３】
一例として、図２に示すように、ＸＧＡと、ＶＧＡ（Video Graphics Array,640ｘ480 画素）と、ＣＩＦ（Common Intermediate Format,320ｘ240 画素 )と、ＱＣＩＦ（Quater CIF,160ｘ120 画素）との中で、何れかの画像サイズに対応した画像を記録することが可能とされる。但し、ＭＰＥＧのマクロブロックが１６×１６であるので、実際には、上下の一部を切り捨てて（１６０×１１２）のサイズの画像としてＱＣＩＦの画像を取り扱う。ＸＧＡは、ＣＣＤ２の撮像信号をそのまま記録する場合の画素数である。ＸＧＡおよびＶＧＡは、静止画記録用の画像フォーマットとして使用され、ＣＩＦは、オーディオ付き静止画記録用の画像フォーマットとして使用され、ＣＩＦおよびＱＣＩＦは、オーディオ付き動画記録用の画像フォーマットとして使用される。
【００２４】
エンコーダ／デコーダ１５は、画像データを圧縮（エンコード）または伸張（デコード）する。例えば静止画の処理する時には、ＪＰＥＧ(Joint Photographic Experts Group)が使用され、動画を処理する時には、ＭＰＥＧ(Moving Picture Experts Group)が使用される。エンコーダ／デコーダ１５は、両方の符号化方式に対応した機能を有する。より具体的には、動画を圧縮するフォーマットとしてＭＰＥＧ１が使用される。
【００２５】
ＭＰＥＧ１のフォーマットでは、ピクチャタイプとして、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類が存在する。Ｉピクチャは、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。Ｐピクチャは、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Ｂピクチャは、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【００２６】
従って、マクロブロックタイプとしては、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する順方向(Foward)フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向フレーム間予測マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【００２７】
ＭＰＥＧ１の場合では、８×８画素のブロックでＤＣＴを行い、４個の輝度（Ｙ）ブロックと２個の色差（Ｃｂ、Ｃｒ）ブロックとで上述したマクロブロックが構成される。また、任意の数のマクロブロックが集まってスライス層が構成され、複数のスライス層によってピクチャ層が構成される。マクロブロック層の中には、マクロブロックのタイプを示すコード、マクロブロックのアドレス増加分を示すコード、その前にスキップするマクロブロックの数に＋１を表すコード、動きベクトルの水平成分およびその垂直成分、そのマクロブロック内の６個のブロックが係数を持つかどうかを示すコード等が含まれる。そのスライスの最初のマクロブロックと最後のマクロブロックとはスキップできない規則とされている。スライス層には、スライス層の始まりのコード等が含まれる。
【００２８】
この発明の一実施形態では、オーディオ付き静止画を記録する時、並びにオーディオ付き動画を記録する時に、ＭＰＥＧフォーマットを使用して、ビデオデータを符号化する。後述するように、エンコーダ／デコーダ１５において、動き補償フレーム間予測の処理を省略したＭＰＥＧ符号化を行い、発生する符号量を削減する。
【００２９】
インターフェース１０は、外部記憶媒体１１とＣＰＵ１２との間のインターフェースである。外部記憶媒体としては、フロッピーディスク等のディスク状記録媒体、メモリカードを使用できる。さらに、ＣＰＵ１２には、操作入力部１３からの操作信号が供給される。操作入力部１３は、シャッターボタンその他の撮影者が操作する各種のスイッチを含む。操作入力部１３には、ディジタルカメラの撮影（記録）モードを設定するスイッチ、外部記憶媒体に記憶する画像サイズを指定するためのスイッチが含まれている。操作入力部１３は、ボタン、スイッチ等の操作を検出し、検出した信号を操作信号としてＣＰＵ１２に送出する。なお、シャッター速度および絞りは、被写体や撮影状況に応じて自動的に設定される。自動モード以外の複数の撮影モードを持つこともできる。
【００３０】
上述したディジタルカメラで撮影する場合には、ＣＣＤ２がＥtoＥモードとされ、画角を決め、焦点および露出を適切なものに設定する動作がなされる。ＥtoＥモードでは、レンズ部１を通してＣＣＤ２に結像した映像信号がＥtoＥモード動作により、Ｖ（垂直）方向が１／３に間引かれた撮像信号(1024 ｘ 256画素）が出力される。カメラ信号処理部４からのディジタルコンポーネント信号がメモリコントローラ５に供給される。メモリコントローラ５を通って撮像信号が表示用バッファメモリ６に書込まれる。そして、ＬＣＤ８の表示タイミングに合わせたタイミングでバッファメモリ６から読出され、Ｄ／Ａ変換器７によりアナログ信号となり表示される。この時、バッファメモリ６に書込まれた1024ｘ256 画素の領域の内で960 ｘ240 画素の領域を切り出し、倍速でバッファメモリ６から読出し表示している。
【００３１】
次に、シャッターを押す撮影がなされる。予め、撮影モードが静止画撮影モード（ＸＧＡまたはＶＧＡの撮影モード）に設定されている時には、シャッターが押されることによって、撮影画像を取り込む静止画撮影モードとなる。静止画の撮影モードでは、ＣＰＵ１２によって、ＣＣＤ２が撮像モードで動作するように制御される。それによって、高解像度（ＸＧＡ）の画像を１０フレーム／秒でＣＣＤ２が出力する。メモリコントローラ５の制御によって、ＤＭＡ（Direct Memory Access）動作により、撮影画像（原画像データ（ＸＧＡまたはＶＧＡ））が直接ＤＲＡＭ９に格納される。
【００３２】
原画像データがＤＲＡＭ９へ格納されると、ＣＰＵ１２の制御によって、原画像データがエンコーダ／デコーダ１５によって圧縮される。圧縮画像データ（ＪＰＥＧデータ）がＤＲＡＭ９に格納される。この場合、原画像データの格納されている領域とは、別の領域にＪＰＥＧデータが格納される。その後、ＣＰＵ１２の制御によって、ＪＰＥＧデータをＤＲＡＭ９から読出して、ＪＰＥＧデータをインターフェース１０を介して外部記憶媒体１１例えばフロッピーディスクの所定の領域に書込む。
【００３３】
さらに、この発明の一実施形態は、撮影される静止画または動画に関連するオーディオ信号を記録／再生できる機能を有する。シャッターボタンを押すことをトリガーとして、ある時間の間、オーディオデータが取り込まれる。図１中で、１６がマイクロホンを示し、マイクロホン１６からのオーディオ信号がアンプ１７を介してＡ／Ｄ変換器１８に供給され、３２ｋHzのサンプリング周波数でサンプリングされ、ディジタル信号に変換される。Ａ／Ｄ変換器１８からのディジタルオーディオ信号がメモリコントローラ５に供給され、メモリコントローラ５内のバッファメモリに一時的に蓄えられる。
【００３４】
そして、ＣＰＵ１２が割り込み処理によってこのバッファメモリを読みに行き、ソフトウェア処理によってＭＰＥＧオーディオレイヤ２（ＩＳ０１１７２−３）に準拠した圧縮処理を行う。ＭＰＥＧオーディオレイヤ２の符号化は、サブバンド符号化と、スケーリングと、ビットアロケーションとを使用するものである。この場合、レイヤ１、レイヤ３等他のＭＰＥＧオーディオの符号化を行っても良い。ソフトウェアによる圧縮処理で生成されたＭＰＥＧオーディオストリームがＤＲＡＭ９に書込まれる。この書込み時に、ＭＰＥＧビデオストリームとの多重化処理がＣＰＵ１２の制御によってなされ、多重化処理で得られたシステムストリームがＤＲＡＭ９に書込まれる。また、ＤＲＡＭ９から読出されたシステムストリームがインターフェース１０例えばフロッピーディスクコントローラを介して外部記憶媒体１１例えばフロッピーディスクに対して汎用性のあるフォーマットで記録される。
【００３５】
オーディオ付き動画撮影モードが選択されている時には、シャッターが押されることによって、動画を取り込む動画撮影モードとなる。動画撮影モードでは、上述した静止画撮影モードと異なり、ＣＣＤ２がＥtoＥモードで動作し、ラインが１／３に間引かれた撮像信号が出力される。これは、動画の場合では、動きに追従する必要があり、また、画像データの量が多くなることを防止するためである。また、動画撮影モードでは、シャッターを押すと、一定時間（例えば５秒）単位で撮影がなされる。但し、シャッターの操作によって１回の動画撮影時間を延長することもできる。
【００３６】
動画撮影モードでは、予めサイズがＣＩＦおよびＱＣＩＦの一方に設定され、メモリコントローラ５が設定されたサイズに応じて画素数変換を行い、画素数変換された原画像データがエンコーダ／デコーダ１５によって圧縮され、圧縮画像データ（ＭＰＥＧデータ）がＤＲＡＭ９に格納される。画像の圧縮処理と取り込み処理が終了すると、ＣＰＵ１２の制御によって、静止画撮影モードと同様に、ＭＰＥＧデータが外部記憶媒体１１の所定の領域に書込まれる。例えばＣＩＦのサイズでは、１枚のフロッピーディスクに１５秒の動画を記録でき、ＱＣＩＦのサイズでは、１枚のフロッピーディスクに６０秒の動画を記録できる。
【００３７】
外部記憶媒体１１に記録されている静止画（ＸＧＡまたはＶＧＡ）を再生する時には、インターフェース１０を経由してＪＰＥＧデータを外部記憶媒体１１から読出し、エンコーダ／デコーダ１５にて伸張する。伸張した静止画データをＤＲＡＭ９に書込む。メモリコントローラ５は、この静止画データをＤＲＡＭ９からＤＭＡの方法で読出し、バッファメモリ２６に転送し、ＬＣＤ８によって表示する。この場合は、メモリコントローラ５によって画素数が変換され、ＥtoＥモードと同様の画素数で再生画像が表示される。
【００３８】
外部記憶媒体１１に記録されている動画を再生する時には、フロッピーディスクから読出したＭＰＥＧデータ（動画ファイル）をＤＲＡＭ９に書込む。ＤＲＡＭ９から読出したデータをエンコーダ／デコーダ１５にてＭＰＥＧ伸張する。伸張した画像データに対して、記録時のサイズに応じた画素数変換をメモリコントローラ５が行う。画素数変換されたデータがＬＣＤ８に表示される。動画（ＣＩＦまたはＱＣＩＦ）を再生し、表示する場合では、ＬＣＤ８において、縮小されたサイズの画像を表示する。
【００３９】
静止画または動画と、これに関連するオーディオ信号を再生する時には、外部記憶媒体１１から再生されたシステムストリームをＤＲＡＭ９に格納する。ＤＲＡＭ９から読出されたシステムストリームからＣＰＵ１２がオーディオストリームを分離し、ＭＰＥＧオーディオの復号を行い、メモリコントローラ５内のバッファメモリにオーディオデータを転送する。そして、Ｄ／Ａ変換器１９によってアナログオーディオ信号へ変換し、アナログオーディオ信号がアンプ２０を介してスピーカ２１にて再生される。
【００４０】
この発明の一実施形態は、静止画撮影時には、ＤＲＡＭ９に原画像データを格納し、次に、エンコーダ／デコーダ１５によってＪＰＥＧで圧縮した画像データを生成し、ＪＰＥＧデータをＤＲＡＭ９の別の領域に格納する。その後、外部記憶媒体１１に対してＪＰＥＧデータを記憶する。また、動画撮影時には、ＤＲＡＭ９の作業用領域に撮影した１枚の画像を格納し、エンコーダ／デコーダ１５によってＭＰＥＧ１で圧縮し、得られたＭＰＥＧデータをＤＲＡＭ９のさらに別の領域に格納する。この処理を撮影された動画の１枚ずつに対して行う。ＭＰＥＧデータを外部記憶媒体１１に対して記憶する。また、動画撮影時には、オーディオの録音も同時に行うオーディオ付き動画撮影動作がなされる。
【００４１】
さらに、静止画のみの撮影動作以外に、オーディオ付き静止画撮影動作が可能とされている。すなわち、静止画を撮影する時でも、シャッターボタンを押してから所定時間、またはシャッターボタンを押し続けている期間のオーディオ信号を録音し、ＭＰＥＧオーディオストリームを生成し、ＭＰＥＧオーディオストリームと静止画から生成されたＭＰＥＧビデオストリームとを多重化したシステムストリームをＤＲＡＭ９に書込み、さらに、外部記憶媒体１１に記録できるようになされている。
【００４２】
このオーディオ付き静止画撮影動作について説明すると、先ず、ＣＣＤ２が撮影モードで動作して得られる高解像度の１枚の原画像データ（ＸＧＡまたはＶＧＡ）がＤＲＡＭ９に格納される。ＣＰＵ１２はＤＲＡＭ９から原画像データを読出して画素数変換を行い、ＣＩＦの縮小画像を生成する。この縮小画像に対してエンコーダ／デコーダ１５によってＭＰＥＧ圧縮を行う。元の１枚の縮小画像からＩピクチャを生成し、このＩピクチャをＤＲＡＭ９に書込む。
【００４３】
また、Ｉピクチャの後のピクチャは、固定のデータ、すなわち、１画面の全マクロブロックにわたり、動きベクトルが０であり、前の画面からの予測符号化画像（Ｐピクチャ）または前後の画面からの予測符号化画像（Ｂピクチャ）をストリーム中に挿入する。ＰピクチャまたはＢピクチャを挿入する時間的長さは、オーディオ信号の長さと略等しいものとされる。このようなビデオストリームを復号して表示する時には、単純に前のフレームの画像をコピーして表示することになり、見かけ上、ＰピクチャまたはＢピクチャを挿入した時間、静止画を表示することができる。
【００４４】
一方、シャッターボタンを押したことをトリガーとして所定時間、例えばシャッターボタンを押し続けている期間のオーディオ信号がマイクロホン１６、アンプ１７、Ａ／Ｄ変換器１８を介してメモリコントローラ５のバッファメモリに供給される。ＣＰＵ１２がこのバッファメモリのオーディオデータをＭＰＥＧオーディオで符号化することによってＭＰＥＧオーディオストリームを生成する。
【００４５】
ＣＰＵ１２が上述したＭＰＥＧビデオストリームとＭＰＥＧオーディオストリームとを多重化処理して、ＭＰＥＧシステムストリームを生成し、このＭＰＥＧシステムストリームをＤＲＡＭ９の記録データ用の領域に格納する。ＤＲＡＭ９の記録データ用の領域に格納されたシステムストリームがインターフェース１０を介して外部記憶媒体１１（例えばフロッピーディスク）に記録される。
【００４６】
外部記憶媒体１１へのＭＰＥＧシステムストリーム（ビデオストリームとオーディオストリームの多重化ストリーム）の記録が終了すると、ＤＲＡＭ９に残っている原画像データ（ＸＧＡまたはＶＧＡ）を読出し、エンコーダ／デコーダ１５によってＪＰＥＧ圧縮を行う。ＪＰＥＧに準拠した静止画ストリームをＤＲＡＭ９の記録データ用の領域に上書きする。そして、ＤＲＡＭ９の記録データ用の領域に格納された静止画ストリームがインターフェース１０を介して外部記憶媒体１１（例えばフロッピーディスク）に記録される。このように、オーディオ付き静止画撮影動作では、静止画のみからなるＪＰＥＧファイルと、全く同一の時に撮影されたＩピクチャとオーディオ情報とを含むＭＰＥＧファイルとが同時に生成されることになる。
【００４７】
上述したオーディオ付き静止画撮影動作において使用されるＭＰＥＧ符号化について、図３を参照してより詳細に説明する。ビデオ信号処理装置に入力された１枚の静止画に相当する画像信号（ＸＧＡまたはＶＧＡの静止画信号を画素数変換して形成されたＣＩＦまたはＱＣＩＦ）が入力端子２３からＩピクチャエンコーダ２４に供給され、ＭＰＥＧビデオのＩピクチャに変換される。また、マイクロホン１６（またはライン入力）から入力端子２５に入力されたオーディオ信号がＭＰＥＧオーディオエンコーダ２６においてＭＰＥＧオーディオフォーマットに準拠した信号に変換される。
【００４８】
ＰまたはＢピクチャ生成器２７は、実際には動き検出等の動き補償フレーム間予測に必要な処理を行わず、画像サイズに応じた固定のデータを発生する。従って、ＰまたはＢピクチャ生成器２７に対してビデオ信号を供給する必要がない。固定データの内容は、上述したように、全画面にわたり、動きベクトルが０、前の画面からの予測符号である。この内容は、単に前のフレームの画像を表示することを意味する。より具体的には、ＣＩＦまたはＱＣＩＦのサイズのピクチャを１個のスライスとし、スライスの最初のマクロブロックと最後のマクロブロックをスキップし、最初および最後のマクロブロックは、動きベクトル０で符号化している内容とする。複数のスライスにピクチャを分割しても良いが、その場合には、ヘッダ情報が増加する。
【００４９】
また、ＰまたはＢピクチャ生成器２７が発生するピクチャのデータ量は、スキップするマクロブロックの数を符号化するので、画像サイズによって変動する。具体的には、ＣＩＦの画像サイズで、ＭＰＥＧ１のＰピクチャの場合で、２８バイトで済み、ＱＣＩＦの画像サイズで、ＭＰＥＧ１のＰピクチャの場合で、１９バイトで済む。従って、同じ画像を繰り返しストリーム上に挿入し、見かけ上静止画像として復号画像を表示する場合に、このようなＰまたはＢピクチャを使用することで、データ量を大幅に削減することができる。
【００５０】
２８は、ＭＰＥＧシステムエンコーダを示し、Ｉピクチャエンコーダ２４は、エンコーダ／デコーダ１５に含まれ、ＰまたはＢピクチャ生成器２７、ＭＰＥＧオーディオエンコーダ２６およびＭＰＥＧシステムエンコーダ２８の処理は、ＣＰＵ１２のソフトウェア処理によってなされる。
【００５１】
図３の構成は、オーディオ付き静止画撮影動作に限らず、オーディオ付き動画撮影動作に対しても同様に適用される。この動作では、Ｉピクチャ符号化器２４に対して、撮影された動画の１フレームに相当するビデオ信号（ＣＣＤ２の撮像信号を画素数変換して形成されたＣＩＦまたはＱＣＩＦ）が供給される。また、ＰまたはＢピクチャ生成器２７は、上述したように、動き補償フレーム間予測の処理を行わず、固定データを発生する。
【００５２】
図４は、オーディオ付き動画撮影時に、Ｉピクチャ符号化器２４からのＩピクチャに対して、ＰまたはＢピクチャ生成器２７からのＰまたはＢピクチャを挿入したフレーム構造の一例を示す。各Ｉピクチャの後に、２枚のＰピクチャが挿入される。この２枚のＰピクチャは、ＰまたはＢピクチャ生成器２７からのＰピクチャであり、そのデータ量は、Ｉピクチャと比較して極めて少ないものである。図３の例では、１／３の割合でフレーム駒落としがされ、フレームレートが１／３となる。従って、ＭＰＥＧ規格の最低のフレームレートを満足するフレームレート例えば２５Hzのフレームレートとすることができる。但し、各Ｉピクチャの間にＰまたはＢピクチャを挿入する枚数は、目的とするフレームレートによって定まり、最低１枚以上のＰまたはＢピクチャを挿入することによって、フレームレートを下げることができる。
【００５３】
上述したＭＰＥＧシステムエンコーダ２８が発生するシステムストリームの構成例（パック構造）について図５および図６を参照して説明する。図５は、オーディオ付き動画撮影時のパック構造を示し、図６は、オーディオ付き静止画撮影時のパック構造を示す。動画撮影時ののパック構造は、ＭＰＥＧ１のシステムストリームに準拠していると共に、多重化効率を良くするために、次のような特徴を有している。
【００５４】
１パックの大きさを固定長とし、この中にオーディオ／ビデオのアクセスユニットを同じ時間に相当する分配する。例えばオーディオの１０フレーム、ビデオの９フレームの情報を１個のパックに入れる。ビデオフレームは、１／２５秒である。また、ＭＰＥＧオーディオのレイヤ２のアクセスユニットは、１１５２サンプル／１フレームのデータを含む。オーディオサンプリング周波数が３２ｋHzである。従って、上述した情報に相当する時間は、０．３６秒の時間に相当する。
【００５５】
また、一つのパケット内には、アクセスユニットの整数倍のデータが収まるようにする。さらに、固定長であるオーディオパケットをパックの先頭に配する。そして、ビデオの３フレーム（例えば１フレームのＩピクチャと２フレームのＰピクチャ）当たりに対して、１個のパケットを与え、パックの最後にパディングストリームパケット（ダミーデータ）を設け、パックを固定長とする。
【００５６】
図５に示すように、先頭のパケットにオーディオ情報の１０フレームが含まれる。第２番目、第３番目、第４番目の各パケットにビデオの３フレーム分の情報がそれぞれ含まれ、最後のパケットにパディングストリームが含まれる。
【００５７】
このようなパック構成によって、オーディオエンコーダおよびビデオエンコーダから出力されるデータをバッファリングすることなく、撮影時にリアルタイムに多重化することが可能となる。また、Ｉピクチャは、レートコントロールによって、固定長のパックに収まるようになされる。パックを固定長にすることによって、ＳＣＲ(System Clock Referece) 、ＰＴＳ(Presentation Time Stamp) の値が単純な加算処理により表現することができる利点がある。
【００５８】
オーディオ付き静止画撮影動作の場合のパック構成について、図６を参照して説明する。パック１（最初のパック）は、静止画本体（Ｉピクチャ）を含む。すなわち、パック１は、ＰＴＳが互いに同一である、オーディオパケットと静止画（縮小画像）を符号化したＩピクチャを含むビデオパケットと、上述した全画面にわたり、動きベクトルが０、前の画面からの予測符号を示すＰまたはＢピクチャ（最低１枚）とを含む。パック２は、オーディオパケットと、ＰまたはＢピクチャ（最低１枚）を含む構成である。
【００５９】
符号化時には、先ず、最初のパックであるパック１に相当する符号化を行い、静止画とオーディオとを復号側で再生できるようにする。それ以降のパックにおいては、データ量を削減したい場合には、パック２のような構成を適時挿入することによって、静止画を表示しながら、それに付随するオーディオを再生できるようにする。記録するオーディオ情報の長さとほぼ同一の時間、ビデオの情報を必要とするので、ほぼこの時間に相当する時間のビデオパケットをパック２の構成でもって挿入する。しかしながら、符号量を削減する必要がない場合には、全てパック１の構成でシステムストリームを構成しても良い。
【００６０】
さらに、パックの構成例としては、上述したパック１およびパック２に限らず、図６のパック３に示すように、１パック当たりのパケット数を１個にする構成も可能であり、パック４、パック５に示すように、二つのパックをまたいで、Ｉピクチャと、ＰまたはＢピクチャとが存在する構成も可能である。さらに、表示する静止画が複数枚ある場合も考えられる。この場合には、パック１をある時間間隔毎にストリーム中に配置し、異なる静止画を再生しながら付随するオーディオを再生するスライドショーを実現することができる。
【００６１】
上述したこの発明の一実施形態では、エンコーダ／デコーダ１５がＪＰＥＧおよびＭＰＥＧのエンコード／デコードを行う必要がある。図７は、このエンコーダ／デコーダ１５の一構成例を示す。この発明の一実施形態では、ＭＰＥＧフォーマットの符号化においてフレーム間動き補償予測を行うことを除外している。その結果、共にＤＣＴを採用するＪＰＥＧエンコーダおよびＭＰＥＧのエンコーダ間で共用できる構成を増やすことができる。
【００６２】
図７において、３１で示す入力端子に縦横８×８画素にブロック化された画像データが供給される。画像データがＤＣＴ部３２に供給され、コサイン変換される。各ブロックの画像データに対応する６４個の係数（１個の直流分と、６３個の交流分）が発生する。この係数データがスキャン部３３に供給される。スキャン部３３は、係数データを二通りの方法（ジグザグスキャン、オルタネートスキャン）の一方で出力する。
【００６３】
スキャン部３３の出力が量子化部３４ａおよび３４ｂに供給される。量子化部３４ａおよび３４ｂは、スケーリングファクタを使用して係数データを量子化する。量子化部３４ａおよび３４ｂの一方の量子化出力がスイッチ回路ＳＷ１で選択される。スイッチ回路ＳＷ１によって、ＪＰＥＧ符号化の時には、量子化部３４ａの量子化出力が選択され、ＭＰＥＧ符号化の時には、量子化３４ｂの量子化出力が選択される。
【００６４】
スイッチ回路ＳＷ１で選択された量子化出力がＪＰＥＧ可変長符号化部３５ａおよびＭＰＥＧ可変長符号化部３５ｂに供給される。ＪＰＥＧとＭＰＥＧでは、可変長符号化に使用するハフマン(Huffman) テーブルが相違するので、二つのハフマンテーブル３６ａおよび３６ｂが備えられている。ＪＰＥＧ符号化の時では、可変長符号化部３５ａおよびハフマンテーブル３６ａにより係数データの交流分を可変長符号化し、その符号化出力がスイッチ回路ＳＷ２によって選択される。ＭＰＥＧ符号化の時では、可変長符号化部３５ｂおよびハフマンテーブル３６ｂにより係数データの交流分を可変長符号化し、その符号化出力がスイッチ回路ＳＷ２によって選択される。
【００６５】
スイッチ回路ＳＷ２に対してヘッド付加部３７ａおよび３７ｂが接続される。ヘッド付加部３７ａは、ＪＰＥＧフォーマットに準拠したヘッダをストリームに対して付加し、ヘッド付加部３７ｂは、ＭＰＥＧフォーマットに準拠したヘッダをストリームに対して付加する。ＪＰＥＧ符号化とＭＰＥＧ符号化とに対応して切り替えられるスイッチ回路ＳＷ３を介して出力端子３８にストリーム出力が取り出される。
【００６６】
量子化部３４ａ、３４ｂは、別々の構成要素として図示されているが、ハードウエアとしては、かなりの部分を共用可能であり、ヘッダ付加部３７ａ、３７ｂ、並びにＪＰＥＧ可変長符号化部３５ａ、ＭＰＥＧ可変長符号化部３５ｂについても同様にハードウエアを共用できる部分が多い。従って、ハードウエアとして別々に持つ必要があるのは、ハフマンテーブル３６ａ、３６ｂである。また、図７は、エンコーダ／デコーダ１５の内で、エンコーダ部分の構成を示している。デコーダ部分は、ヘッダ分離部、可変長符号の復号部、逆量子化部、逆ＤＣＴ部によって構成され、エンコーダ部分と同様にハードウエアをかなり共用することができる。このように、ＭＰＥＧフォーマットの符号化においてフレーム間動き補償予測を行うことを除外した結果、エンコーダ／デコーダのハードウエアの規模を小さくでき、エンコーダ／デコーダの集積回路を容易に設計することができる。
【００６７】
なお、この発明は、外部記憶媒体１１として、各種脱着式カード、フロッピーディスクなどのディスクメディアを使用できる。また、この発明による符号化は、ネットワーク、ＲＳ２３２Ｃ、非接触のＩｒＤＡその他の通信路に対してデータを送出する場合にも適用できる。
【００６８】
【発明の効果】
この発明によれば、静止画データを記録、伝送する時に、ＭＰＥＧフォーマットに準拠して、静止画データに関連付けられたオーディオ情報を多重化することができる。従って、パソコンを使用して、汎用性のあるソフトウェアによって静止画およびオーディオ情報を再生することができる。
【００６９】
この発明によれば、静止画を撮影する時に、静止画に関連したオーディオ情報も記録することが可能となる。そして、静止画およびオーディオ情報をＭＰＥＧフォーマットに準拠して多重化できる。従って、記録された静止画およびオーディオ情報を広く提供されているソフトウェアによって、パソコンにより再生することができる。
【００７０】
この発明によれば、デジタルスチルカメラが静止画のみならず、同時にオーディオ信号を記録することが可能な機能を実現できる。また、オーディオ付き静止画を記録する時に、同時に静止画のみを記録することができる。従って、用途に応じて記録データを利用することが可能となる
【図面の簡単な説明】
【図１】この発明によるディジタルカメラの一実施形態の全体の構成を示すブロック図である。
【図２】この発明の一実施形態における画像サイズの説明に用いる略線図である。
【図３】この発明による符号化装置の構成の一例を示すブロック図である。
【図４】この発明による符号化装置の出力のフレーム構造を示す略線図である。
【図５】オーディオ付き動画撮影時に符号化装置が出力するシステムストリームのデータ構成例を示す略線図である。
【図６】オーディオ付き静止画撮影時に符号化装置が出力するシステムストリームのデータ構成例を示す略線図である。
【図７】この発明の一実施形態におけるエンコーダ／デコーダの構成を示すブロック図である。
【符号の説明】
２・・・ＣＣＤ、４・・・カメラ信号処理部、５・・・メモリコントローラ、８・・・ＬＣＤ、９・・・ＤＲＡＭ、１１・・・外部記憶媒体、１２・・・ＣＰＵ、１３・・・操作入力部、１５・・・エンコーダ／デコーダ
【図１】
0004306035.tif 000002
【図２】
0004306035.tif 000003
【図３】
0004306035.tif 000004
【図４】
0004306035.tif 000005
【図５】
0004306035.tif 000006
【図６】
0004306035.tif 000007
【図７】
0004306035.tif 000008