(57)【要約】【課題】入力信号が乱れた場合においても、時刻情報がずれることのない画像音声符号化装置を提供する。【解決手段】ストリーム出力クロックに同期して生成したフレームカウント値を、入力画像信号と音声信号に付加してエンコーダに入力する。エンコーダではそのフレームカウント値に基づいて画像および音声データの符号化の時刻を補正する。これによって、入力信号が一時的に乱れても正しい時刻情報を生成することができ、リップシンクも保たれる。【選択図】  図１
2004320198.tif 000002
【特許請求の範囲】
【請求項１】
画像および音声を圧縮符号化してストリームを出力する画像音声符号化装置において、入力画像信号のフレーム単位に画像および音声データを分割するデータ分割手段と、ストリーム出力のクロックに同期した基準時刻情報を生成する基準時刻情報生成手段と、前記基準時刻情報を前記分割されたデータに付加するデータ付加手段と、前記基準時刻情報に基づいて符号化の時刻情報を補正する時刻情報補正手段とを有することを特徴とする画像音声符号化装置。
【請求項２】
前記基準時刻情報はフレーム毎に１ずつインクリメントするフレームカウント値であって、前記時刻情報補正手段において、符号化時にフレーム毎の画像データに付加されている前記フレームカウント値の不連続点を検出して、２フレーム以上フレームカウント値が同じデータが連続する場合は２フレーム目以降の画像データを破棄し、連続２フレームのフレームカウント値の差分が２以上である場合は前記差分−１のフレーム数だけ不連続点直前のフレームの画像データをコピーすることを特徴とする請求項１記載の画像音声符号化装置。
【請求項３】
前記基準時刻情報はフレーム毎に１ずつインクリメントするフレームカウント値であって、前記時刻情報補正手段において、符号化時にフレーム毎の音声データに付加されている前記フレームカウント値の不連続点を検出して、２フレーム以上フレームカウント値が同じデータが連続する場合は２フレーム目以降の音声データを破棄し、連続２フレームのフレームカウント値の差分が２以上である場合は前記差分−１のフレーム数だけ値が０のデータを生成することを特徴とする請求項１記載の画像音声符号化装置。
【請求項４】
前記データ付加手段は、メモリに前記基準時刻情報と前記画像および音声データを入力画像信号のフレーム単位で書き込むことによって行い、フレーム毎に、最初に前記基準時刻情報を書き込んだ後、画像および音声データを書き込むことを特徴とする請求項１記載の画像音声符号化装置。
【請求項５】
入力画像信号のフレーム周期を判定して所定の周期より短いフレームを除去したフレーム信号を出力するフレーム除去手段を有し、前記データ付加手段は、メモリに前記基準時刻情報と前記画像および音声データを前記フレーム除去手段から出力されるフレーム単位で書き込むことで行うことを特徴とする請求項１記載の画像音声符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル画像および音声をＭＰＥＧ方式などにより、圧縮符号化するための画像音声符号化装置に関する。
【０００２】
【従来の技術】
画像および音声信号のデジタル圧縮方式として、国際規格であるＭＰＥＧ方式が実用化されている。図５にＭＰＥＧ方式によって画像および音声データを符号化する装置の構成の一例を示す。図５において、５０３は画像入力信号に対してデジタル圧縮処理を行うビデオエンコーダ、５０４は音声入力信号に対してデジタル圧縮処理を行うオーディオエンコーダ、５１５はデジタル圧縮された画像および音声データに対して時分割多重処理を行い、ＴＳ（トランスポートストリーム）フォーマットで出力するシステムエンコーダである。
【０００３】
ビデオエンコーダ５０３では、入力画像信号に対してＭＰＥＧ−ＶＩＤＥＯ規格に準じた方式で、ビデオフレーム（ピクチャ）単位で圧縮処理を行う。オーディオエンコーダ５０４では、入力音声信号に対して所定サンプル数のオーディオフレーム単位で圧縮処理を行う。圧縮処理後は、それぞれビデオＥＳ、オーディオＥＳのフォーマットのデータが出力される。システムエンコーダ５１５では、ビデオＥＳとオーディオＥＳを時分割多重し、受信側でデコードする際に必要な時刻情報等が付加されて、ＴＳフォーマットのストリームに変換される。
【０００４】
システムエンコーダ５１５において、ヘッダ検出回路５０５および５０８では、それぞれビデオＥＳに多重されているピクチャスタートコードおよびオーディオＥＳに多重されているスタートコード等の補助情報を検出する。ＴＳ生成部５０９では、ビデオＥＳ、オーディオＥＳのデータをバッファ５０６，５０７から読み出して多重し、所定のヘッダ情報を付加してＴＳパケットを生成する。ここで、ビデオおよびオーディオのＥＳデータを読み出すタイミングや多重量は、予め決められているビデオおよびオーディオのビットレート情報やＴＳの出力レートに従って決定される。
【０００５】
受信側のデコーダにおいてシステムの時刻基準となるシステムリファレンスクロック（ＳＴＣ）をエンコーダで意図した値に補正するためのプログラムクロックリファレンス（ＰＣＲ）は、出力レートとデータ量に従ってＰＣＲ計算部５１１で生成され、ＴＳパケットに多重して出力される。また、受信側で画像および音声を再生するタイミングを示すプレゼンテーションタイムスタンプ（ＰＴＳ）は、ＰＣＲ、ストリーム先頭からのピクチャスタートコードおよびオーディオのスタートコードの検出回数に基づいて算出され、パケット内の所定の位置に付加される。
【０００６】
【特許文献１】
特開２００１−７８１９５号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来の画像音声符号化装置では、ビデオエンコーダやオーディオエンコーダは、入力信号を１フレームずつ処理して、エンコード開始からのフレーム数を基準にＰＴＳ等の時刻情報を生成している。そのため、画像信号や音声信号の入力が途切れたり乱れたりすることによってフレームを誤検出すると、時刻情報が不正確になり受信側で正しくデコードできなくなる。例えば、入力信号が乱れることによって数フレーム抜けたような状態になった場合、抜けたフレームの前後が連続フレームとしてエンコードされてしまう。また、画像だけが数フレーム抜けた場合、その分だけ音声に対して画像が早いＰＴＳが付けられてエンコードされてしまう。この結果、一度入力が乱れると、入力信号が安定した状態に戻った後も画像と音声のタイミング関係は復帰することができずに、リップシンクがずれたままの状態になってしまうという問題点があった。
【０００８】
本発明の目的は、入力信号が乱れた場合においても、時刻情報がずれることのない画像音声符号化装置を提供することである。
【０００９】
【課題を解決するための手段】
第１の発明は、画像および音声を圧縮符号化してストリームを出力する画像音声符号化装置において、入力画像信号のフレーム単位に画像および音声データを分割するデータ分割手段と、ストリーム出力のクロックに同期した基準時刻情報を生成する基準時刻情報生成手段と、前記基準時刻情報を前記分割されたデータに付加するデータ付加手段と、前記基準時刻情報に基づいて符号化の時刻情報を補正する時刻情報補正手段とを有することを特徴とする。
【００１０】
このような第１の発明によれば、出力クロックに同期して生成された基準時刻情報に基づいて符号化の時刻を補正するので、入力信号が一時的に乱れてもその影響を受けることはなく、リップシンクもずれることはない。
【００１１】
第２の発明は、第１の発明において、前記基準時刻情報はフレーム毎に１ずつインクリメントするフレームカウント値であって、前記時刻情報補正手段において、符号化時にフレーム毎の画像データに付加されている前記フレームカウント値の不連続点を検出して、２フレーム以上フレームカウント値が同じデータが連続する場合は２フレーム目以降の画像データを破棄し、連続２フレームのフレームカウント値の差分が２以上である場合は前記差分−１のフレーム数だけ不連続点直前のフレームの画像データをコピーすることを特徴とする。
【００１２】
このような第２の発明によれば、入力映像信号が乱れてフレームの連続性が失われた場合においても、エンコーダに入力されるトータルのフレーム数は変わらない。また入力が乱れている間は前フレームの画像がコピーされるので、画面上の乱れは少なく、更にＭＰＥＧのようなフレーム相関を利用する符号化方式において、入力の乱れによる符号化効率の低下が避けられる。
【００１３】
第３の発明は、第１の発明において、前記基準時刻情報はフレーム毎に１ずつインクリメントするフレームカウント値であって、前記時刻情報補正手段において、符号化時にフレーム毎の音声データに付加されている前記フレームカウント値の不連続点を検出して、２フレーム以上フレームカウント値が同じデータが連続する場合は２フレーム目以降の音声データを破棄し、連続２フレームのフレームカウント値の差分が２以上である場合は前記差分−１のフレーム数だけ値が０のデータを生成することを特徴とする。
【００１４】
このような第３の発明によれば、入力映像信号が乱れてフレームの連続性が失われた場合においても、オーディオエンコーダに入力されるトータルのフレーム数は変わらない。また入力が乱れている間は値が０の音声データを符号化することになるので、音声はミュート状態になり、入力の乱れによって大きな音声ノイズが発生することが防げる。
【００１５】
第４の発明は、第１の発明において、前記データ付加手段は、メモリに前記基準時刻情報と前記画像および音声データを入力画像信号のフレーム単位で書き込むことによって行い、フレーム毎に、最初に前記基準時刻情報を書き込んだ後、画像および音声データを書き込むことを特徴とする。
【００１６】
このような第４の発明によれば、入力信号が乱れてフレームの間隔が短くなり、１フレーム分の全データがメモリに書き込まれないような場合でも、少なくともメモリ上の基準時刻情報は更新されるので、符号化時の時刻補正を正しく行うことができる。
【００１７】
第５の発明は、第１の発明において、入力画像信号のフレーム周期を判定して所定の周期より短いフレームを除去したフレーム信号を出力するフレーム除去手段を有し、前記データ付加手段は、メモリに前記基準時刻情報と前記画像および音声データを前記フレーム除去手段から出力されるフレーム単位で書き込むことで行うことを特徴とする。
【００１８】
このような第５の発明によれば、入力信号が乱れてフレームの間隔が短くなった場合でも、常に同一時刻のデータとそれに対応する時刻情報がメモリに書き込まれるので、符号化時の時刻補正を正しく行うことができる。更に時間的に異なるデータが混在して符号化されることがないため、入力の乱れに対する主観的な影響が少なくなる。
【００１９】
【発明の実施の形態】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２０】
（実施の形態１）
図１は、本発明の一実施形態における画像音声符号化装置のブロック構成図である。図１において、１０１は画像信号入力端子、１０２は音声信号入力端子、１０３はリファレンス信号入力端子、１０４は画像信号前処理回路、１０５は音声信号前処理回路、１０６はタイミング生成回路、１０７はフレームカウンタ、１０８はメモリ制御回路、１０９はメモリ、１１０は画像データバッファ、１１１は画像データバッファ制御回路、１１２は画像タイムスタンプ検出回路、１１３はビデオエンコーダ、１１４は音声データバッファ、１１５は音声データバッファ制御回路、１１６は音声タイムスタンプ検出回路、１１７はオーディオエンコーダ、１１８は画像圧縮処理部、１１９は音声圧縮処理部、１２０はシステムエンコーダ、１２１は出力バッファ、１２２はＴＳ伝送端子である。
【００２１】
なお、特許請求の範囲記載のデータ分割手段、基準時刻情報生成手段、データ付加手段、時刻情報補正手段は図示の各ブロックに対応する。
【００２２】
同図において、画像圧縮処理部１１８、音声圧縮処理部１１９およびシステムエンコーダ１２０はソフトウェアで実現され、それ以外はハードウェアで行う。ソフトウェア処理は、ＣＰＵとそれに繋がるメインメモリ上で行う。画像や音声のデータを一旦メモリ１０９に書き込んだ後、所定のデータ量単位でメインメモリに圧縮前のデータを転送し、エンコード処理を行った後、出力バッファ１２１に圧縮後のデータを転送する。以下では、このような画像音声符号化装置の動作について詳細に説明する。
【００２３】
画像信号入力端子１０１から、ＳＭＰＴＥ２５９Ｍに準拠したＮＴＳＣ方式のコンポーネントデジタル信号が入力される。画像信号前処理回路１０４では２７ＭＨｚのクロック分離、水平（Ｈパルス）、垂直（Ｖパルス）、フレームパルスの各同期信号検出を行い、２９．９７Ｈｚのフレーム単位で水平７２０画素、垂直４８０ライン、各画素８ｂｉｔの４：２：２コンポーネント画像データを出力する。フレームあたりのデータ量は６９１２００バイトになる。音声信号入力端子１０２からは、画像信号に同期した１６ｂｉｔ／４８ｋＨｚサンプリングの２チャンネルデジタルオーディオ信号が、ＡＥＳ／ＥＢＵ形式で入力される。音声信号前処理回路１０５では、ＦＩＦＯ（ファーストイン・ファーストアウト）メモリを介して音声データを４８ｋＨｚの音声信号のクロックから、２７ＭＨｚの画像信号のクロックに変換して間欠的に出力する。音声のサンプル数は、フレームあたり１６０１．６サンプルになる。音声のサンプルをフレーム毎に概略均等に割り当てるために、５回のフレーム単位で各フレームあたり１６００サンプル、１６０２サンプル、１６０２サンプル、１６０２サンプル、１６０２サンプルの音声データを出力する。サンプルあたり１６ｂｉｔで２チャンネルあるので、フレームあたりのデータ量は、６４００バイトもしくは６４０８バイトになる。リファレンス信号入力端子１０３からは、入力画像信号に同期したブラックバースト信号が入力される。タイミング生成回路１０６では、ブラックバースト信号から同期信号を分離し、分離した同期信号に２７ＭＨｚのクロックをロックさせるようにＰＬＬ（Ｐｈａｓｅ  Ｌｏｃｋｅｄ  Ｌｏｏｐ）回路を構成して、２７ＭＨｚのクロックとリファレンスフレームパルスの生成を行う。ここでリファレンス信号から生成されたクロックは入力画像信号から生成されたクロックに対してロックしており、リファレンスフレームパルスと画像信号から検出されたフレームパルスは同位相になる。フレームカウンタ１０７では６４ｂｉｔカウンタを持ち、符号化開始時にカウンタ値は０にリセットされ、リファレンスフレームパルスの入力に対して１ずつカウンタの値をインクリメントしてその値を出力する。メモリ制御回路１０８では、画像データおよび音声データに対して、フレーム毎にデータとそのデータに対するタイムスタンプとしてフレームカウンタ値をメモリ１０９に書き込む。このとき、フレームパルスが入力されるとまずフレームカウンタ値を書き込み、その後入力に従ってデータを書き込む。
【００２４】
本実施形態におけるメモリ上のアドレスマップの一例を図２に示す。図２において（ａ）はメモリ全体におけるフレーム単位のアドレス空間であり、（ｂ）はフレーム内でのビデオとオーディオデータのアドレス空間である。図２（ｂ）において、２０１は画像データ、２０２は画像タイムスタンプ、２０３は音声データ、２０４は音声タイムスタンプ、２０５は音声フラグをそれぞれ書き込む領域である。メモリ容量は２５６Ｍｂｉｔ（＝３２Ｍｂｙｔｅ）とし、フレームあたり１Ｍｂｉｔを割り当てる。従って図２（ａ）に示すように、メモリ全体では３２フレーム分の領域がある。各フレームの領域は図２（ｂ）に示すように領域が分かれており、画像データは、データ６９１２００バイトと、タイムスタンプとしてフレームカウント値８バイトを付加して書き込む。音声データは６４０８バイトの領域に書き込む。音声データは、データ量が６４００バイトの場合と、６４０８バイトの場合があるが、６４００バイトの場合はデータの末尾に８バイトのダミーデータを付加することにより、データ量を６４０８バイトに合わせる。データフラグは、ダミーデータを付加したかどうかを示すフラグであり、ダミーデータを付加した場合すなわち音声データ量が６４００バイトである場合は１を書き込み、そうでない場合は０を書き込む。音声タイムスタンプは、画像タイムスタンプと同様にフレームカウント値８バイトを書き込む。このようなデータのメモリへの書き込みはフレームパルスに同期して行い、書き込みポインタを１フレーム分ずつシフトしてデータを書き込む。書き込まれた画像データおよび音声データは、フレームパルスに同期してフレーム単位で読み出され、メインメモリ上に確保された画像データバッファ１１０および音声データバッファ１１４のそれぞれのバッファ領域にデータ転送される。読み出しは、図２（ａ）に示すように、書き込みポインタから１フレーム遅れたアドレスのデータを読み出す。
【００２５】
画像圧縮処理部１１８において、画像タイムスタンプ検出回路１１２では画像データにタイムスタンプとして付加されているフレームカウント値を検出し、１フレーム前の値と比較する。１フレーム前のフレームカウント値に対する差分が＋１であれば、画像データバッファ１１０に書き込まれているデータをそのままビデオエンコーダ１１３に転送する。フレームカウント値の差分が０であれば、そのフレームのデータは破棄し、ビデオエンコーダにはデータを転送しない。フレームカウント値の差分が２以上であれば、差分−１のフレーム数分だけ前フレームの画像データをコピーしてビデオエンコーダに転送する。ビデオエンコーダではビデオフレーム単位にＭＰＥＧ圧縮処理を行い、ビデオＥＳデータを出力する。
【００２６】
音声圧縮処理部１１９において、音声タイムスタンプ検出回路１１６では音声データにタイムスタンプとして付加されているフレームカウント値を検出し、１フレーム前の値と比較する。１フレーム前のフレームカウント値に対する差分が＋１であれば、音声データバッファ１１０に書き込まれているデータをそのままオーディオエンコーダ１１７に転送する。このとき、音声フラグを検出して有効サンプル数を判定し、有効データのみをオーディオエンコーダに転送する。フレームカウント値の差分が０であれば、そのフレームのデータは破棄し、オーディオエンコーダにはデータを転送しない。フレームカウント値の差分が２以上であれば、差分−１のフレーム数分だけ０のデータを生成してオーディオエンコーダに転送する。このとき、フレーム単位で生成するサンプル数は、５フレーム前に転送した有効サンプル数と同数とする。オーディオエンコーダではＭＰＥＧ−ＡＵＤＩＯ圧縮処理を行い、オーディオＥＳデータを出力する。
【００２７】
システムエンコーダ１２０では、所定レートのＴＳデータを生成し、メインメモリから出力バッファ１２１へデータ転送する。出力バッファからはリファレンス信号から生成された２７ＭＨｚのクロックに同期してＴＳデータが出力される。
【００２８】
次に入力信号が乱れた場合について説明する。図３は本実施形態における信号処理のタイミング図である。図３において、（ａ）はリファレンス信号から検出されたリファレンスフレームパルス、（ｂ）はフレームカウント値、（ｃ）は入力画像信号から検出されたフレームパルス、（ｄ）はメモリ１０９に書き込まれる画像および音声データとフレームカウント値、（ｅ）はメモリ１０９から読み出されてメインメモリへ転送されるデータ、（ｆ）はビデオエンコーダに入力される画像データ、（ｇ）はオーディオエンコーダに入力される音声データをそれぞれ示している。メモリ１０９へのデータ書き込みは（ｄ）に示すように、フレームパルスが入力されると、まずフレームカウント値３０１が書き込まれ、その後データ３０２が書き込まれる。（ｃ）のようにフレームパルスの連続性が乱れた場合、フレームカウント値ｎは２回書き込まれ、ｎ＋１とｎ＋２は書き込まれない。メモリへの書き込みは、データの入力に従ってほぼ１フレーム区間に渡って書き込まれるのに対して、読み出しは（ｅ）に示すように１フレーム分の量のデータを短時間で読み出して、メインメモリへデータ転送する。ここで、フレームカウント値ｎに対応する最初のフレームの読み出しは、書き込み時にフレームの途中までしか画像データが書き込まれていないため、途中からは無効なデータになるが、データ量は１フレーム分のデータが転送される。このようなフレームカウント値が不連続なデータに対しての画像および音声圧縮部における処理は、（ｆ）および（ｇ）に示すように行う。フレームカウント値ｎのように同じタイムスタンプが連続しているデータに対しては、最初のデータのみを有効とし、２回目のデータは破棄する。フレームカウント値がｎ＋１およびｎ＋２に相当するフレームのデータは、画像データについては直前のフレームカウント値ｎに対応する画像データを２フレーム分コピーしてビデオエンコーダに入力し、音声データについては、抜けた２フレーム分は０を挿入してオーディオエンコーダに入力する。これにより、入力画像信号が一時的に乱れても、正常に復帰した以降のデータはエンコード開始時点からの累積フレーム数は正しくなり、画像と音声の相対的なタイミングも保存されるので時刻情報は正しく生成される。入力が乱れている区間に対しては、画像は前フレームのホールド、音声はミュート状態になるので、画像や音声の乱れも少なくなる。また、入力が乱れている間の画像は静止状態になっているので、ＭＰＥＧ方式のようなフレーム間の相関を利用する画像圧縮方式において、入力の乱れによる符号化効率の低下を避けることができる。
【００２９】
（実施の形態２）
次に第２の実施形態について説明する。本実施形態においても全体の構成は図１と同様であり、以下では第１の実施形態と動作が異なる部分について説明する。
【００３０】
画像信号前処理回路１０４においてフレームパルスを検出して出力する際に、入力信号が乱れた場合に、通常のフレームパルス間隔９００９００クロックよりも短い間隔のものは取り除いて出力しないようにする。これは、２７ＭＨｚクロックで９００９００を数えるカウンタを持ち、フレームパルスが検出される度にこれをリセットして次のフレームパルスが検出されたときにこのカウンタ値を判定することにより行う。これにより、通常の間隔と同じか、もしくはそれよりも長い間隔のフレームパルスのみが出力され、入力信号が乱れても短い間隔のものは出力されない。
【００３１】
図４は第２の実施形態における信号処理の説明図である。図３において、（ａ）はリファレンス信号から検出されたリファレンスフレームパルス、（ｂ）はフレームカウント値、（ｃ１）は入力画像信号から検出されたフレームパルス、（ｃ２）は画像信号前処理回路１０４から出力されるフレームパルス、（ｄ）はメモリ１０９に書き込まれる画像および音声データ３０２とフレームカウント値３０１、（ｅ）はメモリ１０９から読み出されてメインメモリへ転送されるデータ、（ｆ）はビデオエンコーダに入力される画像データ、（ｇ）はオーディオエンコーダに入力される音声データをそれぞれ示している。入力画像信号が（ｃ１）のように乱れた場合、画像信号前処理回路１０４では、４０１のような短い間隔のフレームパルスは取り除かれて、出力されるフレームパルスは（ｃ２）のようになる。メモリ１０９への書き込みは（ｄ）に示すように行われる。フレームカウント値が不連続になった場合の画像および音声圧縮部における処理は、第１の実施形態と同様に行われ、入力画像信号が一時的に乱れても時刻情報は正しく生成される。更に、本実施形態では短いフレーム信号は取り除かれるので、同一時刻にある１フレーム分のデータとタイムスタンプ値のメモリ１０９への書き込みは常に保証される。すなわち、ある時刻のデータの一部と過去の時刻のデータが同一フレームのデータとしてメモリ１０９から読み出されてエンコードされてしまうことがない。なお、本実施例の場合は同じフレームカウント値が連続することはなく、（ｆ）および（ｇ）に示すようになる。
【００３２】
また、上記実施形態においては、映像信号をフレーム周波数が２９．９７ＨｚであるＮＴＳＣ方式とした場合について説明したが、本発明はこれに限らず、例えばＰＡＬ方式であっても適用することができる。ただし、フレーム周波数は２５ＨｚであるＰＡＬ方式の場合、音声クロックが４８ｋＨｚであれば、フレームあたりの音声のサンプル数は１９２０サンプル固定になる。
【００３３】
なお、第１および第２の実施形態においては、フレームカウントの値を基準時刻情報としてデータに付加して伝送したが、基準時刻情報はこれに限らず、例えば符号化開始時点からＴＳ出力クロックで数えたカウンタの値を、フレーム信号の立ち上がりでラッチした値などを用いてもよい。
【００３４】
【発明の効果】
以上のように本発明によれば、入力画像信号のフレーム単位に画像および音声データを分割するデータ分割手段と、ストリーム出力のクロックに同期した基準時刻情報を生成する基準時刻情報生成手段と、前記基準時刻情報を前記分割されたデータに付加するデータ付加手段と、前記基準時刻情報に基づいて符号化の時刻情報を補正する時刻情報補正手段とを有することによって、入力信号が一時的に乱れても正しい時刻情報を生成することができ、リップシンクもずれることはない。
【図面の簡単な説明】
【図１】本発明の一実施形態における画像音声符号化装置のブロック構成図
【図２】本発明の一実施形態におけるメモリ上のアドレスマップの説明図
【図３】本発明の第１の実施形態における信号処理タイミング図
【図４】本発明の第２の実施形態における信号処理タイミング図
【図５】従来の画像音声符号化装置のブロック構成図
【符号の説明】
１０４  画像信号前処理回路
１０５  音声信号前処理回路
１０６  タイミング生成回路
１０７  フレームカウンタ
１０８  メモリ制御回路
１０９  メモリ
１１０  画像バッファ
１１１、１１５  バッファ制御回路
１１２  画像タイムスタンプ検出回路
１１３  ビデオエンコーダ
１１４  音声バッファ
１１６  音声タイムスタンプ検出回路
１１７  オーディオエンコーダ
１１８  画像圧縮処理部
１１９  音声圧縮処理部
１２０  システムエンコーダ
１２１  出力バッファ
【図１】
2004320198.tif 000003
【図２】
2004320198.tif 000004
【図３】
2004320198.tif 000005
【図４】
2004320198.tif 000006
【図５】
2004320198.tif 000007