(57)【要約】【課題】  回路規模やコストを抑えながら、異なる符号化方式にて画像信号を符号化可能とする為の技術を提供すること。【解決手段】  符号化処理に係るパラメータ、変数を含む内部データを記憶する記憶部１０８、符号化データとヘッダ情報とを連結するシフタ部１０５、連結結果を一時的に記憶する出力ＦＩＦＯ部１０６を有する。更に外部記憶装置から記憶部１０８に読み出された内部データに基づいて符号化処理を行った後、シフタ部１０５、出力ＦＩＦＯ部１０６に残留している符号化データを全て排出する指示に応じて残留している符号化データを全て排出する。そして再度、記憶部１０８から外部記憶装置に内部データを退避する。【選択図】  図１
2007174396.tif 000002
【特許請求の範囲】
【請求項１】
画像データを符号化する画像符号化装置であって、
符号化処理に係るパラメータ、変数を含む内部データを記憶する第１の記憶手段と、
前記画像データを符号化することで得られる符号化データと、当該符号化データに係るヘッダ情報とを連結する連結手段と、
前記連結された符号化データとヘッダ情報とを一時的に記憶する第２の記憶手段と、
前記連結手段、前記第２の記憶手段のそれぞれに残留している符号化データを全て排出する指示を受け付ける手段と、
前記第１の記憶手段が記憶する内部データの一部若しくは全部を一時的に記憶するための外部記憶装置から前記第１の記憶手段に読み出された内部データに基づいて符号化動作処理を行った後、前記指示に応じて前記残留している符号化データを全て排出し、再度、前記第１の記憶手段から前記外部記憶装置に内部データを退避する制御手段と
を備えることを特徴とする画像符号化装置。
【請求項２】
前記第１の記憶手段は、前記符号化処理に係る変数を記憶しており、当該変数は、連続する画像データを予測符号化する場合に必要となる参照画像データを含むことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記制御手段は、
前記第１の記憶手段に記憶されている内部データの一部若しくは全部を前記外部記憶装置に退避させる指示を受け付ける手段と、
前記外部記憶装置に退避したデータを、前記第１の記憶手段に読み出す指示を受け付ける手段と
を備えることを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
前記連結手段は、
第１のビット数のビットを前記連結手段が保持するデータへ挿入する手段と、
前記連結手段が保持する有効ビット数を計数する手段と
を備えることを特徴とする請求項１に記載の画像符号化装置。
【請求項５】
前記第２の記憶手段は、
前記第２の記憶手段に残留している符号化データを全て排出する手段と、
前記第２の記憶手段内の有効バイト数を計数する手段と
を備えることを特徴とする請求項１に記載の画像符号化装置。
【請求項６】
前記制御手段は、
一連の動作開始を指示する手段と、
一連の動作再開を指示する手段と、
動画像を構成する一枚のピクチャを符号化する指示を行う手段と
を備えることを特徴とする請求項１に記載の画像符号化装置。
【請求項７】
前記制御手段は、
前記画像符号化装置が一連の動作中であることを表示する手段と、
前記画像符号化装置が一連の動作を完了したことを表示する手段と
を備えることを特徴とする請求項１に記載の画像符号化装置。
【請求項８】
画像データを符号化する画像符号化方法であって、
符号化処理に係るパラメータ、変数を含む内部データを第１の記憶手段に記憶させる第１の記憶工程と、
前記画像データを符号化することで得られる符号化データと、当該符号化データに係るヘッダ情報とを連結手段によって連結させる連結工程と、
前記連結された符号化データとヘッダ情報とを一時的に第２の記憶手段に記憶させる第２の記憶工程と、
前記連結手段、前記第２の記憶手段のそれぞれに残留している符号化データを全て排出する指示を受け付ける工程と、
前記第１の記憶手段が記憶する内部データの一部若しくは全部を一時的に記憶するための外部記憶装置から前記第１の記憶手段に読み出された内部データに基づいて符号化動作処理を行った後、前記指示に応じて前記残留している符号化データを全て排出し、再度、前記第１の記憶手段から前記外部記憶装置に内部データを退避する制御工程と
を備えることを特徴とする画像符号化方法。
【請求項９】
コンピュータに請求項８に記載の画像符号化方法を実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像符号化装置に関し、特にその符号化処理において単一の動画または静止画に対する符号化処理と、複数の動画または静止画に対する符号化処理の双方に対応した画像符号化装置に関するものである。
【背景技術】
【０００２】
従来、ＣＤ−ＲＯＭやハードディスク等の蓄積媒体に静止画像を保存・表示するための符号化方式としてＩＳＯ（国際標準化機構）により標準化されたＪＰＥＧ方式が広く用いられている。また、動画像と音声を同様な蓄積媒体に保存・表示したり、通信路を介して放送、または双方向通信したりするための符号化方式としてＩＳＯにより標準化されたＭＰＥＧ方式が広く用いられている。
【０００３】
動画像と音声の符号化方式であるＭＰＥＧ方式は、符号化効率の向上を目的として年々その符号化方式が改良されており、１９９２年にＭＰＥＧ−１、１９９４年にＭＰＥＧ−２、１９９９年にはＭＰＥＧ−４がそれぞれ国際標準として規定されている。ＭＰＥＧ−４においては、符号化効率の向上はもちろんのこと、符号誤り訂正機能の強化や、符号化対象毎に最適な符号化を施すオブジェクト符号化の導入なども実現されている。さらには、ＭＥＰＧ−４シンタックス上のビジュアル層とオーディオ層を包含するファイル形式などを規定するシステム層においては、利用者が要求する任意の時刻の動画像または音声データに容易にアクセスできる仕組みを提供している。
【０００４】
一方、近年、遠隔地のライブ映像を撮影し、インターネットなどの通信網を介して、複数の利用者のパソコンや携帯電話などの情報端末で表示すべく発信する遠隔地映像発信システムが広く知られるようになっている。現状、携帯電話においては、ＭＰＥＧ−４方式で符号化された映像を再生可能な機種が多く、利用者の多くは移動中などにおいて気軽にライブ映像を楽しむ利用形態が主流である。他方、パソコンでライブ映像を見ている利用者の多くは、より大きなサイズで画像を楽しむ傾向がある。
【０００５】
また、監視目的で遠隔地映像発信システムを導入する企業、組織などでは、ライブ映像を録画するケースが多い。一旦録画されたライブ映像を後で詳細に見直す必要が発生した場合、映像を構成する時間的に連続したそれぞれの画像が独立して符号化されるＭｏｔｉｏｎ−ＪＰＥＧ方式で符号化されていると、特定時刻の画像切り出しが容易であるなど利便性が高い。この事例においても、やはり利用者は出先において携帯電話により簡単に監視対象物のライブ映像を見たいという要求は高い。
【特許文献１】特開２００５−７９６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このように、利用者のライブ映像を見る目的や再生する情報端末の種類によって、適した画像サイズや符号化方式が異なり、この要求を満たすために従来の遠隔地映像発信システムにおいてはそれぞれの画像サイズや符号化方式毎に画像符号化装置を用意する。そして、その後段においてそれぞれの画像符号化装置から出力される符号化データを多重化し、インターネットなどの通信網へ発信していた。このために、遠隔地映像発信システムの構成が複雑で高価になるという問題があった。
【０００７】
この問題を解決するために、画像サイズや符号化方式が異なる複数の符号化データが多重化された符号化データを生成することが可能な専用の画像符号化装置を開発することも可能ではある。しかしながら、遠隔地映像発信システムの市場はまだ小さく、専用の画像符号化装置を開発するために投資をすることは困難である。
【０００８】
本発明は以上の問題に鑑みてなされたものであり、回路規模やコストを抑えながら、異なる符号化方式にて画像信号を符号化可能とする為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の目的を達成するために、例えば、本発明の画像符号化装置は以下の構成を備える。
【００１０】
即ち、画像データを符号化する画像符号化装置であって、
符号化処理に係るパラメータ、変数を含む内部データを記憶する第１の記憶手段と、
前記画像データを符号化することで得られる符号化データと、当該符号化データに係るヘッダ情報とを連結する連結手段と、
前記連結された符号化データとヘッダ情報とを一時的に記憶する第２の記憶手段と、
前記連結手段、前記第２の記憶手段のそれぞれに残留している符号化データを全て排出する指示を受け付ける手段と、
前記第１の記憶手段が記憶する内部データの一部若しくは全部を一時的に記憶するための外部記憶装置から前記第１の記憶手段に読み出された内部データに基づいて符号化動作処理を行った後、前記指示に応じて前記残留している符号化データを全て排出し、再度、前記第１の記憶手段から前記外部記憶装置に内部データを退避する制御手段と
を備えることを特徴とする。
【００１１】
本発明の目的を達成するために、例えば、本発明の画像符号化方法は以下の構成を備える。
【００１２】
即ち、画像データを符号化する画像符号化方法であって、
符号化処理に係るパラメータ、変数を含む内部データを第１の記憶手段に記憶させる第１の記憶工程と、
前記画像データを符号化することで得られる符号化データと、当該符号化データに係るヘッダ情報とを連結手段によって連結させる連結工程と、
前記連結された符号化データとヘッダ情報とを一時的に第２の記憶手段に記憶させる第２の記憶工程と、
前記連結手段、前記第２の記憶手段のそれぞれに残留している符号化データを全て排出する指示を受け付ける工程と、
前記第１の記憶手段が記憶する内部データの一部若しくは全部を一時的に記憶するための外部記憶装置から前記第１の記憶手段に読み出された内部データに基づいて符号化動作処理を行った後、前記指示に応じて前記残留している符号化データを全て排出し、再度、前記第１の記憶手段から前記外部記憶装置に内部データを退避する制御工程と
を備えることを特徴とする。
【００１３】
さらなる本発明の特徴は、以下本発明を実施するための最良の形態および添付図面によって明らかになるものである。
【発明の効果】
【００１４】
本発明の構成によれば、回路規模やコストを抑えながら、異なる符号化方式にて画像信号を符号化可能となる。
【発明を実施するための最良の形態】
【００１５】
以下添付図面を参照し、本発明を好適な実施形態に従って詳細に説明する。
【００１６】
本実施形態では、ＭＰＥＧ符号化方式の例を用いて説明する。図１は、本実施形態に係る画像符号化装置の機能構成を示すブロック図である。図１において、１０１は画像データを入力する入力ＦＩＦＯ部、１０２は画像データにＤＣＴ演算を施すＤＣＴ部である。１０３はＤＣＴ係数に量子化を施す量子化部、１０４は量子化されたＤＣＴ係数にランレングス符号化やハフマン符号化などを施すエントロピー符号化部である。１０５はエントロピー符号化部１０４から出力される可変長符号とＭＰＥＧシンタックス上のヘッダを連結するシフタ部である。１０６はヘッダ情報を含む符号化データを一時的に格納し、外部ユーザ・システムがすぐに符号化データを受け取ってくれなくてもスループット性能が低下しないようにするための出力ＦＩＦＯ部である。
【００１７】
１０７は上記１０１〜１０６で構成される画像データ演算処理部を制御すると共に、ヘッダ情報をシフタ部１０５経由で符号化データ中に構築する制御部である。１０８は符号化動作に必要な各種動作パラメータや符号化動作中に使用する一時的な各種変数などを記憶する記憶部である。１０９はフレーム間予測符号化において動き探索および参照画像データ生成のために動き補償を行う動き予測補償部、１１０はフレーム間予測符号化において使用される参照画像を生成するために、量子化されたＤＣＴ係数を逆量子化する逆量子化部である。１１１は逆量子化されたＤＣＴ係数を逆ＤＣＴ変換する逆ＤＣＴ部、１１２は参照画像データを出力する際の緩衝用の出力ＦＩＦＯ部、１は１０１〜１１２から構成される画像符号化装置（画像符号化部）である。
【００１８】
ここで、本実施形態では、上記各部１０１〜１１２はハードウェアでもって構成されており、且つ各部は適宜メモリを有しているものとして説明するが、その一部若しくは全部をソフトウェアでもって構成するようにしても良い。
【００１９】
さらに図１において、２０１は画像データを入力するバス、２０２は符号化データを出力するバスである。２０３はバス２０２上に有効なデータが存在する期間を表示する有効期間表示信号を送出するためのバス、２０４は画像符号化装置１へ一連の動作開始を指示する動作開始指示信号を送出するためのバスである。２０５は画像符号化装置１へ一枚のピクチャの符号化を指示するピクチャ符号化指示信号を送出するためのバスである。２０６は画像符号化装置１が一連の動作を行っている最中であることを表示する動作中表示信号を送出するためのバスである。
【００２０】
２０７は画像符号化装置１が一枚のピクチャの符号化動作を完了した際に、次のピクチャの符号化動作を指示する動作再開指示信号を送出するバスである。２０８は画像符号化装置１内部に残留する符号化データをすべて排出することを指示する残留符号化データ排出指示信号を送出するためのバスである。２０９は画像符号化装置１において一連の符号化動作が完了したことを表示する動作完了表示信号を送出するためのバス、２１０は任意のビット数のデータをシフタ部１０５へ挿入することを指示するビット・データ挿入指示信号を送出するためのバスである。
【００２１】
２１１はシフタ部１０５内部に存在する有効データのビット数を表示する有効ビット数表示信号を送出するためのバスである。２１２は出力ＦＩＦＯ部１０６に残留するバイト・データをすべて排出するように指示する残留バイト・データ排出指示信号を送出するためのバスである。２１３は出力ＦＩＦＯ部１０６内部に存在する有効データのバイト数を表示する有効バイト数表示信号を送出するためのバスである。２１４は記憶部１０８に記憶された各種動作パラメータや各種変数を外部の記憶部へ退避させたり再び読み出したりする指示を行う退避内部データ入出力指示信号を送出するためのバスである。
【００２２】
２１５は記憶部１０８に記憶された内部データを出力する退避内部データ出力信号を送出するためのバス、２１６は外部の記憶部に退避されていた内部データを入力する退避内部データ入力信号を送出するためのバスである。２１７は入力される画像データを符号化する際に適用される各種動作パラメータを設定するための動作パラメータ指示信号を送出するためのバスである。２１８は画像符号化部１の内部で復号化された参照画像データを出力する参照画像データ出力信号を送出するためのバスである。
【００２３】
図２は、図１に示した画像符号化装置を適用した遠隔地映像発信システムの構成を示すブロック図である。図２において、２は撮像部を含み、撮影された画像に対して所望の画像処理を施す撮像・画像処理部である。３は撮像・画像処理部２から出力される画像データを一時的に記憶したり、画像符号化部１によりこの画像データを符号化した符号化データを記憶したりする主記憶部である。４は画像符号化部１と撮像・画像処理部２とを制御し、撮影された動画像を符号化データとして主記憶部３へ記憶させる制御部として機能するＣＰＵ部である。５は画像符号化部１がＣＰＵ部４から直接制御されることなく主記憶部３にアクセスすることを可能とするＤＭＡコントローラ部である。６は撮像・画像処理部２がＣＰＵ部４から直接制御されることなく主記憶部３にアクセスすることを可能とするＤＭＡコントローラ部である。
【００２４】
図３は、ＭＰＥＧ方式とＭｏｔｉｏｎ−ＪＰＥＧ方式との複数の符号化方式による符号化処理を行う場合の主記憶部３のアドレスマップを示す図である。さらに図４は、単一のＭＰＥＧ方式による符号化処理を行う場合の主記憶部３のアドレスマップを示す図である。
【００２５】
図５は、入力された動画像データに対してＭＰＥＧ方式とＭｏｔｉｏｎ−ＪＰＥＧ方式とという複数の符号化方式を用いた符号化処理を行う場合に、遠隔地映像発信システムが行う処理のフローチャートである。更に、図６は、遠隔地映像発信システムの操作者から残留符号化データ排出が指示された場合に、制御部１０７が画像符号化部１の内部に残留する符号化データを排出する処理のフローチャートである。
【００２６】
一方、図７は、入力された動画像データに対して単一のＭＰＥＧ方式による符号化処理を行う場合に、遠隔地映像発信システムが行う処理のフローチャートである。図８は、図５に示したフローチャートと関連して、入力された動画像データに対してＭＰＥＧ方式とＭｏｔｉｏｎ−ＪＰＥＧ方式といった複数の符号化方式を用いた符号化処理を行う場合の、最初の２垂直同期期間を示した信号波形を示す図である。図９は、図５のフローチャートと関連して、入力された動画像データに対してＭＰＥＧ方式とＭｏｔｉｏｎ−ＪＰＥＧ方式といった複数の符号化方式による符号化処理を行う場合の、最後の２垂直同期期間を示した信号波形を示す図である。図１０は、図７のフローチャートと関連して、入力された動画像データに対して単一のＭＰＥＧ方式による符号化処理を行う場合の信号波形を示す図である。
【００２７】
以下では、遠隔地映像発信システムが行う符号化処理について説明する。特に、画像符号化部１に入力された動画像データに対してＭＰＥＧ方式とＭｏｔｉｏｎ−ＪＰＥＧ方式といった複数の符号化方式による符号化処理について、図１〜３、５、６、８、９を用いて説明する。また、画像符号化部１に入力された動画像データに対して単一のＭＰＥＧ方式による符号化処理手順を図１、２、４、７、１０を用いて説明する。
【００２８】
ここで、画像符号化装置１による動作についてであるが、図１に係る上記説明の通り、画像符号化装置１を構成する各部の動作を制御部１０７が制御することで、以下説明する一連の符号化処理がなされる。
【００２９】
先ず、画像符号化部１に入力された動画像データに対してＭＰＥＧ方式とＭｏｔｉｏｎ−ＪＰＥＧ方式といった複数の符号化方式による符号化処理について説明する。
【００３０】
撮像・画像処理部２により撮影され、所望の画像処理が施された動画像データはＤＭＡコントローラ部６を経由して一時的に主記憶部３内の領域（図３の０ｘ１０００００００から始まる領域）に格納される。その動画像データはＤＭＡコントローラ部５により順次読み出され、バス２０１を介して画像符号化部１に入力される。一方、ＣＰＵ部４は制御部１０７に対してバス２１７を介してＭＰＥＧ方式による符号化処理で適用される各種動作パラメータを設定する。制御部１０７は、設定された各種動作パラメータを記憶部１０８へ記憶する。
【００３１】
画像符号化部１への動画像データの入力が開始されると、ステップＳ１０４においてＣＰＵ部４は、バス２０５上にピクチャ符号化指示信号として’１’を出力する。これによりＣＰＵ部４は、１枚目（ＭＰＥＧ＃１）のピクチャの符号化データを出力することを画像符号化部１に対して指示する（図８のｔ１）。更にステップＳ１０４においてＣＰＵ部４は、残留符号化データの排出を行い、１枚のピクチャから成る完全な符号化データを画像符号化部１から出力させるために、バス２０８上に残留符号化データ排出指示信号として’１’を出力する（図８のｔ１）。
【００３２】
次にステップＳ１０５では、ＣＰＵ部４は、一連の符号化処理動作を開始させるためにバス２０４上に動作開始指示信号として’１’を出力する（図８のｔ２）。画像符号化部１による符号化処理動作が開始されたことは、バス２０６上に動作中表示信号として’１’が出力されたことにより確認できる（図８のｔ３）。従って、バス２０６上に’１’が出力された場合には処理をステップＳ１０６を介してステップＳ１０７に進め、ＣＰＵ部４は動作開始指示信号２０４を’０’に戻すことができる（図８のｔ４）。
【００３３】
入力ＦＩＦＯ部１０１へバス（画像データ入力信号）２０１経由で入力された１枚目のピクチャ・データは、動き予測補償部１０９→ＤＣＴ部１０２→量子化部１０３→エントロピー符号化部１０４→シフタ部１０５により順次処理される。これにより、結果として符号化データが生成される。
【００３４】
また、同時に量子化部１０３から出力される量子化されたＤＣＴ係数は、逆量子化部１１０→逆ＤＣＴ部１１１→動き予測補償部１０９→出力ＦＩＦＯ部１１２と順次処理され、結果として復号結果を得る。そして、復号されたデータは、バス（参照画像データ出力信号）２１８よりＤＭＡコントローラ部６を介して、主記憶部３に確保された参照動画像データ記憶領域（図３の０ｘ３０００００００から始まる領域）へ出力される。
【００３５】
一方、符号化処理の結果として生成された符号化データは、出力ＦＩＦＯ部１０６を経由し、バス（符号化データ出力信号）２０２を介して出力される（図８のｔ４〜ｔ９）。この時、バス２０２から有効な符号化データが出力されている期間であることを表す符号化データ出力の有効期間表示信号（バス２０３を介して送出される信号）が’１’になっている（図８のｔ３〜ｔ１０）。
【００３６】
１枚目のピクチャ・データに対応したすべての符号化処理動作が完了すると、ステップＳ１０８では制御部１０７はバス２０６上に動作中表示信号として’０’を出力し、ＣＰＵ部４へその旨を通知する（図８のｔ１０）。なお、画像符号化部１は１枚目のピクチャ・データに対応した符号化データのすべてをバス２０２から出力している。よって、シフタ部１０５および出力ＦＩＦＯ部１０６には残留する１枚目のピクチャに対応した符号化データは存在しないことに注意されたい。さらに、図８のｔ１０において符号化データ出力の有効期間指示表示信号（バス２０３）に’０’が出力されていることから、ＣＰＵ部４は１枚のピクチャから成る完全な符号化データとしてバス２０２上に出力された符号化データを受け取る。
【００３７】
ここで、制御部１０７が画像符号化部１の内部に残留する符号化データを排出する手順を、図６を用いてより詳細に説明する。
【００３８】
制御部１０７は、エントロピー符号化部１０４において１枚目（ＭＰＥＧ＃１）のピクチャに対するすべての符号化処理動作が完了したかどうかを監視している。そして符号化処理動作が完了したことを検知した場合には、処理をステップＳ２０１を介してステップＳ２０２に進める。ステップＳ２０２では、制御部１０７はまずバス２１１を介して有効ビット数表示信号を受け、その時点でシフタ部１０５内に残留している有効ビット数を検出する。更にステップＳ２０２では、制御部１０７は、すべての有効データがシフタ部１０５から出力ＦＩＦＯ部１０６へ出力されるのに必要なビット数分の連続する’０’から成るパディング・ビットを挿入する。例えば、１バイト毎にシフタ部１０５から出力ＦＩＦＯ部１０６へ有効データが出力される場合は、シフタ部１０５内部の有効ビット・データが１バイトになるようにパディング・ビットを挿入する必要がある。
【００３９】
シフタ部１０５へのパディング・ビットの挿入が完了したら、制御部１０７は再度有効ビット数表示信号２１１を監視する。そして、ステップＳ２０３では、シフタ部１０５内部のすべての有効データが出力ＦＩＦＯ部１０６へ出力された結果として有効ビット数が’０’となったかをチェックする。有効ビット数が’０’となった場合には処理をステップＳ２０４に進める。
【００４０】
ステップＳ２０４では、制御部１０７は、出力ＦＩＦＯ部１０６の内部に残留する有効なバイト・データを符号化データ出力信号としてバス２０２上へすべて出力するために、残留バイト・データ排出指示（バス２１２）に’１’を設定する。その後、ステップＳ２０５では、制御部１０７は有効バイト数表示信号（バス２１３）を監視し、出力ＦＩＦＯ部１０６内部の全ての有効なバイト・データがバス２０２上へ出力された結果として有効バイト数が’０’となったかをチェックする。
【００４１】
有効バイト数が’０’となった場合には処理をステップＳ２０６に進め、シフタ部１０５および出力ＦＩＦＯ部１０６に残留していたすべての有効なデータが排出された後に、制御部１０７は動作中表示信号としてバス２０６上に’０’を出力する。バス２０６に’０’を出力すると、処理をステップＳ１０８を介してステップＳ１０９に進める。
【００４２】
図５に戻って次にステップＳ１０９〜Ｓ１１１では、ＣＰＵ部４は、退避内部データ入出力指示信号としてバス２１４上に’１’を出力する（図８のｔ１１）。これは、記憶部１０８に記憶されているＭＰＥＧ方式による符号化処理に必要な各種動作パラメータや符号化動作中に使用する一時的な各種変数を、退避内部データ出力信号２１５により主記憶部３へ退避させるためである。それと同時にＣＰＵ部４はステップＳ１１２にて、ピクチャ符号化指示信号としてバス２０５上に’０’を出力し、さらに、残留符号化データ排出指示信号としてバス２０８上に’０’を出力する（図８のｔ１１）。
【００４３】
次にステップＳ１１３ではＣＰＵ部４は、内部データの主記憶部３への退避を開始させるために動作再開指示信号としてバス２０７上に’１’を出力する（図８のｔ１２）。制御部１０７による内部データの退避が開始されたことは、バス２０６上における動作中表示信号として’１’の出力を検知することにより確認できる（図８のｔ１３）。
【００４４】
従って、内部データの退避が開始されたことを検知した場合には処理をステップＳ１１４を介してステップＳ１１５に進め、ＣＰＵ部４はバス２０７上における動作再開指示信号を’０’に戻すことができる（図８のｔ１４）。バス２１５上における退避内部データ出力信号から、内部データ（＃１）の退避が完了すると、制御部１０７は動作中表示信号としてバス２０６上に’０’を出力すると共に、動作完了表示信号としてバス２０９上に’１’を出力する。これにより、一連のすべての符号化処理動作が完了した旨をＣＰＵ部４に通知する（ステップＳ１１６、図８のｔ１８）。最後にステップＳ１１７では、ＣＰＵ部４は、退避内部データ入力指示信号としてバス２１４上に’０’を出力する（図８のｔ１９）。
【００４５】
次に、ＣＰＵ部４は、上記ＭＰＥＧ方式による符号化処理と同一の垂直同期期間内において、同一の動画像データに対してＭｏｔｉｏｎ−ＪＰＥＧ方式による符号化処理を行う。このために、制御部１０７に対してバス２１７を介してＭｏｔｉｏｎ−ＪＰＥＧ方式による符号化処理で適用される各種動作パラメータを設定する。制御部１０７は、設定された各種動作パラメータを記憶部１０８へ記憶する。そして再度、ステップＳ１０４以降の処理を実行する。
【００４６】
即ち、上記ＭＰＥＧ方式により符号化処理を行った動画像データの入力が再び開始されると、ステップＳ１０４においてＣＰＵ部４は、バス２０５上にピクチャ符号化指示信号として’１’を出力する。これにより、１枚目（ＪＰＥＧ＃１）のピクチャの符号化データを出力することを画像符号化部１に対して指示する（図８のｔ１９）。更にステップＳ１０４において、ＣＰＵ部４は、残留符号化データの排出を行い、１枚のピクチャから成る完全な符号化データを画像符号化部１から出力させるために、バス２０８上に残留符号化データ排出指示信号として’１’を出力する（図８のｔ１９）。
【００４７】
次にステップＳ１０５では、ＣＰＵ部４は、一連の符号化処理動作を開始させるために動作開始指示信号としてバス２０４上に’１’を出力する（図８のｔ２０）。画像符号化部１による符号化処理動作が開始されたことは、動作中表示信号としてバス２０６上に’１’が出力されたことを検知することで確認できる（図８のｔ２１）。従って、バス２０６上に’１’が出力されたことを検知した場合には処理をステップＳ１０６を介してステップＳ１０７に進め、ＣＰＵ部４は動作開始指示信号２０４を’０’に戻すことができる（図８のｔ２２）。
【００４８】
入力ＦＩＦＯ部１０１へバス（画像データ入力信号）２０１経由で入力された１枚目のピクチャ・データは、動き予測補償部１０９をバイパスされる。そして、１枚目のピクチャ・データは、ＤＣＴ部１０２→量子化部１０３→エントロピー符号化部１０４→シフタ部１０５により順次処理され、結果として符号化データが生成される。
【００４９】
符号化処理の結果として生成された符号化データは、出力ＦＩＦＯ部１０６を経由してバス２０２から出力される（図８のｔ２２〜ｔ２５）。この時、バス２０２から有効な符号化データが出力されている期間であることを表す符号化データ出力の有効期間表示信号（バス２０３を介して送出される信号）が’１’になっている（図８のｔ２１〜ｔ２６）。
【００５０】
１枚目のピクチャ・データに対応したすべての符号化処理動作が完了すると、ステップＳ１０８では制御部１０７は動作中表示信号としてバス２０６上に’０’を出力し、ＣＰＵ部４へその旨を通知する（図８のｔ２６）。この時、画像符号化部１は１枚目のピクチャ・データに対応した符号化データのすべてをバス２０２から出力している。よって、シフタ部１０５および出力ＦＩＦＯ部１０６には残留する１枚目のピクチャに対応した符号化データは存在しないことに注意されたい。さらに、図８のｔ２６において符号化データ出力の有効期間指示表示信号（バス２０３）に’０’が出力されていることから、ＣＰＵ部４は１枚のピクチャから成る完全な符号化データとしてバス２０２上に出力された符号化データを受け取る。
【００５１】
次にステップＳ１０９〜ステップＳ１１１において、ＣＰＵ部４は、退避内部データ入出力指示信号としてバス２１４上に’１’を出力する（図８のｔ２７）。これは、記憶部１０８に記憶されている、ＪＰＥＧ方式による符号化処理に必要な各種動作パラメータや符号化動作中に使用する一時的な各種変数を、退避内部データ出力信号２１５により主記憶部３へ退避させるためである。それと同時にＣＰＵ部４はステップＳ１１２にて、ピクチャ符号化指示信号としてバス２０５上に’０’を出力し、さらに、残留符号化データ排出指示信号としてバス２０８上に’０’を出力する（図８のｔ２７）。
【００５２】
次にＣＰＵ部４はステップＳ１１３にて、内部データの主記憶部３への退避を開始させるために動作再開指示信号としてバス２０７上に’１’を出力する（図８のｔ２８）。制御部１０７による内部データの退避が開始されたことは、動作中表示信号としてバス２０６上に’１’が出力されたことを検知することにより確認できる（図８のｔ２９）。
【００５３】
従って、内部データの退避が開始されたことを検知した場合には処理をステップＳ１１４を介してステップＳ１１５に進め、ＣＰＵ部４は動作再開指示信号２０７を’０’に戻すことができる（図８のｔ３０）。バス２１５上における退避内部データ出力信号から内部データ（＃１’）の退避が完了すると、制御部１０７は動作中表示信号としてバス２０６上に’０’を出力すると共に、動作完了表示信号としてバス２０９上に’１’を出力する。これにより、一連のすべての符号化処理動作が完了した旨をＣＰＵ部４に通知する（ステップＳ１１６、図８のｔ３４）。最後にステップＳ１１７では、ＣＰＵ部４は、退避内部データ入力指示信号としてバス２１４上に’０’を出力する（図８のｔ３５）。
【００５４】
以上、説明したように、ＭＰＥＧ方式による１枚目（ＭＰＥＧ＃１）のピクチャの符号化処理と、Ｍｏｔｉｏｎ−ＪＰＥＧ方式による１枚目（ＪＰＥＧ＃１）のピクチャの符号化処理とが同一の垂直同期期間内（図８のｔ１〜ｔ４５）に行われた。
【００５５】
引き続き、ＭＰＥＧ方式による２枚目（ＭＰＥＧ＃２）のピクチャに対する符号化処理と、Ｍｏｔｉｏｎ−ＪＰＥＧ方式による２枚目（ＪＰＥＧ＃２）のピクチャの符号化処理とが同一垂直同期期間内（図８ｔ４５〜ｔ８９）に行われる。ＣＰＵ部４による画像符号化部１への操作は１枚目（ＭＰＥＧ＃１、ＪＰＥＧ＃１）のピクチャに対するものとほぼ同様である。しかし、実際の符号化処理に先立って主記憶部３の画像符号化部内部データ退避領域（図３の０ｘ５０００００００から始まる領域）に退避された内部データを読み出す動作が追加されている。
【００５６】
ＭＰＥＧ方式による２枚目（ＭＰＥＧ＃２）のピクチャに対する符号化処理に先立っては、ステップＳ１０１〜Ｓ１０３にて、ＣＰＵ部４は退避内部データ入出力指示信号としてバス２１４上に’１’を出力する（図８のｔ４５）。
【００５７】
さらに、上記したのと同様に、画像符号化部１への動画像データの入力が開始されると、ステップＳ１０４においてＣＰＵ部４は、ピクチャ符号化指示信号としてバス２０５上に’１’を出力する。これによりＣＰＵ部４は、２枚目（ＭＰＥＧ＃２）のピクチャの符号化データを出力することを画像符号化部１に対して指示する（図８のｔ４５）。更にステップＳ１０４においてＣＰＵ部４は、残留符号化データの排出を行い、１枚のピクチャから成る完全な符号化データを画像符号化部１から出力させるために、残留符号化データ排出指示信号としてバス２０８上に’１’を出力する（図８のｔ４５）。
【００５８】
次にステップＳ１０５では、ＣＰＵ部４は、一連の符号化処理動作を開始させるために動作開始指示信号としてバス２０４上に’１’を出力する（図８のｔ４６）。画像符号化部１による符号化処理動作が開始されたことは、バス２０６上に動作中表示信号として’１’が出力されたことを検知することにより確認できる（図８のｔ４７）。従って、バス２０６上に’１’が出力された場合には処理をステップＳ１０６を介してステップＳ１０７に進め、ＣＰＵ部４は動作開始指示信号２０４を’０’に戻すことができる（図８のｔ４８）。
【００５９】
制御部１０７は、退避内部データ入力信号２１６を介して１枚目（ＭＰＥＧ＃１）のピクチャを符号化した際の内部データを読み出して記録部１０８へ記憶する（図８のｔ４８〜ｔ５０）。その後自動的に上記手順と同様に２枚目（ＭＰＥＧ＃２）のピクチャの符号化処理を行う（図８のｔ５２〜ｔ５９）。
【００６０】
Ｍｏｔｉｏｎ−ＪＰＥＧ方式による２枚目（ＪＰＥＧ＃２）のピクチャに対する符号化処理に先立っては、やはり同様にＣＰＵ部４は、Ｍｏｔｉｏｎ−ＪＰＥＧ方式による１枚目（ＪＰＥＧ＃１）のピクチャに対する符号化処理を行う。その後に主記憶部３に退避されていた内部データを読み出す動作が追加されているが、ＭＰＥＧ方式による２枚目（ＭＰＥＧ＃２）とまったく同じ動作となるので、説明は省略する。
【００６１】
以上、説明したように、ＭＰＥＧ方式による２枚目（ＭＰＥＧ＃２）のピクチャの符号化処理と、Ｍｏｔｉｏｎ−ＪＰＥＧ方式による２枚目（ＪＰＥＧ＃２）のピクチャの符号化処理とが同一の垂直同期期間内（図８のｔ４５〜ｔ８９）に行われた。
【００６２】
最後に、ＭＰＥＧ方式によるＮ枚目（ＭＰＥＧ＃Ｎ）のピクチャに対する符号化処理と、Ｍｏｔｉｏｎ−ＪＰＥＧ方式によるＮ枚目（ＪＰＥＧ＃Ｎ）のピクチャの符号化処理とが同一垂直同期期間内（図９のｔ４５〜ｔ８９）に行われる。
【００６３】
ＣＰＵ部４による画像符号化部１への操作は２枚目（ＭＰＥＧ＃２、ＪＰＥＧ＃２）のピクチャに対するものとほぼ同様である。しかし、これが最後の符号化処理であるために、主記憶部３の画像符号化部内部データ退避領域（図３の０ｘ５０００００００から始まる領域）への内部データの退避が行われていないことに注意されたい。以下、説明は省略する。
【００６４】
次に、画像符号化部１に入力された動画像データに対して単一のＭＰＥＧ方式による符号化処理手順を説明する。
【００６５】
撮像・画像処理部２により撮影され所望の画像処理が施された動画像データはＤＭＡコントローラ部６を経由して一時的に主記憶部３に記憶される（図４の０ｘ１０００００００から始まる領域）。その動画像データはＤＭＡコントローラ部５により順次読み出され、画像データ入力信号としてバス２０１を介して画像符号化部１へ入力される。
【００６６】
画像符号化部１への動画像データの入力が開始されると、ステップＳ３０１においてＣＰＵ部４は、ピクチャ符号化指示信号としてバス２０５上に’１’を出力する。これにより、１枚目（ＭＰＥＧ＃１）のピクチャの符号化データを出力することを画像符号化部１に対して指示する（図１０のｔ１）。
【００６７】
次にステップＳ３０２では、ＣＰＵ部４は、一連の符号化処理動作を開始させるために動作開始指示信号としてバス２０４上に’１’を出力する（図１０のｔ２）。画像符号化部１による符号化処理動作が開始されたことは、動作中表示信号としてバス２０６上に’１’が出力されたことを検出することにより確認できる（図１０のｔ３）。従って、バス２０６上に’１’が出力された場合には処理をステップＳ３０３を介してステップＳ３０４に進め、ＣＰＵ部４は動作開始指示信号２０４を’０’に戻すことができる（図１０のｔ４）。
【００６８】
入力ＦＩＦＯ部１０１へ画像データ入力信号２０１経由で入力された１枚目のピクチャ・データは、動き予測補償部１０９→ＤＣＴ部１０２→量子化部１０３→エントロピー符号化部１０４→シフタ部１０５により順次処理される。これにより、結果として符号化データが生成される。
【００６９】
符号化処理の結果として生成された符号化データは、出力ＦＩＦＯ部１０６を経由して符号化データ出力信号としてバス２０２から出力される（図１０のｔ４〜ｔ９）。この時、符号化データ出力信号としてバス２０２から有効な符号化データが出力されている期間であることを表す符号化データ出力の有効期間表示信号２０３が’１’になっている（図１０のｔ３〜）。
【００７０】
また、同時に量子化部１０３から出力される量子化されたＤＣＴ係数は、逆量子化部１１０→逆ＤＣＴ部１１１→動き予測補償部１０９→出力ＦＩＦＯ部１１２と順次処理され、結果として復号結果を得る。そして、復号されたデータは、参照画像データ出力信号としてバス２１８よりＤＭＡコントローラ部６を介して、主記憶部３に確保された参照動画像データ記憶領域（図４の０ｘ３０００００００から始まる領域）へ出力される。
【００７１】
１枚目のピクチャ・データに対応したすべての符号化処理動作が完了すると、ステップＳ３０５において制御部１０７は、動作中表示信号としてバス２０６上に’０’を出力し、ＣＰＵ部４へその旨を通知する（図１０のｔ１１）。この時、シフタ部１０５および出力ＦＩＦＯ部１０６は、１枚目のピクチャ・データに対応した符号化データの一部をその内部に残留させていることに注意されたい。すなわち、図１０のｔ４〜ｔ９の期間に符号化データ出力信号としてバス２０２上に出力された符号化データは、１枚目のピクチャのほとんどに対応しているがすべてではない。
【００７２】
引き続いて２枚目（ＭＰＥＧ＃２）のピクチャの符号化処理動作を開始するために、ステップＳ３０６，Ｓ３０７においてＣＰＵ部４は、動作再開指示信号としてバス２０７上に’１’を出力する（図１０のｔ１４）。画像符号化部１による２枚目のピクチャ・データに対する符号化処理動作が再開されたことは、動作中表示信号としてバス２０６上に’１’が出力されたことを検知したことにより確認できる（図１０のｔ１５）。
【００７３】
従って、２枚目のピクチャ・データに対する符号化処理動作が再開された場合には、処理をステップＳ３０８を介してステップＳ３０９に進め、ＣＰＵ部４は、動作再開指示信号２０７を’０’に戻すことができる（図１０のｔ１６）。入力ＦＩＦＯ部１０１へ画像データ入力信号２０１経由で入力された２枚目のピクチャ・データは、ＤＣＴ部１０２→量子化部１０３→エントロピー符号化部１０４→シフタ部１０５により順次処理を施される。これにより、符号化処理がなされ、符号化データを得る。
【００７４】
符号化処理の結果として生成された符号化データは、出力ＦＩＦＯ部１０６を経由して符号化データ出力信号としてバス２０２から出力される（図１０のｔ１６〜ｔ２１）。この時、符号化データ出力信号としてバス２０２から有効な符号化データが出力されている期間であることを表す符号化データ出力の有効期間表示信号２０３は、図１０のｔ３において’１’が出力された状態を保っている。２枚目のピクチャ・データに対応したすべての符号化処理動作が完了すると、ステップＳ３０５において制御部１０７は動作中表示信号としてバス２０６上に’０’を出力し、ＣＰＵ部４へその旨を通知する（図１０のｔ２３）。この時、シフタ部１０５および出力ＦＩＦＯ部１０６は、２枚目のピクチャ・データに対応した符号化データの一部をその内部に残留させていることに注意されたい。すなわち、図１０のｔ１６〜ｔ２１の期間に符号化データ出力信号としてバス２０２上に出力された符号化データは２枚目のピクチャのほとんどに対応しているがすべてではない。
【００７５】
さらに、図１０を参照すると、ｔ１６〜ｔ２１の期間には符号化データ出力信号としてバス２０２上に出力された符号化データの先頭に位置する符号化データが存在する。これは、１枚目のピクチャに対する符号化処理動作を行った際にシフタ部１０５および出力ＦＩＦＯ部１０６に残留していた１枚目のピクチャに対応する符号化データに対応するものである。
【００７６】
引き続く３枚目（ＭＰＥＧ＃３）のピクチャに対する符号化処理動作は、２枚目のピクチャに対する符号化処理動作とまったく同じであるので、説明を省略する。
【００７７】
最後に、画像符号化部１による一連のすべての符号化処理動作を完了する手順を説明する。すべてのピクチャの符号化処理動作が完了した場合、処理をステップＳ３０６を介してステップＳ３１０に進め、ＣＰＵ部４はピクチャ符号化指示信号２０５を’０’に戻す（図１０のｔ３７）。さらにステップＳ３１１では、動作再開指示信号としてバス２０７上に’１’を出力する（図１０のｔ３８）。これにより、その旨を画像符号化部１へ通知する。３枚目のピクチャに対する符号化処理動作においては、シフタ部１０５および出力ＦＩＦＯ部１０６の内部に３枚目のピクチャに対応した符号化データが残留している。そのため、前述した図６の手順により当該残留符号化データをすべて排出する（図１０のｔ４０〜ｔ４２）。
【００７８】
更に、ＭＰＥＧ−１方式やＭＰＥＧ−２方式ではシンタックス上の全てのビデオ層を符号化データとして完全化するためには符号化データの最後に３２ビットから成るシーケンス・エンド・コード（ｓｅｑｕｅｎｃｅ＿ｅｎｄ＿ｃｏｄｅ）を出力する必要がある。残留符号化データとシーケンス・エンド・コード等を符号化データ出力信号上へ出力し終えた時点において、出力ＦＩＦＯ部２０３は符号化データ出力の有効期間表示信号２０３を’０’に戻す（図１０のｔ４３）。
【００７９】
また、３枚目の符号化処理動作が完了した時点では画像符号化部１は動作を中断して次のピクチャの符号化処理動作に備えている状態であるので、これを正常に終了させる必要がある。具体的には、一連の符号化処理動作の過程で画像符号化部１の内部で発生した状態をＣＰＵ部４へ通知するなどがある。
【００８０】
画像符号化部１内部での所望の終了動作が完了した時点で、画像符号化部１は動作中表示信号としてバス２０６上に’０’を出力する。そして、それと共にステップＳ３１２では動作完了表示信号としてバス２０９上に’１’を出力し、一連のすべての符号化処理動作が完了した旨をＣＰＵ部４に通知する（図１０のｔ４４）。
【００８１】
なお、本実施形態においては、画像符号化部１に入力された動画像データに対してＭＰＥＧ方式とＭｏｔｉｏｎ−ＪＰＥＧ方式との複数の符号化方式による符号化処理を適用して説明した。しかし、ＪＰＥＧ方式やＨ．２６４方式など他の異なる符号化方式同士の組み合わせによる符号化処理に対しても同様に適用可能である。
【００８２】
さらに、ＭＰＥＧ方式などの動画像符号化とＪＰＥＧ方式などの静止画符号化との複数の符号化方式による符号化処理に適用される。そして、その符号化処理を行う場合において、符号化される静止画は複数の画像領域に分割され、複数の垂直同期期間で各々の分割された静止画領域が符号化される符号化処理に対しても同様に適用可能である。
【００８３】
さらに、画像符号化部１に入力された動画像データに対して同一の符号化方式であるが例えば画像サイズが異なる二つの符号化データを生成する符号化処理に対しても同様に適用可能である。
【００８４】
以上の説明により、本実施形態によれば、ディジタルカメラやビデオカメラなどの広く利用されている情報端末において単一の画像サイズと符号化方式の符号化データを生成する画像符号化装置として適用が可能である。
【００８５】
また、遠隔地映像発信システムなどにおいて画像サイズや符号化方式が異なる複数の符号化データが多重化された符号化データを生成する画像符号化装置としても適用が可能な、高機能で安価な画像符号化装置を提供することが可能である。
【００８６】
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００８７】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８８】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８９】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００９０】
【図１】本実施形態に係る画像符号化装置の機能構成を示すブロック図である。
【図２】本実施形態に係る画像符号化装置を適用した遠隔地映像発信システムの構成を示すブロック図である。
【図３】ＭＰＥＧ方式とＭｏｔｉｏｎ−ＪＰＥＧ方式との複数の符号化方式による符号化処理を行う場合の主記憶部３のアドレスマップを示す図である。
【図４】単一のＭＰＥＧ方式による符号化処理を行う場合の主記憶部３のアドレスマップを示す図である。
【図５】画像符号化部１に入力された動画像データに対してＭＰＥＧ方式とＭｏｔｉｏｎ−ＪＰＥＧ方式との複数の符号化方式による符号化処理を行う場合に、利用者が画像符号化部１を操作する手順を表すフローチャートである。
【図６】利用者から残留符号化データ排出を指示された制御部１０７が画像符号化部１の内部に残留する符号化データを排出する手順を表すフローチャートである。
【図７】画像符号化部１に入力された動画像データに対して単一のＭＰＥＧ方式による符号化処理を行う場合に、利用者が画像符号化部１を操作する手順を表すフローチャートである。
【図８】図５のフローチャートと関連して、画像符号化部１に入力された動画像データに対してＭＰＥＧ方式とＭｏｔｉｏｎ−ＪＰＥＧ方式との複数の符号化方式による符号化処理を行う場合の、最初の２垂直同期期間を示した信号波形を示す図である。
【図９】図５のフローチャートと関連して、画像符号化部１に入力された動画像データに対してＭＰＥＧ方式とＭｏｔｉｏｎ−ＪＰＥＧ方式との複数の符号化方式による符号化処理を行う場合の、最後の２垂直同期期間を示した信号波形を示す図である。
【図１０】図７のフローチャートと関連して、画像符号化部１に入力された動画像データに対して単一のＭＰＥＧ方式による符号化処理を行う場合の信号波形を示す図である。
【図１】
2007174396.tif 000003
【図２】
2007174396.tif 000004
【図３】
2007174396.tif 000005
【図４】
2007174396.tif 000006
【図５】
2007174396.tif 000007
【図６】
2007174396.tif 000008
【図７】
2007174396.tif 000009
【図８】
2007174396.tif 000010
【図９】
2007174396.tif 000011
【図１０】
2007174396.tif 000012