(57)【要約】【課題】  圧縮符号化された画像のデータを処理する画像圧縮処理装置で、出力データのビットレートを、確実に目標ビットレート以下に制御する。【解決手段】  ビットレート判断処理手段が圧縮符号化された画像データに基づいて、実効ビットレートが目標ビットレートを越えると判断した時にデータ削除タイミングを供給する。圧縮データ削除手段がビットレート判断手段から供給されるデータ削除タイミングを参照して所定の圧縮データを削除する。量子化設定手段がビットレート判断手段から供給されるデータ削除タイミングを参照して、次フレームの圧縮符号化処理で量子化の設定を目標ビットレート以下となるように設定する。符号化タイプ指定手段がビットレート判断手段から供給されるデータ削除タイミングを参照して、次フレームの圧縮符号化処理で符号化タイプを I-VOP に切替える。【選択図】  図１
2005277982.tif 000002
【特許請求の範囲】
【請求項１】
圧縮符号化された画像のデータを処理する画像圧縮処理装置において、
所定の値より実効ビットレートが大きくなった場合に所定の圧縮データを削除する圧縮データ削除手段と、
上記圧縮データ削除手段で削除すると共に、次フレームの圧縮符号化処理で符号化タイプをフレーム内符号化に切替える符号化タイプ指定手段と、
を備えたことを特徴とする画像圧縮処理装置。
【請求項２】
請求項１記載の画像圧縮処理装置において、上記圧縮データ削除手段は、伝送路ビットレートより実効ビットレートが大きくなった場合に所定の圧縮データを削除する圧縮データ削除手段であることを特徴とする画像圧縮処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮符号化された画像のデータを処理する画像圧縮処理装置に関し、特に、ビットレートコントロールが可能な画像圧縮処理装置に関する。
【背景技術】
【０００２】
近年のデジタル化に伴い、監視システムや DVD（ Digital Versatile Disc ）、BS（ Broadcasting Satellite ）放送などにおいて、MPEG（ Moving Picture Experts Group ）方式などの動画像データの圧縮・伸張技術が利用され始めている。また、ADSL（ Asymmetric Digital Subscriber Line ）や CATV（ Cable Television ）といったブロードバンドに限らず、携帯電話や ISDN（ Integrated Services Digital Network ）などのナローバンドにおいても、圧縮効率が高い動画像圧縮方式である MPEG-4（ Moving Picture Experts Group Phase 4 ）方式を用いたTV （ Tele-Vision ）電話や映像コンテンツ配信が普及しつつある。
【０００３】
このようにデジタル化による画像伝送の用途の広がりに伴って、様々なインフラにおいて高品質の画像を伝送する要求が高まっている。例えば、ある携帯電話の TV 電話は回線容量が 64 kbps であり、その中で画像伝送に割当てられている帯域は 40 kbps 程度である。それ以外の帯域で音声や制御データなどを伝送しているため、画像データは必ず 40 kbps 以下に制御して伝送していなければならない。一方、MPEG-4 などの動画像圧縮符号化技術は、圧縮符号化により発生するデータ数をある程度想定して処理するが、数十バイト単位などといった高精度の制御が困難な圧縮アルゴリズムであり、画像の複雑度が常に変化する動画像を圧縮する場合は、想定する帯域の 1.5 〜 2 倍のデータを出力してしまう場合もある。前述の携帯電話の例では、画像データのビットレートが 40 kbps を超えた場合は、画像データや音声データ、その他データが破壊される。もし、画像データが破壊された場合、MPEG のように前後フレームの画像データを参照する予測符号化方式であれば、圧縮データが破壊されたフレームから予測のリファレンスとなるフレーム（以降、I-VOP と称する）になるまで、画像の乱れ、崩れが連続して発生する（特許文献１参照。）。
以降、I-VOP 以外の予測符号化を行うフレームを P-VOP と呼ぶことにする。I-VOP とは、インター符号化された VOP（ VOP：Video Object Plane ）のことであり、P-VOP とは、前方予測符号化された VOP である。
【０００４】
【特許文献１】特開２００３−３０９８４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述のように、画像圧縮処理装置では、圧縮符号化したデータ数を正確に制御することが困難な圧縮アルゴリズムであるため、制限された帯域よりも多くのデータが画像圧縮処理装置から出力してデータを破壊する可能性があり、高品質の画像伝送を確実に維持することが困難になることがあった。
本発明の目的は、上記のような問題を解決し、画像の乱れ、崩れを発生しない画像圧縮処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明の画像圧縮処理装置は、次のようにして圧縮符号化された画像のデータを処理する。
即ち、ビットレート判断処理手段が圧縮符号化された画像データに基づいて、実効ビットレートが目標ビットレートを越えると判断した時にデータ削除タイミングを供給する。そして、圧縮データ削除手段がビットレート判断手段から供給されるデータ削除タイミングを参照して所定の圧縮データを削除する。また、量子化設定手段がビットレート判断手段から供給されるデータ削除タイミングを参照して、次フレームの圧縮符号化処理で量子化の設定を目標ビットレート以下となるように設定する。かつ、符号化タイプ指定手段がビットレート判断手段から供給されるデータ削除タイミングを参照して、次フレームの圧縮符号化処理で符号化タイプを I-VOP に切替える。
このように圧縮符号化による圧縮データの実効ビットレートが、与えられた帯域を確実に越えないよう制御するビットレート判断処理部を有し、必要に応じて画像データを削除しつつ、高品質の画像伝送を確実に維持する。
従って、圧縮符号化された画像データについて、ビットレートをシステムにより定められたビットレート以内に制御することが可能であり、画像の乱れ、崩れを発生することなくビットレートコントロール機能を実現することが可能である。
【０００７】
処理対象の画像データとしては、種々なものが用いられてもよく、例えば、時間的に連続した複数のフレームから構成される動画像のデータや、時間的に連続していない静止画像のデータなどを用いることができる。
また、処理対象の画像データからデータ削除タイミングを供給する手段としては種々な手法が用いられてもよく、例えば、外部に設けたビットレート測定装置などから情報を入力することもできる。
また、データ削除タイミングを供給する条件としては、実効ビットレートが目標ビットレートを超えた時だけではなく、目標ビットレートに対する実効ビットレートの比による削除タイミング供給の条件とするなど、画像圧縮処理装置の要求仕様を満足する条件とすることができる。
また、データ削除タイミングを供給する条件として、目標ビットレートだけではなく、伝送路ビットレートに対する実効ビットレートの比による削除タイミング供給の条件とするなど、画像圧縮処理装置およびシステムの要求仕様を満足する条件とすることができる。
【発明の効果】
【０００８】
以上説明したように、本発明に係る画像圧縮処理装置によると、圧縮符号化された画像データから実効ビットレートを取得し、当該取得した実効ビットレートを用いて、実効ビットレートが目標ビットレートを越えたときに圧縮符号化されたデータを削除し、次に圧縮するフレームの符号化タイプを I-VOP とし、そのフレームの量子化設定を目標ビットレート以下となるように設定するようにしたため、圧縮符号化されたデータについて、目標ビットレート以下を確実に維持しつつ、画像の乱れ・崩れを発生しないレートコントロール機能を実現することが可能である。
【０００９】
即ち、本発明の画像圧縮装置において、ビットレート判断処理手段は、画像圧縮処理部から出力する圧縮データの実効ビットレートが目標ビットレートを越えたときに、データ削除タイミングを供給する手段を備える。
また、本発明の画像圧縮装置において、圧縮データ削除手段は、データ削除タイミングに同期して、出力する圧縮データを画像圧縮処理装置から出力しないよう削除する手段を備える。
また、本発明の画像圧縮装置において、量子化設定手段は、データ削除タイミングが発生したフレームの、次フレームにおける圧縮符号化おいて、実効ビットレートが目標ビットレート以下となるように、圧縮データ数を小さくなるよう量子化設定を調整する手段を備える。
また、本発明の画像圧縮装置において、処理対象となる圧縮符号化された画像のデータは、予測符号化を用いて圧縮符号化された画像のデータである。
【発明を実施するための最良の形態】
【００１０】
本発明の一実施例を図１によって説明する。図１は、本発明の画像圧縮装置の一実施例の構成を示すブロック図である。
図１の実施例では、例えば、MPEG-4（ ISO／IEC 14496 ）などの予測符号化による圧縮符号化方式を用いた場合である。1-1 は第１の加算機、1-2 は DCT（ Discrete Cosine Transform ）／量子化処理部、1-3 は可変長符号化処理部、1-4 はビットレート判定処理部、1-5 はデータ出力スイッチ、1-6 は符号化タイプ切替えスイッチ、1-7 は逆量子化／逆 DCT 処理部、1-8 は第２の加算機、1-9 はフレームバッファ、1-10 は動き検索処理部、1-11 は動き補償予測処理部、100 は画像データ入力端子、200 は圧縮データ出力端子である。また、1-(A) は画像データ、1-(B) は差分画像データ、1-(C) は量子化データ、1-(D) は圧縮データ、1-(E) は圧縮データ数、1-(F) は出力圧縮データ、1-(G) は逆 DCT データ、1-(H) は加算画像データ、1-(I) は遅延画像データ1-(J) は P-VOP 符号化の動き予測データ、1-(K) は I-VOP 符号化の動き予測データ、1-(L) は動き予測データ、1-(M) は動き情報、1-(N) はデータ削減タイミング信号である。
【００１１】
図１において、動画像のデータに対して行われる動作の一例を説明する。
初めに、動画像データの第１フレーム目の処理について説明する。MPEG-4 などの予測符号化による圧縮符号化方式では、前後フレームからの予測を行わない I-VOP への圧縮符号化を周期的に行い、予測のリファレンスとなるフレーム（ I-VOP ）を周期的に挿入することで、ある程度の画質の維持およびエラーによる画像乱れ、崩れから復帰する。このため、第１フレーム目は予測のリファレンスとなる必要があるため、符号化タイプは I-VOP である。
図１の入力端子 100 には、画像データ 1-(A) が、フレーム単位で、動画像の連続して次々に入力される。
【００１２】
画像圧縮処理装置に入力端子 100 を介して最初の画像データ 1-(A) が入力すると、画像データ 1-(A) は、まず第１の加算機 1-1 と動き検索処理部 1-10 へ入力される。
最初（即ち、第１フレーム目）の画像データ 1-(A) は、符号化タイプが I-VOP であるため、符号化タイプ切替えスイッチ 1-6 は、動き予測データ 1-(L) として I-VOP 符号化の動き予測データ 1-(K) を予測データ 1-(L) を出力する。
符号化タイプ切替えスイッチ 1-6 は、最初は入力 a と出力 c とが接続され I-VOP 符号化後、所定周期 P-VOP 処理の間、入力 b と出力 c とが接続されるように周期的に切替えられる。符号化タイプ切替えスイッチ 1-6 の出力である動き予測データ 1-(L) は、第１の加算機 1-1 と第２の加算機 1-8 とに出力される。
【００１３】
I-VOP 符号化動き予測データ 1-(K) の値は、常に“ 0 ”である。従って、第１の加算機 1-1 は、入力した画像データ 1-(A) から値“ 0 ”の動き予測データ 1-(L) を差分して、差分画像データ 1-(B) を出力することになる。即ち、入力端子 100 に入力された画像データ 1-(A) と同じデータを差分画像データ 1-(B) として DCT／量子化処理部 1-2 に出力する。
DCT／量子化処理部 1-2 は、入力された差分画像データ 1-(B) に DCT 処理と量子化処理を行い、量子化データ 1-(C) を可変長符号化処理部 1-3 と逆量子化／逆 DCT 処理部 1-7 とに出力する。
【００１４】
逆量子化／逆 DCT 処理部 1-7 は、入力された量子化データ 1(C) に対して逆量子化処理と逆 DCT 処理を行い、逆 DCT データ 1-(G) を第２の加算機 1-8 に出力する。
また、第２の加算機 1-8 の他方の入力に、動き予測データ 1-(L) が入力されるが、符号化タイプが I-VOP であるため、動き予測データ 1-(L) は、I-VOP 符号化の動き予測データ 1-(K) である（即ち、値“ 0 ”）。
【００１５】
第２の加算機 1-8 は、逆 DCT データ 1-(G) と動き予測データ 1-(L) とを加算して加算画像データ 1-(H) を出力する。即ち、第２の加算機 1-8 は、入力される動き予測データ 1-(L) の値が“ 0 ”のため、入力された逆 DCT データ 1-(G) と同じデータを、加算画像データ 1-(H) としてフレームバッファ 1-9 に出力する。
フレームバッファ 1-9 は、入力された加算画像データ 1-(H) を次のフレーム処理まで蓄積してから動き補償予測処理部 1-11 に出力する。
【００１６】
一方、動き検索処理部 1-10 は、I-VOP 符号化時においては動き検出処理を行わない。このため、動き情報 1-(M) は「動きがない」という情報であり、この情報が動き補償予測処理部 1-11 と可変長符号化処理部 1-3 へ出力される。
可変長符号化処理部 1-3 は、量子化データ 1-(C) と動き情報 1-(M) を与えられ、入力された量子化データ 1-(C) と動き情報 1-(M) に対して可変長符号化処理を行い、圧縮データ 1-(D) をデータ出力スイッチ 1-5 の入力端子に出力し、圧縮データ数 1-(E) をビットレート判定処理部 1-4 に出力する。
【００１７】
ビットレート判定処理部 1-4 は、過去 n フレームに渡る圧縮データ数 1-(E) を加算した結果から圧縮データ 1-(D) の実効ビットレートを算出し、実効ビットレートが目標ビットレートを越えるかどうかを判断する（ n は自然数）。ここでは、目標ビットレートを越えないことを想定して説明すると、ビットレート判定処理部 1-4 は、現在フレームを含めた過去 n フレームに渡る 1-(E) を保持し、何も信号を出力しない。
ビットレート判定処理部 1-4 から信号を受け取らないデータ出力スイッチ 1-5 は、圧縮データ 1-(D) を出力圧縮データ 1-(F) として画像圧縮処理装置より出力端子 200 を介して出力する。
【００１８】
次に、動画像データの第２フレーム目以降の処理について説明する。第２フレーム目以降では、予測符号化を行う P-VOP の符号化タイプで符号化が行われ、I-VOP の符号化を行う周期になるまで、P-VOP の符号化を繰り返す。
図１において、画像圧縮処理装置に最初の第２フレーム目の画像データ 1-(A) が入力端子入力すると、まず第１の加算機 1-1 と動き検索処理部 1-10 へ入力される。
動き検索処理部 1-10 は、第１フレーム目の画像データ 1-(A) から動いた箇所を検索し、その情報を動き情報 1-(M) として動き補償予測処理部 1-11 と可変長符号化処理部 1-3 に出力する。ここで、第１フレーム目にフレームバッファ 1-9 へ蓄積されていた 加算画像データ 1-(H) が、遅延画像データ 1-(I) として動き補償予測処理部 1-11 へ出力される。
【００１９】
動き補償予測処理部 1-11 は、遅延画像データ 1-(I) と動き情報 1-(M) とを基に、遅延画像データ 1-(I) から動きが発生したであろう座標の画像を算出し、これを P-VOP 符号化の動き予測データ 1-(J) として符号化タイプの切替えスイッチ 1-6 の入力端子 b に出力する。
符号化タイプが P-VOP であるため、符号化タイプ切替えスイッチ 1-6 は、入力端子 b と出力端子 c とが接続された状態となっており、動き予測データ 1-(L) として P-VOP 符号化の動き予測データ 1-(J) を出力端子 c から出力する。
【００２０】
第１の加算機 1-1 は、入力された画像データ 1-(A) から動き予測データ 1-(L) を差分して、差分画像データ 1-(B) を DCT／量子化処理部 1-2 に出力する。
DCT／量子化処理部 1-2 は、差分画像データ 1-(B) を DCT 処理および量子化処理し、量子化データ 1-(C) として可変長符号化処理部 1-3 と逆量子化／逆 DCT 処理部 1-7 に出力する。
逆量子化／逆 DCT 処理部 1-7 は、量子化データ 1(C) に逆量子化処理および逆 DCT 処理を行い、第２の加算機 1-8 に出力する。ここで、符号化タイプ切替えスイッチ 1-6 が動き予測データ 1-(L) を第２の加算機 1-8 に与えるが、符号化タイプが P-VOP であるため、動き予測データ 1-(L) は、P-VOP 符号化動き予測データ 1-(J) である。
【００２１】
第２の加算機 1-8 は、逆 DCT データ 1-(G) と動き予測データ 1-(L) とを加算して加算画像データ 1-(H) をフレームバッファ 1-9 に出力する。フレームバッファ 1-9 は、加算画像データ 1-(H) を次のフレーム処理まで蓄積してから動き補償予測処理部 1-11 に出力する。
【００２２】
一方、量子化データ 1-(C) と動き情報 1-(M) を入力された可変長符号化処理部 1-3 は、量子化データ 1-(C) と動き情報 1-(M) に対して可変長符号化処理を行い、圧縮データ 1-(D) をデータ出力スイッチ 1-5 へ入力し、圧縮データ数 1-(E) をビットレート判定処理部 1-4 に出力する。
ビットレート判定処理部 1-4 は、過去 n フレームに渡る圧縮データ数 1-(E) を加算した結果から、圧縮データ 1-(D) の実効ビットレートを算出し、実効ビットレートが目標ビットレートを越えるかどうかを判定する。ここでは、目標ビットレートを越えないことを想定して説明すると、ビットレート判定処理部 1-4 は、現在フレームを含めた過去 n フレームに渡る圧縮データ数 1-(E) を保持し、何も信号を出力しない。ビットレート判定処理部 1-4 から信号を受け取らないデータ出力スイッチ 1-5 は、圧縮データ 1-(D) を出力圧縮データ 1-(F) として、出力端子 200 を介して画像圧縮処理装置より出力する。
第３フレーム目以降についても、上記と同様な処理を繰り返して行う。
【００２３】
ここで、ビットレート判定処理部 1-4 における処理の結果、実効ビットレートが目標ビットレートを越える場合について説明する。これは、I-VOP の符号化および P-VOP の符号化に関わらず、同一の処理である。実効ビットレートが目標ビットレートを越えると、ビットレート判定処理部 1-4 は、データ削除タイミング信号 1-(N) をデータ出力スイッチ 1-5 、DCT／量子化処理部 1-2 、及び、符号化タイプ切り替えスイッチ 1-6 に出力する。
【００２４】
データ削除タイミング信号 1-(N) を入力したデータ出力スイッチ 1-5 は、スイッチ回路をオープンとし、現フレームの圧縮データ 1-(D) を出力しない。即ち、現フレームの圧縮符号化処理においては圧縮符号化処理部からデータが出力しない。
【００２５】
また、データ削除タイミング信号 1-(N) を入力した符号化タイプ切り替えスイッチ 1-6 は、次のフレームの符号化タイプを、強制的に I-VOP の符号化とする。つまり、次フレームの出力の動き予測データ 1-(L) を I-VOP 符号化の動き予測データ 1-(K) とするようにスイッチを切替える。
【００２６】
また、データ削除タイミング信号 1-(N) を入力した DCT／量子化処理部 1-2 は、次のフレームに出力する量子化データ 1-(C) のデータ数が極端に小さくなるように、量子化の設定を調整する。
【００２７】
次に、図２と図４を参照して、本例の画像圧縮処理装置により行われる圧縮データ出力処理の流れの一例を示す。図２は、本発明を実施した場合の画像圧縮処理の一例を示す図であり、図４は、本発明を実施しなかった場合の画像圧縮処理の一例を示す図である。図２と図４において、横軸は時間を示し、縦軸は、(a) が出力データ 1-(F) 、(b) が圧縮データ 1-(E) （単位：byte／frame ）、(c) が実行ビットレート（単位：bit／sec ）を示す。
また、図３は、図４の結果に至る画像圧縮処理装置の構成を示すブロック図である。図３の構成は、図１の構成から、ビットレート判定処理部 1-4 とデータ出力スイッチ 1-5 とそれらとの接続線を除いた構成のものである。
【００２８】
図２には、図１に示される出力圧縮データ 1-(F) について、具体的に出力するフレームの例を示し、併せて一例として、圧縮データ数 1-(E) とビットレート判定処理部 1-4 で算出している実効ビットレートの推移を示した。図２の横方向は時間的な処理の流れ（フレーム単位での流れ）として、第１フレーム目〜第１３フレーム目を表している。
【００２９】
画像圧縮処理装置から出力する第１フレーム目 2-1 から第５フレーム目 2-5 までは、実効ビットレートが目標ビットレートを越えない場合である。次に、第６フレーム目 2-6 を画像圧縮処理部から出力したとすると、実効ビットレートが目標ビットレートを越えるとビットレート判定処理部 1-4 が判定したとする。これは、図２の第６フレーム目における破線に相当するが、図４の第６フレーム目 4-6 の現象が起きたときの状態である。このとき、画像圧縮処理部からは第６フレーム目 2-6 が出力されず、画像圧縮処理部内で削除される。このため、圧縮データ数 1-(E) は 0［ byte/frame ］であり、実効ビットレートが急激に低下する。これは、図２の第６フレーム目における実線に相当する。
【００３０】
次に、第７フレーム目では、出力圧縮データ 1-(F) が削除された次のフレームであるため、強制的に I-VOP の符号化タイプとなる。また、低発生符号量となるように強制的に量子化を設定されているため、圧縮データ数 1-(E) のサイズも I-VOP の割には小さいサイズとなる。このため、実効ビットレートが急激に増加して目標ビットレートを越えるのを回避する。量子化の設定は、例えば、通常時の I-VOP の圧縮率を 1.6 とすると、1.3 である。この圧縮平均率は、例えば、ターゲットビットレート 800 kbps 、フレームレート 30 fps 、解像度 VGA 、イントラレート 30 frame を条件として、モデル化した結果である。
第８フレーム目以降は、実効ビットレートが目標ビットレートを越えないため、強制的に I-VOP の符号化タイプにすることがない。
【００３１】
以上のように、本例の画像圧縮処理装置では、入力する画像に対し圧縮符号化処理を行い、それにより発生する圧縮データを伝送容量が有限である伝送手段に出力する構成において、符号化による発生データ量を継続的に監視し、圧縮データを伝送手段に出力することで実行ビットレートが伝送容量を越えると判断した場合、圧縮データを出力せずに削除することを例えば自動的に実行する。また、本例の画像圧縮処理装置では、圧縮データを削除した次のフレームの圧縮処理において、予測符号化のリファレンスとなる符号化タイプとし、圧縮データ数が小さくなるように量子化設定を行う機能を搭載している。
【００３２】
このように、本発明の画像圧縮処理装置では、目標ビットレートを越える圧縮データを削除することで、確実に目標ビットレート以下に制御するレートコントロール機能を実現する。また、圧縮データを削除した次フレームの圧縮符号化処理を強制的に予測符号化のリファレンスとなる符号化タイプとすることで、データ削減によるデータ乱れ・崩れを確実に回避することが可能である。さらに、強制的にリファレンスとなる符号化タイプにしたフレームにおいて、発生符号量が小さくなるよう量子化設定を調整することで、目標ビットレートオーバーの回避を強化することが可能である。
【００３３】
ここで、本例では、複数の連続したフレームから構成される動画像データを処理する場合を示したが、処理対象となる画像のデータとしては特に限定は無く、他の構成例として、複数の静止画像のフレームのデータを連続的に並べたようなものを処理することも可能である。
なお、上記実施例では、画像圧縮処理装置に本発明が適応されている。
【００３４】
また、本例の画像圧縮処理装置では、ビットレート判定処理部 1-4 の機能によりビットレート判断処理手段が構成されており、データ出力スイッチ 1-5 により圧縮データ削除手段が構成されている。DCT／量子化処理部 1-2 により量子化設定手段が構成されており、符号化タイプ切替えスイッチ 1-6 により符号化タイプ指定手段が構成されている。
【００３５】
以下で、本発明に関する技術の背景を示す。なお、ここで記載する事項は、必ずしも全てが従来の技術であるとは限定しない。
従来の画像圧縮装置の一例を図３によって説明する。図３は、従来の画像圧縮装置の一実施例の構成を示すブロック図である。
図３は、例えば、MPEG-4（ ISO／IEC 14496 ）などの予測符号化による圧縮符号化方式を用いた場合である。
図３の画像圧縮処理装置は、第１の加算機 1-1 と、DCT／量子化処理部 1-2 と、可変長符号化処理部 1-3 と、ビットレート判定処理部 1-4 と、データ出力スイッチ 1-5 と、符号化タイプ切替えスイッチ 1-6 と、逆量子化／逆 DCT 処理部 1-7 と、第２の加算機 1-8 と、フレームバッファ 1-9 と、動き検索処理部 1-10 と、動き補償予測処理部 1-11 とを備えている。
【００３６】
初めに、動画像データの第１フレーム目の処理について説明する。前述したように、第１フレーム目は予測のリファレンスとなる必要があるため、符号化タイプは I-VOP である。
画像圧縮処理装置に入力端子 100 を介して最初の画像データ 1-(A) が入力すると、画像データ 1-(A) は、まず第１の加算機 1-1 と動き検索処理部 1-10 へ入力される。
最初の画像データ 1-(A) は、符号化タイプが I-VOP であるため、符号化タイプ切替えスイッチ 1-6 は、動き予測データ 1-(L) として I-VOP 符号化の動き予測データ 1-(K) を予測データ 1-(L) を出力する。
符号化タイプ切替えスイッチ 1-6 は、最初は入力 a と出力 c とが接続され I-VOP 符号化後、所定周期 P-VOP 処理の間、入力 b と出力 c とが接続されるように周期的に切替えられる。符号化タイプ切替えスイッチ 1-6 の出力である動き予測データ 1-(L) は、第１の加算機 1-1 と第２の加算機 1-8 とに出力される。
【００３７】
I-VOP 符号化動き予測データ 1-(K) の値は、常に“ 0 ”である。従って、第１の加算機 1-1 は、入力した画像データ 1-(A) から値“ 0 ”の動き予測データ 1-(L) を差分して、差分画像データ 1-(B) を出力することになる。即ち、入力端子 100 に入力された画像データ 1-(A) と同じデータを差分画像データ 1-(B) として DCT／量子化処理部 1-2 に出力する。
DCT／量子化処理部 1-2 は、入力された差分画像データ 1-(B) に DCT 処理と量子化処理を行い、量子化データ 1-(C) を可変長符号化処理部 1-3 と逆量子化／逆 DCT 処理部 1-7 とに出力する。
【００３８】
I-VOP 符号化動き予測データ 1-(K) の値は、常に“ 0 ”である。従って、第１の加算機 1-1 は、入力した画像データ 1-(A) から値“ 0 ”の動き予測データ 1-(L) を差分して、差分画像データ 1-(B) を出力することになる。即ち、入力端子 100 に入力された画像データ 1-(A) と同じデータを差分画像データ 1-(B) として DCT／量子化処理部 1-2 に出力する。
DCT／量子化処理部 1-2 は、入力された差分画像データ 1-(B) に DCT 処理と量子化処理を行い、量子化データ 1-(C) を可変長符号化処理部 1-3 と逆量子化／逆 DCT 処理部 1-7 とに出力する。
【００３９】
逆量子化／逆 DCT 処理部 1-7 は、入力された量子化データ 1(C) に対して逆量子化処理と逆 DCT 処理を行い、逆 DCT データ 1-(G) を第２の加算機 1-8 に出力する。
また、第２の加算機 1-8 の他方の入力に、動き予測データ 1-(L) が入力されるが、符号化タイプが I-VOP であるため、動き予測データ 1-(L) は、I-VOP 符号化の動き予測データ 1-(K) である（即ち、値“ 0 ”）。
【００４０】
第２の加算機 1-8 は、逆 DCT データ 1-(G) と動き予測データ 1-(L) とを加算して加算画像データ 1-(H) を出力する。即ち、第２の加算機 1-8 は、入力される動き予測データ 1-(L) の値が“ 0 ”のため、入力された逆 DCT データ 1-(G) と同じデータを、加算画像データ 1-(H) としてフレームバッファ 1-9 に出力する。
フレームバッファ 1-9 は、入力された加算画像データ 1-(H) を次のフレーム処理まで蓄積してから動き補償予測処理部 1-11 に出力する。
【００４１】
一方、動き検索処理部 1-10 は、I-VOP 符号化時においては動き検出処理を行わない。このため、動き情報 1-(M) は「動きがない」という情報であり、この情報が動き補償予測処理部 1-11 と可変長符号化処理部 1-3 へ出力される。
可変長符号化処理部 1-3 は、量子化データ 1-(C) と動き情報 1-(M) を与えられ、入力された量子化データ 1-(C) と動き情報 1-(M) に対して可変長符号化処理を行い、圧縮データ 1-(D) をデータ出力スイッチ 1-5 の入力端子に出力し、圧縮データ数 1-(E) をビットレート判定処理部 1-4 に出力する。
【００４２】
次に、動画像データの第２フレーム目以降の処理について説明する。第２フレーム目以降では、予測符号化を行う P-VOP の符号化タイプで符号化が行われ、I-VOP の符号化を行う周期になるまで、P-VOP の符号化を繰り返す。
図３において、画像圧縮処理装置に最初の第２フレーム目の画像データ 1-(A) が入力端子入力すると、まず第１の加算機 1-1 と動き検索処理部 1-10 へ入力される。
動き検索処理部 1-10 は、第１フレーム目の画像データ 1-(A) から動いた箇所を検索し、その情報を動き情報 1-(M) として動き補償予測処理部 1-11 と可変長符号化処理部 1-3 に出力する。ここで、第１フレーム目にフレームバッファ 1-9 へ蓄積されていた 加算画像データ 1-(H) が、遅延画像データ 1-(I) として動き補償予測処理部 1-11 へ出力される。
【００４３】
動き補償予測処理部 1-11 は、遅延画像データ 1-(I) と動き情報 1-(M) とを基に、遅延画像データ 1-(I) から動きが発生したであろう座標の画像を算出し、これを P-VOP 符号化の動き予測データ 1-(J) として符号化タイプの切替えスイッチ 1-6 の入力端子 b に出力する。
符号化タイプが P-VOP であるため、符号化タイプ切替えスイッチ 1-6 は、入力端子 b と出力端子 c とが接続された状態となっており、動き予測データ 1-(L) として P-VOP 符号化の動き予測データ 1-(J) を出力端子 c から出力する。
【００４４】
第１の加算機 1-1 は、入力された画像データ 1-(A) から動き予測データ 1-(L) を差分して、差分画像データ 1-(B) を DCT／量子化処理部 1-2 に出力する。
DCT／量子化処理部 1-2 は、差分画像データ 1-(B) を DCT 処理および量子化処理し、量子化データ 1-(C) として可変長符号化処理部 1-3 と逆量子化／逆 DCT 処理部 1-7 に出力する。
逆量子化／逆 DCT 処理部 1-7 は、量子化データ 1(C) に逆量子化処理および逆 DCT 処理を行い、第２の加算機 1-8 に出力する。ここで、符号化タイプ切替えスイッチ 1-6 が動き予測データ 1-(L) を第２の加算機 1-8 に与えるが、符号化タイプが P-VOP であるため、動き予測データ 1-(L) は、P-VOP 符号化動き予測データ 1-(J) である。
【００４５】
第２の加算機 1-8 は、逆 DCT データ 1-(G) と動き予測データ 1-(L) とを加算して加算画像データ 1-(H) をフレームバッファ 1-9 に出力する。フレームバッファ 1-9 は、加算画像データ 1-(H) を次のフレーム処理まで蓄積してから動き補償予測処理部 1-11 に出力する。
【００４６】
一方、量子化データ 1-(C) と動き情報 1-(M) を入力された可変長符号化処理部 1-3 は、量子化データ 1-(C) と動き情報 1-(M) に対して可変長符号化処理を行い、出力圧縮データ 1-(F) を出力端子 200 を介して、画像圧縮処理装置から出力する。
第３フレーム目以降についても、上記と同様な処理を繰り返して行う。
【００４７】
次に、図４を参照して、図３に示される画像圧縮処理装置により行われる処理の流れの一例を示す。
図４には、図３に示される出力圧縮データ 1-(F) について、具体的に出力するフレームの例を示し、併せて一例として、圧縮データ数と実効ビットレートの推移を示した。図４の横方向は時間的な処理の流れ（フレーム単位での流れ）として、第１フレーム目〜第１３フレーム目を表している。画像圧縮処理装置から出力する第１フレーム目 4-1 から第５フレーム目 4-5 までは、実効ビットレートが目標ビットレートを越えない場合である。ここで一例として、仮に第６フレーム目 4-6 を画像圧縮処理部から出力し、実効ビットレートが目標ビットレートを越えたとする。回線のビットレート以上を出力しようとするため、第６フレーム目 4-6 が破損する可能性がある。仮に第６フレーム目 4-6 が破損したとすると乱れ・崩れが発生し、第７フレーム目 4-7 以降においても、第６フレーム目 4-6 の乱れや崩れを継承してしまう。
【００４８】
この乱れ、崩れが解消されるのは、次に I-VOP となる第１１フレーム目 4-11 を出力したときである。ナローバンドなどの低ビットレート回線においては、I-VOP の符号量が多いために、なるべく I-VOP を挿入する周期を長くする傾向がある。このとき、実効ビットレートが目標ビットレートを越えると、画像の乱れ・崩れが解消されるまで長時間を必要としてしまう。
【００４９】
ここで、本発明に係る画像圧縮処理装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、発明は、例えば、本発明に係る処理を実行する方法あるいは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々な装置やシステムとして提供することも可能である。
また、本発明の適応分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適応することが可能なものである。
また、本発明に係る画像圧縮処理装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウェア資源においてプロセッサが ROM（ Read Only Memory ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば、当該処理を実行するための各種機能手段が独立したハードウェア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフレキシブルディスクやCD（ Compact Disk ）−ROM 等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
【図面の簡単な説明】
【００５０】
【図１】本発明の一実施例の画像圧縮処理装置の構成を示すブロック図。
【図２】本発明の一実施例の画像圧縮処理装置により行われる処理の一例を示す図。
【図３】従来の画像圧縮処理装置の構成例を示す図。
【図４】従来の画像圧縮処理装置により行われる処理の一例を示す図。
【符号の説明】
【００５１】
1-1：第１の加算機、  1-2：DCT／量子化処理部、  1-3：可変長符号化処理部、  1-4：ビットレート判定処理部、  1-5：データ出力スイッチ、  1-6：符号化タイプ切替えスイッチ、  1-7：逆量子化／逆 DCT 処理部、  1-8：第２の加算機、  1-9：フレームバッファ、  1-10：動き検索処理部、  1-11：動き補償予測処理部、  100：画像データ入力端子、  200：圧縮データ出力端子、  1-(A)：画像データ、  1-(B)：差分画像データ、  1-(C)：量子化データ、  1-(D)：圧縮データ、  1-(E)：圧縮データ数、  1-(F)：出力圧縮データ、  1-(G)：逆DCTデータ、  1-(H)：加算画像データ、  1-(I)：遅延画像データ、  1-(J)：P-VOP符号化の動き予測データ、  1-(K)：I-VOP符号化の動き予測データ、  1-(L)：動き予測データ、  1-(M)：動き情報、  1-(N)：データ削減タイミング信号。
【図１】
2005277982.tif 000003
【図２】
2005277982.tif 000004
【図３】
2005277982.tif 000005
【図４】
2005277982.tif 000006