(57)【要約】【課題】圧縮伝送された後の映像信号を用いてカメラの遠隔操作を行うような用途においては、映像信号の入力から圧縮及び伸長後の出力映像までの遅延時間が１フレーム未満であることが要求される。【解決手段】圧縮された符号化ストリーム中に制御コードと同じデータ系列が生成される時に所定の符号挿入処理を行う符号挿入部であって、ビットストリーム変換部から入力した符号化ストリームの中から制御コードと同じデータ系列を検出し挿入する符号量を計算し符号化制御部に出力する start code 検出部と、発生符号を所定の時間または所定の符号量を蓄積する変動吸収バッファと、変動吸収バッファの出力から制御コード以外のデータに対し特定の符号挿入処理を行う符号挿入回路を具備し、符号挿入の有無にかかわらず瞬時的な帯域を増大させることなく符号挿入処理を行う。【選択図】図１
2010028409.tif 000002
【特許請求の範囲】
【請求項１】
動画像圧縮を行う画像圧縮装置において、
符号化制御部と、ビットストリーム変換部と、
前記ビットストリーム変換部から入力される圧縮された符号化ストリームの中から制御コードと同じデータ系列を検出し、挿入する符号量を計算し、計算された符号量を前記符号化制御部に出力し、かつ、圧縮された符号化ストリームのスタートコードを検出しスタートコード検出フラグを符号化ストリームと共に出力するスタートコード検出部と、
前記スタートコード検出部から入力される符号化ストリームとスタートコード検出フラグとを、所定の時間または所定の符号量遅延して出力する変動吸収バッファと、
前記変動吸収バッファから入力される符号化ストリームの中に、前記変動吸収バッファから入力されるスタートコード検出フラグに基づいて、制御コードと同じデータ系列が生成される時に所定の符号挿入処理を行う符号挿入部を備えたことを特徴とする画像圧縮装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像圧縮装置に関わり、特に圧縮された符号化ストリーム中に所定の符号化挿入処理を行う符号挿入回路に関する。
【背景技術】
【０００２】
図３を用いて一般的な符号化処理に関して説明する。図３は、Ｈ．２６４符号化方式の画像圧縮装置の概略構成を示すブロック図である。図３のブロック図では、説明を簡便に行うために基本的な機能のみを記してある。
【０００３】
図３において、予測処理部５は、入力された映像信号ＢＳを加算器６の被減算信号入力端子に出力すると共に、入力された映像信号について、発生する符号量の予測を行い、予測符号量として符号化制御部７に出力する。
加算器６に入力された映像信号は、離散コサイン変換（ＤＣＴ）部８、量子化部９、逆量子化部１０、逆ＤＣＴ部１１を通ることで生成された予測画像との差分を加算器６により演算子し、ＤＣＴ変換部８で周波数成分に変換される。この時、符号化制御部７は、予測処理部５で計算された予測符号量を元に発生符号量を予測し、量子化係数として量子化部９に出力する。量子化部９は、入力された量子化係数に基づいて量子化する符号量を制御し、ＤＣＴ部８から入力された映像信号の量子化を行い、符号量が制御されて量子化されたデータをエントロピー符号化部１２に出力する。
【０００４】
エントロピー符号化部１２は、入力されたデータを可変長符号化して、ビットストリーム変換部１３に出力する。ビットストリーム変換部１３は、入力されたデータに、ヘッダ等の制御情報を付加し、変動吸収バッファ１４に出力する。最後に変動吸収バッファ１４は、数フレーム分の画像を蓄積し平均化した後にビットストリームＳＱとして出力する。
エントロピー符号化部は、また、符号化時の発生符号量を符号化制御部７に出力し、ビットストリーム変換部１３も、また、符号挿入処理後の発生符号量を符号化制御部７に出力する。
符号化制御部７は、適応的に量子化の制御をおこなうことでビットストリームのデータ速度を一定とすることができる。
【０００５】
ここで、ビットストリーム変換部１３における符号挿入の動作について、図４によって説明する。図４は、ビットストリーム変換部内で制御コード等を付加されたのちの符号化ストリームに制御コードと同じ特定のコードが存在する場合の処理の概要を示したものである。
Ｈ．２６４符号化方式では、“００００００ｈ”から“０００００３ｈ”までの３バイトのコードがそれに該当し、符号化ストリーム中に前記４種類のコードがストリームヘッダ等に付加される制御コード以外に存在した場合、２バイト目と３バイト目に“０３ｈ”を挿入することでデコーダ側において制御コードと誤認識するのを防いでいる。
デコーダ側では、“０００００３ｈ”を検出した時に、“０３ｈ”を取り除く処理を行うだけで元の符号化ストリームに戻すことができる。
なお、画像を圧縮装置については、例えば、特許文献１〜３に記載されている。
【０００６】
【特許文献１】特開２００６−１２１５３１号公報
【特許文献２】特開２００４−１８０２３８号公報
【特許文献３】特開平０９−２４７４６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
図４のように“００ｈ”が連続するような符号化ストリームでは、２バイトに１バイトの割合で“０３ｈ”が挿入されることになり瞬時的には１．５倍の符号が発生する。
エントロピー符号化部１２では、量子化された符号に応じて処理量が異なるため、処理遅延量が変動し易く、生成された符号量も大きく変動する。一般的なエンコーダ（符号化部）であれば、映像信号の入力からビットストリーム出力までのエンコード処理遅延量は数フレーム程度としており、その間に処理遅延量の変動や発生符号量の変動を変動吸収バッファ１４にて吸収可能である。
しかし、圧縮伝送された後の映像信号を用いてカメラの遠隔操作を行うような用途においては、映像信号の入力から圧縮及び伸長後の出力映像までの遅延時間が１フレーム未満であることが要求される。
【０００８】
処理が破たんすることなくレート制御を行うためには、エンコーダとデコーダの配分を同一とすると、映像入力からビットストリーム出力までのエンコード遅延は、半分の１フィールド（１５ｍｓ）未満で行うことが必要となる。
このように、低遅延で符号化処理を行うためには、エントロピー符号化部１２とビットストリーム変換部１３での処理遅延変動を極力減らすことも重要である。
しかし、通常であれば数フレーム時間を要して発生符号量を平坦にならしているものを、例えば１画面の数分の１の単位時間内での発生符号量が平坦となるようにするとする。このためには、発生符号量の予測を高精度に行った後、エントロピー符号化部１２とビットストリーム変換部１３より発生符号量を数μ〜数十μ秒程度の短時間で符号化制御部７にフィードバックして補正を行う必要がある。
入力映像がＨＤＴＶ画質である場合、補正をしなければならないデータ量は、入力でおよそ１．５Ｇｂｐｓある。データ量は、最終的には、数分の１から百分の１程度に圧縮されるのであるが、圧縮過程においてはエントロピー符号化部１２の出力で数Ｇｂｐｓ、ビットストリーム変換部１３では、更にその１．５倍の帯域が瞬間的には計算上必要になり、装置構成上の大きな負担となっている。
【０００９】
本発明は、上記問題点を改善し、低遅延で圧縮符号化が可能な動画像圧縮装置の符号挿入回路を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明の画像圧縮装置は、動画像圧縮を行う画像圧縮装置において、  符号化制御部と、  ビットストリーム変換部と、  前記ビットストリーム変換部から入力される圧縮された符号化ストリームの中から制御コードと同じデータ系列を検出し、挿入する符号量を計算し、計算された符号量を前記符号化制御部に出力し、かつ、圧縮された符号化ストリームのスタートコードを検出しスタートコード検出フラグを符号化ストリームと共に出力するスタートコード検出部と、  前記スタートコード検出部から入力される符号化ストリームとスタートコード検出フラグとを、所定の時間または所定の符号量遅延して出力する変動吸収バッファと、  前記変動吸収バッファから入力される符号化ストリームの中に、前記変動吸収バッファから入力されるスタートコード検出フラグに基づいて、制御コードと同じデータ系列が生成される時に所定の符号挿入処理を行う符号挿入部を備えたものである。
【発明の効果】
【００１１】
本発明によれば、符号挿入部の処理において、最初に制御コードと同一のコードの有無から符号挿入処理後の演算のみを行い、高速にレート制御を行うことができる。従って、変動吸収バッファにて平坦化された符号化ストリームに対し、符号挿入処理を行うことが可能となった。このため、符号挿入処理で発生する１．５倍の帯域を持つことなく画像データ処理ができ、低遅延で圧縮符号化が可能となった。
【発明を実施するための最良の形態】
【００１２】
以下に図を用いて発明の詳細を記す。図１は、本発明の符号挿入回路の第１の実施例の構成を示すブロック図である。図１は、図３の構成の動画像圧縮装置のビットストリーム変換部１３と変動吸収バッファ部１４において、ビットストリーム変換部１３をビットストリーム変換部１に替え、変動吸収バッファ部１４を変動吸収バッファ部３ａに替え、ビットストリーム変換部１の出力側と変動吸収バッファ部３ａの入力側との間にスタートコード（ｓｔａｒｔ  ｃｏｄｅ）検出部２ａを追加し、かつ、変動吸収バッファ部３ａの出力側に符号挿入部４ａを追加したものである。なお、図１では、図３のビットストリーム変換部１３より前段の構成要素を省略している。
【００１３】
図１の第１の実施例は、動画像圧縮を行う画像圧縮装置において、圧縮された符号化ストリーム中に制御コードと同じデータ系列が生成される時に、所定の符号挿入処理を行う画像圧縮装置であって、ビットストリーム変換部から入力された符号化ストリームの中から、制御コードと同じデータ系列を検出して、挿入する符号量を計算し、符号化制御部に出力するスタートコード検出部と、所定の時間内に発生する符号量の発生符号または所定の符号量の発生符号を蓄積する変動吸収バッファと、変動吸収バッファの出力データを入力され、制御コード以外のデータに対し特定の符号挿入処理を行う符号挿入部を具備し、符号挿入の有無にかかわらず瞬時的な帯域を増大させることなく符号挿入処理を行うことが可能な画像圧縮装置である。
【００１４】
即ち、図１において、ビットストリーム変換部１は、生成した符号化ストリームＳ１、及び制御コードの位置を示す符号化ストリームＳ１と同期したマスク信号Ｍ１を、スタートコード検出部２ａに出力する。スタートコード検出部２ａは、入力された符号化ストリームＳ１中から、制御コード以外の制御コードと同一の符号を検出し、かつ発生符号量を演算し、符号化制御部７へ出力する。更に、スタートコード検出部２ａは、符号化ストリームＳ２と符号化ストリームＳ２に同期したスタートコード（ｓｔａｒｔ  ｃｏｄｅ）検出フラグＦ１とを変動吸収バッファ部３ａに出力する。
符号化ストリームＳ２とスタートコード検出フラグＦ１を入力された変動吸収バッファ部３ａは、所定の遅延時間あるいは所定の符号量だけ遅延して、遅延した符号化ストリームＳ３とスタートコード検出フラグＦ２を符号挿入部４ａに出力する。
符号化ストリームＳ３とスタートコード検出フラグＦ２を入力された符号挿入部４ａは、スタートコード検出フラグＦ２に従い、符号化ストリームＳ３に符号を挿入し、ビットストリームＳ０として出力する。
【００１５】
上述の第１の実施例による符号挿入回路における符号挿入処理において、スタートコード検出部２ａは、発生する符号量のみをあらかじめ演算し、演算した結果得られた発生符号量を符号化制御部７にフィードバックする。符号化制御部７は、これによって、レート制御を行い、変動吸収バッファ部において平坦化された符号化ストリームが出力される。
このように、図１の第１の実施例によれば、変動吸収後に符号挿入処理を行うので、従来の処理では大きな帯域を確保する必要があったのに対し、帯域の増大を防ぐことが可能となる。
【００１６】
第２の実施例は、図１に係る別の実施例である。
第２の実施例では、動画像圧縮を行う画像圧縮装置において、圧縮された符号化ストリーム中に制御コードと同じデータ系列が生成される時に、所定の符号挿入処理を行う符号挿入回路であって、ビットストリーム変換部から、符号化ストリーム及び符号化ストリーム中の制御コードの位置を示す符号化ストリームと同期したマスク信号が入力され、入力されたマスク信号に基づいて、符号化ストリームの制御コードを除く符号化ストリームを抽出し、抽出されたの制御コードを除く符号化ストリームの中から、制御コードと同一のコードを検出して、挿入する符号量を計算し、符号化制御部に出力すると共に、符号化ストリームとスタートコード検出フラグとを同期して変動吸収バッファに出力するスタートコード検出部と、符号化ストリームと符号化ストリームに同期して検出されたスタートコード検出フラグとを夫々入力され、所定の時間の符号量または所定の符号量を蓄積して、蓄積した符号化ストリームと符号化ストリームに同期したスタートコード検出フラグとを符号挿入部に出力する変動吸収バッファと、入力された符号化ストリームに特定の符号挿入処理を行い符号化ストリームとして出力する符号挿入部を具備し、符号挿入の有無にかかわらず瞬時的な帯域を増大させることなく符号挿入処理を行うことが可能な画像圧縮装置である。
【００１７】
即ち、第２の実施例は、図１において、符号化ストリームＳ１とマスク信号Ｍ１を入力されたスタートコード検出部２ｂは、符号化ストリームＳ１に同期して符号挿入の有無をスタートコード検出フラグＦ１として変動吸収バッファ３ｂに出力する。変動吸収バッファ３ｂは、入力された符号化ストリームＳ２とスタートコード検出フラグＦ１を同時に遅延させ、符号化ストリームＳ３と符号化ストリームＳ３と同期したスタートコード検出フラグＦ２とを符号挿入部４ｂに出力する。後段の符号挿入部４ｂは、スタートコード検出フラグＦ２に従い、符号化ストリームＳ３に符号挿入を行い、符号化ストリームＳ０を出力する。これによって、タイミング調整も少なく、メモリの増加量も符号化ストリーム１バイト当たり１ビットで済ませることが可能である。そして、符号挿入時は、変動吸収バッファからの読み出しを一時停止させるだけで済み、符号挿入部で特殊な処理を行う必要はない。
【００１８】
図２は、本発明の符号挿入回路の第３の実施例の構成を示すブロック図である。図２は、図１の構成の符号挿入回路に対して、スタートコード（ｓｔａｒｔ  ｃｏｄｅ）検出部２ａをスタートコード（ｓｔａｒｔ  ｃｏｄｅ）検出部２ｂに替え、変動吸収バッファ部３ａを変動吸収バッファ部３ｂに替え、符号挿入部４ａを符号挿入部４ｂに替え、更に、ビットストリーム変換部１からスタートコード検出部２ｂへの出力ではなく、ビットストリーム変換部１からを変動吸収バッファ部３ｂに符号化ストリームＳ１とマスク信号Ｍ１を出力するようにしたものである。
【００１９】
図２の第３の実施例は、動画像圧縮を行う画像圧縮装置において、圧縮された符号化ストリーム中に制御コードと同じデータ系列が生成される時に、所定の符号挿入処理を行う符号挿入回路であって、ビットストリーム変換部から符号化ストリームと符号化ストリーム中の制御コードの位置を示し、符号化ストリームに同期したマスク信号とが入力され、制御コードを除く符号化ストリームの中から制御コードと同一のコードを検出して、挿入する符号量のみを計算し、計算した符号量を符号化制御部に出力するスタートコード検出部と、ビットストリーム変換部から符号化ストリームと符号化ストリーム中の制御コードの位置を示し、符号化ストリームに同期したマスク信号とが入力され、所定の時間または所定の符号量を蓄積して、蓄積した符号化ストリームと符号化ストリームに同期したマスク信号とを符号挿入部に出力する変動吸収バッファと、符号化ストリームと符号化ストリームに同期したマスク信号とを入力され、再度制御コードの検出と特定の符号挿入処理を行う符号挿入部を具備し、符号挿入の有無にかかわらず瞬時的な帯域を増大させることなく符号挿入処理を行うことが可能な符号挿入回路である。
【００２０】
即ち、第３の実施例は、図２において、ビットストリーム変換部１は、生成した符号化ストリームＳ１と制御コードの位置を示すマスク信号Ｍ１とをスタートコード検出部２ｂと変動吸収バッファ部３ｂとに出力する。スタートコード検出部２ｂは、入力された符号化ストリームＳ１中から、制御コード以外の制御コードと同一の符号を検出し、かつ発生符号量を演算し、符号化制御部７へ出力する。
符号化ストリームＳ１とマスク信号Ｍ１を入力された変動吸収バッファ部３ｂは、所定の遅延時間あるいは所定の符号量だけ遅延して、遅延した符号化ストリームＳ４とマスク信号Ｍ２を符号挿入部４ｂに出力する。
符号化ストリームＳ４とマスク信号Ｍ２を入力された符号挿入部４ｂは、マスク信号Ｍ２に基づいて、符号化ストリームＳ４に符号を挿入し、ビットストリームＳ０′として出力する。
【００２１】
図２の第３の実施例においては、制御コードをマスクするマスク信号を変動吸収バッファで遅延させ、符号挿入部で再度制御コードの検出と挿入を行うことでも同様に処理が可能である。
なお、マスク信号は、変動吸収バッファで同時に遅延させる必要はなく、マスクが必要な符号化ストリームが記憶される変動吸収バッファの先頭アドレスとマスクが必要なデータ長のみを符号挿入部に出力し、変動吸収バッファからの読み出し時に先頭アドレスとマスクするデータ長より符号挿入処理を停止するようにすれば、変動吸収バッファを増加することなく符号挿入部の処理のみで可能である。
【００２２】
上記実施例では、動画像を圧縮する形式は、Ｈ．２６４符号化方式であった。しかし、ＭＰＥＧ４符号化方式等であっても良い。
【図面の簡単な説明】
【００２３】
【図１】本発明の符号挿入回路の一実施例の構成を示すブロック図。
【図２】本発明の符号挿入回路の一実施例の構成を示すブロック図。
【図３】Ｈ．２６４符号化方式の画像圧縮装置の概略構成を示すブロック図。
【図４】符号挿入回路の動作を説明するための図。
【符号の説明】
【００２４】
１：ビットストリーム変換部、  ２ａ、２ｂ：スタートコード検出部、  ３ａ、３ｂ：変動吸収バッファ部、  ４ａ、４ｂ：符号挿入部、  ５：予測処理部、６：加算器、  ７：符号化制御部、  ８：ＤＣＴ変換部、  ９：量子化部、  １０：逆量子化部、  １１：逆ＤＣＴ変換部、  １２：エントロピー符号化部、  １３：ビットストリーム変換部、  １４：変動吸収バッファ部。
【図１】
2010028409.tif 000003
【図２】
2010028409.tif 000004
【図３】
2010028409.tif 000005
【図４】
2010028409.tif 000006