(57)【要約】      （修正有）【課題】再度符号化をすることなく画面の一部にロゴ等を重畳させた映像の符号化を可能にし、かつ効率よく符号化する符号化装置を提供する。【解決手段】入力された第１の符号化対象映像２０１と、第１の符号化対象映像よりも小さい第２の符号化対象映像２０４を符号化する算術符号化手段が、前記第１の符号化対象映像の算術符号化の際、前記第２の符号化対象映像と重複する直前に、前記第１の符号化対象映像の算術符号化内部パラメータを保持し、前記第２の符号化対象映像の算術符号化の際、前記保持したパラメータを用いて算術符号化を行う。【選択図】図２
2015126429.tif 000002
【特許請求の範囲】
【請求項１】
入力された第１の符号化対象映像と、前記第１の符号化対象映像よりも小さい第２の符号化対象映像に関して各データを量子化する量子化手段と、
前記量子化されたデータを二値化する二値化手段と、
前記二値化されたデータを算術符号化する算術符号化手段とを備える符号化装置であって、
前記算術符号化手段が、
前記第１の符号化対象映像の算術符号化の際、前記第２の符号化対象映像と重複する直前に、前記第１の符号化対象映像の算術符号化の内部パラメータを保持し、前記第２の符号化対象映像の算術符号化の際、前記保持したパラメータを用いて算術符号化を行うことを特徴とする符号化装置。
【請求項２】
前記第２の符号化対象映像と重複する直前までの、前記第１の符号化対象映像の符号化ストリームをコピーし、前記第２の符号化対象映像の符号化ストリームと一つに結合する結合手段をさらに備えることを特徴とする請求項１に記載の符号化装置。
【請求項３】
入力された映像に対して、所定のデータを重畳して出力する映像重畳手段をさらに備え、前記第２の符号化対象映像は、前記映像重畳手段に第１の符号化対象映像の一部を入力し、所定のデータを重畳することによって生成されることを特徴とする請求項１に記載の符号化装置。
【請求項４】
前記第１の符号化対象映像に対して算術符号化を行った第１の符号化ストリームを所定のフォーマットに多重化して第１の多重化ストリームを生成し、前記結合手段によって生成された第２の符号化ストリームを所定のフォーマットに多重化して第２の多重化ストリームを生成する多重化手段と、
多重化ストリームを外部に送信する送信手段とをさらに備えることを特徴とする請求項２に記載の符号化装置。
【請求項５】
前記第１の符号化対象映像に対して算術符号化を行った第１の符号化ストリームと、前記結合手段によって生成された第２の符号化ストリームとの符号量が等しくなるように、符号量が少ないほうの符号化ストリームの直後にスタッフィングデータを挿入するスタッフィング発生手段をさらに備えることを特徴とする請求項２に記載の符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置に関し、特に算術符号化を用いて、入力された映像の符号化とは別に、入力された映像の一部と新たに入力された映像とを１つのスライスとしてエントロピー符号化する符号化装置に関する。
【背景技術】
【０００２】
近年、記憶媒体にディスク媒体やハードディスク、メモリを用いてハイビジョン記録を行うビデオカメラが製品化され始めた。これらのビデオカメラは、小型で持ち運びも容易であり、かつ高画質の映像を記録できるため、今後ますます普及していくと思われる。このような機器では、ハイビジョン記録を行うため、記録時にはMPEG4  part-10:AVC(ISO/IEC 14496-10、別名Ｈ．２６４)のような圧縮符号化されたビデオストリームで記録媒体に映像を保存する。上記圧縮符号化方式では、画像間の相関を利用したフレーム間予測（インター予測）と、フレーム内の相関を利用したフレーム内予測（イントラ予測）を用いるとともに、算術符号化を用いることで高効率な圧縮符号化を実現している。
【０００３】
高効率な圧縮符号化が可能になったことで、ユーザーがサーバー上に記録したストリームをアップロードし、他人と映像を共有することが可能になった。
【０００４】
アップロードしたストリームが二次利用されるのを防ぐため、ユーザーは画像の一部をロゴ等で置き換えるようにストリームを編集し、編集したストリームをアップロードしている。例えば、記録時にストリームを複数のスライスに分割しておき、記録後に、予め用意した分割したスライスと同じサイズのストリームを上書きし、符号量の差分によって生じる隙間をスタッフィングデータで埋めることで、再度符号化をすることなく、画面の一部の置き換えを実現しているものがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２６１９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術の構成では、予め用意したストリームを上書きするため、上書きされてしまった領域に重要な情報があったとしても、ユーザーは見ることが出来ないという問題がある。
【０００７】
また、予め用意したストリームを上書きする場合に、用意したストリームの符号量は、必ず上書き前のストリームの符号量よりも小さくなければならないため、上書き前のストリームにスタッフィング等を行うことで十分な符号量を確保しておく必要があり、無駄が発生する場合があるという問題があった。
【０００８】
本発明は上記の問題点に鑑み、再度符号化をすることなく画面の一部にロゴ等を重畳させた映像の符号化を可能にし、かつ効率よく符号化する符号化装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の符号化装置は、入力された第１の符号化対象映像と、前記第１の符号化対象映像よりも小さい第２の符号化対象映像に関して各データを量子化する量子化手段と、前記量子化されたデータを二値化する二値化手段と、前記二値化されたデータを算術符号化する算術符号化手段とを備える符号化装置であって、前記算術符号化手段が、前記第１の符号化対象映像の算術符号化の際、前記第２の符号化対象映像と重複する直前に、前記第１の符号化対象映像の算術符号化内部パラメータを保持し、前記第２の符号化対象映像の算術符号化の際、前記保持したパラメータを用いて算術符号化を行うことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画面の一部にロゴ等を重畳させた映像を効率よく符号化し、配信可能となる。
【図面の簡単な説明】
【００１１】
【図１】本実施例の符号化装置の構成図である。
【図２】符号化対象映像の図である。
【図３】エントロピー符号化部およびその周辺の構成図である。
【図４】算術符号化部の処理を示すフローチャートである。
【図５】二値データと符号化ストリームの配置を示す図である。
【図６】符号化装置のデータパスを示す図である。
【図７】実施例２の符号化装置の構成図である。
【図８】実施例２の符号化ストリームの配置を示す図である。
【図９】実施例３の符号化装置の構成図である。
【図１０】実施例３の符号化装置のデータパスを示す図である。
【図１１】実施例３の符号化処理、エントロピー符号化処理、多重化処理を示すタイミング図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００１３】
［実施例１］
図１は、本実施例の符号化装置の構成図である。図１を用いて入力された映像に対する符号化と、入力された映像の一部に対して所定のデータを重畳した映像に対する符号化を行う符号化装置の符号化処理について説明する。
【００１４】
＜符号化処理＞
映像入力部１０１は、撮像素子より映像信号を入力し、フレームバッファ１０２へと格納する。映像重畳部１０３は、フレームバッファ１０２上に入力された第１の符号化対象映像の一部を入力し、所定のデータを重畳して、第２の符号化対象映像をフレームバッファ１０２へと出力する。符号化部１０４は直交変換部１０５と量子化部１０６とから構成され、入力画像を、符号化単位ブロックであるマクロブロック（以後、MBと定義する）ごとに量子化係数へと変換する。直交変換部１０５は、８×８の画素ブロック単位に例えば離散コサイン係数に変換し、量子化部１０６は、直交変換部１０５によって出力された離散コサイン係数を量子化する。
【００１５】
エントロピー符号化部１０７は二値符号化部１０８と算術符号化部１０９とから構成される。二値符号化部１０８は、前記量子化係数を二値化し、二値データバッファ１１０へと二値データを格納する。算術符号化部１０９は、前記二値データを二値データバッファ１１０から読み出し、入力とし、算術符号化により符号化ストリームを生成し、符号化ストリームバッファ１１２へと符号化ストリームを格納する。内部パラメータ保持部１１１は、算術符号化時の計算過程で必要なパラメータを格納する。エントロピー符号化部１０７の詳細については、後述する。
【００１６】
結合部１１３は、第１の符号化対象映像の一部から生成された符号化ストリームをコピーし、第２の符号化対象映像から生成された符号化ストリームと結合する。量子化制御部１１４は、上記算術符号化部１０９の出力した符号化ストリームの発生符号量を用いて、次の符号化対象映像に対する目標符号量を計算し、量子化部へと設定する。多重化部１１５は、符号化ストリームを入力し、MPEG2-TSやMOVなど既知のフォーマットに多重化し、生成された多重化ストリームを多重化ストリームバッファへ１１６と格納する。ファイル書き込み部１１７は、多重化ストリームバッファ１１６へと格納された多重化ストリームを記録媒体１１８へと格納する。
【００１７】
＜映像重畳処理＞
図２は、入力された符号化対象映像と、映像重畳処理によって生成された符号化対象映像の図である。図２を用いて、映像重畳処理について説明する。１０２は、フレームバッファであり、映像が格納される。２０１は、入力された第１の符号化対象映像である。２０２は、入力された第１の符号化対象映像のうち、映像重畳部１０３に入力しない第１の領域である。２０３は、入力された第１の符号化対象映像のうち、映像重畳部１０３に入力する第２の領域である。映像重畳処理部１０３は、入力された第１の符号化対象映像のうち、第２の領域２０３を入力し、所定のデータ２０５（この例では、（C）AAA放送）を重畳して、第２の符号化対象映像２０４をフレームバッファ１０２へと出力する。
【００１８】
＜エントロピー符号化処理＞
図３はエントロピー符号化部およびその周辺の構成図である。３０１はSyntax Element生成部であり、符号化部１０４から変換係数やMB情報を入力し、マクロブロックタイプや動きベクトルなどの情報であるSyntax Elementを生成する。二値符号化部１０８は、生成されたSyntax ElementをSyntax順に多値信号を二値化し、二値データバッファ１１０へと出力する。
【００１９】
３０２はコンテキスト決定部であり、二値符号化部１０８より出力された二値データの各Bitに対して、適切な予測シンボルと発生確率を提供するためのコンテキストインデックスを生成し、コンテキストメモリ３０３へと出力する。算術符号化部１０９は、二値データバッファ１１０へと出力された二値データを入力し、予測シンボル値と発生確率を用いて算術符号を割り当て、算術符号化後の符号化ストリームを出力する。そして、更新した予測シンボル値と発生確率をコンテキストメモリ３０３へ出力する。
【００２０】
コンテキストメモリ３０３は、算術符号化後の更新された予測シンボル値と発生確率が格納され、次の算術符号化処理に使用される。内部パラメータ保持部１１１は、算術符号化の計算過程で必要なパラメータである、PSTATE_IDX、VAL_MPS、RANGE、LOW、BitOutStandingのパラメータを保持する。
【００２１】
内部パラメータ保持部１１１に保持したパラメータをコンテキストメモリ３０３に戻すと、パラメータを退避した時と同じ状態を復元できる。そのため、第１の領域の算術符号化直後に内部パラメータ保持部１１１へとパラメータを退避し、第２の符号化対象映像の二値データに対して、退避した内部パラメータを用いて算術符号化を開始した場合、第１の領域の算術符号化に続いて、第２の符号化対象映像の二値データを算術符号化した場合と同様の動作となる。
【００２２】
＜算術符号化の内部パラメータ退避と、退避したパラメータを用いた算術符号化処理＞
図４は、本算術符号化部の処理を示すフローチャートである。ここでは、１枚の入力画像に対する、第１の領域の二値データ、第２の領域の二値データ、第２の符号化対象の二値データの算術符号化処理を示している。
【００２３】
４０１では、第１の領域の二値データに対して、算術符号化を行う。４０２では、第２の領域と重複する直前に、第１の領域の算術符号化後の内部パラメータを内部パラメータ保持部へと退避する。４０３では、第２の領域の二値データに対して、算術符号化を行う。４０４では、結合部１１３により第１の領域の算術符号化後の符号化ストリームが符号化ストリームバッファ１１２内の別領域にコピーされる。４０５では、保持部へと格納したパラメータを、算術符号化部の内部パラメータに上書きする。４０６では、第２の符号化対象映像の二値データに対して、４０４でコピーされた符号化ストリームに続いて算術符号化を行う。
【００２４】
生成された符号化ストリームについて、詳細は図５で説明する。図５は、二値データと符号化ストリームの配置を示す図である。（A）は二値データ、（B）は符号化ストリームの領域を示している。二値データの領域（A）には、第１の符号化対象映像のうち、領域１の二値データ５０１、領域２の二値データ５０２と、第２の符号化対象映像の二値データ５０３とが図のように格納されている。
【００２５】
符号化ストリームの領域（B）には、領域１の符号化ストリーム５０４と、そのコピー５０７、領域２の符号化ストリーム５０５と、第２の符号化対象映像の符号化ストリーム５０８とが図のように格納されている。領域１の符号化ストリーム５０４と領域２の符号化ストリーム５０５は、一本のスライスデータである第１のスライスデータ５０６として構成される。
【００２６】
同様に、結合部１１３よりコピーされた領域１の符号化ストリームのコピー５０７と、第２の符号化対象映像の符号化ストリーム５０８は、同様に一本のスライスデータである第２のスライスデータ５０９として構成される。これは、領域１の算術符号化の内部パラメータを用いて、第２の符号化対象映像の算術符号化を行っているためである。
【００２７】
＜量子化制御処理＞
量子化制御部１１４は、上記第１の符号化対象映像のスライスデータと第２の符号化対象映像のスライスデータの発生符号量をそれぞれ受け取り、規格で定められたバッファの占有量を更新し、バッファがオーバーフロー、およびアンダーフローしないように、次の第１の符号化対象映像に対する量子化幅と、第２の符号化対象映像に対する量子化幅をそれぞれ計算して、量子化部へと設定する。
【００２８】
＜多重化処理、および記録処理＞
算術符号化後、符号化ストリームは多重化され、多重化ストリームを記録媒体へ記録される。図６は、算術符号化された符号化ストリームが多重化され、記録媒体へ記録されるまでの、データパスを示す図である。スライスデータ５０６、５０９に関しては、図５と同様である。１１５は多重化部であり、スライスデータを入力し、MPEG2−TS、およびMOVといった既存のフォーマットで多重化を行う。第１のスライスデータ５０６を、第１の多重化ストリーム６０１へと多重化し、多重化ストリームバッファへ１１６と格納する。第２のスライスデータ５０９を、第２の多重化ストリーム６０２へと多重化し、多重化ストリームバッファへ１１６と格納する。
【００２９】
第１の多重化ストリーム６０１、および第２の多重化ストリーム６０２は、ファイル書き込み部１１７によって、それぞれ記録媒体１１８へと記録される。
【００３０】
以上のようにすることで、入力された映像を符号化、および多重化した第１の多重化ストリームと、画面の一部にロゴを重畳させた映像を符号化、および多重化した第２の多重化ストリームを後から編集することなく生成可能となり、ユーザーに好適な多重化ストリームを提供することができる。
【００３１】
［実施例２］
本実施例では、実施例１の構成に対して、スタッフィング発生部を備える構成である。本実施例は、スタッフィング発生部にて符号化ストリームの符号量を調整し、スタッフィング調整後の符号量を用いて量子化制御を行うものであり、その他のブロックについては従来と同様の構成である。
【００３２】
図７は、実施例２の構成図である。７０１は、スタッフィング発生部であり、上記第１の符号化対象映像のスライスデータと第２の符号化対象映像のスライスデータの符号量を等しくするため、符号量の少ない符号化ストリームに対して符号量が揃うまでスタッフィングを挿入する。
【００３３】
量子化制御部１１４は、前記スタッフィング発生部によりスタッフィングが付加されたことで、上記第１の符号化対象映像のスライスデータと第２の符号化対象映像のスライスデータの符号量が揃っているため、同一の符号量を用いて、次の符号化対象映像に対する目標符号量を計算し、量子化部へと設定する。
【００３４】
＜スタッフィング処理＞
図８は、符号化ストリームの配置を示す図である。図８を用いて、スタッフィング処理について説明する。（B）は、符号化ストリームを格納する領域である。５０６は、第１の符号化対象映像のスライスデータであり、符号量はｎとする。５０９は、第２の符号化対象映像のスライスデータであり、符号量はｍとする。８０１は、スタッフィングデータであり、0x00データが(n-m)だけ埋められている。
【００３５】
スタッフィング発生部７０１は、上記第１の符号化対象映像のスライスデータと第２の符号化対象映像のスライスデータの符号量を等しくするため、符号量の少ない符号化対象映像のスライスデータに対して符号量が揃うまでスタッフィングを付加する。
【００３６】
図８の例では、第２の符号化対象映像のスライスデータ５０９の符号量ｍが第１の符号化対象映像のスライスデータ５０６の符号量ｎ未満であるため、第２の符号化対象映像のスライスデータ５０９の直後にスタッフィングデータ0x00が埋められている。
【００３７】
＜量子化制御処理＞
本実施例では、量子化制御部１１４は、スタッフィング発生部７０１から上記第１の符号化対象映像のスライスデータと第２の符号化対象映像のスライスデータの、共通の発生符号量を受け取り、規格で定められたバッファの占有量を更新し、バッファがオーバーフロー、およびアンダーフローしないように、次の第１の符号化対象映像および第２の符号化対象映像に対する共通の量子化幅を計算し、量子化部へと設定する。
【００３８】
以上のようにすることで、第１の符号化対象映像および第２の符号化対象映像に対する量子化制御について処理を共通化することができるため、量子化制御の処理時間を半減し、効率の良い符号化を可能としている。
【００３９】
［実施例３］
本実施例では、実施例２の構成に対して、ストリーム送信部を備える構成である。本実施例は、多重化ストリームをネットワークサーバー上に送信を行うものであり、その他のブロックについては従来と同様の構成である。
【００４０】
図９は、本実施例における符号化装置の構成図である。９０１は、ストリーム送信部であり、多重化部１１５で多重化された多重化ストリームのうち、第２の多重化ストリームを入力し、ネットワーク上のサーバー９０２へと出力する。
【００４１】
＜配信処理＞
算術符号化後、符号化ストリームは多重化され、多重化ストリームを記録媒体へ記録、および外部の装置やネットワークへ配信される。
【００４２】
図１０は、算術符号化された符号化ストリームが多重化され、記録媒体へ記録、およびネットワーク上へ配信を行うまでの、データパスを示す図である。スライスデータ５０６、５０９、およびスタッフィングデータ８０１に関しては、図８と同様である。
【００４３】
多重化部１１５は、第１のスライスデータ５０６を、第１の多重化ストリーム６０１へと多重化し、多重化ストリームバッファへ１１６と格納する。また、多重化部１１５は、第２のスライスデータ５０９と、スタッフィングデータ８０１を、第２の多重化ストリーム１００１へと多重化し、多重化ストリームバッファへ１１６と格納する。ファイル書き込み部１１７は、第１の多重化ストリーム６０１を記録媒体１１８へと記録する。ストリーム送信部９０１は、第２の多重化ストリーム１００１を入力し、ネットワークサーバー９０２へと転送を行う。
【００４４】
図１１は、符号化処理、エントロピー符号化処理、多重化処理を示すタイミング図である。A1-1は、１枚目の入力画像の第１の符号化対象映像に対する、符号化部１０４の符号化処理時間である。A1-2は、１枚目の入力画像の第２の符号化対象映像に対する、符号化部１０４の符号化処理時間である。以後、２枚目の入力画像に対する符号化部１０４の符号化処理時間はA2-1,およびA2-2であり、３枚目の入力画像に対する符号化部１０４の符号化処理時間はA3-1,およびA3-2であり、４枚目の入力画像に対する符号化部１０４の符号化処理時間はA4-1,およびA4-2である。
【００４５】
B1-1は、１枚目の入力画像の第１の符号化対象映像に対する、エントロピー符号化部１０７の符号化処理時間である。B1-2は、１枚目の入力画像の第２の符号化対象映像に対する、エントロピー符号化部１０７の符号化処理時間である。COPYは、結合部１１３が第１の領域の算術符号化後の符号化ストリームを符号化ストリームバッファ１１２内の別領域にコピーする処理時間である。
【００４６】
以後、２枚目の入力画像に対するエントロピー符号化部１０７の符号化処理時間はB2-1,およびB 2-2であり、３枚目の入力画像に対するエントロピー符号化部１０７の符号化処理時間はB3-1,およびB 3-2であり、４枚目の入力画像に対するエントロピー符号化部１０７の符号化処理時間はB4-1,およびB4-2である。
【００４７】
C1-1は、１枚目の入力画像の第１のスライスデータに対する、多重化部１１５の多重化処理時間である。C1-2は、１枚目の入力画像の第２のスライスデータに対する、多重化部１１５の多重化処理時間である。以後、２枚目の入力画像のスライスデータに対する多重化部１１５の多重化処理時間はC2-1,およびC 2-2であり、３枚目の入力画像のスライスデータに対する多重化部１１５の多重化処理時間はC3-1,およびC3-2であり、４枚目の入力画像のスライスデータに対する多重化部１１５の多重化処理時間はC4-1,およびC4-2である。
【００４８】
D1-2は、１枚目の入力画像の第２の多重化ストリームに対する、ストリーム送信部９０１の送信処理時間である。D2-2は、２枚目の入力画像の第２の多重化ストリームに対する、ストリーム送信部９０１の送信処理時間である。D3-2は、３枚目の入力画像の第２の多重化ストリームに対する、ストリーム送信部９０１の送信処理時間である。
【００４９】
符号化処理の処理時間について、第２の符号化対象映像は、映像重畳部１０３によって第１の符号化対象映像の一部から生成されたものであるため、第２の符号化対象映像の符号化処理時間A1-2は第１の符号化対象映像の処理時間A1-1と比べて短くなっている。エントロピー符号化処理は、符号化処理に対して、１フレーム期間の遅延で処理を行う。
【００５０】
多重化処理は、エントロピー符号化処理に対して、１フレーム期間の遅延で処理を行う。多重化処理は、第１のスライスデータと第２のスライスデータの符号量が等しいため、処理時間は同等となっている。符号化処理やエントロピー符号化処理と比較して、処理内容が簡単であるため処理時間は短く、２つのスライスデータのリアルタイムの多重化が可能となっている。動画配信処理は、多重化処理に対して、１フレーム期間の遅延で処理を行う。
【００５１】
以上のようにすることで、多重化部が第１の多重化ストリーム６０１と第２の多重化ストリーム１００１を生成すると、その直後に動画送信部９０１は、第２の多重化ストリーム１００１をネットワーク上のサーバー９０２へと転送を行うことができる。よって、画面の一部にロゴを重畳させた映像を多重化してすぐに配信することができるため、ユーザーに好適な符号化装置を提供することが出来る。
【符号の説明】
【００５２】
１０１  映像入力部
１０２  フレームバッファ
１０３  映像重畳部
１０４  符号化部
１０５  直交変換部
１０６  量子化部
１０７  エントロピー符号化部
１０８  二値符号化部
１０９  算術符号化部
１１０  二値データバッファ
１１１  内部パラメータ保持部
１１２  符号化ストリームバッファ
１１３  結合部
１１４  量子化制御部
１１５  多重化部
１１６  多重化ストリームバッファ
１１７  ファイル書き込み部
１１８  記録媒体
【図１】
2015126429.tif 000003
【図２】
2015126429.tif 000004
【図３】
2015126429.tif 000005
【図４】
2015126429.tif 000006
【図５】
2015126429.tif 000007
【図６】
2015126429.tif 000008
【図７】
2015126429.tif 000009
【図８】
2015126429.tif 000010
【図９】
2015126429.tif 000011
【図１０】
2015126429.tif 000012
【図１１】
2015126429.tif 000013