(57)【要約】本発明はマルチメディア符号化及び復号システム及び方法に関する。本システム及び方法は追加情報を信号化するために特定の予測モード、例えば、メタデータ、を使用するシステム及び方法を提供する。その一方、符号化効果とメタデータの間のバランスを考慮しつつこれを実現する。予測モードは、ビットに関係するモードテーブル及び符号化の強い影響を考慮することにより符号化することができる。開始及び停止コードがメッセージを信号化するのに使用でき、他方モードをビットテーブルに合わせてどのように適切に設計するかについての種々の技術を提供する。
2010541383.tif 000002
【特許請求の範囲】
【請求項１】
離散時間メディア信号を符号化する方法であって、
メディア信号を受信し、
前記メディア信号内で符号化される追加情報を得て、
複数の異なる符号化タイプから一つの符号化タイプを選択するために前記追加情報を用い、
前記一つの符号化タイプを用いるメディア信号を符号化し、前記符号化タイプは追加情報を表す、
ことを含む前記方法。
【請求項２】
前記メディア信号はビデオ信号である、請求項１の方法。
【請求項３】
前記符号化タイプはビデオ信号用の複数の予測モードの少なくとも一つを含む、請求項２の方法。
【請求項４】
さらに前記方法は予測モードを、符号化効果に対する影響を減少させるために選択される信号グループに纏めてグループ化することを含む、
請求項３の方法。
【請求項５】
さらに前記方法は、開始コード又は終了コード又は長さコードの少なくとも一つを規定し、そして追加情報に隣接するビデオ信号位置内の開始コード又は終了コード又は長さコードの少なくとも一つを表すために前記符号化タイプを用いることを含む、請求項２の方法。
【請求項６】
前記開始コード又は終了コードは実際のビデオでは起こり難い符号化決定のシーケンスを表す、請求項５の方法。
【請求項７】
前記追加情報はビデオ信号の内容に関係し、ビデオ信号の異なる部分と一時的に同期する、請求項２の方法。
【請求項８】
前記追加情報はビデオ信号と関係しない、請求項２の方法。
【請求項９】
さらに略同様な効果を持つ符号化タイプを決定し、そして前記符号化プログラムをグループ化して前記使用が符号化効果に持つ影響を減少させるグループを形成することを含む、請求項３の方法。
【請求項１０】
さらに前記二次情報に基づき選択される第一の符号化タイプを検出することを含み、ここに第一の符号化タイプはビデオの劣化を引起し、そして前記方法は前記検出に基づく前記選択に優先することを含む、請求項２の方法。
【請求項１１】
前記符号化タイプに優先することにはビデオの異なる領域が受信されるまで二次情報の符号化を遅らせることを含む、請求項１０の方法。
【請求項１２】
前記検出はビデオ信号内の変化を検出することに基づくことを含む、請求項１０の方法。
【請求項１３】
前記優先することには追加情報を表すために使用されるインター符号化（inter coding）及びイントラ符号化 (intra coding)の間の変化を含む、請求項１２の方法。
【請求項１４】
さらにビデオ信号内の追加情報の最初又は終了の少なくとも一つを示す外部信号を用いることを含む、請求項２の方法。
【請求項１５】
前記追加情報を符号化するために用いられる異なる符号化タイプはイントラ対インター予測、予測の方向、サブ区分化、参照指数、動作及び照明変化パラメータ、変換又は量子化パラメータを含む、請求項２の方法。
【請求項１６】
方法であって、
符号化されたメディア信号を復号すること、及びメディア信号を複数の異なる符号化タイプの一つとして符号化するために使用された符号化タイプを決定すること、
メディア符号化タイプと情報のビットの間の関係に接近するために前記符号化タイプを使用すること、及び
前記情報のビットを前記復号からの追加情報として得ること
を含む前記方法。
【請求項１７】
前記メディア信号はビデオ信号であり、前記メディア符号化タイプはビデオ符号化モードを含む、請求項１６の方法。
【請求項１８】
前記符号化タイプはビデオ信号のための複数の予測モードの少なくとも一つを含む、請求項１７の方法。
【請求項１９】
さらに前記情報のビットから開始コード又は終了コードの少なくとも一つを決定し、前記開始コード又は終了コードに隣接する追加情報を検出することを含む、請求項１８の方法。
【請求項２０】
前記追加情報をビデオ信号の異なる部分と一時的に同期するものとして検出することを含む、請求項１７の方法。
【請求項２１】
さらに前記追加情報がビデオ信号に関係しないことを検出することを含む、請求項１７の方法。
【請求項２２】
前記符号化タイプは追加情報を表すために使用されるインター符号化及びイントラ符号化を含む、請求項１７の方法。
【請求項２３】
さらに前記ビデオ信号内の追加情報の開始又は終了の少なくとも一つを示す外部信号を検出することを含む、請求項１７の方法。
【請求項２４】
前記追加情報を符号化するために使用される異なる前記符号化タイプはイントラ対インター予測、予測の方向、サブ区分化、参照指数、動作及び照明変化パラメータ、変換又は量子化パラメータを含む、請求項１７の方法。
【請求項２５】
装置であって、
複数の異なる予測モードの一つにおいてメディア信号を符号化する様に動作するメディアエンコーダ、
メディア信号の一部として符号化される追加情報への入力、及び
前記追加情報に基づき前記複数の予測モードの一つを選択し、そして前記追加情報を表すために追加情報を用いる決定部分
を含む前記装置。
【請求項２６】
前記メディア信号はビデオ信号である、請求項２５の装置。
【請求項２７】
前記メディア信号はオーディオ信号である、請求項２５の装置。
【請求項２８】
前記メディアエンコーダは音声エンコーダである、請求項２７の装置。
【請求項２９】
前記決定部分は予測モードを追加情報のビットに関係付ける予測テーブルを含み、前記テーブルは予測モードを、符号化効果への影響を減少させる様に選択される信号化グループに纏めてグループ化する、請求項２５の装置。
【請求項３０】
前記決定部分は、符号化効果への衝撃のために意図的に追加情報を信号化しない、請求項２５の装置。
【請求項３１】
前記追加情報はエラー訂正プログラムを用いて事前に符号化される、請求項３０の装置。
【請求項３２】
開始コード又は終了コードの少なくとも一つを保存し、そして追加情報に隣接するビデオ信号の位置内で前記開始コード又は終了コードの少なくとも一つを表す前記エンコーダタイプを用いることを含む、請求項２６の装置。
【請求項３３】
前記開始コード又は終了コードは実際のビデオでは起こり難い符号化決定のシーケンスを表す、請求項３２の装置。
【請求項３４】
前記追加情報はビデオ信号の内容に関係し、そしてビデオ信号の異なる部分と一次的に同期する、請求項２６の装置。
【請求項３５】
前記追加情報はビデオ信号と関係しない、請求項２６の装置。
【請求項３６】
前記決定部分は、略同様の効果を持つ符号化プログラムを示す情報、及びその使用が符号化効果に与える影響を減少させる符号化プログラムのグループを含む、請求項２６の装置。
【請求項３７】
前記ビデオエンコーダは二次情報に基づいて選択される第一の符号化タイプを検出し、ここでその第一の符号化タイプがビデオにおいて劣化を引き起しものであり、前記ビデオエンコーダは前記検出に基づいて前記第一の符号化タイプの前記使用に優先する、請求項２６の装置。
【請求項３８】
前記ビデオエンコーダの優先操作には、二次情報の符号化をビデオの異なる領域まで遅らせることを含む、請求項３７の装置。
【請求項３９】
前記ビデオエンコーダの優先操作には、追加情報を表すために使用されるインター符号化及びイントラ符号化の間の変化を含む、請求項３７の装置。
【請求項４０】
前記ビデオ信号内の追加情報の始まり又は終了の内の少なくとも一つを示す外部信号との接続を含む、請求項２６の装置。
【請求項４１】
前記追加情報を符号化するために使用される異なる符号化タイプはイントラ対インター予測、予測の方向、サブ区分化、参照指数、動作及び照明変化パラメータ、変換又は量子化パラメータを含む、請求項２６の装置。
【請求項４２】
装置であって、
デコーダであり、前記デコーダは符号化されたメディア信号を復号し、そして復号のために使用された符号化のタイプを決定し、前記デコーダはメディア信号を復号した複数の異なる符号化タイプの一つを決定し、及び
論理部分であり、前記論理部分は符号化タイプを受信し、ビデオ符号化タイプと情報のビットの間の関係にアクセスし、そして情報のビットを前記復号からの追加情報として出力するために符号化タイプを用いる論理部分
含む、前記装置。
【請求項４３】
前記メディア信号はビデオ信号である、請求項４２の装置。
【請求項４４】
前記メディア信号はオーディオ信号である、請求項４２の装置。
【請求項４５】
前記メディアデコーダは音声デコーダである、請求項４４の装置。
【請求項４６】
前記論理部分はメディア信号の複数の予測モード及び前記予測モードに関するビットを保存する、請求項４１の装置。
【請求項４７】
前記論理部分はまた前記情報のビットの開始コード又は終了コードの少なくとも一つを検出し、前記開始コード又は終了コードに隣接する追加情報を検出する、請求項４１の装置。
【請求項４８】
前記論理部分はメディア信号に埋め込まれた情報のビット中の誤りを検出しそして訂正する、請求項４６の装置。
【請求項４９】
前記論理部分は追加情報を、メディア信号の異なる部分と一時的に同期するものとして検出する、請求項４１の装置。
【請求項５０】
前記論理部分は前記追加情報がメディア信号と関係しないことを検出する、請求項４１の装置。
【請求項５１】
前記論理部分はメディア信号中の追加情報の開始又は終了の少なくとも一つを示す外部信号を検出する、請求項４１の装置。
【請求項５２】
前記追加情報を符号化するために使用される異なる符号化タイプはイントラ対インター予測、予測の方向、サブ区分化、参照指数、動作及び照明変化パラメータ、変換及び/又は量子化パラメータを含む、請求項４３の装置。
【発明の詳細な説明】
【背景技術】
【０００１】
本出願は２００７年９月２８日に出願された、発明の名称「追加情報能力を持つマルチメディア「符号化及び復号」の米国仮出願第60/976,185号の優先権の利益を享受するものである。
【０００２】
ビデオ及び/又は音響のマルチメディア信号の符号化及び復号はチャンネル上に送られる情報量を減少させるために極端に圧縮されることが多い。エンコーダは信号を最も効率的に符号化する圧縮パラメータを選択するためにしばしば圧縮の最適化ルーチンを行う。
【発明の概要】
【０００３】
本願発明は、二次情報が、使用される特定の符号化に対する制約により符号化され得るビデオ信号と共に二次情報を伝送するための技術に関する。
【０００４】
本明細書に記載の実施の態様は予測タイプとしての制約を持つこともある。本明細書の実施の態様はまた開始及び終了コードを持っても良い。ある実施の態様においては、トランスポート層から独立のビデオビットストリーム内に種々の二次情報を埋め込むことを含んでも良い。二次情報はエンコーダにより符号化されそしてその後復号される一連のビットであっても良い。符号化はレガシーシステムに完全に透明であっても良い。本明細書のある実施の態様においては、サブオプティカル（suboptical）符号化決定の様な符号化の決定がどのように、次の符号化決定により少なくとも部分的に補償され得るかを示す。本明細書のある実施の態様は、レガシーシステムが二次情報に対する支持を提供するか否かに関わらず、レガシーシステムと共に用いても良い。
【図面の簡単な説明】
【０００５】
添付する図面に関して、これらの及び他の特徴を詳細に説明する。
【図１】図１はＡＶＣビデオ符号化標準での異なるマクロブロック及びサブマクロ区分のサンプルを表す。
【図２】図２はＡＶＣ標準での異なるイントラ４Ｘ４予測モードの例を表す。
【図３】図３はＶＣ標準での異なるイントラ１６Ｘ１６予測モードの例を表す。
【図４】図４はイントラ予測ブロック及びＡＶＣ内の４Ｘ４ブロックスキャンの例を表す。
【図５】図５はイントラ予測ブロック及びＡＶＣ内の４Ｘ４ブロックスキャンの例を表す。
【図６】図６は符号化及び復号シーケンスの例を表すブロック略図を表す。
【図７】図７は開始コード/終了コード及び信号化の例を示す。
【図８】図８はビデオエンコーダの例のブロック略図を表す。
【図９】図９はビデオデコーダの例のブロック略図を表す。
【図１０】図１０はメッセージ位置表示の実施の態様の例を表す。
【図１１】図１１はビデオ符号化内のマーキンブを例を表す。
【発明の詳細な説明】
【０００６】
本明細書に実施の態様の例が記載される。以下の記述では、本願発明の完全な理解を得るために数多くの特定の詳細について記述する。しかし、本願発明は、これらの特定の詳細によらずに実施しても良い。
【０００７】
他の実施の態様では、周知の構造及び装置が、本願発明を不必要に不明瞭にしないためにブロック略図の形で示される。
【０００８】
発明の概観
本願発明のある特徴は、ある実施の態様では、離散時間メディア信号を符号化する方法を表す。この方法はメディア信号を受信し、メディア信号内で符号化される追加情報を得て、複数の異なる符号化タイプから一つの符号化タイプを選択するために追加情報を用い、一つの符号化タイプを用いるメディア信号を符号化することを含む。符号化タイプは追加情報を表す。
【０００９】
これら及び他の実施の態様では、任意選択的に以下の一以上の特徴を含む。メディア信号はビデオ信号であっても良い。符号化タイプはビデオ信号用の複数の予測モードの少なくとも一つを含んでも良い。前記方法は予測モードを、符号化の効果に対する影響を減少させるために選択される信号グループに纏めてグループ化することを含んでも良い。前記方法は、開始コード及び/又は終了コード及び/又は長さコードの少なくとも一つを規定し、そして追加情報に隣接するビデオ信号位置内の、開始コード及び/又は終了コード及び/又は長さコードの少なくとも一つを表すために符号化タイプを使用することを含んでも良い。開始コード及び/又は終了コードは実際のビデオでは起きることは考えられない符号化決定のシーケンスを表すこともある。追加情報はビデオ信号の内容に関係しても良く、ビデオ信号の異なる部分と一時的に同期させることができる。追加情報はビデオ信号と関係しないこともある。
【００１０】
前記方法は、ほぼ同様な効果を持つ符号化タイプを決定し、及びグループを形成する符号化プログラムをグループ化することを含んでも良く、前記グループ化は使用するステップが符号化効果に持つ影響を減少させることができる。この方法は二次情報に基づき選択される第一の符号化タイプを検出することを含んでも良い。前記方法は検出に基づく選択に優先することを含んでも良い。第一の符号化タイプはビデオの劣化を引起すこともある。符号化タイプに優先するステップは、ビデオの異なる領域が受領されるまで二次情報の符号化を遅らせることを含むこともありうる。検出はビデオ信号内の変化を検出するステップに基づくことを含んでもよい。優先するステップは追加情報を表すために使用されるインター符号化（inter coding）及びイントラ符号化 (intra coding)の間の変化を含んでも良い。前記方法はビデオ信号内の追加情報の最初及び/又は終了の少なくとも一つを示す外部信号を用いることを含んでも良い。追加情報を符号化するために用いられる異なる符号化タイプはイントラ対インター予測、予測の方向、サブ区分化、参照指数、動作及び照明変化パラメータ、変換及び/又は量子化パラメータを含んでも良い。
【００１１】
本願発明のある特徴について、ある実施の態様においては、符号化されたメディア信号を復号すること及びメディア信号を複数の異なる符号化タイプの一つとして符号化するために使用された符号化タイプを決定することを含む方法について記載する。前記方法はメディア符号化タイプと情報のビットの間の関係に接近するために符号化タイプを使用し、そして情報のビットを復号からの追加情報として得ることを含む。
【００１２】
これらの及び他の実施の態様では、任意選択的に一以上の次の特徴を含む。メディア信号はビデオ信号であっても良く、メディア符号化タイプはビデオ符号化モードを含む。符号化タイプはビデオ信号のための複数の予測モードの少なくとも一つを含んでも良い。前記方法は情報のビットから開始コード及び/又は終了コードの少なくとも一つを決定し、開始コード及び/又は終了コードに隣接する追加情報を検出することを含んでも良い。前記方法は追加情報をビデオ信号の異なる部分と一時的に同期するものとして検出することを含んでも良い。前記方法は追加情報がビデオ信号に関係しないことを検出することを含んでも良い。符号化タイプは追加情報を表すために使用されるインター符号化及びイントラ符号化を含むこともある。前記方法はビデオ信号内の追加情報の開始及び/又は終了の少なくとも一つを示す外部信号を検出することを含んでも良い。追加情報を符号化するために使用される異なる符号化タイプはイントラ対インター予測、予測の方向、サブ区分化、参照指数、動作及び照明変化パラメータ、変換及び/又は量子化パラメータを含んでも良い。
【００１３】
本願発明のある特徴について、ある実施の態様においては複数の異なる予測モードの一つにおいてメディア信号を符号化する様に動作するメディアエンコーダ、メディア信号の一部として符号化される追加情報への入力、及び追加情報に基づき複数の予測モードの一つを選択し、そして追加情報を表すために追加情報を用いることを含む装置を含む。
【００１４】
これらの及び他の実施の態様では、任意選択的に一以上の以下の特徴を含んでも良い。メディア信号はビデオ信号及び/又はオーディオ信号を含んでも良い。メディアエンコーダは音声エンコーダであっても良い。決定部分は予測モードを追加情報のビットに関係付ける予測テーブルを含んでも良く、そこではテーブルは予測モードを纏めて、符号化効果への影響を減少させる様に選択される信号化グループにグループ化しても良い。決定部分は、符号化効果への衝撃のために意図的に追加情報を信号化しないこともある。追加情報はエラー訂正プログラムを用いて事前に復号されても良い。この方法は開始コード及び/又は終了コードの少なくとも一つを保存し、そして追加情報に隣接するビデオ信号の位置内で開始コード及び/又は終了コードの少なくとも一つを表すエンコーダタイプを用いることを含んでも良い。
【００１５】
これらの及び他の実施の態様では、任意選択的に一以上の以下の特徴を含む。開始コード及び/又は終了コードは実際のビデオでは起こり難い符号化決定の順序を表すこともある。追加情報はビデオ信号の内容に関係することもあり、そしてビデオ信号の異なる部分と一次的に同期させることも出来る。追加情報はビデオ信号と関係しないこともある。決定部分は、略同様の効果を持つ符号化プログラムを示す情報、及びその使用のステップが符号化効果に与える効果を減少させる符号化プログラムのグループを含んでも良い。ビデオエンコーダは、そこで第一の符号化タイプがビデオにおいて劣化を引き起こす二次情報に基づいて選択される第一の符号化タイプを検出することができる。ビデオエンコーダはその検出に基づいて第一の符号化タイプを用いるステップに優先しても良い。ビデオエンコーダの操作に優先するステップは二次情報の符号化をビデオの異なる領域まで遅らせることを含んでも良い。ビデオエンコーダに優先するステップは追加情報を表すために使用されるインター符号化及びイントラ符号化の間の変化を含んでも良い。
【００１６】
これらの及び他の実施の態様では、任意選択的に一以上の以下の特徴を含んでも良い。装置は、ビデオ信号内の追加情報の始まり及び/又は終了の内の少なくとも一つを示す外部信号との接続を含んでも良い。追加情報を符号化するために使用される異なる符号化タイプはイントラ対インター予測、予測の方向、サブ区分化、参照指数、動作及び照明変化パラメータ、変換及び/又は量子化パラメータを含んでも良い。
【００１７】
本発明のある特徴について、ある実施の態様では、符号化されたメディア信号を復号し、そして復号のために使用された符号化のタイプを決定するデコーダを含む装置について説明する。デコーダは  メディア信号を復号した複数の異なる符号化タイプの一つを決定する。この装置は符号化タイプを受信する論理部分（logic part)、ビデオ符号化タイプと情報のビットの間の関係にアクセスし、また情報のビットを復号から追加情報として出力するために符号化タイプを用いることを含む。
【００１８】
これらの及び他の実施の態様では、任意選択的に一以上の以下の特徴を含んでも良い。メディア信号はビデオ信号及び/又はオーディオ信号であっても良い。メディアデコーダは音声デコーダであっても良い。論理部分はメディア信号の複数の予測モード及び予測モードに関するビットを保存することができる。
【００１９】
論理部分はまた情報のビットの開始コード/終了コードの少なくとも一つを検出することができ、開始コード/終了コードに隣接する追加情報を検出することもある。論理部分はメディア信号に埋め込まれる情報のビット中の誤りを検出しそして訂正することができる。論理部分は追加情報を、メディア信号の異なる部分と一時的に同期するものとして検出することができる。論理部分は追加情報がメディア信号と関係しないことを検出することもある。論理部分はメディア信号中の追加情報の開始及び/又は終了の少なくとも一つを示す外部信号を検出することができる。追加情報を符号化するために使用される異なる符号化タイプはイントラ対インター予測、予測の方向、サブ区分化、参照指数、動作及び照明変化パラメータ、変換及び/又は量子化パラメータを含んでも良い。
【００２０】
また本明細書に記載の方法及び技術はいずれもシステム、装置又は機器、機械、コンピュータプログラム製品、ソフトウエア、ハードウエア、又はこれらの任意の組み合わせにおいて実施することができる。例えば、コンピュータプログラム製品は、コンピュータ読取可能媒体（例えば、データ保存ユニット）において明らかに符号化することができ、データ処理装置に本明細書に記載の任意の方法のための一以上の操作を実施させる指示を含んでも良い。
【００２１】
追加情報能力を持つマルチメディア符号化及び復号
本発明者は、メディアがビデオ、オーディオ、静止画像又は他のマルチメディア情報を含む場合、二次情報を伝送されたメディア情報と共に伝送することが望ましいことがあることを見出した。本実施の態様では、ビデオについてのみ言及しているが、オーディオを含む他の形式もまた含まれると理解されねばならない。この二次情報は情報を表すもので、本明細書に記載のある機能のために使用されても良い。
【００２２】
二次情報の第一の範疇にはメディア自身、例えば、ビデオに関する情報を含んでも良い。ビデオ自身に関する二次情報はしばしばメタデータと呼ばれる。この種類の二次情報は伝送された内容に関する追加の情報を提供することも出来る。例えば、ビデオ伝送システム中のメタデータの使用には、著作権の告示情報、復号プロセスを助け又は強化するために用いられる情報又はビデオに関する追加情報などの異なる使用を含むこともある。この情報は種々の応用に用いることができる。
【００２３】
二次情報がメタデータである場合、このメタデータをメディアと、例えば、ビデオ画像と同期させることが重要である。またメタデータの同期は、トランスポート層で変化が起きる場合でも維持されることが重要となることもある。例えば、メタデータ信号内のビットがビデオ信号内の像のブロック又はマクロブロックと関連することが望ましい。
【００２４】
二次情報は代替的に非メタデータ情報であっても良く、この情報はメディアに部分的に又は全体として関連しない情報である。これは隠された通信又は例えば、レガシーシステムのサポート情報でありうる。ある実施の態様においては、追加通信チャネルは、デコーダが特別なデコード部分を備えていない限り、デコーダにとり透明である。
【００２５】
二次情報の応用には３D画像再構築、高ダイナミックレンジ画像生成、ノイズ除去、一時補間、超解像度画像生成、及び誤り隠蔽を含むこともある。技術分野ではこれをエンドユーザーに対する隠されたメッセージ又は他の情報を提供するために使用することもある。このシステムはデジタル署名のために使用することができ、例えば、情報は暗号化された又は暗号化されていないメッセージを伝え、又は復号されたビデオの質を高めるための専有、後処理システムに用いても良い。他の応用には、ステガノグラフィー、暗号法、後プロセス法又は、評価形成、トランスコーディングヒント、誤り隠蔽、現在のシーンでの俳優又は位置の様なビデオ内容情報、広告情報、チャンネルガイド情報、スクランブル解除符号を使用しない観賞を完全に排除する第一のタイプ、又はスクランブル符号を使用せずに、低品質画像を観賞することが可能であり、そしてスクランブル符号が提供された場合は、画像を向上させる第二のタイプを含む、異なるタイプのビデオスクランブルを含む。
【００２６】
二次情報はbios又は他のソフトウエア  アップグレード情報等を含んでも良い。トリックモード機能（trick mode functionality）は現在及び次に来る画像の間の関係についてのヒントを提供することができる場合に支持される。この情報は、速い前進及び巻き戻し機能を提供するためにデコーダにより使用されうる。このシステムはまたビットレート拡張目的のために用いることも出来る。
【００２７】
本明細書に開示された複数の実施の態様は、任意の上でのべた応用又はこれらを任意に組み合わせたものにおいて使用することができる。
【００２８】
ある実施の態様においては、第一の実施の態様で使用されるMPEG-4 AVC標準の様な符号化システムと共に作動するシステムの使用について記述する。これらの符号化システムは種々の異なる符号化モードを用いるブロック区分を表す。特定のモードが、ブロック内の情報を可能な限り効率良く圧縮するように通常エンコーダにより選択される。異なるモードでは、ビデオ信号内のテクスチャー、動作及び照明の変化を予測する異なる予測技術を用いる。例えば、これはイントラ予測及びインター予測を含んでも良い。またサブ区分法を用いても良い。例えば、ブロックのイントラ符号化は4 x 4, 8 x 8, 又は16 x 16予測ブロックについて予測しても良い。インター予測では、モードは現在の部分、例えば、マクロブロック又はブロック内のサブ区分化方法に信号を出す。各サブ区分は更にインター予測の参照画像指標と関連させても良い。運動ベクトルを超える他の情報もまた用いることができ、それらは変換サイズ、翻訳され、アフィン変換され又は他のタイプの運動ベクトル、重量の様な証明パラメータ、相殺パラメータ、異なる変換、及び量子化パラメータの様な照明パラメータを含む。
【００２９】
イントラ対インター予測、予測の方向、サブ区分化、参照指数、動作及び照明変化パラメータ、変換及び/又は量子化パラメータを含む、信号を符号化するこれらの異なる方法の各々は、総称的に予測情報を呼ばれる。
【００３０】
ある実施の態様では、予測情報とあるデータビットの間の関係を表す情報にしたがって、追加情報を符号化する特定の種類の予測情報を用いる。この情報はルックアップテーブルであり、又はモードを情報に関連付ける他の同様のテーブルである。
【００３１】
図１−５は、MPEG-4 AVC/H.264標準に基づいたコーデックの様に、コーデックがマクロブロックを表す種々の異なるモードを使用することができることを示す。例えば、図１に示すマクロブロックを取る場合、これは16 x 16 マクロブロックであるとすると、全体のマクロブロックは多くの異なる方法により予測することが可能である。１００は単一の運動ベクターを持つ単一の16 x 16区分として予測されるマクロブロックを示す。１０２は16 x 8 区分を、104は8 x 16区分を、106 は4つの別々の8 x 8区分が用いられていることを示す。
【００３２】
同様な方法で、各区分は異なる運動ベクターを持っても良い。２つの予測可能なケースでは、ブロック当たり２組の運動ベクターを伝送しても良い。8 x 8ブロックサイズまで割り振ることのできる運き補正された予測について１６までの参照があっても良い。運き補償はまた下限が1/４までのピクセル精度で実施しても良い。加重された予測法は特に照明の変化がある場合の効果を改善するために使用しても良い。
【００３３】
符号化効果を改善するイントラ符号化、イントラ予測モードを使用しても良い。例えば、図２は複数の異なる4 x 4 ブロックサイズを示し及びイントラ符号化がこれらのブロックサイズにおいて使用され、200において垂直、202において水平、204 でDC, 206で左側が下方である対角方向, 208で右側が下方である対角方向, 210で右側が下方である垂直方向, 212で右側が下方である水平方向, 214で左が下方である垂直方向、 及び216で右側が上方である水平方向のモードを生産するために使用することができる。これらの予測モードは各４ｘ４ブロックに対して９つの予測モート゛を提供する。
【００３４】
予測はまた他のブロックサイズで実施しても良い。例えば、図３はAVCが予測のために、どの様にイントラ16 x 16予測モート゛を考えているかを示す。４００は垂直予測モード゛を示し、４０２は水平予測モードを示し、４０４はDC予測モードを、そして４０６は平面予測モードを示す。予測はまた8 x 8 モードを用いてAVC内で実施することができるが、他の現今及び将来のコーデックでは他の予測ブロックサイズ又はモードを検討しても良い。
【００３５】
図４及び５は各4 x 4 ブロックサイズのイントラ予測ブロック、及びAVC内のそれの各走査順序を示す。
【００３６】
これらの図は符号化のために使用することのできる異なる予測の幾つかを示す。エンコーダは通常好ましい運転モードを提供する符号化モードを選択する。殆んどの場合、その選択は事前に決定された品質測定、ビット数及び/又は複雑度において最良の品質を提供する符号化予測に基づく。本発明者はこの選択プロセスは、それ自身情報を符号化ために使用することができ、それにより特定のモードは情報を符号化することを見出した。
【００３７】
ある実施の態様において、符号化に使用される特定のモードは、決定論的な方法で選択される。追加情報を表す様に特定の選択がなされる。
【００３８】
図６はビデオの流れの中の追加の情報を符号化するこの決定コーダー（deterministic coder)６００を用いる実施の態様を表す。決定コーダー６００は図６に示すように、符号化されるビデオ６０５を受信し、そして符号化されたビデオ６１０を生成する。上で述べた様に、この場合MPEG-4 AVC標準又は複数の異なる符号化プログラムの一つを用いて符号化することの出来る任意の他のコード体系を用いても良い。しかし図６の決定コーダーは予測又は符号化プログラムの何れを用いるかを決定するためにモードテーブル６２０を使用する。追加情報625はコーダーに入力される。メディアテーブル620は異なる予測/符号化プログラム及びその符号化プログラムで表される追加情報のデジタルビットとの関係を特定する。運転については、コーダー６００は、追加情報を表すモードテーブル６２０からモードを選択する追加情報に基づき運転される。
【００３９】
符号化されたビデオ６１０が追加情報６２５にしたがって符号化された。しかし、ビデオは標準的に符号化されており、特別な部分が追加されていないため、６９０の様なレガシーデコーダのみならず６５０の様な特別なデコーダの両方がこのビデオ６１０を復号することができる。レガシーデコーダ６９０はビデオを復号しビデオ出力６９９を作る。追加情報は失われるが復号は影響されない。
【００４０】
二次情報はモード情報を復号するように特別に構成されているデコーダ６５０から得ることができる。デコーダ６５０はエンコーダ６００により使用される同じモードテーブルであるモードテーブル６２１を含んでも良い。モードテーブル６２１は何れの符号化モードが使用されるかをデコーダが決定することにより、使用された符号化プログラムを選択する様に符号化された追加情報を結局復号する様に使用される。デコーダ内の論理モジュール６５１はビデオ６１０が特にこの情報により符号化されることを決定し、また追加情報６５２をビデオ及びモードテーブルから取り出してそれを出力する。出力された追加情報は、ビデオの領域、例えば、それを含むフレームと時間同期させることができる。
【００４１】
モードテーブルは情報のビット又はバイトと特定の符号化ブロックタイプの間のあらゆる関係を確立させることで形成することができる。例えば、表１はイントラマクロブロックタイプとそれの追加データの符号への割当を表す。
【００４２】
表１：イントラマクロブロックタイプとそのメタデータ符号への割当
【数１】
2010541383.tif 000003
【００４３】
もちろん、これは単なる例示の一つに過ぎず、異なるビットを異なるモードと関連付けしても良い。
【００４４】
表１はイントラ符号化モードが、どの様に二次情報データ列からビット信号を送るために用いることができることを示す。異なるマクロブロックタイプは異なる二次データ信号を示す。ＡＶＣを用いる実施の態様では、クロミナンス予測を考慮しない場合でも、異なる４ｘ４イントラ予測モードの可能な組み合わせの数が９の１６乗となる。更に追加の組み合わせが、８ｘ８，又は１６ｘ１６イントラ予測、及びクロミナンス予測モードを用いて得ることができる。この実施の態様での予測は、最も効果的な符号化プログラムよりもむしろ追加情報により決定される。他の標準又は将来の標準ではより多い又は少ないモードを使用しても良い。
【００４５】
しかし、特定のビデオ予測を実行することは、準最適符号化プログラムを生み出すこともある。ある実施の態様においては、不適当な予測による不手際な結果は残りの部分の順次の符号化により補償することができる。これにより品質上の影響は軽減される。
【００４６】
ある実施の態様においては、予測信号は効果上の損傷を軽減する様にグループ化される。例えば、ある実施の態様においては、予測についてその類似性をベースにモードを分離する。
【００４７】
ＡＶＣの様なビデオ圧縮では、一時期に符号化する決定は将来の決定及び効果に影響を与えることもある。特に、画像ブロックをＡ0モードで符号化することは、の歪み率コスト（Rate Distortion cost）で価値コスト（value cost）0となりうる。しかし、この第一の符号化決定は隣接ブロックの圧縮効果に影響を与えることもある。特に、隣接ブロックがモード８０で符号化されている場合、コスト１になるであろう。したがって、モードA0及びB0を使うこれらの２つのブロックに対する全コストはコスト０＋コスト１となる。
【００４８】
代替的な決定では、これらのブロックを、第一のブロックをモードＡ１により、第二のブロックをモードＢ１により符号化する。Ａ１及びＢ１は、第一のブロックにたいしてコスト２、第二のブロックに対してコスト３となる。全コストはコスト２＋コスト３となる。
【００４９】
コスト０＜コスト２であることもあるが、またコスト２＋コスト３がコスト０＋コスト１と同様である（２つのブロックの共同歪み）こともありうる。これがおきると、モードＡ0に続いてＢ0を用いることは、モードＡ１に続いてＢ１を用いた場合と同等であると言われる。
【００５０】
この実施の態様においては、異なるバイナリー署名を各モードに、この場合は、モードペアーに割り当てる。これにより、例えば、「０」をＡ０Ｂ０に、「１」をＡ１Ｂ１に割り当てることができる。これらは同等の効果を奏するため、情報は、符号化に対する対応するコストなしで選択して信号により送ることができる。
【００５１】
この分離により、効果の上で同一である一組のブロックが存在し、そして圧縮のための良好なモードを確実に見出すことでできる場合もある。
【００５２】
この技術はより多くのブロック、モード及び信号化されたビットに一般に使用できる。例えば、図４は異なる４ｘ４ブロックの１６ブロックを示し、これは幾つかのモードの組み合わせとなることもある。これらの組み合わせの幾つかは同等の効果を奏し、もし計測した場合、メタデータバイナリー署名をモードの組み合わせに割当てる方法を決定することを可能にする。
【００５３】
これに基づいて、表１は符号ＡとＢと付した２つの異なる二次情報を示す。表１は図４のブロックa00のモード０とブロックa01のモード１の組み合わせが
ブロックa00とブロックa01のモード２及びモード０の組み合わせと類似の効果を平均的に提供することを示す。同様の決定論的方法が、追加信号情報を使用することなく二次情報を検出し、復号するデコーダにより用いられる。ある実施の態様においては、開始及び終了コードは二次情報の部分を画するために使用しても良い。他の追加信号情報はまた復号プロセスを助け又はヒントを提供するために使用しても良い。
【００５４】
ある実施の態様においては、効率化に対する影響が最小になる様な方法で
信号化の目的において何れの予測モードをグループに纏めたら良いかを分類する技術を用いる。
【００５５】
ある実施の態様においては、一組の予測サンプルセットPiが、利用可能なイントラ予測モードの全て又は幾つかを用いて全ての又は殆んどの予測ブロックを生成するために使用される。
【００５６】
各イントラ予測モードjについて、Piは予測ブロックBijとなるであろう。
【００５７】
各Bijについて、全ての他の予測モードに対する絶対距離がDijkと、モードjとkの間の距離が、距離(Bij-Bik)として決定される。
【００５８】
モードｊ対モードkの累積平均距離は
CDjk=Σ距離(Bij-Bik)  
（但しiについて合計）    （１）
として計算される。
【００５９】
これはグラフ理論を用いて、そして累積距離を２つの予測モードの間のコスト
として選択することにより評価される。その後この予測モードは、これらを最
短経路問題、例えば、旅するセールスマン問題として考えることにより分類
される。この解法により、全ての又は幾つかの予測モードは最良の符号か効果
を区分することができる。
【００６０】
より具体的には、グラフ中の各交点（node）は最短経路の解法にしたがってスキャンされ、各交点はその順序に基づき異なるクラスター/符号に割り当てられる。もしＮの符号があり及び区分された交点ＭがＭ＞Ｎの場合、交点Ｍは符号Ｓ（M%N）に割当てられ、式中％はモジュロオペレーター（modulo operator）である。
【００６１】
準最適であるがより簡単な解法が、第一に問題を複数の部分問題に分解することにより検討することが出来、ここに各部分問題は、同様の技術を用いてイントラ予測モードのサブセットを最適化することを検討する。これらのサブセットは、例えば、２つの対立する予測の方向のモードが極めて非類似であることがすでに知られておりしたがって、それらは一緒に検討することができる事実の様な、すでに事前に規定されたルールを用いて決定することができる。
【００６２】
他の実施の態様では、他のサイズで例えば、4 x 4, 4 x 8, 8 x 4、の現在のマクロブロック又はVC-I, AVS, VP- 6, 又はVP-7の様な他のコーデックにより支持されることのある他の任意のマクロブロックサイズのマクロブロックを符号化するための変換の信号を送る。
【００６３】
他の実施の態様においては、Ｐ及びＢスライスのようなインタースライスのためにこれを実行しても良い。情報を信号として送るために全ての可能なイントラ符号化モードを用いることができるが、これらはインター/動作補償符号化モードに比べて低い符号化効率である。したがって、イントラ符号化モードの使用により符号化効率が劣る。インターモードはスライスタイプ内の信号に用いても良い。
【００６４】
図１はＡＶＣ標準が、如何に４つの異なる区分タイプを支持し、それぞれに動作補償のための16 x 16, 16 x 8, 8 x 16及び8 x 8 区分を指示する100, 102, 104及び106として示すインター予測を用いてマクロブロックを符号化するかを示す。各8 x 8区分は更に図１に１０８として表す8 x 8 区分、図１の１１０として表す8 x 4、図１の１１２として表す4 x8、図１の１１４として表す4  x 4の４つのより小さいサブ区分に更に分けることが出来る。どのマクロブロックが使用することができたか検出するレベル及び特徴の制約を無視しても、（8 x 8サブ区分について）44= 256の可能な組み合わせが、又はマクロビット当たり8ビットがまだ可能である。
【００６５】
各8 x 8の区分はまた１６の異なる参照指数を考慮することができる。組み合わせ及びしたがって、信号により表される署名の数は極めて大きいものになる。例えば、１６の参照を用いることにより、412 = 16777216の組み合わせ、又はマクロブロック当たり24ビットが可能になる。
【００６６】
モードは、また符号化のオーバーヘッド及びパフォーマンスインパクトを低減させるために、纏めることも可能である。ビット信号のためのインターモードを使用することにより表示品位に対する影響がより小さくなることもある。
【００６７】
他の実施の態様においては、容量と圧縮効果を相殺するために信号目的のために限られた数のモードのみを使用しても良い。この実施の態様においては、インターマクロブロック区分のみが、8 x 8サブマクロブロック区分での参照指数を無視する信号として用いられる。これは更にマクロブロック当たり2ビットまでの信号を可能とする。エンコーダは、組み合わせと関連したモードを用い、他の全てのモードを排除することによりあるビットの組み合わせを信号として送る。そして動き検出及び参照指数の選択は通常のエンコーダと同様の方法により実施することができる。
【００６８】
396マクロブロックを含むCIF解像度 (352 x 288)では、これは396 x 2= 792 ビットまで、又はフレーム当たり９９バイトまでの情報を送信する能力があることを示唆する。
【００６９】
表２はＰスライスについてインターマクロブロックタイプ及び符号に対する割り当てを表す。
【００７０】
表２  ＰスライスについてのインターＭＢ及び追加情報符号への可能な割り当て
【数２】
2010541383.tif 000004
【００７１】
この方法はＢスライスに拡張しても良い。
【００７２】
表３はＢスライス中のインターモードから8 x 8マクロブロック区分までがどの様に4ビットメッセージにそれぞれ割当てられるかを表す。Ｐスライスと同様な方法により、ある4つのビットメッセージが与えられると、エンコーダは信号として送られる適当なモードを選択する。選択により二次情報が符号化される。
【００７３】
表３  ＢスライスについてのインターＭＢ及びメタデータ符号への可能な割り当て
モードの増加を考慮して、信号化はより多くのビットをカバーするように拡張することができる。
【数３】
2010541383.tif 000005
【００７４】
あるモードは、効果を向上させ又は品質悪化を減少させるためにメタデータの信号化から排除することができる。例えば、マクロブロックjが、現在の二次情報符号SYMjにより規定されるモードと比べて、排除されたモードの一つを用いて、極めて良好な品質と効果で符号化され得る状況を仮定すると、排除されたモードは符号化のために選択しても良い。符号SYMjは、替わってマクロブロックj+i又は、第一の続くマクロブロックを符号化するために用いられ、第一の続くマクロブロックのためには排除されたモードは符号ｊにより規定されるモードと比較してグループコード化効果において極めて大きい向上はもたらさない。
【００７５】
例を取ると、もし新しい領域が開かれ又は新たな対象がビデオシーンに現われた場合、その品質に衝撃を与えることなくイントラコード化を安全に使用することができるのみならず、二次情報信号のビットを些かも失うことなく使用することができる。単一フレームの包埋能力は低減されるが、圧縮効果及びそれに続く品質に対する対応する影響は低くなることもある。
【００７６】
また、二次情報符号に関連したモードを選択することと比較して圧縮効果の目的のために排除されたモードを選択することのエンコーダにおいての許容値を調整することも出来る。これにより包埋能力とコード化効果の間の釣り合いを図っても良い。
【００７７】
二次情報が過多になると圧縮能力に影響が出ることもある。ある予想では、ビデオ動画像列において二次情報はあるフレーム又は画像にのみ挿入することが必要であるとされることもある。二次情報はある画像（フレーム）に追加され、又はビットストリーム内のある画像においてのみ追加される。これは、例えば、周期的な又は擬似乱数的な方法においてのみ可能である。例証として、これは急速送り及び巻き戻し又はランダムアクセスの様なビデオトリックモードを可能とする二次情報を提供するために使用しても良い。メッセージが知られた/
事前に決められた位置に挿入することができるが、メッセージはまた種々の理由から任意の位置に挿入しても良い。したがって、その様な場合、その存在を検出し、したがって、十分にメッセージを復号することができることが重要である。
【００７８】
ある実施の態様においては、デコーダ６５０はメッセージを検出することができるものでなければならないが、誰も居ない時にメッセージを検出することを避けるために、意図して符号化されたメッセージを検出していることを確認することができることが重要である。同様に、メッセージは存在するがメッセージを検出しない様なフォールスネガティブ（false negative）の排除することも重要である。ある実施の態様においては、開始コード及び終了コードが二次情報を信号として送る前及び送った後にビデオストリーム内に包埋される。開始コード及び終了コードは、実際の二次情報のために使用されたと同じ技術を用いるビデオストリーム内に包埋される事前に規定されたビット列を使用しても良い。例えば、これはビット列をマクロブロック及び/又はブロック符号化モードにマッピングすることにより行っても良い。
【００７９】
これらのコードはフォールスポジティブを避けるため、実際のビデは希にしか又は起きないと思われる一連の符号化決定列として選択される。例えば、最初の１６ｘ８区分、次に8ｘ16区分、次に１６ｘ8区分で符号化された3つの隣接するマクロブロックに出会うことは余りあり得ないと思われる。これらのモードは水平端で対象の端と強い関係を持つため、この組み合わせは考えられない。これが起きる唯一の場合は対象が垂直方向で左及び右マクロブロック内で水平端を持つ場合である。
【００８０】
他の実施の態様においては、その目的でのみ使用することができ、ビットストリーム内の他の目的で使用できない開始コード及び終了コードを保存しても良い。この実施の態様においては、検出が改善されることもある。
【００８１】
他の開始コードは4つのマクロブロック及び16 x 16, 8 x 8, 16 x 16及び8 x 8モードを連続で用いて表すことのできる数列0110011を用いて信号化することもできる。
【００８２】
開始コード数列の長さを増加させることはそれに対応してフォールスポジティブの可能性を減少させることになる。しかし、それはビデオストリームの包埋容量を低減させる犠牲の上でなされる。したがって、開始コードの長さとフォールスポジティブの相殺については意図する応用に留意した上で検討すべきである。例えば、低解像度ビデオを意図する応用例では短い開始コード、より高解像度の材料はロバスト性（robustness）を改善するためにより長い開始コードを必要とすることもある。
【００８３】
開始コードの後は直ちに二次情報が続いても良い。ある実施の態様においては、メッセージのデータの大きさでは固定数Ｍである場合もある。動的長さの情報はまた開始コードの直ぐ後に二次情報のビット及びバイト信号で送ることができる。
【００８４】
図７は表２に示す信号方法にしたがって追加情報を配置する実施の態様を示す。図７の７００の様な各ボックスはマクロブロック又はフレーム又は画像を表わす。開始コード７０５には長さコード７１０が続き、4つのマクロブロックからなる8つのビットからなり二次情報の長さを示す。これにメッセージが続き７１５から始まる。７２０はメッセージの終わりを信号する終了コードを示す。もし終了コード署名が予定する位置で出会わない場合、これは情報が有効なメッセージを表わさず又はある他のエラーが発生したことを示唆する。照合は本明細書で説明した様に図１１の一部として表される。
【００８５】
ある実施の態様においては、開始コード及び終了コードメッセージは一連の順序内の隣接する複数の画像を含むこともある。
【００８６】
他の実施の態様においては、開始及びストップコードに代えてメッセージの存在及び位置を信号で送る外部信号方法を用いる。例えば、ある実施の態様においては、既存の追加強化（ＳＥＩ）メッセージを用いてこれを実施される。
【００８７】
フォールスポジティブは同じ画像又は一連の順序内の複数の画像内のメッセージを繰り返すことにより低減させることができる。例えば、繰り返されないメッセージはノイズ又はエラーと想定される。したがって、もし続く画像内で同じ開始コード/メッセージ/終了コードの厳密に同じ順序を持つことの無い開始コード/メッセージ/終了コードが可能である場合、それらは採用されない。
【００８８】
開始コード及び終了コードは画像間で一定である必要はない。
【００８９】
等価スキームを用いたデータの認証及びエラーの訂正技術がまた、フォールスポジティブを減少させ及びメッセージのロバスト性（robustness）を向上させるために、メッセージを符号化するために用いても良い。
【００９０】
更に、あるマクロブロックは二次情報信号には適していないこともあり、排除モード（excluded mode）により符号化されるのが好ましいこともある。排除モードマクロブロックは、実際のメッセージのビットの数を信号で送る場合考慮する必要はない。
【００９１】
ある実施の態様においては、圧縮の効果を上げる目的でメッセージ内にエラーを導入した方が望ましいこともある。上で述べた様に、マクロブロック二次符号化のために選択されるモードは符号化の効率にとってマイナスのインパクトを持つこともある。もしエラー訂正技術が、ビットストリーム中のメッセージのビットを包埋させる前に用いられる場合、メッセージエラーは、メッセージの回復性に影響することなく意図的に追加することができる。
【００９２】
図８は本発明の技術を用いるビデオエンコーダを表わす。ビデオ入力８００が変換装置８０２により変換され、量子化装置８０４により量子化される。フィードバック構造８０６が動き補正及びイントラ予測モジュール８０８及び動き検出モジュール８６８と共にループフィルター８１０により形成されるループの一部として使用される。画像参照保存８１２も使用される。これらの各々は予測及び圧縮を実行するために一緒に使用され、ビットストリーム８１５を作る。メッセージ８２０が任意選択的暗号化ユニット８２２及び任意選択的エラー訂正エンコーダ８２４に入力される。上で議論した様に、モードマッピング８２６がメッセージ８２０及びビデオ符号化モードの間にモードマッピングを実行する。
【００９３】
図９はデコーダの例を示すものであり、デコーダはビットストリーム８１５を受領し、参照画像の保存にも用いられる参照画像バッファーのみならず逆量子化、逆変換及び動き補正を用いてビットストリームを復号する。メッセージ検出器及びモードマッピング装置９００は例えば、開始及び停止ビットを検出し、エラー訂正デコーダ９０２によるエラーの訂正を復号し、そして解読装置９０４により解読することによりメッセージの検出を行い、もし必要ならメッセージ８２０を出力する。
【００９４】
他の実施の態様においては、トランスコーディングユニットについて説明する。その場合、異なるビットレートで、異なる解像度で符号化され、異なるコーデックを用いるがそこにある二次情報を保持するメタデータを既に持つビットストリームがトランスコードされる。
【００９５】
他の実施の態様においては、図１０に表す様に、メッセージ位置表示と呼ばれる別のメッセージをまず符号化する。メッセージ位置表示は、実際のメッセージが続くフレーム及びビデオ内でどの様にまた何処から復号することが出来るかに関する正確な情報を提供する。例えば、メッセージ位置表示は、メッセージを包埋するために使用された単数又は複数の位置に関するロードマップ、ビットマッピングへのモード、暗号化方法、及び信号の一般的再構築に関する他の情報を提供することもある。
【００９６】
図１０では、メッセージ位置表示１０００は開始コード１００２の直ぐ後に続く。これにより時間及び空間の両方におけるメッセージの実際の位置及び実際のメッセージの大きさの検出が可能となる。図１０に示す様に、メッセージ位置表示１０００は異なるマクロブロック内で、異なる時間での位置１０１０を指し示す。メッセージ位置表示はこの図では時間ｔの像にあるが、そのメッセージ位置表示が参照するマクロブロックは時間ｔ＋１の像にある。
【００９７】
元のメッセージの時間及び空間がこの様に符号化することができる。もしメッセージ位置表示が暗号化される場合、侵入者が１０１０で始まるメッセージを実際に検出することは非常に困難となる。
【００９８】
図１１はマーキングの例のフローチャートを表す。１１００においてビデオ符号化が開始され、１１０２、１１０４の各フレームにおいてその位置がマークされるかどうかを決める。もし、そうならば、その各々が開始コード開始位置、ビットの大きさ、メッセージサイズ及び終了コードサイズを表す
scpos, scsize, mdsize及びecsizeは1106においてその最初の値に決められる。１１０８は、異なる値の大きさ及び位置を示す値を決定すること、続いて１１１０で決定されるモードが続くことを表す。１１１２はこのモードの決定に従うマクロブロックの符号化方法を表す。
【００９９】
上の説明はビデオ圧縮を用いる実施の態様を表す。しかし本明細書に開示された技術はオーディオ及び会話コーデックを含む他の媒体に用いても良い。ＩＳＯ/MPEG-4圧縮標準は、本明細書に記載の技術を用いて、追加情報の信号化のために使用することができる多くのオーディオ符号化を含む。例えば、コーデックは量子化された変換係数の損出の無い符号化のための１１の選択可能なＨｕｆｆｍａｎコードブックを用いる。オーディオサンプルの入力フレームが与えられると、ＡＡＣエンコーダは
符号化変換係数に必要なビット数を最小にする一組のＨｕｆｆｍａｎコードブックを選択する。この実施の態様におけるＡＡＣエンコーダは送信されるメタデータビットを受領することができ、そしてその後にＨｕｆｆｍａｎコードブックの選択を変えても良い。符号化モードはまた利用可能であり、次善の状態にセットされた場合、続く符号化決定により少なくとも部分的に相殺しても良い。その例には変換ウインドウタイプ(sine/KBD)、ジョイントステレオ符号化決定(Mid/Side符号化)、及びＴＮＳフィルタ長、順序、解像度、及び方向を含む。AMR NB音声コーデック内で、コード化されたパルスの位置及びサイン、ＬＰＣモデル係数（ベクトル量子化線スペクトル組）及びピッチラッグはこの実施の態様において用いることのできる符号化モードとしての役割をする。
【０１００】
より一般的なゴールを実行する異なる方法を実施するために使用される、一般的な構造及び技術及びより特異な実施の態様が本明細書に記載される。
【０１０１】
本明細書には、上で詳細に述べた様に、限られた実施の態様が開示されているが、他の実施の態様も可能であり、本願発明者はこれらも明細書に含まれることを意図するものである。明細書は他の方法で実施されることのある、より一般的なゴールを実行するための特異な例について記載する。本明細書では代表的なものを開示するものであり、当業者が予測可能な修飾又は代替案を含むことを意図する。例えば、他の符号化プロセスも用いることができる。このシステムは他のメディアで用いても良い。更に、上に記載した特徴はある組み合わせによって稼動する、及び当初その様に特許請求の範囲に記載されているが、特許請求の範囲の組み合わせの一以上の特徴はある場合には組み合わせから削除するべきであり、及び特許請求の範囲の組み合わせはサブコンビネ−ション、又はサブコンビネ−ションの変形を意図している。
【０１０２】
また、本発明者は「のための手段」の用語を含む請求項は米国特許法１１２条、第６段にしたがって、解釈されることを意図している。さらに、明細書の限定は、請求項に明確に記載されていない限り、請求項の解釈に取り入れないことを意図している。本明細書に記載のコンピュータは汎用であり、またワークステイション又はセットアップボックスの様なある特別の目的を持つコンピュータであるように、任意のコンピュータを含む。コンピュータはウィンドウズＸＰ又はリナックスを使用するペンチアム  クラスコンピュータであり、又はマッキントッシュコンピュータであっても良い。符号化及び/又は復号化はまた、ＦＧＰＡ又はチップのようなハードウエアで実施することも出来る。プログラムはＣ，Java又は任意のプログラム言語で書いたものであっても良い。プログラムは、磁気又は光学媒体の様な記憶媒体、コンピュータハードドライブ、外付けディスク又は他の外付け媒体に導入される。プログラムはまたネットワークで実行することができ、例えば、サーバー又は他の機械が信号をローカル機に送り、信号はローカル機に本明細書に記載の操作を実施させることができる。本明細書は特別の例について記載したものである。他の実施の態様も本特許請求の範囲に含まれる。
【図１】
2010541383.tif 000006
【図２】
2010541383.tif 000007
【図３】
2010541383.tif 000008
【図４】
2010541383.tif 000009
【図５】
2010541383.tif 000010
【図６】
2010541383.tif 000011
【図７】
2010541383.tif 000012
【図８】
2010541383.tif 000013
【図９】
2010541383.tif 000014
【図１０】
2010541383.tif 000015
【図１１】
2010541383.tif 000016
【国際調査報告】
2010541383.tif 000017
2010541383.tif 000018
2010541383.tif 000019
2010541383.tif 000020