(57)【要約】【課題】可能な限り多くのオーディオ入力信号チャネルがウォータマーキングされ得る実時間制約を伴ったウォータマーク処理を提供する。【解決手段】実時間でのデジタルオーディオ信号のウォータマーキングは、処理出力が限られた環境では困難である。本発明によれば、データブロックベースのオーディオマルチチャネル信号におけるチャネルはウォータマーキング重要度により優先順位を付けられ、チャネル優先度は異なる入力信号データブロックごとに変わる。現在の入力信号ブロックについて、最も重要なチャネルがウォータマーキングされ、所要処理時間が決定される。この所要処理時間が所定のアプリケーション依存の閾値よりも短い場合、次に重要なチャネルがウォータマーキングされ、更なる所要処理時間が決定される。【選択図】図１
2013045112.tif 000002
【特許請求の範囲】
【請求項１】
実時間においてマルチチャネルオーディオ信号を周波数領域でウォータマーク処理する方法であって、前記オーディオ信号の現在の入力セクションの全チャネルをウォータマーク処理するいずれの場合にも十分な処理出力が利用可能でなく、前記ウォータマーク処理のために前記オーディオ信号は前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションについてのＯｖｅｒｌａｐ−ａｄｄ法においてチャネルごとに処理される、方法において、
ａ）前記オーディオ信号の前記現在の入力セクションについてチャネル優先リストを決定又は考慮するステップと、
ｂ）前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能である場合には、前記第１チャネルのオーディオコンテンツをウォータマーキングし、該ウォータマーキングは、
前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションの当該チャネルの入力データブロックを連結させるステップと、
前記連結した入力データブロックの振幅重み付け、周波数変換、及びウォータマーキング及び逆周波数変換を行うステップと、
結果として現れる２つのデータブロックの振幅重み付け及び加算を行い、前記オーディオ信号のデータストリームの全チャネルの第１セクションについて、対応するデータブロックが前のウォータマーク処理によらずに振幅重み付け及び加算をされるステップと
を有し、
前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能でない場合には、当該チャネルのオーディオコンテンツをウォータマーキングせずに、対応する入力データブロックを通るステップと、
ｃ）前記オーディオ信号の前記現在の入力セクションの残りのチャネルについて前記ステップｂ）を繰り返し、前記オーディオ信号の次の入力セクションについて前記ステップｂ）及び前記第１チャネルを続けるステップと
を有する方法。
【請求項２】
ウォータマーク処理から非ウォータマーク処理へ切り替わる場合に、前記振幅重み付け及び加算において最後のデータブロックが前記対応する入力データブロックであり、
非ウォータマーク処理からウォータマーク処理へ切り替わる場合に、前記振幅重み付け及び加算において最初のデータブロックが前記対応する入力データブロックである、
請求項１に記載の方法。
【請求項３】
前記チャネル優先リストは、前記オーディオ信号の入力セクションごとに決定される、
請求項１又は２に記載の方法。
【請求項４】
実時間においてマルチチャネルオーディオ信号を周波数領域でウォータマーク処理する装置であって、前記オーディオ信号の現在の入力セクションの全チャネルをウォータマーク処理するいずれの場合にも十分な処理出力が利用可能でなく、前記ウォータマーク処理のために前記オーディオ信号は前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションについてのＯｖｅｒｌａｐ−ａｄｄ法においてチャネルごとに処理される、装置において、
ａ）前記オーディオ信号の前記現在の入力セクションについてチャネル優先リストを決定又は考慮し、
ｂ）前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能である場合には、前記第１チャネルのオーディオコンテンツをウォータマーキングし、該ウォータマーキングは、
前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションの当該チャネルの入力データブロックを連結させるステップと、
前記連結した入力データブロックの振幅重み付け、周波数変換、及びウォータマーキング及び逆周波数変換を行うステップと、
結果として現れる２つのデータブロックの振幅重み付け及び加算を行い、前記オーディオ信号のデータストリームの全チャネルの第１セクションについて、対応するデータブロックが前のウォータマーク処理によらずに振幅重み付け及び加算をされるステップと
を有し、
前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能でない場合には、当該チャネルのオーディオコンテンツをウォータマーキングせずに、対応する入力データブロックを通り、
ｃ）前記オーディオ信号の前記現在の入力セクションの残りのチャネルについて前記ステップｂ）を繰り返し、前記オーディオ信号の次の入力セクションについて前記ステップｂ）及び前記第１チャネルを続ける
よう構成された手段を有する装置。
【請求項５】
ウォータマーク処理から非ウォータマーク処理へ切り替わる場合に、前記振幅重み付け及び加算において最後のデータブロックが前記対応する入力データブロックであり、
非ウォータマーク処理からウォータマーク処理へ切り替わる場合に、前記振幅重み付け及び加算において最初のデータブロックが前記対応する入力データブロックである、
請求項４に記載の装置。
【請求項６】
前記チャネル優先リストは、前記オーディオ信号の入力セクションごとに決定される、
請求項４又は５に記載の装置。
【請求項７】
請求項１乃至３のうちいずれか一項に記載の方法に従って処理されたデジタルマルチチャネルオーディオ信号。
【請求項８】
請求項７に記載のマルチチャネルオーディオ信号を含み若しくは記憶し又は記録する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実時間においてマルチチャネルオーディオ信号を周波数領域でウォータマーク処理する方法及び装置であって、オーディオ信号の現在の入力セクションの全チャネルをウォータマーク処理するいずれの場合にも十分な処理出力が利用可能でなく、ウォータマーク処理のためにオーディオ信号がＯｖｅｒｌａｐ−ａｄｄ法においてチャネルごとに処理される、方法及び装置に関する。
【背景技術】
【０００２】
実時間におけるデジタルオーディオ信号のウォータマーキングは、処理出力が限られた環境においては困難である。これは、例えば、費用、熱及びラウドネス等の理由により通常低電力処理ユニットが使用される埋め込み型プラットフォーム、又は高性能プロセッサが並行して複数のデータストリームを実時間においてウォータマーキングする必要があるサーバの場合である。通常、オーディオウォータマーキングシステムは、ウォータマーク（ＷＭ）埋込装置がＮ個の入力信号サンプルのブロックを得、ＷＭがこのブロックを処理して、Ｎ個の改変出力信号サンプルのブロックを返すところのブロックベースの態様において動作している。実時間は、信号データブロックのＷＭ処理に利用可能な時間期間が、次の信号データブロックを得るために使用される時間期間よりも短いことを意味する。ＷＭ処理時間がより長い場合には、実時間制約が破られ、埋込装置の入力でのバッファオーバーフローが起こる。これは、サンプルの欠損並びに可聴アーティファクト及びオーディオ品質劣化をもたらす。更に、ウォータマークの埋め込みに必要とされる処理時間は、しばしば、オーディオ信号のコンテンツに依存する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従って、実時間制約を破ることなくオーディオデータストリームのためのウォータマーキング処理を確かにすることが重要である。一方で、これは、ほとんどの場合において、マルチチャネルデータストリームにおける全てのチャネルがマーキングされ得るわけではないことを意味する。他方で、ウォータマークのロバスト性及び安全性を高めるようオーディオデータストリームの可能な限り多くのチャネルをウォータマーキングすることが有利である。５．１チャネルオーディオでは、例えば、ＷＭのロバスト性及び安全性は、中心チャネルのみが左右及び中心チャネル又は全６チャネルに代えてウォータマーキングされる場合に、大いに低下する。
【０００４】
上記の制限された環境において実時間処理を保証するために、ウォータマーク埋込装置が最長処理時間を必要とする最悪の場合の入力信号が見つけられる必要がある。そのような時間期間に基づき、実時間においてマーキングされ得る最大チャネル数が計算され得る。しかし、かかる解決法の欠点は、ほとんどの入力信号が上記の最悪の場合の入力信号よりも速く処理され得ること、及び大体の場合に埋込装置は可能であるよりも少ないチャネルをウォータマーキングすることであり、これによりロバスト性及び安全性は低下する。
【０００５】
本発明によって解決されるべき課題は、可能な限り多くのオーディオ入力信号チャネルがウォータマーキングされ得る実時間制約を伴ったウォータマーク処理を提供することである。
【課題を解決するための手段】
【０００６】
上記の課題は、請求項１に開示される方法によって解決される。この方法を利用する装置は、請求項４において開示される。
【０００７】
本発明に従って、データブロックベースのオーディオマルチチャネル信号におけるチャネルはウォータマーキング重要度により優先順位を付けられ、チャネル優先度は異なる入力信号データブロックごとに変わる。現在の入力信号ブロックについて、最も重要なチャネル（例えば、５．１設定における中心チャネル）がウォータマーキングされ、所要処理時間が決定される。この所要処理時間が所定のアプリケーションに依存する閾値よりも短い場合、次に重要なチャネル（例えば、左チャネル）がウォータマーキングされ、更なる所要処理時間が決定される。このように、重要度が高い順にチャネルは、トータルで必要とされる処理時間が所定の処理時間閾値よりも長くなるまで、現在の入力信号ブロックについて引き続きマーキングされる。その後、残りのチャネルはウォータマーキングされず、必要なオーディオ処理のみが実行され、それにより、ブロッキング・アーティファクトは起こらない。そのようなアンチブロッキング処理（以下の説明を参照）は通常、完全ＷＭ埋込処理よりもずっと速く、従って、このようなプロシージャは、実時間制約の厳守を保証する。
【０００８】
オーディオ符号化及びウォータマーキングのブロックベースの性質により、及びブロッキング・アーティファクトに対する結果として現れるオーディオ品質の感度により、許容可能な性能及び品質をもたらすよう幾つかの問題が解消される。
【０００９】
本発明は、一方ではＷＭのロバスト性と安全性との間のトレードオフを、他方では実時間処理の制約を最適化する。
【００１０】
原理上、本発明の方法は、実時間においてマルチチャネルオーディオ信号を周波数領域でウォータマーク処理するのに適し、前記オーディオ信号の現在の入力セクションの全チャネルをウォータマーク処理するいずれの場合にも十分な処理出力が利用可能でなく、前記ウォータマーク処理のために前記オーディオ信号は前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションについてのＯｖｅｒｌａｐ−ａｄｄ法においてチャネルごとに処理され、当該方法は、
ａ）前記オーディオ信号の前記現在の入力セクションについてチャネル優先リストを決定又は考慮するステップと、
ｂ）前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能である場合には、前記第１チャネルのオーディオコンテンツをウォータマーキングし、該ウォータマーキングは、
前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションの当該チャネルの入力データブロックを連結させるステップと、
前記連結した入力データブロックの振幅重み付け、周波数変換、及びウォータマーキング及び逆周波数変換を行うステップと、
結果として現れる２つのデータブロックの振幅重み付け及び加算を行い、前記オーディオ信号のデータストリームの全チャネルの第１セクションについて、対応するデータブロックが前のウォータマーク処理によらずに振幅重み付け及び加算をされるステップと
を有し、
前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能でない場合には、当該チャネルのオーディオコンテンツをウォータマーキングせずに、対応する入力データブロックを通るステップと、
ｃ）前記オーディオ信号の前記現在の入力セクションの残りのチャネルについて前記ステップｂ）を繰り返し、前記オーディオ信号の次の入力セクションについて前記ステップｂ）及び前記第１チャネルを続けるステップと
を有する。
【００１１】
原理上、本発明の装置は、実時間においてマルチチャネルオーディオ信号を周波数領域でウォータマーク処理するのに適し、前記オーディオ信号の現在の入力セクションの全チャネルをウォータマーク処理するいずれの場合にも十分な処理出力が利用可能でなく、前記ウォータマーク処理のために前記オーディオ信号は前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションについてのＯｖｅｒｌａｐ−ａｄｄ法においてチャネルごとに処理され、当該装置は、
ａ）前記オーディオ信号の前記現在の入力セクションについてチャネル優先リストを決定又は考慮し、
ｂ）前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能である場合には、前記第１チャネルのオーディオコンテンツをウォータマーキングし、該ウォータマーキングは、
前記オーディオ信号の現在の入力セクション及び前記オーディオ信号の次の入力セクションの当該チャネルの入力データブロックを連結させるステップと、
前記連結した入力データブロックの振幅重み付け、周波数変換、及びウォータマーキング及び逆周波数変換を行うステップと、
結果として現れる２つのデータブロックの振幅重み付け及び加算を行い、前記オーディオ信号のデータストリームの全チャネルの第１セクションについて、対応するデータブロックが前のウォータマーク処理によらずに振幅重み付け及び加算をされるステップと
を有し、
前記チャネル優先リストの第１チャネルをウォータマーク処理するのに十分な処理出力が利用可能でない場合には、当該チャネルのオーディオコンテンツをウォータマーキングせずに、対応する入力データブロックを通り、
ｃ）前記オーディオ信号の前記現在の入力セクションの残りのチャネルについて前記ステップｂ）を繰り返し、前記オーディオ信号の次の入力セクションについて前記ステップｂ）及び前記第１チャネルを続ける
よう構成された手段を有する。
【００１２】
本発明の有利な更なる実施形態は、夫々の従属請求項において開示される。
【発明の効果】
【００１３】
本発明の実施形態によれば、可能な限り多くのオーディオ入力信号チャネルがウォータマーキングされ得る実時間制約を伴ったウォータマーク処理を提供することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】重み付けＯｖｅｒｌａｐ−ａｄｄ処理の例を示す。
【図２】時間にわたって周期的にオーディオ信号データごとに使用される平均、最大及び現在のプロセッサ負荷を示す。
【図３】本発明の処理のフローチャートを示す。
【図４】ＭａｒｋＣｈａｎｎｅｌステップについてより詳細なフローチャートを示す。
【図５】ＮｏｔＭａｒｋＣｈａｎｎｅｌステップについてより詳細なフローチャートを示す。
【図６】状態ＰＲＯＣＥＳＳから状態ＰＡＳＳＴＨＲＯＵＧＨへの遷移を示す。
【図７】状態ＰＡＳＳＴＨＲＯＵＧＨから状態ＰＲＯＣＥＳＳへの逆遷移を示す。
【発明を実施するための形態】
【００１５】
本発明の例となる実施形態は、添付の図面を参照して記載される。
【００１６】
ほとんどのオーディオ処理アルゴリズムは、オーディオ符号化又はオーディオ・ウォータマーキングであって、Ｎ個の入力信号サンプルのブロックが同時に処理されてＮ個の出力サンプルを生成するところのブロックベースである。そのようなブロックベースの処理の理由は、処理の一部が周波数領域において行われる一方、入力サンプルは時間領域にあり、通常、Ｎ個の時間領域サンプルのブロックが高速フーリエ変換（ＦＦＴ）又は変形離散コサイン変換（ＭＤＣＴ）により変換され、周波数領域において処理されて、対応する逆変換を用いて時間領域に逆変換されるためである。そのような変換は２の冪乗の長さについて極めて有効であるから、５１２又は１０２４個のサンプルのサイズがたいていは使用される。
【００１７】
ブロックベースのオーディオ処理の率直な方法は、入力サンプルｋ×Ｎから（ｋ＋１）×Ｎ−１を含むサイズＮのｋ番目の入力ブロックＩｋから直接、出力サンプルｋ×Ｎから（ｋ＋１）×Ｎ−１を含むサイズＮのｋ番目の出力ブロックＯｋを生成することである。しかし、入力オーディオ信号は、ブロック境界線において、すなわち、入力ブロックＩｋとＩｋ＋１との間の境界において連続しており、ブロックＩｋ及びＩｋ＋１のコンテンツが独立して処理される場合、出力ブロックＯｋとＯｋ＋１との間の遷移が連続的でないことが起こり、可聴なクリッキング・アーティファクトが生じる。この問題に対する従来の解決法は、原のオーディオ信号入力ブロックが重み付けされ重ね合わされ、変換され、逆変換され、出力信号を形成する場合に重み付けされ足し合わされる重み付けＯｖｅｒｌａｐ−ａｄｄ（weighted  overlap-add）（ＷＯＬＡ）変換を使用することである（J.  B.  Allen，“Short  Term  Spectral  Analysis,  Synthesis,  and  Modification  by  Discrete  Fourier  Transform”，IEEE  Transactions  on  Acoustics,  Speech,  and  Signal  Processing，vol.ASSP-25，no.3，pp.235-238，１９７７年６月を参照）。
【００１８】
図１は、Ｎの典型的な重複のための本発明のウォータマーク処理構造を表し、Ｊｋは、サイズＮの原のオーディオ信号入力ブロックである。２つごとの連続したブロックＪｋ及びＪｋ＋１は、ステップ又は段ＣＣにおいて連結され、長さ２Ｎ及びＮ個ずつの重なりのブロックＩｋが生じる。それにより、全体であらゆる原の入力オーディオ信号は、Ｉ個のブロックにおいて２度含まれる。
【００１９】
長さＮの完全なブロックを連結させることに代えて、長さＮ／２の半分のブロックが連続的な態様で連結することができる（例えば、第２の半ブロックＪｋと第１の半ブロックＪｋ＋１、第１の半ブロックＪｋ＋１と第２の半ブロックＪｋ＋１、第２の半ブロックＪｋ＋１と第１の半ブロックＪｋ＋２、以降同様に続く。）。対応する重なりはＮ／２である。
【００２０】
図１は、同じマルチチャネルオーディオ信号セクションの連続したチャネルではなく、マルチチャネルオーディオ信号の連続したセクションのための同じチャネルを表す。ステップ又は段ＷＴｋにおいて、ブロックＩｋは、原理上、振幅重み付け及び変換をされ、ウォータマーク修飾ｋが周波数領域内で適用され、結果として現れるブロックは逆変換されて、サイズ２Ｎの出力ブロックＯｋが生成される。変換は２Ｎ個ごとの入力値から２Ｎ個の変換された出力値を生成するＦＦＴであってよく、対応する逆変換ＩＦＦＴは、２Ｎ個ごとの入力値から２Ｎ個の逆変換された出力値を生成する。あるいは、変換は、２Ｎ個ごとの入力値からＮ個の変換された出力値を生成するＭＤＣＴであってよく、対応する逆変換ＩＭＤＣＴは、Ｎ個ごとの入力値から２Ｎ個の逆変換された出力値を生成する。
【００２１】
現在の出力ブロック対Ｏｋ／Ｏｋ＋１の第１のブロックＯｋ及び前の出力ブロック対Ｏｋ−１／Ｏｋの第２のブロックＯｋは、サイズＮの最終の出力ブロックＰｋを生成するよう、ステップ又は段ＷＡにおいて振幅重み付け及び加算をされる。ＷＴＫの入力での及びＷＡにおける両ブロックの両振幅重み付けは、全体にフラットな応答が存在するように実行される。例えば、振幅重み付けは、ｓｉｎ２＋ｃｏｓ２＝一定（例えば、１）であるように、サイン関数及びコサイン関数を使用する。
【００２２】
オーディオデータストリームの第１の原の入力ブロックＪ０は、上記の処理に従って出力ブロックを生成しない。代わりに、第１の最終の出力ブロックＰ０は、第１の出力ブロックＯ０及び原の入力ブロックＪ０の結合である。これは、最終の出力ブロックＰｋが、対応する入力ブロックＪｋに対して１ブロックだけ遅延することを意味する。
【００２３】
【表１】
2013045112.tif 000003
上述されたように、幾つかのアプリケーションにおいては、実時間においてマルチチャネルオーディオデータストリームの全チャネルをウォータマーキングするために利用可能な処理出力が十分にない。これは、例えば、ＴＶ信号受信のためのセットトップボックスのような埋め込み型プラットフォームや、同時に多数のデータストリームを処理している大規模サーバにおいて起こる。更に、ウォータマーキングを実行するプロセッサはオーディオ符号化のような他のタスクも実行することがあり、従って、そのプロセッサの現在の負荷は時間にわたって変化しうる。
【００２４】
全てのチャネルをマーキングしないことは、過剰にユーザ経験を劣化させることなくウォータマーキングされたチャネルを除去することが可能であるから、ウォータマーキング（ＷＭ）システムの安全性を低下させる。例えば５．１オーディオデータストリームにおいて左チャネルのみがマーキングされる場合に、コンテンツに依存して、左チャネルを除く全てのチャネルに基づき新しい２．１オーディオデータストリームを生成することが可能である。当然、そのようなストリームにはウォータマークは検出され得ない。
【００２５】
全てのチャネルをマーキングしないことは、また、マイクロホン段で全てのチャネルが自動的に混ぜ合わされるので、例えば映画において、ＷＭシステムオーディオ出力の無許可のマイクロホン捕捉に対するロバスト性を低下させる。通常、全てのチャネルが同じようにマーキングされ、これは、この混合においてウォータマークが合算されることを意味する。他方で、一部のチャネルがマーキングされない場合には、それらは単純にＷＭ検出器への付加的なノイズとなりうる。これは、ウォータマークの検出不能を生じさせる。
【００２６】
ウォータマークを埋め込むのに必要とされる時間がしばしばコンテンツに依存するという事実は、図２に示されるように、状況をより一層複雑にする。図２には、最大値、平均値及び時間にわたってブロックごとに使用される現在のプロセッササイクルが表されている。
【００２７】
本発明の動的なチャネルマーキングは、実時間要件、ロバスト性及び安全性の間の最適なトレードオフを提供する。上述されたように、幾つかのアプリケーションにおいて、オーディオデータストリームの全チャネルをウォータマーキングすることは可能でない。従って、チャネルは優先順位を付けられる。例えば、５．１設定で、オーディオ信号コンテンツ又はエネルギの大部分は、左、右及び／又は中心チャネルにある。低域効果音（low-frequency  effects）（ＬＦＥ）チャネル及びサラウンドチャネルは通常、有意な量の情報を運ばない。従って、５．１オーディオデータストリームのための優先度は：
１．中心
２．左
３．右
４．左サラウンド
５．右サラウンド
６．ＬＦＥ
に設定され得る。
【００２８】
動的チャネルマーキングにおける夫々の連続する信号入力ブロックについて、実時間処理出力制約を破ることなく、且つ、ブロックアーティファクトによりオーディオ品質を害することなく、優先度順に可能な限り多くのチャネルがウォータマーキングされる。
【００２９】
オーディオチャネルの本発明のウォータマーキング処理の３つの状態は、次のように定義される：
ＩＮＩＴは、オーディオデータストリームの第１のブロック（図１におけるブロックＪ０）の処理のための状態である。
【００３０】
ＰＲＯＣＥＳＳは、通常の処理動作状態（図におけるブロックＪ１、Ｊ２及びＪ３）である。
【００３１】
状態ＰＡＳＳＴＨＲＯＵＧＨにおいては、ウォータマーキングが実行されず、対応する入力ブロック（図６におけるブロックＪｋ及びＪｋ＋１並びに図７におけるブロックＪｋ−３及びＪｋ−２）のみがデータ一貫性を保つために返される。
【００３２】
概略的に本発明の処理を示す図３のフローチャートにおいて、タイマがステップ３１で起動され、現在のオーディオ信号ブロック又はセクションについてのチャネル優先リストの第１のチャネルが、（チャネル優先リストがゼロから始まる場合に）現在のオーディオチャネル番号ｍを‘０’にマーキングされるよう設定することによって（あるいは、チャネル優先リストが‘１’から始まる場合は、ｍを‘１’に設定することによって）、ステップ３２において選択される。ステップ３３で、現在のタイマ値が読み出され、ステップ３４で、オーディオチャネル優先リストの次のチャネルのウォータマーク処理のために未だ十分な時間があるかどうかが、全体的な実時間処理要件を考慮して確認される。上記の非ウォータマーキング処理タスクにより生じるプロセッサの負荷が、現在のオーディオ信号入力ブロック又はセクションのためのウォータマーク処理の間に減少又は増大した場合に、時間時間期間のみならず、現在のオーディオ信号入力ブロック又はセクションのための残りの利用可能な処理出力も、ステップ／段３３及び３４において評価される。
【００３３】
現在残っている処理出力がウォータマーク処理に利用可能である場合、優先リストの現在のオーディオチャネルｍはステップ３５（ＭａｒｋＣｈａｎｎｅｌステップ）でウォータマーキングされ、優先リストチャネル番号ｍはステップ３６で‘１’だけ増分される。すなわち、ｍ←ｍ＋１。現在残っている処理出力がウォータマーク処理に利用可能でない場合は、現在のオーディオチャネルｍはステップ３９（ＮｏｔＭａｒｋＣｈａｎｎｅｌステップ）でウォータマーキングされず、チャネル優先リスト番号ｍはステップ３６で‘１’だけ増分される。
【００３４】
ステップ３７は、チャネル優先リストに更なるチャネルが残っているかどうかを確認する。チャネルが残っている場合は、オーディオチャネル優先リストの次のオーディオチャネルｍがステップ３８で選択され、ステップ３３で現在のタイマ値が読み出され、処理は上述されたように続く。チャネルが残っていない場合は、現在のオーディオ信号入力ブロック又はセクションのためのウォータマーク処理は終了し、処理は、次のオーディオ信号ブロック又はセクションについての第１の優先リストチャネルのために続く。
【００３５】
チャネルカウンタｍは、現在のチャネルがウォータマーキングされるか否かとは無関係に増加する。これは、一部のチャネルが状態ＰＡＳＳＴＨＲＯＵＧＨにあったか否かとは無関係に、同じ修飾（又は、修飾はコンテンツ依存であるので、類似する修飾）が１つのオーディオ信号ブロック又はセクションの全チャネルに適用されることを確かにする。
【００３６】
図３のＭａｒｋＣｈａｎｎｅｌステップ３５及びＮｏｔＭａｒｋＣｈａｎｎｅｌステップ３９についてのより詳細なフローチャートが、図４及び図５において表されている。図４において、ステップ４１で、現在の状態がＰＲＯＣＥＳＳであるかどうかが確認される。ＰＲＯＣＥＳＳにある場合は、現在のチャネルｍのための通常の処理がステップ４２で行われる。ＰＲＯＣＥＳＳにない場合は、図１、６及び７に関連して記載されるように、現在のチャネルｍのための状態ＰＲＯＣＥＳＳへの移行処理がステップ４３で実行される。図５において、ステップ５１で、現在の状態がＰＡＳＳＴＨＲＯＵＧＨであるかどうかが確認される。ＰＡＳＳＴＨＲＯＵＧＨにある場合は、現在のチャネルｍのための通常のＰＡＳＳＴＨＲＯＵＧＨ処理がステップ５２で行われる。ＰＡＳＳＴＨＲＯＵＧＨにない場合は、図１、６及び７に関連して記載されるように、現在のチャネルｍのための状態ＰＡＳＳＴＨＲＯＵＧＨへの移行処理がステップ５３で実行される。
【００３７】
現在のオーディオ信号入力ブロック又はセクションの更なるチャネルのためにウォータマーク処理出力が残されていない場合、ウォータマーク処理の状態は、残りのチャネルについて、図６に表されるように、状態ＰＲＯＣＥＳＳからＰＡＳＳＴＨＲＯＵＧＨに変化する。図において、出力ブロックＰｋ及びＰｋ＋１のコンテンツは夫々、入力ブロックＪｋ及びＪｋ＋１のコンテンツに対応する。
【００３８】
現在の入力信号ブロック又はセクションの処理の間に現在のオーディオ信号入力ブロック又はセクションの更なるチャネルのために予想外にウォータマーク処理出力が残されている場合（例えば、別のタスクに必要とされるプロセッサ出力が少ないため）、ウォータマーク処理の状態は、現在のオーディオ信号入力ブロック又はセクションの残りのチャネルについて、図７に表されるように、状態ＰＡＳＳＴＨＲＯＵＧＨから状態ＰＲＯＣＥＳＳへ変化する。また、これは、現在のオーディオ信号入力ブロック又はセクションの処理又は確認が終了し、処理が次のオーディオ信号ブロック又はセクションについてのチャネル優先リストの第１のチャネルのウォータマーク処理を続ける場合にも当てはまる。図において、出力ブロックＰｋ−３及びＰｋ−２のコンテンツは夫々、入力ブロックＪｋ−３及びＪｋ−２のコンテンツに対応する。
【００３９】
有利に、チャネルの優先順位付けは、時間にわたって一定である必要はない。例えば、５．１設定において２つのチャネルのみがウォータマーキングされ、これにより、最も重要なチャネルは中心チャネルである場合に、左右は等しく重要となりうる。攻撃者の活動をより困難にするよう、そのような場合において第１の時間期間に中心チャネル及び左チャネルを、そして、その後に、第２の時間期間に中心チャネル及び右チャネルをマーキングし、オーディオデータストリームの終わりまでこの交番を繰り返すことが有利である。
【符号の説明】
【００４０】
ＣＣ  連結ステップ
Ｉｋ  入力ブロック
Ｊｋ  原のオーディオ信号入力ブロック
Ｏｋ  出力ブロック
Ｐｋ  最終の出力ブロック
ＷＡ  振幅重み付け及び加算ステップ
ＷＴ  振幅重み付け及び変換ステップ
【図１】
2013045112.tif 000004
【図２】
2013045112.tif 000005
【図３】
2013045112.tif 000006
【図４】
2013045112.tif 000007
【図５】
2013045112.tif 000008
【図６】
2013045112.tif 000009
【図７】
2013045112.tif 000010
【外国語明細書】
2013045112000001.pdf