(57)【要約】【課題】  電子透かし情報を付加したオーディオ信号のオーディオ品質の劣化が少ないことを可能とする電子透かし付加装置、その方法、及びそのプログラムを提供する。【解決手段】  入力したステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸との組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に前記電子透かしとしての２次元画像を付加する。【選択図】図２
2015022114.tif 000002
【特許請求の範囲】
【請求項１】
入力したステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸との組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に前記電子透かしとしての２次元画像を付加することを特徴とする電子透かし付加装置。
【請求項２】
請求項１に記載の電子透かし付加装置であって、
前記２次元画像の各画素に対応する位置にある時間・周波数成分の位相をその画素の値に応じてシフトすることを特徴とする電子透かし付加装置。
【請求項３】
請求項２に記載の電子透かし付加装置であって、
入力した前記ステレオ信号をチャネル毎に周波数領域の信号に変換し、変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成し、その足し合わせた信号の各時間・各周波数成分の位相の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせることを特徴とする電子透かし付加装置。
【請求項４】
請求項２又は３に記載の電子透かし付加装置であって、
前記シフトの量を算出する関数が、前記画素の輝度の単調増加関数又は単調減少関数であることを特徴とする電子透かし付加装置。
【請求項５】
請求項４に記載の電子透かし付加装置であって、
前記関数が、前記画素の輝度をｚ［ｘ］、前記シフト量をφ［ｘ］とした場合、
【数１】
2015022114.tif 000014
であることを特徴とする電子透かし付加装置。
【請求項６】
ステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸の組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての２次元画像を、前記付加後のステレオ信号から検出することを特徴とする電子透かし検出装置。
【請求項７】
入力したステレオ信号を周波数領域の信号に変換するステップと、
変換された信号の時間軸と周波数軸との組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に前記電子透かしとしての２次元画像を付加するステップと、
を有することを特徴とする電子透かし付加方法。
【請求項８】
ステレオ信号を周波数領域の信号に変換するステップと、
変換された信号の時間軸と周波数軸の組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての２次元画像を、前記付加後のステレオ信号から検出するステップと、
を有することを特徴とする電子透かし検出方法。
【請求項９】
電子透かし付加装置としてコンピュータを機能させるためのプログラムにおいて、
コンピュータを、
入力したステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸との組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に前記電子透かしとしての２次元画像を付加することを特徴とする電子透かし付加装置として機能させるための電子透かし付加用プログラム。
【請求項１０】
電子透かし検出装置としてコンピュータを機能させるためのプログラムにおいて、
コンピュータを、
ステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸の組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての２次元画像を、前記付加後のステレオ信号から検出することを特徴とする電子透かし検出装置として機能させるための電子透かし検出用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号変換に関し、特に電子透かしを付加する装置、電子透かしを表示する装置、それらの方法、及びそれらのプログラムに関する。
【背景技術】
【０００２】
通常の電子透かし付加装置の技術の一実施例を、図１を元に説明する。
【０００３】
電子透かし情報をオーディオ信号中に付加するには、電子透かし情報を、音として目立たないように付加するのが望ましい。
【０００４】
最も単純な図１の方式は、入力されるオーディオ信号ｓ１００をローパスフィルタ１０００で高域周波数信号を抑圧し、電子透かし情報を高域周波数の振幅値等で表現した電子透かし信号ｓ２００を、電子透かし付加装置１００１で加算し、オーディオ信号ｓ１０２とするものである。
【０００５】
電子透かし信号ｓ２００を人間の聴き取りづらい高域周波数（例えば１５Ｈｚ以上）にすれば、音として目立たない信号となりオーディオ品質の劣化は避けられるが、高域周波数がカットされるようなアナログ機器を使ってオーディオコンテンツが複製されるような場合には、電子透かし情報が欠落してしまう。また、オーディオ品質を劣化させることなく、電子透かし情報を取り去ることが容易なため、オーディオコンテンツの著作権保護の目的で使用されるような電子透かしとしては好ましくない。
【０００６】
また、特許文献１は、ディジタルオーディオデータの符号化処理に適した電子透かしの挿入手法を実現するために、時間領域の信号から周波数領域の信号に変換され量子化処理を施されたオーディオデータに対して電子透かし情報を挿入するようにしたことを特徴とする電子透かし埋め込み装置を開示する。しかし、量子化されたオーディオデータに対して電子透かし情報を挿入するための手段を兼ね備えた可逆的置換処理回路が記載されているが、該可逆的置換処理回路は第１のスイッチ回路を備え、該第１のスイッチ回路は電子透かし情報と、選択サブバンド内の極大値とのどちらか一方を選択して出力する。すなわち、電子透かしを埋め込む位置を、オーディオデータの各周波数成分のうち人の聴覚特性に関して重要である周波数成分の位置としているため、電子透かしの挿入により、オーディオ品質の劣化が大きいことが推察される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−３１６５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
したがって、本発明は、電子透かし情報を付加したオーディオ信号のオーディオ品質の劣化が少ないことを可能とする電子透かし付加装置、その方法、及びそのプログラムを提供することを目的とする。
【０００９】
また、電子透かしの表示方法が容易であることを可能とする電子透かし表示装置、その方法、及びそのプログラムを提供することも目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の観点によれば、入力したステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸との組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に前記電子透かしとしての２次元画像を付加することを特徴とする電子透かし付加装置が提供される。
【００１１】
また、本発明の第２の観点によれば、ステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸の組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての２次元画像を、前記付加後のステレオ信号から検出することを特徴とする電子透かし検出装置が提供される。
【００１２】
更に、本発明の第３の観点によれば、入力したステレオ信号を周波数領域の信号に変換するステップと、変換された信号の時間軸と周波数軸との組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に前記電子透かしとしての２次元画像を付加するステップと、を有することを特徴とする電子透かし付加方法が提供される。
【００１３】
加えて、本発明の第４の観点によれば、ステレオ信号を周波数領域の信号に変換するステップと、変換された信号の時間軸と周波数軸の組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての２次元画像を、前記付加後のステレオ信号から検出するステップと、を有することを特徴とする電子透かし検出方法が提供される。
【００１４】
加えて、本発明の第５の観点によれば、電子透かし付加装置としてコンピュータを機能させるためのプログラムにおいて、コンピュータを、入力したステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸との組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に前記電子透かしとしての２次元画像を付加することを特徴とする電子透かし付加装置として機能させるための電子透かし付加用プログラムが提供される。
【００１５】
加えて、本発明の第６の観点によれば、電子透かし検出装置としてコンピュータを機能させるためのプログラムにおいて、コンピュータを、ステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸の組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての２次元画像を、前記付加後のステレオ信号から検出することを特徴とする電子透かし検出装置として機能させるための電子透かし検出用プログラムが提供される。
【発明の効果】
【００１６】
本発明によれば、電子透かし付加装置において、電子透かし情報を付加したオーディオ信号のオーディオ品質の劣化が少ないことが可能となる。
【００１７】
また、本発明によれば、電子透かし表示装置において、電子透かしの表示方法が容易であることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】通常の電子透かし付加装置の構成図である。
【図２】本発明の実施形態による電子透かし付加装置の構成図である。
【図３】本発明の実施形態による電子透かし付加装置に含まれる位相変換器の構成図である。
【図４】本発明の実施形態による電子透かし付加装置に含まれる位相制御器の構成図である。
【図５】本発明の実施形態による電子透かし表示装置の構成図である。
【図６】本発明の実施形態による電子透かし付加装置の動作を示すフローチャートである。
【図７】本発明の実施形態による電子透かし付加装置に含まれる位相変換器の制御モードを示す表である。
【図８】本発明の実施形態による電子透かし表示装置の動作を示すフローチャートである。
【図９】電子透かしを付加したＬｃｈ及びＲｃｈの疑似ステレオ信号のスペクトログラムを示す図である。
【図１０】電子透かしが付加された疑似ステレオ信号を変換したモノラル信号のスペクトログラムを示す図である。
【発明を実施するための形態】
【００１９】
（構成の説明）
図２は、本発明に係る電子透かし付加装置１の構成図である。当該電子透かし付加装置１は、Ｌｃｈ及びＲｃｈそれぞれの周波数分析器１０−Ｌ及び１０−Ｒと、位相制御器２０と、位相変換器３０−Ｌ０〜３０−Ｌｎ及び３０−Ｒ０〜３０−Ｒｎと、Ｌｃｈ及びＲｃｈそれぞれの周波数成分合成器５０−Ｌ及び５０−Ｒとを含む。
【００２０】
周波数分析器１０−Ｌは、Ｌｃｈオーディオ信号ｓ１−Ｌを入力とし、周波数分析した上で周波数毎の周波数成分信号ｓ３−Ｌ０〜ｓ３−Ｌｎを各々が対応するＬｃｈの位相変換器３０−Ｌ０〜３０−Ｌｎ及びＲｃｈの位相変換器３０−Ｒ０〜３０−Ｒｎに出力する。
【００２１】
同様に、周波数分析器１０−Ｒは、Ｒｃｈオーディオ信号ｓ１−Ｒを入力とし、周波数分析した上で周波数毎の周波数成分信号ｓ３−Ｒ０〜ｓ３−Ｒｎを各々が対応するＬｃｈの位相変換器３０−Ｌ０〜３０−Ｌｎ及びＲｃｈの位相変換器３０−Ｒ０〜３０−Ｒｎに出力する。
【００２２】
ここで、ｎは周波数分析のサンプリング点数であり、任意の複数である。
【００２３】
位相制御器２０は、電子透かし信号ｓ２を入力とし、付加する電子透かしの２次元画像の画素に対応した制御信号ｓ４−Ｌ０〜ｓ４−Ｌｎ及びｓ４−Ｒ０〜ｓ４−Ｒｎのそれぞれを、各々が対応する位相変換器３０−Ｌ０〜３０−Ｌｎ及び３０−Ｒ０〜３０−Ｒｎに出力する。
【００２４】
位相変換器３０−Ｌｘ（０≦ｘ≦ｎであり、ｘは整数である）は、周波数分析器１０−Ｌからの周波数成分信号ｓ３−Ｌｘと周波数分析器１０−Ｒからの周波数成分信号ｓ３−Ｒｘ、及び位相制御器２０からの制御信号ｓ４−Ｌｘを入力とし、位相変換出力信号ｓ５−ＬｘをＬｃｈの周波数成分合成器５０−Ｌに出力する。
【００２５】
同様に、位相変換器３０−Ｒｘ（０≦ｘ≦ｎであり、ｘは整数である）は、周波数分析器１０−Ｌからの周波数成分信号ｓ３−Ｌｘと周波数分析器１０−Ｒからの周波数成分信号ｓ３−Ｒｘ、及び位相制御器２０からの制御信号ｓ４−Ｒｘを入力とし、位相変換出力信号ｓ５−ＲｘをＲｃｈの周波数成分合成器５０−Ｒに出力する。
【００２６】
Ｌｃｈの周波数成分合成器５０−Ｌは、位相変換器３０−Ｌ０〜３０−Ｌｎからの位相変換出力信号ｓ５−Ｌ０〜ｓ５−Ｌｎを入力とし、入力された位相変換出力信号ｓ５−Ｌ０〜ｓ５−Ｌｎから電子透かしが付加された電子透かし付加信号ｓ６−Ｌを合成し、出力する。
【００２７】
同様に、Ｒｃｈの周波数成分合成器５０−Ｒは、位相変換器３０−Ｒ０〜３０−Ｒｎからの位相変換出力信号ｓ５−Ｒ０〜ｓ５−Ｒｎを入力とし、入力された位相変換出力信号ｓ５−Ｒ０〜ｓ５−Ｒｎから電子透かしが付加された電子透かし付加信号ｓ６−Ｒを合成し、出力する。
【００２８】
位相変換器３０−Ｌｘ及び３０−Ｒｘの構成の例として、位相変換器３０−Ｘｎの構成を図３に示す。ここで、ＸはＬ又はＲでありＹはＲ又はＬである。すなわちＸ＝Ｌの時はＹ＝Ｒであり、Ｘ＝Ｒの時はＹ＝Ｌである。位相変換器３０−Ｘｎは、加算器３００−Ｘｎと、位相シフトアンプ３０１−Ｘｎと、加算制御スイッチ３０２−Ｘｎとを含む。
【００２９】
位相変換器３０−Ｘｎは、周波数分析器１０−Ｘからの周波数成分信号ｓ３−Ｘｎと周波数分析器１０−Ｙからの周波数成分信号ｓ３−Ｙｎ、及び位相制御器２０からの制御信号ｓ４−Ｘｎを入力とする。
【００３０】
制御信号ｓ４−Ｘｎは、加算制御スイッチ３０２−Ｘｎを制御することにより、加算器３００−Ｘｎにおいて、周波数成分信号ｓ３−Ｘｎに周波数成分信号ｓ３−Ｙｎを加算するか否かを制御する。
【００３１】
また、制御信号ｓ４−Ｘｎは、位相シフトアンプ３０１−Ｘｎも制御する。その結果、周波数成分信号ｓ３−Ｘｎと周波数成分信号ｓ３−Ｙｎとをモノラル加算した信号、または周波数成分信号ｓ３−Ｘｎのみのオリジナル信号の位相が、位相シフトアンプ３０１−Ｘｎによって位相シフトされ、位相変換出力信号ｓ５−Ｘｎとして位相変換器３０−Ｘｎから出力される。
【００３２】
位相変換器３０−Ｘ０〜３０−Ｘｎ−１も同様である。
【００３３】
図４に位相制御器２０の構成を示す。位相制御器２０はｎ個の位相決定器２００−０〜２００−ｎを含む。上記のように、ｎは周波数分析器１０−Ｌ及び１０−Ｒにおけるサンプリング点数に一致し、各位相決定器２００−ｘ（０≦ｘ≦ｎであり、ｘは整数である）は、位相変換器３０−Ｌｘ及び３０−Ｒｘに対応する。位相制御器２０に入力された電子透かし信号ｓ２は、各位相決定器２００−０〜２００−ｎに入力される。後述のように、電子透かしとしての２次元画像のｘｙ軸は、オーディオ信号のｔｆ軸に対応するが、各位相決定器は、各周波数に対応する。
【００３４】
各位相決定器２００−０〜２００−ｎのうち２００−ｎを例にとると、位相決定器２００−ｎは画素の濃淡値に応じて、位相変換器３０−Ｘｎに対して、加算器３００−Ｘｎによるモノラル加算のｏｎ／ｏｆｆと、位相シフトアンプ３０１−Ｘｎによる位相シフト量を制御する制御信号ｓ４−Ｘｎを出力する。すなわち、位相決定器２００−ｎは、制御信号ｓ４−Ｌｎを位相変換器３０−Ｌｎに出力し、制御信号ｓ４−Ｙｎを位相変換器３０−Ｙｎに出力する。
【００３５】
電子透かしを挿入する場合は、モノラル加算をｏｎとし、位相シフトを行う。
【００３６】
電子透かしを挿入しない場合は、モノラル加算をｏｆｆとし、位相シフト量はゼロとする。これにより、電子透かし付加装置１が出力する疑似ステレオ信号は、通常のステレオ信号となる。例えば、音楽などのステレオオーディオ信号を扱う場合、最初の数ミリ秒だけに電子透かしを挿入し、残りの時間では電子透かしを挿入しないようにしたり、末尾部に挿入したりすることにより、コンテンツの品位を下げることを回避できる。
【００３７】
位相決定器２００−０〜２００−ｎ−１も同様である。
【００３８】
なお、電子透かしの２次元画像の画像信号を１次元の走査信号にして、位相制御器２０に順次供給することにより、２次元画像のｘ軸及びｙ軸のそれぞれが、電子透かし付加信号ｓ６−Ｌ及びｓ６−Ｒの時間軸と周波数軸に対応することとなる。具体的には、２次元画像中のあるラインの上端から下端の画素が、ある時刻における各周波数成分に対応する。位相制御器２０に、あるラインの上端から下端の画素信号が入力され、処理が終了すると、位相制御器２０に、次のラインの上端から下端の画素信号が入力される。この次のラインの上端から下端の画素信号が、次の時刻における各周波数成分に対応する。これを繰り返すことにより、電子透かしの２次元画像のｘ軸及びｙ軸は、電子透かし付加信号ｓ６−Ｌ及びｓ６−Ｒの時間軸と周波数軸に対応することとなる。
【００３９】
ここで２次元画像のｘ軸及びｙ軸のそれぞれが、電子透かし付加信号ｓ６−Ｌ及びｓ６−Ｒの時間軸と周波数軸に対応すると述べたが、本発明の実施形態はこれには限られず、ｘ軸が周波数軸に、ｙ軸が時間軸に対応してもよい。また、２次元画像の直交しない任意の２軸が、電子透かし付加信号ｓ６−Ｌ及びｓ６−Ｒの時間軸と周波数軸に対応してもよい。
【００４０】
図５は、本発明に係る電子透かし表示装置６の構成図である。当該電子透かし表示装置２は、加算器６０と表示器７０とを含み、該表示器７０は周波数分析器７００と濃淡表示器７０１とを含む。
【００４１】
加算器６０は、疑似ステレオオーディオ信号である電子透かし付加信号ｓ６−Ｌとｓ６−Ｒとを入力とし、モノラル加算した上でモノラル信号ｓ７−Ｍを表示器７０の周波数分析器７００に出力する。該周波数分析器７００は、モノラル信号ｓ７−Ｍを周波数分析し、周波数成分信号ｓ７０−Ｍ０〜ｓ７０−Ｍｎを濃淡表示器７０１に出力する。
（動作の説明）
周波数分析器１０−Ｌ及び１０−Ｒを代表的なＦＦＴ演算器、また周波数合成器５０−Ｌ及び５０−Ｒを代表的な逆ＦＦＴ演算器として動作原理を説明するが、本発明の実施の態様は、これには限られない。
【００４２】
ＦＦＴ演算器の出力であるＬｃｈ複素信号をＬ［ｘ］、Ｒｃｈ信号複素信号をＲ［ｘ］とし、式１及び式２で表す。ａＬ［ｘ］及びａＲ［ｘ］は実部成分、ｂＬ［ｘ］及びｂＲ［ｘ］は虚数部成分である。
【００４３】
【数１】
2015022114.tif 000003
（式１）
【００４４】
【数２】
2015022114.tif 000004
（式２）
ｘは周波数成分の番号であり、０、１、２、・・・ｎの整数とする。ここで、Ｌ［ｘ］及びＲ［ｘ］はそれぞれ、図２の周波数成分信号ｓ３−Ｌｘ及びｓ３−Ｒｘに対応する。
【００４５】
電子透かしの画像情報を付加する周波数成分信号に対しては、式３でモノラル信号Ｍ［ｘ］に変換する。
【００４６】
【数３】
2015022114.tif 000005
（式３）
なお、電子透かしを挿入しない期間においては、周波数成分信号に対して、入力信号のまま変換せず、オリジナル信号のままとする。
【００４７】
モノラル化された周波数成分に対して、式４でシフトする位相角φ［ｘ］を求める。
【００４８】
【数４】
2015022114.tif 000006
（式４）
ここで、ｚ［ｘ］は表示させたい電子透かし画素の輝度（または濃淡階調）を示す値であり、０≦ｚ［ｘ］≦２とする。画素の輝度が最大の場合は、ｚ［ｘ］＝０に対応し、画素の輝度が最小の場合は、ｚ［ｘ］＝２に対応する。０≦ｚ［ｘ］≦２の範囲において、φ［ｘ］は単調に減少する関数となる。例えば、ｚ［ｘ］が“０”の時は、最も白く表示したい値であり、φ［ｎ］＝πとなる。また、ｚ［ｘ］が“２”の時は、最も黒く表示したい値であり、φ［ｎ］＝０となる。
【００４９】
なお、式４はあくまで一例であり、極性の反転した、０≦ｚ［ｘ］≦２の範囲における単調増加関数でもよい。
【００５０】
一例として、位相変換器３０−Ｌｘが生成するＬｃｈの信号Ｌ’［ｘ］は、モノラル信号Ｍ［ｘ］をそのまま出力させたものとする。
【００５１】
【数５】
2015022114.tif 000007
（式５）
それに対して、位相変換器３０−Ｒｘが生成するＲｃｈの信号Ｒ’［ｘ］は、回転演算の式６によって、Ｌ’［ｘ］、すなわちモノラル信号Ｍ［ｘ］の位相をシフトさせたものとする。
【００５２】
【数６】
2015022114.tif 000008
（式６）
これらの演算をＦＦＴポイント分で行う。その後、逆ＦＦＴ演算器である周波数合成器５０−Ｌ及び５０−Ｒのそれぞれが、Ｌ’［ｘ］及びＲ’［ｘ］のそれぞれを合成し、それぞれの周波数合成器は、疑似ステレオ信号である電子透かし付加信号ｓ６−Ｌ及びｓ６−Ｒを出力する。
【００５３】
電子透かし挿入期間においては、Ｌｃｈから出力されるｓ６−Ｌと、Ｒｃｈから出力されるｓ６−Ｒの双方が、Ｌ［ｘ］とＲ［ｘ］を加算した信号を合成したものとなるため、モノラル信号となる。一方、電子透かしを挿入しない期間においては、加算も位相シフトも行われないため、ｓ６−Ｌ及びｓ６−Ｒはステレオ信号となる。電子透かしを挿入する期間を短くしたり、挿入する場所を末尾部などにすることにより、ステレオ信号として認識される。
またこれらには、単位時間経過毎に、電子透かしデータの２次元画像の情報を付加していくため、上記の動作を繰り返す。
【００５４】
電子透かし表示装置６が電子透かしを表示する場合は、加算器６０が疑似ステレオ信号である電子透かし付加信号ｓ６−Ｌ及びｓ６−Ｒをモノラル加算して、モノラル信号ｓ７−Ｍに変換し、周波数分析器７００が周波数分析をする。
【００５５】
上記のように、最も白く表示したい画素の場合は、ｚ［ｘ］＝０よりφ［ｘ］＝πとなるため、式７において、モノラル信号ｓ７０−Ｍｘは０となり、スペクトル成分は消滅する。
【００５６】
【数７】
2015022114.tif 000009
（式７）
また、最も黒く表示したい画素の場合は、ｚ［ｘ］＝２．０よりφ［ｘ］＝０となるため、式８において、モノラル信号ｓ７０−Ｍｘはモノラル信号Ｍ［ｘ］のままとなる。
【００５７】
【数８】
2015022114.tif 000010
（式８）
これらの動作原理で、合成されたオーディオ信号をＦＦＴ演算によるパワースペクトログラムとして表示させ、電子透かしが画像情報として浮かびあがることを可能とする。
【実施例】
【００５８】
図２に記載の電子透かし付加装置１の実施例について、図６のフローチャートを用いて説明する。
【００５９】
周波数分析器１０−Ｌが、ステレオオーディオ信号のＬｃｈ信号ｓ１−Ｌを周波数成分毎に周波数成分信号ｓ３−Ｌ０〜ｓ３−Ｌｎに分解する。同様に、周波数分析器１０−ＲがＲｃｈ信号ｓ１−Ｒを、周波数成分毎に周波数成分信号ｓ３−Ｒ０〜ｓ３−Ｒｎに分解する（ステップＳ１０１）。出力される周波数成分信号は、前記式１および式２に相当する。
【００６０】
周波数分析器１０−Ｌで分解された周波数成分信号ｓ３−Ｌ０は周波数分析器１０−Ｒで分解された周波数成分信号ｓ３−Ｒ０とともに、位相変換器３０−Ｌ０に入力される。また同様に、周波数分析器１０−Ｒで分解された周波数成分信号ｓ３−Ｒ０は周波数分析器１０−Ｌで分解された周波数成分信号ｓ３−Ｌ０とともに、位相変換器３０−Ｒ０に入力される。
【００６１】
これら位相変換器は、Ｌ／Ｒｃｈ毎、および周波数成分毎に備わる。
【００６２】
すなわち、１≦ｘ≦ｎであり、ｘが整数とすると、周波数成分信号ｓ３−Ｌｘとｓ３−Ｒｘの双方が、位相変換器３０−Ｌｘと３０−Ｒｘに入力される（ステップＳ１０２）。
【００６３】
図４の位相制御器２０に、電子透かしとなる画像信号ｓ２が入力される（ステップＳ１０３）。すると、画素の点に対応する位置の周波数成分に対して、画素の濃淡値から、各周波数成分に対応する位相決定器２００−ｘが、位相変換器３０−Ｌｘ及び３０−Ｒｘにおけるモノラル加算のＯＮ／ＯＦＦと、位相シフト量とを決定する（ステップＳ１０４）。各位相決定器２００−ｘは、モノラル加算及び位相シフト量を制御する制御信号ｓ４−Ｌｘ及びｓ４−Ｒｘそれぞれを、対応する位相変換器３０−Ｌｘ及び３０−Ｒｘに出力する（ステップＳ１０５）。
【００６４】
図３の位相変換器３０−Ｘｎに、周波数成分信号ｓ３−Ｌｎとｓ３−Ｒｎと、制御信号ｓ４−Ｘｎが入力される。ここで、ｎは周波数成分番号、Ｘ，ＹはＬ又はＲのチャンネル識別記号とする。制御信号ｓ４−Ｘｎは、加算制御スイッチ３０２−Ｘｎを制御する。加算制御スイッチ３０２−Ｘｎがモノラル加算をする場合（ステップＳ１０６のＯＮ）は、周波数成分信号Ｓ３−Ｙｎが加算制御スイッチ３０２−Ｘｎを介して加算器３００−Ｘｎに入力される。この場合、加算器３００−Ｘｎが周波数成分信号Ｓ３−ＸｎとＳ３−Ｙｎとをモノラル加算し、加算出力信号（式３）を、位相シフトアンプ３０１−Ｘｎに出力する（ステップＳ１０７）。加算制御スイッチ３０２−Ｘｎがモノラル加算しない場合は、周波数成分信号ｓ３−Ｘｎのみが加算器３００−Ｘｎに入力され、加算器３００−Ｘｎはオリジナル信号である周波数成分信号ｓ３−Ｘｎを位相シフトアンプ３０１−Ｘｎに出力する。（ステップＳ１０８）。その後、制御信号ｓ４−Ｘｎによって制御される位相シフトアンプ３０１−Ｘｎが加算出力信号又はオリジナル信号の位相をシフトし、位相変換出力信号ｓ５−Ｘｎを出力する。（式５、式６）（ステップＳ１０９）。
【００６５】
位相変換器３０−Ｘ０〜３０−Ｘｎ−１においても同様である。
【００６６】
その後、周波数成分合成器５０−Ｌ及び５０−Ｒが、位相変換出力信号ｓ５−Ｌ１〜ｓ５−Ｌｎ及びｓ５−Ｒ１〜ｓ５―Ｒｎのそれぞれを合成し、疑似ステレオオーディオ信号である電子透かし付加信号ｓ６−Ｌ及びｓ６−Ｒを出力する（ステップＳ１１０）。
【００６７】
周波数分析器１０−Ｌ及び１０−Ｒ、位相制御器２０、位相変換器３０−Ｌｘ及び３０−Ｒｘ（１≦ｘ≦ｎであり、ｘは整数）、周波数成分合成器５０−Ｌ及び５０−Ｒは、単位時間経過毎に上記の動作を繰り返す。
【００６８】
位相変換器３０−Ｘ０〜３０−Ｘｎの制御例を、図７の表に示す。
【００６９】
例えば、電子透かしの画素として最も白く表示したい点に対しては、Ｌｃｈ側、すなわち位相変換器３０−Ｌｘにおいて、制御信号ｓ４−Ｌｘにより、モノラル加算スイッチをＯＮにし位相シフト量を０［ｒａｄ］とする。Ｒｃｈ側、すなわち位相変換器３０−Ｒｘにおいては、制御信号ｓ４−Ｒｘにより、モノラル加算スイッチをＯＮにし位相シフト量をπ［ｒａｄ］とする。
【００７０】
また逆に、最も黒く表示したい点に対しては、Ｌｃｈ側、すなわち位相変換器３０−Ｌｘにおいて、制御信号ｓ４−Ｌｘにより、モノラル加算スイッチをＯＮにし位相シフト量を０［ｒａｄ］とする。Ｒｃｈ側、すなわち位相変換器３０−Ｒｘにおいても、制御信号ｓ４−Ｒｘにより、モノラル加算スイッチをＯＮにし、位相シフト量を０［ｒａｄ］とする。
【００７１】
なお、画素がない点に対しては、Ｌｃｈ側、すなわち位相変換器３０−Ｌｘにおいて、制御信号ｓ４−Ｌｘにより、モノラル加算スイッチをＯＦＦにし位相シフト量を０［ｒａｄ］とする。Ｒｃｈ側、すなわち位相変換器３０−Ｒｘにおいても、制御信号ｓ４−Ｒｘにより、モノラル加算スイッチをＯＦＦにし位相シフト量を０［ｒａｄ］とする。これは、画素がない点では、オリジナル信号のそのままを出力とするものである。
【００７２】
図５に記載の電子透かし表示装置６の実施例について、図８のフローチャートを用いて説明する。
【００７３】
疑似ステレオオーディオ信号である電子透かし付加信号の、Ｌｃｈ信号ｓ６−Ｌ及びＲｃｈ信号ｓ６−Ｒを加算器６０が加算し、モノラル加算信号ｓ７−Ｍを出力する（ステップＳ２０１）。
【００７４】
表示器７０において、周波数分析器７００が、モノラル加算信号ｓ７−Ｍを、周波数成分毎の周波数成分信号ｓ７０−Ｍ０〜ｓ７０−Ｍｎに分解する（ステップＳ２０２）。この周波数分析器７００は、代表的なＦＦＴ演算器であってよいが、本発明の実施の態様はこれには限られない。
【００７５】
濃淡表示器７０１が、各周波数成分毎の周波数成分信号ｓ７０−Ｍ０〜ｓ７０−Ｍｎのパワーを算出し、各周波数が対応する位置に画像濃淡や輝度として表示する（式７および式８）（ステップＳ２０３）。濃淡表示器７０１は、固定されたフレーム時間毎に、周波数分析と表示を繰り返し（ステップＳ２０４のＮＯ）、縦軸に周波数、横軸に時刻とした２次元画面として表示する。
【００７６】
本発明により電子透かしを付加した疑似ステレオオーディオ信号の、Ｌｃｈ信号ｓ−６Ｌのスペクトログラムを図９の上段画像に、また、Ｒｃｈ信号ｓ−６Ｒのスペクトログラムを図９の下段画像に示す。
【００７７】
周波数成分の強い信号は黒く、弱い信号は白く表示されており、どちらのチャネル信号においても、電子透かしの画像データは認識できない。すなわち、オーディオ信号の劣化が少ないことを示している。
【００７８】
さらに、これらの電子透かしが付加された疑似ステレオオーディオ信号を加算して、モノラル信号に変換した時のスペクトログラムを図１０に示す。電子透かし画像（文字画像の例）が、下方（低域周波数位置）に、白く全体に浮かび上がっていることが認識できる。
【００７９】
なお、上記の信号処理装置の各部分は、ハードウェア、ソフトウェアのいずれか又はこれらの組み合わせにより実現することができる。また、上記の信号処理装置により行われる信号処理方法も、ハードウェア、ソフトウェアのいずれか又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【００８０】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ(Read Only Memory)、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory)）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００８１】
本発明によれば、電子透かし付加装置において、オーディオコンテンツが複製された場合でも電子透かし情報を欠落させないこと、電子透かし情報を付加したオーディオ信号はオーディオ品質の劣化が少ないこと、及び、電子透かし情報を取り去ることがオーディオ品質の著しい劣化となることが可能となる。
【００８２】
また、本発明によれば、電子透かし表示装置において、電子透かしの表示方法が容易であること、及び、電子透かしの判別も容易となることが可能となる。
【００８３】
上記の実施形態の一部または全部は、以下の付記のようにも記載されるが、以下には限られない。
【００８４】
（付記１）
入力したステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸との組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に前記電子透かしとしての２次元画像を付加することを特徴とする電子透かし付加装置。
【００８５】
（付記２）
付記１に記載の電子透かし付加装置であって、
前記２次元画像の各画素に対応する位置にある時間・周波数成分の位相をその画素の値に応じてシフトすることを特徴とする電子透かし付加装置。
【００８６】
（付記３）
付記２に記載の電子透かし付加装置であって、
入力した前記ステレオ信号をチャネル毎に周波数領域の信号に変換し、変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成し、その足し合わせた信号の各時間・各周波数成分の位相の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせることを特徴とする電子透かし付加装置。
【００８７】
（付記４）
付記２又は３に記載の電子透かし付加装置であって、
前記シフトの量を算出する関数が、前記画素の輝度の単調増加関数又は単調減少関数であることを特徴とする電子透かし付加装置。
【００８８】
（付記５）
付記４に記載の電子透かし付加装置であって、
前記関数が、前記画素の輝度をｚ［ｘ］、前記シフト量をφ［ｘ］とした場合、
【００８９】
【数９】
2015022114.tif 000011
であることを特徴とする電子透かし付加装置。
【００９０】
（付記６）
ステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸の組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての２次元画像を、前記付加後のステレオ信号から検出することを特徴とする電子透かし検出装置。
【００９１】
（付記７）
付記６に記載の電子透かし検出装置であって、
各時間・各周波数成分の位相シフト量を検出し、その位相シフト量を基に、前記２次元画像を検出することを特徴とする電子透かし検出装置。
【００９２】
（付記８）
付記６又は７に記載の電子透かし検出装置であって、
前記付加後のステレオ信号に含まれる両チャネルの信号を足し合わせてから、周波数成分の信号に変換し、その変換後の周波数軸と時間軸とを２次元の２軸として、その変換後の信号を２次元出力する手段を備えることを特徴とする電子透かし検出装置。
【００９３】
（付記９）
入力したステレオ信号を周波数領域の信号に変換するステップと、
変換された信号の時間軸と周波数軸との組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に前記電子透かしとしての２次元画像を付加するステップと、
を有することを特徴とする電子透かし付加方法。
【００９４】
（付記１０）
付記９に記載の電子透かし付加方法であって、
前記２次元画像の各画素に対応する位置にある時間・周波数成分の位相をその画素の値に応じてシフトすることを特徴とする電子透かし付加方法。
【００９５】
（付記１１）
付記１０に記載の電子透かし付加方法であって、
入力した前記ステレオ信号をチャネル毎に周波数領域の信号に変換し、変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成し、その足し合わせた信号の各時間・各周波数成分の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせることを特徴とする電子透かし付加方法。
【００９６】
（付記１２）
付記１０又は１１に記載の電子透かし付加方法であって
前記シフトの量を算出する関数が、前記画素の輝度の単調増加関数又は単調減少関数であることを特徴とする電子透かし付加方法。
【００９７】
（付記１３）
付記１２に記載の電子透かし付加方法であって、
前記関数が、前記画素の輝度をｚ［ｘ］、前記シフト量をφ［ｘ］とした場合、
【００９８】
【数１０】
2015022114.tif 000012
であることを特徴とする電子透かし付加方法。
【００９９】
（付記１４）
ステレオ信号を周波数領域の信号に変換するステップと、
変換された信号の時間軸と周波数軸の組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての２次元画像を、前記付加後のステレオ信号から検出するステップと、
を有することを特徴とする電子透かし検出方法。
【０１００】
（付記１５）
付記１４に記載の電子透かし検出方法であって、
各時間・各周波数成分の位相シフト量を検出し、その位相シフト量を基に、前記２次元画像を検出することを特徴とする電子透かし検出方法。
【０１０１】
（付記１６）
付記１４又は１５に記載の電子透かし検出方法であって、
前記付加後のステレオ信号に含まれる両チャネルの信号を足し合わせてから、周波数成分の信号に変換し、その変換後の周波数軸と時間軸とを２次元の２軸として、その変換後の信号を２次元出力するステップを備えることを特徴とする電子透かし検出方法。
【０１０２】
（付記１７）
電子透かし付加装置としてコンピュータを機能させるためのプログラムにおいて、
コンピュータを、
入力したステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸との組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に前記電子透かしとしての２次元画像を付加することを特徴とする電子透かし付加装置として機能させるための電子透かし付加用プログラム。
【０１０３】
（付記１８）
付記１７に記載の電子透かし付加用プログラムであって、
前記２次元画像の各画素に対応する位置にある時間・周波数成分の位相をその画素の値に応じてシフトすることを特徴とする電子透かし付加用プログラム。
【０１０４】
（付記１９）
付記１８に記載の電子透かし付加用プログラムであって、
入力した前記ステレオ信号をチャネル毎に周波数領域の信号に変換し、変換により得られたチャネル毎の信号を足し合わせた信号をチャネル数だけ生成し、その足し合わせた信号の各時間・各周波数成分の位相の該成分に対応する位置にある画素の値に応じたシフト量を、チャネル間で異ならせることを特徴とする電子透かし付加用プログラム。
【０１０５】
（付記２０）
付記１８又は１９に記載の電子透かし付加用プログラムであって
前記シフトの量を算出する関数が、前記画素の輝度の単調増加関数又は単調減少関数であることを特徴とする電子透かし付加用プログラム。
【０１０６】
（付記２１）
付記２０に記載の電子透かし付加用プログラムであって、
前記関数が、前記画素の輝度をｚ［ｘ］、前記シフト量をφ［ｘ］とした場合、
【０１０７】
【数１１】
2015022114.tif 000013
であることを特徴とする電子透かし付加用プログラム。
【０１０８】
（付記２２）
電子透かし検出装置としてコンピュータを機能させるためのプログラムにおいて、
コンピュータを、
ステレオ信号を周波数領域の信号に変換し、変換された信号の時間軸と周波数軸の組を電子透かしとしての２次元画像の２軸の組に対応させてから、前記変換された信号に付加された前記電子透かしとしての２次元画像を、前記付加後のステレオ信号から検出することを特徴とする電子透かし検出装置として機能させるための電子透かし検出用プログラム。
【０１０９】
（付記２３）
付記２２に記載の電子透かし検出用プログラムであって、
各時間・各周波数成分の位相シフト量を検出し、その位相シフト量を基に、前記２次元画像を検出することを特徴とする電子透かし検出用プログラム。
【０１１０】
（付記２４）
付記２２又は２３に記載の電子透かし検出用プログラムであって、
前記付加後のステレオ信号に含まれる両チャネルの信号を足し合わせてから、周波数成分の信号に変換し、その変換後の周波数軸と時間軸とを２次元の２軸として、その変換後の信号を２次元出力する手段を備えることを特徴とする電子透かし検出用プログラム。
【産業上の利用可能性】
【０１１１】
本発明の活用例として、オーディオコンテンツ作成ツールのソフトウェアや、コンテンツ配信局、放送局の通信設備、また、演奏楽器の音に画像を挿入して表現するエフェクタとしても活用できる。
【符号の説明】
【０１１２】
１  電子透かし付加装置
６  電子透かし表示装置
１０−Ｌ  周波数分析器
１０−Ｒ  周波数分析器
２０  位相制御器
３０−Ｌ０  位相変換器
３０−Ｌｎ  位相変換器
３０−Ｌｘ  位相変換器
３０−Ｒ０  位相変換器
３０−Ｒｎ  位相変換器
３０−Ｒｘ  位相変換器
５０−Ｌ  周波数成分合成器
５０−Ｒ  周波数成分合成器
６０  加算器
７０  表示器
２００−０  位相決定器
２００−１  位相決定器
２００−ｎ  位相決定器
３００−Ｘｎ  加算器
３０１−Ｘｎ  位相シフトアンプ
３０２−Ｘｎ  加算制御スイッチ
７００  周波数分析器
７０１  濃淡表示器
１０００  ローパスフィルタ
１００１  電子透かし表示装置
ｓ１−Ｌ  オーディオ信号
ｓ１−Ｒ  オーディオ信号
ｓ２  電子透かし信号
ｓ３−Ｌ０  周波数成分信号
ｓ３−Ｌ１  周波数成分信号
ｓ３−Ｌｎ  周波数成分信号
ｓ３−Ｌｘ  周波数成分信号
ｓ３−Ｒ０  周波数成分信号
ｓ３−Ｒ１  周波数成分信号
ｓ３−Ｒｎ  周波数成分信号
ｓ３−Ｒｘ  周波数成分信号
ｓ３−Ｘｎ  周波数成分信号
ｓ３−Ｙｎ  周波数成分信号
ｓ４−Ｌ０  制御信号
ｓ４−Ｌ１  制御信号
ｓ４−Ｌｎ  制御信号
ｓ４−Ｌｘ  制御信号
ｓ４−Ｒ０  制御信号
ｓ４−Ｒ１  制御信号
ｓ４−Ｒｎ  制御信号
ｓ４−Ｒｘ  制御信号
ｓ４−Ｘｎ  制御信号
ｓ５−Ｌ０  位相変換出力信号
ｓ５−Ｌ１  位相変換出力信号
ｓ５−Ｌｎ  位相変換出力信号
ｓ５−Ｌｘ  位相変換出力信号
ｓ５−Ｒ０  位相変換出力信号
ｓ５−Ｒ１  位相変換出力信号
ｓ５−Ｒｎ  位相変換出力信号
ｓ５−Ｒｘ  位相変換出力信号
ｓ５−Ｘｎ  位相変換出力信号
ｓ６−Ｌ  電子透かし付加信号
ｓ６−Ｒ  電子透かし付加信号
ｓ７−Ｍ  モノラル加算信号
ｓ７０−Ｍ０  周波数成分信号
ｓ７０−Ｍ１  周波数成分信号
ｓ７０−Ｍｎ  周波数成分信号
ｓ１００  オーディオ信号
ｓ１０１  オーディオ信号
ｓ１０２  オーディオ信号
ｓ２００  電子透かし信号
【図１】
2015022114.tif 000015
【図２】
2015022114.tif 000016
【図３】
2015022114.tif 000017
【図４】
2015022114.tif 000018
【図５】
2015022114.tif 000019
【図６】
2015022114.tif 000020
【図７】
2015022114.tif 000021
【図８】
2015022114.tif 000022
【図９】
2015022114.tif 000023
【図１０】
2015022114.tif 000024