(57)【要約】【課題】信号データに補助情報データを重畳して伝送する際に、補助情報データを頑健に伝送する。【解決手段】多重化装置１の信号区間切出手段１０は、信号データＶの埋め込み領域Ｅから信号データＵを切り出す。パターン付加手段１１は、補助情報データＦを信号データＶの埋め込み領域Ｅに付加する。電子透かし付加手段１２は、信号区間切出手段１０により切り出された信号データＵを電子透かしとして、信号データＶの埋め込み領域Ｄに付加する。多重化装置１は、信号データＶと補助情報データＦとを多重化した多重化データＷを伝送する。補助情報データＦは、信号データＶを構成する一部の領域に埋め込んで伝送されるから、電子透かしとして一部の領域に埋め込んで伝送する場合に比べ、頑健な伝送を実現することができる。【選択図】図１
2015053619.tif 000002
【特許請求の範囲】
【請求項１】
信号データ及び補助情報データを入力し、前記信号データに前記補助情報データを重畳し、多重化データを生成して伝送する多重化装置において、
前記信号データに含まれる所定領域のデータを切り出す切出手段と、
前記所定領域のデータを前記補助情報データに置換し、新たな信号データを出力する補助情報データ置換手段と、
前記切出手段により切り出されたデータを電子透かしとして、前記補助情報データ置換手段により出力された新たな信号データに付加する電子透かし付加手段と、を備え、
前記電子透かし付加手段により電子透かしが付加された新たな信号データを、前記多重化データとして伝送する、ことを特徴とする多重化装置。
【請求項２】
請求項１に記載の多重化装置において、
前記切出手段と、前記電子透かし付加手段に代わる新たな電子透かし付加手段と、前記補助情報データ置換手段に代わる新たな補助情報データ置換手段とを備え、
前記新たな電子透かし付加手段は、
前記切出手段により切り出されたデータを電子透かしとして前記信号データに付加し、新たな信号データを出力し、
前記新たな補助情報データ置換手段は、
前記新たな電子透かし付加手段により出力された新たな信号データにおける前記所定領域のデータを、前記補助情報データに置換し、
前記新たな補助情報データ置換手段により所定領域のデータが補助情報データに置換された新たな信号データを、前記多重化データとして伝送する、ことを特徴とする多重化装置。
【請求項３】
信号データに補助情報データが重畳された多重化データを伝送路を介して受信し、前記多重化データを逆多重化し、前記補助情報データ及び信号データを生成して出力する逆多重化装置であって、
前記多重化データの所定領域から、前記信号データにおける一部のデータに代えて付加された前記補助情報データを検出する補助情報データ検出手段と、
前記多重化データに対し電子透かしの検出を行い、前記電子透かしとして付加されたデータを再生する電子透かし検出手段と、
前記電子透かし検出手段により再生されたデータを、前記多重化データの前記所定領域に上書き合成する信号合成手段と、を備え、
前記補助情報データ検出手段により検出された補助情報データを出力すると共に、前記信号合成手段により前記データが上書き合成された多重化データを前記信号データとして出力する、ことを特徴とする逆多重化装置。
【請求項４】
信号データに補助情報データが重畳された多重化データまたは前記信号データを、伝送路を介して伝送データとして受信し、前記伝送データが多重化データの場合、前記多重化データを逆多重化して前記補助情報データ及び信号データを生成して出力し、前記伝送データが信号データの場合、前記受信した信号データを出力する逆多重化装置であって、
前記受信した伝送データの所定領域に前記補助情報データが存在するか否かを判定し、前記補助情報データが存在すると判定した場合、前記所定領域から、前記信号データにおける一部のデータに代えて付加された前記補助情報データを検出する補助情報データ検出手段と、
前記補助情報データ検出手段により補助情報データが存在すると判定された場合、前記伝送データである多重化データに対し電子透かしの検出を行い、前記電子透かしとして付加されたデータを再生する電子透かし検出手段と、
前記電子透かし検出手段により再生されたデータを、前記多重化データの前記所定領域に上書き合成する信号合成手段と、を備え、
前記補助情報データ検出手段により補助情報データが存在すると判定された場合、前記補助情報データ検出手段により検出された補助情報データを出力すると共に、前記信号合成手段により前記データが上書き合成された多重化データを前記信号データとして出力し、
前記補助情報データ検出手段により補助情報データが存在しないと判定された場合、前記電子透かし検出手段による電子透かし検出処理、及び前記信号合成手段による上書き合成処理を行うことなく、前記伝送データである信号データを出力する、ことを特徴とする逆多重化装置。
【請求項５】
コンピュータを、請求項１若しくは２に記載の多重化装置、または請求項３若しくは４に記載の逆多重化装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のデータの多重化技術に関し、特に、信号データに補助情報、フラグ情報等を重畳する多重化装置、逆多重化装置及びプログラムに関する。
【背景技術】
【０００２】
従来、アナログ映像信号等の信号データに補助情報、フラグ情報等（以下、補助情報データという。）を重畳する多重化装置として、ブランキング期間にこれらの情報を重畳するものが知られている。この多重化装置によれば、映像信号の見た目に影響を与えることなく、補助情報データを伝送することができる。
【０００３】
デジタルデータ伝送においては、補助情報データを埋め込むためのデータ領域（アンシラリー領域）が予め確保されており、このアンシラリー領域を用いて補助情報データを伝送する手法もある。
【０００４】
また、データ上に他のデータを秘匿的に埋め込むステガノグラフィー技術が知られている。多重化装置は、このステガノグラフィー技術を用いることにより、映像信号等の信号データに補助情報データを埋め込んで伝送することができ、補助情報データの内容を秘匿することができる。
【０００５】
さらに、映像データとマルチメディアデータとを合成するためのコンテンツＩＤ及び同期情報を得るために、映像を取り込むと共に、映像上に見える状態で表示されたマーカを取り込む手法が知られている（特許文献１を参照）。この手法は、受信機が映像上にマーカを見える状態で表示し、他の端末が、受信機に表示されたテレビ画面を撮影することで、映像及びマーカを取り込み、取り込んだマーカからコンテンツＩＤ及び同期情報を得るものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−３５５７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、補助情報データをブランキング期間に重畳する手法及び予め確保されたアンシラリー領域に埋め込む手法は、装置によっては、その伝送を保証しないものがある。このため、ブランキング期間またはアンシラリー領域を利用した伝送を保証しない装置が伝送路内に１つでも存在すると、補助情報データを伝送することができなくなる。
【０００８】
また、ステガノグラフィー技術を用いた場合には、見た目と音質に違和感のない信号レベルで補助情報データが埋め込まれるが、例えば符号化劣化等のデータ損失が伴うときは、補助情報データの再生が不安定になる可能性がある。
【０００９】
また、特許文献１の手法では、他の端末を使用する意図がない場合であっても、受信機の画面には常にマーカが表示されるから、映像の視聴を妨げてしまう。
【００１０】
このように、多重化装置が映像信号等の信号データに補助情報データを重畳して伝送する場合、多重化装置によっては補助情報データの伝送を保証しなかったり、補助情報データの再生が不安定になったりするという問題があった。また、補助情報データであるマーカが常に画面表示され、視聴を妨げてしまうという問題もあった。
【００１１】
ここで、補助情報データとは、映像信号等の信号データに対応する補助情報、フラグ情報等の各種データをいい、例えば、同期情報、制御情報、時刻情報、コンテンツＩＤである。
【００１２】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、信号データに補助情報データを重畳して伝送する際に、補助情報データを頑健に伝送可能な多重化装置、逆多重化装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１３】
前記目的を達成するために、請求項１の多重化装置は、信号データ及び補助情報データを入力し、前記信号データに前記補助情報データを重畳し、多重化データを生成して伝送する多重化装置において、前記信号データに含まれる所定領域のデータを切り出す切出手段と、前記所定領域のデータを前記補助情報データに置換し、新たな信号データを出力する補助情報データ置換手段と、前記切出手段により切り出されたデータを電子透かしとして、前記補助情報データ置換手段により出力された新たな信号データに付加する電子透かし付加手段と、を備え、前記電子透かし付加手段により電子透かしが付加された新たな信号データを、前記多重化データとして伝送する、ことを特徴とする。
【００１４】
係る構成によれば、補助情報データは、信号データの所定領域に埋め込まれて高い信号レベルで伝送されるから、電子透かしとして埋め込まれて伝送される場合に比べ、頑健な伝送が可能となる。また、多重化データの伝送時に信号劣化が小さい場合には、補助情報データと信号データとの両データを安定して伝送することができ、一方で、信号劣化が大きくなった場合には、信号データの一部に損失は生じるものの、補助情報データは電子透かしとして伝送するよりも頑健に伝送することができる。
【００１５】
また、請求項２の多重化装置は、請求項１に記載の多重化装置において、前記切出手段と、前記電子透かし付加手段に代わる新たな電子透かし付加手段と、前記補助情報データ置換手段に代わる新たな補助情報データ置換手段とを備え、前記新たな電子透かし付加手段が、前記切出手段により切り出されたデータを電子透かしとして前記信号データに付加し、新たな信号データを出力し、前記新たな補助情報データ置換手段が、前記新たな電子透かし付加手段により出力された新たな信号データにおける前記所定領域のデータを、前記補助情報データに置換し、前記新たな補助情報データ置換手段により所定領域のデータが補助情報データに置換された新たな信号データを、前記多重化データとして伝送する、ことを特徴とする。
【００１６】
係る構成によれば、請求項１と同様に、補助情報データを頑健に伝送することができる。
【００１７】
さらに、請求項３の逆多重化装置は、信号データに補助情報データが重畳された多重化データを伝送路を介して受信し、前記多重化データを逆多重化し、前記補助情報データ及び信号データを生成して出力する逆多重化装置であって、前記多重化データの所定領域から、前記信号データにおける一部のデータに代えて付加された前記補助情報データを検出する補助情報データ検出手段と、前記多重化データに対し電子透かしの検出を行い、前記電子透かしとして付加されたデータを再生する電子透かし検出手段と、前記電子透かし検出手段により再生されたデータを、前記多重化データの前記所定領域に上書き合成する信号合成手段と、を備え、前記補助情報データ検出手段により検出された補助情報データを出力すると共に、前記信号合成手段により前記データが上書き合成された多重化データを前記信号データとして出力する、ことを特徴とする。
【００１８】
係る構成によれば、所定領域に付加された補助情報データを再生することができる。これにより、電子透かしとして埋め込まれて伝送された補助情報データが再生される場合に比べ、補助情報データの頑健な伝送を実現することができる。また、映像上に見える状態で補助情報データ（マーカ）を表示し、これを別端末のカメラで撮影することで同期等を実現する特許文献１による手法と互換性を保ったままで、別端末を使用した場合には、マーカを表示した状態とすることができ、別端末を使用しない場合には、マーカ部分を電子透かしから再生したデータで隠蔽することができる。尚、ここでいう互換性とは、従来のテレビでは、マーカが表示されたままとなるが特許文献１の機能を保つことができ、請求項３の逆多重化装置を有するテレビでは、必要のないときにマーカを隠すことができることをいう。
【００１９】
また、請求項４の逆多重化装置は、信号データに補助情報データが重畳された多重化データまたは前記信号データを、伝送路を介して伝送データとして受信し、前記伝送データが多重化データの場合、前記多重化データを逆多重化して前記補助情報データ及び信号データを生成して出力し、前記伝送データが信号データの場合、前記受信した信号データを出力する逆多重化装置であって、前記受信した伝送データの所定領域に前記補助情報データが存在するか否かを判定し、前記補助情報データが存在すると判定した場合、前記所定領域から、前記信号データにおける一部のデータに代えて付加された前記補助情報データを検出する補助情報データ検出手段と、前記補助情報データ検出手段により補助情報データが存在すると判定された場合、前記伝送データである多重化データに対し電子透かしの検出を行い、前記電子透かしとして付加されたデータを再生する電子透かし検出手段と、前記電子透かし検出手段により再生されたデータを、前記多重化データの前記所定領域に上書き合成する信号合成手段と、を備え、前記補助情報データ検出手段により補助情報データが存在すると判定された場合、前記補助情報データ検出手段により検出された補助情報データを出力すると共に、前記信号合成手段により前記データが上書き合成された多重化データを前記信号データとして出力し、前記補助情報データ検出手段により補助情報データが存在しないと判定された場合、前記電子透かし検出手段による電子透かし検出処理、及び前記信号合成手段による上書き合成処理を行うことなく、前記伝送データである信号データを出力する、ことを特徴とする。
【００２０】
係る構成によれば、補助情報データが存在する場合、請求項４と同様に、所定領域に付加されて伝送された補助情報データを再生することができ、補助情報データの頑健な伝送を実現することができる。
【００２１】
さらに、請求項５のプログラムは、コンピュータを、請求項１若しくは２に記載の多重化装置、または請求項３若しくは４に記載の逆多重化装置として機能させることを特徴とする。
【発明の効果】
【００２２】
以上のように、本発明によれば、信号データに補助情報データを重畳して伝送する際に、補助情報データを頑健に伝送することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態による多重化装置の構成例を示すブロック図である。
【図２】（１）は、信号データＶの例において、埋め込み領域Ｅ，Ｄを説明する図である。（２）は、多重化データＷの例において、補助情報データＦの埋め込みパターン及び電子透かしが埋め込まれた信号データを説明する図である。
【図３】図２の例において、多重化装置の処理を示すフローチャートである。
【図４】本発明の他の実施形態による多重化装置の構成例を示すブロック図である。
【図５】本発明の実施形態による逆多重化装置の構成例を示すブロック図である。
【図６】多重化データＷ及び信号データＶ’の例、並びに電子透かし検出手段及び信号合成手段の動作例を説明する図である。
【図７】図２及び図６の例において、逆多重化装置の処理を示すフローチャートである。
【図８】図７のステップＳ７０３における補助情報データＦ’からＦへの変換処理を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明の実施形態による多重化装置は、映像信号等の信号データに補助情報データを重畳し、多重化データとして伝送路を介して逆多重化装置へ送信することにより、多重化伝送を実現する。また、本発明の実施形態による逆多重化装置は、多重化装置により送信された多重化データを伝送路を介して受信し、多重化データの逆多重化を行い、信号データ及び補助情報データを生成する。
【００２５】
具体的には、多重化装置は、補助情報データを高い信号レベルで、信号データの所定領域に埋め込むと共に、前記所定領域に存在していたデータを低い信号レベルで、電子透かしとして信号データに埋め込み、多重化データを生成して逆多重化装置へ送信する。ここで、高い信号レベルは、低い信号レベルに比べ、信号劣化に対して逆多重化装置における再生度合いが高いことを意味する。
【００２６】
これにより、信号劣化が小さい場合には、逆多重化装置は、信号データ及び補助情報データを安定的に再生することができる。一方、信号劣化が大きい場合には、信号データのうち電子透かしとして埋め込まれたデータを再生する際の安定性は低下するが、補助情報データは安定的に再生することができる。
【００２７】
このように、所定領域に埋め込まれた補助情報データ及び前記所定領域以外の領域の信号データは高い信号レベルで伝送し、前記所定領域に存在していたデータは低い信号レベルで伝送するという２階層の伝送を行うようにした。これにより、信号劣化の程度が変動しても、低い信号レベルのデータのみが途切れてしまう可能性はあるものの、補助情報データについては、途切れることなく頑健に伝送することができる。
【００２８】
〔多重化装置〕
まず、本発明の実施形態による多重化装置について説明する。図１は、本発明の実施形態による多重化装置の構成例を示すブロック図である。この多重化装置１は、信号区間切出手段１０、パターン付加手段（補助情報データ置換手段）１１及び電子透かし付加手段１２を備えている。
【００２９】
多重化装置１は、信号データＶ及び補助情報データＦを入力し、信号データＶにおける所定のデータ領域（以下、埋め込み領域Ｅという。）の信号データＵを補助情報データＦに置換する。そして、多重化装置１は、信号データＵを電子透かしとして、信号データＶにおける所定のデータ領域（以下、埋め込み領域Ｄという。）に埋め込む。これにより、信号データＶと補助情報データＦとが多重化され、多重化データＷが出力される。
【００３０】
ここで、信号データＶは、例えば映像信号であり、補助情報データは、例えば同期情報である。埋め込み領域Ｅは、補助情報データが埋め込まれる領域であり、埋め込み領域Ｄは、信号データＵが電子透かしとして埋め込まれる領域であり、これらの領域は、オペレータにより予め設定される。
【００３１】
信号区間切出手段１０は、信号データＶを入力し、信号データＶの全領域のうち、予め設定された埋め込み領域Ｅの信号区間に存在する信号データＵを切り出し、切り出した信号データＵを電子透かし付加手段１２に出力する。
【００３２】
パターン付加手段１１は、信号データＶ及び補助情報データＦを入力し、信号データＶにおける埋め込み領域Ｅに存在する信号データＵを補助情報データＦに置換することで、埋め込み領域Ｅに、補助情報データＦのパターンを付加する。そして、パターン付加手段１１は、信号データＵを補助情報データＦに置換した信号データＶを電子透かし付加手段１２に出力する。
【００３３】
この場合、パターン付加手段１１は、補助情報データＦを所定の変換規則にて変換して補助情報データＦ’を生成し、信号データＶにおける埋め込み領域Ｅに存在する信号データＵを、変換後の補助情報データＦ’に置換するようにしてもよい。
【００３４】
変換規則としては、例えば、補助情報データＦの各ビットを複製して複数のビットとしたり、補助情報データＦの値を所定の関数で変換したり、補助情報データＦに対して誤り訂正ビットを付加したり、補助情報データＦに対してエントロピー符号化を適用したりする。例えば、信号データＶが映像信号または画像信号である場合、パターン付加手段１１は、補助情報データＦのあるビットが０であるとき、複数画素からなるブロックの画素値を０とし、補助情報データＦのあるビットが１であるとき、複数画素からなるブロックの画素値を２５５とする変換を行う。
【００３５】
電子透かし付加手段１２は、信号区間切出手段１０から、埋め込み領域Ｅから切り出した信号データＵを入力すると共に、パターン付加手段１１から、埋め込み領域Ｅに補助情報データＦのパターンが付加された信号データＶを入力する。そして、電子透かし付加手段１２は、信号データＵを電子透かしとして、予め設定された埋め込み領域Ｄに付加することで、信号データＶと補助情報データＦとを多重化した多重化データＷを生成し、多重化データＷを出力する。
【００３６】
ここで、電子透かし付加手段１２は、電子透かしを埋め込む既存の技術を用いることができる。電子透かしを埋め込む技術には様々な手法があるが、これらの手法は既知であるからここでは説明を省略する。
【００３７】
（具体例）
次に、図１に示した多重化装置１の処理について、具体例を挙げて説明する。図２（１）は、信号データＶの例において、埋め込み領域Ｅ，Ｄを説明する図であり、図２（２）は、多重化データＷの例において、補助情報データＦの埋め込みパターン及び電子透かしが埋め込まれた信号データを説明する図である。また、図３は、図２の例において、多重化装置１の処理を示すフローチャートである。
【００３８】
図３を参照して、まず、多重化装置１は、図２（１）に示す信号データ４０（Ｖ）、及び補助情報データＦを入力する（ステップＳ３０１）。図２（１）に示すように、信号データ４０（Ｖ）には、補助情報データＦが埋め込まれる埋め込み領域Ｅ（左上、右上、左下及び右下の４箇所）、及び切り出した信号データＵが電子透かしとして埋め込まれる埋め込み領域Ｄ（中央の１箇所）が予め設定されており、信号データ４０（Ｖ）における埋め込み領域Ｅのデータは、それぞれ信号データ４１−１，４１−２，４１−３，４１−４である。補助情報データＦは、Ｆ1，Ｆ2，Ｆ3，Ｆ4の４ビットからなるものとする。
【００３９】
図３に戻って、多重化装置１の信号区間切出手段１０は、信号データ４０（Ｖ）における埋め込み領域Ｅの信号区間から、信号データ４１−１〜４１−４を信号データＵとして切り出す（ステップＳ３０２）。
【００４０】
パターン付加手段１１は、補助情報データＦを構成する各要素Ｆ1，Ｆ2，Ｆ3，Ｆ4のビット値（０または１）を画素値（０または２５５）に変換する。つまり、パターン付加手段１１は、補助情報データＦを構成するビット値の各要素Ｆ1，Ｆ2，Ｆ3，Ｆ4を画素値の各要素Ｆ1’，Ｆ2’，Ｆ3’，Ｆ4’に変換し、補助情報データＦ’（Ｆ1’〜Ｆ4’）を生成する（ステップＳ３０３）。
【００４１】
そして、パターン付加手段１１は、図２（２）に示すように、補助情報データＦ’を構成する各要素Ｆ1’〜Ｆ4’である画素値０または２５５に対応する埋め込みパターン５１−１〜５１−４を生成し、埋め込みパターン５１−１〜５１−４を埋め込み領域Ｅにそれぞれ付加する（ステップＳ３０４）。
【００４２】
図２（２）の例では、補助情報データＦ（Ｆ1＝０，Ｆ2＝１，Ｆ3＝０，Ｆ4＝０）が補助情報データＦ’（Ｆ1’＝０，Ｆ2’＝２５５，Ｆ3’＝０，Ｆ4’＝０）に変換され、黒色の埋め込みパターン５１−１，５１−３，５１−４が左上、左下及び右下の埋め込み領域Ｅにそれぞれ付加され、白色の埋め込みパターン５１−２が右上の埋め込み領域Ｅに付加される。
【００４３】
図３に戻って、電子透かし付加手段１２は、ステップＳ３０２において信号区間切出手段１０が切り出した信号データＵを、図２（２）に示すように電子透かし５２として、図２（１）に示した埋め込み領域Ｄに付加する（ステップＳ３０５）。これにより、図２（２）に示すような多重化データＷが生成される。そして、電子透かし付加手段１２は、多重化データＷを出力する（ステップＳ３０６）。
【００４４】
以上のように、本発明の実施形態による多重化装置１によれば、信号区間切出手段１０は、信号データＶの埋め込み領域Ｅから信号データＵを切り出し、パターン付加手段１１は、補助情報データＦを信号データＶの埋め込み領域Ｅに付加し、電子透かし付加手段１２は、信号区間切出手段１０により切り出された信号データＵを電子透かしとして、信号データＶの埋め込み領域Ｄに付加するようにした。そして、多重化装置１は、信号データＶと補助情報データＦとを多重化した多重化データＷを伝送するようにした。伝送する多重化データＷには、埋め込み領域Ｅに付加した補助情報データＦ、及び、埋め込み領域Ｄに電子透かしとして付加した信号データＵ（埋め込み領域Ｅから切り出された信号データＵ）が含まれる。
【００４５】
これにより、補助情報データＦは、信号データＶを構成する一部の領域に埋め込まれて伝送されるから、電子透かしとして一部の領域に埋め込まれて伝送される場合に比べ、頑健な伝送を実現することができる。これは、補助情報データＦが信号データＶを構成する一部の領域に埋め込まれた場合には、補助情報データＦは信号レベルが高い状態で伝送されるのに対し、補助情報データＦが電子透かしとして一部の領域に埋め込まれた場合には、信号データＶの品質はさほど損なわれることはないが、補助情報データＦは信号レベルが比較的低い状態で伝送されるからである。
【００４６】
したがって、信号データＶに補助情報データＦを重畳して伝送する際に、信号レベルの高い補助情報データＦを伝送するようにしたから、信号データＶの画像全体が鈍化したり、モスキートーノイズまたはブロック状のエッジが発生したりする信号劣化が生じる場合であっても、補助情報データＦを頑健に伝送することが可能となる。
【００４７】
また、多重化装置１は、補助情報データＦを、ブランキング期間またはアンシラリー領域に埋め込むことなく伝送することができるから、本発明の実施形態は、ブランキング期間またはアンシラリー領域による伝送を保証しない多重化装置１についても適用がある。
【００４８】
また、前述のステガノグラフィー技術を用いた場合には、補助情報データＦの再生が不安定になる可能性があるが、本発明の実施形態では、補助情報データＦを頑健に伝送することができるから、後述する逆多重化装置３において補助情報データＦを安定的に再生することができる。
【００４９】
また、特許文献１の手法では、他の端末を使用する意図がない場合であっても、受信機には常にマーカが画面上に表示され、映像の視聴を妨げてしまう。これに対し、多重化装置１により伝送される多重化データＷを受信する後述する逆多重化装置３（受信機に相当）に対し、他の端末を使用しない場合に、補助情報データＦ（マーカ）が表示される埋め込み領域Ｅに、電子透かしから再生した信号データＵを上書き合成させることにより、補助情報データＦ（マーカ）を隠すことができる。したがって、補助情報データＦ（マーカ）が映像の視聴を妨げることがない。
【００５０】
このように、本発明の実施形態による多重化装置１によれば、映像信号等の信号データＶに補助情報データＦを重畳して伝送する場合、補助情報データＦの伝送を保証しないという問題、補助情報データＦの再生が不安定になるという問題、及び補助情報データＦであるマーカが常に画面表示されて視聴を妨げるという問題を解消することができる。
【００５１】
（他の実施形態）
次に、本発明の他の実施形態による多重化装置について説明する。図４は、本発明の他の実施形態による多重化装置の構成例を示すブロック図である。この多重化装置２は、信号区間切出手段１０、パターン付加手段１１及び電子透かし付加手段１２を備えている。
【００５２】
多重化装置２は、信号データＶ及び補助情報データＦを入力し、信号データＶにおける埋め込み領域Ｅの信号データＵを電子透かしとして、信号データＶにおける埋め込み領域Ｄに埋め込む。そして、多重化装置２は、信号データＶにおける埋め込み領域Ｅの信号データＵを補助情報データＦに置換する。これにより、信号データＶと補助情報データＦとが多重化され、多重化データＷが出力される。
【００５３】
図１に示した多重化装置１と図４に示す多重化装置２とを比較すると、両多重化装置１，２は、同じ構成部を備えている点で同一である。一方、多重化装置１は、パターン付加手段１１の後段に電子透かし付加手段１２を備えているが、多重化装置２は、電子透かし付加手段１２の後段にパターン付加手段１１を備えている点で相違する。つまり、多重化装置２は、図１に示した多重化装置１におけるパターン付加手段１１と電子透かし付加手段１２とを入れ替えた構成をとる。
【００５４】
図４において、信号区間切出手段１０は、図１に示した信号区間切出手段１０と同様の処理を行い、切り出した信号データＵを電子透かし付加手段１２に出力する。
【００５５】
電子透かし付加手段１２は、信号データＶを入力すると共に、信号区間切出手段１０から、埋め込み領域Ｅから切り出した信号データＵを入力し、信号データＵを電子透かしとして、信号データＶにおける予め設定された埋め込み領域Ｄに付加する。そして、電子透かし付加手段１２は、信号データＵを電子透かしとして付加した信号データＶを、パターン付加手段１１に出力する。
【００５６】
パターン付加手段１１は、補助情報データＦを入力すると共に、電子透かし付加手段１２から、信号データＵを電子透かしとして付加した信号データＶを入力し、信号データＶにおける埋め込み領域Ｅの信号データＵを補助情報データＦに置換することで、埋め込み領域Ｅに、補助情報データＦのパターンを付加する。そして、パターン付加手段１１は、信号データＶと補助情報データＦとを多重化した多重化データＷを生成し、多重化データＷを出力する。
【００５７】
以上のように、本発明の他の実施形態による多重化装置２によれば、信号区間切出手段１０は、信号データＶの埋め込み領域Ｅから信号データＵを切り出し、電子透かし付加手段１２は、信号区間切出手段１０により切り出された信号データＵを電子透かしとして、信号データＶの埋め込み領域Ｄに付加し、パターン付加手段１１は、補助情報データＦを信号データＶの埋め込み領域Ｅに付加するようにした。そして、多重化装置２は、信号データＶと補助情報データＦとを多重化した多重化データＷを伝送するようにした。
【００５８】
これにより、多重化装置１と同様に、補助情報データＦは、信号データＶを構成する一部の領域に埋め込んで伝送されるから、電子透かしとして一部の領域に埋め込まれて伝送される場合に比べ、頑健な伝送を実現することができる。したがって、信号データＶに補助情報データＦを重畳して伝送する際に、補助情報データＦを頑健に伝送することが可能となる。
【００５９】
また、本発明の実施形態による多重化装置２によれば、図１に示した多重化装置１と同様に、映像信号等の信号データＶに補助情報データＦを重畳して伝送する場合、補助情報データＦの伝送を保証しないという問題、補助情報データＦの再生が不安定になるという問題、及び補助情報データＦであるマーカが常に画面表示されて視聴を妨げるという問題を解消することができる。
【００６０】
〔逆多重化装置〕
次に、本発明の実施形態による逆多重化装置について説明する。図５は、本発明の実施形態による逆多重化装置の構成例を示すブロック図である。この逆多重化装置３は、パターン検出手段（補助情報データ検出手段）３０、電子透かし検出手段３１及び信号合成手段３２を備えている。
【００６１】
逆多重化装置３は、図１に示した多重化装置１または図４に示した多重化装置２と対をなす装置であり、多重化装置１，２により出力（送信）された多重化データＷを、伝送路を介して入力（受信）し、多重化データＷの逆多重化を行い、信号データＶに対応する信号データＶ’及び補助情報データＦを生成して出力する。
【００６２】
パターン検出手段３０は、多重化データＷを入力し、予め設定された埋め込み領域Ｅから補助情報データＦを取り出して再生することでそのパターンを検出し、補助情報データＦを出力する。
【００６３】
尚、図１に示した多重化装置１または図４に示した多重化装置２のパターン付加手段１１が、補助情報データＦを所定の変換規則にて変換して補助情報データＦ’を生成し、埋め込み領域Ｅに補助情報データＦ’を付加した場合には、パターン検出手段３０は、埋め込み領域Ｅから補助情報データＦ’を取り出し、前記所定の変換規則に対応した規則により、補助情報データＦ’を補助情報データＦに変換することで、補助情報データＦを再生する。
【００６４】
電子透かし検出手段３１は、図１及び図４に示した電子透かし付加手段１２と対をなし、多重化データＷを入力する。電子透かし検出手段３１は、予め設定された埋め込み領域Ｄについて電子透かしの検出を行い、図１及び図４に示した電子透かし付加手段１２により電子透かしとして付加された信号データＵを再生する。そして、電子透かし検出手段３１は、信号データＵを信号合成手段３２に出力する。
【００６５】
ここで、電子透かし検出手段３１は、図１及び図４に示した電子透かし付加手段１２による電子透かしを埋め込む技術に対応した技術にて、電子透かしの検出を行う。電子透かしの検出技術は既知であるからここでは説明を省略する。
【００６６】
信号合成手段３２は、多重化データＷを入力すると共に、電子透かし検出手段３１から信号データＵを入力し、予め設定された埋め込み領域Ｅ（補助情報データＦが埋め込まれていた領域）に信号データＵを上書き合成し、信号データＶ’を生成して出力する。
【００６７】
（具体例）
次に、図５に示した逆多重化装置３の処理について、具体例を挙げて説明する。図６は、多重化データＷ及び信号データＶ’の例、並びに電子透かし検出手段３１及び信号合成手段３２の動作例を説明する図である。図７は、図２及び図６の例において、逆多重化装置３の処理を示すフローチャートである。
【００６８】
図７を参照して、まず、逆多重化装置３は、図６に示す多重化データＷ（図２（２）に示した多重化データＷに相当）を入力する（ステップＳ７０１）。図６（１）に示すように、多重化データＷにおいて、埋め込み領域Ｅ（四隅に近い四角の黒色及び白色の箇所）には、ビット値（０または１）の補助情報データＦ（Ｆ1〜Ｆ4）が変換された画素値（０または２５５）の補助情報データＦ’（Ｆ1’〜Ｆ4’）が埋め込まれており、埋め込み領域Ｄには、図２（１）に示した信号データ４０（Ｖ）の埋め込み領域Ｅから切り出された信号データＵが電子透かしとして埋め込まれている。
【００６９】
図７に戻って、逆多重化装置３のパターン検出手段３０は、多重化データＷの埋め込み領域Ｅから補助情報データＦ’（Ｆ1’〜Ｆ4’）を取り出す（ステップＳ７０２）。そして、パターン検出手段３０は、補助情報データＦ’（Ｆ1’〜Ｆ4’）をビット値（０または１）の補助データＦ（Ｆ1〜Ｆ4）に変換する（ステップＳ７０３）。
【００７０】
図８は、図７のステップＳ７０３における補助情報データＦ’からＦへの変換処理を示すフローチャートである。パターン検出手段３０は、図７のステップＳ７０３において、まず、補助情報データＦ’（Ｆ1’〜Ｆ4’）について、その要素Ｆ’ｎの平均値Ｇｎを算出し（ステップＳ８０１）、以下に示す閾値処理を行う。ｎは１〜４の自然数である。
【００７１】
パターン検出手段３０は、ｎ＝１に設定し（ステップＳ８０２）、要素Ｆ’1の平均値Ｇ1が予め設定された閾値θよりも大きいか否かを判定する（ステップＳ８０３）。閾値θは、例えば信号データＶのビット深度（例えば８ビット）で表現できるレベル数の半値（例えばθ＝１２８）とする。
【００７２】
パターン検出手段３０は、ステップＳ８０３において、平均値Ｇ1が閾値θよりも大きいと判定した場合（ステップＳ８０３：Ｙ）、補助情報データＦの要素Ｆ1＝１に設定することで（ステップＳ８０４）、その領域にはビット値１が埋め込まれていたものと判定する。一方、パターン検出手段３０は、ステップＳ８０３において、平均値Ｇ1が閾値θよりも大きくないと判定した場合（ステップＳ８０３：Ｎ）、補助情報データＦの要素Ｆ1＝０に設定することで（ステップＳ８０５）、その領域にはビット値０が埋め込まれていたものと判定する。
【００７３】
パターン検出手段３０は、ｎ＝４であるか否かを判定し（ステップＳ８０６）、ｎ＝４でないと判定した場合（ステップＳ８０６：Ｎ）、すなわちｎ＝１，２，３を判定した場合、ｎをインクリメント（ｎ＋１）し（ステップＳ８０７）、ステップＳ８０３へ移行する。一方、パターン検出手段３０は、ステップＳ８０６において、ｎ＝４を判定した場合（ステップＳ８０６：Ｙ）、補助情報データＦ（Ｆ1〜Ｆ4）を生成する（ステップＳ８０８）。
【００７４】
このように、パターン検出手段３０は、ステップＳ８０３〜ステップＳ８０５において、補助情報データＦの要素Ｆ’ｎの平均値Ｇｎに対する閾値処理により、補助情報データＦの要素Ｆ1，Ｆ2，Ｆ3，Ｆ4に０または１のビット値を設定し、その領域に埋め込まれていたビット値を判定する。
【００７５】
尚、パターン検出手段３０は、ステップＳ８０３において、補助情報データＦ’における要素Ｆ’ｎの平均値Ｇnが閾値θ以上であるか否かを判定するようにしてもよい。この場合、パターン検出手段３０は、平均値Ｇnが閾値θ以上であると判定した場合（ステップＳ８０３：Ｙ）、補助情報データＦの要素Ｆn＝１に設定し（ステップＳ８０４）、平均値Ｇnが閾値θ以上でないと判定した場合（ステップＳ８０３：Ｎ）、補助情報データＦの要素Ｆn＝０に設定する。
【００７６】
図７に戻って、パターン検出手段３０は、ステップＳ７０３及び図８のステップＳ８０１〜ステップＳ８０８にて生成した補助情報データＦ（Ｆ1〜Ｆ4）を出力する（ステップＳ７０４）。
【００７７】
電子透かし検出手段３１は、図６に示すように、多重化データＷにおける埋め込み領域Ｄの信号データ６２に対し電子透かしの検出を行い、信号データ６１−１，６１−２，６１−３，６１−４（Ｕ）を再生する（ステップＳ７０５）。
【００７８】
信号合成手段３２は、図６に示すように、ステップＳ７０５にて電子透かし検出手段３１が再生した信号データ６１−１，６１−２，６１−３，６１−４（Ｕ）を、埋め込み領域Ｅ（左上、右上、左下及び右下の４箇所）に上書き合成する（ステップＳ７０６）。これにより、信号データＶ’が生成される。信号データＶ’が図１に示した多重化装置１及び図４に示した多重化装置２の入力する信号データＶと異なるのは、信号データＶ’に電子透かし７１として付加された信号データが残存するからである。
【００７９】
そして、信号合成手段３２は、ステップＳ７０６にて生成した信号データＶ’を出力する（ステップＳ７０７）。
【００８０】
以上のように、本発明の実施形態による逆多重化装置３によれば、図１に示した多重化装置１または図４に示した多重化装置２により信号データＶと補助情報データＦとが多重化された多重化データＷを受信し、多重化データＷから補助情報データＦと信号データＶ’とを再生するようにした。具体的には、逆多重化装置３のパターン検出手段３０は、多重化データＷの埋め込み領域Ｅから補助情報データＦを再生し、電子透かし検出手段３１は、多重化データＷの埋め込み領域Ｄから電子透かしとして付加された信号データＵを再生し、信号合成手段３２は、再生した信号データＵを埋め込み領域Ｅに上書き合成するようにした。そして、逆多重化装置３は、多重化データＷの逆多重化に伴い、パターン検出手段３０にて再生した補助情報データＦを出力し、信号合成手段３２にて上書き合成して生成した信号データＶ’を出力するようにした。
【００８１】
これにより、信号データＶを構成する一部の領域に埋め込まれて伝送された補助情報データＦが再生されるから、電子透かしとして一部の領域に埋め込まれて伝送された補助情報データＦが再生される場合に比べ、補助情報データＦを頑健に検出し再生することができる。これは、補助情報データＦが信号データＶを構成する一部の領域に埋め込まれた場合には、補助情報データＦは信号レベルが高い状態で伝送されるのに対し、補助情報データＦが電子透かしとして一部の領域に埋め込まれた場合には、信号データＶの品質はさほど損なわれることはないが、補助情報データＦは信号レベルが比較的低い状態で伝送されるからである。
【００８２】
したがって、信号データＶに補助情報データＦを重畳して伝送する際に、信号レベルの高い補助情報データＦを伝送するようにしたから、信号データＶの画像全体が鈍化したり、モスキートーノイズまたはブロック状のエッジが発生したりする信号劣化が生じる場合であっても、補助情報データＦを頑健に伝送し再生することが可能となる。
【００８３】
一方、補助情報データＦが埋め込まれたことにより改変された信号データＶの部分領域（埋め込み領域Ｅ）は、電子透かしによって伝送された信号データＵにより補完される。信号伝送における信号劣化が存在する場合であっても、補助情報データＦの検出精度を上げることができる。また、信号劣化が少ない場合には、補助情報データＦの伝送のために埋め込み領域Ｅから切り出された信号データＵを電子透かしとして隠蔽することができ、高品質な信号データＶ’を再現することができる。
【００８４】
また、本発明の実施形態による逆多重化装置３によれば、多重化装置１，２と同様に、補助情報データＦの伝送を保証しないという問題、補助情報データＦの再生が不安定になるという問題、及び補助情報データＦを表すマーカが常に画面表示されて視聴を妨げるという問題を解消することができる。
【００８５】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、本発明は、多重化装置１，２から逆多重化装置３への多重化データＷの伝送において、非可逆のデータ圧縮を伴う場合にも適用がある。
【００８６】
また、多重化装置１，２の電子透かし付加手段１２は、信号データＵを電子透かしとして付加する際に、信号データ４０（Ｖ）の全領域のうち埋め込み領域Ｅ以外の領域を埋め込み領域Ｄとして、信号データＵを当該埋め込み領域Ｄに付加するようにしてもよいし（図２を参照）、埋め込み領域Ｅの全部または一部を含む領域を埋め込み領域Ｄとして、信号データＵを当該埋め込み領域Ｄに付加するようにしてもよい。前者の場合（電子透かしを埋め込み領域Ｅ以外の領域に付加する場合）は、後者（電子透かしを埋め込み領域Ｅの全部または一部を含む領域に付加する場合）に比べ、補助情報データＦを一層頑健に伝送することができる。
【００８７】
また、多重化装置１，２は、伝送すべき補助情報データＦが存在しない場合、すなわち補助情報データＦを入力しない（ヌルの補助情報データＦを入力した）場合、パターン付加手段１１にてパターン付加処理を行わず、また、電子透かし付加手段１２にて電子透かし付加処理も行わない。
【００８８】
具体的には、多重化装置１，２のパターン付加手段１１は、補助情報データＦを入力した場合、パターン付加処理を行って補助情報データＦを付加した信号データＶを電子透かし付加手段１２に出力し、補助情報データＦを入力しない場合、パターン付加処理を行わず、入力した信号データＶをそのまま電子透かし付加手段１２に出力する。そして、電子透かし付加手段１２は、補助情報データＦを入力した場合、電子透かし付加処理を行って多重化データＷを出力し、補助情報データＦを入力しない場合、電子透かし付加処理を行わず、パターン付加手段１１から入力した信号データＶを出力する。このようにして、多重化装置１，２から多重化データＷまたは信号データＶが伝送される。
【００８９】
また、逆多重化装置３は、多重化装置１，２から伝送された多重化データＷまたは信号データＶを伝送データとして受信し、伝送データに補助情報データＦが存在しない場合、電子透かし検出手段３１にて電子透かし検出処理を行わず、信号合成手段３２にて上書き合成処理を行わない。
【００９０】
具体的には、パターン検出手段３０は、後述するベタ塗り検出方式等により伝送データに補助情報データＦが存在するか否かを判定し、伝送データに補助情報データＦが存在すると判定した場合、再生した補助情報データＦを電子透かし検出手段３１に出力する。一方、パターン検出手段３０は、伝送データに補助情報データＦが存在しないと判定した場合、電子透かし検出手段３１に対し何らのデータも出力しない（ヌルの補助情報データＦを出力する）。
【００９１】
電子透かし検出手段３１は、パターン検出手段３０から補助情報データＦを入力した場合、電子透かし検出処理を行って再生した信号データＵを信号合成手段３２に出力し、パターン検出手段３０から補助情報データＦを入力しない場合（ヌルの補助情報データＦを入力した場合）、電子透かし検出処理を行わず、信号合成手段３２に対し何らのデータも出力しない（ヌルの信号データＵを出力する）。
【００９２】
信号合成手段３２は、電子透かし検出手段３１から信号データＵを入力した場合、上書き合成処理を行い、入力した伝送データの多重化データＷから生成した信号データＶ’を出力し、電子透かし検出手段３１から信号データＵを入力しない場合（ヌルの信号データＵを入力した場合）、上書き合成処理を行わず、入力した伝送データは信号データＶであるとし、信号データＶを信号データＶ’として出力する。
【００９３】
この場合、電子透かし検出手段３１は、既存の電子透かしを検出する技術により電子透かしを検出できないと判定した場合、信号合成手段３２に対し何らのデータも出力しない（ヌルの信号データＵを出力する）。そして、信号合成手段３２は、電子透かし検出手段３１から信号データＵを入力しないから（ヌルの信号データＵを入力するから）、上書き合成処理を行わず、入力した伝送データは信号データＶであるとし、信号データＶを信号データＶ’として出力する。
【００９４】
このように、多重化装置１，２により補助情報データＦの伝送が行われない場合には、補助情報データＦの付加及び電子透かしの付加も行われないため、逆多重化装置３は、一層高品質な信号データＶ’を生成することができる。
【００９５】
次に、逆多重化装置３のパターン検出手段３０によるベタ塗り検出方式にて、多重化データＷに補助情報データＦが存在するか否かを判定する処理について説明する。パターン検出手段３０は、多重化データＷの埋め込み領域Ｅに埋め込まれている信号データ５１−ｎ（図２（２）を参照）の全ての画素値が予め設定された閾値θB（例えば、θB＝１６）を下回っているか否かを判定し、下回っていると判定した場合、その領域の信号データ５１−ｎは黒のベタ塗りのデータであると判定する。また、パターン検出手段３０は、信号データ５１−ｎ内の全ての画素値が予め設定された閾値θW（例えば、θW＝２４０）を上回っているか否かを判定し、上回っていると判定した場合、その領域の信号データ５１−ｎは白のベタ塗りのデータであると判定する。ｎ＝１〜４であり、θB≦θWとする。
【００９６】
そして、パターン検出手段３０は、全ての埋め込み領域Ｅ内の信号データ５１−ｎが黒のベタ塗りまたは白のベタ塗りのデータであると判定した場合、多重化データＷに補助情報データＦが存在すると判定する。一方、パターン検出手段３０は、全ての埋め込み領域Ｅ内の信号データ５１−ｎのうちいずれかが黒のベタ塗りのデータでなくかつ白のベタ塗りのデータでもないと判定した場合、多重化データＷに補助情報データＦが存在しないと判定する。後者の場合、パターン検出手段３０は、多重化装置１，２により補助情報データＦの伝送が行われているときには、ノイズ等により信号劣化が起こっているものと判断する。
【００９７】
パターン検出手段３０は、多重化データＷに補助情報データＦが存在すると判定した場合、黒のベタ塗りと判定した埋め込み領域Ｅについて補助情報データＦの要素Ｆn＝０に設定することで、その埋め込み領域Ｅにはビット値０が埋め込まれていたものと判定し、白のベタ塗りと判定した埋め込み領域Ｅについて補助情報データＦの要素Ｆn＝１に設定することで、その埋め込み領域Ｅにはビット値１が埋め込まれていたものと判定する。そして、パターン検出手段３０は、補助情報データＦ（Ｆ1〜Ｆ4）を生成して出力する。
【００９８】
尚、本発明の実施形態による多重化装置１，２及び逆多重化装置３のハードウェア構成としては、通常のコンピュータをそれぞれ使用することができる。多重化装置１，２及び逆多重化装置３は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによってそれぞれ構成される。多重化装置１，２に備えた信号区間切出手段１０、パターン付加手段１１及び電子透かし付加手段１２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、逆多重化装置３に備えたパターン検出手段３０、電子透かし検出手段３１及び信号合成手段３２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【００９９】
１，２  多重化装置
３  逆多重化装置
１０  信号区間切出手段
１１  パターン付加手段
１２  電子透かし付加手段
３０  パターン検出手段
３１  電子透かし検出手段
３２  信号合成手段
４０  信号データ
４１−１，４１−２，４１−３，４１−４  埋め込み領域Ｅの信号データ
４２  埋め込み領域Ｄの信号データ
５１−１，５１−２，５１−３，５１−４  補助情報データＦの埋め込みパターン
５２  電子透かし（電子透かしが埋め込まれた信号データ）
６１−１，６１−２，６１−３，６１−４  電子透かしから再生した信号データ
６２  埋め込み領域Ｄの信号データ
７１  電子透かし（電子透かしが埋め込まれた信号データ）
【図１】
2015053619.tif 000003
【図２】
2015053619.tif 000004
【図３】
2015053619.tif 000005
【図４】
2015053619.tif 000006
【図５】
2015053619.tif 000007
【図６】
2015053619.tif 000008
【図７】
2015053619.tif 000009
【図８】
2015053619.tif 000010