(57)【要約】【課題】  時間的に変化する透かし情報の埋め込みおよびその検出が可能になる電子透かし埋め込み方法およびその検出方法を提供することにある。【解決手段】 送信側では、定期間隔、または不定期間隔（Ｆ、Ｆ’、Ｆ’’、・・・）、例えばシーン毎に、異なるットパターンを埋め込む。後者の場合、受信側では、任意の位置Ａから予め定められたフレーム数ｆの検出（検出(1)−１，検出(2)−１，検出(1)−２，検出(2)−２，・・・）、例えば１５０フレームビットパターンの検出を開始する。この検出は、フレーム数ｆ’分の検出が終わった時点で次の検出を開始し、以降同様のタイミングで検出を繰り返す。検出されたビットパターンは、例えば母数平均検定により、１ビットずつ信頼度検査を行われ、１つでも予め定められた信頼度以下であると、該ビットパターンは採用ビットパターンとしては不採用とする。【選択図】        図５
2006180034.tif 000002
【特許請求の範囲】
【請求項１】
動画像に電子透かしを埋め込む電子透かし埋め込み方法において、
動画像フレームを時間的に連続する系列の所定フレーム数毎に区分けし、該区分けされた各フレーム数毎に埋め込む透かし情報を変化させることを特徴とする電子透かし埋め込み方法。
【請求項２】
請求項１の電子透かし埋め込み方法にて埋め込まれた電子透かし情報の検出方法であって、
検出のための動画像フレーム連続系列ウィンドウを規定し、該ウィンドウを該動画像フレーム連続系列上を時間的にずらして検出値を検出し、該検出値が複数回連続して同じである場合、該複数回連続して同じである検出値を採用検出値とすることを特徴とする検出方法。
【請求項３】
請求項２に記載の検出方法において、
前記区分けされた動画像フレーム系列長の１／３の長さを前記ウィンドウとする検出方法。
【請求項４】
請求項２または３に記載の検出方法において、
前記ウィンドウからの検出値が２回連続して同じである場合、該２回連続する同じ検出値を採用検出値とする検出方法。
【請求項５】
請求項１の電子透かし埋め込み方法にて埋め込まれた電子透かし情報の検出方法であって、
検出のための動画像フレーム連続系列ウィンドウを規定し、該ウィンドウを該動画像フレーム連続系列上を時間的にずらしていき、該ウィンドウを通して検出された透かし情報の検出値がある信頼値以上をもつ検出値であるかどうかを判定し、該ある信頼値以上をもつ検出値を統合した結果から採用検出情報を決定することを特徴とする検出方法。
【請求項６】
動画像に電子透かしを埋め込む電子透かし埋め込み方法において、
動画像フレームを時間的に連続する系列の不定フレーム数毎に区分けし、該区分けされた各フレーム数毎に埋め込む透かし情報を変化させることを特徴とする電子透かし埋め込み方法。
【請求項７】
請求項６に記載の電子透かし埋め込み方法において、
前記不定フレーム数毎の区分けを、同一シーン毎に区分けすることを特徴とする電子透かし埋め込み方法。
【請求項８】
請求項６または７の電子透かし埋め込み方法にて埋め込まれた電子透かし情報の検出方法であって、
検出のための動画像フレーム連続系列ウィンドウを規定し、該ウィンドウを該動画像フレーム連続系列上を時間的にずらしていき、該ウィンドウを通して検出された透かし情報の検出値がある信頼値以上をもつ検出値であるかどうかを判定し、該ある信頼値以上をもつ検出値を統合した結果から採用検出情報を決定することを特徴とする検出方法。
【請求項９】
請求項８に記載の検出方法において、
前記ウィンドウを通して検出された透かし情報の検出値を、母数平均検定を用いて信頼値を求めることを特徴とする検出方法。  
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は電子透かし埋め込み方法およびその検出方法に関し、特に、動画像を配信する際に電子透かし情報を埋め込むことにより著作権の存在を明らかにし、かつ配信先毎に埋め込む電子透かし情報を変化させることにより、海賊版の出所を探索することが可能になる電子透かし埋め込み方法およびその検出方法に関する。  
【背景技術】
【０００２】
従来の動画像に電子透かし情報を埋め込む方法として、例えば下記の特許文献１に記されているような方法がある。この方法を図９を参照して説明する。
【０００３】
テンプレート９には、マクロブロックを抽出するマクロブロックと、電子透かし情報を入れるＤＣＴ係数位置と、透かしデータが記録されている。画像フレームＦｎ−１，Ｆｎ，Ｆｎ＋１，・・・が入力してくると、ブロック分割部１は該フレームをブロックに分割する。ブロック抽出部２はテンプレート９からの指示に従って電子透かし情報を埋め込むブロックを抽出する。抽出されたブロックはＤＣＴ部３で離散コサイン変換する。ＤＣＴ係数抽出部４はテンプレート９からの指示に従って透かし情報を埋め込むＤＣＴ係数を抽出し、透かしデータ埋め込み部５はテンプレート９からの指示に従って該抽出されたＤＣＴ係数に透かし情報を埋め込む。逆ＤＣＴ部６は該透かし情報を埋め込んだブロックを逆ＤＣＴし、ブロック合成部７で、ブロック抽出２で抽出されなかったブロックと合成され、次いでＭＰＥＧ符号化部８で符号化されて画像ストリームとして送出される。
【０００４】
従来では、以上のような各画像フレームに電子透かし情報を埋め込む方法が採用されている。
【特許文献１】特開２００１−１１１９７３号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来技術には、画像コンテンツを構成する一連の画像フレームに対して時間的に変化する透かし情報を埋め込み、検出することに関して、何らの配慮もされていなかった。例えば、固定間隔毎に異なる電子透かし情報を埋め込むこと、あるいは不定間隔で異なる電子透かし情報を埋め込むこと、またこのようにして埋め込まれた電子透かし情報の検出について、何らの配慮がされていなかった。
【０００６】
本発明の目的は、前記した従来技術に鑑みてなされたものであり、時間的に変化する透かし情報の埋め込みおよびその検出が可能になる電子透かし埋め込み方法およびその検出方法を提供することにある。
【課題を解決するための手段】
【０００７】
前記した目的を達成するために、本発明は、動画像に電子透かしを埋め込む電子透かし埋め込み方法において、動画像フレームを時間的に連続する系列の所定フレーム数毎に区分けし、該区分けされた各フレーム数毎に埋め込む透かし情報を変化させるようにした点に第１の特徴がある。また、前記動画像フレームを時間的に連続する系列の所定フレーム数毎に区分けするのを、不定数フレーム毎に区分けするようにした点に第２の特徴がある。
【０００８】
また、検出のための動画像フレーム連続系列ウィンドウを規定し、該ウィンドウを該動画像フレーム連続系列上を時間的にずらして検出値を検出し、該検出値が複数回連続して同じである場合、該複数回連続して同じである検出値を検出値とするようにした点に第３の特徴がある。また、該ウィンドウを通して検出された透かし情報の検出値がある信頼値以上をもつ検出値であるかどうかを判定し、該ある信頼値以上をもつ検出値を統合した結果から検出情報を決定するようにした点に第４の特徴がある。
【発明の効果】
【０００９】
本発明によれば、時間的に変化する透かし情報を動画像に埋め込むことができ、動画像を配信する際に、著作権の存在を従来以上に明らかにできるという効果がある。また、この効果に加えて、シーン毎に異なる効果、例えば出演者情報などを埋め込み、映像シーンの再利用を容易にするという効果もある。
【００１０】
また、時間的に変化して動画像に埋め込まれた透かし情報の検出を、正確にかつ効率よく行えるという効果がある。
【００１１】
また、フレーム間引き等の攻撃や編集によって分断された透かし情報を検出できるという効果もある。
【発明を実施するための最良の形態】
【００１２】
以下に、図面を参照して、本発明を詳細に説明する。図１は本発明の一実施形態の概略の説明図である。
【００１３】
図１の上段は、送信側において電子透かし情報のビットパターンＰ０，Ｐ１，Ｐ２，・・・を、固定間隔、例えばＮフレーム毎に埋め込む場合を示す。一方、下段は、受信側において、前記埋め込まれたビットパターンＰ０，Ｐ１，Ｐ２，・・・を検出する動作を示す。
【００１４】
受信側は、前記ビットパターンＰ０，Ｐ１，Ｐ２，・・・が埋め込まれたフレームの境界が分からないので、以下のようにして該ビットパターンＰ０，Ｐ１，Ｐ２，・・・の検出を行う。すなわち、受信側ではＳフレーム間隔（ただし、Ｓ＝Ｎ／３）でビットパターンを検出する。受信側における該ビットパターンの検出開始タイミングは任意となるので、一般的に、前記Ｓフレーム検出間隔が異なるビットパターンを埋め込まれたフレームの前記境界を跨ることが起こる。例えば、図示の検出(2)はビットパターンＰ０とＰ１を埋め込まれたフレーム境界を跨ることになり、該検出(2)では正しいビットパターンは検出できない。しかし、Ｓ＝Ｎ／３とされているので、該検出(2)の前の２つの検出(1'）と検出(1'')は正しいビットパターンＰ０を検出することになる。そこで、本実施形態では、連続する検出ビットパターンのうち共通する２つのビットパターンがあれば、これを正しいビットパターンとして検出する。
【００１５】
例えば、前記ビットパターンＰ０，Ｐ１，Ｐ２を、図２(a)に示されているように、それぞれ０００・・・００，１１１・・・１１，１０１０・・・１０とすると、前記検出(1)、(1')、(1'')、(2)、・・・で検出されるビットパターンは、図２(b)に示されているようになり、同一のビットパターンが複数回得られた場合、それを採用し検出値とする。
【００１６】
なお、検出(1'')から検出を始めた時には、最初の３回の測定ビットパターンには同一のビットパターンが存在しないので、次の測定ビットパターンを加味して同一のビットパターンを検出し、該同一のビットパターンを採用するようにする。
【００１７】
図３は、前記送信側のビットパターンＰ０，Ｐ１，Ｐ２，・・・の埋め込み動作を示すフローチャートである。
【００１８】
ステップＳ１，Ｓ２では、それぞれ透かし情報のビットパターン数を示す置き数ｍ、画像フレーム番号を示す置き数ｎを０に置く。ステップＳ３では、画像フレームＦｎが入力したか否かの判断をし、肯定になるとステップＳ４に進んで透かし情報のビットパターンＰｍを採用して透かし情報を埋め込む。ステップＳ５では全ての画像フレームの透かし情報埋め込み処理が終了したか否かの判断がなされ、この判断が否定になるとステップＳ６に進んでｎ＝Ｎ−１が成立したか否かの判断がなされる。この判断が否定になると、ステップＳ７に進んでｎに１が加算される。以上の動作が行われ、前記ステップＳ６の判断が肯定になると、Ｎ枚の画像フレームＦ０〜ＦＮ−１に透かし情報のビットパターンＰ０が埋め込まれたことになる。
【００１９】
ステップＳ８に進むと、全画像フレームに対する透かし埋め込み処理が終了したか否かの判断がなされる。この判断が否定であると、ステップＳ９に進んで、ｍ＝Ｍ−１が成立したか否かの判断がなされる。ここに、Ｍは透かし情報のビットパターンの種類の個数である。この判断が否定になるとステップＳ１０に進んでｍに１が加算される。そして、ステップＳ２に戻って再度前記した動作が繰り返される。この結果、次のＮ枚の画像フレームＦ０〜ＦＮ−１に透かし情報のビットパターンＰ１が埋め込まれることになる。
【００２０】
以上の動作が繰り返されて、ステップＳ９が肯定になると、Ｍ通りの透かし情報のビットパターンは全部使われたのでステップＳ１に戻り、再度透かし情報のビットパターンＰ０、Ｐ１、・・・が埋め込まれることになる。前記ステップＳ５またはＳ８が肯定になった時には、透かし情報の埋め込み処理は終了する。
【００２１】
次に、図４は前記受信側のビットパターンＰ０、Ｐ１、・・・の検出処理を示すフローチャートである。
【００２２】
ステップＳ２０では、透かし情報のビットパターン検出の指標を示す置き数ｎ＝０と置く。ステップＳ２１では、任意の時点からＳ枚の画像フレームの透かし情報を検出(n)する。ステップＳ２２では、次のＳ枚の画像フレームの透かし情報を検出(n')する。ステップＳ２３では、次のＳ枚の画像フレームの透かし情報を検出(n'')する。ステップＳ２４では、前記検出(n)〜(n'')で共通する透かし情報のビットパターンがあるか否かの判断がなされ、この判断が肯定であるとステップＳ２５に進んで、共通する透かし情報の採用検出値、即ち採用ビットパターンとする。次いで、ステップＳ２６に進んでｎに１を加算する。ステップＳ２７では、全ての画像フレームのビットパターンの検出が終了したか否かの判断がなされ、この判断が否定であるとステップＳ２１に進んで、前記した動作が繰り返される。
【００２３】
前記ステップＳ２４が否定になると、すなわち前記検出(n)〜(n'')で共通する透かし情報のビットパターンがないとステップＳ２８に進んで、さらに次のＳ枚の画像フレームの透かし情報を検出(n''')する。そして、ステップＳ２９に進んで、前記検出(n'）〜(n''')で共通する透かし情報のビットパターンがあるか否かの判断がなされる。この判断が肯定になると前記ステップＳ２５に進んで共通する透かし情報のビットパターンを採用する（採用検出値）。以下は、前記と同様の動作が繰り返される。そして、前記ステップＳ２７が肯定になると処理を終了する。なお、前記ビットパターンの検出に信頼度を導入し、以下の第２実施形態で説明するように、信頼度の低いビットパターンは不採用（ＮＧ）とするようにしてもよい。
【００２４】
次に、本発明の第２実施形態を説明する。図５は本発明の第２実施形態の概略の説明図である。
【００２５】
この実施形態は、送信側で埋め込む透かし情報のビットパターンの切替が不定期な場合であり、受信側では、指定フレーム数分のビットパターンの検出を逐次行い、その際得られたビット判定の結果から信頼性の高い検出を有効ビットパターンとして採用する。
【００２６】
図５の上段は、送信側において電子透かし情報のビットパターンＰ０，Ｐ１，Ｐ２，・・・を、不定期間隔（Ｆ、Ｆ’、Ｆ’’、・・・）、例えば画像のシーン毎に埋め込む場合を示す。すなわち、画像のシーンチェンジ毎に、ビットパターンＰ０，Ｐ１，Ｐ２，・・・を更新する場合を示す。一方、下段は、受信側において、前記埋め込まれたビットパターンＰ０，Ｐ１，Ｐ２，・・・を検出する動作を示す。
【００２７】
受信側は、前記ビットパターンＰ０，Ｐ１，Ｐ２，・・・が埋め込まれたフレームの境界が分からないので、以下のようにして該ビットパターンＰ０，Ｐ１，Ｐ２，・・・の検出を行う。この場合、下記の方針で行う。
【００２８】
(a)ビットパターンの検出は任意の位置から開始されるものとする。必ずしも、ビットパターンの切替りフレームに合わせる必要はない。
【００２９】
(b)検出は、検出を開始してから指定フレーム数分の判定結果を収集し、その収集結果を、例えば「母数平均検定」を用いて判定の信頼性を判断し、十分信頼できるとみなした場合は、その判定して得られるビットパターンを採用する。なお、「母数平均検定」は一例であり、他の方法で信頼性を判断するようにしてもよい。
【００３０】
(c)たとえ、結果的に正しいビットパターンを検出できても、前記の検定結果から信頼性の条件を満たさない場合は、そのビットパターンは採用から除外される。
【００３１】
(d)検出されたビットパターンが前回の検出と同じ場合は、該前回でビットパターンを採用しているため、採用から除外する。
【００３２】
再度図５に戻って説明を続けると、受信側は、任意の位置Ａから予め定められたフレーム数ｆの検出（検出(1)−１，検出(2)−１，検出(1)−２，検出(2)−２，・・・）、例えば１５０フレームのビットパターンの検出を開始する。この検出は、図示されているように、フレーム数ｆ’分の検出が終わった時点で次の検出を開始し、以降同様のタイミングで検出を繰り返す。すなわち、検出(1)と(2)が重複して行われるようにする。
【００３３】
図６は、前記検出の一具体例を示し、同図(a)は埋め込まれるビットパターンの具体例、同図(b)は該ビットパターンの判定結果、採用ビットパターン（採用検出値）の具体例を示す。この具体例では、検出した各ビットパターンに対して母数平均検定を用い、該ビットパターン中の１ビットでも合格しないものがあると、該ビットパターンは信頼できないとして判定採用結果を「ＮＧ」とした。これにより、ビットパターン検出の信頼性を高めた。なお、該母数平均検定は周知の検定手法である。この信頼度の検定には、一例として、前記画像フレームＦｎのＤＣＴ係数に信頼度検定用のデータを埋め込んでおき、該データに対して母数平均検定を施すことができる。
【００３４】
図６(b)を見ると、検出(1)−１では、ビットパターン判定結果に前記母数平均検定に合格しないビットがあるので、判定採用結果をＮＧとした。検出(2)−１では、ビットパターン判定結果は全て合格（ＯＫ）であったので、判定採用結果をＯＫとし、該ビットパターンを採用ビットパターン（採用検出値）とした。検出(2)−２および検出(1)−３では、ビットパターン判定結果は共に合格（ＯＫ）でありかつ同じパターンであるので、採用ビットパターンは最初のビットパターンのみを採用ビットパターンとした。しかしながら、検出(2)−３では、結果的にはビットパターンは正しい埋め込みビットパターンを検出したが、前記母数平均検定では不合格のビットが存在したので信頼性が劣り、判定採用結果はＮＧとなった。
【００３５】
なお、本実施形態では、前記第１の実施形態により所定フレーム数毎に埋め込まれたが、その後の処理、例えば編集等により不定期フレーム数間隔になってしまった場合にも、埋め込まれたビットパターンの検出が可能になる。
【００３６】
次に、本実施形態の動作を、図７、図８のフローチャートで説明する。図７は送信側のビットパターン埋め込み動作、図８は受信側のビットパターン検出後の処理に関する動作を示す。
【００３７】
ステップＳ３１、Ｓ３２では、それぞれビットパターン、画像フレームの個数を表す置き数ｍとｎが０に置かれる。ステップＳ３３では、画像フレームＦｎが入力したか否かが判断され、この判断が肯定になるとステップＳ３４に進んで透かしビットパターンＰｍが埋め込まれる。ステップＳ３５では、全ての画像フレームに対する処理が終了したか否かの判断がなされ、この判断が否定の時にはステップＳ３６に進んで、画像フレームが例えばシーンチェンジになったか否かの判断がなされる。この判断が否定の時にはステップＳ３７に進んで、全ての画像フレームに対する処理が終了したか否かの判断がなされる。この判断が否定の時には、ステップＳ３８に進んで、ｎに１が加算され、画像フレームが１フレーム更新される。
【００３８】
一方、ステップＳ３６の判断が肯定になると、すなわちシーンチェンジが起きると、ステップＳ３９に進んでｍ＝Ｍ−１に等しくなったか否かの判断がなされる。ここに、Ｍは用意されている透かしパターンの種類（Ｐ０，Ｐ１，Ｐ２，・・・，ＰＭ）の全個数である。なお、前記画像のシーンチェンジは従来の公知の技術から自動的に検出できる。ステップＳ３９の判断が否定になると、ステップＳ４０でｍに１加算され次の透かしビットパターンに変えられる。ステップＳ３９の判断が肯定の時には、ｍ＝０とされ、再度最初のビットパターンに戻される。以上のようにして、画像フレーム列Ｆ０、Ｆ１，・・・に透かし情報としてのビットパターンが埋められる。なお、前記ステップＳ３５、Ｓ３７の判断が肯定になると、前記処理は終了する。
【００３９】
次に、図８のビットパターン検出後の動作を説明する。ステップＳ４１では、ｆ枚の画像フレームの透かし情報のビットパターンを検出する。ステップＳ４２では、ビットパターンの各ビットの信頼度を、例えば母数平均検定により求める。ステップＳ４３では、全ビットの信頼度が所定の信頼度以上であるか否かの判断がなされる。この判断が肯定の時には、ステップＳ４４に進んで判定採用結果をＯＫとする。一方、１ビットでも所定の信頼度以下であれば、ステップＳ４９に進んでＮＧとする。
【００４０】
ステップＳ４５では、ＯＫとなった同一のビットパターンが続いて二つ以上あるか否かの判断がなされ、この判断が肯定の場合にはステップＳ４６に進んで、統合して１つの採用ビットパターンとされる。一方、同一のビットパターンが１つしかない場合にはステップＳ４７に進んで採用ビットパターンとされる。ステップＳ４８では、全ての画像フレームに対する処理が終了したか否かの判断がなされ、この判断が否定の時にはステップＳ４１に戻って再度前記した処理が繰り返される。なお、ステップＳ４８，Ｓ５０の判断が肯定になると、前記した一連の処理は終了する。
【００４１】
前記母数平均判定処理は、周知であるので以下に簡単に説明する。母平均、観測フレーム数（標本数）、検出平均値、および標本不偏分散を、それぞれ、μ０、ｎ、￣Ｘ、Ｕとすると、求められる検定統計量ｔ０は下記の式で表される。
【００４２】
【数１】
2006180034.tif 000003
【００４３】
なお、ｔ０は、自由度がｎ−１のｔ分布に従う。採用される棄却限界値は、有意水準値０．０５のｔ分布に従う。
【図面の簡単な説明】
【００４４】
【図１】本発明の第１実施形態の概略の説明図である。
【図２】前記第１実施形態の具体例の説明図である。
【図３】前記第１実施形態の送信側の動作を示すフローチャートである。
【図４】前記第１実施形態の受信側の動作を示すフローチャートである。
【図５】本発明の第２実施形態の概略の説明図である。
【図６】前記第２実施形態の具体例の説明図である。
【図７】前記第２実施形態の送信側の動作を示すフローチャートである。
【図８】前記第２実施形態の受信側の動作を示すフローチャートである。
【図９】従来の送信側装置の一例を示すブロック図である。
【符号の説明】
【００４５】
２・・・ブロック抽出部、４・・・ＤＣＴ係数抽出部、５・・・透かしデータ、９・・・テンプレート。
【図１】
2006180034.tif 000004
【図２】
2006180034.tif 000005
【図３】
2006180034.tif 000006
【図４】
2006180034.tif 000007
【図５】
2006180034.tif 000008
【図６】
2006180034.tif 000009
【図７】
2006180034.tif 000010
【図８】
2006180034.tif 000011
【図９】
2006180034.tif 000012