(57)【要約】【課題】高解像度の動画像に電子透かし情報を埋め込む。【解決手段】電子透かし生成部２４により、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームの電子透かし画像について、電子透かし画像の画素値の振幅を伸長した伸長済み電子透かし画像を生成し電子透かし重畳部２６により、動画像の各フレームの画像に対して、各フレームの電子透かし画像について生成された伸長済み電子透かし画像を、特定の混合度合いを用いて重畳し、埋め込み済み画像出力部９０により、動画像の各フレームに対する、伸長済み電子透かし画像を重畳した画像を出力する【選択図】図３
2016181744.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像を重畳した画像を出力する動画像埋め込み装置であって、
誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームの電子透かし画像について、前記電子透かし画像の画素値の振幅を伸長した伸長済み電子透かし画像を生成する電子透かし生成部と、
前記動画像の各フレームの画像に対して、前記電子透かし生成部によって各フレームの電子透かし画像について生成された伸長済み電子透かし画像を、特定の混合度合いを用いて重畳する電子透かし重畳部と、
前記動画像の各フレームに対する、前記伸長済み電子透かし画像を重畳した画像を出力する埋め込み済み画像出力部と、
を含む、動画像埋め込み装置。
【請求項２】
入力された動画像の各フレームの画像に対して、各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置であって、
誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、各フレームのマーカ画像について、前記マーカ画像の画素値の振幅を伸長した伸長済みマーカ画像を生成するマーカ生成部と、
前記動画像の各フレームの画像に対して、前記マーカ生成部によって各フレームのマーカ画像について生成された伸長済みマーカ画像を、特定の混合度合いを用いて重畳するマーカ重畳部と、
前記動画像の各フレームに対する、前記伸長済みマーカ画像を重畳した画像を出力する埋め込み済み画像出力部と、
を含む、動画像埋め込み装置。
【請求項３】
入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像、及び各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置であって、
誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成する電子透かし生成部と、
誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成するマーカ生成部と、
各フレームの画像に対して、前記電子透かし生成部によって生成された前記電子透かし画像と、前記マーカ生成部によって生成された前記マーカ画像とを合成した合成画像を生成し、前記生成された各フレームの合成画像について、前記合成画像の画素値の振幅を伸長した伸長済み合成画像を生成する電子透かしマーカ合算部と、
前記動画像の各フレームの画像に対して、前記電子透かしマーカ合算部によって各フレームの画像について生成された前記伸長済み合成画像を、特定の混合度合いを用いて重畳する電子透かしマーカ重畳部と、
前記動画像の各フレームに対する、前記伸長済み合成画像を重畳した画像を出力する埋め込み済み画像出力部と、
を含む、動画像埋め込み装置。
【請求項４】
前記電子透かしマーカ合算部は、各フレームの画像に対して、前記電子透かし画像の画素値の振幅と前記マーカ画像の画素値の振幅との何れか大きい方と予め定められた値との積を、合成画像の画素値の振幅の最大値とするように、前記合成画像を生成する請求項３記載の動画像埋め込み装置。
【請求項５】
前記電子透かしマーカ合算部は、前記電子透かし画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて算出される混合度合い、及び前記マーカ画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて算出される混合度合いのうち何れか大きい混合度合いを、前記特定の混合度合いとする請求項４記載の動画像埋め込み装置。
【請求項６】
電子透かし生成部と、電子透かし重畳部と、埋め込み済み画像出力部とを含む、入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像を重畳した画像を出力する動画像埋め込み装置における動画像埋め込み方法であって、
前記電子透かし生成部は、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームの電子透かし画像について、前記電子透かし画像の画素値の振幅を伸長した伸長済み電子透かし画像を生成し、
前記電子透かし重畳部は、前記動画像の各フレームの画像に対して、前記電子透かし生成部によって各フレームの電子透かし画像について生成された伸長済み電子透かし画像を、特定の混合度合いを用いて重畳し、
前記埋め込み済み画像出力部は、前記動画像の各フレームに対する、前記伸長済み電子透かし画像を重畳した画像を出力する、
動画像埋め込み方法。
【請求項７】
マーカ生成部と、マーカ重畳部と、埋め込み済み画像出力部とを含む、入力された動画像の各フレームの画像に対して、各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置における動画像埋め込み方法であって、
前記マーカ生成部は、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、各フレームのマーカ画像について、前記マーカ画像の画素値の振幅を伸長した伸長済みマーカ画像を生成し、
前記マーカ重畳部は、前記動画像の各フレームの画像に対して、前記マーカ生成部によって各フレームのマーカ画像について生成された伸長済みマーカ画像を、特定の混合度合いを用いて重畳し、
前記埋め込み済み画像出力部は、前記動画像の各フレームに対する、前記伸長済みマーカ画像を重畳した画像を出力する、
動画像埋め込み方法。
【請求項８】
電子透かし生成部と、マーカ生成部と、電子透かしマーカ合算部と、電子透かしマーカ重畳部と、埋め込み済み画像出力部とを含む、入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像、及び各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置における動画像埋め込み方法であって、
前記電子透かし生成部は、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、
前記マーカ生成部は、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、
前記電子透かしマーカ合算部は、各フレームの画像に対して、前記電子透かし生成部によって生成された前記電子透かし画像と、前記マーカ生成部によって生成された前記マーカ画像とを合成した合成画像を生成し、前記生成された各フレームの合成画像について、前記合成画像の画素値の振幅を伸長した伸長済み合成画像を生成し、
前記電子透かしマーカ重畳部は、前記動画像の各フレームの画像に対して、前記電子透かしマーカ合算部によって各フレームの画像について生成された前記伸長済み合成画像を、特定の混合度合いを用いて重畳し、
前記埋め込み済み画像出力部は、前記動画像の各フレームに対する、前記伸長済み合成画像を重畳した画像を出力する、
動画像埋め込み方法。
【請求項９】
前記電子透かしマーカ合算部により前記合成画像を生成する処理は、各フレームの画像に対して、前記電子透かし画像の画素値の振幅と前記マーカ画像の画素値の振幅との何れか大きい方と予め定められた値との積を、合成画像の画素値の振幅の最大値とするように、前記合成画像を生成する請求項８記載の動画像埋め込み方法。
【請求項１０】
コンピュータを、請求項１〜５の何れか１項記載の動画像埋め込み装置を構成する各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に対して電子透かし情報、及びマーカの少なくとも一方を埋め込むための動画像埋め込み装置、方法、及びプログラムに関するものである。
【背景技術】
【０００２】
画像、映像といったコンテンツの流通の際、コンテンツ識別・管理や著作権保護・管理、関連情報提供などの目的のため、人間の目に知覚されないようにコンテンツ内に別の情報を埋め込む電子透かし情報技術を用いる方法が知られている。
【０００３】
特に、画像・映像コンテンツに対する電子透かし情報技術においては、画素値の微小変更に基づく方法が一般的である。具体的方法として、例えば、電子透かし情報を埋め込む際に、埋め込み対象成分位置情報に基づいて、複素行列の実数成分と虚数成分とを独立に変更するスペクトル拡散を行い、入力画像と独立に透かしパターンを生成し、実際の画像パターンの加算を行うことで埋め込み済み画像を生成し、実際の画像パターンの加算を行うことで埋め込み済み画像を生成し、電子透かし情報を検出する際には、検出対象成分位置情報に基づいて検出対象系列を生成し、オフセット情報を抽出し、検出対象系列を修正した後にスペクトル逆拡散を行い、切り出した画素ブロック内に埋め込まれている電子透かし情報を検出するような電子透かし情報方式がある（特許文献１）。
【０００４】
また、電子透かし情報を検出する際に、カメラキャプチャ映像から電子透かし情報の存在する領域を特定し切り出して正規化する手段として、電子透かし情報とは別に、不可視なマーカ等を埋め込む方式もある（特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２１９１４８号公報
【特許文献２】特開２０１４−８２６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
これまで、ライブ映像に電子透かし情報やマーカを埋め込むことをリアルタイムに実行するには、上記特許文献１及び特許文献２のような透かし埋め込みアルゴリズムやマーカ埋め込みアルゴリズムをハードウェア実装するアプローチが主流であった。
【０００７】
しかし、近年注目されている４Ｋ／８Ｋ映像といった高精細な映像ともなると、電子透かし情報埋め込みおよび映像のエンコーディングにかかる時間が大幅に増加してしまうため、リアルタイム化は大変困難であるという問題がある。
【０００８】
本発明では、上記問題点を解決するために成されたものであり、高解像度の動画像に電子透かし情報及び不可視マーカの少なくとも一方を埋め込むことができる動画像埋め込み装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、第１の発明に係る動画像埋め込み装置は、入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像を重畳した画像を出力する動画像埋め込み装置であって、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームの電子透かし画像について、前記電子透かし画像の画素値の振幅を伸長した伸長済み電子透かし画像を生成する電子透かし生成部と、前記動画像の各フレームの画像に対して、前記電子透かし生成部によって各フレームの電子透かし画像について生成された伸長済み電子透かし画像を、特定の混合度合いを用いて重畳する電子透かし重畳部と、前記動画像の各フレームに対する、前記伸長済み電子透かし画像を重畳した画像を出力する埋め込み済み画像出力部と、を含んで構成されている。
【００１０】
第２の発明に係る動画像埋め込み方法は、電子透かし生成部と、電子透かし重畳部と、埋め込み済み画像出力部とを含む、入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像を重畳した画像を出力する動画像埋め込み装置における動画像埋め込み方法であって、前記電子透かし生成部は、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームの電子透かし画像について、前記電子透かし画像の画素値の振幅を伸長した伸長済み電子透かし画像を生成し、前記電子透かし重畳部は、前記動画像の各フレームの画像に対して、前記電子透かし生成部によって各フレームの電子透かし画像について生成された伸長済み電子透かし画像を、特定の混合度合いを用いて重畳し、前記埋め込み済み画像出力部は、前記動画像の各フレームに対する、前記伸長済み電子透かし画像を重畳した画像を出力する。
【００１１】
第１及び第２の発明によれば、電子透かし生成部により、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームの電子透かし画像について、電子透かし画像の画素値の振幅を伸長した伸長済み電子透かし画像を生成し、電子透かし重畳部により、動画像の各フレームの画像に対して、各フレームの電子透かし画像について生成された伸長済み電子透かし画像を、特定の混合度合いを用いて重畳し、埋め込み済み画像出力部により、動画像の各フレームに対する、伸長済み電子透かし画像を重畳した画像を出力する。
【００１２】
このように、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームの電子透かし画像について、電子透かし画像の画素値の振幅を伸長した伸長済み電子透かし画像を生成し、動画像の各フレームの画像に対して、各フレームの電子透かし画像について生成された伸長済み電子透かし画像を、特定の混合度合いを用いて重畳し、動画像の各フレームに対する、伸長済み電子透かし画像を重畳した画像を出力することにより高解像度の動画像に電子透かし情報を埋め込むことができる。
【００１３】
第３の発明に係る動画像埋め込み装置は、入力された動画像の各フレームの画像に対して、各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置であって、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、各フレームのマーカ画像について、前記マーカ画像の画素値の振幅を伸長した伸長済みマーカ画像を生成するマーカ生成部と、前記動画像の各フレームの画像に対して、前記マーカ生成部によって各フレームのマーカ画像について生成された伸長済みマーカ画像を、特定の混合度合いを用いて重畳するマーカ重畳部と、前記動画像の各フレームに対する、前記伸長済みマーカ画像を重畳した画像を出力する埋め込み済み画像出力部と、を含んで構成されている。
【００１４】
第４の発明に係る動画像埋め込み方法は、マーカ生成部と、マーカ重畳部と、埋め込み済み画像出力部とを含む、入力された動画像の各フレームの画像に対して、各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置における動画像埋め込み方法であって、前記マーカ生成部は、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、各フレームのマーカ画像について、前記マーカ画像の画素値の振幅を伸長した伸長済みマーカ画像を生成し、前記マーカ重畳部は、前記動画像の各フレームの画像に対して、前記マーカ生成部によって各フレームのマーカ画像について生成された伸長済みマーカ画像を、特定の混合度合いを用いて重畳し、前記埋め込み済み画像出力部は、前記動画像の各フレームに対する、前記伸長済みマーカ画像を重畳した画像を出力する。
【００１５】
第３及び第４の発明によれば、マーカ生成部により、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、各フレームのマーカ画像について、マーカ画像の画素値の振幅を伸長した伸長済みマーカ画像を生成し、マーカ重畳部により、動画像の各フレームの画像に対して、各フレームのマーカ画像について生成された伸長済みマーカ画像を、特定の混合度合いを用いて重畳し、動画像の各フレームに対する、伸長済みマーカ画像を重畳した画像を出力する。
【００１６】
このように、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、各フレームのマーカ画像について、マーカ画像の画素値の振幅を伸長した伸長済みマーカ画像を生成し、動画像の各フレームの画像に対して、各フレームのマーカ画像について生成された伸長済みマーカ画像を、特定の混合度合いを用いて重畳し、動画像の各フレームに対する、伸長済みマーカ画像を重畳した画像を出力することにより高解像度の動画像に不可視マーカを埋め込むことができる。
【００１７】
第５の発明に係る動画像埋め込み装置は、入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像、及び各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置であって、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成する電子透かし生成部と、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成するマーカ生成部と、各フレームの画像に対して、前記電子透かし生成部によって生成された前記電子透かし画像と、前記マーカ生成部によって生成された前記マーカ画像とを合成した合成画像を生成し、前記生成された各フレームの合成画像について、前記合成画像の画素値の振幅を伸長した伸長済み合成画像を生成する電子透かしマーカ合算部と、前記動画像の各フレームの画像に対して、前記電子透かしマーカ合算部によって各フレームの画像について生成された前記伸長済み合成画像を、特定の混合度合いを用いて重畳する電子透かしマーカ重畳部と、前記動画像の各フレームに対する、前記伸長済み合成画像を重畳した画像を出力する埋め込み済み画像出力部とを含んで構成されている。
【００１８】
第６の発明に係る動画像埋め込み方法は、電子透かし生成部と、マーカ生成部と、電子透かしマーカ合算部と、電子透かしマーカ重畳部と、埋め込み済み画像出力部とを含む、入力された動画像の各フレームの画像に対して、各フレームの電子透かし情報を表す電子透かし画像、及び各フレームのマーカを表すマーカ画像を重畳した画像を出力する動画像埋め込み装置における動画像埋め込み方法であって、前記電子透かし生成部は、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、前記マーカ生成部は、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、前記電子透かしマーカ合算部は、各フレームの画像に対して、前記電子透かし生成部によって生成された前記電子透かし画像と、前記マーカ生成部によって生成された前記マーカ画像とを合成した合成画像を生成し、前記生成された各フレームの合成画像について、前記合成画像の画素値の振幅を伸長した伸長済み合成画像を生成し、前記電子透かしマーカ重畳部は、前記動画像の各フレームの画像に対して、前記電子透かしマーカ合算部によって各フレームの画像について生成された前記伸長済み合成画像を、特定の混合度合いを用いて重畳し、前記埋め込み済み画像出力部は、前記動画像の各フレームに対する、前記伸長済み合成画像を重畳した画像を出力する。
【００１９】
第５及び第６の発明によれば、電子透かし生成部により、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、マーカ生成部により、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、電子透かしマーカ合算部により、各フレームの画像に対して、生成された電子透かし画像と、生成されたマーカ画像とを合成した合成画像を生成し、生成された各フレームの合成画像について、合成画像の画素値の振幅を伸長した伸長済み合成画像を生成し、電子透かしマーカ重畳部により、動画像の各フレームの画像に対して、各フレームの画像について生成された伸長済み合成画像を、特定の混合度合いを用いて重畳し、埋め込み済み画像出力部により、動画像の各フレームに対する、伸長済み合成画像を重畳した画像を出力する。
【００２０】
このように、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームのマーカを表すマーカ画像を生成し、各フレームの画像に対して、生成された電子透かし画像と、生成されたマーカ画像とを合成した合成画像を生成し、生成された各フレームの合成画像について、合成画像の画素値の振幅を伸長した伸長済み合成画像を生成し、動画像の各フレームの画像に対して、各フレームの画像について生成された伸長済み合成画像を、特定の混合度合いを用いて重畳し、動画像の各フレームに対する、伸長済み合成画像を重畳した画像を出力することにより高解像度の動画像に電子透かし情報及び不可視マーカを埋め込むことができる。
【００２１】
また、第５及び第６の発明に係る動画像埋め込み装置において、前記電子透かしマーカ合算部は、各フレームの画像に対して、前記電子透かし画像の画素値の振幅と前記マーカ画像の画素値の振幅との何れか大きい方と予め定められた値との積を、合成画像の画素値の振幅の最大値とするように、前記合成画像を生成してもよい。
【００２２】
また、第５の発明に係る動画像埋め込み装置において、前記電子透かしマーカ合算部は、前記電子透かし画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて算出される混合度合い、及び前記マーカ画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて算出される混合度合いのうち何れか大きい混合度合いを、前記特定の混合度合いとしてもよい。
【００２３】
また、本発明のプログラムは、コンピュータを、上記の動画像埋め込み装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００２４】
以上説明したように、本発明の動画像埋め込み装置、方法、及びプログラムによれば、高解像度の動画像に電子透かし情報及び不可視マーカの少なくとも一方を埋め込むことができる。
【図面の簡単な説明】
【００２５】
【図１】画素値の振幅の伸長及び元に戻す例を示す図である。
【図２】電子透かし画像とマーカ画像との合成の例を示す図である。
【図３】本発明の第１の実施形態に係る動画像埋め込み装置の機能的構成を示すブロック図である。
【図４】本発明の第１の実施形態に係る動画像埋め込み装置における動画像埋め込み処理ルーチンを表すフローチャート図である。
【図５】本発明の第２の実施形態に係る動画像埋め込み装置の機能的構成を示すブロック図である。
【図６】本発明の第２の実施形態に係る動画像埋め込み装置における動画像埋め込み処理ルーチンを表すフローチャート図である。
【図７】本発明の第３の実施形態に係る動画像埋め込み装置の機能的構成を示すブロック図である。
【図８】本発明の第３の実施形態に係る動画像埋め込み装置における動画像埋め込み処理ルーチンを表すフローチャート図である。
【図９】本発明の第３の実施形態に係る動画像埋め込み装置における動画像埋め込み処理ルーチンを表すフローチャート図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００２７】
＜本発明の原理＞
【００２８】
まず、本発明の実施形態に係る動画像埋め込み装置の原理について説明する。
【００２９】
本実施形態においては、埋め込み対象となる映像とは別に、予め電子透かしパターンと不可視マーカパターンとを映像として生成しておくとともに、それぞれの埋め込みの強さ（パターンの振幅の大きさを表す）を別に生成しαチャネルとして付加する。
【００３０】
そして、電子透かしパターン映像と不可視マーカパターンとを、それぞれの埋め込みの強さに基づいて合算し、新たに適切なαチャネルを付加し直すことで電子透かしマーカ合算映像を生成する。次に、例えば、ビデオスイッチャー等の機器を用いて、映像に対し電子透かし情報及びマーカを重畳する。
【００３１】
ここで、ビデオスイッチャーは下記（１）式に従って、２つの映像をミックスさせる機能を具備している。
【００３２】
【数１】
2016181744.tif 000003
【００３３】
ここで、「Ｉｎｐｕｔ１」は、埋め込み対象映像、「Ｉｎｐｕｔ２」は、電子透かしマーカ合算映像を表す。また、ｃは、０以上１以下で定義される、混合度合を示すパラメータである。なお、「Ｉｎｐｕｔ２」は、電子透かし情報とマーカとを合算していない場合には、電子透かし情報映像、又はマーカ映像を表す。
【００３４】
そして、埋め込み後の映像をＨＤＭＩ（登録商標）等の映像端子に出力する。
【００３５】
ここで、２つの映像をミックスさせるにあたり、２つの問題がある。１つ目は、誤差拡散の問題である。映像のビット深度を超えた信号成分を表現可能とする方法として、例えば、電子透かし生成部およびマーカ生成部で誤差拡散を行い、映像のビット深度を超えた信号成分も表現可能とする方法がある（特許文献３：特許第４２０５７３７号公報）。
【００３６】
しかし、誤差拡散による細かなパターンが、ミックスした時点でつぶされてしまう可能性がある。そのため、本実施形態においては、誤差拡散の仕方を工夫する。具体的には、上記（１）式のパラメータｃを適切に設定するために、上述したαチャネルを利用する。
【００３７】
そのため、本実施形態においては、電子透かしパターンおよびマーカパターンは、振幅最大になるよう生成する。ここで、電子透かしパターンおよびマーカパターンを、最終的にビデオスイッチャーでミックスした後の振幅と等しくなるよう生成し、誤差拡散もその生成の際に行うこととする。
【００３８】
そして、図１中央に示すように、生成したパターンに対して振幅が最大になるように伸長させる。ここで、αチャネルは埋め込みの強さの情報を反映しているため、このαチャネルの情報をパラメータｃとして利用することで、元の埋め込みの強さを再現できる。すなわち、αチャネルを介することで、図１右に示すように、伸長させた分が元の強さに戻るため、誤差拡散情報はつぶれることがない。
【００３９】
２つ目の問題は、電子透かしパターンとマーカパターンとを合算する際に、両者の最大振幅の和が合算後の最大振幅になるように正規化すると、ミックスさせた後の出力映像のコントラストが不必要に大きく損なわれるおそれがある。具体的には、感覚的に述べると、白っぽくぼやけた映像になる。そのため、本実施形態においては、コントラスト減少を最大限に抑える。
【００４０】
本実施形態においては、「電子透かしパターンとマーカパターンとの合算信号の振幅は必ずしも両者の最大振幅の和まで必要としない」という一般的な事象を利用する。つまり、両者の振幅の大きい方×定数ｂ（ここで、ｂ≧１とする）を合算後の最大振幅として定義し、その最大振幅を超える値が生じた場合は最大振幅でサチュレーションさせる（最大振幅値で置き換える）。具体例を図２に示す。なお、図２の例においては、ｂは１であるものとする。
【００４１】
また、本実施形態においては、αチャネルについても、両者の振幅の大きい方のαチャネルを適用する。これにより、電子透かし情報が検出及び、コントラスト減少を抑えることが両立できる。
【００４２】
＜第１の実施形態に係る動画像埋め込み装置の構成＞
次に、本発明の第１の実施形態に係る動画像埋め込み装置の構成について説明する。図３に示すように、本発明の第１の実施形態に係る動画像埋め込み装置１００は、ＣＰＵと、ＲＡＭと、後述する動画像埋め込み処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この動画像埋め込み装置１００は、機能的には図３に示すように画像入力部１０と、演算部２０と、埋め込み済み画像出力部９０とを含んで構成されている。なお、第１の実施形態においては、映像信号の１チャネルあたりのビット深度を８ビットとする。
【００４３】
第１の実施形態に係る動画像埋め込み装置１００は、埋め込まれる電子透かしパターンである電子透かし情報がマーカとしての役割も兼ねる電子透かし情報を埋め込むこととする。
【００４４】
画像入力部１０は、ビデオカメラで撮影されたライブ映像、又は予め用意された映像コンテンツ（以後、動画像）をデジタルデータとして受け付ける。なお、動画像の時系列に連続する各フレーム画像として一枚ずつ受け付ける。
【００４５】
演算部２０は、記憶部２２と、電子透かし生成部２４と、電子透かし重畳部２６とを含んで構成されている。
【００４６】
記憶部２２には、予め定められた電子透かし情報の振幅ｎｗ、及び映像に対応するＩＤ番号が記憶されている。
【００４７】
電子透かし生成部２４は、画像入力部１０において受け付けた動画像のサイズと、記憶部２２に記憶されている電子透かし情報の振幅ｎｗ及びＩＤ番号とに基づいて、画像入力部１０において受け付けた動画像の各フレーム画像について、誤差拡散法に従って、埋め込むＩＤ番号に対応する電子透かし情報を表す電子透かし画像の各々を生成する。
【００４８】
具体的には、まず、電子透かし生成部２４は、画像入力部１０において受け付けた動画像の各フレーム画像について、例えば、上記特許文献１の電子透かし情報埋め込み方法等を用いて、フラットなグレー画像（当該画像の画素値が何れも中間値の１２８になっている画像）に対し、埋め込みＩＤ番号に対応する電子透かし情報を重畳することにより電子透かし画像を生成する。ここで、本実施形態においては、上記特許文献３の誤差拡散方式で電子透かし情報を画像に埋め込む。
【００４９】
また、電子透かし生成部２４は、生成した電子透かし画像の各々の各画素のαチャネルへ透かし強度に関する情報を入力する。具体的には、電子透かし生成部２４は、混合度合いαｗを下記（２）式により算出し、電子透かし画像の各々の各画素のαチャネルを全て下記（２）式で算出された混合度合いαｗの値に置き換える。なお、画像入力部１０において受け付けた動画像のビット深度に従って、混合度合いαｗの正規化を行う必要がある。例えば、ビット深度が８ｂｉｔの場合、下位（２）式で算出された値を２５６倍した値をαチャネルの値として用いる。後述するαチャネルに関する説明においては、全てのαチャネルに関して正規化されているものとして、詳細な説明は省略する。
【００５０】
【数２】
2016181744.tif 000004
【００５１】
ここで、ｎｗは、電子透かし情報の振幅であり、Ｎｗは、電子透かし画像が表現可能な最大振幅値（例えば、ビット深度が８ｂｉｔの場合、Ｎｗ＝２５６／２＝１２８となる）を表す。
【００５２】
また、電子透かし生成部２４は、生成した電子透かし画像の各々の画素について、当該画素の画素値の振幅の範囲を±ｎｗから±Ｎｗまで伸長する。具体的には、図１左、及び図１中央に示すように、画素の各々について、当該画素の画素値の範囲±ｎｗを、表現可能な範囲である±Ｎｗまで伸長する。そして、電子透かし生成部２４は、αチャネルの値が置き換えられた伸長済みの電子透かし画像の各々を、電子透かし重畳部２６へ出力する。
【００５３】
電子透かし重畳部２６は、画像入力部１０において受け付けた動画像の各フレームの画像に対して、電子透かし生成部２４から取得した各フレームの画像に対応する伸長済みの電子透かし画像を、当該伸長済み画像に設定されているαチャネルを用いて重畳し、埋め込み済み画像出力部９０に出力する。具体的には、電子透かし重畳部２６は、動画像のフレーム画像と電子透かし画像とを重畳するために、ビデオスイッチャーが持つ諸機能のうち、上記（１）式で２つの画像をミックスさせる機能（フェーダ機能、若しくは、キーヤ機能等）を利用する。なお、上記（１）式のｃの値は、電子透かし画像に埋め込まれているαチャネルの値を用いる。このように、動画像の各フレームの画像に、対応する電子透かし画像を重畳させることにより、画像入力部１０において受け付けた動画像に対し、電子透かし情報を重畳させることができる。
【００５４】
埋め込み済み画像出力部９０は、電子透かし重畳部２６により取得した電子透かし情報が重畳されている動画像の各フレーム画像を、入力された順番となるように合成し、電子透かし情報が重畳された動画像を、ＨＤＭＩ（登録商標）やＳＤＩ等の映像信号として出力する。
【００５５】
＜第１の実施形態に係る動画像埋め込み装置の作用＞
次に、第１の実施形態に係る動画像埋め込み装置１００の作用について説明する。画像入力部１０において、動画像について、時系列に連続する各フレーム画像を一枚ずつ受け付けると、動画像埋め込み装置１００によって、図４に示す動画像埋め込み処理ルーチンが実行される。
【００５６】
まず、ステップＳ１００で、電子透かし生成部２４は、記憶部２２から、予め定められている振幅ｎｗと、画像入力部１０において受け付けた動画像の各フレーム画像に対応するＩＤ番号が表す電子透かし情報を読み込む。
【００５７】
次に、ステップＳ１０２で、電子透かし生成部２４は、画像入力部１０において受け付けた各フレームの画像のうち、処理対象となるフレーム画像を決定する。
【００５８】
次に、ステップＳ１０４で、電子透かし生成部２４は、処理対象となるフレーム画像に対応する電子透かし画像を、ステップＳ１００において取得した振幅ｎｗ及び電子透かし情報とに基づいて、誤差拡散法に従って、電子透かし画像を生成する。
【００５９】
次に、ステップＳ１０６で、電子透かし生成部２４は、画像入力部１０において受け付けた動画像の各フレーム画像のビット深度から算出される最大振幅値Ｎｗと、ステップＳ１００において取得した振幅ｎｗとに基づいて、上記（２）式に従って、混合度合いαｗの値を算出する。
【００６０】
次に、ステップＳ１０８で、電子透かし生成部２４は、ステップＳ１０４において取得した、処理対象となるフレーム画像に対応する電子透かし画像の各画素のαチャネルの値を、ステップＳ１０６で取得した混合度合いαｗの値に置き換える。
【００６１】
次に、ステップＳ１１０で、電子透かし生成部２４は、ステップＳ１０４において取得した、処理対象となるフレーム画像に対応する電子透かし画像の各画素値を画素の振幅の範囲±ｎｗから、ステップＳ１０６において取得した最大振幅値の範囲±Ｎｗの範囲に伸長する。
【００６２】
次に、ステップＳ１１６で、電子透かし重畳部２６は、処理対象となるフレーム画像と、ステップＳ１１０において取得した処理対象となるフレーム画像に対応する伸長済みの電子透かし画像とを、ステップＳ１０８において取得したαチャネルの値に基づいて、上記（１）式に従って、重畳する。
【００６３】
次に、ステップＳ１１８で、電子透かし重畳部２６は、全てのフレーム画像について、ステップＳ１０４〜ステップＳ１１６の処理を終了したか否かを判定する。電子透かし重畳部２６が、全てのフレーム画像について、ステップＳ１０４〜ステップＳ１１６の処理を終了したと判定した場合には、動画像埋め込み処理は、ステップＳ１２０へ移行する。一方、電子透かし重畳部２６が、全てのフレーム画像について、ステップＳ１０４〜ステップＳ１１６の処理を終了していないと判定した場合には、動画像埋め込み処理は、ステップＳ１０２へ移行し、処理対象となるフレーム画像を決定し、ステップＳ１０４〜ステップＳ１１８までの処理を繰り返す。
【００６４】
次に、ステップＳ１２０で、埋め込み済み画像出力部９０は、ステップＳ１１６において取得した、電子透かし情報が重畳された各フレーム画像を、画像入力部１０において受け付けた順番に結合し、動画像として出力して、動画像埋め込み処理ルーチンを終了する。
【００６５】
以上説明したように、第１の実施形態に係る動画像埋め込み装置によれば、誤差拡散法に従って、各フレームの電子透かし情報を表す電子透かし画像を生成し、電子透かし画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて、混合度合いを設定し、各フレームの電子透かし画像について、電子透かし画像の画素値の振幅を伸長した伸長済み電子透かし画像を生成し、動画像の各フレームの画像に対して、各フレームの電子透かし画像について生成された伸長済み電子透かし画像を、設定された混合度合いを用いて重畳し、動画像の各フレームに対する、伸長済み電子透かし画像を重畳した画像を出力することにより高解像度の動画像に電子透かし情報を埋め込むことができる。
【００６６】
また、人間の目で知覚されることなく電子透かし情報を埋め込み可能であり、かつ、ライブ映像などに対してリアルタイムに電子透かし情報を埋め込む方法を提供できる。
【００６７】
また、ビデオスイッチャーの機能であるミキサー機能によって、元映像と電子透かし情報映像をミックスさせることで、高解像度の映像に対してもリアルタイムに電子透かし情報を埋め込むことができる。
【００６８】
また、αチャネルを介してミックスの割合を調整することで、伸長させた分は元の強さに戻り、誤差拡散情報をつぶさずに電子透かし情報を埋め込むことができる。
【００６９】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００７０】
例えば、第１の実施形態においては、映像信号の１チャネルあたりのビット深度を８ビットとする場合について説明したが、これに限定されるものではなく、例えば、ビット深度を他のビットとしてもよい。
【００７１】
また、第１の実施形態において、同じＩＤ番号に対応する電子透かし画像の画素値は一定である場合について説明したが、これに限定されるものではない。例えば、同じＩＤ番号に対応する各電子透かし画像の画素値を時間的に変動させてもよい。
【００７２】
また、第１の実施形態においては、αチャネルの情報を画素の各々に埋め込む場合について説明したが、これに限定されるものではない。例えば、αチャネルのデータを、動画像と切り離して別ファイルとして保持してもよい。但し、当該場合においては、動画像同士の同期手段が必要となる。
【００７３】
また、第１の実施形態においては、電子透かし情報が重畳された動画像を、ＨＤＭＩ（登録商標）やＳＤＩ等の映像信号として出力する場合について説明したが、これに限定されるものではない。例えば、ＨＤＤ等の電子媒体へ映像ファイルとして蓄積するようにしてもよい。
【００７４】
また、第１の実施形態においては、電子透かし情報の埋め込み位置を動画像の各フレームに埋め込む場合について説明したが、これに限定されるものではない。例えば、動画像の特定のフレームに埋め込んでもよい。
【００７５】
また、第１の実施形態においては、αチャネルの値を上記（２）式に従って、算出する場合について説明したが、これに限定されるものではない。例えば、αチャネルの値を一定値にできる場合には、数値をマニュアルで入力してもよい。
【００７６】
次に、第２の実施形態に係る動画像埋め込み装置について説明する。
【００７７】
第２の実施形態においては、マーカのみを埋め込む点が第１の実施形態と異なる。なお、第１の実施形態に係る動画像埋め込み装置と同様の構成及び作用については、同一の符号を付して説明を省略する。
【００７８】
＜第２の実施形態に係る動画像埋め込み装置の構成＞
次に、本発明の第２の実施形態に係る動画像埋め込み装置の構成について説明する。図５に示すように、本発明の第２の実施形態に係る動画像埋め込み装置２００は、ＣＰＵと、ＲＡＭと、後述する動画像埋め込み処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この動画像埋め込み装置１００は、機能的には図５に示すように画像入力部１０と、演算部２２０と、埋め込み済み画像出力部２９０とを含んで構成されている。なお、第２の実施形態においては、映像信号の１チャネルあたりのビット深度を８ビットとする。
【００７９】
第２の実施形態では、例えば、画像認識の前処理としてマーカを利用する場合等における、マーカのみが必要で、電子透かし情報が必要でない場合について説明する。
【００８０】
演算部２２０は、記憶部２２２と、マーカ生成部２２４と、マーカ重畳部２２６とを含んで構成されている。
【００８１】
記憶部２２２には、予め定められたマーカの振幅ｎｍが記憶されている。
【００８２】
マーカ生成部２２４は、画像入力部１０において受け付けた動画像のサイズと、記憶部２２２に記憶されているマーカの振幅ｎｍとに基づいて、画像入力部１０において受け付けた動画像の各フレーム画像について、誤差拡散法に従って、マーカを表すマーカ画像の各々を生成する。
【００８３】
具体的には、まず、マーカ生成部２２４は、画像入力部１０において受け付けた動画像の各フレーム画像について、例えば、上記特許文献２のマーカ埋め込み方法等を用いて、フラットなグレー画像（当該画像の画素値が何れも中間値の１２８になっている画像）に対し、マーカを重畳することによりマーカを表すマーカ画像を生成する。ここで、本実施形態においては、上記特許文献３の誤差拡散方式でマーカを画像に埋め込む。
【００８４】
また、マーカ生成部２２４は、生成したマーカ画像の各々の各画素のαチャネルへマーカ強度に関する情報を入力する。具体的には、マーカ生成部２２４は、混合度合いαｍを下記（３）式により算出し、マーカ画像の各々の各画素のαチャネルを全て下記（３）式で算出された混合度合いαｍの値に置き換える。なお、画像入力部１０において受け付けた動画像のビット深度に従って、混合度合いαｍの正規化を行う必要がある。例えば、ビット深度が８ｂｉｔの場合、下位（３）式で算出された値を２５６倍した値をαチャネルの値として用いる。
【００８５】
【数３】
2016181744.tif 000005
【００８６】
ここで、ｎｍは、マーカの振幅であり、Ｎｍは、マーカ画像が表現可能な最大振幅値（例えば、ビット深度が８ｂｉｔの場合、Ｎｍ＝２５６／２＝１２８となる）を表す。
【００８７】
また、マーカ生成部２２４は、生成したマーカ画像の各々の画素について、当該画素の画素値の振幅の範囲を±ｎｍから±Ｎｍまで伸長する。具体的には、図１左、及び図１中央に示すように、画素の各々について、当該画素の画素値の範囲±ｎｍを表現できる範囲である±Ｎｍまで伸長する。そして、マーカ生成部２２４は、αチャネルの値が置き換えられた伸長済みのマーカ画像の各々を、マーカ重畳部２２６へ出力する。
【００８８】
マーカ重畳部２２６は、画像入力部１０において受け付けた動画像の各フレームの画像に対して、マーカ生成部２２４から取得した各フレームの画像に対応する伸長済みのマーカ画像を、当該伸長済み画像に設定されているαチャネルを用いて重畳し、埋め込み済み画像出力部２９０に出力する。具体的には、マーカ重畳部２２６は、動画像のフレーム画像とマーカ画像とを重畳するために、ビデオスイッチャーが持つ諸機能のうち、上記（１）式で２つの画像をミックスさせる機能（フェーダ機能、若しくは、キーヤ機能等）を利用する。なお、上記（１）式のｃの値は、マーカ画像に埋め込まれているαチャネルの値を用いる。このように、動画像の各フレームの画像に、対応するマーカ画像を重畳させることにより、画像入力部１０において受け付けた動画像に対し、マーカを重畳させることができる。
【００８９】
埋め込み済み画像出力部２９０は、マーカ重畳部２２６により取得したマーカが重畳されている動画像の各フレーム画像を、入力された順番となるように合成し、マーカが重畳された動画像を、ＨＤＭＩ（登録商標）やＳＤＩ等の映像信号として出力する。
【００９０】
＜第２の実施形態に係る動画像埋め込み装置の作用＞
次に、第２の実施形態に係るマーカ埋め込み装置２００の作用について説明する。画像入力部１０において、動画像について、時系列に連続する各フレーム画像を一枚ずつ受け付けると、動画像埋め込み装置２００によって、図６に示す動画像埋め込み処理ルーチンが実行される。
【００９１】
まず、ステップＳ２００で、マーカ生成部２２４は、記憶部２２２から、予め定められている振幅ｎｍを読み込む。
【００９２】
次に、ステップＳ２０２で、マーカ生成部２２４は、画像入力部１０において受け付けた各フレームの画像のうち、処理対象となるフレーム画像を決定する。
【００９３】
次に、ステップＳ２０４で、マーカ生成部２２４は、処理対象となるフレーム画像に対応するマーカ画像を、ステップＳ２００において取得した振幅ｎｍに基づいて、誤差拡散法に従って、マーカ画像を生成する。
【００９４】
次に、ステップＳ２０６で、マーカ生成部２２４は、画像入力部１０において受け付けた動画像の各フレーム画像のビット深度から算出される最大振幅値Ｎｍと、ステップＳ２００において取得した振幅ｎｍとに基づいて、上記（３）式に従って、混合度合いαｍの値を算出する。
【００９５】
次に、ステップＳ２０８で、マーカ生成部２２４は、ステップＳ２０４において取得した、処理対象となるフレーム画像に対応するマーカ画像の各画素のαチャネルの値を、ステップＳ２０６で取得した混合度合いαｍの値に置き換える。
【００９６】
次に、ステップＳ２１０で、マーカ生成部２２４は、ステップＳ２０４において取得した、処理対象となるフレーム画像に対応するマーカ画像の各画素値を画素の振幅の範囲±ｎｍから、ステップＳ２０６において取得した最大振幅値の範囲±Ｎｍの範囲に伸長する。
【００９７】
次に、ステップＳ２１６で、マーカ重畳部２２６は、処理対象となるフレーム画像と、ステップＳ２１０において取得した処理対象となるフレーム画像に対応する伸長済みのマーカ画像とを、ステップＳ２０８において取得したαチャネルの値に基づいて、上記（１）式に従って、重畳する。
【００９８】
次に、ステップＳ２１８で、マーカ重畳部２２６は、全てのフレーム画像について、ステップＳ２０４〜ステップＳ２１６の処理を終了したか否かを判定する。マーカ重畳部２２６が、全てのフレーム画像について、ステップＳ２０４〜ステップＳ２１６の処理を終了したと判定した場合には、動画像埋め込み処理は、ステップＳ２２０へ移行する。一方、マーカ重畳部２２６が、全てのフレーム画像について、ステップＳ２０４〜ステップＳ２１６の処理を終了していないと判定した場合には、動画像埋め込み処理は、ステップＳ２０２へ移行し、処理対象となるフレーム画像を決定し、ステップＳ２０４〜ステップＳ２１８までの処理を繰り返す。
【００９９】
次に、ステップＳ２２０で、埋め込み済み画像出力部２９０は、ステップＳ２１６において取得した、マーカが重畳された各フレーム画像を、画像入力部１０において受け付けた順番に結合し、動画像として出力して、動画像埋め込み処理ルーチンを終了する。
【０１００】
以上説明したように、第２の実施形態に係る動画像埋め込み装置によれば、誤差拡散法に従って、各フレームのマーカを表すマーカ画像を生成し、マーカ画像の画素値の振幅と、表現可能な画素値の最大振幅値とに基づいて、混合度合いを設定し、各フレームのマーカ画像について、マーカ画像の画素値の振幅を伸長した伸長済みマーカ画像を生成し、動画像の各フレームの画像に対して、各フレームのマーカ画像について生成された伸長済みマーカ画像を、設定された混合度合いを用いて重畳し、動画像の各フレームに対する、伸長済みマーカ画像を重畳した画像を出力することにより高解像度の動画像に不可視マーカを埋め込むことができる。
【０１０１】
また、ビデオスイッチャーの機能であるミキサー機能によって、動画像とマーカ画像とをミックスさせることで、高解像度の映像に対してもリアルタイムにマーカを埋め込むことができる。
【０１０２】
また、αチャネルを介してミックスの割合を調整することで、伸長させた分は元の強さに戻り、誤差拡散情報をつぶさずにマーカを埋め込むことができる。
【０１０３】
また、人間の目で知覚されることなくマーカを埋め込み可能であり、かつ、ライブ映像などに対してリアルタイムにマーカを埋め込むことができる。
【０１０４】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１０５】
例えば、第２の実施形態において、マーカ画像の各々の画素値は一定である場合について説明したが、これに限定されるものではなく、各マーカ画像の画素値を時間的に変動させてもよい。
【０１０６】
また、第２の実施形態においては、マーカが重畳された動画像を、ＨＤＭＩ（登録商標）やＳＤＩ等の映像信号として出力する場合について説明したが、これに限定されるものではない。例えば、ＨＤＤ等の電子媒体へ映像ファイルとして蓄積するようにしてもよい。
【０１０７】
また、第２の実施形態においては、マーカの埋め込み位置を動画像の各フレームに埋め込む場合について説明したが、これに限定されるものではない。例えば、動画像の特定のフレームに埋め込んでもよい。
【０１０８】
また、第２の実施形態においては、αチャネルの値を上記（３）式に従って、算出する場合について説明したが、これに限定されるものではない。例えば、αチャネルの値を一定値にできる場合には、数値をマニュアルで入力してもよい。
【０１０９】
次に、第３の実施形態に係る動画像埋め込み装置について説明する。
【０１１０】
第３の実施形態においては、電子透かし情報、及びマーカを埋め込む点が第１及び第２の実施形態と異なる。なお、第１及び第２の実施形態に係る動画像埋め込み装置と同様の構成及び作用については、同一の符号を付して説明を省略する。
【０１１１】
＜第３の実施形態に係る動画像埋め込み装置の構成＞
次に、本発明の第３の実施形態に係る動画像埋め込み装置の構成について説明する。図７に示すように、本発明の第３の実施形態に係る動画像埋め込み装置３００は、ＣＰＵと、ＲＡＭと、後述する動画像埋め込み処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この動画像埋め込み装置３００は、機能的には図７に示すように画像入力部１０と、演算部３２０と、埋め込み済み画像出力部３９０とを含んで構成されている。なお、第３の実施形態においては、映像信号の１チャネルあたりのビット深度を８ビットとする。
【０１１２】
第３の実施形態では、動画像埋め込み装置３００が電子透かし情報及びマーカの双方を動画像に埋め込む場合について説明する。
【０１１３】
演算部３２０は、記憶部３２２と、電子透かし生成部３２３と、マーカ生成部３２４と、電子透かしマーカ合算部３２５と、電子透かしマーカ重畳部３２６とを含んで構成されている。
【０１１４】
記憶部３２２は、予め定められた電子透かし情報の振幅ｎｗ及びマーカの振幅ｎｍと、映像に対応するＩＤ番号と、予め定められたパラメータｂとが記憶されている。
【０１１５】
電子透かし生成部３２３は、画像入力部１０において受け付けた動画像のサイズと、記憶部３２２に記憶されている電子透かし情報の振幅ｎｗ及びＩＤ番号とに基づいて、画像入力部１０において受け付けた動画像の各フレーム画像について、誤差拡散法に従って、埋め込むＩＤ番号に対応する電子透かし情報を表す電子透かし画像の各々を生成する。
【０１１６】
マーカ生成部３２４は、画像入力部１０において受け付けた動画像のサイズと、記憶部３２２に記憶されているマーカの振幅ｎｍとに基づいて、画像入力部１０において受け付けた動画像の各フレーム画像について、誤差拡散法に従って、マーカを表すマーカ画像の各々を生成する。
【０１１７】
電子透かしマーカ合算部３２５は、記憶部３２２に記憶されているパラメータｂに基づいて、電子透かし生成部３２３において取得した電子透かし画像の各々と、当該電子画像に対応する、マーカ生成部３２４において取得したマーカ画像の各々とを合成した合成画像の各々を生成する。
【０１１８】
具体的には、まず、電子透かしマーカ合算部３２５は、記憶部３２２に記憶されている電子透かし情報の振幅ｎｗと、マーカの振幅ｎｍとに基づいて、下記（４）式、及び（５）式に従って、合成画像の振幅の範囲を算出する。
【０１１９】
【数４】
2016181744.tif 000006
【０１２０】
【数５】
2016181744.tif 000007
【０１２１】
次に、電子透かしマーカ合算部３２５は、電子透かし画像の各々について、処理対象となる電子透かし画像の画素毎に、当該画素の画素値と、対応するマーカ画像の画素の画素値との和を算出して、合成画像を生成する。次に、電子透かしマーカ合算部３２５は、算出された和が、上記（４）式で算出した値を超えている場合には、合成画像の対象となる画素の画素値を上記（４）式で算出したｎｇの値に置き換える。一方、電子透かしマーカ合算部３２５は、算出された和が、上記（５）式で算出した値より下回っている場合には、合成画像の対象となる画素の画素値を上記（５）式で算出した−ｎｇに置き換える。すなわち、±ｎｇの値でサチュレーションさせる。上記のサチュレーションの処理を行うことにより、図２右に示すように、合成画像の画素値の振幅の範囲が、±ｎｇの範囲内に収まることになる。
【０１２２】
次に、電子透かしマーカ合算部３２５は、サチュレーションされた合成画像の各々について、振幅を±ｎｇから±Ｎｇまで伸長する。ここで、Ｎｇは、合成画像が表現可能な最大振幅値を表す。
【０１２３】
また、電子透かしマーカ合算部３２５は、伸長済みの合成画像の各画素のαチャネルを、下記（６）式で算出される混合度合いαｇの値に置き換え、αチャネルが置き換えられた伸長済みの合成画像の各々を、電子透かしマーカ重畳部３２６へ出力する。なお、下記（６）式で算出された混合度合いαｇは正規化されているものとして以後説明する。
【０１２４】
【数６】
2016181744.tif 000008
【０１２５】
電子透かしマーカ重畳部３２６は、画像入力部１０において受け付けた動画像の各フレームの画像に対して、電子透かしマーカ合算部３２５から取得した各フレームの画像に対応する伸長済みの合成画像を、当該伸長済み合成画像に設定されているαチャネルを用いて重畳し、埋め込み済み画像出力部３９０に出力する。具体的には、電子透かしマーカ重畳部３２６は、動画像のフレーム画像と合成画像とを重畳するために、ビデオスイッチャーが持つ諸機能のうち、上記（１）式で２つの画像をミックスさせる機能（フェーダ機能、若しくは、キーヤ機能等）を利用する。なお、上記（１）式のｃの値は、合成画像に埋め込まれているαチャネルの値（混合度合いαｇ）を用いる。このように、動画像の各フレームの画像に、対応する合成画像を重畳させることにより、画像入力部１０において受け付けた動画像に対し、電子透かし情報、及びマーカを重畳させることができる。
【０１２６】
埋め込み済み画像出力部３９０は、電子透かしマーカ重畳部３２６により取得した電子透かし情報及びマーカが重畳されている動画像の各フレーム画像を、入力された順番となるように合成し、電子透かし情報及びマーカが重畳された動画像を、ＨＤＭＩ（登録商標）やＳＤＩ等の映像信号として出力する。
【０１２７】
＜第３の実施形態に係る動画像埋め込み装置の作用＞
次に、第３の実施形態に係る動画像埋め込み装置３００の作用について説明する。画像入力部１０において、動画像について、時系列に連続する各フレーム画像を一枚ずつ受け付けると、動画像埋め込み装置３００によって、図８、及び図９に示す動画像埋め込み処理ルーチンが実行される。
【０１２８】
まず、図８のステップＳ３００で、電子透かし生成部３２３は、記憶部３２２から予め定められた電子透かし情報の振幅ｎｗ及びマーカの振幅ｎｍと、映像に対応するＩＤ番号と、予め定められたパラメータｂとを読み込む。
【０１２９】
次に、ステップＳ３０２で、画像入力部１０において受け付けた各フレームから処理対象となるフレームを決定する。
【０１３０】
次に、ステップＳ３０６で、電子透かしマーカ合算部３２５は、ステップＳ３００において取得したｎｍ、ｎｗ、パラメータｂとに基づいて、上記（４）式に従って、ｎｇを算出する。
【０１３１】
次に、ステップＳ３０８で、電子透かしマーカ合算部３２５は、ステップＳ３００において取得したｎｍ、ｎｗ、パラメータｂとに基づいて、上記（５）式に従って、−ｎｇを算出する。
【０１３２】
次に、ステップＳ３１２で、電子透かしマーカ合算部３２５は、ステップＳ１０４において取得した電子透かし画像の処理対象となる画素を決定する。
【０１３３】
次に、ステップＳ３１４で、電子透かしマーカ合算部３２５は、ステップＳ１０４において取得した電子透かし画像の画素の画素値と、当該電子透かし画像の画素に対応する、ステップＳ２０４において取得したマーカ画像の画素の画素値との和を算出して、合成画像の当該画素の画素値とし、図９のステップＳ３１６へ移行する。
【０１３４】
次に、ステップＳ３１６で、電子透かしマーカ合算部３２５は、ステップＳ３１４において取得した画素値の和の値が、ステップＳ３０６及びステップＳ３０８において取得した±ｎｇの範囲内にあるか否か判定する。電子透かしマーカ合算部３２５は、画素値の和の値が、±ｎｇの範囲内にあると判定した場合には、当該画素値を合成画像の画素値として決定し、動画像埋め込み処理は、ステップＳ３２０へ移行する。一方、電子透かしマーカ合算部３２５が、画素値の和の値が、±ｎｇの範囲内にないと判定した場合には、動画像埋め込み処理は、ステップＳ３１８へ移行する。
【０１３５】
ステップＳ３１８で、電子透かしマーカ合算部３２５は、処理対象の画素の画素値について、ステップＳ３０６、及びステップＳ３０８において取得した±ｎｇの値と、ステップＳ３１４において取得した画素値の和の値とに基づいて、サチュレーション処理を行い、当該サチュレーション処理が行われた値を、合成画像の画素値として置き換え、動画像埋め込み処理は、ステップＳ３２０へ移行する。
【０１３６】
次に、ステップＳ３２０で、電子透かしマーカ合算部３２５は、ステップＳ１０４において取得した電子透かし画像の全ての画素について、ステップＳ３１２〜ステップＳ３１６又はステップＳ３１８までの処理を終了したか否かを判定する。電子透かしマーカ合算部３２５が、ステップＳ１０４において取得した電子透かし画像の全ての画素について、ステップＳ３１２〜ステップＳ３１６又はステップＳ３１８までの処理を終了したと判定した場合には、動画像埋め込み処理は、ステップＳ３２２へ移行する。一方、電子透かしマーカ合算部３２５が、ステップＳ１０４において取得した電子透かし画像の全ての画素について、ステップＳ３１２〜ステップＳ３１６又はステップＳ３１８までの処理を終了していないと判定した場合には、図８のステップＳ３１２へ移行し、処理対象となる画素を変更し、ステップＳ３１４〜ステップＳ３２０までの処理を繰り返す。
【０１３７】
次に、ステップＳ３２２で、電子透かしマーカ合算部３２５は、ステップＳ３１６、及びステップＳ３１８の少なくとも一方において取得した合成画像の画素の画素値の各々を、ステップＳ１０４において取得した電子透かし画像及びステップＳ２０４において取得したマーカ画像のうち、表現可能な最大振幅値の大きい値を最大振幅値Ｎｇとして、最大振幅値Ｎｇまで、伸長させる。
【０１３８】
次に、ステップＳ３２６で、電子透かしマーカ合算部３２５は、ステップＳ３０６において取得したｎｇと、ステップＳ３２２において取得した最大振幅値のＮｇとに基づいて、上記（６）式に従って、混合度合いαｇの値を算出する。
【０１３９】
次に、ステップＳ３２８で、電子透かしマーカ合算部３２５は、ステップＳ３２２において取得した伸長済みの合成画像の各々の画素のαチャネルの値を、ステップＳ３２６において取得した混合度合いαｇの値に置き換える。
【０１４０】
次に、ステップＳ３３２で、電子透かしマーカ重畳部３２６は、処理対象となるフレーム画像に、ステップＳ３２２において取得した、当該フレーム画像に対応する伸長済みの合成画像とを、ステップＳ３２８において取得したαチャネルの値に基づいて、上記（１）式に従って、重畳する。
【０１４１】
次に、ステップＳ３３４で、電子透かしマーカ重畳部３２６は、全てのフレーム画像について、ステップＳ１０４〜ステップＳ３３２までの処理を終了したか否かを判定する。電子透かしマーカ重畳部３２６が、全てのフレーム画像について、ステップＳ１０４〜ステップＳ３３２までの処理を終了したと判定した場合には、動画像埋め込み処理は、ステップＳ３３６へ移行する。一方、電子透かしマーカ重畳部３２６が、全てのフレーム画像について、ステップＳ１０４〜ステップＳ３３２までの処理を終了していないと判定した場合には、動画像埋め込み処理は、図８のステップＳ３０２へ移行し、処理対象となるフレーム画像を決定し、ステップＳ１０４〜ステップＳ３３４までの処理を繰り返す。
【０１４２】
次に、ステップＳ３３６で、埋め込み済み画像出力部３９０は、ステップＳ３３２において取得した、電子透かし情報、及びマーカが重畳された各フレーム画像を、画像入力部１０において受け付けた順番に結合し、動画像として出力して、動画像埋め込み処理ルーチンを終了する。
【０１４３】
以上説明したように、第３の実施形態に係る動画像埋め込み装置によれば、各フレームの電子透かし情報を表す電子透かし画像を生成し、各フレームのマーカを表すマーカ画像を生成し、各フレームの画像に対して、合成画像を生成し、生成された合成画像について、画素値の振幅を伸長した伸長済み合成画像を生成し、混合度合いを設定し、動画像の各フレームの画像に対して、各フレームの画像について生成された伸長済み合成画像を、設定された混合度合いを用いて重畳し、動画像の各フレームに対する、伸長済み合成画像を重畳した画像を出力することにより高解像度の動画像に電子透かし情報及び不可視マーカを埋め込むことができる。
【０１４４】
また、ビデオスイッチャーの機能であるミキサー機能によって、動画像と電子透かし画像及びマーカ画像とをミックスさせることで、高解像度の映像に対してもリアルタイムにマーカを埋め込むことができる。
【０１４５】
また、αチャネルを介してミックスの割合を調整することで、伸長させた分は元の強さに戻り、誤差拡散情報をつぶさずに電子透かし情報、及びマーカを埋め込むことができる。
【０１４６】
また、人間の目で知覚されることなく電子透かし情報、及びマーカを埋め込み可能であり、かつ、ライブ映像などに対してリアルタイムに電子透かし情報、及びマーカを埋め込むことができる。
【０１４７】
また、電子透かし情報とマーカを合算する際に、両者の振幅の大きい方×定数ｂ（ここで、ｂ≧１とする）を合算後の最大振幅として定義し、その最大振幅を超える値が生じた場合は最大振幅でサチュレーションさせることで、電子透かし情報が検出できることと、コントラスト減少を抑えることが両立できる。
【０１４８】
また、４Ｋ／８Ｋのような高解像度のライブ映像に対し、ビデオスイッチャー等の映像関連機器を利用してリアルタイムに電子透かし情報や不可視マーカを埋め込むことができる
【０１４９】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１５０】
例えば、第３の実施形態において、電子透かし画像、及びマーカ画像の各々の画素値は一定である場合について説明したが、これに限定されるものではなく、各電子透かし画像、及び各マーカ画像の画素値を時間的に変動させてもよい
【０１５１】
また、第３の実施形態においては、電子透かし情報、及びマーカが重畳された動画像を、ＨＤＭＩ（登録商標）やＳＤＩ等の映像信号として出力する場合について説明したが、これに限定されるものではない。例えば、ＨＤＤ等の電子媒体へ映像ファイルとして蓄積するようにしてもよい。
【０１５２】
また、第３の実施形態においては、電子透かし情報、及びマーカの埋め込み位置を動画像の各フレームに埋め込む場合について説明したが、これに限定されるものではない。例えば、動画像の特定のフレームに埋め込んでもよい。
【０１５３】
また、第３の実施形態においては、αチャネルの値を上記（６）式に従って、算出する場合について説明したが、これに限定されるものではない。例えば、αチャネルの値を一定値にできる場合には、数値をマニュアルで入力してもよい。
【０１５４】
また、第３の実施形態においては、電子透かし画像の生成において、当該電子透かし画像の最大振幅値Ｎｗを用いて電子透かし画像を伸長させず、かつ、αチャネルの置き換えを行わない場合について説明したが、これに限定されるものではない。例えば、第１の実施形態と同様に、電子透かし画像の生成において、当該電子透かし画像の最大振幅値Ｎｗを用いて電子透かし画像を伸長させ、当該電子透かし画像の画素の各々のαチャネルを算出した、混合度合いαｗで置き換えてもよい。この場合、マーカ画像との合成の際には、図１中央、及び右に示すように、当該電子透かし画像の各画素の振幅に混合度合いαｗをかけて電子透かし画像の画素の各々の画素値を、元の振幅の大きさに戻す必要がある。
【０１５５】
また、第３の実施形態においては、マーカ画像の生成において、当該マーカ画像の最大振幅値Ｎｍを用いてマーカ画像を伸長させず、かつ、αチャネルの置き換えを行わない場合について説明したが、これに限定されるものではない。例えば、第２の実施形態と同様に、マーカ画像の生成において、当該マーカ画像の最大振幅値Ｎｍを用いてマーカ画像を伸長させ、当該マーカ画像の画素の各々のαチャネルを算出した、混合度合いαｍで置き換えてもよい。この場合、電子透かし画像との合成の際には、図１中央、及び右に示すように、当該マーカ画像の各画素の振幅に混合度合いαｍをかけてマーカ画像の画素の各々の画素値を、元の振幅の大きさに戻す必要がある。
【０１５６】
また、第１〜第３の実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した第１〜第３の実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は上述した本発明を構成する。
【符号の説明】
【０１５７】
１０   画像入力部
２０、２２０、３２０ 演算部
２２、２２２、３２２ 記憶部
２４、３２３  電子透かし生成部
２６   電子透かし重畳部
９０、２９０、３９０ 埋め込み済み画像出力部
１００、２００、３００      動画像埋め込み装置
２２４、３２４       マーカ生成部
２２６ マーカ重畳部
３２５ 電子透かしマーカ合算部
３２６ 電子透かしマーカ重畳部
【図３】
2016181744.tif 000009
【図４】
2016181744.tif 000010
【図５】
2016181744.tif 000011
【図６】
2016181744.tif 000012
【図７】
2016181744.tif 000013
【図８】
2016181744.tif 000014
【図９】
2016181744.tif 000015
【図１】
2016181744.tif 000016
【図２】
2016181744.tif 000017