(57)【要約】【課題】コンテンツのデザイン性を損なわずに、射影変換が施された画像や映像を元の画像や映像に変換する際に用いるマーカを画像や映像に埋め込む。【解決手段】マーカ埋め込み装置は、一又は複数の連続する画像を入力する画像入力部と、画像の知覚されにくい色成分において予め定められた濃淡パターンを有するマーカを画像に重畳するマーカ重畳部と、マーカとの位置関係で定められる部分領域に画像に関する情報を重畳する情報重畳部と、マーカと画像に関する情報とを重畳した画像を出力する埋め込み済み画像出力部とを備える。マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、複数の直線的な帯状の領域における色成分にはマーカにおける他の領域の色成分と異なる色差が定められ、複数の直線的な帯状の領域すべてを横切る直線と直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値である。【選択図】図８
2015109506.tif 000002
【特許請求の範囲】
【請求項１】
映像を構成する複数の画像を入力する画像入力部と、
前記画像の知覚されにくい色成分において予め定められた濃淡パターンを有するマーカを重畳するマーカ重畳部と、
前記画像の知覚されにくい色成分において前記マーカが重畳された領域と異なる領域に所定の濃淡で示されるガイドラインを重畳するガイドライン重畳部と、
前記マーカ及び前記ガイドラインとの位置関係で定められる部分領域に前記画像に関する情報を重畳する情報重畳部と、
前記マーカと前記ガイドラインと前記情報とが重畳された画像を前記画像入力部が入力した順に出力する埋め込み済み画像出力部と、
を備え、
前記マーカには複数の直線的な帯状の領域が異なる位置に配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であり、前記映像において時系列に連続する画像間で前記複数の直線的な帯状の領域が配置される位置が異なっている
ことを特徴とするマーカ埋め込み装置。
【請求項２】
請求項１に記載のマーカ埋め込み装置において、
前記マーカは、
前記複数の直線的な帯状の領域が配置される位置に基づいてカテゴリ分けされており、
前記マーカ重畳部は、
前記画像に前記マーカを重畳する領域を前記マーカのカテゴリに応じて切り替える
ことを特徴とするマーカ埋め込み装置。
【請求項３】
請求項２に記載のマーカ埋め込み装置において、
前記マーカのカテゴリは、
前記マーカにおける複数の直線的な帯状の領域により特定される線分の傾きに基づいて定められている
ことを特徴とするマーカ埋め込み装置。
【請求項４】
請求項１から請求項３のいずれか一項に記載のマーカ埋め込み装置としてコンピュータを機能させるためのマーカ埋め込みプログラム。
【請求項５】
映像を構成する複数の画像を入力する画像入力部と、
前記画像の知覚されにくい色成分において予め定められた濃淡パターンの点を複数検出し，検出した点の組み合わせで定められる複比が所定の値である場合に、マーカを検出したと判定するマーカ検出部と、
前記画像の知覚されにくい色成分において所定の濃淡で示されるガイドラインを検出するガイドライン検出部と、
検出されたマーカ及びガイドラインに基づいて前記画像に対して射影変換を行う射影変換補正部と、
射影変換により得られた画像における前記マーカ及び前記ガイドラインとの位置関係で定められる部分領域から前記画像に関する情報を検出する情報検出部と、
検出された前記画像に関する情報を出力する検出結果出力部と、
を備え、
前記マーカには複数の直線的な帯状の領域が異なる位置に配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であり、前記映像において時系列に連続する画像間で前記複数の直線的な帯状の領域が配置される位置が異なっている
ことを特徴とするマーカ検出装置。
【請求項６】
請求項５に記載のマーカ検出装置において、
前記射影変換補正部は、
検出された前記マーカにおける前記複数の直線的な帯状の領域の位置に基づいて前記マーカをカテゴリ分けし、検出された前記マーカの属するカテゴリに対応するマーカの重畳位置に基づいて前記画像を射影変換する
ことを特徴とするマーカ検出装置。
【請求項７】
請求項５又は請求項６のいずれかに記載のマーカ検出装置としてコンピュータを機能させるためのマーカ検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子透かしの埋め込まれた動画像に対して、射影変換が施された場合にも電子透かしの検出を容易にするマーカ埋め込み装置及びマーカ埋め込みプログラム、並びにマーカ検出装置及びマーカ検出プログラムに関する。
【背景技術】
【０００２】
画像、映像といったコンテンツの流通において、コンテンツの識別や管理、更にコンテンツの著作権保護及び管理、並びに関連情報提供などの目的のため、人間の目に知覚されないようにコンテンツ内に別の情報を埋め込む電子透かし技術を用いる方法が知られている。特に、画像・映像コンテンツに対する電子透かし技術においては、画素値の微小変更に基づく方法が一般的である。具体的方法としては例えば、電子透かしを埋め込む際に、埋め込み対象成分位置情報に基づいて、複素行列の実数成分と虚数成分を独立に変更するスペクトル拡散を行い、入力画像と独立に透かしパターンを生成し、実際の画像パターンの加算を行うことで埋め込み済み画像を生成し、電子透かしを検出する際には、検出対象成分位置情報に基づいて検出対象系列を生成し、オフセット情報を抽出し、検出対象系列を修正した後にスペクトル逆拡散を行い、切り出した画素ブロック内に埋め込まれている電子透かしを検出するような電子透かし方式がある（例えば、特許文献１）。
【０００３】
また、電子透かしにおいては、ディジタルコンテンツを表すディジタル信号が、電子透かしの埋め込み後に受ける様々な改変に対して耐性を持つこと、すなわち様々な改変を受けた上で電子透かしを検出できることが必要である。特に重要な改変として、幾何学的変換が挙げられる。幾何学的変換への耐性は、対象となる画像、映像コンテンツをカメラで再撮影して、そのコンテンツに埋め込まれた電子透かしを検出する場合に必須の要件となっている。なぜなら、撮影する距離やアングルの違い等により、幾何学的変換が生じるからである。
【０００４】
幾何学的変換に対して耐性を持たせる方法としては、電子透かしが埋め込まれている画像の縁を検出し、画像の四隅の位置を特定することで逆射影変換を行って変換前の状態を復元する手法がある（特許文献２）。この方法だと、射影変換による変形を伴った画像からも電子透かしを検出できるが、画像の縁を安定的に検出するためには画像の周囲に黒い枠もしくは白い枠で囲う必要がある。これは人間の目で知覚されるため、コンテンツ自体のデザイン性を大きく損ねてしまう問題がある。
【０００５】
一方、画像の周波数空間上に人間に不可視なかたちでマーカを埋め込み、それを使って補正する方法がある（特許文献３）。この方法は人間の目で知覚されることなく、幾何学的変換を伴った画像から電子透かしを検出できるが、対応可能なのは回転、スケール変換などに代表されるアフィン変換であり、射影変換までは対応できない問題がある。また、この方法のもう一つの問題として、マーカパターンの埋め込み強度とマーカ検出安定性の間でトレードオフが存在する点がある。すなわち、マーカの検出を安定して行うためにはマーカパターンの埋め込み強度を強めた方が良く、必然的にマーカが視認され易くなるといった問題がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−２１９１４８号公報
【特許文献２】特開２００５−２７７７３２号公報
【特許文献３】特開２０１０−２３２８８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述のように、特許文献１から特許文献３に記載されている方法では、コンテンツのデザイン性を損なうことなく、射影変換が施された映像に対して逆射影変換により元の映像に変換することができないという問題がある。
【０００８】
本発明は、上記の問題を解決すべくなされたもので、その目的は、コンテンツのデザイン性を損なわずに、射影変換が施された映像を元の映像に変換する際に用いるマーカを映像に埋め込むマーカ埋め込み装置及びマーカ埋め込みプログラムと、当該マーカを映像から検出して元の画像に変換するマーカ検出装置及びマーカ検出プログラムとを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一態様は、映像を構成する複数の画像を入力する画像入力部と、前記画像の知覚されにくい色成分において予め定められた濃淡パターンを有するマーカを重畳するマーカ重畳部と、前記画像の知覚されにくい色成分において前記マーカが重畳された領域と異なる領域に所定の濃淡で示されるガイドラインを重畳するガイドライン重畳部と、前記マーカ及び前記ガイドラインとの位置関係で定められる部分領域に前記画像に関する情報を重畳する情報重畳部と、前記マーカと前記ガイドラインと前記情報とが重畳された画像を前記画像入力部が入力した順に出力する埋め込み済み画像出力部と、を備え、前記マーカには複数の直線的な帯状の領域が異なる位置に配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であり、前記映像において時系列に連続する画像間で前記複数の直線的な帯状の領域が配置される位置が異なっていることを特徴とするマーカ埋め込み装置である。
【００１０】
また、本発明の一態様は、上記のマーカ埋め込み装置において、前記マーカは、前記複数の直線的な帯状の領域が配置される位置に基づいてカテゴリ分けされており、前記マーカ重畳部は、前記画像に前記マーカを重畳する領域を前記マーカのカテゴリに応じて切り替えることを特徴とする。
【００１１】
また、本発明の一態様は、上記のマーカ埋め込み装置において、前記マーカのカテゴリは、前記マーカにおける複数の直線的な帯状の領域により特定される線分の傾きに基づいて定められていることを特徴とする。
【００１２】
また、本発明の一態様は、上記のマーカ埋め込み装置としてコンピュータを機能させるマーカ埋め込みプログラムである。
【００１３】
また、本発明の一態様は、映像を構成する複数の画像を入力する画像入力部と、前記画像の知覚されにくい色成分において予め定められた濃淡パターンの点を複数検出し，検出した点の組み合わせで定められる複比が所定の値である場合に、マーカを検出したと判定するマーカ検出部と、前記画像の知覚されにくい色成分において所定の濃淡で示されるガイドラインを検出するガイドライン検出部と、検出されたマーカ及びガイドラインに基づいて前記画像に対して射影変換を行う射影変換補正部と、射影変換により得られた画像における前記マーカ及び前記ガイドラインとの位置関係で定められる部分領域から前記画像に関する情報を検出する情報検出部と、検出された前記画像に関する情報を出力する検出結果出力部と、を備え、前記マーカには複数の直線的な帯状の領域が異なる位置に配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であり、前記映像において時系列に連続する画像間で前記複数の直線的な帯状の領域が配置される位置が異なっていることを特徴とするマーカ検出装置である。
【００１４】
また、本発明の一態様は、上記のマーカ検出装置において、前記射影変換補正部は、検出された前記マーカにおける前記複数の直線的な帯状の領域の位置に基づいて前記マーカをカテゴリ分けし、検出された前記マーカの属するカテゴリに対応するマーカの重畳位置に基づいて前記画像を射影変換することを特徴とする。
【００１５】
また、本発明の一態様は、上記のマーカ検出装置としてコンピュータを機能させるマーカ検出プログラムである。
【発明の効果】
【００１６】
この発明によれば、映像において知覚されにくい色成分にマーカを埋め込むことにより、人間の目で知覚されにくいマーカを実現する。また、マーカが有する濃淡パターンにより検出される点の組み合わせから射影変換の影響を受けない複比を算出することにより、映像上における当該マーカの位置を検出することができる。このマーカを画像に重畳しておくことにより、射影変換が施された画像を元に戻す逆射影変換をマーカの位置に基づいて求めることができるので、射影変換が施された映像を元の変換することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態において用いるマーカの一例を示す図である。
【図２】実施形態において用いるマーカを検出する際に用いるガイドラインの一例を示す図である。
【図３】実施形態において用いるマーカとガイドラインとが埋め込まれた映像の一例を示す図である。
【図４】実施形態で用いるマーカにおける複比の一例を示す図である。
【図５】実施形態で用いるマーカを検出する際に用いるボックスフィルタの一例を示す図である。
【図６】マーカにおける直線的な帯状の領域の変動を説明する図である。
【図７】マーカのパターンの時系列方向における変動の一例を示す図である。
【図８】第１の実施形態におけるマーカ埋め込み装置１の構成例を示すブロック図である。
【図９】第１の実施形態におけるマーカの領域内における直線的な帯状の領域と任意の直線との交点を検出すする際にＢｏｘフィルタが検出する濃淡パターンの一例を示す図である。
【図１０】マーカの位置をずらして配置する場合の一例を示す図である。
【図１１】第１の実施形態におけるマーカ埋め込み装置１が行うマーカ埋め込み処理を示すフローチャートである。
【図１２】第１の実施形態におけるマーカ検出装置２の構成例を示すブロック図である。
【図１３】第１の実施形態においてマーカ検出部２２が用いるＢｏｘフィルタであって異なる大きさのＢｏｘフィルタの概要を示す図である。
【図１４】第１の実施形態におけるマーカ検出部２２がマーカに基づいて算出する直線の例を示す図である。
【図１５】第１の実施形態におけるガイドライン検出部２３がガイドラインを検出する際に用いるＢｏｘフィルタの一例を示す図である。
【図１６】第１の実施形態におけるガイドライン検出部２３がガイドラインを検出する処理の概要を示す図である。
【図１７】第１の実施形態におけるガイドライン検出部２３がガイドラインを検出する他の処理の概要を示す図である。
【図１８】第１の実施形態においてマーカとガイドラインとから得られる位置情報の一例を示す図である。
【図１９】第１の実施形態における射影変換補正部２４がマーカのパターンを判別する処理を説明する図である。
【図２０】第１の実施形態におけるマーカ検出装置２が行うマーカ検出処理を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の実施形態におけるマーカ埋め込み装置及びマーカ埋め込みプログラム、並びにマーカ検出装置及びマーカ検出プログラムを説明する。図１は、本発明の実施形態において用いるマーカの一例を示す図である。同図に示すように、実施形態において用いるマーカは、ある領域内に複数の直線的な帯状の領域を所定の条件を満たすように配置したものである。個のマーカは、映像に埋め込む際に人間の目に知覚されにくいように、視覚特性において知覚されにくい色成分に埋め込んで用いる。例えばＲＧＢ色空間においては、人間が知覚しにくいＢ成分に埋め込む。また、ＹＣｂＣｒ色空間においてはＣｂ成分に埋め込む。なお、マーカを埋め込む色成分は、ＲＧＢ色空間におけるＢ成分や、ＹＣｂＣｒ色空間におけるＣｂ成分だけでなく、ＲＧＢ色空間におけるＲ成分や、ＹＣｂＣｒ色空間におけるＣｒ成分であってもよい。
【００１９】
図１では、マーカを埋め込む色成分において直線的な帯状の領域に正の色差（＋１）を加え、他の領域に負の色差（−１）を加える例が示されている。また、図１に示すパターンでは、直線的な帯状の領域と当該領域に隣接する領域とにおいて、共通した特徴的な濃淡パターン「−１、＋１、−１」が存在している。
【００２０】
図２は、実施形態において用いるマーカを検出する際に用いるガイドラインの一例を示す図である。同図に示すように、ガイドラインのパターンは、マーカと同様に、人間が知覚しにくい色成分に埋め込んで用いられる。ガイドラインのパターンは、矩形領域において直線的な帯状の領域を組み合わせることにより、各帯上の領域の長手方向に対して垂直な方向に特徴的な濃淡パターン（−１、＋１、−１）を有している。
【００２１】
図３は、実施形態において用いるマーカとガイドラインとが埋め込まれた映像の一例を示す図である。図３（ａ）に示す例では、映像を構成する各フレームの画像の左側及び右側にマーカが埋め込まれ、映像の上側及び下側であって左右をマーカに挟まれる領域にガイドラインが埋め込まれている。マーカ及びガイドラインに囲まれた矩形領域（αβγδ）が、電子透かしを埋め込む領域となる。電子透かしは、矩形領域（αβγδ）内であってマーカ及びガイドラインとの相対的な位置関係で定められる領域に埋め込まれる。図３（ｂ）に示す例では、映像の上側及び下側にガイドラインが埋め込まれ、映像の左側及び右側にであって上下をガイドラインに挟まれる領域にマーカが埋め込まれている。マーカ及びガイドラインに囲まれた矩形領域（αβγδ）が、図３（ａ）と同様に電子透かしを埋め込む領域となる。電子透かしは、図３（ａ）の場合と同様に、矩形領域（αβγδ）内であってマーカ及びガイドラインとの相対的な位置関係で定められる領域に埋め込まれる。
【００２２】
一方、電子透かしの検出では、マーカ及びガイドラインと電子透かしとが埋め込まれた映像をカメラ等で撮影して得られた映像において人間の知覚しにくい色成分に対してマーカ及びガイドラインの検出が行われる。検出したマーカ及びガイドラインで特定できる位置情報に基づいた逆射影変換を映像に対して行う。逆射影変換により得られた幾何学的変換前の状態の映像においてマーカ及びガイドラインで特定される領域から電子透かしを検出することになる。この手順で電子透かしを検出することにより、射影変換等の幾何学的変換に対する電子透かしの耐性を得ることができる。
【００２３】
電子透かしの検出では、マーカのパターンが射影変換によって形状変化していても安定してマーカを検出できる必要がある。実施形態のマーカでは、射影変換不変量である複比（cross ratio）を利用する。図４は、実施形態で用いるマーカにおける複比の一例を示す図である。同図に示すように、マーカを通過する直線上において得られる７つの点（点Ａ〜点Ｇ）が次式（１）及び次式（２）を満たすように、直線的な帯状の領域をマーカの領域内に配置する。なお、７つの点（点Ａ〜点Ｇ）は直線と各帯状の領域との交点である。また、直線と帯状の領域との交点とは、帯状の領域における長手方向の中心線と直線との交点である。ｎは任意の実数である。
【００２４】
【数１】
2015109506.tif 000003
【００２５】
【数２】
2015109506.tif 000004
【００２６】
このとき、７つの点（点Ａ〜点Ｇ）の位置から算出される複比は、次式（３）となる。
【００２７】
【数３】
2015109506.tif 000005
【００２８】
式（３）の値は射影変換によらず一定の値となる。例えば、ｎ＝３の場合、（３×５）／４２＝１５／１６となる。そこで映像上のマーカをＢｏｘフィルタ（ボックスフィルタ）を用いて検出する。図５は、実施形態で用いるマーカを検出する際に用いるボックスフィルタの一例を示す図である。同図に示すボックスフィルタは、横方向のスキャン（ラスタスキャン）に用いるＢｏｘフィルタであり、９画素×９画素のＢｏｘフィルタである。同図において、「０」、「−１」、「＋２」は、ハッチングで分けられている各画素（領域）に対する重み係数である。このＢｏｘフィルタで算出される重み付け加算値に基づいて横方向の濃淡パターンを検出する。
【００２９】
同図に示すＢｏｘフィルタでは、（（ｘ，ｙ）；１≦ｘ≦９，１≦ｙ≦３）と（（ｘ，ｙ）；１≦ｘ≦９，７≦ｙ≦９）との画素においては、Ｃｂ成分に対して０を乗じる重み付けをする。また、（（ｘ，ｙ）；１≦ｘ≦３，４≦ｙ≦６）と、（（ｘ，ｙ）；７≦ｘ≦９，４≦ｙ≦６）との画素においては、Ｃｂ成分に対して（−１）を乗じる重み付けをする。また、（（ｘ，ｙ）；４≦ｘ≦６，４≦ｙ≦６）の画素においてはＣｂ成分に対して（＋２）を乗じる重み付けをする。
【００３０】
このＢｏｘフィルタを用いて画像の各画素をラスタスキャンして得られた値の極値を基に、連続して見つかった７つの極値の位置（点Ａ’〜点Ｇ’）から次式（４）及び次式（５）の値を算出し、算出した値が式（３）の右辺の値と等しかったらマーカ上をＢｏｘフィルタがマーカ上を横切ったということになる。
【００３１】
【数４】
2015109506.tif 000006
【００３２】
【数５】
2015109506.tif 000007
【００３３】
前述のようにＢｏｘフィルタを用いたラスタスキャンにより、映像に埋め込まれたマーカを検出し、マーカの位置を特定することが可能となる。また、マーカに配置された直線的な帯状の領域すべてと交差する任意の直線との７つの交点は上記の条件を満たすため、マーカを重畳した画像上のノイズや他の要因によって一部分で当該条件を満たさない領域が存在しても、他の領域において当該条件が満たされればマーカを検出することができる。その結果、マーカの埋め込み強度を小さくしても安定してマーカを検出し、マーカの位置を特定することが可能となる。また、右端と左端とのマーカのうち、片方のマーカだけを検出した場合でも電子透かしの埋め込み領域を特定することが可能なため、一部でオクルージョンが発生している場合に対応できる。
【００３４】
また、マーカの不視認性を更に向上させるために、マーカを構成する直線的な帯状の領域の位置を一定の規則の下でランダムに変動させることも可能である。具体的には、マーカ検出のために必要な情報である複比を常に一定にする条件の下で、直線的な帯状の領域の位置を変化させる。図６は、マーカにおける直線的な帯状の領域の変動を説明する図である。図６に示すように、マーカの上側の境界線（端）と各直線的な帯状の領域との交点を左側から順に点Ａ１〜点Ｇ１とし、マーカの下側の境界線（端）と各直線的な帯上の領域との交点を左側から順に点Ａ２〜Ｇ２とする。このとき、α１（点Ａ１から点Ｄ１までの距離）とβ１（点Ｄ１から点Ｇ１までの距離）との比（α１：β１）とする。また、α２（点Ａ２から点Ｄ２までの距離）とβ２（点Ｄ２から点Ｇ２間での距離）との比（α２：β２）とする。α１：β１とα２：β２との比率を個別にランダムに変化させることにより、時系列方向においてマーカのパターンを変動させる。
【００３５】
図７は、マーカのパターンの時系列方向における変動の一例を示す図である。同図に示すように、各直線的な帯上の領域の位置を変動させる。このとき、前述のようにマーカにおける比率（α１：β１とα２：β２）を一定に保ちつつ各領域の位置を変動させる。マーカのパターンに変動があっても、複比が一定であればマーカを検出することが可能となり、マーカ検出の安定性は保証される。マーカは、映像を構成するフレームごとにランダムに変動するため、人間の目でその動きを追跡することが困難となり、結果として不視認性が向上する。
【００３６】
なお、前述のＢｏｘフィルタを用いたラスタスキャンを行う前に、対象画像の積分画像（integral image）を算出しておくことにより、フィルタリングによる演算量を大幅に削減でき、処理の高速化を図ることができる。積分画像の算出には、例えば参考文献１に記載の技術を用いることができる。
［参考文献１］八木康史、斉藤秀雄編「コンピュータビジョン  最先端ガイド２」、アドコムメディア株式会社、４６頁、２０１０年６月
【００３７】
＜第１の実施形態＞
以下、第１の実施形態におけるマーカ埋め込み装置とマーカ検出装置との具体的な構成例について説明する。図８は、第１の実施形態におけるマーカ埋め込み装置１の構成例を示すブロック図である。マーカ埋め込み装置１は、入力される映像コンテンツに対して、動画像の予め定められた領域に前述の特徴を有するマーカ及びガイドラインを埋め込む（重畳する）。更に、マーカ埋め込み装置１は、マーカ及びガイドラインの位置に基づいて特定される部分領域に電子透かしを埋め込み（重畳し）、マーカとガイドラインと電子透かしとを埋め込んだ映像を出力する。図８に示すように、マーカ埋め込み装置１は、画像入力部１１、マーカ重畳部１２、ガイドライン重畳部１３、電子透かし重畳部１４、及び、埋め込み済み画像出力部１５を備えている。
【００３８】
画像入力部１１は、予め用意された映像コンテンツをディジタルデータとして入力する。このとき、画像入力部１１は、映像コンテンツの各フレームの画像（静止画）を一枚ずつ入力する。マーカ重畳部１２は、画像入力部１１が入力した映像コンテンツの各フレームの画像に対して、所定の位置にマーカを重畳する。例えば、図３に示したように、各フレームの画像の右端と左端とのそれぞれにマーカを重畳する。以降は、画像の右端と左端とのそれぞれにマーカを１箇所ずつ重畳する場合について説明する。
【００３９】
マーカのパターンは、図１において示した濃淡パターンである。マーカにおけるパターンの条件は、
（条件１）：マーカの領域内において、位置と傾きとが異なる複数の直線的な帯状の領域を配置したパターンである、
（条件２）：マーカの領域内に配置された複数の直線的な帯状の領域すべてを横切る任意の直線と各直線的な帯状の領域との交点を検出するための濃淡が存在する
ことである。
【００４０】
図９は、第１の実施形態におけるマーカの領域内における直線的な帯状の領域と任意の直線との交点を検出すする際にＢｏｘフィルタが検出する濃淡パターンの一例を示す図である。同図において、縦軸は濃淡差（色成分の差）を示し、横軸は画像横方向の座標を示している。図１に示したマーカにおける直線的な帯状の領域と直線との交点を検出するには図９に示す特徴的な濃淡パターンを検出することになる。なお、前述の条件を満たす濃淡パターンであれば、図１に示したマーカと異なる形状であってもよく、また図９の濃淡パターン以外であってもよい。
【００４１】
映像コンテンツにおいて、マーカのパターンの不視認性を向上させるために、マーカのパターンを各フレームでランダムに移動させる。その際、マーカのパターンは図６に示したα１：β１とα２：β２との比率を個別にランダムに変化させる。各比率を個別にランダムに変化させることにより、図７に示したように、時系列方向にマーカのパターンが変動することになる。ただし、図６のα１：β１とα２：β２とは任意の比率で設定するが、図４に示した点Ａ、点Ｂ、点Ｃ及び点Ｄによって求められる複比と、点Ｄ、点Ｅ、点Ｆ及び点Ｇによって求められる複比とをマーカのパターンの変動によって変わらないようにする。これは、図６に示した点Ａ１、点Ｂ１、点Ｃ１及び点Ｄ１の間隔、点Ｄ１、点Ｅ１、点Ｆ１及び点Ｇ１の間隔、点Ａ２、点Ｂ２、点Ｃ２及び点Ｄ２の間隔、点Ｄ２、点Ｅ２、点Ｆ２及び点Ｇ２の間隔それぞれの一定の比率に維持することで実現可能である。
【００４２】
また、２つの比率（α１：β１とα２：β２）の大小関係を利用して、マーカの位置をずらすように配置することもできる。図１０は、マーカの位置をずらして配置する場合の一例を示す図である。図１０に示す例では、図１０（ｂ）のマーカを配置する位置を図１０（ａ）のマーカが配置されている位置に比べて、全体にだけ右にシフトさせている。マーカ検出の際には、マーカにおいて特定される中央の線分の傾きがどちら向きかを調べることで、図１０（ａ）のパターンか図１０（ｂ）のパターンかを判別可能である。予め距離ｓを適当な値に設定しておけば、図１０（ａ）の場合も図１０（ｂ）の場合もマーカの位置を正しく同定することが可能となる。
【００４３】
すなわち、マーカにおける複数の直線的な帯状の領域が配置される位置を、複比を一定にしつつ変動させることにより、カテゴリが異なるマーカを構成することができ、フレームの画像にマーカを重畳させる位置をカテゴリに応じてシフトさせることができる。マーカのカテゴリは、例えばマーカにおいて特定される中央の線分の傾きによって分類され、右上がりの傾きのカテゴリと、右下がりの傾きのカテゴリとに分けられる。また、図１０に示した例では、中央の線分が右上がりのカテゴリのマーカは画像の右端と左端とに重畳され、中央の線分が右下がりのカテゴリのマーカは右端及び左端から距離ｓシフトした領域に重畳される。
【００４４】
以上のように、マーカのパターンに応じてマーカを配置する位置を異ならせることにより、マーカを構成する直線的な帯状の領域の位置変動を更に大きくすることができ、結果としてマーカの不視認性を向上させることができる。更に、映像が１８０度回転（カメラを上下逆さまにして映像を撮影）した場合でも、マーカを検出できるように映像の右端と左端とに配置するマーカのパターンを同じにしたり、マーカにおいて特定される中央の線分が同じ方向に傾くようにしたりする。それに加えて、マーカの配置方法として、左側マーカが図１０（ａ）のような位置に配置されている場合、右側マーカを右端に配置し、左側マーカが図１０（ｂ）のような位置に配置されている場合、右側マーカを映像の右端から距離ｓだけ左方向にシフトさせた位置に配置する。このように配置することにより、映像が１８０度回転しても、マーカにおいて特定される中央の線分の傾き方向と、マーカ位置の関係とは一致するため、１８０度回転に対応可能となる。
【００４５】
マーカ重畳部１２がマーカを埋め込む際の重畳は、画像入力部１１に入力されたフレームの画像ごとに、ＲＧＢ色空間からＹＣｂＣｒ色空間に変換を行い、画像の所定の領域にマーカを重ね合わせ、対応する位置の画像の知覚されにくい色成分にマーカのパターンを足し込むことにより行う。図１に示したマーカを用いる場合は、同図に示した数値が加算値であり、当該値がプラスの場合には加算し、当該値がマイナスの場合には減算する。マーカ重畳の強度を調整するために、パラメータとして事前に設定した強度値ａを係数としてマーカの加算値に対して掛け合わせてから足し込んでもよい。また、各フレームの画像の右端と左端とそれぞれにマーカを重畳することに代えて、画像の上端と下端とそれぞれに９０°回転させたマーカを重畳するようにしてもよい。また、マーカ重畳部１２が映像の各フレームの画像に重畳するマーカは、前述のように、マーカ内の直線的な帯状の領域を変動させたマーカを用いるようにしてもよい。このとき、所定のフレーム数ごとに、直線的な帯状の領域を変動させた異なるマーカを用いるようにする。また、マーカ重畳部１２は、マーカのカテゴリに応じて右端及び左端の領域と、右端及び左端から画像の内側へ距離ｓシフトした領域とを切り替えて、マーカを重畳するようにしてもよい。
【００４６】
ガイドライン重畳部１３は、図２に示したガイドラインのパターンを、図３（ａ）や図３（ｂ）に示したように映像の上端と下端とに重畳する。映像に重畳する方法はマーカを映像に重畳する方法と同じである。例えば図３（ａ）や図３（ｂ）に示すようにマーカ及びガイドラインが映像に重畳された場合、電子透かしを埋め込む領域は、図３（ａ）や図３（ｂ）における領域αβγδで示される矩形領域となる。なお、電子透かしを埋め込む領域は、領域αβγδの矩形領域以外であってもよく、マーカとガイドラインとで囲まれた領域の外側や、マーカ又はガイドラインが重畳されている領域も含め、マーカとガイドラインとの相対的な位置関係に基づいて定められる任意の領域であってもよい。
【００４７】
電子透かし重畳部１４は、映像に埋め込まれたマーカとガイドラインとの相対的な位置関係で特定される映像内の部分領域に予め定められた電子透かしを重畳する。例えば、電子透かし重畳部１４は、図３における矩形領域αβγδの透かし埋め込み領域に電子透かしを重畳する。他にも、マーカを画像の中央に一つ重畳し、それ以外の領域を部分領域とするなど、幾つかのヴァリエーションが考えられる。部分領域に電子透かしを重畳する方式は、採用する電子透かし方式に従うこととする。電子透かし方式には、特許文献１に記載の方式など様々な方式が提案されており、いずれの電子透かし方式を採用してもよい。また、本実施形態において採用する電子透かし方式自体に幾何学的変換耐性がなくてもよい。なお、電子透かしが示す情報は、コンテンツの識別や管理、更にコンテンツの著作権保護及び管理、並びに関連情報提供などの画像に関する情報が含まれる。
【００４８】
埋め込み済み画像出力部１５は、マーカ重畳部１２とガイドライン重畳部１３と電子透かし重畳部１４とによってマーカとガイドラインと電子透かしとが重畳された画像を、画像入力部１１が各画像を入力した順で埋め込み済み映像として出力する。埋め込み済み画像出力部１５が埋め込み済み映像を出力する先は、例えば、ＨＤＤやＤＶＤ−ＲＯＭなどの電子記録媒体や、ディスプレイ装置などである。出力先が電子記録媒体の場合には、埋め込み済み画像出力部１５が当該電子記録媒体に埋め込み済み映像を記録させる。また、出力先がディスプレイ装置である場合には、埋め込み済み画像出力部１５が当該ディスプレイ装置に埋め込み済み映像を表示させる。
【００４９】
図１１は、第１の実施形態におけるマーカ埋め込み装置１が行うマーカ埋め込み処理を示すフローチャートである。マーカ埋め込み装置１において、マーカ埋め込み処理が開始されると、マーカを埋め込む対象としての映像を画像入力部１１が入力する（ステップＳ１１）。
マーカ重畳部１２は、画像入力部１１が入力した映像の各フレームのＣｂ成分において、フレームの右端と左端とにマーカを重畳し、２つのマーカを重畳した画像をガイドライン重畳部１３に出力する（ステップＳ１２）。
【００５０】
ガイドライン重畳部１３は、マーカ重畳部１２から入力した映像の各フレームのＣｂ成分における所定の領域（例えば、図３（ａ）に示した映像の上端と下端と）にガイドラインを重畳し、２つのガイドラインが更に重畳された映像を電子透かし重畳部１４に出力する（ステップＳ１３）。
電子透かし重畳部１４は、ガイドライン重畳部１３から入力した映像の各フレームにおけるマーカ及びガイドラインで特定される部分領域内に所定の電子透かしを重畳し、電子透かしが更に重畳された映像を埋め込み済み画像出力部１５に出力する（ステップＳ１４）。
【００５１】
埋め込み済み画像出力部１５は、電子透かし重畳部１４から入力した映像を外部の装置に出力する（ステップＳ１５）。
埋め込み済み画像出力部１５は、すべてのフレームの画像に対して処理が完了したか否かを判定し（ステップＳ１６）、すべてのフレームの画像に対して処理が完了している場合（ステップＳ１６：ＹＥＳ）には埋め込み処理を終了させる。一方、すべてのフレームの画像に対して処理が完了していない場合（ステップＳ１６：ＮＯ）、埋め込み済み画像出力部１５は処理をステップＳ１１に戻し、ステップＳ１１からステップＳ１６の処理を繰り返させる。
【００５２】
以上のように、マーカ埋め込み装置１において、画像入力部１１が入力した映像コンテンツは、マーカ重畳部１２、ガイドライン重畳部１３及び電子透かし重畳部１４によって一連の処理が施されて、映像コンテンツ内の予め定められた領域にマーカ及びガイドラインが重畳され、マーカ及びガイドラインとの位置関係にて定められる部分領域に電子透かしが重畳されて出力される。
【００５３】
図１２は、第１の実施形態におけるマーカ検出装置２の構成例を示すブロック図である。マーカ検出装置２は、入力される映像コンテンツに対して、所定のマーカ及びガイドラインが重畳されているか否かを判定する．マーカ検出装置２は、マーカ及びガイドラインを検出した場合、検出したマーカ及びガイドラインに基づいて映像コンテンツに対して重畳されている電子透かしを検出する。マーカ検出装置２は、検出した電子透かしが示す情報を出力する。同図に示すように、マーカ検出装置２は、画像入力部２１、マーカ検出部２２、ガイドライン検出部２３、射影変換補正部２４、電子透かし検出部２５、及び、検出結果出力部２６を備えている。
【００５４】
画像入力部２１は、検出対象の電子透かしが埋め込まれた映像コンテンツをカメラ等で撮影したディジタルデータ、検出対象の電子透かしが埋め込まれた映像コンテンツが加工(例えば射影変換)されたディジタルデータを入力する。画像入力部２１は、映像コンテンツを入力する際に、映像コンテンツの各フレームの画像を順に入力する。
【００５５】
マーカ検出部２２は、画像入力部２１が入力した映像コンテンツの各フレームの画像においてマーカが重畳されている位置を特定する。以下、フレームの画像に埋め込まれたマーカが図１に示したマーカである場合について説明する。マーカ検出部２２は、画像入力部２１が入力したフレームの画像をＲＧＢ色空間からＹＣｂＣｒ色空間の信号に変換する。マーカ検出部２２は、ＹＣｂＣｒ色空間のフレーム画像から、人間が知覚しにくい色成分の画像を抽出する。ここでは、ＹＣｂＣｒ色空間において人間が知覚しにくい色成分として、マーカ検出部２２は、Ｃｂ成分を選択する。
【００５６】
マーカ検出部２２は、予め用意された複数の大きさのＢｏｘフィルタごとに、抽出した画像に対して水平方向の走査を繰り返して行うことによる画像の左上隅から右下隅へむかってのラスタスキャンを行う。図１３は、第１の実施形態においてマーカ検出部２２が用いるＢｏｘフィルタであって異なる大きさのＢｏｘフィルタの概要を示す図である。同図に示すように、Ｂｏｘフィルタとして、例えば３画素×３画素、６画素×６画素、９画素×９画素、…、１５画素×１５画素のように異なる大きさのサイズのＢｏｘフィルタが複数用意される。
【００５７】
なお、Ｂｏｘフィルタの大きさやＢｏｘフィルタの個数は、対象とする映像コンテンツ（フレームの画像）のサイズ及び映像コンテンツに重畳すされるマーカのサイズに応じて予め定められていてもよい。マーカ検出部２２は、各Ｂｏｘフィルタを用いたラスタスキャンにより、画素ごとに値を算出する。なお、ラスタスキャンにおける値の算出は、抽出した画像の積分画像を用いることにより、算出における演算量を削減して高速化できる。
【００５８】
ここで、ラスタスキャンのスキャン方向と、当該スキャン方向に垂直な方向と、Ｂｏｘフィルタの大きさとからなる三次元スペース上において、それぞれの方向に隣接する領域を２６近傍として定義する。マーカ検出部２２は、現在のスキャン位置（画素）の算出値と２６近傍それぞれの算出値とを比べて、スキャン位置の算出値が最大値となる場合に当該スキャン位置の算出値を極大値として検出する。なお、近傍の定義方法として空間方向を横方向のみに限定した二次元スペース上における８近傍を定義して、極大値を検出するようにしてもよい。なお、マーカの濃淡パターンに応じて、極大値（近傍の最大値）に代えて極小値（近傍の最小値）を検出するようにしてもよい。
【００５９】
マーカ検出部２２は、スキャン順に連続した７つの極大値の位置（画素）を点Ａ’〜点Ｇ’として式（４）と式（５）とそれぞれの値を算出する。マーカ検出部２２は、算出した値が式（３）の右辺と等しい場合、マーカ上を横切ったとして点Ａ’、点Ｄ’、点Ｇ’それぞれの位置と、点Ａ’、点Ｂ’、点Ｃ’、点Ｄ’の中心の位置と、点Ｄ’、点Ｅ’、点Ｆ’、点Ｇ’の中心の位置との合計５点の位置を記憶する。マーカ検出部２２は、この処理を画像全体に対して行う。なお、算出した式（４）と式（５）との値と、式（３）の右辺の値とが一致するか否かの判定において、一定のマージンを設けて判定してもよい。すなわち、式（３）の右辺の値に対して所定の許容区間±εを予め定め、式（４）や式（５）の値が式（３）の右辺の値に対して当該許容区間内に含まれる場合にマーカ上を横切ったと判定するようにしてもよい。
【００６０】
マーカ検出部２２は、画像を左右半分に分割し、左半分の画像と右半分の画像とそれぞれに含まれるマーカにおいて図１４に示す直線Ｌ３を検出する。図１４は、第１の実施形態におけるマーカ検出部２２がマーカに基づいて算出する直線の例を示す図である。同図に示すように、直線Ｌ３は、マーカには位置されている７つの直線的な帯状の領域のうち真ん中に配置される直線的な帯状の領域に対応する直線である。この直線は、例えば、真ん中に配置される直線的な帯状の領域における長手方向の中心線である。直線Ｌ３は、ラスタスキャンにおいて記憶している点Ｄ’の位置それぞれをプロットすることにより算出することができる。ここでは、例えばＨｏｕｇｈ変換などを利用することが可能である。マーカ検出部２２は、この直線Ｌ３の位置情報から、更に図１４に示す直線Ｌ２及び直線Ｌ４、並びに、直線Ｌ１及び直線Ｌ５を算出する。
【００６１】
例えば、直線Ｌ３の位置情報に基づいて、直線Ｌ２はラスタスキャンにおいて得られる点Ａ’、点Ｂ’、点Ｃ’、点Ｄ’の中心の位置を用いて算出することができる。同様に、直線Ｌ４はラスタスキャンにおいて得られる点Ｄ’、点Ｅ’、点Ｆ’、点Ｇ’の中心の位置を用いて算出することができる。直線Ｌ１及び直線Ｌ５は、ラスタスキャンにおいて得られる点Ａ’及び点Ｇ’の位置を用いて算出することができる。
【００６２】
なお、映像コンテンツに埋め込まれたマーカのパターンが図１に示した形状以外のパターンであっても、パターンの条件である「共通した特徴的な濃淡パターン」を抽出できるフィルタを決めることができれば、前述した処理と同様の処理によってマーカを検出することができる。その際、抽出フィルタをＢｏｘフィルタのような加重平均フィルタの形態に近似できれば、同様に積分画像を利用して演算の高速化を図ることができる。
【００６３】
また、マーカ検出部２２が、フレームの画像に埋め込まれている右端のマーカと左端のマーカとのいずれのマーカも検出できなかった場合、マーカ及び電子透かしが埋め込まれていない、或いはマーカの検出に失敗したと判定して処理を中断又は終了するようにしてもよい。また、前述の処理では、マーカ検出部２２は、元のフレームの画像を９０度回転させた画像からマーカを検出することができない。これに対応するようには、画像入力部２１が入力したフレームの画像を９０度回転させてから、マーカ検出部２２が前述の処理を行うようにすればよい。すなわち、マーカ検出部２２は、マーカを検出できなかった場合には、対象となるフレームの画像を９０度回転させた後に再度マーカの検出を行うようにする。
【００６４】
なお、マーカ埋め込み装置１において、マーカ重畳部１２がフレームの画像ごとに異なるマーカであってランダムな変動を与えたマーカを重畳した場合であっても、マーカが「共通した特徴的な濃淡パターン」であるならば、前述の処理と全く同様の処理によってマーカ検出部２２はマーカを検出することができる。すなわち、マーカ検出部２２は、スキャン順に連続した７つの極大値を有する点Ａ’、点Ｂ’、点Ｃ’、点Ｄ’、点Ｅ’、点Ｆ’及び点Ｇ’に基づいて式（４）と式（５）との値を算出し、その算出値が式（３）の値と等しいか否かでマーカ上を横切ったか否かを判定することができる。
【００６５】
ガイドライン検出部２３は、マーカ検出部２２が検出したマーカの位置情報に基づいて、フレームの画像においてガイドラインを検出する。ガイドライン検出部２３は、図１５に示す縦方向の特徴的な濃淡パターンを検出するＢｏｘフィルタを用いてフレームの画像をラスタスキャンする。図１５は、第１の実施形態におけるガイドライン検出部２３がガイドラインを検出する際に用いるＢｏｘフィルタの一例を示す図である。同図に示すように、Ｂｏｘフィルタは、９画素×９画素のＢｏｘフィルタである。同図において、「０」、「−１」、「＋２」は、ハッチングで分けられている各画素（領域）に対する重み係数である。すなわち、（（ｘ，ｙ）；１≦ｘ≦３，１≦ｙ≦９）と（（ｘ，ｙ）；７≦ｘ≦９，１≦ｙ≦９）との画素においては、Ｃｂ成分に対して０を乗じる重み付けをする。また、（（ｘ，ｙ）；４≦ｘ≦６，１≦ｙ≦３）と、（（ｘ，ｙ）；４≦ｘ≦６，７≦ｙ≦９）との画素においては、Ｃｂ成分に対して（−１）を乗じる重み付けをする。また、（（ｘ，ｙ）；４≦ｘ≦６，４≦ｙ≦６）の画素においてはＣｂ成分に対して（＋２）を乗じる重み付けをする。
【００６６】
ガイドライン検出部２３は、Ｂｏｘフィルタを用いてフレームの画像をラスタスキャンして得られた各画素の値が近傍の画素において最大となる極大値の画素を検出し、検出した画素をプロットすることによりガイドライン候補の直線を得る。ガイドライン検出部２３は、例えば、極大値をプロットした結果を基にＨｏｕｇｈ変換による直線検出をすることにより、ガイドライン候補の直線を検出する。図１６は、第１の実施形態におけるガイドライン検出部２３がガイドラインを検出する処理の概要を示す図である。図１６（ａ）は、ガイドライン検出部２３が図１５に示したＢｏｘフィルタを用いて検出したガイドライン候補の直線を示す図である。なお、ガイドライン検出部２３による直線を検出する手法は、マーカ検出部２２による直線を検出する手法と同様である。
【００６７】
ガイドライン検出部２３は、ガイドライン候補の直線ごとに、マーカ検出部２２において横方向Ｂｏｘフィルタ（図１３）により検出された極大値の座標の集合のうちガイドライン候補の直線が通過する座標の数（交点の数）を算出し、算出した交点の数が予め定めた閾値と比較する。ガイドライン検出部２３は、交点の数が閾値より少ないガイドライン候補の直線を除外することにより、ガイドライン候補を絞り込む。図１６（ｂ）はガイドライン候補の絞り込みの概要を示す図である。なお、ガイドラインのパターンを図３（ｂ）のように画像に重畳した場合は、直接交わる点が存在しないため、ガイドライン候補の上下にあそびを設けて、その領域と交わる点の数に基づいてガイドライン候補を絞り込むようにしてもよい。すなわち、ガイドライン候補の近傍に対して所定の許容区間±εを設け、それによって指定される領域に横方向のＢｏｘフィルタ（例えば図５に示したＢｏｘフィルタ）による極大値の探索の処理結果が含まれている点の数をカウントし閾値と比較する。
【００６８】
ガイドライン検出部２３は、絞り込んだガイドライン候補の直線ごとに、マーカ検出部２２が検出した直線Ｌ１、直線Ｌ２、直線Ｌ４、及び直線Ｌ５との４つの交点の間隔に基づいてガイドライン候補から上下２本のガイドラインを確定する。具体的には、図１６（ｃ）に示すように、ガイドライン候補と直線Ｌ１との交点からガイドライン候補と直線Ｌ２との交点までの間隔ａ、及び、ガイドライン候補と直線Ｌ４との交点からガイドライン候補と直線Ｌ５との交点までの間隔ｂを用いる。間隔ａと間隔ｂとにより得られる次式（６）の値が最大になるガイドライン候補と、最小になるガイドライン候補とが上下２本のガイドラインとして決定する。
【００６９】
【数６】
2015109506.tif 000008
【００７０】
なお、ガイドラインを決定する方法はこれに限定されるものではない。図１７は、第１の実施形態におけるガイドライン検出部２３がガイドラインを検出する他の処理の概要を示す図である。図１７に示すように、ガイドライン候補と、直線Ｌ１、直線Ｌ３及び直線Ｌ５との交点から得られる間隔ａ、間隔ｂにより得られる式（６）の値が最大となるガイドライン候補と、最小となるガイドライン候補とを上下２本のガイドラインと決定するようにしてもよい。図１７に示す例では、直線Ｌ２及び直線Ｌ４に代えて直線Ｌ３を利用している。
【００７１】
射影変換補正部２４は、マーカ検出部２２が検出したマーカと、ガイドライン検出部２３が検出したガイドラインとに基づいて、フレームの画像における位置情報を取得する。図１８は、第１の実施形態においてマーカとガイドラインとから得られる位置情報の一例を示す図である。射影変換補正部２４は、図１８（ａ）に示すように、マーカ検出部２２がマーカに基づいて算出した直線Ｌ１及び直線Ｌと上下２本のガイドラインとの４つの交点（点Ｌ、点Ｍ、点Ｎ、点Ｏ）を算出する。射影変換補正部２４は、算出した４つの交点の位置関係と、マーカ埋め込み装置１が埋め込んだマーカとガイドラインとにおける対応する４つの交点の位置関係とから射影変換行列を得ることができる。射影変換補正部２４は、例えば特許文献２に記載されている手法を用いて、４つの交点（点Ｌ、点Ｍ、点Ｎ、点Ｏ）の位置関係から射影変換行列を算出する。
【００７２】
更に、射影変換補正部２４は、図３に示した電子透かしを埋め込んだ領域αβγδを逆算することができる。一方で、右端のマーカと左端のマーカとが検出できた場合には、図１８（ｂ）に示す４つの交点（点Ｌ、点Ｍ、点Ｐ、点Ｑ）の位置関係に基づいて、射影変換行列を算出するようにしてもよい。２つのマーカを検出できた場合の方が、より精度よく電子透かしを埋め込んだ領域αβγδを特定することができる。
【００７３】
ここで、マーカ埋め込み装置１において、図１０に示した（α１／β１）と（α２／β２）との大小関係を利用してマーカの位置を距離ｓシフトさせた場合の透かし埋め込み領域αβγδを特定する方法について説明する。射影変換補正部２４は、マーカ検出部２２が検出したマーカとガイドライン検出部２３が検出したガイドラインとの位置関係から、図１７における距離ａと距離ｂとを直接計測できる。射影変換補正部２４は、計測した距離ａと距離ｂとを用いて式（６）の値を算出する。射影変換補正部２４は、算出した値に基づいて、マーカのパターンが図１０（ａ）のパターンと図１０（ｂ）のパターンとのいずれのパターンであるかを判別できる。すなわち、射影変換補正部２４は、マーカ検出部２２が検出したマーカにおける複数の直線的な帯状の領域の位置に基づいて、マーカを分類することができる。この判定結果により、射影変換補正部２４は、図１８に示す４つの点（点Ｌ、点Ｍ、点Ｎ及び点Ｏ、又は、点Ｌ、点Ｍ、点Ｐ及び点Ｑ）を算出することができる。
【００７４】
図１９は、第１の実施形態における射影変換補正部２４がマーカのパターンを判別する処理を説明する図である。射影変換補正部２４は、前述の判定結果により、図１９（ａ）における４点（点Ｌ、点Ｍ、点Ｎ及び点Ｏ）、又は図１９（ｂ）における４点（点Ｌ’、点Ｍ’、点Ｎ’及び点Ｏ’）の位置を得ることができる。なお、点Ｌ’、点Ｍ’、点Ｎ’及び点Ｏ’の各点の位置は、図１０に示したマーカを配置する位置関係、すなわち４点（点Ｌ’、点Ｍ’、点Ｎ’及び点Ｏ’）が４点（点Ｌ、点Ｍ、点Ｎ及び点Ｏ）を距離ｓだけ右にシフトした位置にあることを既知として利用して算出する。射影変換補正部２４は、複数の直線的な帯状の領域の位置（例えば、直線Ｌ３が右上がりと右下がりとのいずれであるか）に基づいてマーカをカテゴリ分けし、マーカの属するカテゴリに対応するマーカの重畳位置に基づいた射影変換を行う。
【００７５】
射影変換補正部２４は、算出した４点の位置関係から、公知の手法（例えば特許文献２に記載の手法）を用いて射影変換行列を算出する。射影変換補正部２４は、算出した射影変換行列に基づいて、図３に示した透かし埋め込み領域（領域αβγδ）を逆算して特定することができる。
【００７６】
また、右端のマーカと左端のマーカとの両方のマーカが検出されている場合もそれぞれのマーカが、図１０（ａ）のパターンと図１０（ｂ）のパターンとのいずれのパターンであるかを判別する。この判別結果とマーカを移動させる距離ｓとを利用して、４点（点Ｌ、点Ｍ、点Ｎ及び点Ｏ）に相当する位置を特定することができる。射影変換補正部２４は、特定した４点（点Ｌ、点Ｍ、点Ｎ及び点Ｏ）から公知の手法を用いて射影変換行列を算出し、図３に示した透かし埋め込み領域（領域αβγδ）を逆算して特定することができる。
【００７７】
射影変換補正部２４は、前述のようにして得られた射影変換行列を用いて、電子透かしが埋め込まれている領域が所定の大きさの矩形領域（例えば、図３における領域αβγδ）になるようにフレームの画像に対して逆変換を行う。射影変換補正部２４は、逆変換により得られた画像を電子透かし検出部２５に出力する。
【００７８】
電子透かし検出部２５は、射影変換補正部２４から入力される画像から、マーカ埋め込み装置１において電子透かし重畳部１４が重畳した電子透かしを検出する。このとき、電子透かし検出部２５は、電子透かし重畳部１４が重畳した電子透かしに応じた手法を用いて電子透かしを検出する。電子透かし検出部２５は、画像から検出した電子透かしが示す情報を検出結果出力部２６に出力する。なお、電子透かし重畳部１４により映像コンテンツに埋め込まれた電子透かしが、時系列的に複数の画像の電子透かしを必要とする場合には、マーカ検出部２２とガイドライン検出部２３と射影変換補正部２４とが必要な枚数の画像が得られるまで繰り返して処理を行い、必要数の画像を得てから電子透かしを検出する。
【００７９】
検出結果出力部２６は、電子透かし検出部２５が検出した電子透かしが示す情報を、ディジタルデータとして外部に出力する。
【００８０】
図２０は、第１の実施形態におけるマーカ検出装置２が行うマーカ検出処理を示すフローチャートである。マーカ検出装置２において、マーカ検出処理が開始されると、マーカを検出する対象としての映像を画像入力部２１が入力する（ステップＳ２１）。
マーカ検出部２２は、画像入力部２１が入力した映像の各フレームのＣｂ成分において、Ｂｏｘフィルタを用いてマーカを検出する（ステップＳ２２）。
【００８１】
ガイドライン検出部２３は、画像入力部２１が入力した映像の各フレームのＣｂ成分において、Ｂｏｘフィルタを用いてガイドライン候補を検出する。ガイドライン検出部２３は、マーカ検出部２２が検出したマーカに関する情報（直線Ｌ１〜Ｌ５）に基づいて、検出したガイドライン候補から上下２本のガイドラインを検出する（ステップＳ２３）。
【００８２】
マーカ検出部２２は、検出したマーカが個以上であるか否かを判定し（ステップＳ２４）、検出したマーカが１個以上でない場合（ステップＳ２４：ＮＯ）、マーカ検出処理を終了させる。
一方、検出したマーカが１個以上である場合（ステップＳ２４：ＹＥＳ）、射影変換補正部２４は、マーカ検出部２２が検出したマーカに関する情報と、ガイドライン検出部２３が検出した２本のガイドラインとに基づいて、入力された映像のフレームに対して逆射影変換による補正を行う（ステップＳ２５）。
【００８３】
電子透かし検出部２５は、射影変換補正部２４による逆射影変換により得られた画像から電子透かしを検出する（ステップＳ２６）。
電子透かし検出部２５は、検出した電子透かしが示す情報が正しいか否かを判定し（ステップＳ２７）、電子透かしの情報が正しい場合（ステップＳ２７：ＹＥＳ）、当該情報を検出結果出力部２６を介して出力し（ステップＳ２８）、マーカ検出処理を終了させる。
一方、検出した電子透かしの情報が正しくない場合（ステップＳ２７：ＮＯ）、電子透かし検出部２５は、処理をステップＳ２１に戻して、ステップＳ２１からステップＳ４７までの処理を繰り返して行わせる。
【００８４】
このように、マーカ検出装置２において、画像入力部２１が入力した映像コンテンツは、マーカ検出部２２によって検出されたマーカと、ガイドライン検出部２３によって検出されたガイドラインとに基づいて逆射影変換が施され、逆射影変換された画像から電子透かしが検出される。このように、射影変換に対する耐性を有するマーカ及びガイドラインに基づいた逆射影変換を行うことにより、射影変換に対して耐性がない電子透かしを重畳した映像コンテンツに対して射影変換が施された場合においても、電子透かしを検出することができる。また、マーカにおける「共通した特徴的な濃淡パターン」を変動させることにより、更に人間の目で知覚されにくくすることができる。
【００８５】
前述のように、本実施形態のマーカ埋め込み装置１によれば、複数の直線的な帯状の領域を有し各領域において共通した特徴的な濃淡パターンを備えるマーカと特徴的な濃淡パターンを備えるガイドラインとが映像コンテンツに重畳される。また、マーカとガイドラインとの相対的な位置関係で特定される領域内における所定の位置（部分領域）に電子透かしが埋め込まれる。また、本実施形態のマーカ検出装置２によれば、前述の共通した特徴的な濃淡パターンを検出するためにＢｏｘフィルタ（例えば図５に示すＢｏｘフィルタ）を用いたラスタスキャンで、複数の極大値が検出される。検出された極大値のうちラスタスキャン方向に連続した極大値のフレーム上の位置に基づいて、複比を利用した射影変換不変量が算出される。算出された値を利用することにより、マーカが検出される。Ｂｏｘフィルタを用いたフィルタリングにおいては、予め算出した積分画像を用いることにより演算量を削減することができる。検出されたマーカの位置に基づいて、フレームの画像を逆射影変換することにより、幾何学的変換が施される前のフレームの画像が復元される。復元されたフレームの画像から電子透かしが検出される。
【００８６】
このように、本実施形態のマーカ埋め込み装置１とマーカ検出装置２とによれば、人間が視認しにくいようにマーカの埋め込み強度を小さくしても安定してマーカを検出することができる。また、複数のマーカを重畳している場合、少なくとも一つのマーカだけでも電子透かしが埋め込まれた領域を特定することができるので、映像コンテンツの一部にオクルージョンが発生しても、電子透かしの検出を行うことができる。また、マーカにおける複数の直線的な帯状の領域で定められる複比を一定に保ちつつ、フレームごとに複数の直線的な帯状の領域を変動させることで、マーカ検出精度を維持したまま、マーカの不視認性を向上させることができる。
【００８７】
なお、本実施形態におけるガイドラインの濃淡パターンについても、マーカの濃淡パターンと同様に、事前に設定し強度値ａを係数として濃淡パターンを強くしてから画像の人間が知覚しにくい色成分に足し込むようにしてもよい。
【００８８】
また、上述の実施形態においては、マーカの埋め込み位置は対象画像の右端と左端とにそれぞれ一つずつ配置する場合について説明したが、電子透かしを画像いっぱいに埋め込むのではなく、画像中の特定の部分領域に埋め込むようにしてもよい。この場合、電子透かしを埋め込む領域に合わせてマーカを埋め込む位置を変更するようにしてもよい。例えば、対象画像に二人の人物が映っているとして、それぞれの顔の領域に異なる二種類の電子透かしを埋め込むといったことも可能である。このようにすることで、一枚の画像コンテンツからそれぞれの人物に関連した情報サイトへとユーザを誘導することができる。
【００８９】
また、電子透かしの埋め込み領域を特定する目的以外に、画像認識を利用した同様なアプリケーション、例えばカメラで撮影したオブジェクトに関連したＷｅｂ情報サイトアクセスするための情報を提供するアプリケーションにおいても、画像認識の前処理として利用可能である。ただし、情報を埋め込む領域を含むオブジェクトは平面的な物体であり、かつ印刷等により事前にマーカを埋め込むことが可能な場合に限られる。もちろん、このような利用を想定する場合、マーカ埋め込み装置１における電子透かし重畳部１４や、マーカ検出装置２における射影変換補正部２４及び電子透かし検出部２５は不要であり、検出結果出力部２６は、埋め込み画像上のマーカの位置情報を出力するようにしてもよい。認識モジュールは、出力されたマーカの位置情報に基づいて、オブジェクトの切り出しや幾何学的変換の補正を行うことにより、認識精度を向上させることができる。また、マーカの位置情報に基づいて、オブジェクトとカメラとの相対的な空間位置関係を算出し、認識結果と合わせて利用することにより、認識精度を向上させるようにしてもよい。
【００９０】
上述した実施形態におけるマーカ埋め込み装置１とマーカ検出装置２とをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００９１】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００９２】
本発明は、射影変換を施すことによって得られた映像コンテンツを元のサイズの映像コンテンツに戻す逆射影変換が必要不可欠な用途にも適用できる。
【符号の説明】
【００９３】
１…マーカ埋め込み装置
１１…画像入力部
１２…マーカ重畳部
１３…ガイドライン重畳部
１４…電子透かし重畳部（情報重畳部）
１５…埋め込み済み画像出力部
２…マーカ検出装置
２１…画像入力部
２２…マーカ検出部
２３…ガイドライン検出部
２４…射影変換補正部
２５…電子透かし検出部（情報検出部）
２６…検出結果出力部
【図１】
2015109506.tif 000009
【図２】
2015109506.tif 000010
【図３】
2015109506.tif 000011
【図４】
2015109506.tif 000012
【図５】
2015109506.tif 000013
【図６】
2015109506.tif 000014
【図７】
2015109506.tif 000015
【図８】
2015109506.tif 000016
【図９】
2015109506.tif 000017
【図１０】
2015109506.tif 000018
【図１１】
2015109506.tif 000019
【図１２】
2015109506.tif 000020
【図１３】
2015109506.tif 000021
【図１４】
2015109506.tif 000022
【図１５】
2015109506.tif 000023
【図１６】
2015109506.tif 000024
【図１７】
2015109506.tif 000025
【図１８】
2015109506.tif 000026
【図１９】
2015109506.tif 000027
【図２０】
2015109506.tif 000028