(57)【要約】【課題】人の目に知覚されにくい方法で、映像に含まれる別の映像の表示画面に対応する部分を特定する。【解決手段】記憶部１１１は、表示画面に表示される第１の映像情報を記憶する。生成部１１２は、時間的に変化する埋め込み情報を生成する。重畳部１１３は、第１の映像情報の中の少なくとも表示画面の端部に対応する映像部分に、埋め込み情報を重畳することで、埋め込み情報が重畳された第２の映像情報を生成する。そして、出力部１１４は、第２の映像情報を出力する。【選択図】図１
2015106848.tif 000002
【特許請求の範囲】
【請求項１】
表示画面に表示される第１の映像情報を記憶する記憶部と、
時間的に変化する埋め込み情報を生成する生成部と、
前記第１の映像情報の中の少なくとも前記表示画面の端部に対応する映像部分に、前記埋め込み情報を重畳することで、前記埋め込み情報が重畳された第２の映像情報を生成する重畳部と、
前記第２の映像情報を出力する出力部と、
を備えることを特徴とする情報埋め込み装置。
【請求項２】
前記埋め込み情報は、所定周波数で時間的に変化する情報であることを特徴とする請求項１記載の情報埋め込み装置。
【請求項３】
前記生成部は、少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含む複数の情報を合成して、前記埋め込み情報を生成することを特徴とする請求項１記載の情報埋め込み装置。
【請求項４】
前記埋め込み情報は、少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含み、前記映像部分は、少なくとも第１の映像部分と第２の映像部分とを含み、前記重畳部は、前記第１の映像部分に前記第１の情報を重畳し、前記第２の映像部分に前記第２の情報を重畳することを特徴とする請求項１記載の情報埋め込み装置。
【請求項５】
時間的に変化する埋め込み情報が重畳された第１の映像情報を表示する表示画面を含む範囲を撮影した第２の映像情報を記憶する記憶部と、
前記第２の映像情報に含まれる画像を複数の領域に分割する分割部と、
前記複数の領域のうち少なくとも１つ以上の領域の特徴量の時間的な変化を解析することで、前記１つ以上の領域から前記埋め込み情報を検出する解析部と、
前記１つ以上の領域の位置に基づいて、前記画像内の前記表示画面に対応する画像部分を特定する特定部と、
を備えることを特徴とする情報検出装置。
【請求項６】
前記埋め込み情報は、所定周波数で時間的に変化する情報であり、前記解析部は、前記特徴量に対する時間方向の周波数解析を行うことで、前記１つ以上の領域から前記埋め込み情報を検出することを特徴とする請求項５記載の情報検出装置。
【請求項７】
前記埋め込み情報は、少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含む複数の情報を合成することで生成され、前記解析部は、前記特徴量に対する時間方向の周波数解析を行うことで、前記１つ以上の領域から前記埋め込み情報を検出することを特徴とする請求項５記載の情報検出装置。
【請求項８】
前記埋め込み情報は、少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含み、前記第１の情報は、前記第１の映像情報の中の第１の映像部分に重畳され、前記第２の情報は、前記第１の映像情報の中の第２の映像部分に重畳され、前記解析部は、前記特徴量に対する時間方向の周波数解析を行うことで、前記１つ以上の領域から前記第１の情報を検出するとともに、前記１つ以上の領域とは異なる１つ以上の領域から前記第２の情報を検出することを特徴とする請求項５記載の情報検出装置。
【請求項９】
時間的に変化する埋め込み情報を生成し、
表示画面に表示される第１の映像情報の中の少なくとも前記表示画面の端部に対応する映像部分に前記埋め込み情報を重畳することで、前記埋め込み情報が重畳された第２の映像情報を生成し、
前記第２の映像情報を出力する、
ことを特徴とする情報埋め込み方法。
【請求項１０】
時間的に変化する埋め込み情報が重畳された第１の映像情報を表示する表示画面を含む範囲を撮影した第２の映像情報に含まれる画像を複数の領域に分割し、
前記複数の領域のうち少なくとも１つ以上の領域の特徴量の時間的な変化を解析することで、前記１つ以上の領域から前記埋め込み情報を検出し、
前記１つ以上の領域の位置に基づいて、前記画像内の前記表示画面に対応する画像部分を特定する、
ことを特徴とする情報検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報埋め込み装置、情報検出装置、情報埋め込み方法、及び情報検出方法に関する。
【背景技術】
【０００２】
近年、テレビ受像機又はデジタルサイネージ端末等の表示画面に表示されている映像又は音声等を媒介して、その映像又は音声等のコンテンツに関連した情報を配信する、Online To Offline（Ｏ２Ｏ）等のビジネスが盛り上がりを見せている。
【０００３】
例えば、映像を媒介して情報が配信される場合、ユーザは、スマートフォン又はタブレット等のスマートデバイスにより映像を撮影することで、コンテンツに関連した情報を取得することができる。音声を媒介して情報が配信される場合、ユーザは、スマートデバイスにより音声を録音することで、コンテンツに関連した情報を取得することができる。このようなビジネスによれば、映像又は音声を媒介して、ユーザをネットワーク上のサービス又は実際の店舗等へ誘導することが可能になる。
【０００４】
このビジネスを実現する技術として、映像又は音声の認識技術、映像又は音声の中に別の情報を人が知覚できないような形態で埋め込む電子透かし技術等がよく利用されている。映像の認識技術によれば、１次元の信号である音声よりも多くの特徴量を利用できるため、短い時間で高い精度の認識結果を得ることができる。また、映像の電子透かし技術によれば、短い時間で音声よりも多くの情報を埋め込むことができる。
【０００５】
このような観点からは、映像を利用した技術は音声を利用した技術より有利であると考えられる。その一方で、映像は音声とは異なり、撮像装置と被写体である表示画面との位置関係によって空間的な歪みが生じ、その歪みが映像の認識精度や電子透かしの検出精度の低下につながる。このため、空間的な歪みを前処理で補正することが望ましい。
【０００６】
前処理に関連して、印刷物をカメラで撮影した矩形画像を補正するために四隅の点を検出する方法が知られている（例えば、特許文献１を参照）。この方法では、矩形画像の注目点の近傍の輝度の重み付き和が縁判定閾値を超えた場合に、縁であることが検出される。また、矩形画像の近傍点範囲と最適な近傍点範囲幅と重み係数行列列数から求められた重み付き和が枠判定閾値を超えた場合に、枠であることが検出される。そして、検出された縁又は枠に基づいて四隅の座標が検出される。
【０００７】
前処理に関連して、撮影画像から原画像領域を抽出する画像領域判定方法も知られている（例えば、特許文献２を参照）。この画像領域判定方法では、撮影画像に含まれる原画像領域のエッジラインの端点が暫定頂点として求められ、暫定頂点の周辺の画像にフーリエ変換処理が施されて、低周波数成分の位相角が算出される。そして、算出された位相角に基づいて暫定頂点の位置ずれが調整されて最終検出頂点が求められ、最終検出頂点の座標値をもとに原画像領域が抽出される。
【０００８】
また、動画像データの画質が劣化しないように透かし情報を動画像データに埋め込む電子透かし埋め込み装置も知られている（例えば、特許文献３を参照）。この電子透かし埋め込み装置は、動画像データ中の各画像に重畳される透かしパターンの面積を、時系列に沿って、電子透かし情報に含まれるシンボルの値に応じて周期的に変化させる。そして、電子透かし埋め込み装置は、各画像とその画像に対応する透かしパターンとが重なる領域に含まれる各画素の値を、透かしパターンに含まれる画素が持つ所定の値に応じて修正する。
【０００９】
撮影した動画像からリアルタイムに電子透かし検出を行うことを可能とする電子透かし埋め込み方法も知られている（例えば、特許文献４を参照）。この電子透かし埋め込み方法では、透かし情報とフレーム表示時刻と透かしパターン切り替え情報を用いて透かしパターンが生成され、透かしパターンが動画像データのフレーム画像に重畳される。そして、このような処理を順次繰り返して得られる透かし入りフレーム画像群を結合して、透かし入り動画像データが生成される。
【００１０】
デフリッカー操作に対してロバストな透かし埋め込み方法も知られている（例えば、特許文献５を参照）。この透かし埋め込み方法では、各画像が少なくとも第１及び第２の画像領域に分割され、第１の画像領域の大域的特性を増加させるとともに第２の画像領域の大域的特性を減少させることにより、透かしサンプルの一方の値が画像に埋め込まれる。逆に、第１の画像領域の大域的特性を減少させるとともに第２の画像領域の大域的特性を増加させることにより、透かしサンプルの他方の値が画像に埋め込まれる。
【００１１】
動画像への電子透かし情報の埋め込みにより発生するフリッカーを抑制する電子透かし埋め込み装置も知られている（例えば、特許文献６を参照）。この電子透かし埋め込み装置は、第１の値を持つ複数の画素を含み、一定の周期で面積が変動し、かつ、面積の周期変動における位相が電子透かし情報に含まれるシンボルの値に応じて変化する、電子透かしパターンを生成する。また、電子透かし埋め込み装置は、第２の値を持つ複数の画素を含み、上述の周期とは異なる周波数特性で面積が変動する、フリッカー抑制パターンを生成する。そして、電子透かし埋め込み装置は、時系列の画像の各々の画像領域に対して電子透かしパターンを重畳するとともにフリッカー抑制パターンを重畳し、パターンが重畳された画像領域内の各画素の値を、第１の値及び第２の値に応じて修正する。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００５−２７７７３２号公報
【特許文献２】特開２００５−１８２１６４号公報
【特許文献３】特開２０１２−１４２７４１号公報
【特許文献４】国際公開第２００７／０１５４５２号パンフレット
【特許文献５】国際公開第２００４／０６６６２６号パンフレット
【特許文献６】特開２０１３−０３０９７４
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述した従来の電子透かし技術には、以下のような問題がある。
特許文献１の四隅の点を検出する方法では、よく使用されるハフ変換による直線検出とは異なり、比較的少ない演算量で画像の四隅の座標を検出でき、特許文献２の画像領域判定方法では、高速フーリエ変換等を利用することで演算量を少なく抑えることができる。このため、パーソナルコンピュータ（ＰＣ）と比べてCentral processing Unit（ＣＰＵ）の性能が低いスマートデバイス等の端末でも、軽快に処理を実行できると考えられる。
【００１４】
しかしながら、映像を表示する表示装置の表示画面を含む範囲を撮影した画像から表示画面に対応する部分を検出する場合、表示画面に表示された映像の輝度や色と、表示画面以外の背景部分の輝度や色とが類似していることもあり得る。この場合、表示画面の周囲に存在する表示装置の枠等、別の矩形を表示画面の境界として誤検出する可能性が高くなる。また、検出精度を保つために、表示画面に表示される映像の周辺部に枠の画像を合成して表示することも考えられるが、枠の画像が目立って美観が損なわれるという問題がある。
【００１５】
また、正しい表示画面の境界を検出するために、空間的な周波数特性を有する２次元パターンを映像に埋め込んでおき、表示画面を含む範囲を撮影した画像からフーリエ変換により周波数特性を抽出する方法も考えられる。
【００１６】
しかしながら、印刷される画像ではなく表示画面に表示される映像の場合、このような静的な２次元パターンは、曇りガラスのようなノイズとしてかえって目立つと考えられる。目立たない程度に２次元パターンを弱めるとその検出が困難になるため、空間的な周波数特性を映像に適用することは困難である。
【００１７】
なお、かかる問題は、スマートデバイスにより撮影された映像からテレビ受像機又はデジタルサイネージ端末の表示画面を検出する場合に限らず、他の撮像装置により撮影された映像から他の表示装置の表示画面を検出する場合においても生ずるものである。
【００１８】
１つの側面において、本発明は、人の目に知覚されにくい方法で、映像に含まれる別の映像の表示画面に対応する部分を特定することを目的とする。
【課題を解決するための手段】
【００１９】
１つの案では、情報埋め込み装置は、記憶部、生成部、重畳部、及び出力部を含む。
記憶部は、表示画面に表示される第１の映像情報を記憶し、生成部は、時間的に変化する埋め込み情報を生成する。重畳部は、第１の映像情報の中の少なくとも表示画面の端部に対応する映像部分に、埋め込み情報を重畳することで、埋め込み情報が重畳された第２の映像情報を生成する。そして、出力部は、第２の映像情報を出力する。
【発明の効果】
【００２０】
実施形態によれば、人の目に知覚されにくい方法で、映像に含まれる別の映像の表示画面に対応する部分を特定することが可能になる。
【図面の簡単な説明】
【００２１】
【図１】情報埋め込み装置の機能的構成図である。
【図２】第１の情報埋め込み処理のフローチャートである。
【図３】情報検出装置の機能的構成図である。
【図４】第１の情報検出処理のフローチャートである。
【図５】所定のパターンの埋め込み情報を示す図である。
【図６】所定のパターンの埋め込み情報を検出する処理を示す図である。
【図７】４個の周波数に基づく埋め込み情報を示す図である。
【図８】４個の周波数に基づく埋め込み情報を検出する処理を示す図である。
【図９】周波数ｆ１の周波数成分が検出されない場合を示す図である。
【図１０】生成部の第１の機能的構成図である。
【図１１】第２の情報埋め込み処理のフローチャートである。
【図１２】第２の情報検出処理のフローチャートである。
【図１３】正面及び斜め方向から撮影した表示画面を示す図である。
【図１４】表示画面の４個の部分に対する埋め込み情報を示す図である。
【図１５】表示画面の４個の部分から埋め込み情報を検出する処理を示す図である。
【図１６】周波数ｆ４の周波数成分が検出されない場合を示す図である。
【図１７】生成部の第２の機能的構成図である。
【図１８】第３の情報埋め込み処理のフローチャートである。
【図１９】第３の情報検出処理のフローチャートである。
【図２０】時間的に変化する透かしパターンを示す図である。
【図２１】情報処理装置のハードウェア構成図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しながら、実施形態を詳細に説明する。
特許文献１の四隅の点を検出する方法では、よく使用されるハフ変換による直線検出とは異なり、比較的少ない演算量で画像の四隅の座標を検出でき、特許文献２の画像領域判定方法では、高速フーリエ変換等を利用することで演算量を少なく抑えることができる。このため、パーソナルコンピュータ（ＰＣ）と比べてCentral processing Unit（ＣＰＵ）の性能が低いスマートデバイス等の端末でも、軽快に処理を実行できると考えられる。
【００２３】
しかしながら、映像を表示する表示装置の表示画面を含む範囲を撮影した画像から表示画面に対応する部分を検出する場合、表示画面に表示された映像の輝度や色と、表示画面以外の背景部分の輝度や色とが類似していることもあり得る。この場合、表示画面の周囲に存在する表示装置の枠等、別の矩形を表示画面の境界として誤検出する可能性が高くなる。また、検出精度を保つために、表示画面に表示される映像の周辺部に枠の画像を合成して表示することも考えられるが、枠の画像が目立って美観が損なわれるという問題がある。
【００２４】
また、正しい表示画面の境界を検出するために、空間的な周波数特性を有する２次元パターンを映像に埋め込んでおき、表示画面を含む範囲を撮影した画像からフーリエ変換により周波数特性を抽出する方法も考えられる。
【００２５】
しかしながら、印刷される画像ではなく表示画面に表示される映像の場合、このような静的な２次元パターンは、曇りガラスのようなノイズとしてかえって目立つと考えられる。目立たない程度に２次元パターンを弱めるとその検出が困難になるため、空間的な周波数特性を映像に適用することは困難である。
【００２６】
なお、かかる問題は、スマートデバイスにより撮影された映像からテレビ受像機又はデジタルサイネージ端末の表示画面を検出する場合に限らず、他の撮像装置により撮影された映像から他の表示装置の表示画面を検出する場合においても生ずるものである。
【００２７】
図１は、実施形態の情報埋め込み装置の機能的構成例を示している。図１の情報埋め込み装置１０１は、記憶部１１１、生成部１１２、重畳部１１３、及び出力部１１４を含む。
【００２８】
記憶部１１１は、表示画面に表示される第１の映像情報を記憶する。生成部１１２及び重畳部１１３は、第１の映像情報から第２の映像情報を生成し、出力部１１４は、第２の映像情報を出力する。
【００２９】
図２は、図１の情報埋め込み装置１０１が行う情報埋め込み処理の例を示すフローチャートである。
【００３０】
生成部１１２は、時間的に変化する埋め込み情報を生成する（ステップ２０１）。重畳部１１３は、第１の映像情報の中の少なくとも表示画面の端部に対応する映像部分に、埋め込み情報を重畳することで、埋め込み情報が重畳された第２の映像情報を生成する（ステップ２０２）。そして、出力部１１４は、第２の映像情報を出力する（ステップ２０３）。
【００３１】
表示画面は、テレビ受像機やデジタルサイネージ端末等の表示装置の表示画面であり、第２の映像情報は、その表示画面に表示される。表示画面の端部は、表示画面の周辺部分の一部又は全部に対応する。表示装置がテレビ受像機である場合、出力部１１４は、第２の映像情報を放送事業者の放送装置へ出力することができ、表示装置がデジタルサイネージ端末である場合、出力部１１４は、第２の映像情報を配信事業者の配信サーバへ出力することができる。
【００３２】
図３は、情報埋め込み装置１０１により埋め込まれた情報を検出する情報検出装置の機能的構成例を示している。図３の情報検出装置３０１は、記憶部３１１、分割部３１２、解析部３１３、及び特定部３１４を含む。
【００３３】
記憶部３１１は、時間的に変化する埋め込み情報が重畳された第２の映像情報を表示する表示画面を含む範囲を撮影した第３の映像情報を記憶する。
【００３４】
第２の映像情報を表示する表示装置がテレビ受像機である場合、第３の映像情報は、テレビ受像機の表示画面をカメラ等の撮像装置により撮影することで取得できる。また、表示装置がデジタルサイネージ端末である場合、第３の映像情報は、デジタルサイネージ端末の表示画面を撮像装置により撮影することで取得できる。
【００３５】
分割部３１２及び解析部３１３は、第３の映像情報から埋め込み情報を検出し、特定部３１４は、表示画面に対応する画像部分を特定する。
【００３６】
図４は、図３の情報検出装置３０１が行う情報検出処理の例を示すフローチャートである。
【００３７】
分割部３１２は、第２の映像情報に含まれる画像（フレーム等）を複数の領域に分割する（ステップ４０１）。解析部３１３は、複数の領域のうち少なくとも１つ以上の領域の特徴量の時間的な変化を解析することで、１つ以上の領域から埋め込み情報を検出する（ステップ４０２）。特定部３１４は、１つ以上の領域の位置に基づいて、画像内の表示画面に対応する画像部分を特定する（ステップ４０３）。
【００３８】
図１の情報埋め込み装置１０１及び図３の情報検出装置３０１によれば、人の目に知覚されにくい方法で、映像に含まれる別の映像の表示画面に対応する部分を特定することが可能になる。
【００３９】
図５は、埋め込み情報の例を示している。図５の埋め込み情報は、所定のパターン５０１に従って時間的に変化する特徴量を表しており、表示装置の表示画面の全体に対応する映像部分に重畳される。特徴量としては、例えば、映像情報に含まれる時系列の複数の画像の各々における画素値の統計値を用いることができ、画素値としては、輝度信号、色（ＲＧＢ等）、色差信号等を用いることができる。また、画素値の統計値としては、平均値、最大値、最小値、中央値、最頻値等を用いることができる。
【００４０】
画素値の統計値を特徴量として用いた場合、重畳部１１３は、画像に含まれる複数の画素の画素値の統計値がパターン５０１に従って時間的に変化するように、それらの画素値を変更する。このとき、画像内のどの領域においても統計値が同じパターン５０１に従って一様に変化するように、画素値を変更することが望ましい。パターン５０１としては、例えば、低周波数で変化する波状パターンを用いることができる。
【００４１】
例えば、特許文献３の技術を利用すれば、画素値を変更する画素の数を波状パターンに従って増減することで、映像情報にそのパターンの埋め込み情報を重畳することができる。各時刻における画像に埋め込み情報を重畳するために、画像合成の一例であるアルファブレンドを用いた場合、原画像Ｘと埋め込み情報の画像Ｙとを合成した画像Ｚは、次式により表される。
Ｚ＝（１−α）Ｘ＋αＹ      （１）
【００４２】
式（１）の原画像Ｘ、画像Ｙ、及び画像Ｚは、画素値の２次元配列を表す。表示装置がテレビ受像機である場合、原画像Ｘは、テレビ受像機が受信した放送番組の映像に含まれる画像であり、表示装置がＰＣである場合、原画像Ｘは、ＰＣの表示画面に表示される映像に含まれる画像である。また、表示装置がデジタルサイネージ端末である場合、原画像Ｘは、デジタルサイネージ端末の表示画面に表示される映像に含まれる画像である。
【００４３】
式（１）のαは、画像Ｙを重畳する比率を表し、０から１までの範囲の実数である。α＝０のとき、画像Ｚは原画像Ｘに一致し、α＝１のとき、画像Ｚは埋め込み情報の画像Ｙに一致する。αの値が大きいほど画像Ｙの比率が大きくなるため、埋め込み情報の検出精度は高くなるが、人の目に知覚されやすくなる。そこで、事前評価等によってαを適切な値に調整することが望ましい。
【００４４】
人の視覚には、時間方向の急激な輝度や色の変化は認識しやすい反面、時間方向の緩やかな変化は認識しにくいという特徴がある。そこで、時間方向に緩やかに変化する低周波数の波状パターンを用いることで、人の目に知覚されにくい埋め込み情報を表示画面に重畳表示することができる。この場合、表示画面に表示された画像や映像の視聴が妨げられたり、美観が損なわれたりする心配はない。波状パターンの周波数としては、数Ｈｚを用いてもよい。
【００４５】
波形としては、正弦波、三角波等のように、フーリエ変換等の周波数解析により検出できる形状が用いられる。波の振幅としては、表示画面６０２の階調に応じた振幅を用いることができる。例えば、表示画面６０２の輝度の階調が２５６階調（８ビット）である場合、輝度の振幅が２５６であるような波状パターンを用いてもよい。
【００４６】
図６は、図５の埋め込み情報を検出する情報検出処理の例を示している。情報検出装置３０１の記憶部３１１は、例えば、撮像装置により撮影された映像情報を記憶している。情報検出装置３０１は、入力インタフェースを介して映像情報を記憶部３１１に入力することができる。映像情報に含まれる各時刻の画像６０１には、表示画面６０２の画像が含まれており、表示画面６０２には、埋め込み情報が重畳された映像情報が表示される。
【００４７】
分割部３１２は、各時刻の画像６０１を複数の領域６０３に分割する。解析部３１３は、時系列の複数の画像に対して、各領域６０３の特徴量を計算して記憶部３１１に格納する処理を行う。そして、解析部３１３は、所定数の画像を処理した時点で、記憶部３１１に格納されている特徴量に対して、領域６０３毎にフーリエ変換等の周波数解析を行い、時間方向における周波数特性を求める。これにより、各領域６０３における特徴量の振幅又は強度の分布を示すスペクトルが求められる。所定数としては、例えば、１つの埋め込み情報の時間長に対応する複数の画像の数を用いてもよい。
【００４８】
図６に示されているように、画像６０１内で表示画面６０２の画像が映っている画像部分６０４に含まれる各領域６０３では、特徴量の波状パターンの周波数における振幅又は強度が大きくなる。一方、表示画面６０２以外の背景部分のように、埋め込み情報が重畳されていない各領域６０３では、その周波数における振幅又は強度が０に近くなる。したがって、解析部３１３は、特徴量のスペクトルに基づいて、画像部分６０４に含まれる各領域６０３から埋め込み情報を検出することができる。
【００４９】
解析部３１３は、例えば、領域６０３毎に、スペクトル中の埋め込み情報の周波数における振幅又は強度を二値化することで、各領域６０３から埋め込み情報を検出する。このとき、解析部３１３は、閾値処理によって振幅又は強度の二値化を行ってもよい。閾値処理においては、特徴量の波状パターンの振幅又は強度より小さい値を閾値として用いることができる。特徴量の波状パターンの振幅又は強度の５０％に相当する値を閾値として用いてもよい。
【００５０】
解析部３１３は、閾値処理において、領域６０３の埋め込み情報の周波数における振幅又は強度が閾値以上であれば、その領域６０３に論理値“１”を割り当て、振幅又は強度が閾値未満であれば、その領域６０３に論理値“０”を割り当てる。
【００５１】
解析部３１３は、撮像装置のカメラパラメータ又は撮影環境によって特徴量の波状パターンの振幅又は強度が小さくなることを想定した閾値を用いてもよい。また、解析部３１３は、画像６０１全体における振幅又は強度の分布を参照して、判別分析法等の適応的な処理により二値化を行ってもよい。
【００５２】
特定部３１４は、二値化された振幅又は強度のうち大きな方の値を有する領域６０３の位置に基づいて、表示画面６０２に対応する画像部分６０４を特定する。例えば、論理値“１”と論理値“０”を用いて二値化が行われた場合、論理値“１”を有する領域６０３の集合が、画像部分６０４として特定される。
【００５３】
表示画面６０２を撮像装置で撮影する場合、上下反転又は左右反転で撮影することは考えにくい。そこで、表示画面６０２の形状が矩形である場合、特定部３１４は、単純に、画像部分６０４の左上頂点６１１、右上頂点６１２、左下頂点６１３、及び右下頂点６１４の座標を、画像部分６０４を示す座標として求めることができる。
【００５４】
これらの４頂点の座標を利用することで、撮像装置と表示画面６０２との位置関係による射影歪みを補正したり、画像部分６０４を切り出したりすることが可能になり、後段における映像の認識精度や電子透かしの検出精度が改善される。
【００５５】
ところで、画像６０１の形状が矩形である場合、分割部３１２は、各領域６０３としてＭ画素×Ｎ画素（Ｍ及びＮは１以上の整数）の矩形領域を用いることができる。この矩形領域の大きさをより小さくすることで、画像部分６０４を示す座標をより正確に求めることができる。ただし、領域６０３の大きさを小さくすればするほど領域６０３の数が増えるため、周波数解析の計算回数も増える。また、望ましい座標の精度は、映像の認識方法や電子透かしの埋め込み方法にも依存する。
【００５６】
例えば、特許文献４の電子透かし埋め込み方法では、映像に含まれる各フレームを複数のブロックに分割して、フレーム画像に透かしパターンが重畳される。この場合、ブロックの境界がずれると電子透かしの検出精度が低くなるため、座標の誤差を数画素以内に収めることが望ましい。したがって、この電子透かし埋め込み方法を用いる場合は、領域６０３の大きさを示すＭ及びＮの値として、数画素程度の値が用いられる。
【００５７】
また、特許文献５の透かし埋め込み方法では、各画像が２つの画像領域に分割されるが、１つの画像領域の大きさは、特許文献４のブロックに比べると大きい。このため、多少の誤差があっても、透かし検出器が求める画像領域の大域的特性に対する影響は少ないと考えられる。したがって、この透かし埋め込み方法を用いる場合は、領域６０３の大きさを示すＭ及びＮの値として、数画素よりも大きな値を用いることができる。
【００５８】
ただし、ブロック又は画像領域の数に比例して、単位時間当たりの映像情報に埋め込める情報量も多くなるため、利用用途に応じて領域６０３の大きさを調整することが望ましい。
【００５９】
実施形態の情報検出処理は、特許文献３又は特許文献５のように比較的位置ずれに強い電子透かし検出方法の前処理だけでなく、特許文献４のように高精度な座標に基づく電子透かし検出方法の前処理としても適用可能である。
【００６０】
図５の埋め込み情報を映像情報に重畳することで、その映像情報を表示する表示画面を含む範囲を撮影した映像情報から、表示画面に対応する画像部分を特定することができる。しかし、実際には、表示画面の周囲にある照明等の外乱により、周波数解析を行っても特定の周波数の信号が検出されないことがある。例えば、水銀灯等の下で表示画面を撮影すると、撮影された映像情報にノイズが発生するが、そのノイズの周波数特性が重畳された埋め込み情報と類似している場合には、埋め込み情報の信号とノイズが干渉して、その信号を検出することが難しくなる。
【００６１】
そこで、情報検出処理のノイズに対する耐性を高めるために、単一の周波数ではなく、複数の異なる周波数に基づく埋め込み情報を利用することが考えられる。
【００６２】
図７は、４個の周波数に基づく埋め込み情報の例を示している。図７の埋め込み情報は、パターン７１１に従って時間的に変化する特徴量を表しており、表示装置の表示画面の全体に対応する映像部分に重畳される。
【００６３】
パターン７１１は、周波数ｆ１で変化するパターン７０１、周波数ｆ２で変化するパターン７０２、周波数ｆ３で変化するパターン７０３、及び周波数ｆ４で変化するパターン７０４を合成することで生成される。例えば、４個のパターンの和、平均等を求めることで、それらのパターンを合成することができる。
【００６４】
周波数ｆ１〜周波数ｆ４としては、数Ｈｚを用いてもよい。ただし、４個の周波数は互いに異なっている。パターン７０１〜パターン７０４の波形としては、正弦波、三角波等を用いることができ、波の振幅としては、表示画面６０２の階調に応じた振幅を用いることができる。
【００６５】
重畳部１１３は、画像に含まれる複数の画素の画素値の統計値がパターン７１１に従って時間的に変化するように、例えば、式（１）の画像合成により、それらの画素値を変更する。重畳部１１３は、特許文献６の電子透かし埋め込み方法を用いて、パターン７０１〜パターン７０４の情報を映像情報に重畳してもよい。
【００６６】
図８は、図７の埋め込み情報を検出する情報検出処理の例を示している。この場合、解析部３１３は、各領域６０３における特徴量の振幅又は強度の分布を示すスペクトルを求める。そして、解析部３１３は、例えば、領域６０３毎に、スペクトル中の周波数ｆ１〜周波数ｆ４における振幅又は強度（周波数成分）を合成して二値化することで、各領域６０３から埋め込み情報を検出する。例えば、４個の周波数における周波数成分の和、平均等を求めることで、それらの周波数成分を合成することができる。
【００６７】
特定部３１４は、埋め込み情報が検出された領域６０３の位置に基づいて、頂点６１１〜頂点６１４の座標を、表示画面６０２に対応する画像部分６０４を示す座標として求める。
【００６８】
撮影環境が良好な場合、画像部分６０４に含まれる各領域６０３からすべての周波数成分が検出される。しかし、撮影環境が良好でない場合、画像６０１の背景部分に発生するノイズの影響により、いずれかの周波数成分が検出されないことがある。このような場合であっても、他の周波数成分に基づいて画像部分６０４を特定することができる。
【００６９】
例えば、図９に示すように、周波数ｆ１の周波数成分が検出されない場合であっても、周波数ｆ２〜周波数ｆ４の周波数成分に基づいて、頂点６１１〜頂点６１４の座標を求めることができる。したがって、図７の埋め込み情報を用いることで、情報検出処理のノイズに対する耐性が向上する。４個の周波数に基づく埋め込み情報の代わりに、２個、３個、又は５個以上の周波数に基づく埋め込み情報を用いてもよい。
【００７０】
図１０は、複数の異なる周波数に基づく埋め込み情報を生成する生成部１１２の機能的構成例を示している。図１０の生成部１１２は、パターン生成部１００１及び合成部１００２を含む。パターン生成部１００１は、それぞれ異なる周波数で時間的に変化する複数のパターンを生成し、合成部１００２は、それらのパターンを合成して埋め込み情報を生成する。
【００７１】
図１１は、複数の異なる周波数に基づく埋め込み情報を用いた場合の情報埋め込み処理の例を示すフローチャートである。
【００７２】
生成部１１２のパターン生成部１００１は、それぞれ異なる周波数で時間的に変化する複数のパターンを生成し（ステップ１１０１）、合成部１００２は、それらのパターンを合成して埋め込み情報を生成する（ステップ１１０２）。
【００７３】
図１１のステップ１１０３及びステップ１１０４の処理は、図２のステップ２０２及びステップ２０３の処理と同様である。
【００７４】
図１２は、複数の異なる周波数に基づく埋め込み情報を用いた場合の情報検出処理の例を示すフローチャートである。
【００７５】
情報検出装置３０１の分割部３１２は、第２の映像情報に含まれる画像を複数の領域に分割する（ステップ１２０１）。
【００７６】
解析部３１３は、各領域の特徴量を計算し（ステップ１２０２）、領域毎に周波数解析を行って、各領域における特徴量の振幅又は強度の分布を示すスペクトルを求める（ステップ１２０３）。そして、解析部３１３は、領域毎に、スペクトル中の複数の周波数における周波数成分を合成し（ステップ１２０４）、合成した結果に基づいて各領域から埋め込み情報を検出する（ステップ１２０５）。
【００７７】
特定部３１４は、埋め込み情報が検出された領域の位置に基づいて、画像内の表示画面に対応する画像部分を特定する（ステップ１２０６）。
【００７８】
図１１の情報埋め込み処理及び図１２の情報検出処理によれば、人の目に知覚されにくい方法で、映像に含まれる別の映像の表示画面に対応する部分を特定することが可能になる。また、いずれかの周波数成分が検出されない場合であっても、他の周波数成分に基づいて表示画面に対応する画像部分を特定することができ、情報検出処理のノイズに対する耐性が向上する。
【００７９】
ところで、撮影環境によっては、表示画面の四隅の座標だけでなく、表示画面の中心の座標を後段の処理で用いることが望ましい場合がある。
【００８０】
例えば、図１３（Ａ）に示すように、表示画面を正面から撮影した場合、頂点１３０１及び頂点１３０３を通る直線１３１１と、頂点１３０２及び頂点１３０４を通る直線１３１２の両方から等距離にある直線１３１３を求めることができる。この場合、表示画面の中心１３０５は直線１３１３上からあまりずれることはなく、頂点１３０１〜頂点１３０４の座標に基づいて中心１３０５の座標を求めることができる。
【００８１】
一方、図１３（Ｂ）に示すように、表示画面を斜め方向から撮影した場合、頂点１３２１及び頂点１３２３を通る直線１３３１と、頂点１３２２及び頂点１３２４を通る直線１３３２の両方から等距離にある直線１３３３を求めることができる。しかし、表示画面の中心１３２５は、射影歪みによって直線１３３３上の点１３２６から大きくずれており、頂点１３２１〜頂点１３２４の座標に基づいて中心１３２５の座標を求めることは困難である。
【００８２】
画像処理において射影歪みに対する高精度な補正は演算量が多いため、スマートデバイスにとっては負荷が大きい。このため、簡易的な演算で射影歪みを補正することも考えられるが、中心のずれを補正することは難しい。映像の認識技術や電子透かしの検出技術では、画像をブロック分割して画像処理を行うことが多いため、中心のずれが処理精度に大きく影響する。
【００８３】
そこで、表示画面を斜め方向から撮影した場合も中心のずれを補正できるように、表示画面の四隅の座標とともに中心の座標を求めることが望ましい。そのためには、表示画面の複数の部分にそれぞれ異なる周波数の情報を埋め込むことが考えられる。
【００８４】
図１４は、表示画面の４個の部分にそれぞれ異なる周波数の情報を埋め込む埋め込み情報の例を示している。図１４の埋め込み情報は、周波数ｆ１で変化するパターン７０１、周波数ｆ２で変化するパターン７０２、周波数ｆ３で変化するパターン７０３、及び周波数ｆ４で変化するパターン７０４を含む。
【００８５】
表示装置の表示画面６０２は、左上部分、右上部分、左下部分、及び右下部分の４個の部分に分割され、パターン７０１の情報は左上部分に対応する映像部分に重畳され、パターン７０２の情報は右上部分に対応する映像部分に重畳される。パターン７０３の情報は左下部分に対応する映像部分に重畳され、パターン７０４の情報は右下部分に対応する映像部分に重畳される。
【００８６】
重畳部１１３は、表示画面６０２の各部分に含まれる複数の画素の画素値の統計値がパターン７０１〜パターン７０４のいずれかに従って時間的に変化するように、例えば、式（１）の画像合成により、それらの画素値を変更する。このとき、１つの部分内のどの領域においても統計値が同じパターンに従って一様に変化するように、画素値を変更することが望ましい。
【００８７】
なお、表示画面６０２の分割部分の形状としては、矩形、多角形、円等を用いることができる。表示画面６０２を、それぞれ異なる形状の複数の部分に分割してもよい。
【００８８】
図１５は、図１４の埋め込み情報を検出する情報検出処理の例を示している。この場合、解析部３１３は、各領域６０３における特徴量の振幅又は強度の分布を示すスペクトルを求める。そして、解析部３１３は、例えば、領域６０３毎に、スペクトル中の周波数ｆ１〜周波数ｆ４の各々における周波数成分を二値化することで、各領域６０３から埋め込み情報を検出する。
【００８９】
このとき、表示画面６０２に対応する画像部分６０４のうち、パターン７０１の情報が重畳された画像部分１５０１に含まれる各領域６０３では、周波数ｆ１の周波数成分が大きくなるため、その周波数成分が二値化される。同様に、パターン７０２の情報が重畳された画像部分１５０２に含まれる各領域６０３では、周波数ｆ２の周波数成分が二値化される。パターン７０３の情報が重畳された画像部分１５０３に含まれる各領域６０３では、周波数ｆ３の周波数成分が二値化される。パターン７０４の情報が重畳された画像部分１５０４に含まれる各領域６０３では、周波数ｆ４の周波数成分が二値化される。
【００９０】
このように、各領域６０３から埋め込み情報が検出されたか否かだけではなく、検出された埋め込み情報の周波数も検出されるため、周波数に基づいて各領域６０３を分類することができる。
【００９１】
特定部３１４は、埋め込み情報が検出された領域６０３の位置と、検出された埋め込み情報の周波数とに基づいて、画像部分１５０１〜画像部分１５０４を特定し、表示画面６０２の頂点６１１〜頂点６１４及び中心１５１１の座標を求める。中心１５１１の座標は、画像部分１５０１の右下頂点、画像部分１５０２の左下頂点、画像部分１５０３の右上頂点、又は画像部分１５０４の左上頂点の座標として求めることができる。
【００９２】
撮影環境が良好でない場合、画像６０１の背景部分に発生するノイズの影響により、いずれかの周波数成分が検出されないことがある。このような場合であっても、他の周波数成分に基づいて画像部分６０４を特定することができる。
【００９３】
例えば、図１６に示すように、周波数ｆ４の周波数成分が検出されず、画像部分１５０４が特定されない場合であっても、周波数ｆ２〜周波数ｆ４の周波数成分が検出されれば、画像部分１５０１〜画像部分１５０３が特定される。そこで、画像部分１５０１〜画像部分１５０３の位置に基づいて、頂点６１１〜頂点６１３及び中心１５１１の座標を求めることができる。さらに、表示画面６０２の形状が既知であれば、頂点６１１〜頂点６１３の座標から頂点６１４の座標を推定することができる。
【００９４】
したがって、図１４の埋め込み情報を用いることで、情報検出処理のノイズに対する耐性が向上する。表示画面を４個の部分に分割してそれぞれ異なる周波数の情報を埋め込む代わりに、表示画面を２個、３個、又は５個以上の部分に分割してそれぞれ異なる周波数の情報を埋め込んでもよい。
【００９５】
図１７は、表示画面の複数の部分にそれぞれ異なる周波数の情報を埋め込む場合の生成部１１２の機能的構成例を示している。図１７の生成部１１２は、パターン生成部１００１を含む。パターン生成部１００１は、それぞれ異なる周波数で時間的に変化する複数のパターンを生成する。
【００９６】
図１８は、表示画面の複数の部分にそれぞれ異なる周波数の情報を埋め込む場合の情報埋め込み処理の例を示すフローチャートである。
【００９７】
生成部１１２のパターン生成部１００１は、それぞれ異なる周波数で時間的に変化する複数のパターンを生成する（ステップ１８０１）。
【００９８】
重畳部１１３は、第１の映像情報の中で表示画面の複数の部分に対応する複数の映像部分に、複数のパターンの情報をそれぞれ重畳することで、埋め込み情報が重畳された第２の映像情報を生成する（ステップ１８０２）。そして、出力部１１４は、第２の映像情報を出力する（ステップ１８０３）。
【００９９】
図１９は、表示画面の複数の部分にそれぞれ異なる周波数の情報を埋め込む場合の情報検出処理の例を示すフローチャートである。
【０１００】
図１９のステップ１９０１〜ステップ１９０３の処理は、図１２のステップ１２０１〜ステップ１２０３の処理と同様である。
【０１０１】
情報検出装置３０１の解析部３１３は、ステップ１９０３において特徴量のスペクトルを求めた後、領域毎に、スペクトル中の最も大きな周波数成分から埋め込み情報を検出する（ステップ１９０４）。
【０１０２】
特定部３１４は、埋め込み情報が検出された領域の位置と、検出された埋め込み情報の周波数とに基づいて、画像内の表示画面に対応する画像部分を特定する（ステップ１９０５）。
【０１０３】
図１８の情報埋め込み処理及び図１９の情報検出処理によれば、人の目に知覚されにくい方法で、映像に含まれる別の映像の表示画面に対応する部分を特定することが可能になる。また、いずれかの周波数成分が検出されない場合であっても、他の周波数成分に基づいて表示画面に対応する画像部分を特定することができ、情報検出処理のノイズに対する耐性が向上する。
【０１０４】
さらに、表示画面の四隅の座標だけでなく中心の座標も特定できるため、斜め方向からの撮影によって映像が歪んだ場合でも、四隅と中心の座標を用いて歪みを補正することが可能になる。表示画面の分割部分の形状を変更すれば、表示画面内の中心以外の点の座標を特定することも可能になる。
【０１０５】
次に、図１の情報埋め込み装置１０１及び図３の情報検出装置３０１を他の技術に適用する例について説明する。他の技術としては、例えば、映像の認識技術や電子透かしの検出技術が挙げられる。
【０１０６】
情報埋め込み装置１０１及び情報検出装置３０１を電子透かしの検出技術に適用する場合、電子透かしとともに埋め込み情報が映像情報に重畳される。そして、その映像情報から電子透かしを検出する際には、埋め込み情報に基づいて特定された画像部分から電子透かしが検出される。
【０１０７】
電子透かしには様々な方式があるが、ここでは一例として、特許文献３の方式を用いて説明する。特許文献３の電子透かし埋め込み装置は、図２０に示すように、映像情報に含まれる各画像に、１つ以上の透かしブロックを含む透かしパターンを重畳する。そして、電子透かし埋め込み装置は、その透かしパターンの面積を、時系列に沿って、電子透かし情報に含まれるシンボルの値に応じて周期的に変化させる。
【０１０８】
図２０は、時刻ｔから時刻（ｔ＋８）までの時間的に連続する９枚の画像の例を示している。時刻ｔの画像２００１には、矩形状の透かしパターン２０１１が重畳されている。時刻ｔから時刻（ｔ＋４）にかけて、透かしブロック２０１２の数が減ることにより、画像に重畳される透かしパターンの面積が減少する。そして、時刻（ｔ＋４）の画像２００２において、透かしパターンは消失する。また、時刻（ｔ＋４）以降、透かしパターンの面積は増加し、時刻（ｔ＋８）の画像２００３において、再び透かしパターンの面積が最大となる。
【０１０９】
このような透かしパターンの面積の増減によって、シーンの経過とともに画像全体の明るさや色が変化するため、その変化を利用して電子透かし情報を映像情報に埋め込むことができる。
【０１１０】
こうして電子透かし情報が埋め込まれた映像情報は、テレビ受像機、ＰＣ、又はデジタルサイネージ端末等の表示画面に表示される。そして、その表示画面をスマートデバイスにより撮影し、撮影した映像情報を解析することにより、埋め込まれた電子透かし情報を検出することができる。このような電子透かし技術を用いることにより、テレビ番組や広告と連動したコンテンツをスマートデバイスの画面に表示することが可能になる。
【０１１１】
ただし、実際の撮影環境では、図６に示したように、撮影された映像情報の画像６０１には被写体の表示画面６０２の他に背景部分も一緒に映っているため、その背景部分には、照明機器からの光等によってノイズが発生する可能性がある。
【０１１２】
特許文献３の電子透かし埋め込み装置は、特定の周波数特性を持つ透かしパターンを映像情報に重畳することで電子透かし情報を埋め込み、電子透かし検出装置は、その周波数特性をフーリエ変換等の周波数解析によって抽出し、元の電子透かし情報を復元する。このため、背景部分に発生するノイズの周波数特性が透かしパターンと類似している場合には、電子透かし情報を検出することが難しくなる。したがって、電子透かし情報の検出精度を改善するために、ノイズの影響をできる限り排除することが望ましい。
【０１１３】
そこで、情報検出装置３０１により特定された画像部分の情報を利用して、電子透かし検出のための周波数解析の対象をその画像部分内の画素に限定すれば、背景部分のノイズの影響を排除して周波数解析を行うことができる。この場合、電子透かし検出装置は、各画像を複数の領域に分割して、領域毎に周波数解析を行い、表示画面に対応する画像部分内の各領域の解析結果を採用し、それ以外の領域の解析結果を破棄してもよい。あるいは、電子透かし検出装置は、重み付け処理により、画像部分内の各領域の解析結果の重みを、それ以外の領域の解析結果の重みより大きく設定した上で、全領域の解析結果の総和を求めてもよい。
【０１１４】
これにより、表示画面以外の背景部分にノイズが発生した場合でも、ノイズの影響を排除して、電子透かし情報の検出精度を高めることができる。
【０１１５】
図１の情報埋め込み装置１０１及び図３の情報検出装置３０１の構成は一例に過ぎず、情報埋め込み装置又は情報検出装置の用途や条件に応じて、一部の構成要素を省略又は変更してもよい。
【０１１６】
図２、図４、図１１、図１２、図１８、及び図１９のフローチャートは一例に過ぎず、情報埋め込み装置又は情報検出装置の構成や条件に応じて一部の処理を省略又は変更してもよい。例えば、図２のステップ２０２、図１１のステップ１１０３、及び図１８のステップ１８０２において、表示画面の全体に対応する映像部分ではなく、表示画面の周辺部分の一部又は全部に対応する映像部分のみに埋め込み情報を重畳してもよい。
【０１１７】
また、図１２の情報検出処理において、複数の周波数における周波数成分を合成することなく埋め込み情報を検出する場合は、図１２のステップ１２０４の処理を省略することができる。
【０１１８】
図１の情報埋め込み装置１０１及び図３の情報検出装置３０１は、例えば、図２１に示すような情報処理装置（コンピュータ）を用いて実現可能である。
【０１１９】
図２１の情報処理装置は、ＣＰＵ２１０１、メモリ２１０２、入力装置２１０３、出力装置２１０４、補助記憶装置２１０５、媒体駆動装置２１０６、及びネットワーク接続装置２１０７を備える。これらの構成要素はバス２１０８により互いに接続されている。
【０１２０】
メモリ２１０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ２１０２は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。
【０１２１】
ＣＰＵ２１０１（プロセッサ）は、例えば、メモリ２１０２を利用してプログラムを実行することにより、図１の生成部１１２及び重畳部１１３、又は図３の分割部３１２、解析部３１３、及び特定部３１４として動作する。ＣＰＵ２１０１は、図１０及び図１７のパターン生成部１００１及び合成部１００２としても動作する。
【０１２２】
入力装置２１０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示や情報の入力に用いられる。出力装置２１０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。
【０１２３】
補助記憶装置２１０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置２１０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置２１０５にプログラム及びデータを格納しておき、それらをメモリ２１０２にロードして使用することができる。補助記憶装置２１０５は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。
【０１２４】
媒体駆動装置２１０６は、可搬型記録媒体２１０９を駆動し、その記録内容にアクセスする。可搬型記録媒体２１０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体２１０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体２１０９にプログラム及びデータを格納しておき、それらをメモリ２１０２にロードして使用することができる。
【０１２５】
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ２１０２、補助記憶装置２１０５、又は可搬型記録媒体２１０９のような、物理的な（非一時的な）記録媒体である。
【０１２６】
ネットワーク接続装置２１０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置２１０７を介して受け取り、それらをメモリ２１０２にロードして使用することができる。ネットワーク接続装置２１０７は、図１の出力部１１４として用いることができる。
【０１２７】
なお、情報処理装置が図２１のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザからの指示や情報を入力する必要がない場合は、入力装置２１０３を省略してもよい。オペレータ又はユーザへの問い合わせ又は指示、及び処理結果を出力する必要がない場合は、出力装置２１０４を省略してもよい。また、可搬型記録媒体２１０９を利用しない場合は、媒体駆動装置２１０６を省略してもよい。
【０１２８】
情報処理装置が情報検出装置３０１として用いられる場合、カメラのような撮像装置を構成要素として含んでいてもよい。また、情報検出装置３０１がスマートフォンのような通話機能を有する携帯端末である場合、マイク及びスピーカのような通話用の装置を構成要素として含んでいてもよい。
【０１２９】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【０１３０】
図１乃至図２１を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
表示画面に表示される第１の映像情報を記憶する記憶部と、
時間的に変化する埋め込み情報を生成する生成部と、
前記第１の映像情報の中の少なくとも前記表示画面の端部に対応する映像部分に、前記埋め込み情報を重畳することで、前記埋め込み情報が重畳された第２の映像情報を生成する重畳部と、
前記第２の映像情報を出力する出力部と、
を備えることを特徴とする情報埋め込み装置。
（付記２）
前記埋め込み情報は、所定周波数で時間的に変化する情報であることを特徴とする付記１記載の情報埋め込み装置。
（付記３）
前記生成部は、少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含む複数の情報を合成して、前記埋め込み情報を生成することを特徴とする付記１記載の情報埋め込み装置。
（付記４）
前記重畳部は、前記第１の映像情報の中の前記表示画面の全体に対応する映像部分に前記埋め込み情報を重畳することを特徴とする付記１乃至３のいずれか１項に記載の情報埋め込み装置。
（付記５）
前記埋め込み情報は、少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含み、前記映像部分は、少なくとも第１の映像部分と第２の映像部分とを含み、前記重畳部は、前記第１の映像部分に前記第１の情報を重畳し、前記第２の映像部分に前記第２の情報を重畳することを特徴とする付記１記載の情報埋め込み装置。
（付記６）
時間的に変化する埋め込み情報が重畳された第１の映像情報を表示する表示画面を含む範囲を撮影した第２の映像情報を記憶する記憶部と、
前記第２の映像情報に含まれる画像を複数の領域に分割する分割部と、
前記複数の領域のうち少なくとも１つ以上の領域の特徴量の時間的な変化を解析することで、前記１つ以上の領域から前記埋め込み情報を検出する解析部と、
前記１つ以上の領域の位置に基づいて、前記画像内の前記表示画面に対応する画像部分を特定する特定部と、
を備えることを特徴とする情報検出装置。
（付記７）
前記埋め込み情報は、所定周波数で時間的に変化する情報であり、前記解析部は、前記特徴量に対する時間方向の周波数解析を行うことで、前記１つ以上の領域から前記埋め込み情報を検出することを特徴とする付記６記載の情報検出装置。
（付記８）
前記埋め込み情報は、少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含む複数の情報を合成することで生成され、前記解析部は、前記特徴量に対する時間方向の周波数解析を行うことで、前記１つ以上の領域から前記埋め込み情報を検出することを特徴とする付記６記載の情報検出装置。
（付記９）
前記埋め込み情報は、少なくとも第１の周波数で時間的に変化する第１の情報と第２の周波数で時間的に変化する第２の情報とを含み、前記第１の情報は、前記第１の映像情報の中の第１の映像部分に重畳され、前記第２の情報は、前記第１の映像情報の中の第２の映像部分に重畳され、前記解析部は、前記特徴量に対する時間方向の周波数解析を行うことで、前記１つ以上の領域から前記第１の情報を検出するとともに、前記１つ以上の領域とは異なる１つ以上の領域から前記第２の情報を検出することを特徴とする付記６記載の情報検出装置。
（付記１０）
時間的に変化する埋め込み情報を生成し、
表示画面に表示される第１の映像情報の中の少なくとも前記表示画面の端部に対応する映像部分に前記埋め込み情報を重畳することで、前記埋め込み情報が重畳された第２の映像情報を生成し、
前記第２の映像情報を出力する、
ことを特徴とする情報埋め込み方法。
（付記１１）
時間的に変化する埋め込み情報が重畳された第１の映像情報を表示する表示画面を含む範囲を撮影した第２の映像情報に含まれる画像を複数の領域に分割し、
前記複数の領域のうち少なくとも１つ以上の領域の特徴量の時間的な変化を解析することで、前記１つ以上の領域から前記埋め込み情報を検出し、
前記１つ以上の領域の位置に基づいて、前記画像内の前記表示画面に対応する画像部分を特定する、
ことを特徴とする情報検出方法。
【符号の説明】
【０１３１】
１０１  情報埋め込み装置
１１１、３１１  記憶部
１１２  生成部
１１３  重畳部
１１４  出力部
３０１  情報検出装置
３１２  分割部
３１３  解析部
３１４  特定部
５０１、７０１〜７０４、７１１  パターン
６０１、２００１〜２００３  画像
６０２  表示画面
６０３  領域
６０４、１５０１〜１５０４  画像部分
６１１  左上頂点
６１２  右上頂点
６１３  左下頂点
６１４  右下頂点
１００１  パターン生成部
１００２  合成部
１３０１〜１３０４、１３２１〜１３２４  頂点
１３１１〜１３１３  直線
１３０５、１３２５、１５１１  中心
１３２６  点
２０１１  透かしパターン
２０１２  透かしブロック
２１０１  ＣＰＵ
２１０２  メモリ
２１０３  入力装置
２１０４  出力装置
２１０５  補助記憶装置
２１０６  媒体駆動装置
２１０７  ネットワーク接続装置
２１０８  バス
２１０９  可搬型記録媒体
【図１】
2015106848.tif 000003
【図２】
2015106848.tif 000004
【図３】
2015106848.tif 000005
【図４】
2015106848.tif 000006
【図５】
2015106848.tif 000007
【図６】
2015106848.tif 000008
【図７】
2015106848.tif 000009
【図８】
2015106848.tif 000010
【図９】
2015106848.tif 000011
【図１０】
2015106848.tif 000012
【図１１】
2015106848.tif 000013
【図１２】
2015106848.tif 000014
【図１３】
2015106848.tif 000015
【図１４】
2015106848.tif 000016
【図１５】
2015106848.tif 000017
【図１６】
2015106848.tif 000018
【図１７】
2015106848.tif 000019
【図１８】
2015106848.tif 000020
【図１９】
2015106848.tif 000021
【図２１】
2015106848.tif 000022
【図２０】
2015106848.tif 000023
【手続補正書】
【提出日】平成26年10月6日(2014.10.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
例えば、図１６に示すように、周波数ｆ４の周波数成分が検出されず、画像部分１５０４が特定されない場合であっても、周波数ｆ１〜周波数ｆ３の周波数成分が検出されれば、画像部分１５０１〜画像部分１５０３が特定される。そこで、画像部分１５０１〜画像部分１５０３の位置に基づいて、頂点６１１〜頂点６１３及び中心１５１１の座標を求めることができる。さらに、表示画面６０２の形状が既知であれば、頂点６１１〜頂点６１３の座標から頂点６１４の座標を推定することができる。