(57)【要約】【課題】  多くのコンテンツに対して関連情報を提供可能であり、かつ品質劣化が少なく、不必要な通信処理など無駄な処理コストがなく、コンテンツに対応付けされた関連情報を正しく取得することが可能な、さらに、同一コンテンツから、それぞれ異なる関連情報を対応付けしたコンテンツを生成する。【解決手段】  本発明は、クライアント装置において、コンテンツの入力を受け付け、該コンテンツから電子透かし情報の存在の有無を判定し、コンテンツの電子透かしを検出し、コンテンツから特徴量を抽出し、抽出された特徴量をサーバ装置に送信し、サーバ装置において、クライアント装置から送信された特徴量を受信し、特徴量に基づいて情報記憶手段を検索し、検索結果である関連情報をクライアント装置に送信する。【選択図】  図１
2007116211.tif 000002
【特許請求の範囲】
【請求項１】
クライアント装置とサーバ装置から構成されるシステムにおけるコンテンツ関連情報提供方法であって、
前記クライアント装置は、
少なくとも、コンテンツの入力を受け付け、該コンテンツから電子透かし情報の存在の有無を判定する透かし存在有無判定ステップを行い、
前記サーバ装置は、
少なくとも、入力された情報に基づいて、特徴量と関連情報が対応付けて格納されている情報記憶手段を検索し、検索結果である関連情報を前記クライアント装置に提供する情報検索ステップを行い、
前記クライアント装置または、前記サーバ装置のいずれかにおいて、
入力された前記コンテンツの電子透かしを検出する透かし検出ステップと、該入力されたコンテンツから特徴量を抽出する特徴量抽出ステップの、少なくとも１つのステップを行う、
ことを特徴とする関連情報配信方法。
【請求項２】
前記クライアント装置において、
前記透かし存在有無判定ステップと、
前記透かし検出ステップと、
前記特徴量抽出ステップと、
抽出された特徴量を前記サーバ装置に送信するステップと、を行い、
前記サーバ装置において、
前記クライアント装置から送信された前記特徴量を受信する情報受信ステップと、
前記特徴量に基づいて前記情報記憶手段を検索し、検索結果である関連情報を前記クライアント装置に送信する情報検索ステップを行い、
前記クライアント装置において、
前記サーバ装置から受信した前記関連情報を表示する表示ステップを行う、
請求項１記載の関連情報提供方法。
【請求項３】
前記クライアント装置において、
前記透かし存在有無判定ステップと、
前記透かし検出ステップと、
前記コンテンツを前記サーバ装置に送信するステップと、を行い、
前記サーバ装置において、
前記クライアント装置から送信された前コンテンツを受信する情報受信ステップと、
前記特徴量抽出ステップと、
前記特徴量に基づいて前記情報記憶手段を検索し、検索結果である関連情報を前記クライアント装置に送信する情報検索ステップを行い、
前記クライアント装置において、
前記サーバ装置から受信した前記関連情報を表示する表示ステップを行う、
請求項１記載の関連情報提供方法。
【請求項４】
前記クライアント装置において、コンテンツの入力を受け付け、該コンテンツから電子透かし情報の存在の有無を判定する透かし存在有無判定ステップと、
入力された前記コンテンツを前記サーバ装置に送信するステップと、を行い、
前記サーバ装置において、
前記クライアント装置から送信された前記コンテンツを受信する情報受信ステップと、
前記透かし検出ステップと、
前記特徴量抽出ステップと、
前記特徴量に基づいて前記情報記憶手段を検索し、検索結果である関連情報を前記クライアント装置に送信する情報検索ステップを行い、
前記クライアント装置において、
前記サーバ装置から受信した前記関連情報を表示する表示ステップを行う、
請求項１記載の関連情報提供方法。
【請求項５】
前記クライアント装置における前記透かし存在有無判定ステップにおいて、
電子透かしの存在が確認できない場合には、前記サーバ装置に前記コンテンツに対応する特徴量が前記情報記憶手段に登録されていないとして、以降のステップを実行しない、請求項１乃至4記載の関連情報提供方法。
【請求項６】
前記検索ステップにおいて、
コンテンツの特徴量と該コンテンツに埋め込まれた電子透かしの組に対応する関連情報が格納された情報記憶手段を、前記電子透かし検出ステップで検出された前記電子透かしと、前記特徴量抽出ステップで抽出された前記特徴量とを組みにした情報に基づいて検索する、
請求項1乃至４記載の関連情報提供方法。
【請求項７】
前記サーバ装置が複数存在する時、
前記クライアント装置において、コンテンツから検出した電子透かし情報や特徴量、または、時間情報や位置情報に基づいて、アクセスするサーバ装置を選択する、請求項1乃至４記載の関連情報提供方法。
【請求項８】
クライアント装置とサーバ装置から構成されるシステムコンテンツ関連情報提供システムであって、
前記クライアント装置は、少なくとも、
コンテンツの入力を受け付け、該コンテンツから電子透かし情報の存在の有無を判定する透かし存在有無判定手段と、
前記サーバに情報を送信する情報送信手段と、
前記サーバ装置から受信した関連情報を表示する情報表示手段と、を有し、
前記サーバ装置は、少なくとも、
特徴量と関連情報とが対応付けて格納されている情報記憶手段と、
入力された情報に基づいて、前記情報記憶手段を検索し、関連情報を取得する検索手段と、
前記関連情報を前記クライアント装置に送信する情報返信手段と、を有し、
前記クライアント装置及び、前記サーバ装置は、
前記コンテンツの電子透かしを検出する透かし検出手段と、
前記コンテンツから特徴量を抽出する特徴量抽出手段の少なくともいずれか１つを有する、
ことを特徴とする関連情報配信システム。
【請求項９】
前記クライアント装置は、
前記透かし存在有無判定手段と、
前記透かし検出手段と、
前記特徴量抽出手段と、
抽出された特徴量を前記サーバ装置に送信する前記情報送信手段と、有し、
前記サーバ装置は、
前記クライアント装置から送信された前記特徴量を受信する情報受信手段と、
受信した前記特徴量に基づいて前記情報記憶手段を検索し、関連情報を取得する前記検索手段と、
前記情報返信手段と、を有する、
請求項８記載の関連情報提供システム。
【請求項１０】
前記クライアント装置は、
前記透かし存在有無判定手段と、
前記透かし検出手段と、
前記コンテンツを前記サーバ装置に送信する前記情報送信手段と、を有し、
前記サーバ装置は、
前記クライアント装置から送信された前コンテンツを受信する情報受信手段と、
前記特徴量抽出手段と、
抽出された前記特徴量に基づいて前記情報記憶手段を検索し、関連情報を取得する情報検索手段と、
前記情報返信手段と、を有する
請求項８記載の関連情報提供システム。
【請求項１１】
前記クライアント装置は、
前記透かし存在有無判定手段と、
入力された前記コンテンツを前記サーバ装置に送信する前記情報送信手段と、を有し、
前記サーバ装置は、
前記クライアント装置から送信された前記コンテンツを受信する情報受信手段と、
前記透かし検出手段と、
前記特徴量抽出手段と、
抽出された前記特徴量に基づいて前記情報記憶手段を検索し、関連情報を取得する情報検索手段と、
前記情報返信手段と、を有する、
請求項８記載の関連情報提供システム。
【請求項１２】
前記クライアント装置における前記透かし存在有無判定手段において、
電子透かしの存在が確認できない場合には、前記サーバ装置に前記コンテンツに対応する特徴量が前記情報記憶手段に登録されていないものと判断して、以降の処理を実行しない、請求項８乃至１１記載の関連情報提供システム。
【請求項１３】
前記サーバ装置は、
コンテンツの特徴量と該コンテンツに埋め込まれた電子透かしの組に対応する関連情報を格納した情報記憶手段を有し、
前記情報検索手段は、
前記電子透かし検出手段で検出された前記電子透かしと、前記特徴量抽出手段で抽出された前記特徴量とを組みにした情報に基づいて、前記コンテンツの特徴量と該コンテンツに埋め込まれた電子透かしの組に対応する関連情報を格納した情報記憶手段を検索する、
請求項８乃至１１記載の関連情報提供システム。
【請求項１４】
前記サーバ装置が複数存在する時、
前記クライアント装置は、コンテンツから検出した電子透かし情報や特徴量、または、時間情報や位置情報に基づいて、アクセスするサーバ装置を選択する手段を含む、請求項８乃至１１記載の関連情報提供システム。
【請求項１５】
コンピュータに、
コンテンツの入力を受け付け、該コンテンツから電子透かし情報の存在の有無を判定する透かし存在有無判定ステップと、
前記コンテンツの電子透かしを検出する透かし検出ステップと、
前記コンテンツから特徴量を抽出する特徴量抽出ステップと、
抽出された特徴量を前記サーバ装置に送信するステップと、を実行させることを特徴とする関連情報提供プログラム。
【請求項１６】
特徴量と関連情報を対応付けて格納する情報記憶手段を有するコンピュータに、
前記クライアント装置から送信された前記コンテンツを受信する情報受信ステップと、
前記コンテンツの電子透かしを検出する透かし検出ステップと、
前記入力されたコンテンツから特徴量を抽出する特徴量抽出ステップと、
前記特徴量に基づいて前記情報記憶手段を検索し、検索結果である関連情報を前記クライアント装置に送信する情報検索ステップと、
を実行させることを特徴とする関連情報提供プログラム。
【請求項１７】
コンテンツの特徴量と該コンテンツに埋め込まれた電子透かしの組に対応する関連情報を格納した情報記憶手段を有するコンピュータに、
前記クライアント装置から送信された前記コンテンツを受信する情報受信ステップと、
前記コンテンツの電子透かしを検出する透かし検出ステップと、
前記入力されたコンテンツから特徴量を抽出する特徴量抽出ステップと、
前記特徴量と前記電子透かしに基づいて前記情報記憶手段を検索し、検索結果である関連情報を前記クライアント装置に送信する情報検索ステップと、
を実行させることを特徴とする関連情報提供プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ関連情報提供方法及びシステム及びプログラムに係り、特に、コンテンツから関連情報を取得するコンテンツ関連情報取得技術において、電子透かし技術や特徴量抽出技術を用いたコンテンツ関連情報提供方法及びシステム及びプログラムに関する。
【背景技術】
【０００２】
画像などのコンテンツに対応する関連情報を提供するコンテンツ関連情報提供システムが提案されている。
【０００３】
具体的には、電子透かし技術や特徴量抽出技術を用いたものが知られている。
【０００４】
電子透かし技術は、コンテンツに対して人に知覚されにくいように情報を埋め込む技術である。電子透かし技術を用いたコンテンツ関連提供システムの例を図２２に示す。携帯電話機などの端末で手元にあるコンテンツに関連する情報を取得しようとする場合、コンテンツに埋め込まれている透かし情報を検出して関連情報提供サーバに送り、関連情報提供サーバで、コンテンツ関連情報ＤＢから受信した電子透かしに対応するコンテンツ関連情報を検索して端末に返信する、といった方法が用いられる。
【０００５】
コンテンツからの電子透かし検出処理については、比較的計算処理能力が低い携帯端末上にて実行可能な方法が提案されており、端末上で素早い検出が可能である。また、電子透かし技術では、検出した情報のみならず、検出した情報の確からしさ、すなわち、信頼度に関する情報も同時に得る事ができ、電子透かしの埋め込みがされていないコンテンツから誤って情報を検出してしまうといったことを避けることができる。
【０００６】
また、情報の埋め込みにはコンテンツを変更する必要があるが、埋め込みによるコンテンツの劣化をできるだけ抑えて情報の埋め込みを行う。
【０００７】
電子透かしを用いた場合は、コンテンツに埋め込む情報はコンテンツと独立に複数選択することができ、一つのコンテンツを元に、それぞれ異なる関連情報を対応付けされた複数の透かし入りコンテンツを得ることが可能である。これによって、例えば、シリアル番号に相当する情報を埋め込み、番号毎に異なる関連情報を提供することなどが可能となる（例えば、非特許文献１参照）。
【０００８】
一方、特徴量抽出技術とは、対象コンテンツへ一切の加工無しに、そのコンテンツが元々持つ固有の情報を、特定のアルゴリズムに従い抽出する技術である。例えば、画像コンテンツの場合であれば、色空間の分布や色調変化から得られる情報を元に計算される。また、画像中の特定のオブジェクトを抽出し、その特徴量を計算することも考えられる。特徴量抽出技術を用いたコンテンツ関連情報提供システムの例を図２３に示す。携帯電話機などの端末で手元にあるコンテンツに関連する情報を取得しようとする場合、コンテンツの特徴量を端末上で求めて関連情報提供サーバに送る、あるいは、コンテンツそのものを関連情報提供サーバに送り、関連情報提供サーバ上で特徴量を求め、関連情報提供サーバで、コンテンツ関連情報ＤＢから特徴量に対応するコンテンツ関連情報を検索して端末に返信する、といった方法が用いられる（例えば、非特許文献２参照）。
【非特許文献１】「カメラ付携帯電話機を用いたアナログ画像から高速電子透かし検出方式」、中村高雄、片山淳、山室雅史、曽根原登、電子情報通信学会論文誌、D-II VOL. J87-D-II No.12 pp.2145-2155, 2004年12月
【非特許文献２】「変換耐性を備えたコンテンツ識別技術」高田智規、阿部剛仁、川村春美、画像の認識・理解シンポジウム（MIRU2005） IS2-55 2005年7月
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、電子透かし技術においては、埋め込む情報量とコンテンツの品質劣化はトレードオフの関係にあるため、コンテンツ品質を重視した場合は、あまり多くの情報を埋め込むことができず、関連情報提供可能なコンテンツ数に限りがあった。逆に対応可能なコンテンツ数、すなわち、透かし情報の情報量を多くすると、コンテンツの品質を大きく劣化させてしまうという問題があった。
【００１０】
また、特徴量抽出技術を用いた場合、抽出した特徴量に対応する関連情報が登録されているか否かは端末上では判断できないため、未登録の場合でも必ず通信を伴う処理を行う必要があり、関連情報取得にかかる通信・時間などのコストが高い。より詳しく言うと、
１）特徴量の抽出の信頼度を得る事ができない；
２）電子透かしとは異なり、特徴量を抽出しても、特徴量と関連する情報がＤＢに登録されていることは保証されないため、情報の登録の有無を事前には判断できない；
という問題がある。
【００１１】
さらに、絵柄が似ている異なる画像で、同じ特徴量が抽出される場合があることから、識別可能能力に限界があるため、本来コンテンツに対応付けられた関連情報とは異なる情報を提供してしまう危険性がある。
【００１２】
また、特徴量抽出技術を用いた場合は、本質的に一つのコンテンツから得られる特徴量は一つのみであるから、同一コンテンツにそれぞれに異なる情報を関連付けることが不可能であった。
【００１３】
本発明は、上記の点に鑑みなされたもので、従来よりも多くのコンテンツに対して関連情報を提供可能であり、かつ品質劣化が少なく、不必要な通信処理など無駄な処理コストがなく、コンテンツに対応付けされた関連情報を正しく取得することが可能な、さらに、同一コンテンツから、それぞれ異なる関連情報を対応付けしたコンテンツを生成することが可能な、コンテンツ関連情報提供方法及びシステム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明（請求項１）は、クライアント装置とサーバ装置から構成されるシステムにおけるコンテンツ関連情報提供方法であって、
クライアント装置は、
少なくとも、コンテンツの入力を受け付け、該コンテンツから電子透かし情報の存在の有無を判定する透かし存在有無判定ステップを行い、
サーバ装置は、
少なくとも、入力された情報に基づいて、特徴量と関連情報が対応付けて格納されている情報記憶手段を検索し、検索結果である関連情報をクライアント装置に提供する情報検索ステップを行い、
クライアント装置または、サーバ装置のいずれかにおいて、
入力されたコンテンツの電子透かしを検出する透かし検出ステップと、該入力されたコンテンツから特徴量を抽出する特徴量抽出ステップの、少なくとも１つのステップを行う。
【００１５】
図１は、本発明の原理を説明するための図である。
【００１６】
また、本発明（請求項２）は、クライアント装置において、
コンテンツの入力を受け付け、該コンテンツから電子透かし情報の存在の有無を判定する透かし存在有無判定ステップ（ステップ１）と、
コンテンツの電子透かしを検出する透かし検出ステップ（ステップ２）と、
コンテンツから特徴量を抽出する特徴量抽出ステップ（ステップ３）と、
抽出された特徴量をサーバ装置に送信するステップ（ステップ４）と、を行い、
サーバ装置において、
クライアント装置から送信された特徴量を受信する情報受信ステップ（ステップ５）と、
特徴量に基づいて情報記憶手段を検索し（ステップ６）、検索結果である関連情報をクライアント装置に送信する情報検索ステップ（ステップ７）を行い、
クライアント装置において、
サーバ装置から受信した関連情報を表示する表示ステップ（ステップ８）を行う。
【００１７】
また、本発明（請求項３）は、クライアント装置において、
コンテンツの入力を受け付け、該コンテンツから電子透かし情報の存在の有無を判定する透かし存在有無判定ステップと、
コンテンツの電子透かしを検出する透かし検出ステップと、
コンテンツをサーバ装置に送信するステップと、を行い、
サーバ装置において、
クライアント装置から送信された前コンテンツを受信する情報受信ステップと、
コンテンツから特徴量を抽出する特徴量抽出ステップと、
特徴量に基づいて情報記憶手段を検索し、検索結果である関連情報をクライアント装置に送信する情報検索ステップを行い、
クライアント装置において、
サーバ装置から受信した関連情報を表示する表示ステップを行う。
【００１８】
また、本発明（請求項４）は、クライアント装置において、コンテンツの入力を受け付け、該コンテンツから電子透かし情報の存在の有無を判定する透かし存在有無判定ステップと、
入力されたコンテンツをサーバ装置に送信するステップと、を行い、
サーバ装置において、
クライアント装置から送信されたコンテンツを受信する情報受信ステップと、
コンテンツの電子透かしを検出する透かし検出ステップと、
コンテンツから特徴量を抽出する特徴量抽出ステップと、
特徴量に基づいて情報記憶手段を検索し、検索結果である関連情報をクライアント装置に送信する情報検索ステップを行い、
クライアント装置において、
サーバ装置から受信した関連情報を表示する表示ステップを行う。
【００１９】
また、本発明（請求項５）は、クライアント装置における透かし存在有無判定ステップにおいて、
電子透かしの存在が確認できない場合には、サーバ装置にコンテンツに対応する特徴量が情報記憶手段に登録されていないとして、以降のステップを実行しない。
【００２０】
また、本発明（請求項６）は、検索ステップにおいて、
コンテンツの特徴量と該コンテンツに埋め込まれた電子透かしの組に対応する関連情報が格納された情報記憶手段を、電子透かし検出ステップで検出された電子透かしと、特徴量抽出ステップで抽出された特徴量とを組みにした情報に基づいて検索する。
【００２１】
また、本発明（請求項７）は、サーバ装置が複数存在する時、
クライアント装置において、コンテンツから検出した電子透かし情報や特徴量、または、時間情報や位置情報に基づいて、アクセスするサーバ装置を選択する。
【００２２】
本発明（請求項８）は、クライアント装置とサーバ装置から構成されるシステムコンテンツ関連情報提供システムであって、
クライアント装置は、少なくとも、
コンテンツの入力を受け付け、該コンテンツから電子透かし情報の存在の有無を判定する透かし存在有無判定手段と、
サーバに情報を送信する情報送信手段と、
サーバ装置から受信した関連情報を表示する情報表示手段と、を有し、
サーバ装置は、少なくとも、
特徴量と関連情報とが対応付けて格納されている情報記憶手段と、
入力された情報に基づいて、情報記憶手段を検索し、関連情報を取得する検索手段と、
関連情報をクライアント装置に送信する情報返信手段と、を有し、
クライアント装置及び、サーバ装置は、
コンテンツの電子透かしを検出する透かし検出手段と、
コンテンツから特徴量を抽出する特徴量抽出手段の少なくともいずれか１つを有する。
【００２３】
図２は、本発明の原理構成図である。
【００２４】
本発明（請求項９）では、クライアント装置２００は、
コンテンツの入力を受け付け、該コンテンツから電子透かし情報の存在の有無を判定する透かし存在有無判定手段２２０と、
コンテンツの電子透かしを検出する透かし検出手段２３０と、
コンテンツから特徴量を抽出する特徴量抽出手段２４０と、
抽出された特徴量をサーバ装置に送信する情報送信手段２５０と、有し、
サーバ装置１００は、
クライアント装置２００から送信された特徴量を受信する情報受信手段１１０と、
受信した特徴量に基づいて情報記憶手段１３０を検索し、関連情報を取得する検索手段１２０と、
関連情報をクライアント装置に送信する情報返信手段１４０と、を有る。
【００２５】
また、本発明（請求項１０）では、クライアント装置は、
コンテンツの入力を受け付け、該コンテンツから電子透かし情報の存在の有無を判定する透かし存在有無判定手段と、
コンテンツの電子透かしを検出する透かし検出手段と、
コンテンツをサーバ装置に送信する情報送信手段と、を有し、
サーバ装置は、
クライアント装置から送信された前コンテンツを受信する情報受信手段と、
コンテンツから特徴量を抽出する特徴量抽出手段と、
抽出された特徴量に基づいて情報記憶手段を検索し、関連情報を取得する情報検索手段と、
関連情報をクライアント装置に送信する情報返信手段と、を有する。
【００２６】
また、本発明（請求項１１）では、クライアント装置は、
コンテンツの入力を受け付け、該コンテンツから電子透かし情報の存在の有無を判定する透かし存在有無判定手段と、
入力されたコンテンツをサーバ装置に送信する情報送信手段と、を有し、
サーバ装置は、
クライアント装置から送信されたコンテンツを受信する情報受信手段と、
コンテンツの電子透かしを検出する透かし検出手段と、
コンテンツから特徴量を抽出する特徴量抽出手段と、
抽出された特徴量に基づいて情報記憶手段を検索し、関連情報を取得する情報検索手段と、
関連情報をクライアント装置に送信する情報返信手段と、を有する。
【００２７】
また、本発明（請求項１２）では、
クライアント装置における透かし存在有無判定手段２２０において、
電子透かしの存在が確認できない場合には、サーバ装置にコンテンツに対応する特徴量が情報記憶手段に登録されていないものと判断して、以降の処理を実行しない。
【００２８】
また、本発明（請求項１３）では、サーバ装置１００は、
コンテンツの特徴量と該コンテンツに埋め込まれた電子透かしの組に対応する関連情報を格納した情報記憶手段を有し、
情報検索手段１２０は、
電子透かし検出手段で検出された電子透かしと、特徴量抽出手段で抽出された特徴量とを組みにした情報に基づいて、コンテンツの特徴量と該コンテンツに埋め込まれた電子透かしの組に対応する関連情報を格納した情報記憶手段を検索する。
【００２９】
また、本発明（請求項１４）は、サーバ装置が複数存在する時、
クライアント装置は、コンテンツから検出した電子透かし情報や特徴量、または、時間情報や位置情報に基づいて、アクセスするサーバ装置を選択する手段を含む。
【００３０】
本発明（請求項１５）は、コンピュータに、
コンテンツの入力を受け付け、該コンテンツから電子透かし情報の存在の有無を判定する透かし存在有無判定ステップと、
コンテンツの電子透かしを検出する透かし検出ステップと、
コンテンツから特徴量を抽出する特徴量抽出ステップと、
抽出された特徴量をサーバ装置に送信するステップと、を実行させる関連情報提供プログラムである。
【００３１】
本発明（請求項１６）は、特徴量と関連情報を対応付けて格納する情報記憶手段を有するコンピュータに、
クライアント装置から送信されたコンテンツを受信する情報受信ステップと、
コンテンツの電子透かしを検出する透かし検出ステップと、
入力されたコンテンツから特徴量を抽出する特徴量抽出ステップと、
特徴量に基づいて情報記憶手段を検索し、検索結果である関連情報をクライアント装置に送信する情報検索ステップと、
を実行させる関連情報提供プログラムである。
【００３２】
本発明（請求項１７）は、コンテンツの特徴量と該コンテンツに埋め込まれた電子透かしの組に対応する関連情報を格納した情報記憶手段を有するコンピュータに、
クライアント装置から送信されたコンテンツを受信する情報受信ステップと、
コンテンツの電子透かしを検出する透かし検出ステップと、
入力されたコンテンツから特徴量を抽出する特徴量抽出ステップと、
特徴量と電子透かしに基づいて情報記憶手段を検索し、検索結果である関連情報をクライアント装置に送信する情報検索ステップと、
を実行させる関連情報提供プログラムである。
【発明の効果】
【００３３】
上記のように本発明によれば、入力されたコンテンツから電子透かしが検出可能な場合は、特徴量がサーバ装置に登録済であることを表すため、常に関連情報の登録を保証した関連情報取得処理が可能となる。これにより、ユーザは特徴量の登録されていない画像などを撮影した場合や、手振れなどの撮影ミスにより異なる特徴量が抽出される場合などに、サーバ装置間における無駄な通信処理を行う必要がなくなり、ユーザの利便性が向上する。
【００３４】
特徴量と透かしの組み合わせで関連情報を得る場合には、特徴量でコンテンツが何かを特定し、登録済であるか否かの情報、あるいは、同一コンテンツに対して異なる関連情報を切り替えるために電子透かしを用いるので、電子透かしの情報量を減らすことが可能になる。そのため、電子透かし埋め込みによる画像の劣化を抑えたり、透かし情報用のＩＤ空間の節約、電子透かし検出率の向上、電子透かし検出時の誤認識率の低下といった効果がある。
【００３５】
特徴量単独では見かけの似たコンテンツは、得られる特徴量が同じになる誤認識の危険性があったが、電子透かしを併用することで正しい関連情報を選ぶことができ、利用できるコンテンツ数を増やすことができる。
【００３６】
また、特徴量単独では、不可能であった、同一コンテンツから、それぞれ異なる関連情報を対応付けしたコンテンツを生成することが可能となる。これにより流通媒体（新聞や雑誌）に応じて、それぞれ適切な関連情報の提供等が可能になる。
【発明を実施するための最良の形態】
【００３７】
以下に説明する実施の形態では、画像の特徴量がサーバの関連情報記憶部に登録されており、また、画像には電子透かしで何らかの情報が埋め込まれているものとする。
【００３８】
以下、図面と共に本発明の実施の形態を説明する。
【００３９】
［第１の実施の形態］
図３は、本発明の第１の実施の形態におけるシステム構成図（その１）である。
【００４０】
同図に示すシステムは、サーバ装置１００とクライアント装置２００から構成される。
【００４１】
サーバ装置１００は、情報受信部１１０、情報検索部１２０、関連情報記憶部１３０、情報返信部１４０から構成される。
【００４２】
クライアント装置２００は、コンテンツ入力部２１０、透かし存在有無判定部２２０、透かし検出部２３０、特徴量抽出部２４０、情報送信部２５０、情報表示部２６０から構成される。
【００４３】
図４は、本発明の第１の実施の形態の処理イメージを示す。
【００４４】
本実施の形態では、画像の特徴量をサーバ装置１００の関連情報記憶部１３０に登録したコンテンツに対して、予め透かし情報を埋め込んでおき、特徴量登録済のフラグとして透かし情報を用いるものである。クライアント装置２００の透かし検出部２３０において透かしの存在が確認できれば、サーバ装置１００には特徴量が登録済であると判断し、特徴量抽出部２４０で特徴量抽出を行い、情報送信部２５０からサーバ装置１００に送信する。また、透かしの存在が確認できなければ、サーバ装置１００に特徴量が登録されていないと判断し、特徴量抽出や、サーバ装置１００への問い合わせ等の処理を行わず、処理を終了する。
【００４５】
図５は、本発明の第１の実施の形態における動作のフローチャートである。
【００４６】
まず、カメラ付き携帯電話機などのクライアント装置２００により、対象画像を撮影し、コンテンツ入力部２１０において対象画像領域を抽出して取得する（ステップ１１０）。
【００４７】
次に、クライアント装置２００の透かし存在有無判定部２２０で、対象画像領域から電子透かしの存在が確認できるかを判定する。透かしの存在が確認できれば、特徴量がサーバ装置１００に登録済であると判定する（ステップ１１１、Ｙｅｓ）。透かしの存在が確認できなければ（ステップ１１１、Ｎｏ）、以降の処理を行わずに処理を終了する。
【００４８】
特徴量がサーバ装置１００に登録されている場合は、透かし検出部２３０において電子透かしを検出し（ステップ１１２）、特徴量抽出部２４０で特徴量を抽出する（ステップ１１３）。
【００４９】
情報送信部２５０は、ステップ１１３で抽出された特徴量をサーバ装置１００に送信する（ステップ１１４）。
【００５０】
サーバ装置１００の情報受信部１１０は、クライアント装置２００からの特徴量を受信し、情報検索部１２０に渡す。これにより、情報検索部１２０は、取得した特徴量に基づいて、図６に示すような構成の関連情報記憶部１３０を検索し、関連情報を取得し、情報返信部１４０を介してクライアント装置２００に送信する（ステップ１１５）。
【００５１】
これにより、関連情報を取得したクライアント装置１００は、情報表示部２６０においてディスプレイ等の表示装置に関連情報を表示する（ステップ１１６）。
【００５２】
ここで、関連情報記憶部１３０には、図６に示すように特徴量と当該特徴量に対応する関連情報が格納されている。なお、当該特徴量は、予めコンテンツから抽出され、提供するための関連情報と対応付けされているものとする。
【００５３】
本実施の形態では、ステップ１１３において特徴量抽出部２４０が特徴量を抽出しているが、特徴量の抽出には十分なクライアントの処理能力が必要な場合もあり、クライアントによっては処理能力の不足も考えられる。そこで、電子透かしの存在有無判定後に、サーバ装置１００に画像をそのまま送信し、サーバ装置１００側で受信した画像から特徴量を抽出することも考えられる。その例を以下に示す。
【００５４】
図７は、本発明の第１の実施の形態におけるシステム構成図（その２）である。
【００５５】
同図において、図３と同一構成部分には同一符号を付しその説明を省略する。
【００５６】
図７に示すシステムは、図３に示すシステムと同様に、サーバ装置１００とクライアント装置２００から構成されている。
【００５７】
クライアント装置２００は、図３に示す構成から特徴量抽出部２４０を除いた構成となっており、図８に示すように、情報送信部２５０は、サーバ装置１００に対して、入力されたコンテンツを送信する（ステップ２０４）。
【００５８】
サーバ装置１００は、図３の構成に、特徴量抽出部１５０を加えた構成であり、特徴量抽出部１５０は、クライアント装置２００から送信されたコンテンツから特徴量を抽出し（ステップ２０６）、情報検索部１２０に渡す。情報検索部１２０は、特徴量情報に基づいて関連情報記憶部１３０を検索し、関連情報を取得する（ステップ２０７）。
【００５９】
また、図９に示すように、電子透かしの検出についても同様に、サーバ装置１００に透かし検出部１６０を設け、サーバ装置側１００において電子透かしの検出を行うようにしてもよい。その場合には、図１０に示すように、クライアント装置２００が透かし存在の有無を確認した後（ステップ３０２）、電子透かしが存在する場合は（ステップ３０２、Ｙｅｓ）、情報送信部２５０からコンテンツをサーバ装置１００に送信し（ステップ３０３）、サーバ装置１００では、コンテンツを受信し（ステップ３０４）、透かし検出部１６０において電子透かしを検出する（ステップ３０５）。以降の処理は、前述のステップ２０５以降の処理と同様である。
【００６０】
また、電子透かし存在有無判定後のクライアント装置２００にて、特徴量を抽出するのに必要な簡単な前処理のみを行い、情報量を圧縮した上で、前処理結果のデータのみをサーバ装置１００に送信し、サーバ装置１００側で最終的な特徴量の抽出を行うようにしてもよい。
【００６１】
なお、本実施の形態では、透かし存在有無の判定を、特徴量登録済のフラグとして用いているが、ステップ１１１、ステップ２０２、ステップ３０２での透かし埋め込み有無判定は、前述の非特許文献１中の「３．４．５誤り訂正／検出復号」や「３．５電子透かし検出の信頼度」に記載の手法を用いることで実現可能である。この際に、埋め込まれた電子透かし情報量の大小に制限はなく、１ｂｉｔの情報でも構わないし、埋め込み可能な情報量の上限まで埋め込んでも構わない。
【００６２】
本実施の形態では、特徴量と関連情報は１対１の関係を持っており、例えば、図６に示すような形で、関連情報記憶部１３０において記憶されている。このとき、ステップ１１１にて透かしの存在確認が取れた場合は（ステップ１１１、Ｙｅｓ）、サーバ装置１００には関連情報の登録がなされているので、関連情報記憶部１３０に特徴量を問い合わせれば、対応付けられた関連情報を一意に特定し、取得可能となる。例えば、特徴量「０１２３４５」であれば、関連情報として「http://abc.0000.co.jp」を取得することができる。
【００６３】
なお、本実施の形態では、特徴量に関連付けられた関連情報としてＵＲＬの例を示したが、この他に、ＵＲＩや画像データ、テキストデータ、電子メールの返信、アプリケーションのダウンロードなど、様々な関連情報をも提供可能であり、本実施の形態の例に限定されるものではない。
【００６４】
［第２の実施の形態］
図１１は、本発明の第２の実施の形態におけるシステム構成図である。
【００６５】
同図において、図３と同一構成部分には同一符号を付しその説明を省略する。
【００６６】
図１１に示すシステムは、図３に示すシステムと同様に、サーバ装置１００とクライアント装置２００から構成されている。
【００６７】
クライアント装置２００は、図３に示す構成と同様である。サーバ装置１００は、図３の構成と略同一であるが、関連情報記憶部１３５は、図１２に示す構成を有し、特徴量、透かし情報、及び、提供する関連情報から構成される。関連情報記憶部１３５に格納される特徴量は、予めコンテンツから抽出されているものとする。また、透かし情報は、コンテンツに埋め込む透かしの情報である。これらの特徴量と透かし情報を提供する関連情報と対応付けて関連情報記憶部１３５に格納している。
【００６８】
図１３は、本発明の第２の実施の形態の処理イメージであり、透かし情報と特徴量の組み合わせから関連情報を提供する場合を示す。図１４は、本発明の第２の実施の形態における動作のフローチャートである。
【００６９】
まず、カメラ付き携帯電話機などのクライアント装置１００により対象画像を撮影し、コンテンツ入力部２１０において対象画像領域を抽出して取得する（ステップ４０１）。
【００７０】
次に、ステップ４０１で取得した画像に透かしが存在するかを透かし存在有無判定部２２０で判定し、存在する場合は（ステップ４０２、Ｙｅｓ）、透かし検出部２３０において電子透かしを検出し（ステップ４０３）、透かしが存在しない場合は（ステップ４０２，Ｎｏ）何も処理を行わずに終了する。
【００７１】
次に、特徴量抽出部２４０において特徴量を抽出し（ステップ４０４）、情報送信部２５０を介して、電子透かしと特徴量をサーバ装置１００に送信する（ステップ４０５）。
【００７２】
サーバ装置１００の情報受信部１１０がクライアント装置２００から送信された電子透かしと特徴量を受信して、情報検索部１２０において、受信した透かし情報と特徴量の組に基づいて、関連情報記憶部１３５を検索し、関連情報を取得し、情報返信部１４０からクライアント装置２００に返信する（ステップ４０６）。
【００７３】
クライアント装置２００の情報表示部２６０は、サーバ装置１００から送信された関連情報を表示装置に表示する（ステップ４０７）。
【００７４】
なお、上記の実施の形態では、クライアント装置２００側で電子透かし検出と特徴量抽出処理を行っているが、全ての処理をクライアント装置２００で実行する必要はなく、様々なバリエーションが考えられる。例えば、図１５に示す構成のように、特徴量抽出部１５０をサーバ装置１００に設け、図１６に示すように、電子透かし検出処理をクライアント装置２００で行い、透かし情報と画像（コンテンツ）をサーバ装置１００に送信し（ステップ５０４）、サーバ装置１００では、透かし情報とコンテンツを用いて特徴量抽出処理（ステップ５０６）を行うようにすることも可能である。
【００７５】
また、電子透かし検出と特徴量抽出処理の両方をサーバ装置１００で行うようにしてもよい。
【００７６】
また、これらの処理を適宜組み合わせる場合なども考えられる。更に、電子透かし検出処理と特徴量抽出処理の順番はどちらが先に行われてもよい。
【００７７】
以下に本実施の形態を適用した例を示す。
【００７８】
図１７に示すように、同じ特徴量を持つ類似する異なる絵柄の場合、特徴量だけでは絵柄を区別できず、最適な関連情報を提供できない。そこで、これらの画像に異なる透かし情報を埋め込んでおき、サーバ装置１００の関連情報記憶部１３５には個々の特徴量と透かし情報の組に対して関連情報を登録しておく。こうすることで、同一の特徴量を抽出してしまうような場合でも、透かし情報により正しく区別することができる。
【００７９】
更に、手振れなどの要因により実際とは異なる特徴量を抽出してしまった場合でも、電子透かし情報を参照することで、その特徴量が誤りであることを判定でき、再試行を促すなどによって、正しい関連情報を提供することが可能になる。
【００８０】
また、同じ絵柄の画像を異なる媒体（雑誌や新聞）に配布した時に、その媒体毎に提供する関連情報を変更したい場合もある。例えば、雑誌Ａに載せた広告と、雑誌Ｂに載せた広告で異なるクーポンを配布したい時などが、この場合に相当する。この時、同じ画像を載せるため、特徴量のみでは媒体毎に異なる関連情報を提供することができない。そこで、図１８に示すように、配布媒体によって異なる電子透かし情報を埋め込んでおくことが考えられる。画像から同じ特徴量を抽出することで、広告画像は同じであることが示されるが、電子透かし情報が異なることから配布媒体が異なることが判明し、最適な関連情報を提供することが可能となる。
【００８１】
本実施の形態では、特徴量と透かし情報の組み合わせに対して関連情報が関連付けられており、例えば、図１２に示すような形で、関連情報記憶部１３５に記憶されている。特徴量と透かし情報の両方を組みにして関連情報記憶部１３５に問い合わせれば、関連付けられた関連情報を一意に特定し、取得可能である。例えば、特徴量「012345」と透かし情報「00110011」であれば、関連情報は「http://abc.0000.co.jp」である。
【００８２】
また、本実施の形態では、同一画像を異なる媒体で配布する場合などに、媒体毎に提供する関連情報を変化させる例を述べている。この場合、媒体毎に異なる透かし情報を埋め込むことで、同一の特徴量を抽出する場合でも、提供する関連情報を変化させることが可能である。このとき、関連情報記憶部１３５では、例えば、図１２に示すように、特徴量情報、透かし情報、関連情報が記憶されているとする。特徴量「246802」と透かし「11000011」の組み合わせに対しては、関連情報「http://def.0000.co.jp」を、特徴量「246802」と透かし「11001100」の組み合わせに対しては関連情報「http://def.1111.co.jp」を提供し、異なる関連情報の提供が可能である。
【００８３】
なお、本実施の形態では、特徴量と電子透かしの組み合わせに対して関連付けられた関連情報としてＵＲＬが示されたが、この他にもＵＲＩや画像データ、テキストデータ、電子メールの返信、アプリケーションのダウンロードなど、様々な関連情報をも提供可能であり、本実施の形態の例に限定されるものではない。
【００８４】
［第３の実施の形態］
本実施の形態は、クライアント装置上で検出した透かし情報により、クライアント装置からの問い合わせ先サーバ装置を切り替え、送信された情報と問い合わせ先サーバ装置によって、提供する関連情報が変化するものである。
【００８５】
例えば、図１９に示す例では、クライアント装置がサーバ装置に問い合わせする前に、電子透かしを検出する。検出した電子透かし情報に応じて、問い合わせ先サーバ装置をａ〜ｄまで切り替え、各サーバ装置上にて特徴量検出を行う。サーバ装置ａでは、特徴量に応じて情報Ａまたは情報Ｅが選択される。また、情報Ｂが配信されるのは、サーバ装置ｂが選ばれた場合と、サーバ装置ｃで特定の特徴量を抽出した場合の２通りがある。
【００８６】
本実施の形態により、同じ特徴量が抽出される絵柄であっても、クライアント装置側で事前に電子透かしのような画像毎に異なる情報を検出し、その情報に応じて問い合わせ先サーバ装置を切り替えることで、サーバ装置毎の提供情報を切り替えることが可能であり、特徴量単独や電子透かし単独で送信情報を切り替えるよりも、きめ細かく多彩な情報の提供が可能になる。
【００８７】
さらに、サーバ装置の切り替えには、時間情報や位置情報などの撮影画像から検出した情報以外も用いることが可能である。
【００８８】
時間情報を利用する例としては、利用者が多いと予想される時間帯はサーバ装置を多数用意し、更なる負荷分散を図り、逆に利用者が少ない時間はサーバ装置を減らし、運用コスト削減を図ることが可能である。また、データ送信のタイミングに応じて、転送サーバ装置を切り替えることで、ゲーム性を持たせることもできる。
【００８９】
位置情報を利用する例としては、場所に応じて同じ絵柄であっても異なるサーバ装置へアクセスすることで、地域に応じた関連情報を得ることなどが可能となる。
【００９０】
また、本実施の形態では、関連情報を提供するサーバ装置が１段であるが、複数段での中継なども考えられる。クライアント装置上にて情報を検出し、サーバを切り替えるだけでなく、クライアント装置から情報を受け取るサーバ装置は１つで、そのサーバ装置上で透かし情報などを検出し、関連情報を提供するサーバ装置を切り替える方法なども考えられる。
【００９１】
本実施の形態により、利用サーバ装置の一極集中を防ぎ、サーバ装置への負荷を分散することが可能となる。
【００９２】
［第４の実施の形態］
本実施の形態では、上記の３つの実施の形態を組み合わせた例を説明する。
【００９３】
例えば、画像から電子透かしを検出可能であれば、特徴量がサーバ装置へ登録済であることを示し、更に電子透かし情報を読み込むことで問い合わせ先サーバ装置を切り替え、電子透かしと特徴量の組み合わせから関連情報を提供することなどが考えられる。
【００９４】
例えば、図２０に示すようなアフィリエイトプログラムへの利用が考えられる。アフィリエイトプログラムとは、ユーザが商品の紹介記事や写真などを掲載し、その記事や写真を経由して商品の購入が発生した場合に、企業からユーザに対してインセンティブ（見返り報酬）が払われる仕組みである。ここでは、本を商品、本の表紙をアフィリエイトのための画像とし、ユーザがその画像を広告や手紙といった何らかの物理媒体に貼り付けることで本の宣伝を行う場合の例である。
【００９５】
まず、ユーザは、自分のアフィリエイト用ＩＤとアフィリエイト用に登録したい本とをアフィリエイトサーバへ申請、登録する。それを受けて、アフィリエイトサーバは、その本の表示のサムネイル画像などを返信する。このとき、サムネイル画像へは、電子透かしを用いてユーザＩＤと問い合わせ先アフィリエイトサーバ情報が埋め込まれている。また、該当するアフィリエイトサーバには、本の表紙の特徴量とユーザＩＤとが組になって関連付けて登録される。ユーザはこのサムネイルを広告や手紙などに貼り付け、配布する。
【００９６】
ユーザから広告や手紙を受け取った人が、貼り付けられたサムネイル画像を携帯電話機などのクライアント端末で撮影し、購入を行った場合、アフィリエイトサーバに登録されているユーザ（図２０のＡさん）にインセンティブが与えられる。その流れを以下に示す。
【００９７】
（１）まず、撮影画像から電子透かしの有無を確認することで、アフィリエイト用の画像であるかどうかを判定する。
【００９８】
（２）電子透かしを読み取ることで、問い合わせ先アフィリエイトサーバが判明する。
【００９９】
（３）サムネイル画像の特徴量を抽出することで、商品の特定が可能になる。
【０１００】
（４）更に、電子透かし情報をアフィリエイトサーバへ問い合わせることで、アフィリエイトの登録ユーザを特定できる。
【０１０１】
これらの情報の組み合わせから、登録ユーザに対しアフィリエイトによる還元がなされる。
【０１０２】
なお、上述の実施の形態において、電子透かし埋め込みによって特徴量が変化しない場合を想定しているが、仮に電子透かし埋め込み後に特徴量が変化する場合であっても、埋め込み後の特徴量を登録するようにすれば問題はない。
【０１０３】
また、第１〜第４の実施の形態を組み合わせることで、それぞれの効果を同時に得られることも明らかである。図２１に示すように、埋め込む電子透かし情報を必要なビット数に区切り、個々のビット毎に異なる情報を表すようにする方法も考えられる。
【０１０４】
さらに、上記の実施の形態で用いた特徴量は、画像コンテンツそのものの特徴量以外にも、画像中の特定の対象物、オブジェクトを対象とした特徴量なども考えられる。
【０１０５】
なお、本発明は、上記の実施の形態に限定されることなく、映像などの動画メディアなどにも適用できるものである。例えば、ＴＶ番組におけるＣＭであれば、ＣＭを特徴量で特定し、放送チャンネルを電子透かしで特定することで、放送番組に応じた関連情報の提供などが考えられる。
【０１０６】
また、上記の実施の形態における各動作をプログラムとして構築し、クライアント装置（携帯端末）、及びサーバ装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【０１０７】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【０１０８】
本発明は、映像などの動画メディアなどにも適用できるものである。例えば、ＴＶ番組におけるＣＭであれば、ＣＭを特徴量で特定し、放送チャンネルを電子透かしで特定することで、放送番組に応じた関連情報の提供などにも適用可能である。
【図面の簡単な説明】
【０１０９】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第1の実施の形態におけるシステム構成図（その１）である。
【図４】本発明の第1の実施の形態における処理イメージである。
【図５】本発明の第1の実施の形態における動作のフローチャート（その１）である。
【図６】本発明の第1の実施の形態における関連情報記憶部の記憶例である。
【図７】本発明の第1の実施の形態におけるシステム構成図（その２）である。
【図８】本発明の第1の実施の形態における動作のフローチャート（その２）である。
【図９】本発明の第1の実施の形態におけるシステム構成図（その３）である。
【図１０】本発明の第1の実施の形態における動作のフローチャート（その３）である。
【図１１】本発明の第２の実施の形態におけるシステム構成図（その１）である。
【図１２】本発明の第２の実施の形態における関連情報記憶部の記憶例である。
【図１３】本発明の第２の実施の形態における処理イメージである。
【図１４】本発明の第２の実施の形態における動作のフローチャート（その１）である。
【図１５】本発明の第２の実施の形態におけるシステム構成図（その２）である。
【図１６】本発明の第２の実施の形態における動作のフローチャート（その２）である。
【図１７】本発明の第２の実施の形態の適用例（その１）である。
【図１８】本発明の第２の実施の形態の適用例（その２）である。
【図１９】本発明の第３の実施の形態における透かし情報に応じて配信サーバ分散する方法を説明するための図である。
【図２０】本発明の第４の実施の形態におけるアフィリエイトへの利用例である。
【図２１】本発明の第1〜第４の実施の形態を組み合わせた例である。
【図２２】電子透かしを用いた関連情報提供システムの例である。
【図２３】特徴量を用いた関連情報提供システムの例である。
【符号の説明】
【０１１０】
１００  サーバ装置
１１０  情報受信手段、情報受信部
１２０  情報検索手段、情報検索部
１３０  情報記憶手段、関連情報記憶部
１３５  関連情報記憶部
１４０  情報返信手段、情報返信部
１５０  特徴量抽出部
１６０  透かし検出部
２００  クライアント装置
２１０  コンテンツ入力部
２２０  透かし存在有無判定手段、透かし存在有無判定部
２３０  透かし検出手段、透かし検出部
２４０  特徴量抽出手段、特徴量抽出部
２５０  情報送信手段、情報送信部
２６０  情報表示手段、情報表示部
【図１】
2007116211.tif 000003
【図２】
2007116211.tif 000004
【図３】
2007116211.tif 000005
【図４】
2007116211.tif 000006
【図５】
2007116211.tif 000007
【図６】
2007116211.tif 000008
【図７】
2007116211.tif 000009
【図８】
2007116211.tif 000010
【図９】
2007116211.tif 000011
【図１０】
2007116211.tif 000012
【図１１】
2007116211.tif 000013
【図１２】
2007116211.tif 000014
【図１３】
2007116211.tif 000015
【図１４】
2007116211.tif 000016
【図１５】
2007116211.tif 000017
【図１６】
2007116211.tif 000018
【図１７】
2007116211.tif 000019
【図１８】
2007116211.tif 000020
【図１９】
2007116211.tif 000021
【図２０】
2007116211.tif 000022
【図２１】
2007116211.tif 000023
【図２２】
2007116211.tif 000024
【図２３】
2007116211.tif 000025