(57)【要約】【課題】動画像の中の背景オブジェクトに関する情報をユーザに表示させることができる情報提供装置等を提供すること。【解決手段】動画情報を取得する画像情報取得部と、全体画像の各画素のオプティカルフローを解析するオプティカルフロー解析部と、各画素に対して各画素の動きを示す動きベクトルを各画素に関連付けるラベリング処理部と、動きベクトルに基づいて、全体画像の一部を構成する部分画像である背景画像を抽出する背景画像抽出部と、少なくとも１つの背景画像に基づいて、背景オブジェクトを特定する背景オブジェクト特定部と、背景オブジェクトと動画情報を関連付ける関連付け部と、ユーザ端末からの要求に対応して送信する動画における特定の背景オブジェクトがユーザ端末の表示画面上に表示されている間において、特定の背景オブジェクトに関連付けられた関連情報をユーザ端末５等に表示させるマッチング部と、を有する【選択図】図１０
2008176396.tif 000002
【特許請求の範囲】
【請求項１】
ユーザからの要求に対して情報を提供する情報提供装置であって、
複数の全体画像（画像フレーム）から構成される動画を示す動画情報を前記情報提供装置の内部または外部から取得する画像情報取得部と、
前記全体画像の各画素のオプティカルフローを解析するオプティカルフロー解析部と、
前記オプティカルフロー解析部の解析結果に基づいて、各前記画素に対して各前記画素の動きを示す動きベクトルを各前記画素に関連付けるラベリング処理部と、
前記動きベクトルに基づいて、前記全体画像の一部を構成する部分画像である背景画像を抽出する背景画像抽出部と、
少なくとも１つの前記背景画像に基づいて、背景オブジェクトを特定する背景オブジェクト特定部と、
前記背景オブジェクトと前記動画情報を関連付ける関連付け部と、
ユーザ端末からの要求に対応して送信する前記動画における特定の前記背景オブジェクトが前記ユーザ端末の表示画面上に表示されている間において、特定の前記背景オブジェクトに関連付けられた関連情報を前記ユーザ端末に表示させるマッチング部と、
を有することを特徴とする情報提供装置。
【請求項２】
前記背景画像抽出部は、複数の前記部分画像のうち前記動きベクトルの大きさが相対的に大きい前記画素によって形成される画像が前記背景画像であると判断する構成になっていることを特徴とする請求項１に記載の情報提供装置。
【請求項３】
前記背景画像抽出部は、前記全体画像の少なくとも１つの隅近傍の前記画素の前記動きベクトルとほぼ同じ前記動きベクトルに対応する前記画素を含む画像が背景画像であると判断する構成になっていることを特徴とする請求項１または請求項２のいずれかに記載の情報提供装置。
【請求項４】
前記マッチング部は、前記関連情報として、特定の前記背景オブジェクトに関連付けられた観光地情報を前記ユーザ端末に表示させる構成になっていることを特徴とする請求項１乃至請求項３のいずれかに記載の情報提供装置。
【請求項５】
前記マッチング部は、前記関連情報として、特定の前記背景オブジェクトに関連付けられた広告を前記ユーザ端末に表示させる構成になっていることを特徴とする請求項１乃至請求項３のいずれかに記載の情報提供装置。
【請求項６】
ユーザからの要求に対して情報を提供する情報提供装置が、複数の全体画像（画像フレーム）から構成される動画を示す動画情報を前記情報提供装置の内部または外部から取得する画像情報取得ステップと、
前記全体画像の各画素のオプティカルフローを解析するオプティカルフロー解析ステップと、  
前記オプティカルフロー解析ステップにおける解析結果に基づいて、各前記画素に対して各前記画素の動きを示す動きベクトルを各前記画素に関連付けるラベリング処理ステップと、
前記動きベクトルに基づいて、前記全体画像の一部を構成する部分画像である背景画像を抽出する背景画像抽出ステップと、
少なくとも１つの前記背景画像に基づいて、背景オブジェクトを特定する背景オブジェクト特定ステップと、
前記背景オブジェクトと前記動画情報を関連付ける関連付けステップと、
ユーザ端末からの要求に対応して送信する前記動画における特定の前記背景オブジェクトが前記ユーザ端末の表示画面上に表示されている間において、特定の前記背景オブジェクトに関連付けられた関連情報を前記ユーザ端末に送信して表示させるマッチングステップと、
を有することを特徴とする情報提供方法
【請求項７】
コンピュータを、ユーザからの要求に対して情報を提供する情報提供装置として機能させるプログラムであって、
複数の全体画像（画像フレーム）から構成される動画を示す動画情報を前記情報提供装置の内部または外部から取得する画像情報取得ステップと、
前記全体画像の各画素のオプティカルフローを解析するオプティカルフロー解析ステップと、
前記オプティカルフロー解析ステップにおける解析結果に基づいて、各前記画素に対して各前記画素の動きを示す動きベクトルを各前記画素に関連付けるラベリング処理ステップと、
前記動きベクトルに基づいて、前記全体画像の一部を構成する部分画像である背景画像を抽出する背景画像抽出ステップと、
少なくとも１つの前記背景画像に基づいて、背景オブジェクトを特定する背景オブジェクト特定ステップと、
前記背景オブジェクトと前記動画情報を関連付ける関連付けステップと、
ユーザ端末からの要求に対応して送信する前記動画における特定の前記背景オブジェクトが前記ユーザ端末の表示画面上に表示されている間において、特定の前記背景オブジェクトに関連付けられた関連情報を前記ユーザ端末に送信して表示させるマッチングステップと、
をコンピュータに実行させることを特徴とする情報提供プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザからの要求に対して情報を提供する情報提供装置、情報提供方法、及びプログラムに関する。
【背景技術】
【０００２】
インターネット等の通信ネットワークを介して接続された端末装置の画面に表示された画像に関連する情報を表示するサービスである、例えば、バナー広告を利用した販売促進活動が広く行われている。バナー広告は、例えば、ウェブページの一部に設けられ、ユーザによってクリックされると、そのバナー広告にリンクした他のウェブサイトが表示されるようになっている。そして、このようなバナー広告を介して、迅速に直接商品の注文をすることができるようにする技術が提案されている（例えば、特許文献１）。
【特許文献１】特開２００３−３３１１８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１の技術は、ユーザが購入を希望する商品を注文するためのバナーがユーザの端末装置の表示画面に表示されなければ、結局、利用者は購入希望の販売ページにたどり着くまでに長時間を要することになるという問題がある。そして、ユーザにとっては、表示画面に表示される例えば、動画像の中の主演男優等のターゲットに関する情報ではなくて、その背景である、例えば、特定の山や建造物等の背景オブジェクトに関連する情報がむしろ有益である場合がある。
【０００４】
そこで、本発明は、動画像の中の背景オブジェクトに関する情報をユーザに表示させることができる情報提供装置、情報提供方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
（１）ユーザからの要求に対して情報を提供する情報提供装置であって、複数の全体画像（画像フレーム）から構成される動画を示す動画情報を前記情報提供装置の内部または外部から取得する画像情報取得部と、前記全体画像の各画素のオプティカルフローを解析するオプティカルフロー解析部と、前記オプティカルフロー解析部の解析結果に基づいて、各前記画素に対して各前記画素の動きを示す動きベクトルを各前記画素に関連付けるラベリング処理部と、前記動きベクトルに基づいて、前記全体画像の一部を構成する部分画像である背景画像を抽出する背景画像抽出部と、少なくとも１つの前記背景画像に基づいて、背景オブジェクトを特定する背景オブジェクト特定部と、前記背景オブジェクトと前記動画情報を関連付ける関連付け部と、ユーザ端末からの要求に対応して送信する前記動画における特定の前記背景オブジェクトが前記ユーザ端末の表示画面上に表示されている間において、特定の前記背景オブジェクトに関連付けられた関連情報を前記ユーザ端末に表示させるマッチング部と、を有することを特徴とする情報提供装置。
【０００６】
（１）の発明によれば、情報提供装置は、各画素のオプティカルフローを解析し、各画素の動きを示す動きベクトルを生成し、その動きベクトルを各画素に関連付けることができる。そして、情報提供装置は、各画素に結び付けられた動きベクトルに基づいて、背景画像を抽出し、さらに、背景オブジェクトを特定することができる。例えば、大きな山である背景オブジェクトが、各全体画像においてその一部だけが表示されている場合には、１つの背景画像だけでは背景オブジェクトを特定することができない場合がある。この点、情報提供装置は、背景オブジェクト特定手段を有するから、１つの背景画像で背景オブジェクトを特定することができない場合であっても、２以上の全体画像（画像フレーム）に含まれる背景画像に基づいて、背景オブジェクトを特定することができる。そして、情報提供装置は、ユーザ端末からの要求に対応して送信した動画において特定の背景オブジェクトがユーザ端末の表示画面上に表示されている間において、特定の背景オブジェクトに関連付けられた関連情報をユーザ端末に送信して表示させることができる。このように、情報提供装置は、送信される全体画像（画像フレーム）の中の背景オブジェクトに関する情報をユーザに表示させることができる。
【０００７】
（２）前記背景画像抽出部は、複数の前記部分画像のうち前記動きベクトルの大きさが相対的に大きい前記画素によって形成される画像が前記背景画像であると判断する構成になっていることを特徴とする（１）に記載の情報提供装置。
【０００８】
（２）に記載の構成によれば、動きベクトルが相対的に大きい画素によって形成される画像を、背景画像として抽出することができる。主演男優等のターゲットは、全体画像の中央部に継続的に位置する場合が多く、ターゲットの動きよりも背景画像の動き方が大きい傾向がある。（２）に記載の構成によれば、このような傾向を利用して、背景画像を効率的に抽出することができる。
【０００９】
（３）前記背景画像抽出部は、前記全体画像の少なくとも１つの隅近傍の前記画素の前記動きベクトルとほぼ同じ前記動きベクトルに対応する前記画素を含む画像が背景画像であると判断する構成になっていることを特徴とする（１）または（２）のいずれかに記載の情報提供装置。  
【００１０】
（３）に記載の構成によれば、背景画像である確率が高い隅近傍の画素の動きに基づいて、背景画像を抽出することができる。ターゲットは、全体画像の隅近傍に位置することが少ないのに対して、背景画像は全体画像の隅近傍に位置する傾向が大きい。（３）の記載の構成によれば、このような傾向を利用して、背景画像を高い確実性を持って抽出することができる。
【００１１】
（４）前記マッチング部は、前記関連情報として、特定の前記背景オブジェクトに関連付けられた観光地情報を前記ユーザ端末に表示させる構成になっていることを特徴とする（１）乃至（３）のいずれかに記載の情報提供装置。
【００１２】
（４）に記載の構成によれば、情報提供装置は、例えば、コンピュータネットワークにおいて送信される全体画像（画像フレーム）の中の背景オブジェクトに関する観光地情報をユーザ端末に表示させることができる。
【００１３】
（５）前記マッチング部は、前記関連情報として、特定の前記背景オブジェクトに関連付けられた広告を前記ユーザ端末に表示させる構成になっていることを特徴とする（１）乃至（３）のいずれかに記載の情報提供装置。
【００１４】
（５）に記載の構成によれば、情報提供装置は、例えば、コンピュータネットワークにおいて送信される全体画像（画像フレーム）の中の背景オブジェクトに関する広告をユーザ端末に表示させることができる。
【００１５】
（６）ユーザからの要求に対して情報を提供する情報提供装置が、複数の全体画像（画像フレーム）から構成される動画を示す動画情報を前記情報提供装置の内部または外部から取得する画像情報取得ステップと、前記全体画像の各画素のオプティカルフローを解析するオプティカルフロー解析ステップと、前記オプティカルフロー解析ステップにおける解析結果に基づいて、各前記画素に対して各前記画素の動きを示す動きベクトルを各前記画素に関連付けるラベリング処理ステップと、前記動きベクトルに基づいて、前記全体画像の一部を構成する部分画像である背景画像を抽出する背景画像抽出ステップと、少なくとも１つの前記背景画像に基づいて、背景オブジェクトを特定する背景オブジェクト特定ステップと、前記背景オブジェクトと前記動画情報を関連付ける関連付けステップと、ユーザ端末からの要求に対応して送信する前記動画における特定の前記背景オブジェクトが前記ユーザ端末の表示画面上に表示されている間において、特定の前記背景オブジェクトに関連付けられた関連情報を前記ユーザ端末に送信して表示させるマッチングステップと、を有することを特徴とする情報提供方法。
【００１６】
（６）に記載の発明によれば、（１）に記載の発明と同様に、送信される全体画像（画像フレーム）の中の背景オブジェクトに関する情報をユーザ端末に表示させることができる。
【００１７】
（７）コンピュータを、ユーザからの要求に対して情報を提供する情報提供装置として機能させるプログラムであって、複数の全体画像（画像フレーム）から構成される動画を示す動画情報を前記情報提供装置の内部または外部から取得する画像情報取得ステップと、前記全体画像の各画素のオプティカルフローを解析するオプティカルフロー解析ステップと、前記オプティカルフロー解析ステップにおける解析結果に基づいて、各前記画素に対して各前記画素の動きを示す動きベクトルを各前記画素に関連付けるラベリング処理ステップと、前記動きベクトルに基づいて、前記全体画像の一部を構成する部分画像である背景画像を抽出する背景画像抽出ステップと、少なくとも１つの前記背景画像に基づいて、背景オブジェクトを特定する背景オブジェクト特定ステップと、前記背景オブジェクトと前記動画情報を関連付ける関連付けステップと、ユーザ端末からの要求に対応して送信する前記動画における特定の前記背景オブジェクトが前記ユーザ端末の表示画面上に表示されている間において、特定の前記背景オブジェクトに関連付けられた関連情報を前記ユーザ端末に送信して表示させるマッチングステップと、をコンピュータに実行させることを特徴とする情報提供プログラム。
【００１８】
（７）に記載の発明によれば、（１）に記載の発明と同様に、送信される全体画像（画像フレーム）の中の背景オブジェクトに関する情報をユーザ端末に表示させることができる。
【発明を実施するための最良の形態】
【００１９】
［本発明の実施形態］
図１は、本発明の実施形態に係る情報提供装置１０（以下、「装置１０」と呼ぶ）の概略構成等を示す図である。図２は、ユーザ端末５等を示す概略図である。図３及は、ユーザ端末５等に表示される動画の一例を示す図である。図１に示すように、装置１０は、画像辞書生成装置２０、検索装置４０及び背景オブジェクトマッチング装置１００を有する。装置１０は、通信回線である例えば、インターネット回線９を介して複数のユーザ端末５，５及びユーザ端末７等と通信可能になっている。
【００２０】
画像辞書生成装置２０は、部分画像とその部分画像を含む動画等のコンテンツとを対応させた検索辞書を生成するサーバにより構成可能である。画像辞書生成装置２０の検索キーは、文字列ではなくて、部分画像である。以下、検索するために入力される部分画像を「検索画像」と呼ぶ。このように、検索画像は、全体画像ではなくて、部分画像である。例えば、図３（ａ）に示される道路２０２、すずめ２０４、木２０６及び富士山２１０のすべてを含む画像を全体画像（画像フレーム）と呼ぶ。そして、富士山２１０等の個々の画像を部分画像と呼ぶ。複数の全体画像（画像フレーム）で、動画等のコンテンツが構成される。図３においては、すずめ２０４が主役であり、動画において、常に全体画像の中心付近に位置する。これに対して、道路２０２、木２０６及び富士山２１０は、背景画像である。
【００２１】
検索装置４０は、ユーザ端末５等から受信した検索画像に対応して、コンテンツへのリンク（ＵＲＬやアドレス）を画像辞書生成装置２０の画像検索ＤＢ３４（図４参照）から抽出し、ユーザ端末５等に送信するためのサーバにより構成可能である。なお、検索装置４０は、当該コンテンツへのリンクに加えて、関連する情報を送信するようにしてもよい。背景オブジェクトマッチング装置１００は、ユーザ端末５等に送信する動画情報に含まれる特定の背景画像に関連付けられている観光情報を、その背景画像が表示されている間だけユーザ端末５等に表示させるための構成である。
【００２２】
図２（ａ）に示すように、ユーザ端末５は、例えば、携帯電話機により構成可能であり、液晶画面５ａ、操作ボタン群５ｂ、決定ボタン５ｃ及び移動ボタン５ｄを有する。移動ボタン５ｄは、一般的な機能のほかに、液晶画面５ａに表示された全体画像の中の特定の部分画像にカーソルを合わせるためにも使用される。決定ボタン５ｃは、一般的な機能のほかに、移動ボタン５ｄによってカーソルが合わせられた部分画像を、検索画像として決定するためにも使用される。図２（ｂ）に示すように、ユーザ端末７は、例えば、ノート型のパーソナルコンピュータにより構成可能であり、液晶画面７ａ、操作ボタン群７ｂ及びマウス７ｃを有する。液晶画面５ａ及び７ａには、様々な情報が表示されるが、例えば、図３（ａ）〜（ｃ）に示す動画も表示される。図３に示すシーン１〜３の画像は、連続的に表示され、一連の動画を構成する。
【００２３】
［画像辞書生成装置２０について］
図４は、画像辞書生成装置２０の構成を示す概略ブロック図である。
図４に示すように、画像辞書生成装置２０は、コンテンツ取得部２１を有する。コンテンツ取得部２１は、インターネット回線９を介して装置１０の外部から種々のコンテンツを取得（受信）するための構成であり、画像情報取得部として機能する。コンテンツ取得部２１は、コンピュータプログラムとそのプログラムに基づいて装置１０を制御するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のハードウェアで構成され、入力部及び出力部を有する。なお、以下に説明する各部も同様に、コンピュータプログラムとハードウェアで構成され、入力部及び出力部を有する。
【００２４】
コンテンツには、テキストデータ及び画像データを含む。画像データには動画データを含む。画像辞書生成装置２０は、コンテンツクラスタリング部２２を有する。コンテンツクラスタリング部２２は、いわゆる教師あり学習によって分類方法を機械学習した状態において、外部から取得したコンテンツをクラスタ（部分集合）に分類し、コンテンツＤＢ（データベース）３０に格納するための構成である。すなわち、コンテンツクラスタリング部２２は、自動分類器である。各コンテンツは、固有のアドレス（またはＵＲＬ）を有する。上述のコンテンツクラスタリング部２２は、画像情報格納部として機能する。クラスタは、例えば、「登山関連コンテンツの集合」、「旅行関連コンテンツの集合」、「音楽関連コンテンツの集合」等である。
【００２５】
図４に示すように、画像辞書生成装置２０は、部分画像取得部２３を有する。部分画像取得部２３は、例えば、図３（ａ）中のすずめ２０４の画像（以下、単に「すずめ２０４」とも呼ぶ。他の部分画像についても同様である）を取得するための構成である。例えば、部分画像取得部２３は、コンテンツＤＢ３０に格納したコンテンツから、自動的に部分画像を抽出するようになっている。なお、部分画像取得部２３は、例えば、ユーザ端末７に図３（ａ）の画像が表示され、ユーザ端末７のユーザがマウス７ｃによってすずめ２０４にカーソルを合わせてクリックすると、インターネット回線９を介して全体画像とその全体画像に含まれる部分画像（例えば、すずめ２０４）を受信するように構成されていてもよい。
【００２６】
図４に示すように、画像辞書生成装置２０は、部分画像クラスタリング部２４を有する。部分画像クラスタリング部２４は、いわゆる教師あり学習によって分類方法を機械学習し、外部から取得したコンテンツをクラスタ（部分集合）に分類し、部分画像ＤＢ３２に格納するための構成である。すなわち、部分画像クラスタリング部２４は、自動分類器であり、部分画像格納部として機能する。クラスタは、例えば、「山の集合」、「観光名所の集合」、「楽器の集合」等である。
【００２７】
図４に示すように、画像辞書生成装置２０は、特徴付与部２５を有する。特徴付与部２５は、取得した部分画像の特徴を解析し、特徴情報を生成するための構成であり、特徴情報生成部として機能する。特徴付与部２５は、例えば、部分画像の輪郭及び使用されている色の数を特徴として抽出するようになっている。輪郭は、エッジ処理によって抽出される。これらの特徴によって、同一の部分画像（例えば、富士山）を見る角度が異なる場合であっても、それらの部分画像が同一であることを判断することができる。
【００２８】
図４に示すように、画像辞書生成装置２０は、タグ付与部２６を有する。タグ付与部２６は、部分画像から抽出した特徴情報をタグ（または、インデックス）として、そのタグとコンテンツＤＢ３０に格納されたコンテンツとのリンクと関連付けて、画像テーブルに記録するための構成である。画像テーブルは、画像検索ＤＢ３４に格納されている。
【００２９】
図５は、画像テーブルの一例を示す図である。図５に示すように、画像テーブルにおいては、動画ＩＤ（画像ＩＤまたはコンテンツＩＤとも呼ぶ）、特徴情報、クラスタリングＩＤ、コンテンツのアドレス、シーン内位置、画像（画像フレーム）内位置（座標）、動きベクトル、及び広告ＩＤが関連付けられている。「動画ＩＤ」は、例えば、図３の動画全体の識別情報である。
【００３０】
なお、本実施の形態においては、特徴情報を検索キーとして使用する。「特徴情報」は、部分画像の特徴を示す情報である。特徴情報は、例えば、富士山の輪郭と、その富士山に使用されている色の数（図５の例では、５色）を示す。「クラスタリングＩＤ」は、各部分画像が属するクラスタ（部分集合）の識別情報である。「コンテンツへのリンク」は、例えば、図３の動画全体のアドレスまたはＵＲＬである。「シーン内位置」は、例えば、図３の動画全体における各シーンの時間的位置を示す情報である。「画像内位置（座標）」は、例えば、図３（ａ）の全体画像の中で、富士山２１０の中心部分が位置する座標を示す情報である。「動きベクトル」は、全体画像の中における部分画像の動きを示す情報である。「広告ＩＤ」は、各部分画像に対応するバナー広告の識別情報である。なお、本実施の形態とは異なり、「広告ＩＤ」に替えて、観光地情報（観光地の情報）を示す「観光地情報ＩＤ」を画像テーブルに入れるようにしてもよい。
【００３１】
図６は、画像検索ＤＢ３４に格納されている広告テーブル及び背景オブジェクトテーブルを示す図である。広告テーブルには、広告ＩＤと富士山等の場所及びタグとが関連付けて格納されている。広告テーブルの「場所」及び「タグ」は、広告主が自由に指定することができるテキスト情報である。「場所」もタグの一種であり、「タグ」は「場所」以外のタグである。例えば、特定の広告ＩＤに対して、「場所」は「富士山」であり、「タグ」は「３７７６メートル」、「日本一」、「国立公園」、「日の出」である。このように、１つの広告ＩＤに対して、少なくとも１以上の「場所」及び「タグ」が付加される。
【００３２】
背景オブジェクトテーブルには、特徴情報とユーザ（動画配信事業者）が付与した場所及びタグとが関連付けられて格納されている。背景オブジェクトテーブルの「場所」及び「タグ」は、ユーザ（動画配信事業者）が動画の中の部分画像に自由に付与できるテキスト情報である。「場所」もタグの一種であり、「タグ」は「場所」以外のタグである。例えば、部分画像としての「富士山」に対して、「場所」は「富士山」であり、「タグ」は「３７７６メートル」、「日本一」、「国立公園」、「日の出」である。このように、１つの部分画像に対して、少なくとも１以上の「場所」及び「タグ」が付加される。
【００３３】
これにより、例えば、広告主が特定の広告ＩＤと「３７７６メートル」というタグを指定することにより、そのタグをキーとして広告ＩＤと特徴情報を関連付けることができ、画像テーブルを形成することができる。また、広告主が特定の広告ＩＤと「日本一」というタグを指定することにより、そのタグをキーとして広告ＩＤと特徴情報を関連付けることができる。このように、広告主が指定した様々なタグを使用して、特定の広告ＩＤと特定の背景オブジェクトを関連付けることができる。このようにして、図５の画像テーブルを生成することができる。
【００３４】
図７は、部分画像辞書の一例を示す概念図である。部分画像辞書は、上述の画像テーブルの一部である。図７に示すように、部分画像辞書は、１つの特徴情報に対して、少なくとも１つのコンテンツのアドレスを関連付けて構成される。コンテンツは動画である場合もある。画像検索ＤＢ３４は、装置１０に含まれる各装置が共通に使用する。
【００３５】
［検索装置４０について］
装置１０は、検索装置４０によって、ユーザ端末５等から受信した検索画像に基づいて、画像検索ＤＢ３４を参照し、コンテンツのＵＲＬをユーザ端末５等に返すようになっている。検索装置４０は、コンテンツのＵＲＬ以外に、検索画像に関連する情報をテキスト情報として送信するようにしてもよい。
【００３６】
図８は、検索装置４０の概略構成を示すブロック図である。図８（ａ）に示すように、検索装置４０は、クエリ受付部４１、検索処理部４２、検索結果生成部４３、検索結果送信部４４及び検索ログ記録部４５を有する。クエリ受付部４１は、ユーザ端末５等から検索画像を受け付けるための構成である。検索処理部４２は、検索画像と相関する特徴を有する部分画像のタグＩＤを画像検索ＤＢ３４から探索するための構成である。検索結果生成部４３は、ユーザ端末５等に送信するための検索結果を生成するための構成である。検索結果送信部４４は、ユーザ端末５等に検索結果を送信するための構成であり、関連情報送信部として機能する。検索ログ記録部４５は、各部分画像が検索された記録を生成するための構成である。
【００３７】
図８（ｂ）に示すように、検索処理部４２は、画像取得部４２ａ、特徴検出部４２ｂ、画像検索部４２ｃ及び関連情報抽出部４２ｄを有する。画像取得部４２ａは、部分画像を検索キーとして受信する部分画像受信部として機能する。特徴検出部４２ｂは、受信した部分画像の輪郭や色の数等の特徴を検出するための構成である。画像検索部４２ｃは、タグＩＤを抽出する識別情報抽出部として機能する。関連情報抽出部４２ｄは、検索画像に基づいて探索した部分画像に関連する関連情報をコンテンツＤＢ３０から抽出するための構成である。例えば、装置１０がユーザ端末５から料理の写真を検索画像として受信した場合に、関連情報抽出部４２ｄは、その料理のレシピをコンテンツＤＢ３０から抽出するようになっている。関連情報抽出部４２ｄが抽出した関連情報は、上述の検索結果送信部４４によってユーザ端末５等に送信される。
【００３８】
図９は、検索結果送信部４４（図８（ａ）参照）によって送信されたデータに基づいて、ユーザ端末５の液晶画面５ａに表示される検索結果の一例を示す図である。図９に示すように、例えば、検索画像が「Ａタイプ自動車」であれば、Ａタイプ自動車の画像とともに、Ａタイプ自動車が表示されているホームページのアドレスが少なくとも１つ表示されるようになっている。このとき、同時にＡタイプ自動車の排気量等の性能等の関連情報が表示されるようにしてもよい。
【００３９】
後述のように、装置１０は、ユーザ端末５のユーザが特定のアドレスをクリックした場合に、コンテンツＤＢ３０から動画を抽出して送信するのであるが、この際に、その動画に含まれる背景オブジェクトに対応するバナー広告も送信して、端末５等に表示させるようになっている。
【００４０】
［背景オブジェクトマッチング装置１００について］
図１０は、背景オブジェクトマッチング装置１００（以下、「マッチング装置１００」と呼ぶ）の概略構成等を示すブロック図である。図１１及び図１２は、背景画像を抽出する様子の一例を示す図である。図１３及び図１４は、背景オブジェクトを特定する様子の一例を示す図である。
【００４１】
図１０に示すように、マッチング装置１００は、画像取得部１０２、画像表示部１０４、オプティカルフロー解析部１０６、ラベリング処理部１０８、背景画像抽出部１１０、背景オブジェクト特定部１１２、関連付け部１１４、関連情報マッチング部１１６、及び関連情報ＤＢ１２０を有する。画像取得部１０２は、動画情報を例えば、コンテンツＤＢ３０（図４参照）から自動的に取得するための構成である。なお、画像取得部１０２は、動画情報を、装置１０の外部から受信するようにしてもよい。画像取得部１０２は、画像情報取得部の一例である。
【００４２】
画像表示部１０４は、画像取得部１０２が取得した動画を表示するための液晶表示画面１０４ａ（以下、「表示画面１０４ａ」と呼ぶ）を有し、例えば、横１２８０ピクセル、縦１０２４ピクセルの大きさである。画像表示部１０４の各画素の色や輝度を変化させることによって、表示画面１０４ａに画像を表示するようになっている。
【００４３】
オプティカルフロー解析部１０６は、全体画像の各画素のオプティカルフローを解析するための構成であり、オプティカルフロー解析部の一例である。ここで、オプティカルフローとは、画像中のある点や図形が次の瞬間にどのような方向へ、どの程度の距離を移動するかを示すベクトルである。言い換えると、オプティカルフローとは、画像上の各点の速度場のことであり、その抽出法は、例えば、特開２００６−９８１１９号公報に開示されている。
【００４４】
例えば、装置１０の表示画面１０４ａに表示される全体画像が図１１（ａ）の状態から図１１（ｂ）に示すように変わった場合、主役であるターゲット２０５は画像表示部１０４の表示画面１０４ａのほぼ中心部分に位置しつづける。これに対して、富士山２１０は、表示画面１０４ａにおいて矢印Ｘ１方向に動く。すなわち、実際には矢印Ｘ２方向に動くのは、ターゲット２０５であるが、ターゲット２０５は表示画面１０４ａ上においてほとんど動かない。これに対して、背景画像である富士山２１０は主役であるターゲット２０５よりも大きく動く。なお、図１１（ａ）及び図１１（ｂ）においては、富士山２１０は、完全には表示されておらず、その一部が表示されている。なお、本実施形態においては、輪郭の全体が現れていても一部が現れているに過ぎなくても、主役以外の画像を背景画像と呼ぶ。そして、主役の画像と背景画像との区別は、後述の動きベクトルの大きさによって規定する。また、背景画像は、必ずしもその全貌が表示画面１０４ａに表示されるとは限らない。このため、背景画像の全貌を「背景オブジェクト」として区別して呼ぶ。例えば、富士山２１０の場合、その「麓」の部分は背景画像であるが、背景オブジェクトとしては「富士山」である。
【００４５】
オプティカルフロー解析部１０６は、例えば、図１１（ａ）の全体画像（フレーム）から、次の全体画像である図１１（ｂ）へ移り変わるときのオプティカルフローを各画素ごとに解析する。
【００４６】
ラベリング処理部１０８は、オプティカルフロー解析部１０６の解析結果に基づいて、各画素の動きを示す動きベクトルを各画素に関連付けるための構成であり、ラベリング処理部の一例である。
【００４７】
ラベリング処理部１０８は、例えば、図１２（ａ）に表示画面１０４ａに表示されたイメージを示すように、各画素の動きを示す動きベクトルａ（ａ１，ａ２・・・），ｂ（ｂ１，ｂ２・・・）を、各画素に関連付ける。図１２（ａ）のイメージでは、動き始めの画素が動きベクトルａ及びｂの基部となるように関連づけている。
【００４８】
背景画像抽出部１１０は、各画素に関連付けられた動きベクトルａ１等に基づいて、背景画像を抽出するための構成であり、背景画像抽出手段の一例である。背景画像抽出部１１０は、動きベクトルｂに比べて相対的に大きい動きベクトルａに関連付けられた画素によって形成される画像を背景画像であると判断する。ここで、相対的に大きいとは、その動きベクトルの大きさが、２倍以上であることを意味する。
【００４９】
なお、本実施の形態とは異なり、背景画像抽出部１１０は、全体画像の少なくとも１つの隅近傍の画素とほぼ同じ動きベクトルに対応する画素を含む画像を背景画像であると判断する。すなわち、背景画像抽出部１１０は、相対的に大きい動きベクトルに関連付けられた画素によって形成される画像、及び、全体画像の少なくとも１つの隅近傍の画素とほぼ同じ動きベクトルに対応する画素を含む画像を背景画像であると判断するようにしてもよい。ここで、「隅近傍」とは、例えば、隅の１つの画素（「隅の画素」と呼ぶ）及び、隅の画素から半径２０ピクセル以内に位置する画素である。「ほぼ同じ」とは、例えば、９０パーセント（％）以上一致することを意味する。
【００５０】
図１２（ｂ）には、背景画像に対応すると判断された動きベクトルａだけを表示している。背景画像抽出部１１０は、背景画像に対応すると判断された動きベクトルａの複数の基部を連続させて画像を形成することによって、図１２（ｃ）に示すように、背景画像を抽出する。
【００５１】
背景オブジェクト特定部１１２は、少なくとも１つの背景画像に基づいて、背景オブジェクトを特定するための構成であり、背景オブジェクト特定手段の一例である。背景オブジェクト特定部１１２は、上述の背景画像抽出部１１０によって抽出した背景画像の特徴（輪郭及び色の数）を検出し、画像検索ＤＢ３４に格納されている部分画像の特徴と予め規定した程度において一致した場合に、背景オブジェクトを特定する。背景オブジェクト特定部１１２は、背景画像の特徴と画像検索ＤＢ３４に格納されている特徴情報が予め規定した程度である例えば、９０％以上一致した場合に、背景オブジェクトを特定するようになっている。例えば、画像検索ＤＢ３４に富士山２１０の全貌の特徴情報が格納されており、富士山２１０の全貌が１つの背景画像に表示されている場合に、特徴が９０％以上一致すれば、背景オブジェクトを特定することができる。
【００５２】
これに対して、背景画像に富士山２１０の一部しか表示されていない場合には、背景オブジェクト特定部１１２は、複数の背景画像を合成して、背景オブジェクトを特定するようになっている。図１３の例では、不完全な２つの富士山２１０を合成することによって、完全な富士山２１０を生成し、背景オブジェクトとしての富士山２１０を特定している。また、図１４の例では、図１４（ａ）〜（ｄ）は連続する画像フレームであって、各背景画像は実線で示される部分である。この場合、前の画像フレームに出てこない差分の部分（図の斜線部）を座標を考慮しつつ足し合わせていくことによって、図１３（ｅ）に示すように、完全な富士山２１０を生成し、背景オブジェクトとしての富士山２１０を特定することができる
【００５３】
関連付け部１１４は、背景オブジェクトとコンテンツＤＢに格納された動画とを関連付けるための構成である。具体的には、図５に示すように、その背景オブジェクトが含まれる動画ＩＤと、その背景オブジェクトの特徴情報を関連付ける。
【００５４】
関連情報マッチング部１１６は、ユーザ端末５等からの要求に対応して送信した動画の中に、特定の背景オブジェクトが存在する間において、その特定の背景オブジェクトに関連付けられた関連情報である例えば、バナー広告をユーザ端末に表示させるための構成であり、マッチング部の一例である。バナー広告を表示するためのデータは、そのＩＤに関連付けられて広告ＤＢ１２０に格納されている。上述の背景オブジェクトが特定できればその特徴情報を特定でき、広告ＩＤを特定することができる。そして、広告ＩＤが特定できれば、広告ＤＢ１２０から特定の背景オブジェクトに対応するバナー広告を抽出することができる。
【００５５】
関連情報マッチング部１１６は、ユーザ端末５等に対して、コンテンツＤＢ３０に格納された動画情報を送信する際に、その動画に含まれる背景オブジェクトに対応するバナー広告を送信し、端末５等に表示させるための構成である。図１５は、関連情報マッチング部１１６がユーザ端末５等に表示させる画面例を示す図である。図１５に示すように、ユーザ端末５等の表示画面には、背景オブジェクトである富士山２１０が存在する間において、例えば、「富士山ホテル」という広告バナーを表示する。なお、本実施の形態とは異なり、関連情報マッチング部１１６は、図１６に示すように、ユーザ端末５等の表示画面には、背景オブジェクトである富士山２１０が存在する間において、例えば、「富士山、紅葉みごろ」という観光地情報（観光に関する情報）を表示させるようにしてもよい。
【００５６】
以上が、装置１０の構成である。上述のように、装置１０は、各画素の動きを示す動きベクトルを生成して背景画像を抽出し、さらに、背景オブジェクトを特定することができる。例えば、大きな山である背景オブジェクトが、各全体画像においてその一部だけが表示されている場合には、１つの背景画像だけでは背景オブジェクトを特定することができない場合がある。この点、装置１０は、背景オブジェクト特定手段を有するから、１つの背景画像で背景オブジェクトを特定することができない場合であっても、２以上の背景画像に基づいて、背景オブジェクトを特定することができる。そして、装置１０は、ユーザ端末５等からの要求に対応して送信した動画における特定の背景オブジェクトが端末５等の表示画面に表示されている間において、特定のオブジェクト画像に関連付けられた関連情報（バナー広告や観光地情報）をユーザ端末５等に送信して表示させることができる。このように、コンピュータネットワークにおいて送信される全体画像（画像フレーム）の中の背景オブジェクトに関する情報をユーザに表示させることができる。
【００５７】
また、装置１０は、動きベクトルの大きさが相対的に大きい画素によって形成される画像が背景画像であると判断する構成になっているから、動きベクトルが相対的に大きい画素によって形成される画像を、背景画像として抽出することができる。ターゲットは、全体画像の中央部に位置する場合が多く、ターゲットの動きよりも背景画像の動き方が大きい傾向がある。装置１０は、このような傾向を利用して、背景画像を効率的に抽出することができる。
【００５８】
また、装置１０が、全体画像の少なくとも１つの隅近傍の画素とほぼ同じ動きベクトルに対応する画素を含む画像が背景画像であると判断する構成になっている場合には、背景画像である確立が高い隅近傍の画素の動きに基づいて、背景画像を抽出することができる。ターゲットは、全体画像の隅近傍に位置することが少ないのに対して、背景画像は全体画像の隅近傍に位置する傾向が大きい。装置１０は、このような傾向を利用して、背景画像を高い確実性を持って抽出することができる。
【００５９】
さらに、装置１０は、関連情報として、特定の背景オブジェクトに関連付けられたー広告または観光情報をユーザ端末５等に表示させる構成になっているから、例えば、コンピュータネットワークにおいて送信される全体画像（フレーム）の中の背景オブジェクトに関する観光情報または広告をユーザに送信して表示させることができる。
【００６０】
以下、装置１０の動作例を主に図１７を使用して説明する。図１７は、装置１０の動作例を示す概略フローチャートである。
【００６１】
まず、装置１０は、外部のサーバからインターネット回線９を通じて動画情報を受信する（図１７のステップＳ１）。このステップＳ１は、画像情報受信ステップの一例である。そして、各画素のオプティカルフローを解析し（ステップＳ２）、動きベクトルを生成する（ステップＳ３）。上述のステップＳ２は、オプティカルフロー解析ステップの一例であり、ステップＳ３はラベリング処理ステップの一例である。
【００６２】
続いて、装置１０は、動画から背景画像を抽出し（ステップＳ４）、背景オブジェクトを特定する（ステップＳ５）。上述のステップＳ４は背景画像抽出ステップの一例であり、ステップＳ５は背景オブジェクト特定ステップの一例である。続いて、装置１０は、背景オブジェクトを動画情報に関連付ける（ステップＳ６）。ステップＳ６は、関連付けステップの一例である。
【００６３】
そして、装置１０は、ユーザ端末５等からの要求に応じて動画を送信する際に、その動画に含まれる背景オブジェクトに対応するバナー広告を広告ＤＢ１２０から抽出し（ステップＳＴ７）、動画とともにユーザ端末に送信することによって、その動画に特定の背景オブジェクトが表示されている間だけその背景オブジェクトに対応する広告バナーを表示させる（ステップＳ８）。このステップＳ７及び８は、マッチングステップの一例である。
【００６４】
［プログラム及びコンピュータ読み取り可能な記録媒体等について］
コンピュータに上述の動作例の画像情報取得ステップ、オプティカルフロー解析ステップ、ラベリング処理ステップ、背景画像抽出ステップ、背景オブジェクト特定ステップ及びマッチングステップ等を実行させるためのコンピュータプログラム等とすることができる。また、このようなコンピュータプログラム等を記録したコンピュータ読み取り可能な記録媒体とすることもできる。
【００６５】
［情報提供装置１０のハードウェア構成］
図１８は、装置１０のハードウェア構成例を示す図である。装置１０は、それぞれの制御部を構成するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１０（マルチプロセッサ構成ではＣＰＵ１０１２等複数のＣＰＵが追加されてもよい）、バスライン１００５、通信Ｉ／Ｆ１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）１０６０、ＵＳＢポート１０９０、Ｉ／Ｏコントローラ１０７０、ならびにキーボード及びマウス１１００等の入力手段や表示装置１０２２を備える。
【００６６】
Ｉ／Ｏコントローラ１０７０には、テープドライブ１０７２、ハードディスク１０７４、光ディスクドライブ１０７６、半導体メモリ１０７８、等の記憶手段を接続することができる。
【００６７】
ＢＩＯＳ１０６０は、装置１０の起動時にＣＰＵ１０１０が実行するブートプログラムや、装置１０のハードウェアに依存するプログラム等を格納する。
【００６８】
記憶部を構成するハードディスク１０７４は、装置１０が機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶しており、さらに必要に応じて各種データベースを構成可能である。
【００６９】
光ディスクドライブ１０７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この場合は各ドライブに対応した光ディスク１０７７を使用する。光ディスク１０７７から光ディスクドライブ１０７６によりプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０またはハードディスク１０７４に提供することもできる。また、同様にテープドライブ１０７２に対応したテープメディア１０７１を主としてバックアップのために使用することもできる。
【００７０】
装置１０に提供されるプログラムは、ハードディスク１０７４、光ディスク１０７７、またはメモリーカード等の記録媒体に格納されて提供される。このプログラムは、Ｉ／Ｏコントローラ１０７０を介して、記録媒体から読み出され、または通信Ｉ／Ｆ１０４０を介してダウンロードされることによって、装置１０にインストールされ実行されてもよい。
【００７１】
前述のプログラムは、内部または外部の記憶媒体に格納されてもよい。ここで、記憶部を構成する記憶媒体としては、ハードディスク１０７４、光ディスク１０７７、またはメモリカードの他に、ＭＤ等の光磁気記録媒体、テープメディア１０７１を用いることができる。また、専用通信回線やインターネットに接続されたサーバシステムに設けたハードディスク１０７４または光ディスクライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してプログラムを情報処理装置１０００に提供してもよい。
【００７２】
ここで、表示装置１０２２は、サーバ管理者にデータの入力を受け付ける画面を表示したり、装置１０による演算処理結果の画面を表示したりするものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。
【００７３】
ここで、入力手段は、サーバ管理者による入力の受け付けを行うものであり、キーボード及びマウス１１００等により構成してよい。
【００７４】
また、通信Ｉ／Ｆ１０４０は、情報処理装置１０００を専用ネットワークまたは公共ネットワークを介して端末と接続できるようにするためのネットワーク・アダプタである。通信Ｉ／Ｆ１０４０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。
【００７５】
以上の例は、装置１０について主に説明したが、コンピュータに、プログラムをインストールして、そのコンピュータを装置１０として動作させることにより上記で説明した機能を実現することもできる。従って、本発明において一実施形態として説明した情報処理装置１０００により実現される機能は、上述の方法を当該コンピュータにより実行することにより、あるいは、上述のプログラムを当該コンピュータに導入して実行することによっても実現可能である。
【００７６】
本発明の実施形態である装置１０、またはこれらの装置の制御で用いられる方法を、コンピュータ上のプログラムによって実現する場合において、上記プログラムを格納する記憶媒体は、電子的、磁気的、光学的、電磁的、赤外線または半導体システム（または、装置または機器）あるいは伝搬媒体であることができる。この記憶媒体の例には、半導体またはソリッド・ステート記憶装置、磁気テープ、取り外し可能なコンピュータ可読の媒体の例には、半導体またはソリッド・ステート記憶装置、磁気テープ、取り外し可能なフレキシブルディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リードオンリー・メモリ（ＲＯＭ）、リジッド磁気ディスク及び光ディスクが含まれる。現時点における光ディスクの例には、コンパクト・ディスク・リードオンリー・メモリ（ＣＤ−ＲＯＭ）、コンパクト・ディスク−リード・ライト（ＣＤ−Ｒ／Ｗ）及びＤＶＤが含まれる。
【００７７】
以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定しない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載された効果に限定されない。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１の実施形態に係る情報提供装置の概略構成等を示す図である。
【図２】ユーザ端末を示す概略図である。
【図３】ユーザ端末に表示される動画の一例を示す図である。
【図４】画像辞書生成装置の構成を示す概略ブロック図である。
【図５】画像テーブルの一例を示す図である。
【図６】広告テーブル等の一例を示す図である。
【図７】部分画像辞書の一例を示す概念図である。
【図８】検索装置の概略構成を示すブロック図である。
【図９】ユーザ端末の液晶画面に表示される検索結果の一例を示す図である。
【図１０】背景オブジェクトマッチング装置の一例を示す図である。
【図１１】背景画像を抽出する様子の一例を示す図である。
【図１２】背景画像を抽出する様子の一例を示す図である。
【図１３】背景オブジェクトを特定する様子の一例を示す図である。
【図１４】背景オブジェクトを特定する様子の一例を示す図である。
【図１５】関連情報マッチング部がユーザ端末に表示させる画面例を示す図である。
【図１６】関連情報マッチング部がユーザ端末に表示させる画面例を示す図である。
【図１７】装置の動作例を示す概略フローチャートである。
【図１８】情報提供装置のハードウェア構成例を示す図である。
【符号の説明】
【００７９】
１０    情報提供装置
２０    画像辞書生成装置
２１    コンテンツ取得部
２２    コンテンツクラスタリング部
２３    部分画像取得部
２４    部分画像クラスタリング部
２５    特徴付与部
２６    タグ付与部
４０    検索装置
４１    クエリ受付部
４２    検索処理部
４２ａ    画像取得部
４２ｂ    特徴検出部
４３ｃ    画像検索部
４２ｄ    関連情報抽出部
４３    検索結果生成部
４４    検索結果送信部
４５    検索ログ記録部
１００    背景オブジェクトマッチング生成装置
１０２    画像取得部
１０４    画像表示部１０４
１０６    オプティカルフロー解析部
１０８    ラベリング処理部
１１０    背景画像抽出部
１１２    背景オブジェクト特定部
１１４    関連付け部
１１６    関連情報マッチング部  
１２０    広告ＤＢ
【図１】
2008176396.tif 000003
【図２】
2008176396.tif 000004
【図３】
2008176396.tif 000005
【図４】
2008176396.tif 000006
【図５】
2008176396.tif 000007
【図６】
2008176396.tif 000008
【図７】
2008176396.tif 000009
【図８】
2008176396.tif 000010
【図９】
2008176396.tif 000011
【図１０】
2008176396.tif 000012
【図１１】
2008176396.tif 000013
【図１２】
2008176396.tif 000014
【図１３】
2008176396.tif 000015
【図１４】
2008176396.tif 000016
【図１５】
2008176396.tif 000017
【図１６】
2008176396.tif 000018
【図１７】
2008176396.tif 000019
【図１８】
2008176396.tif 000020