(57)【要約】  シーンにおいて着目された特定物体の評価に基づき関連情報やマーケティング情報生成する情報処理システムを提供する。  物体を構成するためのデータベースから再構成されたマザーデータベース（ＭＤＢ）をもとにユーザからの画像検索要求に応じて特定物体認識された物体に対し、複数のユーザからの検索要求をシーンに応じて評価し、着目度に応じて対象物体に関わる関連情報やマーケティング情報を当該画像検索要求を行なったユーザ群に順次提供することを可能にする。
2011083732.tif 000002
【特許請求の範囲】
【請求項１】
物体を構成するためのデータベースから再構成されたマザーデータベース（ＭＤＢ）をもとにユーザからの画像検索要求に応じて特定物体認識された物体に対し、複数のユーザからの検索要求をシーンに応じて評価し、着目度に応じて対象物体に関わる広告及び／又はサービスを当該画像検索要求を行なったユーザに順次提供することを可能にする情報処理システム。
【請求項２】
上記請求項１に記載の情報処理システムにおいて、複数の物体への着目度から生成した統計データをユーザ及び／又は第三者に提供することを可能にする情報処理システム。
【請求項３】
上記請求項１又は２に記載の情報処理システムにおいて、物体を構成するためのデータベースから再構成されたマザーデータベース（ＭＤＢ）に未登録の特定物体認識要求があった場合、当該物体に対し複数のユーザ及び第三者に不明物体発見の告知（アテンション）を行い、上記ユーザからの集合知及び第三者から提供される情報に基づいて物体を判別可能な場合は、当該物体に関わる詳細なデータベースをＭＤＢに登録したのち、複数のユーザ及び第三者に不明物体の同定ができた旨の案内を行い、対象物体に関わる広告及び／又はサービスをユーザに順次提供可能にする情報処理システム。
【請求項４】
上記請求項１〜３のいずれか１項に記載の情報処理システムにおいて、特定物体認識された物体のＭＤＢを用いて、前記ユーザがその物体の一部の属性をユーザの好みに応じて変更可能にし、そのユーザの好みや要求をマーケティング情報として第三者に提供することを可能にする情報処理システム。
【請求項５】
上記請求項１〜４のいずれか１項に記載の情報処理システムにおいて、予め市場に投入する可能性のある物体をＭＤＢに先行登録し、将来のユーザからの画像検索要求に速やかに対応可能にする情報処理システム。
【請求項６】
上記請求項１〜５のいずれか１項に記載の情報処理システムにおいて、前記シーン内におけるユーザからの特定物体認識要求が他の物体に推移した場合、その推移履歴情報をもとに着目度の評価を行い、その評価に基づいた統計データをマーケティング情報として第三者に提供することを可能にする情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広く情報処理システムに関し、特にデータベースへの参照リンクの数等に基づき評価を行う情報処理システムに関する。
【背景技術】
【０００２】
近年のインターネットの普及とともに閲覧者の数及びネットワーク上の情報量が増大したことによって、情報検索技術が進歩してきた。例えば、強力な検索エンジンを利用可能なポータルサイトがいくつも運営されている。また、閲覧者の検索キーワードやアクセス履歴等を解析して閲覧者の嗜好にあったＷｅｂページや広告を配信する技術も開発され、閲覧者が使用するキーワードに基づいたマーケティングも行われるようになった。【０００３】
例えば、ユーザにとって有用な情報を精度良く且つ容易に提供することができる情報提供装置がある（特許文献１）。この情報提供装置は、ユーザによる各コンテンツに対するアクセスの頻度を表すアクセス頻度情報を、当該ユーザを識別するユーザ識別情報に対応付けて格納するアクセス履歴格納手段と、各ユーザ間におけるコンテンツへのアクセス傾向の類似性を表すユーザ間類似度を、前記アクセス履歴格納手段に格納された前記アクセス頻度情報に基づいて算出するユーザ間類似度計算手段と、ユーザと各ユーザとの間の前記ユーザ間類似度により重み付けした当該各ユーザの前記アクセス頻度情報から、当該ユーザにとってのコンテンツの有用度を表す情報であるコンテンツスコアを算出するコンテンツスコア計算手段と、前記コンテンツスコア計算手段によって算出された各コンテンツの前記コンテンツスコアを前記ユーザ識別情報に対応付けて記憶するインデックス格納手段と、通信端末装置から送信された、ユーザ識別情報を含むクエリの入力を受け付けるクエリ入力手段と、前記クエリ入力手段により受け付けられた前記クエリに適合するコンテンツのコンテンツ識別情報を取得し、当該クエリに含まれるユーザ識別情報に対応付けられて前記インデックス格納手段に記憶された前記コンテンツスコアを参照して、取得した前記コンテンツ識別情報から提供情報を生成する提供情報生成手段と、前記提供情報生成手段により生成された前記提供情報を前記通信端末装置に出力する提供情報出力手段とを備えることを特徴とする情報提供装置である。【０００４】
また、検索キーワードの流行時期と流行した理由を提示する検索サーバがある（特許文献２）。この検索サーバは、ブログ記事を収集するブログ記事収集手段と、クライアントから受信した情報に従い検索キーワードの出現頻度表示する対象期間を決定する期間決定手段と、対象期間から決定した区間ごとに、区間内に更新されたブログ記事を対象とし検索キーワードの出現頻度をカウントし、出現頻度の時系列情報を生成する出現頻度カウント手段と、出現頻度のピーク区間を検出するピーク区間検出手段と、ピーク区間内に更新されたブログ記事から検索キーワードの関連キーワードを抽出する関連キーワード抽出手段と、時系列情報をグラフ化したグラフ情報を生成し、クライアントに送信するグラフ情報生成手段を備え、グラフ情報においては、ピーク区間のラベルとして関連キーワードが表示されることを特徴としている。【０００５】
また、バナー広告の広告効果を広告主側が容易に把握できるとともに、より広告効果の高いバナー広告をユーザ毎に提供する広告配信システムがある（特許文献３）。この広告配信システムは、あらかじめ記憶した複数の広告データのなかからユーザ端末に対応するユーザのユーザプロファイルを参照する。そして参照してユーザプロファイルに基づいて、当該ユーザ端末に配信すべき広告データを抽出する。次に、抽出した広告データをユーザ端末にネットワークを介して配信し、広告を表示することを特徴としている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２６５７５４号公報
【特許文献２】特開２００８−２６２３０１号公報
【特許文献３】特開２００２−２３６８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来のシステムにおける参照履歴やアクセス履歴の集計は、あくまでもＷｅｂページの所在（ＵＲＬ等）を単位としたページ全体に対するアクセスを集計するものであり、例えばＷｅｂページの中のどの部分に対して閲覧者が興味を持ったかなど、細部にいたる着目情報を収集することはできなかった。【０００８】
さらに、検索キーワードや検索クエリに基づくマーケット分析においても、キーワードの使用頻度のカウントやキーワード同士の関連度を演算するといった、テキスト処理が中心であった。また、広告の配信効率を高めるための技術についても、ユーザの性別、年齢層、嗜好、興味のある分野といったプロファイル情報を分析して関連度の高い広告を抽出し配信するといったものにとどまっており、閲覧者が具体的に着目した（あるいは着目しなかった）物についての分析が望まれる。【０００９】
そこで、本発明は、閲覧者によって着目された具体的な対象物（the object）について分析を行い、この着目物体に関連する情報や広告等を配信する情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る情報処理システムは、物体を構成するためのデータベースから再構成されたマザーデータベース（ＭＤＢ）をもとにユーザからの画像検索要求に応じて特定物体認識された物体に対し、複数のユーザからの検索要求をシーンに応じて評価し、着目度に応じて対象物体に関わる広告及び／又はサービスを当該画像検索要求を行なったユーザに順次提供することを可能にする。【００１１】
また、本発明に係る情報処理システムは、複数の物体への着目度から生成した統計データをユーザ及び／又は第三者に提供することを可能にする。【００１２】
また、本発明に係る情報処理システムは、物体を構成するためのデータベースから再構成されたマザーデータベース（ＭＤＢ）に未登録の特定物体認識要求があった場合、当該物体に対し複数のユーザ及び第三者に不明物体発見の告知（アテンション）を行い、上記ユーザからの集合知及び第三者から提供される情報に基づいて物体を判別可能な場合は、当該物体に関わる詳細なデータベースをＭＤＢに登録したのち、複数のユーザ及び第三者に不明物体の同定ができた旨の案内を行い、対象物体に関わる広告及び／又はサービスをユーザに順次提供可能にする。【００１３】
また、本発明に係る情報処理システムは、特定物体認識された物体のＭＤＢを用いて、前記ユーザがその物体の一部の属性をユーザの好みに応じて変更可能にし、そのユーザの好みや要求をマーケティング情報として第三者に提供することを可能にする。【００１４】
また、本発明に係る情報処理システムは、予め市場に投入する可能性のある物体をＭＤＢに先行登録し、将来のユーザからの画像検索要求に速やかに対応可能にする。【００１５】
また、本発明に係る情報処理システムは、前記シーン内におけるユーザからの特定物体認識要求が他の物体に推移した場合、その推移履歴情報をもとに着目度の評価を行い、その評価に基づいた統計データをマーケティング情報として第三者に提供することを可能にする。
【発明の効果】
【００１６】
本発明に係る情報処理システムによれば、次のような効果を奏する。
（１）閲覧者が特定の画像（静止画像及び動画像を含む。以下、同じ）シーンにおいて着目した物体について、その着目度（着目頻度及び／又は着目ランク）を元に閲覧者の役に立つような追加情報を提供する情報処理システムを実現できる。
（２）閲覧者が特定の画像シーンにおいて着目した物体について、その着目度を元に対象物体に関連する広告及び／又はサービス等の表示を付加表示する情報処理システムを実現できる。
（３）画像等の特定のシーンにおける個別の物体に対する閲覧者の着目度の推移を元にマーケティングを行う情報処理システムを提供できる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る情報処理システムの一実施形態におけるシステム構成図である。
【図２】本発明に係る情報処理システムの一実施形態におけるサーバ及びマザーデータベース（ＭＤＢ）の機能ブロックを説明する説明図である。
【図３】本発明に係る情報処理システムの一実施形態における端末装置の機能ブロックを説明する説明図である。
【図４】本発明に係る情報処理システムの一実施形態におけるデータフローを説明する説明図である。
【図５】本発明に係る情報処理システムの一実施形態におけるＡＤＢとＭＤＢ及びマーケティング情報生成部のデータフローとを説明する説明図である。
【図６Ａ】本発明に係る情報処理システムの一実施形態でのシーンにおける着目物体を説明する説明図である。
【図６Ｂ】本発明に係る情報処理システムの一実施形態におけるＡＤＢを説明する説明図である。
【図７】本発明に係る情報処理システムの他の実施形態でのシーンにおける着目物体の分析例（マーケティングデータの生成例）を説明する説明図である。
【図８】本発明に係る情報処理システムの一実施形態における動作フローを説明する説明図である。
【図９】本発明に係る情報処理システムの一実施形態における動作フローを説明する説明図である。
【図１０】本発明に係る情報処理システムの一実施形態における動作フローを説明する説明図である。
【図１１】本発明に係る情報処理システムの一実施形態における動作フローを説明する説明図である。
【図１２】本発明に係る情報処理システムの一実施形態における動作フローを説明する説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明に情報処理システムを実施するための形態について詳述する。
【００１９】
図１に、本発明に係る情報処理システムの一実施形態におけるシステム構成図を示す。
情報処理システム１００は、情報処理サーバ１０１と、ＭＤＢ１０２と、ユーザが使用する端末装置１０５ａ〜１０５ｄとからなり、サーバ１０１とＭＤＢ１０２とは接続１０３で接続され、サーバ１０１及び端末装置群１０５は、ネットワーク１０４に接続されている。
【００２０】
なお、本明細書におけるサーバは、クライアントからの要求に対して何らかのサービスを提供するコンピュータシステムであり、複数のサーバシステムが結合したコンピュータ群を意味し、複数のソフトウェアにより駆動される。したがって、本明細書では、サーバの意義を上記のとおり位置付ける。
【００２１】
また、ハードウェアとしてのコンピュータは、最も基本的な構成としては、命令バス及びデータバスで接続された算術論理演算ユニットと制御ユニットと記憶装置と入出力装置とを備えた電子計算機である。入出力インタフェースを介して入出力装置から入力された情報（ビットデータ）に基づき算術論理演算ユニットにおいて算術演算や論理演算、比較演算、シフト演算等が実行される。実行されたデータは必要に応じて記憶装置に記憶され、入出力装置から出力される。これら一連の処理は、記憶装置に記憶されたソフトウェアプログラムによって制御される。本発明における各サーバマシンも、上記のとおりのコンピュータとしての基本機能を最低限備えたハードウェアであり、オペレーティングシステムやデバイスドライバ、そしてアプリケーションソフトウェアといったプログラム群によって制御されている。
【００２２】
図２に、本発明に係る情報処理システムの一実施形態における情報処理サーバ１０１及びＭＤＢ１０２の機能ブロックを示す。情報処理サーバ１０１は、ソフトウェア機能ブロックとして、領域処理部２０１と、一般物体認識部２０２と、特定物体認識部２０３と、ネットワーク通信制御部２０４と、データ検索処理部２０５と、ＭＤＢ検索部２０６と、ＭＤＢ学習部２０７と、ＭＤＢマネージメント部２０８と、シーン処理部２１０と、マーケティング情報生成部２１１と、着目点処理部２１２とからなる。情報処理サーバ１０１の機能ブロックは必ずしもこれらに限定されるものではないが、これら代表的な機能について簡単に説明する。
【００２３】
領域処理部２０１は、画像内の領域分割や部分画像の切出しなどを行う。一般物体認識部２０２は、画像中に含まれる物体を一般的な名称（カテゴリ）で認識する。また、物体認識部２０３は、ＭＤＢ１０２に登録された情報と照合し、物体を同定する。ネットワーク通信制御部２０４は、画像の入力出力処理や、端末との情報通信制御などを行う。データ検索処理部２０５は、リンク先から情報を収集したり、集合知の問合せや、収集、ならびに検索などを行う。ＭＤＢ検索部２０６は、物体の名称等のタグデータ等を検索する。ＭＤＢ学習部２０７は、物体に関する詳細情報の追加、時間情報の登録、付帯情報の登録、更新、追加などを行う。ＭＤＢマネージメント部２０８は、物体構成データから特徴点や特徴量の抽出、付帯情報からカテゴリ情報を抽出しカテゴリデータへの登録や、カテゴリデータ内のカテゴリ分類の拡張、分割、更新、統合、修正、新規カテゴリの登録などを行う。
【００２４】
シーン処理部２１０は、静止画像又は動画像における同一シーンを認識する処理を行い、マーケティング情報生成部２１１は、後述する、特定物体への着目度から抽出されたデータベース（ＤＢ）構造体（アテンションデータベース：ＡＤＢ）の情報に基づいてマーケティング情報を生成する。着目点処理部２１２は、ＭＤＢ１０２に基づいて特定物体認識を行い、着目物体への参照等を処理し、集計した結果をＡＤＢ２１０１に格納する。
【００２５】
また、ＭＤＢ１０２は、物体構成データ２５１と、付帯情報データ２５２と、特徴量データ２５３と、カテゴリデータ２５４と、不特定物体データ２５５からなる。ＭＤＢ１０２は必ずしもこれらに限定されるものではないが、これら代表的な機能について簡単に説明する。
【００２６】
物体構成データ２５１は、物体を構成するためのデータベースであり、物体の構造や形状、寸法、部品の接続情報、配置図、可動部、可動範囲、重量、剛性など、物体を構成ないし製造するのに必要な基本情報を保持している。
付加情報データ２５２は、物体の名称、製造者、部品番号、日時、素材、組成、加工情報など物体に関するあらゆる情報を保持している。
特徴量データ２５３は、上記情報に基づいて生成される個々の物体の特徴点や特徴量情報を保持している。
カテゴリデータ２５４は、一般物体認識部において物体のカテゴリ分類を行う際に使用する情報を保持している。
不特定多数データ２５５は、特定物体認識部において認識されなかった物体を格納しておく。ＭＤＢの進化により特定物体認識された場合には取り除かれる。
【００２７】
図３に、本発明に係る情報処理システムの一実施形態における端末装置を示す。端末装置１０５ａ〜１０５ｄは、広くユーザが使用するクライアント端末装置であり、コンピュータ、携帯情報端末（ＰＤＡ）、携帯電話機等が含まれる。つまり、端末装置１０５ａ〜１０５ｄは、多様な種類の電子情報機器が多数ネットワークに接続されている様子をあらわしている。以下、端末装置１０５と記載した場合にはネットワークに接続された端末装置１０５ａ〜１０５ｄのいずれか１台をさす。当然のことながら、端末装置１０５ａ〜１０５ｄはすべて同一機種である必要はない。同等の機能（あるいは実施可能な最低限の機能）を備えた端末装置であればよい。ここでは端末装置１０５の代表的な機能ブロックについて説明する。
【００２８】
端末装置１０５ａ〜１０５ｄは、入出力部３０１と、ネットワーク接続部３０２と、ＣＰＵ３０３と、記憶部３０４と、電源部３０５とからなる。入出力部３０１は、例えば、キーボード、マウス、ペン、ジョグダイヤル、ジョイスティック、タッチパッド（ディスプレイに内蔵されるものを含む）、音声認識用のマイクなどの入力デバイスと、ディスプレイ、スピーカ、バイブレーターなどの出力デバイスとで構成される。ネットワーク接続部３０２は、ネットワークに接続するためのインタフェースであって、有線／無線を問わない。
【００２９】
ＣＰＵ３０３は、中央処理装置であり、記憶部３０４は、ハードディスク、メモリ等の記憶装置であり、電源部３０５は、バッテリー等である。
【００３０】
このほか、必要に応じて傾きや加速度を検出するセンサ、ＧＰＳ受信機などを搭載することもできる。
【００３１】
図４に、本発明に係る情報処理システムの一実施形態におけるデータフローを示す。本発明に係る情報処理システムでは、ユーザ４０１が端末装置１０５を使ってシーン４０２を閲覧し、シーン４０２において着目した物体について情報処理サーバ１０１に問い合わせが行われる。この問い合わせは、図示しない端末装置１０５のポインティングデバイスによりシーン４０２内の着目物体を指示することにより行われる。
【００３２】
ここで、シーンは、２次元であれば写真などの静止画で切り取られる単一のフレームのみならず、複数の写真が同一の状況を捉えていればその集合体が同一シーンとなる。動画像であれば、連続した一つの状況を記録したフレーム群が同一シーンとなる。なお、動画像であっても、複数の動画像が同一シーンを記録している場合は、同じくそれら複数の動画像の集合体が同一シーンを構成する。
シーンは、例えば第三者のサーバ（不図示）に保存され、複数のユーザから閲覧可能である。
ユーザは、例えば、端末装置１０５に組み込まれた本発明に係るソフトウェアを介して、着目物体の問い合わせを情報処理サーバ１０１に行うことができる。
【００３３】
一方で、図４には示されていないが、情報処理サーバ１０１は、予めネットワーク上に存在する様々な静止画像や動画像から、ＭＤＢ１０２をもとに検出可能な物体を同定し、ユーザからの物体認識要求の問い合わせに応じて、速やかにシーン４０２中の特定物体の認識結果をユーザに返すことができる。同様に、ユーザ及び第三者４０４からリアルタイムにアップロード及び配信される静止画像や動画像の場合は、ＭＤＢ１０２をもとにリアルタイムに特定物体の検出を開始し、ユーザ及び第三者４０４に当該検出結果を速やかに返す。すなわち、情報処理サーバ１０１は、シーン毎のユーザからの着目物体についての問い合わせに対する物体認識を行うことにより、シーン中のどの物体にユーザが着目したかを観測しようとするものである。これらにより、第三者４０４は、広告主及びサービス提供者からの発信情報４０５をユーザに提供が可能になる。
【００３４】
なお、本発明において想定されているシーンの概念は、広範囲に渡るものである。例えば、多くのモデルが登場するファッション・ショーを想定する。このファッション・ショーを複数カメラで異なる角度から撮影する場合には、ステージ舞台は１つのシーンを構成し、各カメラからの映像は１つ１つのビューを構成する。本発明におけるシーンは、それぞれのカメラにおけるビューのみならず、前者のシーンをも想定している。
【００３５】
また、ＵＣＧ（user-generated content）やＣＧＣ（consumer generated content）、と呼ばれる、ユーザの手により作成され、サーバや共有サイトにアップロードされた複数のコンテンツからも本発明が想定するシーンが再構成される。例えば、ユーザから共有サイトにアップロードされたスポーツ観戦の静止画像や動画像も、同一のシーンを構成することが可能である。あるいは、複数の角度から撮られた監視カメラの映像から同一シーンが再構成される。
【００３６】
シーンの活用には、上述のようなコンテンツのみならず、第三者４０４や広告主等４０５が予めユーザの反応を見たい物体を含む静止画像や動画像を用意し、ユーザにどの程度着目されるかを観測する場合もある。
【００３７】
図４における情報処理サーバ１０１には、静止画像又は動画像における同一シーンを認識する処理を行うシーン処理部２１０と、ＭＤＢ１０２に基づいて特定物体認識を行い着目物体への参照等を処理する着目点処理部２１２と、着目点処理部２１２によって処理された集計結果等を記録しておくためのＡＤＢ２１０１と、ＡＤＢ２１０１に記録された情報に基づいて後述するマーケティング情報を生成するためのマーケティング情報生成部２１１とが含まれている。
なお、「着目ランク」とは、複数ユーザによる着目指数（例えば、何人のユーザが着目したか等）を意味し、「着目頻度」は、特定のユーザが同一の特定物体に着目する頻度を意味する。
【００３８】
なお、情報処理サーバ１０１は、特定物体を同定できなかった未確認の物体についても集合知や第三者等に問い合わせることにより（図４）、未確認の物体について解決を図ることも可能である。
【００３９】
また、第三者は、より正確なマーケティング情報を得るために自己の製品についてのＣＡＤ等の物体構成データを特定物体情報として情報処理サーバ１０１に提供することができる（図４）。また、情報処理サーバ１０１は、マーケティング情報生成部２１１で生成された統計データ又はマーケティング情報を広告主４０５や第三者４０６に提供することができる（図４）。
【００４０】
図５に、本発明に係る情報処理システムの一実施形態におけるＡＤＢとＭＤＢ及びマーケティング情報生成部のデータフローとを説明する。
【００４１】
図５において、情報処理サーバ１０１では、シーンごとにそれぞれのシーンにおける認識物体についてのデータ構造をＡＤＢ２１０１に管理している。例えば、図５において、シーン１（５０１）では、特定物体５０１ａと５０１ｂとが認識されている。認識された結果、特定物体ごとに（１）カテゴリ（物体の一般名称レベル）、（２）特定物体情報（特定製品の名称や型式）、（３）着目度、及び（４）着目物体についての遷移情報が、所定のデータ構造に格納される。ここで、遷移情報は、カテゴリ内の遷移、カテゴリ間の遷移のほか、後述のように時間軸に沿った遷移に基づく統計データを生成するために使用することができる。
【００４２】
ここまでの説明で明らかなように、情報処理サーバ１０１は、シーンを把握し、シーンの中での特定物体の着目度を分析するという特徴を有している。
【００４３】
図６に、本発明に係る情報処理システムの一実施形態におけるシーン及び着目度分析の具体例を説明する。
【００４４】
図６Ａは、シーンの具体例である。図に示すとおり、シーン４０２には、遠方にエトワール凱旋門６０１が見えるシャンゼリゼ通りが撮影されており、シャンゼリゼ通りには無数の自動車が走行している。
【００４５】
シーン４０２は、複数のユーザに共有されており、ユーザは着目した物体を図示しない端末装置１０５のポインティングデバイスなどにより指示することができる。ユーザはシーン４０２の様々な物体を指示することができるが、説明の簡単のため、指示された物体の代表例として、凱旋門６０１、自動車６０２及び自動車６０３を取り上げ、それぞれどのような着目度が得られたかを図６Ｂに基づいて説明する。
【００４６】
図６Ｂは、ＡＤＢの具体例である。まず、図６Ｂの上段のテーブルのとおり、シーン４０２は、ＩＤとして４０２が割り当てられたビューであり、タイプは写真（photo）である。そして、「エトワール凱旋門が見えるシャンゼリゼ通り」というシーン（ｃ１０１０）の１つのビューを構成している。図６Ｂの上段のテーブルによれば、このＩＤ４０２によって識別されるビューの他に、シーン（ｃ１０１０）を構成する他のビュー４０３（ＩＤ４０３、タイプは動画（movie））が登録されている。つまり、ＩＤ４０３のコンテンツ（不図示）もシーン（ｃ１０１０）に属することから、ＩＤ４０２と同様に「エトワール凱旋門が見えるシャンゼリゼ通り」というシーンを構成する。
図６Ｂの上段のテーブルは、一実施形態において以下のデータ構造を有している。
【表１】
2011083732.tif 000003
【００４７】
なお、「着目物体へのリンク」フィールドには、そのシーン（ないしビュー）において着目された１以上の着目物体へのリンクが張られる。図６Ｂにおいては、上述のとおり凱旋門６０１、自動車６０２及び自動車６０３が着目されているので、これらへのリンクが張られている。また、ビュー４０３（コンテンツ不図示）においても凱旋門６０１が含まれているので凱旋門６０１へのリンクが張られている。
【００４８】
次に、図６Ｂの中段のテーブルに、着目物体ごとにまとめられた構造データを示す。後述する認識処理（図１２等）により、シーン４０２において着目された物体６０１は「エトワール凱旋門６０１」と認識され、着目物体６０２は「車種Ａ（６０２）」と認識され、着目物体６０３は「車種Ｂ（６０３）」と認識されている。そして、認識された物体についてのＭＤＢへのリンクと、その物体の着目度が記録されている。図６Ｂの中段のテーブルでは、エトワール凱旋門６０１の着目度は３５５７であり、車種Ａ（６０２）の着目度は１５であり、車種Ｂ（６０３）の着目度は１３５である。
着目度の算出は、ユーザによる参照回数のみならず、適宜重み付けが行われる。
図６Ｂの中段のテーブルは、一実施形態において以下のデータ構造を有している。
【表２】
2011083732.tif 000004
【００４９】
なお、「ビューへのリンク」フィールドには、その着目物体が存在するビュー１以上のビューへのリンクが張られる。図６Ｂにおいては、上述のとおり凱旋門６０１がビュー４０２及び４０３に含まれているので、これらのビューへのリンクが張られている。
【００５０】
図６Ｂの下段のテーブルに、シーン、ビュー及び着目物体ごとの着目時間を管理するデータ構造を示す。図６Ｂの下段１行目には、シーンＣ１０１０のビュー４０２において物体６０２が２０１０年１月５日１３時２３分４５秒に着目されたことが記録されるとともに、物体６０２へのリンクが張られ（図６Ｂ中段）、この物体が自動車の車種Ａであることが分かる。
図６Ｂの下段のテーブルは、一実施形態において以下のデータ構造を有している。
【表３】
2011083732.tif 000005
【００５１】
なお、図６Ｂの下段には、時間を記録するための項目が１つしかないが、これに替えて着目された時間の複数の履歴を着目したユーザ（ＩＤやＩＰアドレス等により特定できる）とともにリストとして管理するようにしてもよい。
【００５２】
図７に、本発明に係る情報処理システムの他の実施形態でのシーンにおける着目物体の分析例（マーケティングデータの生成例）を説明する。図７（Ａ）は、情報処理システム１００によってシーンごとに検出された、物体ごとのユーザの着目度の蓄積から生成されたシーンの統計情報であり、図７（Ｂ）は、ある期間（例えば、１時間、６時間、２４時間、１週間、１月、３ヶ月、半年、１年、１０年など）ごとの、各シーンにおける物体ごとの着目度変化から生成された統計情報である。これら統計情報の生成について、前提となる考え方とともに詳述する。
【００５３】
あるシーンの１つのビュー（例えば写真）において、ユーザＡが物体１（自動車１）の特定物体認識指示を行ったとする。この場合、情報処理システム１００は、物体１（自動車１）を特定し、ＭＤＢに格納されている情報（例えば、メーカー、モデル名、年式、色、モデル（例えば、２ドア、３ドア、ハッチバック、ワンボックスなど）、排気量など）、及び／又は、特定できるオプション（例えば、サンルーフ、ルーフラック、フォグランプ、ホイールなど）を検出し、それぞれのＭＤＢ内の情報へのリンクをそのシーンの物体のＡＤＢに物体１に関するものとして着目度と共に記録する。もし、ユーザがさらに物体１（自動車１）の中の別の物体、たとえばホイールＮの特定物体認識を行った場合には、同様にそのシーンのＡＤＢに物体ＮとしてＭＤＢの情報（例えばメーカー名、型番、サイズ、年式、小売価格、材質など）へのリンクを記録する。
【００５４】
次に、同じユーザＡが他の物体２（自動車２）の特定物体を行うと、同様に特定物体認識を行い、その自動車固有の検出可能な物体情報を物体のＡＤＢ２として記録する。さらに、ユーザが自動車以外の物体の特定指示を行った場合にも、それぞれの物体の着目情報としてＡＤＢに記録しておく。
【００５５】
また、別のユーザＢが同じシーンのあるビューにおいて、ある自動車の特定物体認識を行ったとする。この場合、情報処理システム１００は、前記と同様に自動車の特定を行う。その結果、その自動車が既検出であれば登録されているＡＤＢ内の物体Ａの着目度を更新する。もし新規検出の自動車であれば、ＡＤＢ内に物体３として新規に登録する。さらに、同ユーザがその車のホイールＮの特定物体認識を指示した場合、同様にホイールＮの着目度を更新する。
【００５６】
こうして、上記プロセスを繰り返すことで、情報処理システム１００は、シーンごとに検出された物体ごとの各ユーザの着目度を蓄積し、そのシーンの統計情報を生成することができる（図７（Ａ））。
【００５７】
また、上記処理と並行して、情報処理システム１００は、ある期間（例えば、１時間、６時間、２４時間、１週間、１月、３ヶ月、半年、１年、１０年など）を単位として、各シーンにおける物体の着目度に関する期間単位での物体の着目度の変化に関する統計情報を生成することができる（図７（Ｂ））。
【００５８】
上記生成例は一例であり、この他にも様々なマーケティングデータが抽出可能である。
例えば、下記のようなデータを生成することができる。
１．物体の属するカテゴリ（例えば、自動車）内における着目度。例えば、シーン内の自動車Ｘ台中ユーザの着目度上位Ｎ台の車種名、モデル、カラー、年式などのデータ生成。
２．シーン内の全物体中の、上位Ｎ物体のカテゴリ、名称、着目度ランクや、物体のシーン内における場所などのデータ生成。
３．シーン内のビューごとの着目度上位の物体のカテゴリ、名称、着目度などのデータ生成。
【００５９】
図８に、本発明に係る情報処理システムの一実施形態における動作フロー（特に、シーン内の物体認識及びＡＤＢの生成フロー）を説明する。まず、Ｓ８０１において情報処理システム１００における定常処理ステップが開始されると、Ｓ８０２に進み、画像等のデータが入力される。例えば、データには複数の静止画や動画等の画像が含まれ、これらのデータは時系列に並んでいる。次に、Ｓ８０３に進み、入力データからシーンを切り出す。そして切り出されたシーンごとにビューを切り出す。
【００６０】
Ｓ８０４において、切り出されたビューから、今度はセグメンテーション手法等を用いて物体が切り出される。次に、Ｓ８０５に進み、特定物体の認識処理（後述する図１２参照）が行なわれる。
【００６１】
そして、Ｓ８０６において、特定物体が認識されれば（例えば、図１２参照）、ＡＤＢを生成し、ＭＤＢとのリンクを確立する。次に、Ｓ８０７に進み、そのビューにさらに特定物体認識可能な画像が存在するかどうかが判断され、Ｙｅｓの場合にはＳ８０５に復帰して以降の処理を繰り返す。
【００６２】
上記Ｓ８０７においてＮｏの場合、すなわち最終的に、シーン、ビュー、及びそこにあるすべての特定物体を認識したら、Ｓ８０８に進んで処理を終了する。なお、この時点でシーン、ビューはＭＤＢへのリンクを持つことになるので、それらを再構成して新しいシーンを作り上げることも可能になる。
【００６３】
図９に、本発明に係る情報処理システムの一実施形態における動作フロー（特に、ＡＤＢの更新及び物体の参照履歴の登録フロー）を説明する。まず、Ｓ９０１において、図示しない携帯端末１０５のポインティングデバイス等によりユーザに指示された着目点の処理が開始される。次に、Ｓ９０２に進み、シーン内のビューにおいて、ユーザが指示した領域（着目物体）について、一般物体認識によるカテゴリ認識及び特定物体認識による物体の特定処理を行う。そして、Ｓ９０３において、着目物体の認識が出来たかどうかが判断される。Ｓ９０３において認識できなければ（Ｓ９０３においてＮｏの場合）処理を終了するが、認識できた場合（Ｓ９０３においてＹｅｓの場合）は、ステップＳ９０４に進む。
【００６４】
Ｓ９０４においては、認識された物体が既にそのシーンにおいて認識されているかどうかが判断される。具体的には、着目物体構造体内を検索して調査される。もし、既検出物体であれば（Ｓ９０４において、Ｙｅｓ）、Ｓ９０６に進む。一方で、新規検出物体であれば（Ｓ９０４において、Ｎｏ）Ｓ９０５に進む。
【００６５】
Ｓ９０５においては、ＡＤＢへの物体情報の登録処理が行われる。つまり、登録されるものは新規検出物体であるので、図６Ｂの着目物体構造体に、物体ＩＤ、カテゴリ、ＭＤＢへのリンクが登録され、さらにシーンＩＤ、ビューＩＤへのリンク、及び画像のタイプ（写真、あるいは動画）が登録される。
【００６６】
次に、Ｓ９０６に進み、着目物体に関するＡＤＢ（図６Ｂ）の着目度が更新される。そして、Ｓ９０７に進み、着目物体に関する参照履歴がＡＤＢ（図６Ｂ）にシーンＩＤ，ビューＩＤ、時間、及び物体へのリンクとして登録され、着目物体に関する処理は終了する（Ｓ９０８）。
【００６７】
図１０に、本発明に係る情報処理システムの一実施形態における動作フロー（ＡＤＢの情報に基づいた広告選択フロー）を説明する。まず、Ｓ１００１においてユーザがある物体に着目した場合の処理が開始されると、Ｓ１００２に進み、ユーザが特定の物体に着目する。例えば、当該物体をマウスでクリックしたり、当該物体を囲んだりする。そして、Ｓ１００３において、当該物体が既に本情報処理システムで認識されているかが判断される。認識されていれば（Ｓ１００３においてＹｅｓ）、Ｓ１００４に進み、当該物体のＡＤＢを入手する。また、認識されていなければ（Ｓ１００３においてＮｏ）、Ｓ１００５に進み、図１２の処理が実行され特定物体が認識される。次に、Ｓ１００６に進み、図１２の処理で特定物体が認識されれば、ＡＤＢが生成され、ＭＤＢとのリンクが確立される。
【００６８】
次に、Ｓ１００７に進み、ＡＤＢの着目度ランクが更新される。この値によって、当該物体がどれだけ多くの人によって着目されているかが推定可能になる。Ｓ１００８では、当該ＡＤＢの着目度や遷移情報から、ユーザに適切な広告及び／又はサービスが選び出される。そして、選び出された広告及び／又はサービスをユーザに提示し（Ｓ１００９）、処理を終了する（Ｓ１０１０）。
【００６９】
図１１に、本発明に係る情報処理システムの一実施形態における動作フロー（着目度及び当該物体に関連する情報(例えば、シーン、遷移、場所、時間、等)に基づいたマーケティング情報の生成）を説明する。まず、Ｓ１１０１において処理を開始すると、Ｓ１１０２に進み、利用者が特定の物体に着目する。例えば、当該物体をマウスでクリックしたり、当該物体を囲んだりする。そして、Ｓ１１０３において、当該物体が既に本情報処理システムで認識されているかどうかが判断される。認識されていれば（Ｓ１１０３でＹｅｓ）、当該物体の物体着目度構造体を入手する（Ｓ１１０４）。認識されていなければ（Ｓ１１０４）、図１２の処理を実行して特定物体を認識する（Ｓ１１０５）。Ｓ１１０６において、図１２の処理で特定物体が認識されれば、ＡＤＢが生成され、ＭＤＢとのリンクが確立される。また、Ｓ１１０７においては、ＡＤＢの着目度ランクが更新される。この値によって、当該物体がどれだけ多くの人によって着目されているかがわかる。
【００７０】
次に、Ｓ１１０８に進み、当該ＡＤＢの着目度ランク、遷移情報、及び当該物体に関連する情報からマーケティング情報が生成される。そうして、選び出されたマーケティング情報が第３者に提供され（Ｓ１１０９）、本ステップを終了する（Ｓ１１１０）。
【００７１】
図１２に基づいて、ＭＤＢ２０１を使った物体認識のフローを説明する。
【００７２】
［一般物体認識］
画像認識処理の開始（Ｓ１２０１）は、まず、端末装置１０５における元画像の入力もしくは情報処理サーバ１０１によるシーンの切り出しからはじまる（Ｓ１２０２）。元画像は、２次元画像であるか３次元画像であるかを問わない。また、元画像の入力に際しては、その元画像におけるどの物体の着目領域の指示がポインティングデバイス等のデバイス（不図示）を通じてなされる場合と、着目点の指示がなく元画像全体が処理対象として入力される場合（例えば、情報処理サーバ１０１によるシーンの切り出し）がある。次に、Ｓ１２０４において一般物体認識処理が行われる。一般物体認識処理には、例えば、ＢＯＦ（Bag-Of-Features）の手法を採用することができる。この一般物体認識処理では、検出された物体のカテゴリ（物体の一般名称）の認識まで行われる。ただし、着目点の指示がされた場合は、カテゴリの認識ができた場合とできなかった場合とで処理が分岐し、その判断はＳ１２０５で行われる。カテゴリ認識ができなかった場合には、Ｓ１２０６へ進み、既存のカテゴリの取り扱いについて判断がなされる（Ｓ１２０７）が、着目点に指示の有無に関わらず物体のカテゴリ認識が出来た場合には、特定物体認識処理へ進むべくＳ１２０９へ進む。
【００７３】
［特定物体認識］
Ｓ１２０５の判断において特定物体認識処理へ進む場合は、まず、Ｓ１２０９において個別物体画像の切り出し処理が行われる。そして、切り出された個別物体画像について、特定物体認識処理が行われる（Ｓ１２１０）。特定物体認識処理では、ＭＤＢ２０１に登録された物体構成データから抽出された特徴量データに基づく一致度を算出する評価関数によって物体の同定が試みられる。
【００７４】
［学習処理（１）］
一方で、Ｓ１２０５の判断において一般物体認識ができなかった場合には、Ｓ１２０６へ進み、着目物体の持つ特徴量と、ＭＤＢ２０１が把握している既存のカテゴリに属する物体の特徴量との情報距離に基づいて、その着目物体を含む新たなカテゴリを登録するか（Ｓ１２０７）、その着目物体に近接する既存カテゴリの拡張を検討するか（Ｓ１２０８）の判断が行われる。新たなカテゴリを登録する（Ｓ１２０７）場合にはＳ１２０４に復帰し、既存のカテゴリを拡張する（Ｓ１２０８）場合にはＳ１２０９へ進む。
【００７５】
［特定物体認識後  学習処理（２）］
Ｓ１２１１においては、特定物体の同定ができたかどうかが判断される。特定物体の同定ができた場合には、Ｓ１２１３に進み、Ｓ１２０９において切り出された個別物体画像にＭＤＢ２０１に登録されている物体の詳細データよりもさらに精細な情報が含まれるかが判断される。もし、Ｓ１２１３においてＹｅｓと判断された場合には、Ｓ１２１４に進み、ＭＤＢ２０１におけるその物体の詳細データはＭＤＢ学習部により更新され、より精細な情報を有するようになる。一方で、Ｓ１２１３においてＮｏと判断された場合には、Ｓ１２１５に進み、次の判断がなされる。
【００７６】
Ｓ１２１５は、Ｓ１２０５において一般物体認識ができなかったと判断された場合であって、Ｓ１２０６の判断でＳ１２０８、Ｓ１２０９、Ｓ１２１０へ進み、特定物体の認識ができた（Ｓ１２１１でＹｅｓ）場合に判断される。Ｓ１２１５において、特定された物体が既存のカテゴリであった場合には、ＭＤＢ２０１に登録されているその既存カテゴリの定義を拡張、あるいは拡張によりカテゴリ内の物体の情報距離が分散する場合には分割、あるいは近接カテゴリとの情報距離が前記カテゴリ内の物体間の情報距離と同程度以下になった場合には統合、あるいは特定された物体の登録により既存の物体の情報の齟齬を発見した場合には修正を施し、カテゴリデータをアップデートする（Ｓ１２１６）。一方で、Ｓ１２１５において、特定された物体が既存のカテゴリでなかった場合には、Ｓ１２０７へ遷移し、新規カテゴリとして登録する。
【００７７】
Ｓ１２１１において、特定物体の認識ができなかった場合は、ＭＤＢ２０１においてその物体は「未確認物体」として登録され、将来の処理に備えて認識処理を終了する（Ｓ１２１７）。Ｓ１２１６において既存カテゴリを拡張してアップデートされた場合も認識処理を終了する（Ｓ１２１７）。
【００７８】
上記の説明におけるＭＤＢマネージメント２０２の学習機能は、本発明に係る情報処理システムの稼動において適宜反映されることにより、特定物体認識能力を向上させる。
【００７９】
［その他の実施例］
なお、本発明に係る情報処理システムにおいて、次のような実施形態もとりうる。
【００８０】
（１）上述した実施例において特定物体認識された物体に関し、その物体についてのＭＤＢを用いてユーザが直接シーン内で物体の一部の属性（例えば、色とか表面処理、オプションの有無など）を好みに応じて可視的かつインタラクティブに手に取るように拡大、視点移動、合成等の変更を可能にする。これにより、大量生産に対応して必ずしもユーザの様々な趣向に対応した商品投入が行われなかった状況から、ユーザの好みに応じた変更や新たな仕様要求項目等をマーケティング情報としてよりきめ細やかに収集可能となり、効果的な多品種生産を実現できる。
【００８１】
（２）予め市場に投入する予定の物体をＭＤＢに先行登録し、ユーザからの画像検索要求に速やかに対応可能にする。例えば、製造者等の第三者が新しい製品群のＣＡＤデータの一部をＭＤＢに先行登録し、多くのユーザによって共有可能なシーンに埋め込む。そうしたのち、着目度の高い製品から市場に投入することも可能になる。反対に、いつまでたってもユーザに着目されない製品については、設計変更や販売の見合わせなどを検討するための良い判断材料となる。
なお、こうした予め市場に投入可能性のある物体のＭＤＢへの先行登録は、市場投入されない場合に、不存在物体として速やかにＭＤＢから登録抹消（削除）されることが望ましい。
【００８２】
（３）上記特定物体認識された結果は、ＡＤＢに格納したが、これら認識結果としてのメタデータ（テキスト）を元のシーンないしビュー画像（例えば、ＪＰＥＧ画像）フォーマットの所定の領域にエンベデッドすることにより、従前の画像検索システムにも寄与できる。
【００８３】
（４）物体を構成するためのデータベースから再構成されたＭＤＢに未登録の特定物体認識要求があった場合、当該物体に対し複数のユーザ群及び第三者に不明物体発見の告知（アテンション）を行い、上記ユーザからの集合知及び第三者から提供される情報に基づいて物体を判別可能な場合は、当該物体に関わる詳細なデータベースをＭＤＢの物体構成データ２５１及び／又は付帯情報データ２５２に登録したのち、複数のユーザ群及び第三者に不明物体の同定の告知を行い、対象物体に関わる広告及び／又はサービスをユーザ群に順次提供することを可能にする。
そして、上記においても不明な物体は、将来の解析のために、ＭＤＢの不特定物体データ２５５に保存する。
なお、集合知を利用した物体同定の方法としては、次のものがある。例えば、ネット上の百科事典を検索したり、Ｑ＆Ａ掲示板に自動投稿することで実施される。ネット上の百科事典をシステムが自ら検索するには、一般物体認識で得られたカテゴリとともにＭＤＢより生成された特徴量を用いて検索クエリを作成し検索を実行する。そして返送されてきた内容から新たな特徴量を抽出して物体の同定が可能か再度試みる。また、Ｑ＆Ａ掲示板に自動投稿する場合は、一般物体認識で得られたカテゴリとともに元画像を掲示板にアップロードする。このとき、あらかじめ用意された定型文を自動編集して、「この○○について、型式を教えてください」とか、「この△△△について、設計情報を公開されているウェブサイトを教えてください」といったクエリを投稿する。そうして、他のユーザ（人間を含む）から「それは、ｘｘ−ｘｘｘｘです」とか、「その△△△の設計データは、http://www.aaabbb.com/cad/data.dxfから入手可能です」といったアドバイスが寄せられる。システムは、これらのアドバイスを分析及び評価し、指定されたＵＲＬへアクセスし物体の設計データ等のダウンロードを試みる。新たに得られた設計データに基づいて物体の同定に成功すれば、得られた新たなデータがＭＤＢに追加され、データベースが更新される。
【符号の説明】
【００８４】
１００  情報処理システム
１０１  情報処理サーバ
１０２  マザーデータベース（ＭＤＢ）
１０３  接続（ネットワーク）
１０４  ネットワーク
１０５ａ〜１０５ｄ  端末装置
【図１】
2011083732.tif 000006
【図２】
2011083732.tif 000007
【図３】
2011083732.tif 000008
【図５】
2011083732.tif 000009
【図７】
2011083732.tif 000010
【図８】
2011083732.tif 000011
【図９】
2011083732.tif 000012
【図１０】
2011083732.tif 000013
【図１１】
2011083732.tif 000014
【図１２】
2011083732.tif 000015
【図４】
2011083732.tif 000016
【図６Ａ】
2011083732.tif 000017
【図６Ｂ】
2011083732.tif 000018
【手続補正書】
【提出日】平成23年4月27日(2011.4.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
一般物体認識部と特定物体認識部とを備え、物体を構成するためのデータベースから再構成されたマザーデータベース（ＭＤＢ）をもとにユーザからの画像検索要求に応じて、前記一般物体認識部による一般物体認識及び／又は前記特定物体認識部による特定物体認識によって物体認識された物体に対し、複数のユーザからの検索要求をシーンに応じて評価し、着目度に応じて対象物体に関わる広告及び／又はサービスを当該画像検索要求を行なったユーザに順次提供することを可能にする情報処理システム。
【請求項２】
上記請求項１に記載の情報処理システムにおいて、複数の物体への着目度から生成した統計データをユーザ及び／又は第三者に提供することを可能にする情報処理システム。
【請求項３】
上記請求項１又は２に記載の情報処理システムにおいて、物体を構成するためのデータベースから再構成されたマザーデータベース（ＭＤＢ）に未登録の物体認識要求があった場合、当該物体に対し複数のユーザ及び第三者に不明物体発見の告知（アテンション）を行い、上記ユーザからの集合知及び第三者から提供される情報に基づいて物体を判別可能な場合は、当該物体に関わる詳細なデータベースをＭＤＢに登録したのち、複数のユーザ及び第三者に不明物体の同定ができた旨の案内を行い、対象物体に関わる広告及び／又はサービスをユーザに順次提供可能にする情報処理システム。
【請求項４】
上記請求項１〜３のいずれか１項に記載の情報処理システムにおいて、物体認識された物体のＭＤＢを用いて、前記ユーザがその物体の一部の属性をユーザの好みに応じて変更可能にし、そのユーザの好みや要求をマーケティング情報として第三者に提供することを可能にする情報処理システム。
【請求項５】
上記請求項１〜４のいずれか１項に記載の情報処理システムにおいて、予め市場に投入する可能性のある物体をＭＤＢに先行登録し、将来のユーザからの画像検索要求に速やかに対応可能にする情報処理システム。
【請求項６】
上記請求項１〜５のいずれか１項に記載の情報処理システムにおいて、前記シーン内におけるユーザからの物体認識要求が他の物体に推移した場合、その推移履歴情報をもとに着目度の評価を行い、その評価に基づいた統計データをマーケティング情報として第三者に提供することを可能にする情報処理システム。
【国際調査報告】
2011083732.tif 000019
2011083732.tif 000020