(57)【要約】      （修正有）【課題】２以上のアイテム間の比較を容易にする情報処理装置及びプログラムを提供する。【解決手段】第１のアイテムを撮像して得られた第１の撮像アイテム、第２のアイテムを撮像して得られた第２の撮像アイテムのそれぞれが、予め登録されている複数の登録アイテムの中のどの登録アイテムと同じであるかを特定するための特定手段１１３と、登録されている複数の登録アイテムの中の、第１の登録アイテムと第２の登録アイテムとを比較する際に対比すべき比較個所として、第１の位置特定情報、及び第２の位置特定情報を保持する保持手段１１４と、第１及び第２のそれぞれの撮像アイテムがそれぞれの登録アイテムであると特定された場合に、第１の位置特定情報を用いて第１の位置を指示する像を第１のアイテムの上に提示する及び又は第２の位置特定情報を用いて第２の位置を指示する像を第２のアイテムの上に提示する提示手段１１７と、を有する。【選択図】図１
2016224884.tif 000002
【特許請求の範囲】
【請求項１】
第１のアイテムを撮像して得られた第１の撮像アイテム、第２のアイテムを撮像して得られた第２の撮像アイテムのそれぞれが、予め登録されている複数の登録アイテムの中のどの登録アイテムと同じであるかを特定するための特定手段と、
登録されている前記複数の登録アイテムの中の、第１の登録アイテムと第２の登録アイテムとを比較する際に対比すべき比較個所として、
前記第１の登録アイテムに含まれる第１の位置を特定するための第１の位置特定情報、及び
前記第２の登録アイテムに含まれる第２の位置を特定するための第２の位置特定情報を保持する保持手段と、
前記第１の撮像アイテムが前記第１の登録アイテムであると特定され、前記第２の撮像アイテムが前記第２の登録アイテムであると特定された場合に、
前記第１の位置特定情報を用いて前記第１の位置を指示する像を前記第１のアイテムの上に提示する、又は
前記第２の位置特定情報を用いて前記第２の位置を指示する像を前記第２のアイテムの上に提示する、の少なくとも一方を行う提示手段と
を有することを特徴とする情報処理装置。
【請求項２】
アイテムの中のユーザが注目している位置（注目位置）を取得する取得手段と、
前記注目位置の遷移に基づいて、前記第１の位置特定情報と前記第２の位置特定情報とを抽出する抽出手段と
をさらに有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記取得手段は、
指先を含む指示手段が指示するアイテムの表面の位置、または視線とアイテムの表面とが交わる位置を検出する検出手段と、
対象のアイテムをサブ領域に分割する分割手段と
を有し、
前記指示手段によって指示された位置または前記視線とコンテンツの表面とが交わった位置が存在する前記サブ領域を、前記注目位置とすることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記抽出手段は、
アイテムの注目位置をノードとし、アイテム間での注目位置の遷移をリンクとするグラフを作成するグラフ作成手段と、
前記グラフから、前記第１のアイテムのノードと前記第２のアイテムのノードとの任意のペアが互いに結ばれてなるノード集合（クリーク）を抽出するクリーク抽出手段と
を有し、
抽出したクリークに含まれる前記ノードを前記比較個所として抽出することを特徴とする請求項２又は３に記載の情報処理装置。
【請求項５】
前記抽出手段は、
前記グラフ作成手段において、アイテム間での注目位置の遷移回数、又は注目位置が遷移するまでに経過した時間に応じてリンクの重みを決定することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記抽出手段は、
抽出したクリークに含まれるリンクの前記重みの合計に応じて、前記比較個所の重要度を求めることを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記提示手段は、
アイテムの表面に重畳して前記比較個所を強調表示することを特徴とする請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項８】
前記提示手段は、
前記比較個所の重要度の違いにより強調表示する方法を変えて表示することを特徴とする請求項１〜７のいずれか１項に記載の情報処理装置。
【請求項９】
前記提示手段は、
前記比較個所を中心とした周辺領域を切り出して電子画像を作成する手段をさらに有し、
作成された電子画像を用いて前記比較個所を一覧表として表示することを特徴とする請求項１〜８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記取得手段が、ユーザが注目している前記第１のアイテムの中の前記注目位置を取得すると、
前記提示手段が、前記第１のアイテムの中の前記注目位置と比較すべき前記第２のアイテムの中の比較個所を強調表示することを特徴とする請求項１〜９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記抽出手段は、
前記第１のアイテムの第１の位置と、第３のアイテムの第３の位置とが、前記第１のアイテムと、前記第３のアイテムとを比較する際の比較箇所として抽出され、かつ
前記第２のアイテムの第２の位置と、前記第３のアイテムの前記第３の位置とが、前記第２のアイテムと、前記第３のアイテムとを比較する際の比較箇所として抽出された場合に、
前記第１のアイテムの前記第１の位置と、前記第２のアイテムの前記第２の位置とを、前記第１のアイテムと、前記第２のアイテムとを比較する際の比較箇所として抽出することを特徴する請求項２〜１０のいずれか１項に記載の情報処理装置。
【請求項１２】
請求項１〜１１のいずれか１項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、及びプログラムに関する。
【背景技術】
【０００２】
世の中には多くの類似商品やサービスが存在する。消費者はそれらの間にある違いを把握し、その違いを比較することで自分のニーズに合う商品やサービスを決定するに至る。その中で消費者にとって重要なことは、違いを把握する時間は極力短くして、違いを比較することに専念できることである。
【０００３】
しかし、実際には違いを把握することに時間がかかっているケースが多くある。例えば、同じ旅行会社が作成したパンフレットであっても、コンテンツのレイアウトは統一されているとは限らず、複数のパンフレットを対比してもそれらパンフレットに記載されているコンテンツ（旅行内容）は一見しただけでは違いが分かりにくい。さらに、複数の会社が類似したパッケージツアーを販売しているので、異なる旅行会社が作成したパンフレットを比較検討することが多いが、そのような場合、消費者にとってはそれらの類似商品の間での違いを把握することにさらなる時間がかかってしまう。
【０００４】
旅行販売店の窓口では、説明員が商品を選ぶ手助けをするが、説明員がこのような違いを全て把握しておくことは困難であり、他社のものまで含めてとなると不可能に近い。そのため、パンフレットに記載されているコンテンツ内容を比較検討する前段階、つまりパンフレットＡのどの部分とパンフレットＢのどの部分とを比較すれば良いかを把握するために多くの時間を費やしてしまう。
【０００５】
本稿では、カメラやＰＣなどの商品や、旅行パッケージツアーのパンフレットなど、消費者が比較する対象となるものをアイテムとする。
Ｗｅｂ上の電子商取引システムでは、特許文献１のようにアイテム間の比較を支援する方法が提案されている。特許文献１に示されるシステムでは、アイテムを比較する上で比較元となるアイテムをユーザが特定した際に、比較するアイテムの集合を自動的に生成してユーザへ提示を行うことができる。また、比較する上で重要と思われるアイテムの属性を自動的に優先付けし、表示順序を並び替えることでユーザのアイテム比較を支援している。これらを自動的に行うために、特許文献１は既知であるアイテムの属性や、対象となるアイテムに関する、先行の使用者の閲覧や購買の履歴を用いている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４７８７８４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１が適用できるのは、アイテムが電子システム上に存在し、かつ、アイテムを区別するための属性が既知である場合に限られる。例えば、旅行販売店や保険販売店などの窓口で複数のパンフレットを見比べて、それらパンフレットに記載の類似商品を比較する場合には適用できない。
本発明は、上記の課題に鑑みてなされたものであり、電子上、現実世界の区別なく、また、属性を用いる従来手法では解決できない、属性が未知であるアイテムに対しても比較を容易にする情報処理装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成する本発明の情報処理装置は、
第１のアイテムを撮像して得られた第１の撮像アイテム、第２のアイテムを撮像して得られた第２の撮像アイテムのそれぞれが、予め登録されている複数の登録アイテムの中のどの登録アイテムと同じであるかを特定するための特定手段と、
登録されている前記複数の登録アイテムの中の、第１の登録アイテムと第２の登録アイテムとを比較する際に対比すべき比較個所として、
前記第１の登録アイテムに含まれる第１の位置を特定するための第１の位置特定情報、及び
前記第２の登録アイテムに含まれる第２の位置を特定するための第２の位置特定情報を保持する保持手段と、
前記第１の撮像アイテムが前記第１の登録アイテムであると特定され、前記第２の撮像アイテムが前記第２の登録アイテムであると特定された場合に、
前記第１の位置特定情報を用いて前記第１の位置を指示する像を前記第１のアイテムの上に提示する、又は
前記第２の位置特定情報を用いて前記第２の位置を指示する像を前記第２のアイテムの上に提示する、の少なくとも一方を行う提示手段と
を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、様々なアイテム間の比較点とその重要度を履歴から自動的に得ることができ、アイテムを比較する際にはその比較点を提示することで、アイテムを選択する意思決定を効率化することが出来る。
【図面の簡単な説明】
【００１０】
【図１】実施形態における情報処理装置の構成、機能ブロック、及び外観の一例を示す。
【図２】実施形態におけるアイテム（商品説明のためのパンフレット）の例を示す。
【図３】実施形態における履歴取得フローの例を示す。
【図４】実施形態におけるアイテムのサブ領域分割の例を示す。
【図５】実施形態における取得された履歴の例を示す。
【図６】実施形態における比較点抽出フローの例を示す。
【図７】実施形態における比較点抽出におけるグラフの例を示す。
【図８Ａ】実施形態における比較点抽出の例を示す。
【図８Ｂ】実施形態における比較点抽出の例を示す。
【図８Ｃ】実施形態における比較点抽出の例を示す。
【図９】実施形態における比較点データベースの例を示す。
【図１０Ａ】実施形態における比較点の表示の例を示す。
【図１０Ｂ】実施形態における比較点の表示の例を示す。
【図１０Ｃ】実施形態における比較点の表示の例を示す。
【図１０Ｄ】実施形態における比較点の表示の例を示す。
【図１０Ｅ】実施形態における比較点の表示の例を示す。
【図１１】実施形態における間接的な比較点生成の例を示す。
【発明を実施するための形態】
【００１１】
本発明の情報処理装置は、アイテムを特定するための特定手段と、アイテム間の比較個所を保持する保持手段と、特定したアイテムと、アイテム間の比較個所を用いて、ユーザがアイテムを見比べる際に効果的な情報を提示する提示手段とを有する。
【００１２】
特定手段は、第１のアイテムを撮像して得られた画像（以下「第１の撮像アイテム」とも記載する）が、予め登録されている複数のアイテムの画像（以下「登録アイテム」とも記載する）の中のどの登録アイテムと同じであるかを特定する。
同様に、特定手段は、第２のアイテムを撮像して得られた画像（以下「第２の撮像アイテム」とも記載する）が、予め登録されている複数の登録アイテムの中のどの登録アイテムと同じであるかを特定する。
【００１３】
特定手段は、複数の登録アイテムが登録されている画像ＤＢ（データベース）の中から、類似画像検索によって、第１の撮像アイテムと一致する登録アイテムを探し出す。同様に、特定手段は、画像ＤＢの中から、類似画像検索によって、第２の撮像アイテムと一致する登録アイテムを探し出す。
【００１４】
例えば、作業台の上に置かれたパンフレットを撮像して得られた「作業台とパンフレットが写っている画像」におけるパンフレットの位置（例えば、四隅の位置座標）を検出し、検出された位置情報を用いてパンフレットが写っている部分の画像を切り出す。そして、類似画像検索で登録済みの画像ＤＢを検索し、切り出されたパンフレットが写っている部分の画像（以下「パンフレット画像」とも記載する）と一致する画像を探し出し、作業台に置かれたパンフレットを特定する。パンフレットを特定するとは、例えば複数のパンフレットのそれぞれに割り当てられた識別番号を特定することを意味し、識別番号が特定されれば、そのパンフレットが、どこの旅行会社が、いつ発行したかなどが特定される。
【００１５】
保持手段は、複数の登録アイテムの中から選択された少なくとも２つの登録アイテムを比較する際に対比すべき情報が記載されている位置に関する情報（以下「位置特定情報」とも記載する）を保持する。
例えば、第１のパンフレットにおいて旅行代金が掲載されている位置と、第２のパンフレットにおいて旅行代金が記載されている位置とが、第１の登録アイテムと第２の登録アイテムとを比較する際に対比すべきコンテンツの位置の例として挙げられる。
【００１６】
同様に、第１のパンフレットにおいて旅行ルート（出発地、経由地、目的地など）が掲載されている位置と、第２のパンフレットにおいて旅行ルートが記載されている位置とが両アイテムを比較する際に対比すべきコンテンツの位置の例として挙げられる。
【００１７】
提示手段は、第１の撮像アイテムが第１の登録アイテムであると特定され、第２の撮像アイテムが第２の登録アイテムであると特定された場合に、
第１の位置特定情報を用いて第１の位置を指示する像を第１のアイテムの上に提示し、
第２の位置特定情報を用いて第２の位置を指示する像を第２のアイテムの上に提示する。
例えば、第１のパンフレットにおいて旅行代金が掲載されている領域を囲む枠を、第１のパンフレットの上に提示し、第２のパンフレットにおいて旅行代金が掲載されている領域を囲む枠を、第２のパンフレットの上に提示する。
さらに、第１のパンフレットにおいて旅行代金が掲載されている領域を囲む枠と、第２のパンフレットにおいて旅行代金が掲載されている領域を囲む枠とを、結ぶ線を第１のパンフレット、作業台及び第２のパンフレットの上に提示する。
【００１８】
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施形態では、本発明を特定の状況に対応したアプリケーションの一機能として説明しているが、あくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１９】
＜第１の実施形態＞
本実施形態では、作業台に上向きに置かれた対象物から情報を読み取り、認識した情報をデータとして再利用する例を示す。このような情報処理装置を用いる一例として、商品のパンフレットなどを用いて販売員と顧客が対面で商談を行う窓口販売などが挙げられる。本実施形態では、旅行販売店が各種旅行パンフレットを用いて顧客に販売する例で説明をする。
【００２０】
図１（ａ）は、本実施形態における情報処理装置１００のハードウェア構成図である。同図において、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１は、各種処理のための演算や論理判断などを行い、システムバス１０８に接続された各構成要素を制御する。ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２は、後述するフローチャートに示す各種処理手順を含むＣＰＵによる制御のためのプログラムデータを格納する。
【００２１】
ＲＡＭ１０３（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３は、データメモリであり、ＣＰＵ１０１の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。記憶装置１０４はハードディスクや外部に接続された記憶装置などからなり、本実施形態に係る電子データなどの各種データやプログラムを記憶する。
【００２２】
ＣＰＵ１０１は、ＲＯＭ１０２もしくは記憶装置１０４に記憶された処理ステップやプログラムを読み出して実行する。これらの処理ステップやプログラムは、ディスクデバイスを始めとする記憶媒体から読み出されたり、ネットワーク通信によって取得されたりして、ＲＯＭ１０２もしくは記憶装置１０４に記憶されることができる。撮像装置１０５は、ユーザが操作を行う作業空間を撮像し、入力画像としてシステムに提供する。投影装置１０６は後述する作業台１２１に電子データやユーザインタフェース部品を含む映像を投影する。なお、本実施形態では、撮像装置１０５及び投影装置１０６は、情報処理装置１００内に構成されるが、有線あるいは無線のインターフェースによって接続された外部装置でも良い。
【００２３】
図１（ｂ）は、本実施形態における情報処理装置１００の機能構成を表す図である。同図において、撮像部１１１は、カメラやビデオカメラ等の撮像装置１０５であって、作業台で上向きに置かれた対象物を上方から撮像する。また、本実施形態の撮像部１１１は、作業台の上面全体を撮像範囲に含む。
本実施形態では、後述する各機能部は、ＣＰＵ１０１がＲＯＭ１０２に格納された各プログラムをＲＡＭ１０３に展開し実行することでその機能を実現する。ただし、本実施形態は、これらの機能部をハードウェアで実現する情報処理装置によっても同様に実現可能である。
【００２４】
取得部１１２は、アイテムの中のユーザが注目している位置（注目位置）を取得する。
取得部１１２は、ＣＰＵ、ＲＯＭ、ＲＡＭ（以下、ＣＰＵ等）によって構成され、複数の対象物を検出し、対象物及び対象物に含まれる情報が存在する領域の、作業台上における位置を示す情報を取得する。ここで、対象物とはパンフレットやカタログなどの紙文書はもちろんのこと、ユーザの手や指先などである。また、対象物に含まれる情報とは、文字や画像など対象物の読み取り対象面に記載されている情報（アイテム）である。
【００２５】
特定部１１３は、第１のアイテムを撮像して得られた第１の撮像アイテム、第２のアイテムを撮像して得られた第２の撮像アイテムのそれぞれが、予め登録されている複数の登録アイテムの中のどの登録アイテムと同じであるかを特定する。
【００２６】
特定部１１３は、ＣＰＵ等から構成され、読み取りを行う対象物を決定し、撮像部１１１に撮像させた画像を読み取るとともに、読み取った対象物に含まれる情報（アイテム）を認識する。例えば、対象物が紙に印刷された文書である場合には、撮像部１１１によって、紙の大きさに合わせた範囲を高解像度で撮像した画像を、文書ファイルとして読み取るとともに、文書内容の文字認識を行う。
【００２７】
保持部１１４は、登録されている複数の登録アイテムの中の、第１の登録アイテムと第２の登録アイテムとを比較する際に対比すべき比較個所として、
第１の登録アイテムに含まれる第１の位置を特定するための第１の位置特定情報、及び
第２の登録アイテムに含まれる第２の位置を特定するための第２の位置特定情報を保持する。
【００２８】
保持部１１４は、ＲＡＭ１０３又は記憶装置１０４に相当する。情報処理装置１００が対象物を読み取った情報や、ユーザの作業台における動作履歴、後述する抽出部１１６により得られたアイテム間の比較情報などのデータを保持する。
制御部１１５は、ＣＰＵ等から構成され、取得部１１２により検出されたユーザの手や指先の動きに応じて、後述する投影部１１７を通じてユーザに表示する内容を制御する。
【００２９】
投影部１１７は、提示手段として、第１の撮像アイテムが第１の登録アイテムであると特定され、第２の撮像アイテムが第２の登録アイテムであると特定された場合に、
第１の位置特定情報を用いて第１の位置を指示する像を第１のアイテムの上に提示する、又は
第２の位置特定情報を用いて第２の位置を指示する像を第２のアイテムの上に提示する、の少なくとも一方を行う。
投影部１１７は、投影装置１０６に相当し、制御部１１５によって作成された投影画像を、作業台上面、及び作業台上に上向きに置かれた対象物上に投影する。
【００３０】
投影部１１７は、比較個所を中心とした周辺領域を切り出して電子画像を作成する手段をさらに有し、作成された電子画像を用いて比較個所を一覧表として表示する機能を有することが好ましい。
【００３１】
抽出部１１６は、ＣＰＵ等から構成され、保持部１１４に記憶された情報処理装置１００が対象物を読み取った情報や、ユーザの作業台における動作履歴を用いて、アイテム間の比較情報を抽出する。
「動作履歴を用いて、アイテム間の比較情報を抽出する。」とは、例えば、注目位置の遷移に基づいて、第１の位置特定情報と第２の位置特定情報とを抽出することである。
「アイテム間の比較情報」とは、それらのアイテムを比較する上で重要な差異であり、１つの比較情報は、それぞれのアイテムの部分領域と重要度のスコアから成る。詳しくは後述する。また、抽出したアイテム間の比較情報は保持部１１４に記憶しておく。
抽出部１１６によって抽出したアイテム間の比較情報を用いて、制御部１１５はユーザの動作に応じて必要な比較情報を、投影部１１７を通してユーザへ表示（提示）する。
【００３２】
抽出部１１６は、グラフ作成手段と、クリーク抽出手段とを有し、抽出したクリークに含まれるノードを比較個所として抽出する、ことが好ましい。
グラフ作成手段は、アイテムの注目位置をノードとし、アイテム間での注目位置の遷移をリンクとするグラフを作成する。
クリーク抽出手段は、グラフから、第１のアイテムのノードと第２のアイテムのノードとが互いに結ばれてなるノード集合（クリーク）を抽出する。
【００３３】
図１（ｃ）は、本実施形態における情報処理装置１００の外観の一例を示す図である。本実施形態では、作業台１２１に対し、撮像装置１０５は上部に設置され、作業台１２１に上向きに置かれた紙などの物理データ１２２を俯瞰撮像し、上に向いた読み取り対象面を読み取り、情報を認識する。また、投影装置１０６も同様に、作業台１２１の上面あるいは物理データ１２２上に、ユーザインタフェースを構成する画像や情報処理装置１００が生成した電子データ１２３等を含む投影画像を投影する。
【００３４】
本実施形態では、撮像装置１０５と投影装置１０６は同一の筐体で構成される。ただし、撮像装置１０５の設置位置と撮像画角、及び投影装置１０６の位置と投影画角の情報を情報処理装置が予め把握していれば、それぞれ別の場所に設置されても良い。また、本実施形態では、投影装置１０６が読み取り台の上面に投影を行うことによって、ユーザに対してアイテム間の比較情報を提示するが、提示方法はこれに限らない。例えば、メガネ型の表示装置を構成し、それを通して見たアイテムに比較情報を重畳表示するようにしても良い。
【００３５】
以下では、本実施形態を実現する環境の一例として、旅行販売店で販売員と顧客が対面し、旅行パンフレットを用いて販売員が顧客にパッケージツアーを販売する例で説明をする。以降では、販売時の動作履歴の取得、取得した動作履歴を用いたアイテム間の比較情報の抽出、抽出したアイテム間の比較情報を顧客へ提示する方法について説明していく。
【００３６】
まず、図２〜図５を用いて販売時の動作履歴の取得について説明する。
図２（ａ）は情報処理装置１００の作業台１２１上に２種類の旅行商品のパンフレット２０１、２０２が置かれた状態を表している。向かって手前側に顧客がおり、奥側に販売員がいるものとする。
また、図２（ｂ）はパンフレット２０１を拡大したものを示し、図２（ｃ）パンフレット２０２を拡大したものを示す。パンフレット２０１、２０２は説明のために簡素化しているが、実際のパンフレットはもっと多くの情報が詰め込まれていることが普通であり、一見ではどこが同じでどこが違うかの見分けが難しい。そこで、販売員はパンフレットの内容を見比べて、内容の異なる点について指などで指し示しながら旅行内容の説明をしていく。
【００３７】
図３のフローチャートは取得部１１２や特定部１１３によって実行される販売時の動作履歴の取得処理を表す。
ステップＳ３０１では、撮像部１１１によって撮影された作業台１２１上の画像から、作業台に載せてあるパンフレットと、その位置を抽出する。そのために、まず、取得部１１２が撮影した画像から、文書領域を抽出し文書画像を生成する。
【００３８】
次に、特定部１１３が抽出した文書画像と、保持部１１４に登録されているパンフレット画像との類似画像検索を行う。そして、作業台に載せてあるパンフレットが何であるか（登録されているパンフレットのどれと同じか）を特定し、また、その位置を認識する。
もし、類似画像検索をしても登録されているパンフレット画像の中に同一と判断される画像が見つからない場合は、未登録のパンフレットと認識し、抽出された文書画像を保持部１１４に新規に登録する。
【００３９】
ステップＳ３０２では、撮像部１１１によって撮影された作業台１２１上の画像から、取得部１１２が人の指先の位置を検出し、その位置を注目個所として認識する。本実施形態では、上部から撮影した画像から指先の位置を検出する構成としたが、ユーザの注目個所を得られる手段であれば、もちろんこれに限らない。例えば、作業台上のユーザの目を撮像可能な位置にカメラを取り付け、そのカメラを用いてユーザの視線を検知しても良いし、ユーザにメガネ型などのデバイスを取り付けてユーザの視線を検知するようにしても良い。
【００４０】
ステップＳ３０３では、特定部１１３が、ステップＳ３０１で認識したパンフレット画像をサブ領域に等分割するパラメータを決定する。サブ領域の形はここでは矩形とし、パラメータは矩形の大きさを決めるもので、例えば、縦、横のピクセル数などである。パラメータは、全パンフレット画像で共通の固定値を用いても良いし、例えば、パンフレット画像から最小の文字領域を認識しその大きさを用いたり、その大きさの倍数などとしても良い。あるパンフレット画像に対して決められたパラメータは、保持部１１４に保存され、その後に当該パンフレット画像と同一と判断されたパンフレット画像に関しては、保存されたパラメータを読み出せばよい。
【００４１】
図４にパンフレット２０１を矩形のサブ領域に分割した例を示す。以降では、サブ領域の横方向をｘとし、縦方向をｙとし、サブ領域を［ｘ，ｙ］で識別する。例えば、一番左上のサブ領域は［１，１］であり、一番右下のサブ領域は［１４，１６］と表される。
【００４２】
ステップＳ３０４では、特定部１１３が、ステップＳ３０２で認識した注目個所（販売員または顧客が指先で指した個所）の位置情報から、パンフレット画像のどのサブ領域を注目したかを特定し、画像が撮影された時刻情報と共に保持部１１４に記録する。
【００４３】
図５に保持部１１４に記録される動作履歴の例を示す。例えば、ＬｏｇＩＤが９９９の行は２０１０／６／９の９時５９分１０秒にＣｕｓｔｏｍｅｒ  ＩＤ  １００の顧客と商談中に、Ｃａｔａｌｏｇ  ＩＤ  ２００−１のサブ領域［１０，８］を注目したことを表す。
以上、販売時の動作履歴の取得について説明した。
【００４４】
次に、図６〜図９を使って、取得した動作履歴を用いたアイテム間の比較情報の抽出について説明する。
図６のフローチャートは、抽出部１１６によって実行される取得した動作履歴を用いたアイテム間の比較情報の抽出処理を表す。なお、入力としては２つのアイテムを受け取り、解析した結果、２つのアイテム間の比較点と必要に応じてそのスコアを出力する。
【００４５】
ステップＳ６０１は、２つのアイテムＡとアイテムＢを入力として受け取り、動作履歴からアイテムＡとアイテムＢが連続して出現するレコードを抽出する。
ここでいう「連続して出現」とは、アイテムＡが出現した直後にアイテムＢが出現する、または、アイテムＢが出現した直後にアイテムＡが出現することである。
具体例として図５を用いて説明する。入力として、ＣａｔａｌｏｇＩＤ  １００−１と２００−１の２つのアイテムを受け取った時、ステップＳ６０１では、Ｌｏｇ  ＩＤ  １０００，１００１，１１００，１１０１，１２００，１２０１，１３００，１３０１，１３０２のレコードを抽出する。
【００４６】
ステップＳ６０２では、抽出部１１６内のグラフ作成部（図示せず）が、ステップＳ６０１で抽出した２つのアイテムに関するレコードを用いて、注目個所の遷移状況を表す２部グラフを作成する。
２部グラフとは、２つのノード集合をそれぞれＶ１とＶ２とすると、Ｖ１に属するノードとＶ２に属するノードとを結ぶ任意のリンクが存在するグラフのことである。
【００４７】
本実施形態では、２つのアイテム内の注目個所に当たるサブ領域の集合をそれぞれノード集合Ｖ１とノード集合Ｖ２と考え、同一商談中に２つのアイテム間で連続して現れた注目個所（ノード）の間にリンクを張る。そのとき、リンクの重みは、例えば、連続して現れた回数（遷移回数）に基づいて決まるものとする。具体的には、連続して現れた回数に比例して、リンクの重みが増すものとしても良く、また、連続して現れた回数が、第１の閾値、第２の閾値を超えるごとに、リンクの重みが第１の値から第２の値へ、第２の値から第３の値へと、段階的に増すものとしても良い。なお、リンクの重みは注目個所が遷移するまでに経過した時間間隔に比例した重みを用いても良い。
【００４８】
図７（Ａ）に、本実施形態における注目個所の遷移状況を表す２部グラフの具体例を示す。図７（Ａ）の７０１はパンフレット２０１のサブ領域の集合を表すノード集合であり、７０２はパンフレット２０２のサブ領域の集合を表すノード集合である。［ｘ，ｙ］はサブ領域を表し、［１，１］は一番左上のサブ領域を示す。
図８（Ａ）にパンフレット２０１と２０２をステップＳ３０３の処理でサブ領域に分割した例を載せる。
【００４９】
２部グラフ間のリンクの生成について説明する。ステップＳ６０１で抽出した２つのアイテム間の連続するレコードを順次読み込み、次の処理を行う。まず、Ｌｏｇ  ＩＤ  １０００とＬｏｇ  ＩＤ  １００１とを読み込み、Ｃｕｓｔｏｍｅｒ  ＩＤが同一かを確認する。
Ｃｕｓｔｏｍｅｒ  ＩＤが同一なので、
Ｃａｔａｌｏｇ  ＩＤが１００−１であるパンフレット２０１のノード集合７０１のノード７０３（サブ領域［２，２］に対応）から、
Ｃａｔａｌｏｇ  ＩＤが２００−１であるパンフレット２０２のノード集合７０２のノード７０６（サブ領域［４，３］に対応）へリンクを張り、重みを１にする。
【００５０】
次に、Ｌｏｇ  ＩＤ  １００１とＬｏｇ  ＩＤ  １００２とを読み込み、Ｃｕｓｔｏｍｅｒ  ＩＤが同一かを確認する。Ｃｕｓｔｏｍｅｒ  ＩＤが同一ではないので処理をスキップする。
以降、すべてのレコードを読み終わるまで上記処理を繰り返す。そのとき、すでにリンクが張られているところへリンクを張るときは、重みに１を加える処理とする。
以上の処理により、図７（Ａ）のような２部グラフが生成される。なお、図７（Ａ）の２部グラフは、図５の履歴に明示されている以外の履歴も加えたものとしている。
【００５１】
ステップＳ６０３では、ステップＳ６０２で作成された２部グラフから、極大クリークを抽出する。
２部グラフにおけるクリークとは、２部グラフの部分ノード集合Ｈ⊆Ｖ１、Ｋ⊆Ｖ２に対して、Ｈの任意のノードとＫの任意のノードとの間にリンクがあるときに、ＨとＫを合わせたノード集合のことである。
例えば、図７（Ａ）において、
ノード７０３とノード７０５との間にリンクがあり、
ノード７０３とノード７０６との間にリンクがあり、
ノード７０４とノード７０５との間にリンクがあり、
ノード７０４とノード７０６との間にリンクがあるため、
ノード７０３〜７０６からなるノード集合はクリークに該当する。
【００５２】
しかし、
ノード７０３とノード７０７との間にはリンクがあるが、
ノード７０４とノード７０７との間にはリンクがないため、
ノード７０３〜７０７からなるノード集合はクリークに該当しない。
【００５３】
また、あるクリークが他のクリークに含まれないとき、そのクリークを極大クリークと呼ぶ。
例えば、図７（Ａ）において、
ノード７０３〜７０６からなるノード集合はクリークに該当し、このクリークは他のクリークに含まれないため、極大クリークに該当する。
【００５４】
＜ノード７０４とノード７０７との間にもリンクがあった場合＞
仮に、ノード７０４とノード７０７との間にもリンクがあったなら、ノード７０３〜７０７からなるノード集合もクリークに該当する。
そして、ノード７０３〜７０６からなるクリークは、ノード７０３〜７０７からなるクリークに含まれるため、
つまり、ノード７０３〜７０６からなるクリークは、他のクリークに含まれるため、
ノード７０３〜７０６からなるクリークは、極大クリークに該当しない。
【００５５】
２部グラフから極大クリークを高速に抽出する方法として、例えば宇野が提案した手法（宇野  毅明、“大規模グラフに対する高速クリーク列挙アルゴリズム”、電子情報通信学会コンピュテーション研究会，２００３年４月）などが使える。極大クリークを抽出する際には、２部グラフをそのまま用いても良いし、予め、重みが小さいリンクをカットした２部グラフを用いても良い。
【００５６】
また、本来、クリークはクリークに含まれるノード集合の任意のノード間の全て（任意のノードの全てのペア）にリンクがある完全グラフであるが、本発明の目的からすると必ずしも完全グラフでなくても良い。完全グラフに対して指定した割合以上のリンクが存在するノード集合を疑似クリークとして抽出し、それをクリークと見なしても良い。
【００５７】
図７（Ｂ）に図７（Ａ）の２部グラフから抽出した極大クリークの例を示す。図７（Ｂ）において黒く塗りつぶしたノード集合（７１１，７１２，７１３，７１４）が抽出された極大クリークの１つである。なお、本実施形態においては１つの極大クリークだけが抽出されるが、実際には１つとは限らず、複数の極大クリークが抽出される。
【００５８】
ステップＳ６０４では、ステップＳ６０３で抽出した極大クリークを用いて、２つのアイテム間の比較点を抽出する。抽出された極大クリークは、２つのアイテム間において偶然とは言えない注目個所の遷移を表し、それはすなわち２つのアイテム間における比較点と考えられる。本ステップでは、まず、１つの極大クリークに含まれる注目個所を元のアイテムのサブ領域にマッピングする。
図８（Ｂ）に具体例を示す。図７（Ｂ）における極大クリークに含まれる注目個所７１１〜７１４は、それぞれ元のパンフレットのサブ領域８０１〜８０４にマッピングされる。
【００５９】
図７（Ｂ）の注目個所７１１〜７１４と、図８（Ｂ）のノード８０１〜８０４との対応関係は以下のとおりである。
図７（Ｂ）                      図８（Ｂ）
注目個所（ノード）７１１、      サブ領域８０１  ［ｘ，ｙ］＝［２，２］
注目個所（ノード）７１２、      サブ領域８０２  ［ｘ，ｙ］＝［４，３］
注目個所（ノード）７１３、      サブ領域８０３  ［ｘ，ｙ］＝［３，２］
注目個所（ノード）７１４、      サブ領域８０４  ［ｘ，ｙ］＝［４，３］
【００６０】
次に、それぞれのアイテムにおいて、マッピングされたサブ領域を包含する最小の統合サブ領域を抽出する。
図８（Ｃ）に具体例を示す。左のパンフレット２０１のサブ領域８０１、８０２を包含する最小の統合サブ領域として統合サブ領域８１１が抽出される。また、右のパンフレット２０２のサブ領域８０３，８０４を包含する最小の統合サブ領域として統合サブ領域８１２が抽出される。このようにして抽出された統合サブ領域８１１と８１２が２つのアイテム間の比較点の一つとなる。
【００６１】
また、本実施形態のように、比較の対象が文書であれば、レイアウト解析と組み合わせることで比較点を抽出しても良い。解析されたレイアウトのうち、サブ領域を多く含むレイアウト領域を比較点とすればよい。ただし、レイアウトだと領域が大きく取られてしまい本来の比較点が埋没する可能性がある。
例えば、指示動作の履歴に基づいて比較点を抽出する方法であれば、パンフレットの行程表の一部が比較点として抽出される場合であっても、レイアウト解析では行程表の全体が一つのレイアウト領域とされるため、行程表の全体が比較点となってしまう。その場合は、レイアウトの代表点の位置（例えば、レイアウト領域の左上の点の位置）とレイアウトの領域内におけるサブ領域の位置（代表点からの相対的な位置）とを組み合わせて比較点とすればよい。
【００６２】
抽出した比較点は、保持部１１４に記録する。ステップＳ６０３で抽出した極大クリークのそれぞれから１つの比較点が抽出される。
図９に、保持部に記録した比較点の例を示す。例えば１つのレコードに、２つのアイテムのＩＤ（Ｃａｔａｌｏｇ  ＩＤ１，Ｃａｔａｌｏｇ  ＩＤ２）と、比較点の座標（［ｘ１，ｙ１］，［ｘ２，ｙ２］）と、比較点が含まれる領域のサイズ（［ｗ１，ｈ１］，［ｗ２，ｈ２］）とを記録しておく。また、ステップＳ６０３で抽出した極大クリークに含まれるリンクの重みの合計などをスコアとして記録しておき、より重要な比較点を区別できるようにしておくことも可能である。
以上、取得した動作履歴を用いたアイテム間の比較情報の抽出について説明した。
続いて、図１０、１１を使って、抽出したアイテム間の比較情報を顧客へ提示する方法について説明する。
【００６３】
図１０Ａは作業台の上に２つのパンフレット２０１と２０２が置かれた状況を表す。１１０１は、制御部１１５によって制御されるユーザインタフェース（ＵＩ）であり、投影部１１７を通して投影装置１０６が作業台に投影する。投影されたボタンをユーザが指先で押下する動作を、撮像装置１０５から取り込み、特定部１１３で認識することで、制御部はボタンに対応した各種動作を実行する。
【００６４】
ボタン１００２はアイテム間の比較情報を表示するためのＵＩである。ユーザがボタン１００２を押下する動作をすると、ボタン１００２が押下られたと認識され、制御部１１５はアイテム間の比較情報を表示するための動作を行う。まず、撮像装置１０５から取り込んだ画像から、作業台に表示中のアイテムを認識する。ここでは、パンフレット２０１と２０２の２つが認識され、それぞれのＩＤが取得される。次に、認識した２つのアイテムＩＤをクエリとして、図９に例示した比較点データベースから比較個所の位置と大きさを取得する。最後に、取得された比較個所の位置と大きさから制御部１１５は比較個所を強調表示する。強調表示する方法としては、例えば、比較個所を囲む四角い枠や楕円などを、投影装置１０６を用いて作業台の上のパンフレット２０１、２０２の表面に重畳表示（投影）する。
【００６５】
図１０Ｂに、パンフレット２０１、２０２の表面に重畳表示された比較個所を示す枠、及びＵＩを例示する。図１０Ｂに示す例では、比較個所を示す枠の線の太さや種類は一通り（全て同じ）であるが、線の太さ等は比較個所の重要度に応じて変えるとしても良い。例えば、重要度が高い比較個所を囲む枠の線は太くし、重要度が低い比較個所を囲む枠の線は細くしたり、重要度が高い比較個所を囲む枠の線は実線とし、重要度が低い比較個所を囲む枠の線は破線としたりしても良い。
【００６６】
また、比較情報の表示方法は様々考えられる。例えば、ユーザが１０１１のＵＩを押下することで、比較点の重要度をランキング表示することも可能である。
図１０Ｃに、比較点の重要度をランキング表示する例を示す。ここでいう重要度とは、図９に例示した比較点データベースのスコアのことを指す。
他にも、ユーザが１０１２のＵＩを押下することで、比較点を表形式に表示することも可能である。
図１０Ｄに、比較点を表形式に表示する例を示す。比較点の画像を切り出す際には、抽出した座標やサイズよりも大きめに切りだした方が良い。なぜなら、抽出した比較点はあくまで真の比較領域の一部だからである。
【００６７】
ここまでの比較情報の表示例は、一覧表示のものであったが、もちろんそれに限らない。例えば、重要度の最も高いものだけを最初に表示し、”Ｎｅｘｔ”などのＵＩを設けることで、次に重要度の高い比較点を順次表示するようにしても良い。
【００６８】
さらに、よりインタラクティブなＵＩとして、ユーザがパンフレットの一部分を指すことで、そこに対応した比較情報があればそれを表示するようにしても良い。
図１０Ｅに、ユーザが一方のパンフレットの一部分を指すと、他方のパンフレットの一部１０５１が、対応する比較個所であることが分かるように表示される例を示す。
【００６９】
その際に、比較していたパンフレットが比較個所が表示されているページとは別のページを開いているなど、比較個所が見えない状態になっている場合は、図１０Ｄに示したような比較点の電子画像を替わりに表示しても良い。または、比較していたパンフレットを電子表示し、そこに比較点を重ねて表示しても良い。また、比較しているパンフレットが無い状態でも、ユーザがあるパンフレットの一部を指すことで、比較点データベースにある比較点を取り出して、図１０Ｄに示したような比較点の電子画像を一覧表示しても良い。
【００７０】
本実施形態では、２つのアイテム間での比較情報の表示例について説明したが、３つ以上のアイテムでも同様に実施可能である。例えば、アイテムＡ、Ｂ、Ｃがあったとき、ＡとＢの比較点、ＢとＣの比較点、ＡとＣの比較点をそれぞれ取得し、マージすることで３つのアイテムＡ、Ｂ、Ｃ上に比較情報を表示することが可能である。
また、このようなマージをすることで、直接は比較情報を持たない２つのアイテム間に間接的な比較情報を与えることが可能である。
【００７１】
図１１は、直接的に比較された履歴がない２つのアイテム間に、第３のアイテムを介して、間接的に比較されたと表示する例を示す。図１１に示すように、アイテム１１０１、１１０２、１１０３がある。アイテム１１０１と１１０２とは過去に比較された履歴があり、またアイテム１１０２と１１０３とも過去に比較された履歴があるが、アイテム１１０１と１１０３とは過去に比較された履歴がないため、比較情報が抽出できていないとする。
このようにアイテム１１０１と１１０３との間に直接的に比較された履歴がない場合であっても、
アイテム１１０１内の比較箇所１１０４と比較された履歴があり、かつ
アイテム１１０３内の比較箇所１１０６とも比較された履歴がある比較箇所１１０５がアイテム１１０２内に存在すれば、
比較箇所１１０４と比較箇所１１０６とを、アイテム１１０１とアイテム１１０３とを比較する際の比較箇所として特定し、例えば図１１に示すように、比較箇所１１０４と比較箇所１１０６との間に破線を表示することなどが可能である。
【００７２】
以上、抽出したアイテム間の比較情報を顧客へ提示する方法について説明した。本実施形態では、自動で抽出したアイテム間の比較情報を用いるものとして説明したが、図９に例示した比較点データベースを事前に人手で用意して用いても良いことは言うまでもない。
なお、アイテム間の比較情報を作業台の上に表示する例で説明したが、これに限らない。メガネ型の端末を通して見たアイテム上に重畳表示しても良いし、カメラ付きのタブレットやスマートフォンで写したアイテム上に重畳表示しても良い。
【００７３】
また、図１０Ｂ〜Ｄの表示例は、イメージをそのまま印刷して持ち帰ってもらうことも可能である。
以上、旅行販売店で販売員と顧客が対面し、旅行パンフレットを用いて販売員が顧客に各種旅行パンフレットの説明をする例で本実施形態を実現する環境の一例を説明した。その他、自動車販売店や保険販売店など販売員と顧客が対面で商談する場面ではもちろん、一人で商品を見比べる際にも広く利用可能である。また、本実施形態では、パンフレットを例として、アイテムが文書の場合で説明したが、文書に限らず形あるものなら広く適用可能である。例えば、実物のカメラのデザインや、ボタン配置などのＵＩを比較点として抽出することも可能である。
【００７４】
＜その他の実施形態＞
以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。各実施形態を組み合わせても良い。
本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。例えば、データ収集は個々のクライアント機器で行い、収集したデータはサーバ機器に集めることでまとめて比較点抽出を行うようにしても良い。その際に、抽出した比較情報は再度、個々のクライアント機器に送ることでクライアント機器が保持しても良いし、個々のクライアント機器が都度、サーバ機器に比較情報を問い合わせても良い。
【００７５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７６】
１１１  撮像部
１１２  取得部
１１３  特定部
１１４  保持部
１１５  制御部
１１６  抽出部
１１７  投影部
【図１】
2016224884.tif 000003
【図２】
2016224884.tif 000004
【図３】
2016224884.tif 000005
【図４】
2016224884.tif 000006
【図５】
2016224884.tif 000007
【図６】
2016224884.tif 000008
【図７】
2016224884.tif 000009
【図８Ａ】
2016224884.tif 000010
【図８Ｂ】
2016224884.tif 000011
【図８Ｃ】
2016224884.tif 000012
【図９】
2016224884.tif 000013
【図１０Ａ】
2016224884.tif 000014
【図１０Ｂ】
2016224884.tif 000015
【図１０Ｃ】
2016224884.tif 000016
【図１０Ｄ】
2016224884.tif 000017
【図１０Ｅ】
2016224884.tif 000018
【図１１】
2016224884.tif 000019