(57)【要約】【課題】撮影画像の被写体を精度よく特定することを目的とする。【解決手段】１枚の紙媒体の一部が撮影された複数の撮影画像から、複数のコンテンツ領域を抽出する領域抽出手段と、コンテンツ領域の特徴量を算出する特徴量算出手段と、複数のコンテンツ領域間の位置関係を特定する位置特定手段と、１枚の紙媒体に対応する電子文書に対応付けて、１つの電子文書に含まれる複数のコンテンツの特徴量を記憶し、さらに１つの電子文書に含まれる複数のコンテンツ間の位置関係を示す位置情報を記憶する記憶手段を参照し、特徴量算出手段により算出された複数のコンテンツ領域それぞれの特徴量と、位置特定手段により特定された複数のコンテンツ領域間の位置関係とに基づいて、複数の撮影画像に対応する電子文書を特定する電子文書特定手段とを有する。【選択図】図１
2016025625.tif 000002
【特許請求の範囲】
【請求項１】
１枚の紙媒体の一部が撮影された複数の撮影画像から、複数のコンテンツ領域を抽出する領域抽出手段と、
前記コンテンツ領域の特徴量を算出する特徴量算出手段と、
前記複数のコンテンツ領域間の位置関係を特定する位置特定手段と、
１枚の紙媒体に対応する電子文書に対応付けて、１つの電子文書に含まれる複数のコンテンツの特徴量を記憶し、さらに１つの電子文書に含まれる複数のコンテンツ間の位置関係を示す位置情報を記憶する記憶手段を参照し、前記特徴量算出手段により算出された複数のコンテンツ領域それぞれの特徴量と、前記位置特定手段により特定された複数のコンテンツ領域間の位置関係とに基づいて、前記複数の撮影画像に対応する電子文書を特定する電子文書特定手段と
を有することを特徴とする情報処理システム。
【請求項２】
前記領域抽出手段は、前記複数の撮影画像として、動画像に含まれる複数のフレームから、複数のコンテンツ領域を抽出することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記領域抽出手段により抽出された複数のコンテンツ領域の特徴量と前記コンテンツの特徴量に基づいて類似度を算出する類似度算出手段と、
前記類似度に基づいて、前記領域抽出手段により抽出された複数のコンテンツ領域それぞれに対応するコンテンツを特定する第１のコンテンツ特定手段と
をさらに有し、
前記電子文書特定手段は、前記位置特定手段により特定された位置関係が、前記第１のコンテンツ特定手段により特定された複数の前記コンテンツに対して前記記憶手段に記憶されている前記位置情報に示される位置関係を満たす場合に、前記位置情報に対応する電子文書を、前記撮影画像に対応する電子文書として特定することを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記電子文書特定手段は、前記第１のコンテンツ特定手段により、前記電子文書に対応付けられているすべてのコンテンツが特定され、前記位置特定手段により特定された位置関係が、前記位置情報に示される位置関係を満たす場合に、前記位置情報に対応する電子文書を、前記撮影画像に対応する電子文書として特定することを特徴とする請求項３に記載の情報処理システム。
【請求項５】
前記記憶手段は、コンテンツに対応付けて、さらに関連情報を記憶し、
前記領域抽出手段により抽出されたコンテンツ領域に対応し、前記電子文書特定手段により特定された前記電子文書に含まれるコンテンツに対応付けて前記記憶手段に記憶されている関連情報を抽出する関連情報抽出手段をさらに有することを特徴とする請求項３又は４に記載の情報処理システム。
【請求項６】
前記撮影画像のうち、前記関連情報抽出手段により抽出された前記関連情報に対応する前記コンテンツ領域に対応する位置に前記関連情報を重畳して前記撮影画像を表示す重畳表示手段をさらに有することを特徴とする請求項５に記載の情報処理システム。
【請求項７】
前記位置特定手段により特定された位置関係が、複数の電子文書の位置情報それぞれに示される位置関係を満たす場合に、前記位置情報に基づいて、絞り込みに必要なコンテンツを特定する第２のコンテンツ特定手段と、
前記第２のコンテンツに基づいて、ユーザに撮影方向の変更を促す支援情報を作成する支援情報作成手段と、
前記支援情報を表示する支援情報表示手段と
をさらに有することを特徴とする請求項３乃至６何れか１項に記載の情報処理システム。
【請求項８】
１枚の紙媒体の一部が撮影された複数の撮影画像から、複数のコンテンツ領域を抽出する領域抽出手段と、
前記コンテンツ領域の特徴量を算出する特徴量算出手段と、
前記複数のコンテンツ領域間の位置関係を特定する位置特定手段と、
１枚の紙媒体に対応する電子文書に対応付けて、１つの電子文書に含まれる複数のコンテンツの特徴量を記憶し、さらに１つの電子文書に含まれる複数のコンテンツ間の位置関係を示す位置情報を記憶する記憶手段を参照し、前記特徴量算出手段により算出された複数のコンテンツ領域それぞれの特徴量と、前記位置特定手段により特定された複数のコンテンツ領域間の位置関係とに基づいて、前記複数の撮影画像に対応する電子文書を特定する電子文書特定手段と
を有することを特徴とする情報処理装置。
【請求項９】
情報処理システムが実行する情報処理方法であって、
１枚の紙媒体の一部が撮影された複数の撮影画像から、複数のコンテンツ領域を抽出する領域抽出ステップと、
前記コンテンツ領域の特徴量を算出する特徴量算出ステップと、
前記複数のコンテンツ領域間の位置関係を特定する位置特定ステップと、
１枚の紙媒体に対応する電子文書に対応付けて、１つの電子文書に含まれる複数のコンテンツの特徴量を記憶し、さらに１つの電子文書に含まれる複数のコンテンツ間の位置関係を示す位置情報を記憶する記憶手段を参照し、前記特徴量算出ステップにおいて算出された複数のコンテンツ領域それぞれの特徴量と、前記位置特定ステップにおいて特定された複数のコンテンツ領域間の位置関係とに基づいて、前記複数の撮影画像に対応する電子文書を特定する電子文書特定ステップと
を含むことを特徴とする情報処理方法。
【請求項１０】
情報処理装置が実行する情報処理方法であって、
１枚の紙媒体の一部が撮影された複数の撮影画像から、複数のコンテンツ領域を抽出する領域抽出ステップと、
前記コンテンツ領域の特徴量を算出する特徴量算出ステップと、
前記複数のコンテンツ領域間の位置関係を特定する位置特定ステップと、
１枚の紙媒体に対応する電子文書に対応付けて、１つの電子文書に含まれる複数のコンテンツの特徴量を記憶し、さらに１つの電子文書に含まれる複数のコンテンツ間の位置関係を示す位置情報を記憶する記憶手段を参照し、前記特徴量算出ステップにおいて算出された複数のコンテンツ領域それぞれの特徴量と、前記位置特定ステップにおいて特定された複数のコンテンツ領域間の位置関係とに基づいて、前記複数の撮影画像に対応する電子文書を特定する電子文書特定ステップと
を含むことを特徴とする情報処理方法。
【請求項１１】
コンピュータを、
１枚の紙媒体の一部が撮影された複数の撮影画像から、複数のコンテンツ領域を抽出する領域抽出手段と、
前記コンテンツ領域の特徴量を算出する特徴量算出手段と、
前記複数のコンテンツ領域間の位置関係を特定する位置特定手段と、
１枚の紙媒体に対応する電子文書に対応付けて、１つの電子文書に含まれる複数のコンテンツの特徴量を記憶し、さらに１つの電子文書に含まれる複数のコンテンツ間の位置関係を示す位置情報を記憶する記憶手段を参照し、前記特徴量算出手段により算出された複数のコンテンツ領域それぞれの特徴量と、前記位置特定手段により特定された複数のコンテンツ領域間の位置関係とに基づいて、前記複数の撮影画像に対応する電子文書を特定する電子文書特定手段と
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、タブレット端末やスマートフォン（以降、スマート端末とも記載する）を用いて、カメラで撮影した被写体に関連する情報を検索し、検索された関連情報をスマート端末の画面に表示する技術が知られている。例えば、Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（以降、ＡＲ）と呼ばれる拡張現実技術では、カメラで撮影された被写体に関連する情報を検索し、検索結果をカメラで撮影された実世界の物体に重畳表示することができる。さらに、当該技術における被写体を紙文書とし、紙文書を撮影すると、紙文書上に関連情報が重畳表示されるサービスも展開されている。紙媒体に動画等のコンテンツを表現することができないが、紙文書に印刷されている静止画の関連情報として動画を検索し、得られた動画を重畳表示することが可能になる。
また、カメラで撮影された被写体を特定するための技術として、特許文献１には、複数ページから構成される印刷物をページ単位で読み取り、読み取った情報からオリジナルの電子文書を検索する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３４９９４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のように、被写体と関連する情報を検索する際には、被写体を正確に認識することが必要となる。例えば、被写体の認識精度が低いために、複数の被写体候補が検出された場合には、これに対応し、被写体に対する関連情報を一意に特定することができない。
例えば、スマート端末による撮影対象が、街頭のポスター等のように大きな紙面や、微修正が繰り返された仕様書である場合に、被写体の認識が困難となり、適切な関連情報を特定できない可能性がある。このように関連情報を一意に特定できない場合に複数の関連情報をユーザに提示することも考えられるが、この場合、ユーザが必要な関連情報を選択する必要があり、操作が煩雑になるという問題があった。
【０００５】
本発明はこのような問題点に鑑みなされたもので、撮影画像の被写体を精度よく特定することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、情報処理システムであって、１枚の紙媒体の一部が撮影された複数の撮影画像から、複数のコンテンツ領域を抽出する領域抽出手段と、前記コンテンツ領域の特徴量を算出する特徴量算出手段と、前記複数のコンテンツ領域間の位置関係を特定する位置特定手段と、１枚の紙媒体に対応する電子文書に対応付けて、１つの電子文書に含まれる複数のコンテンツの特徴量を記憶し、さらに１つの電子文書に含まれる複数のコンテンツ間の位置関係を示す位置情報を記憶する記憶手段を参照し、前記特徴量算出手段により算出された複数のコンテンツ領域それぞれの特徴量と、前記位置特定手段により特定された複数のコンテンツ領域間の位置関係とに基づいて、前記複数の撮影画像に対応する電子文書を特定する電子文書特定手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮影画像の被写体を精度よく特定することができる。
【図面の簡単な説明】
【０００８】
【図１】ＡＲ処理システムの全体構成を示す図である。
【図２】紙文書の一例を示す図である。
【図３】携帯端末のハードウェア構成を示す図である。
【図４】携帯端末のソフトウェア構成を示す図である。
【図５】管理サーバ装置のソフトウェア構成を示す図である。
【図６】特徴量テーブルのデータ構成の一例を示す図である。
【図７】ＡＲ処理を示すシーケンス図である。
【図８】画像解析処理をフローチャートである。
【図９】処理対象のフレームの一例を示す図である。
【図１０】撮影画像テーブルのデータ構成の一例を示す図である。
【図１１】撮影画像テーブルに情報が記録される処理の説明図である。
【図１２】特徴量抽出処理を示すフローチャートである。
【図１３】縮小画像生成処理の説明図である。
【図１４】電子文書検索処理を示すフローチャートである。
【図１５】特徴量照合処理を示すフローチャートである。
【図１６】支援情報送信処理を示すフローチャートである。
【図１７】支援情報送信処理の説明図である。
【図１８】支援情報の表示例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
【００１０】
図１は、情報処理システムとしてのＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）処理システムの全体構成を示す図である。ＡＲ処理システムは、携帯端末１００と、情報処理装置としての管理サーバ装置１１０とを有している。携帯端末１００と管理サーバ装置１１０は、ネットワーク１２０を介して通信を行うことができる。ＡＲ処理システムにおいて、携帯端末１００は、紙媒体としての紙文書を撮影し、撮影画像を表示装置１０１に表示すると共に、管理サーバ装置１１０に送信する。ここで、撮影画像は動画像であるものとする。管理サーバ装置１１０は、撮影画像を受信すると、撮影画像に関連付けられた電子文書を関連情報として特定し、これを携帯端末１００に送信する。携帯端末１００は、撮影画像の撮影中は、表示画面上に撮影画像を表示し、関連情報を受信すると、撮影画像上に関連画像を重畳して表示する。
図２は、携帯端末１００の撮影対象となる紙文書２００の一例を示す図である。本実施形態において、撮影対象とする紙文書２００は、図２に示すように、複数のコンテンツを含むものとする。図２に示す紙文書２００には、文字列コンテンツ２０１と、写真コンテンツ２０２と、図形コンテンツ２０３と、文字列コンテンツ２０４が表示されている。このように、１枚の紙文書は、複数のコンテンツを含み、各コンテンツの種類は同一の場合もあれば、異なる場合もある。
本実施形態においては、撮影対象の紙文書２００として、比較的大きいサイズのものを想定しており、このため、撮影画像中の各フレームには、紙文書２００の一部のみが含まれるものとする。すなわち、撮影画像中の各フレームには、紙文書２００に含まれる一部のコンテンツのみが含まれる。
【００１１】
図３は、携帯端末１００のハードウェア構成を示す図である。撮影部３００は、画像を撮影する。加速度センサ３０１は、携帯端末１００の位置や傾きの変化を検出する。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０２は、各種処理のための演算や論理判断等を行い、バス３１０に接続された各種要素を制御する。なお、携帯端末１００は、加速度センサ３０１に替えて、方位センサを有してもよい。
携帯端末１００には、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリは、フローチャートにより後述する各種処理手順を含むＣＰＵ３０２による制御のためのプログラムを格納する。このメモリは、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０３、外部記憶装置等からプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３０４、またはこれらの組み合わせで実現される。
【００１２】
記憶装置３０５は、データやプログラムを記憶しておくためのハードディスク等の装置である。記憶装置３０５は、例えば写真や文書等を保持しておくためにも利用される。なお、写真や文書等を保持しておく装置としは、外部接続やネットワークに接続された不図示のデータ保持装置が用いられてもよい。ここで、外部記憶装置３０６は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとにより実現される。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が挙げられる。
なお、後述する携帯端末１００の機能や処理は、ＣＰＵ３０２がＲＯＭ３０３等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
【００１３】
入力装置３０７は、ユーザからの指示を入力するための装置である。ユーザは入力装置３０７を介して、ＡＲ処理システムに対する指示を入力する。入力装置３０７は、例えば、キーボードやポインティングデバイスにより実現することができる。
表示装置１０１は、処理結果等を表示出力する装置である。表示装置１０１は、例えば、出力のための回路を含むＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ  Ｔｕｂｅ）や液晶表示器等のディスプレイ装置により実現することができる。本実施形態においては、表示装置１０１は、写真や文書等を表示する。
インタフェース（以下、Ｉ／Ｆという）３０９は、情報の仲介を行う装置であり、携帯端末１００は、Ｉ／Ｆ３０９を介して外部装置とのデータのやり取りを行う。
なお、管理サーバ装置１１０のハードウェア構成は、図２を参照しつつ説明した携帯端末１００のハードウェア構成と同様である。但し、管理サーバ装置１１０は、撮影部３００、加速度センサ３０１等を備えなくともよい。
【００１４】
図４は、携帯端末１００のソフトウェア構成を示す図である。通信部４００は、ネットワーク１２０を介して外部装置と情報の送受信を行う。通信部４００は、例えば管理サーバ装置１１０に撮影画像を送信し、また、管理サーバ装置１１０から、撮影画像に関連する関連情報を受信する。受付部４０１は、ユーザにより入力された指示を受け付ける。撮影制御部４０２は、ユーザによる指示に従い、撮影を行い、動画像を得る。
位置関連情報生成部４０３は、動画像を構成する各フレームの位置関連情報を生成する。本実施形態においては、位置関連情報は、各フレームが撮影された時点における加速度センサ３０１による検出結果と、撮影部３００のズーム状態を示す情報とを含むものとする。なお、撮影画像及び位置情報は、通信部４００を介して、管理サーバ装置１１０に送信される。表示部４０４は、撮影制御部４０２により得られた撮影画像としての動画像を表示装置１０１に表示する。さらに、表示部４０４は、通信部４００が管理サーバ装置１１０から、関連情報を受信した場合には、撮影画像上に関連情報を重畳して表示する。
【００１５】
図５は、管理サーバ装置１１０のソフトウェア構成を示す図である。通信部５００は、ネットワーク１２０を介して外部装置と情報の送受信を行う。通信部５００は例えば、携帯端末１００から撮影画像を受信し、また、携帯端末１００に対し、関連情報を送信する。
解析部５０１は、撮影画像を解析し、撮影画像としての動画像を構成する各フレームの特徴量を抽出する。なお、解析処理には、既存の文書解析技術を用いることができる。解析処理については後述する。
電子文書ＤＢ５０２は、電子文書を記憶している。ここで、電子文書は、例えば図４に示す紙文書２００に対応する電子データである。電子文書ＤＢ５０２は、撮影対象となる紙文書に対応する電子文書を記憶している。なお、撮影対象の紙文書が複数存在する場合には、電子文書ＤＢ５０２は、複数の紙文書それぞれに対応する電子文書を記憶する。なお、電子文書ＤＢ５０２は、外部記憶装置３０６等に記憶されているものとする。
【００１６】
電子文書ＤＢ５０２はさらに、特徴量テーブルを記憶している。図６（ａ）は、特徴量テーブル６００のデータ構成の一例を示す図である。特徴量テーブル６００は、文書ＩＤに対応付けて、コンテンツＩＤ、属性、特徴量、位置情報、関連情報を記憶している。なお、図６（ａ）に示す文書ＩＤ「００１」の電子文書は、紙文書２００に対応している。
文書ＩＤは、電子文書の識別情報である。コンテンツＩＤは、電子文書に含まれる各コンテンツの識別情報である。コンテンツは、例えば図２に示すコンテンツ２０１〜２０４に対応する情報である。属性は、コンテンツの種別を示す。図６（ａ）において属性「１」は文字列、「２」は写真、「３」は図形の種別を意味する。位置情報は、各コンテンツの文書における位置（Ｘ，Ｙ）と、コンテンツの幅Ｗと、コンテンツの高さＨを含んでいる。
関連情報は、コンテンツに関連する情報として、管理者等により設定された情報である。本実施形態においては、関連情報は、電子文書であるものとするが、関連情報の種類はこれに限定されるものではない。他の例としては、関連情報は、対応付けられている紙文書に対するＵＩ画面であってもよい。また、特徴量テーブルに登録されている、すべてのコンテンツに対し関連情報が対応付けられている必要はない。
【００１７】
なお、位置情報は、同一文書に含まれる複数のコンテンツ間の位置関係を示す情報であればよく、具体的な情報の内容は実施形態に限定されるものではない。図６（ｂ）は、特徴量テーブル６１０の他の例を示す図である。図６（ｂ）に示す例においては、位置情報は、対象とするコンテンツに隣接するコンテンツを示す情報である。すなわち、位置情報は、各コンテンツに対し、上下左右それぞれの方向に隣接するコンテンツのコンテンツＩＤを示す情報である。
また、関連情報を提示する対象となる文書が１つのみの場合には、関連情報テーブルは、文書ＩＤを記録しなくともよい。
【００１８】
図５に戻り、文書検索部５０３は、電子文書ＤＢ５０２を参照し、解析部５０１により得られた、コンテンツの特徴量に基づいて、撮影画像に対応する電子文書の検索処理を行う。関連情報抽出部５０４は、電子文書ＤＢ５０２を参照し、特定された電子文書のうち、処理時点において携帯端末１００の表示部４０４に表示されているコンテンツに対応する関連情報を抽出する。抽出された関連情報は、通信部５００を介して携帯端末１００に送信される。
【００１９】
図７は、ＡＲ処理システムによる、ＡＲ処理を示すシーケンス図である。Ｓ７００において、携帯端末１００の撮影制御部４０２は、ユーザからの指示に従い、紙文書の撮影を開始する。なお、撮影制御部４０２は、ユーザからの開始指示が入力されるまで、撮影を継続する。次に、Ｓ７０１において、表示部４０４は、撮影制御部４０２により撮影された撮影画像としての動画の表示装置１０１への表示を開始する。なお、撮影及び撮影画像の表示は、ユーザからの終了指示が入力されるまで継続する。
さらに、Ｓ７０２において、位置関連情報生成部４０３は、撮影画像に含まれる各フレームに対する位置関連情報を生成する。次に、Ｓ７０３において、通信部４００は、撮影画像と位置関連情報とを管理サーバ装置１１０に送信する。
【００２０】
一方、管理サーバ装置１１０においては、Ｓ７０３において、通信部５００が、撮影画像及び位置情報を受信すると、Ｓ７０４において、解析部５０１は、撮影画像に対する解析処理を行い、各フレームの特徴量を抽出する。なお、Ｓ７０３における画像解析処理については、図８を参照しつつ後述する。Ｓ７０５において、文書検索部５０３は、Ｓ７０４において抽出された特徴量に基づいて、特徴量テーブル６００を参照し、撮影画像の被写体としての紙文書に対応する電子文書を検索する。文書検索部５０３はさらに、電子文書に対する撮影画像の角度（回転角度）を特定する。
次に、Ｓ７０６において、文書検索部５０３は、紙文書に対応する電子文書を特定できたか否かを確認する。文書検索部５０３は、電子文書を特定できた場合には（Ｓ７０６でＹｅｓ）。処理をＳ７０７へ進める。文書検索部５０３は、電子文書を特定できなかった場合には（Ｓ７０６でＮｏ）、Ｓ７０３において、再び後続のフレームの受信を待つ。
Ｓ７０７において、関連情報抽出部５０４は、特徴量テーブル６００を参照し、撮影画像のうち最後のフレームに表示されているコンテンツに対応付けられている関連情報を抽出する（関連情報抽出処理）。さらに、関連情報抽出部５０４は、最後のフレームのうち、関連情報に対応するコンテンツが表示されているコンテンツ領域（対象コンテンツ領域と称する）の位置に基づいて、関連情報を表示すべき位置を特定する。次に、Ｓ７０８において、通信部５００は、関連情報と、関連情報の表示位置と、Ｓ７０５において特定された対象コンテンツ領域の回転角度とを携帯端末１００に送信する。
【００２１】
携帯端末１００においては、Ｓ７０８において、通信部４００が関連情報等を受信すると、Ｓ７０９において、表示部４０４は、関連情報と、関連情報の表示位置と、回転角度とに基づいて、重畳すべきデータを生成する。そして、表示部４０４は、表示中の撮影画像上に生成したデータを重畳表示する（重畳表示処理）。
なお、紙画像は様々な角度で撮影される可能性がある。そこで、本実施形態においては、携帯端末１００は、回転角度を用いることにより、表示装置１０１に表示中の撮影画像中の紙文書の上下方向と重畳対象の関連情報の上下方向を合わせることとした。これにより、携帯端末１００は、関連情報をより見やすい状態で関連情報を表示することができる。以上の処理により、ユーザは撮影した紙文書に関連する関連情報を携帯端末１００上で閲覧することが可能になる。
【００２２】
図８は、図７を参照しつつ説明した画像解析処理（Ｓ７０４）における詳細な処理を示すフローチャートである。Ｓ８００において、解析部５０１は、撮影画像の各フレームから意味のあるブロック（領域）を塊として認識して、ブロック各々に表示されるコンテンツの属性を判定する。
図９は、処理対象のフレームの一例を示す図である。図９（ａ）に示すフレーム９００からは、解析部５０１は、３つのコンテンツ領域９０１〜９０３を抽出する（領域抽出処理）。ここで、コンテンツ領域９０１は、コンテンツ２０１を表示する領域である。コンテンツ領域９０２は、コンテンツ２０２を表示する領域である。コンテンツ領域９０３は、コンテンツ２０３を表示する領域である。解析部５０１はさらに、各コンテンツ領域の属性を特定する。図９に示すコンテンツ領域９０１〜９０３に対しては、それぞれテキスト、写真及び図形の属性が特定される。
また、図９（ｂ）に示すフレーム９１０からは、解析部５０１は、１つのコンテンツ領域９１１のみを抽出し、コンテンツ領域９１１の属性をテキストと特定する。
【００２３】
以下、コンテンツ領域を抽出し、属性を特定する処理をより具体的に説明する。解析部５０１は、フレームを受け取ると、これを白黒画像に二値化する。そして、解析部５０１は、輪郭線追跡を行い黒画素輪郭で囲まれる画素のかたまりを抽出する。解析部５０１は、一定面積以上の黒画素が抽出された場合には、内部にある白画素に対しても輪郭線追跡を行い白画素のかたまりを抽出する。解析部５０１は、抽出した白画素のかたまりが一定面積以上であれば、さらに黒画素のかたまりを抽出する。解析部５０１は、抽出されたかたまりが一定面積以上であれば、この抽出処理を再帰的に実行する。
そして、解析部５０１は、抽出処理で得られた黒画素のかたまりを大きさ及び形状により様々な属性を持つブロックとして分類する。解析部５０１は、例えば、縦横比が１に近いブロックは文字相当の画素のかたまりとし、隣接する文字相当の画素のかたまりが整列されていてグループ化可能な場合はテキストブロックとする。また、解析部５０１は、不定形の画素のかたまりが散在する場合は、写真ブロック、それ以外は図形ブロック等に分類する。
【００２４】
Ｓ８００において、解析部５０１は、さらに撮影画像中において既に処理済みの他のフレームと処理対象のフレームそれぞれの位置関連情報に基づいて、フレーム間の位置関係を特定する。そして、解析部５０１は、フレーム間の位置関係に基づいて、複数のフレームから得られた複数のコンテンツ領域間の位置関係を特定する（位置特定処理）。
なお、図９に示すフレーム９００のように、１フレーム内に複数のコンテンツ領域が含まれている場合には、フレーム内の複数のコンテンツ領域間の位置関係を特定する。図９に示すフレーム９００においては、コンテンツ領域９０１の右にコンテンツ領域９０２が存在する、コンテンツ領域９０２の下にコンテンツ領域９０３が存在するという位置関係が特定される。
【００２５】
解析部５０１は、さらにブロックとして得られたコンテンツ領域に対し領域ＩＤを付与する。ここで、領域ＩＤは、コンテンツ領域の識別情報である。解析部５０１は、領域ＩＤと、領域に対して特定された属性と、位置関係を示す位置情報を撮影画像テーブルに記録する。ここで、撮影画像テーブルは、例えば、ＲＡＭ３０４又は外部記憶装置３０６に記憶されているものとする。
図１０は、撮影画像テーブル１０００のデータ構成の一例を示す図である。撮影画像テーブル１０００は、領域ＩＤと、属性と、位置情報と、特徴量とを対応付けて記憶する。図１０に示す各行が１つのレコードに相当する。Ｓ８００においては、解析部５０１は、領域ＩＤ、属性と、位置情報とを対応付けて、１つのレコードとして撮影画像テーブル１０００に記録する。なお、特徴量は、後述のＳ８０２において、領域ＩＤに対応付けて、追加して記録される。
【００２６】
図８に戻り、Ｓ８００の処理の後、Ｓ８０１において、解析部５０１は、Ｓ８００において得られた各コンテンツ領域の特徴量を算出する（特徴量算出処理）。次に、Ｓ８０２において、解析部５０１は、コンテンツ領域に対応付けて、特徴量を撮影画像テーブル１０００に記録する。
【００２７】
ここで、撮影画像テーブル１０００に情報が記録される処理について、具体的に説明する。例えば、図１１（ａ）に示すように、携帯端末１００において紙文書２００の撮影が開始され、表示装置１０１に、撮影画像として、コンテンツ２０１の画像が表示されているとする。
その後、ユーザが携帯端末１００の傾きを変える等して、撮影方向を紙文書２００の右方向（矢印Ａの方向）に移動すると、表示装置１０１には、図１１（ｂ）に示すように、撮影画像として、コンテンツ２０２の画像が表示される。さらに、撮影方向が紙文書２００の下方向（矢印Ｂの方向）に移動すると、表示装置１０１には、図１１（ｃ）に示すように、撮影画像として、コンテンツ２０３の画像が表示される。
【００２８】
以上のような撮影方向の変化を伴う撮影画像を処理対象とする場合、まず図１１（ａ）に示すフレーム１１１１が解析部５０１に入力され、フレーム１１１１に対する領域解析処理（Ｓ７０４）が実行される。領域解析処理（Ｓ８００）において、解析部５０１は、コンテンツ２０１の画像の領域をコンテンツ領域１１０１として抽出し、このコンテンツ領域１１０１に対し、コンテンツＩＤ「ａ００１」を発行する。解析部５０１はさらに、コンテンツ領域１１０１の属性をテキストと特定する。
なお、この時点では、他のフレームの解析は行われておらず、フレーム１１１１のみからは、他のコンテンツ領域との位置関係は分からない。そこで、この時点では、解析部５０１は、撮影画像テーブル１０００に、領域ＩＤ「ａ００１」を記録し、これに対応付けて、属性「１」を記録する。その後、解析部５０１は、Ｓ８０１において、コンテンツ領域１１０１の特徴量を算出し、Ｓ８０２において、これを領域ＩＤ「ａ００１」に対応付けて記録する。
【００２９】
続いて、フレーム１１１２が解析部５０１に入力されると、フレーム１１１２に対し、画像解析処理（Ｓ７０４）が実行される。すなわち、領域解析処理（Ｓ８００）において、解析部５０１は、コンテンツ２０２の画像の領域をコンテンツ領域１１０２として抽出し、このコンテンツ領域１１０１に対し、コンテンツＩＤ「ａ００２」を発行する。解析部５０１はさらに、コンテンツ領域１１０２の属性を写真と特定する。
さらに、解析部５０１は、処理済みのフレーム１１１１からフレーム１１１２までの間に撮影方向が紙文書２００の右方向に移動したことを位置関連情報と、各フレーム１１１１，１１１１中の画素変化から特定する。そして、解析部５０１は、撮影方向の変化から、コンテンツ領域１１０２の左方向に、コンテンツ領域１１０１が存在することを特定する。
【００３０】
そして、解析部５０１は、撮影画像テーブル１０００に、領域ＩＤ「ａ００２」を記録し、これに対応付けて、属性「２」を記録し、さらに、左方向に「ａ００１」で特定されるコンテンツ領域１１０１が存在することを示す位置情報を記録する。解析部５０１はまた、このとき、領域ＩＤ「ａ００１」に対応付けて、右方向に「ａ００２」で特定されるコンテンツ領域１１０２が存在することを示す位置情報を記録する。その後、Ｓ８０１において、コンテンツ領域１１０２の特徴量を算出し、Ｓ８０２において、これを領域ＩＤ「ａ００２」に対応付けて記録する。
さらに図１０に示す撮影画像テーブル１０００には、コンテンツ領域１１０３が登録されている。図１０に示す撮影画像テーブル１０００の位置情報から、領域ＩＤ「ａ００１」のコンテンツ領域１１０１の左に領域ＩＤ「ａ００２」のコンテンツ領域１１０２が存在することがわかる。さらに、この位置情報から、領域ＩＤ「ａ００２」のコンテンツ領域１１０２の下に領域ＩＤ「ａ００３」のコンテンツ領域１１０３が存在することがわかる。
【００３１】
なお、Ｓ８０２において抽出された特徴量に対応付けられた領域ＩＤが既に撮影画像テーブル１０００に登録されている場合には、撮影画像テーブル１０００への新たなコンテンツ領域の登録は行わない。なお、抽出された特徴量に対応する領域ＩＤが既に登録されている場合とは、処理済みの他のフレームに同一のコンテンツが表示されており、この他のフレームの処理において、コンテンツ領域が既に撮影画像テーブル１０００に登録されている場合である。
また、１つのフレームに複数のコンテンツ領域が含まれている場合には、解析部５０１は、コンテンツ領域間の位置関係を特定し、これを位置情報として撮影画像テーブル１０００に登録する。
【００３２】
図１２は、図８を参照しつつ説明した特徴量抽出処理（Ｓ８０１）における詳細な処理を示すフローチャートである。特徴量抽出処理は、画像の局所的な特徴量（局所特徴量）を抽出する処理である。局所特徴量は、回転不変、拡大・縮小不変という性質を持つ。この特徴により、画像を回転、拡大又は縮小させた場合であっても特徴量を使った検索処理が可能となる。局所特徴量抽出処理は、既存の局所特徴量抽出処理技術を用いて行うことが可能である。
Ｓ１２００において、解析部５０１は、処理対象のフレームを読み込む。次に、Ｓ１２０１において、解析部５０１は、入力フレームに対し輝度成分を抽出し、輝度成分画像を作成する。次に、Ｓ１２０２において、解析部５０１は、輝度成分画像から縮小画像を生成する。具体的には、解析部５０１は、緯度成分画像を、倍率ｐに従って順次縮小し、縮小画像をｎ枚生成する。ここで、倍率ｐ及び縮小画像の枚数ｎは予め規定され、ＲＯＭ３０３等に格納されているものとする。
【００３３】
図１３は、縮小画像生成処理（Ｓ１２０２）を説明するための図である。図１３には、倍率ｐに２の−（１／４）乗、縮小画像の枚数ｎに９が設定されている場合の例を示す。ただし、この例では、倍率ｐを面積比ではなく辺の長さの比としている。
図１３において、１３０１は、Ｓ１２０１において作成された輝度成分画像である。１３０２は、輝度成分画像１００１から倍率ｐに従って４回縮小された縮小画像であり、輝度成分画像１３０１を１／２に縮小した画像に相当する。また、１３０３は、輝度成分画像１３０１から倍率ｐに従って８回縮小された縮小画像であり、輝度成分画像１３０１を１／４に縮小した画像に相当する。なお、スケール番号１３１０は、縮小画像のサイズが大きい順に付与される番号である。
なお、画像を縮小する方法の他の例としては、単純に画素を間引く方法、線形補間を用いる方法、低域フィルタ適用後にサンプリングする方法等が挙げられる。
【００３４】
図１２に戻り、Ｓ１２０２の後、Ｓ１２０３において、解析部５０１は、Ｓ１２０２において得られたｎ枚の縮小画像のそれぞれから局所的な特徴点（局所特徴点）を抽出する。ここで抽出される局所特徴点は、画像に回転や縮小等の画像処理を施しても同じ場所から安定的に抽出されるようなロバストな局所特徴点である。このような局所特徴点を抽出する方法として、Ｈａｒｒｉｓ作用素等が挙げられる。
具体的には、解析部５０１は、Ｈａｒｒｉｓ作用素を作用させて得られた画像の画素それぞれについて、着目画素とその周辺８近傍にある画素（合計９画素）の画素値を調べる。そして、解析部５０１は、着目画素の画素値が閾値以上、かつ局所極大になる（９画素の中で画素値が最大になる）場合に、着目画素が位置する点を局所特徴点として抽出する。なお、解析部５０１がロバストな局所特徴点を抽出す処理は、実施形態に限定されるものではない。
【００３５】
次に、Ｓ１２０４において、解析部５０１は、Ｓ１２０３において得られた局所特徴点それぞれについて、画像の回転があっても不変となるように定義された特徴量（局所特徴量）を算出する。解析部５０１は、この局所特徴量の算出方法として、以下に示す文献のＬｏｃａｌ  Ｊｅｔ及びそれらの導関数の組み合わせを用いる。
Ｊ．Ｊ．Ｋｏｅｎｄｅｒｉｎｋ  ａｎｄ  Ａ．Ｊ．ｖａｎ  Ｄｏｏｒｎ，  "Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｌｏｃａｌ  ｇｅｏｍｅｔｒｙ  ｉｎ  ｔｈｅ  ｖｉｓｕａｌ  ｓｙｓｔｅｍ，"  Ｒｉｏｌｏｇｉｃａｌ  Ｃｙｂｅｒｎｅｔｉｃｓ，  ｖｏｌ．５５，  ｐｐ．３６７−３７５，  １９８７
【００３６】
この手法により算出される局所特徴量は、拡大縮小、回転に対して、比較的高い耐性を持つような特性を持たせることができる。具体的には、解析部５０１は、式（１）に示す局所的な特徴量ｖを算出する。
【数１】
2016025625.tif 000003
ただし、式（１）の右辺で用いている記号は、以下に示す式（２）〜式（７）で定義される。ここで、式（２）右辺のＧ（ｘ，ｙ）はガウス関数、Ｉ（ｘ，ｙ）は画像の座標（ｘ，ｙ）における画素値であり、"＊"は畳み込み演算を表す記号である。また、式（３）は式（２）で定義された変数Ｌのｘに関する偏導関数、式（４）は当該変数Ｌのｙに関する偏導関数である。式（５）は式（３）で定義された変数Ｌｘのｙに関する偏導関数、式（６）は式（３）で定義された変数Ｌｘのｘに関する偏導関数、式（７）は式（４）で定義されたＬｙのｙに関する偏導関数である。
【数２】
2016025625.tif 000004
なお、局所特徴量の算出方法は、上述の方法に限定されるものではなく、他の局所特徴量の算出方法も適用可能である。
【００３７】
図１４は、図７を参照しつつ説明した電子文書検索処理（Ｓ７０５）における詳細な処理を示すフローチャートである。電子文書検索処理では、前述のように、特徴量に基づいて、撮影画像に対応する電子文書を検索し、さらに、撮影画像に対する関連情報の回転角度の特定を行う。Ｓ１４００において、文書検索部５０３は、撮影画像テーブル１０００に登録されているコンテンツ領域の中から、後述の特徴量照合処理（Ｓ１４０１）が行われていない、未処理のコンテンツ領域を１つ選択する。
なお、未処理のコンテンツ領域を特定すべく、撮影画像テーブル１０００の各領域ＩＤに対応付けて処理済みか否かを示すフラグを記憶しておくこととしてもよい。また、未処理のコンテンツ領域を順次選択する処理としては、撮影画像テーブル１０００の先頭から順番にサーチしてもよく、また他の例としては、ランダムにサーチしてもよい。
【００３８】
次に、Ｓ１４０１において、文書検索部５０３は、Ｓ１４００において選択したコンテンツ領域の特徴量と、特徴量テーブル６００に登録されている電子文書のコンテンツの特徴量とを照合する。さらに、両者が一致すると判定した場合には、判定家庭で算出された値を利用して、コンテンツ領域に重畳して表示する関連情報の回転角度を算出する。なお、特徴量照合処理については、図１５を参照しつつ後に詳述する。
Ｓ１４０２において、文書検索部５０３は、撮影画像テーブル１０００に等登録されているすべてのコンテンツ領域に対しＳ１４０１の処理が完了したか否かを確認する。文書検索部５０３は、未処理のコンテンツ領域が存在する場合には（Ｓ１４０２でＹｅｓ）、処理をＳ１４００へ進め、未処理のコンテンツ領域を選択し、処理を継続する。文書検索部５０３はまた、未処理のコンテンツ領域が存在しない場合には（Ｓ１４０２でＮｏ）、処理をＳ１４０３へ進める。
なお、Ｓ１４００〜Ｓ１４０２の処理は、特徴量テーブル６００において、コンテンツ領域それぞれに対応するコンテンツを特定するコンテンツ特定処理の一例である。
【００３９】
Ｓ１４０３において、文書検索部５０３は、Ｓ１４００及びＳ１４０１の繰り返し処理において得られた、撮影画像テーブル１０００に登録されているすべてのコンテンツ領域に対応するコンテンツを含む電子文書を特定する。そして、文書検索部５０３は、これを撮影画像に対応する電子文書の候補とする。
次に、Ｓ１４０４において、文書検索部５０３は、撮影画像テーブル１０００に登録されているすべてのコンテンツ領域間の位置関係が、特徴量テーブル６００に登録されている位置情報に示される位置関係を満たすか否かを判断する。文書検索部５０３は、位置情報に示される位置関係を満たさない場合には（Ｓ１４０４でＮｏ）、処理をＳ１４０５へ進める。Ｓ１４０５において、文書検索部５０３は、電子文書の候補は、撮影画像に対応する電子文書ではなく、電子文書の特定ができないと判断し、電子文書検索処理を終了する。
【００４０】
一方、文書検索部５０３は、位置情報に示される位置関係を満たす場合に（Ｓ１４０４でＹｅｓ）、処理をＳ１４０６へ進める。Ｓ１４０６において、文書検索部５０３は、位置情報に示される位置関係を満たす電子文書の候補が複数存在するか否かを判断する。文書検索部５０３は、複数存在する場合には（Ｓ１４０６でＹｅｓ）、処理をＳ１４０５へ進め、電子文書を特定できないと判断し、電子文書検索処理を終了する。
一方、文書検索部５０３は、位置情報に示される位置関係を満たす電子文書の候補が１つのみ存在する場合には（Ｓ１４０６でＮｏ）、処理をＳ１４０７へ進める。Ｓ１４０７において、文書検索部５０３は、得られた電子文書の候補を、撮影画像に対応する電子文書として特定する（電子文書特定処理）。
なお、文書検索部５０３は、抽出されたコンテンツ領域の特徴量と、コンテンツ領域間の位置関係とに基づいて撮影画像に対応する電子文書を特定すればよく、そのための具体的な処理は、実施形態に限定されるものではない。
【００４１】
図１５は、図１４に示す特徴量照合処理（Ｓ１４０１）における詳細な処理を示すフローチャートである。特徴量照合処理においては、撮影画像において得られたコンテンツ領域に表示される画像と、電子文書のコンテンツの類似度を算出し、算出した類似度に基づいて、コンテンツ領域に対応するコンテンツを特定する。文書検索部５０３は、具体的には、閾値以上かつ最大の類似度を示すコンテンツをコンテンツ領域の画像に対応するコンテンツとして特定する。
特徴量照合処理の説明に先立ち、特徴量照合処理において使用される記号について説明する。撮影画像から抽出された局所特徴点をＱ、座標をＱ（ｘ'，ｙ'）とし、その局所特徴点の局所特徴量をＶｑとする。また、照合相手の電子文書の１つのコンテンツ上の局所特徴点をＳ、座標をＳ（ｘ，ｙ）とし、その局所特徴点の局所特徴量をＶｓとする。
【００４２】
Ｓ１５００において、文書検索部５０３は、ＶｑとＶｓとの局所特徴量間距離を全ての組み合わせについて計算し、最小距離対応点リストを作成する。具体的には、文書検索部５０３は、まず、ＶｑとＶｓとの全ての組み合わせについて特徴量間距離を計算する。次に、文書検索部５０３は、計算した特徴量間距離が閾値Ｔｖ以下となり、かつ、最小距離となるようなＶｑとＶｓとの組み合わせ（対応点）を抽出する。そして、文書検索部５０３は、抽出した対応点をリストに登録することで、最小距離対応点リストを作成する。ここで、ｋ番目の最小距離対応点をそれぞれＱｋ、Ｓｋと表わし、これらの座標をＱｋ（ｘ'k，ｙ'k）、Ｓｋ（ｘk，ｙk）等と、添え字を合わせて記載することとする。Ｑｋ、Ｓｋの局所特徴量をそれぞれＶｑ（ｋ）、Ｖｓ（ｋ）と記載する。
なお、１つの局所特徴点に対応付けられる局所特徴量は２つ以上あってもよいが、ここでは簡単のため、１つの局所特徴点に対応付けられる局所特徴量が１つだけの場合について説明する。また、最小距離対応点リストに登録されている対応点の組の数をｍとする。
【００４３】
Ｓ１５００の処理の後、Ｓ１５０１において、文書検索部５０３は、ｍが３以上か否かを確認する。文書検索部５０３は、ｍが３未満の場合は（Ｓ１５０１でＮｏ）、類似度を算出できないとして、特徴量照合処理を終了する。文書検索部５０３は、ｍが３以上の場合には（Ｓ１５０１でＹｅｓ）、処理をＳ１５０３へ進める。Ｓ１５０３において、文書検索部５０３は、最終投票数を表す変数ＶｏｔｅＭａｘを０に初期化する。次に、Ｓ１５０４において、文書検索部５０３は、類似度算出処理の反復カウント数を表す変数Ｃｏｕｎｔを０に初期化する。
次に、Ｓ１５０５において、文書検索部５０３は、反復カウント数Ｃｏｕｎｔと予め定められた最大反復処理回数Ｒｎとを比較する。文書検索部５０３は、反復カウント数Ｃｏｕｎｔが最大反復処理回数Ｒｎ以上の場合には（Ｓ１５０５でＮｏ）、処理をＳ１５０６へ進める。Ｓ１５０６において、文書検索部５０３は、最終投票数ＶｏｔｅＭａｘ及び回転角度を出力し、特徴量照合処理を終了する。
【００４４】
文書検索部５０３は、反復カウント数Ｃｏｕｎｔが最大反復処理回数Ｒｎ未満の場合は（Ｓ１５０５でＹｅｓ）、処理をＳ１５０７へ進める。Ｓ１５０７において、文書検索部５０３は、投票数を表す変数Ｖｏｔｅを０に初期化する。次に、Ｓ１５０８において、文書検索部５０３は、最小距離対応点リストから対応点の組の座標をランダムに２組抽出する。ここで、抽出した２組の座標をＱ１（ｘ'1，ｙ'1）とＳ１（ｘ1，ｙ1）、Ｑ２（ｘ'2，ｙ'2）とＳ２（ｘ2，ｙ2）とする。
次に、Ｓ１５０９において、文書検索部５０３は、変換行列Ｍを算出する。ここで、変換行列Ｍは式（８）で示される。なお、本実施形態においては、簡略化のため相似変換だけを考えるものとする。
【数３】
2016025625.tif 000005
文書検索部５０３は、具体的には、式（８）中の変数ａ，ｂ，ｅ，ｆを求める。文書検索部５０３は、Ｑ１（ｘ'1，ｙ'1）とＳ１（ｘ1，ｙ1）、Ｑ２（ｘ'2，ｙ'2）とＳ２（ｘ2，ｙ2）を用いて、式（９）〜式（１２）により、変数ａ，ｂ，ｅ，ｆを求める。
【数４】
2016025625.tif 000006
【００４５】
次に、Ｓ１５１０において、文書検索部５０３は、Ｓ１５０８において選択された２組の点以外の点を選択すべく、対応点選択変数ｋを３に初期化する。次に、Ｓ１５１１において、文書検索部５０３は、対応点選択変数ｋが最短距離対応点リストに登録されている対応点の組の数ｍ以下か否かを確認する。文書検索部５０３は、ｋがｍ以下の場合には（Ｓ１５１１でＹｅｓ）、処理をＳ１５１２へ進める。文書検索部５０３は、ｋがｍよりも大きい場合には（Ｓ１５１１でＮｏ）、処理をＳ１５１７へ進める。
Ｓ１５１２において、文書検索部５０３は、最小距離対応点リストから新たな対応点の組を１組抽出する。ここで抽出した座標をＳｋ（ｘk，ｙk）、Ｑｋ（ｘ'k，ｙ'k）とする。次に、Ｓ１５１３において、文書検索部５０３は、Ｓ１５１２において抽出された座標Ｓｋ（ｘk，ｙk）が式（８）により移される先の座標Ｓｋ（ｘ'k，ｙ'k）を求める。
【００４６】
次に、Ｓ１５１４において、文書検索部５０３は、座標Ｓｋ（ｘ'k，ｙ'k）と座標Ｑｋ（ｘ'k，ｙ'k）の間の幾何学的距離としてユークリッド距離Ｄを計算し、ユークリッド距離Ｄと閾値Ｔｄとを比較する。文書検索部５０３は、ユークリッド距離Ｄが閾値Ｔｄ以下の場合には（Ｓ１５１４でＹｅｓ）、処理をＳ１５１５へ進める。
Ｓ１５１５において、文書検索部５０３は、投票数Ｖｏｔｅをインクリメントし、処理をＳ１５１６へ進める。なお、文書検索部５０３は、ユークリッド距離Ｄが閾値Ｔｄよりも大きい場合には（Ｓ１５１４でＮｏ）、Ｓ１５１５の処理を行うことなく、処理をＳ１５１６へ進める。Ｓ１５１６において、文書検索部５０３は、対応点選択変数ｋをインクリメントする。その後、処理をＳ１５１１へ進める。そして、対応点選択変数ｋが当該最短距離対応点リストに登録されている対応点の組数ｍを超えるまで、上述の処理を繰り返す。
【００４７】
次に、Ｓ１５１１において、対応点選択変数ｋが対応点リストに登録されている対応点の組数ｍを超えた場合の処理について説明する。Ｓ１５１７において、文書検索部５０３は、投票数Ｖｏｔｅの値と最終投票数ＶｏｔｅＭａｘの値とを比較する。文書検索部５０３は、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値よりも大きい場合には（Ｓ１５１７でＹｅｓ）、処理をＳ１５１８へ進める。文書検索部５０３は、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値以下の場合には（Ｓ１５１７でＮｏ）、処理をＳ１５１９へ進める。
Ｓ１５１８において、文書検索部５０３は、最終投票数ＶｏｔｅＭａｘの値を投票数Ｖｏｔｅの値で置き換えるとともに、その時の変換行列Ｍを変数Ｍｍａｘに保存する。その後、Ｓ１５１９において、文書検索部５０３は、反復カウント数Ｃｏｕｎｔをインクリメントし、上述のＳ１５０５へ処理を進める。
【００４８】
なお、Ｓ１５０９において、式（８）に示す変換行列以外の変換行列を用いることにより、アフィン変換等その他の幾何学変換に対応可能である。アフィン変換の場合には、Ｓ１５０８においてランダムに選択する対応点の組の座標数を３とする。また、Ｓ１５０９において式（８）に替えて、式（１３）を用いることとし、Ｓ１５０８において選択した３組の対応点（合計６点）を使って変数ａ〜ｆを求めればよい。
【数５】
2016025625.tif 000007
【００４９】
以上の処理により、文書検索部５０３は、最終投票数ＶｏｔｅＭａｘを類似度として算出することができる（類似度算出処理）。そして、文書検索部５０３は、算出された類似度が予め定められた閾値よりも大きく、類似度が一番高くなるコンテンツを処理対象のコンテンツ領域に対応するコンテンツとして特定することができる。
なお、本実施形態においては、Ｓ１５０６において、最終投票数ＶｏｔｅＭａｘを類似度として出力することとしたが、類似度の算出方法は、実施形態に限定されるものではない。他の例としては、文書検索部５０３は、Ｓ１５０３以降の処理を行うことなく、対応点の組数ｍを類似度として出力してもよい。
また、上記説明では、局所特徴点／局所特徴量の比較に基づく画像の照合方法としてＲＡＮＳＡＣを利用した方法を説明した。しかしながら、特徴量照合処理は、２つの画像間の類似度が算出でき、類似度算出の過程において処理負荷の低い方法で回転角度を推定できる方法があれば、他の方法であってもよい。
【００５０】
以上のように、本実施形態に係るＡＲ処理システムは、撮影画像から得られたコンテンツと、特徴量テーブル６００に登録されているコンテンツとの単なる比較ではなく、周囲のコンテンツとの位置関係を考慮してコンテンツを特定する。したがって、ＡＲ処理システムは、より精度よくコンテンツの特定を行うことができ、これにより、ユーザが閲覧中のコンテンツに対応付けられた関連情報を精度よく提示することができる。
また、ＡＲ処理システムは、撮影時の撮影方向の変化等から、各フレーム間の位置関係を特定し、これに基づいてコンテンツ間の位置関係を特定する。したがって、ＡＲ処理システムは、１つの紙文書に配置された複数のコンテンツが１フレームに収まりきらない場合においても、精度よく各コンテンツの位置関係を特定することができる。
【００５１】
第１の実施形態に係るＡＲ処理システムの第１の変更例としては、撮影画像中のすべてのフレームを処理対象とする必要はない。例えば、所定間隔毎のフレームを処理対象とし、このフレームに対して、図７に示す位置関連情報の生成（Ｓ７０２）、撮影画像等の送信（Ｓ７０３）、画像解析（Ｓ７０４）を行い、これらの結果に基づいて、Ｓ７０５以降の処理を行ってもよい。これにより、処理回数を削減することができ、処理負担を軽減することができる。
また、撮影画像は静止画であってもよい。この場合には、ＡＲ処理システムは、連続撮影又は異なるタイミングで撮影された撮影画像を処理対象としてもよい。具体的には、ＡＲ処理システムは、Ｓ７０２において、位置関連情報を生成し、さらに撮影画像が得られたタイミングも特定する。そして、撮影画像としての静止画に対し、Ｓ７０３以降の処理を行ってもよい。
また、第２の変更例としては、図７に示すＳ７０４〜Ｓ７０６の処理は、管理サーバ装置１１０に替えて、携帯端末１００が行ってもよい。また、他の例としては、管理サーバ装置１１０は、複数の装置で構成されており、Ｓ７０４〜Ｓ７０６の処理を複数の装置が分担して実行してもよい。
【００５２】
（第２の実施形態）
次に、第２の実施形態に係るＡＲ処理システムについて説明する。第１の実施形態に係るＡＲ処理システムは、撮影画像から対応する電子文書を特定できなかった場合には、後続のフレームが入力されるのを待ち、後続のフレームから得られた情報に基づいて再度電子文書の特定を試みる。
これに対し、第２の実施形態に係るＡＲ処理システムは、撮影画像から対応する電子文書を特定できなかった場合には、特定するために必要な画像を撮影するための支援情報を携帯端末１００の表示装置１０１に表示する。以下、第２の実施形態に係るＡＲ処理システムの具体的な処理のうち、第１の実施形態に係るＡＲ処理システムの処理と異なる部分について説明する。
【００５３】
図１６は、管理サーバ装置１１０による、支援情報送信処理を示すフローチャートである。管理サーバ装置１１０は、図７を参照しつつ説明したＡＲ処理のＳ７０６においてＮｏと判断された場合に、処理をＳ７０３へ進めるのに替えて、支援情報送信処理を実行する。Ｓ１６０１において、管理サーバ装置１１０の文書検索部５０３は、電子文書検索処理（Ｓ７０５）において、位置情報を満たす電子文書の候補が複数得られたか否かを確認する。文書検索部５０３は、電子文書の候補が複数得られた場合には（Ｓ１６０１でＹｅｓ）、処理をＳ１６０３へ進める。文書検索部５０３は、位置情報を満たす電子文書の候補が得られなかった場合には（Ｓ１６０１でＮｏ）、処理をＳ１６０２へ進める。
Ｓ１６０２において、通信部５００は、は、関連情報がない旨を示す提示情報を携帯端末１００に送信する。これに対応し、携帯端末１００の通信部４００は、提示情報を受信する。そして、携帯端末１００の表示部４０４は、表示装置１０１に提示情報を表示する。これにより、携帯端末１００のユーザは、閲覧中の紙文書に対する関連情報が存在しないと把握することができる。
【００５４】
Ｓ１６０３において、文書検索部５０３は、特徴量テーブル６００を参照し、複数の候補に対応付けられているコンテンツの中から、撮影画像に対応する１つの電子文書に絞り込むために必要なコンテンツを特定する（コンテンツ特定処理）。ここで、複数の候補は、電子文書検索処理（Ｓ７０５）において得られたものである。
次に、Ｓ１６０４において、文書検索部５０３は、Ｓ１６０３において特定したコンテンツに基づいて、支援情報を作成する（支援情報作成処理）。具体的には、文書検索部５０３は、特定したコンテンツが撮影されるように、携帯端末１００の撮影部３００による撮影方向を変更するための指示を支援情報として作成する。
次に、Ｓ１６０５において、通信部５００は、支援情報を携帯端末１００に送信し、その後、処理をＳ７０４（図７）へ進める。これに対応し、携帯端末１００の通信部４００は、支援情報を受信する。そして、携帯端末１００の表示部４０４は、表示装置１０１に支援情報を表示する（支援情報表示処理）。これにより、携帯端末１００のユーザは、撮影方向を変更することにより関連情報を見ることができる、ということを把握することができる。
【００５５】
図１７を参照しつつ、支援情報送信処理を具体的に説明する。前提として、図１７（ａ）に示すように、特徴量テーブル１７００には、文書ＩＤ「０１１」，「０１２」の電子文書が登録されているものとする。また、ＡＲ処理において、３つのコンテンツ領域が抽出され、図１７（ｂ）に示すように、撮影画像テーブル１７１０には、３つのコンテンツ領域に対応するレコードが記録されているものとする。
図１７に示すように、領域ＩＤ「ａ０１１」のコンテンツ領域の特徴量は、文書ＩＤ「０１１」のコンテンツＩＤ「Ａ」のコンテンツの特徴量と一致するものとする。また、図１７に示すように、領域ＩＤ「ａ０１２」のコンテンツ領域の特徴量は、文書ＩＤ「０１２」のコンテンツＩＤ「Ｃ」のコンテンツの特徴量と一致するものとする。この場合、文書検索部５０３は、文書ＩＤ「０１１」,「０１２」により識別される２つの電子文書が候補として特定され、撮影画像がいずれの候補に対応するのか特定することができない。
【００５６】
したがって、Ｓ１６０３において、文書検索部５０３は、電子文書の候補に対応付けられているコンテンツのうち、撮影画像テーブル１０００に記録されているコンテンツ領域と一致するコンテンツとの位置関係が登録されたコンテンツを特定する。すなわち、このとき特定されるコンテンツは、コンテンツ領域と一致するコンテンツ以外のコンテンツである。図１７の例においては、文書検索部５０３は、文書ＩＤ「０１１」のコンテンツＩＤ「Ｄ」のコンテンツと、文書ＩＤ「０１２」のコンテンツＩＤ「Ｅ」のコンテンツを特定する。
【００５７】
そして、Ｓ１６０４において、文書検索部５０３は、Ｓ１６０３において特定されたコンテンツＩＤ「Ｄ」，「Ｅ」のコンテンツそれぞれを撮影するための撮影方向を決定する。例えば、Ｓ１６０４の処理時点において携帯端末１００の表示装置１０１に表示されているフレームに、領域ＩＤ「ａ０１３」のコンテンツ領域が表示されているとする。この場合、文書検索部５０３は、撮影方向をより下又は左上に向けることを指示する支援情報を作成する。これにより、コンテンツＩＤ「Ｅ」のコンテンツを表示するコンテンツ領域が撮影されれば、撮影画像に対応する電子文書は、文書ＩＤ「０１２」の文書であるということがわかる。また、コンテンツＩＤ「Ｄ」のコンテンツを表示するコンテンツ領域が撮影されれば、撮影画像に対応する電子文書は、文書ＩＤ「０１１」の文書であるということがわかる。
【００５８】
図１８は、支援情報の表示例を示す図である。このように、携帯端末１００の表示部４０４は、支援情報から撮影方向を示す矢印画像１８００を作成し、これを表示装置１０１に表示する。なお、支援情報の出力形態は実施形態に限定されるものではない。他の例としては、表示装置１０１は、テキスト形式で支援情報を表示してもよい。また、他の例としては、携帯端末１００がスピーカ（不図示）を備える場合には、支援情報を音声として出力してもよい。
なお、第２の実施形態にかかるＡＲ処理システムのこれ以外の構成及び処理は、第１の実施形態にかかるＡＲ処理システムの構成及び処理と同様である。
以上のように、第２の実施形態に係るＡＲ処理システムにおいては、撮影画像に対応する電子文書を一意に特定できない場合に、ユーザに対し必要な操作を求めることにより、より早く、また確実に電子文書を特定し、適切な関連情報を提示することができる。
【００５９】
＜その他の実施形態＞
また、本発明の目的は、以下のようにすることによって達成されることは言うまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。
そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、ソフトウェアのプログラムコードは、ネットワークを介して、そのシステムあるいは装置に供給されてもよい。
【００６０】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００６２】
以上、上述した各実施形態によれば、撮影画像の被写体を精度よく特定することができる。
【００６３】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００６４】
１００  携帯端末
１０１  表示装置
１１０  管理サーバ装置
３００  撮影部
３０１  加速度センサ
３０２  ＣＰＵ
【図１】
2016025625.tif 000008
【図２】
2016025625.tif 000009
【図３】
2016025625.tif 000010
【図４】
2016025625.tif 000011
【図５】
2016025625.tif 000012
【図６】
2016025625.tif 000013
【図７】
2016025625.tif 000014
【図８】
2016025625.tif 000015
【図９】
2016025625.tif 000016
【図１０】
2016025625.tif 000017
【図１１】
2016025625.tif 000018
【図１２】
2016025625.tif 000019
【図１３】
2016025625.tif 000020
【図１４】
2016025625.tif 000021
【図１５】
2016025625.tif 000022
【図１６】
2016025625.tif 000023
【図１７】
2016025625.tif 000024
【図１８】
2016025625.tif 000025