(57)【要約】【課題】  レイアウトが動的に生成される場合であっても、レイアウト結果の予測が外れて、関連情報を特定できないということが生じない技術を提供する。【解決手段】  撮像映像にＡＲコンテンツを重畳して表示する情報表示装置であって、前記撮像映像中の第１のレイアウト単位から第１の特徴量を抽出し、前記撮像映像中の第２のレイアウト単位から第２の特徴量を抽出する抽出手段と、前記第１の特徴量および第２の特徴量を１つの特徴量群として送信し、かつ前記特徴量群に対応付けられているＡＲコンテンツを受信することによって前記特徴量群に対応付けられているＡＲコンテンツを特定する特定手段と、前記撮像映像に、前記特定手段によって特定されたＡＲコンテンツを重畳して表示させる表示手段と、を備える。【選択図】  図３
2014236303.tif 000002
【特許請求の範囲】
【請求項１】
撮像映像にＡＲコンテンツを重畳して表示する情報表示装置であって、
前記撮像映像中の第１のレイアウト単位から第１の特徴量を抽出し、前記撮像映像中の第２のレイアウト単位から第２の特徴量を抽出する抽出手段と、
前記第１の特徴量および第２の特徴量を１つの特徴量群として送信し、かつ前記特徴量群に対応付けられているＡＲコンテンツを受信することによって前記特徴量群に対応付けられているＡＲコンテンツを特定する特定手段と、
前記撮像映像に、前記特定手段によって特定されたＡＲコンテンツを重畳して表示させる表示手段と、
を備えることを特徴とする情報表示装置。
【請求項２】
１つ以上のコンテンツを組み合わせてなる第１のレイアウト単位および１つ以上のコンテンツを組み合わせてなる第２のレイアウト単位を決定する決定手段と、
前記第１のレイアウト単位から第１の特徴量を抽出し、前記第２のレイアウト単位から第２の特徴量を抽出する抽出手段と、
抽出された前記第１の特徴量および前記第２の特徴量を１つの特徴量群として１つのＡＲコンテンツと対応付けて管理するＡＲコンテンツ管理手段と、
を備え、
前記ＡＲコンテンツ管理手段は、前記特徴量群を受信した場合に当該特徴量群に対応付けて記憶されているＡＲコンテンツを検索し、検索されたＡＲコンテンツを返信することを特徴とする情報処理装置。
【請求項３】
前記レイアウト単位決定手段は、
ＡＲコンテンツの形状と、レイアウト単位の候補の形状又はレイアウト単位の候補の組み合わせの形状とを比較し、
前記ＡＲコンテンツの形状と前記レイアウト単位の候補の形状との類似度又は前記ＡＲコンテンツの形状と前記レイアウト単位の候補の組み合わせの形状との類似度によって、当該ＡＲコンテンツに対応付けるレイアウト単位を決定することを特徴とする請求項２記載の情報処理装置。
【請求項４】
前記レイアウト単位決定手段は、レイアウト単位の候補から抽出される特徴量の精度によって、当該レイアウト単位の候補をきレイアウト単位として登録するかを決定することを特徴とする請求項１記載の情報処理装置。
【請求項５】
撮像映像にＡＲコンテンツを重畳して表示する情報表示装置とネットワークを介して接続された情報処理装置とから構成される情報処理システムであって、
前記情報表示装置は、
前記撮像映像中の複数のレイアウト単位から複数の特徴量を抽出する抽出手段と、
前記情報処理装置に、前記複数の特徴量を１つの特徴量群として送信する送信手段と、
前記情報処理装置から、前記特徴量群に対応付けられているＡＲコンテンツを受信する受信手段と、
前記撮像映像に、前記ＡＲコンテンツを重畳して表示させる表示手段と、を備え
前記情報処理装置は、
前記情報表示装置から、前記特徴量群を受信する受信手段と、
前記情報表示装置に、前記特徴量群に対応付けられているＡＲコンテンツを送信する送信手段と、
を備えることを特徴とする情報処理システム。
【請求項６】
撮像映像にＡＲコンテンツを重畳して表示する情報表示装置の制御方法であって、
抽出手段が、前記撮像映像中の第１のレイアウト単位から第１の特徴量を抽出し、前記撮像映像中の第２のレイアウト単位から第２の特徴量を抽出する抽出工程と、
特定手段が、前記第１の特徴量および第２の特徴量を含む特徴量群に対応付けられているＡＲコンテンツを特定する特定工程と、
表示手段が、前記撮像映像に、前記特定手段によって特定されたＡＲコンテンツを重畳して表示させる表示工程と、を含むことを特徴とする情報表示装置の制御方法。
【請求項７】
決定手段が、１つ以上のコンテンツを組み合わせてなる第１のレイアウト単位および１つ以上のコンテンツを組み合わせてなる第２のレイアウト単位を決定する決定工程と、
抽出手段が、前記第１のレイアウト単位から第１の特徴量を抽出し、前記第２のレイアウト単位から第２の特徴量を抽出する抽出工程と、
ＡＲコンテンツ管理手段が、抽出された前記第１の特徴量および前記第２の特徴量を１つの特徴量群として１つのＡＲコンテンツと対応付けて管理するＡＲコンテンツ管理工程と、を含み、
前記ＡＲコンテンツ管理手段は、特徴量群を受信した場合に当該特徴量群に対応付けて記憶されているＡＲコンテンツを検索し、検索されたＡＲコンテンツを返信することを特徴とする情報処理装置の制御方法。
【請求項８】
撮像映像にＡＲコンテンツを重畳して表示する情報表示装置とネットワークを介して接続された情報処理装置とから構成される情報処理システムの制御方法であって、
前記情報表示装置が、
前記撮像映像中の複数のレイアウト単位から複数の特徴量を抽出する抽出工程と、
前記情報処理装置に、前記複数の特徴量を１つの特徴量群として送信する送信工程と、
前記情報処理装置から、前記特徴量群に対応付けられているＡＲコンテンツを受信する受信工程と、
前記撮像映像に、前記ＡＲコンテンツを重畳して表示させる表示工程と、を含み
前記情報処理装置が、
前記情報表示装置から、前記特徴量群を受信する受信工程と、
前記情報表示装置に、前記特徴量群に対応付けられているＡＲコンテンツを送信する送信工程と、
を含むことを特徴とする情報処理システムの制御方法。
【請求項９】
請求項６に記載の情報表示装置の制御方法における各工程をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項７に記載の情報処理装置の制御方法における各工程をコンピュータに実行させるためのプログラム。
【請求項１１】
請求項８に記載の情報処理システムの制御方法における各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報表示装置、情報処理装置、情報処理システム、その制御方法およびプログラムに関するものである。
【背景技術】
【０００２】
タブレット端末やスマートフォン（以下、タブレット端末およびスマートフォンを併せて、「スマート端末」とも記載する）のカメラを用いて撮像した被写体に関連する情報を検索し、検索された関連情報をスマート端末の画面に表示する技術が知られている。たとえば、Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（以下、「ＡＲ」とも記載する）と呼ばれる拡張現実技術では、カメラで撮像された被写体に関連する情報を特定し、特定された関連情報を、カメラで撮像された被写体が表示される画面に重畳表示する。
さらに、当該技術における被写体を紙文書に限定し、紙文書を撮像すると、撮像された紙文書が表示される画面に関連情報（以下、「ＡＲコンテンツ」とも記載する）が重畳表示されるサービスも展開されている。動画等のコンテンツを紙面上で表現（再生）することはできないが、紙文書に印刷されている静止画の関連情報として動画を特定し、当該動画をスマート端末の画面において静止画に重畳表示することが可能になる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３４９９４０
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述した技術では、紙文書と重畳表示する関連情報を予め対応付けておく必要がある。関連情報の対応付けは、紙文書などのレイアウトに依存した特徴量を用いて行う。したがって、紙文書などのレイアウトが複数存在する場合、レイアウト毎に特徴量を抽出して、対応付けの処理を行う必要がある。
一方、印刷機器などの出力機器の種類の増加に従って、出力されるレイアウトの表示サイズや形状は多様になってきている。従来のレイアウト処理では、出力機器の特性（サイズ・形状）に応じて、レイアウトを予め生成することが一般的であった。しかし、出力機器の多様化に従って増加するレイアウト処理の負荷を軽減するため、複数のレイアウトを予め生成せず、出力する際に出力機器の特性（サイズ・形状）に応じて、レイアウトを動的に生成する技術が知られている。
レイアウトを動的に生成する技術において、ＡＲシステムを構築する場合、動的に生成されるレイアウト結果を予測し、複数のレイアウト結果に対して関連情報を対応付けておく必要がある。したがって、複数のレイアウト結果を予測する処理および複数のレイアウト結果に対して関連情報を対応付けておく処理の負荷が高くなるという問題が生じる。また、レイアウト結果の予測が外れて、生成されたレイアウト結果が予測された複数のレイアウト結果のいずれにも該当しなかった場合、関連情報を特定することができなくなってしまうという問題が起きる。
【課題を解決するための手段】
【０００５】
上述の目的を達成するための一手段として、本発明の情報表示装置は以下の構成を備える。
すなわち、撮像映像にＡＲコンテンツを重畳して表示する情報表示装置であって、前記撮像映像中の第１のレイアウト単位から第１の特徴量を抽出し、前記撮像映像中の第２のレイアウト単位から第２の特徴量を抽出する抽出手段と、前記第１の特徴量および第２の特徴量を１つの特徴量群として送信し、かつ前記特徴量群に対応付けられているＡＲコンテンツを受信することによって前記特徴量群に対応付けられているＡＲコンテンツを特定する特定手段と、前記撮像映像に、前記特定手段によって特定されたＡＲコンテンツを重畳して表示させる表示手段と、を備えることを特徴とする。
【０００６】
また、本発明の情報処理装置は、１つ以上のコンテンツを組み合わせてなる第１のレイアウト単位および１つ以上のコンテンツを組み合わせてなる第２のレイアウト単位を決定する決定手段と、前記第１のレイアウト単位から第１の特徴量を抽出し、前記第２のレイアウト単位から第２の特徴量を抽出する抽出手段と、抽出された前記第１の特徴量および前記第２の特徴量を１つの特徴量群として１つのＡＲコンテンツと対応付けて管理するＡＲコンテンツ管理手段と、を備え、
前記ＡＲコンテンツ管理手段は、前記特徴量群を受信した場合に当該特徴量群に対応付けて記憶されているＡＲコンテンツを検索し、検索されたＡＲコンテンツを返信することを特徴とする。
【０００７】
また、本発明の情報処理システムは、撮像映像にＡＲコンテンツを重畳して表示する情報表示装置とネットワークを介して接続された情報処理装置とから構成される情報処理システムであって、
前記情報表示装置は、前記撮像映像中の複数のレイアウト単位から複数の特徴量を抽出する抽出手段と、前記情報処理装置に、前記複数の特徴量を１つの特徴量群として送信する送信手段と、前記情報処理装置から、前記特徴量群に対応付けられているＡＲコンテンツを受信する受信手段と、前記撮像映像に、前記ＡＲコンテンツを重畳して表示させる表示手段と、を備え
前記情報処理装置は、前記情報表示装置から、前記特徴量群を受信する受信手段と、前記情報表示装置に、前記特徴量群に対応付けられているＡＲコンテンツを送信する送信手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数のレイアウトを生成する場合も各レイアウトに対するＡＲコンテンツの対応付け処理を実施する必要がなくなるため、ＡＲコンテンツの対応付け処理が容易になるという効果がある。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態におけるＡＲ処理の概念図である。
【図２】本発明の実施形態におけるハードウェア構成の一例を示すブロック図である。
【図３】本発明の実施形態におけるＡＲ処理システムの構成を示すブロック図である。
【図４】本発明の実施形態におけるＡＲ処理全体の流れを示すフローチャートである。
【図５】本発明の実施形態におけるオーサリング処理の流れを示すフローチャートである。
【図６】本発明の実施形態におけるレイアウト単位の例である。
【図７】本発明の実施形態における特徴量抽出処理の流れを示すフローチャートである。
【図８】本発明の実施形態における縮小画像の一例である。
【図９】本発明の実施形態におけるＡＲコンテンツ管理テーブルの一例である。
【図１０】本発明の実施形態におけるレイアウト処理の流れを示すフローチャートである。
【図１１】本発明の実施形態におけるレイアウトテンプレートテーブルの一例である。
【図１２】本発明の実施形態におけるＡＲ表示処理の流れを示すフローチャートである。
【図１３】本発明の実施形態における特徴量照合処理の流れを示すフローチャートである。
【図１４】本発明の実施形態におけるレイアウト単位決定処理の流れを示すフローチャートである。
【図１５】本発明の実施形態におけるレイアウト単位決定処理の流れを示すフローチャートである。
【図１６】本発明の実施形態におけるレイアウト単位決定処理の一例である。
【発明を実施するための形態】
【００１０】
以下、本発明の好適な実施形態について添付の図面を参照して詳細に説明する。
＜第１の実施形態＞
はじめに、本実施形態における処理概要を説明する。本実施形態では、前述したＡＲ処理を紙文書に適用し、紙文書内のコンテンツに関連する電子データを、スマート端末などの情報表示装置の画面に表示されている紙文書上に重畳表示するシステムである。以降、本システムのことを単にＡＲ処理システムと記載する。
当該ＡＲ処理システムでは、スマート端末により紙文書を撮像すると、撮像映像中の紙文書と関連する電子データを特定し、特定結果をスマート端末などの情報表示装置の画面に表示されている紙文書上に重畳表示する。
【００１１】
図１は、本ＡＲ処理システムの概念図である。ＡＲコンテンツを含む文書のコンテンツは、レイアウトデータとして管理され、レイアウトＤＢ１０１に記憶されている。レイアウトデータは、出力機器に出力される際に出力機器の特性（形状やサイズ）に応じて自動レイアウト処理が実施され、文書として出力される。たとえば、第１の出力機器１０２における出力文書は第１の紙文書１０４のように自動レイアウト処理により縦長で出力され、第２の出力機器１０３における出力文書は第２の紙文書１０５のように自動レイアウト処理により横長で出力される。
【００１２】
出力された紙文書１０４、１０５は、スマート端末１０６、１０７により撮像され、ネットワーク上に保持されるＡＲコンテンツＤＢ１０８から紙文書１０４、１０５に関連するＡＲコンテンツが特定される。そして、特定されたＡＲコンテンツが、スマート端末１０４、１０５の画面に、撮像映像中の紙文書１０４、１０５と重畳されて表示される。
出力文書１０４、１０５は、出力機器１０２、１０３の特性が異なっているため、文書自体の形状が異なる。たとえば、第１の紙文書１０４は紙の形状が縦長であり、第２の紙文書１０５は紙の形状が横長になっている。したがって、文書に含まれるコンテンツのレイアウトも異なるが、同一のＡＲコンテンツＤＢ１０８を参照し、各文書に対応するＡＲコンテンツを特定することができる。
以降、当該発明について図２〜図１３を用いて詳細に説明する。
【００１３】
図２は、本発明の実施形態における情報処理システム（以下、「ＡＲ処理システム」とも記載する）に含まれる各ハードウェア構成の一例である。
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０２は、各種処理のための演算や論理判断などを行い、バス２０１に接続された各種要素を制御する。
本ＡＲ処理システムは、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。このメモリはＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０３であってもよいし、外部記憶装置などからプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０４であってもよい。あるいは、これらの組合せで実現しても構わない。
【００１４】
記憶装置２０５は本実施形態に係るデータやプログラムを記憶しておくためのハードディスクなどの装置である。また、本実施形態では、写真や文書等を保持しておくためにも利用される。なお、写真や文書等を保持しておく装置としては、外部接続やネットワークに接続された不図示のデータ保持装置を用いてもよい。
ここで、外部記憶装置２０６は、たとえば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、たとえば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。
【００１５】
入力装置２０７はユーザからの指示を入力するための装置である。ユーザは入力装置２０７を介して、当該ＡＲ処理システムに指示を行う。入力装置２０７は、たとえば、キーボードやポインティングデバイスにより実現することができる。
出力装置２０８は処理結果等を表示出力する表示手段としての装置である。出力装置２０８は、たとえば、出力のための回路を含むＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ  Ｔｕｂｅ）や液晶表示器などのディスプレイ装置により実現することができる。本実施形態においては、写真や文書等を出力装置２０８に表示する。
インタフェース（以下、「Ｉ／Ｆ」とも記載する）２０９は、情報の仲介を行う装置であり、このＩ／Ｆ２０９を介して外部装置とのデータのやり取りを行う。
スマート端末は、紙文書などを撮像するための撮像装置２１０を備える。
【００１６】
図３は、本発明の実施形態におけるＡＲ処理システムの構成を示すブロック図である。該システムは、オーサリング処理装置３０１、ＡＲ管理装置３０２、レイアウト処理装置３０３、ＡＲ端末装置３０４から構成される。各装置は、図２にて説明したハードウェア構成を持つ。
オーサリング処理装置３０１は、ＡＲコンテンツの表示対象を含む文書のオーサリングを行う装置である。オーサリング処理装置３０１は、ユーザの指示によりレイアウトの変更不可能なコンテンツ群の単位を決定するレイアウト単位決定部３０５と、決定されたレイアウト単位から特徴量を抽出する特徴量抽出部３０６から構成される。レイアウト単位決定部３０５および特徴量抽出部３０６により取得された情報は、後述するＡＲ管理装置３０２に登録される。
レイアウト単位とは、レイアウト単位に含まれる各コンテンツの配置およびサイズをレイアウト処理時に変更不可能な単位である。レイアウト単位は、複数のコンテンツを組み合わせて作成される。レイアウト単位内のレイアウトは、レイアウト処理により変更されないという特徴を持つ。特徴量の抽出方法の詳細については後述する。
【００１７】
ＡＲ管理装置３０２は、ＡＲコンテンツとレイアウト単位を管理する装置である。ＡＲ管理装置３０２は、レイアウト単位を管理するレイアウト単位管理部３０７と、ＡＲコンテンツと対応する特徴量を管理するＡＲコンテンツ管理部３０８から構成される。
レイアウト単位管理部３０７で管理される情報は、レイアウト単位決定部３０５にて決定された情報であり、後述するレイアウト処理装置３０３により使用される。
ＡＲコンテンツ管理部３０８は、特徴量抽出部３０６により抽出された特徴量群と該特徴量群に対応するＡＲコンテンツを管理する。該情報は、後述するＡＲ端末装置３０４におけるコンテンツ特定部３１１によって、ＡＲ端末装置３０４で表示すべきＡＲコンテンツを特定する際に用いられる。なお、レイアウト単位管理部３０７およびＡＲコンテンツ管理部３０８において管理される情報は、図２における記憶装置２０５もしくは外部記憶装置２０６にて管理される。
受信部３１４は特徴量群をＡＲ端末装置３０４から受信し、送信部３１５は特徴量群によって特定されるＡＲコンテンツをＡＲ端末装置３０４に返信する。
【００１８】
レイアウト処理装置３０３は、レイアウト単位管理部３０７にて管理されるレイアウト単位を用いて、レイアウト処理を実施する装置である。レイアウト処理装置３０３は、レイアウト処理を実施するレイアウト処理部３０９から構成される。レイアウト処理部３０９は、出力機器の特性（サイズ・形状）に応じて、レイアウト単位毎の出力サイズと位置を決定する。レイアウト処理は、既存のレイアウト処理技術を用いて実現することができる。レイアウト処理の詳細は後述する。レイアウト処理装置３０３は、例えば複合機（ＭＦＰ：Ｍｕｌｔｉｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）などの出力機器である。
【００１９】
ＡＲ端末装置３０４は、撮像文書のＡＲコンテンツを特定し、ＡＲコンテンツを重畳表示する装置である。ＡＲ端末装置３０４は、撮像文書から特徴量を抽出する特徴量抽出部３１０と抽出された特徴量を用いてＡＲコンテンツを特定するコンテンツ特定部３１１から構成される。ＡＲ端末装置３０４は、例えばスマート端末である。
特徴量抽出部３１０による特徴量抽出処理は、オーサリング処理装置３０１に含まれる特徴量抽出部３０６と同様の処理を実施するものであり、既存の特徴量抽出技術を用いることができる。特徴量抽出処理の詳細は後述する。
コンテンツ特定部３１１は、特徴量抽出部３１０により抽出された特徴量を用いて、ＡＲ管理装置３０２におけるＡＲコンテンツ管理部３０８に問い合わせることで、ＡＲコンテンツを特定する。ＡＲコンテンツ特定処理の詳細は後述する。
送信部３１２は特徴量群をＡＲ管理装置３０２に送信し、受信部３１３は特徴量群によって特定されるＡＲコンテンツをＡＲ管理装置３０２から受信する。
各処理は図２のＣＰＵ２０２によって制御されている。前述したように、当該処理群の詳細は後述する。
【００２０】
図４は、本実施形態におけるＡＲ処理システム全体の流れをフローチャートにより説明するものである。
ステップＳ４０００は、オーサリング処理であり、図３におけるオーサリング処理装置３０１により実行される。オーサリング処理では、ユーザによりレイアウト単位が決定され、決定された各レイアウト単位から特徴量が抽出される。
決定されたレイアウト単位および抽出された特徴量は、図３において説明したＡＲ管理装置３０２に登録される。オーサリング処理の詳細は、後に図５を用いて説明を行う。
【００２１】
ステップＳ４０１０は、レイアウト処理であり、図３におけるレイアウト処理装置３０３により実行される。レイアウト処理では、出力機器の特性（サイズ・形状）に応じて、ステップＳ４０００にて決定されたレイアウト単位の配置位置およびサイズを決定する。レイアウト処理は、既存のレイアウト処理技術を用いて行うことが可能である。レイアウト処理技術については、図１０を用いて後述する。
【００２２】
ステップＳ４０２０は、ＡＲ表示処理であり、図３におけるＡＲ端末装置により実行される。ＡＲ表示処理では、ステップＳ４０１０にて出力されたレイアウト結果（文書）を撮像し、当該撮像文書から特徴量を抽出する。抽出された特徴量を用いてＡＲコンテンツを特定し、ＡＲ端末装置の画面において、特定されたＡＲコンテンツを撮像文書に重畳表示する。なお、特徴量抽出処理については、ステップＳ４０００で説明した手法と同じものを使うことができる。ＡＲ表示処理については、図１２を用いて詳細を説明する。
【００２３】
［オーサリング処理］
次に、図４のステップＳ４０００にて記載したオーサリング処理について詳細を説明する。オーサリング処理では、前述したように、ユーザによりレイアウト単位を決定し、決定されたレイアウト単位毎に特徴量抽出を行う。オーサリング処理の詳細について、図５を用いて説明を行う。
【００２４】
図５は、オーサリング処理の流れをフローチャートにより説明するものである。
ステップＳ５０００は、レイアウト単位決定処理である。レイアウト単位決定処理では、ユーザが複数のコンテンツを選択し、かつ選択したコンテンツの位置関係を特定することによってレイアウト単位を決定する。決定されたレイアウト単位は、図６にて説明するレイアウト単位管理テーブルに登録される。レイアウト単位管理テーブルは、図３におけるレイアウト単位管理部３０７で管理される。レイアウト単位については、図６を用いて詳細に説明する。
【００２５】
ステップＳ５０１０は、特徴量抽出処理である。特徴量抽出処理では、ステップＳ５０００にて決定された複数のレイアウト単位毎に特徴量を抽出し、ユーザの所望するＡＲコンテンツと対応付けて図９を用いて説明するＡＲコンテンツ管理テーブルに登録される。ＡＲコンテンツ管理テーブルは、図３におけるＡＲコンテンツ管理部３０８で管理される。
特徴量抽出は、レイアウト単位をレンダリングして得た画像から、画像の特徴量を抽出することで実現する。画像の特徴量抽出処理は、既存の特徴量抽出処理技術を用いることができる。具体的な特徴量抽出処理については、図７を用いて詳細に説明する。
【００２６】
［レイアウト単位の決定］
次に、図５のステップＳ５０００に記載したレイアウト単位について詳細に説明する。
図６は、レイアウト単位の一例を示したものである。
図６（ａ）は、コンテンツの一例を示し、「観」、「光」、「案」、「内」の各文字が一つのコンテンツである。
図６（ｂ）は、コンテンツを組み合わせて作成されたレイアウト単位の一例を示し、「観光案内」という文字列が一つのレイアウト単位である。ここで作成されたレイアウト単位を用いて、レイアウト処理が実施されることになる。
【００２７】
図６（ｃ）は、レイアウト単位を用いたレイアウト処理結果の一例である。
同図に示すように、レイアウト単位内のコンテンツ間のレイアウトは変更されていない。具体的には、「観光案内」という横書きの文字列６１１からなるレイアウト単位は、縦長用紙６１０に出力された例でも、横長用紙６２０に出力されに例でも横書きの文字列のままで、縦書きの文字列となることはない。
一方、レイアウト単位間のレイアウトは変更されている。具体的には、縦長用紙６１０に出力された例では、レイアウト単位６１２とレイアウト単位６１３とは縦に並んでいるが、横長用紙６２０に出力された例では、レイアウト単位６１２とレイアウト単位６１３とは横に並んでいる。
【００２８】
図６（ｄ）はレイアウト単位とそれを構成するコンテンツとの関係を示すレイアウト単位管理テーブルの一例である。
図６（ｄ）に示すレイアウト単位管理テーブルは、レイアウト単位を一意に特定するレイアウト単位ＩＤ６０１、レイアウト単位に含まれる各コンテンツを一意に特定するコンテンツＩＤ６０２、各コンテンツの位置６０３、サイズ６０４から構成される。当該レイアウト単位管理テーブルは、図３にて説明したレイアウト単位管理部３０７で管理される。
【００２９】
［レイアウト単位毎の特徴量抽出］
次に、図５のステップＳ５０１０における特徴量抽出処理について詳細を説明する。特徴量抽出とは、画像の局所的な特徴量（以下、「局所特徴量」とも記載する）を抽出する処理である。局所特徴量は、回転不変、拡大・縮小不変という性質を持つ。当該特徴により、画像を回転又は拡大もしくは縮小させた場合であっても特徴量を使った画像の特定処理を可能にする。
局所特徴量抽出処理は、既存の局所特徴量抽出技術を用いて行うことが可能である。以下、簡単に局所特徴量抽出技術の一例を示す。
【００３０】
図７は、画像からの局所特徴量抽出処理の流れをフローチャートにより説明するものである。
入力画像の読み込みステップＳ７０００では、指定された画像を読み込む。
輝度成分画像の作成ステップＳ７０１０では、ステップＳ７０００で読み込まれた入力画像から輝度成分を抽出し、輝度成分画像を生成する。
縮小画像生成ステップＳ７０２０では、ステップＳ７０１０にて作成した輝度成分画像に対して、倍率ｐに従って順次縮小し、縮小画像をｎ枚生成する。ここで、倍率ｐ及び縮小画像の枚数ｎは予め規定されているものとする。
【００３１】
図８は、ステップＳ７０２０の縮小画像生成処理の一例を示す図である。図８では、倍率ｐを２の−（１／４）乗、縮小によって生成される縮小画像の枚数ｎを８にした場合の例を示す。ただし、この例では、倍率ｐを面積比ではなく辺の長さの比としている。
図８において、８０１はステップＳ７０１０で作成した輝度成分画像である。８０２は輝度成分画像８０１から倍率ｐに従って４回縮小された縮小画像であり、輝度成分画像８０１を１／２に縮小した画像に相当する。また、８０３は輝度成分画像８０１から倍率ｐに従って８回縮小された縮小画像であり、輝度成分画像８０１を１／４に縮小した画像に相当する。
なお、画像を縮小する方法は単純に画素を間引く方法、線形補間を用いる方法、低域フィルタ適用後にサンプリングする方法など様々あるが、本発明での縮小画像の生成方法は何れの方法でもよい。８０４はスケール番号であり、縮小画像のサイズが大きい方から順に付与される番号である。
【００３２】
ステップＳ７０３０では、ステップＳ７０１０で作成した輝度成分画像およびステップＳ７０２０で得られたｎ枚の縮小画像のそれぞれから局所的な特徴点（局所特徴点）を抽出する。ここで抽出する局所特徴点は、画像に回転や縮小などの画像処理を施しても同じ場所から安定的に抽出されるようなロバストな局所特徴点である。このような局所特徴点を抽出する方法として、Ｈａｒｒｉｓ作用素などが存在する。
具体的には、Ｈａｒｒｉｓ作用素を作用させて得られた画像の画素それぞれについて、着目画素とその周囲８近傍にある画素（合計９画素）の画素値を調べる。着目画素の画素値が予め定めた値以上であり、かつ局所極大になる（当該９画素の中で該当画素の画素値が最大になる）場合に、着目画素が位置する点を局所特徴点として抽出する。なお、ロバストな局所特徴点を抽出可能な方法であれば、上述のＨａｒｒｉｓ作用素による特徴点抽出方法に限らず、どのような特徴点抽出方法でも適用可能である。
【００３３】
次にステップＳ７０４０では、ステップＳ７０３０で得られた局所特徴点それぞれについて、画像の回転があっても不変となるように定義された特徴量（局所特徴量）を算出する。この局所特徴量の算出方法として、本実施形態では非特許文献１のＬｏｃａｌ  Ｊｅｔ及びそれらの導関数の組み合わせを用いる。
【００３４】
【非特許文献１】Ｊ．Ｊ．Ｋｏｅｎｄｅｒｉｎｋ  ａｎｄ  Ａ．Ｊ．ｖａｎ  Ｄｏｏｒｎ，  “Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｌｏｃａｌ  ｇｅｏｍｅｔｒｙ  ｉｎ  ｔｈｅ  ｖｉｓｕａｌ  ｓｙｓｔｅｍ，”  Ｒｉｏｌｏｇｉｃａｌ  Ｃｙｂｅｒｎｅｔｉｃｓ，  ｖｏｌ．５５，  ｐｐ．３６７−３７５，  １９８７
【００３５】
当該手法により、算出される局所特徴量は、拡大もしくは縮小、又は回転に対して、比較的高い耐性を持つような特性を持たせることができる。具体的には、式（１）に示す局所的な特徴量を算出する。
【００３６】
【数１】
2014236303.tif 000003
【００３７】
ただし、式（１）の右辺で用いている記号は、以下に示す式（２）から式（７）で定義される。ここで、式（２）右辺のＧ（ｘ，ｙ）はガウス関数、Ｉ（ｘ，ｙ）は画像の座標（ｘ，ｙ）における画素値であり、“＊”は畳み込み演算を表す記号である。
また、式（３）は式（２）で定義された変数Ｌのｘに関する偏導関数、式（４）は当該変数Ｌのｙに関する偏導関数である。
式（５）は式（３）で定義された変数Ｌｘのｙに関する偏導関数、式（６）は式（３）で定義されたＬｘのｘに関する偏導関数、式（７）は式（４）で定義されたＬｙのｙに関する偏導関数である。
【００３８】
【数２】
2014236303.tif 000004
なお、局所特徴量の算出方法は上述の方法に限らず他の局所特徴量の算出方法も適用可能である。
【００３９】
［ＡＲコンテンツ管理：特徴量をＡＲコンテンツと対応付け］
次に、図５のステップＳ５０１０にて記載したＡＲコンテンツ管理テーブルについて詳細に説明する。ＡＲコンテンツ管理テーブルは、ＡＲコンテンツと該ＡＲコンテンツを表示する際の条件となる特徴量とを対応付けて管理するテーブルである。
図４のステップＳ４０００オーサリング処理にて情報が登録される。その後、図４のステップＳ４０２０ＡＲ表示処理において撮像文書の特徴量を用いて対応するＡＲコンテンツが特定される。
【００４０】
図９は、ＡＲコンテンツ管理テーブルの一例である。ＡＲコンテンツ管理テーブルは、ＡＲコンテンツを一意に特定するＡＲコンテンツＩＤ９０１、ＡＲコンテンツを特定するキーになる特徴量群９０２から構成される。図５のステップＳ５０００にて決定されたレイアウト単位毎に特徴量を抽出し、抽出された特徴量群を特徴量群９０２に登録し、該特徴量群をキーとして表示したいＡＲコンテンツをＡＲコンテンツＩＤ９０１に登録する。
【００４１】
［レイアウト：レイアウト単位の配置位置とサイズを決定］
次に、図４のステップＳ４０１０にて記載したレイアウト処理について詳細を説明する。レイアウト処理では、図４のステップＳ４０００にて決定されたレイアウト単位を用いて、レイアウト処理を行う。具体的には、レイアウト単位毎に配置位置とサイズを決定する。当該処理の詳細について、図１０を用いて説明を行う。
【００４２】
図１０は、レイアウト処理の流れをフローチャートにより説明するものである。
ステップＳ１００００は、出力機器情報の取得処理である。出力機器情報の取得処理では、ユーザにより指定された出力機器の情報を取得する。具体的には、出力の形状・サイズを取得する。出力機器の情報はユーザにより指定されるものとしたが、異なる方法で取得しても良い。たとえば、出力機器の形状・サイズを取得可能なインタフェースを機器が提供し、当該インタフェースを通じて出力機器の形状・サイズを取得することも可能である。
ステップＳ１００１０は、レイアウト単位の取得処理である。レイアウト単位取得処理では、図６を用いて説明したレイアウト単位管理テーブルを参照して、レイアウト単位を取得する。
【００４３】
ステップＳ１００２０は、レイアウトテンプレート取得処理である。レイアウトテンプレート取得処理では、図１１に示すレイアウトテンプレートテーブルを参照し、レイアウト処理に用いるテンプレートを取得する。具体的には、ステップＳ１００１０で取得したレイアウト単位の数およびステップＳ１００００で取得した出力機器情報に基づいて、当該条件で使用可能なテンプレートを特定する。
ステップＳ１００３０は、ステップＳ１００２０にて取得したレイアウトテンプレートを用いて、レイアウト単位に対するレイアウト処理を実施する。具体的には、レイアウト単位毎の配置位置とサイズを決定する。レイアウト処理は、既存のレイアウト処理技術を用いることができる。たとえば、コンテンツを格納する複数の領域を規定したレイアウト用のテンプレートを使用し、コンテンツの格納領域にコンテンツを自動的に配置する技術が知られている。
【００４４】
本実施形態では、レイアウトテンプレートを用いたレイアウト処理を使用し、レイアウト単位のレイアウト処理を実施したが、異なる方法でも良い。たとえば、レイアウトテンプレートを用いず、コンテンツの配置位置を決定する技術も知られている。
以上のレイアウト処理により、出力機器に応じて、レイアウトを動的に生成することが可能になる。
【００４５】
次に、図１０におけるステップＳ１００２０にて記載したレイアウトテンプレートテーブルの詳細について説明する。レイアウトテンプレートテーブルは、複数のレイアウトテンプレートを管理するテーブルであり、レイアウト出力する出力機器およびコンテンツの数に応じたレイアウトテンプレートを管理している。
図１１は、レイアウトテンプレートテーブルの一例である。レイアウトテンプレートテーブルは、レイアウトテンプレートを一意に特定するテンプレートＩＤ１１０１、該テンプレートで使用できるレイアウト単位数を示すレイアウト単位数１１０２、該テンプレートで使用できる出力機器の形状１１０３から構成される。図１０におけるステップＳ１００２０のレイアウトテンプレート取得処理では、レイアウト単位の数および出力機器形状を用いて、使用可能なレイアウトテンプレートを特定している。たとえば、出力機器形状が４：３、レイアウト単位の数が５の場合、ＩＤ０６のテンプレートが特定される。
【００４６】
［ＡＲ表示処理：ＡＲコンテンツを特定］
次に、図４のステップＳ４０２０にて記載したＡＲ表示処理について詳細を説明する。ＡＲ表示処理では、図４のステップＳ４０１０のレイアウト処理にて出力されたレイアウトに対して、スマート端末を用いて撮像を行い、スマート端末の画面に、撮像された文書と当該撮像された文書に対応するＡＲコンテンツとを重畳表示する。当該処理の詳細について、図１２を用いて説明を行う。
【００４７】
図１２は、ＡＲ表示処理の流れをフローチャートにより説明するものである。
ステップＳ１２０００は、文書の撮像処理である。ユーザによりスマート端末が操作され、文書が撮像される。文書は、図４のステップＳ４０１０のレイアウト処理にて作成されたものである。
【００４８】
ステップＳ１２０１０は、撮像画像からの特徴量抽出処理である。特徴量抽出処理では、ステップＳ１２０００にて撮像された文書を解析し、撮像された文書を構成するレイアウト単位の画像的な特徴量群を抽出する。特徴量抽出処理は、図７を用いて説明した方法を用いる。
例えば、図６（ｃ）の縦長用紙６１０を撮像した場合、レイアウト単位である文字列６１１から特徴量「Ｆ０１−０」が、レイアウト単位６１２から特徴量「Ｆ０１−１」が、レイアウト単位６１３から特徴量「Ｆ０１−２」が抽出される。つまり、縦長用紙６１０を撮像すると、複数の特徴量「Ｆ０１−０」、「Ｆ０１−１」及び「Ｆ０１−２」が抽出される。
図６（ｃ）の横長用紙６２０を撮像した場合も同様に、複数の特徴量「Ｆ０１−０」、「Ｆ０１−１」及び「Ｆ０１−２」が抽出される。
【００４９】
ステップＳ１２０２０は、ＡＲコンテンツの特定処理である。ＡＲコンテンツ特定処理では、ステップＳ１２０１０にて抽出された複数の特徴量を用いて、特徴量群と対応付けられたＡＲコンテンツを検索し、特徴量群と対応付けられたＡＲコンテンツの特定を行う。また、特徴量群と対応付けられたＡＲコンテンツの特定を行うとともに、撮像された文書に対するＡＲコンテンツの回転角度を推定する。当該ＡＲコンテンツの特定処理の詳細は図１３を用いて後述する。
例えば、図９に示すように、特徴量群「Ｆ０１−０、Ｆ０１−１、Ｆ０１−２」はＩＤ０１のＡＲコンテンツに対応付けられているため、図６（ｃ）の縦長用紙６１０を撮像した場合、ＩＤ０１のＡＲコンテンツが特定される。同様に、横長用紙６２０を撮像した場合も、ＩＤ０１のＡＲコンテンツが特定される。
【００５０】
ステップＳ１２０３０は、ＡＲ表示処理である。ＡＲ表示処理では、スマート端末の画面に、ステップＳ１２０２０において特定されたＡＲコンテンツと撮像されている文書とを重畳表示する。具体的には、ステップＳ１２０２０で特定された撮像文書に対するＡＲコンテンツの回転角度を用いて重畳表示すべきデータを生成し、当該データをスマート端末の画面に出力することで重畳表示は実現される。撮像対象の文書は、様々な角度から撮像されている可能性があるため、前述の回転角度により重畳状態を推測し、適切な表示データを生成する。
以上の処理により、ユーザは撮像した文書に関連するＡＲコンテンツをスマート端末などの情報表示装置上で閲覧することが可能になる。
【００５１】
次に、図１２におけるステップＳ１２０２０のＡＲコンテンツ特定処理について、詳細を説明する。ＡＲコンテンツ特定処理では、図１２におけるステップＳ１２０１０にて抽出された特徴量群が図９にて記載したＡＲコンテンツ管理テーブルに存在するか検索する。検索の結果、抽出された特徴量群がＡＲコンテンツ管理テーブルに存在することが確認された場合、対応するＡＲコンテンツを表示すべきＡＲコンテンツとして特定する。
以下、特徴量群がＡＲコンテンツ管理テーブルに存在するか判定するために必要な特徴量同士の照合処理について詳細を説明する。
【００５２】
図１３は、特徴量照合処理の一例を示すフローチャートである。
当該処理では、撮像されている文書画像（以下、「撮像画像」とも記載する）と電子データとして登録されている複数の文書画像との類似度を算出し、当該類似度を元に、撮像画像に対応付けられている電子データを特定する。具体的には、登録されている複数の文書画像（電子データ）の中で、所定の閾値以上かつ最大の類似度を持つ電子データを撮像画像と対応する電子データとして特定する。また、類似度算出と同時に類似度算出の過程で生成される値を使い、前記撮像画像の前記電子データに対する回転角度を推定する。
【００５３】
各処理の詳細の説明を行う前に、各処理内で使用する記号について説明する。
撮像画像から抽出された局所特徴点をＱ、座標をＸ（ｘ’，ｙ’）とし、その局所特徴点の局所特徴量をＶｑとする。
また、比較先の電子データに属するある１枚の画像上の局所特徴点をＳ、座標をＳ（ｘ，ｙ）とし、その局所特徴点の局所特徴量をＶｓとする。
【００５４】
ステップＳ１３０１０において、ＶｑとＶｓとの局所特徴量間の距離を全ての組み合わせについて計算し、最小距離対応点リストを作成する。具体的には、まず、ＶｑとＶｓとの全ての組み合わせについて特徴量間距離を計算する。次に、計算した特徴量間距離が閾値Ｔｖ以下となり、かつ、最小距離となるようなＶｑとＶｓとの組み合わせ（対応点）を抽出する。これらの対応点をリストに登録することで、最小距離対応点リストを作成する。
ここで、ｋ番目の最小距離対応点をそれぞれＱｋ、Ｓｋと表わし、これらの座標をＱｋ（ｘ’ｋ，ｙ’ｋ）、Ｓｋ（ｘｋ，ｙｋ）などと、添え字を合わせて記載する。なお、１つの局所特徴点に対応付けられる局所特徴量は１つだけとする。前記Ｑｋ、Ｓｋの局所特徴量をそれぞれＶｑ（ｋ）、Ｖｓ（ｋ）と記載する。
【００５５】
また、ステップＳ１３０１０では、ｍ組の対応点が前記最小距離対応点リストに登録されているものとする。もし最小距離対応点リストに登録されている対応点の組数ｍが３未満の場合は、類似度を算出できないものとしてステップＳ１３２００からステップＳ１３２１０に移行し、処理を終了する。
最小距離対応点リストに登録されている対応点の組数ｍが３以上の場合、ステップＳ１３０２０に移行して最終投票数を表す変数ＶｏｔｅＭａｘを０に初期化する。その後、ステップＳ１３０３０で類似度算出処理の反復カウント数を表す変数Ｃｏｕｎｔを０に初期化する。
【００５６】
ステップＳ１３０４０では、反復カウント数Ｃｏｕｎｔが予め定められた最大反復処理回数Ｒｎ未満であるかを判定する。反復カウント数Ｃｏｕｎｔが最大反復処理回数Ｒｎ未満である場合はステップＳ１３０５０へ進み、投票数を表すＶｏｔｅを０に初期化する。もし反復カウント数Ｃｏｕｎｔが最大反復処理回数Ｒｎ以上である場合にはステップＳ１３１８０へ移行し、最大投票数ＶｏｔｅＭａｘおよび回転角度を出力し、ステップＳ１３１９０において処理を終了する。
【００５７】
ステップＳ１３０６０では、前記最小距離対応点リストから対応点の組の座標をランダムに２組抽出する。ここで、抽出した２組の座標をＱ１（ｘ’１，ｙ’１）、Ｓ１（ｘ１，ｙ１）およびＱ２（ｘ’２，ｙ’２）、Ｓ２（ｘ２，ｙ２）と記載する。
ステップＳ１３０７０では、変換行列ＭおよびＴを計算する。ここで、変換行列Ｍは式（８）において変数ａ〜ｄで構成される行列であり、Ｔは変数ｅ〜ｆで構成される行列である。
【００５８】
【数３】
2014236303.tif 000005
【００５９】
ここで、本実施形態では、簡略化のため、相似変換だけを考える。このとき、上記式（８）は以下の式（９）のように書き換えられる。
【００６０】
【数４】
2014236303.tif 000006
【００６１】
このとき、式（９）中の変数ａ、ｂ、ｅ、ｆは、前記座標Ｑ１（ｘ’１，ｙ’１）、Ｓ１（ｘ１，ｙ１）およびＱ２（ｘ’２，ｙ’２）、Ｓ２（ｘ２，ｙ２）の座標値を使い式（１０）から式（１３）で計算可能である。
【００６２】
【数５】
2014236303.tif 000007
【００６３】
次にステップＳ１３０８０では、上述のステップＳ１３０６０で当該対応点リストからランダムに抽出された２組の点以外の点を選択するために、対応点選択変数ｋを３に初期化する。
その後ステップＳ１３０９０で、対応点選択変数ｋが当該最小距離対応点リストに登録されている対応点の組数ｍを超えていないかを判定する。ここで、超えている場合はステップＳ１３１５０へ処理を移行するが、これについては後述する。ステップＳ１３０９０における判定で対応点選択変数ｋが当該対応点リストに登録されている対応点の組数ｍを超えていない場合はステップＳ１３１００へ処理を移行する。
【００６４】
ステップＳ１３１００では、前記最小距離対応点リストから新たな対応点の組を１組抽出する。ここでは、抽出した座標をＳｋ（ｘｋ，ｙｋ）、Ｑｋ（ｘ’ｋ，ｙ’ｋ）と記載する。
次に、ステップＳ１３１１０で、Ｓｋ（ｘｋ，ｙｋ）が式（９）を使って移される座標Ｓｋ’（ｘ’ｋ，ｙ’ｋ）を求める。その後、ステップＳ１３１２０では、座標Ｓｋ’
（ｘ’ｋ，ｙ’ｋ）と座標Ｑｋ（ｘ’ｋ，ｙ’ｋ）との幾何学的距離をユークリッド距離で計算し、ユークリッド距離Ｄが閾値Ｔｄ以下であるか否かを判定する。
ユークリッド距離Ｄが閾値Ｔｄ以下の場合はステップＳ１３１３０へ移行し、投票数Ｖｏｔｅをインクリメントした後、ステップＳ１３１４０へ処理を移す。
ユークリッド距離Ｄが閾値Ｔｄより大きい場合は、何もせずにステップＳ１３１４０へ処理を移行する。
【００６５】
ステップＳ１３１４０では、対応点選択変数ｋをインクリメントし、ステップＳ１３０９０に戻り、対応点選択変数ｋが最小距離対応点リストに登録されている対応点の組数ｍを超えるまで、上述の処理を繰り返す。
次に、ステップＳ１３０９０で、対応点選択変数ｋが当該対応点リストに登録されている対応点の組数ｍを超えた場合の処理であるステップＳ１３１５０を説明する。ステップＳ１３１５０では、投票数Ｖｏｔｅの値と最終投票数ＶｏｔｅＭａｘの値とを比較し、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値よりも大きい場合にはステップＳ１３１６０へ処理を移す。
【００６６】
ステップＳ１３１６０では、最終投票数ＶｏｔｅＭａｘの値を投票数Ｖｏｔｅの値で置き換えるとともに、その時の変換行列Ｍを変数Ｍｍａｘに保存する。その後、ステップＳ１３１７０で反復カウント数Ｃｏｕｎｔをインクリメントし、上述のステップＳ１３０４０に処理を戻す。
また、ステップＳ１３１５０で、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値以下の場合にはステップＳ１３１７０へ処理を移行し、反復カウント数Ｃｏｕｎｔをインクリメントし、上述の処理Ｓ１３０４０に処理を戻す。
【００６７】
なお、上記の説明では、相似変換だけを考えて説明したが、アフィン変換などその他の幾何学変換についても、ステップＳ１３０７０でそれぞれに応じた変換行列を求めることにより、対応可能である。たとえば、アフィン変換の場合には、まずステップＳ１３０６０で、ランダムに選択する対応点の組の座標数を３とする。次に、ステップＳ１３０７０で式（９）ではなく、式（８）を使うこととし、ステップＳ１３０６０で選択した３組の対応点（合計６点）を使って変数ａ〜ｆを求めればよい。
以上の処理により、最終投票数ＶｏｔｅＭａｘを類似度として算出することができる。当該類似度が予め定められた閾値よりも大きく、類似度が一番高くなる電子データを、スマート端末を用いて撮像することによって得られた電子文書に対応する電子データとすることができる。
【００６８】
なお、上記の説明では、ステップＳ１３１８０で類似度として最終投票数ＶｏｔｅＭａｘを出力する方法を説明したが、他の類似度を計算するようにしてもよい。たとえば、ステップＳ１３０２０以降の処理を行わずに、ステップＳ１３０１０で作成された最小距離対応点リストに登録された対応点の組数ｍを類似度として出力する方法がある。
また、上記説明では、局所特徴点／局所特徴量の比較に基づく画像の照合方法としてＲＡＮＳＡＣ（ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）を利用した方法を説明した。しかしながら、２つの画像間の類似度が算出でき、類似度算出の過程において処理負荷の低い方法で回転角度を推定できる方法があれば、他の方法を使用してもよい。
以上、詳細に説明したように、レイアウトを変更可能なレイアウト単位を決定し、該レイアウト単位毎に特徴量を抽出する。次に、抽出された特徴量群を用いてＡＲコンテンツを対応付けることで、複数のレイアウト結果においてもＡＲコンテンツを特定することが可能になる。
【００６９】
本実施形態では、オーサリング時の特徴量抽出をオーサリング処理装置にて実施する方法を説明したが、他の装置で特徴量抽出を行っても良い。たとえば、図３におけるＡＲ管理装置３０２に特徴量抽出部を設け、当該特徴量抽出部で登録されたレイアウト単位毎の特徴量抽出を実施しても良い。
オーサリング処理装置の計算能力がＡＲ管理装置よりも低く、かつ特徴量抽出のために必要なデータをオーサリング処理装置からＡＲ管理装置へ転送するために要する時間が短い場合、該方法により特徴量抽出の開始から終了までの時間を短縮することができる。また、オーサリング完了時に即座にＡＲ表示が行われない場合、特徴量抽出処理をＡＲ管理装置で行わせることで、オーサリング処理装置の計算資源をレイアウト単位決定のために有効活用できるという効果がある。
【００７０】
また、特徴量抽出の方法として画像に対する特徴量を抽出する方法を示したが、異なる特徴量を用いても良い。たとえば、画像や文字を認識して、認識された結果を特徴量として扱うこともできる。
また、本実施形態では、単一の特徴量を用いたが、複数の特徴量を用いても良い。たとえば、風景写真などの自然画に対する特徴量、文字列の画像に対する特徴量など、コンテンツに応じて特徴量の種別を変更しても良い。特徴量の種別毎に特徴量を抽出しやすいコンテンツが存在する場合、複数の特徴量を用いることで、ＡＲコンテンツの特定処理の精度を向上させることができる。
【００７１】
また、本実施形態では、図１２により説明したＡＲ表示処理を常に繰り返す方法を説明したが、所定の間隔毎に繰り返す処理としても良い。所定間隔毎の処理にすることで、処理回数を削減し、処理負荷を軽減することが可能になる。
また、本実施形態では、オーサリング処理、レイアウト処理、ＡＲ管理装置、ＡＲ端末装置を個別の装置としたが、各装置で行われる処理を単一の装置で実施しても良い。たとえば、ＡＲ端末装置上で、オーサリング処理を実施し、ＡＲコンテンツを管理するとともにレイアウト処理を実施することも可能である。
【００７２】
＜第２の実施形態＞
第１の実施形態では、ユーザの指示によりレイアウト単位を決定する場合のＡＲ処理システムについて説明した。本実施形態では、レイアウト単位をＡＲコンテンツの形状に基づき自動的に決定する処理について説明を行う。
具体的には、図５のステップＳ５０００において説明したレイアウト単位の決定処理を自動化する方法を説明する。その他の処理については、第１の実施形態と同様である。
【００７３】
図１４は、図５のステップＳ５０００の処理を自動化する処理の流れを示すフローチャートである。
ステップＳ１４０００は、レイアウト単位（以下、レイアウト単位であると決定されるまでは「レイアウト単位の候補」とも記載する）の取得処理である。レイアウト単位取得処理では、図６にて記載するレイアウト単位管理テーブルからテーブルに登録されている全てのレイアウト単位を取得する。レイアウト単位の結合処理が１度も行われていない場合、最小単位としての個々のコンテンツ（例えば、「観」、「光」、「案」、「内」の各文字）がレイアウト単位として登録されている。
【００７４】
ステップＳ１４０１０は、ＡＲコンテンツ取得処理である。ＡＲコンテンツ取得処理では、ユーザにより指定されたＡＲコンテンツを取得する。
ステップＳ１４０２０は、形状比較処理である。形状比較処理では、ステップＳ１４０００にて取得した各レイアウト単位の形状とＡＲコンテンツの形状を比較する。比較の結果、ＡＲコンテンツの形状がいずれかのレイアウト単位と類似していると判断された場合は、処理を完了する。全てのレイアウト単位と比較した結果、ＡＲコンテンツの形状がいずれのレイアウト単位とも類似していないと判断された場合は、ステップＳ１４０３０へ移行する。
【００７５】
形状比較処理には、既存の形状比較アルゴリズムを用いる。たとえば、ＡＲコンテンツの縦（もしくは横）の長さと同じ長さになるようにレイアウト単位の縦（もしくは横）の長さを調整（拡大又は縮小）する。レイアウト単位の縦（もしくは横）の長さをＸ倍したら、レイアウト単位の横（もしくは縦）の長さもＸ倍する。調整されたレイアウト単位の横（もしくは縦）の長さがＡＲコンテンツの横（もしくは縦）の長さと近ければ、類似していると判定することができる。近いか否かの判断については、予め規定しておいた、閾値を用いる。
【００７６】
ステップＳ１４０３０は、レイアウト単位の結合処理である。レイアウト単位の結合処理では、前後のレイアウト単位を結合して、新たなレイアウト単位を生成する。そして、結合によって生成された新たなレイアウト単位を、ＡＲコンテンツと比較するレイアウト単位として取得し（Ｓ１４０００）、前記処理を繰り返す。
なお、レイアウト単位の結合処理には、既存のレイアウト処理を用いることが可能である。たとえば、文字がレイアウト単位であった場合、横に並ぶように文字（レイアウト単位）を結合することができる。同様に、縦に並ぶように文字（レイアウト単位）を結合することも可能である。
【００７７】
図１６を用いてＡＲコンテンツの形状に基づいてレイアウト単位を決定する処理の一例を説明する。
まず、ステップＳ１４０１０では、ＡＲコンテンツとしてＡＲコンテンツ１６０１を取得する。ＡＲコンテンツの縦横比率は４対３とする。
ステップＳ１４０２０では、ＡＲコンテンツ１６０１の形状と、レイアウト単位候補１６０２〜１６０４の形状とを比較する。
そして、縦の長さを揃えた状態で、ＡＲコンテンツ１６０１の横の長さを１としたとき、レイアウト単位の横の長さが０．９以上１．１以下であるという条件（以下、「類似条件」とも記載する）を満たすかを判定する。もしこの類条件を満たせば、ＡＲコンテンツの形状とレイアウト単位の形状とが類似していると判断するものとする。
【００７８】
レイアウト単位１６０２〜１６０３の縦横比率は４対２とし、レイアウト単位１６０４の縦横比率は４対２．２とする。
そして、ＡＲコンテンツ１６０１とレイアウト単位１６０２を比較し、ＡＲコンテンツ１６０１とレイアウト単位１６０３を比較し、ＡＲコンテンツ１６０１とレイアウト単位１６０４を比較した場合、いずれの組み合わせも形状が類似しないと判断される。
【００７９】
次に、ステップＳ１４０３０では、レイアウト単位１６０２とレイアウト単位１６０３との結合処理を行い、レイアウト単位（の候補）１６０５を得て、ＡＲコンテンツ１６０１とレイアウト単位１６０５とを比較する。
レイアウト単位１６０５の縦横比率は４対４となるため、類似条件を満たさない。
【００８０】
再度、ステップＳ１４０３０で、レイアウト単位１６０２の縦横の長さをいずれも１／２としたものをレイアウト単位（の候補）１６０２０とし、レイアウト単位１６０３の縦横の長さをいずれも１／２としたものをレイアウト単位（の候補）１６０３０とする。
そして、レイアウト単位１６０２０、１６０３０及び１６０４を、図１６に示す配置で結合し、レイアウト単位（の候補）１６０６を得て、ＡＲコンテンツ１６０１とレイアウト単位１６０６とを比較する。
レイアウト単位１６０６の縦横比率は４対３．２となり、３．２は２．７（＝３×０．９）以上３．３（＝３×１．１）以下を満たすため、類似条件を満たす。
よって、レイアウト単位の候補１６０６が、レイアウト単位として登録される。
【００８１】
以上、詳細に説明したように、ＡＲコンテンツの形状に基づいてレイアウト単位を決定することによって、ＡＲコンテンツの形状とレイアウト単位の形状が同じ又はほぼ同じになる。このため、ＡＲコンテンツをレイアウト単位の表示領域に重畳表示した際に違和感のないレイアウトを生成することが可能になる。
本実施形態では、各コンテンツを初期のレイアウト単位として、レイアウト単位とＡＲコンテンツとの形状比較を行い、形状が類似していない場合、レイアウト単位を結合していく方法について説明したが、レイアウト単位の候補を予め生成しておいても良い。たとえば、コンテンツを組み合わせて複数のレイアウト単位を生成しておき、該レイアウト単位群に対して、ＡＲコンテンツとの形状比較を行う。形状比較の結果、ＡＲコンテンツに最も類似していると判断されたものをレイアウト単位として決定することができる。
【００８２】
＜第３の実施形態＞
第２の実施形態では、ＡＲコンテンツの形状に基づいてレイアウト単位を自動的に決定する処理について説明を行った。本実施形態では、レイアウト単位から抽出できる特徴量に基づいてレイアウト単位を自動的に決定する処理について説明を行う。
具体的には、図５のステップＳ５０００において説明したレイアウト単位の決定処理を自動化する方法を説明する。その他の処理については、第１の実施形態と同様である。
【００８３】
図１５は、図５のステップＳ５０００の処理を自動化する処理の流れを示すフローチャートである。
ステップＳ１５０００は、レイアウト単位の取得処理である。当該処理は、第２の実施形態における図１４のステップＳ１４０００と同様の処理により実現される。
ステップＳ１５０１０は、特徴量抽出処理である。特徴量抽出処理では、ステップＳ１５０００にて取得された各レイアウト単位から特徴量を取得する。特徴量抽出処理は、図７を用いて説明したように、既存の特徴量抽出処理技術を用いることが可能である。
【００８４】
ステップＳ１５０２０は、特徴量の精度判断処理である。精度判断処理では、ステップＳ１５０１０にて取得された特徴量が十分な情報量を持っているかを判定する。取得された特徴量が十分な情報量を持つと判断された場合、処理を完了する。取得された特徴量が十分な特徴量を持たないと判断された場合は、ステップＳ１５０３０に移行する。
十分な特徴量を持つか否かの判断は、特徴量が持つ特徴点の数を用いて行う。特徴点の数が規定値よりも少ない場合、特徴量は十分な情報量を持たないと判断される。一方、特徴点の数が規定値よりも多い場合、特徴量は十分な情報量を持つと判断される。
【００８５】
本実施形態では、特徴量に含まれる特徴点の数により情報量の判断を行ったが、他の方法を用いても良い。
たとえば、ステップＳ１５０１０にて取得した特徴量が前述のＡＲコンテンツ管理テーブルに既に登録されている特徴量と類似していないか判定する。もし、新たに取得した特徴量の候補が、ＡＲコンテンツ管理テーブルに既に登録されている特徴量に類似しているにもかかわらず、新たに取得した特徴量の候補もＡＲコンテンツ管理テーブルに登録すると、一意にＡＲコンテンツを特定することが難しくなる。
このため、新たに取得した特徴量の候補が、ＡＲコンテンツ管理テーブルに既に登録されている特徴量に類似している場合、新たに取得した特徴量の候補は、十分な情報量を持っていないと判定することができる。
【００８６】
ステップＳ１５０３０は、レイアウト単位の結合処理である。レイアウト単位の結合処理では、前後のレイアウト単位を結合して、新たなレイアウト単位を生成する。当該処理は、第２の実施形態における図１４のステップＳ１４０３０と同様の処理により実現される。
以上、詳細に説明したように、レイアウト単位から抽出できる特徴量の精度に基づいてレイアウト単位を決定することで、撮像文書から抽出できる特徴量を用いたＡＲコンテンツの特定精度を向上させることができる。
【００８７】
＜第４の実施形態＞
第２の実施形態および第３の実施形態では、レイアウト単位を自動的に決定する処理について説明を行った。具体的には、第２の実施形態においては、ＡＲコンテンツの形状に基づきレイアウト単位を決定した。一方、第３の実施形態では、レイアウト単位から抽出可能な特徴量の精度に基づきレイアウト単位を決定した。各実施形態では、レイアウト単位を決定する際に基とする情報が異なるが、単一のシステムにおいて「ＡＲコンテンツの形状」と「レイアウト単位から抽出可能な特徴量の精度」の双方の情報を用いることも可能である。
【００８８】
第２の実施形態における図１４のステップＳ１４０２０において、形状が類似していると判断された後に、図１５のステップＳ１５０２０の処理を実施することで実現できる。なお、該処理群の実施の順番については、変更が可能である。図１５のステップＳ１５０２０の処理を実施した後に、図１４のステップＳ１４０２０の処理を実施しても良い。
以上、説明した処理により、ＡＲコンテンツを重畳表示した際に違和感のないレイアウトを生成することが可能になるとともに、撮像文書に対するＡＲコンテンツの特定精度も向上させることができる。
【００８９】
＜その他の実施形態＞
また、本発明の目的は、以下のようにすることによって達成されることは言うまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を、ネットワーク又は各種の記録媒体（または記憶媒体）を介して、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。
そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムコードを読み出し実行する。記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現する場合、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【符号の説明】
【００９０】
３０１  オーサリング処理装置
３０２  ＡＲ管理装置
３０３  レイアウト処理装置
３０４  ＡＲ端末装置
３０５  レイアウト単位決定部
３０６  特徴量抽出部
３０７  レイアウト単位管理部
３０８  ＡＲコンテンツ管理部
３０９  レイアウト処理部
３１０  特徴量抽出部
３１１  コンテンツ特定部
【図１】
2014236303.tif 000008
【図２】
2014236303.tif 000009
【図３】
2014236303.tif 000010
【図４】
2014236303.tif 000011
【図５】
2014236303.tif 000012
【図６】
2014236303.tif 000013
【図７】
2014236303.tif 000014
【図８】
2014236303.tif 000015
【図９】
2014236303.tif 000016
【図１０】
2014236303.tif 000017
【図１１】
2014236303.tif 000018
【図１２】
2014236303.tif 000019
【図１３】
2014236303.tif 000020
【図１４】
2014236303.tif 000021
【図１５】
2014236303.tif 000022
【図１６】
2014236303.tif 000023