(57)【要約】【課題】ディスプレイ画面の大部分を詳細情報を記述したタグが占めるようになれば、現実空間の画像と拡張情報の画像の組み合わせの妙によって醸しだされる拡張現実感のおもしろさが損なわれるのは否めない。【解決手段】拡張情報（タグ）には対象物に関連づけられた詳細情報が設定され、対象物に対する詳細情報を表示する前に、拡張情報（タグ）の表示領域のそれぞれは、使用者の選択を受け、使用者が必要とする前記詳細情報を選べるようにした。【選択図】図３
2013125328.tif 000002
【特許請求の範囲】
【請求項１】
コンピューター処理系において、カメラで撮影されている現実空間の撮影画像をディスプレイに表示するとともに、当該撮影画像中の対象物に関連して設定されている一つ乃至複数の拡張情報を当該撮影画像に合成して当該ディスプレイに表示する拡張現実感表示方法において、
前記拡張情報には前記対象物に関連づけられた詳細情報が設定され、対象物に対する詳細情報を表示する前に、
前記拡張情報の表示領域のそれぞれは、使用者の選択を受け、使用者が必要とする前記詳細情報を選べる事を特徴とする拡張現実感表示方法。
【請求項２】
前記ディスプレイの画面において、表示された拡張情報を特定する利用者入力を受け付ける拡張情報指定受付領域の最小サイズが規定されており、拡張情報の表示サイズが拡張情報指定受付領域の最小サイズ以下となって拡張情報指定受付領域に内包される場合があることを特徴とする請求項１に記載の拡張現実感表示方法。
【請求項３】
前記コンピューター処理系は、前記カメラと前記ディスプレイを備えた使用者コンピューターと、使用者コンピューターと通信するサーバーコンピューターとによって構成され、サーバーコンピューターで所望の時点で編集した前記拡張情報と前記詳細情報を通信経由で随時共有する事を特徴とする請求項１〜２のいずれかに記載の拡張現実感表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、コンピューター処理系において、カメラで撮影されている現実空間の撮影画像をディスプレイに表示するとともに、当該撮影画像中の対象物に関連して設定されている拡張情報を当該撮影画像に合成して当該ディスプレイに表示する拡張現実感表示方法に関し、とくに、撮影画像に合成表示される拡張情報に前記対象物に関連づけられた詳細情報を設定しておき、この詳細情報を利用者に提供する手法に関する。
【背景技術】
【０００２】
周知のように、カメラとディスプレイを備えた携帯型のコンピューター、いわゆるスマートフォンやタブレットコンピューターなどを主な対象として、さまざまな場面において拡張現実感表示技術をさまざまに活用する用途開発が大流行している。たとえば、２００９年発行の日経エレクトロニクス９月７日号「特集・拡張現実感」には拡張現実感表示技術の応用展開に関する当時の状況が詳しく解説されている。また下記特許文献に見られるような拡張現実感表示技術に関連した数多くの発明が創作されて特許出願されている。
【０００３】
拡張現実感表示技術のわかりやすい典型的な応用はつぎのようなものである。たとえば自動車や電子機器などの大規模な展示会場において、来場者が持参している携帯型コンピューター（スマートフォンやタブレットコンピューターなど）のカメラで関心のある展示品を撮影すると、ディスプレイにその展示品を含む現実空間の画像が表示され、表示画像中の展示品に対応づける形態でタグと呼ぶ拡張情報が付加表示（合成表示）される。タグには、対象となっている展示品についての機能の説明や入手方法の説明などがテキストやイメージを用いて表現されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２４４０５８号公報
【特許文献２】特開２０１１−２４２８１６号公報
【特許文献３】特開２０１１−１２３８０７号公報
【特許文献４】特開２０１１−２２６６２号公報
【特許文献５】特開２０１１−８１５５６号公報
【特許文献６】特開２０１１−２０４１１５号公報
【特許文献７】特開２０１１−１３００２５号公報
【特許文献８】特開２０１１−１２３７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の拡張現実感表示方法においては、撮影画像中の対象物にタグで表現された拡張情報を付加表示するに際して、拡張情報の内容（たとえば機能の説明とか入手方法の説明など）が豊富になればなるほど、合成画像中に占めるタグの領域が大きくなり、タグによって隠れてしまう現実空間の画像領域が大きくなり、このことが以下のような問題を引き起こしていた。
【０００６】
周知のように、タグ（拡張情報）は透明色で撮影画像に重なるように表示されるので、撮影画像がタグによって完全に見えなくなるわけではない。しかしながら、ディスプレイ画面の大部分をタグが占めるようになれば、現実空間の画像と拡張情報の画像の組み合わせの妙によって醸しだされる拡張現実感のおもしろさが損なわれるのは否めない。また、カメラを操作してディスプレイを見る利用者に対し、欲しているのかどうか分からない段階で内容豊富な拡張情報を大きなタグの形式で一括して提示することが、利用者のニーズにかなった良い方法であるとは言えないであろう。
【課題を解決するための手段】
【０００７】
こうした事情に鑑みて創作された本発明の方法は、コンピューター処理系において、カメラで撮影されている現実空間の撮影画像をディスプレイに表示するとともに、当該撮影画像中の対象物に関連して設定されている一つ乃至複数の拡張情報を当該撮影画像に合成して当該ディスプレイに表示する拡張現実感表示方法において、前記拡張情報には前記対象物に関連づけられた詳細情報が設定され、対象物に対する詳細情報を表示する前に、前記拡張情報の表示領域のそれぞれは、使用者の選択を受け、使用者が必要とする前記詳細情報を選べる事を特徴とする。
【０００８】
上記の本発明の方法において、望ましい一形態として、前記ディスプレイの画面において、表示された拡張情報を特定する利用者入力を受け付ける拡張情報指定受付領域の最小サイズが規定されており、拡張情報の表示サイズが拡張情報指定受付領域の最小サイズ以下となって拡張情報指定受付領域に内包される場合がある。
【０００９】
上記の本発明の方法において、望ましい一形態として、記コンピューター処理系は、前記カメラと前記ディスプレイを備えた使用者コンピューターと、使用者コンピューターと通信するサーバーコンピューターとによって構成され、サーバーコンピューターで所望の時点で編集した前記拡張情報と前記詳細情報を通信経由で随時共有する。
【発明の効果】
【００１０】
この発明の方法においては、撮影画像に合成する拡張情報（前記のタグに相当）としては、前記の例における対象物に関する機能の説明や入手方法の説明といった詳細情報を含めないこととしている。こうした詳細情報は、拡張情報（タグ）と関連づけられた別のデータとして前記コンピューター処理系に存在している。
【００１１】
撮影画像に付加表示される拡張情報（タグ）は、詳細情報にアクセスするためのリンク要素としての機能するものであり、どのような種類（カテゴリー）の詳細情報にリンクしているのかが分かるようにデザインされた小型の絵文字や図案（アイコンのようなもの）からなっている。たとえば、詳細情報である「商品情報」にリンクすることを図案化したしたタグ（拡張情報）、詳細情報である「お買い得情報」にリンクすることを図案化したタグ（拡張情報）、詳細情報である「商品動画」にリンクすることを図案化したタグなどがある。なお、こうしたカテゴリー別の図案化は一例にすぎない。
【００１２】
利用者は、撮影画像中の対象物に上記のようなタグが付加表示されたディスプレイ画面を見ることになる。そして、関心のある対象物に対応づけされた「お買い得情報」タイプのタグを興味を持ち、当該タグを指定操作すると（典型的なタッチパネル・ディスプレイでは指先でタグに触れる）、当該タグに関連づけされている詳細情報「お買い得情報」が前記ディスプレイに表示される。
【００１３】
以上のように、この発明の方法によれば、ディスプレイに表示された拡張現実感画像を見て、画面中のタグを関心に応じて自らの意志で選択的に指定することで、タグが指し示している対象物についての詳細情報を表示させることができる。したがって、対象物に関する豊富な詳細情報を利用者に提示可能としていても、現実空間の撮影画像に合成表示するタブ（拡張情報）は小さなものでよくなり、前述した従来の問題点を解消することができる。
【図面の簡単な説明】
【００１４】
【図１】展示会場におけるある局所の現実空間の様子を表している。
【図２】図１の現実空間を携帯型コンピューターで撮影した場合に、そのディスプレイに表示された拡張現実感画像を表している。
【図３】タグ５ａ・５ｂ・５ｃおよびタグ６とそれぞれに対応づけされた詳細情報の関係を表している。
【発明を実施するための形態】
【００１５】
＝＝＝前提となる技術事項＝＝＝
実施例として、前述した自動車とか電子機器などの展示会での応用を前提として説明する。展示会に来場した利用者が、カメラとタッチパネル・ディスプレイを備えた一般的なスマートフォンやタブレットコンピューター（これを携帯型コンピューターとする）を持参しており、これにより拡張現実感表示を活用するものとして説明を進める。
【００１６】
拡張現実感表示を携帯型コンピューターで実行するために必要なソフトウエアをすべて当該携帯型コンピューターに実装しておき、当該携帯型コンピューターが他のコンピューターと通信することなく拡張現実感表示の処理を完遂できるスタンドアローン方式は周知である。また、携帯型コンピューターがインターネットやＬＡＮを通じてサーバーコンピューターと無線通信しつつ分散処理を行い、サーバーコンピューターと情報交換しながら携帯型コンピューターにおいて拡張現実感表示の処理を具現化する分散処理方式も周知である。この場合、サーバーコンピューターは多数の携帯型コンピューターと通信しながら同時並行して処理を進めることができる。
【００１７】
上記したような基礎的な技術事項は当業者にとって自明であり、かつ、この発明の核心部分とは直接関係しないので、この明細書においては周知技術に関する冗長な説明はしない。本願の特許請求の範囲に記載した「コンピューター処理系」とは、上記のスタンドアローン方式であれば携帯型コンピューターを指し、上記の分散処理方式であれば携帯型コンピューターとサーバーコンピューターの両方を含むことになる。分散処理方式の場合、処理の分散の仕方はいろいろに実施できることは当業者にとって自明である。
【００１８】
つぎに撮影画像上に拡張画像（タグ）を位置決めする技術について触れる。位置決め技術としては、マーカー方式とマーカーレス方式の２種類が当業者に周知されている。以下の実施例においてはマーカー方式をとりあげて説明しているが、この発明の方法は位置決め方式に直接関係していないので、マーカーレス方式でも良いことはいうまでもない。
【００１９】
＝＝＝実施例＝＝＝
図１は、展示会場におけるある局所の現実空間の様子を表している。机があり、その上に商品１と商品２が展示されている。商品１はノートパソコンであり、商品２はデスクトップパソコンの本体である。商品１には３個のマーカー３ａ・３ｂ・３ｃが付設されている。商品２には１個のマーカー４が付設されている。
【００２０】
図２は、図１の現実空間を携帯型コンピューターで撮影した場合に、そのディスプレイに表示された拡張現実感画像を表している。表示画像は、机の上にある商品１と商品２の撮影画像が主体となり、商品１の３個のマーカー３ａ・３ｂ・３ｃにそれぞれ対応した３個のタグ５ａ・５ｂ・５ｃが透明色で付加表示（合成表示）され、商品２の１個のマーカー４に対応したタグ６が透明色で付加表示（合成表示）されている。ここで、タグとはアイコンのように図案化された拡張情報のことである。
【００２１】
コンピューター処理系において上記のような拡張現実感画像を表示する仕組みは説明するまでもなく周知であるが、いちおう肝となる部分の概要を説明する。各マーカーにはそれぞれ固有の情報が表現されており、コンピューター処理系はカメラによる撮影画像データ中に含まれる各マーカーを検出して固有情報を読み取り、読み取ったマーカー固有情報に基づいてこれに対応づけされているタグ情報を設定情報中から抽出し、タグ情報に基づく図案を撮影画像中の該当マーカーの位置に表示させる。
【００２２】
図３は、タグ５ａ・５ｂ・５ｃおよびタグ６とそれぞれに対応づけされた詳細情報の関係を表している。タグ５ａには商品１の仕様や機能の説明文書からなる詳細情報７ａが対応づけされている。タグ５ｂには商品１のお買い得な入手方法の説明文書からなる詳細情報７ｂが対応づけされている。タグ５ｃには商品１の利用シーンを撮影した商品動画からなる詳細情報７ｃが対応づけされている。タグ６には商品２のプロモーションビデオからなる詳細情報８が対応づけされている。
【００２３】
上述した文書情報や動画情報などからなる詳細情報のデータは前記コンピューター処理系（前記サーバーコンピューターや携帯型コンピューター）のいずれかに蔵置されていてもいいし、インターネット上の他のコンピューターに蔵置されていてもよい。いずれにしても、各タブのデータにはそれらに対応づけされた詳細情報を取得可能にするリンク情報が含まれている。
【００２４】
携帯型コンピューターにおいて、ディスプレイに表示された図２の拡張現実感画像を見ている利用者が画面上のタグ５ａを指先で触れることで選択入力を与えると、タグ５ａに対応づけされている詳細情報７ａ（文書情報）が当該ディスプレイに表示される。このとき、それまで表示されていた拡張現実感画像に代えて文書情報を表示してもいいし、拡張現実感画像に重なるように別ウインドウを開いて文書情報を表示してもよい。他のタブを選択した場合も同様であるので説明を繰り返さない。
【００２５】
周知のように、携帯型コンピューターのディスプレイに表示されている図２のような拡張現実感画像を利用者の好みにより拡大・縮小することができる。拡張現実感画像を極端に縮小すると、表示されているタグ（拡張情報）の表示サイズが小さくなりすぎ、利用者が指先で触れることでタグを選択する操作がやりにくくなる。これを防ぐために、請求項２に定義したように、前記ディスプレイの画面において、表示された拡張情報を特定する利用者入力を受け付ける拡張情報指定受付領域の最小サイズが規定されており、拡張情報の表示サイズが拡張情報指定受付領域の最小サイズ以下となって拡張情報指定受付領域に内包される場合があるという構成を採用することが望ましい。
【００２６】
また、利用者に提示する拡張情報や詳細情報は適切に更新することが望ましい。この意味で、前記の分散処理方式を採用する場合、請求項３に定義したように、前記コンピューター処理系は、前記カメラと前記ディスプレイを備えた使用者コンピューターと、使用者コンピューターと通信するサーバーコンピューターとによって構成され、サーバーコンピューターで所望の時点で編集した前記拡張情報と前記詳細情報を通信経由で随時共有する方式を採用することが望ましい。
【符号の説明】
【００２７】
１…商品、２…商品、３ａ・３ｂ・３ｃ…マーカー、４…マーカー、５ａ・５ｂ・５ｃ・６…タグ（拡張情報）、７ａ・７ｂ・７ｃ・８…詳細情報。
【図１】
2013125328.tif 000003
【図２】
2013125328.tif 000004
【図３】
2013125328.tif 000005