(57)【要約】【課題】  コンテンツに関連する情報を、そのコンテンツが有するオブジェクトに対して予め定められた位置に表示させる。【解決手段】  サーバーは、第１のコンテンツと、第１のコンテンツ中のオブジェクトに対して相対的な位置で定まる表示領域を示す領域情報と、オブジェクトに関連する関連情報とを含む拡張現実情報を記憶する拡張現実情報登録部５６３と、第２のコンテンツを拡張現実表示装置から受信する送信要求受信部５６５と、記憶された拡張現実情報のうちから受信された第２のコンテンツ中のオブジェクトと同じオブジェクトを有する第１のコンテンツを含む拡張現実情報を抽出する拡張現実情報抽出部５６７と、抽出された拡張現実情報を拡張現実表示装置に送信する拡張現実情報送信部５６９と、を備える。【選択図】        図１５
2015184778.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実情報生成装置と拡張現実表示装置とを含む拡張現実表示システムであって、
前記拡張現実情報生成装置は、
外部の装置から、当該装置に記憶されたコンテンツを取得する生成側コンテンツ取得手段と、
前記コンテンツ中のオブジェクトに対する相対位置で定まる表示領域を決定する領域決定手段と、
前記オブジェクトに関連する関連情報を取得する関連情報取得手段と、
前記コンテンツと、前記表示領域を示す領域情報と、前記関連情報とを関連付けた拡張現実情報を生成する拡張現実情報生成手段と、を備え、
前記拡張現実表示装置は、
第１のコンテンツを取得する表示側コンテンツ取得手段と、
前記取得された第１のコンテンツ中のオブジェクトと同一のオブジェクトを有する第２のコンテンツを含む拡張現実情報を取得する拡張現実情報取得手段と、
前記第１のコンテンツ中のオブジェクトに対する相対位置が、前記第２のコンテンツ中のオブジェクトと前記表示領域との相対位置と同じ関係となる現実表示領域を決定する現実表示領域決定手段と、
前記決定された現実表示領域に、前記取得された拡張現実情報に含まれる前記関連情報を表示する表示制御手段と、を備える、拡張現実表示システム。
【請求項２】
外部の装置から、当該装置に記憶されたコンテンツを取得する生成側コンテンツ取得手段と、
前記取得されたコンテンツ中のオブジェクトに対して相対位置で定まる表示領域を決定する領域決定手段と、
前記オブジェクトに関連する関連情報を取得する関連情報取得手段と、
前記コンテンツと、前記表示領域を示す領域情報と、前記関連情報とを関連付けた拡張現実情報を生成する拡張現実情報生成手段と、を備えた拡張現実情報生成装置。
【請求項３】
前記領域決定手段は、前記取得されたコンテンツを表示する生成側コンテンツ表示手段と、
前記表示されたコンテンツ中の前記領域情報で特定される表示領域に前記取得された関連情報を重畳して表示するプレビュー手段と、を含む、請求項２に記載の拡張現実情報生成装置。
【請求項４】
前記領域決定手段は、前記表示されたコンテンツ中で前記表示領域の指定を受け付ける表示領域受付手段を、さらに含む、請求項３に記載の拡張現実情報生成装置。
【請求項５】
前記拡張現実情報生成装置は、原稿を光学的に読み取って電子データに変換した画像データを出力する原稿読取手段をさらに備え、
前記関連情報取得手段は、前記原稿読取手段が出力する画像データを前記関連情報として取得する原稿読取制御手段を含む、請求項２〜４のいずれかに記載の拡張現実情報生成装置。
【請求項６】
データを記憶するデータ記憶手段をさらに備え、
前記関連情報取得手段は、前記データ記憶手段に記憶されたデータのうちからユーザーにより指定されたデータを前記関連情報として取得するデータ取得手段を含む、請求項２〜５のいずれかに記載の拡張現実情報生成装置。
【請求項７】
第１のコンテンツを取得する表示側コンテンツ取得手段と、
前記取得された第１のコンテンツ中のオブジェクトと同一のオブジェクトを有する第２のコンテンツを含む拡張現実情報を取得する拡張現実情報取得手段と、
前記拡張現実情報は、前記第２のコンテンツに加えて、前記第２のコンテンツ中のオブジェクトに対して相対的な位置で定まる表示領域を示す領域情報と、前記オブジェクトに関連する関連情報とを含み、
前記第１のコンテンツ中のオブジェクトに対する相対位置が、前記第２のコンテンツ中のオブジェクトと前記表示領域との相対位置と同じ関係となる現実表示領域を決定する現実表示領域決定手段と、
前記決定された現実表示領域に前記拡張現実情報に含まれる前記関連情報を表示する表示制御手段と、を備えた拡張現実表示装置。
【請求項８】
被写体を撮像する撮像手段を、さらに備え、
前記表示側コンテンツ取得手段は、前記撮像手段が被写体を撮像して出力する画像を前記第１のコンテンツとして取得する撮像制御手段を含み、
前記拡張現実情報取得手段は、前記取得された第１のコンテンツと被写体が一致する前記第２のコンテンツを含む拡張現実情報を取得する被写体基準取得手段を含む、請求項７に記載の拡張現実表示装置。
【請求項９】
前記拡張現実情報は、前記第２のコンテンツが有する被写体の地理的な位置を示す位置情報を、さらに含み、
前記拡張現実情報取得手段は、前記撮像手段が被写体を撮像する時点における地理的な位置を取得する位置取得手段と、
前記取得された位置から所定の範囲に存在する位置を示す位置情報を含む１以上の拡張現実情報を取得する位置基準取得手段と、を含む、請求項８に記載の拡張現実表示装置。
【請求項１０】
前記表示側コンテンツ取得手段は、外部の装置から、当該装置に記憶されたコンテンツを前記第１のコンテンツとして取得する記憶済コンテンツ取得手段を含み、
前記拡張現実情報取得手段は、前記取得された第１のコンテンツの識別情報と同じ識別情報の第２のコンテンツを含む拡張現実情報を取得するアドレス基準取得手段を含む、請求項７に記載の拡張現実表示装置。
【請求項１１】
第１のコンテンツと、前記第１のコンテンツ中のオブジェクトに対して相対的な位置で定まる表示領域を示す領域情報と、前記オブジェクトに関連する関連情報とを含む拡張現実情報を記憶する拡張現実情報記憶手段と、
第２のコンテンツを拡張現実表示装置から受信する送信要求受信手段と、
前記記憶された拡張現実情報のうちから前記受信された第２のコンテンツ中のオブジェクトと同じオブジェクトを有する第１のコンテンツを含む拡張現実情報を抽出する拡張現実情報抽出手段と、
前記抽出された拡張現実情報を前記拡張現実表示装置に送信する拡張現実情報送信手段と、を備えたサーバー。
【請求項１２】
外部の装置から、当該装置に記憶されたコンテンツを取得する生成側コンテンツ取得ステップと、
前記取得されたコンテンツ中のオブジェクトに対して相対位置で定まる表示領域を決定する領域決定ステップと、
前記オブジェクトに関連する関連情報を取得する関連情報取得ステップと、
前記コンテンツと、前記表示領域を示す領域情報と、前記関連情報とを関連付けた拡張現実情報を生成する拡張現実情報生成ステップと、を拡張現実生成装置を制御するコンピューターに実行させる拡張現実情報生成プログラム。
【請求項１３】
第１のコンテンツを取得する表示側コンテンツ取得ステップと、
前記取得された第１のコンテンツ中のオブジェクトと同一のオブジェクトを有する第２のコンテンツを含む拡張現実情報を取得する拡張現実情報取得ステップと、
前記拡張現実情報は、前記第２のコンテンツに加えて、前記第２のコンテンツ中のオブジェクトに対して相対的な位置で定まる表示領域を示す領域情報と、前記オブジェクトに関連する関連情報とを含み、
前記第１のコンテンツ中のオブジェクトに対する相対位置が、前記第２のコンテンツ中のオブジェクトと前記表示領域との相対位置と同じ関係となる現実表示領域を決定する現実表示領域決定ステップと、
前記決定された現実表示領域に前記拡張現実情報に含まれる前記関連情報を表示する表示制御ステップと、を拡張現実表示装置を制御するコンピューターに実行させる拡張現実表示プログラム。
【請求項１４】
第１のコンテンツを表示する際に用いられる拡張現実情報であって、
第２のコンテンツと、
前記第２のコンテンツ中のオブジェクトに対して相対位置で定まる表示領域を示す領域情報と、
前記第２のコンテンツ中の前記オブジェクトに関連する関連情報と、を含み、
前記第１のコンテンツが表示される際に、当該第１のコンテンツ中のオブジェクトに対応させて前記関連情報を表示するための拡張現実情報のデータ構造。
【請求項１５】
前記第１のコンテンツおよび前記第２のコンテンツは、コンピューターに記憶されたデータである、請求項１４に記載の拡張現実情報のデータ構造。
【請求項１６】
前記第１のコンテンツおよび前記第２のコンテンツは、所定の地理的な位置で撮像して得られる画像であり、
前記第２のコンテンツは、コンピューターに記憶されたデータである、請求項１４に記載の拡張現実情報のデータ構造。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、拡張現実表示システム、拡張現実表示システムに含まれる拡張現実情報生成装置、サーバー、その拡張現実情報生成装置で実行される拡張現実情報生成プログラム、拡張現実表示システムに含まれる拡張現実表示装置、その拡張現実表示装置で実行される拡張現実表示プログラム、および拡張現実情報のデータ構造に関する。
【背景技術】
【０００２】
近年、拡張現実の技術が開発されている。例えば、特開平９−３３２７１号公報には、カメラあるいはカメラ一体型ＶＴＲ装置等の撮像手段と、該撮像手段により撮影した映像やデータを表示する表示手段と、各時刻の地球上における前記撮像手段の位置と方向を衛星測位により検出する検出手段と、地図データを記憶した記憶手段と、前記表示手段に表示された物体のうち所定の物体の地球上における３次元位置座標と当該物体の名称等の属性データを前記記憶手段から読み出し，当該３次元位置座標を前記表示手段における２次元位置座標に変換し，前記表示手段における前記２次元位置座標に前記属性データを表示する制御手段とを具備したことを特徴とする撮像装置が記載されている。
【０００３】
しかしながら、従来の撮像装置においては、所定の物体の地球上における３次元位置座標を、その物体に関連して記憶しておかなければならない。また、撮像した映像中において、物体と同じ位置に属性データが表示されるので、物体が属性データで隠れる等して水らくなるといった問題がある。
【特許文献１】特開平９−３３２７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、拡張現実表示装置において得られるコンテンツに関連する情報を、拡張現実情報生成装置によって定められた位置に表示することが可能な拡張現実表示システムを提供することである。
【０００５】
この発明のさらに他の目的は、コンテンツに対して、それに含まれる領域に所定の情報を関連付けることが可能な拡張現実情報生成装置を提供することである。
【０００６】
この発明のさらに他の目的は、コンテンツが有するオブジェクトに関連する情報を、そのオブジェクトに対して予め定められた位置に表示することが可能な拡張現実表示装置を提供することである。
【０００７】
この発明のさらに他の目的は、コンテンツに関連する情報を、そのコンテンツが有するオブジェクトに対して予め定められた位置に表示させることが可能なサーバーを提供することである。
【０００８】
この発明のさらに他の目的は、コンテンツに対して、それに含まれる領域に所定の情報を関連付けることが可能な拡張現実情報生成プログラムを提供することである。
【０００９】
この発明のさらに他の目的は、コンテンツが有するオブジェクトに関連する情報を、そのオブジェクトに対して予め定められた位置に表示することが可能な拡張現実情報表示プログラムを提供することである。
【００１０】
この発明のさらに他の目的は、コンテンツが有するオブジェクトに関連する情報を、そのオブジェクトに対して予め定められた位置に表示することが可能な拡張現実情報のデータ構造を提供することである。
【課題を解決するための手段】
【００１１】
上述した目的を達成するためにこの発明のある局面によれば、拡張現実表示システムは、拡張現実情報生成装置と拡張現実表示装置とを含む拡張現実表示システムであって、拡張現実情報生成装置は、外部の装置から、当該装置に記憶されたコンテンツを取得する生成側コンテンツ取得手段と、コンテンツ中のオブジェクトに対する相対位置で定まる表示領域を決定する領域決定手段と、オブジェクトに関連する関連情報を取得する関連情報取得手段と、コンテンツと、表示領域を示す領域情報と、関連情報とを関連付けた拡張現実情報を生成する拡張現実情報生成手段と、を備え、拡張現実表示装置は、第１のコンテンツを取得する表示側コンテンツ取得手段と、取得された第１のコンテンツ中のオブジェクトと同一のオブジェクトを有する第２のコンテンツを含む拡張現実情報を取得する拡張現実情報取得手段と、第１のコンテンツ中のオブジェクトに対する相対位置が、第２のコンテンツ中のオブジェクトと表示領域との相対位置と同じ関係となる現実表示領域を決定する現実表示領域決定手段と、決定された現実表示領域に、取得された拡張現実情報に含まれる関連情報を表示する表示制御手段と、を備える。
【００１２】
この局面に従えば、拡張現実情報生成装置によって、外部の装置から取得されたコンテンツ中のオブジェクトに対する相対位置で定まる表示領域が決定され、オブジェクトに関連する関連情報が取得され、コンテンツと、表示領域を示す領域情報と、関連情報とを関連付けた拡張現実情報が生成される。このため、コンテンツ中のオブジェクトに対して、関連情報とオブジェクトとの相対位置とを関連付けることができる。また、拡張現実表示装置によって、第１のコンテンツが取得され、第１のコンテンツ中のオブジェクトと同一のオブジェクトを有する第２のコンテンツを含む拡張現実情報が取得され、第１のコンテンツ中のオブジェクトに対する相対位置が、第２のコンテンツ中のオブジェクトと表示領域との相対位置と同じ関係となる現実表示領域が決定され、現実表示領域に、拡張現実情報に含まれる関連情報が表示される。このため、拡張現実表示装置において得られる第１のコンテンツ中で拡張現実情報生成装置によって生成された拡張現実情報により定められた位置に関連情報を表示することができる。その結果、拡張現実表示装置において得られるコンテンツに関連する情報を、拡張現実情報生成装置によって定められた位置に表示することが可能な拡張現実表示システムを提供することができる。
【００１３】
この発明の他の局面によれば、拡張現実情報生成装置は、外部の装置から、当該装置に記憶されたコンテンツを取得する生成側コンテンツ取得手段と、取得されたコンテンツ中のオブジェクトに対して相対位置で定まる表示領域を決定する領域決定手段と、オブジェクトに関連する関連情報を取得する関連情報取得手段と、コンテンツと、表示領域を示す領域情報と、関連情報とを関連付けた拡張現実情報を生成する拡張現実情報生成手段と、を備える。
【００１４】
この局面に従えば、外部の装置に記憶されたコンテンツが取得され、取得されたコンテンツ中のオブジェクトに対して相対位置で定まる表示領域が決定され、オブジェクトに関連する関連情報が取得され、コンテンツと、表示領域を示す領域情報と、関連情報とを関連付けた拡張現実情報が生成される。このため、コンテンツ中のオブジェクトに対して、関連情報とオブジェクトとの相対位置とを関連付けることが可能な拡張現実情報生成装置を提供することができる。
【００１５】
好ましくは、領域決定手段は、取得されたコンテンツを表示する生成側コンテンツ表示手段と、表示されたコンテンツ中の領域情報で特定される表示領域に取得された関連情報を重畳して表示するプレビュー手段と、を含む。
【００１６】
この局面に従えば、取得されたコンテンツが表示され、コンテンツ中の領域情報で特定される表示領域に関連情報が重畳して表示される。このため、ユーザーは、コンテンツに含まれるオブジェクトに対して関連情報が表示される位置を確認することができる。
【００１７】
好ましくは、領域決定手段は、表示されたコンテンツ中で表示領域の指定を受け付ける表示領域受付手段を、さらに含む。
【００１８】
この局面に従えば、コンテンツ中で表示領域の指定を受け付けるので、ユーザーは、コンテンツ中の任意の位置を指定することができる。
【００１９】
好ましくは、拡張現実情報生成装置は、原稿を光学的に読み取って電子データに変換した画像データを出力する原稿読取手段をさらに備え、関連情報取得手段は、原稿読取手段が出力する画像データを関連情報として取得する原稿読取制御手段を含む。
【００２０】
この局面に従えば、原稿読取装置が出力する画像データが関連情報として取得される。このため、原稿を読み取った画像を関連情報に設定することができる。
【００２１】
好ましくは、データを記憶するデータ記憶手段をさらに備え、関連情報取得手段は、データ記憶手段に記憶されたデータのうちからユーザーにより指定されたデータを関連情報として取得するデータ取得手段を含む。
【００２２】
この局面に従えば、データ記憶手段に記憶されたデータのうちからユーザーにより指定されたデータを関連情報に設定することができる。
【００２３】
この発明のさらに他の局面によれば、拡張現実表示装置は、第１のコンテンツを取得する表示側コンテンツ取得手段と、取得された第１のコンテンツ中のオブジェクトと同一のオブジェクトを有する第２のコンテンツを含む拡張現実情報を取得する拡張現実情報取得手段と、拡張現実情報は、第２のコンテンツに加えて、第２のコンテンツ中のオブジェクトに対して相対的な位置で定まる表示領域を示す領域情報と、オブジェクトに関連する関連情報とを含み、第１のコンテンツ中のオブジェクトに対する相対位置が、第２のコンテンツ中のオブジェクトと表示領域との相対位置と同じ関係となる現実表示領域を決定する現実表示領域決定手段と、決定された現実表示領域に拡張現実情報に含まれる関連情報を表示する表示制御手段と、を備える。
【００２４】
この局面に従えば、第１のコンテンツが取得され、第１のコンテンツ中のオブジェクトと同一のオブジェクトを有する第２のコンテンツを含む拡張現実情報が取得され、第１のコンテンツ中のオブジェクトに対する相対位置が、第２のコンテンツ中のオブジェクトと表示領域との相対位置と同じ関係となる現実表示領域が決定され、現実表示領域に、関連情報が表示される。このため、第１のコンテンツと同じオブジェクトを有する第２のコンテンツを含む拡張現実情報によって、第１のコンテンツが有するオブジェクトに関連付けられた関連情報が、第１のコンテンツが有するオブジェクトに対して定められた相対的な位置に、表示される。その結果、コンテンツが有するオブジェクトに関連する情報を、そのオブジェクトに対して予め定められた位置に表示することが可能な拡張現実表示装置を提供することができる。
【００２５】
好ましくは、被写体を撮像する撮像手段を、さらに備え、表示側コンテンツ取得手段は、撮像手段が被写体を撮像して出力する画像を第１のコンテンツとして取得する撮像制御手段を含み、拡張現実情報取得手段は、取得された第１のコンテンツと被写体が一致する第２のコンテンツを含む拡張現実情報を取得する被写体基準取得手段を含む。
【００２６】
この局面に従えば、被写体を撮像した画像が第１のコンテンツとして取得され、第１のコンテンツと被写体が一致する第２のコンテンツを含む拡張現実情報が取得される。このため、撮像画像が有する被写体に関連する情報が、その被写体に対して定められた相対的な位置に、表示される。その結果、被写体に関連する情報を、その被写体に対して予め定められた位置に表示することができる。
【００２７】
好ましくは、拡張現実情報は、第２のコンテンツが有する被写体の地理的な位置を示す位置情報を、さらに含み、拡張現実情報取得手段は、撮像手段が被写体を撮像する時点における地理的な位置を取得する位置取得手段と、取得された位置から所定の範囲に存在する位置を示す位置情報を含む１以上の拡張現実情報を取得する位置基準取得手段と、を含む。
【００２８】
この局面に従えば、第２のコンテンツが有する被写体の地理的な位置が、被写体を撮像する時点における地理的な位置から所定の範囲に存在する拡張現実情報を取得するので、拡張現実情報の取得が容易となる。
【００２９】
好ましくは、表示側コンテンツ取得手段は、外部の装置から、当該装置に記憶されたコンテンツを第１のコンテンツとして取得する記憶済コンテンツ取得手段を含み、拡張現実情報取得手段は、取得された第１のコンテンツの識別情報と同じ識別情報の第２のコンテンツを含む拡張現実情報を取得するアドレス基準取得手段を含む。
【００３０】
この局面に従えば、外部の装置に記憶された第１のコンテンツが取得され、第１のコンテンツの識別情報と同じ識別情報の第２のコンテンツを含む拡張現実情報が取得される。このため、外部の装置に記憶された第１のコンテンツが有するオブジェクトに関連する情報が、そのオブジェクトに対して定められた相対的な位置に、表示される。その結果、外部の装置に記憶されたコンテンツに対して、そのコンテンツが有するオブジェクトに関連する情報を、そのオブジェクトに対して予め定められた位置に表示することができる。
【００３１】
この発明のさらに他の局面によれば、サーバーは、第１のコンテンツと、第１のコンテンツ中のオブジェクトに対して相対的な位置で定まる表示領域を示す領域情報と、オブジェクトに関連する関連情報とを含む拡張現実情報を記憶する拡張現実情報記憶手段と、第２のコンテンツを拡張現実表示装置から受信する送信要求受信手段と、記憶された拡張現実情報のうちから受信された第２のコンテンツ中のオブジェクトと同じオブジェクトを有する第１のコンテンツを含む拡張現実情報を抽出する拡張現実情報抽出手段と、抽出された拡張現実情報を拡張現実表示装置に送信する拡張現実情報送信手段と、を備える。
【００３２】
この局面に従えば、サーバーは、第１のコンテンツと、第１のコンテンツ中のオブジェクトに対して相対的な位置で定まる表示領域を示す領域情報と、オブジェクトに関連する関連情報とを含む拡張現実情報を記憶しており、第２のコンテンツを拡張現実表示装置から受信すると、記憶された拡張現実情報のうちから第２のコンテンツ中のオブジェクトと同じオブジェクトを有する第１のコンテンツを含む拡張現実情報を抽出し、抽出された拡張現実情報を拡張現実表示装置に送信する。このため、拡張現実表示装置において、第１のコンテンツ中のオブジェクトに対して、第２のコンテンツ中のオブジェクトと表示領域との相対位置と同じ相対位置に、関連情報を表示することができる。このため、拡張現実表示装置において得られるコンテンツ中で拡張現実情報により定められた位置に関連情報を表示することができる。その結果、コンテンツに関連する情報を、そのコンテンツが有するオブジェクトに対して予め定められた位置に表示させることが可能なサーバーを提供することができる。
【００３３】
この発明のさらに他の局面によれば、拡張現実情報生成プログラムは、外部の装置から、当該装置に記憶されたコンテンツを取得する生成側コンテンツ取得ステップと、取得されたコンテンツ中のオブジェクトに対して相対位置で定まる表示領域を決定する領域決定ステップと、オブジェクトに関連する関連情報を取得する関連情報取得ステップと、コンテンツと、表示領域を示す領域情報と、関連情報とを関連付けた拡張現実情報を生成する拡張現実情報生成ステップと、を拡張現実生成装置を制御するコンピューターに実行させる。
【００３４】
この局面に従えば、コンテンツ中のオブジェクトに対して、関連情報とオブジェクトとの相対位置とを関連付けることが可能な拡張現実情報生成プログラムを提供することができる。
【００３５】
この発明のさらに他の局面によれば、拡張現実表示プログラムは、第１のコンテンツを取得する表示側コンテンツ取得ステップと、取得された第１のコンテンツ中のオブジェクトと同一のオブジェクトを有する第２のコンテンツを含む拡張現実情報を取得する拡張現実情報取得ステップと、拡張現実情報は、第２のコンテンツに加えて、第２のコンテンツ中のオブジェクトに対して相対的な位置で定まる表示領域を示す領域情報と、オブジェクトに関連する関連情報とを含み、第１のコンテンツ中のオブジェクトに対する相対位置が、第２のコンテンツ中のオブジェクトと表示領域との相対位置と同じ関係となる現実表示領域を決定する現実表示領域決定ステップと、決定された現実表示領域に拡張現実情報に含まれる関連情報を表示する表示制御ステップと、を拡張現実表示装置を制御するコンピューターに実行させる。
【００３６】
この局面に従えば、コンテンツが有するオブジェクトに関連する情報を、そのオブジェクトに対して予め定められた位置に表示することが可能な拡張現実表示プログラムを提供することができる。
【００３７】
この発明のさらに他の局面によれば、拡張現実情報のデータ構造は、第１のコンテンツを表示する際に用いられる拡張現実情報であって、第２のコンテンツと、第２のコンテンツ中のオブジェクトに対して相対位置で定まる表示領域を示す領域情報と、第２のコンテンツ中のオブジェクトに関連する関連情報と、を含み、第１のコンテンツが表示される際に、当該第１のコンテンツ中のオブジェクトに対応させて関連情報を表示するための拡張現実情報のデータ構造である。
【００３８】
この局面に従えば、コンテンツが有するオブジェクトに関連する情報を、そのオブジェクトに対して予め定められた位置に表示することが可能な拡張現実情報を提供することができる。
【００３９】
好ましくは、第１のコンテンツおよび第２のコンテンツは、コンピューターに記憶されたデータである。
【００４０】
この局面に従えば、コンピューターに記憶されたコンテンツに対して、そのコンテンツが有するオブジェクトに関連する情報を、そのオブジェクトに対して予め定められた位置に表示することができる。
【００４１】
好ましくは、第１のコンテンツおよび第２のコンテンツは、所定の地理的な位置で撮像して得られる画像であり、第２のコンテンツは、コンピューターに記憶されたデータである。
【００４２】
この局面に従えば、被写体に関連する情報を、その被写体に対して予め定められた位置に表示することができる。
【図面の簡単な説明】
【００４３】
【図１】本発明の実施の形態における拡張現実表示システムの全体概要の一例を示す図である。
【図２】本実施の形態におけるＭＦＰの外観を示す斜視図である。
【図３】本実施の形態におけるＭＦＰのハードウェア構成の一例を示すブロック図である。
【図４】本実施の形態における携帯情報装置のハードウェア構成の概要の一例を示すブロック図である。
【図５】本実施の形態におけるＨＭＤのハードウェア構成の一例を示すブロック図である。
【図６】本実施の形態におけるサーバーのハードウェア構成の一例を示すブロック図である。
【図７】第１の実施の形態における拡張現実情報のフォーマットの一例を示す図である。
【図８】第１の実施の形態における拡張現実表示装置として機能する携帯情報装置が備えるＣＰＵの機能の概要の一例を示すブロック図である。
【図９】背景画像の一例を示す図である。
【図１０】撮像画像の一例を示す図である。
【図１１】合成画像の一例を示す図である。
【図１２】基本情報のフォーマットの一例を示す図である。
【図１３】第１の実施の形態における基本情報登録装置として機能する携帯情報装置が備えるＣＰＵの機能の一例を示すブロック図である。
【図１４】第１の実施の形態における拡張現実情報登録装置として機能するＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。
【図１５】第１の実施の形態におけるサーバーが備えるＣＰＵが有する機能の一例を示すブロック図である。
【図１６】第１の実施の形態における拡張現実情報抽出部の詳細な機能の一例を示すブロック図である。
【図１７】第１の実施の形態における基本情報登録処理の流れの一例を示すフローチャートである。
【図１８】第１の実施の形態における拡張現実情報登録処理の流れの一例を示すフローチャートである。
【図１９】第１の実施の形態における拡張現実情報管理処理の流れの一例を示すフローチャートである。
【図２０】第１の実施の形態における拡張現実表示処理の流れの一例を示すフローチャートである。
【図２１】第２の実施の形態における拡張現実表示装置として機能する携帯情報装置が備えるＣＰＵの機能の概要の一例を示すブロック図である。
【図２２】第２の実施の形態におけるサーバーが備えるＣＰＵが有する機能の一例を示すブロック図である。
【図２３】第２の実施の形態における拡張現実情報管理処理の流れの一例を示すフローチャートである。
【図２４】第２の実施の形態における拡張現実表示処理の流れの一例を示すフローチャートである。
【図２５】第３の実施の形態における拡張現実情報のフォーマットの一例を示す図である。
【図２６】第３の実施の形態における拡張現実表示装置として機能する携帯情報装置が備えるＣＰＵの機能の概要の一例を示すブロック図である。
【図２７】第３の実施の形態における拡張現実情報登録装置として機能するＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。
【図２８】第３の実施の形態におけるサーバーが備えるＣＰＵが有する機能の一例を示すブロック図である。
【図２９】第３の実施の形態における拡張現実情報登録処理の流れの一例を示すフローチャートである。
【図３０】第３の実施の形態における拡張現実情報管理処理の流れの一例を示すフローチャートである。
【図３１】第３の実施の形態における拡張現実情報管理処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００４４】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
【００４５】
＜第１の実施の形態＞
図１は、本発明の実施の形態における拡張現実表示システムの全体概要の一例を示す図である。図１を参照して、拡張現実表示システム１は、それぞれがネットワーク２に接続された無線局３と、ＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）１００と、携帯情報装置２００，２００Ａ，２００Ｂと、パーソナルコンピューター（以下「ＰＣ」という）３００と、ヘッドマウントディスプレイ（以下、「ＨＭＤ」という）４００と、サーバー５００と、を含む。
【００４６】
ＭＦＰ１００は、画像処理装置として機能し、原稿を読み取るための原稿読取機能、画像データに基づいて紙などの記録媒体に画像を形成するための画像形成機能およびファクシミリデータを送受信するファクシミリ送受信機能を備えている。なお、第１の実施の形態においては画像処理装置の一例として、ＭＦＰ１００を例に説明するが、ＭＦＰ１００に代えて、画像を処理する機能を備えた装置であれば、例えば、ＰＣ３００、サーバー５００等であってもよい。
【００４７】
ＰＣ３００は、一般的なコンピューターである。ＰＣ３００は、ＭＦＰ１００を制御するためのプリンタドライバプログラムがインストールされている。
【００４８】
携帯情報装置２００，２００Ａ，２００Ｂは、情報処理装置の一例である。携帯情報装置２００，２００Ａ，２００Ｂは、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、スマートフォンなど、ユーザーに携帯して使用され、データを記憶する機能、無線ＬＡＮ機能を備えている。また、携帯情報装置２００，２００Ａ，２００Ｂは、ＰＣ３００と同様に、アプリケーションプログラムをインストールすることが可能である。携帯情報装置２００，２００Ａ，２００Ｂのハードウェア構成および機能は同じなので、ここでは、特に言及しない限り携帯情報装置２００を例に説明する。
【００４９】
ＨＭＤ４００は、メガネの形状をしており、ユーザーにより装着されて使用される。ＨＭＦ４００は、被写体を撮像する撮像機能、メガネのレンズ部分に画像を表示する表示機能、無線ＬＡＮ機能を備えている。ＨＭＤ４００を装着するユーザーは、レンズを通して被写体を視認すると同時に、レンズに表示された画像を視認することができる。
【００５０】
ネットワーク２は、ローカルエリアネットワーク（ＬＡＮ）であり、接続形態は有線または無線を問わない。またネットワーク２は、ＬＡＮに限らず、公衆交換電話網（Ｐｕｂｌｉｃ  Ｓｗｉｔｃｈｅｄ  Ｔｅｌｅｐｈｏｎｅ  Ｎｅｔｗｏｒｋｓ）を用いたネットワーク等であってもよい。さらに、ネットワーク２は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）に接続されている。
【００５１】
ＭＦＰ１００は、ネットワーク２を介して、無線局３、ＰＣ３００、およびサーバー５００と、データの送受信が可能である。無線局３は、ネットワーク２の中継装置であり、無線ＬＡＮ通信機能を備えた携帯情報装置２００，２００Ａ，２００ＢおよびＨＭＤ４００と通信して、携帯情報装置２００，２００Ａ，２００ＢおよびＨＭＤ４００をネットワーク２に接続する。このため、携帯情報装置２００，２００Ａ，２００ＢおよびＨＭＤ４００各々は、無線局３およびネットワーク２を介してＭＦＰ１００、ＰＣ３００、サーバー５００とデータの送受信が可能である。
【００５２】
図２は、本実施の形態におけるＭＦＰの外観を示す斜視図である。図３は、本実施の形態におけるＭＦＰのハードウェア構成の一例を示すブロック図である。図２および図３を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、画像が形成された用紙を処理する後処理部１５５と、ユーザーインターフェースとしての操作パネル１６０とを含む。
【００５３】
後処理部１５５は、画像形成部１４０により画像が形成された１以上の用紙を並び替えて排紙するソート処理、パンチ穴加工するパンチ処理、ステープル針を打ち込むステープル処理を実行する。
【００５４】
メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１５と、ファクシミリ部１１６と、ＣＤ−ＲＯＭ１１８が装着される外部記憶装置１１７と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。
【００５５】
ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる読取データ（画像データ）を一時的に記憶する。
【００５６】
操作パネル１６０は、ＭＦＰ１００の上面に設けられ、表示部１６１と操作部１６３とを含む。表示部１６１は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部１６３は、複数のキーからなるハードキー部１６７を備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。操作部１６３は、表示部１６１上に設けられたタッチパネル１６５をさらに含む。
【００５７】
通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワーク２に接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介して、携帯情報装置２００，２００Ａ，２００Ｂ、ＰＣ３００、ＨＭＤ４００、およびサーバー５００との間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワーク２を介してインターネットに接続されたコンピューターと通信が可能である。
【００５８】
ファクシミリ部１１６は、公衆交換電話網（ＰＳＴＮ）に接続され、ＰＳＴＮにファクシミリデータを送信する、またはＰＳＴＮからファクシミリデータを受信する。ファクシミリ部１１６は、受信したファクシミリデータを、ＨＤＤ１１５に記憶する、または画像形成部１４０に出力する。画像形成部１４０は、ファクシミリ部１１６により受信されたファクシミリデータを用紙にプリントする。また、ファクシミリ部１１６は、ＨＤＤ１１５に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。
【００５９】
外部記憶装置１１７は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  ＲＯＭ）１１８が装着される。ＣＰＵ１１１は、外部記憶装置１１７を介してＣＤ−ＲＯＭ１１８にアクセス可能である。ＣＰＵ１１１は、外部記憶装置１１７に装着されたＣＤ−ＲＯＭ１１８に記録されたプログラムをＲＡＭ１１４にロードして実行する。なお、ＣＰＵ１１１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ１１８に限られず、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ  Ｏｐｔｉｃａｌ  Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ  Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）などの半導体メモリーであってもよい。
【００６０】
また、ＣＰＵ１１１が実行するプログラムは、ＣＤ−ＲＯＭ１１８に記録されたプログラムに限られず、ＨＤＤ１１５に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、ネットワーク２に接続された他のコンピューターが、ＭＦＰ１００のＨＤＤ１１５に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、ＭＦＰ１００が、ネットワーク２に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＨＤＤ１１５に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００６１】
拡張現実表示システム１において、ＭＦＰ１００、携帯情報装置２００，２００Ａ，２００Ｂ、ＰＣ３００、ＨＤＭ４００、サーバー５００間で、データが送受信される。データを送受信するプロトコルは、受信側の装置において送信元を特定することができれば、任意のプロトコルを用いることが可能である。データを送受信するプロトコルは、例えばＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）、ＦＴＰ（Ｆｉｌｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）およびＳＭＰＴ（Ｓｉｍｐｌｅ  Ｍａｉｌ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）、ＰＯＰ（Ｐｏｓｔ  Ｏｆｆｉｃｅ  Ｐｒｏｔｏｃｏｌ）等が用いられる。
【００６２】
図４は、本実施の形態における携帯情報装置のハードウェア構成の概要の一例を示すブロック図である。図４を参照して、携帯情報装置２００は、携帯情報装置２００の全体を制御するためのＣＰＵ２０１と、カメラ２０２と、データを不揮発的に記憶するフラッシュメモリー２０３と、通話部２０５と接続された無線通信部２０４と、情報を表示する表示部２０６と、ユーザーの操作を受け付ける操作部２０７と、無線ＬＡＮＩ／Ｆ２０８と、位置検出部２０９と、方位検出部２１０と、外部記憶装置２１１と、を含む。
【００６３】
無線通信部２０４は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部２０４は、携帯情報装置２００を電話通信網に接続し、通話部２０５を用いた通話を可能とする。無線通信部２０４は、携帯電話用基地局から受信した無線信号を復調した音声信号を復号して通話部２０５に出力する。また、無線通信部２０４は、通話部２０５から入力される音声を符号化し、携帯電話用基地局に送信する。通話部２０５は、マイクおよびスピーカを備え、無線通信部２０４から入力される音声をスピーカから出力し、マイクから入力される音声を無線通信部２０４に出力する。さらに、無線通信部２０４は、ＣＰＵ２０１により制御され、携帯情報装置２００を電子メールサーバーに接続し、電子メールを送受信する。
【００６４】
カメラ２０２は、レンズおよび光電変換素子を備え、レンズで集光した光を光電変換素子に結像し、光電変換素子は受光した光を光電変換して画像データをＣＰＵ２０１に出力する。光電変換素子は、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサー等である。
【００６５】
表示部２０６は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部２０７は、複数のキーを備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。
【００６６】
無線ＬＡＮＩ／Ｆ２０８は、無線局３と通信し、携帯情報装置２００をネットワーク２に接続するためのインターフェースである。携帯情報装置２００に、ＨＭＤ２００、サーバー５００、ＭＦＰ１００、ＰＣ３００それぞれのＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、携帯情報装置２００は、ＨＭＤ４００、サーバー５００、ＭＦＰ１００、ＰＣ３００と通信することができ、データの送受信が可能となる。なお、本実施の形態においては、携帯情報装置２００が無線ＬＡＮＩ／Ｆ２０８を用いて、ＭＦＰ１００、ＰＣ３００、ＨＭＤ４００、サーバー５００と通信する場合を例に説明するが、他の通信方法を用いて通信するようにしてもよい。具体的には、携帯情報装置２００、ＭＦＰ１００、ＰＣ３００、ＨＭＤ４００、サーバー５００が、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線装置を搭載する場合には、携帯情報装置２００が、ＭＦＰ１００、ＰＣ３００、ＨＭＤ４００、サーバー５００のいずれかと、１対１で通信するようにしてもよい。また、携帯情報装置２００を、ＭＦＰ１００、ＰＣ３００、ＨＭＤ４００、サーバー５００のいずれかと、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブル等の有線で接続するようにし、携帯情報装置２００が、ＭＦＰ１００、ＰＣ３００、ＨＭＤ４００、サーバー５００のいずれかと、１対１で通信するようにしてもよい。
【００６７】
フラッシュメモリー２０３は、ＣＰＵ２０１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＣＰＵ２０１は、フラッシュメモリー２０３に記録されたプログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行する。
【００６８】
位置検出部２０９は、携帯情報装置２００の現在位置を検出する。具体的には、位置検出部２０９は、全地球測位システム（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信機であり、複数のＧＰＳ衛星からの電波を受信することにより、現在位置を測定する。位置検出部２０９は、測定した現在位置を示す値、たとえば、緯度と経度とをＣＰＵ２０１に出力する。
【００６９】
方位検出部２１０は、携帯情報装置２００のカメラ２０２が向く方向の方位を検出する。具体的には、方位検出部２１０は、地磁気を計測する地磁気センサーである。方位検出部２１０は、検出した方位をＣＰＵ２０１に出力する。方位検出部２１０は、カメラ２０２の撮像方向、換言すれば、カメラ２０２のレンズの光軸が向く方向を検出可能なように携帯情報装置２００に設置される。なお、方位検出部２１０は、地磁気センサーに限らず、ジャイロセンサー等を用いるようにしてもよい。
【００７０】
外部記憶装置２１１は、携帯情報装置２００に着脱自在であり、遠隔操作プログラムを記憶したＣＤ−ＲＯＭ２１１Ａが装着可能である。ＣＰＵ２０１は、外部記憶装置２１１を介してＣＤ−ＲＯＭ２１１Ａにアクセス可能である。ＣＰＵ２０１は、外部記憶装置２１１に装着されたＣＤ−ＲＯＭ２１１Ａに記録された遠隔操作プログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行することが可能である。
【００７１】
なお、ＣＰＵ２０１が実行するプログラムとして、フラッシュメモリー２０３またはＣＤ−ＲＯＭ２１１Ａに記録されたプログラムについて説明したが、ネットワーク２に接続された他のコンピューターが、フラッシュメモリー２０３に記憶されたプログラムを書換えたプログラム、または、追加して書き込んだ新たなプログラムであってもよい。さらに、携帯情報装置２００が、ネットワーク２に接続された他のコンピューターからダウンロードしたプログラムでもよい。ここでいうプログラムは、ＣＰＵ２０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００７２】
なお、ＣＰＵ２０１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ２１１Ａに限られず、光ディスク（ＭＯ／ＭＤ／ＤＶＤ）、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの半導体メモリーであってもよい。
【００７３】
図５は、本実施の形態におけるＨＭＤのハードウェア構成の一例を示すブロック図である。図５を参照して、本実施の形態におけるＨＭＤ４００は、ＨＭＤ４００の全体を制御するためのＣＰＵ４０１と、カメラ４０２と、データを不揮発的に記憶するフラッシュメモリー４０３と、情報を表示する表示部４０４と、無線ＬＡＮＩ／Ｆ４０５と、を含む。
【００７４】
カメラ４０２は、レンズおよび光電変換素子を備え、レンズで集光した光を光電変換素子に結像し、光電変換素子は受光した光を光電変換して画像データをＣＰＵ４０１に出力する。光電変換素子は、ＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサー等である。なお、ここでは、カメラ４０２は、静止画像を撮像する例を説明するが、動画像を撮像するビデオカメラを用いてもよい。ビデオカメラを用いる場合には、動画像に含まれる複数のフレームのうちから１つを静止画像として取り扱えばよい。
【００７５】
表示部４０４は、透明な部材からなる液晶表示装置（ＬＣＤ）であり、ＨＭＤ４００のレンズ部分に埋め込まれている。表示部４０４の表示面は、カメラ４０２の光軸を基準に定まる位置に配置される。具体的には、カメラ４０２の撮像範囲は、ユーザーがＨＭＤ４００を装着した場合における視界と同じに設定される。このため、カメラ４０２において撮像して得られる画像は、ユーザーが実際に見る視界内の画像と同じになる。このため、カメラ４０２が出力する画像からユーザーの視界内の位置を特定することができる。表示部４０４の表示面は、レンズ部分においてユーザーがＨＭＤ４００を装着した場合における視界と同じに設定される。このため、ユーザーの視界内の任意の位置に画像を表示することができる。
【００７６】
無線ＬＡＮＩ／Ｆ４０５は、無線局３と通信し、ＨＭＤ４００をネットワーク２に接続するためのインターフェースである。フラッシュメモリー４０３に、サーバー５００のＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、ＨＭＤ４００は、サーバー５００と通信することができ、データの送受信が可能となる。なお、本実施の形態においては、ＨＭＤ４００が無線ＬＡＮＩ／Ｆ４０５を用いて、サーバー５００と通信する場合を例に説明するが、他の通信方法を用いて通信するようにしてもよい。具体的には、ＨＭＤ４００およびサーバー５００が、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線装置を搭載する場合には、ＨＭＤ４００が、サーバー５００と、１対１で通信するようにしてもよい。
【００７７】
フラッシュメモリー４０３は、ＣＰＵ４０１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＣＰＵ４０１は、フラッシュメモリー４０３に記録されたプログラムを、ＣＰＵ４０１が備えるＲＡＭにロードして実行する。
【００７８】
図６は、本実施の形態におけるサーバーのハードウェア構成の一例を示すブロック図である。図６を参照して、サーバー５００は、サーバー５００の全体を制御するためのＣＰＵ５０１と、ＣＰＵ５０１が実行するためのプログラムを記憶するＲＯＭ５０２と、ＣＰＵ５０１の作業領域として使用されるＲＡＭ５０３と、データを不揮発的に記憶するＨＤＤ５０４と、ＣＰＵ５０１をネットワーク２に接続する通信部５０５と、情報を表示する表示部５０６と、ユーザーの操作の入力を受け付ける操作部５０７と、を含む。
【００７９】
本実施の形態における拡張現実表示システム１においては、サーバー５００に拡張現実情報を記憶し、拡張現実表示装置として機能する携帯情報装置２００が、サーバー５００から拡張現実情報をダウンロードして、表示する。
【００８０】
図７は、第１の実施の形態における拡張現実情報のフォーマットの一例を示す図である。図７を参照して、拡張現実情報は、位置情報の項目と、コンテンツの項目と、関連情報の項目と、領域情報の項目と、を含む。位置情報の項目には、地理的な位置を示す位置情報が設定される。コンテンツの項目には、コンテンツが設定される。ここでは、コンテンツを、位置情報の項目に設定された位置情報で特定される位置で被写体を撮像した撮像画像を背景画像として設定される場合を例に説明する。関連情報の項目は、コンテンツ中のオブジェクトに関連する関連情報が設定される。ここでは、コンテンツの項目に設定された背景画像中の被写体に関連する情報が設定される。領域情報の項目は、コンテンツ中のオブジェクトに対して相対位置で定まる表示領域を示す領域情報が設定される。ここでは、コンテンツの項目に設定された背景画像中の被写体に対して相対的な位置で定める領域の位置を示す領域情報が設定される。
【００８１】
拡張現実情報をサーバー５００に記憶させる方法の具体例は後述するが、サーバー５００には、予め拡張現実情報が記憶されている。ここでは、会議室Ａにおいて、ホワイトボードを撮像する際に、その撮像時の会議室Ａの位置を示す位置情報が位置情報の項目に設定され、ホワイトボードを被写体にして撮像された撮像画像がコンテンツの項目に設定され、会議の資料である画像が関連情報の項目に設定され、撮像画像中に被写体として含まれるホワイトボードの描画面の全体を含む領域が領域情報の項目に設定された拡張現実情報がサーバー５００に登録されている場合を例に説明する。
【００８２】
図８は、第１の実施の形態における拡張現実表示装置として機能する携帯情報装置２００が備えるＣＰＵの機能の概要の一例を示すブロック図である。図８に示す機能は、拡張現実表示装置として機能する携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリー２０３に記憶された拡張現実表示プログラムを実行することにより、ＣＰＵ２０１に形成される機能である。図８を参照して、ＣＰＵ２０１は、表示側コンテンツ取得部２５１と、携帯情報装置２００の現在の地理的な位置を取得する位置取得部２５３と、サーバー５００から拡張現実情報を取得する拡張現実情報取得部２５５と、表示部１６１を制御する表示制御部２５７と、を含む。
【００８３】
表示側コンテンツ取得部２５１は、カメラ２０２を制御する撮像制御部２５９を含む。撮像制御部２５９は、カメラ２０２を制御し、カメラ２０２が被写体を撮像して出力する撮像画像を取得し、取得された撮像画像を、表示制御部２５７および拡張現実情報取得部２５５に出力する。表示制御部２５７は、撮像制御部２５９から撮像画像が入力されることに応じて、表示部２０６を制御し、撮像画像を表示部２０６に表示させる。
【００８４】
位置取得部２５３は、位置検出部２０９を制御し、位置検出部２０９に現在位置を測定させ、位置検出部２０９が出力する現在位置を示す位置情報を取得する。位置取得部２５３は、取得された位置情報を拡張現実情報取得部２５５に出力する。
【００８５】
拡張現実情報取得部２５５は、サーバー５００から拡張現実情報を取得する。拡張現実情報取得部２５５は、拡張現実情報要求部２６１と、拡張現実情報受信部２６３と、を含む。拡張現実情報取得部２５５は、位置取得部２５３から位置情報が入力され、撮像制御部２５９から撮像画像が入力される。拡張現実情報取得部２５５は、位置情報と撮像画像とを含む拡張現実情報送信要求を、無線ＬＡＮＩ／Ｆ２０８を介して、サーバー５００に送信する。携帯情報装置２００のフラッシュメモリー２０３に、サーバー５００のＩＰアドレスを予め記憶しておけばよい。拡張現実情報送信要求を受信するサーバー５００の動作の詳細は後述するが、拡張現実情報送信要求に含まれる位置情報で特定される位置から所定の範囲内に存在する位置を示す位置情報を含む拡張現実情報であって、撮像画像と被写体が同一の背景画像を含む拡張現実情報を抽出し、抽出された拡張現実情報を返信する。
【００８６】
拡張現実情報受信部２６３は、無線ＬＡＮＩ／Ｆ２０８がサーバー５００から拡張現実情報を受信すると、拡張現実情報を表示制御部２５７に出力する。
【００８７】
表示制御部２５７は、撮像制御部２５９から撮像画像が入力されることに応じて、撮像画像を表示部２０６に表示する。表示制御部２５７は、拡張現実情報取得部２５５から拡張現実情報が入力される場合、拡張現実情報の関連情報の項目に設定された関連情報を表示部２０６に表示する。
【００８８】
表示制御部２５７は、現実表示領域決定部２５８を含む。現実表示領域決定部２５８は、拡張現実情報の領域情報の項目に設定された領域情報に基づいて、拡張現実情報のコンテンツの項目に設定された背景画像中の被写体に対する相対位置を特定し、撮像画像中の被写体を基準にして、特定された相対位置に存在する領域を現実表示領域に決定する。
【００８９】
表示制御部２５７は、撮像画像中で決定された現実表示領域に拡張現実情報の関連情報の項目に設定された関連情報を表示する。具体的には、表示制御部２５７は、撮像画像中で、現実表示領域に、関連情報の画像を合成した合成画像を生成し、生成された合成画像を表示部２０６に表示する。
【００９０】
なお、現実表示領域決定部２５８は、拡張現実情報に含まれるコンテンツの項目に設定された背景画像中で、領域情報の項目に設定された領域情報で特定される領域を特定し、撮像画像中で、背景画像中で特定された領域と類似する領域を、関連情報を表示するための領域に決定するようにしてもよい。
【００９１】
ここで、ユーザーが会議室Ａにおいて携帯情報装置２００のカメラ２０２で、ホワイトボードを被写体にして撮像する場合、会議室Ａの位置を示す位置情報が位置情報の項目に設定され、ホワイトボードを被写体にして撮像された背景画像がコンテンツの項目に設定され、会議の資料である画像が関連情報に設定され、背景画像中のホワイトボードの描画面の全体を含む領域が領域情報の項目に設定された拡張現実情報がサーバー５００から受信される場合を例に説明する。この場合、撮像画像中のホワイトボードの描画面に関連情報である会議の資料の画像を合成した合成画像を表示部２０６に表示する。実際には、ホワイトボードの描画面には文字などが記載されていなくても、また、画像が投影されていなくても、携帯情報装置２００の表示部２０６には、撮像画像中のホワイトボードの描画面の領域に会議の資料の画像を合成した合成画像が表示される。
【００９２】
図９は、背景画像の一例を示す図である。図９に示す背景画像は、サーバー５００に登録された拡張現実情報のコンテンツの項目に設定された背景画像を示し、会議室Ａにおいて、ホワイトボードを被写体として撮像した背景画像である。図９を参照して、背景画像６００は、ホワイトボード６０１、時計６０３、ＭＦＰ６０５を被写体として含む。ホワイトボード６０１は、描画面６０１を含む。
【００９３】
図１０は、撮像画像の一例を示す図である。図１０に示す撮像画像は、会議室Ａにおいて携帯情報装置２００でホワイトボード６０１を被写体として撮像して得られる画像である。図１０を参照して、撮像画像７００は、ホワイトボード６０１、時計６０３、ＭＦＰ６０５およびポスター６０７を被写体として含む。ホワイトボード６０１は、描画面６０１を含む。図１０に示す撮像画像は、会議室Ａにおいて撮像して得られる画像であり、撮像した位置が、会議室Ａである。また、撮像画像７００は、被写体としてホワイトボード６０１を含む。
【００９４】
図１１は、合成画像の一例を示す図である。図１１に示す合成画像は、携帯情報装置２００において、図１０に示す撮像画像が取得され、図９に示す背景画像を含む拡張現実情報がサーバー５００から取得された場合に生成され、表示部２０６に表示される合成画像を示す。図１１を参照して、図１０に示した撮像画像中のホワイトボード６０１の描画面６０１Ａの領域に関連情報６１０を含む。
【００９５】
次にサーバー５００に拡張現実情報を登録する方法の一例を示す。ここでは、基本情報登録装置がサーバーに基本情報を登録し、その後、拡張現実情報生成装置がサーバー５００に登録された基本情報をもとに拡張現実情報を生成し、サーバー５００に登録する場合を例に説明する。基本情報登録装置を、携帯情報装置２００としており、拡張現実情報生成装置をＭＦＰ１００としている。
【００９６】
図１２は、基本情報のフォーマットの一例を示す図である。図１２を参照して、基本情報は、拡張現実情報の一部である位置情報の項目と、コンテンツの項目と、を含む。
【００９７】
図１３は、第１の実施の形態における基本情報登録装置として機能する携帯情報装置２００が備えるＣＰＵ２０１の機能の一例を示すブロック図である。図１３に示す機能は、基本情報登録装置として機能する携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリー２０３に記憶された基本情報登録プログラムを実行することにより、ＣＰＵ２０１に形成される機能である。なお、図８に示した機能と同じ機能には同じ符号を付し、重複する説明は繰り返さない。
【００９８】
図１３を参照して、基本情報登録装置として機能する携帯情報装置２００が備えるＣＰＵ２０１は、位置取得部２５３と、撮像制御部２５９、基本情報登録部２８１と、を含む。撮像制御部２５９は、カメラ２０２が被写体を撮像して出力する撮像画像を取得し、取得された撮像画像を、基本情報登録部２８１に出力する。位置取得部２５３は、カメラ２０２が被写体を撮像した時点に位置検出部２０９が出力する現在位置を示す位置情報を取得し、取得された位置情報を基本情報登録部２８１に出力する。
【００９９】
基本情報登録部２８１は、位置取得部２５３から入力される位置情報を位置情報の項目に設定し。撮像制御部２５９から入力される撮像画像をコンテンツの項目に設定することにより基本情報を生成し、生成された基本情報を含む基本情報登録要求を、無線ＬＡＮＩ／Ｆ２０８を介して、サーバー５００に送信する。
【０１００】
例えば、ユーザーが携帯情報装置２００を携帯し、会議室Ａで、会議室Ａに存在するホワイトボードを被写体として撮像すれば、会議室Ａの位置情報とを含む基本情報と、そのホワイトボードを被写体とした撮像画像と、がサーバー５００に登録される。
【０１０１】
図１４は、第１の実施の形態における拡張現実情報登録装置として機能するＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。図１４に示す機能は、拡張現実情報登録装置として機能するＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶された拡張現実情報登録プログラムを実行することにより、ＣＰＵ１１１に形成される機能である。図１４を参照して、ＣＰＵ１１１は、生成側コンテンツ取得部５１と、領域決定部５３と、関連情報取得部５５と、拡張現実情報生成部５７と、登録部５９と、を含む。
【０１０２】
生成側コンテンツ取得部５１は、位置受付部６１と、基本情報取得部６３と、を含む。
位置受付部６１は、ユーザーにより指示される地理的な位置を受け付ける。位置受付部６１は、表示部１６１に二次元の地図を表示し、表示された地図でユーザーにより指示された位置を、受け付ける。例えば、表示された地図で、会議室Ａの場所が指示されると、会議室Ａの地理的な位置を受け付ける。位置受付部６１は、受け付けられた地理的な位置を示す位置情報を基本情報取得部６３に出力する。会議室Ａの地理的な位置を示す位置情報は、会議室Ａの緯度と経度とで示される。
【０１０３】
基本情報取得部６３は、位置受付部６１から位置情報が入力されることに応じて、サーバー５００から基本情報を取得し、取得された基本情報を領域決定部５３および拡張現実情報生成部５７に出力する。基本情報取得部６３は、位置受付部６１から入力される位置情報を含む基本情報送信要求を、無線ＬＡＮＩ／Ｆ２０８を介して、サーバー５００に送信する。基本情報送信要求を受信するサーバー５００の詳細は後述するが、登録されている基本情報のうち、基本情報送信要求に含まれる位置情報で特定される位置から所定の範囲内の位置を示す位置情報を含む基本情報を返信する。基本情報取得部６３は、無線ＬＡＮＩ／Ｆ２０８がサーバー５００から受信する基本情報を取得すると、基本情報を領域決定部５３に出力する。例えば、ユーザーが会議室Ａの場を指示する場合、会議室Ａの地理的な位置を示す位置情報を含み、ホワイトボードを被写体として撮像された背景画像を含む基本情報を取得する。
【０１０４】
領域決定部５３は、生成側コンテンツ表示部６５と、表示領域受付部６７と、プレビュー部６９と、を含む。生成側コンテンツ表示部６５は、基本情報取得部６３から基本情報が入力されることに応じて、基本情報のコンテンツの項目に設定された背景画像を表示部１６１に表示する。ここでは、ユーザーが地図中で会議室Ａの場所を指示し、ホワイトボードを被写体として撮像された背景画像が表示部１６１に表示される場合を例に説明する。生成側コンテンツ表示部６５は、背景画像を表示領域受付部６７およびプレビュー部６９に出力する。
【０１０５】
表示領域受付部６７は、ユーザーにより指示される表示領域を受け付ける。表示領域は、背景画像中の領域である。表示領域受付部６７は、ユーザーが操作部１６３を操作して、表示部１６１に表示された背景画像中の一部を指示すれば、ユーザーにより指示された領域を、表示領域として受け付ける。表示領域は、例えば、点であってもよいし、任意の形状で囲まれた領域であってもよい。ここでは、表示領域を矩形の領域としている。表示領域は、後述する関連情報を表示するための領域である。関連情報は、背景画像中に含まれる被写体に関連する情報である。このため、表示領域は、背景画像中に含まれる被写体を含む領域、または、背景画像中に含まれる被写体から所定の範囲内にある領域である。このため、ユーザーが背景画像内の被写体の一部を指示すれば、被写体を含む矩形の領域を表示領域として受け付けるようにしてもよい。表示領域受付部６７は、受け付けられた表示領域を、プレビュー部６９および拡張現実情報生成部５７に出力する。表示領域は、例えば、背景画像中の矩形の領域とする場合、矩形の領域の２つの対角の頂点の座標とすればよい。
【０１０６】
プレビュー部６９は、生成側コンテンツ表示部６５から背景画像が入力され、表示領域受付部６７から表示領域が入力され、次に説明する関連情報取得部５５から関連情報が入力される。プレビュー部６９は、背景画像の表示領域に、関連情報の画像を合成した合成画像を生成し、生成された合成画像を表示部１６１に表示する。ユーザーは、背景画像に重畳して表示される関連情報を見ることで、背景画像中で関連情報が表示される位置を確認することができる。関連情報が表示される位置を、変更する場合には、操作部１６３を操作して、表示領域を変更する指示を入力すればよい。これにより、表示領域受付部６７によって、変更後の表示領域が受け付けられる。
【０１０７】
関連情報取得部５５は、関連情報を取得し、取得された関連情報をプレビュー部６９および拡張現実情報生成部５７に出力する。関連情報は、ユーザーにより定められた情報であり、文字、記号、図形または写真、またはそれらの組み合わせである。
【０１０８】
関連情報取得部５５は、入力受付部７１と、原稿読取制御部７３と、データ取得部７５と、を含む。入力受付部７１は、ユーザーが操作部１６３に入力する文字または記号を関連情報として受け付ける。原稿読取制御部７３は、原稿読取部１３０が原稿を読み取って出力する画像を関連情報として受け付ける。データ取得部７５は、ＨＤＤ１１５に記憶されたデータのうちユーザーにより指定されたデータを関連情報として受け付ける。ＨＤＤ１１５に記憶されるデータは、別のコンピューターで作成された文書または図形等のデータ、デジタルカメラで撮像して得られる写真等のデータ、インターネットに接続されたサーバーからダウンロードされたデータを含む。ここでは、ユーザーが、会議で使用するために発表用のデータの画像が形成された用紙を原稿とし、原稿読取部１３０に読み取らせ、原稿読取部１３０が出力する画像を関連情報とする場合を例に説明する。
【０１０９】
拡張現実情報生成部５７は、基本情報取得部６３から基本情報が入力され、表示領域受付部６７から表示領域が入力され、関連情報取得部５５から関連情報が入力される。拡張現実情報生成部５７は、基本情報に含まれる位置情報を位置情報の項目に設定し、基本情報に含まれる背景画像をコンテンツの項目に設定し、関連情報取得部５５から入力される関連情報を関連情報の項目に設定し、表示領域受付部６７から入力される領域情報を領域情報の項目に設定した拡張現実情報を生成する。拡張現実情報生成部５７は、生成された拡張現実情報を含む拡張現実情報登録要求を、無線ＬＡＮＩ／Ｆ２０８を介してサーバー５００に送信する。
【０１１０】
図１５は、第１の実施の形態におけるサーバーが備えるＣＰＵが有する機能の一例を示すブロック図である。図１５に示す機能は、サーバー５００が備えるＣＰＵ５０１が、ＲＯＭ５０２またはＨＤＤ５０４に記憶された拡張現実情報管理プログラムを実行することにより、ＣＰＵ５０１に形成される機能である。図１５を参照して、ＣＰＵ５０１は、基本情報登録要求受信部５５１と、基本情報登録部５５３と、基本情報送信要求受信部５５５と、基本情報抽出部５５７と、基本情報送信部５５９と、拡張現実情報登録要求受信部５６１と、拡張現実情報登録部５６３と、拡張現実情報送信要求受信部５６５と、拡張現実情報抽出部５６７と、拡張現実情報送信部５６９と、を含む。
【０１１１】
基本情報登録要求受信部５５１は、通信部５０５が基本情報登録装置として機能する携帯情報装置２００が送信する基本情報登録要求を受信することに応じて、基本情報登録要求に含まれる基本情報を基本情報登録部５５３に出力する。基本情報登録部５５３は、基本情報をＨＤＤ５０４に記憶することにより基本情報を登録する。
【０１１２】
基本情報送信要求受信部５５５は、通信部５０５が拡張現実情報登録装置として機能するＭＦＰ１００が送信する基本情報送信要求を受信することに応じて、基本情報送信要求に含まれる位置情報を基本情報抽出部５５７に出力する。基本情報抽出部５５７は、位置情報が入力されることに応じて、ＨＤＤ５０４に記憶されている基本情報のうちから、基本情報送信要求に含まれる位置情報から所定の範囲内の位置を示す位置情報を含む基本情報を抽出する。基本情報抽出部５５７は、抽出された基本情報を基本情報送信部５５９に出力する。基本情報送信部５５９は、基本情報抽出部５５７によって抽出された基本情報を、基本情報送信要求を送信してきたＭＦＰ１００に、通信部５０５を介して送信する。
【０１１３】
拡張現実情報登録要求受信部５６１は、通信部５０５が拡張現実情報登録装置として機能するＭＦＰ１００が送信する拡張現実情報登録要求を受信することに応じて、拡張現実情報登録要求に含まれる拡張現実情報を拡張現実情報登録部５６３に出力する。拡張現実情報登録部５６３は、拡張現実情報をＨＤＤ５０４に記憶することにより拡張現実情報を登録する。
【０１１４】
拡張現実情報送信要求受信部５６５は、通信部５０５が拡張現実表示装置として機能する携帯情報装置２００が送信する拡張現実情報送信要求を受信することに応じて、拡張現実情報送信要求を拡張現実情報抽出部５６７に出力する。
【０１１５】
拡張現実情報抽出部５６７は、拡張現実情報送信要求が入力されることに応じて、拡張現実情報送信要求に含まれる位置情報および撮像画像に基づいて、ＨＤＤ５０４に記憶されている拡張現実情報のうちから１つの拡張現実情報を抽出する。拡張現実情報送信部５６９は、拡張現実情報抽出部５６７によって抽出された拡張現実情報を、拡張現実情報送信要求を送信してきた携帯情報装置２００に、通信部５０５を介して送信する。
【０１１６】
図１６は、第１の実施の形態における拡張現実情報抽出部５６７の詳細な機能の一例を示すブロック図である。図１６を参照して、拡張現実情報抽出部５６７は、位置基準抽出部５７１と、被写体基準抽出部５７３と、を含む。
【０１１７】
位置基準抽出部５７１は、拡張現実情報送信要求受信部５６５から入力される拡張現実情報送信要求に含まれる位置情報で特定される位置から所定の範囲内に存在する位置を示す位置情報を含む拡張現実情報を抽出し、抽出された当分１以上の拡張現実情報を、被写体基準抽出部５７３に出力する。
【０１１８】
被写体基準抽出部５７３は、位置基準抽出部５７１から入力される１以上の拡張現実情報のうちから、拡張現実情報送信要求受信部５６５から入力される拡張現実情報送信要求に含まれる撮像画像と被写体が同一の背景画像を含む拡張現実情報を抽出する。被写体基準抽出部５７３は、撮像画像と拡張現実情報のコンテンツの項目に設定された背景画像とのそれぞれから特徴的な形状を抽出し、撮像画像の特徴的な形状と同一または相似の形状が背景画像の特徴的な形状に含まれていれば、その拡張現実情報を、撮像画像と被写体が同一の背景画像を含む拡張現実情報に決定する。被写体基準抽出部５７３は、抽出された拡張現実情報を拡張現実情報送信部５６９に出力する。
【０１１９】
例えば、画像を２値化した２値化画像または画像を微分したエッジ画像を生成することにより、画像中に含まれる被写体の輪郭を抽出することができる。抽出された輪郭の形状を特徴的な形状として抽出すればよい。特徴的な形状が同一か否かは、サイズが異なる場合があるので、相似の場合を含む。エッジ画像は、隣接する画素間で濃度の差が所定のしきい値以上の画素の値を「１」とし、所定のしきい値より小さい画素の値を「０」とした画像である。例えば、背景画像および撮像画像に被写体としてホワイトボードを含む場合には、それぞれの画像は、ホワイトボードの輪郭を特徴的な形状として含む。
【０１２０】
なお、拡張現実情報送信要求受信部５６５から入力される拡張現実情報送信要求に位置情報が含まれていない場合がある。この場合には、被写体基準抽出部５７３は、ＨＤＤ５０４に記憶されている拡張現実情報のうちから拡張現実情報送信要求受信部５６５から入力される拡張現実情報送信要求に含まれる撮像画像と被写体が同一の背景画像を含む拡張現実情報を抽出する。
【０１２１】
図１７は、第１の実施の形態における基本情報登録処理の流れの一例を示すフローチャートである。基本情報登録処理は、基本情報登録装置として機能する携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリー２０３に記憶された基本情報登録プログラムを実行することにより、ＣＰＵ２０１により実行される処理である。図１７を参照して、ＣＰＵ２０１は、カメラ２０２を制御して被写体を撮像する（ステップＳ０１）。ユーザーが操作部２０７の備えるシャッターキーを指示すれば、ＣＰＵ２０１はカメラ２０２に被写体を撮像させる。次のステップＳ０２においては、カメラ２０２が出力する撮像画像を取得し、処理をステップＳ０３に進める。ステップＳ０３においては、カメラ２０２が被写体を撮像した時点に位置検出部２０９が出力する現在位置を示す位置情報を取得する。
【０１２２】
そして、基本情報を生成する（ステップＳ０４）。ステップＳ０２において取得された撮像画像を基本情報のコンテンツの項目に設定し、ステップＳ０３において取得された位置情報を位置情報の項目に設定することにより、基本情報を生成する。
【０１２３】
次のステップＳ０５においては、生成された基本情報をサーバー５００に登録する。具体的には、基本情報を含む基本情報登録要求を、無線ＬＡＮＩ／Ｆ２０８を介してサーバー５００に送信する。
【０１２４】
例えば、ユーザーが携帯情報装置２００を携帯し、会議室Ａで、会議室Ａに存在するホワイトボードを被写体として撮像すれば、そのホワイトボードを被写体とした撮像画像と、会議室Ａの位置情報とを含む基本情報がサーバー５００に登録される。
【０１２５】
図１８は、第１の実施の形態における拡張現実情報登録処理の流れの一例を示すフローチャートである。拡張現実情報登録処理は、拡張現実情報登録装置として機能するＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＨＤＤ１１５、ＣＤ−ＲＯＭ１１８に記憶された拡張現実情報登録プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図１８を参照して、ＣＰＵ１１１は、表示部１６１に二次元の地図を表示する（ステップＳ１１）。インターネットに接続されたコンピューターからダウンロードした地図を表示する。また、ＨＤＤ１１５に予め地図を記憶している場合には、その地図を表示するようにしてもよい。
【０１２６】
次のステップＳ１２においては、位置の指定を受け付ける。位置を受け付けるまで待機状態となり（ステップＳ１２でＮＯ）、位置を受け付けると（ステップＳ１２でＹＥＳ）、処理をステップＳ１３に進める。地図中でユーザーが操作部１６３を用いて指示する位置を、受け付ける。
【０１２７】
ステップＳ１３においては、受け付けられた位置を示す位置情報を取得し、処理をステップＳ１４に進める。ここでは、表示された地図中で、会議室Ａの場所が指示される場合を例に説明する。この場合、会議室Ａの地理的な位置を示す位置情報として、会議室Ａの緯度と経度とを取得する。
【０１２８】
ステップＳ１４においては、ステップＳ１３において取得された位置情報に対応する基本情報を取得する。具体的には、位置情報を含む基本情報送信要求を、通信Ｉ／Ｆ部１１２を介してサーバー５００に送信する。基本情報送信要求を受信するサーバー５００においては、サーバー５００に登録されている基本情報のうち、基本情報送信要求に含まれる位置情報で特定される位置から所定の範囲内の位置を示す位置情報を含む基本情報を返信する。次のステップＳ１５においては、無線ＬＡＮＩ／Ｆ２０８がサーバー５００から受信する基本情報を取得する。例えば、基本情報登録装置として機能する携帯情報装置２００によってサーバー５００に登録された基本情報であって、会議室Ａの地理的な位置を示す位置情報を含み、ホワイトボードを被写体として撮像された背景画像を含む基本情報を取得する。
【０１２９】
ステップＳ１６においては、基本情報のコンテンツの項目に設定された背景画像を表示部１６１に表示する。これにより、ホワイトボードを被写体として撮像された背景画像が表示部１６１に表示される。そして、ユーザーにより指示される表示領域を受け付ける（ステップＳ１７）。表示領域は、背景画像中の領域である。ユーザーが操作部１６３を操作して、表示部１６１に表示された背景画像中の一部を指示すれば、ユーザーにより指示された領域を、表示領域として受け付ける。表示領域は、点であってもよいし、任意の形状で囲まれた領域であってもよい。ここでは、表示領域を矩形の領域としている。ユーザーが背景画像内の被写体の一部を指示すれば、被写体を含む矩形の領域を表示領域として受け付けるようにしてもよい。
【０１３０】
ステップＳ１８においては、原稿読取指示を受け付けたか否かを判断する。操作部１６３が、ユーザーにより入力される原稿読取指示を検出すると、原稿読取指示を受け付ける。原稿読取指示を受け付けたならば処理をステップＳ１９に進めるが、そうでなければ処理をステップＳ２１に進める。ステップＳ１９においては、原稿読取部１３０に原稿を読み取らせる。そして、原稿を読み取って得られる画像を関連情報に設定し（ステップＳ２０）、処理をステップＳ２５に進める。
【０１３１】
ステップＳ２１においては、文字が入力されたか否かを判断する。操作部１６３が、ユーザーにより入力される文字を検出すると、文字が入力されたと判断する。文字が入力されたならば処理をステップＳ２２に進めるが、そうでなければ処理をステップＳ２３に進める。ステップＳ２２においては、操作部１６３が検出する文字列を関連情報に設定し、処理をステップＳ２５に進める。
【０１３２】
ステップＳ２３においては、データの指定を受け付けたか否かを判断する。操作部１６３が、ユーザーにより入力されるデータを指定する操作を検出すると、データの指定を受け付ける。データの指定を受け付けたならば処理をステップＳ２４に進めるが、そうでなければ処理をステップＳ１９に戻す。ステップＳ２４においては、ＨＤＤ１１５に記憶されたデータのうちユーザーにより指定されたデータを関連情報偽ってし、処理をステップＳ２５に進める。ＨＤＤ１１５に記憶されるデータは、別のコンピューターで作成された文書または図形等のデータ、デジタルカメラで撮像して得られる写真等のデータ、インターネットに接続されたサーバーからダウンロードされたデータを含む。ここでは、ユーザーが、会議で使用するために発表用のデータの画像が形成された用紙を原稿とし、原稿読取部１３０に読み取らせ、原稿読取部１３０が出力する画像を関連情報とする場合を例に説明する。
【０１３３】
ステップＳ２５においては、関連情報をプレビュー表示する。具体的には、ステップＳ１６において表示部１６１に表示された背景画像中のステップＳ１７において受け付けられた表示領域に、ステップＳ２０、ステップＳ２２およびステップＳ２４のいずれかで設定された関連情報の画像を表示する。ステップＳ２６においては、ユーザーによる許可を受け付けたか否かを判断する。許可を受け付けたならば（ステップＳ２６でＹＥＳ）、処理をステップＳ２８に進めるが、そうでなければ（ステップＳ２６でＮＯ）、処理をステップＳ２７に進める。ステップＳ２７においては、表示領域の修正を受け付け、処理をステップＳ２５に戻す。処理がステップＳ２７からステップＳ２５に進む場合、ステップＳ２５においては、ステップＳ２７において修正された後の表示領域に、関連情報の画像を表示する。
【０１３４】
ステップＳ２８においては、拡張現実情報を生成し、処理をステップＳ２９に進める。ステップＳ１４において取得された基本情報に含まれる位置情報および背景画像それぞれを位置情報の項目およびコンテンツの項目に設定し、ステップＳ２０、ステップＳ２２およびステップＳ２４のずれかで設定された関連情報を関連情報の項目に設定し、ステップＳ１７において受け付けられた表示領域を領域情報の項目に設定することによって、拡張現実情報を生成する。
【０１３５】
次のステップＳ２９においては、生成された拡張現実情報をサーバー５００に登録し、処理を終了する。具体的には、拡張現実情報を含む拡張現実情報登録要求を、無線ＬＡＮＩ／Ｆ２０８を介してサーバー５００に送信する。
【０１３６】
図１９は、第１の実施の形態における拡張現実情報管理処理の流れの一例を示すフローチャートである。拡張現実情報管理処理は、サーバー５００が備えるＣＰＵ５０１が、ＲＯＭ５０２またはＨＤＤ５０４に記憶された拡張現実情報管理プログラムを実行することにより、ＣＰＵ５０１により実行される処理である。図１９を参照して、ＣＰＵ５０１は、基本情報登録要求を受信したか否かを判断する（ステップＳ７１）。通信部５０５が基本情報登録装置として機能する携帯情報装置２００から基本情報登録要求を受信したならば処理をステップＳ７２に進めるが、そうでなければ処理をステップＳ７３に進める。ステップＳ７２においては、受信された基本情報登録要求に含まれる基本情報をＨＤＤ５０４に記憶することにより基本情報を登録し、処理をステップＳ７３に進める。
【０１３７】
ステップＳ７３においては、基本情報送信要求を受信したか否かを判断する。通信部５０５が拡張現実情報生成装置として機能するＭＦＰ１００から基本情報送信要求を受信したならば処理をステップＳ７４に進めるが、そうでなければ処理をステップＳ７７に進める。ステップＳ７４においては、受信された基本情報送信要求に含まれる位置情報を取得する。そして、ＨＤＤ５０４に記憶されている基本情報のうちから、取得された位置情報で定まる位置から所定の範囲内の位置を示す位置情報を含む基本情報を抽出する（ステップＳ７５）。ステップＳ７６においては、抽出された基本情報を基本情報送信要求を送信してきたＭＦＰ１００に、通信部５０５を介して送信し、処理をステップＳ７７に進める。
【０１３８】
ステップＳ７７においては、拡張現実情報登録要求を受信したか否かを判断する。通信部５０５が拡張現実情報生成装置として機能するＭＦＰ１００から拡張現実情報登録要求を受信したならば処理をステップＳ７８に進めるが、そうでなければ処理をステップＳ７９に進める。ステップＳ７８においては、受信された拡張現実情報登録要求に含まれる拡張現実情報をＨＤＤ５０４に記憶することにより拡張現実情報を登録し、処理をステップＳ７９に進める。
【０１３９】
ステップＳ７９においては、拡張現実情報送信要求を受信したか否かを判断する。通信部５０５が拡張現実表示装置として機能する携帯情報装置２００から拡張現実情報送信要求を受信したならば処理をステップＳ８０に進めるが、そうでなければ処理を終了する。ステップＳ８０においては、受信された拡張現実情報送信要求に含まれる位置情報を取得する。そして、ＨＤＤ５０４に記憶されている拡張現実情報のうちから、取得された位置情報で定まる位置から所定の範囲内の位置を示す位置情報を含む拡張現実情報を抽出する（ステップＳ８１）。
【０１４０】
次のステップＳ８２においては、ステップＳ８１において抽出された拡張現実情報のうちからステップＳ７９において受信された拡張現実情報送信要求に含まれる撮像画像の被写体と同一の被写体とする背景画像を含む拡張現実情報を抽出する。撮像画像と背景画像とのそれぞれから特徴的な形状を抽出し、撮像画像の特徴的な形状と同一または相似の形状が背景画像の特徴的な形状に含まれていれば、撮像画像と拡張現実情報の被写体が同一と判断する。例えば、画像を２値化した２値化画像または画像を微分したエッジ画像を生成することにより、画像中に含まれる被写体の輪郭を抽出することができる。抽出された輪郭の形状を特徴的な形状として抽出すればよい。特徴的な形状が同一か否かは、サイズが異なる場合があるので、相似の場合を含む。
【０１４１】
次のステップＳ８３においては、抽出された拡張現実情報を拡張現実情報送信要求を送信してきた携帯情報装置２００に、通信部５０５を介して送信し、処理を終了する。
【０１４２】
図２０は、第１の実施の形態における拡張現実表示処理の流れの一例を示すフローチャートである。第１の実施の形態における拡張現実表示処理は、携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリー２０３に記憶された拡張現実表示プログラムを実行することにより、ＣＰＵ２０１により実行される処理である。図２０を参照して、ＣＰＵ２０１は、カメラ２０２を制御して被写体を撮像する（ステップＳ３１）。ユーザーが操作部２０７の備えるシャッターキーを指示すれば、ＣＰＵ２０１はカメラ２０２に被写体を撮像させる。被写体を撮像するまで待機状態となり（ステップＳ３１でＮＯ）、被写体を撮像したならば（ステップＳ３１でＹＥＳ）、処理をステップＳ３２に進める。ステップＳ３２においては、カメラ２０２が出力する撮像画像を取得し、処理をステップＳ３３に進める。ステップＳ３３においては、撮像方向を取得する。方位検出部２１０を制御して、方位検出部２１０にカメラ２０２の撮像方向を検出させる。次のステップＳ３４においては、位置検出部２０９を制御して、カメラ２０２が被写体を撮像した時点に位置検出部２０９が出力する現在位置を示す位置情報を取得する。
【０１４３】
そして、拡張現実情報送信要求を送信する（ステップＳ３５）。ステップＳ３２において取得された撮像画像と、ステップＳ３４において取得された位置情報と、を含む拡張現実情報送信要求を、無線ＬＡＮＩ／Ｆ２０８を介してサーバー５００に送信する。
【０１４４】
次のステップＳ３６においては、サーバー５００が返信する拡張現実情報を受信したか否かを判断する。拡張現実情報を受信すると（ステップＳ３６でＹＥＳ）、処理をステップＳ３７に進めるが、そうでなければ処理をステップＳ４１に進める。ステップＳ４１においては、ステップＳ３２において取得された撮像画像を表示部２０６に表示し、処理をステップＳ４０に進める。
【０１４５】
なお、拡張現実情報送信要求に、位置情報に加えてカメラ２０２の撮像方向を含めるようにし、サーバー５００において、現在位置および取得された方位で定まる範囲内の位置を示す位置情報が定められた拡張現実情報を抽出するようにしてもよい。カメラ２０２の撮像方向は、方位検出部２１０を制御し、方位検出部２１０にカメラ２０２の撮像方向を検出させ、方位検出部２１０がカメラ２０２が撮像した時点で出力する方位を取得する。また、ステップＳ３５において複数の拡張現実情報を取得する場合、複数の拡張現実情報を取得した後に、携帯情報装置２００のカメラ２０２の撮像方向を変更することによって、ステップＳ３５において取得された複数の拡張現実情報のうちから、現在位置および取得された方位で定まる範囲内の位置を示す位置情報が定められた拡張現実情報を抽出するようにしてもよい。
【０１４６】
ステップＳ３７においては、撮像画像中の現実表示領域を特定する。具体的には、拡張現実情報の領域情報の項目に設定された領域情報に基づいて、拡張現実情報のコンテンツの項目に設定された背景画像中の被写体に対する相対位置を特定し、撮像画像中の被写体を基準にして、特定された相対位置に存在する領域を現実表示領域に決定する。
【０１４７】
次のステップＳ３８においては、撮像画像に、特定された撮像画像中の現実表示領域に関連情報の画像を合成した合成画像を生成する。次のステップＳ３９においては、表示部１６１に、生成された合成画像を表示し、処理をステップＳ４０に進める。
【０１４８】
ステップＳ４０においては、拡張現実表示処理を終了する指示を受け付けたか否かを判断する。終了指示を受け付けたならば処理を終了するが、そうでなければ処理をステップＳ３１に戻す。
【０１４９】
また、ステップＳ３６において、複数の拡張現実情報を受信する場合は、ステップＳ３９において、複数の拡張現実情報それぞれの関連情報の画像を、合成した合成画像を表示し、ユーザーが複数の関連情報の画像のうちから選択する場合に、選択された１つの関連情報の画像のみを合成した合成画像を表示するようにすればよい。
【０１５０】
＜第１の実施の形態の変形例＞
上述した第１の実施の形態においては、拡張現実表示装置の一例として携帯情報装置２００を例に説明したが、ＨＭＤ４００を拡張現実表示装置として機能させるようにしてもよい。この場合、ＨＭＤ４００が備えるＣＰＵ４０１は、図８に示した携帯情報装置２００が備えるＣＰＵ２０１が有する機能と同様の機能を有するが、表示制御部２５７が異なる。
【０１５１】
ＨＭＤ４００が備えるＣＰＵ４０１が有する表示制御部２５７は、撮像制御部２５９から撮像画像が入力されることに応じて、撮像画像を表示部２０６に表示することなく、拡張現実情報受信部２６３から入力される拡張現実情報に基づいて、拡張現実情報に含まれる関連情報の項目に設定された関連情報を表示部４０４に表示する。ＨＭＤ４００を装着するユーザーは、撮像画像と同じ画像を、表示部４０４の表示面を通して実際に見ている。このため、現実表示領域決定部２５８によって撮像画像中で決定された現実表示領域に対応する領域を表示部４０４の表示面中で特定し、表示部４０４の表示面中で特定した領域に関連情報の画像を表示する。
【０１５２】
ここで、ＨＭＤ４００を装着するユーザーが、会議室Ａにおいてホワイトボードを目視すれば、ホワイトボードがカメラ４０２の被写体となる。この場合、会議室Ａの位置を示す位置情報が位置情報の項目に設定され、ホワイトボードを被写体にして撮像された背景画像がコンテンツの項目に設定され、会議の資料である画像が関連情報に設定され、背景画像中のホワイトボードの描画面の全体を含む領域が領域情報の項目に設定された拡張現実情報がサーバー５００から受信される。そして、表示部４０４に関連情報である会議の資料の画像が表示されると、ユーザーは、表示部４０４の表示面を透過して見るホワイトボードの描画面に、表示部４０４の表示面に表示された会議の資料の画像を見ることになる。
【０１５３】
また、変形例においては、ＨＭＤ４００が備えるＣＰＵ４０１は、図２０に示した拡張現実表示処理を実行するが、ステップＳ３８、ステップＳ３９およびステップＳ４１が異なる。ＨＭＤ４００が備えるＣＰＵ４０１は、ステップＳ３８において、合成画像を生成することなく、ステップＳ３７において特定された撮像画像中の現実表示領域に対応する表示部４０４の表示面中の領域を特定する。そして、次のステップＳ３９において、特定された表示部４０４の表示面中の領域に、関連情報の画像を表示し、処理をステップＳ４０に進める。また、ステップＳ４１においては、何も表示することなく、処理をステップＳ４０に進める。
【０１５４】
以上説明したように、第１の実施の形態における拡張現実表示システム１に含まれるサーバー５００は、背景画像（第１のコンテンツ）と、背景画像中の被写体（オブジェクト）に対して相対的な位置で定まる表示領域を示す領域情報と、被写体に関連する関連情報とを含む拡張現実情報を記憶しており、撮像画像（第２のコンテンツ）を携帯情報装置２００（拡張現実表示装置）から受信すると、記憶された拡張現実情報のうちから撮像画像中の被写体と同じ被写体を有する背景画像を含む拡張現実情報を抽出し、抽出された拡張現実情報を携帯情報装置２００に送信する。このため、携帯情報装置２００において、撮像画像中の被写体（ホワイトボード）に対する相対位置が、背景画像中の被写体（ホワイトボード）と表示領域（ホワイトボードの描画面）との相対位置と同じになる位置に、関連情報を表示することができる。このため、携帯情報装置２００において得られる撮像画像中で拡張現実情報により定められた位置に関連情報を表示することができる。
【０１５５】
また、拡張現実情報生成装置として機能するＭＦＰ１００によって、外部の装置（ＰＣ３００）から取得された背景画像（コンテンツ）中の被写体（ホワイトボード）に対する相対位置で定まる表示領域（ホワイトボードの描画面）が決定され、被写体に関連する関連情報が取得され、背景画像と、表示領域を示す領域情報と、関連情報とを関連付けた拡張現実情報が生成される。このため、背景画像中の被写体に対して、関連情報と被写体との相対位置とを関連付けることができる。また、拡張現実表示装置として機能する携帯情報装置２００によって、撮像画像（第１のコンテンツ）が取得され、撮像画像中の被写体（オブジェクト）と同一の被写体を有する背景画像（第２のコンテンツ）を含む拡張現実情報がサーバー５００から取得され、撮像画像中の被写体（ホワイトボード）に対する相対位置が、背景画像中の被写体と表示領域との相対位置と同じ関係となる現実表示領域が決定され、現実表示領域（ホワイトボードの描画面）に、拡張現実情報に含まれる関連情報が表示される。このため、携帯情報装置２００において得られる撮像画像中で拡張現実情報生成装置として機能するＭＦＰ１００によって生成された拡張現実情報により定められた位置に関連情報を表示することができる。
【０１５６】
また、拡張現実生成装置として機能するＭＦＰ１００は、コンテンツを表示し、コンテンツ中の領域情報で特定される表示領域に関連情報を重畳して表示する。このため、ユーザーは、コンテンツに含まれるオブジェクトに対して関連情報が表示される位置を確認することができる。
【０１５７】
拡張現実生成装置として機能するＭＦＰ１００は、コンテンツ中で表示領域の指定を受け付けるので、ユーザーは、コンテンツ中の任意の位置を指定することができる。
【０１５８】
拡張現実生成装置として機能するＭＦＰ１００は、原稿読取部１３０で原稿を光学的に読み取って電子データに変換した画像データを関連情報として取得するので、原稿を読み取った画像を関連情報に設定することができる。
【０１５９】
拡張現実生成装置として機能するＭＦＰ１００は、ＨＤＤ１１５または外部装置に記憶されたデータのうちからユーザーにより指定されたデータを関連情報として取得するので、ユーザーにより指定されたデータを関連情報に設定することができる。
【０１６０】
拡張現実表示装置として機能する携帯情報装置２００は、撮像画像（第１のコンテンツ）を取得し、撮像画像中の被写体（オブジェクト）と同一のオブジェクトを有する背景画像（第２のコンテンツ）を含む拡張現実情報をサーバー５００から取得し、撮像画像中の被写体に対する相対位置が、背景画像中のオブジェクトと表示領域との相対位置と同じ関係となる現実表示領域を決定し、現実表示領域に、関連情報を表示する。このため、撮像画像と同じ被写体を有する背景画像を含む拡張現実情報によって、撮像画像が有する被写体に関連付けられた関連情報が、背景画像が有する被写体に対して定められた相対的な位置と同じ相対位置に、表示する。このため、撮像画像が有する被写体に関連する情報を、その被写体に対して予め定められた位置に表示することができる。
【０１６１】
また、拡張現実表示装置として機能する携帯情報装置２００は、カメラ２０２が被写体を撮像して出力する画像を撮像画像（第１のコンテンツ）として取得し、撮像画像と被写体が一致する背景画像を含む拡張現実情報を取得する。このため、撮像画像が有する被写体に関連する情報が、その被写体に対して定められた相対的な位置に、表示することができる。
【０１６２】
さらに、拡張現実情報が、背景画像（第２のコンテンツ）が有する被写体の地理的な位置を示す位置情報を、さらに含む場合、拡張現実表示装置として機能する携帯情報装置２００は、カメラ２０２が被写体を撮像する時点における地理的な位置を取得し、取得された位置から所定の範囲に存在する位置を示す位置情報を含む１以上の拡張現実情報をサーバー５００から取得する。このため、拡張現実情報の取得が容易となる。
【０１６３】
＜第２の実施の形態＞
第１の実施の形態においては、サーバー５００において、サーバー５００に記憶されている拡張現実情報のうちから、拡張現実表示装置として機能する携帯情報装置２００の位置および携帯情報装置２００で撮像した撮像画像に適合する拡張現実情報を抽出するようにした。第２の実施の形態における拡張現実表示システム１は、この処理の一部を、携帯情報装置２００に分担させるようにしたものである。以下、第１の実施の形態における拡張現実表示システム１と、異なる点を主に説明する。
【０１６４】
図２１は、第２の実施の形態における拡張現実表示装置として機能する携帯情報装置２００が備えるＣＰＵの機能の概要の一例を示すブロック図である。図２１を参照して、図８に示した機能と異なる点は、拡張現実情報取得部２５５が、拡張現実情報取得部２５５Ａに変更された点である。その他の機能は図８に示した機能と同じなので、ここでは説明を繰り返さない。
【０１６５】
拡張現実情報取得部２５５Ａは、サーバー５００から拡張現実情報を取得する。拡張現実情報取得部２５５Ａは、位置基準取得部２６１Ａと、被写体基準取得部２６３Ａと、を含む。位置基準取得部２６１Ａは、位置取得部２５３から入力される位置情報を含む拡張現実情報送信要求を、無線ＬＡＮＩ／Ｆ２０８を介して、サーバー５００に送信する。携帯情報装置２００のフラッシュメモリー２０３に、サーバー５００のＩＰアドレスを予め記憶しておけばよい。拡張現実情報送信要求を受信するサーバー５００の動作の詳細は後述するが、拡張現実情報送信要求に含まれる位置情報で特定される位置から所定の範囲内に存在する位置を示す位置情報を含む拡張現実情報を抽出し、抽出された１以上の拡張現実情報を返信する。拡張現実情報取得部２５５Ａは、無線ＬＡＮＩ／Ｆ２０８がサーバー５００から１以上の拡張現実情報を受信すると、１以上の拡張現実情報を被写体基準取得部２６３Ａに出力する。
【０１６６】
被写体基準取得部２６３Ａは、撮像制御部２５９から撮像画像が入力され、位置基準取得部２６１Ａから１以上の拡張現実情報が入力される。被写体基準取得部２６３Ａは、位置基準取得部２６１Ａから入力される１以上の拡張現実情報のうちから、撮像制御部２５９から入力される撮像画像と被写体が同一の背景画像を含む拡張現実情報を抽出する。被写体基準取得部２６３Ａは、撮像画像と拡張現実情報のコンテンツの項目に設定された背景画像とのそれぞれから特徴的な形状を抽出し、撮像画像の特徴的な形状と同一または相似の形状が背景画像の特徴的な形状に含まれていれば、その拡張現実情報を、撮像画像と被写体が同一の背景画像を含む拡張現実情報に決定する。被写体基準取得部２６３Ａは、撮像制御部２５９から入力される撮像画像と被写体が同一の背景画像を含む拡張現実情報を表示制御部２５７に出力する。
【０１６７】
例えば、画像を２値化した２値化画像または画像を微分したエッジ画像を生成することにより、画像中に含まれる被写体の輪郭を抽出することができる。抽出された輪郭の形状を特徴的な形状として抽出すればよい。特徴的な形状が同一か否かは、サイズが異なる場合があるので、相似の場合を含む。エッジ画像は、隣接する画素間で濃度の差が所定のしきい値以上の画素の値を「１」とし、所定のしきい値より小さい画素の値を「０」とした画像である。例えば、背景画像および撮像画像に被写体としてホワイトボードを含む場合には、それぞれの画像は、ホワイトボードの輪郭を特徴的な形状として含む。
【０１６８】
なお、位置検出部２０９が現在位置を測定できない場合、位置取得部２５３は位置情報を取得することができない。この場合には、位置基準取得部２６１Ａは、サーバー５００からそれに記憶されている拡張現実情報の全てを受信し、被写体基準取得部２６３Ａに出力する。
【０１６９】
図２２は、第２の実施の形態におけるサーバーが備えるＣＰＵが有する機能の一例を示すブロック図である。図２２を参照して、図１５に示した機能と異なる点は、拡張現実情報抽出部５６７が拡張現実情報抽出部５６７Ａに変更された点である。その他の機能は図１５に示した機能と同じなのでここでは説明を繰り返さない。
【０１７０】
拡張現実情報送信要求受信部５６５が、拡張現実表示装置として機能する携帯情報装置２００から受信する拡張現実情報送信要求は、位置情報を含む。拡張現実情報抽出部５６７Ａは、拡張現実情報送信要求が入力されることに応じて、ＨＤＤ５０４に記憶されている拡張現実情報のうちから、拡張現実情報送信要求に含まれる位置情報から所定の範囲内の位置を示す位置情報を含む拡張現実情報を抽出する。拡張現実情報抽出部５６７は、抽出された拡張現実情報を拡張現実情報送信部５６９に出力する。
【０１７１】
拡張現実情報送信部５６９は、拡張現実情報抽出部５６７によって抽出された拡張現実情報を、拡張現実情報送信要求を送信してきた携帯情報装置２００に、通信部５０５を介して送信する。
【０１７２】
図２３は、第２の実施の形態における拡張現実情報管理処理の流れの一例を示すフローチャートである。図２３を参照して、図１９に示した第１の実施の形態における拡張現実情報管理処理と異なる点は、ステップＳ８２が削除された点である。その他の処理は、図１９に示した第１の実施の形態における拡張現実情報管理処理と同じなので、ここでは説明を繰り返さない。
【０１７３】
ステップＳ８２が削除されたため、ステップＳ８３においては、ステップＳ８１において抽出された拡張現実情報の全てを、拡張現実情報送信要求を送信してきた携帯情報装置２００に、通信部５０５を介して送信し、処理を終了する。ステップＳ８１においては、ＨＤＤ５０４に記憶されている拡張現実情報のうち、拡張現実情報送信要求に含まれる位置情報で定まる位置から所定の範囲内の位置を示す位置情報を含む拡張現実情報を抽出する。換言すれば、拡張現実表示装置として機能する携帯情報装置２００の現在位置から所定の範囲内の位置を示す位置情報を含む拡張現実情報の全てが、携帯情報装置２００に送信される。
【０１７４】
図２４は、第２の実施の形態における拡張現実表示処理の流れの一例を示すフローチャートである。図２４を参照して、図２０に示した拡張現実表示処理と異なる点は、ステップＳ３５およびステップＳ３６が、ステップＳ３５ＡおよびステップＳ３６Ａに変更された点である。その他の処理は、図２０に示した拡張現実表示処理と同じなのでここでは説明を繰り返さない。ステップＳ３５Ａにおいては、拡張現実情報を取得する。ステップＳ３４において取得された位置情報を含む拡張現実情報送信要求を、無線ＬＡＮＩ／Ｆ２０８を介してサーバー５００に送信し、サーバー５００が返信する拡張現実情報を取得する。
【０１７５】
なお、拡張現実情報送信要求に、現在位置を示す位置情報に加えてカメラ２０２の撮像方向を含めるようにし、サーバー５００において、現在位置および取得された方位で定まる範囲内の位置を示す位置情報が定められた拡張現実情報を抽出するようにしてもよい。カメラ２０２の撮像方向は、方位検出部２１０を制御し、方位検出部２１０にカメラ２０２の撮像方向を検出させ、方位検出部２１０がカメラ２０２が撮像した時点で出力する方位を取得する。また、ステップＳ３５Ａにおいて複数の拡張現実情報を取得する場合、複数の拡張現実情報を取得した後に、携帯情報装置２００のカメラ２０２の撮像方向を変更することによって、ステップＳ３５Ａにおいて取得された複数の拡張現実情報のうちから、現在位置および取得された方位で定まる範囲内の位置を示す位置情報が定められた拡張現実情報を抽出するようにしてもよい。
【０１７６】
次のステップＳ３６Ａにおいては、ステップＳ３１において撮像され、ステップＳ３２において取得された撮像画像の被写体と、拡張現実情報に含まれる背景画像の被写体とが一致するか否かを判断する。撮像画像と背景画像とのそれぞれから特徴的な形状を抽出し、撮像画像の特徴的な形状と同一または相似の形状が背景画像の特徴的な形状に含まれていれば、撮像画像と拡張現実情報の被写体が同一と判断する。例えば、画像を２値化した２値化画像または画像を微分したエッジ画像を生成することにより、画像中に含まれる被写体の輪郭を抽出することができる。抽出された輪郭の形状を特徴的な形状として抽出すればよい。特徴的な形状が同一か否かは、サイズが異なる場合があるので、相似の場合を含む。
【０１７７】
ステップＳ３６Ａにおいて、被写体を同一と判断する場合は処理をステップＳ３７に進め、そうでなければ処理をステップＳ４１に進める。
【０１７８】
＜第２の実施の形態の変形例＞
上述した第２の実施の形態においては、拡張現実表示装置の一例として携帯情報装置２００を例に説明したが、ＨＭＤ４００を拡張現実表示装置として機能させるようにしてもよい。この場合、ＨＭＤ４００が備えるＣＰＵ４０１は、図２１に示した携帯情報装置２００が備えるＣＰＵ２０１が有する機能と同様の機能を有するが、表示制御部２５７が異なる。
【０１７９】
ＨＭＤ４００が備えるＣＰＵ４０１が有する表示制御部２５７は、撮像制御部２５９から撮像画像が入力されることに応じて、撮像画像を表示部２０６に表示することなく、拡張現実情報受信部２６３から入力される拡張現実情報に基づいて、拡張現実情報に含まれる関連情報の項目に設定された関連情報を表示部４０４に表示する。ＨＭＤ４００を装着するユーザーは、撮像画像と同じ画像を、表示部４０４を通して実際に見ている。このため、撮像画像中の領域であって、拡張現実情報に含まれるコンテンツの項目に設定された背景画像中で、領域情報の項目に設定された領域情報で特定される領域に対応する領域を、表示部４０４中で特定し、表示部４０４中で特定した領域に関連情報の画像を表示する。
【０１８０】
ここで、ＨＭＤ４００を装着するユーザーが、会議室Ａにおいてホワイトボードを目視すれば、ホワイトボードがカメラ４０２の被写体となる。この場合、会議室Ａの位置を示す位置情報が位置情報の項目に設定され、ホワイトボードを被写体にして撮像された背景画像がコンテンツの項目に設定され、会議の資料である画像が関連情報に設定され、背景画像中のホワイトボードの描画面の全体を含む領域が領域情報の項目に設定された拡張現実情報がサーバー５００から受信される。そして、表示部４０４に関連情報である会議の資料の画像が表示されると、ユーザーは、表示部４０４を透過して見るホワイトボードの描画面に表示部４０４に表示された会議の資料の画像を見ることになる。
【０１８１】
また、変形例においては、ＨＭＤ４００が備えるＣＰＵ４０１は、図２４に示した拡張現実表示処理を実行するが、ステップＳ３８、ステップＳ３９およびステップＳ４１が異なる。ＨＭＤ４００が備えるＣＰＵ４０１は、ステップＳ３８において、合成画像を生成することなく、ステップＳ３７において特定された撮像画像中の現実表示領域に対応する表示部４０４の表示面中の領域を特定する。そして、次のステップＳ３９において、特定された表示部４０４の表示面中の領域に、関連情報の画像を表示し、処理をステップＳ４０に進める。また、ステップＳ４１においては、何も表示することなく、処理をステップＳ４０に進める。
【０１８２】
第２の実施の形態における拡張現実表示システム１は、第２の実施の形態における拡張現実表示システム１と、同様の効果を奏することができる。
【０１８３】
＜第３の実施の形態＞
第１および第２の実施の形態においては、拡張現実情報のコンテンツの項目に背景画像を設定するようにした。第３の実施の形態においては、拡張現実情報のコンテンツの項目にコンピューターに記憶されているデータを設定するようにしたものである。
【０１８４】
第３の実施の形態における拡張現実表示システム１Ｂについて、第１の実施の形態における拡張現実表示システム１と異なる点を主に説明する。
【０１８５】
図２５は、第３の実施の形態における拡張現実情報のフォーマットの一例を示す図である。図２５を参照して、第３の実施の形態における拡張現実情報は、コンテンツの項目と、関連情報の項目と、領域情報の項目と、を含む。コンテンツの項目には、コンテンツが設定される。コンテンツは、コンピューターに記憶されたデータであり、ここでは、ＰＣ３００に記憶されたデータとする場合を例に説明する。また、関連情報の項目は、コンテンツの項目に設定されたコンテンツ識別情報で特定されるコンテンツの画像に関連する情報が設定される。領域情報の項目は、コンテンツの項目に設定されたコンテンツ識別情報で特定されるコンテンツの画像中で関連情報に関連する部分の領域の位置を示す領域情報が設定される。
【０１８６】
図２６は、第３の実施の形態における拡張現実表示装置として機能する携帯情報装置２００が備えるＣＰＵ２０１の機能の概要の一例を示すブロック図である。図２６を参照して、図８に示した機能と異なる点は、位置取得部２５３が削除された点、表示側コンテンツ取得部２５１および拡張現実情報取得部２５５が表示側コンテンツ取得部２５１Ａおよび拡張現実情報取得部２５５Ａにそれぞれ変更された点である。その他の機能は、図８に示した機能と同じなので、ここでは説明を繰り返さない。
【０１８７】
表示側コンテンツ取得部２５１Ｂは、記録済コンテンツ取得部２７１を含む。記録済コンテンツ取得部２７１は、他のコンピューターに記憶されたデータをコンテンツ（第１コンテンツ）として取得し、取得されたコンテンツを識別するためのコンテンツ識別情報を拡張現実情報取得部２５５Ｂに出力するとともに、コンテンツを表示制御部２５７に出力する。記録済コンテンツ取得部２７１は、例えば、Ｗｅｂサーバーに記憶され、マークアップ言語で記述されたＷｅｂページをダウンロードし、表示するブラウジングプログラムを実行するタクスである。また、ネットワーク２を介して接続された別のコンピューターに記憶されたデータを閲覧可能なファイル検索プログラムを実行するタスクである。なお、コンテンツは、マークアップ言語で記述されたＷｅｂページに限られず、そのＷｅｂページによってリンクされたデータ、例えば、画像または動画像を含む。
【０１８８】
表示制御部２５７は、表示部２０６を制御し、記録済コンテンツ取得部２７１から入力されるコンテンツの画像を表示部２０６に表示させる。
【０１８９】
拡張現実情報取得部２５５Ｂは、サーバー５００から拡張現実情報を取得する。拡張現実情報取得部２５５Ｂは、アドレス基準取得部２７３を含む。アドレス基準取得部２７３は、記録済コンテンツ取得部２７１からコンテンツのコンテンツ識別情報が入力されることに応じて、そのコンテンツ識別情報を含む拡張現実情報送信要求を、無線ＬＡＮＩ／Ｆ２０８を介して、サーバー５００に送信する。携帯情報装置２００のフラッシュメモリー２０３に、サーバー５００のＩＰアドレスを予め記憶しておけばよい。
【０１９０】
拡張現実情報送信要求を受信するサーバー５００の動作の詳細は後述するが、拡張現実情報送信要求に含まれるコンテンツ識別情報で特定されるコンテンツを含む拡張現実情報を返信する。換言すれば、サーバー５００は、記録済コンテンツ取得部２７１が取得したコンテンツと同じコンテンツを含む拡張現実情報を返信する。さらに、記録済コンテンツ取得部２７１が取得したコンテンツと、拡張現実情報取得部２５５Ｂによって取得された拡張現実情報に含まれるコンテンツとは、同じなので、同じオブジェクトを含む。アドレス基準取得部２７３は、無線ＬＡＮＩ／Ｆ２０８がサーバー５００から拡張現実情報を受信すると、拡張現実情報を表示制御部２５７に出力する。
【０１９１】
なお、表示側コンテンツ取得部２５１が、動画像のコンテンツを取得する場合には、表示制御部２５７によって動画像が再生される。拡張現実情報取得部２５５Ｂは、動画像中で表示制御部２５７によって表示される１フレームを特定するコンテンツ識別情報を含む拡張現実情報送信要求を、送信することによって、表示制御部２５７によってそのフレームの静止画像が表示された段階で、その静止画像を含む拡張現実情報をサーバー５００から取得する。
【０１９２】
表示制御部２５７は、記録済コンテンツ取得部２７１からコンテンツが入力されることに応じて、コンテンツの画像を表示部２０６に表示する。表示制御部２５７は、アドレス基準取得部２７３から拡張現実情報が入力される場合、拡張現実情報に含まれる関連情報の項目に設定された関連情報を表示部２０６に表示する。以下、説明のため記録済コンテンツ取得部２７１から入力されるコンテンツを第１コンテンツといい、アドレス基準取得部２７３から入力される拡張現実情報のコンテンツの項目に設定されたコンテンツを第２コンテンツという。なお、第１コンテンツと第２コンテンツとは、コンテンツ識別情報が同じなので、同じコンテンツである。
【０１９３】
表示制御部２５７は、現実表示領域決定部２５８を含む。現実表示領域決定部２５８は、拡張現実情報の領域情報の項目に設定された領域情報に基づいて、拡張現実情報のコンテンツの項目に設定された第２コンテンツ中のオブジェクトに対する相対位置を特定し、第１コンテンツ中のオブジェクトを基準にして、特定された相対位置に存在する領域を現実表示領域に決定する。
【０１９４】
表示制御部２５７は、撮像画像中で決定された現実表示領域に拡張現実情報の関連情報の項目に設定された関連情報を表示する。具体的には、表示制御部２５７は、撮像画像中で、現実表示領域に、関連情報の画像を合成した合成画像を生成し、生成された合成画像を表示部２０６に表示する。
【０１９５】
ここで、ホワイトボードを被写体にして撮像された背景画像がＰＣ３００に記憶されており、そのＰＣ３００に記憶された背景画像を第２コンテンツとし、その第２コンテンツがコンテンツの項目に設定され、会議の資料である画像が関連情報に設定され、背景画像中のホワイトボードの描画面の全体を含む領域が領域情報の項目に設定された拡張現実情報がサーバー５００から受信される場合を例に説明する。この場合、携帯情報装置２００のユーザーが、ＰＣ３００に記憶された第２コンテンツをダウンロードする場合、第２コンテンツの画像中のホワイトボードの描画面に関連情報である会議の資料の画像を合成した合成画像が表示部２０６に表示される。実際には、ＰＣ３００に記憶された第２コンテンツに含まれるホワイトボードの描画面には文字などが記載されていなくても、携帯情報装置２００の表示部２０６には、第２のコンテンツの画像中のホワイトボードの描画面の領域に会議の資料の画像を合成した合成画像が表示される。
【０１９６】
次にサーバー５００に拡張現実情報を登録する方法の一例を示す。ここでは、拡張現実情報生成装置がＰＣ３００に記憶されたデータ（第２コンテンツ）をもとに拡張現実情報を生成し、サーバー５００に登録する場合を例に説明する。拡張現実情報生成装置をＭＦＰ１００としている。
【０１９７】
図２７は、第３の実施の形態における拡張現実情報登録装置として機能するＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。図２７に示す機能が図１４に示した第１の実施の形態における拡張現実情報登録装置として機能するＭＦＰ１００が備えるＣＰＵ１１１の機能と異なる点は、生成側コンテンツ取得部５１、領域決定部５３および拡張現実情報生成部５７が、生成側コンテンツ取得部５１Ｂ、領域決定部５３Ｂおよび拡張現実情報生成部５７Ｂにそれぞれ変更された点である。その他の機能は図１４に示した機能と同じなのでここでは説明を繰り返さない。
【０１９８】
生成側コンテンツ取得部５１Ｂは、他のコンピューターに記憶されたデータをコンテンツ（第２コンテンツ）として取得し、取得されたコンテンツを領域決定部５３Ｂよび拡張現実情報生成部５７Ｂ出力する。生成側コンテンツ取得部５１Ｂは、例えば、ブラウジングプログラムを実行するタクス、またはファイル検索プログラムを実行するタスクである。
【０１９９】
領域決定部５３Ｂは、生成側コンテンツ表示部６５Ｂと、表示領域受付部６７Ｂと、プレビュー部６９Ｂと、を含む。生成側コンテンツ表示部６５Ｂは、生成側コンテンツ取得部５１Ｂからコンテンツが入力されることに応じて、コンテンツの画像を表示部１６１に表示する。例えば、ユーザーがＰＣ３００に記憶されたデータを閲覧する場合に、そのデータの画像が表示部１６１に表示される。生成側コンテンツ表示部６５Ｂは、コンテンツの画像を表示領域受付部６７Ｂおよびプレビュー部６９Ｂに出力する。
【０２００】
表示領域受付部６７Ｂは、ユーザーにより指示される表示領域を受け付ける。表示領域は、コンテンツの画像中の領域である。表示領域受付部６７Ｂは、ユーザーが操作部１６３を操作して、表示部１６１に表示されたコンテンツの画像中の一部を指示すれば、ユーザーにより指示された領域を、表示領域として受け付ける。表示領域は、任意の形状で囲まれた領域である。ここでは、表示領域を矩形の領域としている。表示領域は、後述する関連情報を表示するための領域である。表示領域受付部６７Ｂは、受け付けられた表示領域を、プレビュー部６９および拡張現実情報生成部５７Ｂに出力する。表示領域は、例えば、コンテンツの画像中の矩形の領域とする場合、矩形の領域の２つの対角の頂点の座標とすればよい。
【０２０１】
プレビュー部６９Ｂは、生成側コンテンツ表示部６５Ｂからコンテンツの画像が入力され、表示領域受付部６７Ｂから表示領域が入力され、関連情報取得部５５から関連情報が入力される。プレビュー部６９Ｂは、コンテンツの画像の表示領域に、関連情報の画像を合成した合成画像を生成し、生成された合成画像を表示部１６１に表示する。ユーザーは、コンテンツの画像に重畳して表示される関連情報を見ることで、コンテンツの画像中で関連情報が表示される位置を確認することができる。関連情報が表示される位置を、変更する場合には、操作部１６３を操作して、表示領域を変更する指示を入力すればよい。これにより、表示領域受付部６７Ｂによって、変更後の表示領域が受け付けられる。
【０２０２】
関連情報取得部５５は、関連情報を取得し、取得された関連情報をプレビュー部６９Ｂおよび拡張現実情報生成部５７Ｂに出力する。関連情報は、ユーザーにより定められた情報であり、文字、記号、図形または写真、またはそれらの組み合わせである。
【０２０３】
拡張現実情報生成部５７Ｂは、生成側コンテンツ取得部５１Ｂからコンテンツが入力され、表示領域受付部６７Ｂから表示領域が入力され、関連情報取得部５５から関連情報が入力される。拡張現実情報生成部５７Ｂは、生成側コンテンツ取得部５１Ｂから入力されるコンテンツをコンテンツの項目に設定し、関連情報取得部５５から入力される関連情報を関連情報の項目に設定し、表示領域受付部６７Ｂから入力される領域情報を領域情報の項目に設定した拡張現実情報を生成する。拡張現実情報生成部５７Ｂは、生成された拡張現実情報を含む拡張現実情報登録要求を、無線ＬＡＮＩ／Ｆ２０８を介してサーバー５００に送信する。
【０２０４】
図２８は、第３の実施の形態におけるサーバーが備えるＣＰＵが有する機能の一例を示すブロック図である。図２８を参照して、図１５に示した第１の実施の形態におけるサーバー５００が備えるＣＰＵ５０１が有する機能と異なる点は、基本情報登録要求受信部５５１と、基本情報登録部５５３と、基本情報送信要求受信部５５５と、基本情報抽出部５５７および基本情報送信部５５９が削除された点、拡張現実情報抽出部５６７が拡張現実情報抽出部５６７Ｂに変更された点である。その他の機能は、図１５に示した機能と同じなのでここでは説明を繰り返さない。
【０２０５】
拡張現実情報抽出部５６７Ｂは、拡張現実情報送信要求が入力されることに応じて、拡張現実情報送信要求に含まれるコンテンツ識別情報に基づいて、ＨＤＤ５０４に記憶されている拡張現実情報のうちから拡張現実情報を抽出し、抽出された拡張現実情報を拡張現実情報送信部５６９に出力する。具体的には、ＨＤＤ５０４に記憶されている拡張現実情報のうちコンテンツの項目に、拡張現実情報送信要求に含まれるコンテンツ識別情報と同じコンテンツ識別情報のコンテンツが設定されている拡張現実情報を抽出する。
【０２０６】
図２９は、第３の実施の形態における拡張現実情報登録処理の流れの一例を示すフローチャートである。図２９を参照して、図１８に示した第１の実施の形態における拡張現実情報登録処理と異なる点は、ステップＳ１１、ステップＳ１４およびステップＳ１５が削除された点、ステップＳ１２、ステップＳ１３、ステップＳ１６、ステップＳ１７およびステップＳ２８がステップＳ１２Ｂ、ステップＳ１３Ｂ、ステップＳ１６Ｂ、ステップＳ１７ＢおよびステップＳ２８Ｂに変更された点である。その他の処理は、図１８に示した処理と同じなのでここでは説明を繰り返さない。
【０２０７】
ＣＰＵ１１１は、ファイルの指定を受け付けたか否かを判断する。ユーザーが操作部１６３にファイルを指定する操作を入力すると、ファイルの指定を受け付ける。例えば、ブラウジングプログラムを実行するタスクによって、ＷｅｂページのＵＲＬを指定する操作を受け付けると、そのＵＲＬで特定されるＷｅｂページのファイルの指定を受け付ける。また、ファイル検索プログラムを実行するタスクによって、ＨＤＤ１１５または他のコンピューターに記憶されているデータを指示する操作を受け付けると、その指示されたデータのファイルの指定を受け付ける。ファイルの指定を受け付けるまで待機状態となり（ステップＳ１２ＢでＮＯ）、ファイルの指定を受け付けたならば（ステップＳ１２ＢでＹＥＳ）、処理をステップＳ１３Ｂに進める。
【０２０８】
ステップＳ１３Ｂにおいては、指定されたファイルのデータを取得し、処理をステップＳ１６Ｂに進める。ここでは、ＰＣ３００に記憶されたデータが指定された場合を例に説明する。この場合、ＰＣ３００に記憶されたデータをＰＣ３００からダウンロードする。
【０２０９】
ステップＳ１６Ｂにおいては、ステップＳ１３Ｂにおいて取得されたデータの画像を、表示部１６１に表示する。これにより、ＰＣ３００に記憶されたデータの画像が表示部１６１に表示される。
【０２１０】
ユーザーにより指示される表示領域を受け付ける（ステップＳ１７Ｂ）。表示領域は、コンテンツの画像中の領域である。ユーザーが操作部１６３を操作して、表示部１６１に表示されたコンテンツの画像中の一部を指示すれば、ユーザーにより指示された領域を、表示領域として受け付ける。表示領域は、点であってもよいし、任意の形状で囲まれた領域であってもよい。ここでは、表示領域を矩形の領域としている。
【０２１１】
ステップＳ２８Ｂにおいては、拡張現実情報を生成し、処理をステップＳ２９に進める。ステップＳ１３Ｂにおいて取得されたコンテンツをコンテンツの項目に設定し、ステップＳ２０、ステップＳ２２およびステップＳ２４のずれかで設定された関連情報を関連情報の項目に設定し、ステップＳ１７Ｂにおいて受け付けられた表示領域を領域情報の項目に設定することによって、拡張現実情報を生成する。
【０２１２】
図３０は、第３の実施の形態における拡張現実情報管理処理の流れの一例を示すフローチャートである。図３０を参照して、ＣＰＵ５０１は、ステップＳ７７において、拡張現実情報登録要求を受信したか否かを判断する。通信部５０５が拡張現実情報生成装置として機能するＭＦＰ１００から拡張現実情報登録要求を受信したならば処理をステップＳ７８に進めるが、そうでなければ処理をステップＳ７９に進める。ステップＳ７８においては、受信された拡張現実情報登録要求に含まれる拡張現実情報をＨＤＤ５０４に記憶することにより拡張現実情報を登録し、処理をステップＳ７９に進める。
【０２１３】
ステップＳ７９においては、拡張現実情報送信要求を受信したか否かを判断する。通信部５０５が拡張現実表示装置として機能する携帯情報装置２００から拡張現実情報送信要求を受信したならば処理をステップＳ８０Ｂに進めるが、そうでなければ処理を終了する。ステップＳ８０Ｂにおいては、受信された拡張現実情報送信要求に含まれるコンテンツ識別情報を取得し、コンテンツを特定する。そして、ＨＤＤ５０４に記憶されている拡張現実情報のうちから、取得されたコンテンツ識別情報がコンテンツの項目に設定された拡張現実情報を抽出する（ステップＳ８１Ｂ）。
【０２１４】
次のステップＳ８３においては、抽出された拡張現実情報を、拡張現実情報送信要求を送信してきた携帯情報装置２００に、通信部５０５を介して送信し、処理を終了する。換言すれば、拡張現実表示装置として機能する携帯情報装置２００で取得されたファイルと同じファイルのデータのコンテンツ識別情報を含む拡張現実情報が、携帯情報装置２００に送信される。
【０２１５】
図３１は、第３の実施の形態における拡張現実情報管理処理の流れの一例を示すフローチャートである。第３の実施の形態における拡張現実表示処理は、携帯情報装置２００が備えるＣＰＵ２０１が、フラッシュメモリー２０３に記憶された拡張現実表示プログラムを実行することにより、ＣＰＵ２０１により実行される処理である。図３１を参照して、ＣＰＵ２０１は、ファイルの指定を受け付けたか否かを判断する（ステップＳ３１Ｂ）。ユーザーが操作部２０７にファイルを指定する操作を入力すると、ファイルの指定を受け付ける。例えば、ブラウジングプログラムを実行するタスクによって、ＷｅｂページのＵＲＬを指定する操作を受け付けると、そのＵＲＬで特定されるＷｅｂページのファイルの指定を受け付ける。また、ファイル検索プログラムを実行するタスクによって、フラッシュメモリー２０３または他のコンピューターに記憶されているデータを指示する操作を受け付けると、その指示されたデータのファイルの指定を受け付ける。ファイルの指定を受け付けるまで待機状態となり（ステップＳ３１ＢでＮＯ）、ファイルの指定を受け付けたならば（ステップＳ３１ＢでＹＥＳ）、処理をステップＳ３２Ｂに進める。
【０２１６】
ステップＳ３２Ｂにおいては、指定されたファイルのデータを取得し、処理をステップＳ３５Ｂに進める。ここでは、ＰＣ３００に記憶されたデータが指定された場合を例に説明する。この場合、ＰＣ３００に記憶されたデータをＰＣ３００からダウンロードする。
【０２１７】
ステップＳ３５Ｂにおいては、拡張現実情報を取得する。ステップＳ３２Ｂにおいて取得されたコンテンツのコンテンツ識別情報を含む拡張現実情報送信要求を、無線ＬＡＮＩ／Ｆ２０８を介してサーバー５００に送信し、サーバー５００が返信する拡張現実情報を取得する。
【０２１８】
次のステップＳ３６Ｂにおいては、サーバー５００が返信する拡張現実情報を受信したか否かを判断する。拡張現実情報を受信すると（ステップＳ３６ＢでＹＥＳ）、処理をステップＳ３７Ｂに進めるが、そうでなければ処理をステップＳ４１Ｂに進める。ステップＳ４１Ｂにおいては、ステップＳ３２Ｂにおいて取得されたコンテンツの画像を表示部２０６に表示し、処理をステップＳ４０に進める。
【０２１９】
ステップＳ３７Ｂにおいては、撮像画像中の現実表示領域を特定する。具体的には、拡張現実情報の領域情報の項目に設定された領域情報に基づいて、拡張現実情報のコンテンツの項目に設定されたコンテンツ中の被写体に対する相対位置を特定し、ステップＳ３２Ｂにおいて取得されたコンテンツ中の被写体を基準にして、特定された相対位置に存在する領域を現実表示領域に決定する。次のステップＳ３８Ｂにおいては、コンテンツの画像に、特定された現実表示領域に関連情報の画像を合成した合成画像を生成する。次のステップＳ３９においては、表示部１６１に、生成された合成画像を表示し、処理をステップＳ４０に進める。
【０２２０】
ステップＳ４０においては、拡張現実表示処理を終了する指示を受け付けたか否かを判断する。終了指示を受け付けたならば処理を終了するが、そうでなければ処理をステップＳ３１に戻す。
【０２２１】
以上説明したように第３の実施の形態における拡張現実表示システム１において、拡張現実情報生成装置として機能するＭＦＰ１００は、ＰＣ３００に記憶されたコンテンツ（Ｗｅｂページまたは画像等）を取得し、取得されたコンテンツ中のオブジェクトに対して相対位置で定まる表示領域を決定し、オブジェクトに関連する関連情報を取得し、コンテンツと、表示領域を示す領域情報と、関連情報とを関連付けた拡張現実情報を生成する。このため、コンテンツ中のオブジェクトに対して、関連情報およびオブジェクトとの相対位置を関連付けることができる。
【０２２２】
また、拡張現実表示装置として機能する携帯情報装置２００は、ＰＣ３００から、当該ＰＣ３００に記憶されたコンテンツを第１のコンテンツとして取得し、取得された第１のコンテンツの識別情報と同じ識別情報の第２のコンテンツを含む拡張現実情報を取得する。このため、携帯情報装置２００は、ＰＣ３００に記憶された第１のコンテンツが有するオブジェクトに関連する情報を、そのオブジェクトに対して定められた相対的な位置に、表示する。したがって、ＰＣ３００に記憶されたコンテンツに対して、そのコンテンツが有するオブジェクトに関連する情報を、そのオブジェクトに対して予め定められた位置に表示することができる。
【０２２３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０２２４】
＜付記＞
（１）  画像を表示する表示手段をさらに備え、表示制御手段は、第１のコンテンツに、拡張現実情報に含まれる関連情報を重畳した合成画像を生成する合成画像生成手段を含み、生成された合成画像を表示手段に表示する、請求項８〜１０のいずれかに記載の拡張現実表示装置。
この局面に従えば、第１のコンテンツに関連情報を重畳した合成画像が生成され、合成画像が表示される。このため、第１のコンテンツ中でオブジェクトに関連情報を関連付けることができる。
（２）  撮像手段の光軸を基準に定まる位置に配置され、透過型の表示手段をさらに備え、現実表示領域決定手段は、撮像手段が出力する撮像画像に基づいて、表示手段の表示面中で現実表示領域を決定し、表示制御手段は、拡張現実情報に含まれる関連情報を、表示手段の表示面中の現実表示領域に表示する、請求項９に記載の拡張現実表示装置。
この局面に従えば、撮像手段が出力する撮像画像に基づいて、表示手段の表示面中で現実表示領域が決定され、関連情報を、表示手段の表示面中の現実表示領域に表示する。このため、ユーザーが表示手段を透過して視認する被写体に関連付けて関連情報を表示することができる。
【符号の説明】
【０２２５】
１  拡張現実表示システム、２  ネットワーク、３  無線局、１００  ＭＦＰ、２００，２００Ａ，２００Ｂ  携帯情報装置、３００  ＰＣ、４００  ＨＭＤ、５００  サーバー、１１０  メイン回路、１１１  ＣＰＵ、１１２  通信Ｉ／Ｆ部、１１３  ＲＯＭ、１１４  ＲＡＭ、１１５  ＨＤＤ１１５  ファクシミリ部、１１７  外部記憶装置、１１８  ＣＤ−ＲＯＭ、１２０  自動原稿搬送装置、１３０  原稿読取部、１４０  画像形成部、１５０  給紙部、１５５  後処理部、１６０  操作パネル、１６１  表示部、１６３  操作部、２０１  ＣＰＵ、２０２  カメラ、２０３  フラッシュメモリー、２０４  無線通信部、２０５  通話部、２０６  表示部、２０７  操作部、２０８  無線ＬＡＮＩ／Ｆ、２０９  位置検出部、２１０  方位検出部、２１１  外部記憶装置、４０１  ＣＰＵ、４０２  カメラ、４０３  フラッシュメモリー、４０４  表示部、４０５  無線ＬＡＮＩ／Ｆ、５０１  ＣＰＵ、５０２  ＲＯＭ、５０３  ＲＡＭ、５０４  ＨＤＤ、５０５  通信部、５０６  表示部、５０７  操作部、５１，５１Ｂ  生成側コンテンツ取得部、５３，５３Ａ，５３Ｂ  領域決定部、５５  関連情報取得部、５７，５７Ｂ  拡張現実情報生成部、５９  登録部、６１  位置受付部、６３  基本情報取得部、６５，６５Ｂ  生成側コンテンツ表示部、６７，６７Ｂ  表示領域受付部、６９，６９Ｂ  プレビュー部、７１  入力受付部、７３  原稿読取制御部、７５  データ取得部、２５１，２５１Ａ，２５１Ｂ  表示側コンテンツ取得部、２５３  位置取得部、２５５  ，２５５Ａ，２５５Ｂ  拡張現実情報取得部、２５７  表示制御部、２５９  撮像制御部、２６１  拡張現実情報要求部、２６１Ａ  位置基準取得部、２６３  拡張現実情報受信部、２６３Ａ  被写体基準取得部、２７１  記録済コンテンツ取得部、２７３  アドレス基準取得部、２８１  基本情報登録部、５５１  基本情報登録要求受信部、５５３  基本情報登録部、５５５  基本情報送信要求受信部、５５７  基本情報抽出部、５５９  基本情報送信部、５６１  拡張現実情報登録要求受信部、５６３  拡張現実情報登録部、５６５  拡張現実情報送信要求受信部、５６７，５６７Ａ，５６７Ｂ  拡張現実情報抽出部、５６９  拡張現実情報送信部、５７１  位置基準抽出部、５７３  被写体基準抽出部。
【図１】
2015184778.tif 000003
【図２】
2015184778.tif 000004
【図３】
2015184778.tif 000005
【図４】
2015184778.tif 000006
【図５】
2015184778.tif 000007
【図６】
2015184778.tif 000008
【図７】
2015184778.tif 000009
【図８】
2015184778.tif 000010
【図９】
2015184778.tif 000011
【図１０】
2015184778.tif 000012
【図１１】
2015184778.tif 000013
【図１２】
2015184778.tif 000014
【図１３】
2015184778.tif 000015
【図１４】
2015184778.tif 000016
【図１５】
2015184778.tif 000017
【図１６】
2015184778.tif 000018
【図１７】
2015184778.tif 000019
【図１８】
2015184778.tif 000020
【図１９】
2015184778.tif 000021
【図２０】
2015184778.tif 000022
【図２１】
2015184778.tif 000023
【図２２】
2015184778.tif 000024
【図２３】
2015184778.tif 000025
【図２４】
2015184778.tif 000026
【図２５】
2015184778.tif 000027
【図２６】
2015184778.tif 000028
【図２７】
2015184778.tif 000029
【図２８】
2015184778.tif 000030
【図２９】
2015184778.tif 000031
【図３０】
2015184778.tif 000032
【図３１】
2015184778.tif 000033