(57)【要約】【課題】利便性を向上させたナビゲーション装置、ナビゲーション画像生成方法及びプログラムを提供する。【解決手段】使用者はカメラ２、ジャイロセンサ４が搭載されたウェアラブルモニタ１を装着し、カメラ２が撮影した撮影画像データに特徴点抽出及びトラッキングを行って得た３次元情報、位置情報受信機３が取得した位置情報、及びジャイロセンサ４が取得した使用者の視線の方位を示す方位情報を基に、ナビゲーション画像データを生成し、撮影画像データと重ね合わせて表示画像データを生成する。生成された表示画像データをウェアラブルモニタ１に表示することにより、各種ナビゲーションを行う。【選択図】図１
2011203984.tif 000002
【特許請求の範囲】
【請求項１】
ナビゲーション対象者に装着される、実写動画像を撮影するカメラと、
前記ナビゲーション対象者の現在位置情報を取得する位置情報取得部と、
前記カメラが撮影した前記実写動画像を解析し、当該解析結果と前記位置情報取得部が取得した現在位置情報とを基に、前記ナビゲーション対象者に対するナビゲーション画像を生成する画像生成部と、
前記ナビゲーション対象者に装着される、当該ナビゲーション対象者の視界に前記画像生成部の生成したナビゲーション画像を重ねて表示するモニタ装置と、
を有し、
前記画像生成部は、前記カメラが撮影した実写動画像内において、前記ナビゲーション対象者の手の形状、動き、位置、向き、大きさの各要素のうちの少なくとも１つを抽出することにより、当該要素に応じた入力の受付を行い、当該入力に応じて、前記ナビゲーション画像を生成する
ナビゲーション装置。
【請求項２】
前記画像生成部は、前記カメラが撮影した実写動画像内の特徴点を抽出し、当該特徴点の動きを解析することにより前記好適なナビゲーション画像を生成する
請求項１に記載のナビゲーション装置。
【請求項３】
前記ナビゲーション対象者の向いている方向に関する方位情報を取得するジャイロセンサ
をさらに有し、
前記画像生成部は、当該ジャイロセンサが取得した方位情報、前記実写動画像の解析結果、及び前記位置情報取得部が取得した位置情報を基に前記ナビゲーション画像を生成する
請求項１に記載のナビゲーション装置。
【請求項４】
カメラと、位置情報取得部と、画像生成部と、モニタ装置と、を有するナビゲーション装置のナビゲーション画像生成方法であって、
ナビゲーション対象者に装着される前記カメラが、実写動画像を撮影する第１の工程と、
前記位置情報取得部が、前記ナビゲーション対象者の現在位置情報を取得する第２の工程と、
前記画像生成部が、前記第１の工程において撮影された前記実写動画像を解析し、当該解析結果と前記第２の工程において取得された現在位置情報とを基に、前記ナビゲーション対象者に対するナビゲーション画像を生成する第３の工程と、
前記ナビゲーション対象者に装着される前記モニタ装置が、当該ナビゲーション対象者の視界に前記第３の工程において生成されたナビゲーション画像を重ねて表示する第４の工程と、
を有し、
前記第３の工程において、前記画像生成部は、前記カメラが撮影した実写動画像内において、前記ナビゲーション対象者の手の形状、動き、位置、向き、大きさの各要素のうちの少なくとも１つを抽出することにより、当該要素に応じた入力の受付を行い、当該入力に応じて、前記ナビゲーション画像を生成する
ナビゲーション画像生成方法。
【請求項５】
ナビゲーション装置に含まれるコンピュータに実行させるプログラムであって、
実写動画像を撮影する第１の手順と、
ナビゲーション対象者の現在位置情報を取得する第２の手順と、
前記第１の手順において撮影された前記実写動画像を解析し、当該解析結果と前記第２の手順において取得された現在位置情報とを基に、前記ナビゲーション対象者に対するナビゲーション画像を生成する第３の手順と、
前記ナビゲーション対象者の視界に前記第３の手順において生成されたナビゲーション画像を重ねて表示する第４の手順と、
を前記コンピュータに実行させ、
前記第３の手順は、前記カメラが撮影した実写動画像内において、前記ナビゲーション対象者の手の形状、動き、位置、向き、大きさの各要素のうちの少なくとも１つを抽出することにより、当該要素に応じた入力の受付を行い、当該入力に応じて、前記ナビゲーション画像を生成する第５の手順と、
を前記コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＡＲ（Augmented Reality：拡張現実または強化現実）技術により直感的なナビゲーションを行うナビゲーション装置、ナビゲーション画像生成方法及びプログラムに関する。
【背景技術】
【０００２】
近年、ＡＲ技術が注目されている。
ＡＲ技術とは、コンピュータの情報処理を通じて、実在する空間と、映像や音楽、文字などさまざまな情報とを重ね合わせる技術である。ＡＲ技術は、具体的には、例えば、カメラで撮影した現実の風景と、ＣＧ（Computer Graphics）や文字等とをモニタ上で重ね合わせたり、使用者の眼前に配置した光学ガラス素子（例えば車のフロントガラスや眼鏡状のもの）を配置し、そこに画像や文字を投影して表示したりすることにより実現される。
【０００３】
ＡＲ技術において、現実の風景に画像を重ねて表示する方法としては、以下の２つの方法がある。
１つ目は、現実の風景内に予めマーカを用意し、画像認識により現実の風景内のマーカを抽出して、マーカの位置に対応する画像や文字を表示する方法である。マーカは、特定の図形パターンで構成されている。カメラによりマーカを認識し、マーカがどの方向を向いているか等を計算して、予め用意された画像が風景内のマーカの位置に表示されることになる。
２つ目は、現実の風景内のエッジやコーナー点等の特徴点を抽出・追跡し、特徴点の３次元情報を得、所望の位置に画像や文字を表示する方法である。
【０００４】
このようなＡＲ技術を、ユーザに対して直感的なナビゲーションを行うナビゲーション装置に適用する試みがなされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】再表２００４−０４８８９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された移動体ナビゲート情報表示方法では、まず、車両のドライバーの視線とほぼ同じカメラアングルを有するカメラにより車両前方の景観を撮影し、ＧＰＳセンサ及びＩＮＳセンサにより車両の移動方向データ及び車速データを得る。そして、画像データ生成部により道路形状データと道路形状モデルとの称号を行い、姿勢データを推定し、ナビゲート情報をカメラの画像に正確に合成して表示するための画像データを生成する。
このような手法により、ナビゲート情報と実写映像または実視景観との対応関係を車両の運転者が直感的かつ正確に認識することができるようになる。
【０００７】
従来技術では、特許文献１のように車載用のナビゲーション装置については存在した。しかし、一方、車両などに搭乗せずに移動する人をナビゲートする装置に関しては、特殊な機器（例えば、ＰＤＡ（Personal Digital Assistant）等）を持ち歩く必要がある等、利用者の利便性を大きく損なうものしか存在しない、という不利益があった。
【０００８】
本発明は、このような不利益を解消するために、利便性を向上させたナビゲーション装置、ナビゲーション画像生成方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した目的を達成するために、第１の発明のナビゲーション装置は、ナビゲーション対象者に装着される、実写動画像を撮影するカメラと、前記ナビゲーション対象者の現在位置情報を取得する位置情報取得部と、前記カメラが撮影した前記実写動画像を解析し、当該解析結果と前記位置情報取得部が取得した現在位置情報とを基に、前記ナビゲーション対象者に対するナビゲーション画像を生成する画像生成部と、前記ナビゲーション対象者に装着される、当該ナビゲーション対象者の視界に前記画像生成部の生成したナビゲーション画像を重ねて表示するモニタ装置と、を有し、前記画像生成部は、前記カメラが撮影した実写動画像内において、前記ナビゲーション対象者の手の形状、動き、位置、向き、大きさの各要素のうちの少なくとも１つを抽出することにより、当該要素に応じた入力の受付を行い、当該入力に応じて、前記ナビゲーション画像を生成する。
【００１０】
第２の発明のナビゲーション画像生成方法は、カメラと、位置情報取得部と、画像生成部と、モニタ装置と、を有するナビゲーション装置のナビゲーション画像生成方法であって、ナビゲーション対象者に装着される前記カメラが、実写動画像を撮影する第１の工程と、前記位置情報取得部が、前記ナビゲーション対象者の現在位置情報を取得する第２の工程と、前記画像生成部が、前記第１の工程において撮影された前記実写動画像を解析し、当該解析結果と前記第２の工程において取得された現在位置情報とを基に、前記ナビゲーション対象者に対するナビゲーション画像を生成する第３の工程と、前記ナビゲーション対象者に装着される前記モニタ装置が、当該ナビゲーション対象者の視界に前記第３の工程において生成されたナビゲーション画像を重ねて表示する第４の工程と、を有し、前記第３の工程において、前記画像生成部は、前記カメラが撮影した実写動画像内において、前記ナビゲーション対象者の手の形状、動き、位置、向き、大きさの各要素のうちの少なくとも１つを抽出することにより、当該要素に応じた入力の受付を行い、当該入力に応じて、前記ナビゲーション画像を生成する。
【００１１】
第３の発明のプログラムは、ナビゲーション装置に含まれるコンピュータに実行させるプログラムであって、実写動画像を撮影する第１の手順と、ナビゲーション対象者の現在位置情報を取得する第２の手順と、前記第１の手順において撮影された前記実写動画像を解析し、当該解析結果と前記第２の手順において取得された現在位置情報とを基に、前記ナビゲーション対象者に対するナビゲーション画像を生成する第３の手順と、前記ナビゲーション対象者の視界に前記第３の手順において生成されたナビゲーション画像を重ねて表示する第４の手順と、を前記コンピュータに実行させ、前記第３の手順は、前記カメラが撮影した実写動画像内において、前記ナビゲーション対象者の手の形状、動き、位置、向き、大きさの各要素のうちの少なくとも１つを抽出することにより、当該要素に応じた入力の受付を行い、当該入力に応じて、前記ナビゲーション画像を生成する第５の手順と、を前記コンピュータに実行させる。
【発明の効果】
【００１２】
本発明によれば、利便性を向上させたナビゲーション装置、ナビゲーション画像生成方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、ナビゲーション装置の構成の一例を示す図である。
【図２】図２は、画像処理部が生成する表示画像データの具体例を説明するための図である。
【図３】図３は、ナビゲーション装置の動作時における動作例を示すフローチャートである。
【図４】図４は、第１例の書籍ナビゲーション装置の動作例について説明するためのフローチャートである。
【図５】図５は、第１例の書籍ナビゲーション装置における表示画像データの一例を示す図である。
【図６】図６は、第２例の遠隔会議システムの構成の一例を示すブロック図である。
【図７】図７は、第２例の遠隔会議システムにおける表示画像データの具体例を示す図である。
【図８】図８は、第２例の遠隔会議システムの動作例について説明するためのフローチャートである。
【図９】図９は、第３例の目的地ナビゲーション装置のナビゲーション時における使用者の視界の一例を示した図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態のナビゲーション装置１００について説明する。
図１は、ナビゲーション装置１００の構成の一例を示す図である。
図１に示すように、ナビゲーション装置１００は、ウェアラブルモニタ１、カメラ２、位置情報受信機３、ジャイロセンサ４、画像処理部５を有する。
ウェアラブルモニタ１は、眼鏡或いはゴーグルのような形状を有し、モニタ・ディスプレイとして使用することができる装置である。ウェアラブルモニタ１は、眼鏡におけるレンズの位置に該当する部位がスクリーン（ディスプレイ）に構成されており、カメラ２が撮影した現実の風景とナビゲーション画像とを合成した画像データ（後述する表示画像データ）を表示することができる装置である。
【００１５】
カメラ２は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の小型のカメラであり、ウェアラブルモニタ１に搭載されている。例えば、カメラ２は、ウェアラブルモニタ１のツルの部分や、レンズの上部分等に搭載すればよい。
カメラ２は、光軸が使用者の視線とできるだけ近くなるように設置される。すなわち、カメラ２の撮影する画像データ（撮影画像データ）が、使用者の見ている現実の風景の画像とほぼ同様になるようにカメラ２は設置される。
カメラ２は、より詳細なナビゲートを行うために、動画像データを撮影することが望ましい。
【００１６】
位置情報受信機３は、ＧＰＳ（Global Positioning System）やＬＰＳ（Local Positioning System）等の測位方法により、現在位置に関する位置情報を取得する受信機である。ＧＰＳを利用する場合は、ＧＰＳ衛星と通信を行うことにより緯度や経度等の位置情報を取得し、ＬＰＳを利用する場合は、局所的な測位システムと通信を行うことにより現在位置情報を得る。
ジャイロセンサ４は、物体の速度や方向を測定する計測器である。本実施形態では、ジャイロセンサ４は使用者の視線がどの方向を向いているかを測定し、方位情報を生成するために使用される。視線の方向を測定するため、ジャイロセンサ４は例えばカメラ２と同様にウェアラブルモニタ１に搭載されることが望ましい。
【００１７】
画像処理部５は、カメラ２が撮影した撮影画像データ、位置情報受信機３の得た位置情報、及びジャイロセンサ４の測定した使用者の視線の方位情報を基に、ウェアラブルモニタ１に表示させる表示画像データを生成する。
画像処理部５が生成する表示画像データは、使用者がウェアラブルモニタ１のレンズ部分を通して見る現実の風景に重ね合わせたとき、使用者に対して大きな利便性を生む画像である。画像処理部５が生成する表示画像データのナビゲートする対象については、詳しくは後述する。
【００１８】
以下、画像処理部５の画像処理について説明する。
画像処理部５は、カメラ２が撮影した、使用者の見ている現実の風景とほぼ同様の風景の撮影画像データから特徴点を抽出する。特徴点は、例えば画像中のエッジやコーナー点等である。特徴点を抽出する方法は、例えば既存のコーナー検出アルゴリズム等を利用すればよい。
次に特徴点のトラッキングを行い、カメラ２が撮影した撮影画像データの３次元情報を取得する。
そして、位置情報受信機３の取得した位置情報、及びジャイロセンサ４の測定した方位情報を基に、ウェアラブルモニタ１に表示させる表示画像データを生成する。
【００１９】
画像処理部５では、カメラ２が撮影した撮影画像データ、ナビゲーションのためのナビゲーション画像データ、及び、操作・入力のための操作画像データの３種類の画像データを重ね合わせて表示画像データとして作成する。ただし、ナビゲーション画像データと操作画像データとは必ずしも両方同時に重ね合わせる必要はない。すなわち、表示画像データは、撮影画像データと、少なくともナビゲーション画像データと操作画像データの何れかとを重ね合わせて作成される。
操作画像データとは、例えば表示画像データ内に表示した、アイコンや操作キー、ボタンのような直感的に操作可能な操作デバイスの画像データである。これらの操作デバイスは、撮影画像データ内において特徴点抽出により例えば人の手の３次元的情報を抽出することで、操作デバイスに手が触れているか否かの判定を行い、触れていると判定した場合に入力操作の受付を行い、触れていないと判定した場合には入力操作が行われていないという処理を行う。
当該処理における判別は、例えば、表示画像データ内の手の３次元情報、特に手の先端部位の３次元情報を基に、手の先端が予め決定された所定の空間内にあるか否か、を基準として行う。
【００２０】
画像処理部５が生成する表示画像データの具体例について説明する。
図２は、画像処理部５が生成する表示画像データの具体例を説明するための図である。
図２（ａ）は、撮影画像データに操作画像データのみが重ね合わされた表示画像データを示す図である。
図２（ａ）に示す画面１０は、ナビゲーション装置１００を装着した使用者が、これからナビゲーション装置１００のナビゲーションを使用しようとする状態でウェアラブルモニタ１に表示される画面である。
【００２１】
図２（ａ）に示すように、画面１０において、背景となる撮影画像データにアイコン１１が重ね合わされて表示されている。
図２（ａ）に示すように、アイコン１１は、例えば「Ｓｅａｒｃｈ」アイコン、「Ｎａｖｉｇａｔｉｏｎ」アイコン、「Ｏｂｊｅｃｔ」アイコン、「Ｓｅｔｔｉｎｇｓ」アイコン等、ナビゲーション装置１００が使用される目的に合わせた操作入力手段として配置される。図２（ａ）に示すアイコン１１は一例であり、アイコン１１として表示されるそれぞれのアイコンの機能は、ナビゲーション装置１００がナビゲートする対象に合わせて予め設定されればよい。
【００２２】
図２（ｂ）は、使用者の手１２によりアイコン１１が操作される例を示す図である。
図２（ｂ）は、使用者の手１２が「Ｓｅｔｔｉｎｇｓ」アイコンを押した（操作した）ときの表示画面データの一例を示している。
上述したように、画像処理部５は、カメラ２が撮影した撮影画像データを基に、「人の手」の形状をパターン抽出し、例えば手の先端部位の３次元座標情報を算出する。「Ｓｅｔｔｉｎｇｓ」アイコンが表示画像データの仮想的な３次元空間内のどの空間を占有しているかは予め決定されており、画像処理部５は算出した手の先端部位がアイコンの占有空間内にある場合に、当該アイコンが操作されたとの判定を行う。
図２（ｂ）に示すように、画像処理部５は操作されたと判定したアイコンを光らせる、或いは元の色とは異なる色で表示する、等、操作を受け付けたことを使用者に認識させるような処理を行う。
【００２３】
図２に示した表示画像データは一例であり、画像処理部５はナビゲーション装置１００がナビゲートする対象に応じて図２（ａ）に例示したアイコンを変化させてもよい。
【００２４】
次に、ナビゲーション装置１００の動作例について説明する。
図３は、ナビゲーション装置１００の動作時（ナビゲーション実行時）における動作例を示すフローチャートである。
【００２５】
ステップＳＴ１：
カメラ２は、画像を撮影し、撮影画像データを生成する。
上述したように、カメラ２は、光軸が使用者の視線とできるだけ近くなるようにナビゲーション装置１００の使用者が装着するウェアラブルモニタ１に設置されている。このため、カメラ２が撮影し生成する撮影画像データは、使用者の見ている風景とほぼ同一の風景である。
本ステップの時点では、ナビゲーション装置１００の使用者が装着するウェアラブルモニタ１には、カメラ２が生成した撮像画像データに操作画像データ（アイコン、ボタン等）が重ね合わされて表示されている。
ステップＳＴ２：
画像処理部５は、ステップＳＴ１においてカメラ２が生成した撮影画像データ中において、使用者の手について３次元的な位置・形状の認識を行う。
撮影画像データ中における手の認識は、例えばテンプレートマッチング等の手法により画像内の手の形状をまず特定し、その後手の位置、特に指先に相当する部位の位置を特定する、等の方法で行えばよい。テンプレートマッチングとは、予め設定されたテンプレート画像（本実施例の場合、様々な形状の手の画像等）を画像データ内から抽出することにより目的の形状や位置を検出する手法である。
【００２６】
ステップＳＴ３：
画像処理部５は、ステップＳＴ２において認識した使用者の手の位置と、予め設定された操作画像データのそれぞれの位置とを基に、手とアイコンとの接触判定を行う。
この接触判定は、上述したように、例えば手の先端部位の３次元情報と、アイコンの占有空間の３次元情報とを基に、手の先端部位がアイコンの占有空間内にある場合に、使用者の手と当該アイコンとが接触している、すなわち、使用者が当該アイコンを操作しようとしている、との判定を行う。
ステップＳＴ４：
画像処理部５は、ステップＳＴ３において行った手とアイコンとの接触判定の結果、ナビゲーションを要求する操作が行われたか否かの判定を行う。ナビゲーションを要求する操作とは、ウェアラブルモニタ１に表示した例えば複数のアイコンの内、ナビゲーションを開始するためのアイコン（例えば図２（ａ）における「Ｓｅａｒｃｈ」アイコンや「Ｎａｖｉｇａｔｉｏｎ」アイコン等）に使用者の手が接触したことを意味する。
本ステップにおいて、ナビゲーションを要求する操作が行われた、と判定した場合には、ステップＳＴ５に進み、そうでない場合にはステップＳＴ３に戻る。
【００２７】
ステップＳＴ５：
画像処理部５は、撮影画像データの特徴点抽出を行う。
特徴点抽出の手法としては、上述したように、既存のコーナー検出のアルゴリズム等を利用すればよい。
ステップＳＴ６：
画像処理部５は、ステップＳＴ５において抽出した特徴点のトラッキングを行う。
トラッキングとは、動画像において、前の画像のある点が次の画像のどこへ動いたのかを追跡する技術である。
トラッキングの手法としては、例えばＫＬＴ（Kanade Lucas Tomasi）法等のような既存の技術を利用すればよい。
【００２８】
ステップＳＴ７：
画像処理部５は、ステップＳＴ６におけるトラッキングの結果から、撮影画像データ内の３次元情報を算出する。
すなわち、トラッキング結果を基に、撮影画像データ内の各特徴点の３次元座標を算出することにより、撮影画像データの撮影エリア内を３次元的に再構築する。
当該処理により、撮影画像データ内にある各オブジェクトが３次元的にどのように位置しているか、を演算することができる。
【００２９】
ステップＳＴ８：
位置情報受信機３は、ＧＰＳ或いはＬＰＳを利用して、現在位置に関する位置情報（緯度、経度等）を取得する。
ステップＳＴ９：
ジャイロセンサ４は、現在の使用者の視線の方向を示す方位情報を取得する。
なお、ステップＳＴ８及びステップＳＴ９における位置情報・方位情報の取得処理は、必ずしもステップＳＴ７の後に実行される必要はなく、使用者によるナビゲーション装置１００の使用中は常に行われることが望ましい。或いは、ナビゲーション装置１００の省電力化のために、所定時間毎に実行されることが望ましい。
そして、次のステップＳＴ１０において使用されるために、常に最新の位置情報及び方位情報を取得していることが望ましい。
【００３０】
ステップＳＴ１０：
画像処理部５は、ステップＳＴ７において算出した撮影画像データ内の３次元情報、ステップＳＴ８において取得した位置情報、ステップＳＴ９において取得した方位情報のマッチングを行う。
ステップＳＴ１１：
画像処理部５は、ステップＳＴ４において要求されたナビゲーションの対象をナビゲーションするための画像データ（ナビゲーション画像データ）を、ステップＳＴ１０においてマッチングされた撮影画像データの３次元情報、位置情報、方位情報を基に生成する。
すなわち、画像処理部５は、ステップＳＴ４においてユーザがナビゲーションを要求した対象がどこにあるかを把握し、位置情報及び方位情報を基にナビゲーション対象をナビゲートするナビゲーション画像データを生成する。
なお、ナビゲートする対象に関する情報（ナビゲートする対象の位置、形状、対象までのナビゲーションの方法等）は、予め図１に図示しないデータベース等に記憶されており、画像処理部５は当該データベースにアクセスすることによりナビゲートする対象に関する情報を得るようにすればよい。
【００３１】
ステップＳＴ１２：
画像処理部５は、ステップＳＴ１１において生成したナビゲーション画像データを撮影画像データに重ね合わせることにより、ウェアラブルモニタ１に表示するための表示画像データを生成する。
ステップＳＴ１３：
ウェアラブルモニタ１は、ステップＳＴ１３において画像処理部５が生成した表示画像データを表示する。
これにより、使用者に対してナビゲート対象へのナビゲーションを行うことができる。
【００３２】
上述したステップＳＴ１〜１３の処理は、使用者のナビゲーション装置１００の使用中は常に繰り返し実行されることが望ましい。すなわち、使用者がナビゲーション対象に到達するまで上述した処理を繰り返し実行すると言うことである。このようにして、確実にナビゲーションを行うことができる。
【００３３】
なお、上述した実施形態では、カメラ２及びジャイロセンサ４については使用者が装着するウェアラブルモニタ１に搭載するように説明したが、位置情報受信機３、画像処理部５及びデータベースの設置箇所については特に限定していない。
ナビゲーション装置１００の使用者の負担を少なくするためには、使用者が装着するのはウェアラブルモニタ１のみであることが好ましい。このため、例えばウェアラブルモニタ１に無線通信機能を設け、ウェアラブルモニタ１と通信可能な任意の場所に画像処理部５及びデータベースを設けるようにすればよい。この場合には、位置情報受信機３はウェアラブルモニタ１に搭載する必要がある。
或いは、位置情報受信機３、画像処理部５及びデータベースを小型の筐体にまとめ、例えば使用者の胸や尻ポケット、或いは腰等に装着可能に設計する。使用者は、ナビゲーション装置１００の使用時には、ウェアラブルモニタ１をかけると共に、ウェアラブルモニタ１と有線或いは無線で通信可能な筐体（位置情報受信機３、画像処理部５及びデータベースを含む）を身体のどこかに固定することで、ナビゲーション装置１００を持ち歩くことができる。このような場合でも、筐体を小型かつ軽量にすれば、使用者に負担をかけずにナビゲーション装置１００を持ち歩かせることが可能となる。
【００３４】
ここまで、本実施形態のナビゲーション装置１００の全体的な動作例について説明した。
以下では、ナビゲーション装置１００を使用して、どのようなナビゲーションを行うことができるか、具体例について説明する。
【００３５】
＜第１例＞
第１例として、書籍ナビゲーション装置２００について説明する。
書籍ナビゲーション装置２００は、構成的には上述したナビゲーション装置１００と全く同じ構成を有する。従って、以下書籍ナビゲーション装置２００の動作例について説明する場合に、ナビゲーション装置１００の各構成と同様の符号を使用して説明を行う。
【００３６】
書籍ナビゲーション装置２００は、例えば図書館等、大量の書籍がある施設において、所望の書籍がどこにあるかをナビゲーションするための装置である。
以下、書籍ナビゲーション装置２００の動作例について説明する。
【００３７】
図４は、書籍ナビゲーション装置２００の動作例について説明するためのフローチャートである。以下説明する図４に示すフローチャートでは、図３において説明した動作例を前提とし、当該動作例とは異なる処理について重点的に説明する。
【００３８】
ステップＳＴ２１：
書籍ナビゲーション装置２００の画像処理部５は、手とアイコンとの接触判定の結果、ナビゲーションを要求する操作が行われたか否かの判定を行う。
本具体例１における表示画像データの一例を図５に示す。
図５（ａ）は、ナビゲーションを要求する操作を行うときの表示画像データの一例である画像５００を示す図である。
【００３９】
画像５００は、例えば大量の書籍がある施設内において、書籍ナビゲーション装置２００を使用中の使用者がウェアラブルモニタ１を介して見る画像である。画像５００は、図５（ａ）に示すように、背景画像５０１、手画像５０２、アイコン５０３を含む。
ここで、背景画像５０１は、上述したように、ウェアラブルモニタ１に搭載された使用者と同じ視線を有するカメラ２が撮影した、使用者の本来見る風景とほぼ同様な風景の画像である。
画像５００内には、使用者の手の画像（手画像）５０２が含まれている。このとき、画像処理部５は、手の位置及び形状の認識を行い、手の先端部位（例えば指先部分５０４）の３次元位置情報（３次元情報）を取得する。
そして、画像５００内にはアイコン５０３も同時に表示されている。画像処理部５は、手の先端部位の３次元情報と、予め設定されたアイコン５０３の占有する空間の３次元情報とを基に、互いの接触判定を行う。
図５（ａ）では、「Ｓｅａｒｃｈ」アイコンが使用者によって選択されている状況を示している。すなわち、図５（ａ）において、使用者の手の先端部位は、「Ｓｅａｒｃｈ」アイコンと接触している、と判定されている。これにより、画像処理部５は、「Ｓｅａｒｃｈ」コマンドが入力されたものと判断し、以下説明する書籍の検索処理を行うことになる。
図５（ａ）では一例として「Ｓｅａｒｃｈ」アイコンを１つのみ表示しているが、図２に示したように他の種類のアイコンを表示してもよい。
【００４０】
なお、図５（ａ）においては、使用者が「Ｓｅｒａｃｈ」アイコンを操作しているときの表示画像データについて説明したが、使用者が書籍ナビゲーション装置２００を使用しているときでも、特に書籍の検索を行っていない状況では、アイコン５０３を表示する必要はない。このような場合には、例えば背景画像のみが表示されるようにすればよい。
例えば、表示画像データ内に使用者の手が検出されたことを条件にアイコン５０３を表示画像データ内に重ね合わせて表示するようにすれば、使用者が書籍の検索を行わない場合には、アイコン５０３は表示されず、アイコンによって使用者の視界が妨げられる事態が発生しない。すなわち、使用者は書籍の検索を行いたいときのみ、己の手を視界内（表示画像データ内）に入れ、これを条件としてアイコン５０３が表示画像データ内に表示され、書籍の検索を行うことが可能となる。
【００４１】
なお、本ステップＳＴ２１において、ナビゲーションを要求する操作が行われた、と判定した場合には、ステップＳＴ２２に進み、そうでない場合にはステップＳＴ２１を繰り返す。
【００４２】
ステップＳＴ２２：
画像処理部５は、書籍検索を行うための表示画像データをウェアラブルモニタ１に表示させる。
書籍検索を行うための表示画像データは、例えば５０音のかな入力アイコンが並ぶ画像、或いは、アルファベット２６文字、数字及び記号の入力を行うためのアイコンが並ぶ画像である。
【００４３】
ステップＳＴ２３：
画像処理部５は、書籍の検索条件が入力されたか否かの判定を行う。
画像処理部５は、ステップＳＴ２２において表示した書籍検索を行うための表示画像データにおいて、当該アイコンと使用者の手の先端部位との接触判定を行うことにより使用者による文字の入力を受け付ける。そして、複数の文字（文字列）の入力を受け付けることにより、使用者が検索を要求する書籍を特定する。
ここで使用者が入力する、書籍を特定するための文字列としては、例えば、書籍名、著者名、書籍のジャンル、出版社名、図書分類コード等がある。すなわち、使用者は、上述したアイコンによる文字入力により、検索を要求する書籍の名称や図書分類コードを直接入力する方法、或いは著者名やジャンル、出版社名を入力することにより候補を絞り、目的の書籍を特定する方法の何れかの方法によって検索対象の書籍を書籍ナビゲーション装置２００に入力することになる。
本ステップＳＴ２３において、検索条件が入力されたと判定した場合はステップＳＴ２４に進み、そうでない場合はステップＳＴ２２に戻る。
【００４４】
ステップＳＴ２４：
画像処理部５は、ステップＳＴ２３において入力された検索結果を基に、検索対象すなわちナビゲーション対象の書籍を特定する。
【００４５】
ステップＳＴ２５：
画像処理部５は、図示しないデータベースにアクセスし、ステップＳＴ２４において特定したナビゲーション対象の書籍の所在地情報、表紙や背表紙の画像データ等を取得する。書籍の所在地情報とは、例えば施設内のどこに当該検索対象の書籍が存在するか、を示す情報であり、当該情報は例えば施設の担当者等により予めデータベースに入力され記憶されている。所在地情報は、例えばフロア番号、書棚の番号、書棚内のどの段にあるかを示す情報等により構成される。
【００４６】
ステップＳＴ２６：
画像処理部５は、ステップＳＴ２５において取得したナビゲーション対象の書籍に関する情報と、カメラ２から取得した撮影画像データに特徴点抽出及びトラッキングを行って得た３次元情報と、位置情報受信機３が取得した位置情報と、ジャイロセンサ４が取得した、使用者の視線の方位を示す方位情報とを基に、ナビゲーション画像データを生成する。
具体的には、画像処理部５は、例えばＬＰＳにより得た施設内の使用者の位置情報と、ナビゲーション対象の書籍の所在地情報と、方位情報を基に、使用者が施設内のどこに向かえばよいかを示す矢印等のナビゲーション画像データを生成する。
【００４７】
ステップＳＴ２７：
画像処理部５は、ステップＳＴ２６において生成したナビゲーション画像データと、カメラ２が取得する撮影画像データとを重ね合わせて、ウェアラブルモニタ１に表示させるための表示画像データを生成する。
図５（ｂ）及び（ｃ）は、画像処理部５が生成する表示画像データの具体例を示す図である。
【００４８】
図５（ｂ）は、ナビゲーション中の表示画像データの一例を示している。
図５（ｂ）に示す画像６００は、背景画像６０１に、書籍情報画像６０２及びナビゲーション画像６０３を重ね合わせて生成される。
書籍情報画像６０２は、ステップＳＴ２４において特定したナビゲーション対象の書籍に関する情報（書籍名、著者名、当該書籍のある場所等）を表示する画像である。
ナビゲーション画像６０３は、使用者をナビゲートするための画像であり、ここでは一例として矢印形状のものを使用している。ナビゲーション画像６０３に従って使用者が移動することにより、ナビゲーション対象の書籍に近づくことができるようになっている。
【００４９】
図５（ｃ）は、ナビゲーション対象にまで辿り着いた場合の表示画像データの一例を示している。
図５（ｃ）に示す画像７００は、背景画像７０１に、書籍情報画像７０２、表紙画像欄７０３、表紙画像７０４、ナビゲーション対象指示画像７０５ａ，７０５ｂを重ね合わせて生成される。
【００５０】
図５（ｃ）に示すように、画像７００は、ナビゲーション対象の書籍をユーザに対してわかりやすく示すことを目的とした画像である。
書籍情報画像７０２は、ステップＳＴ２４において特定したナビゲーション対象の書籍に関する情報を表示する画像である。
表紙画像欄７０３は、表紙画像７０４を表示するためのスペースである。
表紙画像７０４は、ナビゲーション対象の書籍の表紙の画像であり、データベースに予め記憶されている場合に画像処理部５がこれを読み出して表示する。
ナビゲーション対象指示画像７０５ａは、ナビゲーション対象の書籍を使用者にわかりやすく示すための画像であり、ここでは一例として矢印形状のものを使用している。
ナビゲーション対象指示画像７０５ｂは、ナビゲーション対象の書籍をわかりやすく示すための画像のバリエーションの１つであり、ここでは一例として、ナビゲーション対象の書籍の背表紙を強調表示（使用者の注意を喚起しやすい蛍光色で表示する等）している。
このように、ナビゲーション対象指示画像７０５ａ，ｂは、ナビゲーション対象の書籍の所在を使用者にわかりやすく示すために、任意に好適な表示を行う画像である。
なお、画像処理部５がナビゲーション対象指示画像７０５ｂを生成する際には、例えばデータベースから取得した背表紙の画像と、撮影画像データ内にある複数の書籍の背表紙の画像とを照合し、合致するものがある場合にその書籍をナビゲーション対象の書籍であるとして強調表示すればよい。
【００５１】
上記説明したナビゲーション装置１００の第１の具体例である書籍ナビゲーション装置２００によれば、例えば大量の書籍を保持する図書館等の施設において、使用者の現在位置に関する位置情報をＬＰＳ等の位置情報受信機３により取得し、使用者の視線の向いている方向を方位情報としてジャイロセンサ４により取得し、使用者の視界とほぼ同様の撮影画像データに対して特徴点抽出及びトラッキングを行って３次元情報を取得し、使用者の入力したナビゲーション対象に関する情報をデータベースから取得し、これらの情報を基に、ナビゲーション対象の書籍の所在地まで使用者をナビゲートするためのナビゲーション画像データを生成し、撮影画像データと重ね合わせて表示画像データを生成する。そして、表示画像データは使用者が装着するウェアラブルモニタ１に表示される。
このため、使用者はウェアラブルモニタ１を介して、現実の風景にナビゲーションのための画像が重ね合わせて表示された画像を見ることになり、ナビゲーションの内容を瞬時に、そして直感的に把握しやすい。
また、使用者は、書籍ナビゲーション装置２００の使用中には、ウェアラブルモニタ１を装着する必要がある他は、例えば画像処理部５を納めた小型の筐体を保持する必要がある程度で、使用者に負担をかけないナビゲーションが可能となる。更に、ウェアラブルモニタ１に通信機能を付け、例えば施設内に設置された画像処理部５及びデータベースと通信を行ってナビゲーション対象に関する情報等のやりとりをする場合には、更に使用者の負担を軽減することができる。
また、ナビゲーション対象の書籍までナビゲートした後は、ナビゲーション対象の書籍を矢印で示したり、ナビゲーション対象の書籍の背表紙等を強調表示したりする。このため、例えば多くの書籍が書棚に並んでおり、一見してナビゲーション対象がどこにあるのか分からないような場合でも、使用者にナビゲーション対象の所在地を瞬時に把握させることができる。
【００５２】
＜第２例＞
次に、第２例として、遠隔会議システム３００について説明する。
遠隔会議システム３００は、複数の使用者にウェアラブルモニタ１を装着させ、予め用意された他の使用者の画像を撮影画像データに重ね合わせて表示させることにより、あたかも他の使用者が目前にいるように遠隔会議を行うことができるシステムである。
図６は、遠隔会議システム３００の構成の一例を示すブロック図である。
【００５３】
図６では、複数の使用者Ａ、Ｂ、Ｃ、Ｄが遠隔会議を行う場合の遠隔会議システム３００の構成例を示している。
図６に示すように、使用者Ａが使用するウェアラブルモニタ１Ａ、カメラ２Ａ、位置情報受信機３Ａ、ジャイロセンサ４Ａ及び使用者Ｂが使用するウェアラブルモニタ１Ｂ、カメラ２Ｂ、位置情報受信機３Ｂ、ジャイロセンサ４Ｂが画像処理部５−１に接続されている。
画像処理部５−１は、ネットワーク３０１を介して通信部６−２と通信を行う通信部６−１に接続されている。ここで、ネットワーク３０１は例えばインターネットやＬＡＮ（Local Area Network）等の通信ネットワークである。
【００５４】
通信部６−２は画像処理部５−２と接続されている。
そして、画像処理部５−２は使用者Ｃが使用するウェアラブルモニタ１Ｃ、カメラ２Ｃ、位置情報受信機３Ｃ、ジャイロセンサ４Ｃ及び使用者Ｄが使用するウェアラブルモニタ１Ｄ、カメラ２Ｄ、位置情報受信機３Ｄ、ジャイロセンサ４Ｄに接続される。
【００５５】
図６に示す遠隔会議システム３００において、各使用者Ａ〜Ｄが装着するウェアラブルモニタ１Ａ〜１Ｄには、カメラ２Ａ〜２Ｄが撮影した撮影画像データに、自分以外の使用者（すなわち自分以外の遠隔会議出席者）を示す画像である出席者画像データ、及び会議で使用される物体を示す画像であるオブジェクト画像データを重ね合わせて生成された表示画像データが表示される。ウェアラブルモニタＡ〜Ｄのそれぞれに表示される表示画像データは、対応する位置情報受信機３Ａ〜Ｄが取得した位置情報、対応するジャイロセンサ４Ａ〜Ｄが取得した方位情報がそれぞれ反映され、使用者の状況に合わせて生成される。
【００５６】
図６においては、上述したように使用者Ａが使用するウェアラブルモニタ１Ａ、カメラ２Ａ、位置情報受信機３Ａ、ジャイロセンサ４Ａと、使用者Ｂが使用するウェアラブルモニタ１Ｂ、カメラ２Ｂ、位置情報受信機３Ｂ、ジャイロセンサ４Ｂとは画像処理部５−１に接続されている。これは、使用者ＡとＢが物理的に近い位置（例えば同じ部屋等）に位置していることを想定している。同様に、使用者ＣとＤも物理的に近い位置に位置していることを想定している。そして、使用者Ａ・Ｂと使用者Ｃ・Ｄとは物理的に遠い位置に位置しているものとする。
【００５７】
図６に示した遠隔会議システム３００において、遠隔会議を行う際の概要について簡単に説明する。
まず、遠隔会議開始時には、使用者Ａ〜Ｄのそれぞれが、ウェアラブルモニタ１Ａ〜１Ｄ、カメラ２Ａ〜２Ｄ、位置情報受信機３Ａ〜３Ｄ、ジャイロセンサ４Ａ〜４Ｄを装着する。すると、各自のウェアラブルモニタ１Ａ〜１Ｄには、各自の視線で見た風景に近い、カメラ２Ａ〜２Ｄが生成した撮影画像データが表示される。この際、遠隔会議の参加者、すなわち使用者Ａ〜Ｄのそれぞれに対応した画像が予め設定されており、図６に図示しないデータベースに予め登録されている。使用者Ａ〜Ｄのそれぞれに対応した画像とは、例えば使用者Ａ〜Ｄそれぞれの写真や、所定のイラスト等である。以下では、使用者Ａ〜Ｄのそれぞれに対応した画像をアバター画像データと称する。
そして、各使用者の発言は、例えば図示しないマイクやスピーカにより、使用者全員の元に届けられる。このようにして、出席者が遠隔地にいる場合でもあたかも眼前にいるかのように会議を行うことが可能となる。
【００５８】
上記説明したように、遠隔会議開始時には、各自のウェアラブルモニタ１Ａ〜Ｄには、自らの視線に対応した現実の風景である撮影画像データに自分以外の使用者のアバター画像データが重ね合わせて生成された表示画像データが表示される。なお、上述したように、図６に示す例では、使用者ＡとＢ、使用者ＣとＤはそれぞれ同じ部屋に存在している。このため、例えば使用者Ａのカメラ２Ａが生成する撮影画像データには使用者Ｂの姿が映っている可能性が高い。この場合も、上述したように、使用者Ａの表示画像データとしては、使用者Ｂが存在する位置に使用者Ｂに対応するアバター画像データが表示されるようにすればよい。同様に、使用者Ｂの表示画像データには、使用者Ａが存在する位置に使用者Ａに対応するアバター画像データが表示されればよい。
【００５９】
ここで、上述したように、使用者Ａの表示画像データには、他の使用者、すなわち使用者Ｂ〜Ｄのアバター画像データが含まれている。使用者Ｂのアバター画像データは、上述したように撮影画像データ内の使用者Ｂの位置に重ね合わされる。物理的に遠い位置にいる筈の使用者Ｃ及びＤのアバター画像データも撮影画像データ内に重ね合わされるが、その位置は任意である。例えば撮影画像データに映っている物に関係なく、表示画像データの所定の位置に（例えば右上部及び左上部等）アバター画像データ表示用の枠を設定し、その中にアバター画像データを表示すればよい。
【００６０】
図７は、遠隔会議システム３００における表示画像データの具体例を示す図である。
図７（ａ）は、遠隔会議開始時における、使用者Ａの装着するウェアラブルモニタ１Ａに表示される表示画像データの一例である画像８００を示している。
画像８００は、図７（ａ）に示すように、背景画像８０１、アバター画像データ８０２，８０４，８０６、アバター画像データ表示枠８０３，８０５を含む。
図７（ａ）に示す画像８００は、使用者Ａが装着するウェアラブルモニタ１Ａに表示される表示画像データの一例であるので、使用者Ａと同一の室内にいる使用者Ｂの位置に使用者Ｂに対応するアバター画像データ８０２が表示される。そして、遠隔地にいる使用者Ｃ及びＤのアバター画像データ８０４及び８０６は、画像８００内の所定の位置にあるアバター画像データ表示枠８０３及び８０５内に表示される。
【００６１】
なお、図７（ａ）には一例として使用者Ａの装着するウェアラブルモニタ１Ａに表示される表示画像データを示したが、他の使用者が装着するウェアラブルモニタ１にも、それぞれの使用者に対応した内容の表示画像データが表示される。すなわち、例えば使用者Ｂの装着するウェアラブルモニタ１Ｂには、使用者Ａの存在する位置に重ね合わされた使用者Ａに対応するアバター画像データと、図７（ａ）と同様のアバター画像データ表示枠内に使用者Ｃ及びＤに対応するアバター画像データが表示される。使用者Ｃの装着するウェアラブルモニタ１Ｃには、同室の使用者Ｄの存在する位置に重ね合わされた使用者Ｄに対応するアバター画像データと、アバター画像データ表示枠内に使用者Ａ及びＢに対応するアバター画像データが表示される。
【００６２】
本具体例の遠隔会議システム３００では、上述した構成により、多人数での遠隔会議を行う際に、ウェアラブルモニタ１を介して、あたかも会議の出席者（他の使用者）が眼前に存在するような表示画像データを見ながら会議を行うことができるので、好適に遠隔会議を行うことができる。
【００６３】
次に、遠隔会議システム３００において、特定のオブジェクトが議題に挙げられる場合について説明する。
図７（ｂ）は、特定のオブジェクトを議題として扱う場合の使用者Ａの装着するウェアラブルモニタ１Ａに表示される表示画像データの一例である画像９００を示している。
【００６４】
図７（ｂ）に示すように、画像９００は、背景画像９０１、アバター画像データ９０２，９０４，９０６、アバター画像データ表示枠９０３，９０５、オブジェクト画像９０７を含む。
このうち、背景画像９０１、アバター画像データ９０２，９０４，９０６、アバター画像データ表示枠９０３，９０５については、図７（ａ）に示す背景画像８０１、アバター画像データ８０２，８０４，８０６、アバター画像データ表示枠８０３，８０５と同様であるので説明を省略する。
【００６５】
オブジェクト画像９０７は、例えば遠隔会議において議題に挙がった物体（オブジェクト）の画像である。遠隔会議において議題に挙げられるオブジェクトに関しては、遠隔会議の主催者の手等により、予め３次元的に解析され、ポリゴンデータが生成されていることが望ましい。そして、当該オブジェクトのポリゴンデータが図６に図示しないデータベースに予め記憶され、オブジェクトが議題に挙がった時点で、当該オブジェクトのポリゴンデータをオブジェクト画像９０７として表示すればよい。
なお、例えば会議の参加者（使用者Ａ〜Ｄのいずれか）が図５（ａ）に示すようなアイコンを操作することにより、画像処理部５−１，２はオブジェクトが議題に挙がったか否かを判定する。
【００６６】
ここで、上述したようにオブジェクト画像９０７はポリゴンデータであるので、図７（ｂ）に示すような表示画像データ内において、使用者の操作により自由に回転や移動等を行うことが可能である。当該操作は、例えば図５（ａ）において説明した使用者の手とアイコンとの接触判定のように、使用者の手が予め設定されたオブジェクトの占有空間と接触したか否かの判定を行い、接触していた場合に、使用者の手がどのような動きをしたかによって入力される。例えば、使用者の手がオブジェクトを回転するように動いた場合には、表示画像データ内でもオブジェクトが回転し、使用者の手がオブジェクトを移動するように動いた場合には、表示画像データ内でもオブジェクトが移動する。
【００６７】
このように遠隔会議システム３００では、特定にオブジェクトを表示画像データ内にポリゴンデータとして表示させ、自由かつ直感的に操作することができる。例えば、ある商品のプレゼンテーション等を遠隔会議において行うような場合に、本具体例の遠隔会議システム３００は有効に利用されることができる。
【００６８】
以下、本具体例の遠隔会議システム３００の動作例について説明する。
図８は、遠隔会議システム３００の動作例について説明するためのフローチャートである。
【００６９】
ステップＳＴ３１：
画像処理部５−１，２は、遠隔会議の出席者（使用者）が揃い、それぞれウェアラブルモニタ１を装着して遠隔会議を開始する準備ができたか否かの判定を行う。
この判定は、例えば、何れかの使用者により、自らの表示画像データ内において、遠隔会議の開始に対応するアイコンが操作されたか否かを判定することにより行う。
本ステップＳＴ３１において、会議開始の準備ができたと判定した場合は、ステップＳＴ３１に進み、そうでない場合はステップＳＴ３１を繰り返す。
【００７０】
ステップＳＴ３２：
画像処理部５−１，２は、それぞれの使用者の装着するウェアラブルモニタ１に、他の使用者のアバター画像データを撮影画像データに重ね合わせた表示画像データを表示する。
【００７１】
ステップＳＴ３３：
画像処理部５−１，２は、オブジェクトを表示するか否かの判定を行う。
この判定は、例えば、何れかの使用者により、自らの表示画像データ内において、オブジェクトの表示開始を要求するアイコンが操作されたか否かを判定することにより行う。
本ステップＳＴ３３において、オブジェクト表示すると判定した場合にはステップＳＴ３４に進み、そうでない場合はステップＳＴ３３を繰り返す。
【００７２】
ステップＳＴ３４：
画像処理部５−１，２は、それぞれの使用者の装着するウェアラブルモニタ１に、図示しないデータベースに予め記憶されたオブジェクトのポリゴンデータを撮影画像データに重ね合わせた表示画像データを表示する。
【００７３】
ステップＳＴ３５：
画像処理部５−１，２は、オブジェクトに対する操作を要求されたか否かの判定を行う。
この判定は、例えば、何れかの使用者により、自らの表示画像データ内において、オブジェクトに対する操作を要求する入力がなされたか否かを判定することにより行う。
本ステップＳＴ３５において、オブジェクトに対する操作が要求されたと判定した場合にはステップＳＴ３６に進み、そうでない場合はステップＳＴ３５を繰り返す。
【００７４】
ステップＳＴ３６：
画像処理部５−１，２は、それぞれの使用者の装着するウェアラブルモニタ１に、ステップＳＴ３５において要求されたと判定した操作を行った結果のオブジェクト画像データを撮影画像データに重ね合わせた表示画像データを表示する。
【００７５】
上記説明したように、本具体例の遠隔会議システム３００では、上述した構成により、多人数での遠隔会議を行う際に、ウェアラブルモニタ１を介して、あたかも会議の出席者（他の使用者）が眼前に存在するような表示画像データを見ながら会議を行うことができるので、好適に遠隔会議を行うことができる。
また、遠隔会議システム３００では、特定にオブジェクトを表示画像データ内にポリゴンデータとして表示させ、自由かつ直感的に操作することができる。例えば、ある商品のプレゼンテーション等を遠隔会議において行うような場合に、本具体例の遠隔会議システム３００は有効に利用されることができる。
【００７６】
なお、本具体例では、一例として使用者ＡとＢ、ＣとＤがそれぞれ同室である場合について説明したが、本発明はこれには限定されない。例えば使用者Ａ〜Ｄがそれぞれ異なる遠隔地に存在していてもよいし、使用者がより多い或いは少ない場合でも本発明は適用が可能である。
また、本具体例では、オブジェクトが１つだけの場合について説明したが、本発明はこれには限定されない。オブジェクトの数については任意であり、予めそれぞれのオブジェクトについてポリゴンデータを用意しておけばよい。また、ポリゴンデータだけではオブジェクトの詳細がよく分からない場合には、詳細なテクスチャ画像データを予め生成しておき、ポリゴンデータに貼付して表示するようにすればよい。
【００７７】
＜第３例＞
以下、第３例として、目的地ナビゲーション装置４００について説明する。
目的地ナビゲーション装置４００は、構成的には上述したナビゲーション装置１００と全く同じ構成を有する。従って、以下目的地ナビゲーション装置４００の動作例について説明する場合に、ナビゲーション装置１００の各構成と同様の符号を使用して説明を行う。
【００７８】
目的地ナビゲーション装置４００は、ウェアラブルモニタ１を装着した使用者に、目的地までの道順や、渋滞情報、到着予定時刻、方角など、移動の際に有用な情報を提示することを目的とする。
【００７９】
目的地ナビゲーション装置４００では、上述した他の例とは異なり、使用者がウェアラブルモニタ１を装着したまま、公道等の公共の場を移動することが想定されている。従って、上述したように、ウェアラブルモニタ１に撮影画像データとナビゲーション画像データとを重ね合わせて生成した表示画像データを表示する方式では、万が一ウェアラブルモニタ１が動作不良を起こした場合等に、使用者の視界が奪われ危険であることが考えられる。
【００８０】
従って、特に本具体例の目的地ナビゲーション装置４００では、ウェアラブルモニタ１のレンズ部分は可視光を透過する光学ガラス素子により構成され、当該光学ガラス素子にナビゲーション画像データが投影されるように構成されることが望ましい。このようにすると、使用者の目には、光学ガラス素子を通して見える現実の風景に、ナビゲーション画像データが重ね合わされて見えることになる。このため、万が一ウェアラブルモニタ１が動作不良を起こした際にも、ナビゲーション画像データが表示されなくなるだけであり、使用者の視界が塞がれる事態を回避することができる。
【００８１】
図９は、目的地ナビゲーション装置４００のナビゲーション時における使用者の視界の一例を示した図である。
図９に示した例では、使用者がウェアラブルモニタ１を通して見る現実の風景１００１に、ナビゲーション画像データである目的地指示画像１００２、方位画像１００３、情報提示画像１００４及び１００５が重ね合わされる。
【００８２】
図９に示した例では、例えば道路上を走行する車両に搭乗した使用者が見る風景を想定している。
このため、図９における現実の風景１００１は、車両上から道路を見た風景である。
ナビゲーション画像データ１００２は、予め使用者が入力した目的地までのナビゲーションを行うための画像である。図９の例では、道路上に矢印が表示されており、矢印に従って移動することにより目的地に到着できるようになっている。ナビゲーション画像データ１００２を構成する矢印は、直感的に大きさを把握できる程度に大きさが変化して複数表示されており、目的地に近い矢印ほど小さく表示されるようになっている。このため、使用者は現在地からどのように移動すれば目的地に到着できるか、を瞬時にそして直感的に把握することが可能である。
【００８３】
方位画像１００３は、位置情報受信機３が取得する位置情報と、ジャイロセンサ４の方位情報を基に、使用者の視界と方角との関係が一目で分かるように生成された画像である。方位画像１００３により、使用者は自らの向きに対応した方角を把握することができる。
情報提示画像１００４及び１００５は、各種情報を文字・記号等の形式で表示する画像である。図９の例では、位置情報受信機３が取得する位置情報の時間による変化を基に算出した使用者の平均速度と、データベースにアクセスして取得した目的地までの距離とから得られる、到着予定時刻が情報提示画像１００４として表示されている。また、ネットワーク等にアクセスしたリアルタイムの渋滞情報が情報提示画像１００５として表示されている。
【００８４】
上記説明したように、本具体例の目的地ナビゲーション装置４００によれば、移動の際に有用な情報がウェアラブルモニタ１に表示されるので、使用者は効率よく移動を行うことができるようになる。特に、可視光を透過するウェアラブルモニタ１のレンズ部分（光学ガラス素子）に情報が投影されるので、移動方向を見たまま移動に関する情報を取得することができる。従って、例えば従来のカーナビゲーション装置のように、車両の運転中に前方から視線を逸らして情報を表示する装置を見る必要が無く、安全性が高い。また、万が一ウェアラブルモニタ１が動作不良を起こした場合でも、レンズ部分は可視光を透過するため、使用者の視界が塞がれる恐れが無く、安全性が高い。
さらに、目的地の入力や設定の変更等、目的地ナビゲーション装置４００への入力操作を、例えば図２（ａ）の例のようなアイコンによる入力操作により受け付けるようにすれば、入力操作の際にも視線を前方から逸らせる必要が無く、安全性を向上させることができる。
【００８５】
以上説明したように、本実施形態のナビゲーション装置１００によれば、使用者が装着するウェアラブルモニタ１に、使用者が本来見る現実の風景に重ね合わせて、ナビゲーション対象までのナビゲーション画像データや、その他の有用な情報を含む画像データを表示することができる。
また、使用者はナビゲーション装置１００の使用時には、ウェアラブルモニタ１を装着する他には、位置情報受信機３、画像処理部５、データベースを納めた小型の筐体を保持するだけでよく、使用者にかかる負担が少なくて済む。特に、ウェアラブルモニタ１にカメラ２、位置情報受信機３、ジャイロセンサ４を搭載し、所定の位置に設置した画像処理部５と例えば無線通信を行うことによりデータのやりとりを行う用に構成することで、使用者の負担をさらに低減することができるようになる。
また、使用者の視線の移動、或いは使用者の位置の移動に応じて、ナビゲーション画像データを逐次変化させるので、使用者を確実にナビゲーション対象までナビゲートすることができる。
さらに、ナビゲーション装置１００の使用目的に応じて、画像処理部５の処理を適宜対応させることにより、例えば上述した具体例１〜３のように、様々なナビゲーション対象に対応した動作を行わせることが可能である。
【００８６】
なお、本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
【符号の説明】
【００８７】
１…ウェアラブルモニタ、２…カメラ、３…位置情報受信機、４…ジャイロセンサ、５…画像処理部、６…通信部、１００…ナビゲーション装置、２００…書籍ナビゲーション装置、３００…遠隔会議システム、３０１…ネットワーク、４００…目的地ナビゲーション装置
【図１】
2011203984.tif 000003
【図２】
2011203984.tif 000004
【図３】
2011203984.tif 000005
【図４】
2011203984.tif 000006
【図５】
2011203984.tif 000007
【図６】
2011203984.tif 000008
【図７】
2011203984.tif 000009
【図８】
2011203984.tif 000010
【図９】
2011203984.tif 000011