(57)【要約】【課題】ユーザが利用する通信手段における通信の状態を、実空間内での実体を伴う通信を行っているかのように表示すること。【解決手段】１つ以上の物体の外観の特徴を表す特徴データを記憶しているデータ記憶部と、撮像装置を用いて実空間を撮影することにより得られる入力画像、及び前記データ記憶部により記憶されている前記特徴データに基づいて、前記実空間内に存在する物体の位置を表現する環境マップを構築する環境マップ構築部と、前記環境マップ構築部により構築される前記環境マップを用いて、通信インタフェースを介する通信の状態を画面上に表示するためのアニメーションデータを生成する情報生成部と、前記情報生成部により生成される前記アニメーションデータに応じたアニメーションを前記入力画像に重畳することにより、出力画像を生成する画像重畳部と、を備える画像処理装置を提供する。【選択図】図４
2011159163.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上の物体の外観の特徴を表す特徴データを記憶しているデータ記憶部と；
撮像装置を用いて実空間を撮影することにより得られる入力画像、及び前記データ記憶部により記憶されている前記特徴データに基づいて、前記実空間内に存在する物体の位置を表現する環境マップを構築する環境マップ構築部と；
前記環境マップ構築部により構築される前記環境マップを用いて、通信インタフェースを介する通信の状態を画面上に表示するためのアニメーションデータを生成する情報生成部と；
前記情報生成部により生成される前記アニメーションデータに応じたアニメーションを前記入力画像に重畳することにより、出力画像を生成する画像重畳部と；
を備える画像処理装置。
【請求項２】
前記情報生成部は、前記環境マップにより表現される実空間内の物体の位置に応じて、前記アニメーションの動きを決定する、請求項１に記載の画像処理装置。
【請求項３】
前記情報生成部は、通信相手の位置に応じて、前記アニメーションの動く方向を決定する、請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記情報生成部は、前記通信の速度に応じて、前記アニメーションの動き又は前記アニメーションの種類を決定する、請求項１に記載の画像処理装置。
【請求項５】
前記通信は無線通信であり、
前記情報生成部は、前記通信における無線信号の受信レベルに応じて、前記アニメーションの動き又は前記アニメーションの種類を決定する、
請求項１に記載の画像処理装置。
【請求項６】
前記情報生成部は、前記通信が成功したか否かに応じて、前記アニメーションの動きを変化させる、請求項１に記載の画像処理装置。
【請求項７】
前記情報生成部は、前記通信により実現される通信サービスの種別に応じて、前記アニメーションの動き又は前記アニメーションの種類を決定する、請求項１に記載の画像処理装置。
【請求項８】
前記アニメーションは、仮想的なキャラクターを表現するアニメーションである、請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記画像処理装置は、前記入力画像及び前記特徴データに基づいて前記撮像装置の前記実空間内の位置を動的に検出する検出部、をさらに備え、
前記アニメーションが重畳される前記入力画像内の位置は、前記検出部により検出される前記撮像装置の前記実空間内の位置に応じて算出される、
請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
１つ以上の物体の外観の特徴を表す特徴データを記憶している記憶媒体を備える画像処理装置における画像処理方法であって：
撮像装置を用いて実空間を撮影した入力画像を取得するステップと；
前記入力画像及び前記特徴データに基づいて、前記実空間内に存在する物体の位置を表現する環境マップを構築するステップと；
前記環境マップを用いて、通信インタフェースを介する通信の状態を画面上に表示するためのアニメーションデータを生成するステップと；
前記アニメーションデータに応じたアニメーションを前記入力画像に重畳することにより、出力画像を生成するステップと；
を含む画像処理方法。
【請求項１１】
１つ以上の物体の外観の特徴を表す特徴データを記憶している記憶媒体を備える画像処理装置を制御するコンピュータを：
撮像装置を用いて実空間を撮影することにより得られる入力画像及び前記特徴データに基づいて、前記実空間内に存在する物体の位置を表現する環境マップを構築する環境マップ構築部と；
前記環境マップ構築部により構築される前記環境マップを用いて、通信インタフェースを介する通信の状態を画面上に表示するためのアニメーションデータを生成する情報生成部と；
前記情報生成部により生成される前記アニメーションデータに応じたアニメーションを前記入力画像に重畳することにより、出力画像を生成する画像重畳部と；
として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、実空間を撮影して得られる画像を加工した上でユーザに呈示する拡張現実（ＡＲ：Augmented  Reality）と呼ばれる技術が注目されている。ＡＲ技術では、例えば、入力画像に映った実空間内の物体に関連する有用な情報が画像内に挿入され、出力画像として出力される。即ち、ＡＲ技術では、典型的には、ユーザに呈示される画像の多くの部分は実空間を映したものであり、画像の一部分が目的に応じて加工され得る。このような特徴は、出力画像の全体（又は大部分）がＣＧ（Computer  Graphics）により構成される仮想現実（Virtual  Reality）とは対照的である。ＡＲ技術を用いることで、例えば、出力画像を基にしたユーザによる実空間の状況把握の容易化や作業支援などの利点が提供され得る。
【０００３】
ＡＲ技術において、真に有用な情報をユーザに呈示するためには、コンピュータが実空間の状況を的確に把握することが重要である。そのため、ＡＲ技術の基盤となる実空間の状況の把握を目的とした技術の開発も進められている。例えば、下記特許文献１には、カメラの位置や姿勢とカメラの画像に映る特徴点の位置とを同時に推定可能なＳＬＡＭ（Simultaneous  Localization  And  Mapping）とよばれる技術を応用して、実空間内に存在する物体の３次元位置を表現する環境マップを動的に生成する手法が記載されている。なお、単眼カメラを用いたＳＬＡＭ技術の基本的な原理は、下記非特許文献１において説明されている。
【０００４】
ところで、情報通信技術が一般ユーザの間に広く普及した現在において、ユーザは、携帯端末によるセルラー通信、ホームネットワークにおける有線又は無線ＬＡＮ（Local  Area  Network）、ブロードバンド通信及び赤外線通信など、様々な通信手段を利用している。また、これら通信手段を活用する通信サービスも多様化している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３０４２６８号公報
【非特許文献】
【０００６】
【非特許文献１】Andrew  J.Davison,  “Real-Time  Simultaneous  Localization  and  Mapping  with  a  Single  Camera”,  Proceedings  of  the  9th  IEEE  International  Conference  on  Computer  Vision  Volume  2,  2003,  pp.1403-1410
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、ユーザが利用する通信手段における通信の状態は、一般的には、画面上においてシンプルなアイコンなどの画像又は文字情報を用いてユーザに通知されるに過ぎない。また、一部のアプリケーションにおいてポストペット（登録商標）などに代表される仮想的なエージェントを画面上に表示する例が存在するものの、これらエージェントは、端末装置の画面内に閉じた仮想空間内で動作するのみである。
【０００８】
これに対して、上述した環境マップを応用し、あたかも実空間内での実体を伴う通信を行っているかのような情報を表示することにより通信の状態を表現することができれば、通信の状態をより直感的にユーザが把握することが可能となると共に、通信に際しての娯楽性をもユーザに提供し得るものと期待される。
【０００９】
そこで、本発明は、ユーザが利用する通信手段における通信の状態を実空間内での実体を伴う通信を行っているかのように表示することのできる、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供しようとするものである。
【課題を解決するための手段】
【００１０】
本発明のある実施形態によれば、１つ以上の物体の外観の特徴を表す特徴データを記憶しているデータ記憶部と、撮像装置を用いて実空間を撮影することにより得られる入力画像、及び上記データ記憶部により記憶されている上記特徴データに基づいて、上記実空間内に存在する物体の位置を表現する環境マップを構築する環境マップ構築部と、上記環境マップ構築部により構築される上記環境マップを用いて、通信インタフェースを介する通信の状態を画面上に表示するためのアニメーションデータを生成する情報生成部と、上記情報生成部により生成される上記アニメーションデータに応じたアニメーションを上記入力画像に重畳することにより、出力画像を生成する画像重畳部と、を備える画像処理装置が提供される。
【００１１】
また、上記情報生成部は、上記環境マップにより表現される実空間内の物体の位置に応じて、上記アニメーションの動きを決定してもよい。
【００１２】
また、上記情報生成部は、通信相手の位置に応じて、上記アニメーションの動く方向を決定してもよい。
【００１３】
また、上記情報生成部は、上記通信の速度に応じて、上記アニメーションの動き又は上記アニメーションの種類を決定してもよい。
【００１４】
また、上記通信が無線通信である場合には、上記情報生成部は、上記通信における無線信号の受信レベルに応じて、上記アニメーションの動き又は上記アニメーションの種類を決定してもよい。
【００１５】
また、上記情報生成部は、上記通信が成功したか否かに応じて、上記アニメーションの動きを変化させてもよい。
【００１６】
また、上記情報生成部は、上記通信により実現される通信サービスの種別に応じて、上記アニメーションの動き又は上記アニメーションの種類を決定してもよい。
【００１７】
また、上記アニメーションは、仮想的なキャラクターを表現するアニメーションであってもよい。
【００１８】
また、上記画像処理装置は、上記入力画像及び上記特徴データに基づいて上記撮像装置の上記実空間内の位置を動的に検出する検出部、をさらに備え、上記アニメーションが重畳される上記入力画像内の位置は、上記検出部により検出される上記撮像装置の上記実空間内の位置に応じて算出されてもよい。
【００１９】
また、本発明の別の実施形態によれば、１つ以上の物体の外観の特徴を表す特徴データを記憶している記憶媒体を備える画像処理装置における画像処理方法であって、撮像装置を用いて実空間を撮影した入力画像を取得するステップと、上記入力画像及び上記特徴データに基づいて、上記実空間内に存在する物体の位置を表現する環境マップを構築するステップと、上記環境マップを用いて、通信インタフェースを介する通信の状態を画面上に表示するためのアニメーションデータを生成するステップと、上記アニメーションデータに応じたアニメーションを上記入力画像に重畳することにより、出力画像を生成するステップと、を含む画像処理方法が提供される。
【００２０】
また、本発明の別の実施形態によれば、１つ以上の物体の外観の特徴を表す特徴データを記憶している記憶媒体を備える画像処理装置を制御するコンピュータを、撮像装置を用いて実空間を撮影することにより得られる入力画像及び上記特徴データに基づいて、上記実空間内に存在する物体の位置を表現する環境マップを構築する環境マップ構築部と、上記環境マップ構築部により構築される上記環境マップを用いて、通信インタフェースを介する通信の状態を画面上に表示するためのアニメーションデータを生成する情報生成部と、上記情報生成部により生成される上記アニメーションデータに応じたアニメーションを上記入力画像に重畳することにより、出力画像を生成する画像重畳部と、として機能させるための、プログラムが提供される。
【発明の効果】
【００２１】
以上説明したように、本発明に係る画像処理装置、画像処理方法及びプログラムによれば、ユーザが利用する通信手段における通信の状態を、実空間内での実体を伴う通信を行っているかのように表示することができる。
【図面の簡単な説明】
【００２２】
【図１】一実施形態に係る画像処理装置について説明するための模式図である。
【図２】図１に示した環境において取得され得る入力画像の一例を示す説明図である。
【図３】画像処理装置の他の例について説明するための模式図である。
【図４】一実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図５】一実施形態に係る自己位置検出処理の流れの一例を示すフローチャートである。
【図６】オブジェクト上に設定される特徴点について説明するための説明図である。
【図７】特徴点の追加について説明するための説明図である。
【図８】予測モデルの一例について説明するための説明図である。
【図９】特徴データの構成の一例について説明するための説明図である。
【図１０】一実施形態に係るオブジェクト認識処理の流れの一例を示すフローチャートである。
【図１１】通信サービスと各通信サービスにおけるステータスとの対応の一例を示す説明図である。
【図１２】一実施形態に係るアニメーションデータ生成処理の流れの一例を示すフローチャートである。
【図１３】一実施形態に係る情報生成部によるアニメーションの種類の決定について説明するための説明図である。
【図１４】一実施形態に係る情報生成部によるアニメーションの始点及び終点の決定について説明するための説明図である。
【図１５】一実施形態に係る情報生成部により決定され得るアニメーションの経路の第１の例を示す説明図である。
【図１６】一実施形態に係る情報生成部により決定され得るアニメーションの経路の第２の例を示す説明図である。
【図１７】一実施形態に係る情報生成部による通信レート又は受信レベルに応じたアニメーションの変更について説明するための説明図である。
【図１８】一実施形態に係る画像処理装置により出力される出力画像の第１の例を示す説明図である。
【図１９】一実施形態に係る画像処理装置により出力される出力画像の第２の例を示す説明図である。
【図２０】汎用コンピュータのハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２４】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．画像処理装置の概要
２．一実施形態に係る画像処理装置の構成
２−１．撮像部
２−２．環境マップ生成部
２−３．出力画像生成部
２−４．出力画像の例
３．ハードウェア構成の例
４．応用例
５．まとめ
【００２５】
＜１．画像処理装置の概要＞
図１は、本発明の一実施形態に係る画像処理装置の概要を説明するための模式図である。図１には、本発明の一実施形態に係る画像処理装置１００が存在する実空間である環境１が示されている。
【００２６】
図１を参照すると、環境１の内部には、机１１、コーヒーカップ１２、タンス１３、無線ＡＰ（Access  Point）１４、窓１５、及び画像処理装置１００が存在している。机１１は環境１の底面である床に設置されている。コーヒーカップ１２及び画像処理装置１００は、机１１の上に位置している。タンス１３は、環境１の壁面に沿って、床の上に設置されている。無線ＡＰ１４は、タンス１３の上に位置している。窓１５は、環境１の壁面に設置されている。
【００２７】
画像処理装置１００は、このような一例としての環境１を撮像装置１０２を用いて撮影し、一連の入力画像を取得する。そして、画像処理装置１００は、取得した入力画像に後に説明する一実施形態に係る情報を重畳することにより生成した出力画像を、画面１０４を用いて表示する。画像処理装置１００は、さらに、通信インタフェース１８２を有する。上述した出力画像は、例えば、通信インタフェース１８２を介する通信の状態をユーザに呈示するための画像である。
【００２８】
図２は、画像処理装置１００により撮像装置１０２を用いて取得される一例としての入力画像１０６を示す説明図である。図２を参照すると、入力画像１０６には、図１に示した環境１の内部に存在する机１１、コーヒーカップ１２、タンス１３、無線ＡＰ１４、及び窓１５が映っている。
【００２９】
なお、図１では画像処理装置１００の一例としてＰＣ（Personal  Computer）を示しているが、画像処理装置１００はかかる例に限定されない。例えば、図３に示したように、画像処理装置１００は、撮像装置及び表示装置を備えた携帯電話端末であってもよい。また、画像処理装置１００は、撮像装置及び表示装置をそれぞれ内蔵していてもよく、又はこれら装置と外部接続されてもよい。また、撮像装置及び表示装置が、ユーザの頭部に装着されるヘッドマウントディスプレイとして実現されてもよい。本節で説明した画像処理装置１００の構成の一例について、次節より具体的に説明する。
【００３０】
＜２．一実施形態に係る画像処理装置の構成＞
図４は、本発明の一実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。図４を参照すると、画像処理装置１００は、撮像部１０２、環境マップ生成部１１０、及び出力画像生成部１８０を備える。
【００３１】
［２−１．撮像部］
撮像部１０２は、例えば、ＣＣＤ（Charge  Coupled  Device）又はＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を有する撮像装置として実現され得る。撮像部１０２は、画像処理装置１００の外部に設けられてもよい。撮像部１０２は、図１に例示した環境１などの実空間を撮影することにより取得した画像を、入力画像として環境マップ生成部１１０及び出力画像生成部１８０へ出力する。
【００３２】
［２−２．環境マップ生成部］
環境マップ生成部１１０は、撮像部１０２から入力される入力画像、及び第１記憶部１３０により記憶されている後述するオブジェクトの特徴データに基づいて、実空間内に存在する１つ以上の物体の位置等を表現する環境マップを生成する。図４に示しているように、本実施形態において、環境マップ生成部１１０は、自己位置検出部１２０、第１記憶部１３０、画像認識部１４０、環境マップ構築部１５０、及び環境マップ記憶部１５２を含む。
【００３３】
（１）自己位置検出部
自己位置検出部１２０は、撮像部１０２から入力される入力画像、及び第１記憶部１３０により記憶されている特徴データに基づいて、入力画像を映した撮像装置の位置を動的に検出する。例えば、自己位置検出部１２０は、上記非特許文献１に記載されているＳＬＡＭ技術を応用することにより、撮像装置が単眼カメラを有する場合にも、当該カメラの位置及び姿勢、並びにカメラの撮像面における特徴点の位置を、フレームごとに動的に決定することができる。
【００３４】
まず、図５を用いて、自己位置検出部１２０によるＳＬＡＭ技術を応用した自己位置検出処理の全体的な流れについて説明する。次に、図６〜図８を用いて、自己位置検出処理の詳細を説明する。
【００３５】
図５は、自己位置検出部１２０によるＳＬＡＭ技術を応用した自己位置検出処理の流れの一例を示すフローチャートである。図５において、自己位置検出処理が開始すると、自己位置検出部１２０は、まず、状態変数を初期化する（ステップＳ１０２）。本実施形態において、状態変数とは、カメラの位置及び姿勢（回転角）、当該カメラの移動速度及び角速度、並びに１つ以上の特徴点の位置を要素として含むベクトルである。そして、自己位置検出部１２０は、撮像部１０２から入力画像を順次取得する（ステップＳ１１２）。ステップ１１２からステップＳ１１８までの処理は、各入力画像について（即ち毎フレーム）繰り返され得る。
【００３６】
ステップＳ１１４では、自己位置検出部１２０は、入力画像に映る特徴点を追跡する。例えば、自己位置検出部１２０は、第１記憶部１３０により予め記憶されている特徴点ごとのパッチ（例えば特徴点を中心とする３×３＝９画素の小画像）を入力画像から検出する。ここで検出されたパッチの位置、即ち特徴点の位置は、後の状態変数の更新の際に用いられる。
【００３７】
ステップＳ１１６では、自己位置検出部１２０は、所定の予測モデルに基づいて、例えば１フレーム後の状態変数の予測値を生成する。また、ステップＳ１１８では、自己位置検出部１２０は、ステップＳ１１６において生成した状態変数の予測値と、ステップＳ１１４において検出した特徴点の位置に応じた観測値とを用いて、状態変数を更新する。自己位置検出部１２０は、ステップＳ１１６及びＳ１１８における処理を、拡張カルマンフィルタの原理に基づいて実行する。
【００３８】
このような処理の結果として、毎フレーム更新される状態変数の値が出力される。以下、特徴点の追跡（ステップＳ１１４）、状態変数の予測（ステップＳ１１６）、状態変数の更新（ステップＳ１１８）の各処理の内容について、より具体的に説明する。
【００３９】
（１−１）特徴点の追跡
本実施形態において、第１記憶部１３０は、実空間内に存在し得る物体に対応するオブジェクトの特徴を表す特徴データを予め記憶している。特徴データには、例えば、各オブジェクトの外観の特徴を表す１つ以上の特徴点についての小画像、即ちパッチ（Patch）が含まれる。パッチとは、例えば、特徴点を中心とする３×３＝９画素よりなる小画像であってよい。
【００４０】
図６は、オブジェクトの２つの例、並びに各オブジェクト上に設定される特徴点（ＦＰ：Feature  Point）及びパッチの例を示している。図６の左のオブジェクトは、タンスを表すオブジェクトである（６ａ参照）。当該オブジェクト上には、特徴点ＦＰ１を含む複数の特徴点が設定されている。さらに、特徴点ＦＰ１と関連付けて、パッチＰｔｈ１が定義されている。一方、図６の右のオブジェクトは、カレンダーを表すオブジェクトである（６ｂ参照）。当該オブジェクト上には、特徴点ＦＰ２を含む複数の特徴点が設定されている。さらに、特徴点ＦＰ２と関連付けて、パッチＰｔｈ２が定義されている。
【００４１】
自己位置検出部１２０は、撮像部１０２から入力画像を取得すると、入力画像に含まれる部分画像と、第１記憶部１３０に予め記憶されている図６に例示した特徴点ごとのパッチとを照合する。そして、自己位置検出部１２０は、照合の結果として、入力画像に含まれる特徴点の位置（例えば検出されたパッチの中心画素の位置）を特定する。
【００４２】
なお、特徴点の追跡（図５のステップＳ１１４）において、追跡される全ての特徴点に関するデータが予め第１記憶部１３０に記憶されていなくてもよい。例えば、図７の例では、時刻Ｔ＝ｔ−１において、６つの特徴点が入力画像内で検出されている（７ａ参照）。次に、時刻Ｔ＝ｔにおいてカメラの位置又は姿勢が変化すると、時刻Ｔ＝ｔ−１において入力画像に映っていた６つの特徴点のうち２つのみが入力画像内に映っている。この場合に、自己位置検出部１２０は、入力画像内で特徴的な画素のパターンを有する位置に新たに特徴点を設定し、その新たな特徴点を後のフレームにおける自己位置検出処理に用いてもよい。例えば、図７の例では、時刻Ｔ＝ｔにおいて、４つの新たな特徴点がオブジェクト上に設定されている（７ｂ参照）。かかる点は、ＳＬＡＭ技術の１つの特長であり、それにより、予め全ての特徴点を設定しておくコストを削減できると共に、追加される多数の特徴点を用いて処理の精度を高めることができる。
【００４３】
（１−２）状態変数の予測
本実施形態において、自己位置検出部１２０は、拡張カルマンフィルタを適用すべき状態変数として、次式に示す状態変数Ｘを用いる。
【００４４】
【数１】
2011159163.tif 000003
【００４５】
式（１）における状態変数Ｘの第１の要素は、次式の通り、実空間に設定される座標系である世界座標系（ｘ，ｙ，ｚ）でのカメラの３次元位置を表す。
【００４６】
【数２】
2011159163.tif 000004
【００４７】
また、状態変数の第２の要素は、カメラの姿勢を表す回転行列に対応する四元数（クォータニオン）を要素として有する４次元ベクトルωである。なお、四元数の変わりにオイラー角を用いてカメラの姿勢が表されてもよい。また、状態変数の第３及び第４の要素は、カメラの移動速度及び角速度をそれぞれ表す。
【００４８】
さらに、状態変数の第５及びそれ以降の要素は、次式の通り、世界座標系での特徴点ＦＰｉ（ｉ＝１…Ｎ）の３次元位置ｐｉをそれぞれ表す。なお、上述したように、特徴点の数Ｎは、処理の間変化し得る。
【００４９】
【数３】
2011159163.tif 000005
【００５０】
自己位置検出部１２０は、ステップＳ１０２において初期化された状態変数Ｘの値、又は前フレームにおいて更新された状態変数Ｘの値に基づいて、最新のフレームについての状態変数の予測値を生成する。状態変数の予測値は、次式に示す多次元正規分布に従った拡張カルマンフィルタの状態方程式に従って生成される。
【００５１】
【数４】
2011159163.tif 000006
【００５２】
ここで、Ｆはシステムの状態遷移に関する予測モデル、ａは予測条件である。また、ｗはガウシアンノイズであり、例えばモデル近似誤差や観測誤差等を含み得る。一般的に、ガウシアンノイズｗの平均はゼロとなる。
【００５３】
図８は、本実施形態に係る予測モデルの一例について説明するための説明図である。図８を参照すると、本実施形態に係る予測モデルにおける２つの予測条件が示されている。まず、第１の条件として、特徴点の世界座標系における３次元位置は変化しないものとする。即ち、時刻Ｔにおける特徴点ＦＰ１の３次元位置をｐＴとすると、次式の関係が成立する。
【００５４】
【数５】
2011159163.tif 000007
【００５５】
次に、第２の条件として、カメラの運動は等速運動であるものとする。即ち、時刻Ｔ＝ｔ−１から時刻Ｔ＝ｔにかけてのカメラの速度及び角速度について、次式の関係が成立する。
【００５６】
【数６】
2011159163.tif 000008
【００５７】
このような予測モデル及び式（４）に示した状態方程式に基づいて、自己位置検出部１２０は、最新のフレームについての状態変数の予測値を生成する。
【００５８】
（１−３）状態変数の更新
そして、自己位置検出部１２０は、観測方程式を用いて、例えば状態変数の予測値から予測される観測情報と、特徴点の追跡結果として得られる実際の観測情報との誤差を評価する。なお、式（８）におけるνがその誤差である。
【００５９】
【数７】
2011159163.tif 000009
【００６０】
ここで、Ｈは観測モデルを表す。例えば、特徴点ＦＰｉの撮像面（ｕ−ｖ平面）上の位置を、次式のように定義する。
【００６１】
【数８】
2011159163.tif 000010
【００６２】
ここで、カメラの位置ｘ、カメラの姿勢ω、及び特徴点ＦＰｉの３次元位置ｐｉは、いずれも状態変数Ｘの要素として与えられる。そうすると、ピンホールモデルに従い、特徴点ＦＰｉの撮像面上の位置は次式を用いて導かれる。
【００６３】
【数９】
2011159163.tif 000011
【００６４】
ここで、λは正規化のためのパラメータ、Ａはカメラ内部パラメータ、Ｒωは状態変数Ｘに含まれるカメラの姿勢を表す四元数ωに対応する回転行列である。カメラ内部パラメータＡは、入力画像を撮影する撮像装置の特性に応じて、予め次式のように与えられる。
【００６５】
【数１０】
2011159163.tif 000012
【００６６】
ここで、ｆは焦点距離、θは画像軸の直交性（理想値は９０°）、ｋｕは撮像面の縦軸のスケール（世界座標系から撮像面の座標系へのスケール変化率）、ｋｖは撮像面の横軸のスケール、（ｕｏ，ｖｏ）は撮像面の中心位置である。
【００６７】
従って、式（１１）を用いて導かれる予測される観測情報、即ち各特徴点の撮像面上の位置と、図５のステップＳ１１４における特徴点の追跡結果との間の誤差を最小にする状態変数Ｘを探索することにより、尤もらしい最新の状態変数Ｘを得ることができる。
【００６８】
【数１１】
2011159163.tif 000013
【００６９】
自己位置検出部１２０は、このようにＳＬＡＭ技術を応用して動的に更新したカメラ（撮像装置）の位置ｘ及び姿勢ωを、環境マップ構築部１５０及び出力画像生成部１８０へ出力する。
【００７０】
（２）第１記憶部
第１記憶部１３０は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、実空間内に存在し得る物体に対応するオブジェクトの特徴を表す特徴データを予め記憶している。図４では、第１記憶部１３０が環境マップ生成部１１０の一部である例を示しているが、かかる例に限定されず、第１記憶部１３０は環境マップ生成部１１０の外部に設けられてもよい。図９は、特徴データの構成の一例について説明するための説明図である。
【００７１】
図９を参照すると、オブジェクトＯｂｊ１についての一例としての特徴データＦＤ１が示されている。特徴データＦＤ１は、オブジェクト名称ＦＤ１１、６方向から撮影した画像データＦＤ１２、パッチデータＤＦ１３、３次元形状データＦＤ１４、及びオントロジーデータＦＤ１５を含む。
【００７２】
オブジェクト名称ＦＤ１１は、“コーヒーカップＡ”など、対応するオブジェクトを特定することのできる名称である。
【００７３】
画像データＦＤ１２は、例えば、対応するオブジェクトを前・後・左・右・上・下の６方向からそれぞれ撮影した６つの画像データを含む。パッチデータＦＤ１３は、各オブジェクト上に設定される１つ以上の特徴点ごとの、各特徴点を中心とする小画像の集合である。画像データＦＤ１２及びパッチデータＦＤ１３は、後述する画像認識部１４０によるオブジェクト認識処理のために使用され得る。また、パッチデータＦＤ１３は、前述した自己位置検出部１２０による自己位置検出処理のために使用され得る。
【００７４】
３次元形状データＦＤ１４は、対応するオブジェクトの形状を認識するためのポリゴン情報、及び特徴点の３次元的な位置情報を含む。３次元形状データＦＤ１４は、後述する環境マップ構築部１５０による環境マップ構築処理のために使用され得る。
【００７５】
オントロジーデータＦＤ１５は、例えば、環境マップ構築部１５０による環境マップ構築処理を支援するために使用され得るデータである。図９の例では、オントロジーデータＦＤ１５は、コーヒーカップであるオブジェクトＯｂｊ１が、机又は食器洗い機に対応するオブジェクトに接する可能性が高いこと、及び本棚に対応するオブジェクトに接する可能性が低いことを表している。
【００７６】
（３）画像認識部
画像認識部１４０は、第１記憶部１３０により記憶されている上述した特徴データを用いて、入力画像に映っている物体がそれぞれどのオブジェクトに対応するかを特定する。
【００７７】
図１０は、画像認識部１４０によるオブジェクト認識処理の流れの一例を示すフローチャートである。図１０を参照すると、まず、画像認識部１４０は、撮像部１０２から入力画像を取得する（ステップＳ２１２）。次に、画像認識部１４０は、入力画像に含まれる部分画像と、特徴データに含まれる各オブジェクトの１つ以上の特徴点のパッチとを照合し、入力画像に含まれる特徴点を抽出する（ステップＳ２１４）。なお、画像認識部１４０によるオブジェクト認識処理に用いられる特徴点と、自己位置検出部１２０による自己位置検出処理に用いられる特徴点とは、必ずしも同じでなくてもよい。但し、双方の処理で用いられる特徴点が共通している場合には、画像認識部１４０は、自己位置検出部１２０による特徴点の追跡結果を再利用してもよい。
【００７８】
次に、画像認識部１４０は、特徴点の抽出結果に基づいて、入力画像に映っているオブジェクトを特定する（ステップＳ２１６）。例えば、画像認識部１４０は、ある領域内で１つのオブジェクトに属す特徴点が高い密度で抽出された場合には、当該領域にそのオブジェクトが映っていると認識し得る。そして、画像認識部１４０は、特定したオブジェクトのオブジェクト名称（又は識別子）及びそのオブジェクトに属す特徴点の撮像面上の位置を、環境マップ構築部１５０へ出力する（ステップＳ２１８）。
【００７９】
（４）環境マップ構築部
環境マップ構築部１５０は、自己位置検出部１２０から入力されるカメラの位置及び姿勢、画像認識部１４０から入力される特徴点の撮像面上の位置、及び第１記憶部１３０に記憶されている特徴データを用いて、環境マップを構築する。本明細書において、環境マップとは、実空間内に存在する１つ以上の物体の位置（及び姿勢）を表現するデータの集合である。環境マップには、例えば、物体に対応するオブジェクト名称、当該物体に属す特徴点の３次元位置、及び当該物体の形状を構成するポリゴン情報などが含まれ得る。環境マップは、例えば、画像認識部１４０から入力される特徴点の撮像面上の位置から、上述したピンホールモデルに従って各特徴点の３次元位置を求めることにより構築され得る。
【００８０】
式（１１）に示したピンホールモデルの関係式を変形すると、特徴点ＦＰｉの世界座標系における３次元位置ｐｉは、次式により求められる。
【００８１】
【数１２】
2011159163.tif 000014
【００８２】
ここで、ｄはカメラと各特徴点との間の世界座標系における距離を表す。環境マップ構築部１５０は、かかる距離ｄを、オブジェクトごとに少なくとも４つの特徴点の撮像面上の位置、及び当該特徴点間の距離に基づいて、算出することができる。特徴点間の距離は、図９を用いて説明した特徴データに含まれる３次元形状データＦＤ１４として、予め第１記憶部１３０により記憶されている。なお、式（１４）における距離ｄの算出処理については、上記特許文献１において詳しく説明されている。
【００８３】
距離ｄが算出されると、式（１４）における右辺の残りの変数は、自己位置検出部１２０から入力されるカメラの位置及び姿勢、並びに画像認識部１４０から入力される特徴点の撮像面上の位置であり、いずれも既知となる。そこで、環境マップ構築部１５０は、式（１４）に従って、画像認識部１４０から入力される各特徴点について、世界座標系における３次元位置を計算する。そして、環境マップ構築部１５０は、算出した特徴点ごとの３次元位置に応じて最新の環境マップを構築し、構築した環境マップを環境マップ記憶部１５２に記憶させる。なお、このとき、環境マップ構築部１５０は、図９を用いて説明した特徴データに含まれるオントロジーデータＦＤ１５を用いて、環境マップのデータの正確性を向上させてもよい。
【００８４】
環境マップ記憶部１５２は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、環境マップ構築部１５０により構築される環境マップを記憶する。
【００８５】
［２−３．出力画像生成部］
出力画像生成部１８０は、環境マップ生成部１１０により生成される環境マップを用いて、画像処理装置１００が有する通信手段における通信の状態をユーザに呈示するための出力画像を生成し、生成した出力画像を画面１０４に表示させる。図４に示しているように、本実施形態において、出力画像生成部１８０は、通信制御部１８４、情報生成部１８６、第２記憶部１８８、位置演算部１９０及び画像重畳部１９２を含む。
【００８６】
（１）通信制御部
通信制御部１８４は、画像処理装置１００による通信インタフェースを介する他の通信装置との間の通信を制御する。そして、通信制御部１８４は、他の通信装置との間の通信のステータス（状態）を、情報生成部１８６へ出力する。通信制御部１８４により制御される通信は、いかなる種類の通信サービスのための通信であってもよい。
【００８７】
図１１は、画像処理装置１００において扱われ得る通信サービスと、各通信サービスにおける通信のステータスとの対応の一例を示す説明図である。図１１の左側には５種類の通信サービスが列挙されており、右側に各サービスに対応するステータスの例が示されている。例えば、画像処理装置１００において扱われ得る通信サービスには、電子メール、ＳＭＳ（Short  Message  Service）、及びＶｏＩＰ（Voice  over  IP）などといったアプリケーションサービスが含まれる。通信制御部１８４は、例えば、電子メールに関する通信のステータスとして、メール送信中、メール受信中、送信（受信）完了及び送信（受信）失敗などのステータスを出力してもよい。また、通信制御部１８４は、例えば、ＳＭＳに関する通信のステータスとして、メッセージ送信中、送信完了及び送信失敗などのステータスを出力してもよい。また、通信制御部１８４は、例えば、ＶｏＩＰに関する通信のステータスとして、発呼中及び通話中などのステータスを出力してもよい。また、例えば、画像処理装置１００において扱われ得る通信サービスには、無線アクセス（無線ＡＰとの接続）及びＩｒＤＡ（Infrared  Data  Association）通信などといったミドルウェアサービスも含まれる。通信制御部１８４は、例えば、無線アクセスに関する通信のステータスとして、アクセス試行中及び接続中などのステータスを出力してもよい。また、通信制御部１８４は、例えば、ＩｒＤＡ通信に関する通信のステータスとして、アクセス試行中及びデータ通信中などのステータスを出力してもよい。本明細書では、これ以降の説明において、主に通信制御部１８４が電子メール及び無線アクセスに関する通信のステータスを扱う例について説明する。但し、本発明が他の通信サービスの種類にも適用可能であることは言うまでもない。
【００８８】
本実施形態において、通信制御部１８４は、通信インタフェースを介する通信のステータスを情報生成部１８６へ出力する際に、各ステータスに関連するパラメータをも情報生成部１８６へ出力する。例えば、通信制御部１８４から情報生成部１８６へ出力されるパラメータには、通信相手を識別するための識別データ、通信レート、及び（無線通信の場合には）無線信号の受信レベルなどが含まれ得る。通信相手を識別するための識別データとは、例えば、電子メールの宛て先（若しくは発信元）アドレス、ＳＭＳのニックネーム、無線ＡＰのＡＰ識別子、又は通信相手のＩＰアドレス若しくはＭＡＣアドレスなどであってよい。
【００８９】
なお、図４において１つの通信制御部１８４のみが示されている。かかる通信制御部１８４は、複数の種類の通信サービスに関するステータスを統合的に扱ってもよい。その代わりに、通信サービスの種類ごとの複数の通信制御部１８４が設けられてもよい。
【００９０】
（２）情報生成部
情報生成部１８６は、通信制御部１８４から入力される通信のステータスを画面上に表示するためのアニメーションデータを、環境マップ生成部１１０から取得される環境マップ及び撮像装置の位置を用いて生成する。
【００９１】
本実施形態において、情報生成部１８６により生成されるアニメーションデータは、通信のステータスを表す、環境マップと関連付けられる３次元的なアニメーションそのものであってもよい。その代わりに、アニメーションデータは、例えば、表示すべきアニメーションを制御するための制御パラメータ（アニメーションの種類、位置、動きなどを指定する情報）であってもよい。
【００９２】
図１２は、本実施形態に係るアニメーションデータ生成処理の流れの一例を示すフローチャートである。以下、図１３〜図１７を参照しながら、図１２に例示したアニメーションデータ生成処理の流れについて説明する。
【００９３】
まず、情報生成部１８６は、通信制御部１８４から入力される通信のステータス及び通信サービスの種別に応じて、アニメーションの種類を決定する（ステップＳ３０２）。図１３は、第２記憶部１８８に予め記憶されるステータス−アニメーション対応テーブル１８８ａのデータ例を示している。図１３を参照すると、例えば、情報生成部１８６は、通信サービスのサービス種別が電子メールであって、ステータスが「メール送信中」である場合には、エージェントが外部に出て行く形のアニメーションを生成すべきことを決定する。なお、エージェントとは、ステータスを表現するための仮想的な動物、人物、又は物体などのキャラクターを意味する。また、情報生成部１８６は、サービス種別が電子メールである場合に、ステータスが「メール受信中」であればエージェントが入ってくる形のアニメーション、ステータスが「完了」であればエージェントが終点に到達する形のアニメーション、ステータスが「失敗」であればエージェントが引き返す形のアニメーションをそれぞれ生成すべきことを決定する。また、情報生成部１８６は、サービス種別が無線アクセスである場合には、ステータスが「アクセス試行中」であれば無線ＡＰに矢印が延びる形のアニメーション、ステータスが「接続中」であれば無線ＡＰにケーブルがつながっている形のアニメーションをそれぞれ生成すべきことを決定する。なお、これらアニメーションの種類は一例に過ぎない。
【００９４】
次に、情報生成部１８６は、通信相手の位置に応じて、アニメーションの始点及び終点（即ち、アニメーションの動く方向）を決定する（ステップＳ３０４）。アニメーションの始点及び終点とは、アニメーションの動きが開始する環境マップ内の位置、及びアニメーションの動きの目的地となる環境マップ内の位置をそれぞれ意味する。図１４は、第２記憶部１８８に予め記憶される始点及び終点決定テーブル１８８ｂのデータ例を示している。例えば、始点及び終点決定テーブル１８８ｂは、電子メールの通信相手を登録ユーザ及び未登録ユーザに分類している。登録ユーザとは、例えば、画像処理装置１００のユーザのフレンドユーザであって、そのメールアドレス等と実空間内の位置とが予め第２記憶部１８８に登録されたユーザを指す。登録ユーザの実空間内の位置は、必ずしも実際にそのユーザが存在している位置でなくてもよい。例えば、家族についてはその部屋の位置、仕事の同僚についてはオフィスの位置、友人についてはその家の位置など、任意の位置が画像処理装置１００のユーザにより予め登録され得る。始点及び終点決定テーブル１８８ｂを参照すると、登録ユーザへ電子メールが送信される場合には、アニメーションの始点は自己位置（撮像装置の位置）、終点は予め登録された（登録ユーザの）位置となる。また、登録ユーザから電子メールが受信される場合には、アニメーションの始点は予め登録された位置、終点は自己位置となる。また、未登録ユーザへ電子メールが送信される場合には、アニメーションの始点は自己位置、終点は環境マップ内の窓の位置となる。また、未登録ユーザから電子メールが受信される場合には、アニメーションの始点は環境マップ内の窓の位置、終点は自己位置となる。さらに、無線アクセスを行う場合においては、通信相手は無線ＡＰであり、アニメーションの始点は自己位置、終点は環境マップ内の無線ＡＰの位置となる。なお、無線アクセスを行う場合に、撮像装置の位置である自己位置の代わりに、予め登録され得る通信インタフェース１８２の位置がアニメーションの始点として定義されてもよい。情報生成部１８６は、このような始点及び終点決定テーブル１８８ｂを参照することにより、通信相手の位置に応じて、アニメーションの始点及び終点を決定する。
【００９５】
次に、情報生成部１８６は、ステップＳ３０４において決定した始点及び終点を結ぶアニメーションの経路を、環境マップを用いて決定する（ステップＳ３０６）。例えば、情報生成部１８６は、環境マップ内に存在する障害物を避けるような経路をアニメーションの経路として決定してもよい。また、例えば、情報生成部１８６は、アニメーションが屋内から屋外に向かう場合に、壁ではなく窓又はドアを通過する経路をアニメーションの経路として決定してもよい。また、例えば、情報生成部１８６は、エージェントが机などの物体の表面を移動するような経路をアニメーションの経路として決定してもよい。
【００９６】
図１５及び図１６は、情報生成部１８６により決定され得るアニメーションの経路の２つの例を示している。なお、これら図では説明の便宜上２次元の画面上に経路を示しているが、実際には、情報生成部１８６は、３次元の環境マップ内でのアニメーションの経路を決定する。
【００９７】
図１５を参照すると、アニメーションの始点の位置が斜線領域Ｓ０１により示されている。また、アニメーションの終点の位置が斜線領域Ｅ０１により示されている。始点位置Ｓ０１は、例えば、撮像装置の位置である。一方、終点位置Ｅ０１は、例えば、無線ＡＰの位置（その近傍を含む）である。図１５の例において、情報生成部１８６は、これら始点位置Ｓ０１及び終点位置Ｅ０１を結ぶ線上に障害物であるコーヒーカップ１２が存在しているため、コーヒーカップ１２を避けるような経路をアニメーションの経路として決定している。また、アニメーションの経路は、その前半部において、机１１の表面に沿っている。
【００９８】
図１６を参照すると、アニメーションの始点の位置が斜線領域Ｓ０２により示されている。また、アニメーションの終点の位置が斜線領域Ｅ０２により示されている。始点位置Ｓ０２は、例えば、撮像装置の位置である。一方、終点位置Ｅ０２は、例えば、予め登録された登録ユーザの位置である。図１６の例において、情報生成部１８６は、終点位置Ｅ０２が屋外に存在しているため、窓１５を通過するような経路をアニメーションの経路として決定している。
【００９９】
次に、情報生成部１８６は、通信制御部１８４から入力される通信のステータスに関連するパラメータ、例えば通信レート又は受信レベルに応じて、アニメーションの動き又はアニメーションの種類を変更する（ステップＳ３０８）。図１７は、第２記憶部１８８に予め記憶されるパラメータ−アニメーション対応テーブル１８８ｃのデータ例を示している。例えば、情報生成部１８６は、通信レートが高レート（例えば１０ＭＢｐｓ以上）である場合には、アニメーションにより表示されるエージェントを飛行機とする。また、例えば、情報生成部１８６は、通信レートが低レート（例えば１０ＭＢｐｓ未満）である場合には、アニメーションにより表示されるエージェントを鳩とする。また、例えば、情報生成部１８６は、無線信号の受信レベルが強い場合には、ステップＳ３０６で決定した経路を辿るアニメーションの動く速度を高速にする。また、例えば、情報生成部１８６は、無線信号の受信レベルが中程度である場合には、当該経路を辿るアニメーションの動く速度を中程度にする。また、例えば、情報生成部１８６は、無線信号の受信レベルが弱い場合には、当該経路を辿るアニメーションの動く速度を低速にする。
【０１００】
情報生成部１８６は、このようなアニメーションデータ生成処理により、３次元のアニメーションに関する情報であるアニメーションデータを生成し、生成したアニメーションデータを位置演算部１９０及び画像重畳部１９２へ出力する。
【０１０１】
（３）第２記憶部
第２記憶部１８８は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、上述したステータス−アニメーション対応テーブル１８８ａ、始点及び終点決定テーブル１８８ｂ及びパラメータ−アニメーション対応テーブル１８８ｃを予め記憶している。また、第２記憶部１８８は、これらテーブルに加えて、アニメーションの素材であるキャラクターの３次元画像データなどを記憶している。
【０１０２】
（４）位置演算部
位置演算部１９０は、情報生成部１８６により生成されたアニメーションデータに応じたアニメーションを入力画像に重畳すべき位置を、環境マップ生成部１１０から取得される撮像装置の位置及び姿勢を用いて、ピンホールモデルの式（１１）に従って算出する。この場合、式（１１）における右辺の特徴点ＦＰｉの３次元位置ｐｉに、情報生成部１８６により生成されたアニメーションデータに含まれるアニメーションの３次元位置が代入される。なお、本実施形態におけるアニメーションは複数の入力画像にわたる動きを有するため、複数の入力画像にわたって変化するアニメーションの入力画像における一連の位置が、位置演算部１９０により算出され得る。さらに、例えばエージェントの向きなどなどに相当する入力画像におけるアニメーションの姿勢もまた、位置演算部１９０により算出され得る。
【０１０３】
（５）画像重畳部
画像重畳部１９２は、情報生成部１８６により生成されるアニメーションデータに応じたアニメーションを撮像部１０２から入力される一連の入力画像に重畳することにより、通信のステータスを表示する出力画像を生成する。そして、画像重畳部１９２は、生成した出力画像を、画面１０４へ出力する。
【０１０４】
［２−４．出力画像の例］
図１８及び図１９は、本実施形態において画面１０４に表示され得る出力画像の例をそれぞれ示している。
【０１０５】
図１８を参照すると、通信のステータスを表す一連のアニメーションＡ１１〜Ａ１５が重畳された出力画像Ｉｍ１１〜Ｉｍ１５が、便宜的に１つの説明図に表されている。実際には、時間軸に沿って、出力画像Ｉｍ１１にアニメーションＡ１１、出力画像Ｉｍ１２にアニメーションＡ１２、出力画像Ｉｍ１３にアニメーションＡ１３、出力画像Ｉｍ１４にアニメーションＡ１４、出力画像Ｉｍ１５にアニメーションＡ１５、が順に重畳され得る。図１８に示したアニメーションは、矢印の形状をしている。このように、仮想的なキャラクターであるエージェントの代わりに、よりシンプルな図形がアニメーションとして使用されてもよい。図１８の例において、アニメーションＡ１１〜Ａ１５が順に表示されることにより、ユーザは、例えば画像処理装置１００から無線ＡＰ１４へのアクセスが試行されていることを認識することができる。このとき、例えばユーザが撮像装置の向きを右方向へ動かしたとすると、出力画像内で、無線ＡＰ１４の位置が左方向へ移動すると共に、アニメーションの終点（矢印の動きの終点）も左方向へ移動する。また、例えば画像処理装置１００において無線ＡＰ１４からの無線信号の受信レベルが強い場合には、出力画像内で一連のアニメーションは高速に動く。一方、無線ＡＰ１４からの無線信号の受信レベルが弱い場合には、出力画像内で一連のアニメーションはゆっくり動く。さらに、例えば画像処理装置１００から無線ＡＰ１４へのアクセスが成功すると、アニメーションは、画像処理装置１００と無線ＡＰ１４との間をつなぐケーブルなどに変化する。一方、画像処理装置１００から無線ＡＰ１４へのアクセスが失敗すると、例えば、矢印であるアニメーションＡ１５の代わりに×印などが表示されてもよい。このような、実空間を映した出力画像内の多様なステータス表示により、ユーザは、画像処理装置１００による通信の状態をより直感的に把握することができる。
【０１０６】
図１９を参照すると、通信のステータスを表す一連のアニメーションＡ２１〜Ａ２４が重畳された出力画像Ｉｍ２１〜Ｉｍ２４が、便宜的に１つの説明図に表されている。実際には、時間軸に沿って、出力画像Ｉｍ２１にアニメーションＡ２１、出力画像Ｉｍ２２にアニメーションＡ２２、出力画像Ｉｍ２３にアニメーションＡ２３、出力画像Ｉｍ２４にアニメーションＡ２４が順に重畳され得る。図１９に示したアニメーションは、伝書鳩を模したキャラクターである。図１９の例において、アニメーションＡ２１〜Ａ２４が順に表示されることにより、ユーザは、例えば家の外のどこかにいる友人に電子メールが送信されていることを認識することができる。このとき、出力画像Ｉｍ２１〜Ｉｍ２４において、伝書鳩Ａ２１〜Ａ２４は、コーヒーカップ１２を避け、窓１５を通って屋外へ飛んでいく。また、例えば画像処理装置１００が利用する通信手段の通信レートが高い場合には、伝書鳩の代わりに飛行機を模したキャラクターが表示され得る。それにより、あたかも実空間内での実体を伴う通信（この場合は伝書鳩又は飛行機による手紙のやりとり）を行っているかのような感覚がユーザの視覚を通じて体験され、通信に際しての娯楽性が提供される。また、例えば電子メールの送信が失敗した場合には、伝書鳩が手紙をくわえたまま戻ってくるようなアニメーションが表示されてもよい。
【０１０７】
＜３．ハードウェア構成の例＞
なお、上述した実施形態に係る一連の処理をハードウェアで実現するかソフトウェアで実現するかは問わない。一連の処理又はその一部をソフトウェアで実行させる場合には、ソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれたコンピュータ、又は例えば図２０に示した汎用コンピュータなどを用いて実行される。
【０１０８】
図２０において、ＣＰＵ（Central  Processing  Unit）９０２は、汎用コンピュータの動作全般を制御する。ＲＯＭ（Read  Only  Memory）９０４には、一連の処理の一部又は全部を記述したプログラム又はデータが格納される。ＲＡＭ（Random  Access  Memory）９０６には、処理の実行時にＣＰＵ９０２により用いられるプログラムやデータなどが一時的に記憶される。
【０１０９】
ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６は、バス９１０を介して相互に接続される。バス９１０にはさらに、入出力インタフェース９１２が接続される。
【０１１０】
入出力インタフェース９１２は、ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６と、入力装置９２０、表示装置９２２、記憶装置９２４、撮像装置９２６、及びドライブ９３０とを接続するためのインタフェースである。
【０１１１】
入力装置９２０は、例えばボタン、スイッチ、レバー、マウスやキーボードなどの入力インタフェースを介して、ユーザからの指示や情報入力を受け付ける。表示装置９２２は、例えばＣＲＴ（Cathode  Ray  Tube）、液晶ディスプレイ、ＯＬＥＤ（Organic  Light  Emitting  Diode）などを用いて構成され、その画面上に画像を表示させる。
【０１１２】
記憶装置９２４は、例えばハードディスクドライブ又は半導体メモリなどにより構成され、プログラムやデータを記憶する。撮像装置９２６は、上述した撮像部１０２のハードウェアに相当し、ＣＣＤ又はＣＭＯＳなどの撮像素子を用いて、実空間を撮影する。ドライブ９３０は、必要に応じて汎用コンピュータに設けられ、例えばドライブ９３０にはリムーバブルメディア９３２が装着される。
【０１１３】
一連の処理をソフトウェアで実行する場合には、例えば図２０に示したＲＯＭ９０４、記憶装置９２４、又はリムーバブルメディア９３２に格納されたプログラムが、実行時にＲＡＭ９０６に読み込まれ、ＣＰＵ９０２によって実行される。
【０１１４】
＜４．応用例＞
本明細書で説明した通信のステータスを表示するための手法は、上述した実施形態以外にも様々な応用が可能である。例えば、無線ＬＡＮの設定に応じたセキュリティリスクの度合いを、入力画像に重畳されるアニメーションによって表示してもよい。また、例えば、ゲームのアイテムをユーザ間で交換する際に、アイテムを持ったキャラクターを入力画像に重畳してもよい。また、例えば、商業施設や駅に設けられる無線ＡＰとの間の通信のステータスをアニメーションによって表示することにより、特定のショップ又は路線などへの道案内を提供することも可能である。
【０１１５】
＜５．まとめ＞
ここまで、図１〜図２０を用いて、本発明の一実施形態について説明した。本実施形態によれば、通信の状態を表現する多様なアニメーションが、実空間内に存在する物体の位置を３次元的に表現する環境マップを用いて生成される。そして、アニメーションを入力画像に重畳することにより生成される出力画像が、画面上に表示される。それにより、ユーザは、通信の状態をより直感的に把握することができる。また、あたかも実空間内での実体を伴う通信を行っているかのような体験がユーザに与えられるため、通信に際しての娯楽性をもユーザに提供することができる。また、通常は見ることのできない通信の状態が実空間内での実体を伴うように可視化されるため、ユーザが感じるストレスが軽減され得る。また、上記アニメーションは、ＳＬＡＭ技術を用いて動的に更新される３次元の環境マップの内容並びにカメラの位置及び姿勢に基づいて生成される。従って、位置又は姿勢が時々刻々と変化する可能性のあるカメラ（例えばユーザに把持される携帯電話端末のカメラなど）を用いる場合であっても、画像内の適切な位置にアニメーションを重畳することができる。
【０１１６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１１７】
１００    画像処理装置
１０２    撮像部
１０４    画面
１２０    自己位置検出部
１３０    第１記憶部
１５０    環境マップ構築部
１８４    通信制御部
１８６    情報生成部
１９２    画像重畳部
【図１】
2011159163.tif 000015
【図２】
2011159163.tif 000016
【図３】
2011159163.tif 000017
【図４】
2011159163.tif 000018
【図５】
2011159163.tif 000019
【図６】
2011159163.tif 000020
【図７】
2011159163.tif 000021
【図８】
2011159163.tif 000022
【図９】
2011159163.tif 000023
【図１０】
2011159163.tif 000024
【図１１】
2011159163.tif 000025
【図１２】
2011159163.tif 000026
【図１３】
2011159163.tif 000027
【図１４】
2011159163.tif 000028
【図１５】
2011159163.tif 000029
【図１６】
2011159163.tif 000030
【図１７】
2011159163.tif 000031
【図１８】
2011159163.tif 000032
【図１９】
2011159163.tif 000033
【図２０】
2011159163.tif 000034