(57)【要約】【課題】場所記述情報を端末装置が保存しない場合であっても、所定のイベント位置を端末装置に認識させる。【解決手段】端末装置は、マーカを検出することで、第１座標系と第２座標系とを変換するための変換パラメータを生成する生成手段と、変換パラメータに基づき、イベント位置を示す第２座標系の座標を第１座標系の座標に変換し、撮像画像に仮想物体を重畳させてディスプレイに表示させる表示制御手段と、ディスプレイに表示された仮想物体の第１座標系の位置と、イベント位置を示す第１座標系の座標との位置関係に基づいて、イベント位置に対応するイベント処理を行う処理手段と、を備えている。【選択図】図１
2020161165.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により撮像された撮像画像に基づいて、第１座標系における前記撮像手段の位置及び方向を特定する特定手段と、
仮想物体を示す仮想物体情報と、イベント位置を前記第１座標系とは異なる第２座標系の座標で示すイベント位置情報と、当該イベント位置に対応するイベント処理を示すイベント情報と、を保持する保持手段と、
マーカを検出することで、前記第１座標系と前記第２座標系とを変換するための変換パラメータを生成する生成手段と、
前記変換パラメータに基づき、前記イベント位置を示す前記第２座標系の座標を前記第１座標系の座標に変換し、前記撮像画像に前記仮想物体を重畳させてディスプレイに表示させる表示制御手段と、
前記ディスプレイに表示された前記仮想物体の前記第１座標系の位置と、前記イベント位置を示す前記第１座標系の座標との位置関係に基づいて、前記イベント位置に対応するイベント処理を行う処理手段と、
を備えていることを特徴とする端末装置。
【請求項２】
前記保持手段は、前記マーカを判定するための判定情報と、前記マーカの前記第２座標系の座標を示すマーカ位置情報と、を保持しており、
前記生成手段は、前記判定情報に基づき前記撮像画像から前記マーカを検出し、前記変換パラメータを生成するため、前記マーカ位置情報に基づき、検出した前記マーカの前記第２座標系の座標を検出し、検出した前記マーカの形状又は模様に基づき前記第２座標系の各軸の方向を検出することを特徴とする請求項１に記載の端末装置。
【請求項３】
前記生成手段は、前記変換パラメータを生成するため、前記マーカを検出した前記撮像画像に基づいて前記特定手段が特定した前記第１座標系における前記撮像手段の位置及び方向と、前記撮像画像において検出した前記マーカの大きさと、前記撮像手段の光学パラメータと、に基づき前記マーカの前記第１座標系の座標を検出することを特徴とする請求項２に記載の端末装置。
【請求項４】
前記生成手段は、第１マーカを検出すると、前記第１マーカに基づき第１変換パラメータを生成し、前記第１マーカとは異なる第２マーカを検出すると、前記第２マーカに基づき第２変換パラメータを生成し、
前記処理手段は、前記生成手段が前記第１マーカ及び前記第２マーカを検出した後においては、前記第１変換パラメータに基づき変換した前記イベント位置の前記第１座標系の座標と、前記第２変換パラメータに基づき変換した前記イベント位置の前記第１座標系の座標とを平均した平均座標を求め、前記平均座標と前記ディスプレイに表示された前記仮想物体の前記第１座標系の位置との前記位置関係に基づいて、前記イベント位置に対応するイベント処理を行うことを特徴とする請求項２又は３に記載の端末装置。
【請求項５】
前記第１マーカと前記第２マーカは、１つの撮像画像の中から検出されることを特徴とする請求項４に記載の端末装置。
【請求項６】
前記第１マーカと前記第２マーカは、それぞれ異なる２つの撮像画像の中から検出されることを特徴とする請求項４に記載の端末装置。
【請求項７】
前記生成手段は、複数の前記マーカを撮像画像の中に検出すると、前記端末装置との距離が最も近い第１マーカを選択し、選択した前記第１マーカに基づき前記変換パラメータを生成することを特徴とする請求項２又は３に記載の端末装置。
【請求項８】
前記生成手段は、前記マーカと無線通信することで前記マーカを検出し、前記変換パラメータを生成するため、前記無線通信により前記マーカの前記第２座標系の座標を検出し、前記無線通信した際の前記端末装置の姿勢に基づき前記第２座標系の各軸の方向を検出することを特徴とする請求項１に記載の端末装置。
【請求項９】
前記生成手段は、前記変換パラメータを生成するため、前記マーカの位置において撮像した前記撮像画像に基づいて前記特定手段が特定した前記第１座標系における座標から、前記マーカの前記第１座標系の座標を検出することを特徴とする請求項８に記載の端末装置。
【請求項１０】
前記無線通信は、近距離無線通信であることを特徴とする請求項８又は９に記載の端末装置。
【請求項１１】
前記イベント位置に対応するイベント情報は案内情報を含み、
前記イベント位置に対応するイベント処理は、前記案内情報に従い前記ディスプレイにテキストを表示させる処理、又は、前記案内情報に従い音声を出力させる処理を含むことを特徴とする請求項１から１０のいずれか１項に記載の端末装置。
【請求項１２】
前記イベント位置に対応するイベント情報は、前記仮想物体の動作を制御するための制御情報を含み、
前記イベント位置に対応するイベント処理は、前記制御情報に従い、前記仮想物体の前記ディスプレイへの表示制御を行う処理を含むことを特徴とする請求項１から１１のいずれか１項に記載の端末装置。
【請求項１３】
前記保持手段は、前記マーカが設置されている３次元空間の位置を特定する特定情報を含み、
前記端末装置は、前記特定情報に従い前記マーカが設置されている３次元空間の位置を前記ディスプレイに表示させることを特徴とする請求項１から１２のいずれか１項に記載の端末装置。
【請求項１４】
請求項１から１３のいずれか１項に記載の端末装置としてコンピュータを機能させることを特徴とするプログラム。
【請求項１５】
撮像手段により撮像された撮像画像に基づいて、第１座標系における前記撮像手段の位置及び方向を特定し、仮想物体を示す仮想物体情報と、イベント位置を前記第１座標系とは異なる第２座標系の座標で示すイベント位置情報と、当該イベント位置に対応するイベント処理を示すイベント情報と、を保持する端末装置における方法であって、
マーカを検出することで、前記第１座標系と前記第２座標系とを変換するための変換パラメータを生成することと、
前記変換パラメータに基づき、前記イベント位置を示す前記第２座標系の座標を前記第１座標系の座標に変換し、前記撮像画像に前記仮想物体を重畳させてディスプレイに表示させることと、
前記ディスプレイに表示された前記仮想物体の前記第１座標系の位置と、前記イベント位置を示す前記第１座標系の座標との位置関係に基づいて、前記イベント位置に対応するイベント処理を行うことと、
を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像と仮想物体をディスプレイに表示する端末装置、当該端末装置における方法及びプログラムに関する。
【背景技術】
【０００２】
非特許文献１は、端末装置の撮像部、加速度センサ及びジャイロセンサにより場所記述情報を生成し、生成した場所記述情報により、現実には存在しない仮想物体があたかも存在しているかの様に、撮像部が撮像している画像に仮想物体を重畳させてディスプレイに表示する技術を開示している。
【０００３】
まず、非特許文献１に記載の場所記述情報の生成について簡単に説明する。場所記述情報とは、撮像部が撮像している画像から撮像部の３次元空間位置と撮像部による撮像方向とを判定できる情報である。端末装置のユーザは、場所記述情報の取得を開始すると、撮像部により画像を撮像しながら、撮像位置や、撮像方向を変化させる。端末装置は、場所記述情報の取得の間、その開始時の撮像部の位置を原点とし、加速度センサ及びジャイロセンサにより測定した加速度情報及び角速度情報に基づき、撮像部による撮像位置及び撮像方向を判定し続ける。また、端末装置は、撮像部が撮像している画像内の特徴点を求める。このとき、端末装置は、３次元空間における撮像位置及び撮像方向と、画像内の同じ特徴点の位置、つまり、特徴点のスクリーン座標を判定する。これにより、端末装置は、３次元空間内の各撮像位置及び各撮像方向において、撮像部が撮像している画像内のどの位置に各特徴点が見えるかを示す場所記述情報を生成する。よって、端末装置は、既に生成した場所記述情報と、撮像部が撮像している画像の特徴点とを比較することで、そのときの撮像部の撮像位置と撮像方向を判定することができる。なお、３次元空間の原点は、場所記述情報の取得を開始したときの位置である。また、端末装置は、生成した場所記述情報と、撮像部が撮像している画像の特徴点との比較により撮像位置及び撮像方向を判定すると同時に、撮像部が撮像している画像の特徴点に基づき場所記述情報の更新も行う。
【０００４】
なお、場所記述情報は、端末装置の位置及び撮像方向と、撮像部が撮像した画像内にある各オブジェクトの各特徴点のスクリーン座標における位置との関係を示す情報であるため、場所記述情報に基づき、各特徴点の３次元空間位置の座標を示す３次元空間情報を生成することができる。即ち、場所記述情報のうちの異なる位置及び撮像方向の組み合わせに対応する情報につき、同一の特徴点のスクリーン座標での移動を考慮することで奥行き方向の情報を得、該特徴点の３次元空間位置を導出することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐｓ：／／ｇｅｔ．ｇｏｏｇｌｅ．ｃｏｍ／ｔａｎｇｏ／＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば、ディスプレイに表示されている仮想物体が所定のイベント領域内に入ると、所定のイベント処理、例えば、仮想物体に所定の動作を行わせることを考える。なお、イベント領域は、例えば、基準位置（以下、イベント位置と呼ぶ。）で特定され、例えば、イベント位置から所定距離内の範囲である。この場合、イベント位置を示す位置情報を予め端末装置に設定する必要があるが、この位置情報は、場所記述情報の座標系に沿った座標にしなければならない。例えば、端末装置が生成した場所記述情報を保存し、保存した場所記述情報を再利用できる場合、位置情報を、場所記述情報の座標系に基づき生成することができる。しかしながら、例えば、端末装置が場所記述情報を保存せずに、場所記述情報を使用するアプリケーションの起動の度に、場所記述情報を生成する様な場合、場所記述情報の座標系は、アプリケーションの起動時に初めて決まることになる。したがって、このような場合には、予め作成するイベント位置を、その後に生成される場所記述情報の座標系の座標とすることはできず、仮想物体が所定のイベント領域内にきたときに、所定のイベント処理を行う様にすることができない。
【０００７】
本発明は、場所記述情報を端末装置が保存しない場合であっても、所定のイベント位置を端末装置に認識させる技術を提供するものである。
【課題を解決するための手段】
【０００８】
本発明の一態様によると、端末装置は、撮像手段により撮像された撮像画像に基づいて、第１座標系における前記撮像手段の位置及び方向を特定する特定手段と、仮想物体を示す仮想物体情報と、イベント位置を前記第１座標系とは異なる第２座標系の座標で示すイベント位置情報と、当該イベント位置に対応するイベント処理を示すイベント情報と、を保持する保持手段と、マーカを検出することで、前記第１座標系と前記第２座標系とを変換するための変換パラメータを生成する生成手段と、前記変換パラメータに基づき、前記イベント位置を示す前記第２座標系の座標を前記第１座標系の座標に変換し、前記撮像画像に前記仮想物体を重畳させてディスプレイに表示させる表示制御手段と、前記ディスプレイに表示された前記仮想物体の前記第１座標系の位置と、前記イベント位置を示す前記第１座標系の座標との位置関係に基づいて、前記イベント位置に対応するイベント処理を行う処理手段と、を備えていることを特徴とする。
【発明の効果】
【０００９】
本発明によると、端末装置に所定のイベント位置を認識させることができる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態による端末装置の構成図。
【図２】一実施形態による制御部の機能ブロック図。
【図３】一実施形態による座標変換の説明図。
【図４】一実施形態による座標変換の説明図。
【図５】一実施形態による制御部の機能ブロック図。
【発明を実施するための形態】
【００１１】
以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。
【００１２】
＜第一実施形態＞
図１は、本実施形態による端末装置の概略的な構成図である。端末装置は、例えば、スマートフォンといった携帯型の通信装置である。スピーカ１０１は、制御部１００から出力する音声信号を音声に変換する。マイク１０２は、音声を音声信号に変換して制御部１００に出力する。撮像部１０３は、レンズ及びＣＣＤセンサを有し画像情報を取得して制御部１００に出力する。ＧＰＳ処理部１０４は、ＧＰＳ衛星からの信号を受信し、受信した信号に基づき、緯度、経度、高度を含む位置情報を制御部１００に出力する。なお、ＧＰＳ衛星ではなく、準天頂衛星の様な、他の測位システムの衛星からの信号に基づき位置情報を出力する構成であっても良い。ディスプレイ１０５は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ１０６は、オブジェクトまでの距離（深さ）を測定して測定結果を深さ情報として制御部１００に出力する。通信部１０７は、移動通信網や無線ＬＡＮ等を介した通信処理を行う。また、通信部１０７は、近距離無線通信（ＮＦＣ）による通信処理を行うこともできる。地磁気センサ１０８は、地磁気を検出して端末の基準方向の現在の方位を示す方位情報を制御部１００に出力する。加速度センサ１０９は、加速度を検出して加速度情報を制御部１００に出力する。ジャイロセンサ１１０は、角速度を検出して角速度情報を制御部１００に出力する。
【００１３】
制御部１００は、端末装置全体の制御部であり、１つ以上のプロセッサとメモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭや、プロセッサが実行するオペレーティングシステム及びアプリケーションと、電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。
【００１４】
図２は、本実施形態を説明するための制御部１００の機能ブロック図である。場所記述情報生成部１００１は、場所記述情報を生成する。場所記述情報とは、例えば、非特許文献１に記載されている様に、撮像部１０３が撮像している画像（以下、撮像画像）を示す画像情報から生成され、撮像部１０３の３次元空間位置と撮像部１０３の撮像方向を判定するための情報である。なお、本実施形態において、撮像部１０３の３次元空間位置と撮像部１０３の撮像方向を、端末装置１０の位置及び方向であると定義する。なお、以下の説明において、場所記述情報が使用する座標系を、端末座標系と呼ぶものとする。端末座標系の原点は、例えば、場所記述情報生成部１００１が場所記述情報の取得を開始したときの位置であり、そのＸ軸、Ｙ軸及びＺ軸方向は、例えば、端末装置１０の方向に対して予め決められている方向であるものとする。本実施形態において、場所記述情報生成部１００１は、場所記述情報を利用するアプリケーションが起動されると、場所記述情報の生成を開始し、アプリケーションが起動している間には、場所記述情報の生成及び更新を行うが、アプリケーションが終了する際に、場所記述情報を図示しないメモリに保存しないものとする。
【００１５】
情報保持部１００３は、イベント位置情報、イベント情報、キャラクタ情報、マーカ判定情報、及び、マーカ位置情報を含む、アプリケーションで使用する各種情報を保持している。ここで、イベント位置情報は、イベント位置、つまり、イベントを生じさせるイベント領域を特定するための基準となる位置の座標を示す情報である。なお、本実施形態において、イベント位置は、３次元空間におけるある一点であっても、ある領域を示すものであっても良い。イベント位置が一点を示す場合、イベント領域は、例えば、当該一点から所定の距離の領域として定義される。また、イベント位置が領域を示す場合、所定の距離を０として、イベント領域を、イベント位置が示す領域と同じとすることができる。さらに、イベント位置が領域を示す場合であっても、所定の距離を０より大きい値とし、イベント位置が示す領域と、イベント位置が示す領域から所定の距離だけ離れた領域との両方を含む領域をイベント領域とすることができる。イベント位置情報が示すイベント位置の座標系は、上述した様に、端末座標系と同じではなく、以下では、イベント座標系と呼ぶものとする。イベント情報は、イベント位置に関連付けられ、ディスプレイ１０５に表示している、仮想物体であるキャラクタがイベント領域内にきたときに行うイベントの内容を示している。キャラクタ情報は、撮像画像に重畳させてディスプレイ１０５に表示するキャラクタの３次元モデルデータと、当該キャラクタの動作を規定するモーションデータと、を含んでいる。マーカ判定情報及びマーカ位置情報については後述する。なお、情報保持部１００３に格納される各情報は、予めアプリケーション毎に生成されて情報保持部１００３に格納される。
【００１６】
例えば、アプリーションが、美術館や博物館等の所定のエリアの案内を行うものとする。この場合、イベント座標系は、当該所定エリアの任意の位置、例えば、入り口等を原点とする任意の座標系とすることができる。また、各イベント位置は、例えば、展示物の位置に設定される。さらに、キャラクタ情報が示すキャラクタは、ユーザから所定の距離だけ前方を歩いている様にディスプレイ１０５上に表示される。端末装置１０は、場所記述情報により端末座標系における自装置の位置及び方向を認識できるため、ディスプレイ１０５上に表示しているキャラクタの端末座標系の位置（以下、配置位置と呼ぶ。）も計算により求めることができる。そして、キャラクタの配置位置が、端末座標系におけるイベント位置から所定距離以内、つまり、イベント領域内になると、当該イベント位置に関連付けられたイベント情報に従い、キャラクタが、対応するイベント位置にある展示物の案内を行っている様に、キャラクタをディスプレイ１０５に表示させる。より具体的には、この例において、イベント情報は、対応するイベント位置にある展示物についての案内情報を含み、端末装置１０は、キャラクタが端末座標系におけるイベント領域内に到達すると、案内情報に従い、音声案内をスピーカ１０１から出力し、ディスプレイ上１０５上においては、キャラクタがあたかも展示物について解説している様な動作で表示させる。また、音声案内を出力する代わりに、キャラクタに吹き出しを表示して、吹き出し内に案内情報に従うテキストを表示させる。
【００１７】
なお、本発明が適用されるアプリケーションは、上述したエリアの案内に限定されず、ディスプレイ１０５に表示されるキャラクタが所定のイベント領域内にきたときに、当該イベント領域のイベント位置に関連付けられた所定のイベント処理を端末装置１０に行わせる任意のアプリケーションに適用することができる。なお、所定のイベントとは、例えば、ディスプレイ１０５に表示しているキャラクタに所定の動作を行わることや、所定の音声を出力することや、所定の通信処理を行うことを含む。この場合、イベント情報は、例えば、表示するキャラクタの動作を制御する制御情報や、音声に対応する音声情報や、通信処理を示す制御情報を含む。また、上記、美術館や博物館等の所定のエリアの案内を行う場合、イベント座標系は、任意の座標系とすることができるが、イベント座標系として、緯度、経度、高度等の絶対座標系を使用することもできる。
【００１８】
上述した様に、本実施形態において、場所記述情報が使用する端末座標系と、イベント位置を示すイベント座標系は異なる。したがって、イベント座標系の座標で示されるイベント位置を、場所記述情報が使用する端末座標系の座標に変換しなければならない。このため、本実施形態において、変換パラメータ生成部１００４は、撮像画像の画像情報に基づき、イベント座標系の座標を、端末座標系の座標に変換するための変換パラメータを生成して、表示処理部１００２に出力する。表示処理部１００２は、撮像画像にキャラクタを重畳させてディスプレイ１０５に表示する制御を行う。また、表示処理部１００２は、変換パラメータに従い、イベント位置情報が示すイベント位置の座標を端末座標系の座標に変換する。また、表示処理部１００２は、撮像画像に対応する画像情報から取得される特徴点と、場所記述情報生成部１００１が生成する場所記述情報とに基づき、端末座標系における自装置の位置及び向きを判定する。そして、表示処理部１００２は、ディスプレイ１０５に表示しているキャラクタが端末座標系におけるイベント位置から所定距離内に到達すると、当該イベント位置に関連付けられたイベント情報に応じたイベント処理を行う。
【００１９】
以下、変換パラメータ生成部１００４での処理について図３を用いて説明する。図３において、実線で示すＡ−Ｂ座標系はイベント座標系であり、Ｘ−Ｙ座標系は端末座標系である。なお、端末座標系の原点は、端末装置１０が場所記述情報の生成を開始した位置である。図３の各座標の直前の"ＡＢ"は、続く座標がイベント座標系の座標であることを示し、"ＸＹ"は、続く座標が端末座標系の座標であることを示している。本実施形態では、イベント座標系の原点にマーカ２０を設置する。マーカ２０の形状、大きさ、色等は、任意であるが、変換パラメータ生成部１００４が、例えば、画像マッチング等により画像情報からマーカ２０を認識できるように、マーカ２０の形状、大きさ、色等は決定される。また、変換パラメータ生成部１００４がマーカ２０からＡ軸及びＢ軸の方向を示す方向情報を取得できる様に、マーカ２０は構成されている。例えば、マーカ２０は、長方形であり、長辺の方向がＡ軸の方向に対応し、短辺の方向がＢ軸の方向に対応する様に設置される。或いは、マーカ２０内に、各軸の方向を示す線等の模様を設ける構成であっても良い。マーカ２０を認識するための画像情報はマーカ判定情報として、情報格納部１００３に予め格納されている。また、マーカ２０の設置位置のイベント座標系の座標も、マーカ位置情報として情報格納部１００３に予め格納されている。なお、本実施形態においては、説明の簡略化のため、マーカ２０は、イベント座標系の原点にあるものとしているが、マーカ２０の設置位置はイベント座標系の原点に限定されない。なお、マーカ２０は、端末装置１０のユーザが、マーカ２０の存在を認識できる様に設置されている。
【００２０】
本実施形態において、端末装置１０のユーザは、アプリケーションを起動し、場所記述情報生成部１００１が場所記述情報の生成を開始すると、まず、マーカ２０を撮像部１０３により撮像する。図３は、端末装置１０の場所記述情報生成部１００１が、場所記述情報の生成を開始した後、端末装置１０のユーザがマーカ２０の所に移動し、端末座標系の座標（ｘｆ１，ｙｆ１）においてマーカ２０を撮像している状態を示している。変換パラメータ生成部１００４は、この端末座標系の座標（ｘｆ１，ｙｆ１）において撮像した撮像画像に基づき、画像認識等によりマーカ２０を認識する。マーカ２０を認識した変換パラメータ生成部１００４は、そのときの端末装置１０を基準とするマーカ２０の相対位置を判定する。具体的には、変換パラメータ生成部１００４は、図４に示す、ベクトル（ｘｄ１，ｙｄ１）を相対位置として判定する。
【００２１】
このベクトルの判定は、本実施形態においては、撮像部１０３の光学パラメータと、マーカ２０の撮像画像内における大きさとに基づき行う。端末装置１０とマーカ２０との距離が大きくなると、撮像画像内におけるマーカ２０の大きさは小さくなる。なお、端末装置１０とマーカ２０との距離に対する撮像画像内におけるマーカ２０の大きさは、撮像部１０３の光学パラメータに依存する。したがって、変換パラメータ生成部１００４は、撮像画像と撮像部１０３の光学パラメータに基づきベクトル（ｘｄ１，ｙｄ１）を判定することができる。なお、変換パラメータ生成部１００４が、深さセンサ１０６によりベクトル（ｘｄ１，ｙｄ１）を判定する構成とすることもできる。さらに、上述した様に、場所記述情報からオブジェクトの深さ情報を得ることもできるため、変換パラメータ生成部１００４は、場所記述情報と撮像画像によりベクトル（ｘｄ１，ｙｄ１）を判定する構成とすることもできる。いずれにしても、変換パラメータ生成部１００４は、座標（ｘｆ１，ｙｆ１）において、相対位置（ｘｄ１，ｙｄ１）にマーカ２０を検出することで、端末座標系におけるマーカ２０の座標は、（ｘｆ１＋ｘｄ１，ｙｆ１＋ｙｄ１）と認識する。また、変換パラメータ生成部１００４は、マーカ２０の形状や模様等によりＡ軸方向及びＢ軸方向を判定する。ここで、Ａ軸方向と、端末座標系におけるＸ軸方向との角度が、図３に示す様にθであるものとする。
【００２２】
この場合、イベント位置情報が示す、イベント位置２１のイベント座標系の座標（ａ１，ｂ１）は、以下の式（１）及び（２）により、端末座標系の座標（ｘ１，ｙ１）に変換できる。
ｘ１＝ａ１ｃоｓθ＋ｂ１ｓｉｎθ＋ｘｆ１＋ｘｄ１        （１）
ｙ１＝ｂ１ｃоｓθ−ａ１ｓｉｎθ＋ｙｆ１＋ｙｄ１        （２）
【００２３】
変換パラメータ生成部１００４は、変換パラメータとして、θ、ｘｆ１＋ｘｄ１及びｙ２１＋ｙｄ１を表示処理部１００２に出力することで、表示処理部１００２は、イベント座標系の座標を、端末座標系の座標に変換することができる。
【００２４】
なお、本実施形態では、説明の簡略化のため、Ａ軸方向及びＢ軸方向それぞれと直交するＣ軸方向と、Ｘ軸方向及びＹ軸方向それぞれと直交するＺ軸方向が一致しているものとしたが、Ｃ軸方向とＺ軸方向が一致していない場合であっても、同様の考え方により変換パラメータ生成部１００４は、変換パラメータを生成することができる。この場合、変換パラメータは、認識したマーカ２０の端末座標系における座標（ｘ０，ｙ０，ｚ０）と、Ｘ軸とＡ軸との方位角θ及びＺ軸及びＣ軸との仰角φ、つまり、２つの座標系の軸方向の角度のズレ量と、を含むものになる。
【００２５】
なお、マーカ２０を検出するまで、イベント座標系と端末座標系の変換を端末装置１０は行えないため、ユーザをマーカ２０の設置位置に案内する必要がある。このため、例えば、マーカ２０の実際の３次元空間の位置を特定する特定情報を予め情報保持部１００３に格納する構成とすることができる。特定情報は、例えば、ＧＰＳ処理部１０４が取得できる、緯度、経度及び高度とすることができる。そして、制御部１００に図示しない表示制御部を設ける。表示制御部は、例えば、地図アプリケーション等を利用して、ＧＰＳ処理部１０４が取得する自装置の３次元空間位置と、マーカ２０が設置されている３次元空間位置とをディスプレイ１０５に表示する制御を行う。さらに、自装置の３次元空間位置からマーカ２０が設置されている３次元空間位置に至る経路を表示することもできる。この構成により、端末装置１０のユーザをマーカ２０の設置位置に誘導することができる。
【００２６】
＜第二実施形態＞
続いて、第二実施形態について、第一実施形態との相違点を中心に説明する。第一実施形態では、１つのマーカ２０が配置されており、当該マーカ２０のイベント座標系の座標と、当該マーカ２０の端末装置１０が判定した端末座標系の座標と、２つの座標系の角度のズレを示す角度情報に基づき、変換パラメータ生成部１００４は、変換パラメータを生成していた。本実施形態では、端末装置１０が移動することによる、座標変換の誤差の累積を抑えるため、複数のマーカを使用する。
【００２７】
図４は、本実施形態の説明図である。なお、図４においては、説明の簡略化のため、イベント座標系の各軸の方向と、端末座標系の各軸の方向が一致しているものとする。図４においては、マーカ２０とマーカ２２の２つのマーカが配置されている。マーカ２０は、第一実施形態と同様に、イベント座標系の原点に配置されている。一方、マーカ２２は、イベント座標系での座標（ａ２，ｂ２）に配置されている。この２つの座標は、マーカ位置情報に含まれ、情報保持部１００３に予め格納されている。さらに、２つのマーカ２０、２２は、その形状、色等が異なり、変換パラメータ生成部１００４は、画像マッチング等によりマーカ２０とマーカ２２とを区別可能となっている。なお、マーカ２０及びマーカ２２を判定するための画像情報等は、マーカ判定情報に含まれている。また、イベント位置情報には、イベント位置２１のイベント座標系の座標（ａ１，ｂ１）と、イベント位置２３のイベント座標系の座標（ａ３，ｂ３）と、が示されている。
【００２８】
まず、第一実施形態と同様に、端末装置１０は、端末座標系の座標（ｘｆ１，ｙｆ１）において、ベクトル（ｘｄ１，ｙｄ１）だけ離れた位置にマーカ２０を認識したものとする。本実施形態では、第一実施形態のθが０であるため、マーカ２０に基づくイベント位置２１の端末座標系における座標（ｘ１，ｙ１）は、式（１）及び（２）にθ＝０を代入することで得られ、それぞれ、以下の様になる。
ｘ１＝ａ１＋ｘｆ１＋ｘｄ１        （３）
ｙ１＝ｂ１＋ｙｆ１＋ｙｄ１        （４）
【００２９】
端末装置１０は、その後、ディスプレイ１０５に表示しているキャラクタが、式（３）及び（４）で示す座標（ｘ１，ｙ１）から所定距離内に来ると、イベント位置２１に関連付けられたイベント情報に従い、所定の処理を行う。その後、端末装置１０がさらに移動し、端末座標系の座標（ｘｆ２，ｙｆ２）において、ベクトル（ｘｄ２，ｙｄ２）だけ離れた位置にマーカ２２を認識したものとする。この場合、端末座標系におけるマーカ２２の座標は、（ｘｆ２＋ｘｄ２，ｙｆ２＋ｙｄ２）である。マーカ２２からイベント位置２３に向かうベクトルは（ａ３−ａ２，ｂ３−ｂ２）であるため、マーカ２２を基準とするイベント位置２３の端末座標系における座標（ｘ３２，ｙ３２）は、以下の様になる。
ｘ３２＝ａ３−ａ２＋ｘｆ２＋ｘｄ２        （５）
ｙ３２＝ｂ３−ｂ２＋ｙｆ２＋ｙｄ２        （６）
【００３０】
一方、マーカ２０を基準とするイベント位置２３の端末座標系における座標（ｘ３１，ｙ３１）は、以下の様になる。
ｘ３１＝ａ３＋ｘｆ１＋ｘｄ１        （７）
ｙ３１＝ｂ３＋ｙｆ１＋ｙｄ１        （８）
【００３１】
例えば、場所記述情報により判定している端末座標系における端末装置１０の位置、端末装置１０が撮像画像及び光学パラメータから判定したベクトル（ｘｄ１，ｙｄ１）及び（ｘｄ２，ｙｄ２）に誤差がないと、マーカ２０に基づくイベント位置２３の端末座標系における座標（ｘ３１，ｙ３１）と、マーカ２２に基づくイベント位置２３の端末座標系における座標（ｘ３２，ｙ３２）は等しい。しかしながら、場所記述情報により判定している端末座標系における端末装置１０の位置や、ベクトル（ｘｄ１，ｙｄ１）や、ベクトル（ｘｄ２，ｙｄ２）に誤差がある場合、２つの座標は一致しない。したがって、本実施形態では、２つのマーカを検出した後、端末装置１０は、各マーカを基準として求めたイベント位置２３の端末座標系における各座標の平均位置を、イベント２３を生じさせる端末座標系の座標（ｘ３，ｙ３）とする。つまり、
ｘ３＝（ｘ３１＋ｘ３２）／２        （９）
ｙ３＝（ｙ３１＋ｙ３２）／２        （１０）
とする。
【００３２】
なお、マーカが３つ以上あっても同様であり、端末装置１０は、検出したマーカそれぞれで求められるイベント位置の端末座標系における座標の平均位置を、当該イベント位置の端末座標系における座標としてイベント処理を行う。
【００３３】
なお、上記説明は、複数のマーカをそれぞれ離して配置し、よって、端末装置１０が一度に認識するマーカが１つである場合のものである。しかしながら、複数のマーカを端末装置１０が一度に認識する様にマーカを配置することもできる。この場合にも、端末装置１０は、検出したマーカそれぞれで求められるイベント位置の端末座標系における座標の平均位置を、当該イベント位置の端末座標系における座標としてイベント処理を行う。
【００３４】
＜第三実施形態＞
続いて、第三実施形態について、第二実施形態との相違点を中心に説明する。第二実施形態において、複数のマーカを、端末装置１０が一度に認識できる様に配置し、端末装置１０は、検出したマーカそれぞれで求められるイベント位置の端末座標系における座標の平均位置を、当該イベント位置の端末座標系における座標としてイベント処理を行う形態について述べた。さらに、第二実施形態においては、複数のマーカを配置するが、端末装置１０が一度に認識するマーカを１つとする形態についても述べた。ここで、複数のマーカを配置するが、端末装置１０が一度に認識するマーカを１つとしたい場合においても、複数のマーカの配置形態によっては、撮像画像に複数のマーカが含まれ、結果として、端末装置１０が複数のマーカを一度に認識してしまう場合が生じ得る。
【００３５】
本実施形態では、端末装置は、複数のマーカを認識した場合、その時の端末装置から各マーカまでのベクトルにより、最も距離の近いマーカを選択し、選択したマーカを基準として、各イベント位置の端末座標系における座標を求める。最も距離が近いマーカを選択することで、端末装置１０が判定する、マーカの端末装置１０に対する相対位置の誤差を少なくすることができ、よって、精度良くイベント座標系の座標を端末座標系の座標に変換することができる。
【００３６】
＜第四実施形態＞
続いて、第四実施形態について、第一実施形態から第三実施形態との相違点を中心に説明する。第一実施形態から第三実施形態においては、情報保持部１００３に、マーカ判定情報及びマーカ位置情報を予め格納しておき、変換パラメータ生成部１００４は、画像マッチングにより、撮像画像内のマーカを判定し、マーカの形状又は模様からイベント座標系と端末座標系の角度のズレ量を判定し、撮像部１０３の光学パラメータ、深さセンサ１０６、場所記述情報等により、端末装置１０の位置に対するマーカの相対位置、つまり、ベクトルを判定していた。本実施形態は、ＮＦＣ通信機能を有する固定台をマーカとする。
【００３７】
図５は、本実施形態による制御部１００の機能ブロック図である。本実施形態においては、第一実施形態から第三実施形態とは異なり、情報保持部１００３に、マーカ位置情報及びマーカ判定情報を格納しない。一方、本実施形態のマーカは、端末載置部を有し、ユーザが、この端末載置部に端末装置１０を乗せることで、マーカと端末装置１０がＮＦＣ通信を行う様に構成されている。また、この端末載置部には案内の表示があり、ユーザは、案内の表示に従い、例えば、端末装置のディスプレイの長辺の方向を、所定の方向とし、かつ、ディスプレイを上向きにして端末載置部に端末装置１０を乗せるものとする。
【００３８】
マーカは、端末装置１０とＮＦＣ通信において、そのイベント座標系における座標を端末装置１０に通知する。また、端末載置部の案内に従う様に端末装置１０を向けたときに、イベント座標系のＡ軸、Ｂ軸及びＣ軸それぞれがどの方向となるかを示す情報を、予め変換パラメータ生成部１００４に格納しておく。したがって、変換パラメータ生成部１００４は、マーカとＮＦＣ通信を行った時の端末装置１０の姿勢から、イベント座標系の軸方向を判定でき、かつ、ＮＦＣ通信によりマーカのイベント座標系の座標を取得することができる。さらに、端末装置１０は、場所記述情報に基づき、マーカの端末座標系の座標を判定することができる。具体的には、端末載置部に端末装置１０を載せた状態で撮像画像を取得することで、端末装置１０は、マーカの端末座標系の座標を判定することができる。このため、固定台には、撮像部１０３により画像を撮像することをユーザに示すために案内を表示しておく。或いは、固定台とのＮＦＣ通信を行うと、端末装置１０が、撮像部１０３により画像を撮像する様に、アプリケーションを構成しておく。上記構成により、変換パラメータ生成部１００４は、第一実施形態と同様に、変換パラメータを生成することができる。
【００３９】
なお、端末装置１０が、端末載置部の案内に従う姿勢となる前に、マーカとＮＦＣ通信を行うことを防ぐため、ユーザが端末装置１０を端末載置部の案内に従う様に載置後、マーカに設けられたボタンや、端末装置１０に対して所定の操作を行うことで、ＮＦＣ通信を開始する構成とすることができる。さらに、情報保持部１００３には、マーカの識別子と、当該識別子に対応するマーカのマーカ位置情報とを予め格納しておき、ＮＦＣ通信により、マーカは、マーカの識別子を通知する構成とすることもできる。
【００４０】
なお、本発明による端末装置は、コンピュータを上記端末装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。
【符号の説明】
【００４１】
１０５：ディスプレイ、１０３：撮像部、１００１：場所記述情報生成部、１００２：表示処理部、１００３：情報保持部、１００４：変換パラメータ生成部
【図１】
2020161165.tif 000003
【図２】
2020161165.tif 000004
【図３】
2020161165.tif 000005
【図４】
2020161165.tif 000006
【図５】
2020161165.tif 000007