(57)【特許請求の範囲】
【請求項１】
第１の情報処理装置が所定空間において第１の座標軸を設定し、
第２の情報処理装置が前記所定空間において第２の座標軸を設定し、
前記第２の情報処理装置が、前記第２の座標軸を前記第１の座標軸に変換する変換規則を生成し、
前記第１及び第２の情報処理装置のそれぞれが、
前記所定空間を撮影した画像から前記第１の座標軸で表現される点群を取得し、
取得した前記点群を共有し、
共有した前記点群を用いて環境地図を作成すること、
を特徴とする情報処理方法。
【請求項２】
請求項１に記載の情報処理方法であって、
第３の情報処理装置が、
前記第１及び第２の情報処理装置の少なくともいずれかより前記点群である第１の点群の共有を受け、
前記所定空間を撮影した画像を取得し、
取得した前記画像から第２の点群を特定し、
前記第１及び第２の点群とを比較して、前記第１の座標軸を設定すること、
を特徴とする情報処理方法。
【請求項３】
請求項１に記載の情報処理方法であって、
前記第１及び第２の情報処理装置の少なくともいずれかは、
第１の前記点群を共有した後に第２の前記点群を取得し、
前記第１の点群から抽出した第１の特徴量と、前記第２の点群から抽出した第２の特徴量との類似度が所定値以上である場合に、前記第１の点群の位置と前記第２の点群の位置との間の距離を計算し、前記距離だけ前記第１及び第２の座標軸のすくなくともいずれかの原点を移動させること、
を特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理方法に関する。
【背景技術】
【０００２】
従来、情報処理の著しい発展により、携帯端末において、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を利用したゲーム等の各種情報処理の実行が可能となっている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６４１７４６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１を含め従来の技術では、複数人が複数の携帯端末の夫々を用いて、空間を共有してＡＲを利用したゲームの実行等をすることが難しい。
【０００５】
本発明はこのような背景を鑑みてなされたものであり、複数の情報処理装置が空間を共有することができるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明の主たる発明は、情報処理方法であって、第１の情報処理装置が所定空間において第１の座標軸を設定し、第２の情報処理装置が前記所定空間において第２の座標軸を設定し、前記第２の情報処理装置が、前記第２の座標軸を前記第１の座標軸に変換する変換規則を生成し、前記第１及び第２の情報処理装置のそれぞれが、前記所定空間を撮影した画像から前記第１の座標軸で表現される点群を取得し、取得した前記点群を共有し、共有した前記点群を用いて環境地図を作成すること、を特徴とする。
【０００７】
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
【発明の効果】
【０００８】
本発明によれば、複数の情報処理装置が空間を共有することができる。
【図面の簡単な説明】
【０００９】
【図１】ＡＲ空間の共有方法の例を示す図である。
【図２】誤差の修正方法の例を示す図である。
【図３】誤差修正方法の概要を説明する図である。
【図４】初期設定処理の流れを説明する図である。
【図５】途中参加時の処理の流れを説明する図である。
【発明を実施するための形態】
【００１０】
＜発明の概要＞
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
［項目１］
第１の情報処理装置が所定空間において第１の座標軸を設定し、
第２の情報処理装置が前記所定空間において第２の座標軸を設定し、
前記第２の情報処理装置が、前記第２の座標軸を前記第１の座標軸に変換する変換規則を生成し、
前記第１及び第２の情報処理装置のそれぞれが、
前記所定空間を撮影した画像から前記第１の座標軸で表現される点群を取得し、
取得した前記点群を共有し、
共有した前記点群を用いて環境地図を作成すること、
を特徴とする情報処理方法。
［項目２］
項目１に記載の情報処理方法であって、
第３の情報処理装置が、
前記第１及び第２の情報処理装置の少なくともいずれかより前記点群である第１の点群の共有を受け、
前記所定空間を撮影した画像を取得し、
取得した前記画像から第２の点群を特定し、
前記第１及び第２の点群とを比較して、前記第１の座標軸を設定すること、
を特徴とする情報処理方法。
［項目３］
項目１に記載の情報処理方法であって、
前記第１及び第２の情報処理の少なくともいずれかは、
第１の前記点群を共有した後に第２の前記点群を取得し、
前記第１の点群から抽出した第１の特徴量と、前記第２の点群から抽出した第２の特徴量との類似度が所定値以上である場合に、前記第１の点群の位置と前記第２の点群の位置との間の距離を計算し、前記距離だけ前記第１及び第２の座標軸のすくなくともいずれかの原点を移動させること、
を特徴とする情報処理方法。
【００１１】
本発明の一実施形態に係る拡張現実システムは、拡張現実システムは、現実空間を撮影した現実画像に、仮想空間の画像を重畳させた拡張現実（ＡＲ；Augmented Reality）を提供する。なお、仮想空間に現実画像を反映させた複合現実（ＭＲ；Mixed Reality）や仮想空間の画像のみの仮想現実（ＶＲ；Virtual Reality）を提供するようにしてもよい。
【００１２】
本実施形態の拡張現実システムは、例えば、通信機能及び撮影機能を備えるスマートフォンなどの情報処理装置を２台以上含んで構成することができる。情報処理装置は、ＣＰＵ、メモリ、記憶装置、通信インタフェース、入力装置、出力装置、カメラを備える。記憶装置は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェースは、通信ネットワークに接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。コンピュータは、通信ネットワークを介して他のコンピュータと通信することができる。入力装置は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。カメラは、二次元画像を撮像するカメラであってもよいし、深度を測定するライダーであってもよいし、複眼カメラであってもよい。後述する情報処理装置の各機能部は、ＣＰＵが記憶装置に記憶されているプログラムをメモリに読み出して実行することにより実現され、情報処理装置の各記憶部は、メモリ及び記憶装置が提供する記憶領域の一部として実現される。
【００１３】
このような情報処理装置の各種ハードウェアと各種ソフトウェアとの協働により、２台以上の情報処理装置の間でＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を利用したゲーム等の種情報処理の実行が可能になる。
【００１４】
ここで、２台以上の情報処理装置が、ＡＲを利用したゲーム等の各種情報処理を実行するに際し、ＡＲ空間を共有する必要がある。ＡＲ空間とは、情報処理装置において処理される空間であって、実空間に対してオブジェクトの配置等何らかの情報が付加された空間（撮像された画像に基づいて情報処理装置内で構築される空間）をいう。ＡＲ空間内でのオブジェクト等の位置や姿勢は、情報処理装置によって認識されたＡＲ空間内で用いられる座標軸（原点を含む）に基づいて規定される。複数の情報処理装置の夫々において、ＡＲ空間内で用いられる座標軸をあわせることが、「ＡＲ空間を共有する」ことである。
【００１５】
本実施形態では、複数の情報処理装置（例えば、親機１−Ｐ及び子機１−Ｃ）は、ＡＲ空間内で用いられる座標軸を同一にあわせる（一緒にする）ことで、ＡＲ空間の共有を図っている。ここで、親機１−Ｐとは、情報処理装置のうち、基準となる座標軸（共有されたＡＲ空間内で用いられる座標軸）が設定されたものをいう。また、子機１−Ｃとは、情報処理装置のうち、親機１−Ｐ以外のものをいう。
【００１６】
図１は、ＡＲ空間の共有方法の例を示す図である。ＡＲ空間を共有する方法としては、マーカーを使ったもの（マーカーベース）、マーカーに限らない一般的な画像を使ったもの（画像ベース）、画像から抽出した点群を使ったもの（点群ベース）が存在する。それぞれ、実空間上には物を配置せずにスマートフォン（スマホ）等の情報処理装置のみで実現する場合と、実空間上に配置されたものを利用する場合とが存在する。本実施形態では、最初の位置合わせ（空間共有）は、マーカーベース又は画像ベースで行い、空間共有後の位置の誤差修正と、追加のユーザの参加時における空間共有とを点群ベースで行う。
【００１７】
情報処理装置（親機１−Ｐと子機１−Ｃの夫々）は、
ＡＲ空間を認識する空間認識部と、
ＡＲ空間の共有を行う空間共有部と、
他の情報処理装置との間で情報処理装置の位置の共有を行う情報共有部と、
空間認識部が取得した点群を他の情報処理装置と共有する点群共有部と、
点群を記憶する環境地図記憶部と、
情報処理装置の位置（座標軸の原点）のズレを修正する誤差修正部と、
を備える。
【００１８】
空間認識部は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）を動かして空間認識を行うことができる。本実施形態では、空間認識部は、カメラが撮影した画像を解析して３次元の点群を取得し、取得した点群を用いて環境地図を作成するとともに、環境地図の座標軸における自己位置を推定する、いわゆるＶｉｓｕａｌ  ＳＬＡＭを実行する。親機１−Ｐ側で、ＡＲ空間における軸ａｘｐが設定されるのに対して、子機１−Ｃ側で、ＡＲ空間における軸ａｘｃ（軸ａｘｐとは異なる）が設定される。
【００１９】
環境地図記憶部は、空間認識部が設定した座標軸と、点群とを記憶する。点群は、各点（Ｘ，Ｙ，Ｚ）のみを格納するようにしてもよいが、本実施形態では、環境地図記憶部には、点群から抽出した特徴量も記憶するものとする。特徴量は、例えば、ひとまとまりの点群に基づいて解析することができる。
【００２０】
空間共有部は、例えば、マーカーベースで空間共有を行うことができる。例えば、親機１−Ｐの空間共有部は、軸ａｘｐを特定可能な情報を含むマーカーとしての画像（以下、「マーカ画像」と呼ぶ）のデータを生成し、そのマーカ画像を出力装置に表示させる。子機１−Ｃの空間共有部は、カメラを用いてマーカ画像を読み取る。子機１−Ｃの空間共有部は、マーカ画像を読み立った際に、当該子機１−Ｃからみた親機１−Ｐの位置及び姿勢（子機１−Ｃで設定された軸ａｘｃでの座標及びその座標を始点とするベクトル）を推定する。子機１−Ｃの空間共有部は、その推定の結果に基づいて、軸ａｘｃの原点を軸ａｘｐの原点と一致させ、軸ａｘｃの向きを軸ａｘｐのに合わせる。換言すると、子機１−Ｃの空間共有部は、軸ａｘｃにおける座標及び姿勢を軸ａｘｐにおける座標及び姿勢に変換するための行列ＸＣ（以下、「変換行列ＸＣ」と呼ぶ）を生成する。子機１−Ｃと親機１−Ｐとは、これによりＡＲ空間を共有することができる。
【００２１】
親機１−Ｐは、最初に設定した座標軸ａｘｐの座標及び方向を用いて、ＡＲ空間内における各種情報を処理することができる。一方、子機１−Ｃは、最初に設定した座標軸ａｘｃの座標及び方向に対して変換行列ＸＣで変換を施した座標軸（座標軸ａｘｐと同一）の座標及び方向を用いて、ＡＲ空間内における各種情報を処理することができる。
【００２２】
情報共有部は、このようにして各種処理を施した各種情報を、Ｐ２Ｐ（ｐｅｅｒ−ｔｏ−ｐｅｅｒ）で相互に授受することができる。各種情報には、位置情報の他に、例えば、ゲームにより攻撃を発した方向なども含まれる。
【００２３】
点群共有部は、例えば、Ｐ２Ｐ通信により点群を他の情報処理装置との間で送受信して、点群を共有することができる。点群共有部は、特徴量も共有することができる。
【００２４】
ここで、情報処理装置の位置が変化した場合に、ＳＬＡＭを用いて自己位置を推定したときには、その推定誤差が蓄積していくところ、プレイの途中で位置誤差を調整することが難しい。本実施形態では、誤差修正部が、点群を用いて位置の誤差を修正する。上述したように、本実施形態では、他の情報処理装置からも点群が共有されるため、自身が収集した画像以外の画像から取得した点群も利用することができる。したがって、誤差の修正精度の向上が期待される。
【００２５】
図２は、誤差の修正方法の例を示す図である。マーカーベースの場合、情報処理装置上に再度マーカー画像を表示し再度読み込んだり、実空間上のマーカーを再度認識したりする必要がある。画像ベースでも同様に、画像を表示して再度読み込んだり、実空間上の画像を再度認識したりする必要がある。しかしながら、このようなアプローチはＵＸが良くない。点群ベースの場合、ＵＷＢが利用可能である場合には、障害物のない範囲で、お互いのスマホが向かい合っていると修正可能であるが、その他の条件の場合に修正することが難しい。実空間上では、ＡＲＣｌｏｕｄが構築されていれば、ＡＲＣｌｏｕｄの環境地図との照合により誤差を修正することができるが、ＡＲＣｌｏｕｄが構築されていない場合には、特定の点群（特徴量）を発見できたときに修正をすることができる。本実施形態では、共有された点群を用いて、特定の特徴量を検出して誤差を修正することができる。
【００２６】
図３は、誤差修正方法の概要を説明する図である。
【００２７】
（１）初期設定
相対的な位置を取得し原点を合わせる。
その際に周りの点群の位置を保存して、お互い共有しておく。その点群を認識した際にその座標を元に自己位置を決定し原点を調整する。
【００２８】
（２）途中参加の場合
プレイの途中で参加したい場合、情報処理装置に保存されている点群を共有してもらう。その点群を見た際に自己位置を決定し原点を調整することができる。
【００２９】
図４は、初期設定処理の流れを説明する図である。
１．空間共有部は、上述したようにして相対的な位置を取得し原点を合わせる。
２．それ以降、空間認識部は、点群を継続的に収集し保存しておく。
３．点群は、特徴点の位置情報（Ｘ，Ｙ，Ｚ）と特徴量を環境地図記憶部に保存する。
４．点群共有部は、その点群はＰ２Ｐで通信し、それぞれの情報処理装置で保存する。
５．空間認識部は、その後リアルタイムに点群を認識する。
６．位置誤差が小さいとき（例えば、空間認識部による位置推定の信頼度が所定の閾値以上である場合とすることができる。）
６−１．誤差修正部は、空間上でどの位置でどの方向を向いているか判断できる。したがって、誤差修正部は、点群を認識した際に、その点群が保存されている可能性があるかどうかを判断することができる。
６−２．誤差修正部は、端末に保存されている点群から、マッチングしそうな点群のみをピックアップすることができる。例えば、情報処理装置が向いている方向から上下左右に所定角度以内に含まれる点群のみをピックアップすることができる。
６−３．誤差修正部は、リアルタイムに取得した点群と保存された点群の特徴量の類似度を測定する。
６−４．誤差修正部は、類似度が近い（所定値以下の）場合は、リアルタイムに取得した点群と保存された点群の位置の距離を測定する。
６−５．誤差修正部は、点群同士の平均位置が定数Ｒを超える場合、誤差の距離だけ端末の原点の位置を調整する。
７．位置誤差が大きい時（例えば、空間認識部による位置推定の信頼度が所定の閾値未満である場合とすることができる。）
７−１．誤差修正部は、リアルタイムに取得した点群と保存された点群の特徴量の類似度を測定する。
７−２．誤差修正部は、類似度が近い場合は、リアルタイムに取得した点群と保存された点群の位置の距離を測定する。
７−３．誤差修正部は、点群同士の平均距離だけ端末の原点の位置を調整する。
【００３０】
図５は、途中参加時の処理の流れを説明する図である。相対的な位置を取得し原点を合わせた既存の情報処理装置において、点群を継続的に収集し保存しておくことを前提とする。
６．新たに参加する情報処理装置による自己位置の決定方法
６−１．誤差修正部は、リアルタイムに取得した点群と保存された点群の特徴量の類似度を測定する。
６−２．誤差修正部は、類似度が近い場合は、リアルタイムに取得した点群と保存された点群の位置の距離を測定する。
６−３．誤差修正部は、点群同士の平均距離だけ端末の原点の位置を調整する。
【００３１】
以上のようにして、本実施形態の拡張現実システムによれば、情報処理装置のみを用いて（親機１−Ｐが表示した画像を子機１−Ｃが撮影することで、親機１−Ｐの座標軸に子機１−Ｃの座標軸を変換することができる。そして、このような位置（原点）合わせ後、各情報処理装置が収集した点群を互いに共有することができる。これにより、より多くの点群が収集される。そして、その蓄積した点群を用いて自己位置の誤差修正を行うことができる。また、後から参加する、親機１−Ｐ及び子機１−Ｃ以外の第３の情報処理装置は、親機１−Ｐ及び子機１−Ｃが共有していた点群（環境地図）を用いて自身の座標軸を親機１−Ｐのものに合わせるとともに、当該座標軸における自己位置を推定することができる。
【００３２】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【要約】
【課題】複数の情報処理装置が空間を共有することができるようにする。
【解決手段】情報処理方法であって、第１の情報処理装置が所定空間において第１の座標軸を設定し、第２の情報処理装置が所定空間において第２の座標軸を設定し、第２の情報処理装置が、第２の座標軸を第１の座標軸に変換する変換規則を生成し、第１及び第２の情報処理装置のそれぞれが、所定空間を撮影した画像から第１の座標軸で表現される点群を取得し、取得した点群を共有し、共有した点群を用いて環境地図を作成すること、を特徴とする。
【選択図】図１【図１】
0006785025.tif 000002
【図２】
0006785025.tif 000003
【図３】
0006785025.tif 000004
【図４】
0006785025.tif 000005
【図５】
0006785025.tif 000006