(57)【要約】  拡張現実の特定位置をコンピュータに入力することができるポインティング装置装置に係り、拡張現実映像を生成するのに使われるマークや特徴点を撮影するカメラ、カメラで撮影されたマークや特徴点を認識し、拡張現実内の特定位置を示す位置情報を出力する映像処理部を含み、映像処理部で出力した位置に、マウスカーサ映像を拡張現実イメージとして合成することができる。
2013521544.tif 000002
【特許請求の範囲】
【請求項１】
入力装置において
特徴点を含む第１映像を撮影する拡張現実用カメラを含む第１カメラＡＣ部と、
前記特徴点を含む第２映像を撮影するポインティング用カメラを含む第２カメラＴＣ部と、
前記第１映像と第２映像で特徴点を認識し、拡張現実用カメラとポインティング用カメラとの相対位置と方向とを算出する映像処理部と、を含むことを特徴とする拡張現実のポインティング装置
【請求項２】
前記映像処理部は、拡張現実用カメラとポインティング用カメラとの相対位置と方向とを利用し、ポインティング用カメラの視線が向かう第１映像中の位置に対応するポインティング座標を生成することを特徴とする請求項１に記載の拡張現実のポインティング装置。
【請求項３】
前記映像処理部は、第１映像で特徴点を検出し、その位置を分析し、特徴点と拡張現実用カメラとの相対位置と方向とを算出し、その位置と方向に合うように、第１映像にコンピュータ・グラフィックによる拡張現実の仮想客体を合成することを特徴とする請求項１に記載の拡張現実のポインティング装置。
【請求項４】
前記映像処理部は、前記ポインティング座標に対応する第１映像中の拡張現実内に、ポインティングカーサアイコンの拡張現実映像を合成することを特徴とする請求項２に記載の拡張現実のポインティング装置。
【請求項５】
第１カメラ部は、着用者の視線方向を撮影するカメラを含むメガネ型ディスプレイであることを特徴とする請求項１に記載の拡張現実のポインティング装置。
【請求項６】
メガネ型ディスプレイに含まれたカメラは、両目の前に配置されたステレオカメラであることを特徴とする請求項５に記載の拡張現実のポインティング装置。
【請求項７】
特徴点を含む拡張現実用第１映像を撮影する段階と、
前記特徴点を含むポインティング用第２映像を撮影する段階と、
第１映像と第２映像とで特徴点を分析し、２つの映像を撮影したカメラ間の相対位置と方向とを算出する段階と、
２つの映像を撮影したカメラ間の相対位置と方向とから、第２映像を撮影したカメラの視線が指す第１映像中の地点に対応するポインティング座標を算出する段階と、を含むことを特徴とする拡張現実のポインティング方法
【請求項８】
特徴点を含む拡張現実用第１映像を撮影する段階と、
前記特徴点を含むポインティング用第２映像を撮影する段階と、
第１映像と第２映像とで特徴点を分析し、２つの映像を撮影したカメラ間の相対位置と方向とを算出する段階と、
２つの映像を撮影したカメラ間の相対位置と方向とから、第２映像を撮影したカメラの視線が指す第１映像中の地点に対応するポインティング座標を算出する段階と、を含むことを特徴とする拡張現実のポインティング方法を実行するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実（augmented reality）中の特定位置を、コンピュータに直観的に入力することができるポインティング装置に関する。
【背景技術】
【０００２】
現在、コンピュータ画面内の特定位置をコンピュータに入力するポインティング装置としては、マウスが広く使われている。また、画面内のゲーム映像の特定位置を入力する装置としては、ジョイスティックが使われもする。しかし、かようなポインティング装置は、コンピュータ画面内の位置を入力することを目的に開発された装置である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、既存のポインティング装置では、拡張現実内の位置を直観的に入力し難いという短所を解決することを目的とする。
【課題を解決するための手段】
【０００４】
前記目的を達成するために、拡張現実映像を生成するための拡張現実用第１カメラで特徴点を撮影した第１映像と、ポインティング作業を行うためのリモコン形態のポインティング用第２カメラで前記特徴点を撮影した第２映像と、で対応する特徴点の位置を分析し、第２カメラが第１カメラの映像のどの位置を指しているかを認識し、その位置に対応するポインティング信号を出力する映像処理部を含む構成を提供する。
【発明の効果】
【０００５】
本発明による入力装置を使用すれば、既存のポインティング装置とは異なり、拡張現実内の特定位置をレーザポインタを使用するように、直観的にコンピュータに入力することができる。
【図面の簡単な説明】
【０００６】
【図１】本発明の構成図である。
【図２】カメラと世界座標系とを示す図面である。
【図３】ステレオカメラが付着されたメガネ型ディスプレイを使用した実施形態の構成図である。
【発明を実施するための形態】
【０００７】
現在、コンピュータ画面内の特定位置をコンピュータに入力するポインティング装置としては、マウスが広く使われている。また、画面内のゲーム映像の特定位置を入力する装置としては、ジョイスティックが使われもする。しかし、かようなポインティング装置は、コンピュータ画面内の位置を入力することを目的に開発された装置である。
【０００８】
最近では、コンピュータ・グラフィック映像（例えば、ゲームキャラクタの三次元モデル）がコンピュータ画面を抜け出し、現実映像と合成される拡張現実（augmented reality）という技術が開発されている。特に、スマートフォンの性能が向上することにより、スマートフォンに付着されたカメラで撮影した映像で生成した拡張現実映像を利用したサービスが開発されている。
【０００９】
拡張現実技術というのは、現実に存在するマーク（または特徴点）をカメラで撮影し、そのマークとカメラとの間の三次元距離と回転方向とを知った後、マークのある三次元空間に、三次元グラフィック映像による仮想客体の映像を合成して出力する技術である。
【００１０】
ここで、マークは、例えば、白色紙に印刷された方向を認識することができる特徴点がある黒色四角形のような人工的なマークだけではなく、任意の事物のコーナー（corner point）のような特徴点も含む。印刷された四角形を使用するのは、エーアールツールキット（ＡＲtoolKit）という拡張現実ライブラリで使われており、任意の事物の特徴点をマークとして使用する拡張現実は、マークなしの拡張現実（markerless augmented reality）という。マークなしの拡張現実技術は、Georg KleinとDavid MurrayとのParallel Tracking and Mapping for small ＡＲ Workspacesという論文（http://www．Robots．ox．ac．uk/~gk/publications/KleinMurray2007ISMAR．pdf）に詳細に説明されている。前記資料は、リアルタイムで動映像で特徴点を抽出し、特徴点の三次元座標を計算し、マークとして使用する拡張現実技術を紹介している。本発明の拡張現実は、大きさと形態とが知られた人工的なマークと、任意の事物の特徴点によるマークとをいずれも含む。
【００１１】
かような拡張現実の具体的な内容は、次の通りである。すなわち、動映像で、大きさと形態とが知られた四角形マークや任意の事物のコーナー点（corner point）を特徴点として抽出し、その点の三次元座標を求めてマップデータとして記憶する。その後、かような特徴点がある領域を撮影した映像で、リアルタイムで特徴点を探し、マップデータ中の特徴点と比較し、カメラと特徴点との間の三次元距離（ｘ，ｙ，ｚ）と回転方向（yaw，pitch，roll）とを求める。かような三次元点とその点と、撮影した映像での対応する特徴点とから、カメラと三次元点との間の距離と方向とを求めることは、ｏｐｅｎｃｖというコンピュータビジョン・ライブラリのｓｏｌｖｅＰｎＰという関数を使用すればよい。大きさと相対位置とが知られたｎ個の点を撮影した映像を分析し、カメラとその点との三次元位置と方向とを算出する分野は、映像処理分野で、パースペクティブＮ点問題（perspective Ｎ point problem）として知られた公知技術である。
【００１２】
具体的には、http://homepages．inf．ed．ac．uk/rbf/CVonline/LOCAL_COPIES/MARBLE/high/pia/solving．htmに、それに係わる紹介が掲示されている。前記関数ｓｏｌｖｅＰｎＰは、その技術をコンピュータプログラムの関数でもって具現したものである。本発明で、カメラとマークとの三次元相対位置と方向とを求める具体的な方法を制限していない。すなわち、任意のアルゴリズムを使用し、カメラとマークとの三次元相対位置と方向とを求めても差し支えない。
【００１３】
特徴点間に、コンピュータ・グラフィックによる仮想の客体を埋め込んでおき、このように求めた特徴点とカメラとの間の距離と方向とを利用し、仮想客体を透視変換（perspective projection）した映像を実写映像に合成して出力することができる。それにより、ユーザは、あたかも仮想客体が実世界上に存在しているような映像を見ることができる。
【００１４】
かような拡張現実技術を利用すれば、コンピュータ画面内に存在した三次元ゲームキャラクタが、あたかも現実中に存在するような映像を作ることができる。現在の拡張現実技術は、主に現実映像とコンピュータ三次元グラフィック映像とを合成して見せるところに集中している。
【００１５】
かような拡張現実技術が、単に映像を合成して見せ、ユーザは、受動的にその映像を見るだけではなく、ユーザと相互作用の可能なゲーム形態で使われるためには、ユーザが、拡張現実内の仮想客体とたやすく直観的に相互作用を行う手段が必要である。
【００１６】
既存のゲーム中の世界と、ユーザが相互作用を行うには、主にマウスとキーボードとが使われている。かようなマウスとキーボードとを使用し、拡張現実とユーザが相互作用を行うことができるが、本発明は、レーザポインタで仮想客体を指すと共に、さらに直観的であって容易に、仮想客体を指すことができるポインティング装置を提供することを目的とする。
【００１７】
実施形態１
本実施形態では、図１のように、大きさと形態とが決まった人工的なマークＭＫを使用する拡張現実に使用することができるポインティング装置について説明する。本実施形態で人工的なマークを使用することは、説明の便宜のためだけであり、実際の具現は、人工的なマークなしに、事物の特徴点をマークとして使用しても差し支えない。
【００１８】
図１で、拡張現実内のコンピュータ・グラフィックで表示される仮想客体ＣＧＳ，ＣＧＥは、太陽ＣＧＳの周辺を回る地球ＣＧＥを含む太陽系模型であり、手に取ることができるリモコン形態のポインティング用カメラＴＣの視線（viewing vector）は、太陽ＣＧＳを指している。
【００１９】
図２は、２台のカメラＡＣ，ＴＣにそれぞれ固定されたカメラ座標系と、マークＭＫに固定された世界座標系とを示したものである。図２で、拡張現実用第１カメラＡＣの座標系の三軸は、ｘ１，ｙ１，ｚ１であり、ポインティング作業用第２カメラＴＣの座標系の三軸は、ｘ２，ｙ２，ｚ２であり、マークに固定された世界座標系の三軸は、ｘｗ，ｙｗ，ｚｗで示した。ポインティング用第２カメラの視線方向のベクトル（viewing vector）は、ｚ２軸に該当する。
【００２０】
本実施形態による拡張現実のポインティング装置は、図１に表示されているように、大きさと形態とが知られた特徴点（例えば、拡張現実用ライブラリであるエーアールツールキット（ＡＲtoolKit）で使用する黒色四角形の頂点）を含む領域を撮影する拡張現実用第１カメラＡＣ；前記特徴点を他の位置から撮影するポインティング作業用第２カメラＴＣ；前記２台のカメラでそれぞれ撮影した２つの映像からマークの特徴点を検出し、その点の２映像での位置とゆがんだ形態とを分析し、２台のカメラとマークとの間のそれぞれの三次元距離と方向とを求め、その情報から、２台のカメラ間の相対位置と方向とに対応するポインティング座標を算出するポインティング用映像処理部；を含むことを特徴とする。
【００２１】
具体的には、撮影された映像のマークの特徴点から、カメラとマークとの間の距離と方向とを算出することは、ｏｐｅｎｃｖという映像処理ライブラリの関数ｓｏｌｖｅＰｎＰを使用すればよい。２台のカメラ間の相対位置と方向とに対応するポインティング座標を生成する方法は、次の通りである。
【００２２】
第１カメラで撮った映像とマークの大きさ情報とを利用し、ｓｏｌｖｅＰｎＰを介して、マークと第１カメラとの三次元相対位置と回転角度とが分かる。
【００２３】
同様に、第２カメラで撮った映像とマークの大きさ情報とを利用し、ｓｏｌｖｅＰｎＰを介して、マークと第２カメラとの三次元相対位置と回転角度とが分かる。
【００２４】
マークから２台のカメラまでの三次元距離と方向とが分かったので２、台のカメラ間の三次元相対位置と方向とが分かるのである。すなわち第２カメラの位置と方向（図２のｚ２、第２カメラの視線方向）とを第１カメラ座標系で表示することができる。
【００２５】
第２カメラの視線ベクトル（viewing vector、ｚ２軸）が、マークが置かれた平面（ｘｗ−ｙｗ平面）と出合う点ＱＱを求めることができる。その交点ＱＱを、第１カメラで透視変換（perspective projection）すれば、第１カメラで撮影した映像で、ＱＱに対応するピクセルの位置が分かり、その点にポインティングカーサを位置させることが望ましい。もし図１のように、第２カメラＴＣと点ＱＱとの間に、コンピュータ・グラフィックで表示される仮想客体ＣＧＳが存在するならば、ｚ２軸とその仮想客体ＣＧＳとが出合う点（図１の点ＰＰ）の位置をポインティング座標として使用することが望ましく、その位置にマウスカーサ・アイコンＡＷを合成し、拡張現実映像を生成することが望ましい。
【００２６】
拡張現実システムの映像処理部は、受信された第１映像で、特徴点を含むマークＭＫを認識し、そのマークＭＫを基準座標として、コンピュータ・グラフィック映像ＣＧＳ，ＣＧＥを合成し、ディスプレイＤＳに出力することができる。前記ポインティング用映像処理部から出力するポインティング座標は、前記拡張現実システムの拡張現実用映像処理部に、拡張現実内の特定位置を示すポインティング信号として入力され、拡張現実内のコンピュータ・グラフィックとして表示される客体ＣＧＳ，ＣＧＥを指すことができる。
【００２７】
ポインティング用第２カメラＴＣは、リモコン形態であって、手に取ることができる形態であり、マウス左右側ボタンＢＴＬ，ＢＴＲのようなボタン入力手段を含むことが望ましい。そして、拡張現実用カメラＡＣは、メガネ型ディスプレイＤＳに着用者の視線方向（図２のｚ１軸方向）を撮影するように設けることが望ましい。映像処理部は、スマートホンやデスクトップコンピュータで実行される映像処理プログラムで具現されもし、デジタルシグナル・プロセッサ（ＤＳＰ）を含む専用ハードウェアを利用して具現されもする。
【００２８】
かような構成を利用すれば、ユーザは、ユーザの視線方向を撮影するカメラＡＣが含まれたメガネ型ディスプレイＤＳを、メガネのように着用し、手に取ったリモコン形態のポインティング用カメラＴＣの視線を、拡張現実内の任意の地点ＰＰ（図１）に向けわせることにより、その地点に拡張現実内のマウスカーサＡＷを移動させ、ポインティング作業を直観的に容易に行うことができる。
【００２９】
また、リモコン形態のポインティング用カメラＴＣに含まれたマウスボタンを利用し、拡張現実内客体をクリックし、拡張現実内の他の位置に移動（drag and drop）させることができる。かようなポインティング用カメラＴＣを銃形態とし、マウスボタンをその銃の引き金形態とし、拡張現実内のモンスターに向けて射撃を行うゲームをすることも可能である。また、スマートフォンのカメラやディスプレイ、またはデスクトップコンピュータのＰＣ（personal computer）カメラやモニタを、前記拡張現実用カメラＡＣとディスプレイＤＳとして使用しても差し支えない。
【００３０】
実施形態２
前記実施形態１で使用した拡張現実映像を合成する映像を撮影する第１カメラを、図３のように、ステレオカメラＡＣ１，ＡＣ２で代替することができる。図３には、メガネ型ディスプレイに、両目の前に２つのカメラが設けられており、それぞれのカメラで撮影した映像が、メガネの左右側ディスプレイに出力される。
【００３１】
かようなステレオカメラを含んだメガネ型ディスプレイは、ビュジックスという企業から、ＷＲＡＰ ９２０ＡＲという商品（http://www．vuzix．com/consumer/products_wrap920ar．html）で市場に出回っている。
【００３２】
また、実施形態１で使用したポインティング用第２カメラ二つＴＣ１，ＴＣ２を使用し、両手に両拳銃のように取って拡張現実内のモンスターに向けて射撃ゲームを行うことも可能である。
【図１】
2013521544.tif 000003
【図２】
2013521544.tif 000004
【図３】
2013521544.tif 000005
【国際調査報告】
2013521544.tif 000006
2013521544.tif 000007
2013521544.tif 000008
2013521544.tif 000009