(57)【要約】【課題】移動体が移動中の空間のように方角や傾きが常に変化する環境状況に於いてカメラでの撮影映像に他画像を重畳するには、移動体内にある物とカメラとの間の正確な位置関係が必要であるが、従来はこれ等を検出するものはなかった。【解決手段】移動体の向きと地上との傾斜角及び移動体内に載置され、カメラが備えられた端末の向きと地上との傾斜角を測定し、移動体の向きと地上との傾斜角及び端末の向きと地上との傾斜角とから、端末の移動体内との関係における向きと傾斜角を端末向き検出部で算出し、移動体内の設備装着状態を3次元モデル化した移動体内3Dモデルから、端末の向きに基づいた2次元モデルを切出し、カメラでの移動体内撮影画像と比較し、カメラ画像の2Dモデルでの該当部分を検出し、カメラの位置と撮影物体との距離を取得し、移動体内における端末の載置位置を検出する。【選択図】図１
2014063294.tif 000002
【特許請求の範囲】
【請求項１】
人間が乗って操作することで移動する移動体に載置されるカメラが設置された端末の移動内における位置及び方向を検知する装置であって、
移動体に設けられ、移動体の向きの方角を検知する向き検知部と、移動体の水平方向との角度を検知する傾斜センサと、
移動体に載置され、カメラが設置された端末に設けられた加速度センサとジャイロセンサと磁気センサのセンサ情報取得部と、
センサ情報取得部からの情報により端末の方角と傾きを検知する方角・傾き検知部と、
移動体の傾斜センサからの情報と端末の方角・傾き検知部からの端末の傾き情報とから移動体内における端末の移動体との相対的な垂直方向の角度を検出する車両との垂直方向の角度検出部と、
移動体に設けられた向き検知部の情報による移動体の向きの方角の情報と、端末の方角・傾き検知部からの端末の方角との情報から端末の移動体内における向きを検出する車両との水平方向検出部と、
車両との垂直方向の角度検出部と車両との水平方向検出部との情報から移動体内における端末の移動体との相対的な垂直方向の角度と端末の移動体内における相対的な向きを検出する端末向き検出部と、
移動体内に設備が取り付けられた状態における移動体内の形状を3次元でモデル化した移動体内3Dモデルを保持する車内3Dモデル保持部と
端末向き検出部から受信した端末の移動体との相対的な向きの情報をもとに、車内3Dモデル保持部に保持されている3次元モデルから移動体内における端末の向きに基づいた2次元モデルを切り出す2D変換部と、
端末に搭載されたカメラが撮影した移動体内の映像を取得するカメラ映像取得部と、
カメラ映像取得部から受信したカメラ画像と、2D変換部から受信した2Dモデルを比較し、カメラ画像が2Dモデルでのどの部分かを検知する画像比較部と、
画像比較部から比較結果を受信し、カメラの位置とカメラで撮っている物体との距離を取得し、移動体内における端末の載置位置を取得する物体との距離判定部とを備える移動体搭載端末の端末位置及び方向検知装置。
【請求項２】
移動体に設けられた向き検知部は、移動体に設置時に計測される方角と移動体の向きとの関係が判明する磁気センサで構成されることを特徴とする請求項１記載の移動体搭載端末の端末位置及び方向検知装置。
【請求項３】
移動体に設けられた向き検知部は、移動体におけるアクセルまたはブレーキ、ギヤ、ハンドル角の移動体情報を取得するセンサを備え、これ等の情報と、端末の方角・傾き検知部からの端末に設けられた加速度センサの情報から移動体の向きを検出する車両方角検知部で構成されることを特徴とする請求項１記載の移動体搭載端末の端末位置及び方向検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば車など人間が乗って操作することで移動する移動体内に載置され、その載置場所を自由に可変可能なカメラが搭載された端末において移動体内に載置された端末の場所と、カメラの向きを端末の向きとした端末の向きを検知する技術に関するものである。
【背景技術】
【０００２】
カメラで撮影している映像（実際の環境）にコンピュータを利用して情報や画像を重畳するAR技術（Augmented Reality、拡張現実）を用いたアプリケーションの研究開発が盛んに行われている。AR技術の全般的なことについては非特許文献１に記載されている。さらに撮影しているカメラから、撮影されている物体までの距離や位置を知る方法として特許文献１に記載されるような方法が開示されている。
【０００３】
非特許文献１には、AR技術全般について記載されている。AR技術においては、マーカ方式とセンサ方式がある。マーカ方式では、カメラで撮影されたカメラ画像内にマーカが必要となるが、移動体である車内などに設置されたカメラで撮影されたカメラ画像内にでも所望の画像を重畳することができる。一方、センサ方式では、地磁気センサやGPS（Global Positioning System）を用いて、地上に設置されたカメラの方角や位置を求めることができ、地上にあるカメラが撮影している映像や画像に対して他の画像を重畳することができる。
【０００４】
特許文献１には、ロボットにより製品を組み立てる時に、ロボットのハンドからの組立て部品ある物体の位置及び物体の姿勢の計測方法が開示されている。この方法では、カメラで撮影された画像を処理することで、物体からカメラまでの距離や姿勢を計測する。すなわち、カメラが設置される端末内にあらかじめ保持されている当該物体の3次元形状モデルから、この3次元形状モデルにおける幾何特徴を算出し、この幾何特徴をカメラで撮影された物体の2次元画像に対応付け、物体の特徴点や線分との差を補正しながら、幾何特徴を一致させて、画像内の物体との距離を得る。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−２７６１号公報
【非特許文献】
【０００６】
【非特許文献１】社団法人情報処理学会、“特集  拡張現実感（ＡＲ）”、情報処理４、[２０１０]ｖｏｌ.５１ Ｎｏ.４ 通巻５４２号、ｐ.ｐ.３６７-４３４、２０１０年４月１５日発刊
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来、AR技術のセンサ方式において、地磁気センサやGPS機能を利用すれば、地上にあるカメラで撮影した映像に対して他画像の重畳は可能であった。しかしながら、車など移動体が移動中の移動体内で、空間の方角や傾きが刻一刻と変化する環境状況においては、移動体内に設置されたカメラで撮影された映像に対して他の画像を重畳する場合、カメラの“移動体内での位置と向き”を正確に把握しなければならず、移動体内における移動体内にある物とカメラとの間の正確な位置関係を得ることが必要である。しかしながら、従来は、車内といった移動体の中でのカメラの位置、例えば車内の中心点を基点とした座標軸においてカメラが載置されている座標の値と、カメラの向きを検出する装置は存在しなかった。
この発明は、上記のような問題点を解決するためになされたもので、端末に搭載されているカメラの移動体内での位置を高速に求めることを目的とする。
【課題を解決するための手段】
【０００８】
この発明における移動体搭載端末の端末位置及び方向検知装置は、
人間が乗り、操作することで移動する移動体に載置されるカメラが設置された端末の移動体内における位置及び方向を検知する装置であって、
移動体に設けられ、移動体の向きの方角を検知する向き検知部と、移動体の水平方向との角度を検知する傾斜センサと、
移動体に載置され、カメラが設置された端末に設けられた加速度センサとジャイロセンサと磁気センサのセンサ情報取得部と、
センサ情報取得部からの情報により端末の方角と傾きを検知する方角・傾き検知部と、
移動体の傾斜センサからの情報と端末の方角・傾き検知部からの端末の傾き情報とから移動体内における端末の移動体との相対的な垂直方向の角度を検出する車両との垂直方向の角度検出部と、
移動体に設けられた向き検知部の情報による移動体の向きの方角の情報と、端末の方角・傾き検知部からの端末の方角との情報から端末の移動体内における向きを検出する車両との水平方向検出部と、
車両との垂直方向の角度検出部と車両との水平方向検出部との情報から移動体内における端末の移動体との相対的な垂直方向の角度と端末の移動体内における相対的な向きを検出する端末向き検出部と、
移動体内に設備が取り付けられた状態における移動体内の形状を3次元でモデル化した移動体内3Dモデルを保持する車内3Dモデル保持部と
端末向き検出部から受信した端末の移動体との相対的な向きの情報をもとに、車内3Dモデル保持部に保持されている3次元モデルから移動体内における端末の向きに基づいた2次元モデルを切り出す2D変換部と、
端末に搭載されたカメラが撮影した移動体内の映像を取得するカメラ映像取得部と、
カメラ映像取得部から受信したカメラ画像と、2D変換部から受信した2Dモデルを比較し、カメラ画像が2Dモデルでのどの部分かを検知する画像比較部と、
画像比較部から比較結果を受信し、カメラの位置とカメラで撮っている物体との距離を取得し、移動体内における端末の載置位置を取得する物体との距離判定部とを備える。
【発明の効果】
【０００９】
この発明の移動体搭載端末の端末位置及び方向検知装置によれば、端末において、端末が搭載される移動体から、移動体の向きの方角の情報と移動体の水平方向との角度を検知する情報を得、端末の方角の情報と端末の傾き情報とから、移動体内での端末の相対的な、向きの方角と傾き角が少ない計算量で算出することができ、さらに予め作成された移動体内の3次元モデルから端末の向きに基づいた2次元モデルを切り出し、端末のカメラで撮影した画像が2次元モデルのどの部分に該当するかを抽出することで、端末のカメラで撮影した画像の物体とカメラとの距離を算出でき、このカメラと物体の距離とカメラの向きから端末の移動体内での載置される位置が一意に決定できる。このように端末の移動体内における載置される位置が少ない計算量で検出できるという効果が得られる。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１における移動体搭載端末の端末位置及び方向検知装置の構成図である。
【図２】2D変換部により、3Dモデルから作成される2Dモデルの概念図である。
【図３】この発明の実施の形態２における移動体搭載端末の端末位置及び方向検知装置の構成図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１はこの発明を車に適用した実施の形態１による移動体搭載端末の端末位置及び方向検知装置の構成図であり、データの処理の流れを矢印で示す。
図において、移動体搭載端末の端末位置及び方向検知装置は、端末が搭載された移動体、この実施の形態においては車１００及び端末２００から構成されており、それぞれ以下の機能手段を有する。
車１００は、当該車両の情報を取得する車両情報取得部１０１を備えている。車両情報取得部１０１は車両におけるアクセルまたはブレーキ、ギヤ、ハンドル角、車両の地上との傾斜等を検知する各センサから車両状態を表す車両情報を取得する。
【００１２】
端末２００にはカメラが搭載される。端末２００には端末２００に備えられたセンサ、この実施の形態では、加速度センサ、ジャイロセンサ、磁気センサからの情報を取得するセンサ情報取得部２０１と、
センサ情報取得部２０１からの情報により、端末２００に搭載されたカメラが向いている方角やカメラの地上との傾きを検知する端末の方角・傾き検知部２０２と、
車両情報取得部１０１から車両の情報（アクセル/ブレーキ、ギヤ、ハンドル角、傾斜）を取得し車の前(後)進、右左折を確認する車両方向確認部２０３と、
車両方向確認部２０３で確認した車両の進行方向、即ち車の前(後)進や車両の進行方角、即ち車の右左折を車の運行から検知する車両方角検知部２０４を備えている。
【００１３】
また、端末２００は、端末の方角・傾き検知部２０２から端末２００に搭載されたカメラ（以下特別な事情のない限り端末と称する）が向いている方角を受信し、車両方角検知部２０４から車両が向いている方角を受信して、車両と端末とが向いている方角の水平方向における角度の差、すなわち、端末と車両の向いている方角の差を検出する車両との水平方向の角度検出部２０５と、
車両情報取得部１０１から車両の地上に対する傾斜の情報を受信し、端末の方角・傾き検知部２０２から端末の垂直方向に対する傾斜の角度を受信して、車両と端末との間の垂直方向の相対的な傾きすなわち、それぞれの地上との傾斜角の差を検出する車両との垂直方向の角度検出部２０６を備えている。
【００１４】
また、端末２００は、車両との水平方向の角度検出部２０５から車両と端末との間の水平方向における相対的な角度差を受信し、車両との垂直方向の角度検出部２０６から車両と端末との間の垂直方向の相対的な傾きを受信して、端末に対する車両との相対的な垂直・水平方向の向きを検出する端末向き検出部２０７を備えている。
なお、この発明においては、上述のように搭載されたカメラの向きと表示画面の向きを同一の方向としカメラの向きを端末の向きとしている。
また、この実施の形態においては、車両情報取得部１０１のアクセルまたはブレーキ、ギヤ、ハンドル角の各センサと、端末２００に備えられた加速度センサと車両方角検知部２０４で、請求項に記載の向き検知部を形成する。
【００１５】
さらに、端末２００は、ハンドルやシートなど車内設備が取り付けられた状態における車内の形状を3次元(3D)でモデル化した3Dのモデルである車内3Dモデルを保持する車内3Dモデル保持部２０９と
端末向き検出部２０７から受信した端末２００の車との相対的な向きの情報をもとに、車内3Dモデル保持部２０９に保持されている3次元(3D)モデルから車内における端末２００の向きに基づいた2次元(2D)モデルを切り出す2D変換部２０８と、
端末２００に搭載されたカメラが撮影した車内の映像を取得するカメラ映像取得部２１１と、
カメラ映像取得部２１１から受信したカメラ画像と、2D変換部２０８から受信した2Dモデルを比較し、カメラ画像が2Dモデルでのどの部分かを検知する画像比較部２１０と、
画像比較部２１０から比較結果を受信し、前回検出位置保持部２１３から前回の物体とカメラの位置との距離を受信して、現在のカメラの位置とカメラで撮っている物体との相対距離を取得する物体との距離判定部２１２と、
物体との距離判定部２１２から現在のカメラの位置と撮影対象の物体との相対距離を受信して、次に同一の物体を撮影した時における前回検知位置としての情報として保持する前回検出位置保持部２１３とを備える。
【００１６】
次に、この発明における実施の形態１の移動体搭載端末の端末位置及び方向検知装置の動作を説明する。移動体搭載端末の端末位置及び方向検知装置は図１の矢印の流れに沿って動作する。以下に、具体的な処理の流れを記す。
処理１．車１００の車両情報取得部１０１が各センサにより以下の各状態の情報を取得し、端末２００の車両方向確認部２０３と車両との垂直方向の角度検出部２０６へ送信する。
・アクセル/ブレーキ
・ハンドル角
・ギアの位置
・車両の傾斜
処理２．端末２００のセンサ情報取得部２０１が以下の各センサから情報を取得し、端末の方角・傾き検知部２０２に送信する。
・加速度センサ
・ジャイロセンサ
・磁気センサ
【００１７】
処理３．端末２００の方角・傾き検知部２０２は、センサ情報取得部２０１から受信した情報から、端末２００が向いている方角や地上との傾きを検知する。
センサ情報取得部２０１で取得した情報の内、磁気センサの情報により、端末のカメラが向いている水平方向での方角が分かり、加速度センサやジャイロセンサの情報により、端末に搭載されたカメラの地上と垂直方向での傾きが分かる。
【００１８】
処理４．端末２００の車両方向確認部２０３で、車の進行方向を確認する。
車両情報取得部１０１から取得したアクセル/ブレーキ/ギヤ/ハンドル角の情報をもとに、車１００が前進しているか、後進しているか、右折しているか、左折しているかを端末２００の車両方向確認部２０３で検出する。その際、端末の向きに対してどの方向が車１００の前部になるかを検知する。
加速度センサの情報から、端末２００に対し、水平方向に加速度が加わっている方向と逆方向が車１００の進行方向となる(重力加速度の方向と直角の関係が水平方向)。例えば、アクセルが踏まれて、ギアが前進に入っている条件のもとで、車が前進している場合は、加速度が加わっている方向と逆方向が進行方向と判定できる。もし後進していれば、加速度が加わっている方向が進行方向となる。また、例えば、アクセルが踏まれて、ギアが前進方向に入っており、ハンドル角が右に傾いて右折している場合、加速度がかかっている方向からハンドル角分だけ引くことで、端末２００に対して車１００の向いている方向が判定できる。これらの判定により、端末２００の向きに対して、車１００の前部が検知できる。
【００１９】
処理５．端末２００の車両方角検知部２０４で、車１００の向いている方角を検出する。
上記処理３で判明した端末２００の向いている方角と、さらに上記処理４で判明した端末２００の向きに対する車１００の進行方向（どちらが前方か）を比較することで、車１００の向いている方角が検出できる。
車１００の方角を決める理由は、車１００が一定速度で走っている場合や止まっている場合には加速度がかからず、車の前方が分からないため、加速度がかかっている段階で端末２００の向いている方角に対する車１００の向いている方角を求めるためである。
【００２０】
処理６．端末２００の車両との水平方向の角度検出部２０５で、端末２００が車１００内において向いている方向（水平方向）を検出する。
上記処理３で示した端末２００の向いている方角と、上記処理５で示した車１００が進んでいる方角の差を取ることで、端末２００が車内１００において向いている方向（水平方向）が検出できる。
処理７．端末２００の車両との垂直方向の角度検出部２０６で、端末２００の車１００内との垂直方向の相対的な傾き角度を検出する。
車両情報取得部１０１からの車１００の地上に対する傾斜の情報と端末２００の方角・傾き検知部２０２からの端末２００の重力加速度方向、即ち地上に対する垂直方向の傾きの角度との差を取ることで、車１００内での端末２００の車１００内との相対的角度が検出できる。
【００２１】
処理８．端末２００の端末向き検出部２０７で、車１００内における3次元での端末の向きを検知する。
上記処理６と処理７で検出した車１００内に対する端末２００の水平方向の向きと垂直方向の傾き角度から、車１００内における端末２００の向きが3次元で検知できる。
処理９．2D変換部２０８で、3Dモデルから2Dモデルを作成する。
2D変換部２０８で、端末向き検出部２０７から受信した車１００内における端末２００の向きの情報により、車内3Dモデル保持部２０９から取得した3Dモデルを端末２００の向きから見た2Dモデルに変換し、2Dモデルを作成する。
3Dモデルとは、車１００内の形状を3次元で表したモデルである。ハンドルやシートなどの特徴点が集合し、3次元で表されている。端末向き検出部２０７から受信した端末２００の向きをもとに、その向きから見える平面を3Dモデルから切り出し、2次元の点の集合で表される2Dモデルを作成する。ここで、図２に2Dモデルの概念図を記す。2Dモデルには、3Dモデルから2Dモデルを作成する際の端末２００に設置されたカメラの視点で3Dモデルの全てが写像できるカメラの広角度に応じた高さ方向の情報ｂを持たせている。さらに、2Dモデルの平面から各物体への深さ情報を持たせる。つまり、3Dモデルから得られた2Dモデルの平面に対し、その平面に写像される物体、例えばハンドルやシートなどがその平面から実際に存在する位置までの距離ｅの情報が含まれている。
【００２２】
処理１０．画像比較部２１０で、カメラ映像取得部２１１から受信したカメラ画像と、2D変換部２０８から受信した2Dモデルを比較し、カメラ画像が2Dモデルでのどの部分に該当するかを検出する。
カメラ画像の特徴ある点を抽出し、その抽出された点と2Dモデルの点を照合して、2Dモデル内でのカメラ画像の場所を検出する。
処理１１．物体との距離判定部２１２で、カメラ映像取得部２１１からのカメラ画像の中心に映っている物とカメラの視点までの距離を算出する。
2Dモデルを作成した際に、2Dモデルの中心から2Dモデルでの視点の位置までの距離ｂが分かっているので、カメラ画像と2Dモデルの辺の比から、カメラ画像とカメラの視点までの距離ｄが算出できる。さらに、カメラの視点からカメラ画像までの距離ｄと、2Dモデルに含まれている物体への深さ情報ｅを加算することで、カメラ画像の中心から、中心に映っている物体への実際の距離が判明する。
なお、前回検出位置保持部２１３はカメラと撮影対象の物体との距離が近すぎて、物体の特徴が撮影できず、画像比較部２１０で2D変換部２０８からの2Dモデルと比較ができない場合に、保持されている前回の検知位置を現在のカメラの位置と撮影対象の物体との相対距離とする。
【００２３】
以上のように、車１００からの情報を利用して、端末２００で車の前方の方角を検出し、端末２００が向いている方角との差を取ることで水平方向の車１００に対する端末２００の向きを検知する。さらに、車１００の地上に対する傾斜情報と、端末２００のセンサ情報取得部２０１からのジャイロセンサ情報による重力加速度方向に対する傾斜の角度の差を取ることで、垂直方向の傾斜角度の差を検出する。以上から端末２００の車１００内における3次元的な向きが検出できる。
【００２４】
車１００内を表した3Dモデルから上記で求めた端末２００の向きの情報をもとに端末２００の向きからの2Dモデルを作成し、車１００内に載置されたカメラで撮影されたカメラ画像と2Dモデルとのマッチングをとることで、2Dモデル上でのカメラ画像の位置と大きさを把握し、2Dモデルの辺の長さとカメラ画像の辺の長さの比と、2Dモデルでの視点までの距離から、カメラ画像からカメラの視点までの距離が算出できる。2Dモデル上で中心に映っている物までの深さの情報を加え、カメラ画像の中心に映っている物からカメラの視点までの実際の距離が検知できる。
ここで、2Dモデルでの視点までの距離とは、2Dモデルを作成する際に向きを与えるが、向きを与えた際に疑似的に視点を置き、その視点から2Dモデルの平面までの距離のことをいう。
以上から端末２００の車１００内での向きと距離が分かるため、端末２００の車１００内での位置が一意に決定できる。例えば車内の中心点を基点とした座標軸において端末２００が載置されている座標の値が決定でき、車１００の情報を利用して算出するため、計算量が少ないという効果が得られる。
【００２５】
実施の形態２．
以上の実施の形態１では、端末２００で車１００のアクセル/ブレーキなどの情報から車１００の前方の方角を求めるようにしたものであるが、車１００に磁気センサがあれば、端末２００は車１００から方角の情報を受信すればよい。そのため実施の形態１の処理１．、４．、５．の動作が異なる。
【００２６】
実施の形態２の構成を図３に示す。実施の形態１とは、車１００の車両情報取得部１０１の取得する情報が異なることと、端末２００の車両方向確認部２０３と車両方向検知部２０４が不要になることが異なる。車１００に固定された磁気センサは、この磁気センサと車１００の前部との位置関係が車１００に磁気センサが固定設置された時点で判明する。なお、この磁気センサが請求項に記載の向き検知部に該当する。
【００２７】
動作として、実施の形態１からの変更点は、以下の２点である。
(1)車１００に磁気センサを搭載し、車両情報取得部１０１で取得する情報が以下の２つの情報となる。
・磁気センサ
・傾斜
(2)端末２００で車両情報取得部１０１から取得する情報が磁気センサによる情報になるため、車両の方角を端末２００で検知するための端末２００での演算が必要がない。そのため、実施の形態１で示した処理４と処理５が必要なくなり、車両との水平方向の角度検出部２０５で磁気センサの情報を受信する。受信した後の車両との水平方向の角度検出部２０５の動作は処理６と同じである。
【００２８】
以上のように、車１００の方角が分かっていれば、端末２００内で車１００の方角を計算する必要がなくなり、端末２００内での計算量がさらに減る効果を得られる。
【００２９】
以上実施の形態では、車に搭載されカメラを備えた端末について述べたが、この発明は車だけではなく、例えば、レジャー用の船舶や電車などの移動体にも適用可能であり、この移動体内に設置された物体（部品）の電子マニュアル化に応用することもできる。
【産業上の利用可能性】
【００３０】
この発明は、AR技術を応用した電子マニュアル、例えば、車内に設置された物体に対する説明が欲しい場合、ユーザが端末に設けられたカメラで説明を欲する物体を撮影すると、端末の画面に表示された撮影画像に予め用意されたその物体の説明を重畳して表示し、ユーザに分りやすく伝える電子マニュアルなどに適用可能である。ここでのユーザは車の所有者のみならず、部品の故障個所に修理法を重畳して表示することに利用する整備士も含む。
【符号の説明】
【００３１】
１００；車、１０１；車両情報取得部、２００；端末、２０１；センサ情報取得部、２０２；端末の方角・傾き検知部、２０３；車両方向確認部、２０４；車両方角検知部、２０５；水平方向の角度検出部、２０６；垂直方向の角度検出部、２０７；端末向き検出部、２０８；2D変換部、２０９；車内3Dモデル保持部、２１０；画像比較部、２１１；カメラ映像取得部、２１２；物体との距離判定部、２１３；前回検出位置保持部。
【図１】
2014063294.tif 000003
【図２】
2014063294.tif 000004
【図３】
2014063294.tif 000005