(57)【要約】  本発明は、ポータブル端末による室内ナビゲーション方法を開示し、それは、室内ナビゲーションコマンドを受信すると、カメラを制御してレンズ範囲内の画像を取得し、画像におけるバーコードラベルのバーコード（２）に対してデータ解析を行うことで、各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、少なくとも２つのバーコードラベルからカラーブロックを選択し（Ｓ１０）、さらに、レンズ範囲内の画像における選択された各カラーブロックの位置に基づき、各カラーブロックに対応する画素座標系の座標を算出し、さらに、予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データに基づき、さらに、選択された各カラーブロックの所属したバーコードラベルに基づき、各カラーブロックに対応するワールド座標系の座標を算出し（Ｓ２０）、所定の座標算出ルールに従って、ポータブル端末のワールド座標系における座標を算出する（Ｓ３０）。本発明はさらに、室内ナビゲーション機能が搭載されたポータブル端末及び記憶媒体を開示する。これにより、ポータブル端末のリアルタイムな位置について高度な演算を迅速で正確に行って、室内ナビゲーションの精度を高めることができる。
2019504300.tif 000002
【特許請求の範囲】
【請求項１】
ポータブル端末による室内ナビゲーション方法であって、
ユーザから発信された室内ナビゲーションコマンドを受信すると、ポータブル端末は、そのカメラを制御してレンズ範囲内の画像を取得し、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルのバーコードに対してデータ解析を行うことで、レンズ範囲内の画像における各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択するステップと、
レンズ範囲内の画像における選択された各カラーブロックの位置に基づき、各カラーブロックに対応する画素座標系の座標を算出し、
予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データにより、選択された各カラーブロックの所属したバーコードラベルに基づき、各カラーブロックに対応するワールド座標系の座標を算出するステップと、
選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末のワールド座標系における座標を算出することにより、前記ポータブル端末の位置を得るステップと、
を含むことを特徴とするポータブル端末による室内ナビゲーション方法。
【請求項２】
前記バーコードラベルは、ラベル基体と、バーコードと、２つのカラーブロックとを含み、
前記バーコード及び２つのカラーブロックは、前記ラベル基体に設けられ、且つ前記２つのカラーブロックは、前記バーコードの両端に位置し、
前記バーコードには、それが所属したバーコードラベルの認識情報が内蔵されており、
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定のカラーブロック選択ルールとして、レンズ範囲内の画像にバーコードラベルが２つのみある場合、レンズ範囲内の画像における２つのバーコードラベルから、それぞれ２つのカラーブロックを選択し、レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、レンズに最も近接した２つのバーコードラベルをロックし、ロックされた２つのバーコードラベルから、それぞれ２つのカラーブロックを選択する
ことを特徴とする請求項１に記載のポータブル端末による室内ナビゲーション方法。
【請求項３】
前記バーコードラベルは、ラベル基体と、バーコードと、２つの、カラーブロックの組み合わせとを含み、
前記バーコード及び２つの、カラーブロックの組み合わせは、前記ラベル基体に設けられ、且つ前記２つの、カラーブロックの組み合わせは、前記バーコードの両端に位置し、
前記カラーブロックの組み合わせは、色を異にする複数のカラーブロックを含み、前記バーコードには、それが所属したバーコードラベルの認識情報が内蔵されており、
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定のカラーブロック選択ルールとして、レンズ範囲内の画像にバーコードラベルが２つのみある場合、レンズ範囲内の画像における２つのバーコードラベルからそれぞれ、所属したラベル基体の最も外側に位置する２つのカラーブロックを選択し、レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する
ことを特徴とする請求項１に記載のポータブル端末による室内ナビゲーション方法。
【請求項４】
レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する前記ステップとして、
異なるバーコードラベルから順列組合せ法により、それぞれ４つのカラーブロックを抽出して異なるカラーブロックの組み合わせを構成し、
カラーブロックの組み合わせごとに、カラーブロックの組み合わせにおける４つのカラーブロックの所定位置点を特定し、特定された４つの所定位置点が凸四角形を構成した場合、前記凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とし、特定された４つの所定位置点が凹四角形を構成した場合、前記凹四角形の４つの頂点のうちから、構成された三角形の面積が最大となる３つの点を特定し、特定された３つの点が構成した三角形の面積を対応するカラーブロックの組み合わせの分散指標とし、
各カラーブロックの組み合わせに対応する分散指標を比較し、分散指標最大のカラーブロックの組み合わせにおける４つのカラーブロックを特定する
ことを特徴とする請求項３に記載のポータブル端末による室内ナビゲーション方法。
【請求項５】
レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する前記ステップとして、さらに、
特定された４つの所定位置点が凸四角形を構成した場合、凸四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、
各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、すべての三角形頂点の組み合わせに対応する三角形面積の和を２で割って、凸四角形の面積を得、前記凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とする
ことを特徴とする請求項４に記載のポータブル端末による室内ナビゲーション方法。
【請求項６】
レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する前記ステップとして、さらに、
特定された４つの所定位置点が凹四角形を構成した場合、前記凹四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、三角形の面積が最大となる場合に対応する三角形頂点の組み合わせを特定し、三角形の面積の最大値を前記凹四角形に対応するカラーブロックの組み合わせの分散指標とする
ことを特徴とする請求項４又は５に記載のポータブル端末による室内ナビゲーション方法。
【請求項７】
各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出する前記ステップとして、
ある三角形頂点の組み合わせに対応する三角形の面積を算出する際、予め記憶されている三角形頂点の組み合わせと三角形面積との関連データの全てに亘って、前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されているか否かを分析し、
前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されている場合、マッチングした三角形頂点の組み合わせに対応する三角形の面積値を検索し、見つかった面積値を前記三角形頂点の組み合わせに対応する三角形の面積とし、
前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されていない場合、前記三角形頂点の組み合わせにおける各頂点のワールド座標系の座標に基づき、前記三角形頂点の組み合わせに対応する三角形の各辺の長さを特定し、特定された辺の長さに基づき、前記三角形頂点の組み合わせに対応する三角形の面積を算出し、後続の三角形面積の検索に備えて、前記三角形頂点の組み合わせと算出された三角形面積とを関連データとして生成させて保存する
ことを特徴とする請求項６に記載のポータブル端末による室内ナビゲーション方法。
【請求項８】
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定の座標算出ルールとして、選択された４つのカラーブロックに対応する４つの画素座標系の座標及び４つのワールド座標系の座標に基づき、さらに、前記ポータブル端末に予め記憶されているカメラ内部パラメータに基づき、カメラ外部パラメータに属する回転行列及び並進行列を算出し、さらに、前記回転行列及び並進行列により変換することで、前記ポータブル端末のカメラのワールド座標系における座標を得て前記ポータブル端末のワールド座標系における座標とする
ことを特徴とする請求項１に記載のポータブル端末による室内ナビゲーション方法。
【請求項９】
選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末のワールド座標系における座標を算出することにより、前記ポータブル端末の位置を得る前記ステップ後に、さらに、
算出された前記ポータブル端末のワールド座標系における座標に基づき、所定の方向算出ルールに従って、前記ポータブル端末の方向ベクトルを算出する
ことを特徴とする請求項８に記載のポータブル端末による室内ナビゲーション方法。
【請求項１０】
前記所定の方向算出ルールとして、前記ポータブル端末のワールド座標系における座標、前記カメラ内部パラメータ、前記回転行列及び前記並進行列に基づき、さらに、所定のカメラキャリブレーションモデルにより演算して、前記ポータブル端末の方向ベクトルを得る
ことを特徴とする請求項９に記載のポータブル端末による室内ナビゲーション方法。
【請求項１１】
室内ナビゲーション機能が搭載されたポータブル端末であって、
前記ポータブル端末は、
ユーザから発信された室内ナビゲーションコマンドを受信すると、ポータブル端末のカメラを制御してレンズ範囲内の画像を取得し、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルのバーコードに対してデータ解析を行うことで、レンズ範囲内の画像における各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択する取得モジュールと、
レンズ範囲内の画像における選択された各カラーブロックの位置に基づき、各カラーブロックに対応する画素座標系の座標を算出し、
予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データにより、選択された各カラーブロックの所属したバーコードラベルに基づき、各カラーブロックに対応するワールド座標系の座標を算出する演算モジュールと、
選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末のワールド座標系における座標を算出することにより、前記ポータブル端末の位置を得る測位モジュールと
を含むことを特徴とする室内ナビゲーション機能が搭載されたポータブル端末。
【請求項１２】
前記バーコードラベルは、ラベル基体と、バーコードと、２つのカラーブロックとを含み、
前記バーコード及び２つのカラーブロックは、前記ラベル基体に設けられ、且つ前記２つのカラーブロックは、前記バーコードの両端に位置し、
前記バーコードには、それが所属したバーコードラベルの認識情報が内蔵されており、
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定のカラーブロック選択ルールとして、レンズ範囲内の画像にバーコードラベルが２つのみある場合、レンズ範囲内の画像における２つのバーコードラベルから、それぞれ２つのカラーブロックを選択し、レンズ範囲内の画像におけるバーコードラベルが２つより大きいと、レンズに最も近接した２つのバーコードラベルをロックし、ロックされた２つのバーコードラベルから、それぞれ２つのカラーブロックを選択する
ことを特徴とする請求項１１に記載の室内ナビゲーション機能が搭載されたポータブル端末。
【請求項１３】
前記バーコードラベルは、ラベル基体と、バーコードと、２つの、カラーブロックの組み合わせとを含み、
前記バーコード及び２つの、カラーブロックの組み合わせは、前記ラベル基体に設けられ、且つ前記２つの、カラーブロックの組み合わせは、前記バーコードの両端に位置し、
前記カラーブロックの組み合わせは、色を異にする複数のカラーブロックを含み、
前記バーコードには、それが所属したバーコードラベルの認識情報が内蔵されており、
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定のカラーブロック選択ルールとして、レンズ範囲内の画像にバーコードラベルが２つのみある場合、レンズ範囲内の画像における２つのバーコードラベルからそれぞれ、所属したラベル基体の最も外側に位置する２つのカラーブロックを選択し、レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する
ことを特徴とする請求項１１に記載の室内ナビゲーション機能が搭載されたポータブル端末。
【請求項１４】
前記演算モジュールは、さらに、
異なるバーコードラベルから順列組合せ法により、それぞれ４つのカラーブロックを抽出して異なるカラーブロックの組み合わせを構成し、
カラーブロックの組み合わせごとに、カラーブロックの組み合わせにおける４つのカラーブロックの所定位置点を特定し、特定された４つの所定位置点が凸四角形を構成した場合、前記凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とし、特定された４つの所定位置点が凹四角形を構成した場合、前記凹四角形の４つの頂点のうちから、構成された三角形の面積が最大となる３つの点を特定し、特定された３つの点が構成した三角形の面積を対応するカラーブロックの組み合わせの分散指標とし、
各カラーブロックの組み合わせに対応する分散指標を比較し、分散指標最大のカラーブロックの組み合わせにおける４つのカラーブロックを特定する
ことを特徴とする請求項１３に記載の室内ナビゲーション機能が搭載されたポータブル端末。
【請求項１５】
前記演算モジュールは、さらに、
特定された４つの所定位置点が凸四角形を構成した場合、凸四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、
各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、すべての三角形頂点の組み合わせに対応する三角形面積の和を２で割って、凸四角形の面積を得、前記凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とする
ことを特徴とする請求項１４に記載の室内ナビゲーション機能が搭載されたポータブル端末。
【請求項１６】
前記演算モジュールは、さらに、
特定された４つの所定位置点が凹四角形を構成した場合、前記凹四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、三角形の面積が最大となる場合に対応する三角形頂点の組み合わせを特定し、三角形の面積の最大値を前記凹四角形に対応するカラーブロックの組み合わせの分散指標とする
ことを特徴とする請求項１４又は１５に記載の室内ナビゲーション機能が搭載されたポータブル端末。
【請求項１７】
前記演算モジュールは、さらに、
ある三角形頂点の組み合わせに対応する三角形の面積を算出する際、予め記憶されている三角形頂点の組み合わせと三角形面積との関連データの全てに亘って、前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されているか否かを分析し、
前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されている場合、マッチングした三角形頂点の組み合わせに対応する三角形の面積値を検索し、見つかった面積値を前記三角形頂点の組み合わせに対応する三角形の面積とし、
前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されていない場合、前記三角形頂点の組み合わせにおける各頂点のワールド座標系の座標に基づき、前記三角形頂点の組み合わせに対応する三角形の各辺の長さを特定し、特定された辺の長さに基づき、前記三角形頂点の組み合わせに対応する三角形の面積を算出し、後続の三角形面積の検索に備えて、前記三角形頂点の組み合わせと算出された三角形面積とを関連データとして生成させて保存する
ことを特徴とする請求項１６に記載の室内ナビゲーション機能が搭載されたポータブル端末。
【請求項１８】
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定の座標算出ルールとして、選択された４つのカラーブロックに対応する４つの画素座標系の座標及び４つのワールド座標系の座標に基づき、さらに、前記ポータブル端末に予め記憶されているカメラ内部パラメータに基づき、カメラ外部パラメータに属する回転行列及び並進行列を算出し、さらに、前記回転行列及び並進行列により変換することで、前記ポータブル端末のカメラのワールド座標系における座標を得て前記ポータブル端末のワールド座標系における座標とする
ことを特徴とする請求項１１に記載の室内ナビゲーション機能が搭載されたポータブル端末。
【請求項１９】
さらに、算出された前記ポータブル端末におけるワールド座標系の座標に基づき、所定の方向算出ルールに従って、前記ポータブル端末の方向ベクトルを算出する方向特定モジュール
を含むことを特徴とする請求項１８に記載の室内ナビゲーション機能が搭載されたポータブル端末。
【請求項２０】
前記所定の方向算出ルールとして、前記ポータブル端末のワールド座標系における座標、前記カメラ内部パラメータ、前記回転行列及び前記並進行列に基づき、さらに、所定のカメラキャリブレーションモデルにより演算して、前記ポータブル端末の方向ベクトルを得る
ことを特徴とする請求項１９に記載の室内ナビゲーション機能が搭載されたポータブル端末。
【請求項２１】
ポータブル端末であって、ユーザインタラクション機器と、記憶機器と、カメラと、プロセッサとを含み、
前記ユーザインタラクション機器は、前記端末とユーザの間でのインタラクションを実現し、
前記記憶機器には、コンピュータ可読コードコマンドが記憶されており、
前記コンピュータ可読コードコマンドは、前記プロセッサによって実行されることで、
ユーザから発信された室内ナビゲーションコマンドを受信すると、カメラを制御してレンズ範囲内の画像を取得し、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルのバーコードに対してデータ解析を行うことで、レンズ範囲内の画像における各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択するステップと、
レンズ範囲内の画像における選択された各カラーブロックの位置に基づき、各カラーブロックに対応する画素座標系の座標を算出し、
予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データにより、選択された各カラーブロックの所属したバーコードラベルに基づき、各カラーブロックに対応するワールド座標系の座標を算出するステップと、
選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末のワールド座標系における座標を算出することにより、前記ポータブル端末の位置を得るステップと、を実現することができる
ことを特徴とするポータブル端末。
【請求項２２】
前記バーコードラベルは、ラベル基体と、バーコードと、２つのカラーブロックとを含み、
前記バーコード及び２つのカラーブロックは、前記ラベル基体に設けられ、且つ前記２つのカラーブロックは、前記バーコードの両端に位置し、
前記バーコードには、それが所属したバーコードラベルの認識情報が内蔵されており、
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定のカラーブロック選択ルールとして、レンズ範囲内の画像にバーコードラベルが２つのみある場合、レンズ範囲内の画像における２つのバーコードラベルから、それぞれ２つのカラーブロックを選択し、レンズ範囲内の画像におけるバーコードラベルが２つより大きいと、レンズに最も近接した２つのバーコードラベルをロックし、ロックされた２つのバーコードラベルから、それぞれ２つのカラーブロックを選択する
ことを特徴とする請求項２１に記載のポータブル端末。
【請求項２３】
前記バーコードラベルは、ラベル基体と、バーコードと、２つの、カラーブロックの組み合わせとを含み、
前記バーコード及び２つの、カラーブロックの組み合わせは、前記ラベル基体に設けられ、且つ前記２つの、カラーブロックの組み合わせは、前記バーコードの両端に位置し、
前記カラーブロックの組み合わせは、色を異にする複数のカラーブロックを含み、
前記バーコードには、それが所属したバーコードラベルの認識情報が内蔵されており、
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定のカラーブロック選択ルールとして、レンズ範囲内の画像にバーコードラベルが２つのみある場合、レンズ範囲内の画像における２つのバーコードラベルからそれぞれ、所属したラベル基体の最も外側に位置する２つのカラーブロックを選択し、レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する
ことを特徴とする請求項２１に記載のポータブル端末。
【請求項２４】
レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する前記ステップとして、
異なるバーコードラベルから順列組合せ法により、それぞれ４つのカラーブロックを抽出して異なるカラーブロックの組み合わせを構成し、
カラーブロックの組み合わせごとに、カラーブロックの組み合わせにおける４つのカラーブロックの所定位置点を特定し、特定された４つの所定位置点が凸四角形を構成した場合、前記凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とし、特定された４つの所定位置点が凹四角形を構成した場合、前記凹四角形の４つの頂点のうちから、構成された三角形の面積が最大となる３つの点を特定し、特定された３つの点が構成した三角形の面積を対応するカラーブロックの組み合わせの分散指標とし、
各カラーブロックの組み合わせに対応する分散指標を比較し、分散指標最大のカラーブロックの組み合わせにおける４つのカラーブロックを特定する
ことを特徴とする請求項２３に記載のポータブル端末。
【請求項２５】
レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する前記ステップとして、さらに、
特定された４つの所定位置点が凸四角形を構成した場合、凸四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、
各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、すべての三角形頂点の組み合わせに対応する三角形面積の和を２で割って、凸四角形の面積を得、前記凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とする
ことを特徴とする請求項２４に記載のポータブル端末。
【請求項２６】
レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する前記ステップとして、さらに、
特定された４つの所定位置点が凹四角形を構成した場合、前記凹四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、三角形の面積が最大となる場合に対応する三角形頂点の組み合わせを特定し、三角形の面積の最大値を前記凹四角形に対応するカラーブロックの組み合わせの分散指標とする
ことを特徴とする請求項２４又は２５に記載のポータブル端末。
【請求項２７】
各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出する前記ステップとして、
ある三角形頂点の組み合わせに対応する三角形の面積を算出する際、予め記憶されている三角形頂点の組み合わせと三角形面積との関連データの全てに亘って、前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されているか否かを分析し、
前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されている場合、マッチングした三角形頂点の組み合わせに対応する三角形の面積値を検索し、見つかった面積値を前記三角形頂点の組み合わせに対応する三角形の面積とし、
前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されていない場合、前記三角形頂点の組み合わせにおける各頂点のワールド座標系の座標に基づき、前記三角形頂点の組み合わせに対応する三角形の各辺の長さを特定し、特定された辺の長さに基づき、前記三角形頂点の組み合わせに対応する三角形の面積を算出し、後続の三角形面積の検索に備えて、前記三角形頂点の組み合わせと算出された三角形面積とを関連データとして生成させて保存する
ことを特徴とする請求項２６に記載のポータブル端末。
【請求項２８】
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定の座標算出ルールとして、選択された４つのカラーブロックに対応する４つの画素座標系の座標及び４つのワールド座標系の座標に基づき、さらに、前記ポータブル端末に予め記憶されているカメラ内部パラメータに基づき、カメラ外部パラメータに属する回転行列及び並進行列を算出し、さらに、前記回転行列及び並進行列により変換することで、前記ポータブル端末のカメラのワールド座標系における座標を得て前記ポータブル端末のワールド座標系における座標とする
ことを特徴とする請求項２１に記載のポータブル端末。
【請求項２９】
選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末のワールド座標系における座標を算出することにより、前記ポータブル端末の位置を得る前記ステップ後に、さらに、
算出された前記ポータブル端末のワールド座標系における座標に基づき、所定の方向算出ルールに従って、前記ポータブル端末の方向ベクトルを算出する
ことを特徴とする請求項２８に記載のポータブル端末。
【請求項３０】
前記所定の方向算出ルールとして、前記ポータブル端末のワールド座標系における座標、前記カメラ内部パラメータ、前記回転行列及び前記並進行列に基づき、さらに、所定のカメラキャリブレーションモデルにより演算して、前記ポータブル端末の方向ベクトルを得る
ことを特徴とする請求項２９に記載のポータブル端末。
【請求項３１】
コンピュータ実行可能コマンドが搭載された記憶媒体であって、前記記憶媒体は、１つ又は複数のプロセッサにより実行されることで、
ユーザから発信された室内ナビゲーションコマンドを受信すると、カメラを制御してレンズ範囲内の画像を取得し、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルのバーコードに対してデータ解析を行うことで、レンズ範囲内の画像における各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択する動作と、
レンズ範囲内の画像における選択された各カラーブロックの位置に基づき、各カラーブロックに対応する画素座標系の座標を算出し、
予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データにより、選択された各カラーブロックの所属したバーコードラベルに基づき、各カラーブロックに対応するワールド座標系の座標を算出する動作と、
選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末のワールド座標系における座標を算出することにより、前記ポータブル端末の位置を得る動作と、を実現することができる
ことを特徴とするコンピュータ実行可能コマンドが搭載された記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
「関連出願の相互参照」
本願は、２０１６年６月２２日に中国国家知識産権局に出願された、中国特許出願第２０１６１０４６０５７６．５号の「ポータブル端末による室内ナビゲーション方法及びポータブル端末」と題する中国特許出願の優先権を主張し、当該出願の全体が参照により本願に援用される。
【０００２】
本発明は、ナビゲーション技術分野に関し、特にポータブル端末による室内ナビゲーション方法、ポータブル端末及び記憶媒体に関するものである。
【背景技術】
【０００３】
従来、ユーザがポータブル端末を使用するとき、一部の室内場所は非常に広く、エリアの分布状況も複雑であるため、ユーザがこのような場所に入ると、目標エリアや位置を特定することが困難である。また、一部の室内場所でポータブル端末を用いてナビゲーションを行う解決手段はあるものの、このような場所には、高度なソフトウェアとハードウェアの設置が求められており、ポータブル端末のリアルタイムな位置について高度な演算を迅速で正確に行うことができないため、ナビゲーションの精度が低くなるのが現状である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、ポータブル端末による正確な室内ナビゲーションを低コストで実現すべく、ポータブル端末による室内ナビゲーション方法、ポータブル端末及び記憶媒体を提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記の目的を達成すべく、本発明は、ポータブル端末による室内ナビゲーション方法を提供し、前記方法は、
ユーザから発信された室内ナビゲーションコマンドを受信すると、ポータブル端末は、そのカメラを制御してレンズ範囲内の画像を取得し、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルのバーコードに対してデータ解析を行うことで、レンズ範囲内の画像における各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択するステップと、
レンズ範囲内の画像における選択された各カラーブロックの位置に基づき、各カラーブロックに対応する画素座標系の座標を算出し、
予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データにより、選択された各カラーブロックの所属したバーコードラベルに基づき、各カラーブロックに対応するワールド座標系の座標を算出するステップと、
選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末のワールド座標系における座標を算出することにより、前記ポータブル端末の位置を得るステップと、を含む。
【０００６】
室内ナビゲーション機能が搭載されたポータブル端末であって、前記ポータブル端末は、
ユーザから発信された室内ナビゲーションコマンドを受信すると、ポータブル端末のカメラを制御してレンズ範囲内の画像を取得し、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルのバーコードに対してデータ解析を行うことで、レンズ範囲内の画像における各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択する取得モジュールと、
レンズ範囲内の画像における選択された各カラーブロックの位置に基づき、各カラーブロックに対応する画素座標系の座標を算出し、
予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データにより、選択された各カラーブロックの所属したバーコードラベルに基づき、各カラーブロックに対応するワールド座標系の座標を算出する演算モジュールと、
選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末のワールド座標系における座標を算出することにより、前記ポータブル端末の位置を得る測位モジュールと、を含む。
【０００７】
ポータブル端末であって、ユーザインタラクション機器と、記憶機器と、カメラと、プロセッサとを含み、
前記ユーザインタラクション機器は、前記端末とユーザの間でのインタラクションを実現し、
前記記憶機器には、コンピュータ可読コードコマンドが記憶されており、前記コンピュータ可読コードコマンドは、前記プロセッサによって実行されることで、
ユーザから発信された室内ナビゲーションコマンドを受信すると、カメラを制御してレンズ範囲内の画像を取得し、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルのバーコードに対してデータ解析を行うことで、レンズ範囲内の画像における各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択するステップと、
レンズ範囲内の画像における選択された各カラーブロックの位置に基づき、各カラーブロックに対応する画素座標系の座標を算出し、
予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データにより、選択された各カラーブロックの所属したバーコードラベルに基づき、各カラーブロックに対応するワールド座標系の座標を算出するステップと、
選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記電子機器のワールド座標系における座標を算出することにより、前記電子機器の位置を得るステップと、を実現することができる。
【０００８】
コンピュータ実行可能コマンドが搭載された記憶媒体であって、前記記憶媒体は、１つ又は複数のプロセッサにより実行されることで、
ユーザから発信された室内ナビゲーションコマンドを受信すると、カメラを制御してレンズ範囲内の画像を取得し、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルのバーコードに対してデータ解析を行うことで、レンズ範囲内の画像における各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択する動作と、
レンズ範囲内の画像における選択された各カラーブロックの位置に基づき、各カラーブロックに対応する画素座標系の座標を算出し、
予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データにより、選択された各カラーブロックの所属したバーコードラベルに基づき、各カラーブロックに対応するワールド座標系の座標を算出する動作と、
選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記電子機器のワールド座標系における座標を算出することにより、前記電子機器の位置を得る動作と、を実現することができる。
【発明の効果】
【０００９】
本発明は、ポータブル端末による室内ナビゲーション方法、ポータブル端末及び記憶媒体を提供する。それは、ポータブル端末のカメラを用いて、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルの認識情報を取得し、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択し、さらに、各カラーブロックに対応する画素座標系の座標及び対応するワールド座標系の座標を算出し、さらに、選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末の位置を算出するものである。ポータブル端末のカメラ及び室内の所定位置に予め設置されたバーコードラベルを利用するだけで、室内ナビゲーションを行うことができるため、高度なソフトウェアとハードウェアは要求されず、また、室内の所定位置に予め設置されたバーコードラベルのカラーブロックの画素座標系の座標及び対応するワールド座標系の座標に基づき総合的な演算を行うことで、ポータブル端末のリアルタイムな位置について高度な演算を迅速で正確に行って、室内ナビゲーションの精度を高めることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明のポータブル端末のハードウェアを示すブロック図である。
【図２】本発明のポータブル端末による室内ナビゲーション方法の実施例１のフローチャートである。
【図３】本発明のポータブル端末による室内ナビゲーション方法の一実施例におけるバーコードラベルの構造を示す図である。
【図４】本発明のポータブル端末による室内ナビゲーション方法の一実施例における凸四角形の４つの頂点からなる４通りの三角形の頂点の組み合わせを示す図である。
【図５】本発明のポータブル端末による室内ナビゲーション方法の一実施例における凹四角形の４つの頂点からなる４通りの三角形の頂点の組み合わせを示す図である。
【図６】本発明のポータブル端末による室内ナビゲーション方法の実施例２のフローチャートである。
【図７】本発明のポータブル端末による室内ナビゲーション方法の一実施例におけるナビゲーション応用を示す図である。
【図８】本発明の室内ナビゲーション機能が搭載されたポータブル端末の実施例１の機能モジュールを示す図である。
【図９】本発明の室内ナビゲーション機能が搭載されたポータブル端末の実施例２の機能モジュールを示す図である。
【発明を実施するための形態】
【００１１】
以下、実施例及び図面を踏まえて、本発明の目的の達成、機能上の特徴及び利点を詳しく説明する。なお、次の実施例は、本発明を説明するためのものに過ぎず、本発明は実施例にて限定されるものではないことは言うまでもない。
【００１２】
本発明は、ポータブル端末による室内ナビゲーション方法を提供する。図１に示すように、前記室内ナビゲーション方法が適用されるポータブル端末のハードウェアを示すブロック図である。ポータブル端末は、バスシステムによって接続された、プロセッサと、記憶機器と、ユーザインタラクション機器と、カメラとを含む。なお、前記プロセッサは、演算及び制御を行うことで、ポータブル端末全体の動作を支持する。前記記憶機器には、データ、コマンドコードなどが記憶されている。一部の実施例では、前記記憶機器は、不揮発性記憶媒体及びメモリを含む。前記不揮発性記憶媒体には、ポータブル端末のオペレーティングシステム、データベース及び少なくとも１つのコンピュータ実行可能コマンドが記憶されており、コンピュータ実行可能コマンドは、プロセッサによって実行されることで、本発明の実施例による室内ナビゲーション方法を実現することができる。メモリは、オペレーティングシステム及びコンピュータ実行可能コマンドのための、キャッシュを備えた動作環境を提供する。ユーザインタラクション機器は、ユーザがポータブル端末のタッチコマンドを入力し、又はポータブル端末に前記室内ナビゲーション方法の結果データを表示してユーザに提供するなど、ユーザとポータブル端末との間でのインタラクションを実現する。さらに、カメラを備えており、本発明の実施例による室内ナビゲーション方法を実現するにあたり、カメラは、プロセッサの制御コマンドを受信して制御コマンドに基づき室内のバーコードラベルの画像を取得することができる。
【００１３】
なお、当業者であれば、図１に示される構造は、本発明の解決手段に関係する一部構造のブロック図を示すものに過ぎず、サーバへの本発明の解決手段の適用を限定するものではないことは理解できるであろう。具体的に、ポータブル端末は、図に示されるものよりも要素数が多くても少なくてもよく、一部の要素を組み合わせたり、要素を異なる形態で配置したりしてもよい。
【００１４】
図２は本発明のポータブル端末による室内ナビゲーション方法の実施例１のフローチャートを示しており、図２によると、実施例１による、前記ポータブル端末による室内ナビゲーション方法は、ステップＳ１０と、ステップＳ２０と、ステップＳ３０とを含む。
【００１５】
ステップＳ１０：ユーザから発信された室内ナビゲーションコマンドを受信すると、ポータブル端末は、カメラを制御してレンズ範囲内の画像を取得し、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルのバーコードに対してデータ解析を行うことで、レンズ範囲内の画像における各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択する。
【００１６】
本実施例では、室内場所の所定位置、例えば地面、壁面、天井などにバーコードラベルを予め設置することができ、前記バーコードラベルは、少なくとも対応する認識情報、カラーブロックなどを含む。ポータブル端末は、ユーザが物理ボタン又は仮想ボタンによって発信した室内ナビゲーションコマンドを受信すると、ポータブル端末のカメラを起動させ、カメラを制御してレンズ範囲内の画像を取得する。ポータブル端末のカメラによりレンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルを取得し、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルのバーコードに対してデータ解析を行うことで、レンズ範囲内の画像における各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択する。なお、選択されるカラーブロックの数量については限定しない。
【００１７】
ステップＳ２０：レンズ範囲内の画像における選択された各カラーブロックの位置に基づき、各カラーブロックに対応する画素座標系の座標を算出し、
予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データにより、選択された各カラーブロックの所属したバーコードラベルに基づき、各カラーブロックに対応するワールド座標系の座標を算出する。
【００１８】
選択されたカラーブロックごとに、レンズ範囲内の画像におけるその位置に基づき、対応する画素座標系の座標を特定し、例えば、一つの実施形態において、カラーブロックの幾何中心の画素座標系における座標を算出してもよい。さらに、予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データに基づき、選択されたカラーブロックごとに、それが所属したバーコードラベルに基づき、対応するワールド座標系の座標を特定し、例えば、一つの実施形態では、カラーブロックの幾何中心のワールド座標系における座標を算出してもよい。
【００１９】
ステップＳ３０：選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末のワールド座標系における座標を算出することにより、前記ポータブル端末の位置を得る。
【００２０】
選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末のワールド座標系における座標、すなわち前記ポータブル端末の位置を算出することで、ポータブル端末のリアルタイムな位置について高度な演算を実現し、室内ナビゲーションを行う。
【００２１】
本実施例は、ポータブル端末のカメラを用いて、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルの認識情報を取得し、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択し、さらに、各カラーブロックに対応する画素座標系の座標及び対応するワールド座標系の座標を算出し、さらに、選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末の位置を算出するものである。ポータブル端末のカメラ及び室内の所定位置に予め設置されたバーコードラベルを利用するだけで、室内ナビゲーションを行うことができるため、高度なソフトウェアとハードウェアは要求されず、また、室内の所定位置に予め設置されたバーコードラベルのカラーブロックの画素座標系の座標及び対応するワールド座標系の座標に基づき総合的な演算を行うことで、ポータブル端末のリアルタイムな位置について高度な演算を迅速で正確に行って、室内ナビゲーションの精度を高めることができる。
【００２２】
さらに、別の実施例として、前記バーコードラベルは、ラベル基体と、バーコードと、２つのカラーブロックとを含み、
前記バーコード及び２つのカラーブロックは、前記ラベル基体に設けられ、且つ前記２つのカラーブロックは、前記バーコードの両端に位置し、
前記バーコードには、それが所属したバーコードラベルの認識情報（ＩＤなど）が内蔵されており、
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定のカラーブロック選択ルールとして、レンズ範囲内の画像にバーコードラベルが２つのみある場合、レンズ範囲内の画像における２つのバーコードラベルから、それぞれ２つのカラーブロックを選択し、レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、レンズに最も近接した２つのバーコードラベルをロックし、ロックされた２つのバーコードラベルから、それぞれ２つのカラーブロックを選択する。
【００２３】
さらに、別の実施例として、前記バーコードラベルは、ラベル基体と、バーコードと、２つの、カラーブロックの組み合わせとを含み、
前記バーコード及び２つの、カラーブロックの組み合わせは、前記ラベル基体に設けられ、且つ前記２つの、カラーブロックの組み合わせは、前記バーコードの両端に位置し、
前記カラーブロックの組み合わせは、色を異にする複数のカラーブロックを含み、
前記バーコードには、それが所属したバーコードラベルの認識情報（ＩＤなど）が内蔵されており、
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定のカラーブロック選択ルールとして、レンズ範囲内の画像にバーコードラベルが２つのみある場合、レンズ範囲内の画像における２つのバーコードラベルからそれぞれ、所属したラベル基体の最も外側に位置する２つのカラーブロックを選択し、レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから分散指標最大の場合の４つのカラーブロックを特定する。
【００２４】
詳しくは、図３に示されるように、本発明のポータブル端末による室内ナビゲーション方法の一実施例におけるバーコードラベルの構造を示す図であり、このバーコードラベルは、ラベル基体１と、バーコード２と、２つの、カラーブロックの組み合わせ３とを含み、
前記バーコード２及び２つの、カラーブロックの組み合わせ３は、前記ラベル基体１に設けられ、且つ前記２つの、カラーブロックの組み合わせ３は、前記バーコード２の両端に位置し、
前記カラーブロックの組み合わせ３は、色を異にする複数のカラーブロック３１を含み、例えば、図２のように、前記バーコード２の両端に位置する赤、緑、青のカラーブロック３１である。なお、最も外側に位置するカラーブロックは、それが所属した前記ラベル基体１の最も外側に位置し、例えば、図３のように、赤のカラーブロック３１である。
【００２５】
さらに、別の実施例として、レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから分散指標最大の場合の４つのカラーブロックを特定する前記ステップとして、
異なるバーコードラベルから順列組合せ法により、それぞれ４つのカラーブロックを抽出して異なるカラーブロックの組み合わせを構成し、
カラーブロックの組み合わせごとに、カラーブロックの組み合わせにおける４つのカラーブロックの所定位置点を特定し、特定された４つの所定位置点が凸四角形を構成した場合、前記凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とし、特定された４つの所定位置点が凹四角形を構成した場合、前記凹四角形の４つの頂点のうちから、構成された三角形の面積が最大となる３つの点を特定し、特定された３つの点が構成した三角形の面積を対応するカラーブロックの組み合わせの分散指標とし、
各カラーブロックの組み合わせに対応する分散指標を比較し、分散指標最大のカラーブロックの組み合わせにおける４つのカラーブロックを特定する。
【００２６】
本実施例では、異なるバーコードラベルから順列組合せ法により、それぞれ４つのカラーブロックを抽出して異なるカラーブロックの組み合わせを構成する。例えば、すべてのバーコードラベルには合計Ｎ個のカラーブロックがあると、合計通りのカラーブロックの組み合わせを構成することができる。
カラーブロックの組み合わせごとに、カラーブロックの組み合わせにおける４つのカラーブロックの所定位置点、例えば幾何中心点を特定し、特定された４つの頂点が凸四角形を構成した場合、凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とし、特定された４つの頂点が凹四角形を構成した場合、前記４つの頂点のうちから、構成された三角形面積が最大となる３つの点を特定し、特定された３つの点が構成した三角形の面積を対応するカラーブロックの組み合わせの分散指標とし、
各カラーブロックの組み合わせに対応する分散指標を比較し、分散指標最大のカラーブロックの組み合わせにおける４つのカラーブロックを特定する。
【００２７】
なお、本実施例では、四角形を凸四角形及び凹四角形に分類し、いずれか１つの内角が１８０度より大きい四角形は凹四角形であり、そうでないものは凸四角形である。凸四角形の場合、その面積をその分散程度をはかる指標とし、凹四角形の場合、いずれか３つの点で構成した三角形の面積のうちの最大値をその分散指標とする。
【００２８】
さらに、別の実施例として、レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する前記ステップとして、さらに、
特定された４つの所定位置点が凸四角形を構成した場合、凸四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、
各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、すべての三角形頂点の組み合わせに対応する三角形面積の和を２で割って、凸四角形の面積を得、前記凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とする。
【００２９】
本実施例では、凸四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、さらに、各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、すべての三角形頂点の組み合わせに対応する三角形面積の和を２で割って、凸四角形の面積を得る。
【００３０】
詳しくは、図４に示されるように、本発明のポータブル端末による室内ナビゲーション方法の一実施例における凸四角形の４つの頂点からなる４通りの三角形頂点の組み合わせを示す図であり、凸四角形は、合計４つの頂点を有するため、合計通りの三角形頂点の組み合わせを構成することができる。
【００３１】
さらに、別の実施例として、レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する前記ステップとして、さらに、
特定された４つの所定位置点が凹四角形を構成した場合、前記凹四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、三角形の面積が最大となる場合に対応する三角形頂点の組み合わせを特定し、三角形の面積の最大値を前記凹四角形に対応するカラーブロックの組み合わせの分散指標とする。
【００３２】
本実施例では、凹四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、さらに、各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、三角形面積が最大となる場合に対応する三角形頂点の組み合わせを特定し、三角形面積の最大値を凹四角形の分散指標とする。
【００３３】
詳しくは、図５に示されるように、本発明のポータブル端末による室内ナビゲーション方法の一実施例における凹四角形の４つの頂点からなる４通りの三角形頂点の組み合わせを示す図であり、凹四角形は、合計４つの頂点を有するため、合計通りの三角形頂点の組み合わせを構成することができる。
【００３４】
さらに、別の実施例として、各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出する前記ステップとして、
ある三角形頂点の組み合わせに対応する三角形の面積を算出する際、予め記憶されている三角形頂点の組み合わせと三角形面積との関連データの全てに亘って、前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されているか否かを分析する。例えば、予め記憶されている三角形頂点の組み合わせに、Ａ１、Ａ２、Ａ３という組み合わせが含まれると想定すると、前記三角形頂点の組み合わせが頂点Ａ１、Ａ２、Ａ３からなる場合、前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されていることを表す。
前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されている場合、マッチングした三角形頂点の組み合わせに対応する三角形の面積値を検索し、見つかった面積値を前記三角形頂点の組み合わせに対応する三角形の面積とし、
前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されていない場合、前記三角形頂点の組み合わせにおける各頂点のワールド座標系の座標、すなわち前記三角形頂点の組み合わせの各頂点が所属したカラーブロックに対応するワールド座標系の座標に基づき、前記三角形頂点の組み合わせに対応する三角形の各辺の長さを特定し、特定された辺の長さに基づき、前記三角形頂点の組み合わせに対応する三角形の面積を算出し、後続の三角形面積の検索に備えて、前記三角形頂点の組み合わせと算出された三角形面積とを関連データとして生成させて保存する。
【００３５】
さらに、別の実施例として、前記選択されたカラーブロックの所定数量は、４つであり、
前記所定の座標算出ルールとして、選択された４つのカラーブロックに対応する４つの画素座標系の座標及び４つのワールド座標系の座標に基づき、さらに、前記ポータブル端末に予め記憶されているカメラ内部パラメータに基づき、カメラ外部パラメータに属する回転行列及び並進行列を算出し、さらに、前記回転行列及び並進行列により変換することで、前記ポータブル端末のカメラのワールド座標系における座標を得て前記ポータブル端末のワールド座標系における座標とする。
【００３６】
本実施例では、選択された４つのカラーブロックに対応する４つの画素座標系の座標及び４つのワールド座標系の座標に基づき、さらに、ポータブル端末に予め記憶されているカメラ内部パラメータ（ｆｘ，ｆｙ，ｕ０，ｖ０）に基づき、カメラ外部パラメータに属する回転行列Ｒ及び並進行列Ｔを算出する。例えば、ＯｐｅｎＣＶにおけるｓｏｌｖｅＰｎＰ関数によりカメラ外部パラメータに属する回転ベクトルＲｖｅｃ及び並進行列Ｔを算出し、さらに、ＯｐｅｎＣＶにおけるｃｖＲｏｄｒｉｇｕｅｓ２関数により回転ベクトルＲｖｅｃを変換して回転行列Ｒを得る。
カメラ座標系の原点座標（Xｃ＝０，Ｙｃ＝０，Ｚｃ＝０）を座標系変換式
2019504300.tif 000003
ｃはカメラ座標系を、ｗはワールド座標系を指す）に代入し、
さらに、カメラのワールド座標系における座標を算出し、すなわち、ポータブル端末のワールド座標系における座標は、
2019504300.tif 000004
【００３７】
図６に示すように、本発明の実施例２は、ポータブル端末による室内ナビゲーション方法を提供しており、前記実施例をベースに、前記ステップＳ３０後に、さらにステップＳ４０を含む。
【００３８】
ステップＳ４０：算出された前記ポータブル端末のワールド座標系における座標に基づき、所定の方向算出ルールに従って、前記ポータブル端末の方向ベクトルを算出する。
【００３９】
本実施例では、前記ポータブル端末のワールド座標系における座標を算出した後、さらに、所定の方向算出ルールに従って、前記ポータブル端末の方向ベクトルを算出する。
【００４０】
詳しくは、前記所定の方向算出ルールとして、方向ベクトルと地面との交点のワールド座標系における座標を（Xｗ２，Ｙｗ２，Ｚｗ２）と設定し（ただしＺｗ２＝０）、よって、Xｗ２及びＹｗ２を求めればよい。ポータブル端末のワールド座標系における座標（Xｗ１，Ｙｗ１，Ｚｗ１）、カメラ内部パラメータ（ｆｘ，ｆｙ，ｕ０，ｖ０）、回転行列Ｒ、並進行列Ｔに基づき、さらに、カメラキャリブレーションモデルにより、次式を得る。
2019504300.tif 000005
式を簡略化するために行列Ｓで表し、次のとおり設定すると、
2019504300.tif 000006
次式を得る。
2019504300.tif 000007
さらに、
前記式（５）、（６）、（７）からなる連立３元１次方程式を解き、次式を得る。
2019504300.tif 000008
また、Ｚｗ２＝０から、法線ベクトルと地面との交点のワールド座標系における座標（Xｗ２，Ｙｗ２，Ｚｗ２）は解析解を有し、前記ポータブル端末の方向ベクトルは、（Xｗ２−Xｗ１，Ｙｗ２−Ｙｗ１，Ｚｗ２−Ｚｗ１）となる。
【００４１】
さらに、図７に示されるように、本発明のポータブル端末による室内ナビゲーション方法の一実施例におけるナビゲーションの応用を示す図である。
本実施例は、ポータブル端末のカメラを用いて、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルの認識情報を取得し、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択し、さらに、各カラーブロックに対応する画素座標系の座標及び対応するワールド座標系の座標を算出し、さらに、選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末の位置及び方向ベクトルを算出するものである。室内の所定位置に予め設置されたバーコードラベルのカラーブロックの画素座標系の座標及び対応するワールド座標系の座標に基づき、総合的な演算を行うことで、ポータブル端末のリアルタイムな位置及び方向ベクトルについて高度な演算を迅速で正確に行って、室内ナビゲーションの精度を高めることができる。
【００４２】
本発明は、室内ナビゲーション機能が搭載されたポータブル端末をさらに提供する。
【００４３】
図８は、本発明の室内ナビゲーション機能が搭載されたポータブル端末の実施例１の機能モジュールを示しており、図８によると、実施例１では、前記室内ナビゲーション機能が搭載されたポータブル端末は、取得モジュール０１と、演算モジュール０２と、測位モジュール０３とを含む。
【００４４】
取得モジュール０１は、ユーザから発信された室内ナビゲーションコマンドを受信すると、ポータブル端末のカメラを制御してレンズ範囲内の画像を取得し、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルのバーコードに対してデータ解析を行うことで、レンズ範囲内の画像における各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択する。
【００４５】
本実施例では、室内場所の所定位置、例えば地面、壁面、天井などにバーコードラベルを予め設置することができ、前記バーコードラベルは、少なくとも対応する認識情報、カラーブロックなどを含む。ポータブル端末は、ユーザが物理ボタン又は仮想ボタンによって発信した室内ナビゲーションコマンドを受信すると、ポータブル端末のカメラを起動させ、カメラを制御してレンズ範囲内の画像を取得する。ポータブル端末のカメラによりレンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルを取得し、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルのバーコードに対してデータ解析を行うことで、レンズ範囲内の画像における各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択する。なお、選択されるカラーブロックの数量については限定しない。
【００４６】
演算モジュール０２は、レンズ範囲内の画像における選択された各カラーブロックの位置に基づき、各カラーブロックに対応する画素座標系の座標を算出し、
予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データにより、選択された各カラーブロックの所属したバーコードラベルに基づき、各カラーブロックに対応するワールド座標系の座標を算出する。
【００４７】
選択されたカラーブロックごとに、レンズ範囲内の画像におけるその位置に基づき、対応する画素座標系の座標を特定し、例えば、一つの実施形態において、カラーブロックの幾何中心の画素座標系における座標を算出してもよい。
予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データに基づき、選択されたカラーブロックごとに、それが所属したバーコードラベルに基づき、対応するワールド座標系の座標を特定する。例えば、一つの実施形態において、カラーブロックの幾何中心のワールド座標系における座標を算出してもよい。
【００４８】
測位モジュール０３は、選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末のワールド座標系における座標を算出することにより、前記ポータブル端末の位置を得る。
【００４９】
選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末のワールド座標系における座標、すなわち前記ポータブル端末の位置を算出することで、ポータブル端末のリアルタイムな位置について高度な演算を実現し、室内ナビゲーションを行う。
【００５０】
本実施例は、ポータブル端末のカメラを用いて、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルの認識情報を取得し、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択し、さらに、各カラーブロックに対応する画素座標系の座標及び対応するワールド座標系の座標を算出し、さらに、選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末の位置を算出するものである。ポータブル端末のカメラ及び室内の所定位置に予め設置されたバーコードラベルを利用するだけで、室内ナビゲーションを行うことができるため、高度なソフトウェアとハードウェアは要求されず、また、室内の所定位置に予め設置されたバーコードラベルのカラーブロックの画素座標系の座標及び対応するワールド座標系の座標に基づき総合的な演算を行うことで、ポータブル端末のリアルタイムな位置について高度な演算を迅速で正確に行って、室内ナビゲーションの精度を高めることができる。
【００５１】
さらに、別の実施例として、前記バーコードラベルは、ラベル基体と、バーコードと、２つのカラーブロックとを含み、
前記バーコード及び２つのカラーブロックは、前記ラベル基体に設けられ、且つ前記２つのカラーブロックは、前記バーコードの両端に位置し、
前記バーコードには、それが所属したバーコードラベルの認識情報（ＩＤなど）が内蔵されており、
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定のカラーブロック選択ルールとして、レンズ範囲内の画像にバーコードラベルが２つのみある場合、レンズ範囲内の画像における２つのバーコードラベルから、それぞれ２つのカラーブロックを選択し、レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、レンズに最も近接した２つのバーコードラベルをロックし、ロックされた２つのバーコードラベルから、それぞれ２つのカラーブロックを選択する。
【００５２】
さらに、別の実施例として、前記バーコードラベルは、ラベル基体と、バーコードと、２つの、カラーブロックの組み合わせとを含み、
前記バーコード及び２つの、カラーブロックの組み合わせは、前記ラベル基体に設けられ、且つ前記２つの、カラーブロックの組み合わせは、前記バーコードの両端に位置し、
前記カラーブロックの組み合わせは、色を異にする複数のカラーブロックを含み、
前記バーコードには、それが所属したバーコードラベルの認識情報（ＩＤなど）が内蔵されており、
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定のカラーブロック選択ルールとして、レンズ範囲内の画像にバーコードラベルが２つのみある場合、レンズ範囲内の画像における２つのバーコードラベルからそれぞれ、所属したラベル基体の最も外側に位置する２つのカラーブロックを選択し、レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから分散指標最大の場合の４つのカラーブロックを特定する。
【００５３】
さらに、別の実施例として、前記演算モジュール０２は、さらに、
異なるバーコードラベルから順列組合せ法により、それぞれ４つのカラーブロックを抽出して異なるカラーブロックの組み合わせを構成し、
カラーブロックの組み合わせごとに、カラーブロックの組み合わせにおける４つのカラーブロックの所定位置点を特定し、特定された４つの所定位置点が凸四角形を構成した場合、前記凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とし、特定された４つの所定位置点が凹四角形を構成した場合、前記凹四角形の４つの頂点のうちから、構成された三角形の面積が最大となる３つの点を特定し、特定された３つの点が構成した三角形の面積を対応するカラーブロックの組み合わせの分散指標とし、
各カラーブロックの組み合わせに対応する分散指標を比較し、分散指標最大のカラーブロックの組み合わせにおける４つのカラーブロックを特定する。
【００５４】
本実施例では、異なるバーコードラベルから順列組合せ法により、それぞれ４つのカラーブロックを抽出して異なるカラーブロックの組み合わせを構成する。例えば、すべてのバーコードラベルには合計Ｎ個のカラーブロックがあると、合計通りのカラーブロックの組み合わせを構成することができる。
カラーブロックの組み合わせごとに、カラーブロックの組み合わせにおける４つのカラーブロックの所定位置点、例えば幾何中心点を特定し、
特定された４つの頂点が凸四角形を構成した場合、凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とし、特定された４つの頂点が凹四角形を構成した場合、前記４つの頂点のうちから、構成された三角形面積が最大となる３つの点を特定し、特定された３つの点が構成した三角形の面積を対応するカラーブロックの組み合わせの分散指標とし、
各カラーブロックの組み合わせに対応する分散指標を比較し、分散指標最大のカラーブロックの組み合わせにおける４つのカラーブロックを特定する。
【００５５】
なお、本実施例では、四角形を凸四角形及び凹四角形に分類し、いずれか１つの内角が１８０度より大きい四角形は凹四角形であり、そうでないものは凸四角形である。凸四角形の場合、その面積をその分散程度をはかる指標とし、凹四角形の場合、いずれか３つの点で構成した三角形の面積のうちの最大値をその分散指標とする。
【００５６】
さらに、別の実施例として、前記演算モジュール０２は、さらに、
特定された４つの所定位置点が凸四角形を構成した場合、凸四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、
各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、すべての三角形頂点の組み合わせに対応する三角形面積の和を２で割って、凸四角形の面積を得、前記凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とする。
【００５７】
本実施例では、凸四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、さらに、各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、すべての三角形頂点の組み合わせに対応する三角形面積の和を２で割って、凸四角形の面積を得る。
【００５８】
さらに、別の実施例として、前記演算モジュール０２は、さらに、
特定された４つの所定位置点が凹四角形を構成した場合、前記凹四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、三角形の面積が最大となる場合に対応する三角形頂点の組み合わせを特定し、三角形の面積の最大値を前記凹四角形に対応するカラーブロックの組み合わせの分散指標とする。
【００５９】
本実施例では、凹四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、さらに、各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、三角形面積が最大となる場合に対応する三角形頂点の組み合わせを特定し、三角形面積の最大値を凹四角形の分散指標とする。
【００６０】
さらに、別の実施例として、前記演算モジュール０２は、さらに、
ある三角形頂点の組み合わせに対応する三角形の面積を算出する際、予め記憶されている三角形頂点の組み合わせと三角形面積との関連データの全てに亘って、前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されているか否かを分析する。例えば、予め記憶されている三角形頂点の組み合わせに、Ａ１、Ａ２、Ａ３という組み合わせが含まれると想定すると、前記三角形頂点の組み合わせが頂点Ａ１、Ａ２、Ａ３からなる場合、前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されていることを表す。
前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されている場合、マッチングした三角形頂点の組み合わせに対応する三角形の面積値を検索し、見つかった面積値を前記三角形頂点の組み合わせに対応する三角形の面積とし、
前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されていない場合、前記三角形頂点の組み合わせにおける各頂点のワールド座標系における座標、すなわち前記三角形頂点の組み合わせの各頂点が所属したカラーブロックに対応するワールド座標系の座標に基づき、前記三角形頂点の組み合わせに対応する三角形の各辺の長さを特定し、特定された辺の長さに基づき、前記三角形頂点の組み合わせに対応する三角形の面積を算出し、後続の三角形面積の検索に備えて、前記三角形頂点の組み合わせと算出された三角形面積とを関連データとして生成させて保存する。
【００６１】
さらに、別の実施例として、前記選択されたカラーブロックの所定数量は、４つであり、
前記所定の座標算出ルールとして、選択された４つのカラーブロックに対応する４つの画素座標系の座標及び４つのワールド座標系の座標に基づき、さらに、前記ポータブル端末に予め記憶されているカメラ内部パラメータに基づき、カメラ外部パラメータに属する回転行列及び並進行列を算出し、さらに、前記回転行列及び並進行列により変換することで、前記ポータブル端末のカメラのワールド座標系における座標を得て前記ポータブル端末のワールド座標系における座標とする。
【００６２】
本実施例では、選択された４つのカラーブロックに対応する４つの画素座標系の座標及び４つのワールド座標系の座標に基づき、さらに、ポータブル端末に予め記憶されているカメラ内部パラメータ（ｆｘ，ｆｙ，ｕ０，ｖ０）に基づき、カメラ外部パラメータに属する回転行列Ｒ及び並進行列Ｔを算出する。例えば、ＯｐｅｎＣＶにおけるｓｏｌｖｅＰｎＰ関数によりカメラ外部パラメータに属する回転ベクトルＲｖｅｃ及び並進行列Ｔを算出し、さらに、ＯｐｅｎＣＶにおけるｃｖＲｏｄｒｉｇｕｅｓ２関数により回転ベクトルＲｖｅｃを変換して回転行列Ｒを得る。
カメラ座標系の原点座標（Xｃ＝０，Ｙｃ＝０，Ｚｃ＝０）を座標系変換式
2019504300.tif 000009
ｃはカメラ座標系を、ｗはワールド座標系を指す）に代入し、
さらに、カメラのワールド座標系における座標を算出し、すなわち、ポータブル端末のワールド座標系における座標は、
2019504300.tif 000010
【００６３】
図９に示すように、本発明の実施例２は、室内ナビゲーション機能が搭載されたポータブル端末を提供しており、前記実施例をベースに、さらに方向特定モジュール０４を含む。
【００６４】
方向特定モジュール０４は、算出された前記ポータブル端末のワールド座標系における座標に基づき、所定の方向算出ルールに従って、前記ポータブル端末の方向ベクトルを算出する。
【００６５】
本実施例では、前記ポータブル端末のワールド座標系における座標を算出した後、さらに、所定の方向算出ルールに従って、前記ポータブル端末の方向ベクトルを算出する。
【００６６】
詳しくは、前記所定の方向算出ルールとして、方向ベクトルと地面との交点のワールド座標系における座標を（Xｗ２，Ｙｗ２，Ｚｗ２）と設定し（ただしＺｗ２＝０）よって、Xｗ２及びＹｗ２を求めればよい。ポータブル端末のワールド座標系における座標（Xｗ１，Ｙｗ１，Ｚｗ１）、カメラ内部パラメータ（ｆｘ，ｆｙ，ｕ０，ｖ０）、回転行列Ｒ、並進行列Ｔに基づき、さらに、カメラキャリブレーションモデルにより、次式を得る。
2019504300.tif 000011
式を簡略化するために行列Ｓで表し、次のとおり設定すると、
2019504300.tif 000012
次式を得る。
2019504300.tif 000013
さらに、前記式（５）、（６）、（７）からなる連立３元１次方程式を解き、次式を得る。
2019504300.tif 000014
また、Ｚｗ２＝０から、法線ベクトルと地面との交点のワールド座標系における座標（Xｗ２，Ｙｗ２，Ｚｗ２）は解析解を有し、前記ポータブル端末の方向ベクトルは、（Xｗ２−Xｗ１，Ｙｗ２−Ｙｗ１，Ｚｗ２−Ｚｗ１）となる。
【００６７】
上記のとおり記載された本発明の実施例に番号がついたが、それは記載時の便宜を図るために付与したものに過ぎず、実施例の優劣を示すものではない。当業者であれば、本発明に関する実施形態の記載により、前記実施例による方法は、ソフトウェアと特定の汎用ハードウェアプラットフォームによる形態でも、ハードウェアでも実現できるが、多くの場合、前者による実施形態が好ましいことはよく理解できるであろう。これを踏まえれば、本発明の技術的解決手段の趣旨、又は従来技術に対して改善した部分は、ソフトウェア製品の形式で実施することができ、このコンピュータソフトウェア製品は、記憶媒体（例えばＲＯＭ／ＲＡＭ、磁気ディスク、ＣＤＲＯＭ）に記憶され、端末機器（携帯電話、コンピュータ、サーバ、又はネットワーク機器などであってもよい）にて本発明の各実施例による前記方法が実行されるように、幾つかのコマンドを含んでいる。
【００６８】
以上、単に本発明の好ましい実施例を記載したに過ぎず、これをもって本発明の特許請求の範囲を限定するものではなく、本発明の明細書及び図面に準じてなされた同等の構造上もしくは手順上の変更、又はその他の関係技術分野への直接的もしくは間接的な適用は、すべて本発明の特許請求の範囲に含まれるものとする。
【図１】
2019504300.tif 000015
【図２】
2019504300.tif 000016
【図３】
2019504300.tif 000017
【図４】
2019504300.tif 000018
【図５】
2019504300.tif 000019
【図６】
2019504300.tif 000020
【図７】
2019504300.tif 000021
【図８】
2019504300.tif 000022
【図９】
2019504300.tif 000023
【手続補正書】
【提出日】平成30年5月28日(2018.5.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ポータブル端末による室内ナビゲーション方法であって、
ユーザから発信された室内ナビゲーションコマンドを受信すると、ポータブル端末は、そのカメラを制御してレンズ範囲内の画像を取得し、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルのバーコードに対してデータ解析を行うことで、レンズ範囲内の画像における各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択するステップと、
レンズ範囲内の画像における選択された各カラーブロックの位置に基づき、各カラーブロックに対応する画素座標系の座標を算出し、
予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データにより、選択された各カラーブロックの所属したバーコードラベルに基づき、各カラーブロックに対応するワールド座標系の座標を算出するステップと、
選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末のワールド座標系における座標を算出することにより、前記ポータブル端末の位置を得るステップと、
を含むことを特徴とするポータブル端末による室内ナビゲーション方法。
【請求項２】
前記バーコードラベルは、ラベル基体と、バーコードと、２つのカラーブロックとを含み、
前記バーコード及び２つのカラーブロックは、前記ラベル基体に設けられ、且つ前記２つのカラーブロックは、前記バーコードの両端に位置し、
前記バーコードには、それが所属したバーコードラベルの認識情報が内蔵されており、
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定のカラーブロック選択ルールとして、レンズ範囲内の画像にバーコードラベルが２つのみある場合、レンズ範囲内の画像における２つのバーコードラベルから、それぞれ２つのカラーブロックを選択し、レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、レンズに最も近接した２つのバーコードラベルをロックし、ロックされた２つのバーコードラベルから、それぞれ２つのカラーブロックを選択する
ことを特徴とする請求項１に記載のポータブル端末による室内ナビゲーション方法。
【請求項３】
前記バーコードラベルは、ラベル基体と、バーコードと、２つの、カラーブロックの組み合わせとを含み、
前記バーコード及び２つの、カラーブロックの組み合わせは、前記ラベル基体に設けられ、且つ前記２つの、カラーブロックの組み合わせは、前記バーコードの両端に位置し、
前記カラーブロックの組み合わせは、色を異にする複数のカラーブロックを含み、前記バーコードには、それが所属したバーコードラベルの認識情報が内蔵されており、
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定のカラーブロック選択ルールとして、レンズ範囲内の画像にバーコードラベルが２つのみある場合、レンズ範囲内の画像における２つのバーコードラベルからそれぞれ、所属したラベル基体の最も外側に位置する２つのカラーブロックを選択し、レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する
ことを特徴とする請求項１に記載のポータブル端末による室内ナビゲーション方法。
【請求項４】
レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する前記ステップとして、
異なるバーコードラベルから順列組合せ法により、それぞれ４つのカラーブロックを抽出して異なるカラーブロックの組み合わせを構成し、
カラーブロックの組み合わせごとに、カラーブロックの組み合わせにおける４つのカラーブロックの所定位置点を特定し、特定された４つの所定位置点が凸四角形を構成した場合、前記凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とし、特定された４つの所定位置点が凹四角形を構成した場合、前記凹四角形の４つの頂点のうちから、構成された三角形の面積が最大となる３つの点を特定し、特定された３つの点が構成した三角形の面積を対応するカラーブロックの組み合わせの分散指標とし、
各カラーブロックの組み合わせに対応する分散指標を比較し、分散指標最大のカラーブロックの組み合わせにおける４つのカラーブロックを特定する
ことを特徴とする請求項３に記載のポータブル端末による室内ナビゲーション方法。
【請求項５】
レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する前記ステップとして、さらに、
特定された４つの所定位置点が凸四角形を構成した場合、凸四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、
各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、すべての三角形頂点の組み合わせに対応する三角形面積の和を２で割って、凸四角形の面積を得、前記凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とする
ことを特徴とする請求項４に記載のポータブル端末による室内ナビゲーション方法。
【請求項６】
レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する前記ステップとして、さらに、
特定された４つの所定位置点が凹四角形を構成した場合、前記凹四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、三角形の面積が最大となる場合に対応する三角形頂点の組み合わせを特定し、三角形の面積の最大値を前記凹四角形に対応するカラーブロックの組み合わせの分散指標とする
ことを特徴とする請求項４又は５に記載のポータブル端末による室内ナビゲーション方法。
【請求項７】
各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出する前記ステップとして、
ある三角形頂点の組み合わせに対応する三角形の面積を算出する際、予め記憶されている三角形頂点の組み合わせと三角形面積との関連データの全てに亘って、前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されているか否かを分析し、
前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されている場合、マッチングした三角形頂点の組み合わせに対応する三角形の面積値を検索し、見つかった面積値を前記三角形頂点の組み合わせに対応する三角形の面積とし、
前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されていない場合、前記三角形頂点の組み合わせにおける各頂点のワールド座標系の座標に基づき、前記三角形頂点の組み合わせに対応する三角形の各辺の長さを特定し、特定された辺の長さに基づき、前記三角形頂点の組み合わせに対応する三角形の面積を算出し、後続の三角形面積の検索に備えて、前記三角形頂点の組み合わせと算出された三角形面積とを関連データとして生成させて保存する
ことを特徴とする請求項６に記載のポータブル端末による室内ナビゲーション方法。
【請求項８】
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定の座標算出ルールとして、選択された４つのカラーブロックに対応する４つの画素座標系の座標及び４つのワールド座標系の座標に基づき、さらに、前記ポータブル端末に予め記憶されているカメラ内部パラメータに基づき、カメラ外部パラメータに属する回転行列及び並進行列を算出し、さらに、前記回転行列及び並進行列により変換することで、前記ポータブル端末のカメラのワールド座標系における座標を得て前記ポータブル端末のワールド座標系における座標とする
ことを特徴とする請求項１に記載のポータブル端末による室内ナビゲーション方法。
【請求項９】
ポータブル端末であって、ユーザインタラクション機器と、記憶機器と、カメラと、プロセッサとを含み、
前記ユーザインタラクション機器は、前記端末とユーザの間でのインタラクションを実現し、
前記記憶機器には、コンピュータ可読コードコマンドが記憶されており、
前記コンピュータ可読コードコマンドは、前記プロセッサによって実行されることで、
ユーザから発信された室内ナビゲーションコマンドを受信すると、カメラを制御してレンズ範囲内の画像を取得し、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルのバーコードに対してデータ解析を行うことで、レンズ範囲内の画像における各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択するステップと、
レンズ範囲内の画像における選択された各カラーブロックの位置に基づき、各カラーブロックに対応する画素座標系の座標を算出し、
予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データにより、選択された各カラーブロックの所属したバーコードラベルに基づき、各カラーブロックに対応するワールド座標系の座標を算出するステップと、
選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、前記ポータブル端末のワールド座標系における座標を算出することにより、前記ポータブル端末の位置を得るステップと、を実現することができる
ことを特徴とするポータブル端末。
【請求項１０】
前記バーコードラベルは、ラベル基体と、バーコードと、２つのカラーブロックとを含み、
前記バーコード及び２つのカラーブロックは、前記ラベル基体に設けられ、且つ前記２つのカラーブロックは、前記バーコードの両端に位置し、
前記バーコードには、それが所属したバーコードラベルの認識情報が内蔵されており、
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定のカラーブロック選択ルールとして、レンズ範囲内の画像にバーコードラベルが２つのみある場合、レンズ範囲内の画像における２つのバーコードラベルから、それぞれ２つのカラーブロックを選択し、レンズ範囲内の画像におけるバーコードラベルが２つより大きいと、レンズに最も近接した２つのバーコードラベルをロックし、ロックされた２つのバーコードラベルから、それぞれ２つのカラーブロックを選択する
ことを特徴とする請求項９に記載のポータブル端末。
【請求項１１】
前記バーコードラベルは、ラベル基体と、バーコードと、２つの、カラーブロックの組み合わせとを含み、
前記バーコード及び２つの、カラーブロックの組み合わせは、前記ラベル基体に設けられ、且つ前記２つの、カラーブロックの組み合わせは、前記バーコードの両端に位置し、
前記カラーブロックの組み合わせは、色を異にする複数のカラーブロックを含み、
前記バーコードには、それが所属したバーコードラベルの認識情報が内蔵されており、
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定のカラーブロック選択ルールとして、レンズ範囲内の画像にバーコードラベルが２つのみある場合、レンズ範囲内の画像における２つのバーコードラベルからそれぞれ、所属したラベル基体の最も外側に位置する２つのカラーブロックを選択し、レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する
ことを特徴とする請求項９に記載のポータブル端末。
【請求項１２】
レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する前記ステップとして、
異なるバーコードラベルから順列組合せ法により、それぞれ４つのカラーブロックを抽出して異なるカラーブロックの組み合わせを構成し、
カラーブロックの組み合わせごとに、カラーブロックの組み合わせにおける４つのカラーブロックの所定位置点を特定し、特定された４つの所定位置点が凸四角形を構成した場合、前記凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とし、特定された４つの所定位置点が凹四角形を構成した場合、前記凹四角形の４つの頂点のうちから、構成された三角形の面積が最大となる３つの点を特定し、特定された３つの点が構成した三角形の面積を対応するカラーブロックの組み合わせの分散指標とし、
各カラーブロックの組み合わせに対応する分散指標を比較し、分散指標最大のカラーブロックの組み合わせにおける４つのカラーブロックを特定する
ことを特徴とする請求項１１に記載のポータブル端末。
【請求項１３】
レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する前記ステップとして、さらに、
特定された４つの所定位置点が凸四角形を構成した場合、凸四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、
各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、すべての三角形頂点の組み合わせに対応する三角形面積の和を２で割って、凸四角形の面積を得、前記凸四角形の面積を対応するカラーブロックの組み合わせの分散指標とする
ことを特徴とする請求項１２に記載のポータブル端末。
【請求項１４】
レンズ範囲内の画像におけるバーコードラベルの数量が２つより大きいと、各バーコードラベルから、分散指標最大の場合の４つのカラーブロックを特定する前記ステップとして、さらに、
特定された４つの所定位置点が凹四角形を構成した場合、前記凹四角形の４つの頂点から順列組合せ法により、それぞれ３つの点を抽出して異なる三角形頂点の組み合わせを構成し、各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出し、三角形の面積が最大となる場合に対応する三角形頂点の組み合わせを特定し、三角形の面積の最大値を前記凹四角形に対応するカラーブロックの組み合わせの分散指標とする
ことを特徴とする請求項１２又は１３に記載のポータブル端末。
【請求項１５】
各三角形頂点の組み合わせに対応する三角形の面積をそれぞれ算出する前記ステップとして、
ある三角形頂点の組み合わせに対応する三角形の面積を算出する際、予め記憶されている三角形頂点の組み合わせと三角形面積との関連データの全てに亘って、前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されているか否かを分析し、
前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されている場合、マッチングした三角形頂点の組み合わせに対応する三角形の面積値を検索し、見つかった面積値を前記三角形頂点の組み合わせに対応する三角形の面積とし、
前記三角形頂点の組み合わせとマッチングした三角形頂点の組み合わせが予め記憶されていない場合、前記三角形頂点の組み合わせにおける各頂点のワールド座標系の座標に基づき、前記三角形頂点の組み合わせに対応する三角形の各辺の長さを特定し、特定された辺の長さに基づき、前記三角形頂点の組み合わせに対応する三角形の面積を算出し、後続の三角形面積の検索に備えて、前記三角形頂点の組み合わせと算出された三角形面積とを関連データとして生成させて保存する
ことを特徴とする請求項１４に記載のポータブル端末。
【請求項１６】
前記選択されたカラーブロックの所定数量は、４つであり、
前記所定の座標算出ルールとして、選択された４つのカラーブロックに対応する４つの画素座標系の座標及び４つのワールド座標系の座標に基づき、さらに、前記ポータブル端末に予め記憶されているカメラ内部パラメータに基づき、カメラ外部パラメータに属する回転行列及び並進行列を算出し、さらに、前記回転行列及び並進行列により変換することで、前記ポータブル端末のカメラのワールド座標系における座標を得て前記ポータブル端末のワールド座標系における座標とする
ことを特徴とする請求項９に記載のポータブル端末。
【請求項１７】
コンピュータ実行可能コマンドが搭載された記憶媒体であって、前記記憶媒体は、１つ又は複数のプロセッサにより実行されることで、
ユーザから発信された室内ナビゲーションコマンドを受信すると、カメラを制御してレンズ範囲内の画像を取得し、レンズ範囲内の画像における室内の所定位置に予め設置されたバーコードラベルのバーコードに対してデータ解析を行うことで、レンズ範囲内の画像における各バーコードラベルの認識情報を取得し、所定のカラーブロック選択ルールに従って、レンズ範囲内の画像における少なくとも２つのバーコードラベルから所定数量のカラーブロックを選択する動作と、
レンズ範囲内の画像における選択された各カラーブロックの位置に基づき、各カラーブロックに対応する画素座標系の座標を算出し、
予め設定されたバーコードラベルの認識情報とカラーブロックのワールド座標系の座標との関連データにより、選択された各カラーブロックの所属したバーコードラベルに基づき、各カラーブロックに対応するワールド座標系の座標を算出する動作と、
選択された各カラーブロックに対応する画素座標系の座標及びワールド座標系の座標に基づき、所定の座標算出ルールに従って、ポータブル端末のワールド座標系における座標を算出することにより、前記ポータブル端末の位置を得る動作と、を実現することができる
ことを特徴とするコンピュータ実行可能コマンドが搭載された記憶媒体。
【国際調査報告】
2019504300.tif 000024
2019504300.tif 000025
2019504300.tif 000026
2019504300.tif 000027