(57)【要約】  本発明の実施例はインテリジェント盲導方法および装置を開示し、人工知能分野に関し、インテリジェント盲導システムにおいて過程全体にわたって人工顧客サービスを必要とするため作業負荷が高いという問題を解決する。インテリジェント盲導方法は、センサ情報に基づいて、手動意思決定がない条件下で前記センサ情報に基づいて生成する盲導情報の信頼性を示すインテリジェント盲導の信頼レベルを取得するステップと、前記インテリジェント盲導の信頼レベルが所定閾値以上である場合、前記センサ情報に基づいて盲導情報を生成し、前記インテリジェント盲導の信頼レベルが所定閾値未満である場合、手動意思決定によって盲導情報を生成するステップとを含む。本発明の実施例は盲導ヘルメットに適用される。
2020513627.tif 000002
【特許請求の範囲】
【請求項１】
インテリジェント盲導方法であって、
センサ情報に基づいて、人工知能アルゴリズムで前記センサ情報を処理して生成する盲導情報の信頼性を示すインテリジェント盲導の信頼レベルを取得するステップと、
前記インテリジェント盲導の信頼レベルが所定閾値以上である場合、人工知能アルゴリズムで前記センサ情報を処理して盲導情報を生成し、前記インテリジェント盲導の信頼レベルが所定閾値未満である場合、人工盲導をトリガーするステップとを含むことを特徴とするインテリジェント盲導方法。
【請求項２】
前記センサ情報は超音波センサ情報と視覚センサ情報を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記人工知能アルゴリズムで前記センサ情報を処理して盲導情報を生成するステップは、
前記センサ情報に基づいて、現在位置座標、現在の進行可能な方向および物体認識ラベルのうちのいずれか１種または複数種を盲導情報として生成するステップを含むことを特徴とする請求項１または２に記載の方法。
【請求項４】
前記インテリジェント盲導の信頼レベルは、測位精度信頼レベル、障害物回避成功信頼レベル、物体認識信頼レベルのうちのいずれか１種を含むことを特徴とする請求項１−３のいずれか１項に記載の方法。
【請求項５】
前記センサ情報に基づいてインテリジェント盲導の信頼レベルを取得するステップは、
前記センサ情報に基づいて、測位精度信頼レベル、障害物回避成功信頼レベル、物体認識信頼レベルのうちの少なくとも２種を取得するステップと、
取得した少なくとも２種の信頼レベルを融合して、前記インテリジェント盲導の信頼レベルを取得するステップとを含むことを特徴とする請求項１−３のいずれか１項に記載の方法。
【請求項６】
測位精度信頼レベルの取得は、テクスチャ品質、追跡量、運動品質のパラメータのうちの１種または複数種に基づいて測位精度信頼レベルを取得することを含み、
障害物回避成功信頼レベルの取得は、深さの再構築結果に基づいて、場面視点における通過可能領域のサイズ比例を分析することと、得られたサイズ比例に基づいて障害物回避成功信頼レベルを決定することを含み、
物体認識信頼レベルの取得は、画像中の特徴を抽出して、事前訓練済みの特徴ライブラリとマッチングさせ、マッチング度に基づいて物体認識信頼レベルを決定することを含むことを特徴とする請求項４または５に記載の方法。
【請求項７】
インテリジェント盲導装置であって、
センサ情報に基づいて、人工知能アルゴリズムで前記センサ情報を処理して生成する盲導情報の信頼性を示すインテリジェント盲導の信頼レベルを取得する計算ユニットと、
前記インテリジェント盲導の信頼レベルが所定閾値以上である場合、人工知能アルゴリズムで前記センサ情報を処理して盲導情報を生成し、前記インテリジェント盲導の信頼レベルが所定閾値未満である場合、人工盲導をトリガーする判定ユニットとを備えることを特徴とするインテリジェント盲導装置。
【請求項８】
前記センサ情報は超音波センサ情報と視覚センサ情報を含むことを特徴とする請求項７に記載の装置。
【請求項９】
前記判定ユニットは、具体的には、前記センサ情報に基づいて、現在位置座標、現在の進行可能な方向および物体認識ラベルのうちのいずれか１種または複数種を盲導情報として生成することを特徴とする請求項７または８に記載の装置。
【請求項１０】
前記インテリジェント盲導の信頼レベルは、測位精度信頼レベル、障害物回避成功信頼レベル、物体認識信頼レベルのうちのいずれか１種を含むことを特徴とする請求項７−９のいずれか１項に記載の装置。
【請求項１１】
前記計算ユニットは、具体的には、
前記センサ情報に基づいて、測位精度信頼レベル、障害物回避成功信頼レベル、物体認識信頼レベルのうちの少なくとも２種を取得し、
取得した少なくとも２種の信頼レベルを融合して、前記インテリジェント盲導の信頼レベルを取得することを特徴とする請求項７−９のいずれか１項に記載の装置。
【請求項１２】
前記計算ユニットは、具体的には、
テクスチャ品質、追跡量、運動品質のパラメータのうちの１種または複数種に基づいて測位精度信頼レベルを取得し、
深さ的再構築結果に基づいて、場面視点における通過可能領域のサイズ比例を分析し、得られたサイズ比例に基づいて障害物回避成功信頼レベルを決定し、
画像中の特徴を抽出して、事前訓練済みの特徴ライブラリとマッチングさせ、マッチング度に基づいて物体認識信頼レベルを決定することを特徴とする請求項１０または１１に記載の装置。
【請求項１３】
コンピュータ記憶媒体であって、
請求項１〜６のいずれか１項に記載のインテリジェント盲導方法を実行するために設計されるプログラムコードを含むインテリジェント盲導装置用のコンピュータソフトウェア命令を記憶することを特徴とするコンピュータ記憶媒体。
【請求項１４】
コンピュータプログラム製品であって、
コンピュータの内部メモリに直接ロードでき、ソフトウェアコードを含み、前記コンピュータプログラムがコンピュータによりロードされて実行されると、請求項１〜６のいずれか１項に記載のインテリジェント盲導方法を実行できることを特徴とするコンピュータプログラム製品。
【請求項１５】
サーバーであって、
コンピュータ実行コードを記憶するメモリと、
前記サーバーと外部機器のデータ伝送を行う通信インターフェースと、
前記コンピュータ実行コードを実行して請求項１−６のいずれか１項に記載のインテリジェント盲導方法を実行するように制御するプロセッサを備えることを特徴とするサーバー。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は人工知能分野に関し、特にインテリジェント盲導方法および装置に関する。
【背景技術】
【０００２】
人工知能技術は迅速に発展しており、人間に代わって一部の作業を行うことができるが、まだ単純な仕事や単一の場面のような特別な用途に限られている。信頼性要件が高いインテリジェント製品の場合は、操作者の持続的な注意を必要とするため、大量の人的および物的資源がかかる。たとえば、インテリジェント盲導システムでは、盲導過程において周囲の環境の状況が非常に複雑であるので、従来のインテリジェント盲導システムは、ユーザの使用過程に亘って人工顧客サービスを必要とするから、人工顧客サービスを提供する作業者の作業負荷が高い。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の実施例は、主にインテリジェント盲導システムにおいて過程全体に亘って人工顧客サービスを必要とするため作業負荷が高いという問題を解決するインテリジェント盲導方法および装置を提供する。
【課題を解決するための手段】
【０００４】
上記目的を達成させるために、本発明の実施例は下記技術案を採用する。
第１態様によれば、
センサ情報に基づいて、人工知能アルゴリズムで前記センサ情報を処理して生成する盲導情報の信頼性を示すインテリジェント盲導の信頼レベルを取得するステップと、
前記インテリジェント盲導の信頼レベルが所定閾値以上である場合、人工知能アルゴリズムで前記センサ情報を処理して盲導情報を生成し、前記インテリジェント盲導の信頼レベルが所定閾値未満である場合、人工盲導をトリガーするステップとを含むインテリジェント盲導方法を提供する。
【０００５】
第２態様によれば、
センサ情報に基づいて、人工知能アルゴリズムで前記センサ情報を処理して生成する盲導情報の信頼性を示すインテリジェント盲導の信頼レベルを取得する計算ユニットと、
前記インテリジェント盲導の信頼レベルが所定閾値以上である場合、人工知能アルゴリズムで前記センサ情報を処理して盲導情報を生成し、前記インテリジェント盲導の信頼レベルが所定閾値未満である場合、人工盲導をトリガーする判定ユニットとを備えるインテリジェント盲導装置を提供する。
【０００６】
第３態様によれば、第１態様の前記インテリジェント盲導方法を実行するために設計されるプログラムコードを含むインテリジェント盲導装置用のコンピュータソフトウェア命令を記憶するコンピュータ記憶媒体を提供する。
【０００７】
第４態様によれば、コンピュータの内部メモリに直接ロードでき、ソフトウェアコードを含み、前記コンピュータプログラムがコンピュータによりロードされて実行されると第１態様の前記インテリジェント盲導方法を実行できることを特徴とするコンピュータプログラム製品を提供する。
【０００８】
第５態様、コンピュータ実行コードを記憶するメモリと、前記サーバーと外部機器のデータ伝送を行う通信インターフェースと、前記コンピュータ実行コードを実行して第１態様の前記インテリジェント盲導方法を実行するように制御するプロセッサとを備えるサーバーを提供する。
【発明の効果】
【０００９】
本発明の実施例に開示されるインテリジェント盲導方法および装置は、センサ情報に基づいてインテリジェント盲導の信頼レベルを取得し、信頼レベルが高い場合、手動操作を必要とせずにインテリジェント盲導だけにより高信頼性の盲導機能を実現でき、インテリジェント盲導システムでは過程全体に亘って人工顧客サービスを必要とするため作業負荷が高いという問題を解決することができる。また、インテリジェントシステムのエラーによるタスク失敗を減少させることができる。
【図面の簡単な説明】
【００１０】
本発明の実施例または従来技術における技術案をさらに説明するために、以下、実施例または従来技術の説明に必要な図面を簡単に説明するが、勿論、以下の説明における図面は本発明の実施例の一部に過ぎず、当業者であれば、創造的な努力を必要とせずに、これら図面に基づいて他の図面を想到し得る。
【図１】本発明の実施例によるインテリジェント盲導システムの構造模式図である。
【図２】本発明の実施例によるインテリジェント盲導方法のプロセスフロー模式図である。
【図３】本発明の実施例による障害物回避成功信頼レベルの模式図である。
【図４】本発明の実施例によるインテリジェント盲導装置の構造模式図である。
【図５】本発明の実施例によるインテリジェント盲導装置の別の一例の構造模式図である。
【図６】本発明の実施例によるインテリジェント盲導装置のさらなる一例の構造模式図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施例における図面を参照しながら、本発明の実施例における技術案を明瞭且つ完全に説明するが、勿論、説明する実施例は本発明の実施例の一部に過ぎず、すべての実施例ではない。本発明における実施例に基づいて、当業者が創造的な努力を必要とせずに想到し得る他のすべての実施例は、本発明の保護範囲に属する。
【００１２】
本発明の実施例はインテリジェント盲導システムを提供し、図１に示されるように、クラウドに位置するサーバー１、対応した表示機器２、および現場に位置する端末３を備える。サーバー１はインテリジェント盲導装置１１を備え、実際の応用場面によって、端末３は、情報収集と表示を集積させるインテリジェント機器（たとえば携帯電話、ヘルメットなど）であってもよく、情報収集装置３１及び盲導実行装置３２を含むことができ、情報収集装置３１は、たとえば視覚センサ、超音波センサなどであり得、センサ情報を収集し、盲導実行装置３２は、サウンドプレイヤー、触覚フィードバック装置などの盲導動作を実行する装置であり得る。情報収集装置３１はセンサ情報を収集した後、有線（たとえばケーブル、ネットワークケーブル）または無線（たとえばＷＩＦＩ、ブルートゥース（登録商標））の方式でサーバー１に送信し、表示機器２に表示させ、サーバー１のインテリジェント盲導装置１１は、センサ情報に基づいて意思決定を行った後、盲導情報を端末３の盲導実行装置３２に送信し、盲導実行装置３２は盲導情報に基づいて、たとえば障害物回避、左折、停止を指示するような盲導動作を実行する。
【００１３】
本発明の実施例によるインテリジェント盲導方法および装置は、取得したセンサ情報に基づいて、無人操作のインテリジェント盲導の信頼性を評価し、信頼性が低い場合、無人操作のインテリジェント盲導を採用し、それによって、インテリジェント盲導システムにおいて過程全体に亘って人工顧客サービスを必要とするため作業負荷が高いという問題を解決する。
【００１４】
本発明の実施例は、インテリジェント盲導方法を提供し、図２に示されるように、Ｓ１０１とＳ１０２を含む。
【００１５】
Ｓ１０１、センサ情報に基づいて、人工知能アルゴリズムでセンサ情報を処理して生成する盲導情報の信頼性を示すインテリジェント盲導の信頼レベルＴを取得する。
【００１６】
具体的には、センサ情報は、インテリジェント盲導用の視覚、聴覚、距離、光線などの情報を含むが、それらに制限されず、センサが視覚センサと超音波センサを含む場合、視覚センサにより視覚センサ情報を取得し、超音波センサにより超音波センサ情報を取得することができる。
【００１７】
信頼レベルは確率であり、応用場面によって、類似度、分類確率などの各種評価方法を利用できる。
【００１８】
インテリジェント盲導過程は、機能に応じて複数の具体的なモジュールに分割して実行されることができ、一例として、測位モジュール、障害物回避モジュールおよび認識モジュールを備え、測位モジュールがセンサ情報に基づいて測位精度信頼レベルＴＬを取得し、障害物回避モジュールがセンサ情報に基づいて障害物回避成功信頼レベルＴＯを取得し、認識モジュールがセンサ情報に基づいて物体認識信頼レベルＴＲを取得し、即ち、前記センサ情報に基づいて、測位精度信頼レベル、障害物回避成功信頼レベル、物体認識信頼レベルのうちの少なくとも２種を取得し、この場合、測位精度信頼レベルＴＬ、障害物回避成功信頼レベルＴＯ、物体認識信頼レベルＴＲのうちの少なくとも２種信頼レベルを融合してインテリジェント盲導の信頼レベルＴを取得し、たとえばＴ＝ＴＯ＋ＴＲ＋ＴＬとする。当業者であれば、インテリジェント盲導を実行する他の機能ごとに、当該機能の信頼性を評価するための対応した信頼レベルを有することを想到し得る。
【００１９】
測位精度信頼レベルとして、テクスチャ品質、追跡量、運動品質などの方式で取得し得る。
【００２０】
具体的には、テクスチャ品質の場合、該指標により場面の特徴が豊富であるか、日差し不足があるか、遮断があるかなどを示す。具体的な方法としては、画像上に、たとえば特徴点抽出またはエッジ抽出のような特徴抽出を行い、画像テクスチャの品質を示す。特徴点抽出を例にすると、特徴点の個数がｎであれば、特徴点の最大個数がＮ（ｎ＜＝Ｎ）であると仮定すると、テクスチャ品質＝ｎ／Ｎであり、ここでその値の範囲が０〜１である。特徴点抽出と同様に、エッジ抽出は、エッジ抽出により二値画像を取得し、該画像上の勾配応答の領域の値が１、残りの領域が０であり、１として統計される画素の個数をｎ、画像の幅と高さが乗じて得る範囲における画素の個数をＮとすると、テクスチャ品質＝ｎ／Ｎであり、ここでその値の範囲が同様に０〜１である。
【００２１】
具体的には、追跡量の場合、該指標はｖＳＬＡＭモジュールの測位品質を示す。具体的な方法は、特徴点のｖＳＬＡＭに基づくことであり、ｖＳＬＡＭの毎回の測位結果が所定量の特徴点に基づく計算結果であるため、特徴点の数が多いほど、ｖＳＬＡＭがより信頼できる。追跡する特徴点の個数をｎとして定義し、追跡する特徴点の最大個数をＮ（ｎ＜＝Ｎ）とすれば、追跡品質＝ｎ／Ｎであり、ここでその値の範囲が０〜１である。
【００２２】
具体的には、運動品質の場合、該指標はカラムの移動速度を示すものであり、速度が高すぎると画像ボケを引き起こしやすい。ｖＳＬＡＭが前後の２フレームの測位結果Ｌ１、Ｌ２を出力できるため、前後の２フレームの時間間隔に基づいて、変位速度をｖ＝（Ｌ１−Ｌ２）／ｓとして推定し、最大速度をｖｍとすると、運動品質＝ｖ／ｖｍであり、ここでその値の範囲が０〜１である（ｖ＞ｖｍの場合、いずれも１を取る）。
【００２３】
障害物回避成功信頼レベルでは、障害物回避アルゴリズムは深さの再構築結果に基づいて、場面視点における通過可能領域のサイズ比例を分析する。具体的には、ステップは以下のとおりである。まず、深さセンサにより深さ情報を取得し、次に、それに基づいて障碍物の領域を分割し、その後、視野（ＦＯＶ）全体において通過可能領域の幅を計算して、障害物回避の信頼レベルとし、図３に示されるように、深さ障碍物の分割結果に基づいて、Ｘ、ＹおよびＬが既知であり、Ｈ＝（Ｘ＋Ｙ）／２とすると、１／２ ＦＯＶの角度α＝ａｒｃｔａｎ（Ｈ／Ｌ）、θ＝α−ａｒｃｔａｎ［（Ｈ−Ｘ）／Ｌ］であり、この場合、障害物回避成功信頼レベルはθ／２αとして定義され、ここでその値の範囲が０〜１である。
【００２４】
物体認識信頼レベルは、物体認識の結果を示すものであり、パターン認識のうちの類似度指標である。一般的な形態は以下のとおりである。カメラが画像情報を撮影して、特徴ｘを抽出した後、訓練済みの特徴ライブラリｙとマッチングさせ、マッチングを評価する指標として、ｘとｙの間の距離、たとえばユークリッド距離、マンハッタン距離、チェビシェフ距離、ミンコフスキー距離、標準化ユークリッド距離、マハラノビス距離、角度コサインやハミング距離などによって表せる。ディープラーニングモジュールによって類似度を認識するための計算を行い、各ノードの確率値を信頼レベルとして一括して出力してもよい。
【００２５】
Ｓ１０２、インテリジェント盲導の信頼レベルが所定閾値以上である場合、人工知能アルゴリズムでセンサ情報を処理して盲導情報を生成し、インテリジェント盲導の信頼レベルが所定閾値未満である場合、人工盲導をトリガーする。
【００２６】
一例として、インテリジェント盲導を実行するモジュールには測位モジュール、障害物回避モジュールおよび認識モジュールが含まれる場合、インテリジェント盲導の信頼レベルが所定閾値以上である場合、無人操作インテリジェント盲導方式を利用でき、つまり、信頼できる盲導指示を提供できることを示し、この場合、センサ情報に基づいて生成する盲導情報は、具体的には、測位モジュールがセンサ情報に基づいて生成する現在位置座標、障害物回避モジュールがセンサ情報に基づいて生成する現在の進行可能な方向、認識モジュールがセンサ情報に基づいて生成する物体認識ラベルなどのうちのいずれか１種または複数種を含み得る。上記盲導情報は、有線または無線の方式で盲導ヘルメットにフィードバックして、盲導を実行することができる。
【００２７】
インテリジェント盲導の信頼レベルが所定閾値未満である場合、無人操作インテリジェント盲導方式だけでは、信頼できる盲導指示を提供できないことを示し、この場合、手動操作による盲導が必要とされ、この際自動的にサービススタッフにコールして、サービススタッフにより判別および意思決定を実行する。
【００２８】
本発明の実施例によるインテリジェント盲導方法では、センサ情報に基づいてインテリジェント盲導の信頼レベルを取得し、信頼レベルが高い場合、手動操作を必要とせずにインテリジェント盲導だけで高信頼性の盲導機能を実現でき、インテリジェント盲導システムにおいて過程全体に亘って人工顧客サービスを必要とするため作業負荷が高いという問題を解決する。また、インテリジェントシステムのエラーによるタスク失敗を減少させる。
【００２９】
当業者にとって明らかなように、本明細書に開示された実施例において説明する各例示的なユニットおよびアルゴリズムのステップに基づいて、本発明はハードウェアまたはハードウェアとコンピュータソフトウェアの組み合わせとして実現できる。特定の機能がハードウェアによって実行されるか、コンピュータソフトウェアを利用してハードウェアを駆動する方式で実行されるかは、技術案の特定用途および設計の制限条件により決まる。当業者であれば、各特定の用途に応じて異なる方法により説明される機能を実現できるが、これら実現は本発明の範囲に含まれる。
【００３０】
本発明の実施例は、上記方法の例に応じてインテリジェント盲導装置の機能モジュールを分割することができ、たとえば、各機能に対応して各機能モジュールを分割してもよいし、２つまたは２つ以上の機能を１つの処理モジュールに集積させてもよい。上記集積モジュールは、ハードウェアの形態として実現されてもよく、ソフトウェア機能モジュールの形態として実現されてもよい。なお、本発明の実施例によるモジュールの分割は模式的なものであり、ロジック機能による分割に過ぎず、実際に実現するときに別の分割方式としてもよい。
【００３１】
各機能に対応して各機能モジュールを分割する場合について、図４は上記実施例に係るインテリジェント盲導装置の一例の構造模式図を示しており、インテリジェント盲導装置１１は、計算ユニット１１１１、判定ユニット１１１２を備える。インテリジェント盲導装置は、計算ユニット１１１１を利用しての図２における過程Ｓ１０１を実行し、判定ユニット１１１２を利用して、図２における過程Ｓ１０２を実行する。上記方法実施例に係る各ステップのすべての関連内容は対応した機能モジュールの機能の説明に引用できるため、ここで詳細な説明を省略する。
【００３２】
集積ユニットを用いる場合について、図５は、上記実施例に係るインテリジェント盲導装置の一例の構造模式図を示している。インテリジェント盲導装置１１は、処理モジュール１１２２および通信モジュール１１２３を備える。処理モジュール１１２２はインテリジェント盲導装置の動作を制御して管理し、たとえば、インテリジェント盲導装置は、処理モジュール１１２２を利用して図２における過程Ｓ１０１−Ｓ１０２を実行する。通信モジュール１１２３を利用してほかのエンティティと通信し、たとえば図１中に示される機能モジュールまたはネットワークエンティティと通信する。インテリジェント盲導装置１１はさらに、インテリジェント盲導装置のプログラムコードおよびデータを記憶するための記憶モジュール１１２１を備えてもよい。
【００３３】
処理モジュール１１２２は、プロセッサまたはコントローラ、たとえば中央プロセッサ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）、汎用プロセッサ、デジタルシグナルプロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）またはほかのプログラマブルロジックデバイス、トランジスタロジックデバイス、ハードウェアコンポーネントまたはそれらの任意の組み合わせであってもよい。本発明の開示内容において説明された各種例示的な論理ブロック、モジュールおよび回路を実現または実行できる。前記プロセッサは、計算機能を実現できる組み合わせとしてもよく、たとえば１つまたは複数のマイクロプロセッサの組み合わせ、ＤＳＰとマイクロプロセッサの組み合わせなどを含む。通信モジュール１１２３は送受信器、送受信回路または通信インターフェースなどであってもよい。記憶モジュール１１２１はメモリであってもよい。
【００３４】
処理モジュール１１２２がプロセッサ、通信モジュール１１２３が送受信器、記憶モジュール１１２１がメモリである場合、本発明の実施例に係るインテリジェント盲導装置は図６に示されるサーバーであってもよい。
【００３５】
図６に示されるように、該サーバー１は、プロセッサ１１３２、送受信器１１３３、メモリ１１３１およびバス１１３４を備える。送受信器１１３３、プロセッサ１１３２およびメモリ１１３１はバス１１３４を介して互いに接続され、バス１１３４は周辺機器相互接続標準（ｐｅｒｉｐｈｅｒａｌ  ｃｏｍｐｏｎｅｎｔ
ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスまたは拡張業界標準アーキテクチャ（ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどとしてもよい。前記バスは、アドレスバス、データバス、制御バスなどに分類できる。表示し易さから、図６中に１本の太線で示されているが、１本のバスまたは１種のタイプのバスだけがあると限らない。
【００３６】
本発明の開示内容において説明した方法またはアルゴリズムのステップはハードウェアの方式により実現されてもよいし、プロセッサでソフトウェア命令を実行する方式により実現されてもよい。本発明の実施例はさらに記憶媒体を提供し、該記憶媒体はインテリジェント盲導方法を実行するために設計されるプログラムコードを含むインテリジェント盲導装置用のコンピュータソフトウェア命令を記憶するメモリ１１３１を含んでもよい。具体的には、ソフトウェア命令は対応したソフトウェアモジュールから構成でき、ソフトウェアモジュールはランダムアクセスメモリ（ｒａｎｄｏｍ  ａｃｃｅｓｓ
ｍｅｍｏｒｙ、ＲＡＭ）、フラッシュメモリ、読み取り専用メモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ
ＲＯＭ、ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ、ＥＥＰＲＯＭ）または本分野において公知する任意の形態の記憶媒体に格納できる。一例として、記憶媒体がプロセッサに結合され、それによってプロセッサは該記憶媒体から情報を読み取ったり、該記憶媒体に情報を書き込んだりすることができる。勿論、記憶媒体はプロセッサの構成部分であってもよい。プロセッサおよび記憶媒体はＡＳＩＣに配置できる。また、該ＡＳＩＣはインテリジェント盲導装置に配置できる。勿論、プロセッサおよび記憶媒体は独立部品としてインテリジェント盲導装置に存在してもよい。
【００３７】
本発明の実施例はさらに、メモリ１１３１に直接ロードでき、ソフトウェアコードを含み、コンピュータによりロードされて実行されると上記ヒューマンマシンハイブリッド意思決定方法を実行できるコンピュータプログラムを提供する。
【００３８】
以上は本発明の特定の実施形態に過ぎず、本発明の保護範囲がそれに制限されず、当業者が本発明の開示した技術範囲から逸出することなく、容易に想到し得る変化または置換はすべて本発明の保護範囲に属する。このため、本発明の保護範囲は特許請求の範囲の保護範囲を基準にする。
【図１】
2020513627.tif 000003
【図２】
2020513627.tif 000004
【図３】
2020513627.tif 000005
【図４】
2020513627.tif 000006
【図５】
2020513627.tif 000007
【図６】
2020513627.tif 000008
【手続補正書】
【提出日】令和1年6月7日(2019.6.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
インテリジェント盲導方法であって、
センサ情報に基づいて、人工知能アルゴリズムで前記センサ情報を処理して生成する盲導情報の信頼性を示すインテリジェント盲導の信頼レベルを取得するステップと、
前記インテリジェント盲導の信頼レベルが所定閾値以上である場合、人工知能アルゴリズムで前記センサ情報を処理して盲導情報を生成し、前記インテリジェント盲導の信頼レベルが所定閾値未満である場合、人工盲導をトリガーするステップとを含むことを特徴とするインテリジェント盲導方法。
【請求項２】
前記センサ情報は超音波センサ情報と視覚センサ情報を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記人工知能アルゴリズムで前記センサ情報を処理して盲導情報を生成するステップは、
前記センサ情報に基づいて、現在位置座標、現在の進行可能な方向および物体認識ラベルのうちのいずれか１種または複数種を盲導情報として生成するステップを含むことを特徴とする請求項１または２に記載の方法。
【請求項４】
前記インテリジェント盲導の信頼レベルは、測位精度信頼レベル、障害物回避成功信頼レベル、物体認識信頼レベルのうちのいずれか１種を含むことを特徴とする請求項１−３のいずれか１項に記載の方法。
【請求項５】
前記センサ情報に基づいてインテリジェント盲導の信頼レベルを取得するステップは、
前記センサ情報に基づいて、測位精度信頼レベル、障害物回避成功信頼レベル、物体認識信頼レベルのうちの少なくとも２種を取得するステップと、
取得した少なくとも２種の信頼レベルを融合して、前記インテリジェント盲導の信頼レベルを取得するステップとを含むことを特徴とする請求項１−３のいずれか１項に記載の方法。
【請求項６】
測位精度信頼レベルの取得は、テクスチャ品質、追跡量、運動品質のパラメータのうちの１種または複数種に基づいて測位精度信頼レベルを取得することを含み、
障害物回避成功信頼レベルの取得は、深さの再構築結果に基づいて、場面視点における通過可能領域のサイズ比例を分析することと、得られたサイズ比例に基づいて障害物回避成功信頼レベルを決定することを含み、
物体認識信頼レベルの取得は、画像中の特徴を抽出して、事前訓練済みの特徴ライブラリとマッチングさせ、マッチング度に基づいて物体認識信頼レベルを決定することを含むことを特徴とする請求項４または５に記載の方法。
【請求項７】
インテリジェント盲導装置であって、
センサ情報に基づいて、人工知能アルゴリズムで前記センサ情報を処理して生成する盲導情報の信頼性を示すインテリジェント盲導の信頼レベルを取得する計算ユニットと、
前記インテリジェント盲導の信頼レベルが所定閾値以上である場合、人工知能アルゴリズムで前記センサ情報を処理して盲導情報を生成し、前記インテリジェント盲導の信頼レベルが所定閾値未満である場合、人工盲導をトリガーする判定ユニットとを備えることを特徴とするインテリジェント盲導装置。
【請求項８】
前記センサ情報は超音波センサ情報と視覚センサ情報を含むことを特徴とする請求項７に記載の装置。
【請求項９】
前記判定ユニットは、具体的には、前記センサ情報に基づいて、現在位置座標、現在の進行可能な方向および物体認識ラベルのうちのいずれか１種または複数種を盲導情報として生成することを特徴とする請求項７または８に記載の装置。
【請求項１０】
前記インテリジェント盲導の信頼レベルは、測位精度信頼レベル、障害物回避成功信頼レベル、物体認識信頼レベルのうちのいずれか１種を含むことを特徴とする請求項７−９のいずれか１項に記載の装置。
【請求項１１】
前記計算ユニットは、具体的には、
前記センサ情報に基づいて、測位精度信頼レベル、障害物回避成功信頼レベル、物体認識信頼レベルのうちの少なくとも２種を取得し、
取得した少なくとも２種の信頼レベルを融合して、前記インテリジェント盲導の信頼レベルを取得することを特徴とする請求項７−９のいずれか１項に記載の装置。
【請求項１２】
前記計算ユニットは、具体的には、
テクスチャ品質、追跡量、運動品質のパラメータのうちの１種または複数種に基づいて測位精度信頼レベルを取得し、
深さ的再構築結果に基づいて、場面視点における通過可能領域のサイズ比例を分析し、得られたサイズ比例に基づいて障害物回避成功信頼レベルを決定し、
画像中の特徴を抽出して、事前訓練済みの特徴ライブラリとマッチングさせ、マッチング度に基づいて物体認識信頼レベルを決定することを特徴とする請求項１０または１１に記載の装置。
【請求項１３】
コンピュータ記憶媒体であって、
請求項１〜６のいずれか１項に記載のインテリジェント盲導方法を実行するために設計されるプログラムコードを含むインテリジェント盲導装置用のコンピュータソフトウェア命令を記憶することを特徴とするコンピュータ記憶媒体。
【請求項１４】
サーバーであって、
コンピュータ実行コードを記憶するメモリと、
前記サーバーと外部機器のデータ伝送を行う通信インターフェースと、
前記コンピュータ実行コードを実行して請求項１−６のいずれか１項に記載のインテリジェント盲導方法を実行するように制御するプロセッサを備えることを特徴とするサーバー。
【手続補正書】
【提出日】令和2年2月25日(2020.2.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
インテリジェント盲導方法であって、
超音波センサ情報と視覚センサ情報を含むセンサ情報に基づいて、人工知能アルゴリズムで前記センサ情報を処理して生成する盲導情報の信頼性を示すインテリジェント盲導の信頼レベルを取得するステップと、
前記インテリジェント盲導の信頼レベルが所定閾値以上である場合、人工知能アルゴリズムで前記センサ情報を処理して盲導情報を生成し、前記インテリジェント盲導の信頼レベルが所定閾値未満である場合、人工盲導をトリガーするステップとを含むことを特徴とするインテリジェント盲導方法。
【請求項２】
前記人工知能アルゴリズムで前記センサ情報を処理して盲導情報を生成するステップは、
前記センサ情報に基づいて、現在位置座標、現在の進行可能な方向および物体認識ラベルのうちのいずれか１種または複数種を盲導情報として生成するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記インテリジェント盲導の信頼レベルは、測位精度信頼レベル、障害物回避成功信頼レベル、物体認識信頼レベルのうちのいずれか１種を含むことを特徴とする請求項１または２に記載の方法。
【請求項４】
前記センサ情報に基づいてインテリジェント盲導の信頼レベルを取得するステップは、
前記センサ情報に基づいて、測位精度信頼レベル、障害物回避成功信頼レベル、物体認識信頼レベルのうちの少なくとも２種を取得するステップと、
取得した少なくとも２種の信頼レベルを融合して、前記インテリジェント盲導の信頼レベルを取得するステップとを含むことを特徴とする請求項１または２に記載の方法。
【請求項５】
測位精度信頼レベルの取得は、テクスチャ品質、追跡量、運動品質のパラメータのうちの１種または複数種に基づいて測位精度信頼レベルを取得することを含み、前記テクスチャ品質は場面の特徴が豊富であるか、日差し不足があるか、または遮断があるかを示し、前記追跡量はｖＳＬＡＭモジュールの測位品質を示し、前記運動品質はカラムの移動速度を示し、
障害物回避成功信頼レベルの取得は、深さの再構築結果に基づいて、場面視点における通過可能領域のサイズ比を分析することと、得られたサイズ比に基づいて障害物回避成功信頼レベルを決定することを含み、前記深さの再構築結果に基づいて、場面視点における通過可能領域のサイズ比を分析することは、深さセンサにより深さ情報を取得することと、深さ情報に基づいて障碍物の領域を分割することと、視野全体において通過可能領域の幅を計算することと、前記障碍物の領域の幅と前記通過可能領域の幅に基づいて、場面視点における通過可能領域のサイズ比を確定することを含み、
物体認識信頼レベルの取得は、画像中の特徴を抽出して、事前訓練済みの特徴ライブラリとマッチングさせ、マッチング度に基づいて物体認識信頼レベルを決定することを含むことを特徴とする請求項３または４に記載の方法。
【請求項６】
インテリジェント盲導装置であって、
超音波センサ情報と視覚センサ情報を含むセンサ情報に基づいて、人工知能アルゴリズムで前記センサ情報を処理して生成する盲導情報の信頼性を示すインテリジェント盲導の信頼レベルを取得する計算ユニットと、
前記インテリジェント盲導の信頼レベルが所定閾値以上である場合、人工知能アルゴリズムで前記センサ情報を処理して盲導情報を生成し、前記インテリジェント盲導の信頼レベルが所定閾値未満である場合、人工盲導をトリガーする判定ユニットとを備えることを特徴とするインテリジェント盲導装置。
【請求項７】
前記判定ユニットは、具体的には、前記センサ情報に基づいて、現在位置座標、現在の進行可能な方向および物体認識ラベルのうちのいずれか１種または複数種を盲導情報として生成することを特徴とする請求項６に記載の装置。
【請求項８】
前記インテリジェント盲導の信頼レベルは、測位精度信頼レベル、障害物回避成功信頼レベル、物体認識信頼レベルのうちのいずれか１種を含むことを特徴とする請求項６または７に記載の装置。
【請求項９】
前記計算ユニットは、具体的には、
前記センサ情報に基づいて、測位精度信頼レベル、障害物回避成功信頼レベル、物体認識信頼レベルのうちの少なくとも２種を取得し、
取得した少なくとも２種の信頼レベルを融合して、前記インテリジェント盲導の信頼レベルを取得することを特徴とする請求項６または７に記載の装置。
【請求項１０】
前記計算ユニットは、具体的には、
テクスチャ品質、追跡量、運動品質のパラメータのうちの１種または複数種に基づいて測位精度信頼レベルを取得し、前記テクスチャ品質は場面の特徴が豊富であるか、日差し不足があるか、または遮断があるかを示し、前記追跡量はｖＳＬＡＭモジュールの測位品質を示し、前記運動品質はカラムの移動速度を示し、
深さ的再構築結果に基づいて、場面視点における通過可能領域のサイズ比を分析し、得られたサイズ比に基づいて障害物回避成功信頼レベルを決定し、
画像中の特徴を抽出して、事前訓練済みの特徴ライブラリとマッチングさせ、マッチング度に基づいて物体認識信頼レベルを決定し、
前記計算ユニットは、さらに、深さセンサにより深さ情報を取得し、深さ情報に基づいて障碍物の領域を分割し、視野全体において通過可能領域の幅を計算し、前記障碍物の領域の幅と前記通過可能領域の幅に基づいて、場面視点における通過可能領域のサイズ比を確定することを特徴とする請求項８または９に記載の装置。
【請求項１１】
コンピュータ記憶媒体であって、
請求項１〜５のいずれか１項に記載のインテリジェント盲導方法を実行するために設計されるプログラムコードを含むインテリジェント盲導装置用のコンピュータソフトウェア命令を記憶することを特徴とするコンピュータ記憶媒体。
【請求項１２】
サーバーであって、
コンピュータ実行コードを記憶するメモリと、
前記サーバーと外部機器のデータ伝送を行う通信インターフェースと、
前記コンピュータ実行コードを実行して請求項１〜５のいずれか１項に記載のインテリジェント盲導方法を実行するように制御するプロセッサを備えることを特徴とするサーバー。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
障害物回避成功信頼レベルでは、障害物回避アルゴリズムは深さの再構築結果に基づいて、場面視点における通過可能領域のサイズ比を分析する。具体的には、ステップは以下のとおりである。まず、深さセンサにより深さ情報を取得し、次に、それに基づいて障碍物の領域を分割し、その後、視野（ＦＯＶ）全体において通過可能領域の幅を計算して、障害物回避の信頼レベルとし、図３に示されるように、深さ障碍物の分割結果に基づいて、Ｘ、ＹおよびＬが既知であり、Ｈ＝（Ｘ＋Ｙ）／２とすると、１／２
ＦＯＶの角度α＝ａｒｃｔａｎ（Ｈ／Ｌ）、θ＝α−ａｒｃｔａｎ［（Ｈ−Ｘ）／Ｌ］であり、この場合、障害物回避成功信頼レベルはθ／２αとして定義され、ここでその値の範囲が０〜１である。
【国際調査報告】
2020513627.tif 000009
2020513627.tif 000010
2020513627.tif 000011
2020513627.tif 000012