(57)【要約】  本公開は、ユーザの眼球画像を撮影することと、ユーザの眼球画像に基づいてユーザの眼球動作を識別することと、移動補助具操作指令を生成して、ユーザの眼球動作に対応する操作の実行を移動補助具に指示することとを含む移動補助具の制御方法を提供する。更に、ユーザの眼球画像を撮影するためのカメラと、前記カメラに接続され、前記ユーザの眼球画像に基づいて前記ユーザの眼球動作を識別するための画像処理回路と、前記画像処理回路に接続され、移動補助具操作指令を生成してユーザの眼球動作に対応する操作の実行を移動補助具に指示するための制御回路とを含む移動補助具制御機器を開示する。更に、移動補助具と移動補助具制御機器を含む移動補助具制御システムを提供する。
2019530479.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの眼球画像を撮影することと、
前記ユーザの眼球画像に基づいて前記ユーザの眼球動作を識別することと、
移動補助具操作指令を生成して、ユーザの眼球動作に対応する操作の実行を移動補助具に指示することとを含む移動補助具のユーザによる制御方法。
【請求項２】
前記ユーザの眼球画像に基づいて前記ユーザの眼球動作を識別することは、
前記ユーザの眼球画像から少なくとも１つの瞳孔の座標を確定することと、
少なくとも１つの瞳孔の座標を、ユーザの少なくとも１つの予め記憶された眼球画像のうちの少なくとも１つの瞳孔の座標と比較することによって、前記ユーザの眼球動作を確定することを含み、
ここで、ユーザの予め記憶された眼球画像のそれぞれが前記ユーザの１つの眼球動作に対応する請求項１に記載の方法。
【請求項３】
ユーザの眼球画像から少なくとも１つの瞳孔の座標を確定することは、
前記ユーザの眼球画像における白目、虹彩、及び瞳孔の間のグレー値の差に基づいて行われる請求項２に記載の方法。
【請求項４】
前記少なくとも１つの瞳孔の座標を、前記少なくとも１つの予め記憶された眼球画像のうちの前記少なくとも１つの瞳孔の座標と比較することによって、前記ユーザの眼球動作を確定することは、
前記少なくとも１つの瞳孔の座標と予め記憶された任意の眼球画像の少なくとも１つの瞳孔の座標との間の差が所定範囲内にあるか否かを確定することと、
前記少なくとも１つの瞳孔の座標と予め記憶された任意の眼球画像の少なくとも１つの瞳孔の座標との間の差が所定範囲内にある場合、前記ユーザの眼球動作が、前記予め記憶された任意の眼球画像に対応する眼球動作であると確定することを含む請求項２に記載の方法。
【請求項５】
前記ユーザの眼球画像に基づいて前記ユーザの眼球動作を識別することと、移動補助具操作指令を生成して、ユーザの眼球動作に対応する操作の実行を前記移動補助具に指示することとの間に、
ユーザから眼球制御開始指令を受信すると、眼球制御を開始することと、
移動補助具が操作準備状態であるか否かを確定し、移動補助具が操作準備状態でない場合、操作準備指令を生成して、操作準備状態に調整するよう移動補助具に指示し、ユーザの眼球動作に対応する操作を移動補助具に実行させることとを更に含む請求項１〜４のいずれか一項に記載の方法。
【請求項６】
移動補助具操作指令を生成してユーザの眼球動作に対応する操作の実行を移動補助具に指示した後に、
ユーザの眼球動作に対応する操作を実行するか否かをユーザに促すことと、
ユーザからの確認指令を受けると、移動補助具操作指令を移動補助具に送信することとを更に含む請求項５に記載の方法。
【請求項７】
前記ユーザから確認指令を受けて移動補助具操作指令を前記移動補助具に送信した後に、
ユーザから眼球制御終了指令を受信すると、眼球制御を終了することを更に含む請求項６に記載の方法。
【請求項８】
前記眼球動作は、移動補助具の左方向、右方向、前方、後方への移動にそれぞれ対応する左向き、右向き、上向き、下向きを含む請求項１に記載の方法。
【請求項９】
ユーザの眼球画像を撮影するためのカメラと、
前記カメラに接続され、前記ユーザの眼球画像に基づいて前記ユーザの眼球動作を識別するための画像処理回路と、
画像処理回路に接続され、移動補助具操作指令を生成してユーザの眼球動作に対応する操作の実行を移動補助具に指示するための制御回路とを含む移動補助具制御機器。
【請求項１０】
ユーザの眼球画像から少なくとも１つの瞳孔の座標を確定するための座標確定サブ回路と、
前記少なくとも１つの瞳孔の座標を、ユーザの少なくとも１つの予め記憶された眼球画像のうちの少なくとも１つの瞳孔の座標と比較することによって、ユーザの眼球動作を確定するための動作確定サブ回路とを含み、
ここで、ユーザの予め記憶された眼球画像のそれぞれは、ユーザの１つの眼球動作に対応する請求項９に記載の移動補助具制御機器。
【請求項１１】
前記画像処理回路に接続されると共に、
ユーザの眼球動作が画像処理回路によって識別され、眼球制御開始指令をユーザから受信してから、移動補助具が操作準備状態にあるか否かを判定し、
移動補助具が操作準備状態でない場合、操作準備指令を生成して、操作準備状態に調整するよう移動補助具に指示し、ユーザの眼球動作に対応する操作を移動補助具に実行させるための操作準備回路を更に含む請求項９に記載の移動補助具制御機器。
【請求項１２】
ユーザの眼球動作が画像処理回路によって識別されてから、ユーザの眼球動作に対応する操作を実行するか否かをユーザに促すためのプロンプト回路と、
ユーザからの確認指令を受信すると、移動補助具操作指令を移動補助具に送信するための送信回路とを更に含む請求項９に記載の移動補助具制御機器。
【請求項１３】
ユーザから眼球制御終了指令を受信すると共に、ユーザからの眼球制御終了指令に基づいて操作終了指令を生成して、移動補助具を停止させ送信回路をシャットダウンさせるための操作終了回路を更に含む請求項１２に記載の移動補助具制御機器。
【請求項１４】
前記カメラと前記画像処理回路に接続され、前記ユーザの眼球画像を前記画像処理回路に送信するための通信回路を更に含む請求項９に記載の移動補助具制御機器。
【請求項１５】
前記カメラは、ユーザが着用するゴーグルに位置する請求項９に記載の移動補助具制御機器。
【請求項１６】
請求項９〜１５のいずれか一項に記載の移動補助具と、移動補助具制御機器を含む移動補助具システム。
【請求項１７】
前記移動補助具は、
前記移動補助具用の移動装置を提供するための少なくとも１つの車輪と、
前記少なくとも１つの車輪を駆動するためのモータと、
前記移動補助具制御機器の指令出力側に接続され、前記モータを制御するためのモータドライバとを含む請求項１６に記載の移動補助具システム。
【請求項１８】
前記少なくとも１つの車輪は、少なくとも１つの全方向移動型車輪を含む請求項１７に記載の移動補助具システム。
【請求項１９】
前記少なくとも１つの全方向移動型車輪は、少なくとも１つのメカナム車輪を含む請求項１８に記載の移動補助具システム。
【請求項２０】
強制停止指令を受信するための停止ボタンと、
停止ボタンとモータドライバにそれぞれ接続され、前記停止ボタンから前記強制停止指令を受信すると、モータ停止指令をモータドライバに送信するための安全制御パネルとを更に含む請求項１６に記載の移動補助具システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１６年６月７日に出願された中国特許出願第２０１６１０３９８６９０．Ｘ号明細書の優先権を主張し、その全ての内容が援用により本明細書に組み込まれる。
本公開は、全体的に制御技術に関し、より詳細には、移動補助具制御方法、移動補助具制御機器、及び移動補助具制御システムに関する。
【背景技術】
【０００２】
現在の移動補助具技術において、従来の車椅子は、ユーザの手や足で操作する必要があり、又は、電力で駆動し、ボタンを押すことによって操作する。しかし、これは、手や音を使うことができない筋萎縮性側索硬化症の患者のような四肢の障害を持つ人にとっては、困難であるため、これらの従来の車いすを使用することはできない。このように、脚、腕又は手などの身体部分を動かすことなく操作することができる車椅子が必要とされている。
【発明の概要】
【０００３】
本公開は、現在の移動補助具技術に関連する問題を解決するために、移動補助具制御方法、移動補助具制御機器、及び移動補助具制御システムを提供する。
【０００４】
本公開は、第１態様として、ユーザによって移動補助具を制御する移動補助具制御方法を開示する。当該方法は、ユーザの眼球画像を撮影することと、ユーザの眼球画像に基づいてユーザの眼球動作を識別することと、移動補助具操作指令を生成して、ユーザの眼球動作に対応する操作の実行を移動補助具に指示することとの３つのステップを含む。
【０００５】
本公開の一部の実施例によれば、ユーザの眼球画像に基づいてユーザの眼球動作を識別することは、前記ユーザの眼球画像から少なくとも１つの瞳孔の座標を確定することと、少なくとも１つの瞳孔の座標を、ユーザの少なくとも１つの予め記憶された眼球画像のうちの少なくとも１つの瞳孔の座標と比較することによって、ユーザの眼球動作を確定することとの２つのサブステップを含み、ここで、ユーザの予め記憶された眼球画像のそれぞれがユーザの１つの眼球動作に対応する。
【０００６】
ここで、ユーザの眼球画像から少なくとも１つの瞳孔の座標を確定するサブステップは、ユーザの眼球画像における白目、虹彩、及び瞳孔の間のグレー値の差に基づいて行われる。
【０００７】
ここで、少なくとも１つの瞳孔の座標を、少なくとも１つの予め記憶された眼球画像のうちの少なくとも１つの瞳孔の座標と比較することによって、ユーザの眼球動作を確定するサブステップは、前記少なくとも１つの瞳孔の座標と予め記憶された任意の眼球画像の少なくとも１つの瞳孔の座標との間の差が所定範囲内にあるか否かを確定することと、少なくとも１つの瞳孔の座標と予め記憶された任意の眼球画像の少なくとも１つの瞳孔の座標との間の差が所定範囲内にある場合、ユーザの眼球動作が、予め記憶された任意の眼球画像に対応する眼球動作であると確定することとを更に含む。
【０００８】
当該方法は、ユーザの眼球画像に基づいてユーザの眼球動作を識別するステップと、移動補助具操作指令を生成して、ユーザの眼球動作に対応する操作の実行を移動補助具に指示するステップとの間に、ユーザから眼球制御開始指令を受信すると、眼球制御を開始するステップと、移動補助具が操作準備状態であるか否かを確定し、移動補助具が操作準備状態でない場合、操作準備指令を生成して、操作準備状態に調整するよう移動補助具に指示し、ユーザの眼球動作に対応する操作を移動補助具に実行させるステップとを更に含む。
【０００９】
当該方法は、移動補助具操作指令を生成して、ユーザの眼球動作に対応する操作の実行を移動補助具に指示するステップの後に、ユーザの眼球動作に対応する操作を実行するか否かをユーザに促すステップと、ユーザからの確認指令を受けると、移動補助具操作指令を移動補助具に送信するステップとを更に含む。
【００１０】
当該方法は、ユーザからの確認指令を受けると、移動補助具操作指令を移動補助具に送信するステップの後に、ユーザから眼球制御終了指令を受信すると、眼球制御を終了するステップを更に含む。
【００１１】
上述のいずれの実施例において、眼球動作は、移動補助具の左方向、右方向、前方、後方への移動にそれぞれ対応する左向き、右向き、上向き、下向きを含む。
【００１２】
本公開は、第２態様として、ユーザの眼球画像を撮影するためのカメラと、カメラに接続され、ユーザの眼球画像に基づいてユーザの眼球動作を識別するための画像処理回路と、画像処理回路に接続され、移動補助具操作指令を生成してユーザの眼球動作に対応する操作の実行を移動補助具に指示するための制御回路とを含む移動補助具制御機器を提供する。
【００１３】
移動補助具制御機器の一部の実施例において、画像処理回路は、ユーザの眼球画像から少なくとも１つの瞳孔の座標を確定するための座標確定サブ回路と、少なくとも１つの瞳孔の座標を、ユーザの少なくとも１つの予め記憶された眼球画像のうちの少なくとも１つの瞳孔の座標と比較することによって、ユーザの眼球動作を確定するための動作確定サブ回路とを含み、ここで、ユーザの予め記憶された眼球画像のそれぞれは、ユーザの１つの眼球動作に対応する。
【００１４】
本公開の一部の実施例において、移動補助具制御機器は、画像処理回路に接続されると共に、ユーザの眼球動作が画像処理回路によって識別されてから、移動補助具が操作準備状態にあるか否かを確定し、眼球制御開始指令をユーザから受信する操作準備回路を更に含む。移動補助具が操作準備状態でない場合、前記操作準備回路は、操作準備指令を生成して、前記操作準備状態に調整するよう前記移動補助具に指示し、前記ユーザの眼球動作に対応する操作を前記移動補助具に実行させる。
【００１５】
本公開の一部の実施例において、移動補助具制御機器は、ユーザの眼球動作が画像処理回路によって識別されてから、ユーザの眼球動作に対応する操作を実行するか否かをユーザに促すためのプロンプト回路と、ユーザからの確認指令を受信すると、移動補助具操作指令を移動補助具に送信するための送信回路とを更に含む。
【００１６】
移動補助具制御機器は、ユーザから眼球制御終了指令を受信すると共に、ユーザからの眼球制御終了指令に基づいて操作終了指令を生成して、移動補助具を停止させ送信回路をシャットダウンさせるための操作終了回路を更に含む。
【００１７】
本公開の一部の実施例において、移動補助具制御機器は、カメラと画像処理回路に接続され、ユーザの眼球画像を画像処理回路に送信するための通信回路を更に含む。
【００１８】
移動補助具制御機器のいずれの実施例において、カメラは、ユーザが着用するゴーグルに位置する。
【００１９】
本公開は、第３態様として、移動補助具と、上述のいずれの実施例に基づく移動補助具制御機器を含む移動補助具システムを提供する。
【００２０】
当該移動補助具システムにおいて、移動補助具は、前記移動補助具用の移動装置を提供するための少なくとも１つの車輪と、少なくとも１つの車輪を駆動するためのモータと、移動補助具制御機器の指令出力側に接続され、モータを制御するためのモータドライバとを含む。
【００２１】
移動補助具システムの一部の実施例において、前記少なくとも１つの車輪は、少なくとも１つの全方向移動型車輪を含む。ここで、少なくとも１つの全方向移動型車輪は、少なくとも１つのメカナム車輪を含む。
【００２２】
本公開の一部の実施例によれば、移動補助具システムは、強制停止指令を受信するための停止ボタンと、停止ボタンとモータドライバにそれぞれ接続され、停止ボタンから強制停止指令を受信すると、モータ停止指令をモータドライバに送信するための安全制御パネルとを更に含む。
【００２３】
他の実施例は、以下の説明及び添付の図面を参照して明らかになるであろう。
【００２４】
一部の実施例をより明確に説明するために、以下は図面の簡単な説明である。以下の説明における図面は、一部の実施例の単なる例示である。当業者であれば、これらの図面に基づいて他の実施例の他の図面を明らかにすることができる。
【図面の簡単な説明】
【００２５】
【図１】本公開の一部の実施例による移動補助具制御機器の概略図である。
【図２】本公開の一部の実施例による移動補助具制御機器のゴーグルを示す。
【図３】本公開の一部の実施例による移動補助具制御機器の概略図である。
【図４】ユーザが前方を見ているときの、予め撮影された眼球画像を示す。
【図５】ユーザが左を見ているときの、予め撮影された眼球画像を示す。
【図６】本公開の一部の実施例による移動補助具制御機器の概略図である。
【図７】本公開の一部の実施例による移動補助具制御機器の概略図である。
【図８】本公開の一部の実施例による移動補助具制御機器の概略図である。
【図９】本公開の一部の実施例による移動補助具システムの概略図である。
【図１０】本公開の一部の実施例による移動補助具システムを示す。
【図１１】図１０に示す移動補助具システムの概略図である。
【図１２】本公開の一部の実施例による車椅子システムの動作フローチャートを示す。
【図１３】車椅子の様々な動作を実現する車椅子システムにおける４つのメカナム車輪の協調を示す。
【発明を実施するための形態】
【００２６】
以下では、本明細書に開示された様々な実施例の図面を参照して、本公開の実施例の技術的解決策を、明確かつ完全に理解できる方式で説明する。
【００２７】
記載された実施例は、本公開の実施例の一部のみであり、すべてではないことは明らかである。本公開の記載された実施例に基づいて、当業者は、本公開による保護範囲内の他の実施例を得ることができる。
【００２８】
本公開は、四肢障害またはその他の障害者が車椅子等の従来の移動補助具を使用することが一般的に不便であったり、使用できなかったりするという問題を解決するために、移動補助具の制御方法、移動補助具制御機器、及び移動補助具システムを提供する。
【００２９】
本公開は、一態様として、移動補助具制御機器を開示する。図１は、本公開の一部の実施例による移動補助具制御機器の概略図である。図１に示すように、移動補助具制御機器は、カメラ１１と、画像処理回路１２と、制御回路１３とを含む。
【００３０】
カメラ１１は、ユーザの眼球画像を撮影する。画像処理回路１２は、カメラ１１に接続されており、ユーザの眼球画像を受信すると、ユーザの眼球動作を識別する。制御回路１３は、ユーザの眼球動作に基づいて移動補助具操作指令（即ち、ある操作を実行するための移動補助具制御用指令）を生成する。
【００３１】
上記のような移動補助具制御機器において、複数の眼球動作及び複数の移動補助具操作指令を予め設定して予め記憶しておくことができる。複数の眼球動作のそれぞれは、複数の移動補助具操作指令にそれぞれ対応する。
【００３２】
一例として、移動補助具は、車椅子であり、複数の眼球動作と複数の車椅子操作指令との対応関係を表１に示す。
【００３３】
表１に示すように、予め設定されて予め記憶されている複数の眼球動作には、「瞬き１回」、「瞬き２回」、「瞬き３回」、「左を見る」、「右を見る」、「上を見る」、「下を見る」を含む。「左を見る」の動作は、車椅子を左に回す指示に対応する。「右を見る」の動作は、車椅子を右に回す指示に対応する。「上を見る」の動作は、車椅子を前進させる指示に対応する。「下を見る」の動作は、車椅子を後退させる指示に対応する。「瞬き１回」の動作は、確認指令（即ち、確認を指示する指令）に対応する。「瞬き２回」の動作は、車椅子の停止指示に対応する。「瞬き３回」の動作は、眼球制御操作を開始する指令に対応する。
【００３４】
【表１】
2019530479.tif 000003
【００３５】
なお、眼球動作、及びそれと車椅子操作指令との対応関係は、任意であり、実用的な条件に基づいて設定することができる。このような対応関係は、車椅子を市場に出す前に設定されるか、ユーザによってカスタマイズされる。更に、移動補助具は、バランサービーグル（セグウェイなど）又は電動一輪車であってもよい。ここに制限はない。
【００３６】
以下、車椅子を例とする移動補助具制御機器の詳細な説明である。操作中に、カメラ１１を使用してユーザの眼球画像を撮影し、ユーザの眼球画像を有線又は無線通信により画像処理回路１２に送信する。画像処理回路１２は、ユーザの眼球画像を受信すると、画像識別により、ユーザの眼球動作を識別する。
【００３７】
次に、制御回路１３は、眼球動作と車椅子操作指令との予め設定されて予め記憶された対応関係を含む対応テーブルに問い合わせを行い、ユーザの眼球動作に基づいて、対応する車椅子操作指令を生成する。
【００３８】
例えば、画像処理の後に、眼球動作が「左を見る」であると画像処理回路１２によって識別されると、制御回路１３は、車椅子を左に回転させる指令を生成し、車椅子のパワー機構に伝達し、車椅子の左折動作を実現する。
【００３９】
上述のような移動補助具制御装置によれば、脚、腕、手などの身体の部分を動かす必要なく、眼球制御による移動補助具の操作を実現することができる。従って、障害者やハンディキャップを持つ人が車椅子などの従来の移動補助具を操作することが困難であるという問題を効果的に解決することができる。
【００４０】
図２に示すように、本公開の一部の実施例によれば、上述のような移動補助具制御機器は、ゴーグルを更に含んでもよく、カメラ１１がゴーグルに配置されてもよい。ゴーグルは、ユーザが着用するための利便性をもたらし、移動補助具の操作中にユーザの眼球の動作をブロックすることによって、他の人からの好奇心や注意を引かないようにすることができる。
【００４１】
図２に示す好適な実施例において、カメラ１１は、ゴーグルの１つのレンズに取り付けられる。カメラ１１の片側には、通信回路（例えばブルートゥース（登録商標）無線通信回路１１１）及び電源（例えばバッテリ１３１）が配置される。電源は、カメラ１１と通信回路に電力を供給する。カメラ１１で撮影された眼球画像は、通信回路を介して画像処理回路１２に送信される。
【００４２】
図３は、本公開の一部の実施例による移動補助具制御機器を示す。図３に示すように、画像処理回路１２は、座標確定サブ回路１２１と動作確定サブ回路１２２とを含む。
【００４３】
座標確定サブ回路１２１は、白目、虹彩、及び眼球の瞳孔のグレー値の差に基づいて、カメラ１１で撮影されるユーザの眼球画像から、ユーザの瞳孔の座標を確定する。
【００４４】
動作確定サブ回路１２２は、現在の眼球画像（即ち、カメラ１１によって撮影されたユーザの眼球画像）内のユーザの瞳孔の座標と、複数の予め記憶された眼球の瞳孔の座標とを比較して、現在の眼球画像内のユーザの瞳孔の座標と、予め記憶されたいずれかの眼球画像の瞳孔の座標との差が所定範囲内にあるか否かを確定し、所定範囲内にある場合、ユーザが１つの予め記憶されたユーザの眼球画像に対応する眼球動作を実行すると確定する。ここで、予め記憶された複数の眼球画像は、予め撮影されたユーザの眼球画像である。
【００４５】
ユーザの眼球画像からユーザの瞳孔の座標を確定する処理は、従来の方法である。従って、このプロセスには、次のものを含む。
【００４６】
まず、カメラ１１で撮影されたユーザの眼球画像におけるユーザの白目、虹彩、瞳孔のグレー値の差に基づいて、ユーザの瞳孔の座標を確定する。
【００４７】
上記のステップは、以下のサブステップによって実現される。第１サブステップにおいて、２値化のための大津法（クラス間分散の最大化）を用いて画像をセグメント化し、それにより虹彩のエッジを確定する。第２サブステップにおいて、灰色投影法によって虹彩の中心の座標を確定する。最後に第３サブステップにおいて、円に基づくハフ変換と最小二乗法によって瞳孔の中心の座標を確定する。
【００４８】
次に、第１ステップで得られたユーザの瞳孔の座標と、予め記憶された複数の眼球画像の瞳孔の座標とを比較する。ここで、予め記憶された複数の眼球画像は、例えば、試運転段階でユーザに初めて使用されるような、予め撮影されたユーザの眼球動作を有する画像である。
【００４９】
例えば、図４は、前をまっすぐ見ているときのユーザの予め撮影された眼球画像を示し、瞳孔の座標が座標の原点として指定される。図５は、ユーザが左を見ているときの、予め撮影された眼球画像を示す。
【００５０】
眼球が左に回転するとき、即ちユーザが左を見ているとき、瞳孔の相対位置は、中心（即ち原点）から左に移動する。同様に、眼球が右、上、又は下に回転するとき、瞳孔の比較的暗い色に基づいて、瞳孔の位置は、対応して移動する。
【００５１】
上述の第１ステップで示した画像解析手法（即ち、画像識別）によって、眼球全体における瞳孔の位置（即ち、座標）を正確に確定することができる。そして、上記第２ステップにおいて、第１ステップで得られた瞳孔の座標と、予め記憶された複数の眼球画像における瞳孔の座標とを比較する。
【００５２】
図５に示す予め撮影された眼球画像と比較すると、第１ステップで得られた瞳孔の座標が所定の範囲（即ち、点線で囲んだ領域）内にあるため、第１ステップで得られた瞳孔の座標と予め撮影された眼球画像（図５に示すように）の瞳孔の座標との差は、所定の範囲内であるとみなされ、最終的に、ユーザの眼球の動作は「左を見る」と確定される。
【００５３】
図６は、本公開の一部の他の実施例による移動補助具制御機器の概略図である。図６に示すように、移動補助具制御機器は、操作準備回路１４を更に含む。操作準備回路１４は、画像処理回路１２に接続され、画像処理回路１２が眼球動作を識別した後に、移動補助具が予め設定された操作準備状態にあるか否かを確定し、ユーザから入力した眼球制御開始指令を受け付ける。操作準備状態でない場合、操作準備回路１４は、操作準備指令を生成する。前記操作準備指令は、前記移動補助具に対し現在状態から操作準備状態への切り替えを指示する。移動補助具は、操作準備状態にあるとき、ユーザの眼球動作に対応する移動補助具操作指令に従って操作することに適する。
【００５４】
移動補助具がユーザの眼球動作に対応する操作を実行する前に、移動補助具の現在状態を確定し、操作を実行することが適切であるか否かを確定する必要がある。適切でない場合、移動補助具は、その状態を調整して操作準備状態に切り替える必要がある。これにより、移動補助具は、上記の操作を安全に実行することができ、事故を防止することができる。操作準備状態は、予め設定することができ、実行される操作によって異なる。
【００５５】
車椅子を例とし、車椅子が現在高速で前進している状態であるとする。ユーザが眼球動作によって左に曲がるように車椅子を指示すると、「眼球制御を開始するか否か」をユーザに促す。ユーザは、眼球動作（例えば、「瞬き１回」）により眼球制御開始指令を送信する。その後、カメラ１１による撮像と画像処理回路１２による画像処理の後に、操作準備回路１４は、ユーザから入力した眼球制御開始指令を受信して現在の状態が「右折」操作を行うのに適切でないと確定し（即ち、車椅子が操作準備状態ではないと確定した）、操作準備指令を生成し、続いて車椅子の減速又は停止を指示して、車椅子は、眼球動作に対応する「左折」操作を行うように準備し、車椅子の左折時に事故が発生することを回避する。
【００５６】
移動補助具は、前の操作の結果をフィードバック又は記録して現在の状態を取得する。操作準備回路１４は、移動補助具の現在の状態が眼球動作に対応する操作を行うのに適切であると確定した場合、操作準備指令を生成しない。車椅子がそのまま操作を実行する。
【００５７】
移動補助具の現在の状態は、移動補助具の各車輪の移動速度、移動方向、及びそれぞれの角度を含むが、これらに限定されない。
【００５８】
図７は、本公開の一部の他の実施例による移動補助具制御機器の概略図である。図７に示すように、移動補助具制御機器は、図６に示す移動補助具制御機器に基づくものであり、更にプロンプト回路１５及び送信回路１６を含む。
【００５９】
プロンプト回路１５は、画像処理回路１２がユーザの眼球動作を識別した後に、眼球動作に対応する動作を実行するか否かをユーザに促す。送信回路１６は、ユーザからの確認指示を受けて移動補助具操作指令を移動補助具のモータドライバに送信する。
【００６０】
ここで、プロンプト回路１５は、音声、画像、又は他のプロンプト方式によってユーザに促すことができる。送信回路１６は、ユーザからの確認指令を受けてから移動補助具操作指令を送信するので、移動補助具操作指令を送信前に取り消すことができ、誤動作を防止し、安全性を向上させることができる。
【００６１】
図８は、本公開の一部の他の実施例に係る移動補助具制御機器の概略図である。図８に示すように、移動補助具制御機器は、図７に示す移動補助具制御機器に基づくものであり、操作終了回路１７を更に含む。操作終了回路１７は、ユーザにより入力された眼球制御終了指令を受信し、眼球制御終了指令に基づいて操作終了指令を生成し、移動補助具を停止させ、送信回路１６をシャットダウンする。このように、ユーザが眼球制御終了指令を入力した後に、操作終了回路１７は、移動補助具の停止を指示し、送信回路１６をシャットダウンすることにより、誤操作を避けることができる。
【００６２】
上述した眼球制御開始指令、確認指令、及び眼球制御終了指令は、カメラで撮影されたユーザの眼球画像を画像処理回路が識別することによって取得することができる。
【００６３】
上述のような移動補助具制御機器によって、脚、腕、手又は身体の他の部分を動かす必要なしに、眼球制御による移動補助具の操作を実現することができる。このように、障害者やハンディキャップを持つ人が車椅子などの従来の移動補助具を操作することが困難であるという問題を効果的に解決すると同時に、安全性を保証することができ、誤動作を回避することができる。
【００６４】
本公開は、別の態様として、移動補助具システムを提供する。移動補助具システムは、上述の実施例のいずれかによる移動補助具及び移動補助具制御機器を含む。
【００６５】
移動補助具は、車椅子であってもよい。図９に示すように、本公開の一部の実施例による移動補助具システムにおいて、車椅子２０は、全方向移動型車輪２３と、全方向移動型車輪２３を駆動するためのモータ２２と、モータ２２を制御するためのモータドライバ２１とを含む。
【００６６】
移動補助具制御機器１０の指令出力端は、モータドライバ２１に接続される。ここで、制御装置１０とモータドライバ２１との間の接続は、有線通信でも無線通信でもありうる通信を含む。無線通信は、無線アダプタによって実現される。
【００６７】
上述のような移動補助具システム（例えば、車椅子）では、脚、腕又は身体の他の部分を動かす必要なく、眼球制御による移動補助具の操作を実現することができる。このように、障害者やハンディキャップを持つ人が車椅子などの従来の移動補助具を操作することが困難であるという問題を効果的に解決することができる。
【００６８】
一部の実施例によれば、上記のような移動補助具システムの移動補助具は、図１１に示すように、停止ボタン及び安全制御パネルを更に含む。停止ボタン１７１は、強制停止指令を受信して安全制御パネル１６１に送信する。安全制御パネル１６１は、停止ボタン１７１及びモータドライバ２１にそれぞれ接続され、停止ボタン１７１から強制停止指令を受けてモータドライバ２１にモータ停止指令を送信する。一部の実施例において、安全制御パネル１６１は、警報インジケータ１８１にも接続され、停止ボタン１７１からの強制停止指令を受信すると、警報インジケータ１８１を制御して周囲の環境に警告する。
【００６９】
上記の構成は、以下の目的に用いられる。移動補助具システムのユーザが通常障害又はハンディキャップを持つ人であるため、移動補助具の停止を必要とする状況（事故など）が発生した場合、眼球制御の操作が通常遅いため、助手又は介護者が停止ボタンを押すことが便利かつ快速になり、それにより移動補助具の緊急制動を実現する。
【００７０】
本公開は、更に別の態様として、移動補助具を制御するための方法を提供する。この方法は、以下のステップを含む。
ステップ１：ユーザの眼球画像を撮影する。
ステップ２：画像処理及び識別によって、ユーザの眼球画像に基づいてユーザの眼球動作を識別する。
ステップ３：ユーザの眼球動作から移動補助具操作指令を生成する。
【００７１】
上述のような移動補助具の制御方法において、まず、ユーザの眼球画像を撮影した後に、画像処理及び識別により、ユーザの眼球画像に基づいてユーザの眼球動作を識別し、最後にユーザの眼球動作を移動補助具操作指令に変換する。従って、脚、腕、手又は身体の他の部分を動かす必要なしに、眼球制御による移動補助具の操作を表現することができる。従って、障害者やハンディキャップを持つ人が車椅子などの従来の移動補助具を操作することが困難であるという問題を効果的に解決することができる。
【００７２】
前記方法は、ステップ３の前に、ユーザから眼球制御開始指令を受信し、移動補助具の現在の状態が所定の操作準備状態であるか否かを確定し、所定の操作準備状態でない場合、操作準備指令を生成する。前記操作準備指令は、前記移動補助具に対し現在状態から前記操作準備状態への切り替えを指示する。移動補助具は、操作準備状態にあるとき、ユーザの眼球動作に対応する移動補助具操作指令に基づいて操作を実行する。
【００７３】
この方法は、ステップ３の後に更に下記ステップを含む。
ステップ４：眼球動作に対応する操作を実行するか否かをユーザに促し、ユーザからの確認指令を受けて移動補助具操作指令を移動補助具のモータドライバに送信する。
【００７４】
ここで、ユーザから確認指令を受けてから移動補助具操作指令を送信する構成であるので、移動補助具操作指令を送信前に取り消すことができ、誤動作を防止し、安全性を向上させることができる。
【００７５】
本公開の一部の実施例によれば、移動補助具を制御するための方法は、更に下記ステップを含む。
ステップ５：ユーザから眼球制御終了指令を受信し、眼球制御終了指令に基づいて操作終了指令を生成して、移動補助具を停止させ、移動補助具操作指令の移動補助具への送信を終了する。
【００７６】
以下は、移動補助具及びその制御方法の具体的な実施例の詳細な説明である。
【００７７】
図１０及び図１１は、本公開の一部の実施例による車椅子システムを示す。
【００７８】
図１０及び図１１に示すように、車椅子システムは、ゴーグル１８と車椅子とを含む。ゴーグル１８は、カメラ１１と、ブルートゥース無線通信回路１１１と、バッテリ１３１とを含み、ユーザの眼球画像をリアルタイムモードで撮影して送信する。
【００７９】
車椅子は、椅子２４と、椅子２４の底部に取り付けられた１組で４つの全方向移動型車輪２３と、１組のインホイールモータ２２１と、１組のモータドライバ２１とを含む。各インホイールモータ２２１は、全方向移動型車輪２３とモータドライバ２１とに接続される。車椅子は、プロセッサ１９、記憶回路（図示せず）、ブルートゥース回路１４１、音声プロンプト回路１５１、電源（例えばバッテリ）、及びエアスイッチ等を含む他の部品を更に含む。
【００８０】
車椅子は、ユーザの眼球画像を受信し、画像解析アルゴリズムによりユーザの眼球動作を識別する。プロセッサ１９は、ユーザの眼球動作に対応する車椅子操作指令を送信し。全方向移動型車輪２３に、前進、後退、旋回など、移動方向の調整を行わせる。
【００８１】
プロセッサ１９は、所定のソフトウェアプログラムを実行することにより、本公開の一部の実施例において上述したような様々な回路の機能を実現することができることに留意されたい。例えば、プロセッサ１９は、画像処理回路１２、制御回路１３、操作準備回路１４、動作終了回路１７の機能を実現することができ、送信回路１６の機能を部分的に実現できる。
【００８２】
眼球動作と各車椅子操作指令との対応関係を表１に例示する。表に示すように、「左を見る」、「右を見る」、「上を見る」及び「下を見る」の眼球動作は、それぞれ車椅子が左へ、右へ、前へ、後ろへの移動に対応する。「瞬き１回」、「瞬き２回」、「瞬き３回」の眼球動作は、それぞれ確認、停止、開始に対応する。なお、上記の対応関係は、カスタマイズできる。
【００８３】
図１２は、本公開の一部の実施例による車椅子システムの動作フローチャートを示す。車椅子システムにおいて、カメラ１と一体化したゴーグルは、使用者に着用される。起動されると、カメラ１１は、ユーザのリアルタイムな眼球画像を１０回／秒の速度（速度をカスタマイズすることができる）で撮影する。ユーザの眼球画像は、ブルートゥース無線通信を介してプロセッサ１９に送信される。プロセッサ１９は、ユーザの眼球画像をリアルタイムで処理し、ユーザの眼球動作を識別する。
【００８４】
ユーザは、車椅子の制御を開始する前に、瞬きを３回してアクセス制御を行うことができるようになる。ユーザが眼球を左、右、上又は下に１回回すと、当該システムは、眼球画像識別結果及び眼球動作と車椅子操作指令との対応関係に基づいて、音声によって、左、右、前方、又は後方に移動するか否かを促す。ユーザが確認のために１回瞬きをした後に、車椅子は、ユーザが停止したいまで、眼球の動作に対応する操作を実行する。ユーザが２回瞬きをして車椅子に対する制御が終了する。
【００８５】
同じ車椅子操作指令の場合、各全方向移動型車輪は、異なる公称動作を有することに留意されたい。
【００８６】
上述した実施例における全方向移動型車輪は、メカナム車輪であることが好ましい。メカナム車輪は、従来の車輪に基づくものであり、車輪のリム上に配置され、角度α（通常は４５度）を有する複数の自由に回転可能な小型ローラを含む。
【００８７】
従って、車輪（即ち、中央車輪）が転動しているとき、小型ローラは、横方向の動きを有する。車椅子の４つのメカナム車輪の協調により、車椅子システムは、全方向の動きを実現することができる。また、上述のようなメカナム車輪を備えた車椅子システムは、支持力が強く、構造が簡単であり、運動制御が柔軟であるという利点を有し、車椅子に適している。
【００８８】
図１３は、車椅子の様々な主要な動きを実現する車椅子における４つの車輪（即ち、メカナム車輪）の協調を示す。
車椅子が前方に移動するとき、４つの車輪（即ち、メカナム車輪）のすべてが前方に回転する。
車椅子が後退するとき、４つの車輪の全てが後方へ回転する。
車椅子が右に移動するとき、左前輪と右後輪が前方へ回転し、右前輪と左後輪が後方へ回転する。
車椅子が左に移動するとき、左前輪と右後輪が後方へ回転し、右前輪と左後輪が前方へ回転する。
車椅子が時計回りに回転するとき、左前輪と左後輪が前方へ回転し、右前輪と右後輪が後方へ回転する。
車椅子が反時計回りに回転するとき、左前輪と左後輪が後方へ回転し、右前輪と右後輪が前方へ回転する。
車椅子が右前方に移動するとき、左前輪と右後輪が前方へ回転し、右前輪及び左後輪が回転しない。
車椅子が左前方に移動するとき、右前輪と左後輪が前方へ回転し、左前輪と右後輪が回転しない。
【００８９】
上記において、各メカナム車輪の前方又は後方への回転は、各メカナム車輪の中央車輪の回転方向である。
【００９０】
メカナム車輪では、各小型ローラが独立して回転する。メカナム車輪が回転しているとき、メカナム車輪の合成速度は、小型ローラに対して垂直であり、縦方向と横方向に分割することができる。
【００９１】
本明細書では、車椅子が右に移動することを例とする。図１３の「右へ移動する」の概略図に示すように、各メカナム車輪の他に各矢印の方向は、対応するメカナム車輪の回転方向（即ち、メカナム車輪の中央車輪の回転方向）を示す。各メカナム車輪の速度を縦方向と横方向に分けた場合、長手方向に沿った速度が除去され、横方向（右方向）の速度のみが残ることが分かる。このように、車椅子は右への移動を実現することができる。
【００９２】
上記は、本分野の公知技術であり、記載を簡単かするために、その説明は、ここでは省略する。
【００９３】
上述のような車椅子システムでは、眼球の瞬きや移動を含むユーザの眼球動作を監視して識別することにより、車椅子の制御を実現することができる。具体的に、全方向移動型車輪を車椅子システムに使用するので、特定の眼球動作及び各車輪の対応する協調回転によって、旋回半径がゼロであっても車椅子の移動に対する制御が実現される。
【００９４】
本公開の一部の実施例による１つの制御機構は、以下のようにすることができる。
ユーザのリアルタイムの眼球画像をカメラによって予め確定された所定画像サンプルと比較して、瞳孔中心の座標の変化を確定する。次に、音声によって、ユーザに対しある動作をとるか否かを促す。ユーザから確認した後に、プロセッサは、モータドライバによって各モータをそれぞれ制御して各全方向移動型車輪を協調制御して、眼球に対応する車椅子使用者の操作を実現するための指令を送信する。
【００９５】
ここで、「左を見る」、「右を見る」、「上を見る」、「下を見る」の眼球動作は、それぞれ車椅子の左へ、右へ、前へ、後ろへの移動に対応する。眼球の無意識な動きの干渉を避けるために、動作の妥当性を瞬きによって確認することができる。
【００９６】
上述のような本公開のいずれの実施例において、ステップの数は、ステップの順番の限定に対し制限しない。当業者が、ステップの順番に関して行ったあらゆる変更は、本公開の範囲内で考慮されるべきである。
【００９７】
本公開の様々な実施例は、漸進的に説明され、異なる実施例の中の同じ又は同様の部分の説明は、互いに参照することができる。
【００９８】
上記の方法の全部又は一部のステップは、対応するハードウェアを指示するコンピュータプログラムによって実現できることに留意されたい。ここで、コンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶することができる。実行時に、コンピュータプログラムは、上記実施例のいずれかに記載の方法のステップを含むことができる。記憶媒体は、磁気ディスク、ＣＤ、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）などであり、ここでは限定しない。
【００９９】
本公開に引用される全ての参考文献は、その全体が参考として援用される。特定の実施例を以上で詳細に説明してきたが、その説明は単なる例示のためのものである。従って、上記で説明した多くの態様は、特に断りのない限り、必須または必須の要素として意図されていないことを理解されたい。
【０１００】
上述したものに加えて、例示的な実施例の開示態様に対応する様々な変更及び同等の動作が、当業者によってなされ得る。以下の特許請求の範囲に記載された発明の精神及び範囲から逸脱することなく、その範囲は、そのような修正及び同等の構造を包含するように最も広い解釈が与えられるべきである。
【図１】
2019530479.tif 000004
【図２】
2019530479.tif 000005
【図３】
2019530479.tif 000006
【図４】
2019530479.tif 000007
【図５】
2019530479.tif 000008
【図６】
2019530479.tif 000009
【図７】
2019530479.tif 000010
【図８】
2019530479.tif 000011
【図９】
2019530479.tif 000012
【図１０】
2019530479.tif 000013
【図１１】
2019530479.tif 000014
【図１２】
2019530479.tif 000015
【図１３】
2019530479.tif 000016
【国際調査報告】
2019530479.tif 000017
2019530479.tif 000018