(57)【要約】  本明細書では、聴覚障害者のための教育補助としてインタラクティブウェアラブルを可能にするシステムおよび方法を説明する。システムは、コンピューティングシステム１０１と、制御ユニット１０３と、ユーザーデバイス１０４とを備える。制御ユニット１０３は、一対のグローブに埋め込まれる。制御ユニット１０３は、ユーザーによって行われたジェスチャーの生データを収集し、ユーザーデバイス１０４を介してコンピューティングシステム１０１に送信する。コンピューティングシステム１０１は、人工ニューラルネットワーク（ＡＮＮ）法を使用して生データを処理する。コンピューティングシステム１０１は、ジェスチャーされたアルファベットの値を導き、エラーを最小化するためにジェスチャーされたアルファベットの値をさらに自動修正する。コンピューティングシステム１０１は、手でジェスチャーされたアルファベットを使用して、関連する単語をスペルすることを個人に視覚的に促すために、ユーザーデバイス１０４の画面に画像または絵文字をさらに表示する。【選択図】図２Ｂ
2020514841.tif 000002
【特許請求の範囲】
【請求項１】
聴覚障害者のための教育補助として使用されるインタラクティブなウェアラブルを可能にするシステム１００であって、前記システムは、
コンピューティングシステム１０１と、
制御ユニット１０３と、
前記コンピューティングシステム１０１および前記制御ユニットと通信可能に接続されたユーザーデバイス１０４と、を含み、
前記制御ユニット１０３は、複数のセンサーと、マイクロコントローラ２０１と、短距離トランシーバー２０４とをさらに含み、
前記制御ユニット１０３は、短距離伝送プロトコルによって、前記ユーザーデバイス１０４と通信可能に接続され、
前記複数のセンサーは、一対のテーラードグローブに埋め込まれ、
前記一対のテーラードグローブは、着用者の手の形と合うようになっており、
前記複数のセンサーは、１または複数の接触センサー２０３と、１または複数のフレックスセンサー２０２とを含み、
前記１または複数の接触センサー２０３は、ジェスチャーの完了を確認するために、前記一対のテーラードグローブの接触点を所定の回数連続してスキャンするように構成され、
前記マイクロコントローラ２０１は、前記１または複数のフレックスセンサー２０２から指の位置のデータと、前記一対のテーラードグローブの前記接触点とを読み取るように構成され、
前記マイクロコントローラ２０１は、両手のジェスチャーの完了後に、ジェスチャーされたアルファベットの所定のデータとの比較を実行するために、前記一対のテーラードグローブの１つのテーラードグローブにおいて、手話の前記ジェスチャーされたアルファベットのための前記両手の生データを収集するように構成され、
前記マイクロコントローラ２０１は、前記短距離伝送プロトコルを使用して、前記ユーザーデバイス１０４によって、前記コンピューティングシステム１０１への前記生データ送信するように構成され、
コンピューティングシステム１０１は、
前記ジェスチャーされたアルファベットの値を導くために、ニューラルネットワーク法を使用して前記生データを処理し、
前記ジェスチャーされたアルファベットの前記値を確認するために、前記１または複数のフレックスセンサーから取得したデータを所定のデータと比較し、
エラーを最小化するために、比較に基づいて、前記ジェスチャーされたアルファベットの前記値を自動修正し、
前記手で前記ジェスチャーされたアルファベットを使用して、関連する単語をスペルすることを個人／ユーザーに視覚的に促すために、ユーザーデバイス１０４の画面上に画像または絵文字を表示するように構成されていることを特徴とするシステム。
【請求項２】
前記一対のテーラードグローブは、前記手話のアルファベットを手話で表現するために１または複数の接触センサーとしてプログラムされる所定の位置で、導電性綿または鋼混紡糸を使用して編まれ、
前記手話は、インド手話（ＩＳＬ）である請求項１に記載のシステム。
【請求項３】
前記導電性綿または前記鋼混紡糸の所定の位置付けは、基布として、再生セルロース糸、天然繊維、スパンデックスおよび導電性糸のような他の繊維組成物とともに、前記１または複数の接触センサーとして機能するようになっている請求項２に記載のシステム。
【請求項４】
前記一対のテーラードグローブの各グローブは、前記短距離通信プロトコルを使用して、互いに通信するように構成される請求項１に記載のシステム。
【請求項５】
前記短距離通信プロトコルは、ブルートゥースである請求項４に記載のシステム。
【請求項６】
前記ジェスチャーされたアルファベットの前記所定のデータは、前記マイクロコントローラに記憶される請求項１に記載のシステム。
【請求項７】
前記両手の前記生データは、前記１または複数の接触センサーから得られたデータと、前記１または複数のフレックスセンサーからの前記指の前記位置のデータとを含む請求項１に記載のシステム。
【請求項８】
聴覚障害者のための教育補助として使用されるインタラクティブなウェアラブルを可能にする方法であって、前記方法は、
ジェスチャーの完了を確認するために、１または複数の接触センサーによって、所定の回数、一対のテーラードグローブの接触点を連続的にスキャンする工程と、
マイクロコントローラによって、前記１または複数のフレックスセンサーから指の位置のデータと、前記一対のテーラードグローブの前記接触点とを読み取る工程と、
前記マイクロコントローラによって、両手のジェスチャーの完了後、前記ジェスチャーされたアルファベットの所定のデータとの比較を実行するために、前記一対のテーラードグローブの一つのテーラードグローブにおいて、手話の前記ジェスチャーされたーアルファベットのための前記両手の生データを収集する工程と、
前記マイクロコントローラによって、短距離伝送プロトコルを使用するユーザーデバイスを介して、コンピューティングシステムに前記生データを送信する工程と、
前記コンピューティングシステムによって、前記ジェスチャーされたアルファベットの値を引き出すために、ニューラルネットワーク法を使用して前記生データを処理する工程と、
前記コンピューティングシステムによって、前記ジェスチャーされたアルファベットの前記値を確認するために、所定のデータと、前記１または複数のフレックスセンサーから取得したデータとを比較する工程と、
前記コンピューティングシステムによって、エラーを最小化するために、比較に基づいて、前記ジェスチャーされたアルファベットの前記値を自動修正する工程と、
前記コンピューティングシステムによって、手で前記ジェスチャーされたアルファベットを使用して、関連する単語をスペルすることを個人に視覚的に促すために、前記ユーザーデバイスの画面に画像または絵文字を表示する工程と、を含むことを特徴とする方法。
【請求項９】
前記短距離通信プロトコルは、ブルートゥースである請求項８に記載の方法。
【請求項１０】
前記ジェスチャーされたアルファベットの前記所定のデータは、前記マイクロコントローラに格納され、
前記手話は、インド手話（ＩＳＬ）である請求項８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連する出願と優先権に関する相互参照
本件出願は、２０１７年３月３に出願されたインド国特許出願第２０１７２１００７６６６号の優先権を主張する。
本発明は、一般に、ウェアラブル技術の分野に関し、より具体的には、聴覚障害者のための教育補助としてのインタラクティブなウェアラブルを可能にするシステムおよび方法に関する。
【背景技術】
【０００２】
「インドの人口調査：人口列挙データ（最終人口），２０１７年」のレポートによると、５歳から１９歳までの年齢層において、インド全土で約１，２７９，３５８人の子供が重大な難聴に苦しんでいることが報告されている。彼らの６７％は学校に通っているが、２１％は正式な教育を受けたことがない。さらに、インドの人口調査データ（２０１１年）によると、総人口のほぼ３００万人が言語および聴覚障害者である。全米ろう者協会（ＮＡＤ）の資料によると、言語障害者および聴覚障害者の手話通訳者は、わずか２５４人である。重度の難聴／深刻な難聴（７０〜９５ｄｂおよび９５ｄＢ以上）に苦しむ子どもたちは、聴くことが非常に困難で、主に、読唇や手話に頼っている。手話は、そのメンバーが周囲の環境から得る刺激に対して、聴覚障害者の特定のコミュニティによる三次モデリングデバイスとして発達する。手話は、視覚空間的な形式である。その形式において、空間と動きは、世界の空間と動きを言語的に表現するために使用される。聴覚障害児（ろう児）の教育の格差は、あらゆる国の持続可能な発展および／または包摂的な発展の妨げとなっている。聴覚障害者のための教育は、常に困難である。
【０００３】
ＨＩの子供たちが手話を通して最もよく学習することを示す多くの研究にもかかわらず、インド手話（ＩＳＬ）の状況はひどく、教室での使用から遠ざかり、難聴を有する多くの人々のコミュニケーションに対する権利を否定している。教師が口話法（oralism）に焦点を合わせているため、ろう学校で第１〜１２学級から学ぶことはほとんどない。聴覚障害児が手話による学習を主張するとき、彼らは無視され、口頭主義が続く。彼らの約９８％は非識字者である。彼らの２％は、第１２学級に合格したとしても、ほとんど知識を得ない。彼らは、さらに仕事を見つける際に問題に直面する。（全国ろう者協会−http：//nadindia.org/）。専門家によって行われた第１０学級の生徒の研究では、生徒は、櫛（comb）や睡眠（sleep）などの簡単な書き言葉も認識できないという結果が示された。指話（fingerspelling）は、バイリンガル方式またはトータルコミュニケーション方式を使って教えるろう学校を除いて、インドのろう学校では教えられていない。指話は、手話の一種である。研究では、聴覚障害児は、手話を通して、英語の語彙と、読み書きのスキルを伸ばすことができることがわかっている。教師がＩＳＬを使用しないで教え、口頭法が適切に実行されず、または、子供に適していない場合、子供の読み書き能力は、あまり発達しない。特に、聴覚障害児の識字レベルの現在の測定システムはない。健聴者の子供用に開発された様々な標準化された識字テストがあるが、そのテストは、聴覚障害児にも使用される。教師は、聴覚障害の生徒の読み書き能力が非常に低いことを知っているが、これをサポートする経験的データは非常に少ない。インドでは、聴覚障害児の識字率に関する統計データはない。そのような研究は、これまで行われていなかったからである。それは、すべて経験と観察に基づいており、識字率は非常に低いと推測されている。聴覚障害児の識字率が低い理由はいくつかある。これは、有意義なコミュニケーションの欠如、不完全な第一言語、教育の質の低さなどが挙げられる。聴覚障害は、健聴者がするように話し言葉とは関連しない。しかし、研究では、手話は、文法や語彙の話し言葉と、脳の同じ領域で表現されることも示されている。脳の唯一の異なる領域は、身体表現に関連する。話し言葉は、音域と話し領域に関連し、手話は、脳の視覚領域と空間的領域に関連する。したがって、脳によると、手話は、話し言葉と同じくらいの言語であり、同じように表現される。実際のところ、手話は、視覚的な手動言語であり、聴覚障害者は視覚的な学習者である。また、これは、聴覚能力を持つ人々の利点と関連して、ある視覚的・空間的分析を彼らに与える。たとえば、聴覚障害者は、環境の変化に気づくために見ることに依存しているため、聴覚障害者の周辺視覚処理は、聴覚能力を持つ人よりも優れている。聴覚障害児は、聴覚能力のある子供よりも、視覚−空間的記憶力に優れている。ＩＳＬによる学習は、子どもが制限なく完全にコミュニケーションをとることができるため、認知発達および社会心理学的発達のあらゆる側面に貢献する。
【０００４】
また、これらの学校の口頭教育では、適切かつ効果的な視聴覚サポートが不足している。そのため、聴覚障害児の大半でコミュニケーション能力と言語能力が不十分であり、聴覚障害のコミュニティの貧弱な識字能力に影響を与える。現実には、ろう学校は、主にＩＳＬを使用しておらず、聴覚障害者（ろう者）の５％近くがろう学校に通っている。ＩＳＬの使用は、職業プログラムと、短期コースにのみ制限されている。学校で聴覚障害のある学生のために教科書の学習教材を補助するために使用される現在のリソースは、従来の教育方法にのみ制限／限定されている。また、優れた読解力と作文能力を身に付けるには、特別な教師または支援教師からの支援が必要ある。
【０００５】
現在のシナリオでは、これらの視覚的学習支援は、聴覚障害の子供が教師の助けを借りて、かろうじて物体を識別するのに役立つ。しかし、単語を書き、単語の綴りを理解するために、さらに、読み書きの学問的要件を得るための知識を構築するには、ネイティブのメディア（インド手話）が必要である。読者になるには、子どもたちは、すでに知っている話し言葉と、ページに印刷された言葉との間のマッピングを学ぶ必要がある。英語の場合、ほとんどの言語と同様に、マッピングは音声に基づいている。重度の聴覚障害児は、潜在的な読者として不利な立場にある。彼らは、音韻コードに簡単にアクセスできず、多くの場合、印刷された言語はもちろんのこと、言語をよく知らない。重度の聴覚障害児は、印刷−サウンドマッピングのための聴覚基盤へのアクセスが不十分である。そのため、ろう教育で想定されているように、書き言葉と話し言葉との間の関連性を教える必要がある。その関連性を子供が自然に習得することはない。構造化された手話の子供のスキルは、言語的基盤を提供する。そこから、読書などの別の言語スキルの開発が行われる。構造化された手話の経験は、象徴的な基盤を形成する。そこから、子どもたちが活字の意味を学ぶことができる。読解力が高い若い聴覚障害児は、「連想スキル」にも長けているか、指でつづられた単語を書き留める能力を有する者である。そして、彼らは、初期化された手話（sign）を翻訳することができる。指話は、聴覚障害児が文書によるコミュニケーション能力を伸ばすための効果的な方法である。連想スキルは、言語および読解指導のプロセスによって発見され、育成される必要がある。そのプロセスは、構造化された手話の形態を英語の正書法にリンクすることを子供に教える。これらのスキルは、自然に習得されるものではなく、教育によって作成されなければならない。
【０００６】
既存の技術では、聴覚障害児が利用できる教育または学習ソリューションは、完全な単語を表す全体的な手のジェスチャーの概念を使用して、手話（sign）からテキストへの変換または手話から音声への変換、および、その逆に焦点を当てている。これらは、日常会話で日常的に使用されている。しかし、これらのソリューションは、アメリカ手話（ＡＳＬ）とのみ互換性がある。インドでは、インド手話が使用される。手の形は、指示対象の視覚空間特性を表し、手の形に基づいて他のクラスと区別するクラスを形成する。これは、類別詞（classifier）の手の形が形態素（分割することのできない言語の最小の文法単位。例えば、来る（come）やに（in）など）であることを伴う。ＩＳＬは、指話システムおよびその他の手話のイギリス手話に部分的に影響を受けている。しかし、ほとんどは、ヨーロッパの手話システムと無関係である。ＩＳＬは、それ自体がユニークで統一されている。ＩＳＬのユニークな特徴には重要な理論があり、ルートとしてのムーブメントによるＩＳＬの均一性（Supalla 1986、1990; Schick 1990; Liddell＆Johnson 1987）と、ルートとしての手の形（McDonald 1982; Engberg-Pedersen 1993）とを説明する。インドの手話（ＩＳＬ）は、構文、音韻、形態、文法において、他の国の手話と異なる。ＩＳＬは、静的および動的な手ぶり、顔の表情、頭／体の姿勢、体に対する手の位置と向きなどを使用して、手話を表す。ＩＳＬでは、手話者は、動作と位置の動詞を表す文を、類別詞の手の形の有無にかかわらず、字句記号で構築することを選択する。動作と位置の動詞の類別詞の手の形は、動詞のルートに組み込まれる。動詞の手の形は、音節の制約により、削除される。一般に、ＩＳＬの類別詞、特にＩＳＬは、環境社会的、物理的、機能的で、手話者が有する相互作用を反映する（Denny 1976による類型化されたように）。ＩＳＬは、いくつかの手話を表現するために、さらに、言語の場所、人、または物の名詞や名前を指話するために、両手を使用する。アメリカの手話（ＡＳＬ）のみと互換性のある既存のソリューションは、ＩＳＬをサポートしない。したがって、計算手段を使用してＩＳＬを解釈することは、未解決の課題のままである。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって、ＩＳＬは主に、手話と指話のために両手を使用するので、ＨＩの子供たちの早期の読み書き能力のために、インドの手話を解釈および／または解読することにより、スペリングとともに、インド手話（ＩＳＬ）のインタラクティブな自己学習を提供するシステムと方法が長年必要とされている。
【０００８】
本システムおよびその使用方法を説明する前に、本開示において明示的に示されていない複数の実施形態がある可能性があるため、本開示は、説明したような特定の装置およびその配置に限定されないことを理解されたい。また、詳細な説明で使用される用語は、特定のバージョンまたは実施形態を説明することのみを目的としており、本出願の範囲を限定することを意図するものではないことも理解されたい。この概要は、発明の本質的な特徴を特定することを意図したものではなく、提案された発明の範囲を検出または制限する際に使用することを意図したものでもない。
【課題を解決するための手段】
【０００９】
一実施形態では、聴覚障害者のための教育補助として使用されるインタラクティブなウェアラブルを可能にするシステムが開示される。そのシステムは、制御ユニットと、コンピューティングシステムと、ユーザーデバイスとを備える。ユーザーデバイスは、コンピューティングシステムおよびユーザーデバイスと通信可能に接続されている。制御ユニットは、複数のセンサーと、マイクロコントローラと、短距離トランシーバーとを備える。一実施形態では、制御ユニットは、短距離伝送プロトコルによって、ユーザーデバイスと通信可能に接続される。一実施形態では、複数のセンサーは、一対のテーラードグローブに埋め込まれる。一対のテーラードグローブは、着用者の手の形をとるようになっている。複数のセンサーは、１または複数の接触センサーと、１または複数のフレックスセンサーとを備える。１または複数の接触センサーは、ジェスチャーの完了を確認するために、所定の回数、一対のテーラードグローブの接触点を連続的にスキャンする。マイクロコントローラは、一対のテーラードグローブの接触点を読み取る。マイクロコントローラは、１または複数のフレックスセンサーから指の位置のデータを読み取る。マイクロコントローラは、両手のジェスチャー完了後、ジェスチャーされたアルファベットの所定のデータとの比較を実行するために、一対のテーラードグローブの１つのテーラードグローブにおいて、手話のジェスチャーされたアルファベットための両手の生データを収集する。マイクロコントローラはさらに、短距離伝送プロトコルを使用するユーザーデバイスによって、生データをコンピューティングシステムに送信する。コンピューティングシステムは、ジェスチャーされたアルファベットの値を導くために、ニューラルネットワーク法を使用して生データを処理する。コンピューティングシステムはさらに、ジェスチャーされたアルファベットの値を確認するために、１または複数のフレックスセンサーから取得したデータを所定のデータと比較する。コンピューティングシステムは、エラーを最小限に抑えるために、比較に基づいて、ジェスチャーされたアルファベットの値をさらに自動修正する。コンピューティングシステムは、手でジェスチャーされたアルファベットを使用して、関連する単語をスペルすることを個人に視覚的に促すために、ユーザーデバイスの画面に画像（picture）または絵文字をさらに表示する。
【００１０】
別の実装形態では、聴覚障害者のための教育補助として使用されるインタラクティブなウェアラブルを可能にする方法が開示される。この方法は、ジェスチャーの完了を確認するために、１または複数の接触センサーによって、所定の回数、一対のテーラードグローブの接触点を連続的にスキャンする工程を含む。この方法はさらに、マイクロコントローラによって、一対のテーラードグローブの接触点と、１または複数のフレックスセンサーから指の位置のデータとを読み取る工程を含む。この方法はさらに、両手のジェスチャーの完了後、ジェスチャーされたアルファベットの所定のデータとの比較を実行するために、マイクロコントローラによって、一対のテーラードグローブの一つのテーラードグローブにおいて、手話のジェスチャーされたアルファベットのための両手の生データを収集する工程を含む。この方法はさらに、マイクロコントローラによって、短距離送信プロトコルを使用するユーザーデバイスを介して、生データをコンピューティングシステムに送信する工程含む。この方法は、コンピューティングシステムによって、ジェスチャーされたアルファベットの値を導くために、ニューラルネットワーク法を使用して生データを処理する工程を含む。この方法は、コンピューティングシステムによって、ジェスチャーされたアルファベットの値を確認するために、１または複数のフレックスセンサーから得られたデータを所定のデータと比較する工程を含む。この方法は、エラーを最小化するために、コンピューティングシステムによって、比較に基づいてジェスチャーされたアルファベットの値を自動修正する工程を含む。この方法は、手でジェスチャーされたアルファベットを使用して、関連する単語をスペルすることを個人に視覚的に促すために、コンピューティングシステムを介して、画面に画像または絵文字を表示する工程を含む。
【００１１】
添付の図面を参照して、本発明の詳細な説明が提供される。添付の図面中の各参照番号の左端の数字は、その参照番号が最初に現れる図番号を表している。各図面において、同様の特徴およびコンポーネントには、同じ参照番号が付されている。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の一実施形態による、聴覚障害者のための教育補助として使用されるインタラクティブなウェアラブルを可能にするシステム１００のネットワーク実装を示す。
【００１３】
【図２Ａ】図２（Ａ）は、本発明による、右手と左手の手のひらと、手の甲とにおいて、各アルファベット（Ａ〜Ｚ）の手話用にマークされた１または複数の接触センサーおよび１または複数のフレックスセンサーの位置を示す。
【００１４】
【図２Ｂ】図２（Ｂ）は、本発明の一実施形態による、ウェアラブルなグローブに埋め込まれた制御ユニット１０３のコンポーネントを示す。
【００１５】
【図２Ｃ】図２（Ｃ）は、本発明の例示的実施形態による、チューブラーニット構造およびシングルジャージー構造としての基布を使用するグローブパネルにおける綿／鋼導電性糸の１または複数の接触センサーポイントの統合を示す。
【００１６】
【図３】図３は、本発明の一実施形態による、コンピューティングシステム１０１のコンポーネントを示す。
【００１７】
【図４Ａ】図４（Ａ）は、本発明の一実施形態による、文字認識のための人工ニューラルネットワークのブロック図を示す。
【００１８】
【図４Ｂ】図４（Ｂ）は、本発明の一実施形態による人工ニューラルネットワーク（ＡＮＮ）の分類子（classifier）の図を示す。
【００１９】
【図５】図５は、本発明の一実施形態による、人工ニューラルネットワークを使用するパターン認識および自動修正を可能にするために、トレーニング段階における入力データの処理の段階的フローチャートを示す。
【００２０】
【図６】図６は、本発明の一実施形態による、ニューラルネットワークにおける自動修正を可能にするために、テスト段階における入力データの処理の段階的フローチャートを示す。
【００２１】
【図７】図７は、本発明の一実施形態による、システム１００によって実施される方法７００を示す。
【００２２】
【図８Ａ】図８Ａは、本発明によるシステム１００の例示的な実施形態を示す。
【図８Ｂ】図８Ｂは、本発明によるシステム１００の例示的な実施形態を示す。
【００２３】
【図９】図９は、本発明の第１の例示的な実施形態による、システム１００によって実行される学習機能を示す。
【００２４】
【図１０Ａ】図１０Ａは、本発明の第２の例示的実施形態による、システム１００によるスペリングおよび語彙の構築を示す。
【図１０Ｂ】図１０Ｂは、本発明の第２の例示的実施形態による、システム１００によるスペリングおよび語彙の構築を示す。
【図１０Ｃ】図１０Ｃは、本発明の第２の例示的実施形態による、システム１００によるスペリングおよび語彙の構築を示す。
【図１１】図１１は、本発明の第２の例示的実施形態による、システム１００によるスペリングおよび語彙の構築を示す。
【００２５】
【図１２Ａ】図１２Ａは、本発明の第３の例示的実施形態による、１００による単語の自動修正を示す。
【図１２Ｂ】図１２Ｂは、本発明の第３の例示的実施形態による、１００による単語の自動修正を示す。
【図１３】図１３は、本発明の第３の例示的実施形態による、１００による単語の自動修正を示す。
【００２６】
【図１４】図１４は、本発明の一実施形態による、手でジェスチャーされたアルファベットを使用して、関連する単語をスペルすることを個人に促す、表示画面上に視覚化された画像または絵文字を示す。
【発明を実施するための形態】
【００２７】
次に、全ての特徴が説明された本発明のいくつかの実施形態が詳細に説明される。用語「構成する（comprising）」、「有する（having）」、「含む（containing）」、「備える（including）」およびそれらの他の形式は、同等な意味であり、これらの文言のいずれか１つに続く事項または複数の事項のオープンなリストであり、そのような事項に限定されるような排他的でクローズドなリストであるような意味ではなく、また、列挙された事項のみに限定されるという意味ではない。
【００２８】
また、単数形「a」、「an」、および「the」には、文脈からそうでないことが明確に示されていない限り、複数形の意味を含むことにも注意する必要がある。本開示の実施形態の実施または試験において、本明細書に記載されているものと類似または同等の任意の方法を使用することができるが、例示的な方法について説明する。開示された実施形態は、本開示の単なる例示であり、様々な形態で具現化される。
【００２９】
実施形態に対する様々な修正が当業者には容易に明らかであり、本明細書の一般的な原理は他の実施形態に適用することができる。しかしながら、当業者は、本開示が図示の実施形態に限定されることを意図するものではなく、本明細書に記載の原理および特徴と一致する最も広い範囲を与えられることを容易に認識する。
【００３０】
本発明は、聴覚障害児のための教育補助として使用されるインタラクティブなウェアラブルを可能にするシステムおよび方法に関する。図１を参照すると、本発明の実施形態による、聴覚障害者のための教育補助として使用されるインタラクティブなウェアラブルを可能にするシステム１００のネットワーク実装が示される。示されるように、制御ユニット１０３は、ユーザーデバイス１０４と通信可能に接続されている。制御ユニット１０３は、ウェアラブルグローブに埋め込まれる（図２Ｃ）。一実施形態では、制御ユニット１０３は、通信プロトコル（例えば、ブルートゥース、ＵＳＢなど）によって、ユーザーデバイス１０４と通信する。さらに、ユーザーデバイス１０４は、コンピューティングシステム１０１と通信可能に接続されている。
【００３１】
本発明は、コンピューティングシステム１０１がサーバー上に実装されることを考慮して説明されるが、コンピューティングシステム１０１は、様々なコンピューティングシステム（例えば、ラップトップコンピュータ、デスクトップコンピュータ、ノートブック、ワークステーション、メインフレームコンピューター、サーバー、ネットワークサーバーなど）でも実装されることが理解される。コンピューティングシステム１０１は、１または複数のユーザーデバイス１０４−１、１０４−２・・・１０４−Ｎ（以下、まとめてユーザー１０４という）、または、ユーザーデバイス１０４にあるアプリケーションを介して、複数のユーザーによってアクセスされることが理解される。ユーザーデバイス１０４は、特に限定されないが、ポータブルコンピュータ、携帯情報端末、ハンドヘルドデバイス、およびワークステーションなどを含む。ユーザーデバイス１０４は、ネットワーク１０２を介して、コンピューティングシステム１０１に通信可能に接続されている。
【００３２】
一実施形態では、ネットワーク１０２は、無線ネットワーク、有線ネットワーク、またはそれらの組み合わせである。ネットワーク１０２は、更新された通信技術を含む有線または無線ネットワーク接続手段を使用して、ユーザーデバイス１０４によってアクセスされる。ネットワーク１０２は、異なるタイプのネットワーク（例えば、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネットなど）の１つとして実装される。ネットワーク１０２は、専用ネットワークでも共有ネットワークでもよい。共有ネットワークは、互いに通信するために、様々なプロトコル（例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ワイヤレスアプリケーションプロトコル（ＷＡＰ）など）を使用する異なるタイプのネットワークの関連付けを表す。さらに、ネットワーク１０２は、様々なネットワークデバイス（ルータ、ブリッジ、サーバー、コンピューティングデバイス、ストレージデバイスなどを含む）を含む。
【００３３】
ここで、図２（Ａ）を参照すると、本発明の一実施形態による、ウェアラブルグローブに埋め込まれた１または複数の接触センサーおよび１または複数のフレックスセンサーの位置が示されている。一実施形態では、１または複数の接触センサーおよび１または複数のフレックスセンサーは、手話の各アルファベット（ＩＳＬのＡ〜Ｚ）のために、左手および右手の手のひらおよび手の甲のマークされた点に位置する。一実施形態では、マークされた点は、一対のテーラードグローブに埋め込まれた１または複数の接触センサーおよび１または複数のフレックスセンサーの所定の位置決めを表す。そのセンサーは、着用者の皮膚との直接接触を提供する。一実施形態では、一対のテーラードグローブは、導電性の綿または鋼の混紡糸を使用して編まれる。一実施形態では、導電性の綿または鋼の混紡糸の所定の位置決めは、基布として再生セルロース糸を用いて、１または複数の接触センサーとして機能するようになっている。一実施形態では、１または複数のフレックスセンサーは、布地を融着することにより、グローブに埋め込まれ、縫い付けられる。
【００３４】
ここで、図２（Ｂ）を参照すると、本発明の一実施形態による、ウェアラブルグローブに埋め込まれた制御ユニット１０３のコンポーネントが示される。図２（Ｂ）に示すように、制御ユニット１０３は、複数のセンサーと、マイクロコントローラ２０１と、触覚アクチュエータ２０５と、短距離トランシーバー２０４と、電源ユニット２０６と、ＵＳＢポート２０７とを含む。一実施形態において、複数のセンサーは、１または複数のフレックスセンサー２０２と、１または複数の接触センサー２０３とを含む。一実施形態では、１または複数のフレックスセンサー２０２は、抵抗型センサーである。１または複数のフレックスセンサー２０２の抵抗は、指の曲げごとに変化する。例示的な一実施形態では、１または複数のフレックスセンサー２０２は、グローブの指を快適に、長寿命のサイクルで保持する単純な構造を有する。例示的な一実施形態では、１または複数のフレックスセンサー２０２は、１０Ｋオームの平坦な抵抗と、６０Ｋオームから１１０Ｋオームの範囲内の曲げ抵抗とを含む。さらに、１または複数のフレックスセンサー２０２は、大きなフォームファクタを達成する。一実施形態では、１または複数のフレックスセンサーを各指に配置して、指関節および各指の第２関節の屈曲を測定する。一実施形態では、１または複数のフレックスセンサー２０２は、毎回すべてのアルファベット（ＩＳＬのＡ〜Ｚ）について様々な変位角度で指を曲げながら、密接な結果を測定および提供するようになっている。
【００３５】
一実施形態では、１または複数の接触センサー２０３は、綿／鋼の導電性糸の混紡で作られる。一実施形態では、糸は、柔軟で、耐久性があり、接触センサーとして機能するために、他の繊維組成物とともに所定の位置で編まれている。一実施形態では、１または複数の接触センサー２０３のそれぞれは、グローブの２つの異なる部分が接触しているときに、単純なスイッチのように作用し、マイクロコントローラ２０１に入力を提供する。例示的な一実施形態では、導電性糸は、所定の位置で接触センサーとしてプログラムされている。管状ニット構造は、再生セルロース糸として、ベースと共に使用される。
【００３６】
例示的な一実施形態では、導電性織物糸を使用して、センサーの統合をグローブに適合させる。いくつかの実施形態において、布地センサーは、柔らかい布地材料の電気的特性および高度な編み技術を使用することにより、グローブ内に作られる。一実施形態では、グローブの適切な領域で導電性織物糸を編む際の編み技術を使用すると、接着性織物電極は、着用者の皮膚と密接に接触する。一実施形態では、織物繊維糸の混紡（blends）は、インドの気候条件、手の汗腺、および結果の改善された性能と精度を得ることにおいて、子供またはユーザーによるグローブの使用を念頭に置いて、手の特定の領域で編みこまれる。例示的な一実施形態では、織物繊維糸は、天然繊維、２種類の再生セルロース繊維、スパンデックスおよび導電性糸で構成される。一実施形態では、織物繊維糸は、感覚的快適性および熱的生理学的快適性を提供する。これは、安定した熱および水分移動をさらに助ける。織物繊維の糸は、プロジェクト／ユーザーの要件に従って、特定の領域で編むことができる。一実施形態では、表面に沿った混紡糸の編みは、手の領域の最大発汗の専用領域でグローブに適用される。一実施形態では、グローブは、感覚的快適性および熱的生理学的快適性を助ける。これは、さらに安定した熱および水分移動を助ける。
【００３７】
ここで、図２（Ｃ）を参照すると、本発明の例示的な実施形態による、管状ニット構造および単一のジャージー構造としての基布を使用するグローブパネルにおける綿／鋼導電性糸の１または複数の接触センサーポイントの統合が示される。ここで、図２（ｃ）（ｉ）を参照すると、右手の手のひらパネルの綿／鋼導電性糸の１または複数の接触センサーポイントの統合が示される。例示的な一実施形態では、再生セルロース糸２０９は、基布である。導電性糸２０８は、接触点として作用するようにプログラムされる。ここで、図２（ｃ）（ｉｉ）を参照すると、右手の甲のパネルにある綿／鋼導電性糸の１または複数の接触センサーポイントの統合が示される。例示的な一実施形態では、天然繊維、再生セルロース糸、スパンデックス２１１の繊維組成物は、基布である。導電性糸２１０は、接触点に作用するようにプログラムされる。ここで、図２（ｃ）（ｉｉｉ）を参照すると、左手の手のひらパネルにある綿／鋼導電性糸の１または複数の接触センサーポイントの統合が示される。例示的な一実施形態では、再生セルロース糸２１３は、基布である。導電性糸２１２は、接触点として作用するようにプログラムされる。ここで、図２（ｃ）（ｉｖ）を参照すると、左手の甲のパネルにある綿／鋼導電性糸の１または複数の接触センサーポイントの統合が示される。例示的な一実施形態では、天然繊維、再生セルロース糸、スパンデックス２１５の繊維組成物は、基布である。導電性糸２１４は、接触点として作用するようにプログラムされる。
【００３８】
一実施形態では、１または複数の接触センサー２０３は、ジェスチャーの完了を確認するために、一対のテーラードグローブの接触点を所定の回数連続してスキャンするように構成される。一実施形態において、１または複数の接触センサー２０３は、各接触点のスキャンを実行する。例示的な一実施形態では、１または複数の接触センサー２０３は、各接触点をスキャンするのに２０ミリ秒を必要とする。一実施形態では、ジェスチャーが完了したことを確認するために、３回の連続スキャンに関するデータを比較する。一実施形態では、連続スキャンの間のデータ比較を使用して、各手について個別に一定のデータを取得する。例示的な一実施形態では、接触点によって取得されたデータは、ジェスチャーを行うために手が動いている間、変化し続ける。したがって、ジェスチャーが完了すると、３回の連続スキャンで接触点によって取得されたデータは、同じ／一定のままである必要がある。したがって、１または複数の接触センサー２０３は、接触点から最終データを取得するために６０ミリ秒を消費する。このデータは、さらにジェスチャーの完了を確認するために使用される。例示的な一実施形態では、接触点から取得されるデータのサイズは、６バイト、すなわち、各手で４８ビットである。
【００３９】
一実施形態では、マイクロコントローラ２０１は、一対のテーラードグローブの接触点および指の位置のデータを読み取るように構成される。一実施形態では、１または複数のフレックスセンサー２０２は、指の曲げ角度などの指の位置のデータを取得する。例示的な一実施形態では、マイクロコントローラ２０１は、接触点およびフレックスセンサーを読み取るために、１０ミリ秒を必要とする。
【００４０】
一実施形態では、マイクロコントローラ２０１は、手話のジェスチャーされたアルファベットのために、１対のテーラードグローブの１つのテーラードグローブにおいて、両手の生データを収集するように構成される。一実施形態では、手話は、インド手話（ＩＳＬ）である。一実施形態では、生データは、１または複数の接触センサーと、１または複数のフレックスセンサーとから取得されたデータである。一実施形態では、マイクロコントローラは、両手のジェスチャーの完了後に、生データとジェスチャーされたアルファベットの所定のデータとの比較を実行する。例示的な一実施形態では、左手のテーラードグローブは、右手のテーラードグローブに生データを送信する。一実施形態において、アルファベットの所定のデータと生データとの比較は、ジェスチャーが完了した後、右手データで行われる。例示的な一実施形態では、マイクロコントローラ２０１は、１６Ｋ以上のプログラムメモリ、４Ｋ ＲＡＭを有する８ビットのＰＩＣ１８Ｆ８７Ｋ２２マイクロコントローラである。一実施形態では、マイクロコントローラは、２つのシリアルポート（すなわち、ＲＳ２３２互換）、５つのアナログ入力、１０ビットＡＤＣモジュール、および５０以上のデジタルＩ／Ｏピンを含む。一実施形態では、マイクロコントローラ２０６は、それぞれ短距離通信プロトコルまたはＵＳＢポート２０７を使用して、ユーザーデバイス１０４への生データの送信を容易にするために、短距離トランシーバー２０４およびＵＳＢポート２０７と電子的に接続されている。例示的な一実施形態で、短距離トランシーバー２０４は、ブルートゥースモジュールである。短距離通信プロトコルは、ブルートゥースプロトコルである。一実施形態では、短距離トランシーバー２０４は、両手間の通信およびコンピューティングシステム１０１との通信に使用される。一実施形態では、コンピューティングシステム１０１は、ユーザーデバイス１０４に実装される。図２に示されるように、制御ユニット１０３は、マイクロコントローラ２０１に電力を供給する電源ユニット２０６をさらに含む。例示的な一実施形態では、マイクロコントローラ２０１は、双方向プログラム入力出力（ＰＩＯ）制御を利用して、２対のブルートゥース間のサーバーマスターモードとして機能する。一実施形態では、マイクロコントローラ２０１は、クエリ応答方法（サーバマスターモード）を使用したシステム１０１との通信と、２つの手のジェスチャーとの間の１または複数の接触センサーまたは１または複数のフレックスセンサーのデータを正常に収集および処理する。
【００４１】
ここで、図３を参照すると、本発明の一実施形態によるコンピューティングシステム１０１のコンポーネントが示される。図３に示すように、コンピューティングシステム１０１は、少なくとも１つのプロセッサ３０１と、入出力（Ｉ／Ｏ）インターフェース３０２と、メモリ３０３と、モジュール３０４と、データ３０９とを含む。一実施形態では、少なくとも１つのプロセッサ３０１は、メモリ３０３に格納されたコンピュータ可読命令をフェッチして実行するように構成される。
【００４２】
一実施形態では、Ｉ／Ｏインターフェース３０２は、様々なソフトウェアおよびハードウェアインターフェース（例えば、ウェブインターフェース、グラフィカルユーザーインターフェースなど）を含む。Ｉ／Ｏインターフェース３０２は、コンピューティングシステム１０１がユーザーデバイス１０４と相互作用することを可能にする。さらに、Ｉ／Ｏインターフェース３０２は、ユーザーデバイス１０４が他のコンピューティングデバイス（例えば、ウェブサーバーおよび外部データサーバーなど（図示しない））と通信することを可能にする。Ｉ／Ｏインターフェース３０２は、有線ネットワーク（例えば、ＬＡＮ、ケーブルなど）および無線ネットワーク（例えば、ＷＬＡＮ、セルラー、または衛星など）を含む、多種多様なネットワークおよび多種多様なプロトコルタイプ内の複数の通信を容易にする。Ｉ／Ｏインターフェース３０２は、別のサーバーに接続するための１または複数のポートを含む。
【００４３】
一実装形態では、メモリ３０３は、例えば、揮発性メモリ（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）およびダイナミックランダムアクセスメモリ（ＤＲＡＭ）など）、および／または、非揮発性メモリ（例えば、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブルＲＯＭ、フラッシュメモリ、ハードディスク、光ディスク、メモリカードなど）を含む、当技術分野で知られている任意のコンピュータ可読媒体を含む。メモリ３０３は、モジュール３０４およびデータ３０９を含む。
【００４４】
モジュール３０４は、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。これらは、特定のタスク、機能を実行するか、特定の抽象データ型を実装する。一実装形態では、モジュール３０４は、パターン認識モジュール３０５と、自動修正モジュール３０６と、フィードバック生成モジュール３０７と、他のモジュール３０８とを含む。他のモジュール３０８は、ユーザーデバイスのアプリケーションおよび機能を補足するプログラムまたはコード化命令を含む。
【００４５】
一実施形態では、データ３０９は、リポジトリ３１０および他のデータ３１１を含む。例示的な一実施形態では、リポジトリ３１０は、１または複数のモジュール３０４によって処理、受信、および生成されるデータを格納するように構成される。他のデータ３１１は、１または複数のモジュールの実行の結果として生成されたデータを含む。
【００４６】
一実装形態では、ユーザーは、ユーザーデバイス１０４を使用して、Ｉ／Ｏインターフェース３０２を介して、コンピューティングシステム１０１に登録する。ユーザーは、コンピューティングシステム１０１に登録するために、ユーザーデバイス１０４上にインストールされたアプリケーションを使用する。
【００４７】
一実施形態では、パターン認識モジュール３０５は、制御ユニット１０３から受信した生データを処理する。一実施形態では、パターン認識モジュール３０５は、人工ニューラルネットワーク（ＡＮＮ）法を使用して、生データを処理する。一実施形態では、人工ニューラルネットワーク（ＡＮＮ）を使用して、ジェスチャーされたアルファベットの値を導く。一実施形態では、パターン認識モジュール３０５は、１または複数のフレックスセンサーから得られたデータを所定のデータと比較するように構成されている。一実施形態では、所定のデータは、コンピューティングシステム１０１のデータベースに格納されたデータである。一実施形態では、パターン認識モジュール３０５は、比較に基づいて、ジェスチャーされたアルファベットの値を確認する。
【００４８】
ここで、図４Ａを参照すると本発明の実施形態による、パターン認識のための人工ニューラルネットワーク（ＡＮＮ）のブロック図が示される。一実施形態では、マイクロコントローラ２０１は、１または複数のフレックスセンサー２０２および１または複数の接触点センサー２０３から得られた、手ぶりの生データをＡＮＮ分類器（classifier）に送信する。次に、図４Ｂを参照すると、本発明の一実施形態によるＡＮＮの分類子の図が示されている。一実施形態では、ＡＮＮは、入力層に１０個の入力ニューロンを含む。例示的な一実施形態では、ＡＮＮは、左親指（ＬＴ）、左人差し指（ＬＩ）、左中指（ＬＭ）、左薬指（ＬＲ）、左小指（ＬＬ）、右親指（ＲＴ）、右人差し指（ＲＩ）、右中指（ＲＭ）、右薬指（ＲＲ）、右小指（ＲＬ）からの入力を含む。一実施形態では、ＡＮＮは、隠れ層に４つのニューロンを含む。一実施形態では、ＡＮＮは、出力層に２６個の出力ニューロンを含む。本発明の例示的な実施形態において、ＡＮＮパラメータは、以下の表１に示される。
【００４９】
【表１】
2020514841.tif 000003
【００５０】
ここで、図５を参照すると、本発明の一実施形態による、人工ニューラルネットワークを使用したパターン認識および自動修正を可能にするために、トレーニング段階における入力データの処理の段階的フローチャートが示される。ステップ５０１で、パターン認識モジュール３０５は、１または複数のフレックスセンサーから得られた生データにラベル付けして、Ｘロケーションに格納するために、命令を実行するように構成されている。ステップ５０２で、パターン認識モジュール３０５は、ターゲットと入力を分離するために、命令を実行するように構成されている。一実施形態では、ターゲットは、与えられた入力のために所望の出力を表す。ステップ５０３で、パターン認識モジュール３０５は、ターゲットおよび入力を１０回の交差検証用の１０個のグループに分割するために、命令を実行するように構成されている。ステップ５０４で、パターン認識モジュール３０５は、表１に示すパラメータを選択することにより、ニューラルネットワークを初期化するために、命令を実行するように構成される。ステップ５０５で、パターン認識モジュール３０５は、１０個のグループのうちの第１のグループのラベル付きデータでニューラルネットワークを教育（train）するように構成される。ステップ５０６で、パターン認識モジュール３０５は、残りの９つのグループのラベル付きデータでニューラルネットワークをテストするように構成される。ステップ５０７で、パターン認識モジュール３０５は、ステップ５０６でニューラルネットワークによって割り当てられたクラスから文字／アルファベットを読み取るために、機能読取り文字／読取りアルファベットを作成するように構成されている。ステップ５０８で、パターン認識モジュール３０５は、ニューラルネットワークを格納するように構成される。ステップ５０９で、パターン認識モジュール３０５は、文字／アルファベット認識のスコア／精度を計算するように構成される。ステップ５１０で、パターン認識モジュール３０５は、ステップ５０５〜５０９を反復的に繰り返して、１０回の交差検証を完了するように構成される。ステップ５１１で、パターン認識モジュール３０５は、最大スコアを有するニューラルネットワークの関数ｍｙ＿ｎｎを作成するように構成される。
【００５１】
ここで、図６を参照すると、本発明の一実施形態による、ニューラルネットワークにおけるパターン認識および自動修正を可能にするために、テスト段階における入力データの処理の段階的フローチャートが示される。ステップ６０１で、パターン認識モジュール３０５は、ラベル付けされていないフレックスセンサーデータを取得し、Ｘｔｅｓｔに保存するように構成される。ステップ６０２で、パターン認識モジュール３０５は、トレーニング段階でステップ５１１（図５に示すように）で作成された関数ｍｙ＿ｎｎを呼び出し、関数の独立変数（function argument）としてＸｔｅｓｔに合格するように構成される。ステップ６０３で、パターン認識モジュール３０５は、関数ｍｙ＿ｎｎによって割り当てられたクラスから文字を認識するために、文字を読むまたはアルファベットを読む関数を呼び出すように構成される。
【００５２】
ここで、再び図３を参照すると、自動修正モジュール３０６は、比較に基づいて、ジェスチャーされたアルファベットの値を自動修正するように構成される。一実施形態では、自動修正モジュール３０６は、ユーザーのエラーを最小化し、単語を自動修正する。一実施形態では、フィードバック生成モジュール３０７は、手でジェスチャーされたアルファベットまたは単語について、ユーザーへのフィードバックを生成するように構成される。一実施形態では、自動修正モジュール３０６は、画面に画像または絵文字を表示するように構成される。一実施形態では、画面は、手でジェスチャーされたアルファベットを使用して、関連する単語をスペルするように個人／ユーザーを視覚的に促す。
【００５３】
ここで、図７を参照すると、本発明の一実施形態による、システム１００によって実施される方法７００が示される。一実施形態では、ユーザーは、一対のグローブを着用する。一実施形態では、接触ユニット１０３は、一対のグローブ内に埋め込まれる。
【００５４】
ステップ７０１で、制御ユニット１０３内の１または複数の接触センサー２０３は、所定の回数、一対のテーラードグローブの接触点の連続スキャンを実行する。
【００５５】
ステップ７０２で、マイクロコントローラ２０１は、一対のテーラードグローブの接触点および指の位置のデータを読み取るように構成される。一実施形態では、１または複数のフレックスセンサー２０２は、指の位置の生データを取得する。
【００５６】
ステップ７０３で、マイクロコントローラ２０１は、手話のジェスチャーされたアルファベットのための、一対のテーラードグローブの１つのテーラードグローブにおいて、１または複数のフレックスセンサーの生データおよび両手の１または複数の接触点センサーのデータを収集する。一実施形態では、手話は、インド手話（ＩＳＬ）である。一実施形態では、２つのグローブは、短距離通信プロトコルによって、互いに通信可能に接続される。例示的な一実施形態では、マイクロコントローラ２０１は、双方向のプログラムされた入出力（ＰＩＯ）制御を利用して、２つのペアのブルートゥース間のサーバーマスターモードとして機能する。一実施形態において、生データは、通信のためにＡＳＣＩＩフォーマットに変換され、計算目的のためにマスターで１６進フォーマットに再変換される。マイクロコントローラは、両手のジェスチャーの完了後に、生データをジェスチャーされたアルファベットの所定のデータと比較する。
【００５７】
ステップ７０４で、マイクロコントローラ２０１は、短距離送信プロトコルを使用して、生データをユーザーデバイス１０４に送信する。
【００５８】
ステップ７０５で、ユーザーデバイス１０４は、ジェスチャーされたアルファベットの値を導くために、ニューラルネットワーク法を使用して生データを処理する。一実施形態では、ユーザーデバイス１０４は、パターン認識モジュール３０５によって、ニューラルネットワーク法を使用して生データを処理する。
【００５９】
ステップ７０６で、ユーザーデバイス１０４は、ジェスチャーされたアルファベットの値を確認するために、パターン認識モジュール３０５によって、接触点から得られたデータを所定のデータと比較する。
【００６０】
ステップ７０７で、ユーザーデバイス１０４は、自動修正モジュール３０６による比較に基づいて、ジェスチャーされたアルファベットの値を自動修正して、エラーを最小化する。
【００６１】
ステップ７０８で、ユーザーデバイス１０４は、画面に画像または絵文字を表示する。一実施形態では、ユーザーデバイス１０４は、フィードバック生成モジュール３０７によって、画像または絵文字を表示する。画面に表示される画像または絵文字は、手でジェスチャーされたアルファベットを使用して、関連する単語をスペルするよう個人に視覚的に促す。
【００６２】
ここで、図８を参照すると、本発明によるシステム１００の例示的な実施形態が示される。一実施形態では、ユーザーは、ユーザーデバイス１０４を使用して、コンピューティングシステム１０１にアクセスする。ユーザーは、ユーザーデバイス１０４を使用して、Ｉ／Ｏインターフェース３０２を介して、コンピューティングシステム１０１に登録する。ユーザーは、コンピューティングシステム１０１に登録するために、ユーザーデバイス１０４上にインストールされたアプリケーションを使用する。一実施形態では、ユーザーは子供である。ステップ８０１で、子供は、ユーザーデバイス１０４にインストールされたアプリケーションを開始する。ステップ８０２で、コンピューティングシステム１０１は、ユーザーデバイス１０４によって、子供にグローブを着用するよう促す。ステップ８０３で、システム１０１は、子供がグローブを着用しているかどうかをチェックする。子供がグローブを着用していない場合、コンピューティングシステム１０１は、ステップ８０２を繰り返す。子供がグローブを着用した場合、ステップ８０４で、コンピューティングシステム１０１は、子供に５秒間ジェスチャーを保持するように促す。ステップ８０５で、システム１０１は、子供が行うジェスチャーを検出する。子供がジェスチャーを実行しない場合、ステップ８０６で、グローブの制御ユニット１０３は、子供に触覚フィードバック（haptic feedback）を提供する。方法８００は、ステップ８０４に戻る。子供がジェスチャーを実行する場合、５秒のカウントダウンは、ユーザーデバイス１０４のディスプレイ／画面で開始する。ステップ８０７で、コンピューティングシステムは、子供が５秒間ジェスチャーを保持するかどうかをチェックする。子供が５秒間ジェスチャーを保持しない場合、ステップ８０８で、グローブの制御ユニット１０３は、子供に触覚フィードバックを提供する。方法８００は、ステップ８０４に戻る。子供が５秒間ジェスチャーを保持する場合、次いで、ステップ８０９で、システム１０１は、確認／お祝いメッセージを子供に表示する。ステップ８１０で、システム１０１は、学習機能、質問／自動修正機能、スペル機能から１つの機能を選択するように子供に促す。子供が学習機能を選択する場合、コンピューティングシステムは、ステップ８１１に進む。子供が質問／自動修正機能を選択する場合、コンピューティングシステムは、ステップ８１２に進む。子供がスペル機能を選択する場合、コンピューティングシステムは、ステップ８１３に進む。
【００６３】
ここで、図９を参照すると、システム１００によって実行される学習機能は、本発明の第１の例示的な実施形態に従って示される。一実施形態では、子供は、一対のグローブを着用する。制御ユニット１０３は、一対のグローブに埋め込まれる。ステップ９０１で、コンピューティングシステム１０１は、アルファベット／アルファベットジェスチャービデオを子供に表示する。例示的な一実施形態では、コンピューティングシステム１０１は、ユーザーデバイス１０４上にアルファベット／アルファベットジェスチャービデオを表示する。ステップ９０２で、子供は、ジェスチャーを模倣する。ステップ９０３で、一対のグローブに埋め込まれた制御ユニット１０３は、子供によって行われたジェスチャーを検知する。一実施形態では、制御ユニット１０３は、検知されたデータをコンピューティングシステム１０１に送信する。ステップ９０４で、コンピューティングシステム１０１は、ジェスチャーのパターンを認識する。ステップ９０５で、コンピューティングシステム１０１は、パターンが正しいかどうかを確認する。パターンが正しくない場合、ステップ９０６で、グローブの制御ユニット１０３は、ジェスチャーを修正するために子供に触覚フィードバックを与える。ステップ９０７で、子供はジェスチャーを自己修正し、コンピューティングシステムはジェスチャーを検証するためにステップ９０５に戻る。ジェスチャーパターンが正しい場合、ステップ９０８で、コンピューティングシステム１０１は、子供に視覚的フィードバックを表示する。コンピューティングシステムは、ステップ９０１に戻って、新しいアルファベットを学習する。
【００６４】
ここで、図１０および図１１を参照すると、本発明の第２の例示的実施形態による、コンピューティングシステム１００によって促進されるスペリングおよび語彙の構築が示される。次に、図１０を参照すると、ステップ１００１で、子供は、スペル機能を選択する。ステップ１００２で、システム１０１は、子供に単語／ダッシュ（dashes）を伝える（signing）人の写真／ビデオを表示する。例示的な一実施形態では、コンピューティングシステム１０１は、画面上に画像を促す。別の例示的な実施形態では、コンピューティングシステム１０１は、単語を伝える人のビデオを表示する。さらに別の例示的な実施形態では、コンピューティングシステム１０１は、ユーザーデバイス１０４の画面にダッシュを表示する。ステップ１００３で、システム１０１をコンピューティングする工程は、画面に表示される画像の単語を指文字で表現するように子供に促す。ステップ１００４で、システム１０１は、子供がジェスチャーを３秒間保持するかどうかをチェックする。保持しない場合、コンピューティングシステム１０１は、ステップ１００３に戻る。子供が３秒間ジェスチャーを保持する場合、ステップ１００５で、システム１０１は、ジェスチャーが識別可能であるかどうかをチェックする。ジェスチャーを識別できない場合、ステップ１００６で、グローブの制御ユニット１０３は、触覚フィードバックを提供する。コンピューティングシステム１０１は、疑問符のベクトル透かしをユーザーデバイス１０４の画面に表示する。ステップ１００７で、コンピューティングシステム１０１は、ベクトルの透かしを消す。ステップ１０２４で、システム１０１は、ジェスチャーが３回連続して識別されないかどうかをチェックする。識別される場合、コンピューティングシステム１０１は、ステップ１００３に戻る。ジェスチャーが３回連続して識別されない場合、ステップ１０２５で、コンピューティングシステム１０１は、指導書（tutorial）をユーザーに表示する。例示的な一実施形態では、指導書は、指話の画像を表示するためのボックスを含む。ジェスチャーが識別可能な場合、ステップ１００８で、コンピューティングシステム１０１は、アルファベットとアルファベットのベクトル透かしを表示する。ステップ１００９で、コンピューティングシステム１０１は、ダッシュの上にアルファベットを表示し、その後ベクトル透かしを消す。ステップ１０１０で、コンピューティングシステム１０１は、アルファベットの検証プロセスを実行する。アルファベットが無効である場合、ステップ１０１１で、コンピューティングシステム１０１は、指で綴られたアルファベットが間違っていると結論付ける。ステップ１０１２で、グローブの制御ユニット１０３は、触覚フィードバックを提供する。コンピューティングシステム１０１は、視覚的フィードバックを表示する。ステップ１０１３で、コンピューティングシステム１０１は、ダッシュの下に「親指を下げる」記号（却下）を表示する。ステップ１０１４で、コンピューティングシステム１０１は、指で綴られたアルファベットが３回連続して間違っているかどうかをチェックする。間違っていない場合、コンピューティングシステムは、ステップ１００３に戻る。間違っている場合、ステップ１０１５で、コンピューティングシステム１０１は、指導書およびヒントのオプションをユーザーに表示する。ユーザーがヒントオプションを選択した場合、ステップ１０１６で、コンピューティングシステム１０１は、ヒントをユーザーに表示する。例示的な実施形態では、ヒントは、正しいアルファベットを含むボックスを示す。あるいは、ユーザーが指導書オプションを選択した場合、ステップ１０１７で、コンピューティングシステム１０１は、指導書をユーザーに表示する。例示的な一実施形態では、指導書は、指文字で表現する画像を含むボックスを示す。コンピューティングシステム１０１がアルファベットの検証を実行し、指で綴られたアルファベットが正しいと結論付けた場合、ステップ１０１８で、コンピューティングシステム１０１は、ダッシュの下に「親指を立てる」記号（承認）を表示する。ステップ１０１９で、コンピューティングシステム１０１は、単語内の新しいアルファベットをチェックする。次のアルファベットが単語に存在する場合、コンピューティングシステム１０１は、ステップ１００３に戻る。次のアルファベットが存在しない場合、ステップ１０２０で、コンピューティングシステム１０１は、これが単語の終わりであると結論付ける。ステップ１０２１で、コンピューティングシステム１０１は、確認またはお祝いメッセージをユーザーに表示する。ステップ１０２２で、コンピューティングシステム１０１は、次の単語をチェックする。チェックする場合、コンピューティングシステム１０１は、ステップ１００２に戻る。チェックしない場合、ステップ１０２３で、プロセスを終了する。
【００６５】
ここで、図１１を参照すると、本発明の第２の例示的な実施形態に従って、システム１００によって実行されるスペル機能が示される。一実施形態では、子供は、一対のグローブを着用する。制御ユニット１０３は、一対のグローブに埋め込まれている。ステップ１１０１で、コンピューティングシステム１０１は、画像／単語のジェスチャービデオを子供に表示する。例示的な一実施形態では、コンピューティングシステム１０１は、ユーザーデバイス１０４に画像／単語ジェスチャービデオを表示する。ステップ１１０２で、子供は、単語の各アルファベットに対してジェスチャーを実行する。ステップ１１０３で、一対のグローブに埋め込まれた制御ユニット１０３は、子供によって行われたジェスチャーを検知する。一実施形態では、制御ユニット１０３は、検知したデータをシステム１０１に送信する。ステップ１１０４で、コンピューティングシステム１０１は、ジェスチャーのパターンを認識する。ステップ１１０５で、コンピューティングシステム１０１は、パターンが正しいかどうかをチェックする。パターンが正しくない場合、ステップ１１０６で、グローブの制御ユニット１０３は、ジェスチャーを修正するために、子供に触覚フィードバックを与える。ステップ１１０７で、子供は、ジェスチャーを自己修正する。コンピューティングシステム１０１は、ステップ９０５に戻る。ジェスチャーパターンが正しい場合、ステップ１１０８で、コンピューティングシステム１０１は、子供に視覚フィードバックを表示し、ステップ１１０１に戻って、促された画像またはジェスチャービデオの単語をスペルする。
【００６６】
ここで、図１２および図１３を参照すると、本発明の第３の例示的実施形態による、システム１００によって可能にされた単語の自動修正が示される。ここで、図１２を参照すると、ステップ１２０１で、子供は、質問／自動修正機能を選択する。ステップ１２０２で、コンピューティングシステム１０１は、指文字で表現するように子供に促す。一実施形態では、子供は、単語を指文字で表現する。ステップ１２０３で、コンピューティングシステム１０１は、子供が３秒間ジェスチャーを保持するかどうかをチェックする。保持しない場合、コンピューティングシステム１０１は、ステップ１２０２に戻る。子供が３秒間ジェスチャーを保持する場合、ステップ１２０４で、コンピューティングシステム１０１は、ジェスチャーが識別可能かどうかをチェックする。ジェスチャーを識別できない場合、ステップ１２０５で、グローブの制御ユニット１０３は触覚フィードバックを提供し、コンピューティングシステム１０１はユーザーデバイス１０４の画面に疑問符のベクトル透かしを表示する。ステップ１２０６で、コンピューティングシステム１０１は、ベクトルの透かしを消す。ステップ１２０７で、システム１０１は、ジェスチャーが３回連続して識別されていないかどうかをチェックする。識別される場合、コンピューティングシステム１０１は、ステップ１２０２に戻る。ジェスチャーが３回連続して識別されない場合、ステップ１２０８で、コンピューティングシステム１０１は、指導書をユーザーに表示する。例示的な一実施形態では、指導書は、指文字で表現する画像を表示するためのボックスを示す。ジェスチャーが識別可能である場合、ステップ１２０９で、コンピューティングシステム１０１は、アルファベットとアルファベットのベクトル透かしを表示する。ステップ１２１０で、コンピューティングシステム１０１は、ダッシュの上にアルファベットを表示し、その後ベクトル透かしを消す。ステップ１２１１で、コンピューティングシステム１０１は、データベースに格納された単語に類似した２＋アルファベットのシーケンスをチェックする。ステップ１２１２で、コンピューティングシステム１０１は、画面に単語を表示する。ステップ１２１３で、コンピューティングシステム１０１は、子供が単語を見て選択できるようにすることができる。ステップ１２１４で、コンピューティングシステム１０１は、次の単語をチェックする。次の単語が存在する場合、コンピューティングシステム１０１は、ステップ１２０２に戻る。存在しない場合、ステップ１２１５で、プロセスを終了する。
【００６７】
ここで、図１３を参照すると、本発明の第３の例示的な実施形態に従って、システム１００によって実行される質問／自動修正機能が示される。一実施形態では、子供は、一対のグローブを着用する。制御ユニット１０３は、一対のグローブに埋め込まれる。ステップ１３０１で、子供は、単語の各アルファベットに対してジェスチャーを実行する。ステップ１３０２で、一対のグローブに埋め込まれた制御ユニット１０３は、子供によって行われたジェスチャーを検知する。一実施形態では、制御ユニット１０３は、検知データをコンピューティングシステム１０１に送信する。ステップ１３０３で、コンピューティングシステム１０１は、ジェスチャーのパターンを認識する。ステップ１３０４で、コンピューティングシステム１０１は、パターンが正しいかどうかをチェックする。パターンが正しくない場合、ステップ１３０５で、コンピューティングシステム１０１は、手話で表現された単語に近い提案を提供する。ステップ１３０６で、子供は、ジェスチャーを自己修正する。コンピューティングシステムは、ステップ９０５に戻る。ジェスチャーパターンが正しい場合、ステップ１３０７で、コンピューティングシステム１０１は、視覚的フィードバックを子供に表示し、ステップ１３０１に戻って、新しい単語のジェスチャーを実行する。
【００６８】
ここで、図１４を参照すると、ディスプレイスクリーン上に視覚化された画像または絵文字が示される。それは、手でジェスチャーされたアルファベットを使用して、関連する単語をスペルすることを個人に促す。図１４に示すように、画像または絵文字は、図１４から見られるように、その単語の関連する画像（ジャガイモ、ビートルート、ニンジンなど）と、ユーザーが手話で表現した単語のインド手話（ＩＳＬ）の手でジェスチャーされたアルファベットとを構成する。
【００６９】
上述の例示的な実施形態は、特定の利点を提供する。本開示のいくつかの実施形態は、従来のシステムよりも正確なシステムおよび方法を可能にする。システムの精度は、２層のセンサーの使用に基づいて達成される。センサーの組み合わせにより、ニューラルネットワークを使用して、システムの精度をより向上させ、データを分析する。
【００７０】
本開示のいくつかの実施形態は、システムおよび方法が、手話者の手の異なる部分間の相互作用として、ジェスチャーを検出することを可能にする。
【００７１】
本開示のいくつかの実施形態は、システムおよび方法を、通常の学生だけでなく、障害のある学生、特に、聴覚障害のある学生／個人の教育目的で使用することを可能にする。
【００７２】
本開示のいくつかの実施形態は、その使用およびユーザーの安全性を念頭に置いて、特に、設計されたコンパクトな製品を可能にする。このシステムは、ユーザーデバイスで重い処理を実行する。そのユーザーデバイスは、ハードウェアコストをさらに削減することができる。
【００７３】
いくつかの実施形態では、本発明で開示されるウェアラブルグローブは、安全かつ信頼できる出力を達成するために、ウェアラブルセンサーシステムに非常に必要である専用設計および非侵襲センサー統合を有してもよい。このデザインは、ＩＳＬをテキストに変換するための聴覚障害児の教育に使用される子供用グローブの精度を満たす。
【００７４】
いくつかの実施形態では、システムは、ウェアラブルセンサーシステムを含む。このウェアラブルセンサーシステムは、多種多様なコンポーネントセンサー、ウェアラブル素材、スマートテキスタイル、アクチュエータ、電源、無線通信モジュールおよびリンク、制御および処理ユニット、ユーザー用インターフェース、ソフトウェア、データ抽出および意思決定のための高度なアルゴリズムを含む。外観は、審美的な要件を満たさないが、システムの重量とサイズは、小さくされ、ユーザーの動きや動作を妨げない。これは、このグローブを使用する子供の場合に不可欠である。
【００７５】
本開示のいくつかの実施形態は、なすべきことを子供／個人に伝える際に、システムおよび方法が、シンプルで魅力的かつ効率的なインターフェースを提供することを可能にする。システムは、任意の点で参照できる各文字を手話で表現する方法の指導書を提供する。一実施形態では、同じ視覚言語を有し、子供／個人によって正確に解釈される視覚プロンプトは、インターフェースを介して提供される。
【００７６】
本開示のいくつかの実施形態は、手話で表現された文字が正しいか正しくない場合に、子供／個人をガイドするフィードバック機構を提供する。
【００７７】
いくつかの実施形態では、システムは、特定の文字セットを手話で表現（sign）／描画することを新しいユーザーに依頼することにより較正される。このプロセスは、新しいユーザーがキャラクターを手話で表現／描画する特定の方法だけでなく、動きの全範囲を理解するのに役立つ。
【００７８】
前述の段落の実施形態、実施例および代替物、説明（それらの様々な態様またはそれぞれの個々の特徴のいずれかを含む）は、独立してまたは任意の組み合わせでとられてもよい。一実施形態に関連して説明される特徴は、そのような特徴が適合しない場合を除き、すべての実施形態に適用可能である。本開示は、その精神または本質的な特徴から逸脱することなく、他の多くの形態で実施することができ、または他の方法で実施することができる。本開示の上記実施形態は、例示目的のみで、詳細に開示される。本開示はそれに限定されず、当業者に知られている多くの変更および修正の余地がある。部品の再配置を含む開示されたシステムのそのようなすべての変形または修正は、以下の範囲内にあることが理解される。
【図１】
2020514841.tif 000004
【図２Ａ】
2020514841.tif 000005
【図２Ｂ】
2020514841.tif 000006
【図２Ｃ】
2020514841.tif 000007
【図３】
2020514841.tif 000008
【図４Ａ】
2020514841.tif 000009
【図４Ｂ】
2020514841.tif 000010
【図５】
2020514841.tif 000011
【図６】
2020514841.tif 000012
【図７】
2020514841.tif 000013
【図８Ａ】
2020514841.tif 000014
【図８Ｂ】
2020514841.tif 000015
【図９】
2020514841.tif 000016
【図１０Ａ】
2020514841.tif 000017
【図１０Ｂ】
2020514841.tif 000018
【図１０Ｃ】
2020514841.tif 000019
【図１１】
2020514841.tif 000020
【図１２Ａ】
2020514841.tif 000021
【図１２Ｂ】
2020514841.tif 000022
【図１３】
2020514841.tif 000023
【図１４】
2020514841.tif 000024
【国際調査報告】
2020514841.tif 000025