(57)【要約】【課題】ユーザーが舌を動かすことで簡単に機器操作が行える操作装置を実現すること。【解決手段】超音波を送受信する複数の超音波素子を有し、超音波の送受信面が顎下の皮膚面に当接される超音波プローブと、前記超音波プローブの受信信号に基づいて舌体の姿勢を判定し、当該姿勢に応じた操作信号を出力する演算処理部と、を備えた操作装置である。また、超音波を送受信する複数の超音波素子を有し、超音波の送受信面が顎下の皮膚面に当接される超音波プローブを備えた操作装置の制御方法であって、前記超音波プローブの受信信号に基づいて舌体の姿勢を判定することと、前記姿勢に応じた操作信号を出力することと、を含む制御方法を構成することもできる。【選択図】図１４
2018055217.tif 000002
【特許請求の範囲】
【請求項１】
超音波を送受信する複数の超音波素子を有し、超音波の送受信面が顎下の皮膚面に当接される超音波プローブと、
前記超音波プローブの受信信号に基づいて舌体の姿勢を判定し、当該姿勢に応じた操作信号を出力する演算処理部と、
を備えた操作装置。
【請求項２】
前記演算処理部は、前記受信信号から前記舌体の表面位置を検出し、当該表面位置を用いて前記舌体の姿勢を判定する、
請求項１に記載の操作装置。
【請求項３】
前記演算処理部は、前記舌体の前後方向および左右方向の少なくとも何れか一方の傾斜を少なくとも前記姿勢に含めて判定する、
請求項１又は２に記載の操作装置。
【請求項４】
前記演算処理部は、前記舌体の前後方向および左右方向の傾斜を判定し、当該判定結果に基づいて２次元方向の操作信号を出力する、
請求項３に記載の操作装置。
【請求項５】
前記演算処理部は、前記傾斜の程度を判定し、判定した程度に基づき前記２次元方向の操作速度を表す操作信号を出力する、
請求項４に記載の操作装置。
【請求項６】
前記演算処理部は、前記送受信面から前記舌体の左側部までの距離と、前記送受信面から前記舌体の右側部までの距離とに基づいて、前記左右方向の傾斜を判定する、
請求項３〜５の何れか一項に記載の操作装置。
【請求項７】
前記演算処理部は、前記送受信面から前記舌体の先端部までの距離と、前記送受信面から前記舌体の舌根部までの距離とに基づいて、前記前後方向の傾斜を判定する、
請求項３〜６の何れか一項に記載の操作装置。
【請求項８】
前記演算処理部は、前記舌体の先端部の位置を少なくとも前記姿勢に含めて判定する、
請求項１〜７の何れか一項に記載の操作装置。
【請求項９】
前記演算処理部は、前記舌体の先端部の位置に基づいて、選択操作が為されたか否かを表す操作信号を出力する、
請求項８に記載の操作装置。
【請求項１０】
前記演算処理部は、前記送受信面から前記舌体の先端部までの距離に基づいて前記舌体の先端部の位置を判定する、
請求項８又は９に記載の操作装置。
【請求項１１】
前記超音波プローブは、前記複数の超音波素子を２次元配列して有する、
請求項１〜１０の何れか一項に記載の操作装置。
【請求項１２】
超音波を送受信する複数の超音波素子を有し、超音波の送受信面が顎下の皮膚面に当接される超音波プローブを備えた操作装置の制御方法であって、
前記超音波プローブの受信信号に基づいて舌体の姿勢を判定することと、
前記姿勢に応じた操作信号を出力することと、
を含む制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機器操作を行う操作装置等に関する。
【背景技術】
【０００２】
従来から、手指を使って機器を操作するのが困難な人等のために、手指以外の身体部分によって機器を操作するための操作装置が開発されている。例えば、特許文献１には、防水された筐体を口腔内に固定し、舌でレバー部を操作するポインティングデバイスが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２９０５９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の技術では、装置自体を口腔内に導入して使用するため、誤飲のおそれがあった。また衛生面でも問題があった。そこで本発明は、口腔内に装置を導入することなく、ユーザーが舌を動かすことで簡単に機器操作が行える操作装置の実現を目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するための第１の発明は、超音波を送受信する複数の超音波素子を有し、超音波の送受信面が顎下の皮膚面に当接される超音波プローブと、前記超音波プローブの受信信号に基づいて舌体の姿勢を判定し、当該姿勢に応じた操作信号を出力する演算処理部と、を備えた操作装置である。
【０００６】
また、他の発明として、超音波を送受信する複数の超音波素子を有し、超音波の送受信面が顎下の皮膚面に当接される超音波プローブを備えた操作装置の制御方法であって、前記超音波プローブの受信信号に基づいて舌体の姿勢を判定することと、前記姿勢に応じた操作信号を出力することと、を含む制御方法を構成してもよい。
【０００７】
第１の発明等によれば、複数の超音波素子を有する超音波プローブを用いて顎下の皮膚面から舌体に向けて超音波を送信し、その受信信号に基づいて舌体の姿勢を判定することができる。そして、舌体の姿勢に応じた操作信号を出力することができる。これによれば、ユーザーは、超音波プローブを顎下の皮膚面に当接させ、舌を動かすことによって簡単に機器操作を行うことができる。
【０００８】
また、第２の発明として、前記演算処理部は、前記受信信号から前記舌体の表面位置を検出し、当該表面位置を用いて前記舌体の姿勢を判定する、第１の発明の操作装置を構成してもよい。
【０００９】
第２の発明によれば、舌体の表面位置を検出して用い、舌体の姿勢を判定することができる。
【００１０】
また、第３の発明として、前記演算処理部は、前記舌体の前後方向および左右方向の少なくとも何れか一方の傾斜を少なくとも前記姿勢に含めて判定する、第１又は第２の発明の操作装置を構成してもよい。
【００１１】
第３の発明によれば、舌体の左右方向および前後方向の少なくとも何れか一方の傾斜を判定できる。これによれば、ユーザーは、舌体を左右方向に傾斜させ、あるいは前後方向に傾斜させることで操作入力が行える。
【００１２】
また、第４の発明として、前記演算処理部は、前記舌体の前後方向および左右方向の傾斜を判定し、当該判定結果に基づいて２次元方向の操作信号を出力する、第３の発明の操作装置を構成してもよい。
【００１３】
第４の発明によれば、舌体の左右方向および前後方向の傾斜に応じた２次元方向の操作信号を出力できる。これによれば、ユーザーは、舌体を左右方向および前後方向に傾斜させることで、２次元方向を指示する操作入力が行える。
【００１４】
また、第５の発明として、前記演算処理部は、前記傾斜の程度を判定し、判定した程度に基づき前記２次元方向の操作速度を表す操作信号を出力する、第４の発明の操作装置を構成してもよい。
【００１５】
第５の発明によれば、舌体の左右方向および前後方向の傾斜の程度に応じた２次元方向の操作速度を表す操作信号を出力できる。これによれば、ユーザーは、舌体の左右方向および前後方向の傾斜の程度を加減することで、２次元方向の操作速度を指示する操作入力が行える。
【００１６】
また、第６の発明として、前記演算処理部は、前記送受信面から前記舌体の左側部までの距離と、前記送受信面から前記舌体の右側部までの距離とに基づいて、前記左右方向の傾斜を判定する、第３〜第５の何れかの発明の操作装置を構成してもよい。
【００１７】
第６の発明によれば、超音波の送受信面から舌体の左側部までの距離と、送受信面から舌体の右側部までの距離とに基づき舌体の左右方向の傾斜を判定できる。
【００１８】
また、第７の発明として、前記演算処理部は、前記送受信面から前記舌体の先端部までの距離と、前記送受信面から前記舌体の舌根部までの距離とに基づいて、前記前後方向の傾斜を判定する、第３〜第６の何れかの発明の操作装置を構成してもよい。
【００１９】
第７の発明によれば、超音波の送受信面から舌体の先端部までの距離と、送受信面から舌体の舌根部までの距離とに基づき舌体の前後方向の傾斜を判定できる。
【００２０】
また、第８の発明として、前記演算処理部は、前記舌体の先端部の位置を少なくとも前記姿勢に含めて判定する、第１〜第７の何れかの発明の操作装置を構成してもよい。
【００２１】
第８の発明によれば、舌体の先端部の位置を判定できる。これによれば、ユーザーは、舌体の先端部の位置によって操作入力が行える。
【００２２】
また、第９の発明として、前記演算処理部は、前記舌体の先端部の位置に基づいて、選択操作が為されたか否かを表す操作信号を出力する、第８の発明の操作装置を構成してもよい。
【００２３】
第９の発明によれば、舌体の先端部の位置に応じて選択操作が為されたか否かを表す操作信号を出力できる。これによれば、ユーザーは、舌体の先端部の位置によって選択操作を入力できる。
【００２４】
また、第１０の発明として、前記演算処理部は、前記送受信面から前記舌体の先端部までの距離に基づいて前記舌体の先端部の位置を判定する、第８又は第９の発明の操作装置を構成してもよい。
【００２５】
第１０の発明によれば、超音波の送受信面から舌体の先端部までの距離に基づき舌体の先端部の位置を判定できる。
【００２６】
また、第１１の発明として、前記超音波プローブは、前記複数の超音波素子を２次元配列して有する、第１〜第１０の何れかの発明の操作装置を構成してもよい。
【００２７】
第１１の発明によれば、複数の超音波素子を２次元配列して有する超音波プローブを用いることができる。
【図面の簡単な説明】
【００２８】
【図１】操作装置の全体構成例を示す図。
【図２】超音波プローブの装着状態を示す正面図。
【図３】超音波プローブの装着状態を示す側面図。
【図４】超音波プローブの超音波の送受信面側を示す図。
【図５】Ｂモード像の一例を示す図。
【図６】Ｂモード像の他の例を示す図。
【図７】Ｂモード像の他の例を示す図。
【図８】舌体と、各超音波素子とのｘｙｚ空間における位置関係の一例を示す模式図。
【図９】Ａモード像の一例を示す図。
【図１０】キャリブレーション処理時の操作装置の表示画面例を示す図。
【図１１】キャリブレーション処理時の操作装置の他の表示画面例を示す図。
【図１２】移動操作信号の生成を説明する図。
【図１３】移動操作信号によって実現されるポインターの移動を示す模式図。
【図１４】操作装置の機能構成例を示すブロック図。
【図１５】操作信号の出力処理の流れを示すフローチャート。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、本発明の好適な実施形態について説明する。なお、以下説明する実施形態によって本発明が限定されるものではなく、本発明を適用可能な形態が以下の実施形態に限定されるものでもない。また、図面の記載において、同一部分には同一の符号を付す。
【００３０】
図１は、本実施形態における操作装置１の全体構成例を示す図である。図２は、ユーザー９に対する超音波プローブ１０の装着状態を示す正面図、図３は、当該装着状態を示す側面図である。また、図３において、ユーザー９の舌体９１を破線で示している。図４は、超音波プローブ１０の超音波の送受信面１１側を示す図である。図４では、舌体９１に対する超音波プローブ１０の相対位置関係を示すために、舌体９１を破線で示している。本実施形態の操作装置１は、超音波測定を利用してユーザー９の舌体９１の姿勢を判定し、例えばパソコン等の機器（電子機器）７に対する操作信号を生成・出力するものであり、超音波プローブ１０と処理装置３０とがケーブルにより電気的に接続されて構成される。ここで、左右、前後、上下の方向をユーザー９を基準として定めることとし、舌体９１の左右方向をｘ方向（左方を正とする）、舌体９１の前後方向をｙ方向（前方向を正とする）、これらの各方向と直交する上下方向をｚ方向（上方向を正とする）と定義する。
【００３１】
超音波プローブ１０は、使用時にユーザー９の皮膚面（生体表面）に当接する送受信面１１側において、超音波を送受信する複数の超音波素子（超音波振動子）１３を例えば十字状に２次元配列して有している。この超音波素子（以下、単に「素子」ともいう）１３は、超音波と電気信号とを変換する超音波トランスデューサーであり、数ＭＨｚ〜数十ＭＨｚの超音波パルスを送信可能であるとともに、その反射波を受信可能である。
【００３２】
超音波測定に先立ち、超音波プローブ１０は、ユーザー９の顎下の皮膚面に対して粘着台座１０１により貼付・固定されて顎下に装着される。粘着台座１０１は、皮膚面に着脱可能な粘着層を有しており、ユーザー９が身体を動かしても容易に外れたり剥がれたりしない。この粘着台座１０１は、超音波プローブ１０における素子１３の一方の配列方向（行方向）が舌体９１の左右方向（ｘ方向）に沿うように皮膚面に貼付され、当該皮膚面に送受信面１１を密着させて固定する。このようにして超音波プローブ１０を顎下に装着することで各素子１３が舌体９１の下方に位置付けられ、超音波プローブ１０は、ｚ方向を走査線Ｌの方向として超音波ビームを送受信する（図８を参照）。
【００３３】
処理装置３０は、一種のコンピューター制御装置であり、超音波測定をはじめとする生体情報の取得に必要な処理を行う。具体的には、処理装置３０は、超音波プローブ１０を制御して顎下から舌体９１に向けて超音波ビームを送信し、その反射波（超音波エコー）を受信する。そして、反射波の受信信号を増幅・信号処理し、ユーザー９の生体内構造の位置情報や経時変化等の反射波データを生成する。超音波測定は、所定周期で繰り返し行われる。この所定周期での測定単位を「フレーム」と呼ぶ。
【００３４】
反射波データには、いわゆるＡモード、Ｂモード、Ｍモード、ドップラーモード等の各モードの画像が含まれる。Ａモードは、第１軸を所定の皮膚面位置（本実施形態では顎下の皮膚面位置）を起点とするｚ方向に沿った距離（ｚ位置）とし、第２軸を反射波の受信信号強度（反射強度）として、反射波の振幅（Ａモード像）を表示するモードである。また、Ｂモードは、超音波ビームを所定の走査範囲内で走査させながら得た反射波振幅（Ａモード画像）を輝度値に変換することで可視化した、生体内構造の二次元の超音波画像（Ｂモード画像）を表示するモードである。
【００３５】
例えば、超音波プローブ１０は、各素子１３の配列方向（ｘ方向およびｙ方向）毎に、いわゆるリニアスキャン方式で超音波測定を行う。すなわち、各配列方向の素子１３は、超音波ビームの入射位置をその配列方向に素子１３のピッチ分ずつずらしながらｚ方向の走査線に沿って超音波ビームを送受信し、１フレーム分の反射波データを得る。したがって、反射波データとして、各素子１３と対向する顎下の皮膚面位置を超音波の入射位置とするＡモード像が得られ、ｘｚ平面のＢモード像と、ｙｚ平面のＢモード像とがフレーム単位で生成される。ｘｚ平面のＢモード像には舌体９１の左右方向の断面（横断面）が描出され、ｙｚ平面のＢモード像には舌体９１の前後方向の断面（縦断面）が描出される。
【００３６】
ここで、超音波の反射強度は媒質が変化する位置で高くなるため、口腔内の空気と接する境界面である舌体表面の位置は、Ａモード像で見れば反射波振幅は大きく、Ｂモード像では高輝度として表される。したがって、反射波データを解析することにより、舌体表面の位置を検出できる。図５は、舌体９１を水平にして通常の位置（定位置）に置いた状態（以下、「通常状態」という）で超音波測定を行い、得られたｘｚ平面のＢモード像を示す図である。また、図６は、舌体９１を右に傾斜させた状態で得たｘｚ平面のＢモード像を示し、図７は、舌体９１を左に傾斜させた状態で得たｘｚ平面のＢモード像を示す図である。図５では、高輝度を示す白色が水平（左右に平行）なライン状に現れており、舌体表面が水平状にあることを確認できる。また、図６では高輝度を示す白色が右に傾斜したライン状（又は弧状）に現れており、舌体表面が右に傾斜していることを確認できる。また、図７では高輝度を示す白色が左に傾斜したライン状（又は弧状）に現れており、舌体表面が左に傾斜していることを確認できる。
【００３７】
［原理］
本実施形態では、ユーザー９は、口腔内で舌体９１を左右方向に傾斜させることで機器７の表示画面に表示されているポインター（カーソル）を画面横方向に移動させ、それと同時又は別個に舌体９１を前後方向に傾斜させることで、ポインターを画面縦方向に移動させることができる。すなわちポインターの移動操作を入力することができる。その際、傾斜の程度を加減することによってポインターの移動量（移動速度）を指示する。また、口腔内で舌体９１を上昇させる（上に持ち上げる）ことで、選択操作（クリック操作）を入力することができる。そして、操作装置１は、これらポインターの移動操作および選択操作に応じた操作信号を機器７に出力するために、（１）超音波測定で得た反射波データ（例えばＡモード像）に基づき舌体９１の表面位置を検出する処理（舌体表面検出処理）と、（２）検出した舌体９１の表面位置に基づき舌体９１の姿勢を判定する処理（姿勢判定処理）と、（３）判定した舌体９１の姿勢に応じた操作信号を生成する処理（操作信号生成処理）とを行う。
【００３８】
図８は、舌体９１と、舌体９１の下方に位置付けられた各素子１３とのｘｙｚ空間における位置関係の一例を示す模式図であり、各素子１３に対応する超音波ビームの走査線Ｌを併せて示している。より詳細には、図８では、超音波プローブ１０において送受信面１１側に配列された十字状の交点に位置する素子１３ａと、当該素子１３ａに対して点対称の４つの素子１３ｂ〜１３ｅとを示している。本実施形態では、交点の素子１３から各配列方向に沿って四方に所定距離（例えば０．５ｃｍ）離れた４つの素子１３ｂ〜１３ｅの各走査線Ｌ上のＡモード像を用い、上記一連の処理を行って操作信号を機器７に出力する。
【００３９】
ここで、図８に示すように、ｘｙ平面内の素子１３ａの位置（ｘ，ｙ）を（ｘ０，ｙ０）、素子１３ｂの位置（ｘ，ｙ）を（ｘ１，ｙ０）、素子１３ｃの位置（ｘ，ｙ）を（ｘ２，ｙ０）、素子１３ｄの位置（ｘ，ｙ）を（ｘ０，ｙ１）、素子１３ｅの位置（ｘ，ｙ）を（ｘ０，ｙ２）と表記し、そのうちの素子１３ｂ〜１３ｅの各位置（ｘ，ｙ）を「検出対象点」と呼ぶ。また、素子１３ａ〜１３ｅの各走査線Ｌと交差する舌体９１の表面のｚ位置（該当する素子１３ａ〜１３ｅと対向する顎下の皮膚面位置から舌体表面までのｚ方向に沿った距離）をそれぞれＳｏ，Ｓｘ１，Ｓｘ２，Ｓｙ１，Ｓｙ２と表記し、当該ｚ位置のことを「舌体表面距離」と呼ぶ。そのうちのＳｘ１が舌体９１の右側部の表面位置、Ｓｘ２が舌体９１の左側部の表面位置、Ｓｙ１が舌体９１の先端部の表面位置、Ｓｙ２が舌体９１の舌根部の表面位置に相当する。
【００４０】
（１）舌体表面検出処理
舌体表面検出処理は、例えば、素子１３ｂ〜１３ｅに係るＡモード像を解析し、各検出対象点（ｘ，ｙ）の舌体表面距離Ｓｘ１，Ｓｘ２，Ｓｙ１，Ｓｙ２を検出する処理である。図９は、Ａモード像として得られる走査線Ｌ上の反射波振幅の一例を示す図である。図９に示すように、反射波振幅には、舌体表面のｚ位置Ｄ１に高いピークＰ１が現れる。
【００４１】
そこで、舌体表面検出処理では、素子１３ｂ〜１３ｅに係るＡモード像の各々から反射波振幅のピークを検出し、その反射波振幅が予め設定される所定の閾値以上のピーク位置を、対応する検出対象点（ｘ，ｙ）の舌体表面距離Ｓｘ１，Ｓｘ２，Ｓｙ１，Ｓｙ２とする。ここで、舌体９１が位置し得るｚ位置の範囲は、口腔内の構造等から予め規定しておくことが可能である。そこで、当該範囲を注目領域Ａ１とし、注目領域Ａ１を対象にピーク検出を行うとよい。注目領域Ａ１は、例えばｚ位置が、送受信面１１から１ｃｍ以上の距離範囲とする等、適宜設定できる。
【００４２】
なお、ここではＡモード像を用いることとしたが、Ｂモード像の輝度値に基づいて、各検出対象点（ｘ，ｙ）の舌体表面距離Ｓｘ１，Ｓｘ２，Ｓｙ１，Ｓｙ２を検出するとしてもよい。
【００４３】
（２）姿勢判定処理
姿勢判定処理は、例えば、舌体９１の左右方向および前後方向の傾斜の程度と、舌体９１の先端部の位置とを舌体９１の姿勢として判定する処理である。本実施形態では、予めキャリブレーションを行い、姿勢判定に用いる舌体９１の姿勢の基準値（通常時基準表面距離および上昇時基準先端表面距離）を設定しておく（キャリブレーション処理）。
【００４４】
図１０および図１１は、キャリブレーション処理時における操作装置１の表示画面例を示す図である。キャリブレーション処理に際しては、操作装置１は先ず、図１０に示すように、舌体９１を通常状態にして静止するよう指示するメッセージを画面表示し、その上で数秒間超音波測定を行う。そして、舌体表面検出処理と同様の要領で、例えばＡモード像から各検出対象点（ｘ，ｙ）の舌体表面距離Ｓｘ１，Ｓｘ２，Ｓｙ１，Ｓｙ２を検出する。その後、検出した数秒間の間の舌体表面距離Ｓｘ１，Ｓｘ２，Ｓｙ１，Ｓｙ２を検出対象点（ｘ，ｙ）毎に平均し、通常時基準表面距離ＳＩｘ１，ＳＩｘ２，ＳＩｙ１，ＳＩｙ２とする。
【００４５】
次に、図１１に示すように、舌体９１を大きく上昇させた状態で静止するよう指示するメッセージを画面表示し、超音波測定を行う。このときには、ユーザー９は、舌体９１を上顎につけるように大きく持ち上げた状態で待機する。そして、Ａモード像から舌体９１の先端部側の検出対象点（ｘ０，ｙ１）の舌体表面距離Ｓｘ１を検出し、数秒間の間の平均値を上昇時基準先端表面距離ＳＣｘ１とする。
【００４６】
そして、姿勢判定処理では、前段の舌体表面検出処理で検出した各検出対象点（ｘ，ｙ）の舌体表面距離Ｓｘ１，Ｓｘ２，Ｓｙ１，Ｓｙ２に基づいて、舌体９１の傾斜の程度を判定する。具体的には先ず、次式（１）〜（４）に従い、舌体表面距離Ｓｘ１，Ｓｘ２，Ｓｙ１，Ｓｙ２の各々について、対応する検出対象点（ｘ，ｙ）における通常時基準表面距離ＳＩｘ１，ＳＩｘ２，ＳＩｙ１，ＳＩｙ２との差Δｘ１，Δｘ２，Δｙ１，Δｙ２を算出する。その後、Δｘ１とΔｘ２とを比較し、絶対値が大きい方を選択して左右方向傾斜値とする。同様に、Δｙ１とΔｙ２とを比較し、絶対値が大きい方を選択して前後方向傾斜値とする。
Δｘ１＝Ｓｘ１−ＳＩｘ１    ・・・（１）
Δｘ２＝Ｓｘ２−ＳＩｘ２    ・・・（２）
Δｙ１＝Ｓｙ１−ＳＩｙ１    ・・・（３）
Δｙ２＝Ｓｙ２−ＳＩｙ２    ・・・（４）
【００４７】
また、姿勢判定処理では、検出対象点（ｘ０，ｙ１）の舌体表面距離Ｓｙ１に基づいて、舌体９１の先端部の位置を判定する。例えば、閾値Ｔｈを用いて舌体表面距離Ｓｙ１を閾値判定することで、先端部の位置を判定する。閾値Ｔｈは、例えば次式（５）に示すように、上昇時基準先端表面距離ＳＣｘ１に「０．９」を乗じた値とする。これにより、舌体９１の先端部が上がった姿勢を判定できる。
Ｔｈ＝０．９×ＳＣｘ１    ・・・（５）
【００４８】
（３）操作信号生成処理
１．移動操作信号
操作信号生成処理では、左右方向傾斜値としたΔｘ１又はΔｘ２と、前後方向傾斜値としたΔｙ１又はΔｙ２とから、２次元方向の操作速度を表す操作信号であるポインターの移動操作信号を生成する。図１２は、移動操作信号の生成を説明する図である。
【００４９】
ここで、左右方向傾斜値がΔｘ１とされた場合、Δｘ１が正の値であれば、舌体９１は左に傾斜していると判定できる。また、左右方向傾斜値がΔｘ２とされ、Δｘ２が負の値の場合も同様に、舌体９１は左に傾斜していると判定できる。これらの場合は、図１２のレコードＲ２１およびレコードＲ２４に示すように、画面横方向左向きへと対応する移動量分ポインターを移動させる。また、左右方向傾斜値がΔｘ１で負の値の場合と、左右方向傾斜値がΔｘ２で正の値の場合は、舌体９１は右に傾斜していると判定できる。これらの場合は、レコードＲ２２およびレコードＲ２３に示すように、画面横方向右向きへと対応する移動量分ポインターを移動させる。
【００５０】
一方、前後方向傾斜値がΔｙ１とされた場合、Δｙ１が正の値であれば、舌体９１は後ろに傾斜している（先端部が上がっている）と判定できる。また、前後方向傾斜値がΔｙ２とされ、Δｙ２が負の値の場合も同様に、舌体９１は後ろに傾斜していると判定できる。これらの場合は、レコードＲ２５およびレコードＲ２８に示すように、画面縦方向上向きへと対応する移動量分ポインターを移動させる。また、前後方向傾斜値がΔｙ１で負の値の場合と、前後方向傾斜値がΔｙ２で正の値の場合は、舌体９１は前に傾斜している（舌根部が上がっている）と判定できる。これらの場合は、レコードＲ２６およびレコードＲ２７に示すように、画面縦方向舌向きへと対応する移動量分ポインターを移動させる。
【００５１】
移動量は、左右方向傾斜値や前後方向傾斜値の絶対値に所定のウェイトａを乗じた値とされる。絶対値が大きいほど対応する向きにポインターは大きく（移動速度が速く）移動する。なお、ウェイトａは、操作信号を出力する機器に応じて適宜設定してよい。値を大きくすれば、ポインターの感度は高くなる。
【００５２】
実際の操作信号生成処理では、左右方向傾斜値と前後方向傾斜値とから、画面横方向の向きおよび移動量と、画面縦方向の向きおよび移動量とを指定した移動操作信号を生成する。図１３は、左右方向傾斜値がΔｘ１で負、前後方向傾斜値がΔｙ１で正の場合に生成される移動操作信号を機器７に出力することで実現されるポインターＰ３の移動を示す模式図である。本例の移動操作信号が機器７に出力されると、ポインターＰ３は、機器７の表示画面上で画面横方向右向きにａ・｜Δｘ１｜の長さで且つ、画面縦方向上向きにａ・｜Δｙ１｜の長さの位置に所定の単位時間で移動することとなる。
【００５３】
２．選択操作信号
また、操作信号生成処理では、舌体９１の先端部の位置の判定結果（舌体表面距離Ｓｙ１の閾値判定の結果）から、選択操作が為されたか否かを表す操作信号である選択操作信号を生成する。閾値判定の結果舌体表面距離Ｓｙ１が閾値Ｔｈを超えている場合は選択操作が為されたとし、超えていなければ選択操作は為されていないとして、選択操作信号を生成する。
【００５４】
［機能構成］
図１４は、操作装置１の機能構成例を示すブロック図である。操作装置１は、超音波プローブ１０と、処理装置３０とを備え、処理装置３０は、表示部３１０と、通信部３３０と、演算処理部４００と、記憶部５００とを備える。
【００５５】
超音波プローブ１０は、複数の超音波素子１３を配列して備え、処理装置３０（より詳細には演算処理部４００の超音波測定制御部４１０）からのパルス電圧に基づいて超音波を送信する。そして、送信した超音波の反射波を受信し、各素子１３からの受信信号を超音波測定制御部４１０へ出力する。
【００５６】
表示部３１０は、ＬＣＤ（Liquid Crystal Display）等の表示装置によって実現され、演算処理部４００からの表示信号に基づく各種表示を行う。
【００５７】
通信部３３０は、演算処理部４００の制御のもと、外部（例えば機器７）との間でデータを送受するための通信装置である。この通信部３３０の通信方式としては、所定の通信規格に準拠したケーブルを介して有線接続する形式や、クレイドル等と呼ばれる充電器と兼用の中間装置を介して接続する形式、無線通信を利用して無線接続する形式等、種々の方式を適用可能である。
【００５８】
演算処理部４００は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のマイクロプロセッサーや、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＩＣ（Integrated Circuit）メモリー等の電子部品によって実現される。そして、演算処理部４００は、各機能部との間でデータの入出力制御を行い、所定のプログラムやデータ、超音波プローブ１０からの各素子１３の受信信号等に基づき各種の演算処理を実行する。なお、演算処理部４００を構成する各部は、専用のモジュール回路等のハードウェアで構成することとしてもよい。
【００５９】
この演算処理部４００は、超音波測定制御部４１０と、キャリブレーション処理部４２０と、舌体表面検出部４３０と、姿勢判定部４４０と、操作信号生成部４５０とを含む。
【００６０】
超音波測定制御部４１０は、超音波プローブ１０とともに超音波測定部２０を構成し、この超音波測定部２０によって超音波測定が行われる。超音波測定制御部４１０は、公知技術により実現できる。例えば、超音波測定制御部４１０は、駆動制御部４１１と、送受信制御部４１３と、受信合成部４１５とを備え、超音波測定を統合的に制御する。
【００６１】
駆動制御部４１１は、超音波プローブ１０からの超音波パルスの送信タイミングを制御し、送信制御信号を送受信制御部４１３に出力する。
【００６２】
送受信制御部４１３は、駆動制御部４１１からの駆動信号に従い各素子１３に対するパルス電圧を発生させて、超音波プローブ１０に出力する。また、送受信制御部４１３は、超音波プローブ１０からの各素子１３の受信信号の増幅やフィルター処理等を行い、処理結果を受信合成部４１５に出力する。
【００６３】
受信合成部４１５は、必要に応じて遅延処理等を行っていわゆる受信信号のフォーカスに係る処理等を実行し、反射波データを生成する。
【００６４】
キャリブレーション処理部４２０は、所定のタイミングで上記したキャリブレーション処理を行い、通常時基準表面距離ＳＩｘ１，ＳＩｘ２，ＳＩｙ１，ＳＩｙ２および上昇時基準先端表面距離ＳＣｘ１を設定する。キャリブレーションのタイミングは適宜設定してよく、初回の測定前に一度行う構成としてもよいし、所定期間が経過するたびに行う構成でもよい。
【００６５】
舌体表面検出部４３０は、舌体表面検出処理を行い、超音波測定で得た反射波データ（例えばＡモード像）を用いて各検出対象点（ｘ，ｙ）の舌体表面距離Ｓｘ１，Ｓｘ２，Ｓｙ１，Ｓｙ２を検出する。
【００６６】
姿勢判定部４４０は、姿勢判定処理を行い、各検出対象点（ｘ，ｙ）の舌体表面距離Ｓｘ１，Ｓｘ２，Ｓｙ１，Ｓｙ２に基づき舌体９１の姿勢を判定する。この姿勢判定部４４０は、舌体９１の左右方向および前後方向の傾斜の程度を判定する傾斜判定部４４１と、検出対象点（ｘ０，ｙ１）の舌体表面距離Ｓｙ１を閾値判定することで舌体９１の先端部の位置を判定する先端位置判定部４４３とを備える。
【００６７】
操作信号生成部４５０は、操作信号生成処理を行い、傾斜判定部４４１が判定した舌体９１の左右方向および前後方向の傾斜の程度に基づき移動操作信号を生成するとともに、先端位置判定部４４３による閾値判定結果に基づき選択操作信号を生成する。
【００６８】
記憶部５００は、ＩＣメモリーやハードディスク、光学ディスク等の記憶媒体により実現されるものである。この記憶部５００には、操作装置１を動作させ、操作装置１が備える種々の機能を実現するためのプログラムや、当該プログラムの実行中に使用されるデータ等が事前に記憶され、或いは処理の都度一時的に記憶される。なお、演算処理部４００と記憶部５００との接続は、装置内の内部バス回路による接続に限らず、ＬＡＮ（Local Area Network）やインターネット等の通信回線で実現してもよい。その場合、記憶部５００は、操作装置１とは別の外部記憶装置により実現されるとしてもよい。
【００６９】
また、記憶部５００には、処理プログラム５１０と、反射波データ５２０と、キャリブレーションデータ５３０とが格納される。
【００７０】
演算処理部４００は、処理プログラム５１０を読み出して実行することにより、超音波測定制御部４１０、キャリブレーション処理部４２０、舌体表面検出部４３０、姿勢判定部４４０、操作信号生成部４５０等の機能を実現する。なお、これらの機能部を電子回路等のハードウェアで実現する場合には、当該機能を実現させるためのプログラムの一部を省略することができる。
【００７１】
反射波データ５２０は、フレーム毎に繰り返される超音波測定で得た反射波データを記憶する。この反射波データ５２０は、フレーム毎に取得される各走査線Ｌ上の反射波振幅であるＡモード像のデータと、フレーム毎に取得されるｘｚ平面のＢモード像およびｙｚ平面のＢモード像のデータとを含む。
【００７２】
キャリブレーションデータ５３０は、キャリブレーション処理で設定した通常時基準表面距離ＳＩｘ１，ＳＩｘ２，ＳＩｙ１，ＳＩｙ２と、上昇時基準先端表面距離ＳＣｘ１とを記憶する。
【００７３】
［処理の流れ］
図１５は、本実施形態における操作信号の出力処理の流れを示すフローチャートである。ここで説明する処理は、演算処理部４００が記憶部５００から処理プログラム５１０を読み出して実行し、操作装置１の各部を動作させることで実現できる。測定に先立ち、超音波プローブ１０がユーザー９の顎下に装着される。
【００７４】
はじめに、キャリブレーション処理部４２０が、キャリブレーション処理を行って通常時基準表面距離ＳＩｘ１，ＳＩｘ２，ＳＩｙ１，ＳＩｙ２および上昇時基準先端表面距離ＳＣｘ１を設定する（ステップＳ１）。
【００７５】
その後、超音波測定部２０が、超音波測定を開始する（ステップＳ３）。ここでの処理により、フレーム毎にＡモード像やｘｚ平面およびｙｚ平面のＢモード像等のデータが生成され、反射波データ５２０に格納されていく。
【００７６】
超音波測定を開始したならば、続いて舌体表面検出部４３０が、超音波測定で得たＡモード像を解析し、各検出対象点（ｘ，ｙ）の舌体表面距離Ｓｘ１，Ｓｘ２，Ｓｙ１，Ｓｙ２を検出する（ステップＳ５）。
【００７７】
続いて、先端位置判定部４４３が、上昇時基準先端表面距離ＳＣｘ１によって定まる式（５）の閾値Ｔｈを用い、検出対象点（ｘ０，ｙ１）の舌体表面距離Ｓｙ１を閾値判定する（ステップＳ７）。そして、舌体表面距離Ｓｙ１が閾値Ｔｈを超えている場合は（ステップＳ９：ＹＥＳ）、操作信号生成部４５０が、選択操作が為されたことを表す選択操作信号を生成する（ステップＳ１１）。その後、演算処理部４００は、ステップＳ１１で生成した選択操作信号を機器７へと出力する（ステップＳ１３）。
【００７８】
一方、舌体表面距離Ｓｙ１が閾値Ｔｈ以下の場合には（ステップＳ９：ＮＯ）、続いて傾斜判定部４４１が、式（１）〜（４）に従い、検出対象点（ｘ，ｙ）毎に舌体表面距離Ｓｘ１，Ｓｘ２，Ｓｙ１，Ｓｙ２と通常時基準表面距離ＳＩｘ１，ＳＩｘ２，ＳＩｙ１，ＳＩｙ２との差Δｘ１，Δｘ２，Δｙ１，Δｙ２を算出し、左右方向傾斜値および前後方向傾斜値を決定する（ステップＳ１５）。そして、操作信号生成部４５０は、左右方向傾斜値と前後方向傾斜値とから移動操作信号を生成する（ステップＳ１７）。その後、演算処理部４００は、ステップＳ１７で生成した選択操作信号を機器７へと出力する（ステップＳ１９）。
【００７９】
その後は、本処理を終了するまでの間は（ステップＳ２１：ＮＯ）、ステップＳ５に戻って上記した処理を繰り返す。
【００８０】
以上説明したように、本実施形態によれば、超音波測定の結果から舌体９１の表面位置を検出して用い、舌体９１の左右方向および前後方向の傾斜の程度と、舌体９１の先端部の位置とを舌体９１の姿勢として判定することができる。そして、判定した舌体９１の姿勢に応じて移動操作信号および選択操作信号を生成して機器７に出力することができる。これによれば、ユーザー９は、超音波プローブ１０を顎下の皮膚面に当接させ、舌を動かすことによって簡単に機器操作を行うことができる。
【００８１】
なお、上記実施形態では、ユーザー９が舌体９１を左右方向に傾斜させ、あるいは前後方向に傾斜させることでポインターの移動操作を入力し、舌体９１を上昇させることで選択操作（クリック操作）を入力することとした。これに対し、舌体９１の姿勢と出力する操作信号の組み合わせは適宜設定してよい。例えば、舌体９１を昇降させることでポインターを画面横方向に移動させ、あるいは画面縦方向に移動させる構成でもよい。その場合には、Δｙ１又はΔｙ２に基づいて舌体９１を上昇させた姿勢とその上昇の程度および舌体９１を下降させた姿勢とその下降の程度を判定し、移動操作信号を生成すればよい。また、舌体９１を下降させることで選択操作を入力するとしてもよい。この場合には、舌体９１を下に大きく沈ませた状態で得た舌体表面距離Ｓｙ１を基準値として設定しておき（キャリブレーション）、検出した舌体表面距離Ｓｙ１を閾値判定することで舌体９１の先端部の位置を判定すればよい。
【００８２】
また、上記実施形態では、操作装置１が生成した操作信号を機器７に出力し、当該機器７を操作する場合を例示した。これに対し、操作装置１は、操作対象の装置と別体の構成に限らず、例えば、操作装置１の構成をパソコン等の機器に組み込んだ構成としてもよい。
【００８３】
また、操作装置１が操作信号を出力する機器は、例示したパソコン等の電子機器の他、家電製品等であってもよい。例えば、音量や温度、風量等の操作を舌体９１の左右方向の傾斜又は上下方向の傾斜によって入力し、電源のＯＮ／ＯＦＦ操作を先端部の位置によって入力するといったことが可能である。また、ヘッドマウントディスプレイ上に表示されている表示体に対する操作等にも適用できる。
【００８４】
また、超音波プローブが備える超音波素子の配列は十字状の２次元配列に限定されない。例えば、超音波素子を所定数行×所定数列のマトリクス状に配列した２次元アレイの超音波プローブを用いてもよい。あるいは、所定数個の超音波素子を１列に配列した１次元アレイの超音波プローブであって、１次元アレイがその超音波素子の配列方向と直交する方向に移動自在に構成された超音波プローブを用いてもよい。
【００８５】
また、超音波ビームのスキャン方式はリニアスキャン方式に限らず、例えばセクタースキャン方式やコンベックススキャン方式等の他のスキャン方式を採用する場合にも上記実施形態を同様に適用することが可能である。
【符号の説明】
【００８６】
１…操作装置、１０…超音波プローブ、１１…送受信面、１３…超音波素子、２０…超音波測定部、３０…処理装置、３１０…表示部、３２０…通信部、４００…演算処理部、４１０…超音波測定制御部、４１１…駆動制御部、４１３…送受信制御部、４１５…受信合成部、４２０…キャリブレーション処理部、４３０…舌体表面検出部、４４０…姿勢判定部、４４１…傾斜判定部、４４３…先端位置判定部、４５０…操作信号生成部、５００…記憶部、５１０…処理プログラム、５２０…反射波データ、５３０…キャリブレーションデータ、９…ユーザー、９１…舌体
【図１】
2018055217.tif 000003
【図２】
2018055217.tif 000004
【図３】
2018055217.tif 000005
【図４】
2018055217.tif 000006
【図５】
2018055217.tif 000007
【図６】
2018055217.tif 000008
【図７】
2018055217.tif 000009
【図８】
2018055217.tif 000010
【図９】
2018055217.tif 000011
【図１０】
2018055217.tif 000012
【図１１】
2018055217.tif 000013
【図１２】
2018055217.tif 000014
【図１３】
2018055217.tif 000015
【図１４】
2018055217.tif 000016
【図１５】
2018055217.tif 000017