(57)【要約】【課題】携帯端末において、筋電信号を効率良く検出して、無発声音声認識の精度を向上することである。【解決手段】携帯端末作製装置１は、利用者が発声する際に検出される筋電信号から前記利用者の発する音声を認識する携帯端末を設計する装置であり、３Ｄ形状測定部２とセンサ位置算出部３と形状設計部４と携帯端末作製部５とを備える。３Ｄ形状測定部２は、前記利用者の顔の三次元形状を測定する。センサ位置算出部３は、３Ｄ形状測定部２により測定された利用者の顔の三次元形状に基づいて、筋電信号の検出に適した、筋電信号センサの位置、方向、及び傾きを特定する。形状設計部４は、筋電信号センサが上記特定された位置、方向、及び傾きとなる様に携帯端末を設計する。携帯端末作製部５は、形状設計部４による設計内容に従って携帯端末を作製する。【選択図】  図１
2004347807.tif 000002
【特許請求の範囲】
【請求項１】
利用者が発声する際に検出される筋電信号から前記利用者の発する音声を認識する携帯端末を設計する携帯端末設計装置であって、
前記利用者の顔の三次元形状を測定する測定手段と、
前記測定手段により測定された前記三次元形状に基づいて、前記利用者の顔の筋電信号の検出に適した、筋電信号検出手段の位置、方向、及び傾きを特定する特定手段と、
前記筋電信号検出手段が、前記特定手段により特定された前記位置、方向、及び傾きとなる様に、前記携帯端末を設計する設計手段と
を備えることを特徴とする携帯端末設計装置。
【請求項２】
前記設計手段による設計内容に従って、前記携帯端末を作製する作製手段を更に備えることを特徴とする請求項１に記載の携帯端末設計装置。
【請求項３】
前記特定手段は、前記利用者の顔の少なくとも３ヶ所以上から筋電信号を検出可能な様に、前記筋電信号検出手段の位置、方向、及び傾きを特定することを特徴とする請求項１に記載の携帯端末設計装置。
【請求項４】
利用者が発声する際に検出される筋電信号から前記利用者の発する音声を認識する携帯端末を設計する携帯端末設計装置が、
前記利用者の顔の三次元形状を測定する測定ステップと、
前記測定ステップにて測定された前記三次元形状に基づいて、前記利用者の顔の筋電信号の検出に適した、筋電信号検出手段の位置、方向、及び傾きを特定する特定ステップと、
前記筋電信号検出手段が、前記特定ステップにて特定された前記位置、方向、及び傾きとなる様に、前記携帯端末を設計する設計ステップと
を含むことを特徴とする携帯端末設計方法。
【請求項５】
利用者が発声する際の筋電信号を検出する筋電信号検出手段を備え、該筋電信号から前記利用者の発する音声を認識する携帯端末において、
前記利用者の顔の三次元形状を測定する測定手段と、
前記測定手段により測定された前記三次元形状に基づいて、前記利用者の顔の筋電信号の検出に適した、前記筋電信号検出手段の位置、方向、及び傾きを特定する特定手段と、
前記特定手段により特定された前記位置、方向、及び傾きとなる様に、前記筋電信号検出手段の位置、方向、及び傾きを調整する調整手段と
を備えることを特徴とする携帯端末。
【請求項６】
前記特定手段は、前記利用者の顔の少なくとも３ヶ所以上から筋電信号を検出可能な様に、前記筋電信号検出手段の位置、方向、及び傾きを特定することを特徴とする請求項５に記載の携帯端末。
【請求項７】
利用者が発声する際の筋電信号を検出する筋電信号検出手段を備え、該筋電信号から前記利用者の発する音声を認識する携帯端末が、
前記利用者の顔の三次元形状を測定する測定ステップと、
前記測定ステップにて測定された前記三次元形状に基づいて、前記利用者の顔の筋電信号の検出に適した、前記筋電信号検出手段の位置、方向、及び傾きを特定する特定ステップと、
前記特定ステップにて特定された前記位置、方向、及び傾きとなる様に、前記筋電信号検出手段の位置、方向、及び傾きを調整する調整ステップと
を含むことを特徴とする位置調整方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、携帯端末設計装置、携帯端末設計方法、携帯端末、及び位置調整方法に関する。
【０００２】
【従来の技術】
従来、音声認識技術の発達に伴い、利用者が無発声であっても、口唇や顔の筋肉の動き等から利用者の音声を認識する技術が提案されている。かかる技術は、顔の皮膚表面に貼付されたセンサが筋電位を検知することにより実現される。
【０００３】
例えば特許文献１には、音響情報によらず、携帯端末利用者の口周辺の筋電、口唇の映像、調音器官の動き等に関する情報に基づく、無発声音声認識方法が開示されている。この無発声音声認識方法によれば、電車・バス内などの公共の場所や図書館・劇場内などの静粛な場所においても、発話による迷惑を周囲の人に与えることはない。また、病気や事故により発声が困難となった無咽頭者の発声を代行することができる。更に特許文献２には、入力された顔画像から、顔の部品（目、鼻、口など）に当たる領域を抽出して位置を算出し、各部品の特徴点を抽出する装置が開示されている。
【０００４】
【特許文献１】
特開平７−１８１８８８号公報
【特許文献２】
特開２０００−６７２１８号公報
【０００５】
【発明が解決しようとする課題】
上述した様に、無発声音声の認識は、利用者の口周辺の筋電情報に基づいて行われる。したがって、筋電信号センサは、利用者の顔の筋肉の動きを適確に検知可能な位置に貼付されることが好ましい。しかしながら、人間の顔には、形状や大きさの個人差があり、最適な筋電信号センサの位置は利用者によって異なる。ところが、従来の携帯端末は、平均的な人間を想定して作製されており、利用者の顔における上記個人差が考慮されたものではない。このため、携帯端末の筋電信号センサは、各利用者にとって必ずしも適切な位置に設けられているわけではなかった。
【０００６】
そこで、本発明の課題は、携帯端末において、利用者が発声する際の筋電信号を効率良く検出して、無発声音声認識の精度を向上することである。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る携帯端末設計装置は、利用者が発声する際に検出される筋電信号から前記利用者の発する音声を認識する携帯端末を設計する携帯端末設計装置であって、前記利用者の顔の三次元形状を測定する測定手段と、前記測定手段により測定された前記三次元形状に基づいて、前記利用者の顔の筋電信号の検出に適した、筋電信号検出手段の位置、方向、及び傾きを特定する特定手段と、前記筋電信号検出手段が、前記特定手段により特定された前記位置、方向、及び傾きとなる様に、前記携帯端末を設計する設計手段とを備える。
【０００８】
本発明に係る携帯端末設計方法は、利用者が発声する際に検出される筋電信号から前記利用者の発する音声を認識する携帯端末を設計する携帯端末設計装置が、  前記利用者の顔の三次元形状を測定する測定ステップと、前記測定ステップにて測定された前記三次元形状に基づいて、前記利用者の顔の筋電信号の検出に適した、筋電信号検出手段の位置、方向、及び傾きを特定する特定ステップと、前記筋電信号検出手段が、前記特定ステップにて特定された前記位置、方向、及び傾きとなる様に、前記携帯端末を設計する設計ステップとを含む。
【０００９】
これらの発明によれば、筋電信号検出手段が、利用者の顔の筋電信号の検出に適した位置、方向、及び傾きを有する様に、携帯端末の設計が行われる。このように設計された携帯端末においては、利用者が送話する際に、顔表面上の適切な位置において適切な方向及び傾きで、筋電信号検出手段が利用者の顔の皮膚と接触する。したがって、携帯端末は、利用者が発声する際の筋電信号を効率良く検出することができ、その結果、無発声音声の認識精度が向上する。
【００１０】
本発明に係る携帯端末設計装置において好ましくは、前記設計手段による設計内容に従って、前記携帯端末を作製する作製手段を更に備える。
本発明によれば、筋電信号検出手段が、利用者の顔の筋電信号の検出に適した位置、方向、及び傾きを有する携帯端末を作製し、提供することができる。
【００１１】
本発明に係る携帯端末設計装置において、より好ましくは、前記特定手段は、前記利用者の顔の少なくとも３ヶ所以上から筋電信号を検出可能な様に、前記筋電信号検出手段の位置、方向、及び傾きを特定する。
本発明に係る携帯端末において、より好ましくは、前記特定手段は、前記利用者の顔の少なくとも３ヶ所以上から筋電信号を検出可能な様に、前記筋電信号検出手段の位置、方向、及び傾きを特定する。
【００１２】
これらの発明によれば、携帯端末は、該携帯端末の利用者の顔の少なくとも３ヶ所以上から筋電信号を検出可能である。したがって、１又は２ヶ所から検出された筋電信号を使用する場合に比べて、無発声音声認識の精度が向上する。顔の３ヶ所とは、筋電信号を効率良く検出可能であれば何れの位置であってもよいが、人間が発声する際に特に動きが大きい筋肉（例えば、大頬骨筋、口輪筋、顎二腹筋）が存在する位置であることが好適である。筋電信号検出手段は、これらの位置にある筋肉の筋電信号を検出することで、筋肉の動きを適確に検知することができ、音声認識の精度が向上する。
【００１３】
本発明に係る携帯端末は、利用者が発声する際の筋電信号を検出する筋電信号検出手段を備え、該筋電信号から前記利用者の発する音声を認識する携帯端末において、前記利用者の顔の三次元形状を測定する測定手段と、前記測定手段により測定された前記三次元形状に基づいて、前記利用者の顔の筋電信号の検出に適した、前記筋電信号検出手段の位置、方向、及び傾きを特定する特定手段と、前記特定手段により特定された前記位置、方向、及び傾きとなる様に、前記筋電信号検出手段の位置、方向、及び傾きを調整する調整手段とを備える。
【００１４】
本発明に係る位置調整方法は、利用者が発声する際の筋電信号を検出する筋電信号検出手段を備え、該筋電信号から前記利用者の発する音声を認識する携帯端末が、前記利用者の顔の三次元形状を測定する測定ステップと、前記測定ステップにて測定された前記三次元形状に基づいて、前記利用者の顔の筋電信号の検出に適した、前記筋電信号検出手段の位置、方向、及び傾きを特定する特定ステップと、前記特定ステップにて特定された前記位置、方向、及び傾きとなる様に、前記筋電信号検出手段の位置、方向、及び傾きを調整する調整ステップとを含む。
【００１５】
これらの発明によれば、利用者の顔の筋電信号の検出に適した位置、方向、及び傾きを有する様に、携帯端末において、筋電信号検出手段の調整が行われる。このように調整された携帯端末においては、利用者が送話する際に、顔表面上の適切な位置において適切な方向及び傾きで、筋電信号検出手段が利用者の顔の皮膚と接触する。したがって、携帯端末は、利用者が発声する際の筋電信号を効率良く検出することができ、その結果、無発声音声の認識精度が向上する。
【００１６】
【発明の実施の形態】
以下、例示のために添付された図面を参照しながら、本発明の一実施形態について説明する。
まず、本実施の形態における携帯端末作製装置１の構成について説明する。図１は、携帯端末作製装置１の機能的構成を示すブロック図である。図１に示す様に、携帯端末作製装置１は、機能的な構成要素として、３Ｄ形状測定部２（測定手段に対応）と、センサ位置算出部３（特定手段に対応）と、形状設計部４（設計手段に対応）と、携帯端末作製部５（作製手段に対応）とを備える。
【００１７】
以下、携帯端末作製装置１の各構成要素について詳細に説明する。
３Ｄ形状測定部２は、例えば３Ｄデジタイザにより構成され、携帯端末の利用者の顔の三次元形状を測定する。
センサ位置算出部３は、３Ｄ形状測定部２により測定された三次元形状に基づいて、利用者の顔の筋電位の測定に適した、顔表面上における筋電信号センサ（筋電信号検出手段に対応）の位置、方向、及び傾きを算出する。
形状設計部４は、筋電信号センサが、センサ位置算出部３により算出された位置、方向、及び傾きとなる様に、携帯端末を設計する。
携帯端末作製部５は、形状設計部４による設計内容に基づいて携帯端末を作製する。
【００１８】
図２は、携帯端末作製装置１により設計及び作製された携帯端末１０の外観を概略的に示す図である。図２に示す様に、携帯端末１０には、３個の筋電信号センサ１２ａ，１２ｂ，１２ｃが配設されている。筋電信号センサ１２ａには、互いに平行な電極対１４ａ，１４ｂが設けられている。筋電信号センサ１２ｂ，１２ｃに関しても同様に、電極対１４ａ，１４ｂを有する。携帯端末１０は、各電極対１４ａ，１４ｂによって、利用者の皮膚表面から筋電信号を検出する。これにより、利用者の発する音声を認識する。検出された筋電信号から音声認識を行う手法に関しては周知であるので、その説明は省略する。
【００１９】
図３は、筋電信号センサ１２ｂの概観を示す拡大斜視図である。図３に示す様に、筋電信号センサ１２ｂにより検知される顔表面の筋電位の方向が、Ｘ軸により規定されている。Ｘ軸は、電極対１４ａ，１４ｂの長手方向と、電極対１４ａ，１４ｂを含む平面の法線ベクトルとの双方に垂直になる様に規定されている。なお、筋電信号センサ１２ａ，１２ｃに関しても同様の形態で、電極対１４ａ，１４ｂが配設されている。以下、必要に応じて、筋電信号センサ１２ａ，１２ｂ，１２ｃを纏めて、筋電信号センサ１２と記す。
【００２０】
続いて、携帯端末作製装置１の動作を説明し、併せて、本発明に係る携帯端末設計方法について説明する。図４は、携帯端末作製装置１により実行される各種処理を説明するためのフローチャートである。
まず、Ｓ１１において、３Ｄ形状測定部２は、携帯端末１０の利用者の顔の三次元形状を測定する。かかる処理は、周知慣用の形状測定技術であるので、その詳細な説明は省略するが、三次元形状は、例えばワイヤーフレーム方式により表現される。ここで、ワイヤーフレーム方式とは、辺と頂点とから構成されるメッシュの集合により物体の三次元形状を表現する方式である。
【００２１】
Ｓ１２では、３Ｄ形状測定部２は、Ｓ１１における測定結果に基づいて、携帯端末１０の利用者の目・鼻・口・顎等（以下、「顔部品」と記す。）の種別を特定する。
更にＳ１３では、３Ｄ形状測定部２は、Ｓ１２で特定された顔部品から特徴点を抽出する。
顔部品の識別及び特徴点の抽出に関しては、例えば特開２０００−６７２１８号公報の文献に開示されている技術を用いて実現可能である。
【００２２】
本実施形態では、Ｓ１３において、以下に説明する特徴点Ａ〜Ｅが抽出された場合を想定する。すなわち、左目の特徴点Ａは、図５に示すワイヤーフレームにおいて左目輪郭の左端に位置する点である。鼻の特徴点Ｂは、同図に示すワイヤーフレームにおいて鼻の輪郭の下端に位置する点である。また、口の特徴点Ｃは、口の左端点と右端点との中間点を算出した場合に、この中間点と点Ｂとを結ぶ直線と、口の輪郭上の特徴点との交点である。更に、第２の口の特徴点Ｄは、口の輪郭の左端に位置する点である。顎の特徴点Ｅは、利用者の顔の下部輪郭線において、曲率が極大になる点（頂点）である。喉の特徴点Ｆは、点Ｅから喉に至る経路上で最初に曲率が極大になる点（頂点）である。なお、特徴点Ｅ，Ｆは、利用者の顔の縦方向の中心線Ｌ１上に位置する。
【００２３】
Ｓ１４では、センサ位置算出部３は、Ｓ１３で抽出された各顔部品の特徴点を用いて、筋電位測定に適した筋電信号センサ１２の位置、方向、及び傾きを算出する。これにより、携帯端末１０において筋電信号センサ１２が貼付される位置・方向・傾きが特定される。ここで、筋電信号センサ１２が貼付される位置とは、利用者の顔表面にある空間上の位置を意味する。筋電信号センサ１２が貼付される方向とは、図３に示したＸ軸方向を意味する。
【００２４】
また、筋電信号センサ１２の傾きとは、図３に示した筋電信号センサの表面の法線ベクトル（Ｙ軸方向）を意味する。Ｘ軸方向が確定しても、Ｚ軸方向が確定しない限り、Ｙ軸方向は確定しない。すなわち、筋電信号センサ１２が貼付される方向が確定しても、貼付される筋電信号センサ１２の傾きは変更可能である。
【００２５】
かかるセンサ位置特定処理は、本発明の要諦を為す処理であるので、別の添付図面を参照しながら、より詳細に説明する。
説明の前提として、本実施形態では、利用者の顔表面上の３ヶ所に筋電信号センサ１２ａ，１２ｂ，１２ｃをそれぞれ貼り付ける場合を想定する。３ヶ所とは、各筋電信号センサが筋電信号を効率良く検出できる位置である。具体的には、（１）口角を外側上方に引き上げる筋肉（大頬骨筋）、（２）上唇を引き上げる、又は突き出す筋肉（口輪筋）、（３）下顎を開閉する筋肉（顎二腹筋）から発生する筋電信号を効率良く検出できる位置である。かかる位置の筋肉上に各筋電信号センサ１２ａ，１２ｂ，１２ｃを貼り付けることによって、筋電信号センサ１２が筋電信号を正確に取得することができる。
【００２６】
この３ヶ所の筋肉を選択した理由を、より詳細に説明する。
利用者が音声を発声する際には、口を一定の形状に開く必要がある。一般に、日本語の５母音と閉口子音「ん」を発声する場合には、口の形状を６つの基本口形状にすることが従来の研究により明らかとなっている。また、この基本口形状にするため、すなわち口を開閉するためには、利用者の下顎骨がその最上点を支点として回転運動をする。この口の開閉に伴って下顎と喉間の筋肉についても上下運動をすることになる。このように、この基本口形状にするために、利用者は、顔のさまざまな筋肉を動かさなければならない。その中でも特に、発声に重要であり、かつ、発声する際に動きが大きいため筋電信号を効率良く検出できる筋肉が、（１）〜（３）に上述した筋肉なのである。
【００２７】
図６は、センサ位置算出部３の実行するセンサ位置特定処理の第１部分を示すフローチャートである。具体的には、図６は、筋電信号センサ１２を貼り付ける１ヶ所目の位置を特定するための処理を示す。１ヶ所目の位置は、口の角を外側上方に引き上げる筋肉の位置である。
【００２８】
Ｓ２１では、利用者の顔の左目左端点である特徴点Ａと、口左端点である特徴点Ｄとを結ぶ最短経路が算出される。一般的に、口の角を外側上方に引き上げる筋肉は、利用者の顔の頬骨と口角との間に位置するため、上記最短経路と重畳することになる。このため、センサ位置算出部３は、特徴点Ａと特徴点Ｄとを結ぶ最短経路を算出することにより、口の角を外側上方に引き上げる筋肉の位置を概ね特定することができる。
【００２９】
Ｓ２２では、Ｓ２１で算出された最短経路の中間点Ｏ１が算出される。中間点Ｏ１は、図７に示す様に、最短経路Ｌ２を略二等分する位置にある頂点である。ここで、経路とは、各メッシュの頂点と頂点とを結ぶ辺の集合であり、経路長とは、その経路に含まれる辺の長さの和である。したがって、最短経路とは、一方の頂点と他方の頂点とを結ぶ経路であって、その経路長の値が最小になるものをいう。
【００３０】
このようにして得られた中間点Ｏ１は、利用者が発声する際に利用する筋肉の動きが最も大きい部分に位置する。すなわち、この中間点Ｏ１は、筋電信号を効率良く検出することができる位置の１つであり、筋電信号センサ１２ａ（図２参照）を貼り付けることが好ましい位置であることが発明者等の実験により明らかとなっている。これにより、筋電信号センサ１２ａの貼付位置が特定された（Ｓ２３）。
【００３１】
図８は、センサ位置算出部３の実行するセンサ位置特定処理の第２部分を示すフローチャートである。具体的には、図８は、１ヶ所目の筋電信号センサ１２ａを貼り付ける方向を特定するための処理を示す。１ヶ所目の方向は、Ｓ２３で特定された位置にある筋肉（大頬骨筋）の伸びる方向である。
【００３２】
まず、Ｓ３１において、利用者の口左端点Ｄと中間点Ｏ１とを結ぶ最短経路（図７参照）が算出される。
Ｓ３２では、口左端点Ｄから中間点Ｏ１への最短経路を略２：１に分割する頂点Ｉ１が算出される。
Ｓ３３では、図９に示す様に、頂点Ｉ１と中間点Ｏ１とを結ぶベクトルＩ１Ｏ１が生成される。
【００３３】
Ｓ３４において、中間点Ｏ１と左目左端点Ａとを結ぶ最短経路（図７参照）が算出される。
Ｓ３５では、中間点Ｏ１から左目左端点Ａへの最短経路を略１：２に分割する頂点Ｊ１が算出される。
Ｓ３６では、図９に示す様に、中間点Ｏ１と頂点Ｊ１とを結ぶベクトルＯ１Ｊ１が生成される。
【００３４】
Ｓ３７においては、図９に示す様に、Ｓ３３で算出されたベクトルＩ１Ｏ１と、Ｓ３６で算出されたベクトルＯ１Ｊ１との和がとられ、ベクトルＩ１Ｊ１が生成される。なお、ベクトルＩ１Ｏ１とベクトルＯ１Ｊ１との和の平均値をとってもよい。
筋電信号センサ１２ａが貼付される方向（図３のＸ軸方向）は、このようにして得られたベクトルＩ１Ｊ１の方向に特定される（Ｓ３８）。筋電信号センサ１２ａをかかる方向に貼付することで、筋電信号を効率良く検出できることが発明者等の実験により明らかとなっている。
【００３５】
図１０は、センサ位置算出部３の実行するセンサ位置特定処理の第３部分を示すフローチャートである。具体的には、図１０は、１ヶ所目の筋電信号センサ１２ａを貼り付ける傾きを特定するための処理を示す。１ヶ所目の傾きは、Ｓ２３で特定された位置における筋電信号センサ１２ａと顔表面との接触面の法線ベクトルの向きである。
【００３６】
まず、Ｓ４１において、中間点Ｏ１を頂点として含む、中間点Ｏ１の周辺の面が算出される。例えば、図１１に示す様に、中間点Ｏ１を中心とする７つの面（Ｐ１，Ｑ１，Ｒ１，Ｓ１，Ｔ１，Ｕ１，Ｖ１）が算出される。
Ｓ４２では、Ｓ４１で算出された各周辺面Ｐ１，Ｑ１，Ｒ１，Ｓ１，Ｔ１，Ｕ１，Ｖ１の法線ベクトルがそれぞれ算出される。
Ｓ４３では、Ｓ４２で算出された各法線ベクトルの平均値が算出される。図１１に示す様に、この値をベクトルｎ１と記す。
【００３７】
このようにして得られた法線ベクトルｎ１は、利用者が発声する際に、利用者の顔表面と携帯端末１０とが最も密着して接触する筋電信号センサ１２ａの傾きであり、筋電信号を効率良く検出することができる筋電信号センサ１２ａの傾きであることが発明者等の実験により明らかとなっている。したがって、貼付される筋電信号センサ１２ａの傾き（図３のＹ軸方向）は、法線ベクトルｎ１の向きに特定される（Ｓ４４）。
【００３８】
なお、本実施形態では、利用者の左耳側に携帯端末１０を装着する場合を想定して説明したが、右耳側に携帯端末１０を装着する場合にも、同様のセンサ位置特定処理を実行することにより、筋電信号センサ１２ａの位置、方向、及び、傾きを特定することができる。
【００３９】
図１２は、センサ位置算出部３の実行するセンサ位置特定処理の第４部分を示すフローチャートである。具体的には、図１２は、筋電信号センサ１２を貼り付ける２ヶ所目の位置を特定するための処理を示す。２ヶ所目の位置は、上唇を引き上げる又は突き出す筋肉の位置である。
【００４０】
Ｓ５１では、利用者の顔の鼻下端点である特徴点Ｂと、口上端点である特徴点Ｃとを結ぶ最短経路が算出される。一般的に、上唇を引き上げる筋肉は、鼻下縁と上唇の皮膚との間に位置するため、上記最短経路と重畳することになる。このため、センサ位置算出部３は、特徴点Ｂと特徴点Ｃとを結ぶ最短経路を算出することにより、上唇を引き上げる筋肉の位置を概ね算出することができる。
【００４１】
Ｓ５２では、Ｓ５１で算出された最短経路の中間点Ｏ２が算出される。中間点Ｏ２は、図１３に示す様に、最短経路Ｌ３を略二等分する位置にある頂点である。
このようにして得られた中間点Ｏ２は、利用者が発声する際に利用する筋肉の動きが最も大きい部分に位置する。すなわち、この中間点Ｏ２は、筋電信号を効率良く検出することができる位置の１つであり、筋電信号センサ１２ｂ（図２参照）を貼り付けることが好ましい位置であることが発明者等の実験により明らかとなっている。これにより、２ヶ所目の筋電信号センサ１２ｂの貼付位置が特定された（Ｓ５３）。
【００４２】
図１４は、センサ位置算出部３の実行するセンサ位置特定処理の第５部分を示すフローチャートである。具体的には、図１４は、２ヶ所目の筋電信号センサ１２ｂを貼り付ける方向を特定するための処理を示す。２ヶ所目の方向は、Ｓ５３で特定された位置にある筋肉（口輪筋）の伸びる方向である。
【００４３】
まず、Ｓ６１において、利用者の口上端点Ｃと中間点Ｏ２とを結ぶ最短経路（図１３参照）が算出される。
Ｓ６２では、口上端点Ｃから中間点Ｏ２への最短経路を略２：１に分割する頂点Ｉ２が算出される。
Ｓ６３では、図１５に示す様に、頂点Ｉ２と中間点Ｏ２とを結ぶベクトルＩ２Ｏ２が生成される。
【００４４】
Ｓ６４において、中間点Ｏ２と鼻下端点Ｂとを結ぶ最短経路（図１３参照）が算出される。
Ｓ６５では、中間点Ｏ２から鼻下端点Ｂへの最短経路を略１：２に分割する頂点Ｊ２が算出される。
Ｓ６６では、図１５に示す様に、中間点Ｏ２と頂点Ｊ２とを結ぶベクトルＯ２Ｊ２が生成される。
【００４５】
Ｓ６７においては、図１５に示す様に、Ｓ６３で算出されたベクトルＩ２Ｏ２と、Ｓ６６で算出されたベクトルＯ２Ｊ２との和がとられ、ベクトルＩ２Ｊ２が生成される。なお、ベクトルＩ２Ｏ２とベクトルＯ２Ｊ２との和の平均値をとってもよい。
筋電信号センサ１２ｂが貼付される方向（図３のＸ軸方向）は、このようにして得られたベクトルＩ２Ｊ２の方向に特定される（Ｓ６８）。筋電信号センサ１２ｂをかかる方向に貼付することで、筋電信号を効率良く検出できることが発明者等の実験により明らかとなっている。
【００４６】
図１６は、センサ位置算出部３の実行するセンサ位置特定処理の第６部分を示すフローチャートである。具体的には、図１６は、２ヶ所目の筋電信号センサ１２ｂを貼り付ける傾きを特定するための処理を示す。２ヶ所目の傾きは、Ｓ５３で特定された位置における筋電信号センサ１２ｂと顔表面との接触面の法線ベクトルの向きである。
【００４７】
まず、Ｓ７１において、中間点Ｏ２を頂点として含む、中間点Ｏ２の周辺の面が算出される。例えば、図１７に示す様に、中間点Ｏ２を中心とする６つの面（Ｐ２，Ｑ２，Ｒ２，Ｓ２，Ｔ２，Ｕ２）が算出される。
Ｓ７２では、Ｓ７１で算出された各周辺面Ｐ２，Ｑ２，Ｒ２，Ｓ２，Ｔ２，Ｕ２の法線ベクトルがそれぞれ算出される。
Ｓ７３では、Ｓ７２で算出された各法線ベクトルの平均値が算出される。図１７に示す様に、この値をベクトルｎ２と記す。
【００４８】
このようにして得られた法線ベクトルｎ２は、利用者が発声する際に、利用者の顔表面と携帯端末１０とが最も密着して接触する筋電信号センサ１２ｂの傾きであり、筋電信号を効率良く検出することができる筋電信号センサ１２ｂの傾きであることが発明者等の実験により明らかとなっている。したがって、貼付される筋電信号センサ１２ｂの傾き（図３に示したＹ軸方向）は、法線ベクトルｎ２の向きに特定される（Ｓ７４）。
【００４９】
図１８は、センサ位置算出部３の実行するセンサ位置特定処理の第７部分を示すフローチャートである。具体的には、図１８は、筋電信号センサ１２を貼り付ける３ヶ所目の位置を特定するための処理を示す。３ヶ所目の位置は、下顎を開閉する筋肉の位置である。
【００５０】
Ｓ８１では、利用者の顔の下顎端点である特徴点Ｅから、喉端点である特徴点Ｆに向かう方向に所定距離（例えば２ｃｍ）進んだ、最短経路上の頂点Ｇが算出される。頂点Ｇの一例を図１９に示す。一般的に、下顎を開閉する筋肉は、下顎と喉との間に位置するため、センサ位置算出部３は、特徴点Ｅと特徴点Ｆとを結ぶ経路上の点を算出することにより、下顎を開閉する筋肉の位置を概ね算出することができる。
【００５１】
このようにして得られた頂点Ｇは、利用者が発声する際に利用する筋肉の動きが最も大きい部分に位置する。すなわち、頂点Ｇは、筋電信号を効率良く検出することができる位置の１つであり、筋電信号センサ１２ｃ（図２参照）を貼り付けることが好ましい位置であることが発明者等の実験により明らかとなっている。これにより、３ヶ所目の筋電信号センサ１２ｃの貼付位置が特定された（Ｓ８２）。
【００５２】
図２０は、センサ位置算出部３の実行するセンサ位置特定処理の第８部分を示すフローチャートである。具体的には、図２０は、３ヶ所目の筋電信号センサ１２ｃを貼り付ける方向を特定するための処理を示す。３ヶ所目の方向は、Ｓ８２で特定された位置にある筋肉（顎二腹筋）の伸びる方向である。
【００５３】
まず、Ｓ９１において、利用者の顎端点Ｅと頂点Ｇとを結ぶ最短経路（図２１参照）が算出される。
Ｓ９２では、顎端点Ｅから頂点Ｇへの最短経路を略２：１に分割する頂点Ｉ３が算出される。
ここで、図２１は、図１９のＹに示す部分を拡大してワイヤーフレーム方式で表した図である。図２１に示す様に、Ｓ９３では、頂点Ｉ３と頂点Ｇとを結ぶベクトルＩ３Ｇが生成される。
【００５４】
図２０に戻り、Ｓ９４では、頂点Ｇと喉端点Ｆとを結ぶ最短経路（図２１参照）が算出される。
Ｓ９５では、頂点Ｇから喉端点Ｆへの最短経路を略１：２に分割する頂点Ｊ３が算出される。
Ｓ９６では、図２１に示す様に、頂点Ｇと頂点Ｊ３とを結ぶベクトルＧＪ３が生成される。
【００５５】
Ｓ９７においては、図２１に示す様に、Ｓ９３で算出されたベクトルＩ３Ｇと、Ｓ９６で算出されたベクトルＧＪ３との和がとられ、ベクトルＩ３Ｊ３が生成される。なお、ベクトルＩ３ＧとベクトルＧＪ３との和の平均値をとってもよい。
【００５６】
筋電信号センサ１２ｃが貼付される方向（図３のＸ軸方向）は、このようにして得られたベクトルＩ３Ｊ３の方向に特定される（Ｓ９８）。筋電信号センサ１２ｃをかかる方向に貼付することで、筋電信号を効率良く検出できることが発明者等の実験により明らかとなっている。
【００５７】
図２２は、センサ位置算出部３の実行するセンサ位置特定処理の第９部分を示すフローチャートである。具体的には、図２２は、３ヶ所目の筋電信号センサ１２ｃを貼り付ける傾きを特定するための処理を示す。３ヶ所目の傾きは、Ｓ８２で特定された位置における筋電信号センサ１２ｃと顔表面との接触面の法線ベクトルの向きである。
【００５８】
まず、Ｓ１０１において、特徴点Ｇを頂点として含む、特徴点Ｇの周辺の面が算出される。例えば、図２３に示す様に、特徴点Ｇを中心とする６つの面（Ｐ３，Ｑ３，Ｒ３，Ｓ３，Ｔ３，Ｕ３）が算出される。
Ｓ１０２では、Ｓ１０１で算出された各周辺面Ｐ３，Ｑ３，Ｒ３，Ｓ３，Ｔ３，Ｕ３の法線ベクトルがそれぞれ算出される。
Ｓ１０３では、Ｓ１０２で算出された各法線ベクトルの平均値が算出される。図２３に示す様に、この値をベクトルｎ３と記す。
【００５９】
このようにして得られた法線ベクトルｎ３は、利用者が発声する際に、利用者の顔表面と携帯端末１０とが最も密着して接触する筋電信号センサ１２ｃの傾きであり、筋電信号を効率良く検出することができる筋電信号センサ１２ｃの傾きであることが発明者等の実験により明らかとなっている。したがって、貼付される筋電信号センサ１２ｃの傾き（図３に示したＹ軸方向）は、法線ベクトルｎ３の向きに特定される（Ｓ１０４）。
【００６０】
図４に戻り、Ｓ１５においては、形状設計部４は、Ｓ１４で特定された位置において、特定された方向で、特定された傾きとなるように、筋電信号センサ１２を配置する。具体的には、形状設計部４は、まず、Ｓ２３，Ｓ３８，Ｓ４４でそれぞれ特定された位置、方向、及び傾きに合致する様に、１ヶ所目の筋電信号センサ１２ａの位置、方向、及び傾きを決定する。続いて、形状設計部４は、Ｓ５３，Ｓ６８，Ｓ７４でそれぞれ特定された位置、方向、及び傾きに合致する様に、２ヶ所目の筋電信号センサ１２ｂの配置を決定する。次いで、形状設計部４は、筋電信号センサ１２ａ，１２ｂの配置を維持しつつ、これらを繋ぐボディ部１８（図２参照）の一部の大きさ及び形状を設計する。
【００６１】
続いて、形状設計部４は、Ｓ８２，Ｓ９８，Ｓ１０４でそれぞれ特定された位置、方向、及び傾きに合致する様に、３ヶ所目の筋電信号センサ１２ｃの配置を決定する。そして、形状設計部４は、各筋電信号センサ１２ａ，１２ｂ，１２ｃの配置を維持しつつ、これらを繋ぐボディ部１８（図２参照）の残りの大きさ及び形状を設計する。
【００６２】
最後のＳ１６では、携帯端末作製部５は、Ｓ１５における設計内容に従って、携帯端末１０を作製する。携帯端末１０の作製には、例えば光造形装置を用いる。図２４は、作製された携帯端末１０を利用者が実際に装着している様子を示す図である。図２４に示す様に、筋電信号の検出に好適な位置の筋肉に、所定の方向及び傾きで筋電信号センサ１２が接触している。すなわち、利用者の大頬骨筋には筋電信号センサ１２ａが接触し、口輪筋には筋電信号センサ１２ｂが接触し、顎二腹筋には筋電信号センサ１２ｃが接触している。
【００６３】
以上説明した様に、本発明に係る携帯端末作製装置１は、携帯端末を装着する利用者の顔形状を三次元的に測定した後、この測定結果に基づいて、利用者の顔の筋電位測定に適した顔表面上の位置（３ヶ所）を算出する。また、携帯端末作製装置１は、これらの位置を筋電信号センサ１２を貼付する位置とすると共に、筋電信号センサ１２の方向及び傾きも特定する。すなわち、従来は、筋電信号センサ１２を貼り付ける位置を経験則に基づいて決定していたが、本発明では、上述した様に貼付位置の算出方式を定型化した。また、位置のみならず、筋電信号センサ１２を貼り付ける方向に関しても、筋肉の伸びる方向と、電極対１４ａ，１４ｂの並ぶ方向（図３に示したＸ軸）とを一致させることで、筋電信号の検出効率を向上させた。更に、位置及び方向を算出するだけでは、利用者の顔表面に対するセンサの密着性を良好に維持することは困難であることに鑑みて、筋電信号センサ１２を貼り付ける傾きを算出し、顔の皮膚との密着性を向上させた。
【００６４】
かかる位置、方向、傾きで貼付された筋電信号センサ１２は、携帯端末の利用者の形状や大きさが考慮されたものであるので、顔表面から正確な筋電信号を得ることができる。したがって、上記筋電信号センサ１２を有する携帯端末１０を設計及び作製することにより、該携帯端末を装着する利用者の顔表面から筋電位を効率良く検知すること、すなわち筋電信号を効率良く検出することが可能となる。その結果、高精度な無発声音声認識が実現される。
【００６５】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第１の実施形態と第２の実施形態との相違点は以下の通りである。第１の実施形態では、顔形状に基づいて算出された位置、方向、傾きの携帯端末を設計及び作製する装置について説明したが、第２の実施形態においては、携帯端末自体が、上記位置、方向、傾きの調整機能を有する。
【００６６】
まず、上記携帯端末の構成を説明する。図２５は、携帯端末２０の機能的構成を示すブロック図である。図２５に示す様に、携帯端末２０は、機能的な構成要素として、３Ｄ形状測定部２０１（測定手段に対応）と、センサ位置算出部２０２（特定手段に対応）と、センサ調整部２０３（調整手段に対応）とを備える。
【００６７】
以下、携帯端末２０の各構成要素について詳細に説明する。
３Ｄ形状測定部２０１は、例えば３Ｄデジタイザにより構成され、携帯端末の利用者の顔の三次元形状を測定する。
センサ位置算出部２０２は、３Ｄ形状測定部２０１により測定された三次元形状に基づいて、利用者の顔の筋電位の測定に適した、顔表面上における筋電信号センサ（筋電信号検出手段に対応）の位置、方向、及び傾きを算出する。
センサ調整部２０３は、筋電信号センサが、センサ位置算出部２０２により算出された位置、方向、及び傾きとなる様な調整を行う。
【００６８】
図２６は、本実施形態における携帯端末２０の外観を概略的に示す図である。図２６に示す様に、携帯端末２０には、３個の筋電信号センサ２２ａ，２２ｂ，２２ｃが可動的に配設されている。筋電信号センサ２２ａには、互いに平行な電極対２４ａ，２４ｂが設けられている。筋電信号センサ２２ｂ，２２ｃに関しても同様に、電極対２４ａ，２４ｂを有する。携帯端末２０は、各電極対２４ａ，２４ｂによって、利用者の皮膚表面から筋電信号を検出する。これにより、利用者の発する音声を認識する。検出された筋電信号から音声認識を行う手法に関しては周知であるので、その説明は省略する。
【００６９】
続いて、図２７を参照して、筋電信号センサ２２ｃの調整機構について説明する。図２７は、筋電信号センサ２２ｃの概観を示す拡大斜視図である。筋電信号センサ２２ｃにより検知される顔表面の筋電位の方向が、Ｘ軸により規定されている。Ｘ軸は、電極対２４ａ，２４ｂの長手方向と、電極対２４ａ，２４ｂを含む平面の法線ベクトルとの双方に垂直になる様に規定されている。
【００７０】
図２７に示す様に、ボディ部２８ｂの縁端に位置する側壁には、開口部２８ｃが形成されている。そして、筋電信号センサ２２ｃをその先端部に有する摺動軸２６ｂが、開口部２８ｃに挿入されている。摺動軸２６ｂは、ネジ２５を締めることにより、ボディ部２８ｂに固定可能である。一方、ボディ部２８ｂに固定された摺動軸２６ｂは、ネジ２５を緩めることにより、開口部２８ｃ内で摺動可能となる。つまり、携帯端末２０は、矢印Ｙ１方向（図中Ｚ軸方向）に摺動自在に摺動軸２６ｂを有することで、筋電信号センサ２２ｃを顔表面上の所望の位置に移動させることができる。これにより、位置の調整が実現される。
【００７１】
また、台座２１と筋電信号センサ２２ｃとは、自在継手２３を介して接続されており、筋電信号センサ２２ｃは、自在継手２３に設けられているネジ２７，２９を締めることにより、その回動位置を固定可能である。一方、台座２１に固定された筋電信号センサ２２ｃは、ネジ２７を緩めることにより、矢印Ｙ２方向に（図中ＸＺ平面上を）回動可能である。これにより、方向の調整が実現される。更に、台座２１に固定された筋電信号センサ２２ｃは、ネジ２９を緩めることにより、矢印Ｙ３方向に（図中ＹＺ平面上を）回動可能である。これにより、傾きの調整が実現される。
【００７２】
筋電信号センサ２２の調整機構に関しては、顎二腹筋に対応する筋電信号センサ２２ｃを代表的に説明したが、筋電信号センサ２２ａ，２２ｂに関しても同様の形態で、その位置、方向、傾きの調整が可能となっている。以下、必要に応じて、筋電信号センサ２２ａ，２２ｂ，２２ｃを纏めて、筋電信号センサ２２と記す。
【００７３】
続いて、携帯端末２０の動作を説明し、併せて、本発明に係る位置調整方法について説明する。図２８は、携帯端末２０により実行される処理を説明するためのフローチャートである。図２８に示すＴ１１〜Ｔ１４の各処理は、第１の実施形態にて詳述したＳ１１〜Ｓ１４の処理とそれぞれ同様であるので、図示に留め、その詳細な説明は省略する。
Ｔ１５では、センサ調整部２０３は、Ｔ１４で特定された位置において、特定された方向で、特定された傾きとなるように、筋電信号センサ２２の位置、方向、傾きを調整する（図２７の矢印Ｙ１〜Ｙ３参照）。
【００７４】
以上説明した様に、第２の実施形態における携帯端末２０は、携帯端末を装着する利用者の顔形状を三次元的に測定した後、この測定結果に基づいて、利用者の顔の筋電位測定に適した顔表面上の位置を算出する。また、携帯端末２０は、この位置を筋電信号センサ２２を貼付する位置とすると共に、筋電信号センサ２２の方向及び傾きも特定する。かかる位置、方向、傾きで貼付された筋電信号センサ２２は、携帯端末の利用者の形状や大きさが考慮されたものであるので、顔表面から正確な筋電信号を得ることができる。したがって、携帯端末２０によれば、第１の実施形態と同様の作用効果、すなわち、筋電信号を効率良く検出して、高精度な無発声音声認識を実現することが可能となる。
【００７５】
また、第１の実施形態では、利用者の顔形状に合わせて、筋電信号センサ１２が携帯端末１０に固着されるものとした。これに対して、第２の実施形態においては、携帯端末２０に既存の筋電信号センサ２２ａ，２２ｂ，２２ｃの位置、方向、傾きを利用者自らが調整する。調整は、位置、方向、傾きの算出結果に基づいて利用者自身が手動で行ってもよいし、携帯端末２０が自動で行ってもよい。第２の実施形態に特有の効果として、顔の形状や大きさの異なる複数の利用者が同一の携帯端末２０を利用する場合であっても、各々の利用者に即して筋電信号センサ２２を適宜調整できるので、筋電信号を効率良く検出することができる。その結果、無発声音声の認識精度が向上する。
【００７６】
なお、本発明は、上述した実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲において、適宜変形態様を採ることも可能である。例えば、本実施の形態では、筋電信号センサ１２，２２を顔表面上の３ヶ所に貼り付けるものとしたが、４ヶ所以上に貼付してもよい。これにより、無発声音声認識の精度を更に向上することができる。
また、筋電信号センサ１２，２２の検出対象は、筋電信号、すなわち人間の筋肉の発する信号としたが、これに限らず、生体信号であればよい。
【００７７】
【発明の効果】
本発明によれば、携帯端末において、筋電信号を効率良く検出して、無発声音声認識の精度を向上することが可能となる。
【図面の簡単な説明】
【図１】第１の実施形態における携帯端末作製装置の機能的構成を示すブロック図である。
【図２】第１の実施形態における携帯端末の外観を概略的に示す図である。
【図３】第１の実施形態における筋電信号センサの概観を示す拡大斜視図である。
【図４】第１の実施形態における携帯端末作製装置により実行される処理を説明するためのフローチャートである。
【図５】第１の実施形態において、ワイヤーフレーム化された利用者の顔表面における特徴点Ａ〜Ｆを示す図である。
【図６】第１の実施形態におけるセンサ位置特定処理の第１部分を示すフローチャートである。
【図７】１ヶ所目（大頬骨筋）の筋電信号センサを貼付する位置を説明するための図である。
【図８】第１の実施形態におけるセンサ位置特定処理の第２部分を示すフローチャートである。
【図９】１ヶ所目の筋電信号センサを貼付する方向を説明するための図である。
【図１０】第１の実施形態におけるセンサ位置特定処理の第３部分を示すフローチャートである。
【図１１】１ヶ所目の筋電信号センサを貼付する傾きを説明するための図である。
【図１２】第１の実施形態におけるセンサ位置特定処理の第４部分を示すフローチャートである。
【図１３】２ヶ所目（口輪筋）の筋電信号センサを貼付する位置を説明するための図である。
【図１４】第１の実施形態におけるセンサ位置特定処理の第５部分を示すフローチャートである。
【図１５】２ヶ所目の筋電信号センサを貼付する方向を説明するための図である。
【図１６】第１の実施形態におけるセンサ位置特定処理の第６部分を示すフローチャートである。
【図１７】２ヶ所目の筋電信号センサを貼付する傾きを説明するための図である。
【図１８】第１の実施形態におけるセンサ位置特定処理の第７部分を示すフローチャートである。
【図１９】３ヶ所目（顎二腹筋）の筋電信号センサを貼付する位置を説明するための図である。
【図２０】第１の実施形態におけるセンサ位置特定処理の第８部分を示すフローチャートである。
【図２１】３ヶ所目の筋電信号センサを貼付する方向を説明するための図である。
【図２２】第１の実施形態におけるセンサ位置特定処理の第９部分を示すフローチャートである。
【図２３】３ヶ所目の筋電信号センサを貼付する傾きを説明するための図である。
【図２４】作製された携帯端末を利用者が実際に装着している様子を示す図である。
【図２５】第２の実施形態における携帯端末の機能的構成を示すブロック図である。
【図２６】第２の実施形態における携帯端末の外観を概略的に示す図である。
【図２７】第２の実施形態における携帯端末の有する筋電信号センサの概観を示す拡大斜視図である。
【図２８】第２の実施形態における携帯端末により実行される処理を説明するためのフローチャートである。
【符号の説明】
１…携帯端末作製装置、２…３Ｄ形状測定部、３…センサ位置算出部、４…形状設計部、５…携帯端末作製部、１０…携帯端末、１２ａ，１２ｂ，１２ｃ…筋電信号センサ、１４ａ，１４ｂ…電極対、２０…携帯端末、２０１…３Ｄ形状測定部，２０２…センサ位置算出部，２０３…センサ調整部、２２ａ，２２ｂ，２２ｃ…筋電信号センサ、２４ａ，２４ｂ…電極対、２６ａ，２６ｂ…摺動軸、２８ａ，２８ｂ…ボディ部
【図１】
2004347807.tif 000003
【図２】
2004347807.tif 000004
【図３】
2004347807.tif 000005
【図４】
2004347807.tif 000006
【図５】
2004347807.tif 000007
【図６】
2004347807.tif 000008
【図７】
2004347807.tif 000009
【図８】
2004347807.tif 000010
【図９】
2004347807.tif 000011
【図１０】
2004347807.tif 000012
【図１１】
2004347807.tif 000013
【図１２】
2004347807.tif 000014
【図１３】
2004347807.tif 000015
【図１４】
2004347807.tif 000016
【図１５】
2004347807.tif 000017
【図１６】
2004347807.tif 000018
【図１７】
2004347807.tif 000019
【図１８】
2004347807.tif 000020
【図１９】
2004347807.tif 000021
【図２０】
2004347807.tif 000022
【図２１】
2004347807.tif 000023
【図２２】
2004347807.tif 000024
【図２３】
2004347807.tif 000025
【図２４】
2004347807.tif 000026
【図２５】
2004347807.tif 000027
【図２６】
2004347807.tif 000028
【図２７】
2004347807.tif 000029
【図２８】
2004347807.tif 000030