(57)【要約】【課題】重度の肢体不自由者のなかで、眼球を動かせる人は多いが、このような人が周囲の人に意思を伝達しやすい機材を提供する必要がある。【解決手段】アイカメラ、視野カメラ、視線解析部、操作解析部、表示部、音声出力部を備える音声出力装置であって、アイカメラは、使用者の視線を検出し、視野カメラは、使用者と前記表示部の少なくとも一方を撮像し、視線解析部は、アイカメラと視野カメラの出力情報を受けて、使用者が注視する表示部の注視領域を検出し、操作解析部が使用者の音声出力決定の操作を検出すると、音声出力部が注視領域に対応して音声出力する音声出力装置により、重度の肢体不自由者が、意思を容易に周囲の人に伝えることができる。【選択図】  図１
2004301869.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ上に１以上の領域を設け、使用者の視線が注視した領域を検出し、前記注視した領域に関連する情報に基づいて音声出力する音声出力装置。
【請求項２】
アイカメラ、視野カメラ、視線解析部、操作解析部、表示部、音声出力部を備える音声出力装置であって、
前記アイカメラは、使用者の視線を検出し、
前記視野カメラは、使用者と前記表示部の少なくとも一方を撮像し、
前記視線解析部は、前記アイカメラと前記視野カメラの出力情報を受けて、使用者が注視する前記表示部の注視領域を検出し、
前記操作解析部が使用者の音声出力決定の操作を検出すると、前記音声出力部が前記注視領域に対応して音声出力する音声出力装置。
【請求項３】
前記音声出力する情報が文章を構成する情報である請求項１または請求項２いずれか記載の音声出力装置。
【請求項４】
音声出力決定のための領域を設け、上記音声出力決定のための領域に対する注視を検出することにより音声出力する請求項１から請求項３いずれか記載の音声出力装置。
【請求項５】
使用者の瞬きを検出し、音声出力決定を行う請求項１から請求項３いずれか記載の音声出力装置。
【請求項６】
使用者が装着する筐体に、前記アイカメラと前記視野カメラを設置した請求項２から請求項５いずれか記載の音声出力装置。
【請求項７】
使用者から離れた位置に、前記アイカメラと前記視野カメラを設置した請求項２から請求項５いずれか記載の音声出力装置。
【請求項８】
注視した領域の外観を注視決定に伴い変更するようにした請求項１から請求項７いずれか記載の音声出力装置。
【請求項９】
前記視線解析部は、前記アイカメラおよび前記視野カメラからの情報を受けて座標変換により視線が領域内にあるかどうかを判定して、注視状態かどうかを判定するようにした請求項２から請求項８いずれか記載の音声出力装置。
【請求項１０】
前記表示部は、表示記憶部から注視されうる領域の表示用情報の供給を受けて領域を表示し、前記視線解析部は、表示記憶部から領域の座標情報を受けて解析を行うようにした請求項２から請求項８いずれか記載の音声出力装置。
【請求項１１】
前記音声出力する情報は、肢体不自由者が意思伝達を行うための情報である請求項１から請求項１０いずれか記載の音声出力装置。
【請求項１２】
ディスプレイ上に１以上の領域を設け、使用者の視線が注視した領域を検出し、前記注視した領域に関連する情報に基づいて音声出力する音声出力方法。
【請求項１３】
請求項２から請求項１０いずれか記載の音声出力装置
を構成するアイカメラおよび視野カメラを具備するポインティングデバイス。
【請求項１４】
コンピュータに、
アイカメラと視野カメラの出力情報を受け付けるステップと、
使用者が注視する注視領域を検出するステップと、
使用者の音声出力決定の操作を検出するステップと、
前記使用者の音声出力決定の操作を検出した場合に、注視領域に対応する音声を出力するステップを実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、肢体不自由者などのような使用者が視線によりその意思を表現するための音声出力装置等に関する。
【０００２】
【従来の技術】
第一の従来技術は、重度の肢体不自由者がアイカメラを用いて、表示画面上のキーボードのキーを選択して、文字入力するワープロやパソコンが知られている。
【０００３】
また、第二の従来技術は、音声が役立たないような騒音下で、プラントの運転指令を行うポインティングデバイス装置および入力方法が知られている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開平７−２５３８４３号公報（第２−３頁、第１図）
【０００５】
【発明が解決しようとする課題】
しかしながら、第一の従来技術では、使用者の意思を伝えるまで、時間のかかる入力操作が必要であった。
【０００６】
また、第二の従来技術では、使用者の意思を伝えるのに、やはり複雑な手順を必要とし、かつ、音声による伝達ができない。
【０００７】
本発明は、重度の肢体不自由者で、目を動かすことが出来る人が、気軽に使用でき、周囲の人に意思を伝え、ヒューマン・コミュニケーションがとりやすいポインティングデバイスおよび入力方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記の課題を解決するために、本発明のポインティングデバイスおよび入力方法および音声出力装置は、以下のような手段を採用する。
【０００９】
（１）あらかじめ設定された注視され得る１つまたは複数の領域を設け、使用者の視線が注視した領域を検出し、当該領域に関連する情報に基づいて音声出力する、ポインティングデバイスおよび入力方法および音声出力装置とする。
【００１０】
（２）アイカメラ、視野カメラ、視線解析部、操作解析部、表示部、音声出力部を備え、アイカメラは、使用者の視線を検出し、視野カメラは、使用者と表示部の少なくとも一方を撮像し、視線解析部は、アイカメラと視野カメラの出力情報を受けて、使用者が注視する表示部の注視領域を検出し、操作解析部が使用者の音声出力決定の操作を検出すると、前記注視領域に対応して音声出力するようにした、ポインティングデバイスおよび入力方法および音声出力装置である。音声出力する情報は文章でもよい。
【００１１】
（３）音声出力決定のための領域を設け、上記音声出力決定のための領域に対する注視を検出することにより音声出力したり、使用者の瞬きを検出し、音声出力決定を行ったりする。
【００１２】
（４）使用者が装着する筐体に、アイカメラと視野カメラを設置してもよく、また、使用者以外の位置に、アイカメラと視野カメラを設置してもよい。
【００１３】
（５）注視した領域の色、形態を注視決定に伴い変更するようにしてもよい。使用者は、自分の操作が意図どおりかどうか知ることができる。
【００１４】
（６）視線解析部は、アイカメラおよび視野カメラからの出力情報を受けて座標変換により視線が領域内にあるかどうかを判定して、注視状態かどうかを判定するようにする。受ける出力情報は、座標変換手法により変わるが、位置基準情報、視線情報などがある。
【００１５】
（７）表示部は、表示記憶部から注視されうる領域の表示用情報の供給を受けて領域を表示し、視線解析部は、領域の座標情報を受けて解析を行うようにしてもよい。
【００１６】
【発明の実施の形態】
以下、本発明の音声出力装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００１７】
（実施の形態１）
【００１８】
図１は、本発明の音声出力装置用のポインティングデバイスおよび入力方法を説明する外観図を示す。図１において、表示部１０はテレビやパソコンの表示装置のようなもので、使用者が意思を伝えたい内容として３つの項目が、依頼、返事、挨拶の３領域分表示されている。その下には、Ａ、Ｂ、Ｃの領域が表示されており、主領域である３領域のそれぞれについて、さらに使用者の意思伝達の選択肢領域になっている。使用者１１は、眼鏡１２を装着しており、表示部１０に向かい合わせの位置にいる。眼鏡１２には、後述するアイカメラ２１と視野カメラ２２が組み込まれており、表示部１０上の各領域の内、使用者が注視している領域を検知できる。いずれかの領域を注視している状態で、後述する所定の動作を行うと、注視している対象を選択できる。
【００１９】
図２は、本発明のポインティングデバイスを備えた音声出力装置のシステムのブロック図である。図２において、表示部１０は、表示記憶部２５に格納された表示内容を表す表示用情報と表示位置を示す座標情報に基づき、図１に示したような画面を表示する。アイカメラ２１と視野カメラ２２は、図１の眼鏡１２に組み込まれている。アイカメラ２１と視野カメラ２２の出力情報は、視線解析部２３に送られる。視野カメラ２２は、表示部１０を撮像し、表示部１０からの光情報をもとに、眼鏡１２と表示部１０の枠や表示内容との位置関係を表す位置基準情報を視線解析部２３に送る。アイカメラ２１は、使用者１１の視線方向を表す視線情報を視線解析部２３に送る。視線解析部２３は、位置基準情報と視線情報とを解析し、表示部１０上のどの領域を注視しているかを表す注視領域情報を生成し、出力選択部２６に送る。また、アイカメラ２１は、出力情報として、使用者１１の目の動作情報を操作解析部２４に送っている。操作解析部２４は、目の動作情報を解析しており、使用者１１が瞬きをすると、瞬きの動作を検出し、選択指示情報を出力選択部２６に送る。出力選択部２６は、選択指示情報を受けると、注視領域情報と表示情報から出力選択情報を生成する。出力記憶部２７には、表示情報に対応した音声情報が格納されている。出力選択部２６は、生成した出力選択情報に対応した音声情報を出力記憶部２７から読み出して出力させ、音声信号としてスピーカから出力させる。
【００２０】
位置基準情報と視線情報は、いくつかの方法での表現が可能である。その一例について説明する。使用者１１が表示部１０上のどの領域を見ているかを検知するためには、表示部１０と眼鏡１２の位置関係、および、眼鏡１２を基準にした使用者１１の視線の方向を知る必要がある。視野カメラ２２は、使用者１１が、頭を動かして、表示部１０と眼鏡１２の位置関係がずれた場合、そのずれを補正することを第１の目的として設けられる。視野カメラ２２は、眼鏡１２の正面方向を中心方向、すなわち中心軸として前方を撮像する。撮像画面エリアの中心が、正面方向に当たる。視野カメラ２２の撮像範囲をあらわす視野角は、あらかじめ分っている。視野角と、撮像した物体の撮像画面エリア内での座標から、正面方向、すなわち中心軸を基準としたその物体の上下左右の方向角度が算出できる。よって、撮像画面エリア内に写った、表示部１０上の各領域の画像を解析すれば、各領域の方向角度が算出できる。図１に示したような長方形の１つの領域の場合、その４つの頂点の方向角度で決まる角錐領域内に、視線があれば、その領域を見ていることになる。この場合、各領域の頂点の４つの方向角度がその領域の位置基準情報となる。
【００２１】
アイカメラ２１は、眼鏡１２の中心軸を基準として、視線の方向角度を視線情報として出力する。視線解析部２３は、受け取った各領域の頂点の方向角度と視線の方向角度とを比較し、各領域の方向角度により形成される角錐領域の中に視線の方向角度を含むかどうかを調べ、視線の方向角度を含む領域を注視領域として選択し、その領域記号を出力する。
【００２２】
つぎに、表示部１０の各領域と音声出力について説明する。「挨拶」を選択すると、「Ａ」により「こんにちは」を、「Ｂ」により「さようなら」を、「Ｃ」により「今度は何時お会いできますか」を、それぞれ選択できる。「返事」を選択すると、「Ａ」により「はい」を、「Ｂ」により「いいえ」を、「Ｃ」により「わかりません」を選択できる。「依頼」を選択すると、「Ａ」により「お茶を入れてください」を、「Ｂ」により「本を読んでください」を、「Ｃ」により「トイレをお願いします」を選択できる。領域記号を「挨拶」＝Ｘ、「返事」＝Ｙ、「依頼」＝Ｚとする。出力記憶部２７には、上記の各文章が音声信号情報として記憶される。ＸＡに対応するアドレスには、「こんにちは」、ＸＢに対応するアドレスには、「さようなら」、ＸＣに対応するアドレスには、「今度は何時お会いできますか」というように記憶される。
【００２３】
視線解析部２３が、領域記号Ｘ、Ｙ、Ｚのいずれか、たとえば、Ｘを出力している状態で、操作解析部２４が、瞬きの動作を検出し、選択指示情報を出力選択部２６に送ると、出力選択部２６は、Ｘを記憶する。つぎに、視線解析部２３が、領域記号Ａ、Ｂ、Ｃのいずれか、たとえば、Ａを出力している状態で、操作解析部２４が瞬きの動作を検出し、選択指示情報を出力選択部２６に送ると、出力選択部２６は、Ｘに続いてＡを記憶する。ＸＡが決まったので、出力選択部２６は、ＸＡに対応するアドレスを出力記憶部２７に与える。出力記憶部２７は、ＸＡ、すなわち、「こんにちは」の音声信号情報を出力する。音声出力部２８は、音声信号情報を音声信号に変換し、スピーカより音声を発生する。出力記憶部２７が、ＺＢの順に領域記号を受け取ると、「本を読んでください」の音声信号が発せられることになる。出力選択部２６において、Ｘ，Ｙ、Ｚのいずれかの後にＡ、Ｂ、Ｃのいずれかが記憶されない場合、例えば、ＡＢやＣＺなどとなった場合は、エラー信号として「ポン」というような音を出力音声として発生する。
【００２４】
上記、Ｘ，Ｙ、Ｚのいずれか、および、Ａ、Ｂ、Ｃのいずれかを選択した段階で、その記号を表示記憶部２５に送り、表示部１０の対応する領域の外観（色や形など）を変えて選択されたことを使用者１１に知らせるようにしてもよい。
【００２５】
なお、上記説明では、視野カメラ２２は、表示部１０を撮像し、表示部１０からの光情報をもとに、眼鏡１２と表示部１０の枠や表示内容との位置関係を表す位置基準情報を視線解析部２３に送り、アイカメラ２１は、使用者１１の視線方向を表す視線情報を視線解析部２３に送り、視線解析部２３は、位置基準情報と視線情報とを解析し、表示部１０上のどの領域を注視しているかを表す注視領域情報を生成し、出力選択部２６に送り、アイカメラ２１は、使用者１１の目の動作情報を操作解析部２４に送るようにしたが、上記各種情報の抽出は、視線解析部２３や操作解析部２４において行ってもよい。すなわち、視野カメラ２２やアイカメラ２１は、撮像した画像情報から位置基準情報や視線情報の解析や抽出を行わない形の情報を視線解析部２３に送り、解析や抽出を視線解析部２３において行うようにしてもよい。アイカメラ２１は、撮像した画面情報を操作解析部２４に送り、操作解析部２４が目の動きを解析するようにしてもよい。
【００２６】
さらに、本実施の形態における視線解析などの処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、アイカメラと視野カメラの出力情報を受け付けるステップと、使用者が注視する注視領域を検出するステップと、使用者の音声出力決定の操作を検出するステップと、使用者の音声出力決定の操作を検出した場合に注視領域に対応する音声を出力するステップを実行させるためのプログラム、である。
【００２７】
（実施の形態２）
【００２８】
上記実施の形態１では、基準軸に対する上下左右の方向角度により、各領域や視線を表現したが、以下、別の表現方法とそれに基づく処理について、図３を用いて説明する。
【００２９】
図３において、アイカメラ２１、視野カメラ２２、表示記憶部２５の出力情報は、視線解析部２３に入力される。視野カメラ２２は、視野内の画像情報を視線解析部２３に送る。視線解析部２３は、受け取った画像情報を解析し、表示部１０の枠の部分を画像解析により検出し、枠を画像情報上に配置する。表示記憶部２５は、表示している各領域の表示枠内での座標情報を視線解析部２３に送る。視線解析部２３は、表示記憶部２５から受け取った各領域の座標情報に基づき、各領域を上記画像情報上の枠の中に配置する。この配置とは、表示部１０の座標体系上の座標を視野の画像情報上の座標体系に座標変換する処理であり、この座標変換により画像情報中での各領域の座標値が得られる。つぎに、アイカメラ２１から受け取った視線情報に基づき、画像情報上に視線位置を配置する。この配置とは、アイカメラ２１が視線検出したときの座標体系、たとえば、円錐座標体系から、視野の画像情報上の座標体系に座標変換する処理であり、この処理により、画像情報上での視線の位置の座標（視線座標）が得られる。つぎに、視線座標がどの領域座標エリアに含まれるか、を判定する。視線座標が含まれる領域が注視領域である。視線解析部２３は、注視領域の領域記号（注視領域を識別する情報）を出力選択部２６に出力する。操作部３４が操作選択情報を出力選択部２６に送ると、そのときの領域記号が選択され、出力選択部２６は、対応するアドレスを出力記憶部２７に与える。出力記憶部２７は上記アドレスに格納された音声信号情報を読み出して出力する。音声出力部２８は上記音声信号情報音声信号に変換し、スピーカより音声を発生する。
【００３０】
なお、アイカメラ２１からの視線情報を視野の画像情報上に配置するには、視野カメラ２２から、視野内の画像情報とともに視野角の情報が、視線解析部２３に与えられていなければならない。
【００３１】
（実施の形態３）
【００３２】
上記説明では、領域の選択決定は、瞬きの動作で行うようにした。瞬きの検出は、目を瞑ったときには、アイカメラ２１において、眼球や瞳孔の検出がない状態になり、通常の視線情報が途切れる。目が自然に行う瞬きを選択決定の動作と区別する必要がある。このためには、操作解析部２４は、受け取る視線情報の時間長を計数しておき、自然な瞬きの時間よりも十分長い時間だけ目を瞑ったとき、あるいは、目を瞑る時間を短、長、短などの順序により、使用者１１が符号化し、この符号パターンを受信したときに、選択決定と判定するようにすればよい。
【００３３】
表示部１０の上に、読点の「。」印や、決定ボタンを表示しておき、視線がこれらを選択した場合に、音声出力を出すようにしてもよい。瞬きができない肢体不自由者には、このような入力方法が有効になる。ただし、意図せずに視線が決定ボタンを横切る場合もあるので、視線が決定ボタンを注視している時間が一定以上の場合や、視線が決定ボタン上を時間的に、あるいは、位置的に一定の軌跡を描いた場合、などに選択決定と判定するような対策を行ってもよい。
【００３４】
また、各領域を広めにしておき、領域内で視線が円を描いた場合、選択決定としてもよい。このためには、各領域の表示画面上に円の図形を表示しておき、使用者１１が円状の視線移動をしやすくしてもよい。
【００３５】
また、選択決定以前の状態でも、視線が表示の上記領域上にある場合は、その領域情報を、表示記憶部２５を介して、または、表示部１０への図示しない経路を介して、視線解析部２３から表示部１０に送り、表示部１０は、視線が当てられた領域の色などを変更して、使用者１１が今どの領域を見ているかが分るようにしてもよい。
【００３６】
また、視線解析部２３が、視線があたっている位置の表示部１０上の座標情報を表示部１０に与えるようにして、マウスのアイコンのような視線アイコンを表示部１０上に表示するようにしてもよい。
【００３７】
（実施の形態４）
【００３８】
上記各実施の形態では、アイカメラ２１、視野カメラ２２を眼鏡１２に組み込んだが、肢体不自由者のベッドなどに設置してもよい。近赤外ＬＥＤを眼球に当ててＣＣＤカメラによって眼球の動きを計測し，あらかじめ分っている表示部１０の室内での配置位置情報と、表示部１０上での各領域の座標情報とにより、注視領域の検出を、視線解析部２３が行ってもよい。眼鏡を装着していなくともよいので、使用者は苦痛なく長時間使用できる。このためには、視野カメラ２２は、アイカメラ２１、使用者１１、表示部１０などの位置関係を測定する必要がある。アイカメラ２１は、使用者１１の眼球から視線の方向情報を得られるが、その視線が、アイカメラ２１からどのくらい離れた位置にあるかは分らない。アイカメラ２１と視野カメラ２２の位置関係は分っているものとして、使用者１１の頭部の寸法情報、視野カメラ２２自身の視野角、画面上の頭部の大きさ、及び目の位置から、使用者１１の目とアイカメラ２１との位置関係を計算することにより、視線の空間座標上の位置を決定する。なお、空間座標とは、視野カメラ２２を基準として周囲の物体の位置を表現する３次元座標体系である。アイカメラ２１と表示部１０との位置関係情報と、表示部１０上の各領域の位置情報とにより、各領域の空間座標上の位置を計算し、視線の空間座標上の位置と各領域の空間座標上の位置とを比較することにより、注視領域の有無とその領域符号を割り出すようにすればよい。
【００３９】
視野カメラ２２を立体カメラとして、使用者１１の頭部、眼球、表示部１０などの対象物の空間座標内の位置を測定できるようにしてもよい。
【００４０】
アイカメラ２１や視野カメラ２２を表示部１０と一体構造としてもよい。この場合は、それらの互いの位置関係は一定であり、あらかじめ分っているので、その位置関係の情報を視線解析部２３に格納しておき、空間座標の計算に使用すればよい。
【００４１】
（その他の実施の形態と補足）
【００４２】
視線解析部２３が行う各領域に対する注視の判定は、上記実施の形態において説明した手法に限らず、３次元空間座標、円錐座標、角錐座標、それらの座標体系を歪ませた座標空間や、それらを投影した２次元空間などに、視線や各領域を配置する演算により行うことができる。
【００４３】
使用者が、指などを動かせる場合は、図２の操作解析部２４の代わりに、図３の操作部３４、たとえば、操作ボタンを押して領域の選択を行ってもよい。
【００４４】
アイカメラ２１、視野カメラ２２と視線解析部２３、操作解析部２４の結合を、無線通信、赤外通信などの有線でない通信方法によって行えば、使用者に与える苦痛がより少なくなる。
【００４５】
アイカメラ２１、視野カメラ２２は、通常は、別々のカメラでよいが、両方の機能を一つのカメラで達成するようにしてもよい。撮像した画面情報の眼球画像の細部から視線情報を解析し、表示部１０の画像、または、使用者の頭部の画像から視野角内の表示部１０の位置や各領域の位置、または、頭部の位置を解析するようにすればよい。
【００４６】
表示部１０に表示する各領域の画像は、図１に示したような文字以外に、絵、アイコンなどでもよい。表示部１０は、電子的表示装置として説明したが、紙などの上に印刷されたものでもよい。この場合は、領域の位置や寸法は固定であるので、その情報をあらかじめ視線解析部２３に格納しておけば、上記説明した位置や座標の計算を同様にして行うことができる。また、表示部１０は、平面以外に、立体物など種々の形態を適用してもよい。部屋にある家具や照明器具などを対象の領域としてもよい。この場合は、家具や照明器具それぞれの位置を視線解析部２３に事前に入力する必要がある。
【００４７】
図１では、主領域と選択肢領域とを表示し、最終的な意思を２つのステップで選択するようにしたが、選択肢領域には、Ａ、Ｂ、Ｃなどの記号の代わりに、発生する音声の文章や音声の内容を表す単語を表示してもよい。また、主領域と選択肢領域の２段階以外の表示による選択方法でもよい。
【００４８】
音声出力は、使用者１１の近傍で出力する場合もあるが、離れた場所、たとえば、介護者の居室、看護婦の詰め所、家族のいる台所などで出力するようにしてもよい。
【発明の効果】
以上のように、本発明によれば、
【００４９】
（１）肢体不自由者を介護する人が肢体不自由者から離れていれも、肢体不自由者の能動的な要求が分かる。
【００５０】
（２）肢体不自由者にとって、急を要することが多い、例えば、トイレや痛みを訴えるなどの場合、簡単な指示で、知らせることができる。
【図面の簡単な説明】
【図１】本発明の音声出力装置用のポインティングデバイスおよび入力方法を説明する使用外観図
【図２】本発明の一実施形態による音声出力装置のブロック図
【図３】本発明の他の実施形態による音声出力装置のブロック図
【符号の説明】
１０  表示部
２１  アイカメラ
２２  視野カメラ
２３  視線解析部
２４  操作解析部
２５  表示記憶部
２６  出力選択部
２７  出力記憶部
３４  操作部
【図１】
2004301869.tif 000003
【図２】
2004301869.tif 000004
【図３】
2004301869.tif 000005