(57)【要約】【課題】患者等の姿を見ながら、同時に文字を選択することによって単語や文章を生成し、意思疎通を図ることのできる意思伝達装置の提供。【解決手段】アルファベット、カタカナ、ひらがな、その他の文字、数字、絵文字、記号のセットの中から一字単位で文字を選択させるために文字を表示する文字選択表示画面を出力する文字選択表示画面出力部と、文字選択表示画面を見る者の姿態を撮像するための撮像部と、文字選択表示画面と、撮像部で撮像された姿態とを同一画面内に表示した姿態確認画面を出力する姿態確認画面出力部と、姿態確認画面を視認しながら文字を選択させるための文字選択部と、を有する意思伝達装置を提供する。【選択図】図２
2019012384.tif 000002
【特許請求の範囲】
【請求項１】
アルファベット、カタカナ、ひらがな、その他の文字、数字、絵文字、記号のセットの中から一字単位で文字を選択させるために文字を表示する文字選択表示画面を出力する文字選択表示画面出力部と、
文字選択表示画面を見る者の姿態を撮像するための撮像部と、
文字選択表示画面と、撮像部で撮像された姿態とを同一画面内に表示した姿態確認画面を出力する姿態確認画面出力部と、
姿態確認画面を視認しながら文字を選択させるための文字選択部と、
を有する意思伝達装置。
【請求項２】
文字選択表示画面を表示するための第一ディスプレイと、
第一ディスプレイの裏面側に配され姿態確認画面を表示するための第二ディスプレイと、
を有する請求項１に記載の意思伝達装置。
【請求項３】
文字選択部は、操作によって選択を受け付ける第二ディスプレイのタッチパネルを有する請求項２に記載の意思伝達装置。
【請求項４】
２つのタブレット型端末装置とインターフェイスで構成される請求項１から３のいずれか一に記載の意思伝達装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、身体の運動能力が低下している患者の意思伝達・意思疎通のための装置に関するものである。
【背景技術】
【０００２】
ＡＬＳ（筋萎縮性側索硬化症）等の患者は、人工呼吸器などを装着する必要があり、発話をすることが不可能である。したがって、小さな手の動きや、口角の動き、眼球運動などのジェスチャーを使って意思伝達・意思疎通を図っている場合が多い。
【０００３】
特許文献１には患者等の意思を文字によって計算機に伝達する装置が開示されている。具体的には、計算機の表示装置に、選択候補となる文字を複数表示し、その文字の色を順次（例えば５０音順に）変更してゆく。患者等は選択したい文字の色が変わったタイミングで選択の意思を装置に伝える。これを繰り返すことにより文を作成し、患者等の意思を伝達することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−３３２８３１
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、上記のような装置は、患者等が小さな手の動きなどによる操作により文字選択の意思を伝えるが、重度の患者等で操作さえできない場合には相手が選択の意思を患者等のジェスチャーにより汲み取る必要が生じる。このため相手は患者等の姿態を見ながら装置を操作しながら文字の選択を実行することになる。このような場合に、文字列の選択画面のみが表示された装置では患者等と選択画面を見比べながら意思疎通を取る必要が生じ、非常に煩雑となる。従って、患者等の姿を見ながら、同時に文字を選択することによって単語や文章を生成し、意思疎通を図ることのできる装置の提供が課題として生ずる。
【課題を解決するための手段】
【０００６】
上記課題に対して本発明では、患者等の姿態が映された映像に重畳して、ひらがなやカタカナ等の文字セットを表示した文字選択表示画面を表示する。これにより患者等が文字を選択している姿態を見ながら意思疎通を図ることができ、患者等の文字の選択の意思が眼球運動等の小さな動きに依るものであったとしても確実に意思を把握することができ、患者等との円滑な意思疎通を行うことができる。
【０００７】
具体的には、アルファベット、カタカナ、ひらがな、その他の文字、数字、絵文字、記号のセットの中から一字単位で文字を選択させるために文字を表示する文字選択表示画面を出力する文字選択表示画面出力部と、文字選択表示画面を見る者の姿態を撮像するための撮像部と、文字選択表示画面と、撮像部で撮像された姿態とを同一画面内に表示した姿態確認画面を出力する姿態確認画面出力部と、姿態確認画面を視認しながら文字を選択させるための文字選択部と、を有する意思伝達装置を提供する。
【０００８】
また、上記特徴に加えて、文字選択表示画面を表示するための第一ディスプレイと、第一ディスプレイの裏面側に配され姿態確認画面を表示するための第二ディスプレイと、を有する意思伝達装置を提供する。
【０００９】
また、上記特徴に加えて、文字選択部は、操作によって選択を受け付ける第二ディスプレイのタッチパネルを有する意思伝達装置を提供する。
【００１０】
さらに、上記特徴に加えて、２つのタブレット型端末装置とインターフェイスで構成される意思伝達装置を提供する。
【発明の効果】
【００１１】
本発明の意思伝達装置では、文字選択表示画面と患者等の姿態を同一画面内に表示した姿態確認画面を提供することで患者の姿を見ながらコミュニケーションをとることが可能である。これにより、対応中の患者等の微妙な仕草などによる意思も把握しつつ文字選択を受け付けることが可能であり、より正確で円滑な意思疎通を図ることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】実施例１にかかる意思伝達装置の動作の概要を示す図
【図２】実施例１を実施した場合の意思伝達装置の機能的構成を示す図
【図３】実施例１にかかる意思伝達装置のハードウェア構成を示す図
【図４】実施例２にかかる意思伝達装置の動作の概要を示す図
【図５】実施例２にかかる意思伝達装置のハードウェア構成を示す図
【図６】実施例３にかかる意思伝達装置の動作の概要を示す図
【発明を実施するための形態】
【００１３】
以下、本件発明の実施の形態について、添付図面を用いて説明する。本件発明は、実施例に何ら限定されるべきものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。実施例１は主に請求項１に、実施例２は主に請求項２および４、実施例３は主に請求項３について記載する。
【実施例１】
【００１４】
＜概要＞
図１は本実施例にかかる意思伝達装置の動作の概要を示した図である。この図に示すように、患者（０１０１）側の表示装置（０１０２）に文字選択表示画面（０１０３）が出力されている。相手（０１０４）側の表示装置（０１０５）には、患者（０１０１）をカメラ（０１０６）で撮影した姿態と、文字選択表示画面（０１０７）が同一画面内に表示した姿態確認画面が表示されている。相手（０１０４）は文字選択表示画面中のカーソルを移動させつつ、同時に患者の姿態を見て、口角のわずかな動きなどの患者の選択の意思表明があったと相手が判断したところで文字を選択し、文章を構成していく。
【００１５】
＜機能的構成＞
図２は、本実施例にかかる意思伝達装置の機能的構成を示す図である。本実施例にかかる意思伝達装置（０２００）は、「文字選択表示画面出力部」（０２０１）と、「撮像部」（０２０２）と、「姿態確認画面出力部」（０２０３）と、「文字選択部」（０２０４）と、を有する。
【００１６】
「文字選択表示画面出力部」（０２０１）は、アルファベット、カタカナ、ひらがな、その他の文字、数字、絵文字、記号のセットの中から一字単位で文字を選択させるために文字を表示する文字選択表示画面を出力する機能を有する。文字選択表示画面は患者側と相手側とに表示（０１０３）（０１０７）され、画面中の文字のセット上を一文字ずつカーソル状の枠等が移動する。このカーソル状の枠等はセットの先頭から順番に等速で移動するものであってもよいし、相手側のポインティングデバイスなどの操作により自由に動かす態様のものであってもよい。また、カーソル状の枠が文字を囲むように表示するものであってもよいし、文字の色を変えたり、矢印で文字を指し示すものや、文字をハイライトさせたり、文字を拡大させて見せるといった態様でもよい。さらに、一文字選択する毎に、予測された変換候補の単語やフレーズを画面中に表示させるものであれば入力を高速化することができるため望ましい。文字選択表示画面出力部の機能は装置のＣＰＵやＲＡＭ、不揮発性メモリに格納された文字選択表示画面プログラム、ディスプレイやビデオカード、Ｕ／Ｉなどで実現される。
【００１７】
「撮像部」（０２０２）は、文字選択表示画面を見る者の姿態を撮像するための機能を有する。「文字選択表示画面を見る者」とは少なくとも患者側の者であるが、相手側の姿態をも撮像して患者側に表示させていても構わない。「姿態」とは撮影された姿のことであり、相手の体の一部の動きも含む。姿態はカメラの画角により見える範囲が異なることになるが、少なくとも選択の意思を表明するために動かすことのできる体の部位を含むことが必要である。例えば、右手の人差し指の動きによって選択の意思を伝えるのであれば少なくとも右手が撮像の中に含まれていることが必要である。「撮像」とはカメラ等により姿態を撮影することである。基本的には患者等を動画で撮影することをさすが、モーションキャプチャのように体の一部の動きを捕捉する態様も撮像の概念に含まれる。撮像部の機能は装置のＣＰＵやＲＡＭ、不揮発性メモリに格納された撮像プログラム、カメラやビデオキャプチャーカード等で実現される。
【００１８】
「姿態確認画面出力部」（０２０３）は、文字選択表示画面と、撮像部で撮像された姿態とを同一画面内に表示した姿態確認画面を出力する機能を有する。具体的には、撮像部で撮像された撮像画面に文字選択表示画面をオーバーレイさせて表示させること等を指す。「同一画面内」とは、基本的には前記のとおり同一ディスプレイ内に撮像画面と文字選択表示画面の両方を表示させることを指すものであるが、撮像画面と文字選択表示画面が一覧のもとに見ることができる態様も含むものとする。例えば、一のディスプレイに撮像画面を表示させ、近接して配置された別のサブディスプレイに文字選択表示画面を表示させる態様も「同一画面内」であるとする。撮像部の機能は、装置のＣＰＵとＲＡＭ、不揮発性メモリ上に格納された姿態確認画面出力プログラムと、ビデオカード、姿態確認ディスプレイ等で実現される。
【００１９】
「文字選択部」（０２０４）は、姿態確認画面を視認しながら文字を選択させるための機能を有する。「文字を選択」とは姿態確認画面で視認できる患者等の動きを見ながら、同時に文字選択表示画面を見て、文字選択の意思が表明された際には、ポインティングデバイス等のＵ／Ｉで文字の決定操作を相手側が行うことを指す。文字選択部の機能は装置のＣＰＵ、ＲＡＭと不揮発性メモリ上に格納された文字選択プログラムと、ビデオカード、文字選択表示ディスプレイ、姿態確認ディスプレイ、Ｕ／Ｉ等で実現される。
【００２０】
＜ハードウェア構成＞
図３は、本実施例にかかる意思伝達装置のハードウェア構成を示す図である。以下、この図を用いて説明する。この図にあるように、本実施例にかかる意思伝達装置は、各種演算処理を行う「ＣＰＵ（中央演算装置）」（０３０１）と、ＨＤＤ等のストレージを含む「不揮発性メモリ」（０３０２）と、「ＲＡＭ」（０３０３）を備えている。また、患者等を撮影する「カメラ」（０３０４）とビデオキャプチャーカード（０３０５）、文字選択表示画面と姿態確認画面のそれぞれを表示するための「ビデオカード」（０３０６）とこれに接続された「文字選択表示ディスプレイ」（０３０７）及び「姿態確認ディスプレイ」（０３０８）を備える。さらに、文字の選択操作を行うポインティングデバイス等の「Ｕ／Ｉ」（０３０９）を備える。そして、それらが「システムバス」（０３１０）等のデータ通信経路によって 相互に接続され、情報の送受信や処理を行う。
【００２１】
「ＲＡＭ」（０３０３）は、各種処理を行うプログラムを「ＣＰＵ」（０３０１）に実行させるために読み出すと同時にそのプログラムの作業領域でもあるワーク領域を提供する。また、この「ＲＡＭ」（０３０３）にはそれぞれ複数のアドレスが割り当てられており、「ＣＰＵ」（０３０１）で実行されるプログラムは、そのアドレスを特定しアクセスすることで相互にデータのやりとりを行い、処理を行うことが可能になっている（本明細書を通じて同様である。）。
【００２２】
まず、不揮発性メモリ（０３０２）に格納されていた撮像プログラムがＲＡＭ（０３０３）上に展開され、ＣＰＵ（０３０１）にて実行される。同プログラムは、カメラ（０３０４）とビデオキャプチャーカード（０３０５）からの撮像画面を取得し、一時的にＲＡＭ（０３０３）に蓄積する。次に不揮発性メモリ（０３０２）に格納されている文字選択表示画面出力プログラムがＲＡＭ（０３０３）上に展開され、ＣＰＵ（０３０１）にて実行される。同プログラムは、文字選択表示画面を生成し、ＲＡＭ（０３０３）上に一時的に蓄積する。これと同時に、文字選択表示画面を、ビデオカード（０３０６）を介して文字選択表示ディスプレイ（０３０７）に出力する。次に、不揮発性メモリ（０３０２）上に格納されている姿態確認画面出力プログラムがＲＡＭ（０３０３）上に展開され、ＣＰＵ（０３０１）にて実行される。同プログラムはＲＡＭ（０３０３）上に蓄積されている姿態確認画面に、同じくＲＡＭ（０３０３）に蓄積されている文字選択表示画面をオーバーレイする処理をＣＰＵ（０３０１）により実行し、ＲＡＭ（０３０３）上に姿態確認画面として一時的に蓄積する。蓄積された姿態確認画面はビデオカード（０３０６）を介して姿態確認ディスプレイ（０３０８）に対して出力される。次に、不揮発性メモリ（０３０２）上に格納されている文字選択プログラムがＲＡＭ（０３０３）上に展開され、ＣＰＵ（０３０１）にて実行される。同プログラムはＵ／Ｉ（０３０９）からの入力を待ち、入力イベントがあった場合には、文字選択表示画面出力プログラムから、そのときにカーソル等で選択されている文字（列）を取得し、ＲＡＭ（０３０３）上に選択文字列として蓄積する。蓄積されている選択文字列は、文字選択表示画面出力プログラムにより同画面に出力される。
【実施例２】
【００２３】
＜概要＞
実施例２の意思伝達装置は、実施例１の意思伝達装置を基本として、文字選択表示画面を表示するディスプレイ（以下第一ディスプレイと呼ぶ）に背中合わせに姿態確認画面を表示するディスプレイ（以下第二ディスプレイと呼ぶ）を配置する。
【００２４】
図４は実施例２の意思伝達装置の概要を説明するための図である。この図にあるように、患者側に文字選択表示画面（０４０１）を出力する第一ディスプレイ（０４０２）を配し、この裏面に姿態確認画面（０４０３）を表示する第二ディスプレイ（０４０４）を背中合わせで配置している。このようにディスプレイを背中合わせで配置することで、患者等は相手と正対して意思疎通をすることができ、必要であれば相手は直接患者等の姿を見ることでより円滑に意思疎通を進めることができる。
【００２５】
ここで、実施例２の意思伝達装置はタブレット型端末により構成されていても良い。例えば２台のタブレット端末を背中合わせに配置し同装置を構成してもよい。患者側の端末には文字選択表示画面を表示し、相手側の端末には姿態確認画面を出力するといった態様が考えられる。タブレット型端末による意思伝達装置は比較的軽量であるので、相手側はこれを手で保持し、患者側に向けて文字選択操作を行う事が可能である。このようにすることで、装置を持ち運ぶことが可能となり、外出時等でも容易に意思疎通を図ることができる。
【００２６】
＜機能的構成＞
実施例２にかかる意思伝達装置は、「文字選択表示画面出力部」と、「撮像部」と、「姿態確認画面出力部」と、「文字選択部」と、を有する。これら構成要件については実施例１で説明済であるので記載は省略する。
【００２７】
「第一ディスプレイ」は文字選択表示画面を表示するための機能を有する。具体的には、患者側に対して同ディスプレイにより文字選択表示画面を表示し、文字の選択を促す。
【００２８】
「第二ディスプレイ」は第一ディスプレイの裏面側に配され姿態確認画面を表示するための機能を有する。「裏面側に配され」とは、両ディスプレイが背中合わせになって固定されている態様が含まれる。
【００２９】
なお第一ディスプレイおよび第二ディスプレイは上記の通りタブレット型端末が有するディスプレイであってもよい。  
【００３０】
＜ハードウェア構成＞
図５は、実施例２にかかる意思伝達装置のハードウェア構成を示す図である。この図は、タブレット端末２台を使用した意思伝達装置のハードウェア構成の一例を示すものである。以下、この図を用いて説明する。この図にあるように、本実施例にかかる意思伝達装置は、各種演算処理を行う「ＣＰＵ（中央演算装置）」（０５０１）（０５１０）と、ＨＤＤ等のストレージを含む「不揮発性メモリ」（０５０２）（０５１１）と、「ＲＡＭ」（０５０３）（０５１２）を備えている。また、文字選択表示画面を表示するための「ビデオカード」（０５０４）とこれに接続された「第一ディスプレイ」（０５０５）と、姿態確認画面を表示するための「グラフィックコントローラ」（０５１３）とこれに接続された「第二ディスプレイ」（０５１４）と、患者等を撮影する「カメラ」（０５０７）と「カメラインタフェース」（０５０６）と、を備える。さらに、文字の選択操作を行うポインティングデバイス等の「Ｕ／Ｉ」（０５１５）を備える。そして、それらが「システムバス」（０５０９）（０５１７）等のデータ通信経路によって 相互に接続され、情報の送受信や処理を行う。また、端末同士はネットワークインタフェース等の「Ｉ／Ｆ」（０５０８）（０５１６）で相互に接続され、情報のやり取りを行う。
【００３１】
まず、不揮発性メモリ（０５０２）に格納されていた撮像プログラムがＲＡＭ（０５０３）上に展開され、ＣＰＵ（０５０１）にて実行される。同プログラムは、カメラ（０５０７）とカメラインタフェース（０５０６）からの撮像画面を取得し、一時的にＲＡＭ（０５０３）に蓄積する。次に不揮発性メモリ（０５０２）に格納されている文字選択表示画面出力プログラムがＲＡＭ（０５０３）上に展開され、ＣＰＵ（０５０１）にて実行される。同プログラムは、文字選択表示画面を生成し、ＲＡＭ（０５０３）上に一時的に蓄積する。これと同時に、文字選択表示画面を、グラフィックコントローラ（０５０４）を介して第一ディスプレイ（０５０５）に出力する。次に、別の端末上の不揮発性メモリ（０５１１）上に格納されている姿態確認画面出力プログラムがＲＡＭ（０５１２）上に展開され、ＣＰＵ（０５１０）にて実行される。同プログラムはＲＡＭ（０５０３）上に蓄積されている撮像画面と文字選択表示画面とをＩ／Ｆ（０５０８）（０５１６）を介して取得し、ＲＡＭ（０５１２）上に一時的に格納する。次に、ＲＡＭ（０５０３）に蓄積されている撮像画面に文字選択表示画面をオーバーレイする処理をＣＰＵ（０５１０）により実行し、ＲＡＭ（０５１２）上に姿態確認画面として一時的に蓄積する。蓄積された姿態確認画面はグラフィックコントローラ（０５１３）を介して第二ディスプレイ（０５１４）に対して出力される。次に、不揮発性メモリ（０５１１）上に格納されている文字選択プログラムがＲＡＭ（０５１２）上に展開され、ＣＰＵ（０５１０）にて実行される。同プログラムはＵ／Ｉ（０５１５）からの入力を待ち、所定の入力イベントがあった場合には、文字選択表示画面出力プログラムから、そのときにカーソル等で選択されている文字（列）を取得し、ＲＡＭ（０５１２）上に選択文字列として蓄積する。蓄積されている選択文字列は、文字選択表示画面出力プログラムにより第二ディスプレイに出力される。
【実施例３】
【００３２】
＜概要＞
実施例３の意思伝達装置は、実施例１及び実施例２の意思伝達装置を基本として、文字選択表示画面をタッチパネルディスプレイで構成し、パネルを押下することにより文字選択操作をすることが可能である。図６は実施例３の意思伝達装置の処理の概要を示す図である。この図にあるように、相手側のディスプレイ（第二ディスプレイ）（０６０１）に姿態確認画面が表示されている。相手側は患者等（０６０２）の姿態を見ながら文字選択操作を行う。例えば、カーソル枠が「あ」から順番に移動していって「に」に到達した際に患者等の眼球が少し動くことによって選択の意思表明を行ったとする。すると、相手側はタッチパネルディスプレイの「に」の場所をタッチすることで選択を行う。選択された「に」は上部に表示されている文字列（０６０３）に追加され、文章を構成してゆく。このようにタッチパネルを操作することにより、より簡易に文字選択操作を行うことができる。装置を空中に手で保持している場合にはマウス等のポインティングデバイスが使用できない。このため、タッチにより文字が選択可能である実施例３の意思伝達装置はこのような場合に有効である。
【００３３】
＜機能的構成＞
実施例３にかかる意思伝達装置は、「文字選択表示画面出力部」と、「撮像部」と、「姿態確認画面出力部」と、「文字選択部」と、を有する。これら構成要件については実施例１で説明済であるので記載は省略する。
【００３４】
＜ハードウェア構成＞
実施例３にかかる意思伝達装置は、各種演算処理を行う「ＣＰＵ（中央演算装置）」と、ＨＤＤ等のストレージを含む「不揮発性メモリ」と、「ＲＡＭ」を備えている。また、患者等を撮影する「カメラ」と「カメラインタフェース」、文字選択表示画面と姿態確認画面のそれぞれを表示するための「グラフィックコントローラ」とこれに接続された「文字選択表示ディスプレイ（第一ディスプレイ）」及び「姿態確認ディスプレイ（第二ディスプレイ）」を備える。さらに、文字の選択操作を行うポインティングデバイス等の「Ｕ／Ｉ」を備える。そして、それらが「システムバス」等のデータ通信経路によって 相互に接続され、情報の送受信や処理を行う。
【００３５】
上記構成は実施例１と同様であるので詳細な記載は省略するが、少なくとも実施例３の意思伝達装置は文字選択を、タッチパネルを操作により行うため姿態確認ディスプレイ（第二ディスプレイ）についてはタッチパネルディスプレイを採用している。文字選択表示画面上の文字がタッチされることで、タッチされた文字が実行中である文字選択プログラムにより取得されＲＡＭ上に一時的に保持される。保持された文字は同プログラムにより姿態確認ディスプレイ（第二ディスプレイ）に出力される。
【符号の説明】
【００３６】
０２００  意思伝達装置
０２０１  文字選択表示画面出力部
０２０２  撮像部
０２０３  姿態確認画面出力部
０２０４  文字選択部
【図１】
2019012384.tif 000003
【図２】
2019012384.tif 000004
【図３】
2019012384.tif 000005
【図４】
2019012384.tif 000006
【図５】
2019012384.tif 000007
【図６】
2019012384.tif 000008