(57)【要約】【課題】  全身麻痺や失語症の患者、その他障害者や介護者の負担を軽減し、より円滑なケアとコミュニケーションが可能な遠隔介護支援システムを提供する。【解決手段】  動画撮像可能なカメラ１６と、カメラ１６により撮像した画像を処理するクライアントコンピュータ１８とを有する。クライアントコンピュータ１８は、被介護者の目４４の位置を検出する目位置認識手段を有し、被介護者が操作する操作用アイコン及び介護者からの返答の表示部を有した被介護者側ディスプレイ１４と、クライアントコンピュータ１８に接続された赤外線リモコン２２とに接続されて、被介護者用入力システム４を構成する。介護者側ディスプレイ３０と、被介護者からの連絡事項に対する返答を行うサーバコンピュータ２８により、介護者用確認システム６を構成する。被介護者用入力システム４と介護者用確認システム６は、通信ネットワークで接続される。【選択図】図１
2006055388.tif 000002
【特許請求の範囲】
【請求項１】
被介護者側に設置され、画像処理可能なクライアントコンピュータを有した１以上の被介護者用入力システムと、前記クライアントコンピュータが接続されたサーバコンピュータを備えた介護者用確認システムとから成り、
前記被介護者用入力システムは、動画撮像可能なカメラと、前記クライアントコンピュータに接続され前記被介護者が操作する操作用アイコン及び介護者からの返答の表示部を有した被介護者側ディスプレイと、前記クライアントコンピュータに接続された赤外線リモコンとを有し、前記カメラにより撮像した画像が前記クライアントコンピュータに入力され、前記クライアントコンピュータは、前記カメラにより撮像した被介護者の顔の画像情報を人の目の虹彩の大きさの範囲内に入るテンプレートと比較しながらスキャンして、目の虹彩部分と顔の他の部分との画像の濃淡を検知し被介護者の目の位置を検出する目位置認識手段を備え、
前記介護者用確認システムは、前記被介護者からの連絡事項を表示する介護者側ディスプレイと入力装置とが前記サーバコンピュータに接続され、前記介護者側ディスプレイに表示された被介護者からの連絡事項に対する返答を前記入力装置により行うことが出来、その返答を前記被介護者側ディスプレイに表示させ、
前記被介護者用入力システムと前記介護者用確認システムとは通信ネットワークで接続され、前記介護者用確認システムは、前記被介護者用入力システムからの要求により、登録された連絡先を呼び出す通信回線接続機能を備えたことを特徴とする遠隔介護支援システム。
【請求項２】
前記被介護者用入力システムは、前記目位置認識手段により捉えた目の位置情報を利用し、目が所定範囲に停留したことを検知して前記被介護者側ディスプレイに表示された操作用アイコンによる入力処理機能を備えたことを特徴とする請求項１記載の遠隔介護支援システム。
【請求項３】
前記赤外線リモコンは、前記被介護者側ディスプレイに表示された操作用アイコンにより操作され、この操作は、前記目位置認識手段による目の位置の停留検知により、前記クライアントコンピュータの処理により行われることを特徴とする請求項２記載の遠隔介護支援システム。
【請求項４】
前記介護者用確認システムは、前記介護者側の入力装置による返答がない場合に、前記被介護者からの要求を、公衆回線を経て登録した電話へ転送する外部転送機能を備えたことを特徴とする請求項１記載の遠隔介護支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、病院や特別養護老人施設のナースコールシステムや在宅介護などに利用され、重度身体障害者や高齢者等の介護を行うための遠隔介護支援システムに関する。
【背景技術】
【０００２】
従来、病院や特別養護老人施設等では、被介護者が用件を頼みたい場合や気分がよくないときに、ベッド脇に備えた押釦などによりナースコールを行う。この呼び出しに対して、看護士等は、ナースステーションにある表示板等により、呼び出ししている人を確認し、インターホンにより用件を聞いて対処するのが一般的である。このようなナースコールシステムでは、呼び出した人から用件を聞き取る方法は、言葉によるコミュニケーションが一般的である。
【０００３】
しかし、患者や障害者とコミュニケーションを行う場合、重症筋無力症や筋萎縮性側索硬化症、脳卒中による全身麻痺、失語症などの障害者と言葉によるコミュニケーションを行うことは困難である。また、言葉の代わりに手足や口を用いたコミュニケーション器具も使用が難しいものである。
【０００４】
この問題に対して、目を用いてコミュニケーションを取る方法が知られている。目によるコミュニケーション方法には、赤外線を眼球にあて、開眼時と閉眼時の赤外線反射量の差によりスイッチをオンオフさせる瞬きスイッチがある。また、視線を検知してコンピュータへの入力を行うコンピュータ操作ツールもある。そのほか、被介護者と介護者が透明な碁盤目状の文字盤を挟んで向かい合い、被介護者の視線より文字盤の文字を介護者が読み取る透明文字盤がある。
【特許文献１】特開２００３−１５０９４２号公報
【特許文献２】特開平１１−３３２８３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来の技術の瞬きスイッチは、眼前に瞬き検出用の器具を装着するため、使用者にとっては煩わしさがあるし、視線入力装置では、角膜反射点と瞳孔中心の相対的な位置補正が必要なため、高い精度を得ることがむずかしく、誤入力の問題がある。また、眼球へ赤外線を照射するため、長時間使用においては目への問題がある。さらに、ヘッドレストに頭部を固定する煩わしさもある。その他、障害者用コンピュータ操作支援ツールは、個人ごとに操作条件等を別々に用意する必要がある。また、目もしくは頭部に何らの装置を装着する方法では、手足の不自由な人でも、コンピュータの操作が可能になるが、コンピュータを操作する度に、装置を装着するのは煩わしく、装置を装着することによる違和感があるものであった。さらに、長時間使用するとストレスが溜まりやすいという欠点もあった。
【０００６】
そのほか、被介護者の視線より文字を読み取る透明文字盤は、被介護者が介護者に意思伝達を行いたい場合、介護者が必ずそばにいなければならないと言う問題がある。
【０００７】
さらに、特許文献２に画像処理による自立支援型介護システムが開示されているが、この場合、被介護者に付き添った介護者に意思を伝達するだけであり、介護者が被介護者のそばに居る場合にのみ機能するもので、病院や特別養護老人施設での大勢の人の介護を集中的に行う場合には適用できないものである。
【０００８】
この発明は、上記従来技術の問題を鑑みて成されたもので、全身麻痺や失語症の患者、その他障害者や介護者の負担を軽減し、より円滑なケアとコミュニケーションが可能な遠隔介護支援システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明は、被介護者側に設置され、画像処理可能なクライアントコンピュータを有した１以上の被介護者用入力システムと、前記クライアントコンピュータが接続されたサーバコンピュータを備えた介護者用確認システムとから成り、前記被介護者用入力システムは、動画撮像可能なカメラと、前記クライアントコンピュータに接続され前記被介護者が操作する操作用アイコン及び介護者からの返答の表示部を有した被介護者側ディスプレイと、前記クライアントコンピュータに接続された赤外線リモコンとを有し、前記カメラにより撮像した画像が前記クライアントコンピュータに入力され、前記クライアントコンピュータは、前記カメラにより撮像した被介護者の顔の画像情報を人の目の虹彩の大きさの範囲内に入るテンプレートと比較しながらスキャンして、目の虹彩部分と顔の他の部分との画像の濃淡を検知し被介護者の目の位置を検出する目位置認識手段を備え、前記介護者用確認システムは、前記被介護者からの連絡事項を表示する介護者側ディスプレイと入力装置とが前記サーバコンピュータに接続され、前記介護者側ディスプレイに表示された被介護者からの連絡事項に対する返答を前記入力装置により行うことが出来、その返答を前記被介護者側ディスプレイに表示させ、前記被介護者用入力システムと前記介護者用確認システムとは通信ネットワークで接続され、前記介護者用確認システムは、前記被介護者用入力システムからの要求により、登録された連絡先を呼び出す通信回線接続機能を備えた遠隔介護支援システムである。
【００１０】
前記被介護者用入力システムは、前記目位置認識手段により捉えた目の位置情報を利用し、目が所定範囲に停留したことを検知して前記被介護者側ディスプレイに表示された操作用アイコンによる入力処理機能を備えたものである。また、前記赤外線リモコンは、例えば室内照明の消灯及び点灯、テレビのチャンネル切り替え、または空調の運転切り替え、温度調節を、前記被介護者側ディスプレイに表示された操作用アイコンにより操作され、この操作は、前記目位置認識手段による目の位置の停留検知により、前記クライアントコンピュータの処理により行われる。
【００１１】
さらに、前記介護者用確認システムは、前記介護者側の入力装置による返答がない場合に、前記被介護者からの要求を、公衆回線を経て登録した電話へ転送する外部転送機能を備えたものである。
【発明の効果】
【００１２】
この発明の遠隔介護支援システムによれば、患者や障害者等の被介護者と介護者が離れている場合でも、両者の双方向コミュニケーションを容易且つ適格に可能とし、円滑にきめ細やかなケアを行うことができるものである。
【発明を実施するための最良の形態】
【００１３】
以下、この発明の遠隔介護支援システムの一実施形態について、図１〜図９を基にして説明する。この実施形態の遠隔介護支援システム２は、例えば重症筋無力症や筋萎縮性側索硬化症、脳卒中等による全身麻痺、失語症などの手足の不自由な障害者に対する介護を支援するシステムとして使用される。
【００１４】
この実施形態の遠隔介護支援システム２の構成について説明する。遠隔介護支援システム２は、被介護者用入力システム４と介護者用確認システム６から構成される。まず、図１の被介護者用入力システム４の構成について説明する。この被介護者用入力システム４では、患者または障害者である被介護者が寝ているベッド８の頭部側の手摺１０中央部に、図示しない取付具により金属製のディスプレイ支持具１２が取付けられている。この支持具１２は、屈折調整可能であり、一方の端部には、ディスプレイ１４が図示しない取付具により取付けられている。そのディスプレイ１４の上部には、ビデオカメラ１６が設けられている。ビデオカメラ１６は、ちょうど、ベッドに寝ている被介護者の目の近辺を撮像するように、向きが調節されている。ベッド８の手摺１０に取付けた支持具１２の取り付け部からビデオカメラ１６とディスプレイ１４の接続線が出ており、この接続線は、手摺１０の傍に据え置いたパーソナルコンピュータから成るクライアントコンピュータ１８に接続されている。また、ベッド８側の台２０上に赤外線リモコン２２が置いてあり、赤外線リモコン２２とクライアントコンピュータ１８も、接続線により接続されている。
【００１５】
さらに、クライアントコンピュータ１８は、ＬＡＮ（Local Area Network）に接続されている。クライアントコンピュータ１８に接続されたディスプレイ１４には、図２の通常画面２４と、図３のローカル画面２６が表示可能である。図２の通常画面２４には、看護士等の介護者に対する各種の要求操作用アイコン２４ａが用意され、さらに、要求に対する返答を表示する返答表示欄２４ｂを有する。図３のローカル画面２６には、照明制御操作用アイコン２６ａ、空調設定操作用アイコン２６ｂ、及びテレビ操作用アイコン２６ｃが用意されている。これらの操作用アイコンは、画面上のカーソルを合わせてクリック等の所定の操作を行うことにより機能する周知のアイコンと同様のものである。
【００１６】
次に、図１の介護者用確認システム６の構成について説明する。この介護者用確認システム６は、サーバコンピュータ２８とディスプレイ３０、入力装置である図示しないキーボード及びマウスから構成される。サーバコンピュータ２８は、ＬＡＮに接続されているとともに、電話回線にも接続されている。サーバコンピュータ２８に接続された電話回線は、交換機３２を経て例えば携帯電話３４の電話網に接続されている。電話網には、携帯電話３４の基地局３６等が接続され、携帯電話３４と通話可能になっている。
【００１７】
サーバコンピュータ２８に接続されたディスプレイ３０には、図４のサーバ画面３８が表示される。図４のサーバ画面３８は、各被介護者の部屋毎に接続状況を示す状況欄３８ａ、名前欄３８ｂ、介助を求める内容の要求欄３８ｃ、要求に対する確認操作用アイコン３８ｄ、並びに履歴欄３８ｅを有する。
【００１８】
被介護者用入力システム４のクライアントコンピュータ１８と介護者用確認システム６のサーバコンピュータ２８は、それぞれＬＡＮ上で接続されている。ＬＡＮは、例えばＥｔｈｅｒｎｅｔ（登録商標）により構築され、ネットワーク通信手順としてＴＣＰ／ＩＰを使用する。データの送受信は、クライアントコンピュータ１８側のアプリケーションソフトウェアをクライアント、サーバコンピュータ２８側のアプリケーションソフトウェアをサーバとし、現在広く用いられているサーバ／クライアントによるソケット通信を行う。
【００１９】
次に、本実施形態の遠隔介護支援システム２で使用する目追跡方法と目の停留方式について説明する。先ず目の位置検出方法及び追跡方法を説明する。ビデオカメラ１６で取得した顔の濃淡画像を閾値処理により２値化し、２値化画像に対して、図５に示す片目部分テンプレート４０によるテンプレートマッチングを行う。このテンプレートマッチングには、残差逐次検出法を用いている。
【００２０】
残差逐次検出法は、画素数がＬ×Ｌピクセルの画像情報に対してテンプレートデータとの差を逐次求めていくものである。図６に示すように、テンプレートｔ（ｘ，ｙ）と、撮像画像のテンプレート上の部分入力画像ｆ（ｘ，ｙ）とのマッチング評価値Ｅ（ｐ，ｑ）を次式（１）により計算し、所定の閾値を越えた段階で相関はないとして処理を打ち切り、次の位置で同様に計算を行い、マッチング位置を探す方法である。
Ｅ（ｐ，ｑ）＝ΣM-1x=0ΣM-1y=0｜ｆ（ｘ＋ｐ，ｙ＋ｑ）−ｔ（ｘ，ｙ）｜・・・（１）
但し、０≦ｐ≦Ｌ−Ｍ＋１，０≦ｑ≦Ｌ−Ｍ＋１
【００２１】
一般に、図５に示すように成人の目４４の角膜の直径は約１１ｍｍ（縦９．３〜１１ｍｍ、横１０．６〜１２ｍｍ）である。黒目である虹彩４２は角膜下にあり、そのサイズは角膜サイズとほぼ一致することから、この実施形態では、虹彩４２のサイズを直径１１ｍｍと設定した。片目部分テンプレート４０は十字形の直線で構成され、ディスプレイ１４の画面上で横幅１１ｍｍ、縦幅６ｍｍで、線幅は１ピクセルである。１ｍｍあたりのピクセル数は、ディスプレイ１４上で一定の長さの直線を引き、そのピクセル数を基に計算する。この実施形態では、１ｍｍは４．２ピクセルとなり、１１ｍｍは約４６ピクセル、６ｍｍは約２５ピクセルに相当する。このような十字形のテンプレート４０を用いることにより、目４４の傾きがあっても、円形の虹彩４２には影響せず、虹彩４２との正確なマッチングを得ることができる。
【００２２】
この実施形態では、高速化のため４画素ずつ片目部分テンプレート４０を移動させテンプレートマッチングを行う。片目部分のテンプレート４０の横幅のマッチング度は１画素ずつ比べ、縦幅のマッチング度は１画素飛ばしに比較し、横幅の９０％以上、縦幅の４０％以上のマッチング度が同時に満たされた時に目らしいと判定する。
【００２３】
また、片目部分テンプレート４０によるテンプレートマッチングは、画像上のいくつかの目らしい領域を間違えて検出する恐れがある。その間違い対策として、図７に示すように、目４４の周りの特徴をチェック項目として用いた。この実施形態では、虹彩４２の基準径を１１ｍｍとしている。ここでは図７に示すように、テンプレート４０の上下において、眉４８の有無を判断材料とした。例えば、虹彩４２を１１ｍｍとした場合、人の顔の個人差による違いを考慮して、眉４８の位置のチェックポイントａはテンプレート４０の中心から上２５〜５０ｍｍの間、眉４８と目４４との間のチェックポイントｂは同じく１５〜２７ｍｍ、目４４の下のチェックポイントｃは、同じく１５〜２２ｍｍとし、各２値化されたピクセルの値を基に閾値と比較して判別する。これにより目４４の直上では黒い部分が無く、その上方に眉４８による黒部分が検知され、目４４の下方には黒部分がないということを、２値化された画像データから目検知の判断材料とすることができる。さらに、図７の２点鎖線で示すように、顔画像が拡大した場合も、一定の範囲内であれば、眉４８とその下の部分の検知により、目位置を正確に判断することができる。
【００２４】
これらのチェック項目のマッチング度は、目４４の上の部分おいて、眉４８の位置で１０％以上、眉４８と目４４の間の位置で２０％以上、目４４の下の位置では２０％以上で、上記チェック項目のマッチングが得られたとき、目４４の条件適合性が満たされると判定する。そして、目４４であるとする最終判定は、テンプレートマッチングと目４４の回りの特徴チェック項目により判定する。これにより、カメラ１６により取得した顔画像が拡大・縮小した場合も、一定の範囲内であれば、眉４８とその下の部分の検知により目４４の位置を正確に判断することができる。
【００２５】
次に、目追跡システムにより検出した目の位置をカーソルに対応させて、目の停留により画面上の操作用アイコンをクリックしたと判断する停留方式について説明する。図８に停留方式の停留判断に至るフローチャートを示す。また、図９には目の停留によるクリック判断の様子を示す。先ず上述のように、カメラ１６で撮像した顔画像を２値化し、上述の目追跡により目を検出する。そして目の追跡により目を捉えると、図９（ａ）に示すように、検出した目の位置を基準点５２として、所定時間内の目の位置５４を検知し、所定の設定範囲である停留範囲ｓの測定を行う。図９（ｂ）に示すように、目の位置５４が範囲外５６となった場合、停留測定をリセットする。所定の範囲ｓ内に停留している場合、目の位置５４の停留時間が閾値Ｔｈより短い場合は、新規画像フレームを取り込む。また、図９（ａ）に示すように、目の停留時間が閾値Ｔｈを超えた時点で、目の位置５８が範囲ｓ内の場合、クライアントコンピュータ１８に対する入力装置によるクリックと判断する。
【００２６】
次に、この実施形態の動作について説明する。先ず、図１の左にある被介護者用入力システム４により、被介護者がディスプレイ１４を見つめる顔を、ビデオカメラ１６により撮像する。撮像した顔画像から目を検出し、検出した目の位置情報からディスプレイ１４の画面上のカーソルを、目の位置に対応させて動かす。次に、上述のように目の一定時間以上の停留を確認すると、カーソルが重なっているディスプレイ１４画面上の操作用アイコンの処理を行う。以下、この処理について説明する。
【００２７】
まず、ディスプレイ１４画面が図２に示す通常画面２４の場合について説明する。処理データはＬＡＮを通してサーバコンピュータ２８に送信され、データを受信したサーバコンピュータ２８は、被介護者の要求をサーバコンピュータ２８のディスプレイ３０画面に反映する。看護士等は、図４に示すように、サーバコンピュータ２８に接続されたディスプレイ３０に表示される内容を確認し、ディスプレイ３０画面上の確認操作用アイコン３８ｄをマウス操作によりクリックする。そして、被介護者入力用システム４のクライアントコンピュータ１８に送信し、クライアントコンピュータ１８に接続されたディスプレイ１４に返答を表示する。この時、看護士が不在である場合は、あらかじめ登録された連絡先である携帯電話やＰＨＳ等の電話番号へ、電話網を介して自動的に電話し、登録されている電話番号の順に、応答があるまで電話する。また、登録された電話番号がすべて出ない場合や、すぐに切れる場合は、再びサーバコンピュータ２８に接続されたディスプレイ３０画面上に、被介護者の要求を再度表示する。この動作は、看護士等により確認操作用アイコンが押されるまで繰り返し続けられる。
【００２８】
次に、被介護者用入力システム４のディスプレイ１４画面が、図３に示すローカル画面２６の場合について説明する。この場合は、目を停留させて選択した各種操作用アイコン２６ａ，２６ｂ，２６ｃの機能の処理を行い、クライアントコンピュータ１８は、赤外線リモコン２２を制御し、照明または空調、テレビ等の遠隔操作を行う。
【００２９】
この実施形態の遠隔介護支援システム２によれば、全身麻痺並びに失語症の患者や障害者及び介護者の負担を軽減し、介護者と被介護者が、より円滑なケアとコミュニケーションが可能なシステムである。また、被介護者用入力システム４と介護者確認システム６間のデータ通信に、既存のソケット通信によるネットワークを用いているため、被介護者と介護者間の双方向のコミュニケーションを容易に構築することが出来、介護者が離れていても対応可能である。
【００３０】
また、目の停留によりクリック操作ができるため、目とわずかな頭部の動作で各種の操作を行うことができ、全身麻痺や失語等の症状により、手足を用いた会話などのコミュニケーションが困難な重度障害者にも扱うことができる。さらに、非接触であり、頭部や目に機器を装着せず、長時間使い続ける場合でも疲労感を軽減でき、赤外線等を目に照射することもないため、目の負担も少ないものである。
【００３１】
また、目の位置検出方法に片目部分テンプレート方式を用いているため、同一平面内での回転変化に対して、虹彩４２を円と仮定すると３６０度回転しても片目部分テンプレート４０によるテンプレートマッチングが不一致になることはない。また、測定した目のスケール拡大変化では、画像上の虹彩の直径が所定値以上あるので不一致になることもない。さらに、スケール縮小変化では９０％まで対応している。この実施形態では、高速化のため４画素ずつ片目部分テンプレートを移動させてテンプレートマッチングを行っている。片目部分テンプレートの横幅のマッチング度は１画素ずつ調べて、縦幅のマッチング度は、１画素飛ばしに調べる。横幅の９０％以上、縦幅の４０％以上のマッチング度が同時に満たされた時に目らしいと判定している。
【００３２】
なお、この発明の遠隔介護システムは上記実施形態に限定されるものではなく、被介護者用入力システムのクライアントコンピュータは、ディスプレイと一体型でもよい。この場合、ディスプレイを取り付ける支持具は、十分な強度があるものとする。また、ディスプレイは、図１にあるような、支持具を使うのではなく、被介護者の目が届く位置に棚や台を置き、その上に据置いてもよい。この時、ビデオカメラが被介護者の顔を撮像可能に設置する。
【００３３】
また、アプリケーションソフトは移植可能なため、ＬＡＮを構成するネットワークの媒体は、適宜選択可能なものである。この場合、同時に、ＴＣＰ／ＩＰ及びソケットインターフェースに代わるネットワーク通信手順並びにネットワーク用ＡＰＩ（Application Programming Interface）を適宜使用すればよい。
【図面の簡単な説明】
【００３４】
【図１】この発明の一実施形態の遠隔介護支援システムのシステム構成概略図である。
【図２】この実施形態の被介護者用入力システムの通常画面を示す概略図である。
【図３】この実施形態の被介護者用入力システムのローカル画面を示す概略図である。
【図４】この実施形態の介護者用確認システムのサーバ画面を示す概略図である。
【図５】この実施形態の片目部分テンプレートを示す概略図である。
【図６】この実施形態の残差逐次検出法の画像とテンプレートの関係を示す概略図である。
【図７】この実施形態の目の周辺領域特徴のチェックポイントの位置を示す概略図である。
【図８】この実施形態の停留方式のフローチャートを示す概略断面図である。
【図９】この実施形態の目の停留状態の様子を示す概略説明図である。
【符号の説明】
【００３５】
２  介護支援システム
４  被介護者用入力システム
６  介護者用確認システム
１２  支持具
１４，３０  ディスプレイ
１６  ビデオカメラ
１８  クライアントコンピュータ
２２  赤外線リモコン
２８  サーバコンピュータ
３２  交換機
３４  携帯電話
４０  テンプレート
４２  虹彩
４４  目
【図１】
2006055388.tif 000003
【図２】
2006055388.tif 000004
【図３】
2006055388.tif 000005
【図４】
2006055388.tif 000006
【図５】
2006055388.tif 000007
【図６】
2006055388.tif 000008
【図７】
2006055388.tif 000009
【図８】
2006055388.tif 000010
【図９】
2006055388.tif 000011