(57)【要約】【課題】従来の情報機器を操作するような特殊なスキルが全く不要で、且つ低価格で、見守り対象者を必要かつ十分に監視することができる、独居者監視システムと、これに使用する鏡型端末を提供する。【解決手段】鏡型端末は、独居者の顔をカメラで撮影すると、特徴点データとエンゲージメント値と脈拍データを取得する。そして、サーバを通じて別居家族の携帯型無線端末に向けて、これらのデータを送信する。サーバは鏡型端末から特徴点データとエンゲージメント値と脈拍データを受信すると、特徴点データから独居者の表情を推定し、表情推定結果を特徴点データとエンゲージメント値と脈拍データと共に携帯型無線端末に送信する。この作業を一日一回、独居者に実行させる。【選択図】図１
2018147278.tif 000002
【特許請求の範囲】
【請求項１】
監視対象者の顔を撮影して所定のデータを出力する鏡型端末と、
前記鏡型端末から前記所定のデータを受信するサーバと、
前記サーバから転送された、前記鏡型端末が出力したデータを受信する監視用端末と
よりなる独居者監視システムであり、
前記鏡型端末は、
監視対象者の顔を映すことが可能な鏡と、
前記鏡に組み込まれ、前記監視対象者の顔を撮影して画像データを出力する撮像装置と、
前記画像データに含まれる前記監視対象者の顔を検出する顔検出処理部と、
前記顔検出処理部が出力する、前記監視対象者の顔を抽出した顔抽出画像データから顔の特徴点よりなる特徴点データを生成する特徴点抽出部と、
ネットワークに接続され、前記特徴点データを前記サーバを経由して監視用端末へ送信する入出力制御部と
を具備し、
前記サーバは、
前記ネットワークを通じて前記鏡型端末及び前記監視用端末と接続され、前記鏡型端末から送信される前記特徴点データを前記監視用端末へ転送する入出力制御部と
を具備し、
前記監視用端末は、
前記サーバから転送された前記特徴点データを受信する入出力制御部と、
前記特徴点データを表示する表示部と
を具備する、独居者監視システム。
【請求項２】
前記鏡型端末は更に、
前記特徴点データに基づいて、前記顔抽出画像データに含まれる、前記監視対象者の顔の一部に相当する画像データの切り出しを実行して、得られた部分画像データを出力する脈拍検出領域抽出部と、
前記部分画像データの、特定の色成分の輝度の時間軸上の変動量から前記監視対象者の脈拍を算出する脈拍算出部と
を具備し、
前記鏡型端末の前記入出力制御部は、前記特徴点データに加え、前記脈拍算出部が出力する脈拍データを前記サーバを経由して前記監視用端末へ送信するものであり、
前記監視用端末の入出力制御部は、前記サーバから転送された前記特徴点データに加え、前記脈拍データを受信するものであり、
前記監視用端末の表示部は、前記特徴点データに加え、前記脈拍データを表示するものである、
請求項１に記載の独居者監視システム。
【請求項３】
前記サーバは更に、
前記鏡型端末から送信される前記特徴点データに基づき、前記監視対象者の表情を推定する表情推定部と
を具備し、
前記監視用端末の入出力制御部は、前記サーバから転送された前記特徴点データと前記脈拍データに加え、前記表情推定部が出力した表情推定結果を受信するものであり、
前記監視用端末の表示部は、前記特徴点データと前記脈拍データに加え、前記表情推定結果を表示するものである、
請求項２に記載の独居者監視システム。
【請求項４】
前記鏡型端末は更に、
前記特徴点データから、前記監視対象者の顔の向きを示す顔方向ベクトルと、前記監視対象者の顔における視線の向きを示す視線方向ベクトルを生成する、ベクトル解析部と、
前記顔方向ベクトルと前記視線方向ベクトルを加算して、前記監視対象者が３次元空間内の何処を注視しているのかを示す注視方向ベクトルを算出し、前記注視方向ベクトルが所定の事象に向いているのか否かを判定し、判定結果の移動平均を算出してエンゲージメント値を出力する、エンゲージメント算出部と
を具備し、
前記鏡型端末の前記入出力制御部は、前記特徴点データ及び前記脈拍データに加え、前記エンゲージメント算出部が出力する前記エンゲージメント値を前記サーバを経由して前記監視用端末へ送信するものであり、
前記監視用端末の入出力制御部は、前記サーバから転送された前記特徴点データと前記脈拍データに加え、前記エンゲージメント値を受信するものであり、
前記監視用端末の表示部は、前記特徴点データと前記脈拍データに加え、前記エンゲージメント値を表示するものである、
請求項２に記載の独居者監視システム。
【請求項５】
監視対象者の顔を映すことが可能な鏡と、
前記鏡に組み込まれ、前記監視対象者の顔を撮影して画像データを出力する撮像装置と、
前記画像データに含まれる前記監視対象者の顔を検出する顔検出処理部と、
前記顔検出処理部が出力する、前記監視対象者の顔を抽出した顔抽出画像データから顔の特徴点よりなる特徴点データを生成する特徴点抽出部と、
ネットワークに接続され、前記特徴点データを所定の監視用端末へ送信する入出力制御部と
を具備する鏡型端末。
【請求項６】
更に、
前記特徴点データに基づいて、前記顔抽出画像データに含まれる、前記監視対象者の顔の一部に相当する画像データの切り出しを実行して、得られた部分画像データを出力する脈拍検出領域抽出部と、
前記部分画像データの、特定の色成分の輝度の時間軸上の変動量から前記監視対象者の脈拍を算出する脈拍算出部と
を具備し、
前記入出力制御部は、前記特徴点データに加え、前記脈拍算出部が出力する脈拍データを前記監視用端末へ送信するものである、
請求項５に記載の鏡型端末。
【請求項７】
更に、
前記特徴点データに基づき、前記監視対象者の表情を推定する表情推定部と
を具備し、
前記入出力制御部は、前記特徴点データ及び前記脈拍データに加え、前記表情推定部が出力する表情推定結果を前記監視用端末へ送信するものである、
請求項６に記載の鏡型端末。
【請求項８】
更に、
前記特徴点データから、前記監視対象者の顔の向きを示す顔方向ベクトルと、前記監視対象者の顔における視線の向きを示す視線方向ベクトルを生成する、ベクトル解析部と、
前記顔方向ベクトルと前記視線方向ベクトルを加算して、前記監視対象者が３次元空間内の何処を注視しているのかを示す注視方向ベクトルを算出し、前記注視方向ベクトルが所定の事象に向いているのか否かを判定し、判定結果の移動平均を算出してエンゲージメント値を出力する、エンゲージメント算出部と
を具備し、
前記入出力制御部は、前記特徴点データ及び前記脈拍データに加え、前記エンゲージメント算出部が出力する前記エンゲージメント値を前記監視用端末へ送信するものである、
請求項６に記載の鏡型端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に独居老人の監視に好適な独居者監視システムと、これに使用する鏡型端末に関する。
【背景技術】
【０００２】
近年、我が国では少子高齢化が進み、子や孫の世代が大都市に集中し、親が地方に残される、という家族形態が増加している。このような状況に伴い、独居老人が増加している。そして、地方に住む独居老人と、大都市に住むその子供世代である別居家族とのコミュニケーションに関わる問題が表面化している。特に、高齢者の孤独死等は大きな問題である。
【０００３】
特許文献１には、このような状況を改善するため、高齢者や障害者等の見守り対象者をきめ細やかに見守ることが可能な見守りシステムが開示されている。
特許文献２には、カメラで撮影したユーザの顔の画像データから短時間フーリエ変換（short-time Fourier transform、short-term Fourier transform、STFT）を用いて脈拍を検出する技術が開示されている。
特許文献３には、離散ウェーブレット変換（Discrete wavelet transform, DWT）を用いて脈拍を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１０８８９４号公報
【特許文献２】特開２０１５−１１６３６８号公報
【特許文献３】特開平１０−２１６０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の特許文献１を含め、これまで多種多様な見守りシステムに関する特許出願や情報の開示がなされている。その殆どが、情報機器を用いて、インターネットを介して見守り対象者を監視する態様である。
その多くが情報弱者である見守り対象者に、情報機器の操作を強要することは困難である。
【０００６】
本発明は、かかる課題に鑑みてなされたものであり、従来の情報機器を操作するような特殊なスキルを必要とせずに、見守り対象者を必要かつ十分に監視することができる低価格な独居者監視システムと、これに使用する鏡型端末を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の独居者監視システムは、監視対象者の顔を撮影して所定のデータを出力する鏡型端末と、鏡型端末から所定のデータを受信するサーバと、サーバから転送された、鏡型端末が出力したデータを受信する監視用端末よりなる。
鏡型端末は、監視対象者の顔を映すことが可能な鏡と、鏡に組み込まれ、監視対象者の顔を撮影して画像データを出力する撮像装置と、画像データに含まれる監視対象者の顔を検出する顔検出処理部と、顔検出処理部が出力する、監視対象者の顔を抽出した顔抽出画像データから顔の特徴点よりなる特徴点データを生成する特徴点抽出部と、ネットワークに接続され、特徴点データをサーバを経由して監視用端末へ送信する入出力制御部とを具備する。
サーバは、ネットワークを通じて鏡型端末及び監視用端末と接続され、鏡型端末から送信される特徴点データを監視用端末へ転送する入出力制御部とを具備する。
監視用端末は、サーバから転送された特徴点データを受信する入出力制御部と、特徴点データを表示する表示部とを具備する。
【発明の効果】
【０００８】
本発明によれば、従来の情報機器を操作するような特殊なスキルを必要とせずに、見守り対象者を必要かつ十分に監視することができる低価格な独居者監視システムと、これに使用する鏡型端末を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る独居者監視システムを独居者の居宅に設置し稼働させた状態を示す概略図である。
【図２】本発明の実施形態に係る独居者監視システムのセンサ端末を構成する鏡型端末の斜視図と正面図である。
【図３】鏡型端末の一部断面分解図である。
【図４】鏡型端末のハードウェア構成を示すブロック図である。
【図５】鏡型端末のソフトウェア機能を示すブロック図である。
【図６】撮像装置から出力される画像データストリームの一例を示す概略図と、顔検出処理部が出力する顔抽出画像データの一例を示す概略図と、特徴点抽出部が出力する特徴点データの一例を示す概略図である。
【図７】脈拍検出領域抽出部が、独居者の顔の画像データから部分画像データとして切り出す領域を模式的に示す図である。
【図８】サーバのハードウェア構成を示すブロック図である。
【図９】サーバのソフトウェア機能を示すブロック図である。
【図１０】表情推定部９０５が実施する、感情の分類を説明する概略図である。
【図１１】携帯型無線端末のハードウェア構成を示すブロック図である。
【図１２】携帯型無線端末のソフトウェア機能を示すブロック図である。
【図１３】携帯型無線端末の表示部に表示される表示例である。
【図１４】携帯型無線端末において独居者の安否が確認できなくなったことを検出した状況から始まる、鏡型端末と携帯型無線端末との間で行われる通信の手順と内容を示す、タイムチャートである。
【図１５】変形例としてのサーバのソフトウェア機能を示すブロック図である。
【図１６】変形例としての鏡型端末のソフトウェア機能を示すブロック図である。
【発明を実施するための形態】
【００１０】
出願人は、コンテンツを視聴するユーザをカメラで撮影し、ユーザの顔の向き及び視線の向きから集中度を算出する集中度処理システムについて、先に特許出願した（特願２０１６−１２４６１１）。
この集中度処理システムは、ユーザの顔をカメラで撮影して、ユーザの顔と視線の向きを検出し、それらの向きがコンテンツを表示するディスプレイにどの程度向いているかを測定することで、ユーザのコンテンツに対する集中度を算出する。
本発明の実施形態に係る独居者監視システムは、この集中度処理システムを基に、独居者の監視に向けたアプリケーションとして構築したものである。
また、上述の特許出願に記述された集中度処理システムには、ユーザの顔から脈拍を検出する機能も有している。脈拍の情報は独居老人の生存確認に加え、大まかな健康状態の推測にも有用な情報である。本発明の実施形態に係る独居者監視システムも、先の出願の集中度処理システムと同様に、独居者の脈拍を検出する機能を有している。
【００１１】
発明者らはこれまで集中度を測定する機器を開発してきた。そして、機器の開発の過程において、発明者らは、人がある事象に対して集中するという状態は、能動的な要因のみではなく、受動的な要因もあるということに気付いた。
例えば、人がある課題に直面して、その課題を解決するために集中するという行為は、能動的な要因である。つまり、当該行為は「当該事象に集中しなければならない」という意識に起因する。これに対し、人が面白いことや楽しいこと等の事象を見て、興味を惹かれるという行為は、ある意味で受動的な要因である。つまり、当該行為は「当該事象に思わず惹かれてしまう」という感情に起因する。
【００１２】
発明者らは、このように相反する意識や感情に起因する行動を「集中度」という言葉で表現することが必ずしも適切ではないと考えた。そこで発明者らは、ある対象者が、ある事象に対し、能動的または受動的な要因の如何に関わらず、注目している状態を、「エンゲージメント（Engagement）」という言葉で定義することとした。そして、発明者らは、これまで開発してきた機器を、集中度を測定する機器ではなく、エンゲージメントを測定する機器と定義付けた。
本明細書で説明する独居者監視システムは、このエンゲージメントを、独居者の監視に転用することで、端末やサーバ等のハードウェアのコスト、ネットワーク上を行き交うデータ量にかかるコストを低減するシステムである。
【００１３】
［設置稼働例］
図１は、本発明の実施形態に係る独居者監視システム１０１を独居者１０２の居宅１０３に設置し稼働させた状態を示す概略図である。
監視対象者である独居者１０２の居宅１０３において、独居者１０２はセンサ端末を構成する鏡型端末１０４を見ている。監視対象者を監視する監視者である、都市部に在住する独居者１０２の別居家族１０５は、独居者１０２に「一日一回、この鏡を見てね。」と依頼する。独居者１０２が鏡型端末１０４を見て、自分の顔を確認すると、鏡型端末１０４に埋め込まれた撮像装置が、独居者１０２の顔の存在を認識する。更に、独居者１０２の顔の画像情報から、脈拍を検出する。そして、独居者１０２が鏡型端末１０４の前に来たことを示す情報と、脈拍情報を、インターネット１０６を介してサーバ１０７に送信する。
サーバ１０７は、鏡型端末１０４から情報を受信すると、内包するデータベースに情報を登録する。そして、鏡型端末１０４から送られた情報を、独居者１０２の別居家族１０５が所有する監視用端末である携帯型無線端末１０８に転送する。独居者１０２の別居家族１０５は、携帯型無線端末１０８が情報を受信したことを認識し、独居者１０２の安否及び凡その健康状態等を把握する。
【００１４】
図２Ａは、本発明の実施形態に係る独居者監視システム１０１のセンサ端末を構成する鏡型端末１０４の斜視図であり、図２Ｂは、鏡型端末１０４の正面図である。
図２Ａに示すように、鏡型端末１０４は、机やテーブル等に載置して使用する卓上鏡を構成する。鏡型端末１０４は、鏡として使用することを考慮して、凡そ６０°前後の傾斜角を有する鏡面部２０１と、鏡面部２０１を支持する支持体２０２を有する。
図２Ａ及び図２Ｂに示すように、鏡面部２０１の右上には、ＬＥＤが埋め込まれた押釦スイッチ２０３が設けられている。押釦スイッチ２０３に埋め込まれたＬＥＤは、別居家族１０５が所有する携帯型無線端末１０８またはサーバ１０７から送信されたアラーム情報を受信すると、点滅あるいは点灯する。
また、鏡面部２０１の鏡はハーフミラーで構成されており、図２Ａ及び図２Ｂで示す点線の箇所Ｐ２０４には、撮像装置を有する情報処理部３０４（図３参照）が埋め込まれている。なお、撮像装置自体は、ハーフミラーの存在により、肉眼では見えにくくなっている。
【００１５】
図３は、鏡型端末１０４の一部分解断面図である。
透明な天板３０１にはハーフミラーフィルム３０２が裏面に張り付けられており、独居者１０２の顔を写す鏡として機能する。天板３０１はアクリル、ポリカーボネート、ポリエチレンテレフタレート、硬質塩化ビニール等の透明な樹脂、あるいは強化ガラス等の透明な板であり、相応の強度を備えていればよい。ハーフミラーフィルム３０２は、アクリルやガラス等の透明な板に張り付けてハーフミラーを形成するためのフィルムであり、誘電多層膜や金属薄膜等の材料で構成される。なお、このフィルムは、マジックミラーとしても周知のものである。
ハーフミラーフィルム３０２が貼付された天板３０１は、合成樹脂等で構成されるフレーム３０３に嵌め込まれる。フレーム３０３には穴３０３ａが空いており、この穴３０３ａに撮像装置を有する情報処理部３０４が挿し込まれる。情報処理部３０４の、穴３０３ａに挿し込まれる部分３０４ａには、撮像装置の光学系が設けられている。
【００１６】
［鏡型端末１０４：ハードウェア構成］
図４は、鏡型端末１０４の情報処理部３０４の、ハードウェア構成を示すブロック図である。
シングルボードコンピュータで構成される鏡型端末１０４の情報処理部３０４は、バス４０８に接続された、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、不揮発性ストレージ４０４、現在日時情報を出力するリアルタイムクロック（以下「ＲＴＣ」）４０５、無線ＬＡＮインターフェース４０６、及び無線通信部４０７を備える。更に、バス４０８にはシリアルインターフェース４０９を介して押釦スイッチ２０３とＬＥＤ４１０とスピーカ４１１が接続されている。
無線ＬＡＮインターフェース４０６は、不図示の無線ＬＡＮルータを介してインターネット１０６に接続するためのネットワークインターフェースである。
無線通信部４０７は、無線通信の送信回路と受信回路を含み、不図示のアクセスポイントを通じてインターネット１０６に接続するためのネットワークインターフェースであり、例えばＬＴＥ（Long Term Evolution）等の通信規格によりアクセスポイントに接続される。また、独居者１０２の顔を撮影する撮像装置４１２も、バス４０８に接続されている。
【００１７】
不揮発性ストレージ４０４には、情報処理部３０４をネットワークに接続するための、ＴＣＰ／ＩＰプロトコルスタックを含むネットワークＯＳと、鏡型端末１０４として稼働させるためのプログラムが格納されている。
シリアルインターフェース４０９に接続されたスピーカ４１１は、不図示のカップリングコンデンサを介して与えられたＰＷＭ信号に基づいて、Ｄ／Ａ変換器を用いずにアラーム音を発音する。
【００１８】
情報処理部３０４を構成するシングルボードコンピュータは、例えば英国ラズベリーパイ財団（http://www.raspberrypi.org/）が開発する「Ｒａｓｐｂｅｒｒｙ  Ｐｉ」等が利用可能である。情報処理部３０４の演算処理能力は、インターネット１０６に接続する機能と、後述する画像データの処理を実行する機能を実現するために、例えばＬｉｎｕｘ（登録商標）等のネットワークＯＳが実用的な速度で稼働可能な程度であればよい。
【００１９】
撮像装置４１２は、監視対象者である独居者１０２が鏡を覗き込む際に、独居者１０２の顔を必要十分に撮影できるように、画角等が考慮される。一例としては、画角は２８°、ＸＧＡ（１０２４×７６８ビクセル）以上の撮像装置４１２を使用する。撮像装置４１２の光学系は、ピント調整を不要にするためパンフォーカス仕様が望ましい。また、ハーフミラーフィルム３０２によって光量が大幅に減少するため、高感度の撮像装置４１２が望ましい。
【００２０】
［鏡型端末１０４：ソフトウェア機能］
図５は、本発明の実施形態に係る鏡型端末１０４の情報処理部３０４の、ソフトウェア機能を示すブロック図である。
撮像装置４１２から出力される画像データストリームは、顔検出処理部５０１に供給される。
顔検出処理部５０１は、撮像装置４１２から出力される画像データストリームを時間軸上で連続する静止画として捉え、この時間軸上で連続する静止画の各画像データに対し、例えばＶｉｏｌａ−Ｊｏｎｅｓ法等の周知のアルゴリズムを用いて、独居者１０２の顔の存在を検出する。そして、独居者１０２の顔だけを抽出した顔抽出画像データを出力する。
【００２１】
顔検出処理部５０１が出力する顔抽出画像データは、特徴点抽出部５０２に供給される。
特徴点抽出部５０２は、顔抽出画像データに含まれる独居者１０２の顔の画像に、ポリゴン解析等の処理を施す。そして、独居者１０２の顔全体、眉、目、鼻、口等の輪郭と、瞳を示す顔の特徴点よりなる特徴点データを生成する。特徴点データの詳細については図６で後述する。
【００２２】
特徴点抽出部５０２が出力する特徴点データは、ベクトル解析部５０３に供給される。
ベクトル解析部５０３は、連続する２枚の顔抽出画像データに基づく特徴点データから、独居者１０２の顔の向きを示すベクトル（以下「顔方向ベクトル」）と、独居者１０２の顔における、視線の向きを示すベクトル（以下「視線方向ベクトル」）を生成する。
【００２３】
顔方向ベクトルと視線方向ベクトルは、エンゲージメント算出部５０４に供給される。
エンゲージメント算出部５０４は、顔方向ベクトルと視線方向ベクトルを加算して、独居者１０２がコンテンツを表示するディスプレイと撮像装置４１２を含む３次元空間内の何処を注視しているのかを示す注視方向ベクトルを算出する。そして、独居者１０２の注視方向がディスプレイに向いているか否かを判定する。この判定結果は、独居者１０２の注視方向がディスプレイに向いているか（論理の「真」）、あるいは向いていないか（論理の「偽」）のいずれかを示す２値の値である。
エンゲージメント算出部５０４は、この注視方向判定結果を例えば１００ｍｓｅｃ毎に算出する。そして、例えば直近１秒間の注視方向判定結果の移動平均を算出する。この演算により、２値の注視方向判定結果を疑似アナログ的な値として取得することが可能になる。なお、注視方向判定結果の移動平均値が、エンゲージメント値となる。
【００２４】
顔検出処理部５０１が出力する顔抽出画像データと、特徴点抽出部５０２が出力する特徴点データは、脈拍検出領域抽出部５０５にも供給される。
脈拍検出領域抽出部５０５は、顔検出処理部５０１から出力される顔抽出画像データと、特徴点抽出部５０２が出力する特徴点データに基づいて、独居者１０２の顔の一部に相当する画像データの切り出しを実行し、得られた部分画像データを脈拍算出部５０６へ出力する。ここで、脈拍検出領域抽出部５０５が行う、独居者１０２の顔の一部に相当する画像データの切り出しは、脈拍を検出するための領域として相応しい、独居者１０２の顔のうち、目の直下、頬骨に該当する領域が好ましい。
【００２５】
脈拍検出領域抽出部５０５における、脈拍を検出するための領域としては、唇、眉間の少し上、頬骨付近などが考えられるが、本実施形態では髭や髪の毛に隠れて皮膚が見えなくなる可能性が少ない頬骨付近の領域を用いている。なお、脈拍の検出領域を決定する手法は、様々な応用が考えられる。例えば、唇や、眉間の少し上でも構わない。更に、唇・眉間直上・頬骨付近等の複数の候補領域を解析できるようにして、唇が髭に隠れているようであれば次の候補（例えば眉間直上）、次の候補も隠れているようであればその次の候補（頬骨付近）といった具合に、順次候補を絞り込んで、適切な切出し領域を決めるようにしてもよい。
【００２６】
脈拍算出部５０６は、脈拍検出領域抽出部５０５が生成する部分画像データから、緑色の成分を抜粋（フィルタリング）し、ピクセル毎の輝度の平均値を得る。そして、この平均値の変動を、例えば特許文献２等に記載されている短時間フーリエ変換、あるいは特許文献３等に記載されている離散ウェーブレット変換等を用いて、独居者１０２の脈拍を算出する。なお、本実施形態の脈拍算出部５０６は、ピクセル毎の輝度の平均値を得るとしているが、平均値以外にも最頻値や中央値を採用してもよい。
血液に含まれるヘモグロビンは、緑色の光を吸収する特性を有することが知られている。周知のパルスオキシメータは、このヘモグロビンの特性を利用して、皮膚に緑色の光を照射して、反射光を検出し、その強度変化を基に脈拍を検出する。脈拍算出部５０６もこのヘモグロビンの特性を利用する点については同じである。但し、検出する根拠となるデータが画像データである点が、パルスオキシメータと異なる。
【００２７】
特徴点抽出部５０２が出力する特徴点データと、エンゲージメント算出部５０４が出力するエンゲージメント値と、脈拍算出部５０６が出力する脈拍データは、入出力制御部５０７に供給される。
入出力制御部５０７は、特徴点データとエンゲージメント値と脈拍データに、ＲＴＣ４０５が出力する現在日時情報と、サーバアクセス情報５０８に記憶されている情報を付加して、送信パケットを生成する。
不揮発性ストレージに記憶されているサーバアクセス情報５０８には、
・情報送信元である独居者１０２を一意に特定する監視対象ＩＤ情報、
・通信セキュリティの確保に必要なパスワード等の、情報送信元における認証情報、
・サーバ１０７にアクセスするための、サーバ１０７のＦＱＤＮ（Full Qualified Domain Name）あるいはＩＰアドレス、
・情報送信先である別居家族１０５を一意に特定する監視者ＩＤ情報
が含まれる。
【００２８】
すなわち、入出力制御部５０７は、特徴点データ、エンゲージメント値、脈拍データ、現在日時情報、監視対象ＩＤ情報、監視者ＩＤ情報をメッセージとして形成した後、サーバ１０７のＦＱＤＮを用いてサーバ１０７にアクセスする。そして、認証情報を用いてサーバ１０７から認証を得てから、メッセージから生成した送信パケットをサーバ１０７へ送信する。
送信パケットは、インターフェース選択部５０９を通じて、無線ＬＡＮインターフェース４０６または無線通信部４０７のＨＴＴＰ（Hyper Text Transfer Protocol）を用いて、インターネット１０６に接続されているサーバ１０７へ送信される。すなわち、入出力制御部５０７はｗｅｂクライアントの機能を有している。
【００２９】
インターフェース選択部５０９の実体は、ＯＳに備わっているＴＣＰ／ＩＰプロトコルスタックとＤＨＣＰ（Dynamic Host Configuration Protocol）クライアントである。すなわち、インターフェース選択部５０９は、ＩＰリーチャブルなネットワークに接続されているネットワークインターフェースを選択して、送信パケットをサーバ１０７へ送信する。
なお、本発明の実施形態に係る鏡型端末１０４では、ネットワークにおける通信に使用するプロトコルに、最も簡素で扱い易いＨＴＴＰを例示しているが、データストリームを送信するプロトコルはこれに限るものではない。例えば、周知のＳＭＴＰ（Simple Mail Transfer Protocol）、すなわちインターネット１０６電子メールを用いてもよい。
【００３０】
入出力制御部５０７は、サーバ１０７との接続（ＴＣＰコネクション）を切らずに保持することで、サーバ１０７から送信されたデータを即時に受信できるようになっている。以下、この通信の方法を「プッシュ型通信」（HTTP server push）と略記する。サーバ１０７からアラームメッセージを受信すると、入出力制御部５０７に備わっているアラーム検出部５１０がアラームの受信を検出する。入出力制御部５０７は、アラーム検出部５１０がアラームの受信を検出したことを受けて、ＬＥＤ４１０を発光駆動し、スピーカ４１１を発音駆動する。そして、独居者１０２が押釦スイッチ２０３を操作したことを検出すると、入出力制御部５０７はＬＥＤ４１０の発光駆動を停止する。
【００３１】
［送信データについて］
送信パケットには、１００ｍｓｅｃ毎に測定される特徴点データ、エンゲージメント値及び脈拍データの他、ＲＴＣ４０５が出力する現在日時情報、監視対象ＩＤ情報、監視者ＩＤ情報が含まれる。これらの情報はサーバ１０７のデータベースに記録される。データベースに記録される情報をなるべく正確なものとするために、ＲＴＣ４０５を正確に保つことが好ましい。そのためには、鏡型端末１０４にＮＴＰ（Network Time Protocol）クライアント等の日時情報較正機能を有するプログラムをインストールし、実行することが好ましい。
【００３２】
また、サーバ１０７は複数の鏡型端末１０４から情報を受信するため、各々の鏡型端末１０４について一意に識別する情報が必要である。このため、鏡型端末１０４及び／または独居者１０２を一意に識別する監視対象ＩＤ情報が設けられている。更に、サーバ１０７は鏡型端末１０４から受信した情報を正しい監視者へ転送するために、監視者ＩＤ情報が必要である。
【００３３】
［特徴点データについて］
これより、顔検出処理部５０１、特徴点抽出部５０２、そしてベクトル解析部５０３の動作について説明する。
図６Ａは、撮像装置４１２から出力される画像データストリームの一例を示す概略図である。図６Ｂは、顔検出処理部５０１が出力する顔抽出画像データの一例を示す概略図である。図６Ｃは、特徴点抽出部５０２が出力する特徴点データの一例を示す概略図である。
先ず、撮像装置４１２から被撮影者６０１を含む画像データストリームがリアルタイムで出力される。これが図６Ａの画像データＰ６０２である。
【００３４】
次に、顔検出処理部５０１は、撮像装置４１２から出力される画像データＰ６０１から、例えばＶｉｏｌａ−Ｊｏｎｅｓ法等の周知のアルゴリズムを用いて、被撮影者６０１の顔の存在を検出する。そして、被撮影者６０１の顔だけを抽出した顔抽出画像データを出力する。これが図６Ｂの顔抽出画像データＰ６０３である。
そして、特徴点抽出部５０２は、顔抽出画像データＰ６０３に含まれる被撮影者６０１の顔の画像に、ポリゴン解析等の処理を施す。そして、被撮影者６０１の顔全体、眉、目、鼻、口等の輪郭と、瞳を示す顔の特徴点よりなる特徴点データを生成する。これが図６Ｃの特徴点データＰ６０４である。この特徴点データＰ６０４は、二次元空間内における座標情報を有する特徴点の集合体で構成される。
【００３５】
二次元の特徴点データを、時間軸上で異なるタイミングにて２セット取得すると、被撮影者６０１の顔が僅かに動くことにより、各々の特徴点データにずれが生じる。このずれを基に、被撮影者６０１の顔の方向を算出することができる。これが顔方向ベクトルである。
また、目の輪郭に対する瞳の配置は、被撮影者６０１の顔に対するおおよその視線の方向を算出することができる。これが視線方向ベクトルである。
ベクトル解析部５０３は、以上のような処理にて、特徴点データから顔方向ベクトルと視線方向ベクトルを生成する。
【００３６】
［脈拍の検出領域について］
図７は、脈拍検出領域抽出部５０５が、独居者１０２の顔の画像データから部分画像データとして切り出す領域を模式的に示す図である。
特許文献２にも記載されているが、顔の肌の色から脈拍を正しく検出するためには、顔の画像データのうち、目、鼻の穴、唇、頭髪や髭等の、肌の色とは無関係な要素をできる限り排除する必要がある。特に、目は動きが激しく、また瞼を閉じたり開いたりすることで、画像データ中に瞳が存在したり存在しなかったりという、短時間に急激な輝度の変化が起きる。このため、目の情報は、輝度の平均値を算出する際に悪影響を及ぼす。また、個人差があるものの、頭髪と髭の存在は、肌の色の検出を大きく阻害する要因になる。
以上のことを考慮すると、図７に示すように、目の下の領域７０１ａ及び７０１ｂは、目、頭髪、髭の存在によって影響を受けにくいので、比較的安定して肌の色を検出可能な領域の例として好適であると考えられる。
本発明の実施形態に係る独居者監視システム１０１では、独居者１０２の顔をベクトル化し、独居者１０２の顔を認識する機能を有しているので、脈拍検出領域抽出部５０５は、顔特徴点から目の下の領域の座標情報を算出することが可能である。
【００３７】
［サーバ１０７：ハードウェア構成］
図８は、サーバ１０７のハードウェア構成を示すブロック図である。
サーバ１０７は、ＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３、不揮発性ストレージ８０４、ＲＴＣ８０５とＮＩＣ８０６がバス８０７に接続されている。
不揮発性ストレージ８０４には、サーバ１０７をインターネット１０６に接続するための、ＴＣＰ／ＩＰプロトコルスタックを含むネットワークＯＳと、計算機をサーバ１０７を機能させるためのプログラムが格納されている。
【００３８】
［サーバ１０７：ソフトウェア機能］
図９は、サーバ１０７のソフトウェア機能を示すブロック図である。
サーバ１０７は、鏡型端末１０４及び携帯型無線端末１０８とＨＴＴＰのメッセージを送受信するｗｅｂサーバとしての機能と、鏡型端末１０４から受信したデータをテーブルに登録するデータベースサーバとしての機能と、鏡型端末１０４から受信した特徴点データから独居者１０２の表情を推定する、アプリケーションサーバとしての機能を有する。
入出力制御部９０１の実体はｗｅｂサーバプログラムであり、ＨＴＴＰクライアントである鏡型端末１０４や携帯型無線端末１０８の要求を受信し、要求に応じた応答データを返信する。
【００３９】
入出力制御部９０１は、鏡型端末１０４から接続要求を受け取ると、認証処理部９０２を通じて、ユーザ認証を行う。その際、認証処理部９０２はユーザマスタ９０３を参照する。
正常に認証処理が行われた鏡型端末１０４から送信される、特徴点データとエンゲージメント値と脈拍データを含む情報は、入出力制御部９０１を経て、不揮発性ストレージ８０４に設けられるログテーブル９０４に記録される。
次に、入出力制御部９０１は、鏡型端末１０４から受信したデータに含まれている特徴点データを、表情推定部９０５に引き渡す。表情推定部９０５は、公知の畳み込みニューラルネットワーク等に代表される、画像認識に好適な学習アルゴリズム（ディープラーニング）を用いて、特徴点データから独居者１０２の表情を推定する。入出力制御部９０１は、表情推定部９０５が推定した表情推定結果を、鏡型端末１０４から受信したデータと同じく、テーブルの同じレコードに登録する。そして入出力制御部９０１は、特徴点データ、エンゲージメント値、脈拍データ、そして表情推定結果を含む情報を、別居家族１０５が所有する携帯型無線端末１０８へ送信する。
【００４０】
本発明の実施形態に係る独居者監視システム１０１の、第一の目的は、鏡型端末１０４が独居者１０２の顔を検出したら、独居者１０２の顔画像から脈拍を測定して、然るべき情報を別居家族１０５が所有する携帯型無線端末１０８へ送信することである。
ところで、鏡型端末１０４と携帯型無線端末１０８は、両方共、インターネット１０６上におけるクライアントに相当する。特に、居宅１０３に設置されたクライアント機器は、ネットワークの観点から見ると、無線ＬＡＮルータ等の機能であるファイアウォールの内側に存在することが多い。ファイアウォールによって隠蔽され、プライベートＩＰアドレスが付与されたクライアント機器同士の、直接的なＰ２Ｐ接続は極めて困難である。
【００４１】
したがって、クライアント同士が通信を実現するためには、間にグローバルＩＰアドレス、そして望ましくは定められたＦＱＤＮを持つサーバ１０７の存在が必要である。
すなわち、サーバ１０７は、鏡型端末１０４と携帯型無線端末１０８との通信を仲介する役割を担う。そして、このクライアント機器同士の通信を迅速に実現するために、サーバ１０７は鏡型端末１０４と携帯型無線端末１０８とのそれぞれに対し、プッシュ型通信を実行する。双方のクライアント機器にプッシュ型通信を実行することで、二つのクライアント機器に対し、即時性の高い通信を実現する。
なお、我が国及び世界中のインターネット１０６にてＩＰｖ６が普及するか、あるいはオーバーレイネットワーク等、何らかの手段でクライアント機器同士のＰ２Ｐ通信が容易に実現できる状況になった場合には、この限りではない。
【００４２】
［感情の推定について］
図１０は、表情推定部９０５が実施する、感情の分類を説明する概略図である。
ポール・エクマン（Paul Ekman）によれば、人間はどのような言語圏や文化圏に属していても、普遍的な感情を有しているとされる。またエクマンによる感情の分類は、「エクマンの基本６情動」とも呼ばれる。平常時の無表情（Ｆ１００１）に対し、驚き（Ｆ１００２）、恐怖（Ｆ１００３）、嫌悪（Ｆ１００４）、怒り（Ｆ１００５）、喜び（Ｆ１００６）、悲しみ（Ｆ１００７）の６感情において、人間の表情は変化する。表情の変化は、顔特徴点の変化となって現れる。表情推定部９０５は、時間軸上における、顔特徴点の相対的な変動を検出し、これをエクマンの基本６情動にしたがって、独居者１０２の表情が、どの感情に属するのかを推定する。
【００４３】
画像認識に用いられる公知の学習アルゴリズムは、画像データをそのまま、あるいは所定の色成分のみを抽出した等の前処理を施した上で、演算処理を行う。多くの場合、画素数を大幅に減らす作業は含まれていない。
サーバ１０７の表情推定部９０５は、画像データではなく、顔の特徴点データを対象とする。この特徴点データは１０〜３０個程度の座標情報だけであり、ピクセル毎に輝度の情報が含まれる大量のデータである画像データと比べると、圧倒的にデータ量が少ない。しかし、特徴点データだけでも、図１０に示した表情の変化を十分に推定できるだけの情報量を有する。つまり、人の表情の変化は、特徴点データだけでも十分に推定可能である。このため、既存の学習アルゴリズムを用いる画像認識処理にこの特徴点データを投入すると、従来と比べて大幅に演算量が少なくなり、迅速に推定結果を得ることができる。また、サーバ１０７の負荷も非常に軽い。
【００４４】
［携帯型無線端末１０８：ハードウェア構成］
図１１は、携帯型無線端末１０８のハードウェア構成を示すブロック図である。
監視用端末であるところの携帯型無線端末１０８は、バス１１１０に接続された、ＣＰＵ１１０１、ＲＯＭ１１０２、ＲＡＭ１１０３、表示部１１０４、静電型位置検出装置である操作部１１０５、不揮発性ストレージ１１０６、ＲＴＣ１１０７、無線ＬＡＮＩ／Ｆ１１０８、無線通信部１１０９を備える。表示部１１０４と操作部１１０５は周知のタッチパネルディスプレイを構成する。
不揮発性ストレージ１１０６には、サーバ１０７をインターネット１０６に接続するための、ＴＣＰ／ＩＰプロトコルスタックを含むネットワークＯＳと、携帯型無線端末１０８として稼働させるためのプログラムが格納されている。
なお、本発明の実施形態に係る独居者監視システム１０１では、別居家族１０５が使用する監視用端末を携帯型無線端末１０８としているが、監視用端末は携帯型無線端末１０８に限らない。一般的なパソコンでもよい。後述する図１３では、携帯型無線端末１０８の表示画面を説明するが、携帯型無線端末１０８のタッチパネルディスプレイにおけるタップ操作は、パソコンではマウスによるクリック操作に相当する。
【００４５】
［携帯型無線端末１０８：ソフトウェア機能］
図１２は、携帯型無線端末１０８のソフトウェア機能を示すブロック図である。
鏡型端末１０４と同様に、携帯型無線端末１０８の入出力制御部１２０１もｗｅｂクライアントの機能を有する。入出力制御部１２０１は、ｗｅｂサーバであるサーバ１０７に対し、サーバアクセス情報１２０２に格納されている認証情報を用いて認証を行う。認証が正常に終了したら、入出力制御部１２０１はサーバ１０７と接続を確立して、プッシュ型通信を行う。プッシュ型通信を実行することで、鏡型端末１０４から送信された情報を迅速に受信することができる。
【００４６】
また、鏡型端末１０４と同様に、携帯型無線端末１０８の入出力制御部１２０１も、インターフェース選択部１２０３を通じて、無線ＬＡＮＩ／Ｆ１１０８または無線通信部１１０９の何れかを用いて、インターネット１０６にアクセスし、サーバ１０７との通信を実現する。
鏡型端末１０４からサーバ１０７を通じて受信した、独居者１０２のエンゲージメント値、脈拍データ、表情推定結果、そして日時情報は、不揮発性ストレージ１１０６に設けられたログテーブル１２０４に記録される。
【００４７】
不揮発性ストレージ１１０６に記憶されているサーバアクセス情報１２０２には、
・情報送信元である別居家族１０５を一意に特定する監視者ＩＤ情報、
・通信セキュリティの確保に必要なパスワード等の、情報送信元における認証情報、
・サーバ１０７にアクセスするための、サーバ１０７のＦＱＤＮ（Full Qualified Domain Name）あるいはＩＰアドレス、
・情報送信先である独居者１０２を一意に特定する監視対象ＩＤ情報
が含まれる。
入出力制御部１２０１は、サーバ１０７との接続を確立してプッシュ型通信を行うために、認証情報を使用する。
【００４８】
アラーム送信処理部１２０５は、サーバ１０７を通じて鏡型端末１０４から受信した情報に異常があると認めた場合、または予め設定した日時に鏡型端末１０４から情報を受信できていないと判断した場合に、アラームを生成し、入出力制御部１２０１を通じて鏡型端末１０４へ送信する。このため、アラーム送信処理部１２０５は、ＲＴＣ１１０７が出力する現在日時情報を監視する。
【００４９】
［携帯型無線端末１０８：表示例］
図１３Ａ、図１３Ｂ及び図１３Ｃは、携帯型無線端末１０８の表示部１１０４に表示される表示例である。
図１３Ａは、独居者１０２が鏡型端末１０４の前に来て、鏡型端末１０４を覗き込んだ時に、別居家族１０５の携帯型無線端末１０８のタッチパネルディスプレイに現れる表示例である。
画面の最上部に表示される表示欄は、独居者１０２の氏名表示欄Ｐ１３０１である。図１３Ａ、図１３Ｂ及び図１３Ｃ中、氏名表示欄Ｐ１３０１には「おばあちゃん」と表示されているが、実際には独居者１０２の氏名が表示される。
【００５０】
左上の表示欄は、サーバ１０７を通じて鏡型端末１０４から受信した、独居者１０２の顔の特徴点データに基づく、独居者１０２の顔輪郭を表示する顔輪郭表示欄Ｐ１３０２である。画像データと比べて特徴点データは大幅にデータ量が少ないので、インターネット１０６の混雑状況に左右され難く、リアルタイムで表示が可能である。
右上の表示欄は、サーバ１０７から受信した、独居者１０２の顔の特徴点データを基に推定した、表情推定結果の簡易イラストと表情を表示する表情推定結果表示欄Ｐ１３０３である。
【００５１】
左下の表示欄は、サーバ１０７を通じて鏡型端末１０４から受信した、独居者１０２の脈拍データと脈拍波形を表示する脈拍表示欄Ｐ１３０４である。
右下の表示欄は、サーバ１０７を通じて鏡型端末１０４から受信した、独居者１０２のエンゲージメント値とエンゲージメント値の折れ線グラフを表示するエンゲージメント値表示欄Ｐ１３０５である。
独居者１０２が正常な状態であれば、図１３Ａに示すような表示画面が確認できる。これらのデータ量は画像データと比べて極めて少ない。したがって、鏡型端末１０４及び携帯型無線端末１０８に要する通信のコストは安価に済む。
【００５２】
図１３Ｂは、独居者１０２が別居家族１０５から予め約束していた時間または期間（例えば２日間）に鏡型端末１０４の前に来なかった場合に、別居家族１０５の携帯型無線端末１０８のタッチパネルディスプレイに現れるアラーム画面の表示例である。図１３Ｃは、独居者１０２の安否が確認できた場合に、別居家族１０５の携帯型無線端末１０８のタッチパネルディスプレイに現れる安否確認画面の表示例である。これら図１３Ｂと図１３Ｃについては、図１４に示すタイムチャートを伴って、内容を説明する。
【００５３】
図１４は、携帯型無線端末１０８において独居者１０２の安否が確認できなくなったことを検出した状況から始まる、鏡型端末１０４と携帯型無線端末１０８との間で行われる通信の手順と内容を示す、タイムチャートである。
別居家族１０５の携帯型無線端末１０８は、予め設定した時間（例えば朝の５時から８時まで）または期間（例えば２日間）を独居者１０２の監視時間帯として設定している。この監視時間帯の間に、独居者１０２が鏡型端末１０４の前に来て、鏡型端末１０４を覗き込んだ時に、図１３Ａに示すような内容が携帯型無線端末１０８のタッチパネルディスプレイに表示される。
【００５４】
ある日、携帯型無線端末１０８が監視時間帯の開始時間に監視を開始して、鏡型端末１０４から所定のデータの受信を待機する（Ｓ１４０１）。監視時間帯の終了時点になっても（Ｓ１４０２）所定のデータを受信できなかった場合、携帯型無線端末１０８の入出力制御部１２０１は、図１３Ｂに示すアラーム画面を表示し（Ｓ１４０３）、携帯型無線端末１０８のユーザである別居家族１０５の操作を待つ。そして、別居家族１０５がＣａｌｌボタンをタップ操作すると（Ｓ１４０４）、携帯型無線端末１０８の入出力制御部１２０１は鏡型端末１０４に向けてアラームを送信する（Ｓ１４０５）。
【００５５】
ここで、図１３Ｂに示すアラーム画面の表示内容を説明する。
図１３Ｂ中、タッチパネルディスプレイに表示されている警告メッセージ欄Ｐ１３０６には、独居者１０２がどの程度の期間、鏡型端末１０４を見ていないのかを示す文章と、ＣＡＬＬボタンＢ１３０７とＬＩＶＥボタンＢ１３０８が表示されている。
ＣＡＬＬボタンＢ１３０７をタップすると、携帯型無線端末１０８は鏡型端末１０４に向けて、警告メッセージを送信する。鏡型端末１０４の入出力制御部５０７は、サーバ１０７を通じて携帯型無線端末１０８から警告メッセージを受信すると、押釦スイッチ２０３に組み込まれたＬＥＤ４１０を点滅発光させると共に、アラーム音をスピーカ４１１から発する。
ＬＩＶＥボタンＢ１３０８をタップすると、携帯型無線端末１０８は鏡型端末１０４に向けて、ＬＩＶＥ動作命令を送信する。鏡型端末１０４の入出力制御部５０７は、サーバ１０７を通じて携帯型無線端末１０８からＬＩＶＥ動作命令を受信すると、撮像装置４１２を起動し、撮影した画像データストリームから解像度を落とした動画像データを生成し、サーバ１０７を通じて携帯型無線端末１０８へ送信する。すると、図１３Ｂの下側にＬＩＶＥ動画表示領域Ｐ１３０９が形成され、ＬＩＶＥ動画、すなわち現在の独居者１０２の居宅１０３内の様子が表示される。
【００５６】
図１４に戻って、タイムチャートの説明を続ける。
鏡型端末１０４の入出力制御部５０７は、サーバ１０７を通じて携帯型無線端末１０８から送信されたアラーム情報を受信する（Ｓ１４０６）と、ＬＥＤ４１０を点滅制御し、スピーカ４１１を鳴動させる（Ｓ１４０７）。そして、ユーザである独居者１０２の操作を待つ。そして、独居者１０２が押釦スイッチ２０３を操作すると（Ｓ１４０８）、鏡型端末１０４の入出力制御部５０７はスピーカ４１１の鳴動を停止する（Ｓ１４０９）。そして、携帯型無線端末１０８に向けてリプライを送信する（Ｓ１４１０）。
【００５７】
携帯型無線端末１０８の入出力制御部１２０１は、サーバ１０７を通じて鏡型端末１０４から送信されたリプライ情報を受信する（Ｓ１４１１）と、図１３Ｃに示す安否確認画面を表示し（Ｓ１４１２）、別居家族１０５の操作を待つ。そして、別居家族１０５が了解ボタンをタップ操作すると（Ｓ１４１３）、携帯型無線端末１０８の入出力制御部１２０１は鏡型端末１０４に向けて確認終了メッセージを送信する（Ｓ１４１４）。
鏡型端末１０４の入出力制御部５０７は、サーバ１０７を通じて携帯型無線端末１０８から送信された確認終了メッセージを受信する（Ｓ１４１５）と、ＬＥＤ４１０の点滅を停止させる（Ｓ１４１６）。
【００５８】
ここで、図１３Ｃに示す安否確認画面の表示内容を説明する。
図１３Ｃ中、タッチパネルディスプレイに表示されているメッセージ欄Ｐ１３１０には、独居者１０２の安否が確認できた旨の文章と、了解ボタンＢ１３１１が表示される。
了解ボタンＢ１３１１をタップすると、携帯型無線端末１０８は鏡型端末１０４に向けて、確認終了メッセージを送信する。鏡型端末１０４の入出力制御部５０７は、サーバ１０７を通じて携帯型無線端末１０８から確認終了メッセージを受信すると、点滅発光させている、押釦スイッチ２０３に組み込まれたＬＥＤ４１０の点滅発光を停止させる。
【００５９】
以上に説明した実施形態は、以下に記す応用が可能である。
（１）本発明の実施形態に係る独居者監視システム１０１の名称は「独居者１０２を監視する」という意味に取れるが、本システムの監視対象は必ずしも独居者１０２のみに限らない。監視対象は老夫婦であっても、あるいは被介護者の小規模な団体であってもよい。
（２）図１４のタイムチャートでは監視時間帯における独居者１０２の監視を携帯型無線端末１０８が実行していたが、監視時間帯における独居者１０２の監視をサーバ１０７が実行してもよい。
【００６０】
（３）鏡型端末１０４は、独居者１０２の顔画像から特徴点データとエンゲージメント値と脈拍データを取得したが、独居者１０２を監視する、という基本的な目的を満たすのであれば、最低限、顔検出処理部の顔検出結果だけを送信する形態であってもよい。あるいは、特徴点抽出部が出力するだけを送信する形態であってもよい。顔検出結果または特徴点データだけの構成であっても、図１３Ｂ、図１３Ｃ及び図１４にて説明した安否確認処理は実行できる。
（４）また、鏡型端末１０４は、独居者１０２の顔画像から特徴点データとエンゲージメント値と脈拍データを取得したが、独居者１０２の健康状態を監視する、という目的を満たすのであれば、エンゲージメント値を省略してもよい。
【００６１】
（５）更に、鏡型端末１０４は、血圧計や活動量計等、他の生体情報測定装置からＢｌｕｅＴｏｏｔｈ（登録商標）等の近距離無線通信を利用して独居者１０２の生体情報を収集して、特徴点データとエンゲージメント値と脈拍データと併せてサーバ１０７へ送信してもよい。
（６）鏡型端末１０４にマイクを接続し、ＩＰ電話機能を備えて、安否確認の際に独居者１０２が別居家族１０５と通話できるように構成してもよい。
（７）上述の実施形態では、表情推定部９０５をサーバ１０７に設けていた。画像マッチング処理の応用でもある表情推定処理は、計算機の演算処理としてはかなり重い部類である。しかし、鏡型端末１０４の情報処理部３０４の演算能力が十分高速であり、また表情推定処理に必要な計算機リソースが低減できれば、鏡型端末１０４に表情推定部９０５を設けてもよい。  
【００６２】
（８）また、学習アルゴリズムを用いる表情推定処理は、主に特徴量の演算処理に計算機のリソースが必要となる。そこで、サーバ側で特徴量を作成し、サーバが作成した特徴量を鏡型端末がサーバからダウンロードして、鏡型端末は表情推定処理のみを行う、とすることで、鏡型端末で実用的な速度及び精度の表情推定処理が実現できる。
図１５は、変形例としてのサーバ１５０１のソフトウェア機能を示すブロック図である。
図１５に示すサーバ１５０１の、図９に示したサーバ１０７との相違点は、表情推定部９０５の代わりに表情学習部１５０２と特徴量１５０３が設けられている点である。
入出力制御部９０１は、鏡型端末１６０１（図１６参照）から受信したデータに含まれている特徴点データを、表情学習部１５０２に引き渡す。表情学習部１５０２は、公知の畳み込みニューラルネットワーク等に代表される、画像認識に好適な学習アルゴリズム（ディープラーニング）を用いて、特徴点データから独居者１０２の表情を推定ための特徴量１５０３を作成し、更新する。
特徴量１５０３は、更新される度に鏡型端末１６０１がサーバ１５０１からダウンロードされる。
【００６３】
図１６は、変形例としての鏡型端末１６０１のソフトウェア機能を示すブロック図である。
図１６に示す鏡型端末１６０１の、図５に示した鏡型端末１０４との相違点は、特徴量１５０３と表情推定部１６０２が設けられている点である。
表情推定部１６０２は、特徴点抽出部５０２が出力する特徴点データを読み込み、サーバ１５０１からダウンロードした特徴量１５０３を参照して、独居者１０２の表情を推定する。入出力制御部５０７は、特徴点データ、エンゲージメント値、脈拍データ、表情推定結果、現在日時情報、監視対象ＩＤ情報、監視者ＩＤ情報をメッセージとして形成した後、サーバ１５０１のＦＱＤＮを用いてサーバ１５０１にアクセスする。そして、認証情報を用いてサーバ１５０１から認証を得てから、メッセージから生成した送信パケットをサーバ１５０１へ送信する。
【００６４】
本実施形態においては、独居者監視システム１０１を開示した。
鏡型端末１０４は、独居者１０２の顔を撮像装置４１２で撮影すると、特徴点データとエンゲージメント値と脈拍データを取得する。そして、サーバ１０７を通じて別居家族１０５の携帯型無線端末１０８に向けて、これらのデータを送信する。サーバ１０７は鏡型端末１０４から特徴点データとエンゲージメント値と脈拍データを受信すると、特徴点データから独居者１０２の表情を推定し、表情推定結果を特徴点データとエンゲージメント値と脈拍データと共に携帯型無線端末１０８に送信する。この作業を一日一回、予め設定した監視時間帯か、あるいは時間指定なくいつでも独居者１０２に実行させる。監視時間帯に独居者１０２の顔撮影動作がなかった場合、携帯型無線端末１０８またはサーバ１０７は異常状態であると認識し、鏡型端末１０４へアラームを送信する。独居者１０２が健常状態であれば、アラームを受信した鏡型端末１０４のＬＥＤ点滅とアラーム音鳴動によって、独居者１０２は鏡型端末１０４を覗き込む。こうすることで、独居者１０２の安否を確認することができる。
【００６５】
本実施形態における鏡型端末１０４の演算処理は従来と比べて極めて軽い。更に、独居者監視システム１０１が送信するデータは、極めてデータ容量が少ない特徴点データとエンゲージメント値と脈拍データである。したがって、独居者監視システム１０１がインターネット１０６に流すデータ量は極めて少ない。
画像データそのものを送信するような従来技術とは異なり、画像データを常時送信せず、代わりにデータ量が極めて少ない特徴点データを送信するため、インターネット１０６上における独居者１０２のプライバシーを高度に秘匿することができる。仮にタッピング（Tapping:ネットワーク上における盗聴行為）されても、特徴点データだけでは独居者１０２を特定することが不可能である。
更に、鏡型端末１０４及び携帯型無線端末１０８において送受信するデータ量が少ない、ということは、通信に要するコストが安価に済む。
【００６６】
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
例えば、上記した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
【００６７】
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の揮発性あるいは不揮発性のストレージ、または、ＩＣカード、光ディスク等の記録媒体に保持することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００６８】
１０１…独居者監視システム、１０２…独居者、１０３…居宅、１０４…鏡型端末、１０５…別居家族、１０６…インターネット、１０７…サーバ、１０８…携帯型無線端末、２０１…鏡面部、２０２…支持体、２０３…押釦スイッチ、３０１…天板、３０２…ハーフミラーフィルム、３０３…フレーム、３０４…情報処理部、４０１…ＣＰＵ、４０２…ＲＯＭ、４０３…ＲＡＭ、４０４…不揮発性ストレージ、４０５…ＲＴＣ、４０６…無線ＬＡＮインターフェース、４０７…無線通信部、４０８…バス、４０９…シリアルインターフェース、４１０…ＬＥＤ、４１１…スピーカ、４１２…撮像装置、５０１…顔検出処理部、５０２…特徴点抽出部、５０３…ベクトル解析部、５０４…エンゲージメント算出部、５０５…脈拍検出領域抽出部、５０６…脈拍算出部、５０７…入出力制御部、５０８…サーバアクセス情報、５０９…インターフェース選択部、６０１…被撮影者、８０１…ＣＰＵ、８０２…ＲＯＭ、８０３…ＲＡＭ、８０４…不揮発性ストレージ、８０５…ＲＴＣ、８０６…ＮＩＣ、８０７…バス、９０１…入出力制御部、９０２…認証処理部、９０３…ユーザマスタ、９０４…ログテーブル、９０５…表情推定部、１１０１…ＣＰＵ、１１０２…ＲＯＭ、１１０３…ＲＡＭ、１１０４…表示部、１１０５…操作部、１１０６…不揮発性ストレージ、１１０７…ＲＴＣ、１１０９…無線通信部、１１１０…バス、１２０１…入出力制御部、１２０２…サーバアクセス情報、１２０３…インターフェース選択部、１２０４…ログテーブル、１２０５…アラーム送信処理部
【図１】
2018147278.tif 000003
【図２】
2018147278.tif 000004
【図３】
2018147278.tif 000005
【図４】
2018147278.tif 000006
【図５】
2018147278.tif 000007
【図６】
2018147278.tif 000008
【図７】
2018147278.tif 000009
【図８】
2018147278.tif 000010
【図９】
2018147278.tif 000011
【図１０】
2018147278.tif 000012
【図１１】
2018147278.tif 000013
【図１２】
2018147278.tif 000014
【図１３】
2018147278.tif 000015
【図１４】
2018147278.tif 000016
【図１５】
2018147278.tif 000017
【図１６】
2018147278.tif 000018