(57)【要約】【課題】監視対象者ごとに動作を検出する監視装置を提供する。【解決手段】特定の対象者を監視する監視装置１は、対象者の動作の画像データに基づいて対象者の動作の特徴量を抽出し、対象者の動作の学習モデルを生成する動作学習部４１１と、動作学習部４１１により生成された動作の学習モデルを記憶する動作モデル記憶部２２１と、動作モデル記憶部２２１により記憶された動作の学習モデルに基づいて、対象者の動作を判定する動作判定部２１１とを備える。【選択図】図４
2020009378.tif 000002
【特許請求の範囲】
【請求項１】
特定の対象者を監視する監視装置であって、
前記対象者の動作の画像データに基づいて前記対象者の動作の特徴量を抽出し、前記対象者の動作の学習モデルを生成する学習モデル生成部と、
前記学習モデル生成部により生成された動作の学習モデルを記憶する学習モデル記憶部と、
前記学習モデル記憶部により記憶された学習モデルに基づいて、前記対象者の動作を判定する動作判定部と、を備えることを特徴とする監視装置。
【請求項２】
請求項１に記載の監視装置において、
前記対象者の生体情報を取得する生体情報取得部と、
前記生体情報取得部により取得された生体情報に基づいて、前記対象者に異変が生じたか否かを判定する異変判定部と、をさらに備え、
前記学習モデル生成部は、前記異変判定部により前記対象者に異変が生じたと判定されたときの前記対象者の動作の画像データに基づいて前記対象者の動作の特徴量を抽出し、前記対象者の異常動作の学習モデルを生成することを特徴とする監視装置。
【請求項３】
請求項２に記載の監視装置において、
前記対象者の行動予定を取得する行動予定取得部をさらに備え、
前記異変判定部は、さらに前記行動予定取得部により取得された行動予定に基づいて、前記対象者に異変が生じたか否かを判定することを特徴とする監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、居宅や施設等において特定の対象者を監視する監視装置に関する。
【背景技術】
【０００２】
従来、監視カメラにより撮像された画像データに基づいて、対象者の動作が異常であるか否かを判定し、異常を報知するようにした装置が知られている（例えば特許文献１参照）。特許文献１の装置では、自動取引装置を使用するときの一連の標準的な動作を学習し、対象者の動作が標準的な動作から外れている場合に異常と判定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１０３３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１記載の装置では、対象者の動作を標準的な動作と比較して異常であるか否かを判定するため、対象者の身体の状態などに応じた特徴的な動作については、正確に判定することができない。しかしながら、特に介護の目的で２４時間体勢の監視を行う場合などには、身体の状態などが異なる対象者ごとに異常な動作（異変）を判定することが望まれる。
【課題を解決するための手段】
【０００５】
本発明の一態様は、特定の対象者を監視する監視装置であって、対象者の動作を学習する動作学習部と、動作学習部により学習された動作を記憶する動作記憶部と、動作記憶部により記憶された動作に基づいて、対象者の動作を判定する動作判定部と、を備える。
【発明の効果】
【０００６】
本発明によれば、監視対象者ごとに動作を検出することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る監視装置の設置の一例を概略的に示す図。
【図２】本発明の実施形態に係る監視装置の斜視図。
【図３】本発明の実施形態に係る監視装置の断面図。
【図４】本発明の実施形態に係る監視装置の構成を概略的に示すブロック図。
【図５Ａ】図４のコントローラ群で実行される、画像データに基づく動作判定処理の一例を示すフローチャート。
【図５Ｂ】図４のコントローラ群で実行される、画像データに基づく姿勢判定処理の一例を示すフローチャート。
【図６Ａ】図４のコントローラ群で実行される、姿勢データに基づく異変判定処理の一例を示すフローチャート。
【図６Ｂ】図４のコントローラ群で実行される、測定値に基づく異変判定処理の一例を示すフローチャート。
【図７】図４のコントローラ群で実行される動作の学習処理の一例を示すフローチャート。
【図８】本発明の実施形態に係る監視装置の動作を説明するための図。
【発明を実施するための形態】
【０００８】
以下、図１〜図８を参照して本発明の実施形態について説明する。本発明の実施形態に係る監視装置は、特定の対象者を常時見守るために、例えば介護施設の居室などに設置され、腰が曲がっているなどの身体の状態によって通常の動作が標準的な動作とは異なる対象者につき、報知すべき異常な動作を含む種々の動作を学習して判定するものである。
【０００９】
図１は、本発明の実施形態に係る監視装置１Ａ，１Ｂ（以下、１と総称する）の設置の一例を概略的に示す図である。監視装置１は、監視カメラなどにより構成され、介護施設の居室や独居の高齢者の自宅など見守り対象者が一人で過ごす場所に設置されて対象者の見守り監視を行う。監視装置１により出力される画像データなどは、介護施設のナースステーションに設置された端末や、見守り対象者の家族の携帯端末などに送信される。図１は、監視装置１を介護施設の居室に設置する場合の一例である。居室は、例えば、図１に左側から示すように、居室の出入口、間仕切られたエリアＡＲ１（トイレなど）、対象者が歩いて移動するエリアＡＲ２（洗面エリアなど）、対象者が主に臥位で過ごすエリアＡＲ３（ベッドなどが置かれたエリア）により構成される。
【００１０】
図１に示すように、監視装置１Ａは、出入口とは反対側の壁等に設置される。監視装置１Ａは、対象者の居室への入室や居室からの退出を監視し、エリアＡＲ２における対象者の歩行等の動作を監視し、エリアＡＲ３における対象者の就寝中の様子を上方から監視する。監視装置１Ｂは、間仕切られたエリアＡＲ１の天井等、対象者が気にならないような位置に設置される。図１では、監視装置１Ａ，１Ｂを設置する例を示すが、監視装置１の設置台数は、居室の広さやレイアウトによって１台または３台以上としてもよい。
【００１１】
図２は、監視装置１の斜視図である。監視装置１は、略電球形状の筐体１１を備える。筐体１１は、一端部において、ねじ部１２ａが形成された導電性の口金部１２を有する。ねじ部１２ａは、例えば壁面に取り付け可能なスタンドの先端部のソケットに螺合され、口金部１２を介して本体に電力が供給される。壁面に取り付けられたダクトレールのソケットに螺号されるようにしてもよい。筐体１１の他端部には、透光性を有する樹脂材により構成されるカバー１３が取り付けられる。このような電球形状とすることにより、監視装置１は、市販の電球のように簡易に設置できるとともに、一般的な監視カメラが対象者に与える「見張られている」という意識を低減することができる。
【００１２】
図３は、監視装置１の断面図である。図示のように、筐体１１内には、見守り対象者を撮像するカメラ１４と、カメラ１４の周囲に周方向等間隔に配置された複数（例えば８個）のＬＥＤ１５と、カメラ１４の周囲に周方向等間隔に配置された３個のコントローラ２０，３０，４０（コントローラ群５０）とが配置され、口金部１２および図示しないケーブルなどを介してこれらに外部から電力が供給される。カメラ１４は、図示しないケーブルなどを介してコントローラ２０，３０，４０のそれぞれに接続される。筐体１１には排熱用のスリット１１ｓが設けられる（図１）。コントローラ群５０は、ナースステーションに設置されたナースコール親機（ナースコールボード）などの報知部や、介護記録の作成、管理を行うための管理用端末（例えば、介護スタッフ用のノートパソコンなど）に、有線または無線で電気的に接続される。なお、図示は省略するが、各コントローラ２０，３０，４０には、ＵＳＢ（Universal Serial Bus）などの外部入力ポートが設けられる。
【００１３】
カメラ１４は、見守り対象者を常時撮像し、その画像データをコントローラ群５０に送信する。カメラ１４としては、例えば５〜１０倍程度の光学ズーム機能を有する通常のＲＧＢカメラを使用する。図３に示すように、カメラ１４は、レンズ部がカバー１３の表面と平行となるように、筐体１１内の中央に配置される。カメラ１４は、レンズ部がカバー１３に固定され、本体部が筐体１１に設けられたレール１１ｒに沿って矢印で示す筐体１１の長さ方向に移動可能であり、これにより倍率を適宜調整することができる。
【００１４】
ＬＥＤ１５は、例えば、高輝度白色ＬＥＤにより構成される。ＬＥＤ１５は、照射面がカバー１３の表面と平行となるように配置される。なお、対象者の就寝中など居室が暗い状態で見守り監視を行う場合には、カメラ１４として通常のＲＧＢカメラに代えて赤外線カメラを使用し、ＬＥＤ１５として高輝度白色ＬＥＤに代えて赤外線ＬＥＤを使用してもよい。カメラ１４として赤外線カットフィルタを除去したＲＧＢカメラを使用するとともに、ＬＥＤ１５として高輝度白色ＬＥＤと赤外線ＬＥＤとを交互にカメラ１４の周囲に周方向等間隔に配置して使用してもよい。
【００１５】
ここで、ナースコールや監視カメラなどの従来の見守りシステムの課題について説明する。従来のナースコールによる見守りシステムでは、対象者本人が異変を感じたときに、対象者自身が居室のナースコール子機を操作することで介護スタッフなどへの報知が行われる。このため、対象者本人が意識を失った場合や動けなくなった場合には報知を行うことができない。また、従来の監視カメラによる見守りシステムでは、監視カメラの映像を介護スタッフなどが見て対象者に異変があるか否かを判断する。このため、一人の介護スタッフが複数の対象者の見守りを行う場合や、独居の対象者を一人の家族が常時監視する場合などには、見落としや見過ごしによって対象者の異変に気付くのが遅れることがある。例えば、対象者が転倒やむせ込みにより意識を失ったり動けなくなったりした場合には、介護スタッフなどが気付くまでの間、対象者は放置されることになる。
【００１６】
そこで、本発明の実施形態では、異変があったときの異常な動作（異常動作）を含む見守り対象者の種々の動作を動作モデルとして学習し、監視カメラ（カメラ１４）により撮像された見守り対象者の動作が異常動作であるか否かを判定することで、対象者の異変を自動的に検出するように構成する。
【００１７】
高齢者など介護を必要とする見守り対象者の動作は、腰が曲がっているなどの身体の状態に応じて、標準的な成人の標準的な動作とは異なることがある。このような場合には、標準的な動作を事前に学習し、監視カメラにより撮像された見守り対象者の動作と比較して異変を検出することは難しい。例えば、腰が曲がったまま移動する動作のように、その対象者にとっては問題のない動作を異常動作と判定してしまう可能性がある。
【００１８】
このような誤検出を防ぐため、監視装置１では、見守り対象者ごとに動作モデルを学習し、対象者ごとに動作を判定して異変を検出する。具体的には、見守り対象者の介護記録などに基づいて、その対象者ごとに想定される報知すべき異常動作を含む種々の動作を事前に介護スタッフなどが実演し、動作モデルとして学習する。例えば、腰が曲がっている対象者を見守る監視装置１であれば、腰が曲がった状態で移動する動作や転倒する動作などを動作モデルとして学習する。また、対象者の見守り監視中に実際の対象者の動作を動作モデルとしてさらに学習することで、動作モデルをその対象者の実情により見合ったものに更新する。
【００１９】
上記したような動作モデルの学習と、動作および異変の判定とを実現可能な監視装置１の構成について説明する。
【００２０】
図４は、監視装置１の構成を概略的に示すブロック図である。監視装置１は、カメラ１４と、カメラ１４に電気的に接続されるコントローラ群５０と、コントローラ群５０に有線または無線で電気的に接続される報知部１６と、管理用端末１７とを有する。コントローラ群５０は、相互に通信可能に構成されたコントローラ２０，３０，４０を含んで構成される。
【００２１】
報知部１６は、例えば介護施設のナースステーションに設置されたナースコール親機であり、コントローラ群５０からの指令に応じて、介護スタッフなどへの報知を行う。報知部１６は、監視装置１と同じ構内に設置されるものに限らず、見守り対象者の家族が所持するスマートフォンなどの携帯端末としてもよい。監視装置１が独居の対象者の居宅に設置される場合には、報知部１６を医療機関の端末などとしてもよい。また、上記の端末を組み合わせて報知部１６としてもよい。
【００２２】
管理用端末１７は、例えば介護施設の介護スタッフが介護記録の作成、管理に使用するノートパソコンであり、介護記録に含まれる対象者の行動予定や、対象者の動作の判定結果等のテキストデータをコントローラ群５０との間で送受信する。管理用端末１７は、監視装置１と同じ構内に設置されるものに限らず、見守り対象者の家族が所持するスマートフォンなどの携帯端末としてもよい。監視装置１が医療施設に入院中の対象者の見守りに適用される場合には、管理用端末１７を医療機関の端末などとして、介護記録を作成するようにしてもよい。また、複数の端末を組み合わせて管理用端末１７としてもよい。
【００２３】
コントローラ２０は、ＧＰＵ（Graphics Processing Unit：画像処理装置）２１、ＲＯＭ，ＲＡＭなどのメモリ２２、その他の周辺回路を有するコンピュータを含んで構成される。
【００２４】
ＧＰＵ２１は、機能的構成として、見守り対象者の動作モデルに基づいて現在の動作を判定する動作判定部２１１と、対象者の姿勢モデルに基づいて現在の姿勢を判定する姿勢判定部２１２と、姿勢判定部２１２により判定された姿勢をコントローラ３０に出力する出力部２１３とを有する。動作判定部２１１と姿勢判定部２１２とをそれぞれ別のＧＰＵにより構成してもよい。
【００２５】
メモリ２２は、機能的構成として、移動、食事、睡眠などの通常の動作と、転倒や誤嚥などの異常動作とを含む対象者の動作のモデルを記憶する動作モデル記憶部２２１と、立位、座位、臥位などの対象者の姿勢のモデルを記憶する姿勢モデル記憶部２２２とを有する。
【００２６】
コントローラ３０は、ＣＰＵ（Central Processing Unit：中央演算処理装置）３１、ＲＯＭ，ＲＡＭなどのメモリ３２、その他の周辺回路を有するコンピュータを含んで構成される。
【００２７】
ＣＰＵ３１は、機能的構成として、異常な姿勢変化の判定条件に基づいて出力部２１３により出力された対象者の姿勢の変化が異常であるか否かを判定するとともに異変の種類を特定する異常姿勢変化判定部３１１と、カメラ１４からの画像データに基づいて対象者の心拍数、血圧、呼吸数、血中酸素飽和度（ＳＰＯ２）、体温などのバイタルサインを測定するバイタル測定部３１２と、バイタル測定部３１２による現在の測定値などに基づいて対象者に異変が生じたか否かを判定するとともに異変の種類を特定する異変判定部３１３と、異常姿勢変化判定部３１１および異変判定部３１３の判定結果に応じて報知部１６および管理用端末１７に異変の情報を出力する異変情報出力部３１４と、異常姿勢変化判定部３１１および異変判定部３１３により特定された異変の種類に応じてカメラ１４からの画像データのうち対象者の異常動作として学習すべき時刻ｔｐｓ〜ｔｐｅ，ｔｖｓ〜ｔｖｅを決定する学習時刻決定部３１５と、学習時刻決定部３１５により決定された時刻ｔｐｓ〜ｔｐｅ，ｔｖｓ〜ｔｖｅの画像データを抽出し、異常姿勢変化判定部３１１および異変判定部３１３により特定された異変の種類とともに対象者の動作（異常動作）の学習データとしてコントローラ４０に出力する学習データ出力部３１６とを有する。
【００２８】
バイタル測定部３１２は、カメラ１４からの画像データに基づいて対象者の各種バイタルサインを測定する。例えば、心拍数は、カメラ１４によって受光される光の受光強度の変動に基づいて測定することができる。ＲＧＢカメラにより受光される３成分の光のうち、波長の短い青（Ｂ）成分の光は対象者の皮膚表面で反射し、それより波長の長い緑（Ｇ）成分の光は毛細血管の存在する真皮層にまで浸透し、血液中の赤血球に含まれるヘモグロビンにより吸収される。すなわち、青（Ｂ）成分の受光強度は居室の明るさ（環境光）に応じて変動し、緑（Ｇ）成分の受光強度は対象者の脈動に応じて変動する。したがって、これらの受光強度の変動に基づいて、環境光の影響を受けずに脈動周期（心拍数）を測定することができる。
【００２９】
メモリ３２は、機能的構成として、対象者の介護記録などに基づいて予め入力される食事や入退室などの対象者の行動予定を記憶する行動予定記憶部３２１と、対象者に異変があるときの異常な姿勢の変化（姿勢変化）の判定条件を異変の種類ごとに記憶する異常姿勢変化判定条件記憶部３２２と、対象者のバイタルサインの測定値などに基づく異変の判定条件を異変の種類ごとに記憶する異変判定条件記憶部３２３と、バイタル測定部３１２により測定された対象者のバイタルサインの測定値を記憶するバイタル測定値記憶部３２４とを有する。異常な姿勢変化の判定条件の一例として、例えば、転倒を判定する場合には、対象者の姿勢が一定の時間以内（例えば３秒以内）に立位から臥位に変化することなどを条件とする。また、誤嚥を判定する場合には、行動予定に基づいて食事中であると推定され、かつ、心拍数が所定値（例えば１００回／分）を超えることなどを条件とする。
【００３０】
コントローラ４０は、ＧＰＵ（Graphics Processing Unit：画像処理装置）４１、ＲＯＭ，ＲＡＭなどのメモリ４２、その他の周辺回路を有するコンピュータを含んで構成される。
【００３１】
ＧＰＵ４１は、機能的構成として、対象者の動作の学習データに基づいて動作の特徴に相当する特徴量を抽出して学習し、対象者の動作の学習モデルを生成する動作学習部４１１と、対象者の姿勢の学習データに基づいて姿勢の特徴量を抽出して学習し、対象者の姿勢の学習モデルを生成する姿勢学習部４１２と、対象者の動作および姿勢の学習モデルをコントローラ２０の動作モデル記憶部２２１および姿勢モデル記憶部２２２に出力する出力部４１３とを有する。
【００３２】
メモリ４２は、機能的構成として、学習データ出力部３１６により出力された対象者の動作の学習データを動作の種類ごとに記憶する動作学習データ記憶部４２１と、予めカメラ１４により撮像された対象者の姿勢の学習データ（画像データ）を姿勢の種類ごとに記憶する姿勢学習データ記憶部４２２とを有する。動作学習データ記憶部４２１には、学習データ出力部３１６により出力された学習データに加え、予めカメラ１４により撮像された対象者の動作の学習データを動作の種類ごとに記憶するように構成してもよい。
【００３３】
動作学習部４１１および姿勢学習部４１２は、画像データの学習に適した既知の機械学習プログラム、例えば多層のニューラルネットワークによる機械学習手法である深層学習（Deep Learning）により画像データの教師あり学習を行う。すなわち、動作学習部４１１は、動作学習データ記憶部４２１により動作の種類ごとに記憶、蓄積された画像データ（時刻ｔｐｓ〜ｔｐｅ，ｔｖｓ〜ｔｖｅの画像データなど）を学習し、動作の種類ごとの動作モデルを生成する。また、姿勢学習部４１２は、姿勢学習データ記憶部４２２により姿勢の種類ごとに記憶、蓄積された画像データを学習し、姿勢の種類ごとの姿勢モデルを生成する。学習後の動作モデルおよび姿勢モデルは、出力部４１３によりコントローラ２０に出力され、動作モデル記憶部２２１および姿勢モデル記憶部２２２にそれぞれ記憶され、更新される。
【００３４】
コントローラ２０の動作判定部２１１は、動作モデル記憶部２２１に記憶された対象者の最新の動作モデルに基づいて、対象者の現在の動作を判定するとともに、それが異常動作であるか否かを判定する。また、姿勢判定部２１２は、姿勢モデル記憶部２２２に記憶された対象者の最新の姿勢モデルに基づいて、対象者の現在の姿勢を判定する。
【００３５】
より具体的には、動作判定部２１１は、カメラ１４からの画像データにおける対象者の現在の動作の特徴量を抽出し、対象者の動作モデルと比較して、対象者の現在の動作を判定するとともに、それが異常動作であるか否かを判定する。また、姿勢判定部２１２は、画像データにおける対象者の現在の姿勢の特徴量を抽出し、姿勢モデル記憶部２２２に記憶された対象者の姿勢モデルの特徴量と比較して、対象者の現在の姿勢を判定する。学習モデル（異常動作モデル、姿勢モデル）との相関度合が最も高い動作または姿勢が、現在の動作または姿勢として判定される。なお、動作判定部２１１は、画像データにおける対象者の現在の動作に基づいて、動作の絶対量（活動量）を算出することもできる。バイタルサインとともに活動量の変化を記録しておくことで、事故や疾病だけでなく認知症の初期症状を判定することができる。
【００３６】
図５Ａは、予めコントローラ群５０のメモリ２２，３２，４２に記憶されたプログラムに従いコントローラ群５０のＧＰＵ２１，４１およびＣＰＵ３１で実行される、画像データに基づく動作判定処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えば監視装置１の電源オン時に開始され、所定周期で繰り返される。まず、ステップＳ１で、動作判定部２１１での処理により、カメラ１４により撮像された現在の画像データを読み込む。次いで、ステップＳ２で、動作モデル記憶部２２１に記憶された動作モデルに基づいて現在の画像データにおける対象者の動作を判定し、ステップＳ３で、その動作が異常動作であるか否か判定する。ステップＳ３で肯定されるとステップＳ４に進み、否定されると処理を終了する。ステップＳ４では、異変情報出力部３１４での処理により、報知部１６および管理用端末１７に異変の情報を出力する。
【００３７】
図５Ｂは、コントローラ群５０で実行される、画像データに基づく姿勢判定処理の一例を示すフローチャートである。まず、ステップＳ１０で、姿勢判定部２１２での処理により、カメラ１４により撮像された現在の画像データを読み込む。次いで、ステップＳ１１で、姿勢モデル記憶部２２２に記憶された姿勢モデルに基づいて現在の画像データにおける対象者の姿勢を判定する。次いで、ステップＳ１２で、出力部２１３での処理により、姿勢判定部２１２により判定された対象者の現在の姿勢のデータを異常姿勢変化判定部３１１に出力する。
【００３８】
図６Ａは、コントローラ群５０で実行される、姿勢データに基づく異変判定処理の一例を示すフローチャートである。まず、ステップＳ２０で、異常姿勢変化判定部３１１での処理により、出力部２１３により出力された対象者の現在の姿勢のデータを読み込む。次いで、ステップＳ２１で、異常姿勢変化判定条件記憶部３２２に記憶された異常な姿勢変化の判定条件に基づいて、前回以前に読み込んだ姿勢と今回読み込んだ姿勢との間の姿勢変化が異常であるか否かを判定するとともに、異変の種類を特定する。ステップＳ２１で肯定されるとステップＳ２２に進み、否定されると処理を終了する。ステップＳ２２では、異変情報出力部３１４での処理により、報知部１６および管理用端末１７に異変の情報を出力する。
【００３９】
次いで、ステップＳ２３では、学習時刻決定部３１５での処理により、異常姿勢変化判定部３１１により特定された異変の種類に基づいて対象者の異常動作として学習すべき時刻ｔｐｓ〜ｔｐｅを決定する。次いで、ステップＳ２４で、学習データ出力部３１６での処理により、カメラ１４からの画像データのうち学習時刻決定部３１５により決定された時刻ｔｐｓ〜ｔｐｅの画像データを抽出して対象者の動作の学習データとして出力する。
【００４０】
図６Ｂは、コントローラ群５０で実行される、測定値に基づく異変判定処理の一例を示すフローチャートである。まず、ステップＳ３０で、バイタル測定部３１２での処理により、カメラ１４により撮像された現在の画像データを読み込む。次いで、ステップＳ３１で、画像データに基づいて対象者の現在のバイタルサインを測定する。次いで、ステップＳ３２で、異変判定部３１３での処理により、バイタル測定部３１２による測定値と、行動予定記憶部３２１により記憶された対象者の行動予定と、異変判定条件記憶部３２３により記憶された異変の判定条件とに基づいて、対象者に異変が生じたか否かを判定するとともに、異変の種類を特定する。ステップＳ３２で肯定されるとステップＳ３３に進み、否定されると処理を終了する。ステップＳ３３では、異変情報出力部３１４での処理により、報知部１６および管理用端末１７に異変の情報を出力する。
【００４１】
次いで、ステップＳ３４では、学習時刻決定部３１５での処理により、異変判定部３１３により特定された異変の種類に基づいて対象者の異常動作として学習すべき時刻ｔｖｓ〜ｔｖｅを決定する。次いで、ステップＳ３５で、学習データ出力部３１６での処理により、カメラ１４からの画像データのうち学習時刻決定部３１５により決定された時刻ｔｖｓ〜ｔｖｅの画像データを抽出して対象者の動作の学習データとして出力する。
【００４２】
図７は、コントローラ群５０で実行される、動作の学習処理の一例を示すフローチャートである。このフローチャートに示す処理は、図５Ａ〜図６Ｂのフローチャートの処理とは異なり、監視装置１を管理するユーザが適宜なスイッチなどを介して入力する指示に応じて随時開始される。まず、ステップＳ４０で、動作学習部４１１での処理により、学習データ出力部３１６により出力され、動作学習データ記憶部４２１に記憶された対象者の動作の学習データを読込む。次いで、ステップＳ４１で、対象者の動作を学習し、ステップＳ４２で、動作モデルを生成する。次いで、ステップＳ４３で、出力部４１３での処理により、動作学習部４１１により生成された動作モデルをコントローラ２０の動作モデル記憶部２２１に出力する。
【００４３】
姿勢の学習処理も動作の学習処理と同様に実行される。すなわち、姿勢学習部４１２での処理により姿勢学習データ記憶部４２２に記憶された対象者の姿勢の学習データを読込み（Ｓ４０）、対象者の姿勢を学習し（Ｓ４１）、姿勢モデルを生成し（Ｓ４２）、出力部４１３での処理により姿勢モデルをコントローラ２０の姿勢モデル記憶部２２２に出力する（Ｓ４３）。
【００４４】
本実施形態に係る監視装置１の主要な動作についてより具体的に説明する。図８は、監視装置１の動作を説明するための図である。図８には、図の上から、姿勢判定部２１２により判定された対象者の姿勢、行動予定記憶部３２１により記憶された対象者の行動予定、異常姿勢変化判定部３１１による異常な姿勢変化の判定結果、バイタル測定部３１２により測定されたバイタルサインの一例として心拍数、および異変判定部３１３による異変の判定結果が、それぞれ時系列で示される。
【００４５】
監視装置１により、例えば介護施設に入居する腰が曲がった高齢の対象者の見守りを行うと仮定する。介護施設の居室に一人でいる対象者が時刻ｔｐｓ〜ｔｐｅにおいて転倒すると、居室に設置された監視装置１により姿勢変化が異常であると判定されるとともに、転倒が発生したことが特定される（Ｓ１０〜Ｓ１２，Ｓ２０〜Ｓ２１）。対象者の異変は、ナースステーションに設置されたナースコールボード（報知部１６）を介して介護スタッフに報知される（Ｓ２２）。このため、対象者が転倒によって動けなくなるなどして自身でナースコールを使用できない場合でも、介護スタッフに異変を報知することができる。また、介護スタッフが監視カメラ１４の映像から目を離しているときであっても、監視装置１による報知によって対象者の異変に気付くことができる。また、対象者の異変の情報は、介護スタッフのノートパソコン（管理用端末１７）にも送信される（Ｓ２２）。これにより、対象者に発生した異変の種類や発生時刻などの情報が介護記録のフォーマットなどに自動的に記録され、介護スタッフの事務負担を軽減することができる。
【００４６】
対象者に転倒が発生したと推定される時刻ｔｐｓ〜ｔｐｅの画像データが、転倒の動作の学習データとして抽出され、蓄積される（Ｓ２３，Ｓ２４）。監視装置１のユーザは、ソケットから取り外してカバー１３を外した監視装置１を、ＵＳＢケーブル等を介してパソコン等のユーザ端末に接続し、コントローラ４０のメモリ４２に記憶、蓄積された動作の学習データの蓄積状態等を確認することができる。ユーザが、転倒の動作の学習に必要な量の学習データの蓄積を確認し、転倒の動作の学習開始を指示すると、コントローラ４０による学習が開始され、学習モデルが生成されて、コントローラ２０の学習モデルが更新される（Ｓ４０〜Ｓ４３）。動作の判定に用いられる学習モデルが、介護スタッフなどの実演をもとに生成された動作モデルから、実際の対象者による動作の学習モデルへと更新されることで、対象者の動作を判定する精度が向上する。
【００４７】
対象者が食事中に誤嚥が発生し、むせ込みにより、時刻ｔａにおいて対象者の心拍数が所定値（例えば１００回／分）を超えて上昇すると、監視装置１により誤嚥（異変）が発生したと判定される（Ｓ３１〜Ｓ３３）。誤嚥および誤嚥のきっかけがあったと推定される時刻ｔｖｓ〜ｔｖｅの画像データが、誤嚥の動作の学習データとして抽出、蓄積され、ユーザの指示に応じて学習される（Ｓ３４，Ｓ３５，Ｓ４０〜Ｓ４３）。動作の学習データとして抽出される時刻は、異変の種類に応じて決定されるため、異変が発生する前の動作を含めて学習することができる。例えば、誤嚥が発生する前の動作である飲食時の不適切な姿勢を含めて学習することができる。
【００４８】
誤嚥の動作モデルが更新された後、飲食時の対象者が誤嚥につながる不適切な姿勢をとると、監視装置１により誤嚥の動作（誤嚥につながる動作）であると判定され、対象者の異変が報知される（Ｓ１〜Ｓ３）。報知を受けた介護スタッフが、対象者の居室へ駆けつけ、あるいはナースコールなどにより、対象者の飲食時の姿勢を注意することができる。対象者が一人で飲食する場合であっても、誤嚥の発生を未然に防ぐことができる。また、誤嚥につながる姿勢を対象者ごとに学習するため、背骨の曲がりや片麻痺等により飲食時の適切な姿勢が標準的な成人の姿勢とは異なる対象者にも適用することができる。なお、介護スタッフなどが飲食時の対象者を介助するときに、その対象者の状態に応じて、様子を見ながら、誤嚥につながる姿勢を判断し、そのときの姿勢を誤嚥の動作として学習させることもできる。すなわち、見守り対象者ごとに異常な動作を検出することができる。
【００４９】
監視装置１には、コントローラ３０のメモリ３２に、対象者の行動予定およびバイタルサインの測定値が時系列で記憶される。見守り対象者が医療機関を受診するとき、これらのデータを医師に提示することもできる。食事や起床などの行動予定とバイタルサインの変動とを対比して確認することで、対象者の診療、診断に役立てることができる。
【００５０】
本実施形態によれば以下のような作用効果を奏することができる。
（１）特定の見守り対象者を監視する監視装置１は、見守り対象者の動作の画像データに基づいて見守り対象者の動作の特徴量を抽出し、見守り対象者の動作の学習モデルを生成する動作学習部４１１と、動作学習部４１１により生成された動作の学習モデルを記憶する動作モデル記憶部２２１と、動作モデル記憶部２２１により記憶された動作の学習モデルに基づいて、見守り対象者の動作を判定する動作判定部２１１とを備える（図４）。対象者ごとに動作を学習することにより、身体の状態などが異なる対象者ごとに異常な動作（異変）を含む動作を判定することができる。
【００５１】
（２）監視装置１は、見守り対象者のバイタルサインを測定するバイタル測定部３１２と、バイタル測定部３１２により測定されたバイタルサインに基づいて、見守り対象者に異変が生じたか否かを判定する異変判定部３１３とをさらに備える（図４）。動作学習部４１１は、異変判定部３１３により見守り対象者に異変が生じたと判定されたときの見守り対象者の動作の画像データに基づいて見守り対象者の動作の特徴量を抽出し、見守り対象者の異常動作の学習モデルを生成する。これにより、バイタルサインの変化に基づいて、自動的に、異変が生じたときの動作や異変が生じる前後の動作の学習データを抽出することができる。
【００５２】
（３）監視装置１は、見守り対象者の行動予定を取得する管理用端末１７をさらに備える（図４）。異変判定部３１３は、さらに管理用端末１７により取得された行動予定に基づいて、見守り対象者に異変が生じたかを判定する。対象者の行動予定とバイタルサインの変動とを対比して確認することで、対象者の診療、診断に役立てることができる。
【００５３】
なお、上記実施形態は種々の形態に変形することができる。以下、変形例について説明する。上記実施形態では、監視装置１が特定の対象者の動作を学習し、学習された動作に基づいてその対象者の動作を判定するようにしたが、特定の対象者を監視する監視装置はこのようなものに限らない。例えば、特定の身体状態の対象者に監視装置を適用して、その身体状態に応じた動作モデルを学習し、学習された動作モデルを用いて同様の身体状態の別の対象者の動作を判定してもよい。
【００５４】
上記実施形態では、バイタル測定部３１２がカメラ１４からの画像データに基づいて対象者のバイタルサインを測定するようにしたが、対象者の生体情報を取得する生体情報取得部の構成はこのようなものに限らない。対象者が装着するタイプのバイタルセンサの測定値を有線または無線で取得してもよい。
【００５５】
上記実施形態では、管理用端末１７により作成された介護記録に含まれる対象者の行動予定のテキストデータをコントローラ群５０に送信するようにしたが、対象者の行動予定を取得する行動予定取得部の構成はこのようなものに限らない。例えば、コントローラ群５０側で行われる動作の判定として、カメラ１４からの画像データに基づいて食事や睡眠などの対象者の行動を自動的に判定し、判定された行動を介護記録用のテキストデータとして管理用端末１７に出力してもよい。
【００５６】
上記実施形態では、監視装置１が本体内にカメラ１４を含むように構成したが、特定の対象者を監視する監視装置はこのようなものに限らない。例えば、監視装置とは別の監視カメラなどから有線または無線で対象者の画像データを取得し、取得した画像データに基づいて動作の学習および判定を行うようにしてもよい。この場合、例えばＯＮＶＩＦ（Open Network Video Interface Forum）等のネットワークカメラの標準化規格に対応することで、異なるメーカーの監視カメラの画像データを学習用データとして利用することができる。
【００５７】
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。
【符号の説明】
【００５８】
１（１Ａ，１Ｂ）  監視装置、１１  筐体、１１ｒ  レール、１１ｓ  スリット、１２  口金部、１３  カバー、１４  カメラ、１５  ＬＥＤ、１６  報知部、１７  管理用端末、２０，３０，４０  コントローラ、２１，４１  ＧＰＵ、２２，３２，４２  メモリ、３１  ＣＰＵ、５０  コントローラ群、２１１  動作判定部、２１２  姿勢判定部、２１３  出力部、２２１  動作モデル記憶部、２２２  姿勢モデル記憶部、３１１  異常姿勢変化判定部、３１２  バイタル測定部、３１３  異変判定部、３１４  異変情報出力部、３１５  学習時刻決定部、３１６  学習データ出力部、３２１  行動予定記憶部、３２２  異常姿勢変化判定条件記憶部、３２３  異変判定条件記憶部、３２４  バイタル測定値記憶部、４１１  動作学習部、４１２  姿勢学習部、４１３  出力部、４２１  動作学習データ記憶部、４２２  姿勢学習データ記憶部
【図１】
2020009378.tif 000003
【図２】
2020009378.tif 000004
【図３】
2020009378.tif 000005
【図４】
2020009378.tif 000006
【図５Ａ】
2020009378.tif 000007
【図５Ｂ】
2020009378.tif 000008
【図６Ａ】
2020009378.tif 000009
【図６Ｂ】
2020009378.tif 000010
【図７】
2020009378.tif 000011
【図８】
2020009378.tif 000012
【手続補正書】
【提出日】平成30年11月16日(2018.11.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
特定の対象者を監視する監視装置であって、
前記対象者の動作の画像データに基づいて前記対象者の姿勢変化を含む動作の特徴量を抽出し、前記対象者の動作の学習モデルを生成する学習モデル生成部と、
前記学習モデル生成部により生成された動作の学習モデルを記憶する学習モデル記憶部と、
前記学習モデル記憶部により記憶された学習モデルに基づいて、前記対象者の動作を判定する動作判定部と、を備えることを特徴とする監視装置。
【請求項２】
請求項１に記載の監視装置において、
前記対象者の生体情報を取得する生体情報取得部と、
前記生体情報取得部により取得された生体情報に基づいて、前記対象者に異変が生じたか否かを判定する異変判定部と、をさらに備え、
前記学習モデル生成部は、前記異変判定部により前記対象者に異変が生じたと判定されたときの前記対象者の動作の画像データに基づいて前記対象者の動作の特徴量を抽出し、前記対象者の異常動作の学習モデルを生成することを特徴とする監視装置。
【請求項３】
請求項２に記載の監視装置において、
前記対象者の行動予定を取得する行動予定取得部をさらに備え、
前記異変判定部は、さらに前記行動予定取得部により取得された行動予定に基づいて、前記対象者に異変が生じたか否かを判定することを特徴とする監視装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明の一態様は、特定の対象者を監視する監視装置であって、対象者の動作の画像データに基づいて対象者の姿勢変化を含む動作の特徴量を抽出し、対象者の動作の学習モデルを生成する学習モデル生成部と、学習モデル生成部により生成された動作の学習モデルを記憶する学習モデル記憶部と、学習モデル記憶部により記憶された学習モデルに基づいて、対象者の動作を判定する動作判定部と、を備える。
【手続補正書】
【提出日】平成31年4月15日(2019.4.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
特定の対象者を監視する監視装置であって、
前記対象者に固有の動作の画像データに基づいて前記対象者に固有の姿勢変化を含む動作の特徴量を抽出し、前記対象者に固有の動作の学習モデルを生成する学習モデル生成部と、
前記学習モデル生成部により生成された前記対象者に固有の動作の学習モデルを記憶する学習モデル記憶部と、
前記学習モデル記憶部により記憶された前記対象者に固有の動作の学習モデルと前記対象者に固有の動作の画像データとに基づいて、前記対象者の動作を判定する動作判定部と、を備えることを特徴とする監視装置。
【請求項２】
請求項１に記載の監視装置において、
前記対象者の生体情報を取得する生体情報取得部と、
前記生体情報取得部により取得された生体情報に基づいて、前記対象者に異変が生じたか否かを判定する異変判定部と、をさらに備え、
前記学習モデル生成部は、前記異変判定部により前記対象者に異変が生じたと判定されたときの前記対象者に固有の動作の画像データに基づいて前記対象者に固有の動作の特徴量を抽出し、前記対象者の異常動作の学習モデルを生成することを特徴とする監視装置。
【請求項３】
請求項２に記載の監視装置において、
前記対象者の行動予定を取得する行動予定取得部をさらに備え、
前記異変判定部は、さらに前記行動予定取得部により取得された行動予定に基づいて、前記対象者に異変が生じたか否かを判定することを特徴とする監視装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明の一態様は、特定の対象者を監視する監視装置であって、対象者に固有の動作の画像データに基づいて対象者に固有の姿勢変化を含む動作の特徴量を抽出し、対象者に固有の動作の学習モデルを生成する学習モデル生成部と、学習モデル生成部により生成された対象者に固有の動作の学習モデルを記憶する学習モデル記憶部と、学習モデル記憶部により記憶された対象者に固有の動作の学習モデルと対象者に固有の動作の画像データとに基づいて、対象者の動作を判定する動作判定部と、を備える。
【手続補正書】
【提出日】令和1年9月17日(2019.9.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
特定の対象者を監視する監視装置であって、
前記対象者の動作の画像データに基づいて前記対象者の動作の特徴量を抽出し、前記対象者の動作の学習モデルを生成する学習モデル生成部と、
前記学習モデル生成部により生成された動作の学習モデルを記憶する学習モデル記憶部と、
前記学習モデル記憶部により記憶された学習モデルに基づいて、前記対象者の動作を判定する動作判定部と、
前記対象者の生体情報を取得する生体情報取得部と、
前記生体情報取得部により取得された生体情報に基づいて、前記対象者に異変が生じたか否かを判定する異変判定部と、を備え、
前記学習モデル生成部は、前記異変判定部により前記対象者に異変が生じたと判定されたときの前記対象者の動作の画像データに基づいて前記対象者の動作の特徴量を抽出し、前記対象者の異常動作の学習モデルを生成することを特徴とする監視装置。
【請求項２】
請求項１に記載の監視装置において、
前記対象者の行動予定を取得する行動予定取得部をさらに備え、
前記異変判定部は、さらに前記行動予定取得部により取得された行動予定に基づいて、前記対象者に異変が生じたか否かを判定することを特徴とする監視装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明の一態様は、特定の対象者を監視する監視装置であって、対象者の動作の画像データに基づいて対象者の動作の特徴量を抽出し、対象者の動作の学習モデルを生成する学習モデル生成部と、学習モデル生成部により生成された動作の学習モデルを記憶する学習モデル記憶部と、学習モデル記憶部により記憶された学習モデルに基づいて、対象者の動作を判定する動作判定部と、対象者の生体情報を取得する生体情報取得部と、生体情報取得部により取得された生体情報に基づいて、対象者に異変が生じたか否かを判定する異変判定部と、を備える。学習モデル生成部は、異変判定部により対象者に異変が生じたと判定されたときの対象者の動作の画像データに基づいて対象者の動作の特徴量を抽出し、対象者の異常動作の学習モデルを生成する。