(57)【特許請求の範囲】
【請求項１】
人物の手洗い動作を評価する手洗い評価装置であって、
手洗いを行う領域の画像を撮像する撮像部と、
前記撮像部が撮像した画像から人物の両手の三次元位置および表面形状を推定する手位置形状推定部と、
前記手位置形状推定部が推定した両手の表面の小領域単位で他の小領域との接触を推定する接触領域推定部と、
人物が手洗いを開始したことを判定する手洗い開始判定部と、
前記小領域ごとに、手洗いが開始されてからの接触のスコアを算出するスコア算出部と、
前記スコア算出部が算出したスコア分布を、使用者に通知、別の記憶媒体に保存、又は通信を行って別の装置に通知する情報出力部と、
を備える手洗い評価装置。
【請求項２】
前記撮像部は、深さ情報を含む画像を取得可能な、ステレオカメラ、Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ方式カメラ、
Ｓｔｒｕｃｔｕｒｅｄ−Ｌｉｇｈｔ方式カメラのいずれかを含む、請求項１に記載の手洗い評価装置。
【請求項３】
前記撮像部は、色情報を取得するＲＧＢカメラであって、前記手位置形状推定部は両手の相対的な
三次元位置および表面形状を推定する、請求項１に記載の手洗い評価装置。
【請求項４】
前記手位置形状推定部は、前記撮像部が取得した画像の全てまたは部分画像を入力とし、
Ｃｏｎｖｏｌｕｔｉｏｎａｌ−Ｎｅｕｒａｌ−Ｎｅｔｗｏｒｋを使用して
両手の三次元位置および表面形状を推定する、請求項１に記載の手洗い評価装置。
【請求項５】
前記手位置形状推定部は、事前に用意した手の三次元形状モデルを、
前記画像で計測された情報と対応をとることで、両手の三次元位置および表面形状を推定する、請求項１に記載の手洗い評価装置。
【請求項６】
前記小領域は、両手の表面形状を三次元の頂点群で表現したデータ構造の各頂点、頂点の小集合、両手の各部位領域、
のいずれかである請求項１に記載の手洗い評価装置。
【請求項７】
前記接触領域推定部は、前記小領域間の三次元空間上の距離が閾値以下であるか否かで接触の有無を判定する、
請求項１に記載の手洗い評価装置。
【請求項８】
前記手洗い開始判定部は、前記撮像部が撮像する画像内の手の有無の間隔によって、新たに手洗いが開始されたかどうかを判定する、請求項１に記載の手洗い評価装置。
【請求項９】
前記手洗い開始判定部は、手洗い評価装置前の空間における人物の出入りを計測することによって、
新たに手洗いが開始されたかどうかを判定する、請求項１に記載の手洗い評価装置。
【請求項１０】
前記スコア算出部は、前記手洗い開始判定部によって手洗いが開始されたと判定されたときに
スコアを初期化する、請求項１に記載の手洗い評価装置。
【請求項１１】
前記撮像部は時間方向に連続的に画像を取得し、前記接触領域推定部は各画像において接触の有無を推定し、
前記スコア算出部は前記小領域単位ごとにスコアを加点し、複数の画像におけるスコアを累計することによって最終スコアを算出する、
請求項１に記載の手洗い評価装置。
【請求項１２】
前記スコア算出部は、前記小領域に接触がある場合に、小領域の表面の三次元法線に直交する向きに
その小領域もしくは接触している小領域が動いているときにスコアを加点する、請求項１に記載の手洗い評価装置。
【請求項１３】
さらに前記手位置形状推定部が検出した両手の動作から手洗いの動作種類を判別する手洗い動作種類推定部を備え、
前記手洗い動作種類推定部が推定した手洗い動作種類に応じて、特定の前記小領域単位のスコアを加点する、
請求項１に記載の手洗い評価装置。
【請求項１４】
前記情報出力部は表示装置を備え、前記スコア算出部によって算出された両手の接触のスコアを両手を表現する画像とともに可視化して表示装置に表示することで、
使用者に両手のスコア分布を提示する、請求項１に記載の手洗い評価装置。
【請求項１５】
前記情報出力部は発音装置を備え、前記スコア算出部によって算出された両手の接触のスコアを説明する音声に変換し、変換した音声を発音装置で再生することで、
使用者に両手のスコア分布を通知する、請求項１に記載の手洗い評価装置。
【請求項１６】
人物の手洗い動作を評価する手洗い評価プログラムであって、
手洗いを行う領域の画像を撮像する撮像ステップと、
撮像した画像から人物の両手の三次元位置および表面形状を推定する手位置形状推定ステップと、
両手の表面の小領域単位で他の小領域との接触を推定する接触領域推定ステップと、
人物が手洗いを開始したことを判定する手洗い開始判定ステップと、
両手の小領域ごとに、手洗いが開始されてからの接触のスコアを算出するスコア算出ステップと、
算出したスコア分布を、使用者に通知、別の記憶媒体に保存、又は通信を行って別の装置に通知する情報出力ステップと、
をコンピュータに実行させるための手洗い評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報から人物の手洗い動作の良し悪しを判断し、使用者に提示する技術に関する。
【背景技術】
【０００２】
ウイルスや病原体など人に害を及ぼすものの多くは手指を介して人に感染するといわれており、予防のために手洗いによってそれらを除去することは重要である。しかし手洗いの手順や程度は人や場合によって異なり、両手を全て綺麗に洗うこともあれば、洗い残しがあることもある。良い手洗い手順を知っている他人が見て、手洗いを指導することができれば、手洗い方法を改善することができる。
【０００３】
あるいはカメラやセンサによって手洗いを計測し自動で評価するような、下記の特許文献1〜4に開示された技術がある。
【０００４】
特許文献1は、あらかじめ手に物質を付着させ、手洗い後に手を撮像し、手に物質が付着しているかどうか判定することで手洗いのスコアを算出する、衛生評価装置である。
【０００５】
特許文献2は、あらかじめ加速度センサのような動き検出センサを人物に装着しておき、動き検出手段の検出結果に基づいて人物の行動を認識し、手指衛生行動の回数や動作量を評価する。
【０００６】
特許文献3は、手指画像を撮像し、人物が行っている手洗い手順の模範動作を表す模範手洗い画像を表示する、手洗い補助システムである。
【０００７】
特許文献4は、撮像から手領域の形状を抽出し、実行された洗い方の種類を識別し、識別された洗い方が所定の順番の洗い方である場合に秒数加算し、擦り状態の良否を判定する手洗い監視方法である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特願2017-202611号公報
【特許文献２】特許5097965号公報
【特許文献３】特願2018-117779号公報
【特許文献４】特許6305448号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献1では事前に人物は物質を手に付着させるという準備が必要である。人物が手洗い評価を目的として行うのであれば良いが、日常生活内での使用などには向いていない。
【００１０】
特許文献2も事前に人物は動き検出手段を装着する必要があり、不特定多数の人物が日常内で使用するには不向きである。また、動き検出手段では手指の詳細な動作を認識することはできない。
【００１１】
特許文献3では人物が行っている手洗い手順を認識して模範動作を表示するのみであり、手指の詳細な状態を評価するわけではない。
【００１２】
特許文献4では手領域の2次元の形状を抽出することにより、実行された洗い方の種類を識別することで洗い方の擦り状態の良否を判定しているが、3次元の手指の詳細な状態を検出し、領域ごとの状態評価を行うわけではない。また手の指が何本あるか等の状態に認識精度が大きく依存しており、様々な実環境下や手指の状態に対して、実用的な認識精度を得ることが困難である。
【００１３】
不特定多数が日常的に簡便に使用するために、人物がセンサの装着等のような前準備無しに使用でき、かつ両手の3次元の各領域ごとの手洗い状態を精度良く判定することが課題であった。
【課題を解決するための手段】
【００１４】
本発明の一実施例によれば、両手の三次元の小領域ごとにスコアを算出し使用者に通知する、手洗い評価装置が提供される。撮像部は人物の両手の画像を撮像し、手位置形状推定部は人物の両手の三次元位置および表面形状を推定する。接触領域推定部は、手位置形状推定部が推定した両手の表面の小領域単位で他の小領域との接触を推定する。手洗い開始判定部は人物が手洗いを開始したことを検出し、スコア算出部は両手の小領域ごとに、手洗いが開始されてからの接触のスコアを算出する。情報出力部は両手のスコア分布を使用者に通知する。
【発明の効果】
【００１５】
本発明によれば、使用者は事前準備不要で手洗いを行うだけで、両手の小領域ごとに手洗いの評価スコアを知ることが可能となる。手洗いが不十分な領域を可視化することで、使用者は洗い方の改善が必要な領域を直感的に理解できる。また手洗いの効果が目に見えて反映されるため、使用者が自ら手洗いを改善しようとする意欲を生む効果がある。
【図面の簡単な説明】
【００１６】
【図１】本発明の第1の実施の形態における設置状況である。
【図２】本発明の第1の実施の形態における構成である。
【図３】第1の実施の形態における処理手順を説明するためのフローチャートである。
【図４】撮像部が撮像した画像の例である。
【図５】手位置形状推定部の処理手順を説明するためのフローチャートである。
【図６】両手がお互いに重なって隠すことを示す図である。
【図７】手の表面形状を表現する三次元頂点の集合の図である。
【図８】手の関節位置の図である。
【図９】頂点推定処理の概要図である。
【図１０】手モデルデータのフィッティング処理の概要図である。
【図１１】頂点同士の距離を示す図である。
【図１２】頂点群を球情報に近似した場合の図である。
【図１３】スコアテーブルである。
【図１４】両手が擦り合う動作時の図である。
【図１５】情報出力部が表示装置として両手のスコア分布を可視化して使用者に通知する図である。
【図１６】右手の指先を洗う動作の図である。
【発明を実施するための形態】
【００１７】
(第1の実施の形態)
図1は、本発明の第1の実施の形態における設置状況である。手洗い場所101には水道の蛇口102が据えられ、使用者103は蛇口からの水を用いて手洗いを行う。使用者は石鹸や手洗い用洗浄液を用いることもある。本発明の一部である撮像部104は使用者の手洗いの様子を撮像できるような場所に設置される。また本発明の一部である情報出力部105は、表示装置として設置され、使用者103に情報を提示する。
【００１８】
図2は、本発明の第1の実施の形態における構成である。撮像部201は104に、情報出力部206は105に設置されるが、手位置形状推定部202、接触領域推定部203、手洗い開始判定部204、スコア算出部205は数値演算処理であり、ＣＰＵ（Ｃｅｎｔｒａｌ−Ｐｒｏｃｅｓｓｉｎｇ−Ｕｎｉｔ）あるいはＧＰＵ（Ｇｒａｐｈｉｃｓ−Ｐｒｏｃｅｓｓｉｎｇ−Ｕｎｉｔ）等の演算装置で演算が行われる。
【００１９】
手位置形状推定部202は重み係数207と手モデルデータ208を所有する。重み係数データ207および手モデルデータ208はＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ−Ｍｅｍｏｒｙ）に格納される。
【００２０】
スコア算出部205はスコアデータ209を所有する。スコアデータ209はＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ−Ｍｅｍｏｒｙ）に格納される。
【００２１】
ＣＰＵ等の演算装置、ＲＯＭ、ＲＡＭ、その他演算に必要なハードウェアは、撮像部104内あるいは情報出力部105内あるいはそれ以外の場所に設置してよい。
【００２２】
図3は、本発明の第1の実施の形態における処理手順を説明するためのフローチャートである。
【００２３】
撮像部201は、手洗い場所101で使用者103が手洗いする様子を動画として撮影する（S301）。撮像部201は、可視光を撮像するカメラで、RGBデータを画像として取得する。あるいは撮像部201は、ステレオカメラ、Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ方式カメラ、Ｓｔｒｕｃｔｕｒｅｄ−Ｌｉｇｈｔ方式カメラのいずれかであって、距離データを画像として取得する。可視光カメラと距離カメラとを併用してもよい。
【００２４】
図4は撮像部201が撮像した画像の例である。使用者の左手402と右手403が画像401として撮像される。撮像部201の視野が広い場合、手洗い場所101で手洗いを行う場所は限られるため、画像の部分領域をこれ以降のステップにおける入力画像としてもよい。
【００２５】
手位置形状推定部202は画像を入力として、両手の三次元位置および表面形状を推定する（S302）。手位置形状推定部202内の処理手順を説明するためのフローチャートが図5である。
【００２６】
両手の接触状況を推定するためには両手の表面形状全面の位置が必要である。しかし撮像部201は一方向からの撮影であり、その裏の面は撮像することができない。また図6に示すように、手洗いを行う際に両手はお互いを隠すことが頻繁に発生し、表面形状を全て撮像するのは困難である。
【００２７】
そこで、手の表面形状をモデル化した手モデルデータが必要となる。手の表面形状は、図7に示すような三次元頂点701の集合で表現可能である。図7におけるエッジ702は各頂点を線分で結んだものである。各頂点は手の中の位置によって唯一のラベルが付与される。三次元頂点701のN個の集合で片手の表面形状を表現できるが、さらに主成分分析によってNより少ないM個の主成分の線形結合で表現可能である。個々の入力画像における手の状態をパラメータθとした場合、事前に計算された主成分情報である手モデルデータを用いて、N個の頂点を復元することができる。
【００２８】
手の状態パラメータθには、手の３軸の回転ベクトルまたは回転行列、および３軸の並進ベクトル、スケール値を含んでもよい。
【００２９】
手の状態パラメータθには、図8に示す手の関節位置801を復元するためのパラメータを含んでもよい。
【００３０】
手位置形状推定部202は、画像を入力とし（S501）、頂点推定処理を行う（S502）。図9は頂点推定処理の概要である。頂点推定処理は、左手905と右手906が撮像された画像901に対して、畳込みニューラルネットワーク902の処理を行い、画像903を出力する。画像903は各画素における頂点ラベル情報で、左手907の頂点ラベル、右手908の頂点ラベルが画像として出力される。畳込みニューラルネットワーク902は、事前に教師あり機械学習により算出された重み係数データ904を含む。
【００３１】
手位置形状推定部202は、頂点推定処理により出力された画像を元に、計測された頂点の三次元データを算出する（S503）。撮像部201が距離画像を撮像する距離カメラである場合、画像903内の水平および垂直位置、さらに距離画像の情報により、各頂点ラベルの三次元位置が算出される。
【００３２】
撮像部201がRGB画像を撮像する可視光カメラである場合、畳込みニューラルネットワーク902は距離情報も推定して画像903に加えて出力し、各頂点ラベルの三次元位置が算出される。RGB画像では絶対的な距離情報を推定するのは困難であるため、相対的な三次元位置となるが、本発明では両手の接触を判定することが目的のため、問題ない。
【００３３】
手位置形状推定部202は、S502およびS503において有効な三次元頂点データを得られない場合、手が撮像されていないと判断し、手が無いという情報を出力する（S504）。
【００３４】
有効な三次元頂点データを得られた場合、手位置形状推定部202は手モデルデータに対し、左右の手それぞれの三次元頂点データに最もフィッティングするような手の状態パラメータθを算出する（S505）。
【００３５】
図10は手モデルデータのフィッティング処理を示している。計測された左手の三次元頂点データ1001に対し、フィッティング処理1003を行い、左手の状態パラメータθLとそれにより復元された左手の三次元形状1004が算出される。同様に右手の三次元頂点データ1002に対し、右手の状態パラメータθRとそれにより復元された右手の三次元形状1005が算出される。フィッティング処理1003には手モデルデータ1006を含む。
【００３６】
フィッティング処理1003は定められたエネルギー関数を最小化するパラメータθを求める最適化処理である。エネルギー関数には、計測された三次元頂点データと、パラメータにより復元された頂点データとの２乗誤差が使用される。
【００３７】
エネルギー関数には、オーバーフィッティングを防ぐための正則化項を加えてもよい。
【００３８】
上記では左手右手それぞれで手モデルデータのフィッティング処理を行っているが、両手の位置関係性を考慮して同時にフィッティング処理を行ってもよい。
【００３９】
S302により手の有無および手がある場合の三次元位置および表面形状である復元された三次元頂点データが得られる。手が無い場合は、S304〜S307のステップは行わない（S303）。
【００４０】
手洗い開始判定部204によって、新たに使用者が手洗いを開始したかどうかが判定される（S304）。S302によって手の有無が判定されるが、一定時間以上手が無い状態が続いた後に、手があると判定された場合、新たに手洗いを開始したと判定する。もしくは手洗い場所101への人物の出入りを計測することによって、新たに人物が入ったと判定した場合は、新たに手洗いが開始されたと判定してもよい。
【００４１】
スコアデータは図13のテーブルに示すように、小領域ごとに評価スコアが保持される。小領域は図7に示す両手の各頂点、頂点の小集合、両手の各部位領域、のいずれでもよい。
【００４２】
S304で手洗いが開始されたと判定された場合、スコアデータの全ての値をゼロに初期化する（S305）。
【００４３】
接触領域推定部203によって、接触領域推定（S306）が処理される。図11で、左手の頂点1101と、右手の頂点1102の三次元空間における距離1103が閾値以下の場合に、1101と1102は接触したと判定される。この処理を全ての左手の頂点と右手の頂点との間で行う。同じ片手の頂点群の中で接触判定を行ってもよい。閾値は手のスケール値に応じて変更してもよい。
【００４４】
接触領域推定部203は図12に示すように、処理の高速化のために、頂点群を球情報に近似して接触領域を推定してもよい。頂点群は中心座標と半径を持つ球1201の集合で近似し、左手の球と右手の球が接触したかどうかを判定する。左手の球の中心1202と右手の球の中心1203との三次元空間における距離が、左手の球の半径1204と右手の球の半径1205の合計値以下であれば、接触したと判定される。この場合、小領域の最小単位は球の単位となる。球以外に楕円体やそれらの組み合わせで近似してもよい。
【００４５】
スコア算出部205は小領域の接触の有無を元に、スコアを加算する（S307）。図11において頂点1101と頂点1102が接触していると判定された場合、1101と1102のスコアに+1を加算する。具体的には図13のスコアテーブルの該当する小領域番号のスコアに加算する。
【００４６】
各小領域において、スコアが大きいほど接触の回数が多く、よく手洗いが行われていることを意味する。スコアが小さいほど接触の回数が少なく、手洗いが不十分であることを意味する。
【００４７】
図14において、左手の頂点1401と、右手の頂点1402とが接触したと判定された場合に、頂点1402の法線ベクトルに直交する向き1405に頂点1402が動いている場合、頂点1401と頂点1402により高いスコアを加点する。これは両手が接触しているだけでなく、擦り合う動作をしていることを意味する。直交する向き1405は、頂点1402の近辺の頂点1403、1404を含めた面から法線を求め、その法線から求めてもよい。
【００４８】
情報出力部206は、スコアテーブルを使用者に提示する（S308）。情報出力部206は表示装置であって、図15のように両手を模した画像を表示し、小領域ごとのスコアを可視化して表示する。スコアが高い小領域周辺は白く、スコアが低い小領域周辺は黒く表示することで、使用者は両手のどこが洗えていないかを視覚的に知ることが可能である。
【００４９】
あるいは情報出力部206は、音声によって使用者にスコア分布を通知してもよい。例えば「右手の人差し指の先が洗えていません」のように手指の場所と手洗いの度合いを音声で通知することができる。
【００５０】
あるいは情報出力部206は、スコアテーブルを統計データとして別の記憶媒体に保存する、あるいは通信を行って別の装置に通知する、ことを行ってもよい。
【００５１】
(第2の実施の形態)
本発明の第2の実施の形態は、第1の実施の形態である図2に加えて、手洗い動作種類推定部が具備される。
【００５２】
手洗い動作種類推定部は、手位置形状推定部202が出力した表面形状データ（図7）あるいは関節位置（図8）を用いて、手洗いの動作種類を出力する。
【００５３】
手洗い動作種類は例えば、指の間を洗う、手首を洗う、指先・爪の間を洗う、等がある。
【００５４】
図16に示すように、左手1601と右手1602が右手の指先を洗う動作をしている場合、1603で示される右手の指先領域および左手の手の平領域は、接触していることになる。この場合、右手の指先領域および左手の手の平領域に相当する小領域のスコア（図13）に加点する。
【００５５】
このように、第1の実施の形態に加えて、あらかじめ定められた手洗い動作種類が行われたと推定された場合に、手洗い動作に相当するあらかじめ定められた小領域のスコアを加点することで、撮像のノイズや手モデルデータへのフィッティング誤差があった場合も、より頑健に小領域の接触状況を推定する。
【００５６】
今回開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００５７】
101 手洗い場所、102 蛇口、103 使用者、104 撮像部、105 情報出力部、201 撮像部、202 手位置形状推定部、203 接触領域推定部、204 手洗い開始判定部、205 スコア算出部、206 情報出力部、207 重み係数データ、208 手モデルデータ、209 スコアデータ、401 画像、402 左手、403 右手、601 左手、602 右手、701 頂点、702 エッジ、801 関節部位、802 リンク、901 入力画像、902 ニューラルネットワーク、903 出力画像、904 重み係数データ、905 左手、906 右手、907 左手、908 右手、1001 左手、1002 右手、1003 最適化部、1004 左手、1005 右手、1006 手モデルデータ、1101 左手の頂点、1102 右手の頂点、1103 頂点間の距離、1201 球表現、1202 左手の球の中心、1203 右手の球の中心、1204 左手の球の半径、1205 右手の球の半径、1401 左手の頂点、1402 右手の頂点1、1403 右手の頂点2、1404 右手の頂点4、1405 右手の頂点1,2,3の法線に直交するベクトル、1601 左手、1602 右手、1603 左手と右手が接する領域
【要約】
【課題】手洗いにおいて両手のどこを洗えていないか使用者に簡便・事前準備不要な方法で検出し、使用者に提示する。
【解決手段】撮像部は人物の両手の画像を撮像し、手位置形状推定部は人物の両手の三次元位置および表面形状を推定する。接触領域推定部は、手位置形状推定部が推定した両手の表面の小領域単位で他の小領域との接触を推定する。手洗い開始判定部は人物が手洗いを開始したことを検出し、スコア算出部は両手の小領域ごとに、手洗いが開始されてからの接触のスコアを算出する。情報出力部は両手のスコア分布を使用者に通知する。
【選択図】図１５【図１】
0006875028.tif 000002
【図２】
0006875028.tif 000003
【図３】
0006875028.tif 000004
【図４】
0006875028.tif 000005
【図５】
0006875028.tif 000006
【図６】
0006875028.tif 000007
【図７】
0006875028.tif 000008
【図８】
0006875028.tif 000009
【図９】
0006875028.tif 000010
【図１０】
0006875028.tif 000011
【図１１】
0006875028.tif 000012
【図１２】
0006875028.tif 000013
【図１３】
0006875028.tif 000014
【図１４】
0006875028.tif 000015
【図１５】
0006875028.tif 000016
【図１６】
0006875028.tif 000017