(57)【要約】【課題】様々な情報を取得するウェアラブル機器が存在するものの、センサの正確さを担保したものはなかった。【解決手段】ウェアラブルな身体情報取得装置は、ユーザを撮影して画像を取得する撮像部と、ユーザのバイタル情報を計測するバイタル計測部と、撮像部により取得された画像及びバイタル計測部で計測されたバイタル情報を処理する情報処理部と、情報処理部で処理された情報を表示する表示部とを備え、情報処理部は、撮像部により取得された画像とバイタル計測部で計測されたバイタル情報との相関関係に基づいて、バイタル計測部による計測またはユーザの体調に異常があるかどうかを判定し、その結果を表示部に表示する。【選択図】  図１
2015146847.tif 000002
【特許請求の範囲】
【請求項１】
ユーザを撮影して画像を取得する撮像部と、
ユーザのバイタル情報を計測するバイタル計測部と、
前記撮像部により取得された画像及び前記バイタル計測部で計測されたバイタル情報を処理する情報処理部と、
前記情報処理部で処理された情報を表示する表示部とを備え、
前記情報処理部は、前記撮像部により取得された画像と前記バイタル計測部で計測されたバイタル情報との相関関係に基づいて、前記バイタル計測部による計測またはユーザの体調に異常があるかどうかを判定し、その結果を前記表示部に表示する、ウェアラブルな身体情報取得装置。
【請求項２】
前記バイタル計測部で計測されるバイタル情報は、少なくとも脈拍を含むことを特徴とする、請求項１に記載の身体情報取得装置。
【請求項３】
前記情報処理部で処理された情報を記録する記録部を更に備え、
前記記録部は、前記情報処理部による処理の結果を、前記撮像部により取得された対応する画像にタグ付けできることを特徴とする、請求項１または２に記載の身体情報取得装置。
【請求項４】
加速度計をさらに備え、前記情報処理部は、前記加速度計により得られる加速度に基づいて、ユーザの体調を判断し、前記表示部に表示することを特徴とする、請求項１〜３のいずれか１項に記載の身体情報取得装置。
【請求項５】
バイタル計測部によりユーザのバイタル情報を計測し、
前記計測されたバイタル情報が異常を示す場合、撮像部によりユーザを撮影して画像を取得し、
前記取得された画像と前記計測されたバイタル情報との相関関係に基づいて、前記バイタル計測部による計測に異常があるかどうかを判定し、
前記判定による結果を表示し、記録することを特徴とする身体情報取得方法。
【請求項６】
請求項５に記載の身体情報取得方法をコンピュータに実行させるプログラム。
【請求項７】
請求項６に記載のプログラムを記憶したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、身体に装着できる撮像装置および計測装置を用いた身体情報の取得装置及び方法に関する。
【背景技術】
【０００２】
近年、医療機器の発達、情報化が進み、新たな健康管理用機器やサービスが登場している。具体例としては、ユーザの睡眠の様子を計測する睡眠計や、自宅で血圧測定を行った結果をクラウド上で医師と共有するサービスといったものがある。このような環境の中、ユーザが身につけて計測、記録を行う機器、いわゆるウェアラブルな機器が注目を集めている。これは、ユーザが特別にアクションを起こすことなく、常に計測などを行うことができる。従って、ある特定の時期の状態だけでなく、継続したユーザの状態の変化を手軽に観察することができる。これにより、健康管理のためのより有益な情報を得ることが期待できる。特に、カメラを身につける形式、つまりウェアラブルカメラは、ユーザが見た情報を逐次記録することができるため、より情報の有用性が高いといえる。
【０００３】
ウェアラブルな機器については、医療以外の用途でも用いられることが多い。例えば特許文献１では、心拍や発汗、呼吸、脳波などを利用してユーザの感情を推定し、その情報を画像にタグ付けした後、この情報を利用して、後々の検索の際面白みのある画像を提示するといったことを行っている。また、特許文献２では、映像音声を記録する際に、匂いや触感といったユーザの体感情報を記録し、再生時にはその情報も同時に再現、また再現するためのデバイスがない場合には、音や光、文字などを代替手段とするといったことを行っている。
【０００４】
また、類似の機器は車載カメラにも利用されている。例えば、映像を用いて車内のドライバーが寝てしまっているかどうかを調べる居眠り検知装置などがある。特許文献３ではその居眠り検知の精度を向上させるため、カメラの映像に加え、生体情報や車両の走行速度、生活リズムを考慮している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１１８５２７号広報
【特許文献２】特開２０１０−１３０３８８号広報
【特許文献３】特開２００８−１８６２６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このような既存のウェアラブル機器の技術を応用し、医療関係に用いることも可能である。しかし、医療分野ではより正確かつ詳細な情報を得ることが必要となってくる。例えば脈拍を測定する際には、正しく機器を装着していても何らかの理由で位置がずれること、計測のための信号が正しく送られないことなどにより、誤計測が度々起きている。この課題に対し、例えば特許文献１や特許文献２では、取得している各種の情報の精度を高めるといった処理を行っていない。また特許文献３では生体情報と画像を利用した検知を行い、その正確さを向上させようとしているが、計測装置自体の正確さが担保されていない。
【課題を解決するための手段】
【０００７】
上記の問題を解決するために、本発明は、ユーザを撮影して画像を取得する撮像部と、ユーザのバイタル情報を計測するバイタル計測部と、撮像部により取得された画像及びバイタル計測部で計測されたバイタル情報を処理する情報処理部と、情報処理部で処理された情報を表示する表示部とを備え、情報処理部は、撮像部により取得された画像とバイタル計測部で計測されたバイタル情報との相関関係に基づいて、バイタル計測部による計測またはユーザの体調に異常があるかどうかを判定し、その結果を表示部に表示するウェアラブルな身体情報取得装置を提供する。
【発明の効果】
【０００８】
本発明によれば、ウェアラブル機器を利用したユーザの生体情報の計測を行う際に、計測されたデータの正確さを担保することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施例に係る身体情報取得装置の概略構成の一例を示す模式図である。
【図２】第１の実施例に係る情報処理方法の処理手順の一例を示すフローチャートである。
【図３】第１の実施例に係る脈拍計測結果の一例を示すグラフである。
【図４】第２の実施例に係る情報処理方法の処理手順の一例を示すフローチャートである。
【図５】第３の実施例に係る情報処理方法の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、図面を参照しながら、本発明を実施するための形態について説明する。
【００１１】
＜第１実施例＞
本実施例では、身体情報取得装置であるカメラ付きのウェアラブル機器で脈拍を測定しながら運動をしている際に、正しく脈拍が取れない場合を想定する。
【００１２】
ウェアラブル機器の構成
図１は、本実施例に係る身体情報取得装置の概略構成の一例を示す模式図である。身体情報取得装置１００は、撮像部１１０、バイタル計測部１２０、外部環境取得部１３０、対応情報判断部１４０、情報処理部１５０、表示部１６０及び、記録部１７０を有する。
【００１３】
撮像部１１０はユーザを撮影するためのカメラであり、動画像を取得することができる。１つの身体情報取得装置には少なくとも1つカメラが備えられている。バイタル計測部１２０は、ユーザのバイタル情報を取得するための各種計測機器（具体的には、脈拍計、体温計、血圧計など）である。
【００１４】
外部環境取得部１３０は、バイタル計測部１２０で取得できる情報以外のデータを取得する機器（具体的には、加速度計や温度計など）である。ユーザが運動している際の加速度や、外気温などを取得することができる。対応情報判断部１４０は、撮像部１１０、バイタル計測部１２０と外部環境取得部１３０で取得された情報を基に、どのような情報を追加取得すれば身体情報の取得精度が向上するかを判断する。
【００１５】
情報処理部１５０は、撮像部１１０で取得した画像、バイタル計測部１２０と外部環境取得部１３０で取得した情報を処理し、ユーザの状態を推測したり、計測が正しく行われているかを判断したりする。ここでの処理結果は次に示す表示部１６０に表示され、同時に記録部１７０に記録される。
【００１６】
表示部１６０は、各種の情報を表示するためのディスプレイである。ここには、例えば計測中の脈拍の値や、計測ミス、体調不良の疑いなどの警告が表示される。記録部１７０は、撮像部１１０、バイタル計測部１２０と外部環境取得部１３０で取得した情報及び情報処理部１５０で処理した情報を記録する。
【００１７】
処理手順
図２は、本実施例に係る身体情報取得機器における処理方法の手順の一例を示すフローチャートである。まず、ステップＳ２１０において脈拍を計測中かどうか判断する。これは、バイタル計測部１２０から情報処理部１５０に信号が来ているかどうかで判断する。計測中の場合は、ステップＳ２２０においてバイタル計測部１２０を用いてユーザの脈拍を取得する。取得した脈拍は記録部１７０に記録されると同時に情報処理部１５０に送られ、そこで異常値かどうか判断される（ステップＳ２３０）。特に異常ではないと判断された場合には、ステップＳ２１０に戻り引き続き脈拍の計測を行う。脈拍計測が終了した場合にはその時点で本処理も終了する。
【００１８】
脈拍が異常と判断された場合には、それがユーザの体調異常によるものか、あるいは計測機器の異常、つまり正しく測れていないためかの判定を行う。そのために、本実施例ではカメラを用いてユーザの顔を撮影し、その表情で判定する。一般的に、人は脈拍が上がると表情がゆがみ苦しそうになることが知られている。この相関関係を利用し、脈拍計の値が異常な値を示した際に、ユーザの表情が苦しそうであれば正常に計測されている、苦しそうでなければ正しく計測されていないと判定する。なお、この表情が苦しそうかどうかを判断する具体的な方法としては、以下のものが挙げられる。例えば、平常時の顔画像を記録しておき、その画像と現在の画像を比較してどのくらい差があるかで判定するという方法である。また、この画像を比較する方法において、苦しくなった時に顔面上で変化しやすい場所を解析しておき、その部分について重点的に差分を取といった方法を取ってもよい。例えば、口の開き方の変化を解析する。これは、例えば、予めユーザもしくは多人数の苦しいときの顔画像を収集し、その画像群を学習することによって可能となる。また、苦しい時の表情を予め登録しておき、この画像との類似度を算出することでも、表情が苦しそうか否かを判定してもよい。
【００１９】
上記判定を行うため、ステップＳ２４０において対応情報判断部１４０が撮像部１１０からの情報を追加することを決定し、撮像部１１０を用いてユーザの表情を映した動画像を取得する。そしてステップＳ２５０においてその判定を情報処理部１５０で行う。
【００２０】
ここで脈拍値が異常かつ表情が苦しそうならば、体調に異常をきたしていると情報処理部１５０が判定し、ステップＳ２６０に進む。そしてここで表示部１６０を用いて体調に異常が生じていることをユーザに警告する。また同時に記録部１７０に体調異常が生じたことが記録される。この処理の後ステップＳ２２０に戻り、同様の計測、判定を継続する。
【００２１】
脈拍値が異常であるにもかかわらず表情が苦しそうでなければ、計測が正しく行われていないと情報処理部１５０が判定し、ステップＳ２７０に進む。そしてここで表示部１６０を用いて計測が正しく行われていないことをユーザに警告する。次にステップＳ２８０に進み、情報処理部１５０が、計測が正しく行われていないことを示す情報を脈拍値及び動画像にタグ付けする。また同時に記録部１７０に計測が正しく行われなかったことが記録される。その後ステップＳ２１０に戻り、計測終了まで処理が継続される。
【００２２】
この判定は異常値が検出された際常に行ってもよいが、計測、記録の効率化を図るためには異常かどうかの判断が難しい値が測定された際に行うことが望ましい。例えば、図３の３１０のグラフに示すように、脈拍が２５０を超えるような値を示した際には、上記の処理を行わず、即時機器の異常と判定してもよい。これは、運動できる状態で２５０を超えるような脈拍値が現れることはまずないためである。一方、図３の３２０のように脈拍が一時的に１７０を超えるような値を示した場合は、上記の処理を行う。これは、脈拍値が１７０を超える程度であれば何らかの理由で突然現れることがあり得るためである。このように状況に応じて上記処理を行うかを決めることにより、実施例全体の効率化を図ることができる。
【００２３】
以上により、正しく計測が行われているかどうかの判断を行いながら、ウェアラブル機器による生体情報の記録を行うことができる。
【００２４】
＜第２実施例＞
第１実施例では、ユーザの脈拍が正常であるにも関わらず脈拍計での計測結果が異常なまでに高くなった場合について説明を行った。それに対し本実施例では、ユーザの脈拍が異常な値になっているにも関わらず脈拍計では正しく測定できていない場合について説明する。なお、ウェアラブル機器としては、第１実施例に関して上述した図１の身体情報取得装置１００を使用するので、説明は省略する。
【００２５】
図４は、本実施例に係る身体情報取得機器における処理方法の手順の一例を示すフローチャートである。まず、ステップＳ４１０において脈拍を計測中かどうか判断する。これは、第１実施例と同様にバイタル計測部１２０から情報処理部１５０に信号が来ているかどうかで判断する。計測中の場合は、ステップＳ４２０においてバイタル計測部１２０を用いてユーザの脈拍を取得する。取得した脈拍は記録部１７０に記録されると同時に情報処理部１５０に送られ、そこで正常値かどうか判断される（ステップＳ４３０）。異常と判断された場合には、ステップＳ２４０へ移り、第１実施例における以降の処理を実行する。
【００２６】
脈拍が特に異常ではないと判断された場合には、それが本当にユーザに異常が起きていないためか、あるいは正しく測れていないためかの判定を行う。そのために、ステップＳ４４０において対応情報判断部１４０が撮像部１１０からの情報を追加することを決定し、撮像部１１０を用いてユーザの表情を映した動画像を取得する。そしてステップＳ４５０においてその判定を情報処理部１５０で行う。
【００２７】
ここで脈拍値が正常かつ表情が苦しそうでないならば、体調は正常であると情報処理部１５０が判断し、ステップＳ４１０に戻り、計測を継続する。もし脈拍値が正常であるにもかかわらず表情が苦しそうならば、計測が正しく行われていないと情報処理部１５０が判断し、ステップＳ４６０に進む。まずここで体調不良がおきているとの警告を表示部１６０に表示した後、ステップＳ４７０に進み同じく表示部１６０を用いて計測が正しく行われていないことをユーザに警告する。次にステップＳ４８０に進み、情報処理部１５０が、計測が正しく行われていないこと、体調不良であることを示す情報を脈拍値及び動画像にタグ付けする。その情報は記録部１７０に記録される。その後ステップＳ４１０に戻り、計測終了まで処理が継続される。
【００２８】
以上により、正しく計測が行われているかどうかの判断を行いながら、ウェアラブル機器による生体情報の記録を行うことができる。
【００２９】
＜第３実施例＞
本実施例では、脈拍計測の正しさを担保した上での、更なる情報取得を行う場合について説明する。なお、ウェアラブル機器としては、第１実施例に関して上述した図１の身体情報取得装置１００を使用するので、説明は省略する。
【００３０】
図５は、本実施例に係る身体情報取得機器における処理方法の手順の一例を示すフローチャートである。まずステップＳ５１０において脈拍を計測中かどうか判断する。これは、第１、第２実施例と同様にバイタル計測部１２０から情報処理部１５０に信号が来ているかどうかで判断する。計測中の場合は、ステップＳ５２０に移り脈拍計の計測の正しさを担保する。これは第１、第２実施例の処理のいずれかもしくは両方を行うことと同義である。これを終えた後、ステップＳ５３０に移り改めて脈拍値を取得する。
【００３１】
次にステップＳ５４０に進み、脈拍が一定時間前と比べて上昇しているかを判断する。これは記録部１７０に保存された一定時間前の脈拍値と現在取得された脈拍値を情報処理部１５０が比較することによって行われる。ここで特に目立った上昇が見られなければ、ステップＳ５１０に戻り計測を継続する。上昇が見られた場合には、対応情報判断部１４０が外部環境取得部１３０として加速度計からの情報を追加することを決定し、ステップＳ５５０に進む。ここではユーザの脈拍上昇の原因を特定するために加速度を取得する。
【００３２】
そしてステップＳ５６０では加速度に大きな変化があるかどうかを情報処理部１５０が判断する。もしここで大きな変化があったならば、ステップＳ５７０に進む。ここではユーザは運動中であり、それが原因で脈拍が上昇したものと判断し、そのことを記録部１７０に記録した後ステップＳ５１０へ戻る。もし加速度に大きな変化がなければ、ステップＳ５８０に進み、記録部１７０に記録されている直近の動画像を参照する。ここで、記録されている動画像が大きくブレていると情報処理部１５０が判断すればステップＳ５９０に進む。ここではユーザは運動した直後であり、脈拍の上昇は直前まで行っていた運動の影響であると判断される。つまり、動画像がブレていたのは運動を行っていたためであると推定するのである。そしてこの推定結果を記録部１７０に記録した後、ステップＳ５１０へと戻る。
【００３３】
動画像がブレていなければステップＳ５１００に進み、記録部１７０から脈拍の変化履歴を取得する。これは、脈拍の上昇が頻脈の症状によるものなのかを判定するためである。この履歴をステップＳ５１１０で情報処理部１５０が処理する。もし過去にも運動を伴わないと推定される脈拍上昇が頻発していれば、ユーザは頻脈を患っているものと判断し、その警告をステップＳ５１２０で表示部１６０に表示する。同時に記録部１７０にも判断結果を記録する。同様の脈拍上昇は今回が初めて、もしくは直近の過去には存在しない場合には正確な推定ができないとして、緊張によるもの、もしくは体調不良によるものという警告をステップＳ５１３０で表示部１６０に表示する。また、同様の記録を記録部１７０に行う。
【００３４】
以上により、計測の正しさを担保したうえでウェアラブル機器による、より詳細な身体情報の推定取得を行うことができる。
【００３５】
＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
【図１】
2015146847.tif 000003
【図２】
2015146847.tif 000004
【図３】
2015146847.tif 000005
【図４】
2015146847.tif 000006
【図５】
2015146847.tif 000007