(57)【要約】【課題】人の行動内容を高い精度で記録することを目的とする。【解決手段】撮影装置で撮影した映像を入力し、映像から特定物体を検出し、撮影された映像と、検出された特定物体の情報と、を関連付け、検出された特定物体の情報を用いて認識ルールを設定し、設定された認識ルールに従って、前記認識ルールを設定する際に用いた特定物体の情報と関連付けられた映像に対して映像認識処理を行い、映像認識結果を記録する。【選択図】図５
2013150171.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置で撮影した映像を入力する入力手段と、
前記映像から特定物体を検出する検出手段と、
前記入力された映像と、前記検出された特定物体の情報と、を関連付ける関連付け手段と、
前記検出された特定物体の情報を用いて認識ルールを設定する設定手段と、
前記設定された認識ルールに従って、前記認識ルールを設定する際に用いた特定物体の情報と関連付けられた映像に対する映像認識処理を行い、映像認識結果を記録する映像認識結果記録手段と、
を有することを特徴とする記録装置。
【請求項２】
前記記録装置は、身体装着型のデバイスであることを特徴とする請求項１に記載の記録装置。
【請求項３】
前記検出手段は、特定物体に貼られた電子タグを電子タグリーダーで読み取ることによって前記特定物体を検出することを特徴とする請求項１又は２に記載の記録装置。
【請求項４】
前記設定手段は、前記検出手段で検出された特定物体の情報に応じて、鏡像を認識する認識ルール、体温を認識する認識ルール、薬の服用を認識する認識ルールの何れかを設定することを特徴とする請求項１乃至３何れか１項に記載の記録装置。
【請求項５】
撮影装置と、サーバ装置と、を含む記録システムであって、
前記撮影装置は、
映像を撮影する撮影手段と、
前記映像から特定物体を検出する検出手段と、
前記サーバ装置に、前記撮影された映像と、前記検出された特定物体の情報と、を送信する送信手段と
を有し、
前記サーバ装置は、
前記撮影装置より、前記送信された映像と、前記送信された特定物体の情報と、を受信する受信手段と、
前記受信された映像と、前記受信された特定物体の情報と、を関連付ける関連付け手段と、
前記受信された特定物体の情報を用いて認識ルールを設定する設定手段と、
前記設定された認識ルールに従って、前記認識ルールを設定する際に用いた特定物体の情報と関連付けられた映像に対する映像認識処理を行い、映像認識結果を記録する映像認識結果記録手段と、
を有することを特徴とする記録システム。
【請求項６】
前記撮影装置は、身体装着型のデバイスであることを特徴とする請求項５に記載の記録システム。
【請求項７】
前記検出手段は、特定物体に貼られた電子タグを電子タグリーダーで読み取ることによって前記特定物体を検出することを特徴とする請求項５又は６に記載の記録システム。
【請求項８】
前記設定手段は、前記検出手段で検出された特定物体の情報に応じて、鏡像を認識する認識ルール、体温を認識する認識ルール、薬の服用を認識する認識ルールの何れかを設定することを特徴とする請求項５乃至７何れか１項に記載の記録システム。
【請求項９】
前記撮影装置と前記サーバ装置とは、無線通信を介して、送受信を行うことを特徴とする請求項５乃至８の何れか１項に記載の記録システム。
【請求項１０】
入力手段が、撮影装置で撮影した映像を入力する入力ステップと、
検出手段が、前記映像から特定物体を検出する検出ステップと、
関連付け手段が、前記入力された映像と、前記検出された特定物体の情報と、を関連付ける関連付けステップと、
設定手段が、前記検出された特定物体の情報を用いて認識ルールを設定する設定ステップと、
映像認識結果記録手段が、前記設定された認識ルールに従って、前記認識ルールを設定する際に用いた特定物体の情報と関連付けられた映像に対する映像認識処理を行い、映像認識結果を記録する映像認識結果記録ステップと、
を含むことを特徴とする記録方法。
【請求項１１】
撮影装置の撮影手段が、映像を撮影する撮影ステップと、
前記撮影装置の検出手段が、前記映像から特定物体を検出する検出ステップと、
前記撮影装置の送信手段が、サーバ装置に、前記撮影された映像と、前記検出された特定物体の情報と、を送信する送信ステップと、
前記サーバ装置の受信手段が、前記撮影装置より、前記送信された映像と、前記送信された特定物体の情報と、を受信する受信ステップと、
前記サーバ装置の記録手段が、前記受信された映像と、前記受信された特定物体の情報と、を関連付ける関連付けステップと、
前記サーバ装置の設定手段が、前記受信された特定物体の情報を用いて認識ルールを設定する設定ステップと、
前記サーバ装置の映像認識結果記録手段が、前記設定された認識ルールに従って、前記認識ルールを設定する際に用いた特定物体の情報と関連付けられた映像に対する映像認識処理を行い、映像認識結果を記録する映像認識結果記録ステップと
を含むことを特徴とする記録方法。
【請求項１２】
請求項１０又は１１に記載の記録方法の各ステップを、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録装置、記録システム及び記録方法に関する。
【背景技術】
【０００２】
人々が生活する中での行動の記録を取りたい場合、家計簿や日記等が利用されている。こうした記録はコンピュータ上で取られる場合においても記憶や発行されたレシートに従って手動で行われているのが普通であり、この手間が多くの人々が行動を記録を取ろうとする上での障害になっている。
【０００３】
こうした障害を取り除くため、非特許文献１に記されるシステムが研究されている。このシステムは、頭部にカメラを装着して装着者の手元の行動を撮影し、撮影された映像を解析して装着者の行動を記録する、というものである。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ＥＹＥＷＡＴＣＨＭＥ  −  ３Ｄ  Ｈａｎｄ  ａｎｄ  ｏｂｊｅｃｔ  ｔｒａｃｋｉｎｇ  ｆｏｒ  ｉｎｓｉｄｅ  ｏｕｔ  ａｃｔｉｖｉｔｙ  ａｎａｌｙｓｉｓ，  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２００９．
【非特許文献２】Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  Ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００１  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２００１．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１に示されるシステムでは、装着者の行動を記録するために、常時カメラを働かせて撮影を行う必要がある。また、撮影した映像のすべてを解析して、どのような行動がなされたかの認識を行う必要がある。
【０００６】
しかしながら、常時撮影を行ってしまうと、撮影を行うカメラのバッテリーの消耗が激しくなってしまう。また、装着者がどのような文脈にいるのかがシステムにはわからないため、撮影された装着者の行動を全てのありうる行動の何れかに分類しなければならず、また、行動の切れ目がどこにあるかも認識しなければならない。また、撮影される物も、世の中のありとあらゆる物体の何れかに分類することが必要である。このことは、装着者の行動の分類の難度を高め、分類の精度を落としてしまう。
【０００７】
本発明はこのような問題点に鑑みなされたもので、人の行動内容を高い精度で記録することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的は、以下の装置若しくは方法によって達成される。
【０００９】
即ち、
撮影装置で撮影した映像を入力する入力手段と、
前記映像から特定物体を検出する検出手段と、
前記入力された映像と、前記検出された特定物体の情報と、を関連付ける関連付け手段と、
前記検出された特定物体の情報を用いて認識ルールを設定する設定手段と、
前記設定された認識ルールに従って、前記認識ルールを設定する際に用いた特定物体の情報と関連付けられた映像に対する映像認識処理を行い、映像認識結果を記録する映像認識結果記録手段と、
を有することを特徴とする記録装置。
【００１０】
若しくは、入力手段が、撮影装置で撮影した映像を入力する入力ステップと、
検出手段が、前記映像から特定物体を検出する検出ステップと、
関連付け手段が、前記入力された映像と、前記検出された特定物体の情報と、を関連付ける関連付けステップと、
設定手段が、前記検出された特定物体の情報を用いて認識ルールを設定する設定ステップと、
映像認識結果記録手段が、前記設定された認識ルールに従って、前記認識ルールを設定する際に用いた特定物体の情報と関連付けられた映像に対する映像認識処理を行い、映像認識結果を記録する映像認識結果記録ステップと、
を含むことを特徴とする記録方法。
【００１１】
また、上記目的は、以下のシステム若しくは方法によって達成される。
【００１２】
即ち、撮影装置と、サーバ装置と、を含む記録システムであって、
前記撮影装置は、
映像を撮影する撮影手段と、
前記映像から特定物体を検出する検出手段と、
前記サーバ装置に、前記撮影された映像と、前記検出された特定物体の情報と、を送信する送信手段と
を有し、
前記サーバ装置は、
前記撮影装置より、前記送信された映像と、前記送信された特定物体の情報と、を受信する受信手段と、
前記受信された映像と、前記受信された特定物体の情報と、を関連付ける関連付け手段と、
前記受信された特定物体の情報を用いて認識ルールを設定する設定手段と、
前記設定された認識ルールに従って、前記認識ルールを設定する際に用いた特定物体の情報と関連付けられた映像に対する映像認識処理を行い、映像認識結果を記録する映像認識結果記録手段と、
を有することを特徴とする記録システム。
【００１３】
若しくは、撮影装置の撮影手段が、映像を撮影する撮影ステップと、
前記撮影装置の検出手段が、前記映像から特定物体を検出する検出ステップと、
前記撮影装置の送信手段が、サーバ装置に、前記撮影された映像と、前記検出された特定物体の情報と、を送信する送信ステップと、
前記サーバ装置の受信手段が、前記撮影装置より、前記送信された映像と、前記送信された特定物体の情報と、を受信する受信ステップと、
前記サーバ装置の記録手段が、前記受信された映像と、前記受信された特定物体の情報と、を関連付ける関連付けステップと、
前記サーバ装置の設定手段が、前記受信された特定物体の情報を用いて認識ルールを設定する設定ステップと、
前記サーバ装置の映像認識結果記録手段が、前記設定された認識ルールに従って、前記認識ルールを設定する際に用いた特定物体の情報と関連付けられた映像に対する映像認識処理を行い、映像認識結果を記録する映像認識結果記録ステップと
を含むことを特徴とする記録方法。
【発明の効果】
【００１４】
本発明によれば、人の行動内容を高い精度で記録することができる。
【図面の簡単な説明】
【００１５】
【図１】行動の記録システムにおいて、映像を記録する流れを概略的に示した図である。
【図２】行動の記録システムにおいて、映像認識を行い、行動を記録する流れを概略的に示した図である。
【図３】装着型デバイスの形態の具体例を示した図である。
【図４】利用者が生活の中で記録したい行動に関連する物体を示した図である。
【図５】装着型デバイス７０１の構成を示した図である。
【図６】装着型デバイス７０１がどのように撮影を行うかの手順を記したフローチャートである。
【図７】装着型デバイス７０１がどのように撮影された映像の認識を行うかの手順を記したフローチャートである。
【図８】鏡像の記録の処理の流れを示したフローチャートである。
【図９】体温の記録の処理の流れを示したフローチャートである。
【図１０】服用の記録の処理の流れを示したフローチャートである。
【図１１】記録システムのシステム構成等の一例を示した図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について図面に基づいて説明する。
【００１７】
＜実施形態１＞
本実施形態による行動の記録システムは、撮像部を持ち、記録対象者の行動を映像で記録する。また、生活の中で記録対象者が用いる特定の物体を何らかの手段で検出し、撮影された映像と関連付けて記録する。更に、撮影した映像を分析して行動の記録を作成する際に、検出した物体に応じて異なる認識ルールを用いて映像認識を行い、映像認識結果を行動の記録としてメモリ等にデータベースとして記録する。
【００１８】
図１は、行動の記録システムにおいて、映像を記録する流れを概略的に示した図である。
【００１９】
Ｓ９０１では、行動記録が開始されると、映像を撮影して記録が行われる（入力）。
【００２０】
Ｓ９０２では、何らかの手段で特定物体が検出される。
【００２１】
Ｓ９０３では、撮影映像と検出された特定物体の情報が関連付けてメモリ等に記録される。
【００２２】
図２は、行動の記録システムにおいて、映像認識を行い、行動を記録する流れを概略的に示した図である。
【００２３】
Ｓ１０１では、映像認識が開始されると、検出された特定物体の情報に応じて映像の認識ルールが設定される。
【００２４】
Ｓ１０２では、設定された映像の認識ルールに従った、前記特定物体の情報が関連付けられた撮影映像に対する映像認識処理が行われる。
【００２５】
Ｓ１０３では、映像認識結果がデータベースとしてメモリ等に記録される（映像認識結果記録）。
【００２６】
以下、処理等をより具体的に説明する。本実施形態では、健康管理のために用いられるカメラ付きの身体装着型デバイスについて記述する。この装着型デバイスを用いることで、利用者は、日頃の生活の中で健康管理に関わる、飲薬等といった行動を、メモを取ることなしに自動的に記録していくことができる。
【００２７】
図３は、本実施形態における装着型デバイスの外観を示したものである。図３では、ペンダント型のデバイス７０１や利用者は耳かけ型のデバイス７０２等を装着する。ペンダント型のデバイス７０１と耳かけ型のデバイス７０２との形態は異なるが、何れも同じ機能を持ったデバイスであり、同様の動作を行う。なお、デバイスの形態はこれに限定されるものではなく、撮像部を備え、利用者の前方の空間が常に撮像部の視界に入り、利用者と共に移動されるものであればどのような形態でもよい。以下では、利用者がペンダント型の装着型デバイス７０１を装着したものとして説明を行う。
【００２８】
図４は、本実施形態において、利用者が生活の中で記録したい行動に関連する物体を示した図である。図４における鏡８０１は、利用者が日常的に使用しているものである。鏡８０１には、ユニークなＩＤを持ったＲＦＩＤタグ８１１が予め付けられている。８０２は体温計であり、利用者が体温を測りたい際に利用されるものである。体温計８０２には、ユニークなＩＤを持ったＲＦＩＤタグ８１２が予め付けられている。８０３は薬瓶であり、利用者が常用している薬が入れられた半透明の入れ物である。薬瓶８０３には、ユニークなＩＤを持ったＲＦＩＤタグ８１３が予め付けられている。
【００２９】
本実施形態で示される装着型デバイス７０１は、図４に示されている、３つの物体に関連した行為を記録する。即ち、装着型デバイス７０１の利用者が鏡８０１を利用したとき、鏡に映る利用者の顔画像と、その日時とを記録する。この記録を取ることで、毎日の利用者の顔画像を継続的に記録することができ、装着型デバイス７０１の外部の健康管理システムでその画像を利用することができる。同様に、利用者が体温を測った場合にその体温と日時とを、薬を摂取した場合にその日時を、記録して外部の健康管理システムで利用することができる。
【００３０】
なお、本実施形態において特定物体検出部１０１は、特定物体に添付されたＲＦＩＤタグと装着型デバイス７０１に内蔵されたＲＦＩＤタグリーダーとから構成されるものとした。しかしこれは特定の物体を非接触で検出できる構成であればどのようなもので構成されてもよく、例えば装着型デバイス７０１に内蔵されたカメラが特定物体に添付された二次元コードを撮影し、そのＩＤを取得するという構成であってもよい。
【００３１】
図５は、本実施形態における装着型デバイス７０１の構成を示した図である。以下、図面に従って、本実施形態における装着型デバイス７０１の構成について説明する。
【００３２】
特定物体検出部１０１は、利用者が利用する１つ以上の特定の物体を検出する。本実施形態において、特定の物体とは図４に示された鏡８０１、体温計８０２及び薬瓶８０３である。本実施形態において特定物体検出部１０１は、鏡、体温計及び薬瓶にそれぞれ一つずつ貼りつけられたＲＦＩＤタグと、装着型デバイス７０１に内蔵されたＲＦＩＤタグリーダーによって構成される。ＲＦＩＤタグは、無電源で動作し、ＲＦＩＤタグリーダーから固有のＩＤ情報が読み出される。電子タグリーダーの読み取り範囲は装着型デバイス７０１の前面方向に設定され、読み取り距離は６０ｃｍ程度に設定されている。この設定により、装着型デバイス７０１を付けた利用者が特定物体を手にする場合には、その特定物体に付けられた電子タグのＩＤ情報が読み出される。そのため、装着型デバイス７０１は内蔵する撮像部の視界にある特定物体の種類を特定することができる。
【００３３】
なお、本実施形態において、特定物体検出部１０１は、特定物体に添付されたＲＦＩＤタグと装着型デバイス７０１に内蔵されたＲＦＩＤタグリーダーとから構成されるものとした。しかしこれは特定の物体を非接触で検出できる構成であればどのようなもので構成されてもよく、例えば装着型デバイス７０１に内蔵されたカメラが特定物体に添付された二次元コードを撮影し、そのＩＤを取得するという構成であってもよい。
【００３４】
撮像部１０２は、装着型デバイス７０１に内蔵されたカメラモジュールから構成される。撮像部１０２は動画を撮影することができる。撮像部１０２の撮影範囲は装着型デバイス７０１に内蔵されたＲＦＩＤタグリーダーの読み出し範囲と同程度の角度に調整されている。
【００３５】
記録部１０３は、特定物体検出部１０１の検出した特定物体ＩＤ情報と、撮像部１０２の撮影した動画とを関連付け記録する。記録部１０３は、フラッシュメモリ等で構成される。
【００３６】
映像認識部１０４は、記録部１０３に格納されている動画の内容を映像認識し、認識結果をメモリ等に記憶されているデータベース１０６に格納する。映像認識部１０４は、装着型デバイス７０１に内蔵されたマイクロプロセッサがプログラムを実行することによって実現される。
【００３７】
認識ルール設定部１０５は、映像認識部１０４が動画を認識してメモリ等に記憶されているデータベース１０６に認識結果を格納する際の、認識ルールを設定する。認識ルール設定部１０５は、装着型デバイス７０１に内蔵されたマイクロプロセッサがプログラムを実行することによって実現される。
【００３８】
データベース１０６は、映像認識部１０４で認識された結果である。データベース１０６は、フラッシュメモリ等のメモリに記憶されるが、デジタル情報を記録できる媒体であればどのようなもので構成されてもよく、例えばハードディスク等のメモリに記憶されてもよい。
【００３９】
図６は、本実施形態において、装着型デバイス７０１がどのように撮影を行うかの手順を記したフローチャートである。図６に記した手順は、装着型デバイス７０１に内蔵されたコントロール基盤と、基盤上のマイクロプロセッサがプログラムを実行することによって実現される。以下、図６を参照しながら、装着型デバイス７０１が撮影を行う手順について説明する。
【００４０】
Ｓ２０１では、装着型デバイス７０１の電源が入れられると、特定物体検出部１０１が、特定物体に添付されたタグを認識しているかどうか判定される。タグが認識されていればＳ２０２に、されていなければＳ２０４に進む。
【００４１】
Ｓ２０２では、装着型デバイス７０１が撮影中であるかどうかが判定される。既に撮影中である場合にはＳ２０１に、そうでなければＳ２０３に進む。
【００４２】
Ｓ２０３では、撮像部１０２の動画撮影が始められ、記録部１０３に撮影された動画が録画されていく。この際、記録される動画と対にして、検出されているタグの情報、またその時点での日時の情報も記録部１０３に記録される。撮影が開始されると、Ｓ２０１に進む。
【００４３】
Ｓ２０４では、装着型デバイス７０１が撮影中であるかどうかが判定される。撮影中である場合にはＳ２０５に、そうでなければＳ２０１に進む。
【００４４】
Ｓ２０５では、撮影開始時点から３０秒が経過しているかどうかが判定される。この判定は、タグが読み取り範囲の限界にある場合に、細切れの映像が多数撮影されることがないように行われる。３０秒が経過していればＳ２０６に、経過していなければＳ２０１に進む。
【００４５】
Ｓ２０６では、撮影が中止される。
【００４６】
以上、図６のフローチャートに示される手順を実行することで、利用者の近辺に特定物体がある場合にのみ撮影を行う装着型デバイス７０１を実現することができ、したがって、利用者が特定物体を手に取って利用している際に撮影を行うことが可能となる。
【００４７】
図７は、本実施形態において、装着型デバイス７０１がどのように撮影された映像の認識を行うかの手順を記したフローチャートである。図７に記した手順は、装着型デバイス７０１に内蔵されたマイクロプロセッサがプログラムを実行することによって実現される。以下、図７を参照しながら、装着型デバイス７０１が映像の認識を行う手順について説明する。
【００４８】
Ｓ３０１では、装着型デバイス７０１の電源が入れられると、映像認識部１０４が、記録部１０３に格納されている動画のうち、最初に撮影され、なお、かつ、まだ映像認識が終わっていない動画を取りだす。また、認識ルール設定部１０５が、記録部１０３から動画と対にして記録されたタグの情報を取りだす。Ｓ３０１において、映像認識がなされていない動画が存在しない場合は、新たな動画が記録されるまでＳ３０１で待機される。
【００４９】
Ｓ３０２では、認識ルール設定部１０５が、タグの情報を使って、動画が撮影された際にどの特定物体が検出されていたのかを判定する。タグ情報が、鏡８０１に添付されたタグ情報と一致するのであればＳ３０３に、体温計８０２に添付されたタグ情報と一致するのであればＳ３０４に、薬瓶８０３に添付されたタグ情報と一致するのであればＳ３０５に進む。
【００５０】
Ｓ３０３では、鏡像を記録する。
【００５１】
図８は、鏡像の記録の処理の流れを示したフローチャートである。図８に従い、鏡像の記録の処理の流れに付いて説明する。鏡像の記録では、装着型デバイス７０１の利用者が鏡を利用しているときの、鏡に映る利用者の顔画像を抜き出す処理を行う。
【００５２】
Ｓ４０１では、録画されている動画の各フレームについて、顔認識処理が行われる。また、顔が検出されたフレームについて、顔が大きく映っていればいるほど高くなるスコアが付けられる。この顔認識処理は画像中から顔を検出することができる方法であればどのような方法でなされてもよいが、例えば非特許文献２に示されるＶｉｏｌａ−Ｊｏｎｅｓ  顔検出器を用いて実現してもよい。
【００５３】
Ｓ４０２では、顔が検出されたフレームについて、顔が正面を向いていればいるほど高くなるスコアが付けられる。この処理は顔の向きを検出できる方法であればどのような方法でなされてもよいが、例えば顔の向きに応じた顔検出器を予め複数用意し、適用することで実現することができる。
【００５４】
Ｓ４０３では、Ｓ４０１及びＳ４０２で算出したスコアの合計を比較し、このスコアが最大となるフレームが選び出される。この選び出したフレームから、顔が含まれる矩形で画像が切り出される。この切り出した顔画像と、顔画像が撮影された時間と、は対にしてデータベース１０６に記録される。
【００５５】
以上の手順により、映像認識部１０４が鏡に映る利用者の顔画像を切り出し、撮影された日時と共にデータベース１０６に記録される。なお、本実施形態では、顔検出器によって利用者の顔画像の切り出しを行うものとしたが、その他の処理により顔画像の切り出しを行うものとしてよい。例えば、鏡の輪郭領域をエッジ検出等の手段により検出し、鏡領域内でのみ顔検出器を働かせるものとしてよい。また、顔検出後に顔認証による個人の特定手順を加えて、装着型デバイス７０１の利用者の顔が映っていると確認される時点でのみ顔画像の切り出しを行うものとしてよい。
【００５６】
Ｓ３０４では、体温を記録する。
【００５７】
図９は、体温の記録の処理の流れを示したフローチャートである。図９に従い、体温の記録の処理の流れに付いて説明する。体温の記録では、装着型デバイス７０１の利用者が体温計を利用した後の、測定された体温情報を記録する処理を行う。
【００５８】
Ｓ５０１では、録画された映像の撮影シーケンスの最後のフレームから、体温計の検出処理が行われる。この処理は体温計を検出できる方法であればどのような方法でなされてもよく、例えば非特許文献１に示されるような、予め与えられた体温計の３Ｄモデルを用いたオブジェクト検出及びトラッキング手法によって実現することができる。本実施形態では、予めタグ情報によって画面内に体温計が映っている可能性が高いということがわかっているため、体温計の３Ｄモデルのみを用いてオブジェクト検出及びトラッキングを行えばよい。体温計が検出されたフレームが見つかった場合、Ｓ５０２に進む。
【００５９】
Ｓ５０２では、画像中の検出された体温計の領域内に、温度表示部の領域が検出されるかどうかが判定される。この処理は温度表示部を検出できる方法であればどのような方法でなされてもよく、例えばＳ５０１で用いられる手法と同じ手法で実現することができる。温度表示部が検出された場合、Ｓ５０３に進む。温度表示部が利用者から見て反対側にある等して、温度表示部が検出されない場合、Ｓ５０１に進む。
【００６０】
Ｓ５０３では、画像中の検出された温度表示部の領域内の、体温表示の読み取りが行われる。この読み取りはＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）技術によって行われる。例えばＳ５０１で３Ｄモデルを用いたオブジェクト検出及びトラッキングを行う場合には、カメラに対する体温計の相対的な三次元位置・姿勢が明らかになっている。そのため、その情報を生かして体温表示領域の画像に変換処理を適用することで、ＯＣＲの精度をより高めることができる。ＯＣＲの結果、体温表示が読み取れた場合、読み取った体温情報とその時点での時間とが対になってデータベース１０６に記録され、体温の記録の処理は終了する。体温表示が読みとれなかった場合には、Ｓ５０１に進む。
【００６１】
以上の手順により、映像認識部１０４が体温計の体温表示を読み取り、撮影された日時と共にデータベース１０６に記録される。
【００６２】
Ｓ３０５は、服用を記録する。
【００６３】
図１０は、服用の記録の処理の流れを示したフローチャートである。以下、図１０に従い、服用の記録の処理の流れに付いて説明する。服用の記録では、装着型デバイス７０１の利用者が薬瓶内の薬を服用した時間の記録、及び薬瓶中に残されている薬の量を記録する処理を行う。
【００６４】
Ｓ６０１では、録画された映像の撮影シーケンスの最後のフレームから、画面に対して直立している薬瓶の検出処理が行われる。直立した薬瓶に限定して検出処理を行うのは、後述のＳ６０２の処理において薬の残量を把握しやすくするためである。この処理は薬瓶を検出できる方法であればどのような方法でなされてもよく、例えば非特許文献１に示されるような、予め与えられた薬瓶の３Ｄモデルを用いたオブジェクト検出及びトラッキング手法によって実現することができる。本実施形態では、予めタグ情報によって画面内に薬瓶が映っている可能性が高いということがわかっているため、薬瓶の３Ｄモデルのみを用いてオブジェクト検出及びトラッキングを行えばよい。直立している薬瓶が検出されたフレームが見つかった場合、Ｓ６０２に進む。
【００６５】
Ｓ６０２では、薬瓶中の残量の認識処理が行われる。この処理は薬瓶中の薬の残量を検出できる方法であればどのような方法でなされてもよく、例えば、薬の色を用いて画像中の薬瓶の領域内で色検出処理を行い、薬瓶内に占める薬の色の領域の割合を求める方法で残量を把握することができる。この際、薬瓶が直立しているため、画像の下方向が重力方向であるということを考慮し、薬瓶の一番下に接続している領域を薬の部分として判断することができる。薬の残量が検出されたら、読み取った薬の残量とその時点での時間とが対になってデータベース１０６に記録され、服用の記録の処理は終了する。
【００６６】
以上の手順により、映像認識部１０４が薬瓶中の残量を把握し、撮影された日時と共にデータベース１０６に記録される。
【００６７】
以上、実施形態１について説明した。本実施形態に記述された身体装着型デバイスを装着することで、日々の生活の中で、自動的に健康管理のための記録を取っていくことが可能になる。
【００６８】
なお、本実施形態では、健康管理のために装着型デバイスを用いているが、この装着型デバイスの用途はこれにとどまらず、物を利用する様々な行為の記録に用いることができる。例えば、財布にＲＦＩＤタグを付け、そのＲＦＩＤタグが検出された場合に、財布に関わる行為の認識を行う認識ルールを適用することで、財布の利用履歴を自動的に記録していくことができる。また、他にも、所有する携帯電話の利用履歴を記録したり、冷蔵庫の中身を記録したり、鞄の中身を記録したり、哺乳瓶による授乳を記録したり、印鑑による押印の記録を行ったり、医療器具の利用履歴を記録したり等といったことができる。
【００６９】
また、本実施形態では、時間と映像認識の結果とをデータベースに記録しているが、装着型デバイスにＧＰＳ等の位置検出装置を備え、位置も合わせて記録するものとしてもよい。
【００７０】
また、本実施形態では、全ての処理を装着型デバイス内で行っているが、認識処理等といった処理の一部を、無線ネットワークを介してサーバ側に置き、装着型デバイスから情報を送信して処理を行うものとしてもよい。そして、装着型デバイスとサーバ装置とは無線通信を介して送受信を行う様にしてもよい。図１１は、そのような構成を示したブロック図である。この構成においては、装着型デバイス７０１に無線送信部２０１が追加され、撮像部１０２が撮影した映像及び特定物体検出部１０１の検出した特定物体ＩＤ情報が無線通信を介して送信される。無線送信された情報は無線受信部２０２を含むサーバ装置で受信される。サーバ装置は、記録部１０３、映像認識部１０４、認識ルール設定部１０５、データベース１０６を含む。この構成において、それぞれのブロックが行う処理及び処理の流れは、既述のものと同一である。
【００７１】
また、本実施形態では、特定物体に対応した映像認識ルールが予め定められており、また、特定物体と、特定物体が検出された際の映像認識ルールとの組み合わせも定められているものとした。しかしながらこれは可変のものとして構成されてもよく、例えば、映像認識ルールをコンピュータ上のエディタを使って作れるものとしてよい。また、特定物体と映像認識ルールとの組み合わせも、コンピュータ上のエディタを使って予め作れるものとしてよい。
【００７２】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００７３】
以上、上述した各実施形態によれば、人の行動内容を高い精度で記録することができる。
【００７４】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００７５】
１０１  特定物体検出部、１０２  撮像部、１０３  記録部、１０４  映像認識部、１０５  認識ルール設定部、１０６  データベース
【図１】
2013150171.tif 000003
【図２】
2013150171.tif 000004
【図３】
2013150171.tif 000005
【図４】
2013150171.tif 000006
【図５】
2013150171.tif 000007
【図６】
2013150171.tif 000008
【図７】
2013150171.tif 000009
【図８】
2013150171.tif 000010
【図９】
2013150171.tif 000011
【図１０】
2013150171.tif 000012
【図１１】
2013150171.tif 000013