(57)【要約】  ウェアラブル機器を利用したオブジェクトのイベント感知方法及びそれを運用する管理サーバが図示される。本発明の多様な実施例によるウェアラブル機器は、ユーザの身体に着用可能なウェアラブル機器であって、ユーザの身体と所定領域内に位置するオブジェクトを認識する近距離通信モジュールと、前記ウェアラブル機器と隣接した領域を撮影してユーザの身体の動きまたは前記オブジェクトのうち少なくとも一つに関する画像または動画を生成するカメラモジュールと、前記近距離通信モジュールを介して認識したオブジェクト情報に基づいてカメラモジュールの活性化可否を決定する制御部と、前記近距離通信モジュールを介して認識したオブジェクトに関する情報、及び前記カメラモジュールを介して生成された画像または動画を管理サーバに伝送する通信モジュールと、を含む。【選択図】  図１
2021520569.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの身体に着用可能なウェアラブル機器であって、
ユーザの身体と所定領域内に位置するオブジェクトを認識する近距離通信モジュールと、
前記ウェアラブル機器と隣接した領域を撮影してユーザの身体の動きまたは前記オブジェクトのうち少なくとも一つに関する画像または動画を生成するカメラモジュールと、
前記近距離通信モジュールを介して認識したオブジェクト情報に基づいてカメラモジュールの活性化可否を決定する制御部と、
前記近距離通信モジュールを介して認識したオブジェクトに関する情報、及び前記カメラモジュールを介して生成された画像または動画を管理サーバに伝送する通信モジュールと、を含む、ウェアラブル機器。
【請求項２】
センサ部を介してユーザの特定行為が感知されれば、前記カメラモジュールを活性化して前記オブジェクトに対する画像または動画の獲得を開始するように前記カメラモジュールを制御する、請求項１に記載のウェアラブル機器。
【請求項３】
前記センサ部を介してユーザの特定行為を感知する過程は、前記近距離通信モジュールが前記オブジェクトを認識する際の信号強度に基づくことを特徴とする、請求項２に記載のウェアラブル機器。
【請求項４】
前記制御部は、予め設定された任意の区間内でのみ前記近距離通信モジュールが作動するように制御する、請求項１に記載のウェアラブル機器。
【請求項５】
ユーザの身体に着用可能なウェアラブル機器との通信を介して情報を獲得し、獲得した情報を管理する管理サーバであって、
前記ウェアラブル機器の近距離通信モジュールを介して認識されたオブジェクトの情報を受信し、前記ウェアラブル機器を介して生成された画像または動画を受信する通信部と、
前記オブジェクトの情報に基づいて、前記画像または動画上で前記オブジェクトまたは前記ユーザの身体に関する予め設定された動作が感知されるのかを機械学習または人工知能に基づいて判断する動作判断部と、を含む、管理サーバ。
【請求項６】
前記動作判断部が前記オブジェクトまたは前記ユーザの身体に関する予め設定された動作が感知されるのかを機械学習または人工知能に基づいて判断する過程は、
画像類似度判別技術に基づいて前記画像または動画が前記オブジェクトまたは前記ユーザの身体に関する予め設定された動作と対応するのかを判断する過程を更に含む、請求項５に記載の管理サーバ。
【請求項７】
前記動作判断部によって少なくとも一つ以上の予め設定された動作が感知されるのかを判断し、感知された動作それぞれに対して設定された重み付けを総合して特定イベントの発生可否を判断するイベント発生判断部を更に含む、請求項５に記載の管理サーバ。
【請求項８】
前記通信部は、前記イベント発生判断部によって前記特定イベントが発生したと判断されれば、ユーザ端末機に前記特定イベントに関する情報を伝送する機能を更に含む、請求項７に記載の管理サーバ。
【請求項９】
前記オブジェクトは医薬品関連のオブジェクトであり、
予め設定された動作は、医薬品または医薬品の摂取行為に関する状況であることを特徴とする、請求項５に記載の管理サーバ。
【請求項１０】
管理サーバがウェアラブル機器によって収集した情報を介してオブジェクトのイベントを感知するイベント感知方法であって、
前記ウェアラブル機器の近距離通信モジュールを介して認識されたオブジェクトの情報を受信し、前記ウェアラブル機器を介して生成された画像または動画を受信するステップと、
前記オブジェクトの情報に基づいて、前記画像または動画上で前記オブジェクトまたはユーザの身体に関する予め設定された動作が感知されるのかを機械学習または人工知能に基づいて判断するステップと、
少なくとも一つ以上に感知された予め設定された動作それぞれに対して設定された重み付けを総合して特定イベントの発生可否を判断するステップと、を含む、イベント感知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の多様な実施例は、ユーザは着用し得るウェアラブル機器を利用してより簡便にオブジェクトのイベントを感知する技術に関する。
【背景技術】
【０００２】
日常生活において、ユーザは本人が認知していない状態で数多くの身体活動をしている。特に、このような身体活動は特定オブジェクトを動かすイベントを相当伴うようになるが、ユーザの習慣的なパターンと無意識の領域で発生するイベントをユーザが一々記憶することは難しい。
【０００３】
時々、このようなオブジェクトの動きを伴うユーザの身体活動は、多様な領域で重要なイベントとして決定される。例えば、ヘルスケアなどのような分野ではユーザが一日どれぐらいの薬を飲んだのかが重要な要素になり、特定疾病の場合、投薬を欠かさないことが非常に重要なイシューになり得る。
【０００４】
問題は、このような重要なイベントを忘れてしまえば、ユーザは日常生活でそれを認知することができないことがほとんどであり、仮に後からそれを認知したとしても、予め決められた時間にイベントをすることができなかったことによる損失乃至リスクを取り戻すことができないという限界点がある。
【０００５】
最近、カメラなどを利用してユーザの活動を分析する技術が開始されてはいるが、固定設置型のカメラに留まる場合がほとんどであり、日常生活に取り入れることは難しいという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の多様な実施例は、ウェアラブル機器とその構成を介して日常生活で比較的簡単に特定のオブジェクトを認識して予め指定されたイベントが発生するのかを判断し、イベントの発生時間を記録して、多様なサービスを提供しようとするのにその目的がある。
本発明が決意しようとする課題は上述した課題に限らず、上述されていない他の課題は以下の記載から通常の技術者に明確に理解されるはずである。
【課題を解決するための手段】
【０００７】
上述した課題を解決するための本発明の多様な実施例によるウェアラブル機器は、ユーザの身体に着用可能なウェアラブル機器であって、ユーザの身体と所定領域内に位置するオブジェクトを認識する近距離通信モジュールと、前記ウェアラブル機器と隣接した領域を撮影してユーザの身体の動きまたは前記オブジェクトのうち少なくとも一つに関する画像または動画を生成するカメラモジュールと、前記近距離通信モジュールを介して認識したオブジェクト情報に基づいてカメラモジュールの活性化可否を決定する制御部と、前記近距離通信モジュールを介して認識したオブジェクトに関する情報、及び前記カメラモジュールを介して生成された画像または動画を管理サーバに伝送する通信モジュールと、を含む。
【０００８】
本発明の一実施例による管理サーバは、ユーザの身体に着用可能なウェアラブル機器との通信を介して情報を獲得し、獲得した情報を管理する管理サーバであって、前記ウェアラブル機器の近距離通信モジュールを介して認識されたオブジェクトの情報を受信し、前記ウェアラブル機器を介して生成された画像または動画を受信する通信部と、前記オブジェクトの情報に基づいて、前記画像または動画上で前記オブジェクトまたは前記ユーザの身体に関する予め設定された動作が感知されるのかを機械学習または人工知能に基づいて判断する動作判断部と、を含む。
【０００９】
本発明の一実施例によるイベント感知方法は、管理サーバがウェアラブル機器によって収集した情報を介してオブジェクトのイベントを感知するイベント感知方法であって、前記ウェアラブル機器の近距離通信モジュールを介して認識されたオブジェクトの情報を受信し、前記ウェアラブル機器を介して生成された画像または動画を受信するステップと、前記オブジェクトの情報に基づいて、前記画像または動画上で前記オブジェクトまたはユーザの身体に関する予め設定された動作が感知されるのかを機械学習または人工知能に基づいて判断するステップと、少なくとも一つ以上に感知された予め設定された動作それぞれに対して設定された重み付けを総合して特定イベントの発生可否を判断するステップと、を含む。
【発明の効果】
【００１０】
本発明の実施例によってウェアラブル機器によって特定イベントの発生可否と発生時間が記録されることで、ヘルスケアのような日常生活分野で忘れがちなユーザのイベントを感知してより効率的なガイドシステムを提供することができ、ユーザパターンなどを学習してデータを分析可能なシステムを具現することができる。
本発明の効果は上述した効果に限らず、上述されていない他の効果は以下の記載から通常の技術者に明確に理解されるはずである。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施例による感知システムの概略図である。
【図２】本発明の一実施例によるウェアラブル機器のブロック構成図である。
【図３】本発明の一実施例による管理サーバのブロック構成図である。
【図４】本発明の一実施例によるウェアラブル機器でオブジェクトを感知し、画像または動画を生成する動作を示す順序図である。
【図５】本発明の一実施例による管理サーバでウェアラブル機器から受信される情報を管理し、それを介して最終的に特定イベントが発生したのかを判断する動作に関する順序図である。
【図６】本発明の他の実施例によるウェアラブル機器でオブジェクトのイベントを感知する動作の順序図である。
【図７】本発明の他の実施例によるウェアラブル機器でオブジェクトのイベントを感知する動作の順序図である。
【発明を実施するための形態】
【００１２】
本明細書で使用された用語は実施例を説明するためのものであって、本発明を制限するものではない。本明細書において、単数形は文の中で特に言及されない限り複数形も含む。明細書で使用される「含む（ｃｏｍｐｒｉｓｅｓ）」及び／または「含む（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外にも一つ以上の他の構成要素の存在または追加を排除しない。明細書全体にわたって、同じ図面符号は同じ構成要素を指し、「及び／または」は言及された構成要素のそれぞれ及び一つ以上の全ての組み合わせを含む。たとえ「第１」、「第２」などが多様な構成要素を述べるために使用されても、これらの構成要素はこれらの用語によって制限されないことはもちろんである。これらの用語は単に一つの構成要素を他の構成要素と区別するために使用するものである。よって、以下で言及する第１構成要素は、本発明の技術的思想内で第２構成要素であってもよいことはもちろんである。
【００１３】
本文書で言及される「イベント」とは、オブジェクトがユーザの身体に関して特定領域に位置するか動く動作を意味する。例えば、イベントは薬や飲食物を摂取する行為などを含むが、これに限らない。
【００１４】
図１は、本発明の一実施例によるイベント感知システム１０の概略図である。このようなイベント感知システム１０は、ウェアラブル機器２００がオブジェクトに付着された電子コード１００を認識し、オブジェクトを撮影することで所定の有効イベントが発生するのかを感知して、時間情報を記録する機能を行う。
一実施例によると、イベント感知システム１０は、電子コード１００、ウェアラブル機器２００、管理サーバ３００、及びユーザ端末４００を含む。
【００１５】
電子コード１００はオブジェクトに付着されてウェアラブル機器２００によって認識されることで、ウェアラブル機器２００がオブジェクトを認識するようにする機能を行う。このような電子コード１００は、例えば、バーコード、ＲＦタグ、ＱＲコード（登録商標）などで具現されてもよいが、これに限らない。
【００１６】
本発明の実施例において、電子コード１００がウェアラブル機器２００の近距離通信モジュールによって認識されれば、ウェアラブル機器２００は電子コード１００を介して認識されたオブジェクトに関する情報に基づいてカメラモジュールの活性化可否を決定する。
【００１７】
ウェアラブル機器２００は、ユーザの身体の少なくとも一部（例えば、手首など）に着用可能な電子装置であって、例えば、スマートウォッチ、スマートグラス、スマートヘルメットなどで具現されてもよいが、これに限らない。本発明の実施例において、ウェアラブル機器２００は近距離通信モジュール、カメラモジュール、またはセンサモジュールを介してオブジェクトを認識し、ウェアラブル機器２００と隣接した領域を撮影して管理サーバ３００に伝送する役割をする。このようなウェアラブル機器２００の具体的な構成は、図２を介して後述する。
【００１８】
本発明の一実施例によると、ウェアラブル機器２００はユーザの手首に着用可能なスマートウォッチで構成されるが、この場合、ウェアラブル機器２００に含まれるカメラモジュールまたはセンサモジュールは、スマートウォッチのケースに連結されるバンドの上に位置する。例えば、スマートウォッチのケースが手の甲と連結される手首の部分に位置すれば、カメラモジュールまたはセンサモジュールは手のひらと連結される手首の部分に位置するバンドに設けられてもよい。このような構成を介して、ウェアラブル機器２００は、カメラモジュールまたはセンサモジュールを介してユーザの手のひら側で行われる動作又はイベントを感知するか撮影する。
【００１９】
管理サーバ３００は、ネットワークを介してユーザのウェアラブル機器２００と連結されてウェアラブル機器２００で収集される情報を提供され、それを分析して特定イベントが発生したのかを判断する機能を行う。また、管理サーバ３００は収集又は加工した情報をネットワークを介してユーザ端末機４００上に伝達する。このような管理サーバ３００は、少なくとも一つのプロセッサを有する制御部、通信モジュール、貯蔵部（例えば、メモリ）などのようなハードウェア情報またはアルゴリズム演算のためのソフトウェア情報を含む。
【００２０】
ユーザ端末機４００は、ウェアラブル機器２００と連結されてウェアラブル機器２００の初期設定値を生成するか、設定値を変更するなどの役割をするが、そのような動作はユーザがユーザ端末機４００上で行う操作によって行われる。ユーザは、ユーザ端末機４００を介して管理サーバ３００に接続し、自らが管理するウェアラブル機器２００から管理サーバ３００に伝送された情報と、このような情報を介して管理サーバ３００で加工された情報を確認する。
【００２１】
本発明の一実施例によるユーザ端末機４００は、携帯、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ）、タブレットＰＣなどのようにネットワークを介してウェブサーバと連結されるあらゆる種類のハンドヘルド（Ｈａｎｄｈｅｌｄ）基盤の無線通信装置を含み、パーソナルコンピュータ（例えば、デスクトップパソコン、ノートパソコンなど）、ワークステーション、ＰＤＡ、ウェブパッドなどのようにメモリ手段を備え、マイクロプロセッサを搭載して演算能力を備えたデジタル機器のうち一つであってもよい。
【００２２】
外部サーバは、ネットワークを介して管理サーバ３００に必要な情報（例えば、電子コード１００に対する識別情報、電子コード１００に対応するオブジェクトの画像情報など）を送受信する装置またはプログラムである。
【００２３】
図２は、本発明の一実施例によるウェアラブル機器２００のブロック構成図である。このようなウェアラブル機器２００は、通信モジュール２１０、制御部２２０，電子コードスキャン部２２１、オブジェクト認識部２２３、イベント感知部２２５、貯蔵部２３０、及びカメラモジュール２４０を含む。
【００２４】
通信モジュール２１０は、ウェアラブル機器２２０でオブジェクトの電子コード１００、管理サーバ３００、ユーザ端末機４００、または外部サーバと通信してウェアラブル機器２００の動作に必要な情報を送受信する機能を行う。このような通信モジュール２１０は、ブルートゥース（登録商標）、ジグビー、赤外線通信モジュール、ＲＦモジュール、ＱＲコード（登録商標）モジュール、またはＷＩＦＩモジュールのような近距離通信モジュールで具現されてもよいが、ネットワーク通信モジュール、基地局通信モジュールなどのような遠距離方式でも具現することができる。
【００２５】
制御部２２０は、ウェアラブル機器２００の電源供給制御などのような全般的な動作とウェアラブル機器２００の内部構成との間の信号の流れを制御し、データを処理するデータ処理機能を行う。制御部２２０は少なくとも一つのプロセッサまたはＭＣＵを含む。
【００２６】
制御部２２０はカメラモジュール２４０の活性化可否を決定し、それによってカメラモジュール２４０の動作を制御する。また、制御部２２０は近距離通信モジュールの動作を制御するが、一実施例によると、制御部２２０は予め設定された任意の時間区間内でのみ近距離通信モジュールが作動するように制御する。
【００２７】
電子コードスキャン部２２１は、オブジェクトに付着された電子コード１００をスキャンすることで発生する情報を収集する。スキャン方式は、レーザ、ＲＦＩＤ、ブルートゥース（登録商標）、ビーコン、ＱＲコード（登録商標）などのよう多様な方式でスキャンされてもよく、このような電子コードスキャン部２２１の少なくとも一部の構成は通信モジュール２１０に含まれてもよい。
【００２８】
貯蔵部２３０は、制御部２２０、電子コード１００、ウェアラブル機器２００の、管理サーバ３０0、ユーザ端末機４００、またはイベント感知システム１０の他の構成要素から受信されるか生成されたデータを貯蔵する。このような貯蔵部２３０は、例えば、メモリ（ｍｅｍｏｒｙ）、キャッシュ（ｃａｓｈ）、バッファ（ｂｕｆｆｅｒ）などを含み、ソフトウェア、ファームウェア、ハードウェア、またはこれらのうち少なくとも２つ以上の組み合わせからなる。
【００２９】
カメラモジュール２４０は、ウェアラブル機器２００と隣接した領域を撮影し、ユーザの身体の動きまたはオブジェクトのうち少なくとも一つに関する画像または動画を生成する。このようなカメラモジュール２４０は２Ｄまたは３Ｄカメラ装置を含んでもよく、カメラのレンズを回動させるか動かす駆動手段（例えば、アクチュエータ）を含む。
【００３０】
一実施例によると、カメラモジュール２４０は、通信モジュール２１０を介してウェアラブル機器２００がオブジェクトを認識すれば活性化されるか、ウェアラブル機器２００のセンサモジュールを介してユーザの特定行為が感知されれば活性化されるが、これに限らず、他の特殊な条件（例えば、ユーザが任意で活性化機能を選択）によって活性化されてもよい。ウェアラブル機器２００がユーザの特定行為を感知する過程において、ウェアラブル機器２００は近距離通信モジュールがオブジェクトを認識する際の信号強度に基づいてユーザの特定行為を感知する。ウェアラブル機器２００が電子コード１００を利用してオブジェクトを認識する場合を例に挙げると、ウェアラブル機器２００と電子コード１００との間の距離に応じて信号強度が異なり得るため、信号強度に基づいてウェアラブル機器２００とオブジェクトとの間の距離を計算することができる。
【００３１】
そのために、図２には図示していないが、ウェアラブル機器２００は、上述したようにユーザの特定行為を認識するセンサモジュールを更に含んでもよい。センサモジュールは物理量を計測するかウェアラブル機器２００の作動状態を感知し、計測または感知された情報を電気信号に変換する少なくとも一つを含む。このようなセンサモジュールは、例えば、ＧＰＳセンサ、ジェスチャセンサ、ジャイロセンサ、気圧センサ、マグネチックセンサ、加速度センサ、近接センサ、生体センサ（例えば、虹彩センサ、指紋センサなど）、赤外線センサ、紫外線センサ、９軸センサ、または照度センサのうち少なくとも一つを含んでもよい。
【００３２】
上述した図２において、ウェアラブル機器２００内でそれぞれの役割をする主体を「〜部」または「〜モジュール」の形に表したが、それぞれの部分はウェアラブル機器２００内で動作するサブプログラムモジュールまたは制御部２２０を機能的に分類した構成である。このようなプログラムモジュールは、各動作を行うか、特定の抽象データタイプを実行するルーティン、サブルーティン、プログラム、オブジェクト、コンポネント、データ構造などを包括する概念であるが、これに限らない。
【００３３】
図３は、本発明の一実施例による管理サーバ３００のブロック構成図である。このような管理サーバ３００は、通信部３１０、制御部３２０、動作判断部３３０、イベント発生判断部３４０、及び貯蔵部３５０を含む。
【００３４】
通信部３１０は、管理サーバ３００がウェアラブル機器２００、ユーザ端末機４００、または外部サーバと通信して管理サーバ３００の動作に必要な情報を送受信する機能を行う。
【００３５】
通信部３１０は、ウェアラブル機器２００が近距離通信モジュールを介して認識したオブジェクトの情報と、カメラモジュール２４０を介して生成した画像または動画をウェアラブル機器２００から受信する。
また、通信部３１０は、インベント発生判断部３４０によって判断されたイベント発生可否に関する情報をユーザ端末機４００に伝送する。
【００３６】
本発明の一実施例によると、通信部３１０は、管理サーバ３００がウェアラブル機器２００とのリアルタイム通信を介してウェアラブル機器２００の動作を制御してもよい。
【００３７】
制御部３２０は、管理サーバ３００の電源供給制御などのような全般的な動作とウェアラブル機器２００の内部構成との間の信号の流れを制御し、データを処理するデータ処理機能を行う。制御部３２０は少なくとも一つのプロセッサまたはＭＣＵを含む。
【００３８】
動作判断部３３０は、通信部３１０によって受信されたオブジェクト情報と、画像または動画に基づいて予め設定された動作が感知されるのか否かを判断する。詳しくは、動作判断部３３０はオブジェクト情報に基づいて該当オブジェクトまたはユーザの身体に関する予め設定された動作が感知されるのかを判断するが、このような判断は機械学習または人工知能に基づいて行われる。
【００３９】
動作判断部３３０は、オブジェクトまたはユーザの身体に関する予め設定された動作が感知されるのかを判断するに当たって、画像類似度判別技術に基づいて画像または動画がオブジェクトまたはユーザの身体に関する予め設定された動作に対応するのかを判断する。
【００４０】
本発明の一実施例によると、特定オブジェクトまたはユーザの身体に関する予め設定された動作は、オブジェクトごとに異なるように設定される。例えば、第１オブジェクトが認識されれば、第１動作及び第２動作がユーザの身体に関して予め設定された動作となり、第２オブジェクトが認識されれば、第３動作及び第４動作がユーザの身体に関して予め設定された動作となり得る。
【００４１】
本発明の一実施例によると、本発明で電子コード１００を介して認識されるオブジェクトは医薬品関連のオブジェクトであり、予め設定された動作は医薬品または医薬品の摂取行為に関する状況である。例えば、電子コード１００を介して認識されるオブジェクトは医薬品が入っている容器であってもよいが、この場合、予め設定された動作は医薬品の露出、容器が解放される状況、医薬品がユーザの手に取られる状況、医薬品がユーザの口に近接する状況などを含んでもよい。
【００４２】
イベント発生判断部３４０は、特定イベントの発生可否を判断する機能を行う。イベント発生判断部３４０は、特定イベントの発生可否を判断するに当たって、動作判断部３３０によって感知された予め設定された動作それぞれに対して設定された重み付けを総合して、特定イベントの発生可否を判断する。
【００４３】
例えば、動作判断部３３０が認識された特定オブジェクトに対して予め設定された動作である第１動作、第２動作、及び第３動作が感知されたと判断すれば、イベント発生判断部３４０は第１動作、第２動作、及び第３動作に予め設定されている重み付け値を適用し、最終的な演算を介して特定イベントの発生可否を判断してもよい。
【００４４】
貯蔵部３５０は、制御部３２０、ウェアラブル機器２００の、ユーザ端末機４００、またはイベント感知システム１０の他の構成要素から受信されるか生成されたデータを貯蔵する。このような貯蔵部３５０は、例えば、メモリ、キャッシュ、バッファなどを含み、ソフトウェア、ファームウェア、ハードウェア、またはこれらのうち少なくとも２つ以上の組み合わせからなる。
【００４５】
貯蔵部３５０は、動作判断部３３０が使用する機械学習または人工知能に関するデータを貯蔵し、イベント発生判断部３４０が生成した特定イベントの発生可否に関するデータも貯蔵する。また、貯蔵部３５０はウェアラブル機器２００とユーザ端末機４００の情報を貯蔵し、特定ウェアラブル機器２００がどのユーザ端末機４００に関連する機器であるのかを貯蔵する。
【００４６】
以下、図４乃至図５では前記図１及び図２のような構成を介し、ウェアラブル機器２００でオブジェクトを感知してカメラモジュールで画像または動画を生成したら、管理サーバ３００で情報を受信してイベントの発生可否を判断する動作を詳しく説明する。図４乃至図５の各ステップのうち、少なくとも一部は省略されるか互いに順番が変更されてもよい。
図４は、本発明の一実施例によるウェアラブル機器２００でオブジェクトを感知し、画像または動画を生成する動作を示す順序図である。
【００４７】
ユーザがオブジェクトに隣接すれば、ウェアラブル機器２００が電子コード１００を認識するがＳ４１０、ウェアラブル機器２００はこのような場合、ユーザの特定行為を感知するＳ４１０。
【００４８】
ウェアラブル機器２００の制御部２２０は、次に、認識されたオブジェクトの情報または感知されたユーザの行為情報を介してカメラモジュール２４０の活性化可否を決定するＳ４２０。例えば、センサモジュールを介してユーザが反復的な動作を行っており、それによってオブジェクトが反復して認識されている状況であれば、ウェアラブル機器２００はそれを該当オブジェクトに対する動作と判断せず、カメラモジュール２４０を活性化しなくてもよい。
【００４９】
制御部２２０がカメラモジュール２４０を活性化しないと決定したら、ウェアラブル機器２００は電子コード１００の認識または特定行為の感知を行う状態に戻る。
【００５０】
これとは異なって、制御部２２０がカメラモジュール２４０を活性化すると決定したら、制御部２２０はカメラモジュール２４０を活性化し、撮影を介して画像または動画が生成されるようにするＳ４３０。
【００５１】
次に、制御部２２０は予め決められた一定時間が経過したのかを判断しＳ４４０、一定時間が経過した場合、カメラモジュール２４０を非活性化状態に制御するＳ４５０。本発明の一実施例によると、このような一定時間は、カメラモジュール２４０が活性化される時刻から測定されてもよく、カメラモジュール２４０が活性化された状態でウェアラブル機器２００がオブジェクトの電子コード１００を認識するか、ユーザの特定行為を更に感知したら測定していた時刻がリセットされてカメラモジュール２４０が活性化される時間が延長されてもよい。
【００５２】
カメラモジュール２４０が非活性化された後、ウェアラブル機器２００は認識されたオブジェクトの情報、感知されたユーザの特定行為の情報、及びカメラモジュール２４０によって生成された画像または動画を管理サーバ３００に伝送するＳ４６０。
【００５３】
本発明の一実施例によると、ウェアラブル機器２００が通信網に接続できなかった状況では、認識されたオブジェクトの情報、感知されたユーザの特定行為の情報、及びカメラモジュール２４０によって生成された画像または動画は一次的にウェアラブル機器２００内の貯蔵部２３０に貯蔵されるが、後にウェアラブル機器２００が無線通信網に連結されたら上述した各種データが管理サーバ３００に伝送される。
【００５４】
図５は、本発明の一実施例による管理サーバ３００でウェアラブル機器２００から受信される情報を管理し、それを介して最終的に特定イベントが発生したのかを判断する動作に関する順序図である。図５も図４の内容と同じく、少なくとも一部のステップが省略されるか互いに順番が変更されてもよい。
【００５５】
管理サーバ３００は、図４のＳ４６０で、ウェアラブル機器２００がオブジェクトの情報及びユーザの特定行為と共に、それに関して生成された画像または動画を伝送したらそれを受信するＳ５１０。
【００５６】
次に、管理サーバ３００は受信した画像または動画上でオブジェクトまたはユーザの身体に関する予め設定された動作が感知されるのか否かを機械学習または人工知能に基づいて判断するＳ５２０。
【００５７】
管理サーバ３００は、Ｓ５２０の判断結果、該当オブジェクトに関して予め設定された動作が一つ以上感知されたのかを判断しＳ５３０、予め設定された動作が一つ以上感知されれば、それに基づいて特定イベントの発生可否を判断するＳ５４０。管理サーバ３００は、特定イベントが発生したと判断したら、ユーザ端末機４００に発生したイベントに関する情報を伝送するＳ５６０。
【００５８】
以下、図６乃至図７では、前記図１及び図２のような構成を介してウェアラブル機器２００でオブジェクトイベントを感知する動作を詳しく説明する。図６乃至図７を介して説明される実施例では、図４乃至図５の説明とは異なって、動作及びイベントの検出と判断が管理サーバ３００ではなくウェアラブル機器２００上で行われる。
図６乃至図７の各ステップのうち、少なくとも一部は省略されるか互いに順番が変更されてもよい。
図６は、本発明の一実施例によるウェアラブル機器２００でオブジェクトのイベントを感知する動作の順序図である。
【００５９】
ユーザがオブジェクトに隣接すれば、ウェアラブル機器２００が電子コード１００を認識しＳ６１０、ウェアラブル機器２００のカメラモジュール２４０を介してオブジェクトの映像画像を収集するＳ６２０。例えば、特定薬（ｍｅｄｉｃｉｎｅ）の包装紙に電子コード１００が記載されているか付着されていて、ユーザがウェアラブルバンドを手首に着用したまま薬の包装紙を取ったら、ウェアラブルバンドの通信モジュールが電子コードをスキャンして「薬」というオブジェクトを認識する。それによって、ウェアラブル機器２００のカメラモジュール２４０が活性化されて前記薬を撮影することで、該当映像画像を収集する。
【００６０】
次に、ウェアラブル機器２００はローカルの貯蔵部２３０または管理サーバ３００を介し、前記スキャンされたオブジェクト（例えば、薬）に対応するコンテンツ（例えば、該当薬のイメージ）を確認し、確認されたコンテンツと前記撮影または撮像を介して収集された画像を比較して、収集された映像画像が前記確認されたコンテンツにマッチするのかを判断するＳ６３０。
【００６１】
一実施例によると、このようなＳ６３０のマッチング判断動作は、画像類似度判別技術を利用した第１判別アルゴリズムを介して行われる。例えば、制御部２２０は撮影を介して収集された映像とスキャンを介して確認された映像の色相と質感などの領域を分割し、位置情報と色相テーブルまたはオブジェクトの類似性に基づくマッチング作業を介して画像類似度を判断してもよい。このような第１判別アルゴリズムは多様な画像類似度判別技術を含んでもよく、特定技術に限らない。
【００６２】
また、マッチするのかを判断する方法は、前記類似度作業を介して導出された類似度数値が所定閾値以上であるのか否かで判断される。このような類似度数値は、前記画像類似度判別過程で導出される。類似度数値が所定閾値以上であれば、制御部２２０は撮影された画像と電子コードのスキャンによって確認された画像がマッチすると判断し、この際の時間情報を第１時間情報と記録するＳ６４０。よって、このような第１時間情報は、特定オブジェクトがイベント発生をモニタリングするためのオブジェクトであるのかを確認した時間情報である。
【００６３】
一実施例によると、第１時間情報は、例えば、イベント発生のデータ分析のためのメタデータとして使用されてもよく、ユーザパターンを分析する情報として利用されてもよい。限られない例として、前記第１時間情報と後述する第２時間情報に所定値以上の時間差があれば、場合によっては第２時間情報をエラーデータと判別することもある。例えば、ユーザが薬に触ったが、数時間が経ってから該当薬が口に運ばれると認識されたら、前記認識された薬を飲んだと判断するにはエラーが発生する恐れがあるためである。但し、このような第１時間情報の記録は省略されてもよい。
【００６４】
また、制御部２２０は、前記類似度数値を第１判別アルゴリズムの確率情報として産出する。このような第１判別アルゴリズムの確率情報は、後述する有効なイベントであるのかを確率的に判断して累積されたデータに対する信頼度を確保するのに利用される。
一方、Ｓ６３０でマッチングを満足しなければ、図３の動作は終了されるか、新たなオブジェクトの電子コードを認識するようにアイドル状態で待機する。
【００６５】
次に、制御部２２０は更に前記オブジェクトに対する映像を収集し、収集された映像がイベント条件を満足するのかを判断するＳ６５０。一実施例によると、イベント条件は前記オブジェクトに対してユーザの身体に関する予め設定された動作が感知されるのかを確認する条件である。例えば、制御部２２０はユーザが取り出した薬がユーザの身体の一部である口に入るのかを確認してもよい。このような確認動作は、機械学習またはアルゴリズムに基づく第２判別アルゴリズムを適用して導出される。例えば、制御部２２０は公知の規格学習を利用した画像分析技術などを利用して「口」という特定身体を認識し、前記オブジェクトがユーザの口に所定距離以内に近接するのかを収集される撮影画像を介して確認する。
【００６６】
収集されたが映像がイベント条件を満足すれば、制御部２２０は前記映像が収集された時点を第２時間情報として記録するＳ６６０。例えば、制御部２２０は、前記薬が口に入る時点、またはそれと所定誤差範囲内の時点を第２時間情報として記録してもよい。このような第２時間情報はそのままオブジェクトのイベント発生時刻として決定されてもよいが、特定条件を満足するのか否かを先に判断した後、有効なイベントであるのかで決定されてもよい。有効なイベントとは、ユーザが該当オブジェクトで発生したイベントのうち時間情報として記録するために任意に選択したイベントを意味する。
【００６７】
また、制御部２２０は、前記のような第２判別アルゴリズムを介して前記ユーザの身体に関する予め設定された動作が感知されたのかを数値化した値で導出し、それを第２判別アルゴリズムの確立情報として産出する。このような第２判別アルゴリズムの確率情報も、上述した第１判別アルゴリズムの確率情報と同じく、該当オブジェクトで発生したイベントが有効なイベントであるのかを確率的に判断するのに利用される。
【００６８】
次に、制御部２２０は確率情報に基づいて有効なイベントであるのかを最終的に決定するＳ６７０。詳しくは、制御部２２０は第１判別アルゴリズムの確率情報と第２判別アルゴリズムの確率情報を合算して、所定値以上であったら有効なイベントが発生したと判断し、前記第２時間情報を有効イベント発生時間と決定する。例えば、制御部２２０は、該当オブジェクトがモニタリングの対象オブジェクト（例えば、薬）であるのかを数値的に換算し、該当オブジェクトが所定イベント（例えば、口に近接する行為）が発生するのかを数値的に換算して、それを足した値が所定値以上である場合にのみ、それを有効なイベントと判断する。
【００６９】
この場合、制御部２２０は、第２判別アルゴリズムの確率情報に第１判別アルゴリズムの判別情報より高い重み付け値を与える。イベント発生条件において、実際にオブジェクトであるか否かよりは、該当オブジェクトにいかなる動きが発生したのかがより重要な要素である可能性があり、イベント条件を満足するのかを確認する過程で該当オブジェクトに関する認識過程が伴う可能性もあるためである。但し、このようなＳ６７０を省略し、単に前記第２時間情報を有効なイベント発生時間に決定してもよい。
【００７０】
一方、図３で収集、記録されたか算出された映像画像、時間情報、確率情報は、リアルタイムに、周期的に、または任意の時点に管理サーバ３００に自動的に伝送される。管理サーバ３００は、収集された情報に基づいて多様な方式でユーザをガイド（例えば、報知）するか、データ分析を介してより改善された政策を立てるのに情報を提供する。
【００７１】
図７は、本発明の他の実施例によるウェアラブル機器２００でオブジェクトのイベントを感知する動作の順序図である。このような図７の内容のうち、図６と重複する内容は省略するか簡略にする。図７も図６の内容と同じく、少なくとも一部のステップが省略されるか互いに順番が変更されてもよい。
【００７２】
図７では、一部の実施例によって上述した図６のＳ６１０の代わりに、ユーザの特定行為を認識することを条件にしてカメラモジュール２４０を活性化させている。そのために、制御部２２０は、センサモジュール、カメラモジュール２４０、または通信モジュール２１０をかいしてユーザの特定行為を感知するＳ７１０。ユーザの特定行為はユーザの身体の固有の動きを含むが、例えば、食べ物を食べる際にウェアラブル機器２００が着用された手が食べ物を口に運ぶ動作などを感知する。この場合、制御部２２０は、センサモジュールを介してユーザの特定行為を認識できるように予め指定された値に当たるセンサ値が収集されるか、または収集されたセンサ値を分析し、特定パターンに該当したら認識すると設定してもよいが、これに限らない。
【００７３】
前記のようにユーザの特定行為が感知されれば、制御部２２０はカメラモジュール２４０を活性化して映像画像を収集しＳ７２０、次に、図３の内容と同じくまたは類似してオブジェクトの画像確認作業Ｓ７３０とイベント条件満足作業Ｓ７４０を経て時間情報を記録するＳ７５０。図６のように時間情報を第１時間情報と第２時間情報に区分した機能と、確率情報に基づいて有効イベントを決定する機能は図７で省略されてよいが、これとは異なって図６で説明した内容が同じく行われてもよい。
【００７４】
上述した図１乃至図７の実施例を介し、ウェアラブル機器２００によって特定イベントの発生可否と発生時間が記録されることで、ヘルスケアのような分野で忘れがちなユーザのイベントを感知してより効率的なガイドシステムを提供することができ、ユーザパターンなどを学習してデータを分析できるシステムを具現することができる。
【００７５】
本発明の実施例について説明した方法またはアルゴリズムのステップは、ハードウェアで直接具現されるか、ハードウェアによって実行されるソフトウェアモジュールで具現されるか、またはこれらの結合によって具現される。ソフトウェアモジュールは、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ  Ｍｅｍｏｒｙ）、ハードディスク、着脱型ディスク、ＣＤ−ＲＯＭ、または本発明が属する技術分野でよく知られている任意の形態のコンピュータで読み取り可能な記録媒体に常住してもよい。
【００７６】
これまで添付した図面を参照して本発明の実施例を説明したが、本発明が属する技術分野の通常の技術者は、本発明がその技術的思想や必須的特徴を変更せずも他の具体的な形態に実施され得ることを理解できるはずである。よって、上述した実施例は全ての面で例示的で、制限的ではないと理解すべきである。
【図１】
2021520569.tif 000003
【図２】
2021520569.tif 000004
【図３】
2021520569.tif 000005
【図４】
2021520569.tif 000006
【図５】
2021520569.tif 000007
【図６】
2021520569.tif 000008
【図７】
2021520569.tif 000009
【手続補正書】
【提出日】令和3年1月27日(2021.1.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
薬物投与イベントが、ウェアラブル機器を通して生成される映像を使用して生じたかどうかを判断するためのサーバであって、
前記ウェアラブル機器と通信するサーバ通信部と、
イベント発生判断アルゴリズムを貯蔵するサーバ貯蔵部と、
前記サーバ貯蔵部を介して前記映像を得るように、および前記イベント発生判断アルゴリズムを得られた前記映像に適用することによって、前記映像に含まれるオブジェクトおよびアクションの確率情報をチェックし、かつ前記薬物投与イベントが前記オブジェクトおよび前記アクションのチェックされた前記確率情報に基づいて生じたかどうかを判断するように構成され、前記オブジェクトおよび前記アクションは薬物投与に関連しており、前記映像は複数の映像画像を含み、前記複数の映像画像のうちの少なくとも一部はユーザの手のひらの少なくとも一部分を含む、サーバ制御部と、を含み、
前記薬物投与に関連している前記オブジェクトは、薬物および薬物容器のグループから選択される少なくとも１つを含み、
前記薬物投与に関連している前記アクションは、薬物容器を保持するアクション、薬物容器を開放するアクション、および薬物を摂取するアクションのグループから選択される少なくとも１つを含む、サーバ。
【請求項２】
前記サーバ制御部は、前記オブジェクトおよび前記アクションの前記確率情報をチェックし、前記オブジェクトの前記確率情報をチェックした後に前記アクションの前記確率情報をチェックするようにさらに構成される、請求項１に記載のサーバ。
【請求項３】
前記サーバ制御部は、第１のオブジェクトが前記オブジェクトの前記確率情報に従って認識される時、前記第１のオブジェクトに対応する第１のアクションの前記確率情報をチェックするように、および、第２のオブジェクトが前記オブジェクトの前記確率情報に従って認識される時、前記第２のオブジェクトに対応する第２のアクションの前記確率情報をチェックするようにさらに構成される、請求項２に記載のサーバ。
【請求項４】
前記サーバ制御部は、前記第１のオブジェクトが認識される時、前記薬物投与イベントが前記第１のアクションの前記確率情報に基づいて生じたかどうかを判断するように、および、前記第２のオブジェクトが認識される時、前記薬物投与イベントが前記第２のアクションの前記確率情報に基づいて生じたかどうかを判断するようにさらに構成される、請求項３に記載のサーバ。
【請求項５】
前記イベント発生判断アルゴリズムは第１のアルゴリズムおよび第２のアルゴリズムを含み、前記第１のアルゴリズムは、前記複数の映像画像のうちの少なくとも１つに基づいて前記オブジェクトおよび前記アクションの前記確率情報をチェックするように設計され、前記第２のアルゴリズムは、前記薬物投与イベントが、前記オブジェクトおよび前記アクションのチェックされた前記確率情報、および前記複数の映像画像のうちの少なくとも１つの時間情報に基づいて生じたかどうかを判断するように設計される、請求項１から４のいずれか一項に記載のサーバ。
【請求項６】
前記サーバ制御部は、前記薬物投与イベントの発生が前記イベント発生判断アルゴリズムを前記映像に適用することによって判断される時、薬物投与イベント発生情報を、前記サーバ通信部を介して前記ウェアラブル機器に伝送するようにさらに構成される、請求項１から５のいずれか一項に記載のサーバ。
【請求項７】
請求項１から６のいずれ一項に記載のサーバ、およびウェアラブル機器を含むシステムであって、前記ウェアラブル機器は、
予め定められた領域に位置する薬物関連オブジェクトに関連しているオブジェクト情報を前記ウェアラブル機器から受信する第１のウェアラブル通信モジュールと、
前記映像を生成するカメラモジュールと、
前記第１のウェアラブル通信モジュールを通して受信された前記オブジェクト情報に基づいて前記カメラモジュールを活性化するかどうかを判断し、かつ前記カメラモジュールの活性化が判断される時、予め定められた時間で映像記録を行って前記映像を生成するように構成されるウェアラブル制御部と、
前記第１のウェアラブル通信モジュールを通して受信された前記オブジェクト情報、および前記カメラモジュールによって生成された前記映像のグループから選択される少なくとも１つを前記サーバに伝送する第２のウェアラブル通信モジュールと、を含む、システム。
【請求項８】
前記ウェアラブル制御部は、前記オブジェクト情報を使用して前記薬物関連オブジェクトを認識するように、および、前記第１のオブジェクトが認識され、かつ前記第１のオブジェクトがさらにまた第１の時間内に認識される時、前記カメラモジュールを非活性化状態にするように制御するようにさらに構成される、請求項７に記載のシステム。
【請求項９】
前記ウェアラブル制御部は、前記オブジェクト情報を使用して前記薬物関連オブジェクトを認識するように、および、前記第１のオブジェクトが認識され、かつ前記第２のオブジェクトが第１の時間内に認識される時、前記カメラモジュールを活性化状態にするように制御するようにさらに構成される、請求項７に記載のシステム。
【請求項１０】
前記ウェアラブル制御部は、前記オブジェクト情報を使用して前記薬物関連オブジェクトを認識するように、前記第１のオブジェクトが認識される時、前記カメラモジュールに第２の時間に前記映像を記録させるように制御するように、および、第２のオブジェクトが認識される時、前記カメラモジュールに前記第２の時間より長い第３の時間に前記映像を記録させるように制御するようにさらに構成される、請求項７に記載のシステム。
【請求項１１】
前記ウェアラブル制御部は、前記第１のウェアラブル通信モジュールによって前記オブジェクト情報を受信する時、信号強度に基づいて前記カメラモジュールを活性化するかどうかを判断するようにさらに構成される、請求項７から１０のいずれか一項に記載のシステム。
【請求項１２】
前記ウェアラブル制御部は、前記第２のウェアラブル通信モジュールを予め定められた期間内に動作させるように制御するようにさらに構成される、請求項７から１１のいずれか一項に記載のシステム。
【国際調査報告】
2021520569.tif 000010
2021520569.tif 000011
2021520569.tif 000012
2021520569.tif 000013