【手続補正書】
【提出日】令和3年10月28日(2021.10.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラにより二次元映像を取得する２Ｄ情報取得部と、カメラからステレオ処理により、三次元データを取得する３Ｄ情報取得部と、取得した二次元映像から検出対象者を分類する対象分類部と、前記検出対象者の行動パターンを特定する行動特定部と、前記特定された行動パターンに基づき、前記三次元データを分析して身体特徴を抽出する身体特徴抽出部と、抽出した特徴を用いて身体健康状態を分析する状態分析部と、を備えることを特徴とする身体健康状態映像分析装置。
【請求項２】
請求項１に記載の身体健康状態映像分析装置であって、
前記特定した行動パターンに対してステレオ処理を行い、三次元データを取得することを特徴とする身体健康状態映像分析装置。
【請求項３】
請求項１に記載の身体健康状態映像分析装置であって、
前記取得した三次元データを用いて、身体特徴を抽出することを特徴とする身体健康状態映像分析装置。
【請求項４】
請求項１に記載の身体健康状態映像分析装置であって、
前記取得した二次元映像、三次元データを用いて、複数の高齢者の身体健康状態を分析することを特徴とする身体健康状態映像分析装置。
【請求項５】
請求項１に記載の身体健康状態映像分析装置であって、
前記行動特定部において特定する行動は、複数の行動の組合せすることが可能であることを特徴とする身体健康状態映像分析装置。
【請求項６】
請求項１に記載の身体健康状態映像分析装置であって、
時間に応じて、分析する身体健康状態の調整することを特徴とする身体健康状態映像分析装置。
【請求項７】
請求項１に記載の身体健康状態映像分析装置であって、
高齢者の健康度合いに応じて、分析する身体健康状態を調整することを特徴とする身体健康状態映像分析装置。
【請求項８】
管理対象者を二次元映像として取得して二次元映像から管理対象者を特定するとともに監視対象者の行動パターンを特定し、管理対象者を三次元映像として取得して前記特定された行動パターンに基づき、前記三次元映像を分析して身体特徴を抽出し、抽出した特徴を用いて身体健康状態を分析することを特徴とする身体健康状態映像分析方法。
【請求項９】
管理対象者を二次元映像として取得して二次元映像から管理対象者を特定し、かつ監視対象者の行動パターンを特定し、管理対象者を三次元映像として取得して前記特定された行動パターンに基づき、前記三次元映像を分析して身体特徴を抽出し、抽出した特徴を用いて身体健康状態を分析するとともに、
少なくとも管理対象者を二次元映像として取得する場所、前記身体健康状態を分析する場所はクラウドを介して通信により接続されていることを特徴とする身体健康状態映像分析システム。
【請求項１０】
請求項９に記載の身体健康状態映像分析システムであって、
前記管理対象者の関係者がいる場所はクラウドを介して通信により接続されており、少なくとも前記身体健康状態の分析結果を確認できることを特徴とする身体健康状態映像分析システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
【図１】本発明の実施例１に係る身体健康状態映像分析装置の構成例を示す図。
【図２】図１の対象分類部１２のさらに詳細な構成例を示す図。
【図３】各フレームにおける高齢者の行動領域（存在領域）を示す図。
【図４】本発明の実施例２に係る身体健康状態映像分析装置の構成例を示す図。
【図５】計算機装置で実施する身体健康状態映像分析方法の処理の流れを説明するための図。
【図６】ステレオカメラを用いて高齢者のＳＩＤＥテストベースで身体健康状態を評価するときの処理の流れを説明するための図。
【図７】本発明の実施例５に係る身体健康状態映像分析装置の構成例を示す図。
【図８】本発明の実施例６に係る身体健康状態映像分析装置の構成例を示す図。
【図９】本発明の実施例７に係る身体健康状態映像分析装置の構成例を示す図。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
図１では、まずカメラ１０から二次元映像を取得する。カメラ１０は単眼カメラの組合せやステレオカメラでもよい。単眼カメラは、画像センサとレンズで構成されている。画像センサは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などの撮像素子を含む機構である。レンズには、ズーム可能なレンズや固定レンズがある。撮影されたものはＢＭＰ、ＪＰＥＧなどの型式により保存する。撮影情報には、ＲＧＢ情報が含まれている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
ステレオカメラは、複数視点から同時に撮影することにより、奥行きＤｅｐｔｈ取得できるカメラである。最近、市販のステレオカメラが増加している。例えば、インテルのＲｅａｌＳｅｎｓｅカメラはよく利用されている。それらのステレオカメラは二次元映像、三次元データを同時に取得することができる。本発明は二つ単眼カメラを構成したステレオカメラを用いた身体健康状態の分析を例とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
図１の身体健康状態分析部１６では、身体特徴抽出部１４で抽出した身体の特徴を用いて、身体健康状態を分析する。分析には専門家のノウホウを活かすことが重要である。現在高齢者の健康状態を評価するには様々な指標および専門家の評価項目がある。例えば歩行能力を評価指標としてＴＵＧ指標がある。認知機能を評価するＭＭＳＥ（ミニメンタルステート検査）評価指標がある。前記抽出した特徴に基づいて、指標の算出することを可能である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
また３Ｄ情報取得部１５からの三次元情報Ｄ２は、画像から特定した歩く行動に対して、特定された領域についての、図３に例示した高齢者の領域情報２６、２７に対して、ステレオ処理を行い、三次元情報Ｄ２としたものである。三次元情報Ｄ２によれば、ＸＹＺ軸で表現される３次元の空間に対して高齢者の場所および、実際的な輪郭情報３１を把握することができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
そのうえで、身体特徴抽出部１４は、空間上における高齢者の輪郭情報３１を用いて、特徴を抽出する。例えば、幅は足元の輪郭位置情報を用いて前後フレームで距離を計測することで歩幅の算出することができる。その他、速度、加速度など必要な特徴を算出し、特徴データベースＤＢ３に出力することが可能である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
まず、２次元画像Ｄ１から、高齢者の骨格を抽出する。骨格の抽出には、Ｍａｓｋ  Ｒ−ＣＮＮ手法を利用するのがよい。Ｍａｓｋ  Ｒ−ＣＮＮは、Ｒ．Ｇｉｒｓｈｉｃｋ  ｅｔ  ａｌ．，  “Ｄｅｔｅｃｔｒｏｎ”論文に記載したものを利用する。ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｆａｃｅｂｏｏｋｒｅｓｅａｒｃｈ／ｄｅｔｅｃｔｒｏｎ、２０１８．  
これによれば、人の骨格にある１７個の関節を抽出することが可能である。１７個の関節は、鼻、右目、左目、右耳、左耳、右肩、左肩、右手、左手、左手首、右手首、左腰、右腰、左膝、右膝、左足首、右足首である。画像座標の中心座標（ｖｃ、ｕｃ）を用いて、２次元画像Ｄ１による、１７個の関節の画像情報を表すと（５）式で表すことができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
（５）式は１７の関節についての特徴を、画像座標において数式化したものである。これを（６）式により、同じ関節に対する世界座標の情報として変換し、１７個の三次元情報として表す。なお、三次元の算出方法は、ステレオ方法や、事前に入力することも可能である。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
図５のフローではまず、処理ステップＳ４０において２Ｄ情報取得から画像情報を取得する。取得した画像情報から高齢者認証処理ステップＳ４１、高齢者追跡処理ステップＳ４２、高齢者行動分析処理ステップＳ４３を行う。これらの一連の処理は、高齢者が椅子から立ち上がり、歩くなどをしたのちに再び着座する一連の動作が完了するまで継続実施される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
実施例４は、まず実施例３と同じく、処理ステップＳ５０において２Ｄ情報取得から画像情報を取得する。取得した画像情報から高齢者認証処理ステップＳ５１、高齢者追跡処理ステップＳ５２、高齢者行動分析処理ステップＳ５３を行う。これらの一連の処理は、高齢者が椅子から立ち上がる動作が完了するまで継続実施される。処理ステップＳ５７は、この間の三次元情報Ｄ２を取得する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
実施例５では、時間設定情報データベースＤＢ４に格納した時間設定情報６０を用いて、行動特定部１３内の処理を朝昼夜に変更することができる。例えば朝時間に対して、朝行動特定部６１を実施する。それに対応する朝身体特徴抽出部６４から身体特徴を抽出する。同じく、昼の場合は、昼行動特定部６２、昼身体特徴抽出部６５となる。夜の場合は、夜行動特定部６３、夜身体特徴抽出部６６となる。それによって時間帯に応じて、身体健康状態分析部１６はよりフレキシブル設定することができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正の内容】
【００８９】
さらに、身体特徴抽出部１４は、前記出力された三次元情報Ｄ２、特定された足行動情報Ｄ１を用いて、身体特徴を抽出する。最後に、身体健康状態分析部１６が抽出した身体特徴に基づいて、足のリハビリテーションによって、足の度合いは良くなるかなれないかの判断することができる。現状の足の度合いを再び健康度合いデータベースに登録することも可能である。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
１０：カメラ、１１：２Ｄ情報取得部、１２：対象分類部、１３：行動特定部、１４：身体特徴抽出部、１５：３Ｄ情報取得部、１６：身体健康状態分析部、２０：画像、ＤＢ１：認証登録データベース、２２：検知部、２３：認証部、２４追跡部、ＤＢ２：追跡結果データベース、２６：高齢者Ａの結果、２７：高齢者Ｂの結果、ＤＢ３：特徴データベース、ＤＢ４：時間設定情報データベース、６１：朝行動特定部、６２：朝身体特徴抽出部、６３：昼行動特定部、６４：昼身体特徴抽出部、６５：夜行動特定部、６６：夜身体特徴抽出部、ＤＢ５：健康度合いデータベース、７１：度合い行動選別部
【手続補正１５】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2020124367.tif 000001