JP 2020-161136 A 2020.10.1(57)【要約】【課題】システムの構築と変更を容易に行うことにより多種多様なセンサに柔軟に対応可能とし、また高度なＡ
ＤＬの認識を実現可能な情報処理装置を提供する。
【解決手段】情報処理装置は、種々のセンサから得られる各々のイベントの内容を、入力同期併合処理部、条件判断処理部、学習データ処理部、を通じて、ＡＤＬ識別
処理部に引き渡す。ＡＤＬ識別処理部は、受信したイベ
ントを、人の状態、物の状態、場所の状態、時間の状態
が、ツリー構造で記述されていることによってＡＤＬを定義するＯＷＬ定義ファイルを参照して、観察対象者のＡＤＬを判定する。
【選択図】図３

(2)JP 2020-161136 A 2020.10.1【特許請求の範囲】【請求項１】
複数のセンサから得られるデータを集約してセンサレベルのイベントを形成するセンサ
レベルデータフローと、
前記センサレベルデータフローから得られる前記センサレベルのイベントから観察対象
者の基礎的な振る舞いを推定して概念レベルのイベントを形成する概念レベルデータフロ
ーと、
前記概念レベルデータフローから得られる前記概念レベルのイベントから前記観察対象
者のＡＤＬを認識するＡＤＬ認識層とを具備する、情報処理装置。
【請求項２】
前記センサレベルデータフローは、
複数のセンサから得られるデータの集合体である時系列データ群に対して所定のフォー
マット整形処理を施すデータフォーマット処理部とを具備し、前記概念レベルデータフローは、
前記データフォーマット処理部が出力する、整形処理された時系列データ群をイベントを表現するデータであるセマンティックコンテキストデータ群に変換するデータ駆動処理部とを具備し、前記ＡＤＬ認識層は、
前記セマンティックコンテキストデータ群に基づき、観察対象者のＡＤＬ及びＦＩＭを判定するオントロジー推論処理部とを具備する、請求項１に記載の情報処理装置。
【請求項３】
前記オントロジー推論処理部は、ＡＤＬとＦＩＭを定義するＯＷＬ定義ファイルを参照
して、前記観察対象者のＡＤＬとＦＩＭを判定する、ＡＤＬ・ＦＩＭオントロジー解析処理部を有し、
前記ＡＤＬ・ＦＩＭオントロジー解析処理部は、前記セマンティックコンテキストデー
タ群の特定の条件において、ダミーの任意コンテキストを挿入した上で、判定処理を遂行する、
請求項２に記載の情報処理装置。
【請求項４】
前記セマンティックコンテキストデータ群は、少なくとも意味的役割として、動作主、対象、道具、共役者、場所、空間的始点、空間的終点、時間的始点、時間的終点、補助、
姿勢、移動距離を有する、
請求項３に記載の情報処理装置。
【請求項５】
前記センサレベルデータフローは、
時系列データを所定の時間間隔毎に区切り、日時情報とタグ名を付したイベントとして出力する入出力整形処理部と、主入力側のイベントと副入力側のイベントを併合し、日時情報とタグ名を付した単一のイベントに変換して出力する入力同期併合処理部と、単一のイベントに含まれるデータに対し、所定の条件判断を行い、条件判断の結果に応じて異なるイベントを出力する条件判断処理部とを具備し、前記概念レベルデータフローは、
単一のイベントに含まれるデータを特徴ベクトルとして学習型情報処理装置に転送し、受信した推定結果を単一のイベントとして出力する学習データ処理部と
を具備し、

10

20

30

40

50

(3)

JP 2020-161136 A 2020.10.1

前記ＡＤＬ認識層は、
前記入力同期併合処理部と、前記条件判断処理部と、前記学習データ処理部から出力されるイベントを受信して、観察対象者のＡＤＬを判定するＡＤＬ識別処理部とを具備する、請求項１に記載の情報処理装置。
【請求項６】
前記ＡＤＬ識別処理部は、前記入力同期併合処理部と、前記条件判断処理部と、前記学
習データ処理部から出力されるイベントを、人の状態、物の状態、場所の状態、時間の状
態が、ツリー構造で記述されていることによってＡＤＬを定義するＯＷＬ定義ファイルを参照して、前記観察対象者のＡＤＬを判定する、
請求項５に記載の情報処理装置。
【請求項７】
前記入力同期併合処理部と、前記条件判断処理部と、前記学習データ処理部は、定義フ
ァイルに記述されたディレクティブに従い、イベントの処理に際し、前記入力同期併合処理部と、前記条件判断処理部と、前記学習データ処理部をそれぞれ複数個配置することが可能であることを特徴とする、請求項６に記載の情報処理装置。
【請求項８】
前記入出力整形処理部は、ＪＳＯＮフォーマットのイベントに、日時情報とタグ名を付すことを特徴とする、請求項７に記載の情報処理装置。
【発明の詳細な説明】【技術分野】【０００１】
本発明は、多種多様な情報を受け入れて所定の出力を得る情報処理装置に関する。
【背景技術】【０００２】
高齢者の人口は世界中で急増している。医学の進歩などにより人の寿命が伸びる一方、全人口に占める労働人口の割合は減少し、介護・医療スタッフの不足を始めとした様々な問 題 が 生 じ て い る 。 こ れ ら の 問 題 を 解 決 す る た め に 、 Ａ Ａ Ｌ （ Ambient Assisted Living：自立生活支援技術）が大きな関心を集めている。
【０００３】Ａ Ａ Ｌ は 、 我 々 を 取 り 巻 く Ａ Ｉ （ Artificial Intelligence： 人 工 知 能 ） ・ Ｉ ｏ Ｔ （ Int
ernet of Things： モ ノ の イ ン タ ー ネ ッ ト ） 技 術 を 駆 使 し 、 高 齢 者 の 自 立 し た 生 活 を 可 能
な 限 り 持 続 さ せ る こ と で 、 Ｑ Ｏ Ｌ （ Quality of Life： 生 活 の 質 ） の 向 上 を サ ポ ー ト し ていくことである。ＡＡＬデバイスやサービスを適切に使用することで、廃用症候群等の予防や、リハビリの補助、また日常生活のサポートを通して、高齢者のＱＯＬを維持する、
もしくは改善する、といったことが期待される。
【０００４】Ａ Ａ Ｌ 研 究 者 に お い て 特 に 大 き な 注 目 を 集 め て い る 話 題 の 一 つ が 、 Ａ Ｄ Ｌ （ Activities
of Daily Living： 日 常 生 活 動 作 ） の 観 察 で あ る 。 Ａ Ｉ ・ Ｉ ｏ Ｔ 技 術 を 活 用 し 、 高 齢 者 のＡＤＬをモニタリングし、結果に応じたフィードバックを投げかけることで、廃用症候群の防止、またリハビリ進展度の判断等に役立つことが期待される。
【０００５】
特許文献１には、顔の表情と動作を認識可能な顔表情動作認識方法及び装置が開示されている。
特許文献２には、効率良く多職種間の連携を支援する、連携支援装置、連携支援システ
ム、連携支援方法、及びプログラムが開示されている。
【先行技術文献】【特許文献】【０００６】【特許文献１】特開２０１７−１６２４０９号公報【特許文献２】特開２０１６−２１２９２５号公報

10

20

30

40

50

(4)

JP 2020-161136 A 2020.10.1【発明の概要】【発明が解決しようとする課題】【０００７】
ＡＤＬの観察には、ＡＩ等の学習アルゴリズムが用いられる。学習アルゴリズムを実行する計算機に、観察対象の状態や行動等を計測した情報を入力し、観察対象の状態や行動を推定する。
これまで、学習アルゴリズムを用いた事象認識技術は、入力されるデータの形態に柔軟性がなく固定的なものであった。すなわち、計算機で実行されるプログラムは固定的に構築されているため、装置が完成した後から、例えば新たなセンサ等の新たな種類の情報を追加することが困難であった。
【０００８】
また、現在主流の学習アルゴリズムを用いた情報処理装置は、バッチ学習と呼ばれる、一度に大量のデータを情報処理装置に与えて学習させる手法が採用されている。しかし、多くの事象において、統一されたフォーマットのデータを大量に入手することは困難である。ＡＤＬの観察においても同様で、ある観察対象者から大量のデータを得ることは困難である場合が多い。
更に、学習アルゴリズムが実現するＡＤＬの認識は、立っている、座っている、寝ている等、ごく簡単なものであれば実現が容易であるが、着替え、歯磨きや洗面等、複雑な動作の組み合わせよりなるＡＤＬの認識は困難である。
【０００９】
本発明はかかる課題に鑑みてなされたものであり、システムの構築と変更を容易に行う
ことにより多種多様なセンサに柔軟に対応可能とし、また高度なＡＤＬの認識が実現可能な情報処理装置を提供することを目的とする。
【課題を解決するための手段】【００１０】
上記課題を解決するために、本発明の情報処理装置は、複数のセンサから得られるデー
タを集約してセンサレベルのイベントを形成するセンサレベルデータフローと、センサレ
ベルデータフローから得られるセンサレベルのイベントから観察対象者の基礎的な振る舞いを推定して概念レベルのイベントを形成する概念レベルデータフローと、概念レベルデータフローから得られる概念レベルのイベントから観察対象者のＡＤＬを認識するＡＤＬ
認識層とを具備する。
【発明の効果】【００１１】
本発明によれば、情報処理装置がシステムの構築と変更を容易に行うことができるので、多種多様なセンサに柔軟に対応することができる。また、少量のデータで効率的な学習を実現することができ、また高度なＡＤＬの認識を実現可能な情報処理装置を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】【００１２】【図１】本発明の第一の実施形態に係る情報処理装置の全体構成を示すブロック図である。
【図２】情報処理装置のハードウェア構成を示すブロック図である。
【図３】情報処理装置のソフトウェア機能を示すブロック図である。
【図４】入力同期併合処理部と、条件判断処理部と、学習データ処理部と、ＡＤＬ識別処
理部の入出力を説明するブロック図である。
【 図 ５ 】 オ ン ト ロ ジ ー 編 集 用 エ デ ィ タ 「 Protege」 を 用 い た 、 観 察 対 象 者 の Ａ Ｄ Ｌ を 編 集する様子を示す画面イメージである。
【 図 ６ 】 オ ン ト ロ ジ ー 編 集 用 エ デ ィ タ 「 Protege」 を 用 い た 、 観 察 対 象 者 の Ａ Ｄ Ｌ を 編 集する様子を示す一部拡大画面イメージである。

10

20

30

40

50

(5)

JP 2020-161136 A 2020.10.1【図７】情報処理装置が実行するデータ処理のアーキテクチャを示す概念図である。
【図８】本発明の第二の実施形態に係る情報処理装置の、ソフトウェア機能の全体像を示すブロック図である。
【図９】本発明の第二の実施形態に係る情報処理装置の、ソフトウェア機能におけるデー
タ処理の流れを示すブロック図である。
【図１０】各種テーブルのフィールド構成を示す図である。
【図１１】セマンティックコンテキストにおける意味的役割を説明する図である。
【図１２】セマンティックコンテキストデータ群から形成される、セマンティックコンテ
キストの具体例を示す図である。
【図１３】データ駆動処理部で認識されたセマンティックコンテキストの、場所、姿勢及び道具における具体例を示す図である。
【図１４】データ駆動処理部で認識されたセマンティックコンテキストの、対象における具体例を示す図である。
【 図 １ ５ 】 Ｆ Ｉ Ｍ オ ン ト ロ ジ ー の 一 部 抜 粋 を Ｏ Ｗ Ｌ エ デ ィ タ の Protege上 で 表 示 し た 図 である。
【図１６】ＡＤＬ／ＦＩＭオントロジーにおける、ＦＩＭの定義の一部を説明する図である。
【図１７】ＦＩＭ評価項目とコンテキストとの関係の一例を説明する図である。
【図１８】作成したＡＤＬ／ＦＩＭオントロジーにおける定義の一例をＯＷＬエディタのProtege上 で 表 示 し た 図 で あ る 。
【図１９】継続して発生するコンテキストの表現例を示す図である。
【図２０】ＤＬ推論器が実施する、推論タスクの一覧を示す図である。
【 図 ２ １ 】 Ｄ Ｌ 推 論 器 の 動 作 の 一 例 を Ｏ Ｗ Ｌ エ デ ィ タ の Protege上 で 表 示 し た 図 で あ る 。
【図２２】任意コンテキストを含むセマンティックコンテキストの一例を示す図である。
【図２３】複数のシナリオでの実験結果をガントチャートにて示す図である。
【発明を実施するための形態】【００１３】
ＡＤＬは、その内容によって幾つかの段階に分けられる。
最 も 下 位 に 位 置 す る Ａ Ｄ Ｌ は 、 Basic ADLと も 呼 ば れ る 、 基 本 的 日 常 生 活 行 動 で あ る 。
すなわち、食事、着替え、洗面、トイレ、移動、移乗等の、物理的な特徴を有するＡＤＬである。これらのＡＤＬは、観察対象者の生活自立度（介護度）の判定に利用される。
次 に 上 位 に 位 置 す る Ａ Ｄ Ｌ は 、 Ｉ Ａ Ｄ Ｌ （ Instrumental ADL） と 呼 ば れ る 、 手 段 的 日 常
生活行動である。買い物、料理、掃除、金銭管理、乗り物を使った移動等の精神的な特徴
を 有 す る Ａ Ｄ Ｌ で あ り 、 前 述 の Basic ADLよ り も 複 雑 な 手 順 で 構 成 さ れ る 。 こ れ ら Ａ Ｄ Ｌ
は、観察対象者の社会的活動判定に利用される。
最後に、最上位に位置するＡＤＬは、職務に係るＩＡＤＬ、すなわち職務分野別ＩＡＤ
Ｌである。例えば、オフィス内ＩＡＤＬでは、電子メールの送受信、職務における会議、
書類作成、電話、インターネットｗｅｂサイト検索等、オフィスワークに必要なスキルであり、前述のＩＡＤＬよりも更に高度な処理手順と処理内容を有するＡＤＬである。
【００１４】
上述の様々なＡＤＬには、動作または作業の開始、動作または作業の経過、動作または作業の終了と、最低でも３個の動作または作業の連鎖によって構成される。更に、これら動作または作業には時間経過が存在する。ＡＤＬによっては、動作または作業の経過によっては複数の動作または作業が存在し得る。
このような複雑な動作または作業の、時間軸を跨いだ組み合わせの全ての認識を、学習型情報処理装置に負担させることは困難である。
【００１５】
本発明は、発明者らが出願した特願２０１８−５３４５４に開示した技術の応用である。
発明者らは、センサと学習型情報処理装置として、観察対象者の基本的な状態のみを認

10

20

30

40

50

(6)

JP 2020-161136 A 2020.10.1

識する用途にのみ用い、ＡＤＬの認識にはルールベースの仕組みを採用することとした。
また、発明者らは、ＡＤＬを認識するルールベースのシステムとして、ウェブオントロジ
ー 言 語 Ｏ Ｗ Ｌ （ Web Ontology Language） の 機 能 を 利 用 す る こ と と し た 。
【００１６】［第一の実施形態：情報処理装置１０１：全体構成］
図１は、本発明の第一の実施形態に係る情報処理装置１０１の全体構成を示すブロック図である。
情報処理装置１０１は、例えば、観察対象者である独居高齢者や老人施設における高齢者が適切に生活を営んでいるのかを１日観察する。そして、情報処理装置１０１は観察対
象者を１日観察した結果、どのようなＡＤＬを遂行したのか、当該ＡＤＬの達成度等を記したレポートデータを作成する。このレポートデータは、観察対象者の要介護度認定等に利用される。
従来、このような作業は医療従事者が行っていたが、本発明に係る情報処理装置１０１を採用することで、極めて客観的なレポートデータを作成できると共に、医療従事者の人
手不足解消に大きく貢献できる。
【００１７】
情報処理装置１０１には、顔認識カメラ１０２、赤外線センサや非接触温度センサ等の種々のセンサ１０３ａ、１０３ｂ…が接続されている。情報処理装置１０１はこれらセン
サから、観察対象者を計測した結果得られる情報（時系列データ）を受信する。そして、観察対象者の照合結果に応じて、観察対象者のＡＤＬを判断、あるいは推定する。
【００１８】
情報処理装置１０１が観察対象者のＡＤＬを推定する際には、情報処理装置１０１は、学習アルゴリズムに基づく推定処理を、ネットワークを通じて外部の学習型情報処理装置
１０４に依頼し、外部の学習型情報処理装置１０４から推定結果を受信する。また、情報処理装置１０１は、必要に応じて操作部１０５の操作に従い、液晶ディスプレイ等の表示
部１０６に所定の情報を表示する等の処理を行う。
なお、学習型情報処理装置１０４のソフトウェア機能を情報処理装置１０１に内包させてもよい。
【００１９】［第一の実施形態：情報処理装置１０１：ハードウェア構成］
図２は、情報処理装置１０１のハードウェア構成を示すブロック図である。
情報処理装置１０１は、バス２０１に接続された、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、操作部１０５、表示部１０６、不揮発性ストレージ２０５を備える。
バス２０１には更に、現在日時情報を出力するリアルタイムクロック（ＲＴＣ）２０６、ネットワークインターフェース（ＮＩＣ）２０７、シリアルインターフェース（シリアルＩ／Ｆ）２０８及びＡ／Ｄ変換器２０９が接続されており、シリアルＩ／Ｆ２０８を通じて顔認識カメラ１０２、センサ１０３ａ、１０３ｂ等が接続されている。また、Ａ／Ｄ
変換器２０９を通じてマイク１０７が接続されている。
【００２０】
情 報 処 理 装 置 １ ０ １ と し て は 、 英 国 ラ ズ ベ リ ー パ イ 財 団 （ http://www.raspberrypi.org/） が 開 発 す る 「 Ｒ ａ ｓ ｐ ｂ ｅ ｒ ｒ ｙ Ｐ ｉ 」 等 を 始 め と す る 、 近 年 普 及 し て い る 安 価 な
シングルボードコンピュータが利用可能である他、パソコン等も利用可能である。
学習型情報処理装置１０４は、十分な演算能力を有するパソコン等が利用可能である。
但し、学習型情報処理装置１０４において実行される学習アルゴリズムが要求する演算量が少ない場合は、学習型情報処理装置１０４の持つ機能を情報処理装置１０１に内蔵させてもよい。
【００２１】［第一の実施形態：情報処理装置１０１：ソフトウェア機能］
図３は、情報処理装置１０１のソフトウェア機能を示すブロック図である。
入出力制御部３０１には、顔認識カメラ１０２、赤外線センサや非接触温度センサ等の

10

20

30

40

50

(7)

JP 2020-161136 A 2020.10.1

種々のセンサ１０３ａ、１０３ｂ…が接続されている。また、Ａ／Ｄ変換器２０９を通じて観察対象者の音声を認識するためのマイク１０７も接続されている。
顔認識カメラ１０２や種々のセンサは、情報処理装置１０１におけるマルチモーダルセ
ン サ （ multimodal sensor） と し て 扱 わ れ る 。 す な わ ち 、 顔 認 識 カ メ ラ １ ０ ２ や 種 々 の セ
ンサは、観察対象者や観察対象とする事象を、映像、音声、温度、加速度等、様々な物理量等で計測するセンサ群としてみなされる。
【００２２】
情報処理装置１０１の主たる機能は、入出力制御部３０１に集約されている。この入出力制御部３０１は、サンプリングクロック毎、あるいは所定の時間間隔毎にセンサから得られる情報に、オブジェクト指向の思想に基づいて種々の情報を付加する。種々の情報が付加された情報はイベントと呼ばれる。入出力制御部３０１の大部分の機能は、オープン
ソ ー ス の デ ー タ 収 集 ソ フ ト ウ ェ ア で あ る Ｆ ｌ ｕ ｅ ｎ ｔ ｄ （ https://www.fluentd.org/ ）に、後述する情報処理機能をプラグインとして追加することで実現される。
【００２３】
センサから得られる情報をイベントに格納する際のルールは、センサの種類によって異なる。
例えば温度や湿度、加速度等の一般的な物理現象を計測するセンサの場合は、Ａ／Ｄ変換器２０９のサンプリングクロック毎にデータが取得される。
一方、例えばマイク１０７等から得られる音声データのように、ある程度連続した時間
間隔のデータが必要になる場合は、Ａ／Ｄ変換器２０９のサンプリングクロック毎にデータを取得しても、どのような音が鳴動しているのかわからない。したがってマイク１０７の場合には、無音検出等の周知の技術を用いて、会話等の推定が可能な程度の長さの音声データを取得することが好ましい。
【００２４】
入出力制御部３０１の機能として備わっている入出力整形処理部３０２は、各種センサから得られる情報を、統一されたデータフォーマットに従うプレインテキストで記述されたイベントに変換する。また入出力整形処理部３０２は、必要に応じて、イベントから内容を取り出して、表示部１０６に表示する内容等に変換する。この統一されたデータフォ
ーマットは、基本的には一定のルールさえ満たされていれば何でもよいのであるが、デー
タ の 可 搬 性 と い う 観 点 か ら 、 Ｊ Ｓ Ｏ Ｎ （ JavaScript Object Notation（ 「 Ｊ Ａ Ｖ Ａ Ｓ Ｃ Ｒ
ＩＰＴ」は登録商標））が望ましい。
【００２５】
以下に、ＪＳＯＮフォーマットにて記述されたイベントの一例を示す。
【００２６】
2017-11-03 19:35:32.000000000 +0900 sensor.microwave:{"heart":79, "breath":12}【００２７】
イ ベ ン ト は 、 「 time tag:record」 と い う 記 述 順 で 記 載 さ れ る 。 「 time」 は Ｐ Ｏ Ｓ Ｉ Ｘ
ｔ ｉ ｍ ｅ フ ォ ー マ ッ ト の 絶 対 日 時 情 報 、 「 record」 は Ｊ Ｓ Ｏ Ｎ 形 式 で あ る の で 、 始 め 波
括 弧 （ "{"） で 始 ま り 、 終 わ り 波 括 弧 （ "}"） で 終 わ る 。
「 tag」 は Ｊ Ｓ Ｏ Ｎ 形 式 オ ブ ジ ェ ク ト に 与 え ら れ る 名 前 （ 以 下 「 タ グ 名 」 ） で あ り 、 オ
ブ ジ ェ ク ト 指 向 の 慣 例 に 倣 い 、 「 name1.name2.name3… 」 と い う よ う に 、 ピ リ オ ド で 連 結
す る 。 す な わ ち 、 ピ リ オ ド は タ グ 名 の フ ィ ー ル ド セ パ レ ー タ で あ る 。 「 time」 と 「 tag」の 間 は ス ペ ー ス （ " "） で 区 切 ら れ 、 「 tag」 と 「 record」 の 間 は コ ロ ン （ ":"） で 区 切 られる。
入出力整形処理部３０２はイベントを生成する際、ＲＴＣ２０６からイベントに付すための絶対日時情報を読み取る。
【００２８】
入出力制御部３０１の機能として備わっている介護度判定演算処理部３０３は、後述するＡＤＬ識別処理部３１２が出力するＡＤＬ識別結果に従い、観察対象者の要介護度をＡ

10

20

30

40

50

(8)

JP 2020-161136 A 2020.10.1

ＤＬ毎にスコアリングして、レポートデータを作成する。レポートデータは不揮発性スト
レージ２０５に記憶され、情報処理装置１０１の管理責任者によって観察対象者の評価等に利用される。
【００２９】
入出力制御部３０１は、マルチモーダルセンサから種々のデータの入力を受けると、入出力整形処理部３０２によって前述のＪＳＯＮ形式のイベントに変換した後、定義ファイ
ル３０４に記述されている内容に従い、入力同期併合処理部３０５、条件判断処理部３０
６、学習データ処理部３０７にてイベントの加工等を行う。
【００３０】［第一の実施形態：入力同期併合処理部３０５］
ここで図４Ａを参照して、入力同期併合処理部３０５について説明する。
図４Ａは、入力同期併合処理部３０５の入出力を説明するためのブロック図である。
入出力制御部３０１の機能として備わっている入力同期併合処理部３０５は、複数のイベントを受け入れて、各々のイベントの内容を単一のイベントに併合して出力する。単一のイベントを出力する際、入力同期併合処理部３０５は、定義ファイル３０４に記述する
ことで指定されたタイミングで、イベントを出力する。イベント同士を併合するタイミン
グ は 、 「 before」 、 「 after」 、 「 simple」 の ３ 種 類 で あ る 。
【００３１】
定 義 フ ァ イ ル ３ ０ ４ に お い て 併 合 タ イ ミ ン グ に 「 before」 が 指 定 さ れ た 場 合 に は 、 入 力
同 期 併 合 処 理 部 ３ ０ ５ は 、 定 義 フ ァ イ ル ３ ０ ４ の 「 main̲tag」 （ 主 入 力 側 ） に 記 述 さ れ た
第 一 の イ ベ ン ト を 受 け 取 る と 、 第 一 の イ ベ ン ト を 受 け 取 っ た 直 前 の 、 「 sub̲tag」 （ 副 入力側）に記述された第二のイベントを、第一のイベントと共に併合して出力する。したがっ て 、 「 before」 の 場 合 は 、 第 一 の イ ベ ン ト を 受 け 取 っ た 日 時 が 、 出 力 さ れ る イ ベ ン ト に付加される。
【００３２】
定 義 フ ァ イ ル ３ ０ ４ に お い て 併 合 タ イ ミ ン グ に 「 after」 が 指 定 さ れ た 場 合 に は 、 入 力
同 期 併 合 処 理 部 ３ ０ ５ は 、 定 義 フ ァ イ ル ３ ０ ４ の 「 main̲tag」 に 記 述 さ れ た 第 一 の イ ベ ン
ト を 受 け 取 る と 、 第 一 の イ ベ ン ト を 受 け 取 っ た 直 後 の 、 「 sub̲tag」 に 記 述 さ れ た 第 二 のイ ベ ン ト を 、 第 一 の イ ベ ン ト と 共 に 併 合 し て 出 力 す る 。 し た が っ て 、 「 after」 の 場 合 は、第二のイベントを受け取った日時が、出力されるイベントに付加される。
【００３３】
定 義 フ ァ イ ル ３ ０ ４ に お い て 併 合 タ イ ミ ン グ に 「 simple」 が 指 定 さ れ た 場 合 に は 、 入 力
同 期 併 合 処 理 部 ３ ０ ５ は 、 定 義 フ ァ イ ル ３ ０ ４ の 「 main̲tag」 に 記 述 さ れ た 第 一 の イ ベ ン
ト を 受 け 取 る と 、 第 一 の イ ベ ン ト を 受 け 取 っ た 直 前 の 、 「 sub̲tag」 に 記 述 さ れ た 第 二 のイベントを、第一のイベントと共に併合して出力する。また、第一のイベントを受け取った 直 後 の 、 「 sub̲tag」 に 記 述 さ れ た 第 二 の イ ベ ン ト も 、 第 一 の イ ベ ン ト と 共 に 併 合 し て
出 力 す る 。 す な わ ち 、 「 simple」 は 「 before」 と 「 after」 の 論 理 和 で あ る 。 し た が っ て、 「 simple」 の 場 合 は 、 第 一 の イ ベ ン ト を 受 け 取 っ た 時 の み な ら ず 、 第 二 の イ ベ ン ト を 受け取った時にも、イベントを出力する。
【００３４】
以下に、定義ファイル３０４にて記述される入力同期併合処理部３０５の指示（ディレク テ ィ ブ （ directive） ） の 一 例 を 示 す 。 定 義 フ ァ イ ル ３ ０ ４ の デ ィ レ ク テ ィ ブ は 、 Ｘ Ｍ
Ｌ （ eXtensible Markup Language） に 類 似 す る マ ー ク ア ッ プ 言 語 の 形 式 で 記 述 さ れ る 。
【００３５】<match sensor.{temp, humid}.to̲merge>@type record̲merger
tag sensor.temp̲humid
main̲tag sensor.temp.to̲merge
sub̲tag1 sensor.humid.to̲merge
merge̲timing simple

10

20

30

40

50

(9)

JP 2020-161136 A 2020.10.1<record>temp ${main["temp"]}humid ${sub1["humid"]}</record></match>【００３６】「 <match sensor.{temp, humid}.to̲merge>」 は 、 デ ィ レ ク テ ィ ブ の 開 始 の 宣 言 で あ ると 共 に 、 「 sensor.temp.to̲merge」 タ グ が 付 さ れ た イ ベ ン ト と 「 sensor.humid.to̲merge」タグが付されたイベントを、タグ名でマッチングさせることを示す。
「 @type record̲merger」 は 、 本 デ ィ レ ク テ ィ ブ が 入 力 同 期 併 合 処 理 部 ３ ０ ５ の 処 理 を
実 行 す る 「 record̲merger」 で あ る こ と を 示 す 。
「 tag sensor.temp̲humid」 は 、 本 デ ィ レ ク テ ィ ブ が 出 力 す る イ ベ ン ト の タ グ 名 が 「 sensor.temp̲humid」 で あ る こ と を 示 す 。
【００３７】「 main̲tag sensor.temp.to̲merge」 は 、 前 述 の 「 main̲tag」 で あ る 。 す な わ ち 、 「 sensor.temp.to̲merge」 が 第 一 の イ ベ ン ト で あ る 。
「 sub̲tag1 sensor.humid.to̲merge」 は 、 前 述 の 「 sub̲tag」 で あ る 。 す な わ ち 、 「 sensor.humid.to̲merge」 が 第 二 の イ ベ ン ト で あ る 。
「 merge̲timing simple」 は 、 前 述 の 併 合 タ イ ミ ン グ で あ る 。
「 <record>」 か ら 「 </record>」 で 囲 ま れ る 中 身 は 、 出 力 す る イ ベ ン ト の 中 に 記 述 さ れる 要 素 を 示 す 。 こ れ は Ｊ Ｓ Ｏ Ｎ フ ォ ー マ ッ ト で 、 「 名 前 文 字 列 :値 」 に 変 換 さ れ る 。
「 </match>」 は 、 「 <match sensor.{temp, humid}.to̲merge>」 デ ィ レ ク テ ィ ブ の 終 了を示す。
【００３８】［第一の実施形態：条件判断処理部３０６］
次に図４Ｂを参照して、条件判断処理部３０６について説明する。
図４Ｂは、条件判断処理部３０６の入出力を説明するためのブロック図である。
入出力制御部３０１の機能として備わっている条件判断処理部３０６は、単一のイベン
トを受け入れて、イベントに含まれているデータに対し、所定の条件判断を行う。条件判
断は、タグ名の一致または不一致、また数値データの、記述された閾値との比較結果である 。 条 件 判 断 は 定 義 フ ァ イ ル ３ ０ ４ 内 に て 、 プ ロ グ ラ ミ ン グ 言 語 に お い て 一 般 的 な 「 if..
.then...else...」 の 記 述 が 可 能 で あ る 。
以下に、定義ファイル３０４にて記述される条件判断処理部３０６のディレクティブの一例を示す。
【００３９】<match sensor.temp>@type condition̲checker
tag1 sensor.room̲temp.is̲too̲cold
tag2 sensor.room̲temp.is̲too̲hottag̲else sensor.room̲temp.is̲good
renew̲record false
condition1 record ["temp"] <= 18 && record ["season"] == "winter"condition2 record ["temp"] >= 26 && record ["season"] == "winter"<record1>
status "cold"</record1><record2>
status "hot"</record2><record̲else>

10

20

30

40

50

(10)

JP 2020-161136 A 2020.10.1

status "good"</record̲else></match>【００４０】「 <match sensor.temp>」 は 、 デ ィ レ ク テ ィ ブ の 開 始 の 宣 言 で あ る と 共 に 、 「 sensor.te
mp」 タ グ が 付 さ れ た イ ベ ン ト を 、 タ グ 名 で マ ッ チ ン グ さ せ る こ と を 示 す 。
「 @type condition̲checker」 は 、 本 デ ィ レ ク テ ィ ブ が 条 件 判 断 処 理 部 ３ ０ ６ の 処 理 を
実 行 す る 「 condition̲checker」 で あ る こ と を 示 す 。
「 tag1 sensor.room̲temp.is̲too̲cold」 は 、 後 述 す る 「 condition1」 の 条 件 に 合 致 した 場 合 に お い て 出 力 す る イ ベ ン ト の タ グ 名 が 「 sensor.room̲temp.is̲too̲cold」 で あ る ことを示す。
【００４１】「 tag2 sensor.room̲temp.is̲too̲hot」 は 、 後 述 す る 「 condition2」 の 条 件 に 合 致 し た
場 合 に お い て 出 力 す る イ ベ ン ト の タ グ 名 が 「 sensor.room̲temp.is̲too̲hot」 で あ る こ とを示す。
「 tag̲else sensor.room̲temp.is̲good」 は 、 condition1及 び condition2の 何 れ に も 当て は ま ら な か っ た 場 合 に お い て 出 力 す る イ ベ ン ト の タ グ 名 が 「 sensor.room̲temp.is̲good」であることを示す。
「 renew̲record false」 は 、 受 信 し た イ ベ ン ト に 含 ま れ る レ コ ー ド （ 値 ） の 内 容 を 更 新しないことを示す。
【００４２】「 condition1 record ["temp"] <= 18 && record ["season"] == "winter"」 は 、 「 condition1」 の 条 件 判 断 文 で あ る 。 「 temp」 の 値 が 18以 下 （ "<="） 、 且 つ （ "&&"） 、 「 season」 の 値 が 「 winter」 で あ る か 否 か を 判 断 す る 。
「 condition2 record ["temp"] >= 26 && record ["season"] == "winter"」 は 、 「 condition2」 の 条 件 判 断 文 で あ る 。 「 temp」 の 値 が 26以 上 （ ">="） 、 且 つ （ "&&"） 、 「 season」 の 値 が 「 winter」 で あ る か 否 か を 判 断 す る 。
【００４３】「 <record1>」 か ら 「 </record1>」 に 囲 ま れ る 中 身 は 、 「 condition1」 の 条 件 に 合 致 した 際 に 、 イ ベ ン ト に 「 status:"cold"」 と い う レ コ ー ド を 追 加 す る こ と を 定 義 す る 。
同 様 に 、 「 <record2>」 か ら 「 </record2>」 に 囲 ま れ る 中 身 は 、 「 condition2」 の 条 件に 合 致 し た 際 に 、 イ ベ ン ト に 「 status:"hot"」 と い う レ コ ー ド を 追 加 す る こ と を 定 義 す る。
そ し て 、 「 <record̲else>」 か ら 「 </record̲else>」 に 囲 ま れ る 中 身 は 、 「 condition1」 及 び 「 condition2」 の 、 何 れ の 条 件 に も 合 致 し な か っ た 際 に 、 イ ベ ン ト に 「 status:"good"」 と い う レ コ ー ド を 追 加 す る こ と を 定 義 す る 。
「 </match>」 は 、 「 <match sensor.temp>」 デ ィ レ ク テ ィ ブ の 終 了 宣 言 で あ る 。
【００４４】［第一の実施形態：学習データ処理部３０７］
次に図４Ｃを参照して、学習データ処理部３０７について説明する。
図４Ｃは、学習データ処理部３０７の入出力を説明するためのブロック図である。
学習データ処理部３０７は、入力されたイベントの内容を学習型情報処理装置１０４に特徴ベクトル（説明変数）として出力し、学習型情報処理装置１０４から目的変数を受け取り、イベントの形式に変換して出力する。
【００４５】
学 習 デ ー タ 処 理 部 ３ ０ ７ に は 、 「 train」 と 「 analyze」 と い う ２ 種 類 の モ ー ド が 存 在 する。
trainモ ー ド で は 、 学 習 デ ー タ 処 理 部 ３ ０ ７ は 、 入 力 さ れ る イ ベ ン ト を 、 ラ ベ ル と Ｄ ａｔｕｍというキーバリュー形式のデータの組に変換し、学習型情報処理装置１０４に送信する。これにより、学習型情報処理装置１０４における学習モデルの訓練（学習）を行う

10

20

30

40

50

(11)

JP 2020-161136 A 2020.10.1。
本発明の第一の実施形態に係る情報処理装置１０１は、学習型情報処理装置１０４の一例 と し て 、 オ ン ラ イ ン 機 械 学 習 向 け 分 散 処 理 フ レ ー ム ワ ー ク で あ る Ｊ ｕ ｂ ａ ｔ ｕ ｓ （ htt
p://jubat.us/ja/ ） を 使 用 し て い る 。 Ｄ ａ ｔ ｕ ｍ と は 、 こ の Ｊ ｕ ｂ ａ ｔ ｕ ｓ が 解 釈 可 能
なｋｅｙ−ｖａｌｕｅデータ形式を指す。
【００４６】
analyzeモ ー ド で は 、 学 習 デ ー タ 処 理 部 ３ ０ ７ は 、 入 力 さ れ る イ ベ ン ト を Ｄ ａ ｔ ｕ ｍ 形式に変換して学習型情報処理装置１０４に送信する。これにより、学習データ処理部３０７は、分類・推薦・異常検知等、学習型情報処理装置１０４が提供している機能を使用して分析した結果をリアルタイムで受け取ることができる。
以 下 に 、 定 義 フ ァ イ ル ３ ０ ４ に て 記 述 さ れ る 、 学 習 デ ー タ 処 理 部 ３ ０ ７ の analyzeモ ードにおけるディレクティブの一例を示す。
【００４７】<match concept.accelerometer.analyze>@type active̲online̲learnerhost <jubatus server's ip address>
client̲api 'classifier'train̲analyze analyze
num̲keys ax̲mean,ay̲mean,az̲mean,ax̲var,ay̲var,az̲var
threshold 9.0
tag̲for̲train concept.unclassifiable</match>【００４８】「 <match concept.accelerometer.analyze>」 は 、 デ ィ レ ク テ ィ ブ の 開 始 の 宣 言 で あ ると 共 に 、 「 concept.accelerometer.analyze」 タ グ が 付 さ れ た イ ベ ン ト を 、 タ グ 名 で マ ッ
チングさせることを示す。
「 @type active̲online̲learner」 は 、 本 デ ィ レ ク テ ィ ブ が 学 習 デ ー タ 処 理 部 ３ ０ ７ の処 理 を 実 行 す る 「 active̲online̲learner」 で あ る こ と を 示 す 。
「 host <jubatus server 's ip address>」 は 、 学 習 型 情 報 処 理 装 置 １ ０ ４ の Ｉ Ｐ ア ドレスまたはホスト名が記述される。
「 client̲api 'classifier'」 は 、 学 習 型 情 報 処 理 装 置 １ ０ ４ の ク ラ イ ア ン ト 側 ア プ リ
ケーションプログラムインターフェース、すなわち学習データ処理部３０７に対し、「分類器」として動作すべく指示することを示す。
【００４９】「 train̲analyze analyze」 は 、 学 習 デ ー タ 処 理 部 ３ ０ ７ に 対 し 、 analyzeモ ー ド で 動 作すべく指示することを示す。
「 num̲keys ax̲mean,ay̲mean,az̲mean,ax̲var,ay̲var,az̲var」 は 、 学 習 型 情 報 処 理 装
置１０４に引き渡すデータ、すなわち特徴ベクトルの一例を示す。この例では、３軸センサの各軸方向の平均値と、３軸センサの各軸方向にて検出した値が列挙されている。
「 threshold 9.0」 は 、 学 習 型 情 報 処 理 装 置 １ ０ ４ か ら 受 信 し た 値 を 判 定 す る 際 の 閾 値を示す。
「 tag̲for̲train concept.unclassifiable」 は 、 学 習 型 情 報 処 理 装 置 １ ０ ４ か ら 受 信 した値が全て閾値に満たなかった場合に、出力するイベントに付すタグ名である。
「 </match>」 は 、 「 <match concept.accelerometer.analyze>」 デ ィ レ ク テ ィ ブ の 終 了宣言である。
【００５０】
以 下 に 、 上 述 の 定 義 フ ァ イ ル ３ ０ ４ に て 記 述 さ れ る 、 学 習 デ ー タ 処 理 部 ３ ０ ７ の analyz
eモ ー ド に お け る デ ィ レ ク テ ィ ブ に よ っ て 、 学 習 デ ー タ 処 理 部 ３ ０ ７ が 学 習 型 情 報 処 理 装
置 １ ０ ４ か ら 得 た 分 類 結 果 で あ る イ ベ ン ト の 一 例 を 示 す 。 な お 、 行 頭 の "#"は コ メ ン ト を
指し示す。

10

20

30

40

50

(12)

JP 2020-161136 A 2020.10.1【００５１】# 既知の概念の中で分類できた場合
2018-01-24T23:42:42+09:00 behavior.recognized{"cleaning":0.0,"blow-drying":0.0,"sitting":9.84092903137207,"standing":0.0,"walking":0.0 ,"estimated̲label":"sitting","max̲score":9.84092903137207}【００５２】
上 記 の イ ベ ン ト で は 、 「 "estimated̲label":"sitting"」 に て 、 推 定 結 果 が 「 sitting」
で あ り 、 「 "max̲score":9.84092903137207」 に て 、 最 大 ス コ ア が 「 9.84092903137207」 という値であることが示されている。
【００５３】# 既知の概念にあてはまるものがないと判断された場合
2018-01-24T22:46:42+09:00 concept.for̲train{"cleaning":0.0,"blow-drying":1.9574897289276123,"sitting":7.8311076164245605,"standing":0.0,"walking":0.0,"estimated̲label":"sitting","max̲score":7.8311076164245605,"data":{"ax̲mean":0.143426513671875,"ay̲mean":0.0136016845703125,"az̲mean":-0.50174560546875,"mx̲mean":0.48634033203125,"my̲mean":0.26500244140625,"mz̲mean":-1.013330078125,"gx̲mean":-0.0011932373046875,"gy̲mean":0.0130523681640625,"gz̲mean":0.0047119140625}}【００５４】
上 記 の イ ベ ン ト で は 、 「 "estimated̲label":"sitting"」 に て 、 推 定 結 果 が 「 sitting」
で あ り 、 「 "max̲score":7.8311076164245605」 に て 、 最 大 ス コ ア が 「 7.8311076164245605」 と い う 値 で あ る こ と が 示 さ れ て い る 。 そ し て 、 最 大 ス コ ア が 閾 値 の 「 9」 に 満 た な い ので、学習用のデータが付加されている。
学習用バッファ３０８は、このような推定に失敗したデータを所定の件数、蓄積する。
そ し て 、 所 定 の 件 数 に 達 し た 時 に 、 trainモ ー ド に て 学 習 型 情 報 処 理 装 置 １ ０ ４ に そ れ ら
複数のイベントを送信して、学習型情報処理装置１０４に学習を行わせる。
【００５５】［第一の実施形態：ＡＤＬ識別処理部３１２］
次に図４Ｄを参照して、ＡＤＬ識別処理部３１２について説明する。
図４Ｄは、ＡＤＬ識別処理部３１２の入出力を説明するためのブロック図である。
ＡＤＬ識別処理部３１２は、データ形式変換処理部４０１、データ形式逆変換処理部４０２、基礎情報記憶部４０３、ＡＤＬ判定処理部４０４を有する。
学 習 デ ー タ 処 理 部 ３ ０ ７ が analyzeモ ー ド に お い て 出 力 す る 、 既 知 の 概 念 の 中 で 正 常 に分 類 で き た 観 察 対 象 者 の イ ベ ン ト （ 図 ４ Ｄ 中 「 behavior.recognized」 ） や 、 図 示 は し ていないが、入力同期併合処理部３０５や条件判断処理部３０６が出力する、観察対象者のイベントは、ＡＤＬ識別処理部３１２のデータ形式変換処理部４０１に入力される。
【００５６】
データ形式変換処理部４０１は、入力されるＪＳＯＮ形式のイベントを、一旦ＡＤＬ判
定処理部４０４が扱うことができる、ＸＭＬ形式に変換する。そして、ＸＭＬ形式に変換されたイベントは、イベントに記述されている日時情報と共に基礎情報記憶部４０３に記憶される。
ＡＤＬ判定処理部４０４は、ＯＷＬ定義ファイル３１３に記述されている論理推論の条
件と、基礎情報記憶部４０３に記憶されている観察対象者のイベントとを照合して、観察対象者が何月何日何時何分から何分間、ＯＷＬ定義ファイル３１３に記述されているＡＤ
Ｌを実行したのかを判定する。

10

20

30

40

50

(13)

JP 2020-161136 A 2020.10.1

ＡＤＬ判定処理部４０４が出力したＡＤＬ判定結果は、データ形式逆変換処理部４０２
によって、ＸＭＬ形式からＪＳＯＮ形式に変換されて、介護度判定演算処理部３０３へ出
力 さ れ る 。 こ の 時 、 イ ベ ン ト の タ グ は 「 action.recognized」 と な る 。
【００５７】
これまでのＡＤＬ認識技術は、センサから観察対象者の体動と呼吸と心拍を同時に取得したデータを基に、観察対象者の瞬間的な動作や状態から、機械学習でＡＤＬの認識をしていた。
機械学習は、観察対象者の未定義の挙動に対し、新たにラベリングを付与する必要がある。
また、機械学習は、入力される特徴ベクトルに対して所定のラベルを推定するが、推定の根拠は確率計算の結果であるため、なぜ入力された特徴ベクトルに対して機械学習装置
が提示したラベルであると推定したのか、その理由を明確に説明することができない。
【００５８】
一 方 、 情 報 科 学 の 分 野 で は 、 近 年 に な っ て 人 工 知 能 （ Ａ Ｉ :Artificial Intelligence）の 技 術 情 報 の 一 環 と し て 、 知 識 を 記 述 す る 「 オ ン ト ロ ジ ー （ ontology） 」 と い う 言 葉 が 台頭し始めた。人工知能の用語としてのオントロジーは、「概念の明示的な仕様」と定義される。
この考え方をＡＤＬに当てはめると、ＡＤＬも観察対象者の行動であるので、その行動を言葉で明確に定義することが可能である。
行動は、人と物と場所と時間の、四つの要素で成り立っている。したがって、ＡＤＬにおいてこれら四つの要素を定義することで、複雑なＡＤＬもより単純な情報要素に分解することが可能である。
【００５９】
例えば、観察対象者が歯を磨く、というＡＤＬを実行することを考える。
観察対象者はシンクのある部屋に立っていて、何れかの手に歯ブラシを持っており、数分程度、歯を磨く動作を行う。このような状況をよく観察すると、・人の状態：観察対象者が立っている・物の状態：歯ブラシが観察対象者の近くに存在する・場所の状態：観察対象者はシンクのある部屋に居る・時間の状態：観察対象者は数分程度、あるいは日中や朝晩等の時間帯において、立っている状態を維持しているというように、各々の事象を文章化することが可能である。
【００６０】
学習型情報処理装置において、観察対象者が立っているか否かの推定は、観察対象者が歯磨きを行っているか否かを推定するよりも単純であることは明白である。
そこで発明者らは、学習型情報処理装置には観察対象者のごく単純な挙動のみを学習させ、より高次のＡＤＬは、複数の挙動や状態からルールベースで判断するように、情報処理装置を再構築することが好ましいと考えた。
【００６１】Ｏ Ｗ Ｌ 言 語 は Ｒ Ｄ Ｆ （ Resource Description Framework） の 語 彙 を 拡 張 し た も の で あ る。本発明の実施形態に係るＡＤＬ判定処理部４０４と基礎情報記憶部４０３は、Ｊａｖａ（ 登 録 商 標 ） で 構 成 さ れ る Ｏ Ｗ Ｌ 言 語 イ ン タ プ リ タ （ https://github.com/owlcs/owlapi/）である。
ＯＷＬ定義ファイル３１３には、ＡＤＬを定義するために、人の状態、物の状態、場所の状態、時間の状態が、ツリー構造で記述されている。ＡＤＬ判定処理部４０４は、入力された事象に合致するルールのツリー構造を辿ることで、観察対象者のＡＤＬを判定することが可能になる。
【００６２】［第一の実施形態：ＯＷＬの一例］
以下、ＯＷＬの一例を説明する。

10

20

30

40

50

(14)

JP 2020-161136 A 2020.10.1

図 ５ 及 び 図 ６ は 、 オ ー プ ン ソ ー ス の オ ン ト ロ ジ ー 編 集 用 エ デ ィ タ で あ る 「 Protege」 （https://protege.stanford.edu/ 、 "Protege"の ２ 個 の "e"は ア キ ュ ー ト ・ ア ク セ ン ト 付 きの eで あ る 。 ） を 用 い た 、 観 察 対 象 者 の Ａ Ｄ Ｌ を 編 集 す る 様 子 を 示 す 画 面 イ メ ー ジ で あ る。
図 ５ Ａ は 、 Protegeの 編 集 画 面 で あ る 。
図 ５ Ｂ は 、 Protegeの 編 集 画 面 の う ち 、 左 端 に 表 示 さ れ て い る ク ラ ス 一 覧 表 示 欄 （ Prote
geで は 「 Class View」 と 呼 ぶ ） を 一 部 拡 大 し た 図 で あ る 。
図 ６ Ａ は 、 Protegeの 編 集 画 面 の う ち 、 右 上 に 表 示 さ れ て い る ク ラ ス 「 BrushingTeeth」のクラス総合関係表示欄を一部拡大した図である。
図 ６ Ｂ は 、 Protegeの 編 集 画 面 の う ち 、 右 下 に 表 示 さ れ て い る ク ラ ス 「 BrushingTeeth」のクラス詳細編集欄を一部拡大した図である。
【００６３】
例 え ば 、 整 容 Ａ Ｄ Ｌ の １ つ で あ る 「 歯 み が き 行 動 （ BrushingTeeth） 」 の Ｏ Ｗ Ｌ に よ る
定義は以下のようになる。
（１）図５及び図６を参照して説明する。
ま ず 、 ク ラ ス と し て 「 行 動 （ Activity） 」 、 「 人 （ Person） 」 、 「 も の （ Artifact） 」、 「 場 所 （ SymbolicLocation） 」 を 定 義 し 、 そ れ ぞ れ の ク ラ ス 階 層 を 定 義 す る 。 た と え ば、 「 行 動 」 の サ ブ ク ラ ス と し て 「 単 独 行 動 （ Individial Activity） 」 、 そ の サ ブ ク ラ スと し て 「 個 人 行 動 （ Personal Activity） 」 が 定 義 さ れ 、 そ の 下 に 認 識 対 象 の Ａ Ｄ Ｌ で ある 「 歯 磨 き （ Brushing Teeth） 」 「 整 髪 （ CombingHair） 」 な ど が 定 義 さ れ る 。
【００６４】（ ２ ） 次 に 、 ク ラ ス オ ブ ジ ェ ク ト の 間 の 関 係 を Object Propertyで 定 義 す る 。 た と え ば、 「 〜 の 行 動 は 〜 の 場 所 で 行 わ れ る （ canTakePlaceOn） 」 は 、 行 動 と 場 所 ク ラ ス の オ ブ ジ
ェ ク ト 間 の 関 係 を 定 義 す る 。 こ の 他 に は 「 〜 の 者 は 〜 を 使 う （ usingArtifact） 」 や 、 「〜 の 場 所 は 〜 を 備 え る （ has Artifact） 」 な ど が 定 義 さ れ る 。
上記のクラスと関係を用いて、個々のＡＤＬを定義する。たとえば、「歯磨きは、個人行動であり、歯ブラシを持って行われ、流しのある場所で行われる。」と定義され、図６
Ａに表示される、以下のようなＯＷＬとなる。
【００６５】
BrushingTeeth SubClassOf PersonalActivity and (hasActor only (usingArtifact someComb))
BrushingTeeth SubClassOf canTakePlaceOn only (hasArtifact some Sink)【００６６】（３）最後に、定義されたＯＷＬはＲＤＦ／ＸＭＬ記述として出力され、これを用いて、 Ａ Ｄ Ｌ ク ラ ス 判 定 の た め の 論 理 推 論 を 行 う Reasonerが 動 作 す る 。
【００６７】［第一の実施形態：情報処理装置１０１：データ処理のアーキテクチャ］
図７は、情報処理装置１０１が実行するデータ処理のアーキテクチャ（設計思想）を示す概念図である。
情報処理装置１０１は、Ｆｌｕｅｎｔｄにて形成される３種類のデータフローを定義フ
ァイル３０４にて定義し、それらデータフローをイベントのタグ名で区別する。また、Ｆ
ｌｕｅｎｔｄの外部に設けられるＡＤＬ認識層Ｃ７０４は、観察対象者の全てのＡＤＬの判定を実行する。
【００６８】
先ず、マルチモーダルセンサＣ７０１から生じる種々のデータは、センサレベルデータ
フローＣ７０２に入力される。センサレベルデータフローＣ７０２では、各々のイベントに 「 sensor.**」 で 始 ま る タ グ が 付 さ れ る 。 そ し て 、 セ ン サ レ ベ ル デ ー タ フ ロ ー Ｃ ７ ０ ２の内部では、入力同期併合処理部３０５によって複数のイベントが１個のイベントに併合
される、あるいは概念レベルデータフローＣ７０３やＡＤＬ認識層Ｃ７０４に転送される。 特 に 、 Ａ Ｄ Ｌ 認 識 層 Ｃ ７ ０ ４ に 転 送 さ れ る イ ベ ン ト に は 「 behavior.**」 で 始 ま る タ グ

10

20

30

40

50

(15)

JP 2020-161136 A 2020.10.1が付される。
な お 、 「 sensor.**」 の "**"（ ア ス タ リ ス ク ２ 文 字 ） は 、 情 報 処 理 装 置 １ ０ １ が 扱 う イ
ベントに付されるタグ名の文字列マッチング処理において、タグ名のフィールドセパレー
タ で あ る "."（ ピ リ オ ド ） で 区 切 ら れ る フ ィ ー ル ド 単 位 の ワ イ ル ド カ ー ド を 意 味 す る 。
【００６９】
センサレベルデータフローＣ７０２にて形成されたイベントのうち、そのままでは観察対象者の基礎的な振る舞いを認識できないイベントは、学習型情報処理装置１０４によって 推 定 を 行 う 必 要 が 生 じ る 。 そ こ で 、 そ の よ う な 「 行 動 不 可 能 な 」 イ ベ ン ト は 、 「 concep
t.**」 で 始 ま る タ グ が 付 さ れ 、 概 念 レ ベ ル デ ー タ フ ロ ー Ｃ ７ ０ ３ に 入 力 さ れ る 。
【００７０】
概念レベルデータフローＣ７０３に属する、学習アルゴリズムを用いる学習型情報処理装置１０４は、観察対象者の基礎的な振る舞いを推定する。そして、概念レベルデータフ
ロ ー Ｃ ７ ０ ３ が 出 力 し た イ ベ ン ト は 、 「 behavior.**」 で 始 ま る タ グ が 付 さ れ 、 Ａ Ｄ Ｌ 認
識層Ｃ７０４に入力される。
【００７１】
ＡＤＬ認識層Ｃ７０４によって観察対象者のＡＤＬを認識または推定可能になったイベ
ントは、認識したＡＤＬに基づいてスコアリング処理を行う、認識したＡＤＬをデータベ
ース３０９にログ記録されるか、あるいは会話音声を発する等、何らかの行動を可能とする 。 こ の よ う な 「 行 動 可 能 な 」 イ ベ ン ト は 「 action.**」 で 始 ま る タ グ が 付 さ れ 、 行 動 レ
ベルデータフローＣ７０５に入力される。行動レベルデータフローＣ７０５では、最終的に得られた認識結果に従って、スコアリング処理が行われるか、ログ記録されるか、あるいは会話音声を発する等の、所定のアクションが実行される。このアクションがアクティ
ベータＣ７０６である。
【００７２】
図５を見ると情報処理装置１０１は、マルチモーダルセンサＣ７０１から生じるイベン
トをセンサレベルデータフローＣ７０２に入力する。センサレベルデータフローＣ７０２
から出力されるイベントは、概念レベルデータフローＣ７０３に入力されるか、またはＡ
ＤＬ認識層Ｃ７０４に直接入力される。ＡＤＬ認識層Ｃ７０４が出力するイベントは全て
行動レベルデータフローＣ７０５に入力される。
すなわち、センサレベルデータフローＣ７０２と、概念レベルデータフローＣ７０３が出力するイベントの何れも、ＡＤＬ認識層Ｃ７０４に入力され、観察対象者のＡＤＬの判定処理が行われる。
【００７３】
本発明の第一の実施形態に係る情報処理装置１０１では、入出力制御部３０１の大部分の機能にＦｌｕｅｎｔｄを使用した。しかし、使用するソフトウェアは必ずしもＦｌｕｅｎｔｄには限らない。定義ファイル３０４の記述によってデータの流れを自由に定義することができる仕組みがあれば、Ｆｌｕｅｎｔｄでなくとも、情報処理装置１０１を実現することは可能である。一例として、名前付きパイプを応用して、シェルスクリプト等を使用すること等が考えられる。
【００７４】［第二の実施形態：情報処理装置８０１：ソフトウェア機能］
発明者らは、第一の実施形態に係る情報処理装置１０１を完成した後も更に改良を続け、より実用的な情報処理装置８０１を構築するに至った。
これより説明する第二の実施形態では、主に高齢者の日常生活における機能的自立度を計測して評価するための情報処理装置８０１を開示する。機能的自立度の計測には、医療・介護領域で広く用いられているＡＤＬ評価指標である、機能的自立度評価法（ＦＩＭ：
Functional Independence Measure） を 用 い る 。
【００７５】
従来、ＦＩＭは専門の教育を受けた担当者が被験者である高齢者を例えば１週間程度観察して、各種項目毎に自立度を評価し、それら項目毎に点数を付与し、それら点数を合算

10

20

30

40

50

(16)

JP 2020-161136 A 2020.10.1

することで、当該被験者の機能的自立度を評価する。すなわち、機能的自立度評価には人手が必要で、また機能的自立度評価に要する労力も軽微ではない。このような機能的自立度評価の仕組みを機械化できれば、介護従業者の大幅な省力化に寄与することが期待できる。
【００７６】
図８は、本発明の第二の実施形態に係る情報処理装置８０１の、ソフトウェア機能の全体像を示すブロック図である。
図９は、本発明の第二の実施形態に係る情報処理装置８０１の、ソフトウェア機能におけるデータ処理の流れを示すブロック図である。
本発明の第二の実施形態に係る情報処理装置８０１の、全体構成は図１と同一であり、ハードウェア構成も図２と同一であるので、これらの説明は割愛する。
図８に示す本発明の第二の実施形態に係る情報処理装置８０１の、図３に示す本発明の第一の実施形態に係る情報処理装置１０１との相違点は、入出力制御部８０２に含まれる
機能ブロックである。逆に、入出力制御部８０２の外側に存在する機能ブロックは、図３と等しい。
また、図９に示すデータ処理の流れを説明するブロック図は、図７に示すデータ処理のアーキテクチャに類似する。
【００７７】
マルチモーダルセンサＣ７０１は、図３及び図８における顔認識カメラ１０２、センサ
１０３ａ、１０３ｂ…及びマイク１０７に相当する。
マルチモーダルセンサＣ７０１から生じる種々のデータは、時系列データ群９０１としてＲＡＭ２０４や不揮発性ストレージ２０５に記憶される。
【００７８】
データフォーマット処理部８０３は、時系列データ群９０１に対して、以下に例示列挙
する種々の整形処理を施す。
（１）マルチモーダルセンサＣ７０１から入力される各々のデータのクリーニング（クレンジング）
・移動平均等のノイズ除去処理
・欠損値補完処理
・同一サンプリング周波数へのリサンプリング処理（２）各々のセンサデータの統合
・複数センサからのデータの統合
・機械学習推定処理部に特徴ベクトルを入力させるための特徴量としての選択（３）データの変換
・特徴量生成・正規化【００７９】
データフォーマット処理部８０３は、以上のようなデータの整形処理を行う。これにより、出力形式やサンプリング周波数及び出力タイミングの異なる複数種類のセンサから得られるデータ群は、出力形式が統一され、サンプリング周波数及び出力タイミングが揃えられ、ノイズが抑制され、欠損データが補完される。
時系列データ群９０１とデータフォーマット処理部８０３は、図７におけるセンサレベ
ルデータフローＣ７０２と実質的に等しい。
本発明の第二の実施形態に係る情報処理装置８０１は、後述するＡＤＬ・ＦＩＭオント
ロジー解析処理部９０４がＯＷＬ言語インタプリタであり、ＸＭＬ形式のデータを要求するため、データフォーマット処理部８０３はＸＭＬ形式のデータを出力する。
【００８０】
データフォーマット処理部８０３によって整形処理された時系列データ群９０１は、その一部を除いて、データ駆動処理部９０２に供給される。
データ駆動処理部９０２は、データマイニング判定処理部８０４と、機械学習推定処理

10

20

30

40

50

(17)

JP 2020-161136 A 2020.10.1

部８０５を含む。
データマイニング判定処理部８０４は、ルールベースのデータ処理を行う。すなわち、
データマイニング判定処理部８０４は、予めシステム構築者の手作業によってルールを作成する。そして、単一または複数のデータに対して作成したルールによる明示的な条件を当てはめて、後述するセマンティックコンテキストに変換する。
【００８１】
例えば、高齢者の部屋の天井にアンテナが複数個配置される。そして、スリッパに装着したＲＦＩＤが、第一の時間において地点Ａ近傍のアンテナから最大の信号強度を得たとする。次に、スリッパに装着したＲＦＩＤが、第一の時間から所定時間経過した第二の時間において地点Ｂ近傍のアンテナから最大の信号強度を得たとする。このような、アンテ
ナ毎の信号強度の変化があった場合、当該スリッパは、第一の時間から第二の時間において、地点Ａ近傍から地点Ｂ近傍へ移動したと判断することができる。
このような、機械学習による判定を行うまでもなく、明示的に判断可能な事象に対しては、データマイニング判定処理部８０４は、システム構築者の手作業によって作成したルールを用いて、時系列データ群９０１をセマンティックコンテキストに変換する。
【００８２】
機械学習推定処理部８０５は、第一の実施形態における学習データ処理部３０７に相当する。機械学習推定処理部８０５は、主に分類学習アルゴリズムに基づくデータ処理を行う。すなわち、予め学習処理を施して形成した近似関数に、所定のデータを特徴ベクトル
として入力し、推定結果と類似度を出力する。そして、機械学習推定処理部８０５は、複数の近似関数を組み合わせて、所定のデータから後述するセマンティックコンテキストに変換する。
【００８３】
データフォーマット処理部８０３によって整形処理された時系列データ群９０１の一部、及びデータマイニング判定処理部８０４と機械学習推定処理部８０５が出力するデータ
は、セマンティックコンテキストデータ群９０３としてＲＡＭ２０４や不揮発性ストレー
ジ２０５に記憶される。
データ駆動処理部９０２とセマンティックコンテキストデータ群９０３は、図７における概念レベルデータフローＣ７０３と実質的に等しい。
【００８４】［第二の実施形態：情報処理装置８０１：各種テーブルのフィールド構成］
時系列データ群９０１は、センサが出力するデータそのものである。これに対し、セマ
ンティックコンテキストデータ群９０３は、イベント、すなわち事象を表現するデータである。
ここで、時系列データ群９０１とセマンティックコンテキストデータ群９０３とのデー
タ形式の相違を説明する。
図１０は、各種テーブルのフィールド構成を示す図である。
時系列データ群９０１は、日時フィールドと、センサＩＤフィールドと、属性ＩＤフィールドと、属性値フィールドを有する。
【００８５】
日時フィールドには、センサがデータを出力した時点の日時情報が格納される。
センサＩＤフィールドには、センサを一意に識別するセンサＩＤが格納される。なお、
センサＩＤはセンサの種類を示すセンサ種別情報と組にしてもよい。
属性ＩＤフィールドには、センサが出力するデータの属性を一意に識別する属性ＩＤが格納される。属性ＩＤは例えば、ＲＦＩＤを検出するアンテナが、あるＲＦＩＤを検出した際の、ＲＦＩＤが受信機へ返信する識別ＩＤである。
属性値フィールドには、属性ＩＤフィールドに格納された属性ＩＤに対応する属性値が格納される。属性値は例えば、ＲＦＩＤを検出するアンテナが、あるＲＦＩＤを検出した
際の、ＲＦＩＤが受信機へ識別ＩＤを返信した際の電波の強度である。
【００８６】

10

20

30

40

50

(18)

JP 2020-161136 A 2020.10.1

属性ＩＤフィールドと属性値フィールドは、センサの種類や数が増えても、属性ＩＤの一意性を維持することで、様々なセンサの出力データを格納することが可能である。
【００８７】
セマンティックコンテキストデータ群９０３は、開始日時フィールドと、終了日時フィールドと、イベントＩＤフィールドと、属性ＩＤフィールドと、属性値フィールドを有する。
開始日時フィールドには、イベントＩＤフィールドに記載されたイベントＩＤで指定されるイベントが発生した日時が格納される。
終了日時フィールドには、イベントＩＤフィールドに記載されたイベントＩＤで指定されるイベントが終了した日時が格納される。
【００８８】
イベントＩＤフィールドには、イベントを一意に識別するイベントＩＤが格納される。
イベントとは、被験者が何らかの動作を行った、あるいは何らかの状態に至ったことを指す。このイベントＩＤに共通する複数のレコードは、同一のイベントを指し示す。
属性ＩＤフィールドには、イベントの発生の具体的内容を示す意味的役割を一意に識別する属性ＩＤが格納される。
属性値フィールドには、属性ＩＤフィールドに記述された意味的役割に付随するデータが格納される。なお、意味的役割については図１１で後述する。
【００８９】
セマンティックコンテキストデータ群９０３の、テーブルのフィールド構成は、図１０に示す形式ではあるが、セマンティックコンテキストデータ群９０３のデータ形式そのものは、本発明の第一の実施形態に係る情報処理装置１０１と同様の、ＸＭＬ形式である。
【００９０】
再び図８及び図９を参照して、データ処理の流れを説明する。
セマンティックコンテキストデータ群９０３は、オントロジー推論処理部８０６に読み込まれる。
オントロジー推論処理部８０６は、本発明の第一の実施形態に係る情報処理装置１０１のＡＤＬ識別処理部３１２に相当し、ＡＤＬ・ＦＩＭオントロジー解析処理部９０４と、ＤＬ推論器９０５を含む。
【００９１】
ＡＤＬ・ＦＩＭオントロジー解析処理部９０４は、セマンティックコンテキストデータ
群９０３をＯＷＬ定義ファイル３１３に記述されている論理推論の条件に基づいて解釈する。そして、観察対象者が何月何日何時何分から何分間、ＯＷＬ定義ファイル３１３に記述されているＡＤＬを実行したのかを判定する。更に、ＡＤＬ・ＦＩＭオントロジー解析
処理部９０４は、ＡＤＬの下位に定義されているＦＩＭを判定できる場合にはＦＩＭも判定する。この時、ＡＤＬ・ＦＩＭオントロジー解析処理部９０４は、セマンティックコン
テキストデータ群９０３に含まれる複数のセマンティックコンテキストをＯＷＬ定義ファ
イル３１３に基づいて紐付け、ＯＷＬオントロジーオブジェクトインスタンス９０８を生成する。
【００９２】
ＡＤＬ・ＦＩＭオントロジー解析処理部９０４の判定結果は、ＤＬ推論器９０５に入力
さ れ る 。 Ｄ Ｌ 推 論 器 ９ ０ ５ は 、 例 え ば Fact++（ http://owl.man.ac.uk/factplusplus/）
であり、セマンティックコンテキストデータ群９０３とＯＷＬオントロジーオブジェクト
インスタンス９０８をも読み込んで、論理推論を実行する。そして、ＦＩＭを判定する。
オントロジー推論処理部８０６は、以上の処理を経て、行動クラス判定結果及び自立度
クラス判定結果９０６を出力する。
【００９３】
再び図１０を参照して、テーブルのフィールド構成を説明する。
行動クラス判定結果１００１は、開始日時フィールドと、終了日時フィールドと、個人
ＩＤフィールドと、ＡＤＬフィールドを有する。

10

20

30

40

50

(19)

JP 2020-161136 A 2020.10.1

開始日時フィールドには、個人ＩＤフィールドに記載された被験者がＡＤＬフィールドに記載されたＡＤＬの実行を開始した日時が格納される。
終了日時フィールドには、個人ＩＤフィールドに記載された被験者がＡＤＬフィールドに記載されたＡＤＬの実行を終了した日時が格納される。
個人ＩＤフィールドには、被験者を一意に識別する個人ＩＤが格納される。
ＡＤＬフィールドには、ＡＤＬ・ＦＩＭオントロジー解析処理部９０４が判定したＡＤ
Ｌが格納される。
【００９４】
自立度クラス判定結果１００２は、開始日時フィールドと、終了日時フィールドと、個人ＩＤフィールドと、ＡＤＬフィールドと、ＦＩＭフィールドを有する。
開始日時フィールドと、終了日時フィールドと、個人ＩＤフィールドと、ＡＤＬフィー
ルドは、行動クラス判定結果１００１の同名フィールドと同一である。
ＦＩＭフィールドには、ＡＤＬ・ＦＩＭオントロジー解析処理部９０４またはＤＬ推論器９０５によって判定されたＦＩＭが格納される。
【００９５】
再び図８及び図９を参照して、データ処理の流れを説明する。
行動クラス判定結果及び自立度クラス判定結果９０６は、確信度演算処理部８０７に入力される。
確信度演算処理部８０７は、ＤＬ推論器９０５で判定できなかったＦＩＭについて、Ｏ
ＷＬオントロジーオブジェクトインスタンス９０８を参照しながら、後述する「クラスの確信度」を計算することで、ＦＩＭの判定を実行する。そして、確信度演算処理部８０７
は最終的にＡＤＬ認識結果及びＦＩＭ採点結果９０７を出力する。
セマンティックコンテキストデータ群９０３とオントロジー推論処理部８０６と行動ク
ラス判定結果及び自立度クラス判定結果９０６と確信度演算処理部８０７は、図７におけるＡＤＬ認識層Ｃ７０４と実質的に等しい。
【００９６】
オントロジー推論処理部８０６がＦＩＭの判定に失敗する場合を想定して、ＡＤＬ・Ｆ
ＩＭオントロジー解析処理部９０４は、予めセマンティックコンテキストデータ群９０３の、特定の条件において、ダミーの任意コンテキストをＯＷＬオントロジーオブジェクト
インスタンス９０８に挿入する。確信度演算処理部８０７は、このダミーコンテキストの存在を加味して、ＦＩＭの確からしさを計算する。これにより、マルチモーダルセンサＣ
７０１から得られる時系列データ群９０１に不具合が生じ、不完全なセマンティックコン
テキストデータ群９０３しか得られなかった場合でも、オントロジー推論処理部８０６は、確度の高いＦＩＭを判定することができる。
【００９７】［第二の実施形態：情報処理装置８０１：セマンティックコンテキスト］
図１１は、セマンティックコンテキストにおける意味的役割を説明する図である。
図１１に示すように、本発明の第二の実施形態に係る情報処理装置８０１において、セマンティックコンテキストにおける意味的役割としては、「動作主」「対象」「道具」「共役者」「場所」「空間的始点」「空間的終点」「時間帯」「時間的始点」「時間的終点」「補助」「姿勢」「移動距離」「所要時間」が存在する。特に、情報処理装置８０１では、高齢者のＦＩＭが扱われるため、上述した意味的役割の中の「補助」の概念が必要になる。
【００９８】
セマンティックコンテキストは、格文法における深層格を独自に拡張した概念を用いる。深層格とは、述語（動詞）とそれに係る名詞句の意味役割をまとめたものである。格文法では、文の意味構造が述語（動詞）と深層格の組み合わせによって表現される。こうした言語の意味的表現は多言語翻訳の際の中間言語としても用いられる。深層格の種類は、
一 般 的 に は 動 作 主 格 （ Agent） 、 経 験 者 格 （ Experiencer） 、 道 具 格 （ Instrument） 、 対 象
格 （ Object） 、 源 泉 格 （ Source） 、 目 標 格 （ Goal） 、 場 所 格 （ Location） 、 時 間 格 （ Time

10

20

30

40

50

(20)

JP 2020-161136 A 2020.10.1）の８種類とされることが多い。
【００９９】
時系列データ群９０１をデータ駆動処理部９０２で認識した結果は、図１１に示すセマ
ンティックコンテキストの意味的役割のいずれかに当てはまる。
セマンティックコンテキストを構成する意味的役割を抽出するためには、様々なセンサが用いられる。例えば、慣性センサやマイクロフォンが搭載されたスマートフォンやスマ
ートウォッチ、そしてＲＦＩＤが貼られた衣服等のウェアラブルセンサなどが、主に対象となる行動、動作、姿勢などを検出するために用いられる。
【０１００】
ＲＦＩＤタグやコンタクトセンサ等の、物に取り付けることができるオブジェクトセン
サは、主にオブジェクトの場所、物体間の空間的関係、そして移動や使用状況などを捉えるために利用される。
ウェアラブルセンサは、人間に取り付けられる一種のオブジェクトセンサと見なすこともできる。このウェアラブルセンサにより、対象範囲にどのようなオブジェクトがあるか、対象の人物とインタラクションを持つオブジェクト（道具）があるか、そして被介助者の周囲に介助者がいるかといったコンテキスト情報を得ることができる。
人感センサや温度センサや湿度センサなどの環境センサは、部屋の状態を監視するために用いられる。
【０１０１】
図１２は、セマンティックコンテキストデータ群９０３から形成される、セマンティッ
クコンテキストの具体例を示す図である。
図１３Ａは、データ駆動処理部９０２で認識されたセマンティックコンテキストの、場
所における具体例を示す図である。
図１３Ｂは、データ駆動処理部９０２で認識されたセマンティックコンテキストの、姿勢における具体例を示す図である。
図１３Ｃは、データ駆動処理部９０２で認識されたセマンティックコンテキストの、道具における具体例を示す図である。
図１４は、データ駆動処理部９０２で認識されたセマンティックコンテキストの、対象における具体例を示す図である。
【０１０２】
第一のテーブル１２０１は、動作主フィールド、場所フィールド、時間的始点フィール
ド、時間的終点フィールド、所要時間フィールド、時間帯フィールドを有する。
第二のテーブル１２０２は、動作主フィールド、姿勢フィールド、時間的始点フィール
ド、時間的終点フィールド、所要時間フィールド、時間帯フィールドを有する。
第三のテーブル１２０３は、動作主フィールド、道具フィールド、時間的始点フィール
ド、時間的終点フィールド、所要時間フィールド、時間帯フィールドを有する。
第四のテーブル１２０４は、動作主フィールド、共役者フィールド、補助フィールド、
対象フィールド、空間的始点フィールド、空間的終点フィールド、移動距離フィールド、
時間的始点フィールド、時間的終点フィールド、所要時間フィールド、時間帯フィールドを有する。
【０１０３】
図１３Ａのテーブルは、動作主が何月何日何時何分から何月何日何時何分まで、どこに居たのかを記したセマンティックコンテキストである。
図１３Ａのテーブルは、図１２の第一のテーブル１２０１に対応する。図１３Ａのテー
ブルでは、所要時間フィールドと時間帯フィールドが省略されている。
図１３Ｂのテーブルは、動作主が何月何日何時何分から何月何日何時何分まで、どのような姿勢であったのかを記したセマンティックコンテキストである。
図１３Ｂのテーブルは、図１２の第二のテーブル１２０２に対応する。図１３Ｂのテー
ブルでは、所要時間フィールドと時間帯フィールドが省略されている。
【０１０４】

10

20

30

40

50

(21)

JP 2020-161136 A 2020.10.1

図１３Ｃのテーブルは、動作主が何月何日何時何分から何月何日何時何分まで、何の道具を持っていたのかを記したセマンティックコンテキストである。
図１３Ｃのテーブルは、図１２の第三のテーブル１２０３に対応する。図１３Ｃのテー
ブルでは、所要時間フィールドと時間帯フィールドが省略されている。
図１４のテーブルは、動作主が何月何日何時何分から何月何日何時何分まで、どこからどこまで、何をしていたのかを記したセマンティックコンテキストである。
図１４のテーブルは、図１２の第四のテーブル１２０４に対応する。図１４のテーブル
では、共役者フィールド、補助フィールド、所要時間フィールドと時間帯フィールドが省略されている。
以上の、図１３Ａ、図１３Ｂ、図１３Ｃ及び図１４において省略されているフィールド
は、必ずしもデータの記入を必要としないフィールドである。
【０１０５】
図 １ ５ は 、 Ｆ Ｉ Ｍ オ ン ト ロ ジ ー の 一 部 抜 粋 を Ｏ Ｗ Ｌ エ デ ィ タ の Protege上 で 表 示 し た 図である。
本発明の第一の実施形態に係る情報処理装置１０１では、ＡＤＬのオントロジーを作成したが、本発明の第二の実施形態に係る情報処理装置８０１では、ＡＤＬに加えて、ＦＩ
Ｍのオントロジーを作成する。
ＡＤＬは「昼食を食べた」というような、事象を認識するだけに留まる。これに対し、ＦＩＭは「一人で昼食を食べた」あるいは「介護者の介護を伴って昼食を食べた」というような、事象に加えて機能的自立度評価の元となる評価要素を伴う。
【０１０６】
オ ン ト ロ ジ ー は 、 Ｗ ３ Ｃ 標 準 に 従 っ て Ｏ Ｗ Ｌ （ Web Ontology Language） 形 式 で 作 成 され る 。 Ｏ Ｗ Ｌ オ ン ト ロ ジ ー は 、 Individual, Property, Class か ら 構 成 さ れ る 。 Individ
ual は そ の ド メ イ ン 内 の オ ブ ジ ェ ク ト を 表 す 。 例 え ば 、 PersonA, Chair1, ActivityOfPer
sonA な ど で あ る 。 Property は ２ つ の Individual の 二 項 関 係 で あ る 。 例 え ば 、 hasCurr
entActivity Property は PersonA Individual と ActivityOfPersonAIndividual を 関 連
付 け 、 PersonA が 現 在 行 っ て い る 行 動 ActivityOfPersonA を 持 っ て い る こ と を 示 す 。 Cl
ass は Individual の 集 合 に 関 連 付 け ら れ る 。 例 え ば 、 PersonAIndividual は Person Cl
ass に 関 連 付 け ら れ る 。
図 １ ５ に 示 す オ ン ト ロ ジ ー の 一 部 抜 粋 は 、 左 か ら 順 に Class, Object Property, お よび Individual の 一 部 を 切 り 出 し て い る 。 こ れ ら の オ ン ト ロ ジ ー の 作 成 に は 、 Ｉ Ｒ Ｆ − Ｐ
Ａ Ｉ （ Inpatient Rehabilitation Facility, Patient Assessment Instrument） ト レ ー ニ
ン グ マ ニ ュ ア ル （ https://www.cms.gov/Medicare/Quality-Initiatives-Patient-Assessm
ent-Instruments/IRF-Quality-Reporting/IRF-PAI-and-IRF-PAI-Manual） を 参 照 し た 。
【０１０７】
図１６は、ＡＤＬ／ＦＩＭオントロジーにおける、ＦＩＭの定義の一部を説明する図である。
ＡＤＬ及びＦＩＭは、オブジェクト指向に基づいて定義される。
FIM Class は 、 図 １ ６ に 示 す よ う に 階 層 構 造 を 用 い て 各 項 目 が 表 現 さ れ て い る 。 FIM C
lass の サ ブ ク ラ ス と し て Motor Class が あ り 、 そ の 中 に Self-Care, Locomotion と い
っ た カ テ ゴ リ が あ る 。 そ し て 、 カ テ ゴ リ ク ラ ス の サ ブ ク ラ ス と し て 、 Eating 等 の 各 評 価
項目が定義されており、更にそのサブクラスとして自立度スコアに対応したクラスが定義
さ れ て い る 。 Eating や Bathing, Toileting と い っ た 各 評 価 項 目 レ ベ ル の ク ラ ス は 、 Ａ
ＤＬクラスのサブクラスでもある。なお、図１６では画像の大きさの都合上、省略している が 、 Self-Care 以 外 の カ テ ゴ リ に つ い て も 各 評 価 項 目 お よ び 自 立 度 に 対 応 す る サ ブ ク
ラスが定義されている。
【０１０８】
図１７は、ＦＩＭ評価項目とコンテキストとの関係の一例を説明する図である。
図 １ ７ に 示 す よ う に 、 各 Ｆ Ｉ Ｍ 評 価 項 目 は 、 Activity Class に 様 々 な コ ン テ キ ス ト を
has-Context Property で 関 連 付 け る こ と で 定 義 さ れ る 。 こ の Context は セ マ ン テ ィ ッ ク

10

20

30

40

50

(22)

JP 2020-161136 A 2020.10.1

コ ン テ キ ス ト デ ー タ 群 ９ ０ ３ と 対 応 し て お り 、 例 え ば 図 １ ７ の 左 側 の isTaking-PlaceOn D
iningRoom は 、 そ の 行 動 の 場 所 コ ン テ キ ス ト が Dining Room で あ る と い う こ と 、 中 央 のhasAssistance ModerateAssistance は 介 助 コ ン テ キ ス ト が 中 等 度 介 助 で あ る と い う こ と、 右 側 の usingArtifact EatingUtensil は 道 具 コ ン テ キ ス ト が 食 事 用 具 で あ る と い う ことを意味している。
【０１０９】
図１８は、作成したＡＤＬ／ＦＩＭオントロジーにおける定義の一例をＯＷＬエディタの Protege上 で 表 示 し た 図 で あ る 。
図 １ ８ に は 、 Ａ Ｄ Ｌ ／ Ｆ Ｉ Ｍ オ ン ト ロ ジ ー に お け る Eating-6 Class の 定 義 が 掲 載 さ れて い る 。 こ こ で 、 Eating-6 Class と は 、 Ｆ Ｉ Ｍ 項 目 に お け る 食 事 に 該 当 し 、 ＂ -6＂ は その 行 動 に お け る 自 立 度 が ６ で あ る こ と を 意 味 す る 。 図 １ ８ の 定 義 は 、 Eating-6 Class は、 ダ イ ニ ン グ ル ー ム も し く は SemanticEatingPlace2 で 行 わ れ 、 飲 食 物 を 口 に 運 ぶ 動 作 を伴い、介助は必要なく、時間帯は朝・昼・夕食時、姿勢は座位、補助食事用具を使用して
い る PersonalActivity で あ る こ と を 意 味 し て い る 。
【０１１０】
図１９は、継続して発生するコンテキストの表現例を示す図である。図１９に示すように 、 時 間 軸 上 に 継 続 し て 発 生 す る コ ン テ キ ス ト は 、 hasPrecedentContext ま た は hasSubs
equentContext Property を 使 用 し て 表 現 さ れ る 。 こ の 例 で は 、 リ ビ ン グ ル ー ム か ら ト イ
レ 、 さ ら に 居 室 (プ ラ イ ベ ー ト ル ー ム ) へ の 遷 移 が 示 さ れ て い る 。 ま た 、 hasPrecedentCo
ntext は TransitiveProperty で あ る か ら 、 両 端 の コ ン テ キ ス ト は hasPrecedentContextと暗黙的にリンクされる。
【０１１１】
図２０は、ＤＬ推論器９０５が実施する推論タスクの一覧を示す図である。
作 成 し た Ａ Ｄ Ｌ ／ Ｆ Ｉ Ｍ オ ン ト ロ ジ ー で は 、 各 Person Individual が hasCurrentActi
vityProperty に よ っ て Activity Class の Individual と 紐 付 け ら れ て い る 。 そ し て 、
デ ー タ 駆 動 層 で 抽 出 さ れ た セ マ ン テ ィ ッ ク コ ン テ キ ス ト の イ ン ス タ ン ス が Activity Class の Individual に hasContext Property に よ っ て 紐 付 け ら れ る 。 そ し て 、 Fact++ やPellet （ https://github.com/stardog-union/pellet） と い っ た Ｄ Ｌ 推 論 器 ９ ０ ５ を 用 いて 、 ＂ 概 念 の イ ン ス タ ン ス ＂ タ ス ク に よ り Activity Individual が Ｆ Ｉ Ｍ の 評 価 項 目 のどのクラスに属するかを特定することでＦＩＭ計測が実現される。
【０１１２】
こ こ で は 、 概 念 記 述 は オ ン ト ロ ジ ー の Class 階 層 や 定 義 （ 図 １ ５ の 左 側 ） 、 個 体 記 述は Individual （ デ ー タ 駆 動 層 で 認 識 さ れ た コ ン テ キ ス ト お よ び 予 め 挿 入 さ れ て い た イ ン
スタンス（図１５の右側）） を指す。つまり、ＤＬ推論器９０５は、作成されたＦＩＭ
オントロジーと環境に応じて予め挿入されていたインスタンス、認識されたコンテキスト
情 報 を 用 い て 、 図 ２ ０ に あ る 推 論 タ ス ク を 実 行 し 、 対 象 の 人 物 が 持 つ Acitivity ク ラ スの Individual が ど の 行 動 お よ び ス コ ア に 対 応 す る ク ラ ス に 属 す る の か を 判 定 す る 。
【０１１３】
図 ２ １ は 、 Ｄ Ｌ 推 論 器 ９ ０ ５ の 動 作 の 一 例 を Ｏ Ｗ Ｌ エ デ ィ タ の Protege上 で 表 示 し た 図である。
図 ２ １ で は 、 PersonA が 持 つ ActivityOfPersonA が 、 Ｄ Ｌ 推 論 器 ９ ０ ５ に よ っ て Eati
ng-6 ク ラ ス に 属 す る と 判 定 さ れ た 例 を 示 す 。 表 示 箇 所 Ｐ ２ １ ０ １ は 、 実 際 に は 表 示 部 １
０ ６ に お い て 背 景 が 黄 色 く な っ て お り 、 Eating-6 が 推 論 に よ り 導 出 さ れ た こ と を 意 味 している。
【０１１４】
オントロジー推論においては、クラスの定義を不足なく満たしていれば意図した通りに結果を出力することができるが、得られたセマンティックコンテキストが不完全な場合は自立度を含むサブクラスまで絞り込むことができなくなってしまう。つまり、オントロジ
ー推論の枠組みを利用するには、ＦＩＭを測定するためには対象のクラスに定義された全てのコンテキストは必ず得られるようにする必要がある。

10

20

30

40

50

(23)

JP 2020-161136 A 2020.10.1

しかし、現実環境においては、環境の違いによってセンサの数や種類に制限がある、またセンサやネットワーク障害が原因で一部のセンサデータが得られないといったことがし
ばしば発生する。これでは、現実の環境に適用するには有効性にかけていると言わざるを得ない。そこで、現実環境に適用するためには、不完全なデータからでも、その不完全なデータから考えられる最大限の結果を出力できるようにすることが求められる。
【０１１５】
そこで本発明の第二の実施形態に係る情報処理装置８０１では、不完全なコンテキスト
による推論の失敗を防ぐために、必ず認識されるべき必須コンテキストだけでなく、必ずしも認識される必要はない任意コンテキストという概念を新たに導入する。
任 意 コ ン テ キ ス ト は 、 対 象 と す る ク ラ ス の 定 義 に お い て 、 hasContext Property の 代
わ り に hasOptionalContext Property を 使 う こ と で 表 現 さ れ る 。 hasOptional-Context
Property が 関 連 付 け ら れ た コ ン テ キ ス ト は 、 初 期 状 態 と し て 予 め ダ ミ ー の Context イ ン
ス タ ン ス を Activity イ ン ス タ ン ス に 関 連 付 け ら れ る 。 そ し て 、 実 際 に 対 応 す る コ ン テ キ
ス ト が 観 測 さ れ た 際 に は 、 ダ ミ ー の Context イ ン ス タ ン ス を 有 効 な コ ン テ キ ス ト と 入 れ
替 わ る 。 ダ ミ ー の コ ン テ キ ス ト に は A isOptional Property が 紐 付 け ら れ て い る た め 、 実
際に認識されたコンテキストなのか、初期状態からダミーとして挿入されていたコンテキストなのかを判別することができる。
【０１１６】
これにより、任意コンテキストに関しては実際にデータ駆動層で認識されなかったとして も 、 必 須 コ ン テ キ ス ト が 全 て 認 識 さ れ て さ え い れ ば 、 Ｄ Ｌ 推 論 器 ９ ０ ５ は そ の Activit
yClass の Individual を そ の 対 象 ク ラ ス の イ ン ス タ ン ス と し て 認 識 す る 。 そ し て 、 Ｄ Ｌ 推
論器９０５は、この認識されたクラスで定義されているコンテキストの数（必須コンテキ
スト＋任意コンテキスト）に対する実際に認識されたコンテキストの割合を計算することで、そのクラスの確信度を計算する。
こ の よ う に 、 Ｄ Ｌ 推 論 器 ９ ０ ５ は 、 Activity Class の Individual が 複 数 の ク ラ ス のインスタンスとして認識した場合に、各ＦＩＭクラスごとの確信度を計算することによって最も可能性の高い結果を出力することができる。
【０１１７】
図２２は、任意コンテキストを含むセマンティックコンテキストの一例を示す図である。
図 ２ ２ は 、 対 象 と な る 動 作 （ PickingUpFood, BringingFoodToMouth） が 認 識 さ れ な か っ
た 場 合 で も 、 任 意 コ ン テ キ ス ト の 存 在 に よ り Eating-6 と 認 識 さ れ る 例 を 図 示 し た も の であ る 。 図 ２ ２ に 示 す よ う に 、 中 心 に あ る Activity Class か ら ７ つ の コ ン テ キ ス ト へ ７ 本の矢印が延びている。このうち、実線の矢印は、実際に認識されたコンテキストであり、点線の矢印は初期状態からダミーとして挿入されていたコンテキストを意味している。この場合は、定義にある７つのコンテキストうち５つのコンテキストが実際に認識されている た め 、 確 信 度 は 5/7（ ＝ 0.71） と な る 。
【０１１８】
本発明の第二の実施形態に係る情報処理装置８０１の動作を検証するため、実験を行った。
本実験では発明者らが所属する研究室の学生４名に協力してもらい、介護者・被介護者役をお願いし、スリッパやネームプレート、机・椅子等にＲＦＩＤタグを取り付け、データの収集を行った。また、研究室実験においては、予め想定されるＦＩＭスコアが異なる
３つの動作シナリオを用意し、協力者にはそれに従った動作をお願いした。
シナリオ１は、最も健常者に近い、ＦＩＭスコアを高く想定したシナリオである。シナリオ２は、シナリオ１よりもＦＩＭスコアを低く想定したシナリオである。シナリオ３は、シナリオ２よりもＦＩＭスコアを低く想定した、すなわち最もＦＩＭスコアを低く想定したシナリオである。
【０１１９】
図２３Ａは、シナリオ１での実験結果をガントチャートにて示す図である。

10

20

30

40

50

(24)

JP 2020-161136 A 2020.10.1

図２３Ｂは、シナリオ２での実験結果をガントチャートにて示す図である。
図２３Ｃは、シナリオ３での実験結果をガントチャートにて示す図である。
図２３Ａ、図２３Ｂ及び図２３Ｃは、情報処理装置８０１から出力された結果をガント
チャートにプロットした結果である。
ま た 、 各 区 間 に お い て 複 数 カ テ ゴ リ （ e.g. Loco, Transfer,Self-care） の ク ラ ス が 出てきた場合には、その区間のクラスに対応したものを優先して出力している。全体的な結果 と し て は 、 各 シ ナ リ オ で 想 定 し て い た 通 り に Ｆ Ｉ Ｍ ス コ ア は Scenario-1 が 一 番 高 く 、Scenario-3 が 一 番 低 い と い う 結 果 に な っ て い る 。
【０１２０】
本発明の各実施形態においては、情報処理装置を開示した。
本発明の第一の実施形態に係る情報処理装置１０１は、種々のセンサ（マルチモーダル
センサＣ７０１）を利用して、多種多様なＡＤＬの識別あるいは推定を行う。
入力同期併合処理部３０５は、複数のイベントを受け入れて、各々のイベントの内容を単一のイベントに併合して出力する。その際、入力同期併合処理部３０５は、定義ファイ
ル３０４に記述することで指定されたタイミングで、イベントを出力する。
【０１２１】
学習データ処理部３０７は、入力されたイベントの内容を学習型情報処理装置１０４に特徴ベクトルとして出力し、学習型情報処理装置１０４から目的変数を受け取り、イベン
トの形式に変換して出力する。
条件判断処理部３０６は、単一のイベントを受け入れて、イベントに含まれているデー
タに対し、所定の条件判断を行うことで、条件に応じて異なるイベントを出力する。
ＡＤＬ識別処理部３１２は、入力される様々なイベントで明らかになる基礎的な事象に基づいて、観察対象者における高次のＡＤＬを判定する。
高次のＡＤＬをルールベースで定義することで、ＡＤＬ識別処理部３１２は、低負荷でありながら高い判定精度のＡＤＬ判定を実現することができる。
【０１２２】
本発明の第二の実施形態に係る情報処理装置８０１は、マルチモーダルセンサＣ７０１
を利用して、ＡＤＬ及びＦＩＭの判定を行う。
マルチモーダルセンサＣ７０１から生成される、時系列データ群９０１は、データ駆動
処理部９０２によって、事象を表現するセマンティックコンテキストデータ群９０３に変換される。セマンティックコンテキストデータ群９０３は、オントロジー推論処理部８０６によってＡＤＬが判定される。
オントロジー推論処理部８０６がＦＩＭの判定に失敗する場合を想定して、ＡＤＬ・Ｆ
ＩＭオントロジー解析処理部９０４において、予めセマンティックコンテキストデータ群
９０３の、特定の条件において、ダミーの任意コンテキストを挿入する。そして、最終的に確信度演算処理部８０７がＦＩＭの確からしさを計算することで、マルチモーダルセン
サＣ７０１から得られる時系列データ群９０１に不具合が生じ、不完全なセマンティック
コンテキストデータ群９０３しか得られなかった場合でも、確信度演算処理部８０７は、確度の高いＦＩＭを判定することができる。
【０１２３】
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
【０１２４】
１０１…情報処理装置、１０２…顔認識カメラ、１０３ａ…センサ、１０４…学習型情報処理装置、１０５…操作部、１０６…表示部、１０７…マイク、２０１…バス、２０２…ＣＰＵ、２０３…ＲＯＭ、２０４…ＲＡＭ、２０５…不揮発性ストレージ、２０６…Ｒ
ＴＣ、２０７…ネットワークインターフェース、２０８…シリアルインターフェース、２
０９…Ａ／Ｄ変換器、３０１…入出力制御部、３０２…入出力整形処理部、３０３…介護度判定演算処理部、３０４…定義ファイル、３０５…入力同期併合処理部、３０６…条件

10

20

30

40

50

(25)

JP 2020-161136 A 2020.10.1

判断処理部、３０７…学習データ処理部、３０８…学習用バッファ、３０９…データベー
ス、３１２…ＡＤＬ識別処理部、３１３…ＯＷＬ定義ファイル、４０１…データ形式変換
処理部、４０２…データ形式逆変換処理部、４０３…基礎情報記憶部、４０４…ＡＤＬ判定処理部、８０１…情報処理装置、８０２…入出力制御部、８０３…データフォーマット
処理部、８０４…データマイニング判定処理部、８０５…機械学習推定処理部、８０６…
オントロジー推論処理部、８０７…確信度演算処理部、９０１…時系列データ群、９０２…データ駆動処理部、９０３…セマンティックコンテキストデータ群、９０４…ＡＤＬ・ＦＩＭオントロジー解析処理部、９０５…ＤＬ推論器、９０６…行動クラス判定結果及び自立度クラス判定結果、９０７…ＦＩＭ採点結果、９０８…ＯＷＬオントロジーオブジェ
クトインスタンス、１００１…行動クラス判定結果、１００２…自立度クラス判定結果、
１２０１…第一のテーブル、１２０２…第二のテーブル、１２０３…第三のテーブル、１
２０４…第四のテーブル

【図１】

【図２】

【図３】

10

(26)

【図４】

【図５】

【図６】

【図７】

JP 2020-161136 A 2020.10.1

(27)

【図８】

【図９】

【図１０】

【図１１】

JP 2020-161136 A 2020.10.1

(28)

【図１２】

【図１３】

【図１４】

【図１６】

【図１５】

JP 2020-161136 A 2020.10.1

(29)

【図１７】

【図１９】

【図１８】
【図２０】

【図２１】

【図２２】

【図２３】

JP 2020-161136 A 2020.10.1