(57)【要約】【課題】  ターゲットドメインのラベル付きデータが少量しかなく、かつ様々なソースドメインのデータが存在するような状況であっても、精度の高い行動認識を可能にする。【解決手段】  行動認識システム１において、ドメイン間類似度算出部１３は、ターゲットドメインに関するドメイン情報１２を入力とし、ドメイン間関係性情報ＤＢ１４に格納された第１の情報に基づいて、当該ターゲットドメインと複数のドメインとのドメイン間の類似度を算出し、データ変換部１５は、ドメイン間の類似度に基づいて、ドメイン別センサデータＤＢ１６に格納された第２の情報のうちから読み出した参照用情報を用いて、識別対象の入力センサデータ１１に対して所定のデータ変換を実行し、識別部１７は、データ変換後の入力センサデータ１１とドメイン別識別器ＤＢ１８に格納された識別器のパラメータとを用いて、当該入力センサデータ１１に対応する行動種別を識別する。【選択図】図１
2020101948.tif 000002
【特許請求の範囲】
【請求項１】
ターゲットドメインで収集されたセンサデータを識別対象として、当該センサデータに対応する行動種別を識別する行動認識システムであって、
過去にセンサデータが収集された複数のドメインについて、複数のドメイン間の関係性に関する第１の情報を格納する第１の格納部と、
前記過去のセンサデータに対応する行動種別と当該センサデータが収集された前記ドメインとを紐付けた第２の情報を格納する第２の格納部と、
前記複数のドメインのドメインごとのデータを用いてセンサデータに対応する行動種別を識別するように学習したドメイン別の識別器におけるパラメータを含む第３の情報を格納する第３の格納部と、
前記ターゲットドメインに関する情報を入力とし、前記第１の格納部に格納された前記第１の情報に基づいて、当該ターゲットドメインと前記複数のドメインとのドメイン間の類似度を算出するドメイン間類似度算出部と、
前記ドメイン間類似度算出部によって算出された前記ドメイン間の類似度に基づいて、前記第２の格納部に格納された前記第２の情報のうちから参照用情報を読み出し、当該参照用情報を用いて、前記識別対象のセンサデータに対して所定のデータ変換を実行するデータ変換部と、
前記データ変換部によってデータ変換された前記識別対象のセンサデータと前記第３の格納部に格納された前記第３の情報が有する前記識別器のパラメータとを用いて、当該識別対象のセンサデータに対応する行動種別を識別する識別部と、
を備えることを特徴とする行動認識システム。
【請求項２】
前記第１の格納部に格納される前記第１の情報には、前記複数のドメインにおけるドメイン間の類似度が登録される
ことを特徴とする請求項１に記載の行動認識システム。
【請求項３】
前記複数のドメイン間の関係性が所定構造に基づいて表現され、
前記第１の格納部に格納される前記第１の情報には、前記複数のドメインについて前記ドメイン間の関係性を表現する前記所定構造の構成情報が保持され、
前記ドメイン間類似度算出部は、前記ターゲットドメインに関する情報と前記第１の情報とに基づいて算出される、前記ターゲットドメインと前記複数のドメインとの距離を用いて、前記ドメイン間の類似度を算出する
ことを特徴とする請求項１に記載の行動認識システム。
【請求項４】
前記所定構造は階層構造であり、
前記第１の格納部に格納される前記第１の情報には、前記複数のドメインのそれぞれについて自ドメインと親ドメインとの組み合わせが保持され、
前記ドメイン間類似度算出部は、前記ターゲットドメインに関する情報と前記第１の情報とに基づいて算出される前記階層構造の階層上の距離を用いて、前記ドメイン間の類似度を算出する
ことを特徴とする請求項３に記載の行動認識システム。
【請求項５】
前記所定構造はネットワーク構造であり、
前記第１の格納部に格納される前記第１の情報には、前記複数のドメインのそれぞれについて自ドメインと近接ドメインとの組み合わせが保持され、
前記ドメイン間類似度算出部は、前記ターゲットドメインに関する情報と前記第１の情報とに基づいて算出される前記ネットワーク構造のネットワーク上の距離を用いて、前記ドメイン間の類似度を算出する
ことを特徴とする請求項３に記載の行動認識システム。
【請求項６】
前記複数のドメイン間の関係性が、各々のドメイン名を埋め込んだ単語埋め込み空間における関係として表現され、
前記第１の格納部に格納される前記第１の情報には、前記複数のドメインについて各ドメインのドメイン名を単語埋め込み空間に埋め込んだときのベクトルが保持され、
前記ドメイン間類似度算出部は、前記ターゲットドメインのドメイン名を前記単語埋め込み空間に埋め込んだときのベクトルと前記第１の情報に保持された前記複数のドメインについての前記ベクトルとに基づいて算出される、当該単語埋め込み空間における距離を用いて、前記ドメイン間の類似度を算出する
ことを特徴とする請求項１に記載の行動認識システム。
【請求項７】
前記データ変換部は、前記識別対象のセンサデータに対して恒等写像を行うことによって、前記ドメイン間の類似度に基づいて、学習済みの前記ドメイン別の識別器の中から適当なドメインの識別器を選択する機能を有する
ことを特徴とする請求項１に記載の行動認識システム。
【請求項８】
前記データ変換部は、前記ドメイン間の類似度に基づいて、前記第１の格納部に情報が格納された前記複数のドメインのうちから適合先のソースドメインを選択し、当該ソースドメインに対応する前記第２の情報を前記参照用情報として読み出し、当該参照用情報を用いて、前記識別対象のセンサデータに当該ソースドメインを適合先とするドメイン適合を行う
ことを特徴とする請求項１に記載の行動認識システム。
【請求項９】
前記識別器による行動種別の識別が行われる前に、前記第２の格納部に格納されている前記第２の情報のうちから、前記ドメイン間類似度算出部によって算出された前記ドメイン間の類似度に基づいて前記識別器の学習用データを選択し、当該学習用データに基づいて当該識別器を学習する識別器学習部を、前記第３の格納部に代えて新たに備え、
前記識別部は、前記データ変換部によってデータ変換された前記識別対象のセンサデータと、前記識別器学習部によって学習した後の前記識別器のパラメータとを用いて、当該識別対象のセンサデータに対応する行動種別を識別する
ことを特徴とする請求項１に記載の行動認識システム。
【請求項１０】
前記第１の情報を登録するための入力画面、及び、前記識別部によって識別された前記行動種別の識別結果を表示する出力画面を提供する入出力部をさらに備える
ことを特徴とする請求項１に記載の行動認識システム。
【請求項１１】
前記入出力部は、前記出力画面において、前記識別結果に当該識別結果の信頼度を付与して表示する
ことを特徴とする請求項１０に記載の行動認識システム。
【請求項１２】
ターゲットドメインで収集されたセンサデータを識別対象として、当該センサデータに対応する行動種別を識別する行動認識方法であって、
前記ターゲットドメインに関する情報を入力とし、過去にセンサデータが収集された複数のドメインについての複数のドメイン間の関係性に関する第１の情報に基づいて、当該ターゲットドメインと前記複数のドメインとのドメイン間の類似度を算出するドメイン間類似度算出ステップと、
前記ドメイン間類似度算出ステップで算出された前記ドメイン間の類似度に基づいて、前記過去のセンサデータに対応する行動種別と当該センサデータが収集された前記ドメインとを紐付けた第２の情報のうちから、参照用情報を読み出し、当該参照用情報を用いて、前記識別対象のセンサデータに対して所定のデータ変換を実行するデータ変換ステップと、
前記データ変換ステップでデータ変換された前記識別対象のセンサデータと、前記複数のドメインのドメインごとのデータを用いてセンサデータに対応する行動種別を識別するように学習したドメイン別の識別器におけるパラメータとを用いて、当該識別対象のセンサデータに対応する行動種別を識別する識別ステップと、
を備えることを特徴とする行動認識方法。
【請求項１３】
前記複数のドメイン間の関係性が所定構造に基づいて表現され、
前記第１の情報には、前記複数のドメインについて前記ドメイン間の関係性を表現する前記所定構造の構成情報が保持され、
前記ドメイン間類似度算出ステップでは、前記ターゲットドメインに関する情報と前記第１の情報とに基づいて算出される、前記ターゲットドメインと前記複数のドメインとの距離を用いて、前記ドメイン間の類似度を算出する
ことを特徴とする請求項１２に記載の行動認識方法。
【請求項１４】
前記複数のドメイン間の関係性が、各々のドメイン名を埋め込んだ単語埋め込み空間における関係として表現され、
前記第１の情報には、前記複数のドメインについて各ドメインのドメイン名を単語埋め込み空間に埋め込んだときのベクトルが保持され、
前記ドメイン間類似度算出ステップでは、前記ターゲットドメインのドメイン名を前記単語埋め込み空間に埋め込んだときのベクトルと前記第１の情報に保持された前記複数のドメインについての前記ベクトルとに基づいて算出される、当該単語埋め込み空間における距離を用いて、前記ドメイン間の類似度を算出する
ことを特徴とする請求項１２に記載の行動認識方法。
【請求項１５】
前記識別ステップの前に、前記ドメイン間類似度算出ステップで算出された前記ドメイン間の類似度に基づいて、前記第２の情報のうちから前記識別器の学習用データを選択し、当該学習用データに基づいて当該識別器を学習する識別器学習ステップをさらに備え、
前記識別ステップでは、前記データ変換ステップでデータ変換された前記識別対象のセンサデータと、前記識別器学習ステップで学習した後の前記識別器のパラメータとを用いて、当該識別対象のセンサデータに対応する行動種別を識別する
ことを特徴とする請求項１２に記載の行動認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、行動認識システム及び行動認識方法に関し、センサデータを用いて行動の種別を自動認識する行動認識システム及び行動認識方法に適用して好適なものである。
【背景技術】
【０００２】
従来、監視システム、ライフログ、または顧客行動ごとのマーケティング等のために、カメラ等のセンサから得られるセンサデータを分析して、人間の行動を自動認識したいという需要があった。このような需要に対して、数多くの行動認識技術が開発されており、その代表的な方法は、認識対象となる行動ごとに、学習データを収集し、ニューラルネットワークやＳＶＭ（Support Vector Machine）等の手法を用いて、センサデータと行動ラベルとの対応付けを学習する方法であった。
【０００３】
上記のような行動認識技術による行動認識システムを様々な現場に展開する際、認識対象の行動種別がシステムを展開済みの既存の現場のものと同じであれば、新たな現場において行動認識モデルを構築するための学習データを改めて収集し直すことなく、既存の現場で既に収集されたデータやモデルを活用できることが、システムの展開コストの観点から望ましい。
【０００４】
ところが、異なる現場で収集された行動データの統計的な性質は、例え同じ行動種別であったとしても、様々な要因によって異なることが有り得る。例えば、同じ「ネジ締め」という行動であっても、現場が異なれば、ネジ自体や工具の違い、ネジの取り付け位置の違い、あるいはネジ締めの度合いの違い等が存在し、ネジ締めの姿勢や作業方法が異なることがある。その結果、当該行動をセンサで観測して収集された行動データは、現場によって異なる性質を持ち得る。言い換えれば、データの生成に寄与する様々な要因が異なることで、データの生成分布も異なることになる。そして一般に、異なる生成分布から生成されたデータや、当該データに基づいて構築された識別モデルを用いると、識別精度が低下するという問題が知られている。
【０００５】
このような問題に対して、例えば特許文献１には、取得されたデータに対し、当該データと生成分布が同一であるデータを用いて構築されたモデルを利用することにより、精度良く識別を行おうとする物体認識方法が開示されている。特許文献１に開示された物体認識装置は、撮像部により撮像された画像を取得する画像取得部と、車両の周辺の明るさを検出する明るさ検出部と、明るさ検出部により検出された明るさに応じて、画像取得部により取得された画像に含まれる物体を認識する処理の内容を変更する画像認識部とを備えており、より具体的には、照度センサによって検出された明るさに応じて昼間用のモデルと夜間用のモデルとを切り替えて使用する。
【０００６】
また、特許文献２、非特許文献１及び非特許文献２には、異なるデータの生成分布を一致させるように変換を行ってから識別を行うことで精度よく識別を行う、ドメイン適合という技術が開示されている。ここで、ドメインとは、データの生成に関わる環境を示す言葉であり、一般にデータの収集ドメインが異なるとデータの生成分布も異なると考えられる。例えば、上述例の場合、ある現場を一つのドメイン、また別の現場を別のドメインと考えることができる。そして、識別を行うデータ（識別対象データ）の属するドメインはターゲットドメインと呼ぶ。一般に、ターゲットドメインからは、ごく少量のラベル付きデータ（学習データ）しか入手できていないと仮定する。上述例では、ターゲットドメインは新規に行動認識システムを展開しようとしている現場であり、当該現場からはラベル付きデータはほとんど収集できていないという状況がこれに当たる。一方、ラベル付きデータが大量に存在するドメインをソースドメインと呼ぶ。上述例では、システムを展開済みの既存の現場がこれに当たる。ドメイン適合とは、少量の学習データしか存在しないターゲットドメインのデータ分布を、大量の学習データが存在するソースドメインのデータ分布に適合させるように変換をかけることで、ソースドメインの学習データやそれをもとに構築されたモデルを用いて精度よく識別を行おうとする技術である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１８−０４１２０９号公報
【特許文献２】特開２０１６−０５８０７９号公報
【非特許文献】
【０００８】
【非特許文献１】V. Patel, R. Gopalan, R. Li and R. Chellappa: Visual domain adaptation: A survey of recent advances. IEEE signal processing magazine, Vol. 32, No. 3, pp 53--69, 2015
【非特許文献２】H. Daume and D. Marcu: Domain adaptation for statistical classifiers. Journal of Artificial Intelligence Research, Vol. 26, pp 101--126, 2006
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、上述した特許文献１に開示された物体認識装置において、切替可能な昼間用のモデル及び夜間用のモデルは、同一のドメインから昼夜別に収集されたデータから学習されたモデルであり、さらに、識別対象のデータも同一のドメインから取得される。すなわち、特許文献１に開示された物体認識技術は、ソースドメインが単一で、かつ、ソースドメインとターゲットドメインとが同一である場合にしか適用できない。
【００１０】
また、特許文献２、非特許文献１及び非特許文献２に開示されたドメイン適合の技術も、ソースドメインが単一である場合しか想定していない。ところが、行動認識システムを様々な現場に展開する際には、システムの展開が進めば進むほどソースドメインの数は増えることになる。このような状況で従来のドメイン適合の技術を適用しようとした場合、ターゲットドメインをどのソースドメインに適合させれば良いかが分からないため、単純には適用できないという問題があった。
【００１１】
本発明は以上の点を考慮してなされたもので、行動認識システムの展開が進み、更に新規の現場にシステムを導入しようとするような状況、すなわち、ターゲットドメインのラベル付きデータが少量しかなく、かつ様々なソースドメインのデータが存在するような状況であっても、精度の高い行動認識を可能にする行動認識システム及び行動認識方法を提案しようとするものである。
【課題を解決するための手段】
【００１２】
かかる課題を解決するため本発明においては、ターゲットドメインで収集されたセンサデータを識別対象として、当該センサデータに対応する行動種別を識別する以下の行動認識システムが提供される。この行動認識システムは、過去にセンサデータが収集された複数のドメインについて、複数のドメイン間の関係性に関する第１の情報を格納する第１の格納部と、前記過去のセンサデータに対応する行動種別と当該センサデータが収集された前記ドメインとを紐付けた第２の情報を格納する第２の格納部と、前記複数のドメインのドメインごとのデータを用いてセンサデータに対応する行動種別を識別するように学習したドメイン別の識別器におけるパラメータを含む第３の情報を格納する第３の格納部と、前記ターゲットドメインに関する情報を入力とし、前記第１の格納部に格納された前記第１の情報に基づいて、当該ターゲットドメインと前記複数のドメインとのドメイン間の類似度を算出するドメイン間類似度算出部と、前記ドメイン間類似度算出部によって算出された前記ドメイン間の類似度に基づいて、前記第２の格納部に格納された前記第２の情報のうちから参照用情報を読み出し、当該参照用情報を用いて、前記識別対象のセンサデータに対して所定のデータ変換を実行するデータ変換部と、前記データ変換部によってデータ変換された前記識別対象のセンサデータと前記第３の格納部に格納された前記第３の情報が有する前記識別器のパラメータとを用いて、当該識別対象のセンサデータに対応する行動種別を識別する識別部と、を備える。
【００１３】
また、かかる課題を解決するため本発明においては、ターゲットドメインで収集されたセンサデータを識別対象として、当該センサデータに対応する行動種別を識別する以下の行動認識方法が提供される。この行動認識方法は、前記ターゲットドメインに関する情報を入力とし、過去にセンサデータが収集された複数のドメインについての複数のドメイン間の関係性に関する第１の情報に基づいて、当該ターゲットドメインと前記複数のドメインとのドメイン間の類似度を算出するドメイン間類似度算出ステップと、前記ドメイン間類似度算出ステップで算出された前記ドメイン間の類似度に基づいて、前記過去のセンサデータに対応する行動種別と当該センサデータが収集された前記ドメインとを紐付けた第２の情報のうちから、参照用情報を読み出し、当該参照用情報を用いて、前記識別対象のセンサデータに対して所定のデータ変換を実行するデータ変換ステップと、前記データ変換ステップでデータ変換された前記識別対象のセンサデータと、前記複数のドメインのドメインごとのデータを用いてセンサデータに対応する行動種別を識別するように学習したドメイン別の識別器におけるパラメータとを用いて、当該識別対象のセンサデータに対応する行動種別を識別する識別ステップと、を備える。
【発明の効果】
【００１４】
本発明によれば、ターゲットドメインのラベル付きデータが少量しかなく、かつ様々なソースドメインのデータが存在し得る状況でも、精度の高い行動認識が可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施の形態に係る行動認識システムの構成例を示すブロック図である。
【図２】図１に示した行動認識システムのハードウェア構成例を示すブロック図である。
【図３】ドメイン間関係性情報の一例を示す図である。
【図４】ドメイン間関係性情報の入力に用いられるＧＵＩの一例を示す図である。
【図５】ドメイン別センサデータの一例を示す図である。
【図６】識別器パラメータ情報の一例を示す図である。
【図７】本発明の第２の実施の形態に係る行動認識システムの構成例を示すブロック図である。
【図８】ドメイン間の構造的関係性に階層構造を用いる際の、ドメイン間構造関係情報を説明するための図である。
【図９】階層構造によるドメイン間構造関係情報の入力に用いられるＧＵＩの一例を示す図である。
【図１０】第２の実施の形態においてドメイン間の構造的関係性に階層構造を用いる際の、類似度算出処理の処理手順例を示すフローチャートである。
【図１１】ドメイン間の構造的関係性にネットワーク構造を用いる際の、ドメイン間構造関係情報を説明するための図である。
【図１２】ネットワーク構造によるドメイン間構造関係情報の入力に用いられるＧＵＩの一例を示す図である。
【図１３】本発明の第３の実施の形態に係る行動認識システムの構成例を示すブロック図である。
【図１４】ドメイン単語埋め込み情報の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら、本発明の実施の形態を詳述する。なお、各図面において、同一または同様の機能を有する構成要素には、同一の番号を付し、説明の繰り返しを省略する。
【００１７】
（１）第１の実施の形態
（１−１）行動認識システムの機能構成
図１は、本発明の第１の実施の形態に係る行動認識システムの構成例を示すブロック図である。図１に示した第１の実施の形態に係る行動認識システム１は、センサによって取得された識別対象の入力センサデータ１１と、入力センサデータ１１が収集されたドメインの情報であるドメイン情報１２とを入力とし、識別対象の入力センサデータ１１に対応する行動種別を識別する処理を実行し、その識別結果１９を出力する。なお、以降の説明において、入力センサデータ１１及びドメイン情報１２を合わせて識別対象データ１０と称する。
【００１８】
入力センサデータ１１の取得には、カメラ、マイク、距離センサ、加速度センサ、ジャイロセンサ、筋電センサ、脈拍・心拍センサ、照度センサ、または圧力センサ等の種々のセンサを一つまたは複数組み合わせて用いることができ、センサの種類や数は限定されない。また、行動認識システム１は、センサの計測値をＨＤＤ（Hard Disk Drive）等の記憶装置に一旦格納してから、改めて入力センサデータ１１として入力して以降の処理を行うようにしてもよいし（オフライン処理）、センサから読み取った計測値を直接、入力センサデータ１１として入力して以降の処理を行うようにしてもよい（リアルタイム処理）。
【００１９】
図１に示したように、行動認識システム１は、ドメイン間類似度算出部１３、ドメイン間関係性情報ＤＢ１４、データ変換部１５、ドメイン別センサデータＤＢ１６、識別部１７、及びドメイン別識別器ＤＢ１８を備えて構成される。
【００２０】
行動認識システム１による処理フローの概要を説明すると、行動認識システム１は、まず、識別対象データのドメイン情報１２を読み取る。そして、ドメイン間類似度算出部１３が、ドメイン間関係性情報ＤＢ１４に格納されている複数のドメイン間の関係性に関する情報を読み出し、識別対象データ１０のドメイン（ターゲットドメイン）とドメイン間関係性情報ＤＢ１４に情報が格納されている各ドメイン（ソースドメイン）との類似度を算出する（類似度算出処理）。
【００２１】
次に、データ変換部１５が、入力センサデータ１１を読み取り、ドメイン間類似度算出部１３によって算出された類似度に基づいて、入力センサデータ１１を変換する際に利用する既存のセンサデータを決定し、決定したセンサデータをドメイン別センサデータＤＢ１６から読み出し、入力センサデータ１１に変換を掛ける（データ変換処理）。
【００２２】
そして最後に、識別部１７が、入力センサデータ１１の変換の際に利用した既存のセンサデータを用いて構築された識別器のパラメータを、ドメイン別識別器ＤＢ１８から読み出し、読み出した識別器のパラメータを用いて、変換後の入力センサデータ１１に対して行動種別を識別する処理を実行し、識別結果１９を出力する（行動識別処理）。
【００２３】
（１−２）ハードウェア構成
図２は、図１に示した行動認識システムのハードウェア構成例を示すブロック図である。行動認識システム１は、例えば図２に示したハードウェア構成を備えた計算機１００によって実現することができる。
【００２４】
図２に示したように、計算機１００は、入力装置１０１、中央演算処理装置１０２、主記憶装置１０３、補助記憶装置１０４、及び出力装置１０５を備えて構成され、各構成はバス１０６を介して接続される。
【００２５】
計算機１００において、中央演算処理装置１０２は、主記憶装置１０３に格納されたプログラムを実行する。主記憶装置１０３は、例えばＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶装置であり、オペレーティングシステムとアプリケーションプログラムを格納する。そして、中央演算処理装置１０２がオペレーティングシステムを実行することによって、計算機１００の基本機能が実現される。また、中央演算処理装置１０２がアプリケーションプログラムを実行することによって、図１に示した行動認識システム１におけるドメイン間類似度算出部１３、データ変換部１５、及び識別部１７の機能が実現される。
【００２６】
補助記憶装置１０４は、例えば磁気記憶装置やフラッシュメモリ等の大容量且つ不揮発性の記憶装置であり、中央演算処理装置１０２によって実行されるプログラムとプログラム実行時に使用されるデータとを格納する。すなわち、中央演算処理装置１０２が実行するプログラムは、補助記憶装置１０４から読み出され、主記憶装置１０３にロードされ、中央演算処理装置１０２によって実行される。図１に示した行動認識システム１におけるドメイン間関係性情報ＤＢ１４、ドメイン別センサデータＤＢ１６、及びドメイン別識別器ＤＢ１８は、補助記憶装置１０４内に格納することができる。
【００２７】
入力装置１０１は、例えばキーボードやマウスである。計算機１００は、例えば入力装置１０１の操作に基づいて、入力センサデータ１１を受信することができる。ここで、入力センサデータ１１は、例えばＵＳＢ（Universal Serial Bus）ケーブル等を用いて計算機１００に接続されたセンサから送信されてもよいし、ネットワークを経由して送信されてもよいし、ＣＤやＤＶＤなどのメディアに一度書き出され、それを計算機１００が読込んで取得するようにしてもよい。また、出力装置１０５は、例えば液晶ディスプレイやプロジェクタ、プリンタ等であり、出力部（不図示）として識別結果１９を出力（例えば所定画面に表示）することができる。また、出力装置１０５は、行動認識システム１の各ＤＢ（ドメイン間関係性情報ＤＢ１４、ドメイン別センサデータＤＢ１６、ドメイン別識別器ＤＢ１８）に登録されるデータの入力用に所定のＧＵＩ（Graphic User Interface）を表示したり、上記各ＤＢに格納されたデータの閲覧用に所定の画面を表示したりすることにも使用できる。
【００２８】
なお、行動認識システム１を実現する計算機１００のハードウェア構成は、図２の例示に限定されるものではなく、他にも例えば、ドメイン間類似度算出部１３、データ変換部１５、または識別部１７による演算の高速化のために、ＧＰＵ（Graphic Processing Unit）を用いてもよい。そして、これらの各装置は、バス１０６を介してデータをやり取りできることが好ましい。
【００２９】
（１−３）処理やデータの詳細
以下、本実施の形態に係る行動認識システム１における各コンポーネントの処理やデータ形式について、より詳細に説明する。
【００３０】
（１−３−１）識別対象データ
前述したように、識別対象データ１０には、入力センサデータ１１とドメイン情報１２とが含まれる。このうち、入力センサデータ１１は、一般に多次元のベクトルであり、センサから出力される値そのものでも良いし、所定の前処理（特徴抽出）を施した後のデータでも良い。
【００３１】
また、ドメイン情報１２には、例えば、当該識別対象データ１０が取得されたドメインの名前を用いることができる。具体的には、データの取得場所を示す「工場Ａ」や「作業現場Ｂ」等がドメイン名の一例として挙げられる。ここで「ドメイン」とは、前述した通り、データの生成に関わる環境を意味するので、上記のようにデータが取得された場所だけでなく、例えば行動を行った「人」等も一つのドメインと考えることが出来る。同じ行動であっても、作業員が異なればその行動の仕方も異なることが有り得るためである。この場合、ドメイン情報１２として例えば「作業員Ｃ」等が考えられる。またこの他にも、データの生成に一定の影響を与える要因であれば、一つのドメインと考えることができる。
【００３２】
（１−３−２）ドメイン間関係性情報と類似度算出処理
図３は、ドメイン間関係性情報の一例を示す図である。図３に示したドメイン間関係性情報１４１は、図１に示したドメイン間関係性情報ＤＢ１４に予め格納されるデータの一例であり、ドメイン同士の類似度をマトリックス形式で保持している。より具体的には、図３の場合、「工場Ａ」、「工場Ｂ」、「ラインＣ」、「ラインＤ」、「作業員Ｅ」、及び「作業員Ｆ」の各ドメインについて、ドメイン間の類似度が「０」〜「１」の間の数値で示されている。なお、本例では、ドメイン間の関係性を示す指標の一例として「類似度」を用いて説明するが、本実施の形態はこれに限定されるものではなく、例えば乖離度等の他の指標を用いてもよい。
【００３３】
ここで、ドメイン間関係性情報１４１の登録方法について説明する。行動認識システム１では、例えば、所定のＧＵＩに対するユーザ（管理者等を含む）による入力操作に基づいて、ドメイン間関係性情報１４１をドメイン間関係性情報ＤＢ１４に登録することができる。
【００３４】
図４は、ドメイン間関係性情報の入力に用いられるＧＵＩの一例を示す図である。図４に示した新規ドメイン登録画面１４２は、ドメイン間関係性情報ＤＢ１４にドメインを新規に登録するためのＧＵＩである。具体的な登録方法は、まず、ユーザが、新規に登録しようとする新規ドメインの名前をテキストボックス１４２１に入力し、続いて、既に登録されているドメインに対する新規ドメインの類似度を入力欄１４２２に入力する。その後、登録ボタン１４２５をクリックすることにより、ドメイン間関係性情報１４１に新規ドメインに関する入力内容が追加されてドメイン間関係性情報ＤＢ１４に登録される。なお、新規ドメイン登録画面１４２において新規ドメインの登録を中止したい場合は、戻るボタン１４２４をクリックすれば、遷移前のページに戻る。
【００３５】
なお、新規ドメイン登録画面１４２において最初のドメインを登録する際には、登録済みのドメインが存在しないため、入力欄１４２２への入力は不要で、テキストボックス１４２１にドメイン名を入力して登録ボタン１４２５をクリックすればよい。また、新規ドメイン登録画面１４２においてマトリックス表示ボタン１４２３をクリックすると、これまでにドメイン間関係性情報ＤＢ１４に登録されたドメイン間関係性情報１４１が、図３に示したようなマトリックス形式で所定画面に表示される。このようなマトリックス表示形式による閲覧を可能にしておくことで、ユーザの利便性を向上させることができる。
【００３６】
以上のようにしてドメイン間の関係性を入力するためには、ユーザは個々のドメインの類似度を定義できるだけの知識を備えている必要がある。したがって、ドメイン間関係性情報ＤＢ１４にデータ（ドメイン間関係性情報１４１）を入力する具体的なユーザとしては、例えば、会社の工場全体を管理する立場にある管理者等が適任である。このようなユーザによれば、具体的には例えば、「工場Ａ」と「工場Ｂ」では同じ工具や部品を使って作業しているため、他の工場に比べて作業行動の類似度が高いといった判断や、同じ「工場Ａ」のなかでも「ラインＣ」と「ラインＤ」では安全のための作業行動に関する規制として同じ規制を適用しているため、更に類似度が高いといった判断や、「作業員Ｅ」と「作業員Ｆ」は体格が似ているため類似度が高い等の判断を下すことができる。
【００３７】
次に、本実施の形態における類似度算出処理について説明する。前述したように、本実施の形態における類似度算出処理は、ドメイン間類似度算出部１３が、識別対象データのドメイン（ターゲットドメイン）と他のドメインとの類似度を算出する処理である。
【００３８】
本実施の形態では、例えば図３に例示したドメイン間関係性情報１４１のように、ドメイン間関係性情報ＤＢ１４に各ドメインの類似度が直接格納されている場合が考えられ、このような場合、ドメイン間類似度算出部１３は、類似度算出処理において特段の計算処理をすることなく、その類似度を読み取るだけで、識別対象データ１０のドメインの他のドメインに対する類似度を取得することができる。但し、各ドメインの類似度が直接的に格納されているためには、図４を参照して説明したように、全てが手入力される必要がある。これに対し、各ドメイン間の間接的な関係性のみが格納されている場合における類似度の算出方法については、後述する第２及び第３の実施の形態で詳しく説明する。
【００３９】
（１−３−３）ドメイン別センサデータとデータ変換処理
図５は、ドメイン別センサデータの一例を示す図である。図５に示したドメイン別センサデータ１６１は、図１に示したドメイン別センサデータＤＢ１６に格納されているデータの一例であり、具体的には、過去に取得されたセンサデータ値（センサ値１６１３）の各々に対して、当該センサ値１６１３が取得されたドメイン名（ドメイン１６１１）と、該当する行動種別のラベル名（行動種別１６１２）とが対応付けて格納されている。ここで、センサ値１６１３「ｘｉ」は、一般的には多次元のベクトルである。また、センサ値１６１３には、センサから直接取得される測定値をそのまま使用してもよいし、測定値に所定の前処理（例えば特徴抽出）を施した後の値を使用してもよい。
【００４０】
次に、本実施の形態におけるデータ変換部１５によるデータ変換処理について説明する。
【００４１】
データ変換処理では、まず、データ変換部１５が、ドメイン間類似度算出部１３が算出した識別対象データ１０のドメイン（ターゲットドメイン）と既存のドメイン（ソースドメイン）各々との類似度に基づいて、入力センサデータ１１を変換する際に参照する既存のデータ（ソースドメインのデータ）を決定し、決定したドメイン別センサデータ１６１をドメイン別センサデータＤＢ１６から読み出す。上記のソースドメインのデータを決定し読み出す方法としては、具体的には例えば、類似度の最も高いソースドメインのデータだけを用いる方法、類似度が所定の閾値以上のソースドメインのデータだけを用いる方法、あるいは、類似度の高いソースドメインのデータから順に読出し、データ数が所定の閾値以上になった時点で読み出し処理を終了する方法等が考えられるが、必ずしもこれらの方法に限定する必要はない。
【００４２】
次に、データ変換部１５は、上記の読み取ったソースドメインのデータを用いて、入力センサデータ１１を変換する。入力センサデータ１１の変換において、類似度の最も高いソースドメインのデータだけを用いる場合は、ソースドメインが１種類である場合と同様の状況となるので、例えば前述した非特許文献１や非特許文献２等に記載された任意の既存のドメイン適合の手法を適用して、入力センサデータ１１を変換することができる。
【００４３】
一方、入力センサデータ１１の変換においてソースドメインのデータを複数種類用いる場合は、例えば以下のような処理を行うことで、データ変換に利用するデータを決定することができる。すなわち、利用するソースドメインを「ｓ＝｛ｓ１，ｓ２，・・・，ｓＮ｝」とし、ターゲットドメイン（識別対象データ１０のドメイン）とソースドメインｓｉとの類似度を「ｓｉｍｉ」とすると、利用するソースドメインの各々から、「ｓｉ＊ｓｉｍｉ」個のデータをランダムサンプリングして用いる。この結果、ソースドメイン全体として、合計で「Σｉ＝１Ｎ｛ｓｉ＊ｓｉｍｉ｝」個のデータを用いることになる。このようにして変換時に参照するデータが決定すると、後はこれらのデータを用いて、前述した非特許文献１や非特許文献２等に記載された任意の既存のドメイン適合の手法を適用して、入力センサデータ１１を変換することができる。
【００４４】
また、データ変換処理の特殊な例として、恒等変換、すなわち、実際にはデータ変換を行わずに入力センサデータ１１をそのまま用いることもできる。一般には、異なるドメインで収集されたデータは、統計学的な性質が異なるため、データ変換を行わずに他のドメインのデータで学習された識別器を用いることは好ましくないが、手法の簡便性及び解釈のし易さの観点から、便宜的に恒等写像（恒等変換）を行うことで、実質的にソースドメインのデータで学習された識別モデルのなかから、入力センサデータ１１の識別に用いるモデルを選ぶ「モデル選択」のような機能を実現することもできる。
【００４５】
（１−３−４）識別器パラメータ情報と行動識別処理
本実施の形態における行動識別処理、及び行動識別処理で用いられる識別器パラメータに関する情報（識別器パラメータ情報）について説明する。
【００４６】
前述したように、本実施の形態における行動識別処理は識別部１７によって実行される。詳しくは、識別部１７は、データ変換部１５によるデータ変換処理で利用されたソースドメインのデータを用いて構築された識別器のパラメータを、ドメイン別識別器ＤＢ１８から読み出し、そして、読み出したパラメータを用いて、データ変換処理が行われた後の入力センサデータ１１に対して行動種別を識別する処理を実行し、その処理結果を識別結果１９として出力する。
【００４７】
このような本実施の形態の行動識別処理において、識別部１７が入力センサデータ１１に対して行動種別を識別する際は、ニューラルネットワーク（ＮＮ：Neural Network）、サポートベクターマシン（ＳＶＭ：Support Vector Machine）、またはランダムフォレスト（random forest）法等、任意の既存の識別手法を用いることができる。例えば、前述したデータ変換処理においてデータ変換部１５が入力センサデータ１１を変換する際の参照データとして１種類のソースドメインのデータのみを用いた場合は、当該ソースドメインのデータで予め任意の識別器を学習しておくことで、識別処理において識別部１７が、学習したパラメータ（識別器パラメータ）を読み出して、入力センサデータ１１の識別にも用いることができる。
【００４８】
図６は、識別器パラメータ情報の一例を示す図である。図６に示した識別器パラメータ情報１８１は、図１に示したドメイン別識別器ＤＢ１８に格納されるデータの一例であり、前段落で述べたように、ソースドメインのデータで任意の識別器を学習しておくことによって予め得ることができる。図６の場合、識別器パラメータ情報１８１には、ドメイン１８１１と行動種別１８１２の組み合わせごとに、識別処理で用いられる識別器パラメータ１８１３が定められている。ここで、識別器パラメータ１８１３「θｉ」は、一般的にはベクトル値になる。
【００４９】
なお、本実施の形態においては、上述したようにソースドメインごとの識別器のパラメータを予め学習しておき、ドメイン別識別器ＤＢ１８に格納しておくようにしてもよいが、別の方法として、データ変換部１５が入力センサデータ１１をデータ変換する際の参照データを決定した後に、決定された参照データを用いて改めて識別器を学習し、学習された識別器を行動識別処理にも用いるようにしてもよい。上記の別の方法は、言い換えると、データ変換部１５が行動識別処理を行う際に、ドメイン間の類似度に基づいて識別器の学習に用いるデータを選択し、当該学習用のデータをドメイン別センサデータＤＢ１６から読み出して、読み出した学習用のデータに基づいて識別器を学習するものであり、データ変換部１５が、この学習後の識別器におけるパラメータを用いて、入力センサデータ１１に対する行動識別処理を行う。上述した識別器の学習の実行主体は特に限定されず、行動認識システム１が備える所定の処理部（例えばデータ変換部１５）によって実行されればよい。このような方法によれば、類似度算出処理及びデータ変換処理の処理結果を用いて識別器を随時学習し、学習後の識別器のパラメータ情報を得ることができるため、予めソースドメインごとの識別器のパラメータを学習して識別器パラメータ情報１８１をドメイン別識別器ＤＢ１８に用意しなくてもよくなる。
【００５０】
また、識別部１７は、行動種別処理の処理結果である識別結果１９を出力する際に、識別した行動種別を出力するが、このとき、当該識別結果に対する信頼度を付与して出力するようにしてもよい。信頼度を付与して出力することにより、信頼度の低い識別結果に対して、ユーザが入力センサデータ１１を参照しながら必要に応じて識別結果を修正したり、当該識別結果を破棄したりする等の対応が可能となる。なお、識別結果に対する信頼度については、多くの識別モデルで標準的に出力可能な値を用いることが好ましい。具体的には例えば、識別モデルとしてニューラルネットワークを用いる場合には、標準的にはネットワークの最終層でｓｏｆｔｍａｘ関数を適用し、各行動クラス「ｃ」に対して「０≦ｐｃ≦１かつΣｃｐｃ＝１」となるような値ｐｃを計算することができ、このようにして計算された値ｐｃを、識別結果の信頼度を表す値として用いることができる。
【００５１】
またさらに、本実施の形態における行動認識システム１では、以上のような一連の処理（具体的には、ドメイン間類似度算出部１３による類似度算出処理、データ変換部１５によるデータ変換処理、及び識別部１７による行動識別処理）を行った後に、識別対象データ１０のドメイン情報１２をドメイン間関係性情報ＤＢ１４に保存するとともに、入力センサデータ１１に対する識別結果１９のうちの信頼度が高いものだけを自動でドメイン別センサデータＤＢ１６に格納するようにしてもよい。このようにすることで、入力センサデータ１１が新規に取得されるたびに、ソースドメインのデータを拡充することができるため、その後に新規にターゲットドメインのデータ（識別対象データ１０）が収集された際には、行動識別の精度をさらに高めることに期待できる。
【００５２】
以上に説明したように、本実施の形態における行動認識システム１によれば、ターゲットドメインのラベル付きデータ（識別対象データ１０）が少量しかなく、かつ、様々なソースドメインのデータ（例えば、図５に示したドメイン別センサデータ１６１等）が存在する状況であっても、データ変換処理に利用するソースドメインをドメイン間の関連性に基づいて判断することにより、精度の高い行動認識を実現することができる。
【００５３】
（２）第２の実施の形態
上述した第１の実施の形態に係る行動認識システム１は、ユーザがドメイン間関係性情報ＤＢ１４に新規ドメインに関する情報を追加登録しようとするたびに、格納済みの既存の全てのドメインとの類似度を手入力する必要がある点で、若干の不便さが残るものであった。
【００５４】
ここで、行動に関するデータを生成するドメインの間には、何らかの「構造的な関係性」を仮定することが可能であることが知られている。「構造的な関係性」の一例として、階層構造が挙げられる。具体的には例えば、生産ラインごとに共通の部品や工具を使用している等の事情があれば、ある企業の工場において、同じの「生産ラインＡ」で働いている作業員同士の作業行動は、同工場内の別の「生産ラインＢ」で働いている作業員の作業行動よりも、関係性が強い（類似性が高い）ことが有り得る。またさらに、同じ工場内で作業に対して同一の規則を設けている等の理由により、働いている生産ラインは異なっていても、同じ工場内の生産ラインで働いている作業員同士の作業行動は、別の工場の生産ラインで働いている作業員の作業行動よりも、関係性が強い（類似性が高い）ことがあり得る。
【００５５】
そこで、第２の実施の形態では、上記のようなドメイン間の構造的な関係性を利用して、ドメイン間の関係性を簡易に記述できるようにし、かつ、任意のドメイン間の類似度を容易に計算できるようにすることで、第１の実施の形態における上述した不便さの軽減を図る。以下に、第２の実施の形態に係る行動認識システム２について詳しく説明する。
【００５６】
図７は、本発明の第２の実施の形態に係る行動認識システムの構成例を示すブロック図である。図７に示した行動認識システム２は、図１に示した行動認識システム１との機能構成上の相違点として、ドメイン間関係性情報ＤＢ１４の代わりにドメイン間構造関係情報ＤＢ２１を備え、ドメイン間類似度算出部１３の代わりにドメイン間類似度算出部２３を備えている。詳細は後述するが、ドメイン間類似度算出部３３は、ドメイン間構造関係情報ＤＢ２１に格納されたドメイン間の構造的な関係性を示す情報に基づいて、第１の実施の形態とは異なる処理内容で類似度算出処理を実行し、識別対象データ１０のドメイン（ターゲットドメイン）とドメイン間構造関係情報ＤＢ２１に情報が格納されている各ドメイン（ソースドメイン）との類似度を算出する。
【００５７】
ドメイン間構造関係情報ＤＢ２１には、ソースドメインの各々のドメイン間の構造的な関係性を示す情報（ドメイン間構造関係情報）が格納されている。なお、以下では、ドメイン間の構造的関係性の具体例として「階層構造」と「ネットワーク構造」を挙げて説明する。
【００５８】
まず、第２の実施の形態において「階層構造」によるドメイン間の構造的な関係性を利用する場合について説明する。
【００５９】
図８は、ドメイン間の構造的関係性に階層構造を用いる際の、ドメイン間構造関係情報を説明するための図である。図８（Ａ）には、一例としてドメイン間構造関係情報２１１が示されており、図８（Ｂ）には、図８（Ａ）のドメイン間構造関係情報２１１が保持するドメイン間の構造的関係性が、階層構造２１２に示されている。
【００６０】
図８（Ａ）のドメイン間構造関係情報２１１は、ドメイン間構造関係情報ＤＢ２１に格納されるデータの一例であり、具体的には、ソースドメインの各ドメイン（ドメイン名２１１１）について、その親となるドメイン（親ドメイン２１１２）との組み合わせが保持されている。例えば図８（Ａ）の場合、ドメイン「作業員Ａ」及び「作業員Ｂ」の親ドメインは何れも「ラインＣ」であり、ドメイン「ラインＣ」の親ドメインは「工場Ｄ」であることが分かる。また、階層構造の最上位に位置するドメイン「工場Ｄ」については、便宜上「ｒｏｏｔ」という親ドメインを設定している。
【００６１】
そして、図８（Ａ）のように各ドメインについて親ドメインとの組み合わせが設定された結果、ドメイン間構造関係情報２１１は、図８（Ｂ）の階層構造２１２のようにドメイン間の構造的関係性を保持できていることとなる。なお、識別対象データ１０のドメイン情報１２も、ドメイン間構造関係情報２１１と同様に、当該ドメインと親ドメインとを入力するようにする。
【００６２】
図９は、階層構造によるドメイン間構造関係情報の入力に用いられるＧＵＩの一例を示す図である。図９に示した新規ドメイン登録画面２１３は、ドメイン間構造関係情報ＤＢ２１にドメインを新規に登録するためのＧＵＩである。具体的な登録方法は、まず、ユーザが、新規に登録しようとする新規ドメインの名前をテキストボックス２１３１に入力し、続いて、新規ドメインの親ドメインをコンボボックス２１３２から選択する。その後、登録ボタン２１３５をクリックすることにより、ドメイン間構造関係情報２１１に新規ドメインに関する入力内容が追加されてドメイン間構造関係情報ＤＢ２１に登録される。なお、新規ドメイン登録画面２１３において新規ドメインの登録を中止したい場合は、戻るボタン２１３４をクリックすれば、遷移前のページに戻る。
【００６３】
また、階層構造表示ボタン２１３３は、これまでにドメイン間構造関係情報ＤＢ２１に登録されたドメイン間構造関係情報２１１が保持する構造的関係性を階層構造の形式で表示するためのボタンであり、階層構造表示ボタン２１３３をクリックすると、図８（Ｂ）の階層構造２１２のように、現在のドメイン間の階層構造が所定画面に表示される。新規ドメイン登録画面２１３においてこのような表示形式による閲覧を可能にしておくことで、図４で説明した新規ドメイン登録画面１４２と同様に、ユーザの利便性を向上させることができる。
【００６４】
図１０は、第２の実施の形態においてドメイン間の構造的関係性に階層構造を用いる際の、類似度算出処理の処理手順例を示すフローチャートである。第２の実施の形態における類似度算出処理では、ドメイン間類似度算出部２３が、識別対象データ１０及びドメイン間構造関係情報ＤＢ２１に格納されたドメイン間構造関係情報２１１に基づいて、識別対象データ１０のドメイン（ターゲットドメイン）と他の各ドメイン（ソースドメイン）との類似度を算出する。
【００６５】
図１０によれば、まずステップＳ１０１において、ドメイン間類似度算出部２３は、以下の処理を行う。具体的には、識別対象データ１０のドメイン情報１２から、当該ドメイン（ターゲットドメイン）のドメイン情報を読み取り、「ｔ」とする。さらに、このターゲットドメインとの距離を表す値「ｔ．ｄ」に「１」をセットする。そして、このターゲットドメインとの類似度を表す値「ｔ．ｓｉｍ」には「１／ｔ．ｄ」、すなわち「１」をセットする。また、当該ターゲットドメインとの類似度の計算を行っていないドメインの集合「ＮＡ」に、全ての既存のソースドメインをセットする。ここでいう既存のソースドメインとは、ドメイン間構造関係情報ＤＢ２１に登録されているドメインを意味する。また、類似度を計算中のドメインの集合「Ｗ」には「ｔ」をセットする。
【００６６】
次のステップＳ１０２では、ドメイン間類似度算出部２３は、類似度を計算中のドメインの集合「Ｗ」が空集合（φ）であるか否かを判断する。ステップＳ１０２において集合「Ｗ」が空集合であれば（ステップＳ１０２のＹＥＳ）、類似度を計算すべきソースドメインが残っていないことを意味するので、ドメイン間類似度算出部２３は類似度算出処理を終了する。一方、ステップＳ１０２において集合「Ｗ」が空集合でなければ（ステップＳ１０２のＮＯ）、ステップＳ１０３に進む。
【００６７】
ステップＳ１０３では、ドメイン間類似度算出部２３は、集合「Ｗ」のなかから１つの要素（ドメイン）を取り出し「ｘ」とする。このとき、集合「Ｗ」から「ｘ」が取り除かれる。
【００６８】
次いでステップＳ１０４において、ドメイン間類似度算出部２３は、識別対象データ１０のドメイン情報１２、あるいはドメイン間構造関係情報ＤＢ２１に格納されたドメイン間構造関係情報２１１から、ステップＳ１０３で取り出したドメイン「ｘ」について、親ドメインの集合「Ｐ（ｘ）」及び子ドメインの集合「Ｃ（ｘ）」を読み取る。そして、読み取った集合「Ｐ（ｘ）」のなかで未だターゲットドメインとの類似度が計算されていない集合「Ｐ（ｘ）  ∩  ＮＡ」を「Ｐ」にセットする。また同様に、読み取った集合「Ｃ（ｘ）」のなかで未だターゲットドメインとの類似度が計算されていない集合「Ｃ（ｘ）  ∩  ＮＡ」を「Ｃ」にセットする。
【００６９】
次のステップＳ１０５では、ドメイン間類似度算出部２３は、ステップＳ１０４でセットした「Ｐ」に含まれる全ての要素について、「ｐ．ｄ」の値を「ｘ．ｄ＋１」にセットし、「ｐ．ｓｉｍ」の値を「ｐ．ｄ」にセットする。また、ドメイン間類似度算出部２３は、ステップＳ１０４でセットした「Ｃ」に含まれる全ての要素についても同様に、「ｃ．ｄ」の値を「ｘ．ｄ＋１」にセットし、「ｃ．ｓｉｍ」の値を「ｃ．ｄ」にセットする。
【００７０】
次に、ステップＳ１０６において、ドメイン間類似度算出部２３は、集合「ＮＡ」から「Ｐ」及び「Ｃ」に属する要素を取り除くとともに、集合「Ｗ」に「Ｐ」及び「Ｃ」の要素を追加し、その後、ステップＳ１０２に戻る。前述したように、ステップＳ１０２では、類似度を計算中のドメインの集合「Ｗ」が空集合（φ）であるか否かが判断され、集合「Ｗ」が空集合であると判断されるまではステップＳ１０３〜Ｓ１０６の処理が繰り返され、集合「Ｗ」が空集合となった場合に類似度算出処理が終了する。
【００７１】
以上のように類似度算出処理を実行することにより、ドメイン間類似度算出部２３は、定性的には、図８（Ｂ）に示したような階層構造上でターゲットドメインに辿り着くために辿るリンクの数に応じて、すなわち、階層上の距離に基づいて、ターゲットドメインと各ソースドメインとの類似度を決定することができる。
【００７２】
次に、第２の実施の形態において「ネットワーク構造」によるドメイン間の構造的な関係性を利用する場合について説明する。
【００７３】
図１１は、ドメイン間の構造的関係性にネットワーク構造を用いる際の、ドメイン間構造関係情報を説明するための図である。図１１（Ａ）には、一例としてドメイン間構造関係情報２１４が示されており、図１１（Ｂ）には、図１１（Ａ）のドメイン間構造関係情報２１４が保持するドメイン間の構造的関係性が、ネットワーク構造２１５に示されている。
【００７４】
図１１（Ａ）のドメイン間構造関係情報２１４は、ドメイン間構造関係情報ＤＢ２１に格納されるデータの一例であり、具体的には、ソースドメインの各ドメイン（ドメイン名２１４１）について、当該ドメインが近接するドメイン（近接ドメイン２１４２）との組み合わせが保持されている。ここで、近接ドメインには任意の数のドメインを設定可能であり、１つも近接ドメインがなくてもよい。例えば図１１（Ａ）の場合、ドメイン「工場Ｄ」の近接ドメインは「工場Ｆ」の１つであるが、ドメイン「ラインＣ」の近接ドメインには「作業員Ａ，作業員Ｂ，工場Ｄ，ラインＥ」の４つのドメインが設定されている。
【００７５】
そして、図１１（Ａ）のように各ドメインについて近接ドメイン２１４２との組み合わせが設定された結果、ドメイン間構造関係情報２１４は、図１１（Ｂ）のネットワーク構造２１５のようにドメイン間の構造的関係性を保持できていることとなる。なお、識別対象データ１０のドメイン情報１２も、ドメイン間構造関係情報２１４と同様に、当該ドメインと近接ドメインとを入力するようにする。
【００７６】
図１２は、ネットワーク構造によるドメイン間構造関係情報の入力に用いられるＧＵＩの一例を示す図である。図１２に示した新規ドメイン登録画面２１６は、ドメイン間構造関係情報ＤＢ２１にドメインを新規に登録するためのＧＵＩである。具体的な登録方法は、まず、ユーザが、新規に登録しようとする新規ドメインの名前をテキストボックス２１６１に入力し、続いて、新規ドメインの近接ドメインをコンボボックス２１６２から選択し、追加ボタン２１６３をクリックする。近接ドメインを誤って入力し、当該入力をクリアしたい場合には、クリアボタン２１６４をクリックする。そして、新規ドメインに対する全ての近接ドメインを追加し終えたら、登録ボタン２１６７をクリックすることにより、ドメイン間構造関係情報２１４に新規ドメインに関する入力内容が追加されてドメイン間構造関係情報ＤＢ２１に登録される。なお、新規ドメイン登録画面２１６において新規ドメインの登録を中止したい場合は、戻るボタン２１６６をクリックすれば、遷移前のページに戻る。
【００７７】
また、ネットワーク構造表示ボタン２１６５は、これまでにドメイン間構造関係情報ＤＢ２１に登録されたドメイン間構造関係情報２１４が保持する構造的関係性をネットワーク構造の形式で表示するためのボタンであり、ネットワーク構造表示ボタン２１６５をクリックすると、図１１（Ｂ）のネットワーク構造２１５のように、現在のドメイン間のネットワーク構造が所定画面に表示される。新規ドメイン登録画面２１６においてこのような表示形式による閲覧を可能にしておくことで、図４で説明した新規ドメイン登録画面１４２や図９で説明した新規ドメイン登録画面２１３と同様に、ユーザの利便性を向上させることができる。
【００７８】
そして、ドメイン間の構造的関係性にネットワーク構造を用いる際の類似度算出処理の処理手順は、前述した図１０の処理フローとほぼ同様となる。補足すると、図１０に示した処理フローにおいて、「親ドメイン」及び「子ドメイン」の代わりに「近接ドメイン」を用いればよい。このような類似度算出処理を行うことにより、ドメイン間類似度算出部２３は、定性的には、図１１（Ｂ）に示したようなネットワーク構造上でターゲットドメインに辿り着くために辿るリンクの数に応じて、すなわち、ネットワーク上の距離に基づいて、ターゲットドメインと各ソースドメインとの類似度を算出することができる。
【００７９】
以上に説明したように、第２の実施の形態に係る行動認識システム２では、ドメイン間の構造的な関係性を利用して（反映させて）、ドメイン間構造関係情報２１１，２１４にドメイン間の関係性を簡易に記述することができ、かつ、ドメイン間類似度算出部２３が、類似度算出処理によって任意のドメイン間の類似度を容易に計算することができる。
【００８０】
そして、第２の実施の形態に係る行動認識システム２では、類似度算出処理が行われた後は、第１の実施の形態と同様に、データ変換部１５によるデータ変換処理、及び識別部１７による行動識別処理が実行された結果、行動識別の識別結果１９が出力される。
【００８１】
以上のことから、第２の実施の形態に係る行動認識システム２によれば、ドメイン間の構造的な関係性を利用して、ドメイン間の関係性を簡易に記述できるようにし、かつ、任意のドメイン間の類似度を容易に計算できるようにすることで、ユーザによる入力の不便さを軽減するとともに、第１の実施の形態と同様に、ターゲットドメインのラベル付きデータ（識別対象データ１０）が少量しかなく、かつ、様々なソースドメインのデータ（例えば、図５に示したドメイン別センサデータ１６１等）が存在する状況であっても、データ変換処理に利用するソースドメインをドメイン間の関連性に基づいて判断することにより、精度の高い行動認識を実現することができる。
【００８２】
（３）第３の実施の形態
上述したように、第２の実施の形態に係る行動認識システム２によれば、ドメイン間の構造的な関係性を利用して、ドメイン間の関係性を簡単に記述することができ、任意のドメイン間の類似度を容易に計算することができるため、第１の実施の形態における不便さを軽減することができる。しかしながら、このような第２の実施の形態では、少量ではあるが、未だ、ユーザがドメイン間関係性情報ＤＢ１４に新規ドメインに関する情報を追加登録しようとするたびに、ユーザがドメイン間の関係性を手入力する必要があった。
【００８３】
ここで、近年は自然言語処理技術の発展により、様々な単語を高次元のベクトル空間（単語埋め込み空間と称する）に埋め込み、単語間の関係性を当該高次元空間上で計算することができるようになっている。このとき、単語間の関係性は、例えば単語埋め込み空間における距離によって示すことができる。
【００８４】
そこで、第３の実施の形態では、上記のような単語埋め込みによる単語間の関係性の計算技術を、ドメイン間の類似度等の関係性を表す指標の計算に活用することによって、人手による入力を一切介することなく、関連性の高いソースドメインを抽出し、当該抽出したソースドメインを用いて高精度な行動識別の実現を図る。以下に、第３の実施の形態に係る行動認識システム３について詳しく説明する。
【００８５】
図１３は、本発明の第３の実施の形態に係る行動認識システムの構成例を示すブロック図である。図１３に示した行動認識システム３は、図１に示した行動認識システム１との機能構成上の相違点として、ドメイン間関係性情報ＤＢ１４の代わりにドメイン単語埋め込み情報ＤＢ３１を備え、ドメイン間類似度算出部１３の代わりにドメイン間類似度算出部３３を備えている。詳細は後述するが、ドメイン間類似度算出部３３は、ドメイン単語埋め込み情報ＤＢ３１に格納された各ドメイン名の単語埋め込みベクトルに基づいて、識別対象データ１０のドメイン（ターゲットドメイン）とドメイン単語埋め込み情報ＤＢ３１に情報が格納されている各ドメイン（ソースドメイン）との類似度を算出する。また、ドメイン間類似度算出部３３は、ドメイン名の単語埋め込みベクトルを算出する機能を有している。
【００８６】
ドメイン単語埋め込み情報ＤＢ３１には、ソースドメインの各ドメイン名の単語埋め込み空間におけるベクトル（ドメイン単語埋め込みベクトル）を示す情報が格納されている。
【００８７】
図１４は、ドメイン単語埋め込み情報の一例を示す図である。図１４に示したドメイン単語埋め込み情報３１１は、図１３に示したドメイン単語埋め込み情報ＤＢ３１に格納されるデータの一例であり、ソースドメインの各ドメインについて、ドメイン名３１１１と当該ドメイン名を単語埋め込み空間に射影したときのベクトル（単語埋め込みベクトル３１１２）との組み合わせが保持されている。図１４の場合、各ドメインの単語埋め込みベクトル３１１２は、「θｉ（ｉ＝１，２，・・・）」で表されている。なお、単語埋め込みベクトル３１１２について、ドメイン名をベクトル表現化する手法は特に限定されず、例えばｗｏｒｄ２Ｖｅｃ、ＧｌｏＶｅ、またはｆａｓｔＴｅｘｔ等の既存の手法を用いてもよいし、また例えば、工場における作業手順書や関連資料等に対してＳｋｉｐ−ｇｒａｍ等のモデルを用いるといったように、よりコンテキスト情報を反映しやすい手法を採用してもよい。ドメイン単語埋め込み情報３１１の登録処理は、例えば、ドメイン名の単語埋め込みベクトルを算出する機能を有するドメイン間類似度算出部１３が処理してもよいし、行動認識システム３に同様の算出機能を有する他の処理部（不図示）を設けて処理する等してもよい。
【００８８】
そして、第３の実施の形態における類似度算出処理として、ドメイン間類似度算出部３３は、上述したドメイン単語埋め込み情報３１１を利用して、識別対象データ１０のドメイン（ターゲットドメイン）とドメイン単語埋め込み情報ＤＢ３１に情報が格納されている各ドメイン（ソースドメイン）との類似度を算出する。
【００８９】
第３の実施の形態における類似度算出処理を詳しく説明すると、まず、ドメイン間類似度算出部３３は、識別対象データ１０のドメイン情報１２を読み取り、そのドメイン（ターゲットドメイン）のドメイン名を、ドメイン単語埋め込み情報ＤＢ３１を構築する際に用いた方法と同一の方法で単語埋め込み空間に射影することによって、ターゲットドメインの単語埋め込みベクトル「θ」を取得する。
【００９０】
次に、ドメイン間類似度算出部１３は、ターゲットドメインの単語埋め込みベクトル「θ」と、ドメイン単語埋め込み情報ＤＢ３１に格納されているドメイン単語埋め込み情報３１１を参照して得られる各ドメイン（ソースドメイン）の単語埋め込みベクトル「θｉ」とについて、当該単語埋め込み空間内での距離（例えばユークリッド距離やコサイン距離（Cosine Distance）等）を計算する。
【００９１】
そして、ドメイン間類似度算出部１３は、上記計算によって得られた単語埋め込み空間内での距離に基づいて、ターゲットドメインと各ソースドメインとの間の類似度を算出する。具体的には例えば、単語埋め込み空間内での距離の逆数を類似度として表すことができ、この場合、ドメイン間で単語埋め込み空間での距離が近いほど、高い類似度が算出される。
【００９２】
以上に説明したように、第３の実施の形態に係る行動認識システム３では、単語埋め込みによる単語間の関係性の計算技術を利用して、ソースドメインの各ドメインについて単語埋め込み空間におけるドメイン名の単語埋め込みベクトルを算出し、ソースドメインの単語埋め込みベクトルとしてドメイン単語埋め込み情報ＤＢ３１に格納することができる。さらに行動認識システム３では、類似度算出処理において、各ドメインの単語埋め込みベクトルを用いてターゲットドメインとソースドメインとの距離を算出し、当該距離をドメイン間の類似度の関係性を表す指標として活用することにより、関連性の高いソースドメインを抽出することができる。そして、これらの処理は人手による入力を必要としない。
【００９３】
そして、第３の実施の形態に係る行動認識システム３では、上述した類似度算出処理が行われた後は、第１の実施の形態や第２の実施の形態と同様に、データ変換部１５によるデータ変換処理、及び識別部１７による行動識別処理が実行された結果、行動識別の識別結果１９が出力される。
【００９４】
以上のことから、第３の実施の形態に係る行動認識システム３によれば、単語埋め込みによる単語間の関係性の計算技術を利用して、ドメイン間の関係性を自動で記述できるようにし、かつ、任意のドメイン間の類似度を容易に計算することができるようにすることで、ユーザによる入力を必要とせず、ユーザの判断に依らずにドメイン間の類似度を適切に判断できることができる。かくして、ユーザの利便性を高めるとともに、システム全体の処理速度を向上させることができる。さらに、第３の実施の形態に係る行動認識システム３によれば、第１の実施の形態と同様に、ターゲットドメインのラベル付きデータ（識別対象データ１０）が少量しかなく、かつ、様々なソースドメインのデータ（例えば、図５に示したドメイン別センサデータ１６１等）が存在する状況であっても、データ変換処理に利用するソースドメインをドメイン間の関連性に基づいて判断することにより、精度の高い行動認識を実現することができる。
【００９５】
以上、本発明を添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。例えば、前述した各実施の形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除及び置換をすることが可能である。
【００９６】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを実行することによりそぐとウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、記憶装置（メモリ）や、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の非一時的な記録媒体に格納することができる。
【００９７】
また、図面において制御線や情報線は説明上必要と考えられるものを示しており、製品に実装する上で必要な全ての制御線及び情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００９８】
１，２，３      行動認識システム
１０    識別対象データ
１１    入力センサデータ
１２    ドメイン情報
１３，２３，３３    ドメイン間類似度算出部
１４    ドメイン間関係性情報ＤＢ
１５    データ変換部
１６    ドメイン別センサデータＤＢ
１７    識別部
１８    ドメイン別識別器ＤＢ
１９    識別結果
２１    ドメイン間構造関係情報ＤＢ
３１    ドメイン単語埋め込み情報ＤＢ
１００  計算機
１０１  入力装置
１０２  中央演算処理装置
１０３  主記憶装置
１０４  補助記憶装置
１０５  出力装置
１０６  バス
１４１  ドメイン間関係性情報
１４２  新規ドメイン登録画面
１６１  ドメイン別センサデータ
１８１  識別器パラメータ情報
２１１  ドメイン間構造関係情報
２１２  階層構造
２１３  新規ドメイン登録画面
２１４  ドメイン間構造関係情報
２１５  ネットワーク構造
２１６  新規ドメイン登録画面
３１１  ドメイン単語埋め込み情報
【図１】
2020101948.tif 000003
【図２】
2020101948.tif 000004
【図３】
2020101948.tif 000005
【図４】
2020101948.tif 000006
【図５】
2020101948.tif 000007
【図６】
2020101948.tif 000008
【図７】
2020101948.tif 000009
【図８】
2020101948.tif 000010
【図９】
2020101948.tif 000011
【図１０】
2020101948.tif 000012
【図１１】
2020101948.tif 000013
【図１２】
2020101948.tif 000014
【図１３】
2020101948.tif 000015
【図１４】
2020101948.tif 000016