(57)【要約】【課題】複数の人の行動の時系列データを用いて、データの特徴に合わせて自動的に分析を行うことができるようにする。【解決手段】本発明の一実施形態に係る時系列分析装置１は、第１ユーザの特徴及び第２ユーザの特徴の時系列情報を取得する情報取得部１１１と、情報取得部１１１が取得した時系列情報において、第１ユーザの特徴と第２ユーザの特徴とが同じ時間及び異なる時間に発生した際の継続時間に基づいて、学習対象の特徴を選択する特徴選択部１１３と、特徴選択部１１３が選択した学習対象の特徴の時系列情報を用いて学習を行う学習部１１４と、を有する。【選択図】図３
2019091260.tif 000002
【特許請求の範囲】
【請求項１】
第１ユーザの特徴及び第２ユーザの特徴の時系列情報を取得する取得部と、
前記取得部が取得した前記時系列情報において、前記第１ユーザの前記特徴と前記第２ユーザの前記特徴とが同じ時間及び異なる時間に発生した際の継続時間に基づいて、学習対象の特徴を選択する選択部と、
前記選択部が選択した前記学習対象の特徴の時系列情報を用いて学習を行う学習部と、
を有する時系列分析装置。
【請求項２】
前記学習部が前記学習によって生成したモデルに、前記取得部が取得した前記時系列情報を入力することによって、前記取得部が取得した前記時系列情報による結果を予測する分析部をさらに有する、請求項１に記載の時系列分析装置。
【請求項３】
前記選択部は、前記第１ユーザの前記特徴と前記第２ユーザの前記特徴とが同じ時間及び異なる時間に発生している時間範囲の平均値を、前記継続時間として算出する、請求項１又は２に記載の時系列分析装置。
【請求項４】
前記選択部は、クロスリカレンス定量分析（Cross-Recurrence Quantification Analysis）によって、前記継続時間を算出する、請求項３に記載の時系列分析装置。
【請求項５】
前記選択部は、前記継続時間が所定の閾値以上である前記第１ユーザの前記特徴と前記第２ユーザの前記特徴との組み合わせの数に基づいて、前記学習対象の特徴を選択する、請求項１から４のいずれか一項に記載の時系列分析装置。
【請求項６】
前記取得部は、前記第１ユーザ及び前記第２ユーザの身体部位を、前記第１ユーザ及び前記第２ユーザの前記特徴として取得する、請求項１から５のいずれか一項に記載の時系列分析装置。
【請求項７】
前記第１ユーザの前記身体部位の位置を前記第１ユーザの身体の中心を基準とした座標に変換し、前記第２ユーザの前記身体部位の位置を前記第２ユーザの身体の中心を基準とした座標に変換する変換部をさらに有する、請求項６に記載の時系列分析装置。
【請求項８】
前記学習部は、前記第１ユーザと前記第２ユーザとの間のインタラクションの結果が肯定的であるか否かの学習を行う、請求項１から７のいずれか一項に記載の時系列分析装置。
【請求項９】
前記学習部は、前記第１ユーザの行動パターンと前記第２ユーザの行動パターンとが同一であるか否かの学習を行う、請求項１から７のいずれか一項に記載の時系列分析装置。
【請求項１０】
前記学習部は、所定の長さの時間窓内の前記学習対象の特徴の時系列情報を用いた学習を、前記時間窓をずらしながら繰り返し行う、請求項１から９のいずれか一項に記載の時系列分析装置。
【請求項１１】
前記取得部は、前記第１ユーザ及び前記第２ユーザの発した言語を、前記第１ユーザ及び前記第２ユーザの前記特徴として取得する、請求項１から１０のいずれか一項に記載の時系列分析装置。
【請求項１２】
前記取得部は、前記第１ユーザ及び前記第２ユーザの発した言語から単語を抽出し、抽出した前記単語をクラスタリングすることによって生成したクラスタを、前記第１ユーザ及び前記第２ユーザの前記特徴として取得する、請求項１１に記載の時系列分析装置。
【請求項１３】
コンピュータが実行する、
第１ユーザの特徴及び第２ユーザの特徴の時系列情報を取得するステップと、
前記取得するステップで取得された前記時系列情報において、前記第１ユーザの前記特徴と前記第２ユーザの前記特徴とが同じ時間及び異なる時間に発生した際の継続時間に基づいて、学習対象の特徴を選択するステップと、
前記選択するステップで選択された前記学習対象の特徴の時系列情報を用いて学習を行うステップと、
を有する時系列分析方法。
【請求項１４】
プロセッサを、
第１ユーザの特徴及び第２ユーザの特徴の時系列情報を取得する取得部、
前記取得部が取得した前記時系列情報において、前記第１ユーザの前記特徴と前記第２ユーザの前記特徴とが同じ時間及び異なる時間に発生した際の継続時間に基づいて、学習対象の特徴を選択する選択部、及び
前記選択部が選択した前記学習対象の特徴の時系列情報を用いて学習を行う学習部、
として機能させるための時系列分析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の時系列の行動を分析する時系列分析装置、時系列分析方法及び時系列分析プログラムに関する。
【背景技術】
【０００２】
近年、人の行動を分析することによって、行動の結果の予測を行う研究が行われている。非特許文献１には、店員と顧客との間のコミュニケーションにおいて、顧客の視線、姿勢等の複数の非言語行動を組み合わせた指標を分析することによって、顧客の心的状態を推定する技術が記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】本田秀仁、他３名、"対面販売場面における店員と顧客のインタラクション：非言語行動からの選好推定"、［online］、平成28年6月7日、人工知能学会、［平成29年10月6日検索］、インターネット〈URL：https://kaigi.org/jsai/webprogram/2016/pdf/47.pdf〉
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載の技術は、顧客である人の行動のみに着目しており、店員である人の行動を考慮していない。また、非特許文献１は、人の手によって分析を行う方法を示しており、装置によって自動的に分析を行う方法を示していない。
【０００５】
本発明は上述の点に鑑みてなされたものであり、複数の人の行動の時系列データを用いて、データの特徴に合わせて自動的に分析を行うことができる時系列分析装置、時系列分析方法及び時系列分析プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様の時系列分析装置は、第１ユーザの特徴及び第２ユーザの特徴の時系列情報を取得する取得部と、前記取得部が取得した前記時系列情報において、前記第１ユーザの前記特徴と前記第２ユーザの前記特徴とが同じ時間及び異なる時間に発生した際の継続時間に基づいて、学習対象の特徴を選択する選択部と、前記選択部が選択した前記学習対象の特徴の時系列情報を用いて学習を行う学習部と、を有する。
【０００７】
前記時系列分析装置は、前記学習部が前記学習によって生成したモデルに、前記取得部が取得した前記時系列情報を入力することによって、前記取得部が取得した前記時系列情報による結果を予測する分析部をさらに有してもよい。
【０００８】
前記選択部は、前記第１ユーザの前記特徴と前記第２ユーザの前記特徴とが同じ時間及び異なる時間に発生している時間範囲の平均値を、前記継続時間として算出してもよい。
【０００９】
前記選択部は、クロスリカレンス定量分析（Cross-Recurrence Quantification Analysis）によって、前記継続時間を算出してもよい。
【００１０】
前記選択部は、前記継続時間が所定の閾値以上である前記第１ユーザの前記特徴と前記第２ユーザの前記特徴との組み合わせの数に基づいて、前記学習対象の特徴を選択してもよい。
【００１１】
前記取得部は、前記第１ユーザ及び前記第２ユーザの身体部位を、前記第１ユーザ及び前記第２ユーザの前記特徴として取得してもよい。
【００１２】
前記時系列分析装置は、前記第１ユーザの前記身体部位の位置を前記第１ユーザの身体の中心を基準とした座標に変換し、前記第２ユーザの前記身体部位の位置を前記第２ユーザの身体の中心を基準とした座標に変換する変換部をさらに有してもよい。
【００１３】
前記学習部は、前記第１ユーザと前記第２ユーザとの間のインタラクションの結果が肯定的であるか否かの学習を行ってもよい。
【００１４】
前記学習部は、前記第１ユーザの行動パターンと前記第２ユーザの行動パターンとが同一であるか否かの学習を行ってもよい。
【００１５】
前記学習部は、所定の長さの時間窓内の前記学習対象の特徴の時系列情報を用いた学習を、前記時間窓をずらしながら繰り返し行ってもよい。
【００１６】
前記取得部は、前記第１ユーザ及び前記第２ユーザの発した言語を、前記第１ユーザ及び前記第２ユーザの前記特徴として取得してもよい。
【００１７】
前記取得部は、前記第１ユーザ及び前記第２ユーザの発した言語から単語を抽出し、抽出した前記単語をクラスタリングすることによって生成したクラスタを、前記第１ユーザ及び前記第２ユーザの前記特徴として取得してもよい。
【００１８】
本発明の第２の態様の時系列分析方法は、コンピュータが実行する、第１ユーザの特徴及び第２ユーザの特徴の時系列情報を取得するステップと、前記取得するステップで取得された前記時系列情報において、前記第１ユーザの前記特徴と前記第２ユーザの前記特徴とが同じ時間及び異なる時間に発生した際の継続時間に基づいて、学習対象の特徴を選択するステップと、前記選択するステップで選択された前記学習対象の特徴の時系列情報を用いて学習を行うステップと、を有する。
【００１９】
本発明の第３の態様の時系列分析プログラムは、プロセッサを、第１ユーザの特徴及び第２ユーザの特徴の時系列情報を取得する取得部、前記取得部が取得した前記時系列情報において、前記第１ユーザの前記特徴と前記第２ユーザの前記特徴とが同じ時間及び異なる時間に発生した際の継続時間に基づいて、学習対象の特徴を選択する選択部、及び前記選択部が選択した前記学習対象の特徴の時系列情報を用いて学習を行う学習部、として機能させる。
【発明の効果】
【００２０】
本発明によれば、複数の人の行動の時系列データを用いて自動的に分析を行うことができる。
【図面の簡単な説明】
【００２１】
【図１】第１の実施形態に係る時系列分析システムの模式図である。
【図２】ユーザ間の動きの共起関係の模式図である。
【図３】第１の実施形態に係る時系列分析装置のブロック図である。
【図４】第１の実施形態に係る情報取得部が取得するユーザの身体部位の位置を示す模式図である。
【図５】第１の実施形態に係る特徴選択部が生成する反復プロットを示す図である。
【図６】第１の実施形態に係る特徴選択部が算出するＴＴ（Trapping Time）指標を示す図である。
【図７】第１の実施形態に係る時系列分析装置による時系列分析方法のフローチャートを示す図である。
【図８】第１の実施形態に係る学習処理のフローチャートを示す図である。
【図９】第１の実施形態に係る分析処理のフローチャートを示す図である。
【図１０】第２の実施形態に係る学習処理のフローチャートを示す図である。
【図１１】第３の実施形態に係る学習処理のフローチャートを示す図である。
【図１２】第４の実施形態に係る学習処理のフローチャートを示す図である。
【発明を実施するための形態】
【００２２】
（第１の実施形態）
図１は、本実施形態に係る時系列分析システムＳの模式図である。時系列分析システムＳは、時系列分析装置１と、表示部１４と、撮像部１５と、音声入力部１６と、を含む。時系列分析システムＳは、その他のサーバ、端末等の機器を含んでもよい。
【００２３】
表示部１４は、液晶ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等、時系列分析装置１から受信した情報を表示可能な表示装置である。表示部１４は、時系列分析装置１による分析の結果等を表示する。
【００２４】
撮像部１５は、ユーザを撮像して画像を取得する撮像装置である。撮像部１５は、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子を含む。撮像部１５は、時系列で取得した画像を示す情報を時系列分析装置１に送信する。時系列で取得した画像は、動画であってもよく、又は所定の時間間隔で撮像された一群の静止画であってもよい。撮像部１５は、分析対象の１人又は複数人のユーザの全身あるいは体の一部を撮像できる位置に設けられる。撮像部１５は、複数設けられてもよい。
【００２５】
音声入力部１６は、ユーザが発した音声を取得するマイクロフォンである。音声入力部１６は、時系列で取得した音声を示す情報を時系列分析装置１に送信する。音声入力部１６は、分析対象の１人又は複数人のユーザの音声を取得できる位置に設けられる。音声入力部１６は、複数設けられてもよい。
【００２６】
時系列分析装置１は、単一のコンピュータ、又はコンピュータ資源の集合であるクラウドによって構成される装置である。時系列分析装置１は、撮像部１５が取得した時系列の画像及び音声入力部１６が取得した時系列の音声の少なくとも一方を用いて学習を行う。さらに時系列分析装置１は、撮像部１５が取得した画像及び音声入力部１６が取得した音声の少なくとも一方に、学習で得られたモデルを適用することによって、結果の予測等の分析を行う。
【００２７】
［動きの共起関係の説明］
図２は、ユーザ間の動きの共起関係の模式図である。図２は、販売者Ｕ１（第１ユーザ）と購買者Ｕ２（第２ユーザ）との間のインタラクション（相互作用）を例示している。販売者Ｕ１の目的は、購買者Ｕ２を説得して商品を購買してもらうことである。
【００２８】
販売者Ｕ１の話を聞いた購買者Ｕ２の反応は、興味を示すか示さないかで異なる。購買者Ｕ２は、販売者Ｕ１の説明に対して、興味がある場合には体の動きの反応が大きく、動く時間が長くなる傾向があり、興味がない場合には体の動きの反応が小さく、動く時間が短くなる傾向がある。商品の販売に限られず、打ち合わせや会話等のインタラクションにおいても、興味を示したか否かによって、反応の傾向が変化する。
【００２９】
例えば図２に示すように、説明を行っている販売者Ｕ１の特定の身体部位が動いた後、購買者Ｕ２が説明に興味がある場合に購買者Ｕ２の特定の身体部位は動き、購買者Ｕ２が説明に興味がない場合に購買者Ｕ２の特定の身体部位は動かない。このような販売者Ｕ１の説明に対する購買者Ｕ２の反応は、購買者Ｕ２が思考を行ってから発生するため、販売者Ｕ１の説明から遅れ（すなわち時間遅延）が発生する。
【００３０】
２人のユーザの身体部位の組み合わせは大量に存在するが、興味を示したか否かによって反応の傾向が変化するのはそのうち一部の組み合わせである。本実施形態に係る時系列分析装置１は、２人のユーザの動きの時間遅延を考慮した共起関係に基づいて、結果の分析に重要な身体部位（特徴）を選択し、選択した身体部位を用いて学習及び分析を行う。
【００３１】
このように時系列分析装置１は、結果の分析に重要な身体部位（特徴）を選択的に学習及び分析に用いるため、学習及び分析の精度を高めることができ、また計算に掛かる時間を短縮できる。
【００３２】
ここでは時系列分析装置１は、例としてユーザ間の商品の販売を分析したが、これに限られず、契約、合意、説得等、結果が肯定的か否かを判定可能な任意のユーザ間のインタラクションを分析することができる。
【００３３】
［時系列分析装置１の構成］
図３は、本実施形態に係る時系列分析装置１のブロック図である。図３において、矢印は主なデータの流れを示しており、図３に示したもの以外のデータの流れがあってよい。図３において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図３に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
【００３４】
時系列分析装置１は、制御部１１と、インターフェース１２と、記憶部１３と、を有する。制御部１１は、情報取得部１１１と、情報変換部１１２と、特徴選択部１１３と、学習部１１４と、分析部１１５と、を有する。
【００３５】
インターフェース１２は、表示部１４、撮像部１５及び音声入力部１６との間で信号の授受をするためのインターフェースである。インターフェース１２は、表示部１４、撮像部１５及び音声入力部１６から受信した信号に所定の処理を行ってデータを取得し、取得したデータを制御部１１に入力する。また、インターフェース１２は、制御部１１から入力されたデータに所定の処理を行って信号を生成し、生成した信号を表示部１４、撮像部１５及び音声入力部１６に送信する。
【００３６】
記憶部１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクドライブ等を含む記憶媒体である。記憶部１３は、制御部１１が実行するプログラムを予め記憶している。
【００３７】
制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサであり、記憶部１３に記憶されたプログラムを実行することにより、情報取得部１１１、情報変換部１１２、特徴選択部１１３、学習部１１４及び分析部１１５として機能する。制御部１１の機能の少なくとも一部は、電気回路によって実行されてもよい。また、制御部１１の機能の少なくとも一部は、ネットワーク経由で実行されるプログラムによって実行されてもよい。
【００３８】
本実施形態に係る時系列分析装置１は、図３に示す具体的な構成に限定されない。例えば時系列分析装置１は、１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されてもよい。
【００３９】
情報取得部１１１は、撮像部１５によって取得された時系列の画像情報を取得する。情報取得部１１１は、撮像部１５から撮像された画像情報を都度取得してもよく、又は撮像部１５から所定の時間範囲の画像情報をまとめて取得してもよい。また、情報取得部１１１は、記憶部１３に記憶された画像情報を読み出して取得してもよい。学習及び分析に音声を用いる場合には、情報取得部１１１は、音声入力部１６によって取得された時系列の音声情報を取得してもよい。
【００４０】
情報取得部１１１は、取得した時系列の画像情報に人体検出技術を適用することによって、各ユーザの各身体部位の時系列の位置を算出する。人体検出技術として、公知の技術を用いることができる。
【００４１】
図４は、本実施形態に係る情報取得部１１１が取得するユーザの身体部位Ｐの位置を示す模式図である。図４には、各身体部位Ｐの位置及び人体の中心Ｃの位置が表されている。情報変換部１１２は、身体部位Ｐとして人体の主要な関節を用いる。これに限らず、身体部位Ｐとして、人体を撮像した画像から検出可能な所定の部位を用いることができる。
【００４２】
情報取得部１１１は、人体検出技術によってある時点における各身体部位Ｐの位置を算出する。情報取得部１１１は、算出した身体部位Ｐの位置から、人体の中心Ｃ（例えば重心）の位置を算出する。情報取得部１１１は、時系列の画像の各時点について算出した身体部位Ｐの位置及び中心Ｃの位置を、時系列の情報として記憶部１３に記憶させる。
【００４３】
情報変換部１１２は、情報取得部１１１が算出した各身体部位Ｐの位置に対して、特徴空間変換を実行する。人体検出技術においては、データ取得の環境や取得設備の影響で、全ユーザで共通の空間、あるいは異なる空間における座標を身体部位Ｐの位置として算出する様々な場合がある。特徴空間変換とは、身体部位Ｐの位置を、共通の空間あるいは異なる空間における座標から、ユーザごとの空間における座標へ変換することをいう。これにより、ユーザ間の身体部位の動きの類似性を判別することができる。
【００４４】
具体的には、情報変換部１１２は、式（１）を用いて身体部位Ｐの３次元座標の特徴空間変換を行う。
【００４５】
【数１】
2019091260.tif 000003
【００４６】
式（１）のｘ座標、ｙ座標、ｚ座標のそれぞれについて、付記されているＮｏｒｍは身体部位Ｐの変換後の座標を示し、付記されているθは身体部位Ｐの変換前の座標を示し、付記されているＢｏｄｙＣｅｎｔｅｒは中心Ｃの座標を示す。式（１）によって、身体部位Ｐの３次元座標は、各ユーザの中心Ｃを基準とした座標に変換される。以下では、各身体部位Ｐの位置として変換後の座標を用いて処理を行う。
【００４７】
特徴選択部１１３は、時間遅延を考慮した、ユーザ間の身体部位Ｐの動きの関係に基づいて、結果の分析に対して重要な身体部位Ｐ（特徴）を選択する。ユーザ間の身体部位Ｐの動きの関係を評価するために、まず特徴選択部１１３は、ユーザ間の身体部位Ｐの各組み合わせについて、ＣＲＱＡ（クロスリカレンス定量分析：Cross-Recurrence Quantification Analysis）の反復プロット（Recurrence Plot）を生成する。
【００４８】
ここでは、身体部位Ｐのｘ座標、ｙ座標及びｚ座標をそれぞれ独立した特徴として扱う。すなわち特徴選択部１１３は、販売者Ｕ１の右手のｘ座標と購買者Ｕ２の右手のｘ座標との組み合わせ、販売者Ｕ１の右手のｘ座標と購買者Ｕ２の右手のｙ座標との組み合わせ、販売者Ｕ１の右手のｘ座標と購買者Ｕ２の右手のｚ座標との組み合わせ、販売者Ｕ１の右手のｘ座標と購買者Ｕ２の右肘のｘ座標との組み合わせなどのように、各身体部位Ｐの各座標の全ての組み合わせの反復プロットを生成する。
【００４９】
図５は、本実施形態に係る特徴選択部１１３が１つの身体部位Ｐの組み合わせについて生成する反復プロットＡを示す図である。図５の反復プロットＡは、例えば販売者Ｕ１の右手のｘ座標と購買者Ｕ２の右手のｘ座標との組み合わせを対象とする。反復プロットＡの横軸は販売者Ｕ１についての時間を表し、縦軸は購買者Ｕ２についての時間を表す。反復プロットＡ上には、販売者Ｕ１の身体部位Ｐと購買者Ｕ２の身体部位Ｐとの両方の時系列の位置が変化した（すなわち動いた）ことを示す共起領域Ａ１が生成されている。例えば反復プロットＡは、販売者Ｕ１の右手のｘ座標の変化の影響を受けて、購買者Ｕ２の右手のｘ座標が変化したことを表している。反復プロットＡを生成するため、公知の最適化手法を利用する。また、関連パラメータを複数回で無作為に選択し、実験により最適なパラメータを利用してもよい。
【００５０】
反復プロットＡは、販売者Ｕ１の時間と購買者Ｕ２の時間とをずらしながら、販売者Ｕ１の身体部位Ｐと購買者Ｕ２の身体部位Ｐとが両方動いている（例えば位置の変化量が所定の閾値以上である）時間をプロットしたものである。例えば販売者Ｕ１の身体部位Ｐがｔ１秒〜ｔ２秒に動いており、購買者Ｕ２の身体部位Ｐがｔ３秒〜ｔ４秒及びｔ５秒〜ｔ６秒に動いているものとする。この場合には、特徴選択部１１３は、図５に示すように、販売者Ｕ１のｔ１秒〜ｔ２秒と購買者Ｕ２のｔ３秒〜ｔ４秒及びｔ５秒〜ｔ６秒とが共通する部分を共起領域Ａ１として反復プロットＡ上に生成する。図５には視認性のために一部の共起領域Ａ１のみが表されているが、より多くの共起領域Ａ１が生成されてもよい。
【００５１】
このような反復プロットＡによって、ユーザ間の身体部位Ｐの組み合わせにおける時間的遅延を考慮した共起関係が抽出される。そのため、特徴選択部１１３は、反復プロットＡに基づいて、販売者Ｕ１の特定の身体部位Ｐの動きと同じ時間及び異なる時間において購買者Ｕ２の特定の身体部位Ｐの動きが発生するという関係の存在を判定することができる。
【００５２】
そして特徴選択部１１３は、ユーザ間の身体部位Ｐの各組み合わせについて生成した反復プロットＡに対して、式（２）を用いてＣＲＱＡのＴＴ（Trapping Time）指標を算出する。
【００５３】
【数２】
2019091260.tif 000004
【００５４】
式（２）において、ＴＴはＴＴ指標を示し、ｖは反復プロットＡの共起領域Ａ１の垂直方向の時間長を示し、Ｐ（ｖ）はｖの頻度分布を示す。ＴＴ指標は、反復プロットＡの共起領域Ａ１の垂直方向の平均時間長である。すなわちＴＴ指標は、販売者Ｕ１の動きに対して購買者Ｕ２の動きが発生したこと（共起したこと）の継続時間を示す指標である。
【００５５】
ＴＴ指標は、ユーザ間の身体部位Ｐの動きが同時又は遅延して発生することを示す指標である。あるユーザ間の身体部位Ｐの組み合わせについて算出されたＴＴ指標が大きいほど、ユーザ間の身体部位Ｐの動きが同時又は遅延して発生する頻度が高い又は継続時間が長いことを示す。そのためＴＴ指標の大きさは、ユーザ間の身体部位Ｐの関係の強さに対応する。
【００５６】
図６は、本実施形態に係る特徴選択部１１３がユーザ間の身体部位Ｐの各組み合わせについて算出したＴＴ指標の分布図Ｂを示す図である。分布図Ｂは、本明細書においてＴＴ指標の説明のために用いるものであり、特徴選択部１１３がこれを生成する必要はない。
【００５７】
分布図Ｂの横軸は販売者Ｕ１の各身体部位Ｐの各座標を識別する番号を表し、縦軸は購買者Ｕ２の各身体部位Ｐの各座標を識別する番号を表している。図６では視認性のために横軸及び縦軸としてそれぞれ２０個の身体部位Ｐを表しているが、実際には横軸及び縦軸はそれぞれ計算に用いた身体部位Ｐの数に対応する。分布図Ｂは、ＴＴ指標が所定の閾値以上である身体部位Ｐの組み合わせを黒いセルＢ１で、ＴＴ指標が所定の閾値未満である身体部位Ｐの組み合わせを白いセルＢ２で表している。
【００５８】
分布図Ｂは、販売者Ｕ１の各身体部位Ｐの動きに対する購買者Ｕ２の各身体部位Ｐの動きの反応を表している。例えば販売者Ｕ１の番号１０の身体部位Ｐの座標は、購買者Ｕ２の番号２、７、１０、１３、１６（合計５個）に対してＴＴ指標が所定の閾値以上になっている。このように相手の多数の身体部位Ｐの動きと関連する身体部位Ｐは、結果の分析に重要である。そこで特徴選択部１１３は、ＴＴ指標に基づいて、結果の分析に用いる身体部位Ｐ（特徴）を選択する。
【００５９】
具体的には、特徴選択部１１３は、ＴＴ指標が所定の閾値以上であるユーザ間の身体部位Ｐの組み合わせの数に基づいて、結果の分析に用いる身体部位Ｐを選択する。より具体的には、特徴選択部１１３は、ＴＴ指標が所定の閾値以上であるセルＢ１が所定の数以上の列に対応している販売者Ｕ１の身体部位Ｐを、結果の分析に用いる身体部位Ｐとして選択する。あるいは、特徴選択部１１３は、ＴＴ指標が所定の閾値以上であるセルＢ１の数が多い順に所定の数の販売者Ｕ１の身体部位Ｐを、結果の分析に用いる身体部位Ｐとして選択する。
【００６０】
このような構成により、時系列分析装置１は、相手に対して多くの動きを引き起こす身体部位Ｐ（特徴）を選択的に学習及び分析に用いることができる。ここに示したＴＴ指標に基づく身体部位Ｐの選択条件は一例であり、特徴選択部１１３は、その他の選択条件を用いてもよい。
【００６１】
選択の精度を向上させるために、特徴選択部１１３は、複数の販売者Ｕ１と購買者Ｕ２とのペアについて身体部位Ｐの時系列の位置を収集し、それらの平均をとって反復プロットＡを生成し、身体部位Ｐを選択してもよい。
【００６２】
選択の精度を向上させるために、特徴選択部１１３は、複数の販売者Ｕ１と購買者Ｕ２とのペアについて身体部位Ｐの時系列の位置を収集し、各ペアにおいて販売者Ｕ１に対する購買者Ｕ２のＴＴ指標の分布図Ｂと、購買者Ｕ２に対する販売者Ｕ１のＴＴ指標の分布図Ｂを算出する。特徴選択部１１３は、各分布図Ｂの横軸における共通の重要な身体部位Ｐを選択してもよい。
【００６３】
選択の精度を向上させるために、特徴選択部１１３は、複数の販売者Ｕ１と購買者Ｕ２とのペアについて身体部位Ｐの時系列の位置を収集し、各ペアにおいて販売者Ｕ１に対する購買者Ｕ２のＴＴ指標の分布図Ｂと、購買者Ｕ２に対する販売者Ｕ１のＴＴ指標の分布図Ｂを算出する。各ＴＴ指標の分布図Ｂは、ガンマ分布に従うことから、ガンマ分布に従うＴＴ指標において、原点から離れている、所定閾値以上の範囲に分布しているＴＴ指標値が対応している、複数の販売者Ｕ１と購買者Ｕ２における共通な重要な身体部位Ｐを選択してもよい。
【００６４】
時系列情報の学習を行う際に、学習部１１４は、特徴選択部１１３が選択した販売者Ｕ１及び購買者Ｕ２の身体部位Ｐ（特徴）の時系列の位置に対して学習技術を適用することによって、学習を実行する。学習部１１４は、学習の教師データとして、入力データにおいて販売者Ｕ１から購買者Ｕ２への販売（契約、合意、説得等でもよい）が成功したか否か（すなわち結果が肯定的か否か）の情報を用いる。学習部１１４は、学習を実行することによって、結果を予測するためのモデルを生成して記憶部１３に記憶させる。学習技術として、ニューラルネットワーク、サポートベクトルマシン等の公知の学習技術を用いることができる。
【００６５】
時系列情報の分析を行う際に、分析部１１５は、記憶部１３から学習部１１４が生成したモデルを読み出す。そして分析部１１５は、読み出したモデルに特徴選択部１１３が選択した販売者Ｕ１及び購買者Ｕ２の身体部位Ｐ（特徴）の時系列の位置を入力することによって、分析を実行する。モデルは、入力された販売者Ｕ１及び購買者Ｕ２の身体部位Ｐの時系列の位置から、販売者Ｕ１と購買者Ｕ２とのインタラクションの結果が肯定的か否かを予測する。そして分析部１１５は、モデルによって予測された結果を取得し、表示部１４に表示させ、又は記憶部１３に記憶させる。
【００６６】
このように、本実施形態に係る時系列分析装置１は、時間遅延を考慮した、ユーザ間の身体部位Ｐの動きの関係に基づいて、結果の分析に対して重要な身体部位Ｐ（特徴）を選択し、選択した身体部位Ｐを用いて学習及び分析を行う。そのため、学習及び分析の精度を高めることができ、また計算に掛かる時間を短縮できる。
【００６７】
［時系列分析方法のフローチャート］
図７は、本実施形態に係る時系列分析装置１による時系列分析方法のフローチャートを示す図である。図７のフローチャートは、例えばユーザが時系列分析装置１に対して所定の開始操作を行うことによって開始される。
【００６８】
時系列分析装置１は、まず図８で後述する学習処理を行う（Ｓ１）。次に時系列分析装置１は、ステップＳ１の学習処理によって生成されたモデルを用いて、図９で後述する分析処理を行う（Ｓ２）。
【００６９】
時系列分析装置１は、必ずしもステップＳ１の学習処理に引き続いてステップＳ２の分析処理を行う必要はなく、時系列分析装置１の管理者による開始指示を受けたことを条件としてステップＳ２の分析処理を行ってもよい。また、時系列分析装置１は、ステップＳ１の学習処理の後に、複数回のステップＳ２の分析処理を行ってもよい。
【００７０】
［学習処理のフローチャート］
図８は、本実施形態に係る学習処理のフローチャートを示す図である。図８のフローチャートは、図７の時系列分析方法のステップＳ１で実行される。
【００７１】
まず情報取得部１１１は、撮像部１５によって撮像された学習対象である２人のユーザの時系列の画像情報を取得する（Ｓ１０１）。そして情報取得部１１１は、ステップＳ１０１で取得した時系列の画像情報から各ユーザの各身体部位の位置を算出する。
【００７２】
情報変換部１１２は、情報取得部１１１が算出した各身体部位の位置に対して上述の式（１）を用いて特徴空間変換を実行する（Ｓ１０２）。以下では、ステップＳ１０２で特徴空間変換が行われた座標を各身体部位の位置として用いて処理を行う。
【００７３】
特徴選択部１１３は、ユーザ間の身体部位（特徴）の各組み合わせについて、身体部位の時系列の位置（すなわち動き）の反復プロットを生成し、上述の式（２）を用いてＴＴ指標を算出する（Ｓ１０３）。そして特徴選択部１１３は、ステップＳ１０３で算出したＴＴ指標に基づいて、結果の分析に用いる身体部位（特徴）を選択する（Ｓ１０４）。
【００７４】
学習部１１４は、ステップＳ１０４で特徴選択部１１３が選択した身体部位（特徴）の時系列の位置に対して学習技術を適用することによって、学習を実行する（Ｓ１０５）。学習部１１４は、学習によって生成したモデル（モデルのパラメータ）を記憶部１３に記憶させる。
【００７５】
［分析処理のフローチャート］
図９は、本実施形態に係る分析処理のフローチャートを示す図である。図９のフローチャートは、図７の時系列分析方法のステップＳ２で実行される。
【００７６】
まず情報取得部１１１は、撮像部１５によって撮像された分析対象である２人のユーザの時系列の画像情報を取得する（Ｓ２０１）。そして情報取得部１１１は、ステップＳ２０１で情報取得部１１１が取得した時系列の画像情報から各ユーザの各身体部位の位置を算出する。
【００７７】
情報変換部１１２は、情報取得部１１１が算出した各身体部位の位置に対して上述の式（１）を用いて特徴空間変換を実行する（Ｓ２０２）。以下では、ステップＳ２０２で特徴空間変換が行われた座標を各身体部位の位置として用いて処理を行う。
【００７８】
特徴選択部１１３は、学習処理のステップＳ１０５で学習部１１４がモデルの生成に用いた身体部位（特徴）を選択する（Ｓ２０３）。
【００７９】
分析部１１５は、学習処理のステップＳ１０５で学習部１１４が生成したモデルを記憶部１３から読み出す（Ｓ２０４）。そして分析部１１５は、ステップＳ２０４で読み出したモデルに、ステップＳ２０３で特徴選択部１１３が選択した身体部位（特徴）の時系列の位置を入力することによって、分析を実行する（Ｓ２０５）。モデルは、入力された２人のユーザの身体部位の時系列の位置から、結果が肯定的か否かを予測する。そして分析部１１５は、モデルによって予測された結果を取得し、表示部１４に表示させ、又は記憶部１３に記憶させる。
【００８０】
上述の時系列分析装置１は販売、契約、合意、説得等の結果が肯定的か否かを予測する分析を行っているが、教育やグループ学習の効果を予測する分析を行ってもよい。この場合に、時系列分析装置１は、教師と生徒との間又は生徒間の身体部位の共起関係に基づいて分析に用いる身体部位を選択し、学習及び分析を行う。学習の教師データとして、時系列分析装置１は、生徒からの教師の評価や、生徒の試験の点数等を用いることができる。
【００８１】
［第１の実施形態の効果］
人体の関節等の身体部位の動きを用いてユーザ間のインタラクションを学習及び分析する際に、計算対象とする身体部位の数が多いほど計算時間が長くなる。また、身体部位の動きには、ユーザ間のインタラクションに関係のない自然な動きが含まれるため、全ての身体部位を計算対象とすると学習及び分析の精度が低下する場合がある。
【００８２】
そこで本実施形態に係る時系列分析装置１は、ユーザ間の身体部位の動きの時間遅延を考慮した関係に基づいて、結果の分析に対して重要な身体部位（特徴）を選択し、選択した身体部位を用いて学習及び分析を行う。これにより、時系列分析装置１は、計算対象とする身体部位の数を削減できるため、計算時間を短縮できる。また、時系列分析装置１は、ユーザ間のインタラクションに関わる重要な身体部位を絞り込んで用いることができるため、学習及び分析の精度を高めることができる。
【００８３】
［第１の実施形態の変形例］
上述の時系列分析装置１において、学習結果をフィードバックすることによって、学習及び分析のために選択する身体部位Ｐの数及び種類を調整してもよい。具体的には、特徴選択部１１３は、上述のＴＴ指標の条件に従って選択した身体部位Ｐを母集団として、無作為な個数の身体部位Ｐを、無作為に選択する。
【００８４】
そして学習部１１４は、特徴選択部１１３が無作為に選択した個数及び種類の身体部位Ｐを用いて、上述の学習を実行する。特徴選択部１１３及び学習部１１４は、身体部位Ｐの選択及び学習を所定の回数繰り返し、複数のモデルを生成する。学習部１１４は、生成した複数のモデルのそれぞれにテストデータを入力して精度を算出する。そして学習部１１４は、算出した精度が最も高いモデルを選択し、記憶部１３に記憶させる。分析部１１５は、選択された精度が最も高いモデルを読み出し、該モデルの生成において選択された身体部位Ｐの時系列情報を該モデルに入力することによって、分析を実行する。
【００８５】
このような構成により、時系列分析装置１は、より適した個数及び種類の身体部位Ｐを選択的に用いることができるため、学習及び分析の精度を向上させることができる。
【００８６】
（第２の実施形態）
第１の実施形態はユーザ間の特徴の関係を学習することによってユーザ間インタラクションの結果の予測を行うのに対して、本実施形態はユーザ間の特徴の関係を学習することによってユーザの行動パターンの予測を行う。時系列分析システムＳの装置構成は、第１の実施形態と同様である。
【００８７】
本実施形態において、行動パターンとは、掃除、休憩、徘徊等の日常生活上の行動の種類、及びデスクワーク、タイピング、思考等の仕事上の行動の種類をいう。同じ行動パターンに着目すると、ユーザによって行動パターン中の行動の順番や頻度は異なっていても、時間をずらせば（すなわち時間遅延を与えれば）共通の特徴が現れる。一方、異なる行動パターンでは、時間をずらしたとしても共通の特徴はあまり現れない。
【００８８】
そこで本実施形態に係る時系列分析装置１の特徴選択部１１３は、各行動パターンにおいて、時間遅延を考慮した、異なるユーザ間の身体部位（特徴）の動きの関係に基づいて、行動パターンの予測に対して重要な身体部位を選択する。身体部位の選択条件は、第１の実施形態と同様である。
【００８９】
学習部１１４は、ある行動パターンに該当する異なるユーザの時系列情報ペア、及びある行動パターンに該当するユーザと該行動パターンに該当しないユーザとの時系列情報ペアを用いて、特徴選択部１１３が選択した身体部位の時系列の位置に対して学習技術を適用することによって、学習を実行する。学習部１１４は、学習の教師データとして、入力データが特定の同じ行動パターンに該当するか否かの情報を用いる。この学習を行動パターンごとに繰り返すことにより、学習部１１４は、行動パターンごとのモデルを生成して記憶部１３に記憶させる。
【００９０】
時系列情報の分析を行う際に、分析部１１５は、学習部１１４が生成した行動パターンごとのモデルに、それぞれのモデルの生成において選択された身体部位に対応する時系列の位置を入力することによって分析を実行する。そして分析部１１５は、行動パターンごとのモデルに入力された身体部位の動きに適応する度合いが所定の閾値を超える行動パターンを、行動パターンの予測結果として出力する。
【００９１】
［学習処理のフローチャート］
図１０は、本実施形態に係る学習処理のフローチャートを示す図である。図１０のフローチャートは、図７の時系列分析方法のステップＳ１で実行される。
【００９２】
まず情報取得部１１１は、撮像部１５によって撮像された学習対象である２人のユーザの行動パターンごとの時系列の画像情報を取得する（Ｓ１１１）。そして情報取得部１１１は、ステップＳ１１１で取得した時系列の画像情報から各ユーザの各身体部位の位置を算出する。
【００９３】
情報変換部１１２は、情報取得部１１１が算出した各身体部位の位置に対して上述の式（１）を用いて特徴空間変換を実行する（Ｓ１１２）。以下では、ステップＳ１１２で特徴空間変換が行われた座標を各身体部位の位置として用いて処理を行う。
【００９４】
特徴選択部１１３は、ユーザ間の身体部位（特徴）の各組み合わせについて、身体部位の時系列の位置（すなわち動き）の反復プロットを行動パターンごとに生成し、上述の式（２）を用いてＴＴ指標を算出する（Ｓ１１３）。そして特徴選択部１１３は、ステップＳ１１３で算出したＴＴ指標に基づいて、行動パターンの予測に用いる身体部位（特徴）を行動パターンごとに選択する（Ｓ１１４）。
【００９５】
学習部１１４は、ステップＳ１１４で特徴選択部１１３が選択した身体部位（特徴）の行動パターンごとの時系列の位置に対して学習技術を適用することによって、学習を実行する（Ｓ１１５）。学習部１１４は、学習によって生成したモデル（モデルのパラメータ）を行動パターンごとに記憶部１３に記憶させる。
【００９６】
本実施形態に係る分析処理は、行動パターンごとのモデルを用いる点と、行動パターンごとの疑似相手のデータを事前に用意した模範データとする点と、以外については、図９のフローチャートと同様である。
【００９７】
時系列分析装置１は、学習処理及び分析処理において、行動パターンごとの情報の取得、特徴空間変換、特徴の選択、学習の実行及び分析の実行を、互いに並列で行ってもよい。これにより、高速に処理を行うことができる。
【００９８】
本実施形態においても、第１の実施形態の変形例と同様に、無作為に選択した個数及び種類の身体部位を用いて複数のモデルを生成し、その中から精度の高いモデルを選択してもよい。
【００９９】
［第２の実施形態の効果］
本実施形態に係る時系列分析装置１は、ユーザ間の身体部位の動きの時間遅延を考慮した関係に基づいて、行動パターンの予測に対して重要な身体部位（特徴）を選択し、選択した身体部位を用いて学習及び分析を行う。これにより、行動パターンの学習及び予測の計算時間を短縮し、精度を高めることができる。
【０１００】
（第３の実施形態）
第１の実施形態は２人のユーザのインタラクションに着目しているのに対して、本実施形態は３人以上のグループ内のインタラクションに着目して学習及び分析を行う。時系列分析システムＳの装置構成は、第１の実施形態と同様である。
【０１０１】
３人以上のグループで行う会議等のインタラクションでは、活発なインタラクションを行うユーザのペアと活発でないインタラクションを行うユーザのペアとが存在し、また時間ごとに話題が移り変わる。そこで本実施形態に係る時系列分析装置１は、所定の長さの時間窓をずらしながらユーザのペアごとに学習及び分析を行うことによって、ユーザ間のインタラクションが活発か否かを分類する。
【０１０２】
具体的には、特徴選択部１１３は、所定の長さの時間窓を設定し、また学習対象の複数のユーザのうち２人のユーザのペアを選択する。そして特徴選択部１１３は、設定した時間窓内の時系列情報を用いて、選択したユーザ間の身体部位（特徴）の動きの時間遅延を考慮した関係に基づいて、結果の分析に対して重要な身体部位を選択する。身体部位の選択条件において、時間窓単位で行う点以外は第１の実施形態と同様である。時間窓は、処理対象とする時系列情報の開始時間及び終了時間を限定する範囲である。時間窓の長さは、時系列分析装置１の管理者によって予め記憶部１３に設定される。特徴選択部１１３は、所定回数分時間窓をずらしながら、また学習対象の別のユーザのペアを選択しながら、繰り返し身体部位の選択を行う。
【０１０３】
学習部１１４は、特徴選択部１１３が設定した時間窓内において、特徴選択部１１３が選択した身体部位の時系列の位置に対して学習技術を適用することによって、時間窓をずらしながら繰り返し学習を実行する。また、学習部１１４は、特徴選択部１１３が選択した別のユーザのペアについても同様に繰り返し学習を実行する。学習部１１４は、学習の教師データとして、入力データにおいてユーザ間のインタラクションが活発か否かの分類を用いる。
【０１０４】
時系列の情報の分析を行う際に、分析部１１５は、学習部１１４が生成したモデルに、該モデルにおいて選択された身体部位の時系列の位置を入力することによって分析を実行する。モデルは、入力された２人のユーザの身体部位の時系列の位置から、時間窓をずらしながらインタラクションが活発か否かを分類する。そして分析部１１５は、モデルによって分類された結果を取得し、表示部１４に表示させ、又は記憶部１３に記憶する。
【０１０５】
分析部１１５は、学習部１１４が生成したモデルによって活発なコミュニケーションを行うと判別した場合、各時間窓内で第１の実施形態を適用することにより、肯定あるいは否定の結果を予測してもよい。
【０１０６】
［学習処理のフローチャート］
図１１は、本実施形態に係る学習処理のフローチャートを示す図である。図１１のフローチャートは、図７の時系列分析方法のステップＳ１で実行される。
【０１０７】
まず情報取得部１１１は、撮像部１５によって撮像された学習対象である複数のユーザの時系列の画像情報を取得する（Ｓ１２１）。そして情報取得部１１１は、ステップＳ１２１で取得した時系列の画像情報から各ユーザの各身体部位の位置を算出する。
【０１０８】
情報変換部１１２は、情報取得部１１１が算出した各身体部位の位置に対して上述の式（１）を用いて特徴空間変換を実行する（Ｓ１２２）。以下では、ステップＳ１２２で特徴空間変換が行われた座標を各身体部位の位置として用いて処理を行う。
【０１０９】
特徴選択部１１３は、所定の長さの時間窓を、初期位置に設定する（Ｓ１２３）。時間窓の初期位置は、例えば入力された時系列の画像情報の最初の時間である。特徴選択部１１３は、繰り返しごとに時間窓の位置を所定の時間ずつずらす。以下では、ステップＳ１２３で設定された時間窓内の各身体部位の時系列の位置を用いて処理を行う。
【０１１０】
特徴選択部１１３は、学習対象の複数のユーザのうち２人のユーザのペアを選択する（Ｓ１２４）。特徴選択部１１３は、繰り返しごとに別の２人のユーザのペアを選択する。以下では、ステップＳ１２４で選択されたユーザに対して処理を行う。
【０１１１】
特徴選択部１１３は、ユーザ間の身体部位（特徴）の各組み合わせについて、身体部位の時系列の位置（すなわち動き）の反復プロットを生成し、上述の式（２）を用いてＴＴ指標を算出する（Ｓ１２５）。そして特徴選択部１１３は、ステップＳ１２５で算出したＴＴ指標に基づいて、結果の分析に用いる身体部位（特徴）を選択する（Ｓ１２６）。
【０１１２】
学習部１１４は、ステップＳ１２６で特徴選択部１１３が選択した身体部位（特徴）の時系列の位置に対して学習技術を適用することによって、学習を実行する（Ｓ１２７）。学習部１１４は、学習によって生成したモデル（モデルのパラメータ）を記憶部１３に記憶させる。
【０１１３】
ユーザの全ペアについて処理が終了していない場合に（Ｓ１２８のＮＯ）、時系列分析装置１はステップＳ１２４に戻って別のユーザのペアを選択して処理を繰り返す。入力データの全時間について処理が終了していない場合に（Ｓ１２９のＮＯ）、時系列分析装置１はステップＳ１２３に戻って時間窓の位置を所定の時間だけずらして処理を繰り返す。
【０１１４】
ユーザの全ペアについて処理が終了し、かつ入力データの全時間について処理が終了した場合に（Ｓ１２８のＹＥＳ、Ｓ１２９のＹＥＳ）、時系列分析装置１は学習処理を終了する。
【０１１５】
本実施形態に係る分析処理は、時間窓ごと及びユーザのペアごとにモデルへデータを入力する点以外については、図９のフローチャートと同様である。
【０１１６】
時系列分析装置１は、学習処理及び分析処理において、ユーザのペアごとの情報の取得、特徴空間変換、特徴の選択、学習の実行及び分析の実行を、互いに並列で行ってもよい。これにより、高速に処理を行うことができる。
【０１１７】
本実施形態においても、第１の実施形態の変形例と同様に、無作為に選択した個数及び種類の身体部位を用いて複数のモデルを生成し、その中から精度の高いモデルを選択してもよい。
【０１１８】
［第３の実施形態の効果］
本実施形態に係る時系列分析装置１は、３人以上のグループで行う会議等のインタラクションにおいて、ユーザのペアごとに学習及び分析を行うことができる。また時系列分析装置１は、時間窓をずらしながら処理を行うため、時間ごとに話題が移り変わる状況でも高精度な学習及び分析を行うことができる。
【０１１９】
（第４の実施形態）
第１の実施形態はユーザの身体部位の動きを用いて学習及び分析を行うのに対して、本実施形態はユーザが発する言語を用いて学習及び分析を行う。時系列分析システムＳの装置構成は、第１の実施形態と同様である。
【０１２０】
本実施形態において、ユーザの発する言語は、メール、チャット等でユーザが入力した文字情報でもよく、又は音声入力部１６が取得したユーザからの音声情報でもよい。第１ユーザの言語を見た又は聞いた第２ユーザの反応は、興味を示すか示さないかで異なる。そこで本実施形態に係る時系列分析装置１は、ユーザの身体部位の動きの代わりに、結果の分析に重要な言語特徴を選択し、選択した言語特徴を用いて学習及び分析を行う。
【０１２１】
日常会話において用いられる単語は無数にあるため、全ての単語の組み合わせの共起関係を抽出することは現実的でない。本実施形態に係る時系列分析装置１は、ユーザが発した言語に含まれる単語をクラスタリングし、クラスタを特徴として用いる。時系列分析装置１は、単語とクラスタとの対応関係を、予め記憶部１３に記憶させる。時系列分析装置１は、例えば以下に列挙したようなユーザの感情ごとに定義されたクラスタを用いる。
【０１２２】
安心／感謝／幸福／リラックス／尊敬／期待／愛しさ／恐怖／後悔／嫌悪／嫉妬／怒り
【０１２３】
ここに示したクラスタは一例であり、時系列分析装置１の管理者は任意のクラスタを定義することができる。本実施形態では、１つのクラスタに属する１群の単語を、１つの特徴として取り扱う。
【０１２４】
情報取得部１１１は、音声入力部１６によって取得された時系列の音声情報又は記憶部１３に記憶された時系列の文字情報を取得する。学習対象及び分析対象のメール、チャット等の文字情報は、他のシステムから取得されて、予め記憶部１３に記憶されている。そして情報取得部１１１は、取得した音声情報又は文字情報に自然言語処理技術を適用することによって、各ユーザの発した言語に含まれる単語を抽出する。自然言語処理技術として、公知の技術を用いることができる。情報取得部１１１は、分析の精度を向上させるために、音声情報又は文字情報に対して不要語除去等の前処理を適用することが望ましい。
【０１２５】
情報変換部１１２は、記憶部１３に予め記憶されているクラスタの定義に従って、情報取得部１１１が抽出した単語をクラスタリングする。情報変換部１１２は、生成した各クラスタを学習及び分析に用いる特徴として決定する。
【０１２６】
特徴選択部１１３は、各クラスタの時系列情報（すなわち各クラスタに属する単語の発生時間）を用いて、２人のユーザ間のクラスタ（特徴）の発生時間の時間遅延を考慮した関係に基づいて、結果の分析に対して重要なクラスタを選択する。特徴選択部１１３によるクラスタの選択方法は、第１の実施形態におけるユーザの身体部位の選択方法と同様である。
【０１２７】
学習部１１４は、特徴選択部１１３が選択したクラスタの発生時間に対して学習技術を適用することによって、学習を実行する。学習部１１４は、学習の教師データとして、入力データにおいて販売、契約、合意、説得等の結果が肯定的か否かの情報を用いる。
【０１２８】
時系列の情報の分析を行う際に、分析部１１５は、学習部１１４が生成したモデルに、該モデルの生成において選択されたクラスタの発生時間を入力することによって分析を実行する。モデルは、入力された２人のユーザのクラスタの発生時間から、販売、契約、合意、説得等の結果が肯定的か否かを予測する。そして分析部１１５は、モデルによって予測された結果を取得し、表示部１４に表示させ、又は記憶部１３に記憶する。
【０１２９】
［学習処理のフローチャート］
図１２は、本実施形態に係る学習処理のフローチャートを示す図である。図１２のフローチャートは、図７の時系列分析方法のステップＳ１で実行される。
【０１３０】
まず情報取得部１１１は、音声入力部１６によって取得された時系列の音声情報又は記憶部１３に記憶されている時系列の文字情報（メール、チャット等）を取得する（Ｓ１３１）。そして情報取得部１１１は、ステップＳ１３１で取得した音声情報又は文字情報に自然言語処理技術を適用することによって、各ユーザの発した言語に含まれる単語を抽出する（Ｓ１３２）。
【０１３１】
情報変換部１１２は、記憶部１３に予め記憶されているクラスタの定義に従って、ステップＳ１３２で情報取得部１１１が抽出した単語をクラスタリングする（Ｓ１３３）。そして情報変換部１１２は、ステップＳ１３３で生成した各クラスタを学習及び分析に用いる特徴として決定する（Ｓ１３４）。
【０１３２】
特徴選択部１１３は、ユーザ間のクラスタ（特徴）の各組み合わせについて、クラスタの発生時間の反復プロットを生成し、上述の式（２）を用いてＴＴ指標を算出する（Ｓ１３５）。そして特徴選択部１１３は、ステップＳ１３５で算出したＴＴ指標に基づいて、学習及び分析に用いるクラスタ（特徴）を選択する（Ｓ１３６）。
【０１３３】
学習部１１４は、ステップＳ１３６で特徴選択部１１３が選択したクラスタ（特徴）の発生時間に対して学習技術を適用することによって、学習を実行する（Ｓ１３７）。学習部１１４は、学習によって生成したモデル（モデルのパラメータ）を記憶部１３に記憶させる。
【０１３４】
本実施形態に係る分析処理は、特徴として身体部位の代わりに単語のクラスタを用いる点以外については、図９のフローチャートと同様である。
【０１３５】
本実施形態においても、第１の実施形態の変形例と同様に、無作為に選択した個数及び種類のクラスタを用いて複数のモデルを生成し、その中から精度の高いモデルを選択してもよい。
【０１３６】
第１〜第３の実施形態に本実施形態を組み合わせることによって、時系列分析装置１は、ユーザの身体部位の動き（すなわち非言語的行動）とユーザの発した言語（すなわち言語的行動）との両方を特徴として用いて、学習及び分析を行ってもよい。このような構成によって、一方のユーザが言語で説明をしていて、他方のユーザがその説明を黙って聞いている状況等、様々な状況において分析を行うことができる。
【０１３７】
［第４の実施形態の効果］
本実施形態に係る時系列分析装置１は、ユーザが発した言語から抽出した単語をクラスタリングし、生成したクラスタを特徴として用いる。そして時系列分析装置１は、ユーザ間でのクラスタ（特徴）の発生時間の時間遅延を考慮した関係に基づいて、結果の分析に対して重要なクラスタを選択し、選択したクラスタを用いて学習及び分析を行う。これにより、言語行動の学習及び予測においても、計算時間を短縮し、精度を高めることができる。
【０１３８】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
【０１３９】
時系列分析装置１の制御部１１（プロセッサ）は、図７〜１２に示す時系列分析方法に含まれる各ステップ（工程）の主体となる。すなわち、制御部１１は、図７〜１２に示す時系列分析方法を実行するための時系列分析プログラムを記憶部１３から読み出し、該時系列分析プログラムを実行して時系列分析装置１の各部を制御することによって、図７〜１２に示す時系列分析方法を実行する。図７〜１２に示す時系列分析方法に含まれるステップは一部省略されてもよく、ステップ間の順番が変更されてもよく、複数のステップが並行して行われてもよい。
【符号の説明】
【０１４０】
Ｓ  時系列分析システム
１  時系列分析装置
１１  制御部
１１１  情報取得部
１１２  情報変換部
１１３  特徴選択部
１１４  学習部
１１５  分析部
【図１】
2019091260.tif 000005
【図２】
2019091260.tif 000006
【図３】
2019091260.tif 000007
【図４】
2019091260.tif 000008
【図５】
2019091260.tif 000009
【図６】
2019091260.tif 000010
【図７】
2019091260.tif 000011
【図８】
2019091260.tif 000012
【図９】
2019091260.tif 000013
【図１０】
2019091260.tif 000014
【図１１】
2019091260.tif 000015
【図１２】
2019091260.tif 000016