(57)【要約】【課題】移動手段が未知の移動軌跡に対して、学習済みの識別器を用いて、精度よく移動手段ラベルを付与することができる。【解決手段】各時刻の座標を含む移動手段が未知の移動軌跡について、移動手段ラベル毎に予め学習されたガウス過程に関するパラメータ及びノイズに関するパラメータを用いて、移動軌跡に対してフィルタリングを行い、移動手段ラベル毎に、移動軌跡に対するフィルタリング結果から特徴ベクトルを抽出し、移動手段ラベル毎に予め学習された、移動手段ラベルのいずれであるかを識別するための識別器を用いて、移動手段ラベルのいずれであるかを表す確率を計算し、計算結果に基づいて移動軌跡に対する予測ラベルを出力する。【選択図】図２
2019211984.tif 000002
【特許請求の範囲】
【請求項１】
移動手段ラベルが付与された、各時刻の座標を含む移動軌跡の各々に基づいて、前記移動手段ラベル毎に、前記移動軌跡がガウス過程に従うと仮定した場合のガウス過程に関するパラメータ及びノイズに関するパラメータを推定し、推定された前記ガウス過程に関するパラメータ及びノイズに関するパラメータを用いて前記移動手段ラベルが付与された前記移動軌跡に対してフィルタリングを行うフィルタリング部と、
前記移動軌跡の各々について、前記移動軌跡のフィルタリング結果から特徴ベクトルを抽出する特徴抽出部と、
前記移動手段ラベル毎に、前記移動手段ラベルが付与された前記移動軌跡について抽出された前記特徴ベクトルに基づいて、前記移動手段ラベルのいずれであるかを識別するための識別器を学習する識別器学習部と、
を含む学習装置。
【請求項２】
前記ガウス過程に関するパラメータは、前記時刻の周りの点への相関の範囲を決めるスケールパラメータ、及び前記相関の大きさを決める分散パラメータを含み、
前記ノイズに関するパラメータは、前記ノイズに対する分散パラメータを含む請求項１に記載の学習装置。
【請求項３】
各時刻の座標を含む移動手段が未知の移動軌跡について、前記移動手段ラベル毎に予め学習されたガウス過程に関するパラメータ及びノイズに関するパラメータを用いて、前記移動軌跡に対してフィルタリングを行うフィルタリング部と、
前記移動手段ラベル毎に移動軌跡に対するフィルタリング結果から特徴ベクトルを抽出し、前記移動手段ラベル毎に予め学習された、前記移動手段ラベルのいずれであるかを識別するための識別器を用いて、前記移動手段ラベルのいずれであるかを表す確率を計算し、計算結果に基づいて前記移動軌跡に対する予測ラベルを出力する予測部と、
を含む予測装置。
【請求項４】
フィルタリング部が、移動手段ラベルが付与された、各時刻の座標を含む移動軌跡の各々に基づいて、前記移動手段ラベル毎に、前記移動軌跡がガウス過程に従うと仮定した場合のガウス過程に関するパラメータ及びノイズに関するパラメータを推定し、推定された前記ガウス過程に関するパラメータ及びノイズに関するパラメータを用いて前記移動手段ラベルが付与された前記移動軌跡に対してフィルタリングを行うステップと、
特徴抽出部が、前記移動軌跡の各々について、前記移動軌跡のフィルタリング結果から特徴ベクトルを抽出するステップと、
識別器学習部が、前記移動手段ラベル毎に、前記移動手段ラベルが付与された前記移動軌跡について抽出された前記特徴ベクトルに基づいて、前記移動手段ラベルのいずれであるかを識別するための識別器を学習するステップと、
を含む学習方法。
【請求項５】
前記ガウス過程に関するパラメータは、前記時刻の周りの点への相関の範囲を決めるスケールパラメータ、及び前記相関の大きさを決める分散パラメータを含み、
前記ノイズに関するパラメータは、前記ノイズに対する分散パラメータを含む請求項２に記載の学習方法。
【請求項６】
フィルタリング部が、各時刻の座標を含む移動手段が未知の移動軌跡について、前記移動手段ラベル毎に予め学習されたガウス過程に関するパラメータ及びノイズに関するパラメータを用いて、前記移動軌跡に対してフィルタリングを行うステップと、
予測部が、前記移動手段ラベル毎に移動軌跡に対するフィルタリング結果から特徴ベクトルを抽出し、前記移動手段ラベル毎に予め学習された、前記移動手段ラベルのいずれであるかを識別するための識別器を用いて、前記移動手段ラベルのいずれであるかを表す確率を計算し、計算結果に基づいて前記移動軌跡に対する予測ラベルを出力するステップと、
を含む予測方法。
【請求項７】
コンピュータを、請求項１若しくは請求項２に記載の学習装置、又は請求項３に記載の予測装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習装置、予測装置、方法、及びプログラムに係り、特に、移動軌跡に移動手段ラベルを付与するための学習装置、予測装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、ＧＰＳや無線通信技術の発達、及び、スマートフォンなどの通信端末の普及に伴って、屋内屋外問わず、ユーザの移動軌跡が大規模に取得できるようになりつつある。
【０００３】
移動軌跡とは、位置座標（緯度経度など）と時刻とのペアで与えられる観測の時系列を指す。各軌跡に対するユーザの移動手段を知ることは有益である。例えば、移動手段に応じて、ナビゲーションの種類をカスタマイズすることができる。徒歩のユーザに対しては近くの飲食店を推薦したり、電車のユーザに対しては乗り換え案内を提示したりすることが考えられる。しかし、大規模な移動軌跡全てに対して、手作業で、移動手段を表すラベルを付与することは現実的ではない。したがって、ユーザの移動軌跡が大量に与えられたときに、各軌跡に対して移動手段ラベルを推定するという問題は重要である。従来技術では、機械学習技術に基づいて、移動手段ラベルが付与された有限個の移動軌跡を入力とした教師あり学習問題として定式化し、移動手段ラベルが未知の移動軌跡が入力されたときに予測ラベルを出力するための識別器を構成する（非特許文献１）。このとき、より高精度な識別器学習のために、移動軌跡から様々な特徴量（速度、方向変化の角度など）を抽出し、活用することが提案されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Y. Zheng, Q. Li, Y. Chen, X. Xie, and W. Ma, “Understanding Transportation Modes  Based on GPS Data for Web Applications”, ACM Transactions on the Web, 4(1):1-36, 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術は、各移動手段に伴う移動軌跡の傾向（例えば、徒歩と自動車の速度の違い）を事前に学習することにより、移動手段ラベルが未知の移動軌跡が入力されたときに、学習済みの識別器を用いることによって移動手段ラベルを予測することが可能である。従来技術では、識別器の学習の際に、移動軌跡は観測ノイズを含まないことを仮定している。しかし、現実世界で観測された移動軌跡には必ず観測ノイズが含まれる。観測ノイズが大きいほど、従来技術において適切な特徴量の算出が困難になり、それによって高精度な識別器を構成することができない。上記の問題に対する素朴な解決方法として、外れ値処理やフィルタリング処理（ノイズ除去）を全移動手段に共通に施すことが考えられる。しかし、移動軌跡に含まれる観測ノイズの大きさは移動手段によって異なる。例えば、徒歩に比べて、電車で移動している場合の方が、無線の通信状況が悪く観測ノイズは大きいことが想定される。従来技術は、上記のように、移動軌跡に観測ノイズが含まれ、かつ、観測ノイズの大きさが移動手段毎に異なる場合には、高精度な識別器を学習困難であるという問題が存在した。
【０００６】
本発明は、上記問題点を解決するために成されたものであり、移動手段毎に適切なノイズ除去を行い、精度よく移動手段ラベルを移動軌跡に付与するための識別器を学習することができる学習装置、方法、及びプログラムを提供することを目的とする。
また、移動手段が未知の移動軌跡に対して、学習済みの識別器を用いて、精度よく移動手段ラベルを付与することができる予測装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、第１の発明に係る学習装置は、移動手段ラベルが付与された、各時刻の座標を含む移動軌跡の各々に基づいて、前記移動手段ラベル毎に、前記移動軌跡がガウス過程に従うと仮定した場合のガウス過程に関するパラメータ及びノイズに関するパラメータを推定し、推定された前記ガウス過程に関するパラメータ及びノイズに関するパラメータを用いて前記移動手段ラベルが付与された前記移動軌跡に対してフィルタリングを行うフィルタリング部と、前記移動軌跡の各々について、前記移動軌跡のフィルタリング結果から特徴ベクトルを抽出する特徴抽出部と、前記移動手段ラベル毎に、前記移動手段ラベルが付与された前記移動軌跡について抽出された前記特徴ベクトルに基づいて、前記移動手段ラベルのいずれであるかを識別するための識別器を学習する識別器学習部と、を含んで構成されている。
【０００８】
第２の発明に係る予測装置は、各時刻の座標を含む移動手段が未知の移動軌跡について、前記移動手段ラベル毎に予め学習されたガウス過程に関するパラメータ及びノイズに関するパラメータを用いて、前記移動軌跡に対してフィルタリングを行うフィルタリング部と、前記移動手段ラベル毎に、移動軌跡に対するフィルタリング結果から特徴ベクトルを抽出し、前記移動手段ラベル毎に予め学習された、前記移動手段ラベルのいずれであるかを識別するための識別器を用いて、前記移動手段ラベルのいずれであるかを表す確率を計算し、計算結果に基づいて前記移動軌跡に対する予測ラベルを出力する予測部と、を含んで構成されている。
【０００９】
第３の発明に係る学習方法は、フィルタリング部が、移動手段ラベルが付与された、各時刻の座標を含む移動軌跡の各々に基づいて、前記移動手段ラベル毎に、前記移動軌跡がガウス過程に従うと仮定した場合のガウス過程に関するパラメータ及びノイズに関するパラメータを推定し、推定された前記ガウス過程に関するパラメータ及びノイズに関するパラメータを用いて前記移動手段ラベルが付与された前記移動軌跡に対してフィルタリングを行うステップと、特徴抽出部が、前記移動軌跡の各々について、前記移動軌跡のフィルタリング結果から特徴ベクトルを抽出するステップと、識別器学習部が、前記移動手段ラベル毎に、前記移動手段ラベルが付与された前記移動軌跡について抽出された前記特徴ベクトルに基づいて、前記移動手段ラベルのいずれであるかを識別するための識別器を学習するステップと、を含んで実行することを特徴とする。
【００１０】
第４の発明に係る予測方法は、フィルタリング部が、各時刻の座標を含む移動手段が未知の移動軌跡について、前記移動手段ラベル毎に予め学習されたガウス過程に関するパラメータ及びノイズに関するパラメータを用いて、前記移動軌跡に対してフィルタリングを行うステップと、予測部が、前記移動手段ラベル毎に、移動軌跡に対するフィルタリング結果から特徴ベクトルを抽出し、前記移動手段ラベル毎に予め学習された、前記移動手段ラベルのいずれであるかを識別するための識別器を用いて、前記移動手段ラベルのいずれであるかを表す確率を計算し、計算結果に基づいて前記移動軌跡に対する予測ラベルを出力するステップと、を含んで実行することを特徴とする。
【００１１】
第５の発明に係るプログラムは、コンピュータを、第１の発明に係る学習装置、又は第２の発明に係る予測装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１２】
本発明の学習装置、方法、及びプログラムによれば、移動手段ラベルが付与された、各時刻の座標を含む移動軌跡の各々に基づいて、移動手段ラベル毎に、移動軌跡がガウス過程に従うと仮定した場合のガウス過程に関するパラメータ及びノイズに関するパラメータを推定し、推定されたガウス過程に関するパラメータ及びノイズに関するパラメータを用いて移動手段ラベルが付与された移動軌跡に対してフィルタリングを行い、移動軌跡の各々について、移動軌跡のフィルタリング結果から特徴ベクトルを抽出し、移動手段ラベル毎に、移動手段ラベルが付与された移動軌跡について抽出された特徴ベクトルに基づいて、移動手段ラベルのいずれであるかを識別するための識別器を学習することにより、移動手段毎に適切なノイズ除去を行い、精度よく移動手段ラベルを移動軌跡に付与するための識別器を学習することができる、という効果が得られる。
また、本発明の予測装置、方法、及びプログラムによれば、各時刻の座標を含む移動手段が未知の移動軌跡について、移動手段ラベル毎に予め学習されたガウス過程に関するパラメータ及びノイズに関するパラメータを用いて、移動軌跡に対してフィルタリングを行い、移動手段ラベル毎に、移動軌跡に対するフィルタリング結果から特徴ベクトルを抽出し、移動手段ラベル毎に予め学習された、移動手段ラベルのいずれであるかを識別するための識別器を用いて、移動手段ラベルのいずれであるかを表す確率を計算し、計算結果に基づいて移動軌跡に対する予測ラベルを出力することにより、移動手段が未知の移動軌跡に対して、学習済みの識別器を用いて、精度よく移動手段ラベルを付与することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る学習装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る予測装置の構成を示すブロック図である。
【図３】本発明の実施の形態に係る学習装置における学習処理ルーチンを示すフローチャートである。
【図４】本発明の実施の形態に係る予測装置における予測処理ルーチンを示すフローチャートである。
【図５】検索要求の例と出力例の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１５】
本実施の形態では、学習装置により、移動手段ラベルが付与された有限個の移動軌跡を用いて、移動手段が未知の移動軌跡に対して移動手段ラベルを予測するための識別器を学習する。各移動手段に対する観測ノイズの大きさの違いを加味しつつ識別器を学習できる機能を有する。予測装置は、学習済みの識別器を用いることにより移動手段が未知の移動軌跡に対して、観測ノイズの大きさと移動軌跡から算出される特徴量とに基づいて移動手段ラベルの予測を行う。
【００１６】
学習装置は、ガウス過程回帰（非特許文献２）を、各移動手段ラベルが付与された移動軌跡に対して独立に適用する。これによって、各移動手段における移動軌跡の滑らかさと観測ノイズの大きさとを同時に推定可能である。移動手段毎に推定されたガウス過程回帰の予測分布を用いて、移動軌跡のノイズ除去（フィルタリング）を行う。フィルタリング後の移動軌跡に基づいて各種特徴量（速度、方向変化の角度など）を算出し、これを入力として識別器（ロジスティック回帰など）を学習する。これによって、移動手段毎に異なるノイズの大きさを加味したフィルタリング、及び、そのフィルタリング結果を利用した識別器を構成する機能を有する。
【００１７】
学習装置の効果としては、移動手段毎に異なる大きさの観測ノイズが含まれる移動軌跡が与えられた場合においても、識別器を適切に学習可能である。例えば、徒歩の場合は観測ノイズが小さいが、電車の場合は観測ノイズが大きいとき、それぞれの移動手段においてガウス過程回帰を学習することにより、各移動手段における観測ノイズを適切にとらえることができる。ガウス過程回帰の予測分布を用いることで、各移動手段における移動軌跡から観測ノイズを適切にフィルタリングし、その結果を用いて各種特徴量を算出することにより、外れ値のようなノイズの影響を受けることなく、適切に識別器を学習することができる。
【００１８】
予測装置は、移動手段が未知の移動軌跡が与えられたときに、（１）各移動手段のデータで学習済みのガウス過程回帰によりフィルタリングを行い、（２）その結果を学習済みの識別器に入力することで、未知の移動手段ラベルを予測する機能を有する。
【００１９】
予測装置の効果としては、（１）と（２）を組み合わせて識別器を構成することによって、移動手段が未知の移動軌跡が持つ軌跡の滑らかさとノイズの大きさとを加味しつつ、移動軌跡から算出される特徴量に基づいて移動手段ラベルの予測を行うことができる。
【００２０】
以下、学習装置、及び予測装置の具体的な構成について説明する。学習装置、及び予測装置によって、ＧＰＳなど任意の無線通信技術によって計測された移動軌跡データ全般を対象としたものであり、計測する手段や計測条件（サンプリングレートや場所など）に依存せず、それらに対して柔軟に適用できる。以下では、実施例として、一般的な移動軌跡（位置座標（緯度経度など）と時刻とのペアで与えられる観測の時系列）と各移動軌跡に付与された移動手段ラベルとが与えられた条件の下で、移動手段ラベルが未知の移動軌跡に対してラベルを予測するための識別器を構成し、移動手段を推定する場合について説明する。
【００２１】
＜本発明の実施の形態に係る学習装置の構成＞
【００２２】
本発明の実施の形態に係る学習装置の構成について説明する。図１に示すように、本発明の実施の形態に係る学習装置１００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この学習装置１００は、機能的には図１に示すように操作部３と、演算部２０とを備えている。
【００２３】
操作部３は、移動手段ラベル付き移動軌跡格納部１のデータに対するユーザからの各種操作を受け付ける。各種操作とは、格納された情報を登録、修正、及び削除する操作等である。操作部３の入力手段は、キーボードやマウス、メニュー画面、タッチパネルによるもの等、どのようなものでもよい。操作部３は、マウス等の入力手段のデバイスドライバや、メニュー画面の制御ソフトウェアで実現される。
【００２４】
演算部２０は、移動手段ラベル付き移動軌跡格納部１と、フィルタリング部６と、ハイパーパラメータ格納部７と、フィルタリング済みラベル付き移動軌跡格納部８と、特徴抽出部９と、各種特徴量格納部１０と、識別器学習部１１と、重みパラメータ格納部１２とを含んで構成されている。
【００２５】
移動手段ラベル付き移動軌跡格納部１は、移動手段ラベルを予測するための識別器を学習するために利用され得るデータを格納しており、操作部３からの要求にしたがって、データを読み出し、該当のデータをフィルタリング部６に送信する。移動手段ラベル集合をＣとし、移動手段ラベルをｃ∈Ｃとする。移動手段ラベルｃの移動軌跡に含まれる観測を（ｔｉｊ（ｃ），ｘｉｊ（ｃ））と表し、ｉ番目の移動軌跡に含まれるｊ番目の観測とする。ここで、ｔｉｊ（ｃ）は観測時刻、ｘｉｊ（ｃ）は座標情報を表すものとする。また、ｘｉｊ（ｃ）＝（ｕｉｊ（ｃ），ｖｉｊ（ｃ））とし二次元平面上の点を表すものとする。次に、移動手段ラベルｃに含まれるｉ番目の移動軌跡をＤｉ（ｃ）＝｛（ｔｉｊ（ｃ），ｘｉｊ（ｃ））｜ｊ＝１，．．．，Ｊｉ（ｃ）｝とする。ここで、ｊｉ（ｃ）は移動手段ラベルｃのｉ番目の移動軌跡に含まれる観測の数を表す。また、移動手段ラベルｃの移動軌跡をまとめてＤ（ｃ）＝｛Ｄｉ（ｃ）｜ｉ＝１，．．．，Ｉ（ｃ）｝とする。ここで、Ｉ（ｃ）は移動手段ラベルｃの移動軌跡の数を表す。さらに全てのラベルの移動軌跡をまとめてＤ＝｛Ｄ（ｃ）｜ｃ∈Ｃ｝とする。移動手段ラベル付き移動軌跡格納部１に格納されている訓練データはＤである。フィルタリング部６では、訓練データＤの、移動手段ラベルが付与された、各時刻の座標を含む移動軌跡の各々を用いる。移動手段ラベル付き移動軌跡格納部１は、Ｗｅｂサーバや、データベースを具備するデータベースサーバ等である。
【００２６】
フィルタリング部６は、移動手段ラベル付き移動軌跡格納部１に格納された、移動手段ラベルが付与された、各時刻の座標を含む移動軌跡の各々に基づいて、移動手段ラベル毎に、移動軌跡がガウス過程に従うと仮定した場合のガウス過程に関するパラメータ及びノイズに関するパラメータを推定し、当該移動手段ラベルについて推定されたガウス過程に関するパラメータ及びノイズに関するパラメータを用いて、当該移動手段ラベルが付与された移動軌跡に対してフィルタリングを行う。以下、詳細を説明する。
【００２７】
移動手段ラベルがｃのときのｉ番目の移動軌跡Ｄｉ（ｃ）＝｛（ｔｉｊ（ｃ）），ｘｉｊ（ｃ））│ｊ＝１，…，Ｊｉ（ｃ）｝を考える。このとき、｛ｔｉｊ（ｃ）│ｊ＝１，…，Ｊｉ（ｃ）｝は、ｔｉ，ｊ＝１（ｃ）＝０なるように、時刻０からの相対時間に前処理されており、ｘｉｊ（ｃ）＝（ｕｉｊ（ｃ），ｖｉｊ（ｃ））は、ｕｉｊ（ｃ）とｖｉｊ（ｃ）とがそれぞれ独立に平均０で標準偏差１となるように正規化処理がなされているものとする。ｆ（ｃ）（ｔ）とｇ（ｃ）（ｔ）とを、ｕｉｊ（ｃ）とｖｉｊ（ｃ）とに対するノイズ無しの潜在的な関数とし、それぞれが独立にガウス過程に従うと仮定する。このとき、ｆ（ｃ）（ｔ）が従うガウス過程は、平均が０、相関関数は、以下（１）式とする。
【００２８】
【数１】
2019211984.tif 000003
・・・（１）
【００２９】
ｇ（ｃ）（ｔ）が従うガウス過程は、平均が０、相関関数は、以下（２）式とする。
【００３０】
【数２】
2019211984.tif 000004
・・・（２）
【００３１】
ここで、γｃ２及びηｃ２は時刻ｔの周りの点への相関の範囲を決めるスケールパラメータであり、αｃ２及びβｃ２は相関の大きさ（magnitude）を決める分散パラメータである。ガウス過程に関するパラメータの一例が、時刻ｔの周りの点への相関の範囲を決めるスケールパラメータγｃ２及びηｃ２、並びに相関の大きさ（magnitude）を決める分散パラメータαｃ２及びβｃ２である。
【００３２】
（１）式及び（２）式はsquared-exponential kernelと呼ばれ、空間座標におけるデータの類似度を測るために最もよく使われる相関関数の一つである。移動手段ラベルがｃのときのｉ番目の移動軌跡に含まれる時刻集合｛ｔｉｊ（ｃ）│ｊ＝１，…，Ｊｉ（ｃ）｝が与えられたとしたとき、
【００３３】
2019211984.tif 000005
【００３４】
の結合分布はＪｉ（ｃ）次元の多次元ガウス分布で表すことができ、以下（３）式のように書ける。
【００３５】
【数３】
2019211984.tif 000006
・・・（３）
【００３６】
ここで、Ｋｕ，ｉ（ｃ）はＪｉ（ｃ）×Ｊｉ（ｃ）行列であり、各要素はＫｕ，ｉ（ｃ）（ｊ，ｊ’）＝Ｋｕ（ｃ）＝（ｔｉｊ（ｃ），ｔｉｊ’（ｃ））である。同様に、移動手段ラベルがｃのときのｉ番目の移動軌跡に含まれる時刻集合｛ｔｉｊ（ｃ））│ｊ＝１，…，Ｊｉ（ｃ）｝が与えられたとしたとき、
【００３７】
2019211984.tif 000007
【００３８】
の結合分布はＪｉ（ｃ）次元の多次元ガウス分布で表すことができ、以下（４）式のように書ける。
【００３９】
【数４】
2019211984.tif 000008
・・・（４）
【００４０】
ここで、Ｋｖ，ｉ（ｃ）はＪｉ（ｃ）×Ｊｉ（ｃ）行列であり、各要素はＫｖ，ｉ（ｃ）（ｊ，ｊ’）＝Ｋｕ（ｃ）＝（ｔｉｊ（ｃ），ｔｉｊ’（ｃ））である。
【００４１】
次に、実際の観測
【００４２】
2019211984.tif 000009
【００４３】
及び
【００４４】
2019211984.tif 000010
【００４５】
はガウスノイズが加えられて得られるものと仮定すると、ｕｉ（ｃ）は条件付き確率、以下（５）式に従う。
【００４６】
【数５】
2019211984.tif 000011
・・・（５）
【００４７】
ｖｉ（ｃ）は条件付き確率、以下（６）式に従う。
【００４８】
【数６】
2019211984.tif 000012
・・・（６）
【００４９】
ここで、Ｉは単位行列である。σｃ２及びξｃ２はノイズに対する分散パラメータである。ノイズに関するパラメータの一例が、ノイズに対する分散パラメータσｃ２及びξｃ２である。（３）式及び（５）式、ならびに（４）式及び（６）式がそれぞれ共役性を持つので、ｆｉ（ｃ）及びｇｉ（ｃ）を解析的に積分消去することができるため、ｕｉ（ｃ）の周辺尤度は、以下（７）式となる。
【００５０】
【数７】
2019211984.tif 000013
・・・（７）
【００５１】
ｖｉ（ｃ）の周辺尤度は、以下（８）式となる。
【００５２】
【数８】
2019211984.tif 000014
・・・（８）
【００５３】
（７）式及び（８）式に基づき、ｕｉ（ｃ）とｖｉ（ｃ）とが移動軌跡ＩＤのｉについて独立であるとすると、周辺化対数尤度関数は、以下（９）式及び（１０）式となる。
【００５４】
【数９】
2019211984.tif 000015
・・・（９）
2019211984.tif 000016
・・・（１０）
【００５５】
（９）式を最大にするようなハイパーパラメータαｃ２，γｃ，σｃ２と（１０）式を最大にするようなハイパーパラメータβｃ２，ηｃ，ξｃ２を推定する。最適化手法は何を使ってもよいが、例えば、ＢＦＧＳ法（非特許文献３）を使って最適化問題を解くことができる。以上の処理を、各移動手段ラベルｃ∈Ｃについて行い、推定されたハイパーパラメータの集合｛αｃ２，γｃ，σｃ２，βｃ２，ηｃ，ξｃ２｜ｃ∈Ｃ｝をハイパーパラメータ格納部７に格納する。次に、推定されたハイパーパラメータを用いることによって、各移動手段ラベルに含まれる移動軌跡のフィルタリングを行う。時刻集合｛ｔｉｊ（ｃ）│ｊ＝１，…，Ｊｉ（ｃ）｝が与えられたとき、ｕｉ（ｃ）に対する予測値（フィルタリング後の値）
【００５６】
2019211984.tif 000017
【００５７】
はガウス過程の予測分布の平均値を用いて、以下（１１）式となる。
【００５８】
【数１０】
2019211984.tif 000018
・・・（１１）
【００５９】
ｕｉ（ｃ）に対する予測値（フィルタリング後の値）
【００６０】
2019211984.tif 000019
【００６１】
は以下（１２）式となる。
【００６２】
【数１１】
2019211984.tif 000020
・・・（１２）
【００６３】
上記の手順でフィルタリングされた移動軌跡を以下のように表す。まず、フィルタリング済みの座標を
【００６４】
2019211984.tif 000021
【００６５】
とする。次に、移動手段ラベルｃに含まれるｉ番目のフィルタリング済み移動軌跡を
【００６６】
2019211984.tif 000022
【００６７】
とする。さらに全てのラベルの移動軌跡をまとめ
【００６８】
2019211984.tif 000023
【００６９】
とする。
【００７０】
2019211984.tif 000024
【００７１】
をフィルタリング結果としてフィルタリング済みラベル付き移動軌跡格納部８に格納する。フィルタリング部６は以上のようにしてラベル付き移動軌跡をフィルタリングする。
【００７２】
特徴抽出部９は、移動軌跡の各々について、ラベル付き移動軌跡格納部８に格納された移動軌跡のフィルタリング結果から特徴ベクトルを抽出する。
【００７３】
2019211984.tif 000025
【００７４】
を入力データとして、各種特徴量を抽出する。用いる特徴量は、速度や方向転換角度など、どのようなものでもよい。特徴の種類について、例えば（非特許文献１）などを参考にすることができる。このとき、用いる特徴数をＭとし、移動手段ラベルｃにおけるｉ番目の移動軌跡に対するＭ次元特徴ベクトルをφｉ（ｃ）と表す。全ての特徴ベクトルをまとめて、φ＝｛φｉ（ｃ）｜ｃ∈Ｃ；ｉ＝１，．．．，Ｉ｝とし、各種特徴量格納部１０に格納する。
【００７５】
識別器学習部１１は、移動手段ラベル毎に、各種特徴量格納部１０に格納された当該移動手段ラベルが付与された移動軌跡について抽出された特徴ベクトルに基づいて、移動軌跡が移動手段ラベルのいずれであるかを識別するための識別器を学習する。
【００７６】
識別器はどのようなものを用いてもよいが、ここでは多クラスロジスティック回帰（非特許文献４）を用いる場合について記述する。多クラスロジスティック回帰では、特徴ベクトルφ（ｃ）が与えられたとしたとき、以下のように移動手段ラベルｃの事後確率を以下（１３）式とする。
【００７７】
【数１２】
2019211984.tif 000026
・・・（１３）
【００７８】
ここで、
【００７９】
2019211984.tif 000027
【００８０】
であり、ｗｃは各特徴量への重みとバイアスパラメータを含んだＭ＋１の次元のパラメータベクトルを表す。次に、目標変数ｔｉ＝（ｔｉ，１，．．．，ｔｉ，｜Ｃ｜）をｉ番目の移動軌跡が属する移動手段ラベルに対応する要素のみが１で、他がすべて０の１−ｏｆ−｜Ｃ｜表現として定義する。ここで、｜Ｃ｜は移動手段ラベルの個数を表す。全移動軌跡のラベルが与えられたとしたときの尤度関数は、以下（１４）式と表される。
【００８１】
【数１３】
2019211984.tif 000028
・・・（１４）
【００８２】
ただし、Ｔは全ての移動軌跡に対する目標変数の集合とし、Ｗ＝｛ｗｃ｜ｃ∈Ｃ｝とした。最尤推定に基づき、（１４）式の対数をとった対数尤度関数を最大にするようなＷを求める。推定された重みパラメータＷを、移動手段ラベル毎に、重みパラメータ格納部１２に格納する。
【００８３】
ハイパーパラメータ格納部７、フィルタリング済みラベル付き移動軌跡格納部８、各種特徴量格納部１０、及び、重みパラメータ格納部１２は上記の情報が保存され、復元可能なものであればどのようなものでもよい。例えば、データベースや、あらかじめ備えられた汎用的な記憶装置（メモリやハードディスク装置）の特定領域に記憶される。
【００８４】
＜本発明の実施の形態に係る予測装置の構成＞
【００８５】
次に、本発明の実施の形態に係る予測装置の構成について説明する。図２に示すように、本発明の実施の形態に係る予測装置２００は、ＣＰＵと、ＲＡＭと、後述する予測処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この予測装置２００は、機能的には図２に示すように操作部２３と、検索部４と、演算部２２０と、出力部１７とを備えている。
【００８６】
操作部２３は、移動手段ラベルなし移動軌跡格納部１のデータに対するユーザからの各種操作を受け付ける。
【００８７】
検索部４は、移動手段ラベルの予測対象とする移動軌跡のＩＤを受け付ける。検索部４で指定されたＩＤの移動軌跡に対して、予測装置２００は予測ラベルを出力する。なお、検索部４の入力手段は、キーボードやマウス、メニュー画面、タッチパネルによるもの等、なんでもよい。検索部４は、マウス等の入力手段のデバイスドライバや、メニュー画面の制御ソフトウェアで実現され得る。
【００８８】
演算部２２０は、移動手段ラベルなし移動軌跡格納部２と、フィルタリング部２６と、ハイパーパラメータ格納部２７と、フィルタリングなしラベル付き移動軌跡格納部１５と、重みパラメータ格納部２２と、予測部１６とを含んで構成されている。
【００８９】
移動手段ラベルなし移動軌跡格納部２は、移動手段ラベルを予測される対象のデータを格納しており、操作部２３からの要求にしたがって、データを読み出し、該当のデータを装置に送信する。いま、移動手段ラベルが未知の移動軌跡に含まれる観測を（ｔｉｊ＊,ｘｉｊ＊）、と表す。ラベルが未知の移動軌跡の数をＩ＊とし、ｉ番目の移動軌跡に含まれる観測の数をＪｉ＊としたとき、テストデータをＤ＊＝｛（ｔｉｊ＊，ｘｉｊ＊）｜ｉ＝１，．．．，Ｉ＊，ｊ＝１，．．．，Ｊ＊｝と表す。ここで、各移動軌跡は一つの移動手段ラベルが割り当てられることを仮定する。移動手段ラベルなし移動軌跡格納部２に格納されているテストデータはＤ＊である。移動手段ラベルなし移動軌跡格納部２は、Ｗｅｂサーバや、データベースを具備するデータベースサーバ等である。
【００９０】
ハイパーパラメータ格納部２７には、学習装置１００で学習されたガウス過程に関するパラメータ及びノイズに関するパラメータが格納されている。ガウス過程に関するパラメータは、時刻ｔの周りの点への相関の範囲を決めるスケールパラメータγｃ２及びηｃ２、並びに相関の大きさ（magnitude）を決める分散パラメータαｃ２及びβｃ２である。ノイズに関するパラメータは、ノイズに対する分散パラメータσｃ２及びξｃ２である。
【００９１】
フィルタリング部２６は、移動手段ラベルなし移動軌跡格納部２に格納された、各時刻の座標を含む移動手段が未知の移動軌跡について、移動手段ラベル毎に、ハイパーパラメータ格納部２７に格納された、当該移動手段ラベルに対するガウス過程に関するパラメータ及びノイズに関するパラメータを用いて、移動軌跡に対してフィルタリングを行う。これにより、移動手段に適したフィルタリングかどうかを加味しつつノイズ除去を行うことができる。以下、詳細を説明する。
【００９２】
ｉ番目のラベルなし移動軌跡Ｄｉ＊＝｛（ｔｉｊ＊，ｘｉｊ＊）｜ｊ＝１，．．．，Ｊｉ＊｝が与えられたとき、Ｄｉ＊のフィルタリングを行うことを考える。Ｄｉ＊が移動手段ラベルｃであると仮定したとき、ｘｉｊ＊＝（ｕｉｊ＊，ｖｉｊ＊）に対する予測値（フィルタリング後の値）を
【００９３】
2019211984.tif 000029
【００９４】
とする。
【００９５】
2019211984.tif 000030
【００９６】
はガウス過程の予測分布の平均値を用いて、以下（１５）式となる。
【００９７】
【数１４】
2019211984.tif 000031
・・・（１５）
【００９８】
また、
【００９９】
2019211984.tif 000032
【０１００】
は以下（１６）式となる。
【０１０１】
【数１５】
2019211984.tif 000033
・・・（１６）
【０１０２】
ｉ番目のラベルなし移動軌跡が移動手段ラベルｃであると仮定したときのフィルタリング済み移動軌跡を
【０１０３】
2019211984.tif 000034
【０１０４】
とする。さらに、すべての移動軌跡に同様のフィルタリングを行った結果をまとめて
【０１０５】
2019211984.tif 000035
【０１０６】
と表す。
【０１０７】
2019211984.tif 000036
【０１０８】
をフィルタリング済みラベルなし移動軌跡格納部１５に格納する。
【０１０９】
フィルタリング済みラベルなし移動軌跡格納部１５は、上記の情報が保存され、復元可能なものであればどのようなものであってもよい。例えば、データベースや、あらかじめ備えられた汎用的な記憶装置（メモリやハードディスク装置）の特定領域に記憶される。
【０１１０】
重みパラメータ格納部２２には、学習装置１００で学習された重みパラメータＷが格納されている。
【０１１１】
予測部１６は、移動手段ラベル毎に、移動軌跡に対するフィルタリング結果から特徴ベクトルを抽出し、重みパラメータ格納部２２に格納された移動手段ラベル毎に予め学習された、移動手段ラベルのいずれであるかを識別するための識別器を用いて、移動手段ラベルのいずれであるかを表す確率を計算し、計算結果に基づいて移動軌跡に対する予測ラベルを出力する。
【０１１２】
予測部１６では、フィルタリング済みラベルなし移動軌跡
【０１１３】
2019211984.tif 000037
【０１１４】
が与えられたとき、移動手段ラベル毎に、重みパラメータ格納部２２に格納されている、当該移動手段ラベルについての学習済みの重みパラメータＷを用いて識別器を構成し、識別器を用いて、各ラベルなし移動軌跡に対して当該移動手段ラベルが示す移動手段である確率を予測する。まず、
【０１１５】
2019211984.tif 000038
【０１１６】
を用いて、特徴抽出部９で行った処理と同様にして特徴量の抽出を行う。特徴抽出を行った結果得られる特徴ベクトルをφｉ＊（ｃ）とし、φｉ＊（ｃ）が与えられたとき、ｉ番目の移動軌跡の移動手段ラベルがｃである確率は、以下（１７）式と計算できる。
【０１１７】
【数１６】
2019211984.tif 000039
・・・（１７）
【０１１８】
各移動手段ラベルｃに対して（１７）式を適用し、最も確率が高いラベルを予測ラベルとして出力する。
【０１１９】
出力部１７は、予測部１６に基づき、検索部４で指定されたラベルなし移動軌跡に対する移動手段ラベルを出力する。ここで、出力とは、ディスプレイへの表示、プリンタへの印字、音出力、外部装置への送信等を含む概念である。出力部１７は、ディスプレイやスピーカ等の出力デバイスを含むと考えても含まないと考えてもよい。出力部１７は、出力デバイスのドライバソフトまたは、出力デバイスのドライバソフトと出力デバイス等で実現され得る。
【０１２０】
＜本発明の実施の形態に係る学習装置の作用＞
【０１２１】
次に、本発明の実施の形態に係る学習装置１００の作用について説明する。学習装置１００は、図３に示す学習処理ルーチンを実行する。
【０１２２】
まず、ステップＳ１００では、移動手段ラベル付き移動軌跡格納部１に格納された、移動手段ラベルが付与された、各時刻の座標を含む移動軌跡の各々に基づいて、移動手段ラベル毎に、上記（９）式及び（１０）式を用いて、移動軌跡がガウス過程に従うと仮定した場合のガウス過程に関するパラメータ及びノイズに関するパラメータを推定し、上記（１２）式を用いて、当該移動手段ラベルについて推定されたガウス過程に関するパラメータ及びノイズに関するパラメータを用いて、当該移動手段ラベルが付与された移動軌跡に対してフィルタリングを行う。
【０１２３】
次に、ステップＳ１０２では、移動軌跡の各々について、ラベル付き移動軌跡格納部８に格納された移動軌跡のフィルタリング結果から特徴ベクトルを抽出する。
【０１２４】
ステップＳ１０４では、移動手段ラベル毎に、各種特徴量格納部１０に格納された当該移動手段ラベルが付与された移動軌跡について抽出された特徴ベクトルに基づいて、上記（１４）式を用いて、移動軌跡が移動手段ラベルのいずれであるかを識別するための識別器を学習し、識別器の重みパラメータを重みパラメータ格納部１２に格納する。
【０１２５】
以上説明したように、本発明の実施の形態に係る学習装置によれば、移動手段ラベルが付与された、各時刻の座標を含む移動軌跡の各々に基づいて、移動手段ラベル毎に、ガウス過程に関するパラメータ及びノイズに関するパラメータを推定し、推定されたパラメータを用いて移動手段ラベルが付与された移動軌跡に対してフィルタリングを行い、フィルタリング結果から特徴ベクトルを抽出し、特徴ベクトルに基づいて、移動手段ラベルのいずれであるかを識別するための識別器を学習することにより、移動手段毎に適切なノイズ除去を行い、精度よく移動手段ラベルを移動軌跡に付与するための識別器を学習することができる。
【０１２６】
＜本発明の実施の形態に係る予測装置の作用＞
【０１２７】
次に、本発明の実施の形態に係る予測装置２００の作用について説明する。予測装置２００は、図４に示す予測処理ルーチンを実行する。
【０１２８】
まず、ステップＳ２００では、移動手段ラベルなし移動軌跡格納部２に格納された、各時刻の座標を含む移動手段が未知の移動軌跡について、移動手段ラベル毎に、ハイパーパラメータ格納部２７に格納された、当該移動手段ラベルに対するガウス過程に関するパラメータ及びノイズに関するパラメータを用いて、（１５）式及び（１６）式に従って、移動軌跡に対してフィルタリングを行う。
【０１２９】
次に、ステップＳ２０２では、移動手段ラベル毎に、移動軌跡に対するフィルタリング結果から特徴ベクトルを抽出し、重みパラメータ格納部２２に格納された移動手段ラベル毎に予め学習された、移動手段ラベルのいずれであるかを識別するための識別器を用いて、（１７）式に従って、移動手段ラベルのいずれであるかを表す確率を計算し、計算結果に基づいて移動軌跡に対する予測ラベルを出力する。
【０１３０】
図５に、検索部４への検索要求と出力部１７からの出力の一例を示す。図５に示すように、図５の検索部において予測対象とする移動軌跡のＩＤを受け取り、それに応じて、図２の出力部において、フィルタリングされた移動軌跡と予測された移動手段ラベルを出力として得ることができる。
【０１３１】
以上説明したように、本発明の実施の形態に係る予測装置によれば、各時刻の座標を含む移動手段が未知の移動軌跡について、移動手段ラベル毎に予め学習されたガウス過程に関するパラメータ及びノイズに関するパラメータを用いて、移動軌跡に対してフィルタリングを行い、移動手段ラベル毎に、移動軌跡に対するフィルタリング結果から特徴ベクトルを抽出し、移動手段ラベル毎に予め学習された、移動手段ラベルのいずれであるかを識別するための識別器を用いて、移動手段ラベルのいずれであるかを表す確率を計算し、計算結果に基づいて移動軌跡に対する予測ラベルを出力することにより、移動手段が未知の移動軌跡に対して、学習済みの識別器を用いて、精度よく移動手段ラベルを付与することができる。
【０１３２】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１３３】
例えば、上述した実施の形態では、学習装置と予測装置とを分ける場合を例に説明したが、これに限定されるものではなく、一体として構成するようにしてもよい。
【符号の説明】
【０１３４】
１     移動手段ラベル付き移動軌跡格納部
２     移動手段ラベルなし移動軌跡格納部
３、２３      操作部
４     検索部
６、２６      フィルタリング部
７、２７      ハイパーパラメータ格納部
８     フィルタリング済みラベル付き移動軌跡格納部
９     特徴抽出部
１０   各種特徴量格納部
１１   識別器学習部
１２、２２    重みパラメータ格納部
１５   フィルタリング済みラベルなし移動軌跡格納部
１６   予測部
１７   出力部
２０、２２０  演算部
１００ 学習装置
２００ 予測装置
【図１】
2019211984.tif 000040
【図２】
2019211984.tif 000041
【図３】
2019211984.tif 000042
【図４】
2019211984.tif 000043
【図５】
2019211984.tif 000044
【手続補正書】
【提出日】令和1年6月4日(2019.6.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項５
【補正方法】変更
【補正の内容】
【請求項５】
前記ガウス過程に関するパラメータは、前記時刻の周りの点への相関の範囲を決めるスケールパラメータ、及び前記相関の大きさを決める分散パラメータを含み、
前記ノイズに関するパラメータは、前記ノイズに対する分散パラメータを含む請求項４に記載の学習方法。