(57)【特許請求の範囲】
【請求項１】
時間的に状態が変化するポインティングデバイスにおいて、次にクリックされる位置を予測する状態予測装置であって、
前記ポインティングデバイスによってクリックされた位置周辺の画像特徴が記憶された画像特徴記憶手段と、
前記ポインティングデバイスのカーソルの移動追跡を行った結果得られる過去の移動軌跡の履歴情報を記憶する履歴情報記憶手段と、
前記ポインティングデバイスの現在のカーソルが置かれている画面の画像を取得する環境情報取得手段と、
前記ポインティングデバイスの前記カーソルの位置と移動軌跡を取得する状態取得手段と、
前記画像特徴記憶手段に記憶された前記画像特徴と、前記画面の画像を複数に分割したブロックにおける画像特徴のそれぞれとを比較し、各ブロックについて過去に類似した画像特徴のブロックにおいてクリックされた回数をカウントし、ブロック毎のクリック回数の総和で割ることでブロック毎にクリックされる確率を求めることにより、環境情報に基づく状態予測を行う環境情報による予測手段と、
前記履歴情報記憶手段に記憶されている前記履歴情報を参照し、前記ポインティングデバイスの前記カーソルの軌跡類似性に基づいて、軌跡類似性に基づく状態予測を行う軌跡類似性による予測手段と、
前記環境情報による予測手段において予測された前記環境情報に基づく状態予測結果と、前記軌跡類似性による予測手段において予測された前記軌跡類似性に基づく状態予測結果とを統合して、前記ポインティングデバイスにおいて、次にクリックされる位置を予測する予測統合手段と
を備えたことを特徴とする状態予測装置。
【請求項２】
時間的に状態が変化するポインティングデバイスにおいて、次にクリックされる位置を予測するために、前記ポインティングデバイスによってクリックされた位置周辺の画像特徴が記憶された画像特徴記憶手段と、前記ポインティングデバイスのカーソルの移動追跡を行った結果得られる過去の移動軌跡の履歴情報を記憶する履歴情報記憶手段と、前記ポインティングデバイスの現在のカーソルが置かれている画面の画像を取得する環境情報取得手段と、前記ポインティングデバイスの前記カーソルの位置と移動軌跡を取得する状態取得手段と、環境情報による予測手段と、軌跡類似性による予測手段と、予測統合手段とを備える状態予測装置が行う状態予測方法であって、
前記環境情報による予測手段が、前記画像特徴記憶手段に記憶された前記画像特徴と、前記画面の画像を複数に分割したブロックにおける画像特徴のそれぞれとを比較し、各ブロックについて過去に類似した画像特徴のブロックにおいてクリックされた回数をカウントし、ブロック毎のクリック回数の総和で割ることでブロック毎にクリックされる確率を求めることにより、環境情報に基づく状態予測を行う環境情報による予測ステップと、
前記軌跡類似性による予測手段が、前記履歴情報記憶手段に記憶されている前記履歴情報を参照し、前記ポインティングデバイスの前記カーソルの軌跡類似性に基づいて、軌跡類似性に基づく状態予測を行う軌跡類似性による予測ステップと、
前記予測統合手段が、前記環境情報による予測手段において予測された前記環境情報に基づく状態予測結果と、前記軌跡類似性による予測手段において予測された前記軌跡類似性に基づく状態予測結果とを統合して、前記ポインティングデバイスにおいて、次にクリックされる位置を予測する予測統合ステップと
を有することを特徴とする状態予測方法。
【請求項３】
コンピュータを、請求項１に記載の状態予測装置として機能させるための状態予測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、状態予測装置、状態予測方法および状態予測プログラムに関する。
【背景技術】
【０００２】
時間的に変化する将来の状態を、現在までの状態から予測することは様々な場面で必要とされる。例えば、天気の予測では現在までの気象状況から将来の天気を予測する。また、パーティクルフィルタと呼ばれる技術では、（１）現時刻までの状態を用いて次の時刻における状態の事前確率分布を予測し、（２）推定された事前確率分布と、次時刻における実際の状況とを比較することで、事後確率分布を求める、という２つの処理を繰り返すことで、動的に変化する状態を逐次的に推定する。パーティクルフィルタにおける第１ステップも将来状態の予測である。
【０００３】
将来状態の予測には、しばしば履歴に基づいた方法が採用される。履歴に基づいて将来の状態を予測する例としてメモリベースパーティクルフィルタが提案されている（例えば、特許文献１、２参照）。非特許文献１、２は、類似の状態が繰り返し発生することに着目し、過去の状態が将来の時刻において発生する確率分布を、時間軸上に定義し（時間的再現確率：ＴＲＰ）、この時間的再現確率に従った過去の時刻からのランダムサンプリングによって、これから起きる状態を予測するものである。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Dan MIKAMI, Kazuhiro OTSUKA, Junji YAMATO: Memory-based Particle Filter for Face Pose Tracking Robust under Complex Dynamics, pp.999-1006, Proc. IEEE CVPR, 2009.
【非特許文献２】三上弾、大塚和弘、大和淳司、頑健な顔姿勢追跡のための状態履歴の記憶に基づくパーティクルフィルタ、ＭＩＲＵ２００９  ＯＳ３−１
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、非特許文献１に記載されている過去の状態が繰り返し起こるという仮定は、環境が不変の場合には良く当てはまるが、環境が変化する場合には必ずしも適切とは言えない。以下で、マウスカーソルの動きを予測する例を用いて説明する。
【０００６】
パソコン等において、メーラと開発ツールとブラウザが立ち上がった状態で、アプリケーションを開発中の状況を想定する（図１１参照）。このような環境における操作としては、開発中に不明な点をブラウザを使用してＷｅｂで調べたり、タスクバー上で新着メールの通知を受け（図１２参照）、その通知アイコンをクリックすることでメールの内容を表示したり、タスクバー上で開発ツールを選択することで再び開発ツールに戻ったりなどがある。
【０００７】
このような場合、マウスカーソルは、タスクバー上のブラウザアイコン、タスクバー上の新着メール通知アイコン、タスクバー上の開発ツールアイコン、ブラウザの検索クエリ入力位置などへの移動を繰り返すことが想像され、非特許文献１を用いた将来におけるマウスカーソル位置の高精度な予測が期待できる。
【０００８】
しかしながら、マウスカーソルを動かす目的が変わらない場合でも、ウィンドウの配置の変更などによって、例えば、図１３に示すように配置を変えた場合などのように、デスクトップ内の環境が変化すると、その影響を受け繰り返しの状況も変化する。図１１および図１２の状況で蓄積された過去のマウスカーソル位置系列は、図１３の環境での将来の状態の予測としては適切とは言えず、環境（上記の例では、ウィンドウ配置）が変化すると、過去に蓄積した履歴を用いた事前確率分布の推定が効果的でなくなるという問題がある。
【０００９】
本発明は、このような事情に鑑みてなされたもので、過去の履歴と、履歴蓄積時の環境と現在の環境を考慮に入れて将来の状態を予測することができる状態予測装置、状態予測方法および状態予測プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、時間的に状態が変化する対象について、次に起こる状態を予測する状態予測装置であって、前記対象に対して状態追跡を行った結果得られる過去の前記対象の状態の履歴情報を記憶する履歴情報記憶手段と、現在の前記対象が置かれている環境の情報を収集する環境情報収集手段と、前記環境情報に基づいて、前記対象の状態予測を行う環境情報による予測手段と、前記履歴情報記憶手段に記憶されている前記対象の状態の履歴情報を参照し、前記対象の軌跡類似性に基づいて、前記対象の状態予測を行う軌跡類似性による予測手段と、前記環境情報による予測手段において予測された前記対象の予測状態と、前記軌跡類似性による予測手段において予測された前記対象の予測状態とを統合して、前記対象において、次に起こる状態を予測する予測統合手段とを備えたことを特徴とする。
【００１１】
本発明は、時間的に状態が変化する対象について、次に起こる状態を予測するために、前記対象に対して状態追跡を行った結果得られる過去の前記対象の状態の履歴情報を記憶する履歴情報記憶手段と、環境情報収集手段と、環境情報による予測手段と、軌跡類似性による予測手段と、予測統合手段とを備える状態予測装置における状態予測方法であって、前記環境情報収集手段が、現在の前記対象が置かれている環境の情報を収集する環境情報収集ステップと、前記環境情報による予測手段が、前記環境情報に基づいて、前記対象の状態予測を行う環境情報による予測ステップと、前記軌跡類似性による予測手段が、前記履歴情報記憶手段に記憶されている前記対象の状態の履歴情報を参照し、前記対象の軌跡類似性に基づいて、前記対象の状態予測を行う軌跡類似性による予測ステップと、前記予測統合手段が、前記環境情報による予測ステップにおいて予測された前記対象の予測状態と、前記軌跡類似性による予測ステップにおいて予測された前記対象の予測状態とを統合して、前記対象において、次に起こる状態を予測する予測統合ステップとを有することを特徴とする。
【００１２】
本発明は、時間的に状態が変化する対象について、次に起こる状態を予測するために、前記対象に対して状態追跡を行った結果得られる過去の前記対象の状態の履歴情報を記憶する履歴情報記憶手段を備える状態予測装置上のコンピュータに状態予測を行わせる状態予測プログラムであって、現在の前記対象が置かれている環境の情報を収集する環境情報収集ステップと、前記環境情報に基づいて、前記対象の状態予測を行う環境情報による予測ステップと、前記履歴情報記憶手段に記憶されている前記対象の状態の履歴情報を参照し、前記対象の軌跡類似性に基づいて、前記対象の状態予測を行う軌跡類似性による予測ステップと、前記環境情報による予測ステップにおいて予測された前記対象の予測状態と、前記軌跡類似性による予測ステップにおいて予測された前記対象の予測状態とを統合して、前記対象において、次に起こる状態を予測する予測統合ステップとを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、環境が変化する場合でも環境変化に応じた将来状態予測が可能になるという効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】図１に示す装置の動作を示すフローチャートである。
【図３】本発明の第２の実施形態の構成を示すブロック図である。
【図４】図３に示す装置の動作を示すフローチャートである。
【図５】取得されるデスクトップ画像の一例を示す説明図である。
【図６】実際にマウスがクリックされた位置周辺の画像を取得した例を示す説明図である。
【図７】環境情報によるクリックされる確率を求めた例を示す説明図である。
【図８】軌跡類似性に基づく予測の結果例を示す説明図である。
【図９】予測結果Ｐｃ（ｘ）をプロットした例を示す説明図である。
【図１０】予測結果Ｐｃ（ｘ）をプロットした例を示す説明図である。
【図１１】コンピュータの操作画面の一例を示す説明図である。
【図１２】コンピュータの操作画面の一例を示す説明図である。
【図１３】コンピュータの操作画面の一例を示す説明図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明の第１の実施形態による状態予測装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、滞留性に基づいて将来の状態の予測を行う滞留性による予測部である。符号２は、現在の環境情報を収集する環境情報収集部である。符号３は、環境情報に基づいて状態予測を行う環境情報による予測部である。符号４は、軌跡類似性に基づいて状態予測を行う軌跡類似性による予測部である。符号５は、滞留性による予測と軌跡類似性による予測と環境情報による予測を統合する予測統合部である。符号６は、過去の履歴を蓄積するために記憶装置で構成する履歴蓄積部である。なお、滞留性による予測部１は必ずしも備えている必要はない。図１に示す状態予測装置は、コンピュータ装置で構成する。
【００１６】
次に、図２を参照して、図１に示す状態予測装置が状態予測を行う動作を説明する。まず、滞留性による予測部１は、滞留性に基づいて予測を行う（ステップＳ１）。滞留性に基づく予測の際には、履歴蓄積部６に蓄積された履歴情報を用い、過去の履歴が滞留性に基づいて再び現れる確率に基づいて予測を行う。滞留性による予測は、非特許文献２等に記載されている従来の技術によって行うため、ここでは詳細な説明を省略する。
【００１７】
次に、環境情報による予測部３は、環境情報収集部２が収集した環境情報に基づき予測を行う（ステップＳ２）。前述のマウスがクリックされる位置を予測する例では、現在のデスクトップ画像を取得し、過去にクリックされた位置における画像特徴を用いて、現在の環境においてクリックされる可能性の高い位置を求める。
【００１８】
次に、軌跡類似性による予測部４は、軌跡類似性に基づいて予測を行う（ステップＳ３）。軌跡類似性に基づく予測は、履歴蓄積部６に蓄積された過去の履歴情報を用い、現在の状態と類似した過去の状態に続く状態は再び現れる確率が高いという仮定の下に予測を行う。軌跡類似性に基づく予測は、非特許文献２等に記載されている従来の技術によって行うため、ここでは詳細な説明を省略する。
【００１９】
次に、予測統合部５は、滞留性による予測、環境情報に基づく予測及び軌跡類似性に基づく予測の予測結果を統合して、統合状態予測結果情報を出力する（ステップＳ４）。
【００２０】
次に、本発明の第２の実施形態による状態予測装置を説明する。第２の実施形態による状態予測装置は、マウスがクリックされる位置の予測を行うものである。図３は、マウスがクリックされる位置の予測を行う際の状態予測装置の構成を示すブロック図である。図３において、符号１１は、マウスクリック画像特徴蓄積部であり記憶装置で構成する。符号２１は、マウスの状態情報を取得するマウス状態取得部である。符号３１は、マウスが操作されている環境の環境情報に基づく状態予測を行う環境情報による予測部である。符号４１は、マウス状態取得部２１において取得したマウスの状態からマウスカーソルの移動軌跡を求め、この移動軌跡の類似性に基づく状態予測を行う軌跡類似性による予測部である。符号５１は、環境情報による状態予測結果と軌跡類似性による状態予測結果を統合して、統合状態予測結果情報を出力する予測統合部である。符号６１は、マウスの操作履歴情報が蓄積されているマウス履歴蓄積部である。
【００２１】
次に、図４を参照して、図３に示す状態予測装置によりマウスがクリックされる位置を予測する処理動作を説明する。まず、マウス状態取得部２１は、現在のマウスカーソルの状態を取得する（ステップＳ１１）。これは、スクリーン上でのカーソル位置および直近のカーソル位置の変化の情報であり、マウス入力イベントを検知することによって取得することが可能である。
【００２２】
次に、環境情報による予測部３１は、環境情報に基づいた予測を行う（ステップＳ１２）。環境情報に基づいた予測は、以下のように行う。まず、環境情報による予測部３１は、デスクトップ画像をキャプチャすることにより、デスクトップ画像を取得する（ステップＳ１２１）。取得されるデスクトップ画像例を図５に示す。
【００２３】
次に、環境情報による予測部３１は、取得したデスクトップ画像をＮピクセル×Ｍピクセルのブロックに分割する（ステップＳ１２２）。Ｎ、Ｍはあらかじめ定められた定数である。そして、環境情報による予測部３１は、各ブロックについて特徴量を算出する（ステップＳ１２３）。特徴量を求める方法は、公知の方法を用いることができる。例えば、ブロック内の色ヒストグラム、エッジヒストグラム、それらの混合などを用いる。
【００２４】
次に、環境情報による予測部３１は、マウスクリック画像特徴蓄積部１１に蓄積されているマウスがクリックされた場所における画像特徴と、各ブロックにおける画像特徴とを比較し、各ブロックについて、過去に類似した特徴のブロックでクリックされた回数をカウントする（ステップＳ１２４）。図６に実際にマウスがクリックされた位置周辺の画像を取得した例を示す。続いて、環境情報による予測部３１は、ブロック毎のクリック回数の総和で割ることで、ブロック毎に環境に基づいてクリックされる確率を求める（ステップＳ１２５）。この結果が、環境情報に基づく状態予測結果となる。図７に、図５に示す画像に対して、図６に示す様なクリックの例があった場合に、環境情報によるクリックされる確率を求めた例を示す。
【００２５】
次に、軌跡類似性による予測部４１は、現在のマウスの状態と過去の移動軌跡に基づいて、クリックされる位置の予測を行う（ステップＳ１３）。これは非特許文献２に記載された公知の技術と同様であり、類似した動きが繰り返されることを仮定する。その仮定の下、まず、現在の軌跡と類似した過去の履歴を検索する。そして検索された履歴の時間発展を用いて、これからの時間発展を予測する。ただし、時間発展とは、時間の経過に伴う、対象の変化のことを指す。
【００２６】
具体的には、以下の処理動作によって行う。まず、軌跡類似性による予測部４１は、現在の軌跡と類似した軌跡をマウス履歴蓄積部６１から検索する（ステップＳ１３１）。続いて、軌跡類似性による予測部４１は、検索された履歴に続くマウスの履歴で、クリックされるまでの位置のヒストグラムを求め（ステップＳ１３２）、求めたヒストグラムの正規化を行い、その結果を軌跡類似性に基づく予測とする（ステップＳ１３３）。図８に、軌跡類似性に基づく予測の結果例を示す。
【００２７】
次に、予測統合部５１は、環境情報による予測部３１において得られた環境情報に基づいた予測結果Ｐｅ（ｘ）と、軌跡類似性による予測部４１において得られた軌跡類似性に基づく予測結果Ｐｔ（ｘ）を統合した予測結果Ｐｃ（ｘ）＝Ｐｅ（ｘ）・Ｐｔ（ｘ）を出力する（ステップＳ１４）。
【００２８】
図９および図１０に予測結果Ｐｃ（ｘ）をプロットした例を示す。図９、図１０において、Ｐｅ（ｘ）は環境情報に基づいて得られたマウス位置ｘ＝（ｘ，ｙ）においてマウスがクリックされる確率を表し、Ｐｔ（ｘ）は、軌跡類似性に基づいて得られたマウス位置ｘにおいてマウスがクリックされる確率を表す。Ｐｃ（ｘ）は、統合されたマウス位置ｘにおいてマウスがクリックされる確率を表す。図９と図１０では、マウスは同じ動きをしており、軌跡類似性に基づく予測Ｐｔ（ｘ）は同じ分布を示している。しかし、環境、すなわちウィンドウの配置が変化しており、環境に基づく予測Ｐｅ（ｘ）は異なる分布を示しているため、Ｐｃ（ｘ）は異なる結果となる。このように、予測を統合したＰｃ（ｘ）を利用することにより、環境変化に応じた将来状態の予測を行うことができる。
【００２９】
なお、前述した実施例では、マウスを例にして本発明による状態予測装置を説明したが、時間的に状態が変化する対象で、その対象の状態をセンサでなどで取得できるものであれば、画像上の物体以外にも応用することができる。
【００３０】
また、図１、３における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより状態予測処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３１】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００３２】
時間的に変化する将来の状態を、現在までの状態から予測することが不可欠な用途に適用できる。
【符号の説明】
【００３３】
１・・・滞留性による予測部、２・・・環境情報収集部、３・・・環境情報による予測部、４・・・軌跡類似性による予測部、５・・・予測統合部、６・・・履歴蓄積部、１１・・・マウスクリック画像特徴蓄積部、２１・・・マウス状態取得部、３１・・・環境情報による予測部、４１・・・軌跡類似性による予測部、５１・・・予測統合部、６１・・・マウス履歴蓄積部
【図１】
0005580669.tif 000002
【図２】
0005580669.tif 000003
【図３】
0005580669.tif 000004
【図４】
0005580669.tif 000005
【図５】
0005580669.tif 000006
【図６】
0005580669.tif 000007
【図７】
0005580669.tif 000008
【図８】
0005580669.tif 000009
【図９】
0005580669.tif 000010
【図１０】
0005580669.tif 000011
【図１１】
0005580669.tif 000012
【図１２】
0005580669.tif 000013
【図１３】
0005580669.tif 000014