(57)【要約】【課題】利用者が行う各種操作内容を推定する携帯端末を提供する。【解決手段】携帯端末は、１つ以上のセンサより得られたセンサデータ及び／又は１つ以上の携帯端末の状態に関するデータを取得し、それぞれを、状況情報として保存する手段と、利用者の携帯端末に対する各操作内容を示すデータそれぞれを行動情報として保存する手段と、各状況情報それぞれについて、状況情報を区間に分割して相互に類似する区間を認識し、類似する区間には同一識別子を付与し、状況情報を識別子列として出力する手段と、各時刻における、識別子列それぞれの識別子と、行動情報との関係に基づき、識別子の組合せと行動情報の関係を求める手段と、取得した状況情報に対応する識別子を求め、求めた識別子と、前記識別子の組合せと行動情報の関係に基づき、利用者が携帯端末に対して行う操作内容を推定する手段とを備えている。【選択図】図１
2008204040.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上のセンサより得られたセンサデータ及び／又は１つ以上の携帯端末の状態に関するデータを取得し、それぞれを、状況情報として保存する手段と、
携帯端末に対する各操作内容を示すデータそれぞれを行動情報として保存する手段と、
各状況情報それぞれについて、状況情報を時間区間に分割して相互に類似する区間を認識し、類似する区間には同一識別子を付与し、状況情報を識別子列として出力する手段と、
各時刻における、識別子列それぞれの識別子と、行動情報との関係に基づき、識別子の組合せと行動情報の関係を求める手段と、
取得した状況情報に対応する識別子を求め、求めた識別子と、前記識別子の組合せと行動情報の関係に基づき、利用者が携帯端末に対して行う操作内容を推定する手段と、
を有する携帯端末。
【請求項２】
識別子列として出力する手段は、第１の手段から第Ｎの手段、ここで、Ｎは２以上の整数、を備えており、
第１の手段は、状況情報を第１の区間に分割して相互に類似する第１の区間を認識し、類似する第１の区間には同一の第１の識別子を付与した第１の識別子列として出力し、
第Ｋの手段、ここでＫは２以上Ｎ以下の整数、は、第Ｋ−１の識別子列を入力とし、第Ｋ−１の識別子列の第Ｋ−１の区間を結合した第Ｋの区間に対して相互に類似する第Ｋの区間を認識し、類似する第Ｋの区間には同一の第Ｋの識別子を付与した第Ｋの識別子列として出力し、
第Ｎの手段の出力が、状況情報を識別子列として出力する手段の出力である、
請求項１に記載の携帯端末。
【請求項３】
第Ｋの手段は、第Ｋ−１の区間の結合数が異なる、異なる長さの第Ｋの区間に対して、それぞれ処理を行うことで、１つの第Ｋ−１の識別子列から複数の第Ｋの識別子列を出力する、
請求項２に記載の携帯端末。
【請求項４】
前記推定する手段は、保存された行動情報に基づき行動間の関係を求め、該行動間の関係と、取得した行動情報を、利用者が携帯端末に対して行う操作内容の推定に使用する、
請求項１から３のいずれか１項に記載の携帯端末。
【請求項５】
操作内容の推定結果に応じてユーザインタフェースを変更する手段を有する請求項１から４のいずれか１項に記載の携帯端末。
【請求項６】
携帯端末を、請求項１から５のいずれか１項に記載の携帯端末として機能させるプログラム。
【請求項７】
請求項１から５のいずれか１項に記載の携帯端末とネットワークとを含むシステムにおいて、ネットワークが、携帯端末に表示させる画面を制御する方法であって、
携帯端末が、操作内容の推定結果を、ネットワークに送信するステップと、
ネットワークが、推定結果に基づき携帯端末に表示させる画面を決定するステップと、
ネットワークが、決定した画面を携帯端末に表示させるための情報を携帯端末に送信するステップと、
を備えている方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末の利用者が行う携帯端末に対する各種操作内容を推定する技術に関する。
【背景技術】
【０００２】
特許文献１には、利用者の行動を推定する携帯端末が記載されている。特許文献１によると、携帯端末は、あるセンサから得られるセンサデータの値の変化に基づき、各センサから得られるセンサデータを時間軸上で分割し、分割した各センサデータから特徴量を抽出して、特徴量と、利用者の携帯端末におけるサービス利用履歴、つまり、利用者の行動との関係を学習することで、利用者の行動を予測している。なお、センサデータの分割は、あるセンサが２値のセンサデータを出力する場合には、その値が変化する点で、アナログ値で出力する場合には、その値が閾値以上変化する点にて行うこととしている。
【０００３】
【特許文献１】特開２００６−１３４０８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来技術では、あるセンサの出力変化点にて、各センサデータの分割を行っているが、あるセンサの出力変化点において他のセンサデータを分割することの意義、つまり、あるセンサに基づき分割した他のセンサデータから抽出した特徴量が、利用者の携帯端末を通じて行う各種行動の区切りと因果関係があるか否かが不明であり、推定誤差が大きくなるという問題がある。
【０００５】
また、現在の行動は、過去の行動に起因して生じる部分があるが、従来技術ではセンサによる状況情報からユーザ行動を予測するのみであり、この点からも推定誤差が大きくなってしまう。更に、直近１区間のセンサデータからのみ行動の推定を行い、中長期的な行動の経過が考慮されていないという問題がある。
【０００６】
したがって、本発明は上記問題を解決し、利用者が行う各種操作内容をより高い精度で推定する携帯端末と、該携帯端末による操作内容の推定結果を利用し、各サービス提供のために携帯端末へ表示させる画面を制御する方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明における携帯端末によれば、
１つ以上のセンサより得られたセンサデータ及び／又は１つ以上の携帯端末の状態に関するデータを取得し、それぞれを、状況情報として保存する手段と、利用者の携帯端末に対する各操作内容を示すデータそれぞれを行動情報として保存する手段と、各状況情報それぞれについて、状況情報を時間軸上で区間に分割して相互に類似する区間を認識し、類似する区間には同一識別子を付与し、状況情報を識別子列として出力する手段と、各時刻における、識別子列それぞれの識別子と、行動情報との関係に基づき、識別子の組合せと行動情報の関係を求める手段と、取得した状況情報に対応する識別子を求め、求めた識別子と、前記識別子の組合せと行動情報の関係に基づき、利用者が携帯端末に対して行う操作内容を推定する手段とを有することを特徴とする。
【０００８】
本発明の携帯端末における他の実施形態によれば、
識別子列として出力する手段は、第１の手段から第Ｎの手段、ここで、Ｎは２以上の整数、を備えており、第１の手段は、状況情報を第１の区間に分割して相互に類似する第１の区間を認識し、類似する第１の区間には同一の第１の識別子を付与した第１の識別子列として出力し、第Ｋの手段、ここでＫは２以上Ｎ以下の整数、は、第Ｋ−１の識別子列を入力とし、第Ｋ−１の識別子列の第Ｋ−１の区間を結合した第Ｋの区間に対して相互に類似する第Ｋの区間を認識し、類似する第Ｋの区間には同一の第Ｋの識別子を付与した第Ｋの識別子列として出力し、第Ｎの手段の出力が、状況情報を識別子列として出力する手段の出力であることも好ましい。
【０００９】
また、本発明の携帯端末における他の実施形態によれば、
第Ｋの手段は、第Ｋ−１の区間の結合数が異なる、異なる長さの第Ｋの区間に対して、それぞれ処理を行うことで、１つの第Ｋ−１の識別子列から複数の第Ｋの識別子列を出力することも好ましい。
【００１０】
更に、本発明の携帯端末における他の実施形態によれば、
前記推定する手段は、保存された行動情報に基づき行動間の関係を求め、該行動間の関係と、取得した行動情報を、利用者が携帯端末に対して行う操作内容の推定に使用することも好ましい。
【００１１】
更に、本発明の携帯端末における他の実施形態によれば、
操作内容の推定結果に応じてユーザインタフェースを変更する手段を有することも好ましい。
【００１２】
本発明におけるプログラムによれば、
携帯端末を、前記携帯端末として機能させることを特徴とする。
【００１３】
本発明における方法によれば、
前記携帯端末とネットワークとを含むシステムにおいて、ネットワークが、携帯端末に表示させる画面を制御する方法であって、携帯端末が、操作内容の推定結果を、ネットワークに送信するステップと、ネットワークが、推定結果に基づき携帯端末に表示させる画面を決定するステップと、ネットワークが、決定した画面を携帯端末に表示させるための情報を携帯端末に送信するステップとを備えていることを特徴とする。
【発明の効果】
【００１４】
特定のセンサのデータにより他のセンサデータを分割するのではなく、センサデータ毎に類似性を探索するため各利用者固有の特性に対応することができる。また、第１の区間により１回目の類似性の探索を行った後、区間を結合させつつ類似性の探索を１回以上繰り返すことで、過去の経過を考慮した推定が可能になり、結合数を変化させ様々な区間に対して類似性の探索を行うことで推定精度を高めることができる。更に、状況情報から推定を行うのみならず、過去の行動履歴から行動間の因果関係を考慮して推定を行うことで、更に、推定精度を向上させることができる。
【００１５】
また、推定結果に基づきそのユーザインタフェースを変更又は再構築し、あるいは、推定結果をネットワークに送信してネットワーク側で推定結果に応じた画面を携帯端末に表示させる様にすることで、推定結果に応じたユーザインタフェース又はサービス提供が可能となる。
【発明を実施するための最良の形態】
【００１６】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。
【００１７】
図１は、本発明による携帯端末の機能ブロック図である。携帯端末は、移動通信ネットワークに接続可能な通信端末であり、図１においては、本発明の説明に必要な部分のみを示し、無線インタフェース等のその他の機能ブロックについては省略している。図１によると、携帯端末は、１つ以上のセンサ１と、端末状態取得部２と、入出力部３と、ログ収集部４と、パターン抽出部５と、行動パターン学習部６と、行動推定部７と、ユーザインタフェース制御部８と、記憶部９とを備えている。また、パターン抽出部５は、短期パターン抽出部５１と、中期パターン抽出部５２とを備えている。
【００１８】
センサ１は、現在の携帯端末が置かれている環境及び利用者の生体情報に関する各種状態を取得するためのものであり、例えば、方位センサ、加速度センサ、環境雑音計測センサ（マイクロフォン）、温度センサ、湿度センサ、照度センサ、紫外線センサ、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ：全地球測位システム）レシーバ、体温や脈拍を計測するセンサ等、又は、これらの一部を含んでいる。なお、これらセンサは携帯端末内部に携帯端末と一体として構成されている必要はなく、取得した携帯端末付近の環境に関する、或いは、利用者の生体情報に関するセンサデータを、有線又は無線により携帯端末に送信できるように構成されていれば良い。
【００１９】
端末状態取得部２は、携帯端末の状態に関する情報を取得する。携帯端末の状態に関する情報とは、携帯端末が保持している時刻、受信電波強度、電池残量、フリップ又はスライド開閉状態、充電中であるか否か、音量やマナーモード等に関する設定状態、外部記憶メディア着脱状態、イヤホン着脱状態、電源ＯＮ／ＯＦＦ状態、メール受信、着呼といった、携帯端末が取得可能な状態に関する値をいう。なお、具体的にどの状態を取得するかについては設計事項である。
【００２０】
入出力部３は、携帯端末を操作するための各種キー類、音声入力のためのマイクロフォン、音声出力のためのスピーカー、表示のためのディスプレイを含む、利用者に対する各種表示といった出力機能及び利用者からの携帯端末への各種操作のための入力機能を提供する。
【００２１】
ログ収集部４は、各センサ１が取得したセンサデータと、端末状態取得部２が取得した携帯端末の状態に関する情報それぞれに対して、必要に応じて特徴量の抽出処理及び量子化処理を行い、処理結果を状況情報として記憶部９が保持する状況情報ログに出力する。また、利用者の各種行動を入出力部３から取得し、必要に応じて特徴量の抽出処理及び量子化処理を行い、処理結果を行動情報として記憶部９が保持する行動情報ログに出力する。ここで、入出力部３から取得する利用者の各種行動とは、発呼、通話、メール送信、音楽ダウンロード等の各種オンラインサービスの利用、電卓等のアプリケーションの利用、ウェブページの閲覧、受信メール閲覧、着呼に対する応答等、利用者が携帯端末に対して行う各種操作内容をいう。
【００２２】
特徴量の抽出処理は、処理対象であるデータごとに異なるものであるが、例えば、加速度や環境雑音等、値が連続量となるデータに対しては、バンドパスフィルタによる前処理を行った後、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ：高速フーリエ変換）によりパワースペクトラムを求めてこれを特徴量とすることができる。また、位置情報に対しては、ベクトル量子化等によりクラスタリングを行ったり、地図を一定サイズの格子状に区切りその番地に識別子をつけたりする方法を使用することができる。なお、特徴量の抽出処理及び量子化処理は、取得したローデータのデータ量を削減し、その後の処理を簡略化するために行うものであり、携帯端末のフリップ開閉状態の様に、離散的な値で取得されるデータに対しては、特徴量の抽出処理及び量子化処理を行わず、取得したローデータをそのまま状況情報又は行動情報としても良い。もちろん、離散的な値で取得されるデータに対しても特徴量の抽出処理及び量子化処理を適用してデータ量を削減することは可能である。
【００２３】
パターン抽出部５は、本実施形態においては、短期パターン抽出部５１と、中期パターン抽出部５２の２段階の構成であり、状況情報ログから読み込んだ各状況情報を、時間的区間に分割して相互に類似する区間を認識し、類似する区間には同一ラベルを付与して、状況情報をラベル列として出力する。なお、ラベルとは、区間を認識する為の識別子を意味し、区間を識別する為に使用するものであれば、例えば、インデックス値といった、他の表現であっても、本実施形態におけるラベルに含まれるものである。以下に、詳細を説明する。
【００２４】
図２は、短期パターン抽出部５１による処理を説明する図である。まず状況情報ログから読み込んだ状況情報を、以下では短期区間と呼ぶある一定の時間間隔に分割する。図２（ａ）に示す様に、本例においては、＃１から＃ＭのＭ個の短期区間に分割している。続いて、＃１から＃Ｍの全短期区間から生成された一つのモデルデータに対する各短期区間のデータの出力確率を計算し、出力確率が閾値未満の短期区間が存在するか否かを判定する。出力確率が閾値未満である短期区間が存在する場合には、出力確率が閾値以上である短期区間のみを選択して、選択した短期区間からモデルデータを生成し、生成したモデルデータに対する選択した各短期区間のデータの出力確率を計算して閾値と比較することを、閾値未満のものが存在しなくなるまで繰り返す。閾値未満のものが存在しなくなった時点におけるモデルデータにモデルデータを特定する中間ラベルを付与し、閾値未満のものが存在しなくなった時点で選択されていた短期区間を処理済短期区間とする。図２（ｂ）に示す様に、本例においては、＃１と＃４を含む短期区間が選択されて、モデルデータには、中間ラベル“ア”が付与されている。
【００２５】
続いて、全短期区間から上記処理で処理済短期区間となった＃１と＃４を含む短期区間を除いた区間に対して、上記処理と同じ処理を行う。図２（ｃ）に示す様に、２回目の処理においては、＃２と＃７を含む短期区間が選択され、モデルデータには、中間ラベル“イ”が付与されている。
【００２６】
更に、各回の処理での処理済短期区間を除きつつ、モデルデータを生成することを、全短期区間が処理済短期区間となるまで繰り返す。図２（ｄ）及び（ｅ）に示す様に、本例においては、３回目の処理で＃３と＃５を含む短期区間が、４回目の処理で＃６と＃Ｍを含む短期区間が選択され、モデルデータには、それぞれ、中間ラベル“ウ”、“エ”が付与されている。
【００２７】
続いて、各短期区間に対して、モデルデータとの類似度を求め、類似度が所定の閾値以上であるモデルデータを選択する。図２（ｆ）に示す様に、本例においては、短期区間＃１には“ア”と“イ”が、短期区間＃２及び＃Ｍには“イ”と“エ”が、短期区間＃３及び＃４には“ア”と“ウ”が、短期区間＃５及び＃７には“イ”と“ウ”が、短期区間＃６には“ア”と“エ”が、それぞれ、類似するモデルデータとして選択されている。なお、図２においては、各短期区間に対し、いずれも類似するモデルデータが２つ選択されているが、これは例示であり、それぞれの短期区間に対して選択されるモデルデータの数は短期区間データと閾値に依存する。
【００２８】
最後に各短期区間に類似するとして選択されたモデルデータの組合せに対してその組合せを示す短期ラベルを付与する。図２（ｇ）に示す様に、本例においては、モデルデータ＃ア及び＃イの組合せには“α”、＃イ及び＃エの組合せには“β”、 ＃ア及び＃ウの組合せには”γ“、＃イ及び＃ウの組合せには“ε”、＃ア及び＃エの組合せには“ζ”が、短期ラベルとして付与されている。なお、出現回数の少ない組合せについては、パターン無しを示す短期ラベルを付与しデータを省略することができる。
【００２９】
短期パターン抽出部５１は、生成したモデルデータと、短期ラベルが示すモデルデータの組合せと、図２（ｇ）に示す様な、状況情報を短期ラベルで表現した短期ラベル列とを記憶部９が保存する短期パターンＤＢに格納する。
【００３０】
なお、短期パターン抽出部５１は、状況情報を短期区間に分割し、各短期区間の類似性を判定して相互に類似する短期区間には同一の短期ラベルを付与して出力すれば良く、上述した処理方法に限定されるものではない。
【００３１】
続いて、中期パターン抽出部５２は、短期パターンＤＢが保持する各短期ラベル列を読み込み、短期区間を結合した中期区間での類似性に基づき、短期パターン抽出部５１での処理と同じ処理を行う。好ましくは、中期パターン抽出部５２においては、短期区間の様々な結合数で得られる、様々な中期区間に対して類似性の認識処理を行うことにより、例えば、１つのセンサから得られる１つの短期ラベル列より複数の中期ラベル列を生成する。図３においては、センサ＃１から得られる１つの短期ラベル列に対し、３系統の中期ラベル列を生成している。中期パターン抽出部５２は、短期パターン抽出部５と同様、生成したモデルデータと、中期ラベルが示すモデルデータの組合せと、短期ラベル列を中期ラベルで表現した中期ラベル列を、記憶部９が保存する中期パターンＤＢに格納する。なお、１つの短期ラベル列から生成する中期ラベル列数は、短期ラベル列ごとに同一である必要はない。
【００３２】
なお、中期パターン抽出部５２は、中期区間の類似性を判定して、相互に類似する中期区間には同一の中期ラベルを付与して出力すれば良く、上述した処理方法に限定されるものではない。更に、中期ラベル列の中期区間を更に結合して類似性の認識処理を行う等、３段以上の構成を使用することもできる。
【００３３】
行動パターン学習部６は、中期パターンＤＢの中期ラベル列と、行動情報ログを読み込み、中期ラベルの組合せと、そのときの行動情報の内容との関係をモデル化して求める。モデル化には、ベイジアンネットワークを用いることができるが、これに限定されるものではない。
【００３４】
図３は、行動パターン学習部６が行う処理を説明する図である。ここでは、センサ＃１、＃２及び＃３の３つのセンサが搭載され、それぞれのセンサから３系統の中期ラベル例が生成されて中期パターンＤＢに格納されているものとする。行動パターン学習部６は、中期パターンＤＢに格納されている中期ラベル列と行動情報ログを読み込み、各時刻における中期ラベルの組合せと、そのときの行動情報の内容を調べる。例えば、図３の点線で示す時刻においては、中期ラベル“Ａ２２”、“Ｂ２３”、“Ｃ１２”及び“Ｃ３１”の組合せに対して、行動＃２が対応している。行動パターン学習部６は、各時刻における中期ラベルの組合せと行動情報が示す内容との対応関係を調べ、中期ラベルの組合せから、各行動の出現確率を求めるモデル及びパラメータを算出し、結果を記憶部９が保存する行動パターンＤＢに格納する。
【００３５】
行動推定部７は、現在又は直近の各状況情報を取得して、取得した各状況情報に対応する中期ラベルをそれぞれ求め、求めた中期ラベルと、行動パターンＤＢに格納されているモデル及びパラメータに基づき、携帯端末利用者が、これから携帯端末を利用して行う行動、具体的には携帯端末に対して行う操作内容を推定する。好ましい実施形態によると、行動推定部７は、行動情報ログから過去の行動情報の時間的な因果関係を解析して、行動パターンＤＢに格納されているモデル及びパラメータに基づく行動推定結果を修正する。これは、電話をかけたところ、相手が応答しなかったため、その相手にメールを送信するといった様に、ある行動の発生原因が過去の行動や、その結果に依存する場合があるためであり、例えば、行動パターンＤＢに格納されているモデル及びパラメータから、行動＃１を行う確率が５０％と算出されたとしても、過去の行動履歴から行動＃１を行う可能性が高いと推定できる場合には、最終推定結果を５０％より高い値に修正する。
【００３６】
ユーザインタフェース制御部８は、行動推定部７による操作内容の推定結果に基づき、例えば、メニューの階層構造の再構築といった、利用者へのユーザインタフェースの変更制御を行う。
【００３７】
更に、携帯端末は、推定結果をネットワーク上の所定のサーバに送信し、ネットワーク上のサーバは、推定結果に基づき携帯端末に表示させる画面を決定して、決定した画面を携帯端末に表示させるための情報を携帯端末に送信する。これにより、行動に即した情報の提供やサービスの提示を行うことが可能になる。なお、行動パターンＤＢに格納されている学習済モデルをネットワーク上の所定のサーバに送信しネットワーク側で様々なサービスに利用しても良い。
【００３８】
以上、本発明によれば、特定のセンサにより他のセンサデータを分割するのではなく、センサデータ毎にその類似性を探索するため、各利用者固有の特性に対応することができる。更に、短期ラベル列の短期区間を様々な長さで結合した中期区間により類似性の探索を行い、行動の推定に使用するため従来技術より推定の精度が向上する。また、状況情報から行動を推定するのみならず、過去の行動履歴から行動間の因果関係を考慮して推定を行うことで、更に、精度を向上させることができる。なお、本発明は、行動パターンを数学的なモデルとして保存するため、保存したデータから各利用者の行動履歴を直接把握することはできず、プライバシの保護の観点からも好ましいものである。
【００３９】
なお、本発明は、コンピュータ又はプロセッサを有する携帯端末に読み込まれ、該コンピュータ又は携帯端末を、上記携帯端末として機能をさせるプログラムにより実現することができるものである。更に、本発明は、ハードウェアのみや、ソフトウェアのみならず、それらの組合せによっても実現可能である。
【図面の簡単な説明】
【００４０】
【図１】本発明による携帯端末の機能ブロック図である。
【図２】短期パターン抽出部によるパターン抽出処理を説明する図である。
【図３】行動パターン学習部が行う処理を説明する図である。
【符号の説明】
【００４１】
１  センサ
２  端末状態取得部
３  入出力部
４  ログ収集部
５  パターン抽出部
５１  短期パターン抽出部
６１  中期パターン抽出部
６  行動パターン学習部
７  行動推定部
８  ユーザインタフェース制御部
９  記憶部
【図１】
2008204040.tif 000003
【図２】
2008204040.tif 000004
【図３】
2008204040.tif 000005