(57)【特許請求の範囲】
【請求項１】
画像を表示する表示部と、
前記表示部の画面に表示された画面データを取得する取得部と、
前記画面データの特徴を示す特徴情報を生成する情報生成部と、
前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、
前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、
前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、
を有する画面遷移特定装置。
【請求項２】
携帯端末の画面に表示された画面データの特徴を示す特徴情報を取得する取得部と、
前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、
前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、
前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、
を有する画面遷移特定装置。
【請求項３】
前記記憶部に記憶された前記時刻情報に基づく順番に、前記特徴情報と一致又は類似する前記基準特徴情報に対応する基準画面データを含む画面データを出力する出力部をさらに有する、
請求項１又は２に記載の画面遷移特定装置。
【請求項４】
前記出力部は、前記特徴情報と一致又は類似する前記基準特徴情報に対応する前記基準画面データを出力した後に、前記基準画面データに類似する前記特徴情報に対応する類似画面データを出力する、
請求項３に記載の画面遷移特定装置。
【請求項５】
前記判定部は、前記特徴情報の一部と、前記一以上の基準特徴情報のいずれかの一部とが一致する場合に、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定する、
請求項１から４のいずれか１項に記載の画面遷移特定装置。
【請求項６】
前記判定部は、透明画素により構成される透明領域と、透明画素以外の画素により構成される非透明領域とを含む前記基準特徴情報と、前記特徴情報とを比較することにより、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する、
請求項５に記載の画面遷移特定装置。
【請求項７】
前記判定部は、前記画面データを複数の分割領域に分割し、前記複数の分割領域それぞれの輝度又は色度の平均値を所定の閾値と比較することにより生成されたハッシュ情報を含む前記特徴情報が、前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する、
請求項１又は２に記載の画面遷移特定装置。
【請求項８】
携帯端末の表示部の画面に表示された画面データを取得するステップと、
前記画面データの特徴を示す特徴情報を生成するステップと、
前記特徴情報が、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定するステップと、
前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて記憶部に記憶させるステップと、
を有する画面遷移特定方法。
【請求項９】
携帯端末の表示部の画面に表示された画面データの特徴を示す特徴情報を取得するステップと、
前記特徴情報が、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す基準特徴情報と一致又は類似するか否かを判定するステップと、
前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて記憶部に記憶させるステップと、
を有する画面遷移特定方法。
【請求項１０】
画面データを表示する画面を有する端末と、前記端末に表示された前記画面データの遷移状態を特定する画面遷移特定装置と、を備え、
前記端末は、
前記画面に表示された画面データを取得する取得部と、
前記画面データの特徴を示す特徴情報を生成する情報生成部と、
前記特徴情報を、当該特徴情報に関連付けられた時刻情報とともに前記画面遷移特定装置に送信する送信部と、
を有し、
前記画面遷移特定装置は、
前記特徴情報を取得する取得部と、
前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、
前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、
前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、
を有する画面遷移特定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末に表示された画面の遷移状態を特定する画面遷移特定装置、画面遷移特定システム及び画面遷移特定方法に関する。
【背景技術】
【０００２】
従来、他の端末に表示されている動画の内容を再現する方法が知られている。特許文献１においては、他の端末に表示されている動画に含まれる画像フレームの番号、及び他の端末における操作内容を示す操作コードを含むログ情報を取得し、取得したログ情報に基づいて動画の内容を再現する方法が記載されている。また、特許文献２においては、携帯電話機における操作画面の履歴情報に基づいて、操作画面を特定する方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２４７５６３号公報
【特許文献２】特開２０１１−１７５４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
スマートフォン及びタブレット等の端末で実行されるアプリケーションの仕様を改善したり、アプリケーションの使用方法をユーザにアドバイスしたりするために、端末に表示されている画面の遷移状態を把握する必要性が高まっている。しかしながら、従来のようにログ情報又は履歴情報に基づいて画面の状態を把握できるようにするためには、端末のアプリケーションを設計する時点で、ログ情報又は履歴情報を生成する機能を実装しておく必要があった。したがって、アプリケーションの設計工数が増加してしまうという問題があった。また、ログ情報又は履歴情報を生成する機能が実装されていないアプリケーションにより表示される画面の状態を把握することは困難であり、他の端末に表示された内容を特定できる画面の種類が、限定的であるという問題もあった。
【０００５】
そこで、本発明はこれらの点に鑑みてなされたものであり、端末の画面に画像を表示するアプリケーションに追加機能を実装することなく、画面の遷移状態を特定するための画面遷移特定装置、画面遷移特定システム及び画面遷移特定方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様においては、画像を表示する表示部と、前記表示部の画面に表示された画面データを取得する取得部と、前記画面データの特徴を示す特徴情報を生成する情報生成部と、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、を有する画面遷移特定装置を提供する。
【０００７】
本発明の第２の態様においては、携帯端末の画面に表示された画面データの特徴を示す特徴情報を取得する取得部と、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、を有する画面遷移特定装置を提供する。
【０００８】
前記記憶部に記憶された前記時刻情報に基づく順番に、前記特徴情報と一致又は類似する前記基準特徴情報に対応する基準画面データを含む画面データを出力する出力部をさらに有してもよい。
【０００９】
前記出力部は、前記特徴情報と一致又は類似する前記基準特徴情報に対応する前記基準画面データを出力した後に、前記基準画面データに類似する前記特徴情報に対応する類似画面データを出力してもよい。
【００１０】
前記判定部は、前記特徴情報の一部と、前記一以上の基準特徴情報のいずれかの一部とが一致する場合に、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定してもよい。
【００１１】
前記判定部は、透明画素により構成される透明領域と、透明画素以外の画素により構成される非透明領域とを含む前記基準特徴情報と、前記特徴情報とを比較することにより、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定してもよい。
【００１２】
前記判定部は、前記画面データを複数の分割領域に分割し、前記複数の分割領域それぞれの輝度又は色度の平均値を所定の閾値と比較することにより生成されたハッシュ情報を含む前記特徴情報が、前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定してもよい。
【００１３】
本発明の第３の態様においては、携帯端末の表示部の画面に表示された画面データを取得するステップと、前記画面データの特徴を示す特徴情報を生成するステップと、前記特徴情報が、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定するステップと、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて記憶部に記憶させるステップと、を有する画面遷移特定方法を提供する。
【００１４】
本発明の第４の態様においては、携帯端末の表示部の画面に表示された画面データの特徴を示す特徴情報を取得するステップと、前記特徴情報が、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す基準特徴情報と一致又は類似するか否かを判定するステップと、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて記憶部に記憶させるステップと、を有する画面遷移特定方法を提供する。
【００１５】
本発明の第５の態様においては、画面データを表示する画面を有する端末と、前記端末に表示された前記画面データの遷移状態を特定する画面遷移特定装置と、を備え、前記端末は、前記画面に表示された画面データを取得する取得部と、前記画面データの特徴を示す特徴情報を生成する情報生成部と、前記特徴情報を、当該特徴情報に関連付けられた時刻情報とともに前記画面遷移特定装置に送信する送信部と、を有し、前記画面遷移特定装置は、前記特徴情報を取得する取得部と、前記画面に表示される一以上の前記画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する記憶部と、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似するか否かを判定する判定部と、前記判定部が、前記特徴情報が前記一以上の基準特徴情報のいずれかと一致又は類似すると判定した場合に、前記特徴情報に関連付けられた時刻情報を、前記特徴情報と一致又は類似する前記基準特徴情報を識別する識別情報に関連付けて前記記憶部に記憶させる記憶制御部と、を有する画面遷移特定システムを提供する。
【発明の効果】
【００１６】
本発明によれば、端末の画面に画像を表示するアプリケーションに追加機能を実装することなく、画面の遷移状態を特定することができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】本実施形態に係る画面遷移特定システムＳの概要を説明するための図である。
【図２】携帯端末１Ａの構成を示す図である。
【図３】画面遷移特定装置２の構成を示す図である。
【図４】トラッキング用画像Ｔを示す図である。
【図５】取得画像Ｓの一例を示す図である。
【図６】携帯端末１Ａ及び画面遷移特定装置２における処理の流れを示すフローチャートである。
【図７】複数の分割領域の例を示す図である。
【図８】携帯端末１Ａ及び画面遷移特定装置２における処理の流れを示すフローチャートである。
【図９】第３の実施形態に係る携帯端末１Ｂの構成を示す図である。
【発明を実施するための形態】
【００１８】
＜第１の実施形態＞
［第１の実施形態の概要］
図１は、本実施形態に係る画面遷移特定システムＳの概要を説明するための図である。画面遷移特定システムＳは、携帯端末１Ａと、画面遷移特定装置２とを備える。
携帯端末１Ａは、スマートフォン及びタブレットのように、テキスト及び画像を表示することができるディスプレイを有する端末である。図１に示す携帯端末１Ａは、無線通信回線を介して携帯電話網の基地局Ｎ１に接続され、インターネット等のネットワークＮ２を介して画面遷移特定装置２と通信することができる。携帯端末１Ａは、無線端末に限られず、有線ケーブルを介してネットワークＮ２に接続されるコンピュータ又は家電機器等であってもよい。
【００１９】
画面遷移特定装置２は、ネットワークＮ２に接続されているサーバである。画面遷移特定装置２は、携帯端末１Ａから受信した情報に基づいて、携帯端末１Ａに表示されている画面の遷移状態を特定する。画面遷移特定装置２は、特定した画面の遷移状態に基づいて、携帯端末１Ａに対して適切な情報を提供したり、携帯端末１Ａのユーザがアプリケーションソフトウェア（以下、アプリケーションという）をどのように使用しているかに関する情報を収集したりすることができる。
【００２０】
携帯端末１Ａ及び画面遷移特定装置２が以下のように動作することにより、画面遷移特定装置２において、携帯端末１Ａに表示された画面の遷移状態を特定することができる。
まず、携帯端末１Ａは、実行中のアプリケーションの種別を特定し、特定した種別に基づいて、画面の内容を特定する一連の処理を実行するか否かを決定する（図１における（１））。携帯端末１Ａは、画面の内容を特定する処理を実行すると決定した場合、表示した画面の内容の特徴を示す情報である特徴情報を生成し、生成した特徴情報を画面遷移特定装置２に送信する（図１における（２））。特徴情報は、画面の特徴に基づいて生成された情報であり、例えば、画面データ自体に比べて容量が小さいデータである。
【００２１】
携帯端末１Ａにおいては、画面を表示している第１のアプリケーションと異なる第２のアプリケーションが、第１のアプリケーションが表示している画面の内容を解析して特徴情報を生成する。このようにすることで、既存のアプリケーションを改造することなく、携帯端末１Ａが特徴情報を生成することができる。
【００２２】
携帯端末１Ａが送信した特徴情報は、所定のタイミング（例えば、５秒間隔）で、基地局Ｎ１及びネットワークＮ２を介して画面遷移特定装置２へと送られる（図１における（３））。画面遷移特定装置２は、受信した一以上の特徴情報それぞれと、予め作成しておいた、携帯端末１Ａにおいて表示され得る画面の種類に関連付けられた一以上の基準特徴情報とを比較し、受信した一以上の特徴情報それぞれが、一以上の基準特徴情報のいずれかに一致又は類似するか否かを判定する。
【００２３】
画面遷移特定装置２は、特徴情報が一以上の基準特徴情報のいずれかに一致又は類似すると判定した場合、基準特徴情報に対応する基準画面データと、受信した特徴情報に対応する時刻情報とを関連付けて、記憶部に記憶する。その後、画面遷移特定装置２は、記憶部に記憶された基準画面データを、時刻情報に基づくタイミングで読み出すことにより、携帯端末１Ａにおける画面遷移を再現することができる（図１における（４））。
【００２４】
［携帯端末１Ａ及び画面遷移特定装置２の構成］
以下、携帯端末１Ａ及び画面遷移特定装置２の構成及び動作について詳細に説明する。
図２は、携帯端末１Ａの構成を示す図である。携帯端末１Ａは、操作部１１と、通信部１２と、表示部１３と、記憶部１４と、制御部１５とを有する。
【００２５】
操作部１１は、ユーザが操作を入力するためのデバイスであり、例えば、タッチパネルである。通信部１２は、基地局Ｎ１と通信するための無線ユニットである。表示部１３は、画面を表示するディスプレイである。
【００２６】
記憶部１４は、ＲＯＭ及びＲＡＭを含んでいる。ＲＯＭは、制御部１５が実行するプログラムを記憶している。ＲＯＭは、例えば、メール用のアプリケーション、ゲーム用のアプリケーション等の各種の第１のアプリケーションと、特徴情報を生成するための第２のアプリケーションとを記憶している。ＲＡＭは、制御部１５が各種の処理を実行する際のワークメモリとして使用される。
【００２７】
制御部１５は、例えばＣＰＵを含んでいる。制御部１５は、記憶部１４に記憶されたプログラムを実行することにより、取得部１５１、情報生成部１５２及び表示制御部１５３として機能する。
【００２８】
取得部１５１は、表示部１３の画面に表示された画面データを取得する。取得部１５１は、例えば、携帯端末１ＡのＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）を介して、携帯端末１Ａに表示されている画面を定期的にキャプチャすることにより、画面データを取得する。取得部１５１は、画面データの取得に先立ち、携帯端末１において実行されているアプリケーション（第１のアプリケーション）を特定する。取得部１５１は、特定したアプリケーションが、記憶部１４に記憶されている、画面ログ情報を取得する対象として予め登録されているアプリケーション一覧に含まれているか否かを判定する。取得部１５１は、特定したアプリケーションが、アプリケーション一覧に登録されている場合、画面データを取得することに決定する。
【００２９】
情報生成部１５２は、画面データの特徴に対応する特徴情報を生成する。例えば、情報生成部１５２は、画面データを圧縮したり、間引きしたりすることにより特徴情報を生成する。情報生成部１５２は、画面データ自体を特徴情報としてもよい。情報生成部１５２は、通信部１２を介して、特徴情報を画面遷移特定装置２に送信する。この際、情報生成部１５２は、特徴情報に関連付けられた時刻情報も画面遷移特定装置２に送信する。時刻情報は、例えば、特徴情報に対応する画面データがキャプチャされた時刻、又は特徴情報が生成された時刻を示す情報である。
【００３０】
表示制御部１５３は、各種のデータを表示部１３に表示させる。表示制御部１５３は、例えば、第１のアプリケーションが生成した画面データを表示部１３に表示させる。また、表示制御部１５３は、画面遷移特定装置２から受信した表示情報を、第２のアプリケーションを用いて表示部１３に表示させる。
【００３１】
図３は、画面遷移特定装置２の構成を示す図である。画面遷移特定装置２は、通信部２１と、記憶部２２と、制御部２３とを有する。通信部２１は、携帯端末１Ａから特徴情報を取得する取得部として機能する。以下の説明では、特徴情報に基づいて再現可能な画像を取得画像Ｓと称する。
【００３２】
記憶部２２は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶媒体である。記憶部２２は、ＲＯＭ又はハードディスクに、制御部２３が実行するプログラムを記憶している。また、記憶部２２は、携帯端末１Ａの画面に表示される可能性がある一以上の画面データの少なくとも一部の画面データと同一又は類似の一以上の基準特徴情報としての基準画面データを記憶している。基準画面データは、例えば、携帯端末１Ａに表示された画面と同一又は類似の画像の候補となる画像（以下、「トラッキング用画像Ｔ」という）である。
【００３３】
図４は、トラッキング用画像Ｔを示す図である。図４（ａ）は、送信メールを作成する画面のトラッキング用画像Ｔ１であり、符号ｔが示す斜線の領域は、透明画素により構成されている。図４（ｂ）は、受信メールを表示する画面のトラッキング用画像Ｔ２である。記憶部２２は、このようなトラッキング用画像Ｔを、種類が異なる画面ごとに記憶している。
【００３４】
制御部２３は、記憶部２２に記憶されたプログラムを実行することにより、判定部２３１、記憶制御部２３２及び出力部２３３として機能する。
判定部２３１は、通信部２１が携帯端末１Ａから受信した特徴情報に対応する取得画像Ｓが、記憶部２２に記憶されている一以上のトラッキング用画像Ｔのいずれかと一致又は類似するか否かを判定する。判定部２３１は、透明画素により構成される透明領域と、透明画素以外の画素により構成される非透明領域とを含むトラッキング用画像Ｔと、取得画像Ｓとを比較することにより、取得画像Ｓが一以上のトラッキング用画像Ｔのいずれかと一致又は類似するか否かを判定する。判定部２３１は、例えば、取得画像Ｓに対して各トラッキング用画像Ｔを重ね合せて合成画像を生成し、生成した合成画像が、取得画像Ｓと一致するかどうかを判定する。
【００３５】
図５は、取得画像Ｓの一例を示す図である。この場合、判定部２３１は、以下のように動作する。
スクリーンキャプチャーをした取得画像Ｓの各画素をＳ［ｘ、ｙ］、トラッキング用画像Ｔの各画素をＴ［ｘ、ｙ］、合成画像Ｃの各画素をＣ［ｘ、ｙ］とする。ここで、ｘ、ｙは、画素の座標位置を示す整数である。このとき、合成画像Ｃの各画素は以下のようになる。
Ｃ［ｘ、ｙ］＝Ｓ［ｘ、ｙ］（ｉｆ  Ｔ［ｘ、ｙ］＝透明画素値）
Ｃ［ｘ、ｙ］＝Ｔ［ｘ、ｙ］（ｉｆ  Ｔ［ｘ、ｙ］≠透明画素値）
【００３６】
Ｃ［ｘ、ｙ］＝Ｓ［ｘ、ｙ］が全ての画素値で成り立つ場合は、Ｔ［ｘ、ｙ］≠透明画素値となる全ての画素［ｘ、ｙ］において、Ｔ［ｘ、ｙ］＝Ｓ［ｘ、ｙ］が満たされるので、判定部２３１は、取得画像Ｓがトラッキング用画像Ｔと一致する画面であると判定できる。全画素のうち不一致の画素［ｘ、ｙ］の割合が所定値以下の場合、判定部２３１は、取得画像Ｓがトラッキング用画像Ｔに類似する画面であると判定する。
【００３７】
判定部２３１は、例えば、図５に示す取得画像Ｓと図４（ａ）に示すトラッキング用画像Ｔ１とを合成して合成画像Ｃ１を生成し、取得画像Ｓと図４（ｂ）に示すトラッキング用画像Ｔ２とを合成して合成画像Ｃ２を生成する。この場合、合成画像Ｃ１は、取得画像Ｓと一致する。他方、合成画像Ｃ２は、取得画像Ｓと一致しない。したがって、判定部２３１は、取得画像Ｓが、トラッキング用画像Ｔ１と一致又は類似すると判定する。なお、判定部２３１は、取得画像Ｓの一部と、トラッキング用画像Ｔの一部とが一致する場合に、取得画像Ｓが、一以上のトラッキング用画像Ｔのいずれかと一致すると判定してもよい。
【００３８】
記憶制御部２３２は、判定部２３１が、記憶部２２に記憶された一以上のトラッキング用画像Ｔのいずれかに取得画像Ｓが一致又は類似すると判定した場合に、取得画像Ｓに関連付けられた時刻情報を、一致又は類似するトラッキング用画像Ｔを識別するＩＤに関連付けて記憶部２２に記憶させる。記憶制御部２３２は、例えば、判定部２３１が取得画像Ｓに一致又は類似すると判定したトラッキング用画像Ｔが変化したことを条件として、変化した後のトラッキング用画像Ｔを時刻情報に関連付けて記憶部２２に記憶させる。
【００３９】
出力部２３３は、記憶部２２に記憶された時刻情報に基づく順番に、トラッキング用画像Ｔに対応する基準画面データを含む画面データを出力する。出力部２３３は、通信部２１を介して接続されたコンピュータに、時刻情報に対応する時刻において画面データを出力する。出力部２３３は、例えば、画面Ａ→Ｂ→Ａ→Ｃ→・・・と遷移させて画面データを出力する。このようにすることで、コンピュータには、携帯端末１Ａにおいて表示された画面遷移の状態が再現される。
【００４０】
出力部２３３は、時刻情報に基づいて、一以上のトラッキング用画像ＴのＩＤに対応する一以上のトラッキング用画像Ｔを並べることにより、携帯端末１Ａにおける画面遷移を再現する。例えば、記憶制御部２３２は、時刻ｔから時刻ｔ＋ａの間、ＩＤがＩＤ１のトラッキング用画像Ｔのログがあった場合、（ＩＤ１，ｔ，ｔ＋ａ）という形式で時系列情報を生成し、生成した時系列情報を記憶部２２に記憶させる。そして、出力部２３３は、記憶部２２に記憶された時系列情報に基づいて、トラッキング用画像Ｔが、携帯端末１Ａで表示された画像と同じタイミングで表示される動画として画面遷移パターンを再現する。
【００４１】
出力部２３３は、例えば、画面遷移パターンを再現する際に、取得画像Ｓと一致又は類似する基準特徴画像としてのトラッキング用画像Ｔを出力した後に、トラッキング用画像Ｔに類似する特徴情報に対応する類似画面データの画像を出力してもよい。例えば、出力部２３３は、図４（ａ）に示す送信メール作成画面のトラッキング用画像Ｔを出力した後に、携帯端末１Ａから、携帯端末１Ａのユーザが入力したメール本文に対応する画像、又はメール本文を加工した画像を受信し、受信した画像をトラッキング用画像Ｔに重畳した画像を出力する。
【００４２】
出力部２３３は、多数の携帯端末１Ａから送信される、同一のアプリケーションの画面遷移パターンの平均値又は分散等の統計値を算出し、算出した統計値を出力してもよい。また、出力部２３３は、特定の画面Ａにおける滞在時間の平均値、画面Ａから画面Ｂへの遷移割合を出力してもよい。出力部２３３は、例えば、画面遷移の内容及び統計値を表示したり、他のコンピュータに送信したりする。画面遷移特定装置２が、特徴情報に基づいて携帯端末１Ａの画面遷移パターンを特定することで、携帯端末１Ａに画面を表示するアプリケーションの設計者が、ユーザがどのようにアプリケーションを使用しているかを把握し、アプリケーションを改良する際に役立つ。
【００４３】
なお、出力部２３３は、特定した画面遷移パターンに基づいて、携帯端末１Ａに表示させる表示情報を携帯端末１Ａに送信してもよい。例えば、出力部２３３は、一以上のトラッキング用画像Ｔの間の遷移パターンに関連付けて記憶部２２に記憶された表示情報を、画面遷移のタイミングに同期して携帯端末１Ａに送信してもよい。このようにすることで、携帯端末１Ａは、画面遷移時にユーザに通知すべき情報を表示することができる。
【００４４】
［携帯端末１Ａ及び画面遷移特定装置２における処理の流れ］
図６は、携帯端末１Ａ及び画面遷移特定装置２における処理の流れを示すフローチャートである。図６に示す処理は、主に携帯端末１Ａにおける制御部１５及び画面遷移特定装置２における制御部２３によって行われる。
【００４５】
まず、制御部１５は、表示部１３に画面を表示している第１のアプリケーションが、画面データを取得する対象のアプリケーションであるか否かを判定する（Ｓ１１）。制御部１５は、表示部１３に画面を表示している第１のアプリケーションが、画面データを取得する対象のアプリケーションでないと判定した場合（Ｓ１１においてＮＯ）、画面データを取得する対象のアプリケーションが実行中になるまでＳ１１の処理を繰り返す。制御部１５は、表示部１３に画面を表示している第１のアプリケーションが、画面データを取得する対象のアプリケーションであると判定した場合（Ｓ１１においてＹＥＳ）、Ｓ１２に処理を進める。
【００４６】
Ｓ１２において、制御部１５は、表示部１３に表示されている画面データを取得する（Ｓ１２）。続いて、制御部１５は、画面データに基づいて、特徴情報を生成する（Ｓ１３）。制御部１５は、時刻情報に関連付けて、生成した特徴情報を画面遷移特定装置２に送信する（Ｓ１４）。
【００４７】
画面遷移特定装置２において、制御部２３は、特徴情報を受信すると（Ｓ２１）、受信した特徴情報に対応する取得画像Ｓが、一以上のトラッキング用画像Ｔのいずれかと一致又は類似するか否かを判定する（Ｓ２２）。そして、制御部２３は、取得画像Ｓが、一以上のトラッキング用画像Ｔのいずれかと一致又は類似すると判定した場合、一致又は類似すると判定したトラッキング用画像Ｔと時刻情報とを関連付けて記憶部２２に記憶させる（Ｓ２３）。その後、制御部２３は、例えばユーザからの出力指示に応じて、時刻情報に対応する順番に、トラッキング用画像Ｔを出力することにより、携帯端末１における画面遷移を再現した動画を出力する（Ｓ２４）。
【００４８】
［第１の実施形態における効果］
以上説明したように、本実施形態においては、携帯端末１Ａが、表示している画面データの特徴を示す特徴情報を生成し、特徴情報を時刻情報に関連付けて、画面遷移特定装置２に送信する。画面遷移特定装置２は、受信した特徴情報に一致又は類似する基準特徴情報があるか否かを判定し、一致又は類似する基準特徴情報があった場合、基準特徴情報に対応する基準画面データと時刻情報とを関連付けて記憶部２２に記憶させる。そして、出力部２３３が、時刻情報に基づく順番に基準画面データを出力することにより、携帯端末１Ａにおける画面遷移を再現する。このようにすることで、画面遷移特定システムＳにおいては、携帯端末１Ａの画面に画像を表示するアプリケーションに追加機能を実装することなく、画面の遷移状態を特定することができる。また、キャプチャした画面データの特徴を示す特徴情報を用いることにより、画面データ自体を用いる場合に比べて、データの保存領域、及び通信量を削減することが可能になる。
【００４９】
＜第２の実施形態＞
第１の実施形態においては、判定部２３１は、携帯端末１Ａに表示された画面データが、透明画素を含む一以上のトラッキング用画像Ｔのいずれかに一致又は類似するか否かを判定することにより、携帯端末１Ａにおける画面遷移を特定した。第２の実施形態においては、携帯端末１Ａが、画面データの特徴を示す端末ハッシュ情報を特徴情報として生成し、判定部２３１が、予め記憶部２２に記憶した基準ハッシュ情報と端末ハッシュ情報とを比較することにより、画面遷移を特定する。
以下、ハッシュ情報を用いる場合の携帯端末１Ａ及び画面遷移特定装置２における動作について説明する。
【００５０】
携帯端末１Ａにおいて、情報生成部１５２は、画面データを複数の分割領域に分割する。情報生成部１５２は、例えば、携帯端末１Ａの機種名に基づいて、各分割領域のサイズ及び位置を決定する。情報生成部１５２は、画面を表示している第１のアプリケーションの種別に応じて、各分割領域のサイズ及び位置を決定してもよい。
【００５１】
図７は、複数の分割領域の例を示す図である。図７（ａ）においては、表示部１３が、８×１３＝１０４個の分割領域に分けられている。分割領域は、（行番号、列番号）により表される座標により特定することができる。例えば、左上の分割領域の座標は（１，１）、右上の分割領域の座標は（１，８）、左下の分割領域の座標は（１３，１）、右下の分割領域の座標は（１３，８）である。
【００５２】
情報生成部１５２は、例えば、複数の分割領域それぞれの輝度又は色度の平均値を所定の閾値と比較することにより量子化して得られる量子化値を含む端末ハッシュ情報（Ａｖｅｒａｇｅ  Ｈａｓｈ）を生成する。情報生成部１５２は、例えば、表示されている画面全体の画面データに含まれる画素の輝度又は色度の平均値を上記の所定の閾値として用いることができる。
【００５３】
情報生成部１５２は、複数の分割領域のそれぞれに含まれる全ての画素の輝度又は色度を平均することにより、平均値を算出する。そして、情報生成部１５２は、算出した平均値が所定の閾値以上である場合に、対応する分割領域における量子化値を「１」とし、算出した平均値が所定の閾値より小さい場合に、量子化値を「０」とする。情報生成部１５２は、全ての分割領域に対応する量子化値を算出し、全ての分割領域の量子化値を所定の順序で並べることにより、表示されている画面データの端末ハッシュ情報を生成する。なお、情報生成部１５２は、離散コサイン変換処理により低周波成分を抽出し、低周波成分の有無により量子化値を生成することにより端末ハッシュ情報（ｐＨａｓｈ）を生成してもよい。
【００５４】
図７（ｂ）は、図４（ａ）に示したメール送信画面に対応する量子化値を示している。図７（ｂ）における黒い分割領域は、分割領域における輝度の平均値が所定値よりも小さい領域であり、白い分割領域は、分割領域における輝度の平均値が所定値以上の領域である。情報生成部１５２は、図７（ｂ）に示す例において、座標（１，１）、座標（１，２）・・・座標（１，８）、座標（２，１）・・・座標（１３，８）の順番に量子化値を並べることにより、「１１１１１１１１００００００００００１１１１１１００１１１１１１・・・・１１１１１１１１０１０００１０００１０００１００」という、分割領域の数に等しいビット数の端末ハッシュ情報を生成する。
【００５５】
続いて、画面遷移特定装置２における動作について説明する。
判定部２３１は、例えば、受信した端末ハッシュ情報と、記憶部２２に記憶されている一以上の基準ハッシュ情報それぞれとの間のハミング距離を算出することにより、端末ハッシュ情報が基準ハッシュ情報と一致又は類似するか否かを判定する。具体的には、判定部２３１は、端末ハッシュ情報のあるビットと基準ハッシュ情報の対応するビットとが一致している場合、ビット間距離を０とし、端末ハッシュ情報のあるビットが０で、基準ハッシュ情報の対応するビットが１の場合に、ビット間距離を１とし、端末ハッシュ情報のあるビットが１で、基準ハッシュ情報の対応するビットが０の場合に、ビット間距離を‐１とする。判定部２３１は、全てのビット間距離を加算することにより、端末ハッシュ情報と基準ハッシュ情報との間のハミング距離を算出する。
【００５６】
判定部２３１は、例えばｋ−ｍｅａｎｓ法を用いて、通信部２１が受信した端末ハッシュ情報が、ハミング距離が最も小さい基準ハッシュ情報に類似していると判定する。判定部２３１は、携帯端末１Ａから受信した一以上の端末ハッシュ情報のそれぞれとの間のハミング距離が最も小さい基準ハッシュ情報を特定することにより、一以上の端末ハッシュ情報のそれぞれが、どのクラスタに属するかを特定する。判定部２３１は、端末ハッシュ情報との間のハミング距離が同一の基準ハッシュ情報が複数ある場合、端末ハッシュ情報に含まれる所定の位置のデータと、基準ハッシュ情報に含まれる所定の位置のデータとの間のハミング距離が最も小さい基準ハッシュ情報に対応する基準画面データに、携帯端末１Ａに表示されている画面が類似すると判定してもよい。
【００５７】
記憶制御部２３２は、判定部２３１が、記憶部２２に記憶された一以上の基準ハッシュ情報のいずれかに端末ハッシュ情報が一致又は類似すると判定した場合に、端末ハッシュ情報に関連付けられた時刻情報を、一致又は類似する基準ハッシュ情報を識別する識別情報に関連付けて記憶部２２に記憶させる。記憶制御部２３２は、例えば、判定部２３１が端末ハッシュ情報に一致又は類似すると判定した基準ハッシュ情報が変化したことを条件として、変化した後の基準ハッシュ情報を時刻情報に関連付けて記憶部２２に記憶させる。
【００５８】
［携帯端末１Ａ及び画面遷移特定装置２における処理の流れ］
図８は、携帯端末１Ａ及び画面遷移特定装置２における処理の流れを示すフローチャートである。図８に示す処理は、主に携帯端末１Ａにおける制御部１５及び画面遷移特定装置２における制御部２３によって行われる。図８においては、制御部１５がアプリケーションの種別を特定した後の処理を示している。
【００５９】
まず、制御部１５は、表示部１３に表示されている画面データを取得する（Ｓ３１）。続いて、制御部１５は、画面データを所定の分割領域に分割し（Ｓ３２）、分割領域ごとに、輝度の平均値を算出する（Ｓ３３）。続いて、制御部１５は、輝度の平均値を閾値と比較することにより、分割領域ごとに量子化値を算出し（Ｓ３４）、算出した量子化値を並べることにより、端末ハッシュ情報を生成する（Ｓ３５）。そして、制御部１５は、生成した端末ハッシュ情報を、端末ハッシュ情報を生成した時刻又は画面データが表示された時刻を示す時刻情報に関連付けて、通信部１２を介して画面遷移特定装置２に送信する（Ｓ３６）。
【００６０】
画面遷移特定装置２においては、制御部２３は、端末ハッシュ情報を受信すると（Ｓ４１）、受信した端末ハッシュ情報と一以上の基準ハッシュ情報とを比較する（Ｓ４２）。そして、制御部２３は、端末ハッシュ情報と一以上の基準ハッシュ情報それぞれとの間のハミング距離を算出し、ハミング距離が所定の値よりも小さい基準ハッシュ情報に対応する基準画面データを特定する（Ｓ４３）。続いて、制御部２３は、特定した基準画面データと、対応する時刻情報とを関連付けて記憶部２２に記憶させる（Ｓ４４）。その後、制御部２３は、例えばユーザからの出力指示に応じて、時刻情報に対応する順番に、基準画面データを出力する（Ｓ４５）。
【００６１】
［第２の実施形態における効果］
以上説明したように、第２の実施形態においては、特徴情報としてハッシュ情報を使用するので、特徴情報のデータ量を小さくすることができる。したがって、携帯端末１は、通信回線に大きな負荷をかけることなく、高い頻度で特徴情報を画面遷移特定装置２に送信することができるので、画面遷移特定装置２は、画面が頻繁に変化する場合においても、画面遷移を高い精度で特定することができる。
【００６２】
＜第３の実施形態＞
第１の実施形態においては、携帯端末１Ａにおける画面遷移を、通信回線を介して携帯端末１Ａに接続された画面遷移特定装置２において特定した。これに対して、第２の実施形態においては、制御部１５が、携帯端末１Ｂにインストールされた第１のアプリケーションを実行することにより表示した画面遷移パターンを、携帯端末１Ｂにインストールされた第２のアプリケーションを実行することにより特定し、特定した画面遷移パターンをサーバ（不図示）に出力するという点で、第１の実施形態と異なる。
【００６３】
図９は、第３の実施形態に係る携帯端末１Ｂの構成を示す図である。携帯端末１Ｂは、操作部１１と、通信部１２と、表示部１３と、記憶部１４と、制御部１５とを有する。制御部１５は、記憶部１４に記憶された第１のアプリケーションを実行している間に、記憶部１４に記憶された第２のアプリケーションを実行することにより、取得部１５１、情報生成部１５２、表示制御部１５３、判定部１５４、記憶制御部１５５及び出力部１５６として機能する。
【００６４】
判定部１５４、記憶制御部１５５及び出力部１５６は、第１の実施形態における画面遷移特定装置２が有する判定部２３１、記憶制御部２３２及び出力部２５３に対応し、判定部２３１、記憶制御部２３２及び出力部２５３とほぼ同一の機能を有する。
【００６５】
記憶部１４は、制御部１５が第１のアプリケーションを実行することによって画面に表示する一以上の画面データと同一又は類似の一以上の基準画面データの特徴を示す一以上の基準特徴情報を記憶する。記憶部１４が記憶している基準特徴情報は、第１の実施形態における記憶部２２に記憶されていた基準特徴情報と同等の情報であり、例えばトラッキング用画像Ｔである。
【００６６】
以下、判定部１５４、記憶制御部１５５及び出力部１５６の各部が、判定部２３１、記憶制御部２３２及び出力部２５３と異なる点を中心に説明する。なお、本実施形態においては、情報生成部１５２が生成した特徴情報に対応する画像を、取得画像Ｓと称する。
【００６７】
判定部１５４は、取得画像Ｓが、記憶部１４に記憶されている一以上のトラッキング用画像Ｔのいずれかと一致又は類似するか否かを判定する。記憶制御部１５５は、判定部１５４が、取得画像Ｓが一以上のトラッキング用画像Ｔのいずれかと一致又は類似すると判定した場合に、取得画像Ｓに関連付けられた時刻情報を、一致又は類似するトラッキング用画像ＴのＩＤに関連付けて記憶部１４に記憶させる。記憶制御部１５５は、例えば、取得画像Ｓに対応する画面データが表示された時刻を、トラッキング用画像Ｔに関連付けて記憶部１４に記憶させる。
【００６８】
出力部１５６は、記憶部１４に記憶された基準画面データを出力する。出力部１５６は、例えば、トラッキング用画像ＴのＩＤと時刻情報とを関連付けて、画面遷移を解析するためのサーバに送信する。この際、出力部１５６は、携帯端末１ＢのユーザのユーザＩＤ又は端末ＩＤを一緒に送信することが好ましい。
【００６９】
サーバにおいては、記憶部２２が、トラッキング用画像ＴのＩＤに関連付けて、トラッキング用画像Ｔを記憶している。サーバは、第１の実施形態と同様に、時刻情報に基づいて、一以上のトラッキング用画像ＴのＩＤに対応する一以上のトラッキング用画像Ｔを並べることにより、携帯端末１Ｂにおける画面遷移を再現する。例えば、サーバは、時刻ｔから時刻ｔ＋ａの間、あるトラッキング用画像Ｔに関連付けられたＩＤのログがあった場合、（ＩＤ，ｔ，ｔ＋ａ）という形式で時系列情報を生成し、一以上のトラッキング用画像Ｔが、携帯端末１Ｂで表示された画像と同じタイミングで順次表示される動画として画面遷移パターンを再現する。
【００７０】
なお、出力部１５６は、時刻情報に基づく順番に、トラッキング用画像ＴのＩＤをサーバに送信してもよく、時刻情報に関係ない順番に、トラッキング用画像ＴのＩＤをサーバに送信してもよい。また、出力部１５６は、表示制御部１５３を介して、時刻情報に基づく順番に、トラッキング用画像Ｔに対応する画面データを表示部１３に表示させてもよい。
【００７１】
［第３の実施形態における効果］
以上説明したように、第２の実施形態における携帯端末１Ｂにおいては、制御部１５が、第１のアプリケーションを実行して表示部１３に画面データを表示している間に、第２のアプリケーションを実行することにより、表示部１３に表示された画面データをキャプチャし、キャプチャした画面データの特徴を示す取得画像Ｓが、一以上のトラッキング用画像Ｔのいずれかと一致又は類似するか否かを判定する。そして、制御部１５は、取得画像Ｓに関連付けられた時刻情報と、取得情報Ｓと一致又は類似するトラッキング用画像ＴのＩＤとを関連付けて、画面遷移を解析するサーバに送信する。
【００７２】
このようにすることで、携帯端末１Ｂにおいては、制御部１５が、第１のアプリケーションを実行することによって表示部１３に表示した画面遷移を特定するための情報を、第２のアプリケーションを実行することにより生成し、サーバに送信できる。したがって、携帯端末１Ｂによれば、携帯端末１Ｂの画面に画像を表示するためのアプリケーションに追加機能を実装することなく、携帯端末１Ｂ又はサーバにおいて画面の遷移状態を特定することが可能になるという効果を奏する。
【００７３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【符号の説明】
【００７４】
１  携帯端末
２  画面遷移特定装置
１１  操作部
１２  通信部
１３  表示部
１４  記憶部
１５  制御部
２１  通信部
２２  記憶部
２３  制御部
１５１  取得部
１５２  情報生成部
１５３  表示制御部
１５４  判定部
１５５  記憶制御部
１５６  出力部
２３１  判定部
２３２  記憶制御部
２３３  出力部
【図１】
0006482452.tif 000002
【図２】
0006482452.tif 000003
【図３】
0006482452.tif 000004
【図４】
0006482452.tif 000005
【図５】
0006482452.tif 000006
【図６】
0006482452.tif 000007
【図７】
0006482452.tif 000008
【図８】
0006482452.tif 000009
【図９】
0006482452.tif 000010