(57)【要約】      （修正有）【課題】アプリケーションの操作ログを取得できない環境であっても操作対象機器に対するユーザ行動を効率的に記録する。【解決手段】行動記録装置は、周囲を撮像する撮像部１１００と、計算部１２００を備える。画像データ保持部１２０１は、撮像部で撮像した画像データを保持する。行動内容判別部１２１０は、撮像部が撮像した画像データの中に、あらかじめ定義された行動が撮像されているか、またはあらかじめ定義された複数の行動の中のいずれの行動が撮像されているかを判別し、判別結果を判別結果保持部１２１１に出力する。記録情報生成部１２２０は、判別結果に基づいて選択された記録ルールにおいてトリガとされているイベントが発生したら、画像データに含まれている画像または文字列を抽出し、抽出した画像または文字列を、撮像されていると判別された行動の記録情報として生成し、記録情報保持部１２２１は、記録情報を保持する。【選択図】図１
2015099568.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段が撮像した画像データ
の中に、
あらかじめ定義された行動が撮像されているか、または
あらかじめ定義された複数の行動の中のいずれの行動が撮像されているか
を判別し、判別結果として出力する判別手段と、
前記判別結果に基づいて記録ルールを選択する選択手段と、
選択された前記記録ルールにおいてトリガとされているイベントが発生したら、
前記画像データに含まれている画像または文字列を抽出し、
抽出した画像または文字列を、撮像されていると判別された行動の記録情報として生成する生成手段と、
を備えることを特徴とする行動記録装置。
【請求項２】
前記判別手段が、
行動内容判別の対象となる機器を抽出するために使用されるテンプレート画像を記憶する記憶手段と、
前記撮像手段が撮像した前記画像データの中の撮像画像と前記テンプレート画像とをパターンマッチングするマッチング手段と、
前記マッチング手段によって前記テンプレート画像とマッチすると判断された領域を撮像画像から抽出する第１抽出手段と、
前記第１抽出手段によって抽出された第１抽出画像から、行動内容判別の対象となる領域を抽出する第２抽出手段と、
を備え、
前記第２抽出手段によって抽出された領域の画像に基づいて、あらかじめ定義された複数の行動の中のいずれの行動が撮像されているか
を判別することを特徴とする請求項１に記載の行動記録装置。
【請求項３】
前記判別手段が、
前記第２抽出手段によって抽出された画像の幾何学的な歪みを補正する補正手段と、
前記補正手段によって補正された画像をあらかじめ定められたサイズに正規化する正規化手段と、
をさらに備え、
前記正規化手段によって正規化された画像に基づいて、あらかじめ定義された複数の行動の中のいずれの行動が撮像されているか
を判別することを特徴とする請求項２に記載の行動記録装置。
【請求項４】
前記選択手段が、
定義された行動に記録ルールが紐づけられている行動記録ルール決定テーブルを参照して、前記判別手段の判別結果に対応する記録ルールを選択し、
前記記録ルールが有向グラフによって表され、
前記有向グラフが、
行動の状態を示すノードと、
ノードとノードを繋ぐエッジ
を有し、
前記エッジに命令列が紐づけられ、
前記命令列が、トリガとなるイベントと当該イベントの発生時に記録する情報との組み合わせを含む
ことを特徴とする請求項２または３に記載の行動記録装置。
【請求項５】
前記生成手段が、
複数の画像間での所定の特徴点の移動方向および移動量、または
複数の画像間での所定の特徴量に対する相関量
のいずれか一方または双方に従って、前記イベントが発生したかを判断することを特徴とする請求項４に記載の行動記録装置。
【請求項６】
前記イベントの発生時に記録する前記情報が、
前記機器の画面を撮像した画像、または
前記機器の画面を撮像した画像を文字認識処理して得られたテキストデータ
のいずれか一方または双方であることを特徴とする請求項４または５に記載の行動記録装置。
【請求項７】
前記機器がテレビジョン放送を再生可能な機器であり、
前記有向グラフが、テレビジョン放送を視聴していることを示すＴＶ視聴ノードを有し、
前記ＴＶ視聴ノードから出て、前記ＴＶ視聴ノードへ戻るエッジに視聴中命令列が紐付けされていて、
前記視聴中命令列が、
トリガとなるイベントの発生時に、
前記画像データから、視聴中のテレビジョン放送を判別するための画像または文字列を抽出し、
抽出された画像または文字列を所定のサーバへ送信し、
前記所定のサーバへ送信された画像または文字列に関連する情報を、前記サーバから受信する
ことを行動記録装置に命じる命令列である
ことを特徴とする請求項４乃至６のいずれか一項に記載の行動記録装置。
【請求項８】
撮像手段が撮像した画像データの中に、あらかじめ定義された行動が撮像されているか、またはあらかじめ定義された複数の行動の中のいずれの行動が撮像されているかを判別し、判別結果として出力する判別ステップと、
前記判別結果に基づいて記録ルールを選択する選択ステップと、
選択された前記記録ルールにおいてトリガとされているイベントが発生したら、前記画像データに含まれている画像または文字列を抽出し、抽出した画像または文字列を、撮像されていると判別された行動の記録情報として生成する生成ステップと、
を有することを特徴とする行動記録方法。
【請求項９】
コンピュータを、請求項１乃至７のいずれか１項に記載の行動記録装置における各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作対象機器に関するユーザ行動に関する情報を効率よく記録する行動記録装置、方法及びプログラムに関するものである。
【背景技術】
【０００２】
ライフログなど、ユーザ行動を記録することに対する需要がある。従来、ユーザ行動を記録するためには、カメラでユーザ行動を認識し、ユーザが何処にいるか、何をしているか、何を持っているかなどを記録することがなされてきた。しかし、近年の情報端末の高機能化、多機能化により、ひとつの情報端末で様々な作業を行うことが可能になっており、従来システムでは行動分析に必要十分なユーザ行動を記録することが困難になってきている。
【０００３】
ユーザが情報端末を用いた作業に従事する際の作業記録を残す方法として、コンピュータのディスプレイに表示される内容を記録することがなされてきた。しかしこの場合、ディスプレイに表示される内容を逐次記録するのでは、記録に必要な容量が大きくなるという問題があった。このため、撮像したすべての画像をデータベースに記録するのではなく、記録する情報と記録しない情報を選別して所定の情報だけを記録する方法がある。
特許文献１は、ユーザが操作端末に対して特定の操作を実施した際に、あらかじめ定められた期間、ディスプレイに表示される内容を記録する。特許文献２は、ユーザが特定のアプリケーションを実行時に、ディスプレイに表示される内容の記録を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２１０１５０号公報
【特許文献２】特開２００９−１６３３５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１および特許文献２に示した方式は、専用のソフトウェアを用いて、アプリケーションの操作ログをソフトウェアによって取得可能である環境を対象としている。そのため、アプリケーションの操作ログを取得できない環境においては、使用することができない。アプリケーションの操作ログを取得できない環境としては、以下の（１）〜（４）などが考えられる。
（１）テレビ放送受信機（以下、単に「テレビ」とも記載する）のように、技術的な理由でユーザがソフトウェアを自由にインストール出来ない環境、
（２）ホテルのＰＣブースなどに設置され、所定料金を払って所定時間だけ利用可能なＰＣのように公序良俗、またはセキュリティ上の理由でユーザが自由にソフトウェアをインストールすることができない環境、
（３）携帯電話のように複数のソフトウェアを同時に実行できないソフトウェア実行環境、
（４）一部のスマートフォンのように、あるソフトウェアが他のソフトウェアの状況を取得することができないソフトウェア実行環境。
また、特許文献１または２に開示の手法を用いた場合に、ディスプレイに描画される内容に変化があった場合に都度記録していては、情報の記録に必要な容量が大きくなる。このため、後の分析に必要になる情報だけを記録する手法が望まれていた。
本発明は、上記課題を鑑み、操作対象機器に対するユーザ行動を効率的に記録することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の行動記録装置は、
撮像手段が撮像した画像データの中に、
あらかじめ定義された行動が撮像されているか、または
あらかじめ定義された複数の行動の中のいずれの行動が撮像されているか
を判別し、判別結果として出力する判別手段と、
前記判別結果に基づいて記録ルールを選択する選択手段と、
選択された前記記録ルールにおいてトリガとされているイベントが発生したら、
前記画像データに含まれている画像または文字列を抽出し、
抽出した画像または文字列を、撮像されていると判別された行動の記録情報として生成する生成手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、操作対象機器に対するユーザの行動の内容に即した行動履歴を効率的に記録することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態のユーザ行動記録装置の全体構成図である。
【図２】本発明の実施形態の概要を示す図である。
【図３】本発明の実施形態の処理フローを示すフローチャートである。
【図４】第１の実施形態の行動内容判別工程の処理フローを示すフローチャートである。
【図５】第１の実施形態の記録情報生成工程の処理フローを示すフローチャートである。
【図６】デジタルカメラで撮像した画像の一例を示す図である。
【図７】ディスプレイ領域に表示される内容の変化の一例を示す図である。
【図８】テンプレート画像の一例である。
【図９】機器抽出、ディスプレイ領域抽出、歪み補正、正規化の一例を示す図である。
【図１０】ユーザ行動記録ルール決定テーブルの一例を示す図である。
【図１１】第１の実施形態の有向グラフの一例を示す図である。
【図１２】第２の実施形態の記録情報生成工程の処理フローを示すフローチャートである。
【図１３】第２の実施形態のディスプレイ領域に表示される内容の変化の一例を示す図である。
【図１４】第２の実施形態の有向グラフの一例を示す図である。
【図１５】第３の実施形態の行動内容判別工程の処理フローを示すフローチャートである。
【図１６】第３の実施形態の概要を示す図である。
【図１７】第３の実施形態の有向グラフの一例を示す図である。
【図１８】本発明に係る行動内容判別部の構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
以下、図面を参照して本発明の第１の実施形態を詳細に説明する。
（全体構成図と機能）
図１に本実施形態のユーザ行動記録装置の全体構成図を示す。
図１中、１１００は画像データ（映像情報）を取得するための撮像部であり、カメラの周囲を撮像する。
１２００は様々な計算を行う計算部であり、画像データ保持部１２０１、行動内容判別部１２１０、判別結果保持部１２１１、記録情報生成部１２２０、および記録情報保持部１２２１から構成されている。
【００１０】
画像データ保持部１２０１は、撮像部１１００で撮像した画像（以下、「撮像画像」とも記載する）のデータを保持する。行動内容判別部１２１０は、操作対象機器に対するユーザの行動内容を判別する。判別結果保持部１２１１は、行動内容判別部１２１０で判別した行動内容を保持する。記録情報生成部１２２０は、記録する情報を生成する。記録情報保持部１２２１は、記録情報生成部１２２０で生成した記録情報を保持する。
【００１１】
（具体的な構成）
図２に、第１の実施形態の概要を示す。
デジタルカメラ２０１０は、撮像部１１００および計算部１２００を具備する。デジタルカメラ２０１０は、前方に存在する操作対象機器２０２０を撮像し、操作対象機器２０２０のディスプレイ領域２０２１を抽出すると共に、操作対象機器２０２０を操作するユーザ２０３０の行動を撮像する。
計算部１２００は行動内容判別部１２１０、記録情報生成部１２２０をプログラムとして持っている。また、計算部１２００は、画像データ保持部１２０１、判別結果保持部１２１１、および記録情報保持部１２２１として利用できるＲＡＭなどのメモリを搭載している。
図１８に、行動内容判別部の構成の一例を示す。
行動内容判別部１８０１０は、第１マッチング部１８０１１、第１抽出部１８０１２、第２抽出部１８０１３、歪み補正部１８０１４、正規化部１８０１５、第２マッチング部１８０１６、判別部１８０１７、第１記憶部１８０１８および第２記憶部１８０１９を具備する。
以上が、本実施形態における具体的な構成である。
【００１２】
（処理フロー）
図３に基づいて本実施形態の処理フローを説明する。
行動内容判別工程Ｓ３１００では行動内容判別部１２１０が画像データ保持部１２０１から画像を取得し、取得した画像からユーザ２０３０の行動内容の判別を行う。行動内容判別工程Ｓ３１００で判別された行動内容は、判別結果保持部１２１１に保持される。
記録情報生成工程Ｓ３２００では、記録情報生成部１２２０が、判別結果保持部１２１１に保持されているユーザ行動の内容を基に記憶装置である記録情報保持部１２２１に記録するための記録情報を生成する。
以上が、本実施形態におけるユーザ行動記録装置の処理フローである。
【００１３】
（処理フローの詳細）
次に、行動内容判別工程Ｓ３１００の処理の詳細を説明する。
図４は、行動内容判別工程Ｓ３１００の処理フローを示すフローチャートである。
対象抽出工程Ｓ４１１０では行動内容の判別対象を抽出する。
操作対象機器抽出工程Ｓ４１１１では画像データ保持部１２０１から取得した画像中に含まれる操作対象機器２０２０を検出する。
ディスプレイ抽出工程Ｓ４１１２では、操作対象機器抽出工程Ｓ４１１１で抽出した操作対象機器２０２０の中からディスプレイ領域２０２１を検出する。
歪み補正工程Ｓ４１２０では、ディスプレイ抽出工程Ｓ４１１２で検出したディスプレイ領域２０２１に対して歪み補正処理を実施する。
サイズ正規化工程Ｓ４１３０では、正規化部が歪み補正工程Ｓ４１２０で歪み補正処理を行った操作対象機器２０２０のディスプレイ領域２０２１のサイズをあらかじめ定められたサイズに正規化する処理を実施する。
マッチング工程Ｓ４１４０では、サイズ正規化工程Ｓ４１３０より得られる操作対象機器２０２０のディスプレイ領域２０２１に表示されているアイコンや文字列などから操作内容の判別を行う。マッチング工程Ｓ４１４０で判別された操作内容は、判別結果保持部１２１１に保持される。
以上が、本実施形態における行動内容判別工程Ｓ３１００の処理の詳細である。
【００１４】
記録情報生成工程Ｓ３２００の処理の詳細を説明する。
図５は、記録情報生成工程Ｓ３２００の処理フローを示すフローチャートである。
記録ルール決定工程Ｓ５２１０では、判別結果保持部１２１１に保持されている、ユーザ２０３０の操作内容の判別結果を基に、ユーザ行動の記録ルールを決定（選択）する。
状態変化検出工程Ｓ５２２０では、画像データ保持部１２０１から画像を取得し、ディスプレイ領域２０２１の変化から操作対象機器２０２０の状態の変化を検出する。状態変化があれば状態識別工程Ｓ５２３０を実行する。状態変化がなければ、状態変化が検出されるまで状態変化検出工程Ｓ５２２０を実行し、ポーリング状態になる。
状態識別工程Ｓ５２３０では、ディスプレイ領域２０２１から操作対象機器２０２０の現在の状態を識別するための処理を行う。
ユーザ操作推定工程Ｓ５２４０では、操作対象機器２０２０に対して行われたユーザ２０３０の操作を推定する。
【００１５】
記録処理工程Ｓ５２５０では、記録ルールと、操作対象機器２０２０の現在の状態、ユーザ操作推定工程Ｓ５２４０で推定されるユーザ操作、画像データ保持部１２０１に保持されている画像を基に、所望の情報が得られるように処理を行い情報の記録を行う。記録ルールは、記録ルール決定工程Ｓ５２１０によって決定される。操作対象機器２０２０の現在の状態は、状態識別工程Ｓ５２３０によって識別される。
【００１６】
例えば高画質化工程Ｓ５２５１は、記録情報保持部１２２１に記録すべき操作対象機器２０２０のディスプレイ領域２０２１を記録した画像を高画質化することを試みる。
オクルージョン検出工程Ｓ３２５２は、指などで画面の一部が隠れてしまった場合の検出を行う。
画像合成工程Ｓ５２５３は、長文を閲覧する際など情報端末の画面に入りきらずにスクロールが発生する場合に、スクロールを考慮して領域画像をつなぎ合わせる。領域画像をつなぎ合わせることによって、一枚の画像にすべての情報を集約し、画面に表示された情報を閲覧しやすい形に変換する。
記録情報出力工程Ｓ５２５４は、情報を記録情報保持部１２２１に格納する。
本実施形態では、高画質化工程Ｓ５２５１とオクルージョン検出工程Ｓ５２５２、画像合成工程Ｓ５２５３、記録情報出力工程Ｓ５２５４の４つを説明したが、これに限定されないことは言うまでもない。
また、各工程Ｓ５２５１〜Ｓ５２５４のすべてを実行しなくてもよく、第２、第３の実施形態で詳しく説明するように、例えばユーザ操作推定工程Ｓ５２４０で推定されたユーザ操作内容（Ｗｅｂ閲覧など）をテキストデータ化して出力しても良い。
終了判定工程Ｓ５２６０では、ユーザ行動記録ルールに基づきユーザ行動の記録を終了するかを判定し、終了しない場合は状態変化検出工程Ｓ５２２０によるポーリング状態に戻る。
以上が、本実施形態における行動内容判別工程Ｓ３２００の処理の詳細である。
【００１７】
（第１の実施例）
次に、上記の構成と処理フローを用いた具体的な例について説明する。本実施例では、ユーザ２０３０が操作対象機器２０２０である携帯電話を用いてＷｅｂサイトを閲覧する様子を、ユーザ２０３０の身体、衣服、装身具、または眼鏡などに装着したいわゆるウェアラブルなデジタルカメラ２０１０を用いて撮像する。ユーザが操作している携帯電話を撮像するためには、眼鏡に装着されるデジタルカメラが好ましい。
そして、ユーザが閲覧したＷｅｂサイトの全てのウェブページを記録するのではなく、閲覧したＷｅｂサイトの内容やユーザの行動内容を判断するために必要なウェブページを画像として効率的に記録する。
ウェアラブルなデジタルカメラ２０１０（以下、「ウェアラブルカメラ２０１０」とも記載する）で撮像した画像を６０１０に示す。
図６において携帯電話６０２０は操作対象機器２０２０に該当し、ユーザ２０３０に該当するユーザ６０３０が携帯電話６０２０を操作している。なお、携帯電話６０２０のディスプレイ領域６０２１は、操作対象機器２０２０のディスプレイ領域２０２１に該当する。
【００１８】
本実施例では、携帯電話のディスプレイ領域６０２１に表示される内容が図７に示す画像７１１０、７２１０、７２２０、７２３０の順であるものとして説明を行う。ユーザ６０３０は画像７１１０に示されているＷｅｂサイトを閲覧した後、画像７２１０に示されているＷｅｂサイトに移動した。画像７２１０に表示されているＷｅｂサイトは縦に長く、続きを読むためにユーザ６０３０はスクロール操作を行った。その結果、画像７２２０、７２３０が順に表示されたとする。
なお、携帯電話６０２０でＷｅｂサイトを閲覧中、Ｗｅｂブラウザを操作するためのアイコン群７１１１、７２１１、７２２１、７２３１がそれぞれの画像７１１０、７２１０、７２２０、７２３０の下部に表示されている。
【００１９】
ウェアラブルカメラ２０１０で撮像した画像６０１０は画像データ保持部１２０１に該当するバッファメモリに一時的に保存され、図３で示すフローに従って処理される。
行動内容判別工程Ｓ３１００ではバッファメモリ１２０１からウェアラブルカメラ２０１０で撮像した画像６０１０を取得し、ユーザ６０３０の行動内容の判別を行う。
対象抽出工程Ｓ４１１０では、行動内容の判別対象機器である携帯電話６０２０のテンプレート画像８０１０を用いて対象を抽出する。
図８にテンプレート画像の一例を示す。
テンプレート画像８０１０は、第１テンプレート画像の一つとして第１記憶手段（図示せず）にあらかじめ記憶されている。テンプレート画像８０１０は、操作対象機器８０２０とディスプレイ領域８０２１の操作対象機器８０２０上の位置、サイズに関する情報をあらかじめ持つ。なおテンプレート画像８０１０は必ずしも操作対象機器２０２０の全体を含む必要はなく、ディスプレイ領域８０２１の周囲を含む操作対象機器２０２０の部分画像でも良い。
操作対象機器抽出工程Ｓ４１１１では、第１マッチング部１８０１１が、画像データ保持部１２０１から取得した画像６０１０から、テンプレート画像８０１０とマッチする操作対象機器６０２０を検出し、第１抽出部１８０１２が抽出画像９１１０を抽出する。
図９に抽出画像の一例を示す。
次に、ディスプレイ抽出工程Ｓ４１１２では、検出した操作対象機器の画像９１１０の中から、第２抽出部１８０１３が操作対象機器９１２０のディスプレイ領域９１２１を抽出する。テンプレート画像８０１０は操作対象機器８０２０のディスプレイ領域８０２１の位置情報を含むため、画像６０１０から操作対象機器６０２０の位置を得ることができれば、ディスプレイ領域６０２１の位置を得ることが可能である。
【００２０】
歪み補正工程Ｓ４１２０では、ディスプレイ抽出工程Ｓ４１１２で抽出したディスプレイ領域９１２１を基準に、歪み補正部１８０１４が透視投影変換（パースペクティブ変換）等の幾何学的な変換である歪み補正処理を実施し、９２１０のような画像を得る。
サイズ正規化工程Ｓ４１３０では、歪み補正工程Ｓ４１２０で歪み補正処理を行った画像を、正規化部１８０１５があらかじめ指定したサイズに正規化を行い、９３１０のような画像を得る。
【００２１】
マッチング工程Ｓ４１４０では、サイズ正規化工程Ｓ４１３０より得られる操作対象機器６０２０のディスプレイの画像９３１０から第２マッチング部１８０１６および判別部１８０１７が特徴領域を抽出し、あらかじめ登録されたテンプレートとの類似度を求めることにより操作内容の判別を行う。
本実施例では、操作対象の携帯電話６０２０でＷｅｂ閲覧中に、画面下部にＷｅｂブラウザ操作用のアイコン群（７１１１、７２１１、７２２１、７２３１）が表示されることを利用して、Ｗｅｂ閲覧時であることを判別している。即ち、操作内容に応じて表示されるアイコン検出を同様に登録されたアイコンテンプレート画像との類似度に基いて行う。マッチング工程Ｓ４１４０で判別された操作内容「Ｗｅｂ閲覧」は、判別結果保持部１２１１に保持される。なお、本実施例はこれに限定するものではない。
【００２２】
以上が、本実施例における行動内容判別工程Ｓ３１００の処理の詳細である。
なお、操作内容を判別する方法は、参照テーブルを用いる方法以外であっても良い。例えば、決定木を用いる方法、認識器を用いる方法、またはこれらの組み合わせなどであっても良く、ユーザ６０３０の操作内容を判別することができるものであれば適用可能である。
操作内容を判別するための特徴量についても、特に限定されず、以下の１）〜４）の方法に記載の特徴量、またはそれらの組み合わせなどで、ユーザ６０３０の操作を判別するための特徴量となるものであれば適用可能なことは言うまでもない。
１）ユーザの操作機器の画面に対して文字読み取り装置を用いて読み取った画面内の文字を特徴量とする方法、
２）エッジ抽出などを行って抽出されたエッジなどを特徴量とする方法、
３）あらかじめ登録された領域の抽出を行い特徴量とする方法、
４）画面のレイアウトを特徴とする方法。
さらに、ユーザ６０３０の操作を判別するためにＧＰＳ等から取得した位置情報や、温度や湿度などの情報、周囲の音、時刻、操作対象の機種情報など、画像以外の情報を組み合わせて操作内容の判別に用いても良い。
ユーザ６０３０の操作画面の抽出を行う方法についても、本実施例では画像中から操作対象機器６０２０を検出しディスプレイ領域６０２１を検出する方法を採用したが、これに限定されるものではない。画像内の高輝度かつ矩形領域をディスプレイ領域６０２１とみなすなど、ディスプレイ領域６０２１を直接検出する方法を使用できることは言うまでもない。
【００２３】
記録情報生成工程Ｓ３２００では行動内容判別工程Ｓ３１００の判別結果から、ユーザ行動に関する情報の生成を行う。
記録ルール決定工程Ｓ５２１０では、図１０に示すユーザ行動記録ルール決定テーブル１００００を参照して、判別結果保持部１２１１に保持されているユーザ６０３０の行動内容の判別結果から、ユーザ行動記録ルールを決定（選択）する。
図１０に示す例では、ユーザ行動記録ルール決定テーブル１００００は、あらかじめ定義された行動として、「Ｗｅｂ閲覧」、「メール作成」、「動画視聴」を有する。
本実施例の場合、判別結果保持部１２１１に保持されるユーザ６０３０の行動内容の判別結果が「Ｗｅｂ閲覧」１００１０であることから、ユーザ行動記録ルール決定テーブル１００００を参照して、「ルール１」１００１１が適用される。
【００２４】
本実施例では、ユーザ行動記録ルールの表現方法として有向グラフを用いる。Ｗｅｂ閲覧時のユーザ行動を記録するユーザ行動記録ルールである「ルール１」１００１１を表現した有向グラフの例を図１１に示す。Ｓ１１０１０は、ユーザがＷｅｂ閲覧中であることを示すノードであり、Ｗｅｂ閲覧中の操作端末画面を撮像した画像は、この状態となる。エッジＴ１１００１、Ｔ１１００２、およびＴ１１００３は、ノードＳ１１０１０からノードＳ１１０１０への遷移を示す。エッジＴ１１００４は、ノードＳ１１０１０とノードＳ１１０２０とを接続する。エッジＴ１１００４は、ノードＳ１１０１０を接続元としノードＳ１１０２０を接続先とし、ノードＳ１１０１０からノードＳ１１０２０への遷移を示す。
【００２５】
エッジＴ１１００１、Ｔ１１００２、Ｔ１１００３、又はＴ１１００４に紐付された命令列Ｃ１１００１、Ｃ１１００２、Ｃ１１００３、又はＣ１１００４は、それぞれ「｛トリガとなるイベント｝，｛トリガとなるイベント発生時に実施する処理｝」を示す。
トリガとなるイベントは以下のとおりである。
”ｍｏｖｅ”は、ユーザがＷｅｂページ中のリンクなどをクリックし、表示されているＷｅｂページが切り替わったことを示す。”ｓｃｒｏｌｌ”は、一画面に収まりきらないＷｅｂページをユーザが閲覧中にスクロールが行われたことを示す。”＊”はワイルドカードであり、任意の操作が行われたことを示す。
【００２６】
トリガとなるイベント発生時に実施する処理は以下のとおりである。
ｃａｐｔｕｒｅはディスプレイ領域６０２１の画像を取得することを示し、引数で取得する画像のタイミングを指定する。引数として「−１」を指定した場合は、遷移前直前のディスプレイ領域６０２１の画像を取得することを示す。ｄｅｔｅｃｔ＿ｏｃｃｌｕｓｉｏｎは、オクルージョンを検出することを示し、ｇｅｔ＿ｂｅｔｔｅｒ＿ｉｍａｇｅは高画質化を行うことを示す。ｓｔｏｒｅ＿ｂｕｆｆｅｒは取得した画像をバッファに一時的に記録することを示す。
ｓｙｎｔｈｅｓｉｓ＿ｂｕｆｆｅｒはバッファメモリに記憶されている画像を合成することを示す。ｓｔｏｒｅ＿ｄｂは取得した画像を記録情報保持部１２２１に記録することを示す。
【００２７】
状態変化検出工程Ｓ５２２０は画像データ保持部１２０１から画像を取得し、Ｓ４１１０〜Ｓ４１３０と同様の処理によってユーザの操作対象機器２０２０である携帯電話６０２０のディスプレイ画像を抽出し、歪み補正、サイズ正規化を行う。その後、時間的に連続するディスプレイ画像の類似度を求め、類似度が閾値以下であれば状態が変化したとみなす。状態変化が検出できなければ一定時間待機した上で、再度、状態変化検出工程Ｓ５２２０を実施する。状態変化が検出された場合は、状態識別工程Ｓ５２３０を実施する。
【００２８】
状態識別工程Ｓ５２３０は、操作対象機器２０２０である携帯電話６０２０の現在の状態を識別するための処理を行う。携帯電話６０２０の現在の状態を認識する方法としてマッチング工程Ｓ４１４０で操作内容判別に用いた方法と同様の方法を用いる。本実施例で用いるユーザ行動記録ルールである「ルール１」１００１１の場合、Ｗｅｂ閲覧中であることを示すノードＳ１１０１０と、それ以外（Ｗｅｂ閲覧を終了した状態）の状態を示すノードＳ１１０２０の２つを扱う。撮像した画像から特徴を抽出し、状態識別に必要な画像認識を行うことにより、記録ルールに含まれる状態のどれに該当するかを識別する。本実施例の場合、ディスプレイ６０２１の下部にＷｅｂブラウザ操作用のアイコン群７１１１が表示されていればＷｅｂ閲覧中の状態を示すノードＳ１１０１１とみなし、それ以外をＳ１１０２０とみなす。
【００２９】
ユーザ操作推定工程Ｓ５２４０では、状態変化検出工程Ｓ５２２０で状態変化検出前後のユーザ６０３０の携帯電話６０２０のディスプレイ領域６０２１を比較することによって、ユーザの操作対象機器に対して行われた操作を推定する。例えばＷｅｂサイトを閲覧中に、操作対象機器ディスプレイ領域中の複数の特徴点が、いずれかの方向に等しい距離だけ移動していれば、スクロール操作が行われたと考えることができる。また、操作対象機器ディスプレイに表示される内容の変化量が大きければ、異なるＷｅｂページに移動したと考えられる。
例えば、画像７１１０と７２１０では、類似度が低いため、ユーザが異なるＷｅｂページに移動したと考えられる。一方、画像７２１０と７２２０、または画像７２２０と７２３０は、画像間の各々の特徴点の移動方向および移動距離が同じ（例えば、Ａ点とＢ点の移動方向が同じで、Ａ点とＢ点の移動量（移動距離）も同じ）ため、スクロール操作が行われたと考えられる。この推定結果に基づき、ユーザ行動記録ルール「ルール１」１００１１によって定められている動作を行う。
【００３０】
記録処理工程Ｓ５２５０では、検出された遷移に紐付けられた命令に従いユーザ行動に関する情報を記録する。
例えば、エッジＴ１１００１には命令列Ｃ１１００１が紐付けられており、この命令の意味は「Ｗｅｂページの移動があった際に、移動直前のｗｅｂページをキャプチャし、オクルージョンを検出し、高画質化処理を適用し、バッファに格納する。バッファに格納された画像を合成し、記録情報保持部１２２１に格納する」というものである。オクルージョンの検出はオクルージョン検出工程Ｓ５２５２を用い、高画質化処理にはＳ５２５１を用いる。バッファに格納された画像を合成する際は画像合成工程Ｓ５２５３を用いる。なお、ユーザ行動に関する情報として、ユーザ操作推定工程Ｓ５２４０で得たユーザ操作情報をテキストデータ（例えば、「Ｗｅｂ閲覧」という文字列）として記録しても良い。記録情報保持部１２２１に格納する際は、記録情報出力工程Ｓ５２５４を用いる。
エッジＴ１１００２には命令列Ｃ１１００２が紐付けられており、この命令の意味は、「Ｗｅｂページがスクロールされた場合、移動直前のｗｅｂページをキャプチャし、オクルージョンを検出し、高画質化処理を適用し、バッファに格納する」というものである。
エッジＴ１１００３の場合、命令列Ｃ１１００３が紐付けられており、この命令の意味は「任意の操作が行われた場合、なにもしない」という意味である。なお、本実施例では、複数の遷移条件が当てはまり、複数の命令が実行されてもよい。
エッジＴ１１００４の場合、命令列Ｃ１１００４が紐付けられており、この命令の意味は以下のとおりである。
「任意の操作が行われた場合、移動直前のｗｅｂページをキャプチャし、オクルージョンを検出し、高画質化処理を適用し、バッファに格納する。バッファに格納された画像を合成し、記録情報保持部１２２１に格納する。記録情報生成工程Ｓ３２００を終了する」
なお、記録ルールはユーザ６０３０の操作対象機器６０２０に対する操作を記録するためのものであり、操作機器やユーザ行動、また情報記録の目的などに応じて、さまざまな記録ルールを作成し、適用することができる。
【００３１】
高画質化工程Ｓ５２５１は、ユーザ操作推定工程Ｓ５２４０によって決定された記録情報保持部１２２１に記録すべき操作対象機器６０２０のディスプレイ領域６０２１の内容を高画質化することを試みる。画像データ保持部１２０１に含まれるディスプレイ領域６０２１の内容が等しい画像を抽出し一番高画質なものを用いる。または、正規化したものを加算平均するなど、高画質化のための方法は問わない。
【００３２】
オクルージョン検出工程Ｓ５２５２は、指などで画面の一部が隠れてしまった場合の検出を行う。オクルージョンが発生した場合、画像データ保持部１２０１から、ディスプレイ領域６０２１のオクルージョンのない領域が等しい画像を抽出する。または、ディスプレイ領域６０２１に表示されている内容は等しいが異なる部位にオクルージョンがある画像を抽出し、オクルージョンのない部分領域画像同士をつなぎ合わせてもよい。
【００３３】
画像合成工程Ｓ５２５３では、長文を閲覧する際などＷｅｂページが携帯電話６０２０のディスプレイ領域６０２１に表示しきれずにスクロールが発生する場合に、スクロールを考慮して領域画像をつなぎ合わせる。つなぎ合わせることによって、一枚の画像にすべての情報を集約し、情報を閲覧しやすい形に変換する。本実施例では、スクロールしたディスプレイ画像である画像７２１０、７２２０、７２３０から重複する部分を検出し重ね合わせることにより、画像をつなぎ合わせるが、この方法に限るものではないことは言うまでもない。
【００３４】
ユーザ行動記録ルールを用いてユーザ行動情報を記録することで、少ない記録容量で効率的にユーザ行動に関する情報を記録することが可能になる。また、操作対象機器２０２０のソフトウェア、ハードウェアに変更を加えることなく、ユーザ２０３０の行動を記録することが可能になる。また多様な記録ルールを用意することにより、多くの種類の機器に対応することが可能である。
【００３５】
（第２の実施形態）
以下、図面を参照して本発明の第２の実施形態を詳細に説明する。
（全体構成図と機能）
本実施形態のユーザ行動記録装置の全体構成図は第１の実施形態と同様に図１で示される。
（具体的な構成）
本実施形態における具体的な構成も第１の実施形態と同様に図２で示される。
（処理フロー）
本実施形態における処理フローも、第１の実施形態と同様、図３で示される。行動内容判別工程Ｓ３１００は第１の実施形態と同様である。ただし、第１の実施形態とは、記録情報生成工程Ｓ３２００での処理内容の一部が異なる。
【００３６】
（処理フローの詳細）
本実施形態における記録情報生成工程Ｓ３２００の処理の詳細を説明する。図１２は、本実施形態における記録情報生成工程Ｓ３２００の処理を示すフローチャートである。
本実施形態では第１の実施形態に対して非画像情報生成工程Ｓ１２２５５が加えられている。非画像情報生成工程Ｓ１２２５５は、ユーザの操作対象機器のディスプレイ画像や、その他から得られる情報を基に、画像以外の情報を生成する処理である。Ｓ５２１０〜Ｓ５２６０は第１の実施形態と同様である。なお、Ｓ５２５１〜Ｓ５２５３の全てまたは一部を実行せずＳ１２２５５を実行するようにしてもよい。
【００３７】
（第２の実施例）
次に、上記の構成と処理フローを用いた具体的な例について説明する。本実施例は、ユーザ２０３０が操作対象機器２０２０である携帯電話を用いてメールを作成し送信する様子を、ユーザ２０３０の身体に装着したウェアラブルなデジタルカメラ２０１０を用いて撮像する。そして、送信したメールの内容を画像ではなく、テキストデータとして効率的に記録するシステムである。本実施例では記録対象データはテキストデータのみとするが、画像データまたはテキストデータのいずれか一方または双方を記録対象データとしても良いことは言うまでもない。
【００３８】
ウェアラブルカメラ２０１０で撮像した画像を６０１０に示す。図６において携帯電話６０２０は操作対象機器２０２０に該当し、ユーザ２０３０に該当するユーザ６０３０が携帯電話６０２０を操作している。なお、携帯電話６０２０のディスプレイ領域６０２１は、操作対象機器２０２０のディスプレイ領域２０２１に該当する。
【００３９】
本実施例では、携帯電話のディスプレイ領域６０２１に表示される内容が図１３に示す画面１３０１０、１３０２０、１３０３０、１３０４０、１３０５０、１３０６０、１３０７０、１３０８０の順に遷移するものとして説明を行う。
画面１３０１０は、「送信先、タイトルおよび本文」未入力のメール作成ホーム画面、
画面１３０２０は、送信先選択画面、
画面１３０３０は、「送信先」入力済みかつ「タイトルおよび本文」未入力のメール作成ホーム画面、
画面１３０４０は、タイトル入力画面、
画面１３０５０は、「送信先およびタイトル」入力済みかつ「本文」未入力のメール作成ホーム画面、
画面１３０６０は、本文入力画面、
画面１３０７０は、「送信先、タイトルおよび本文」入力済みメール作成ホーム画面、
画面１３０８０は、送信完了画面、である。
ユーザ６０３０はメール作成ホーム画面１３０１０を立ち上げた後、１３０２０でメール送信先を選択し、メール送信先入力済みのメール作成ホーム画面１３０３０に移動する。その後、タイトル入力画面１３０４０に移動し入力終了後、メール送信先とタイトル入力済みのメール作成ホーム画面１３０５０に移動する。メール本文入力画面１３０６０にてメール本文を入力した後、メール送信先とタイトル、本文が入力済みのメール作成ホーム画面１３０７０に移動し、送信処理を行う。送信完了すると送信完了画面１３０８０が表示される。
【００４０】
デジタルカメラ２０１０で撮像した画像６０１０は画像データ保持部１２０１に該当するバッファメモリに一時的に保存され、図３で示すフローに従って処理される。
第１の実施形態同様、行動内容判別工程Ｓ３１００ではバッファメモリ１２０１からデジタルカメラ２０１０で撮像した画像６０１０を取得し、ユーザ６０３０の行動内容の判別を行う。本実施形態においては、前記の如く、下記の一連の画面遷移から、ユーザ６０３０は「メール作成」中であるとして判別される。
【００４１】
記録情報生成工程Ｓ３２００では行動内容判別工程Ｓ３１００の判別結果から、ユーザ行動に関する情報の生成を行う。
記録ルール決定工程Ｓ５２１０では、ユーザ行動記録ルール決定テーブル１００００を参照して、判別結果保持部１２１１に保持されているユーザ６０３０の行動内容の判別結果から、ユーザ行動記録ルールを決定（選択）する。
本実施例の場合、判別結果保持部１２１１に保持されるユーザ６０３０の行動内容の判別結果が「メール作成」１００２０であることから、ユーザ行動記録ルール決定テーブル１００００を参照して、「ルール２」１００２１が適用される。
【００４２】
図１４に、「ルール２」１００２１を表現した有向グラフの例を示す。なお、ｏｃｒは与えられた画像中からテキストデータを抽出する処理を、図１２の非画像情報生成工程Ｓ１２２５５を用いて行う。
状態変化検出工程Ｓ５２２０〜終了判定工程Ｓ５２６０は第１の実施形態と同様である。
【００４３】
非画像情報生成工程Ｓ１２２５５は、ユーザ６０３０の操作対象機器６０２０のディスプレイ領域６０２１から得られる画像を基に、画像以外の情報を生成する処理である。本実施例では、画像に対して文字認識処理（光学文字認識処理、ＯＣＲ処理）を実施して、画像内に含まれる文字列をテキストデータとして抽出する。
文字認識処理で文字を読み取り記録するため、画像情報を記録する場合に比べて、少ない記録容量で効率的にユーザ行動に関する情報を記録することが可能になる。また、記録装置に記録されるユーザ行動情報が文字情報であるので、ユーザ行動情報の検索が容易になる。
【００４４】
（第３の実施形態）
以下、図面を参照して本発明の第３の実施形態を詳細に説明する。
（全体構成図と機能）
本実施形態のユーザ行動記録装置の全体構成図は第１の実施形態と同様に図１で示される。
（具体的な構成）
本実施形態における具体的な構成も第１の実施形態と同様に図２で示される。
【００４５】
（処理フロー）
本実施形態における処理フローも、第１の実施形態と同様、図３で示される。ただし、第１の実施形態とは、行動内容判別工程Ｓ３１００、記録情報生成工程Ｓ３２００での処理内容の一部が異なる。
（処理フローの詳細）
本実施形態における、行動内容判別工程Ｓ３１００の処理の詳細を説明する。図１５は、本実施形態における行動内容判別工程Ｓ３１００の処理を示すフローチャートである。
本実施形態では、対象抽出工程Ｓ４１１０のフローが第１の実施形態と異なる。本実施形態ではディスプレイ抽出工程Ｓ４１１１でディスプレイ領域を直接検出する。
記録情報生成工程Ｓ３２００のフローは第２の実施形態と同様である。ただし、非画像情報生成工程Ｓ１２２５５での処理内容が第２の実施形態とは異なる。本実施形態では、取得した画像をサーバに送信し、当該画像に関する認識処理をサーバにて実施し、当該画像に関するテキストデータをサーバにて取得する。
【００４６】
（第３の実施例）
次に、上記の構成と処理フローを用いた具体的な例について説明する。本実施例は、ユーザ２０３０が操作対象機器２０２０であるテレビを視聴している様子を、ユーザ２０３０の身体に装着したウェアラブルなデジタルカメラ２０１０を用いて撮像し、視聴した番組に関する情報を効率的に記録するシステムである。
図１６に、デジタルカメラ２０１０で撮像した画像１６０１０を示す。テレビ１６０２０は操作対象機器２０２０に該当し、テレビ１６０２０のディスプレイ領域１６０２１は、操作対象機器２０２０のディスプレイ領域２０２１に該当する。テレビ１６０２０はテレビジョン放送を再生可能な機器である。
デジタルカメラ２０１０で撮像した画像１６０１０は画像データ保持部１２０１に該当するバッファメモリに一時的に保存され、図３で示すフローに従って処理される。
【００４７】
図１５に示す行動内容判別工程Ｓ３１００における対象抽出工程Ｓ４１１０では、画像からディスプレイを直接抽出する。本実施例におけるディスプレイ抽出工程Ｓ４１１１では、画像データ保持部１２０１から取得した画像中の輝度情報を基に、画像中に含まれるディスプレイ領域を検出する。
なお、Ｓ４１２０〜Ｓ４１４０は第１実施形態と同様であり、ユーザ２０３０の行動内容の判別を行った結果、画像データ保持部１２０１に保持される各画像データ間の変化量が大きいため、ユーザ２０３０は「動画視聴」中であるとして判別される。
【００４８】
記録情報生成工程Ｓ３２００では行動内容判別工程Ｓ３１００の判別結果から、ユーザ行動に関する情報の生成を行う。
記録ルール決定工程Ｓ５２１０では、ユーザ行動記録ルール決定テーブル１００００を参照して、判別結果保持部１２１１に保持されているユーザ２０３０の行動内容の判別結果から、ユーザ行動記録ルールを決定（選択）する。
本実施例の場合、判別結果保持部１２１１に保持されるユーザ２０３０の行動内容の判別結果が「動画視聴」１００３０であることから、ユーザ行動記録ルール決定テーブル１００００を参照して、「ルール３」１００３１が適用される。
【００４９】
図１７に、「ルール３」１００３１を表現した有向グラフの例を示す。
ノードＳ１７０１０はテレビジョン放送視聴中であることを示すノード（以下、「ＴＶ視聴ノード」とも記載する）である。エッジＴ１７０１１はノードＳ１７０１０から出てノードＳ１７０１０へ戻る。命令列Ｃ１７０１１はエッジＴ１７０１１に紐づけられている。命令列Ｃ１７０１１はＴＶ視聴中に実行される命令列（以下、「視聴中命令列」とも記載する）である。
命令列Ｃ１７０１１中の命令“ｒｅｃｏｇｎｉｚｅ＿ｃｈａｎｎｅｌ”はユーザが視聴中の番組を判別する。
視聴中の番組を判別する方法は、ディスプレイ領域１６０２１の画像をサーバに送信して、サーバにおいてパターンマッチングを実行させる方法でも良い。サーバは現在放送中のＴＶ番組に関連する情報を保持しており、デジタルカメラ２０１０によって撮像され送信された画像と、サーバに保持されている現在放送中の番組画像との類似度を求める。そして、類似度が所定の閾値よりも高くかつ類似度が最も高い番組画像に対応する番組を、ユーザ２０３０が視聴中の番組であると判別する。
また、視聴中の番組を判別する方法は、ディスプレイ領域１６０２１の画像から非画像情報生成工程Ｓ１２２５５を経て得られたテキストデータをサーバに送信する方法でも良い。送信されたテキストデータをキーワードとして、サーバに保持されている現在放送中の番組に関する文字情報を検索することによって、ユーザが視聴中の番組を判別する。
この判別結果を元に、ユーザ２０３０が視聴している番組に関する情報（放送局、番組名、出演者、番組概要など）がサーバから、テレビ１６０２０に送信され、、テレビ１６０２０は送信された情報を受信する。このようにしてテレビ１６０２０は、ユーザ２０３０が視聴している番組に関する情報を取得する。
なお、サーバに送信された画像に対する類似度が所定の閾値よりも高い番組画像が存在しない場合は、ユーザ２０３０がＴＶ番組以外の動画を見ていると判別する。その場合は、インターネット上の動画共有サイトなどに対して動画のシーン検索技術を用いることによって、ユーザ２０３０が視聴している動画に関する情報の取得を試みてもよい。
状態変化検出工程Ｓ５２２０〜Ｓ５２５４は第１の実施形態と同様である。
【００５０】
撮像した画像に対して認識処理を行うことで、より有用で精度の高い情報を取得し記録することが可能になる。また、文字情報を記録するため、画像情報を記録する場合に比べて、少ない記録容量で効率的にユーザ行動に関する情報を記録することが可能になる。さらに、記録装置に記録されるユーザ行動情報が文字情報であるので、ユーザ行動情報の検索が容易になる。
（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５１】
１１００  撮像部
１２００  計算部
１２０１  画像データ保持部
１２１０  行動内容判別部
１２１１  判別結果保持部
１２２０  記録情報生成部
１２２１  記録情報保持部
【図１】
2015099568.tif 000003
【図２】
2015099568.tif 000004
【図３】
2015099568.tif 000005
【図４】
2015099568.tif 000006
【図５】
2015099568.tif 000007
【図６】
2015099568.tif 000008
【図７】
2015099568.tif 000009
【図８】
2015099568.tif 000010
【図９】
2015099568.tif 000011
【図１０】
2015099568.tif 000012
【図１１】
2015099568.tif 000013
【図１２】
2015099568.tif 000014
【図１３】
2015099568.tif 000015
【図１４】
2015099568.tif 000016
【図１５】
2015099568.tif 000017
【図１６】
2015099568.tif 000018
【図１７】
2015099568.tif 000019
【図１８】
2015099568.tif 000020