(57)【要約】【課題】ソフトウェアを操作するユーザの挙動をより詳細に記録することが出来るユーザ挙動記録装置を提供する。【解決手段】ユーザの操作を受け付ける操作受付部と、ソフトウェア起動中に、ユーザの顔を含むように画像を撮像し、撮像した画像（撮像画像）を記録する撮像画像記録部と、撮像画像から抽出された視線方向が自装置の何れの位置を注視するかを表す視線位置情報を検出する視線位置検出部と、撮像画像からユーザの感情を表す感情情報を検出する感情検出部と、ソフトウェア起動中に、自装置の画面キャプチャ情報と、ソフトウェアの画面の名称（名称情報）を記録する画面キャプチャ・名称記録部と、視線位置情報と感情情報と画面キャプチャ情報とを時刻を合わせて組み合わせた動画情報と、視線位置情報と感情情報と名称情報とを時刻を合わせて組み合わせた統計情報とを生成する動画・統計生成部とを含む。【選択図】図１
2016024577.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの操作を受け付ける操作受付部と、
ソフトウェア起動中に、前記ユーザの顔を含むように画像を撮像し、撮像した画像（以下、撮像画像という）を記録する撮像画像記録部と、
前記撮像画像を取得して、前記撮像画像から前記ユーザの視線方向を抽出し、前記抽出された視線方向が自装置の何れの位置を注視するかを表す視線位置情報を検出する視線位置検出部と、
前記撮像画像を取得して、前記撮像画像から前記ユーザの顔の各器官の特徴点の予め定めた基準からの移動量を検出し、前記検出された移動量と、予め設定された各感情に対する各器官の特徴点の移動量とを比較して、前記ユーザの感情を表す感情情報を検出する感情検出部と、
前記ソフトウェア起動中に、自装置の画面キャプチャ情報と、前記ソフトウェアの画面の名称（以下、名称情報という）を記録する画面キャプチャ・名称記録部と、
前記視線位置情報と前記感情情報と前記画面キャプチャ情報とを時刻を合わせて組み合わせた動画情報と、前記視線位置情報と前記感情情報と前記名称情報とを時刻を合わせて組み合わせた統計情報と、を生成する動画・統計生成部と、
を含むユーザ挙動記録装置。
【請求項２】
請求項１に記載のユーザ挙動記録装置であって、
前記視線位置情報は、前記ユーザ挙動記録装置の画面上、および前記ユーザ挙動記録装置の画面キャプチャ上の一点を特定する座標であるものとし、
前記動画情報は、
前記画面キャプチャ情報と同時刻の視線位置情報が示す画面キャプチャ上の座標に対して、前記感情情報を変換した色情報を前記画面キャプチャ情報に重ね合わせて生成される
ユーザ挙動記録装置。
【請求項３】
請求項１または２に記載のユーザ挙動記録装置であって、
前記視線位置情報は、前記ユーザ挙動記録装置の画面上、および前記ユーザ挙動記録装置の画面キャプチャ上の一点を特定する座標であるものとし、
前記統計情報は、
前記名称情報と同時刻の視線位置情報が示す座標に対して前記感情情報を付与して生成される
ユーザ挙動記録装置。
【請求項４】
ユーザ挙動記録装置が実行するユーザ挙動記録方法であって、
ユーザの操作を受け付ける操作受付ステップと、
ソフトウェア起動中に、前記ユーザの顔を含むように画像を撮像し、撮像した画像（以下、撮像画像という）を記録する撮像画像記録ステップと、
前記撮像画像を取得して、前記撮像画像から前記ユーザの視線方向を抽出し、前記抽出された視線方向が自装置の何れの位置を注視するかを表す視線位置情報を検出する視線位置検出ステップと、
前記撮像画像を取得して、前記撮像画像から前記ユーザの顔の各器官の特徴点の予め定めた基準からの移動量を検出し、前記検出された移動量と、予め設定された各感情に対する各器官の特徴点の移動量とを比較して、前記ユーザの感情を表す感情情報を検出する感情検出ステップと、
前記ソフトウェア起動中に、自装置の画面キャプチャ情報と、前記ソフトウェアの画面の名称（以下、名称情報という）を記録する画面キャプチャ・名称記録ステップと、
前記視線位置情報と前記感情情報と前記画面キャプチャ情報とを時刻を合わせて組み合わせた動画情報と、前記視線位置情報と前記感情情報と前記名称情報とを時刻を合わせて組み合わせた統計情報と、を生成する動画・統計生成ステップと、
を含むユーザ挙動記録方法。
【請求項５】
請求項４に記載のユーザ挙動記録方法であって、
前記視線位置情報は、前記ユーザ挙動記録装置の画面上、および前記ユーザ挙動記録装置の画面キャプチャ上の一点を特定する座標であるものとし、
前記動画情報は、
前記画面キャプチャ情報と同時刻の視線位置情報が示す画面キャプチャ上の座標に対して、前記感情情報を変換した色情報を前記画面キャプチャ情報に重ね合わせて生成される
ユーザ挙動記録方法。
【請求項６】
請求項４または５に記載のユーザ挙動記録方法であって、
前記視線位置情報は、前記ユーザ挙動記録装置の画面上、および前記ユーザ挙動記録装置の画面キャプチャ上の一点を特定する座標であるものとし、
前記統計情報は、
前記名称情報と同時刻の視線位置情報が示す座標に対して前記感情情報を付与して生成される
ユーザ挙動記録方法。
【請求項７】
コンピュータを請求項１から３の何れかに記載のユーザ挙動記録装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ソフトウェアを操作するユーザの挙動を記録するユーザ挙動記録装置、ユーザ挙動記録方法、プログラムに関する。
【背景技術】
【０００２】
従来、ソフトウェアのユーザビリティ評価を行う手法として、ユーザに対して聞き取り調査を実施する方法や、ソフトウェアの操作ログを解析する手法が知られている。例えば特許文献１には、コンテンツの視聴を測定する手法として、コンテンツの視聴履歴と、センシングデータを組み合わせる手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１４２９７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述の従来技術ではユーザがソフトウェアに含まれるコンテンツのどの部分に対してどのような反応を示したかを把握することが難しいという課題があった。
【０００５】
そこで本発明は、ソフトウェアを操作するユーザの挙動をより詳細に記録することが出来るユーザ挙動記録装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のユーザ挙動記録装置は、操作受付部と、撮像画像記録部と、視線位置検出部と、感情検出部と、画面キャプチャ・名称記録部と、動画・統計生成部を含む。
【０００７】
操作受付部は、ユーザの操作を受け付ける。撮像画像記録部は、ソフトウェア起動中に、ユーザの顔を含むように画像を撮像し、撮像した画像（以下、撮像画像という）を記録する。視線位置検出部は、撮像画像を取得して、撮像画像からユーザの視線方向を抽出し、抽出された視線方向が自装置の何れの位置を注視するかを表す視線位置情報を検出する。感情検出部は、撮像画像を取得して、撮像画像からユーザの顔の各器官の特徴点の予め定めた基準からの移動量を検出し、検出された移動量と、予め設定された各感情に対する各器官の特徴点の移動量とを比較して、ユーザの感情を表す感情情報を検出する。画面キャプチャ・名称記録部は、ソフトウェア起動中に、自装置の画面キャプチャ情報と、ソフトウェアの画面の名称（以下、名称情報という）を記録する。動画・統計生成部は、視線位置情報と感情情報と画面キャプチャ情報とを時刻を合わせて組み合わせた動画情報と、視線位置情報と感情情報と名称情報とを時刻を合わせて組み合わせた統計情報とを生成する。
【発明の効果】
【０００８】
本発明のユーザ挙動記録装置によれば、ソフトウェアを操作するユーザの挙動をより詳細に記録することが出来る。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例１のユーザ挙動記録装置の構成を示すブロック図。
【図２】本発明の実施例１のユーザ挙動記録装置の動作を示すフローチャート。
【図３】本発明の実施例１のユーザ挙動記録装置の撮像画像記録部の構成を示すブロック図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１１】
＜用語の定義：ユーザ挙動記録装置＞
本発明のユーザ挙動記録装置はその性質上、１）ソフトウェアを実行可能であること、２）画面を備えること、３）ユーザの顔面を撮影可能な撮像デバイスを備えること、以上の三つの特徴を備えている必要がある。ユーザ挙動記録装置として、例えば、携帯端末、タブレットやＰＤＡなどの情報端末、パーソナルコンピュータなどが考えられる。
【００１２】
＜用語の定義：ソフトウェア＞
ソフトウェアは一般に、コンピューターシステム上で何らかの処理を行うプログラムや手続き、およびそれらに関する文書を指す言葉である。またソフトウェアとは、ワープロソフトなど特定の作業や業務を目的としたアプリケーションソフトウェアと、ハードウェアの管理や基本的な処理を実行するオペレーティングシステムなどのシステムソフトウェア（基本ソフトウェア）の双方を包含する概念である。
【実施例１】
【００１３】
以下、図１、図２、図３を参照して、本発明の実施例１のユーザ挙動記録装置について説明する。図１は、本実施例のユーザ挙動記録装置１の構成を示すブロック図である。図２は、本実施例のユーザ挙動記録装置１の動作を示すフローチャートである。図３は、本実施例のユーザ挙動記録装置１の撮像画像記録部１２の構成を示すブロック図である。
【００１４】
図１に示すように、本実施例のユーザ挙動記録装置１は、操作受付部１１と、撮像画像記録部１２と、視線位置検出部１３と、感情検出部１４と、画面キャプチャ・名称記録部１５と、動画・統計生成部１６と、データ送信部１７を含む。
【００１５】
操作受付部１１は、ユーザの操作を受け付ける（Ｓ１１）。操作受付部１１は、キーボードに対するユーザの押下の操作、マウスに対するユーザのクリック、ダブルクリック、ドラッグ、スクロールの操作、タッチパネルに対するユーザのタップ、スワイプ、フリック操作などユーザ挙動記録装置１に対するユーザの任意の操作、入力を受け付ける。
【００１６】
撮像画像記録部１２は、ソフトウェア起動中に、ユーザの顔を含むように画像を撮像し、撮像した画像（以下、撮像画像という）を記録する（Ｓ１２）。図３に示すように、撮像画像記録部１２はＣＣＤカメラ、ＣＭＯＳカメラなどの撮像デバイス１２１と、ソフトウェア起動中に撮像デバイス１２１を制御する制御部１２２と、撮像デバイス１２１が撮像した画像（撮像画像）を記録する記憶部１２３を含む構成である。撮像画像記録部１２はユーザ挙動記録装置１が実行できる何れかのソフトウェアが起動している場合に、ユーザの顔を含むように画像を撮像する（Ｓ１２）。撮像デバイス１２１は操作を行うユーザの顔面を常時撮影可能な向きに取り付けられ、常時ユーザの顔面を含むような十分に広い画角を有していることが望ましい。
【００１７】
視線位置検出部１３は、撮像画像を取得して、撮像画像からユーザの視線方向を抽出し、抽出された視線方向が自装置の何れの位置を注視するかを表す視線位置情報を検出する（Ｓ１３）。視線方向の抽出には従来の技術を用いることができる。従来の画像処理技術により、ユーザの顔が撮影された画像からその瞳孔の位置、角膜反射の位置を検出することが出来る。従来の視線方向検出技術によれば、瞳孔の中心と角膜反射の中心の位置関係から視線方向を抽出することが出来る。視線位置情報は具体的には、ユーザ挙動記録装置１の画面上、および後述するユーザ挙動記録装置１の画面キャプチャ上の一点を特定する座標情報であることが望ましい。
【００１８】
感情検出部１４は、撮像画像を取得して、撮像画像からユーザの顔の各器官の特徴点の予め定めた基準からの移動量を検出し、検出された移動量と、予め設定された各感情に対する各器官の特徴点の移動量とを比較して、ユーザの感情を表す感情情報を検出する（Ｓ１４）。撮像画像から感情情報を検出する技術については、例えば参考非特許文献１に開示されている。参考非特許文献１に開示されるように、人間の顔の各器官について特徴点（例えば、両眉の眉間側、両眉の外側、口の両端など）を定義し、平静時の顔面の各器官の特徴点（基準）からの移動量と、これに対応する感情のカテゴリ（主観評価値）とを学習データとして、顔画像からその感情を推定するモデルを学習できる。例えば、感情検出部１４は上記のように学習されたモデルを用いて感情検出を実行することが出来る。
（参考非特許文献１：繁田亜友子、小池武士、濱本和彦、野須潔、「e-Learning学習者の顔画像解析によるリアルタイム感情推定法」、情報科学技術フォーラム講演論文集、8(3),517-518,2009-08-20, FIT(電子情報通信学会・情報処理学会)運営委員会）
【００１９】
画面キャプチャ・名称記録部１５は、ソフトウェア起動中に、自装置の画面キャプチャ情報と、ソフトウェアの画面の名称（以下、名称情報という）を記録する（Ｓ１５）。画像キャプチャは、スクリーンショットとも呼ばれ、コンピュータのモニタなどに表示されたものの全部または一部を写した画像を指す。ソフトウェアの画面の名称とは、ソフトウェアにおいて機能ごとに表示される画面を区別するために付与される名称のことであって、具体的にはワープロソフトの「印刷プレビュー画面」、「文書編集画面」などのことである。
【００２０】
動画・統計生成部１６は、視線位置情報と感情情報と画面キャプチャ情報とを時刻を合わせて組み合わせた動画情報と、視線位置情報と感情情報と名称情報とを時刻を合わせて組み合わせた統計情報とを生成する（Ｓ１６）。例えば、動画情報は、画面キャプチャ情報と同時刻の視線位置情報が示す画面キャプチャ上の座標に対して、感情情報を変換した色情報を画面キャプチャ情報に重ね合わせて生成してもよい。感情についてはＰｌｕｔｃｈｉｋの感情の輪などが知られている。例えばこの感情の輪と色相環をあてはめることにより、感情情報を色情報に変換することが可能である。例えば基本感情ｊｏｙ（喜び）には黄色をあてはめ、ｓａｄｎｅｓｓ（悲しみ）には青色をあてはめる。感情の度合いの強さを彩度や明度に変換してもよい。また、例えば統計情報は、名称情報と同時刻の視線位置情報が示す座標に対して感情情報を付与して生成されれば好適である。
【００２１】
データ送信部１７は、動画情報と、統計情報をサーバに送信する（Ｓ１７）。このようにサーバに収集された動画情報は、例えばソフトウェアの開発者によって閲覧され、ソフトウェアの開発、改良に用いられる。また、サーバに収集された統計情報は、多数のユーザについてその視線位置情報や感情情報を平均したり、各種の統計処理に用いるのに適している。統計情報、および統計情報に基づいて統計的処理に基づいて生成されたデータは前述同様、ソフトウェアの開発者によって閲覧され、ソフトウェアの開発、改良に用いられる。
【００２２】
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００２３】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【００２４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００２５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００２６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｅｒｖｉｃｅ  Ｐｒｏｖｉｄｅｒ）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００２７】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2016024577.tif 000003
【図２】
2016024577.tif 000004
【図３】
2016024577.tif 000005