(57)【要約】【課題】インターネットのＷｅｂサイトのユーザビリティ評価を行うために、ユーザが操作した画面遷移等のログデータとともにユーザの主観的な評価結果を取得する技術を提供する。【解決手段】複数のユーザ・インターフェース画面間の遷移を伴う評価対象システムのユーザ・インターフェース画面毎に予め質問画面を対応させておき、該評価対象システムのユーザ・インターフェース画面が表示された時に、対応させておいた質問画面を同時に表示し、質問画面に入力されたユーザ入力を記憶する。また、質問画面から入力されたユーザデータは評価システムに送付されるようにして評価のために評価対象システムに変更を加える必要をなくしている。【選択図】　図１
2004013242.tif 000002
【特許請求の範囲】
【請求項１】
複数のユーザ・インターフェース画面間の遷移を伴う評価対象システムの評価支援方法であって、
ユーザ端末に、前記評価対象システムのユーザ・インターフェース画面とともに該ユーザ・インターフェース画面に対する質問画面をユーザ端末に表示可能とせしめ、前記質問画面に対して入力されたユーザ入力データを収集することを特徴とする画面遷移を伴う評価対象システムの評価支援方法。
【請求項２】
請求項１の評価支援方法において更に、前記ユーザ・インターフェース画面の遷移ログを収集することを特徴とする評価支援方法。
【請求項３】
請求項１の評価支援方法において、前記質問画面を対応する前記ユーザ・インターフェース画面とともに前記ユーザ端末に表示させることを特徴とする評価支援方法。
【請求項４】
請求項１の評価支援方法において、前記質問画面に対して入力されたユーザ入力データは、前記評価対象システムとは別の評価支援システムにアドレスされるようにしたことを特徴とする評価支援方法。
【請求項５】
請求項１の評価支援方法であって、更に前記ユーザ端末にユーザの特性を入力するための表示画面を表示させて、前記ユーザ入力データとともに評価用データとして収集することを特徴とする評価支援方法。
【請求項６】
複数のユーザ・インターフェース画面間の遷移を伴う評価対象システムのユーザ・インターフェース画面毎に予めユーザに入力させるべき情報とユーザ・インターフェース画面間の遷移情報との組に対応させて質問画面を定義する定義情報を有し、評価対象システムのユーザ・インターフェース画面が表示された時に、ユーザが実際に入力した情報と実際に発生したユーザ・インターフェース画面間の遷移から、該定義情報を用いて対応づけられている質問画面を表示し、質問画面に入力されたユーザ入力を記憶することを特徴とする評価支援方法。
【請求項７】
請求項１乃至６の１に記載の評価支援方法において、ユーザ入力データの収集に先だち、前記ユーザに行ってもらう課題の説明及び前記評価対象システムの最初の画面への接続方法とを前記ユーザ端末に表示することを特徴とする評価支援方法。
【請求項８】
請求項７において、予め複数の課題の組合せと順序を一つのテストとして、複数のテストを定義しておき、ユーザに予め複数のテストの中から定めたテストを行わせることを特徴とした評価支援方法。
【請求項９】
請求項８において、複数のテストの中から一つのテストを選択する方法として、ユーザに入力させた情報に基づいてテストを決定することを特徴とした評価支援方法。
【請求項１０】
請求項８において、複数のテストの中から一つのテストを選択する方法として、ランダムに選択したテストを行わせることを特徴とした評価支援方法。
【請求項１１】
請求項１乃至６の１において、評価対象システムから遷移できる全ての画面の中からいくつかを評価対象画面として定義し、評価対象画面ではない画面への遷移が生じた場合に、予め用意した指示画面を表示することを特徴とした評価支援方法。
【請求項１２】
請求項１乃至６の１において、ユーザ・インターフェース画面の最前面に質問画面を表示することを特徴とした評価支援方法。
【請求項１３】
請求項７において、課題を説明する画面を、評価対象システムのユーザ・インターフェース画面の横に表示することを特徴とした評価支援方法。
【請求項１４】
請求項７に記載の課題において、課題の説明情報を基に行わせた作業の終了を、ユーザが宣言する方法を複数有することを特徴とした評価支援方法。
【請求項１５】
請求項１乃至６の１において、質問画面として１つの画面内に質問部分と評価対象システムのユーザ・インターフェース部分を表示し、かつ評価対象システムのユーザ・インターフェース画面の遷移元のユーザ・インターフェース画面を表示することを特徴とした評価支援方法。
【請求項１６】
請求項１４に記載の作業終了の宣言方法において、ユーザが課題をやり完遂した時の入力とユーザが課題の完遂を諦めた時の入力を有することを特徴とした評価支援方法。
【請求項１７】
複数のユーザ・インターフェース画面間の遷移を伴う評価対象システムの評価支援方法であって、
ユーザ端末からの指示に応じた前記画面の遷移ログを収集するとともに、ユーザ端末に表示された画面に関して該ユーザ端末から入力された該画面に対するユーザの感想や意見を画面のＩＤと対応つけて記憶することを特徴とする評価支援方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はインターネットのＷｅｂサイト等のシステムのユーザビリティ評価を行うための技術に関し、特に評価をするために必要なデータの収集方法に関する。
【０００２】
【従来の技術】
ユーザビリティを評価する方法するとしては、例えば特開２００１−５１８７６に記載されるユーザビリティ評価装置がある。これは、システムの状態を履歴すると共に履歴を再現し、システムの使い勝手の程度の評価に資するものである。また、特開平８−１６１１９７記載のユーザ・インターフェース評価支援装置及びユーザ・インターフェース評価支援方法がある。これは、画面上に表示されたユーザ・インターフェースに対する操作の過程を記憶しておき、記憶された操作の過程に基づき、ユーザ・インターフェースにおける問題となる操作を判定しあるいはユーザ・インターフェース上の各ボタン間の操作の関連度を求め、その結果を画面上に表示するものである。
【０００３】
【発明が解決しようとする課題】
上記特開２００１−５１８７６に記載の方法も特開平８−１６１１９７記載の記載の方法も、ユーザが任意に操作した画面遷移の履歴等のログを評価用データとして収集し分析するだけであった。ユーザビリティの評価においては、ユーザが使いやすいと判断するか否かが重要であるが、従来は評価対象システムに対するユーザの主観的評価結果を取得する方法がなかった。
【０００４】
また、上記従来技術ではユーザの主観的評価結果等のログ以外の評価用データを取得するためには評価対象のＷｅｂサイトに改良を加える必要があった。
【０００５】
更に、ユーザの特性等に応じたきめこまやかな評価可能なデータを収集することについても配慮がなかった。
【０００６】
本発明の目的は、ユーザが操作した画面遷移等のログデータとともにユーザの主観的な評価結果を取得する技術を提供することにある。
【０００７】
本発明の他の目的は、評価対象のＷｅｂサイト等のシステムには改良を加えずに評価用のデータを収集する技術を提供することにある。
【０００８】
本発明の別の目的は、様々な評価方法をＷｅｂページの評価依頼者に提供することが可能な評価用データの収集技術を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成すために、本発明の評価システムでは、ページの遷移ログだけでなく、遷移したときのユーザのページに対する感想・意見を遷移ページと関連つけてデータ取得することにより、評価システムが、評価対象システムの問題点を抽出するのに有効なデータの収集を可能とする。
【００１０】
より具体的には、複数のユーザ・インターフェース画面間の遷移を伴う評価対象システムのユーザ・インターフェース画面毎に予め質問画面を対応させておき、該評価対象システムのユーザ・インターフェース画面が表示された時に、対応させておいた質問画面を同時に表示し、質問画面に入力されたユーザ入力を記憶する。
【００１１】
また、上記他の目的を達成するために、ユーザ端末から入力されるログ以外のユーザデータに関してはユーザ端末から評価システムに送付されるようにして、評価対象のシステムとは別個の評価システムでデータ収集を可能とすることで、評価対象のＷｅｂサイトに手を加えることなくログデータ及びそれ以外の評価用データを取得できるようにした。
【００１２】
別の目的を達成するために、ユーザの特性とログ等の評価用データを関連つけて収集しておくことで評価実行時に色々な視点からの評価を行うことを可能とする。
【００１３】
【発明の実施の形態】
（実施例１）
以下、本発明の一実施例を図面を用いて詳細に説明する。第３図はネットワーク構成図である。評価者（以下、ユーザと呼ぶ）が利用する端末（１０）と評価対象となるＷｅｂサーバ（２０）と評価実験の際のデータを保管するプロキシサーバ（３０）を有する。第２図は、端末１０、Ｗｅｂサーバ２０、プロキシサーバ３０のそれぞれの計算機システムに共通のハードウェアブロック構成図である。キーボード、マウス、バーコードリーダなどのデータ入力手段（１６）とＣＰＵ（１３）と外部装置（１７）と主記憶手段（１４）とディスプレイ（１１）とネットワーク接続装置（１５）を有する。
【００１４】
本発明の方法は、ユーザが使用する端末（１０）、Ｗｅｂサーバ（２０）、プロキシサーバ（３０）のいずれの計算機で実装してもよいし、このネットワークにつながる別の計算機で実装してもよい。いずれの場合も以下図１で説明する処理手順からなる評価支援用プログラム及びプログラムで用いるデータベース（ＤＢ）等の関連データは、外部記憶装置１７に格納される。評価実行時には外部記憶装置１７から主記憶に順次読み出され、ＣＰＵが解釈実行することで評価支援処理を実行する。上記評価支援用プログラムは図示していないＣＤ−ＲＯＭ等の計算機システムで読み取り可能な記憶媒体に格納されて取引されることが多い。またはネットワークを介してサーバ等から配信される場合も有る。どちらの場合も計算機システムに取り込まれ外部記憶装置１７に一旦格納されて前述した手順で実行される。
【００１５】
本発明による実施例（以下、ユーザビリティ評価方法と呼ぶ）は図１に示す方法によって行われる。まず、図１のステップ１００でユーザ情報の登録を行う。ユーザ情報登録画面の例を図４に示す。ユーザ情報登録画面はユーザに関する情報を入力させる。図４の例では、ユーザの名前、ユーザＩＤ、性別、年齢等を入力させる。ユーザ情報登録画面で入力されたデータは図１のユーザ情報ＤＢ（３１）に書き込まれる。ユーザ情報ＤＢのテーブル構成の例を図５に示す。図５の例では、ユーザ情報登録画面で入力されるユーザＩＤ（３１１）、名前（３１２）、性別（３１３）、年齢（３１４）、Ｗｅｂ利用度（３１５）、Ｗｅｂ購入度（３１６）、Ｗｅｂ利用方法（３１７）のカラムを保持している。
【００１６】
ユーザビリティ評価方法では、ユーザにある課題を行わせる中でユーザビリティを評価するデータを収集する。ユーザが行うべき課題を定義したものをタスクと呼び、タスクを順序付けて組み合わせたものをテストとして定義する。
【００１７】
図１のステップ１０１はテストの設定を行う。ステップ１０１は、評価実験で使用するどのテストを行うかを設定する。テスト内容は図１のテストＤＢ（３２）からテストＩＤを読み込むことで設定する。テストＤＢのテーブル構成の例を図６に示す。図６の例では、テストＩＤ（３２１）、テストで行うタスクの順番（３２２）、タスクＩＤ（３２３）を保持している。テスト内容は、実験者が選択する。あるいは、ユーザ情報を基にして自動的にテストを決める方法を有してもよく、ランダムにテストを選択する方法を有してもよい。
【００１８】
図１のステップ１１１はテストの中で行うタスクを設定し、タスクの初期画面（以下、タスク初期画面と呼ぶ）を表示する。ユーザビリティ評価方法では、“タスク順番”という変数でその時点で行っているタスクの順番を保持している。図１のステップ１１１では、まず図６のテストＤＢにおいてテストＩＤ（３２１）と“タスク順番”と一致する順番（３２２）に対応するタスクＩＤ（３２３）を取得し、読み込むことによりタスクを設定する。次に、タスク初期画面を表示する。タスク初期画面の例を図７に示す。タスク初期画面はユーザに行わせる課題を表示する。図７の例では、出張時の切符を購入するという課題を表示している。タスク初期画面は、図１のタスクＤＢ（３３）から読み込む。タスクＤＢのテーブル構成の例を図８に示す。図８の例では、タスクＩＤ（３３１）、タスク名（３３２）、タスク初期画面ＵＲＬ（３３３）、タスク説明画面ＵＲＬ（３３４）のカラムを保持している。図１のステップ１１１はこの情報を用い、図１のステップ１０１で設定されているタスクＩＤからタスク初期画面ＵＲＬを取得し、表示する。
【００１９】
図１のステップ１０２はプロキシ上で取得したユーザの操作をユーザ操作ログＤＢ（３４）に書き込む。ユーザ操作ログＤＢは、図３の評価者端末（１０）における評価対象となる画面の遷移をユーザの操作記録として保持している。ユーザ操作ログＤＢのテーブル構成の例を図９に示す。図９の例では、ログＩＤ（３４１）、タスクＩＤ（３４２）、ユーザＩＤ（３４３）、評価対象画面のＵＲＬ（３４４）、評価対象画面に遷移した時刻として遷移時刻（３４５）、次の遷移が起こった時刻として次遷移時刻（３４６）、評価対象画面からの遷移先画面ＵＲＬ（３４７）のカラムを保持している。図７の例では、リンク１０２１をクリックした時、タスク初期画面のＵＲＬに遷移した時刻が図９の遷移時刻（３４５）、タスク初期画面のＵＲＬが図９の評価対象画面ＵＲＬ（３４４）、図７のリンク１０２１の遷移先が図９の遷移先画面ＵＲＬ（３４７）、遷移先画面に遷移した時刻が図９の次遷移時刻（３４６）となる。
【００２０】
図１のステップ１０３はユーザが行うべきタスクを説明する画面（タスク説明画面）を表示する。タスク説明画面は、ユーザがタスクを行う上で課題を忘れないように表示しておく画面である。また、ユーザが作業を断念した場合や終了したと判断した場合も、タスク説明画面にある“ＧｉｖｅＵｐ”ボタンや“作業終了”ボタンをクリックする。図１のステップ１０３について、図１０に詳細な処理フローを示す。図１０のステップ１０３０は、図８のタスクＤＢにおいてタスクＩＤ（３３１）に対応するタスク説明画面ＵＲＬ（３３４）を取得する。ステップ１０３１は取得したタスク説明画面ＵＲＬを評価対象画面とは別のウィンドウで表示する。ステップ１０３１で表示された画面の例を図１１に示す。図１１の例では、画面内の右側に評価対象画面である旅行ナビ検索画面（１０３３）が、左側にタスク説明画面（１０３２）が表示されている。
【００２１】
図１のステップ１０４はステップ１０２と同様、ユーザの操作をユーザ操作ログＤＢ（３４）に書き込む。図１１の例では、画面１０３３の「旅行ナビ検索画面」から画面１０３４の「駅名検索画面」へ遷移した場合は、「旅行ナビ検索画面」のＵＲＬが図９の評価対象ＵＲＬ（３４４）、「旅行ナビ検索画面」に遷移した時刻が図９の遷移時刻（３４５）、「駅名検索画面」のＵＲＬが図９の遷移先画面ＵＲＬ（３４７）、「駅名検索画面」に遷移した時刻が図９の次遷移時刻（３４６）となる。
【００２２】
図１のステップ１０５はシナリオに応じて、ユーザに質問し回答を入力させる際の画面（指示フレーム）のＵＲＬを取得する。シナリオとは、タスクの作業を行うそれぞれの評価対象画面に対して質問内容と回答方法を定義したものである。シナリオの内容は図１２のシナリオＤＢ（３５）の中に記述されている。シナリオＤＢ（３５）は、指示フレームのＵＲＬとその指示フレームをどのような条件で出すかを決定する条件を保持している。シナリオＤＢのテーブル構成の例を図１２に示す。図１２の例では、シナリオＩＤ（３５１）、タスクＩＤ（３５２）、評価対象画面ＵＲＬ（３５３）、Ｗｅｂ利用度（３５４）、指示フレームＵＲＬ（３５５）のカラムを保持している。図１２の例では、Ｗｅｂ利用度（３５４）が条件にあたる。図１３に図１のステップ１０５の詳細な処理フローを示す。ステップ１０５０は、図１のユーザ操作ログＤＢ（３４）から評価対象画面のＵＲＬを取得する。図９のユーザ操作ログＤＢにおいて、ユーザのユーザＩＤ（３４３）に対応する遷移時刻が最新の評価対象画面ＵＲＬ（３４４）を取得する。図１３のステップ１０５１は、図１のユーザ情報ＤＢ（３１）から該当するユーザ情報を取得する。図１２の例では、まず図５のユーザ情報ＤＢからユーザのユーザＩＤ（３１１）に対応するＷｅｂ利用度（３１５）を取得する。図１３のステップ１０５２は、図１のシナリオＤＢ（３５）からタスクＩＤ、ステップ１０５０で取り出した評価対象画面ＵＲＬ、ステップ１０５１で取り出したユーザ情報に対応する指示フレームのＵＲＬを取得する。図１２の例では、評価対象画面ＵＲＬ（３５３）とＷｅｂ利用度（３５４）に対応する指示フレームＵＲＬ（３５５）を取得する。
【００２３】
図１のステップ１０６は回答画面を表示する。図１４に詳細な処理フローを示す。図１４のステップ１０６０は、遷移元である図１２の評価対象画面ＵＲＬ（３５３）と指示フレームＵＲＬ（３５５）とをフレームで区切った合成画面として作成する。図１４のステップ１０６１は、作成した合成画面を新規ウィンドウで回答画面としてユーザ端末の最前面に表示する。回答画面の指示フレームの例を図１５に表示する。図１５の例では、遷移前後の内容に関する質問と遷移に関する意見を入力させている。
【００２４】
図１のステップ１０７は回答画面で入力されたデータを図１のユーザ回答ＤＢ（３６）に書き込む。ユーザ回答ＤＢのテーブル構成の例を図１６に示す。図１６の例では、回答ログＩＤ（３６２）、ユーザＩＤ（３６３）、シナリオＩＤ（３６４）、回答（３６５）等のカラムを保持している。
タスクは、ユーザが作業を断念した場合や終了したと判断した場合に、タスク説明画面にある“ＧｉｖｅＵｐ”ボタンや“作業終了”ボタンをクリックすることで終了する。
【００２５】
図１のステップ１０８はタスク終了ＤＢから、タスク終了時にユーザに質問し、回答を入力させる際の画面（タスク終了画面）のＵＲＬを取得する。タスク終了ＤＢはタスク終了時の条件におけるタスク終了画面のＵＲＬを保持している。タスク終了ＤＢのテーブル構成の例を図１７に示す。図１７の例では、シナリオ終了ＩＤ（３７１）、タスクＩＤ（３７２）、終了ボタン入力（３７３）、タスク終了画面ＵＲＬ（３７４）のカラムを保持する。
【００２６】
図１のステップ１０９はタスク終了画面で入力されたデータを図１のユーザ回答ＤＢ（３６）に書き込む。
【００２７】
図１のステップ１１０はユーザ操作ログＤＢ（３４）とユーザ回答ＤＢ（３６）を出力する。
【００２８】
上記実施例よれば、ページの遷移ログに、ユーザのページに対する感想・意見（ユーザデータ）を関連つけてデータ収集するので、ユーザの視点を踏まえて評価対象システムの評価を行える評価システムが提供できる。
【００２９】
また、ユーザ端末から入力されるログ以外のユーザデータに関してはユーザ端末から評価システムに送付されるようにするので、評価対象のシステムとは別個の評価システムでデータ収集を可能とできる。評価対象のＷｅｂサイトに手を加えることなくログデータ及びそれ以外の評価用データを取得できる。
【００３０】
更に、ユーザの特性とログ等の評価用データを関連つけて収集しておくことで評価実行時に色々な視点からの評価を行うことを可能とする。
【００３１】
【発明の効果】
本発明の評価システムでは、ページの遷移ログに、ユーザのページに対する感想・意見（ユーザデータ）を関連つけてデータ収集するので、ユーザの視点を踏まえて評価対象システムの評価を行える評価システムが提供できる。
【００３２】
また、ユーザ端末から入力されるログ以外のユーザデータに関してはユーザ端末から評価システムに送付されるようにするので、評価対象のシステムとは別個の評価システムでデータ収集を可能とできる。評価対象のＷｅｂサイトに手を加えることなくログデータ及びそれ以外の評価用データを取得できる。
【００３３】
更に、ユーザの特性とログ等の評価用データを関連つけて収集しておくことで評価実行時に色々な視点からの評価を行うことを可能とする。
【図面の簡単な説明】
【図１】本発明の一実施例の処理手順を表すフローチャート。
【図２】システム構成を示すブロック図。
【図３】ネットワークシステム全体を示す構成図。
【図４】ユーザ情報登録画面を示す図。
【図５】ユーザ情報ＤＢの構成図。
【図６】テストＤＢの構成図。
【図７】タスク初期画面を示す図。
【図８】タスクＤＢの構成図。
【図９】ユーザ端末作業時の処理手順を示すフローチャート。
【図１０】ユーザ端末作業画面を示す図。
【図１１】ユーザ操作ログＤＢの構成図。
【図１２】シナリオ表示処理手順を示すフローチャート。
【図１３】シナリオ表示処理手順を示すフローチャート。
【図１４】ユーザ端末回答時の手順を示すフローチャート。
【図１５】ユーザ端末回答時画面を示す図。
【図１６】ユーザ回答ＤＢの構成図。
【図１７】タスク終了質問ＤＢの構成図。
【符号の説明】
１１…ディスプレイ、１３…ＣＰＵ、１４…主記憶装置、１５…ネットワーク接続装置、１６…データ入力手段、１７…外部記憶装置。
【図１】
2004013242.tif 000003
【図２】
2004013242.tif 000004
【図３】
2004013242.tif 000005
【図４】
2004013242.tif 000006
【図５】
2004013242.tif 000007
【図６】
2004013242.tif 000008
【図７】
2004013242.tif 000009
【図８】
2004013242.tif 000010
【図９】
2004013242.tif 000011
【図１０】
2004013242.tif 000012
【図１１】
2004013242.tif 000013
【図１２】
2004013242.tif 000014
【図１３】
2004013242.tif 000015
【図１４】
2004013242.tif 000016
【図１５】
2004013242.tif 000017
【図１６】
2004013242.tif 000018
【図１７】
2004013242.tif 000019