(57)【要約】【課題】モバイル端末を用いた評価試験において、通信環境にかかわらず信頼性の高い主観評価を可能にする主観評価方法およびそのプログラムを提供する。【解決手段】被験者がモバイル端末MNから評価試験サーバ５に対して評価試験用のコンテンツ（プログラム）を要求すると、これに応答して評価試験サーバ５からモバイル端末MNへ評価試験プログラムが配信される。モバイル端末MNは、評価試験サーバ５から取得した評価試験プログラムを実行し、その後、評価結果を評価試験サーバ５へ送信する。評価試験プログラムは実装先のモバイル端末MN上で動作し、(1)被験者の通信要求を検知して仮想的な通信環境での通信を模擬した応答を被験者に感知させる手順、(2)通信サービスの主観評価を被験者に入力させる手順、(3)入力された評価結果を評価試験サーバ５へ返信する手順を含む。【選択図】図２
2010140079.tif 000002
【特許請求の範囲】
【請求項１】
被験者のモバイル端末で通信サービスの評価試験を実施する評価試験方法において、
被験者の通信要求を検知して、仮想的な通信環境での通信を模擬した応答を被験者に感知させる手順と、
通信サービスの主観評価を被験者に入力させる手順と、
入力された評価結果を所定の宛先へ送信する手順とを含むことを特徴とするモバイル端末を用いた主観評価方法。
【請求項２】
前記応答を被験者に感知させる手順が、被験者のダウンロード要求を検知して、所定の通信環境でのダウンロードを模擬した応答を出力することを特徴とする請求項１に記載のモバイル端末を用いた主観評価方法。
【請求項３】
前記応答を被験者に感知させる手順が、被験者のアップロード要求を検知して、所定の通信環境でのアップロードを模擬した応答を出力することを特徴とする請求項１に記載のモバイル端末を用いた主観評価方法。
【請求項４】
前記応答を被験者に感知させる手順が、被験者の再生要求を検知して、所定の通信環境でのストリーミング再生を模擬した応答を出力することを特徴とする請求項１に記載のモバイル端末を用いた主観評価方法。
【請求項５】
前記応答を被験者に感知させる手順が、被験者のWeb閲覧要求を検知して、所定の通信環境でのWeb閲覧を模擬した応答を出力することを特徴とする請求項１に記載のモバイル端末を用いた主観評価方法。
【請求項６】
モバイル端末の機種情報を取得する手順を含み、
前記評価結果が前記機種情報と共に所定の宛先へ送信されることを特徴とする請求項１ないし５のいずれかに記載のモバイル端末を用いた主観評価方法。
【請求項７】
ネットワーク経由でサーバからプログラムをダウンロード可能なモバイル端末内のコンピュータにより実行される主観評価プログラムであって、
前記モバイル端末が表示部、スピーカおよび入力操作部を備え、
前記入力操作部からの通信要求を検知して、仮想的な通信環境での通信を模擬した応答を前記表示部およびスピーカの少なくとも一方から出力させる手順と、
前記表示部に通信サービスの評価入力画面を表示させる手順と、
前記入力操作部から入力された評価結果をネットワーク経由で所定の宛先へ送信させる手順とを前記コンピュータに実行させる主観評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モバイル端末を用いた主観評価方法およびそのプログラムに係り、特に、モバイル端末の通信環境にかかわらず信頼性の高い主観評価を可能にする主観評価方法およびそのプログラムに関する。
【背景技術】
【０００２】
音声品質、映像品質、Webサービスに関するユーザの体感品質を主観的に評価する方法として、非特許文献１に示されるオピニオン評価法が広く用いられている。オピニオン評価法では、被験者に対して劣化度合いが異なる複数の音声あるいは映像を提示し、それら各々に対する被験者の主観評価値を、図９に一例を示した５段階の評価値から選択させるものである。
【０００３】
オピニオン評価法では、試験条件や試験環境を統一するため、評価試験の主催者が指定した会場に被験者を集合させ、さらに主催者が用意した装置を用いて評価試験を実施することが一般的である。また、Webサービスに対するユーザ満足度の評価試験を実施する際にも、上記と同様に、主催者が指定した会場において、主催者が用意したコンピュータを用いてコンテンツのダウンロード速度やWebサーバのレスポンス時間に関する主観評価試験を実施することが一般的である。
【０００４】
一方、近年急速に普及しているインターネットを利用したWebアンケートにより、市場調査、世論調査、ユーザの嗜好調査などが行われるようになっている。Webアンケートでは、提示された質問事項に対して、被験者自身の考えや意見あるいは思想を回答するものが多い。
【非特許文献１】ITU-T Recommendation P.800
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記の主観評価試験では、評価値の信頼性を高めるため、年代や性別などに偏りが生じないように多数の被験者を収集する必要がある。しかしながら、主催者が準備できる会場の規模に限度があることや、評価試験を実施する際に準備できるコンピュータ等の数にも限度があることから、多数の被験者を収集するためには長期間に渡って評価試験を継続的に行う必要がある。
【０００６】
さらに、汎用のコンピュータを用いて評価試験を実施する場合には、評価試験用のソフトウェアをインストールするのみでよい場合が多いが、例えば携帯端末のように容易にソフトウェアをインストールできない装置を用いて評価を行う際には、主催者側で事前に改修を加えた装置を準備する必要があり、準備できる装置数が限定されてしまう。また、被験者は主催者から指定された時間に会場に出向き、一定時間拘束されることから、被験者の負担も大きい。このように、従来の主観評価試験では、被験者および主催者の負担が大きいため、大規模な評価試験を実施することが困難であった。
【０００７】
一方、インターネットを利用したWebアンケートでは、図１０に示すように、被験者は自身が所有するコンピュータやモバイル端末を用いてアンケートに参加することができるため、主催者側で専用端末を用意する必要がなく、短期間で多数の回答を得ることが可能である。しかしながら、被験者の通信環境やネットワーク環境（以下、通信環境で代表する）が様々であるため、Webアンケートの枠組みにおいて、試験条件を統一し、主観評価試験を実施することは困難である。
【０００８】
例えば、被験者が携帯電話端末を用いてサービス品質に関する主観評価試験を実施する場合に、評価試験を電波環境(通信環境)の良い場所で実施した被験者と悪い場所で実施した被験者とが混在してしまうと、評価結果の信頼性が低下してしまう。特に、モバイル環境における通信状態は固定回線に比べて大きく変動するため、被験者全員の試験条件を一律に揃えることが困難である。したがって、Webアンケートの枠組みでモバイル端末を用いた主観評価試験を実施すると、試験環境の違いから生じるバイアスが評価結果に含まれることになる。
【０００９】
このように、モバイル端末を用いた評価試験では信頼性の高い評価結果を得ることが困難であるため、これまでは、図１１に示すようにコンピュータのディスプレイにモバイル端末の画像を表示するなどして、モバイル端末を用いた評価試験を模擬することが行われていた。しかしながら、このような評価試験では、実際にモバイル端末を用いて評価試験を実施した場合との乖離が問題となる。
【００１０】
本発明の目的は、上記した従来技術の課題を解決し、モバイル端末を用いた評価試験において、通信環境にかかわらず信頼性の高い主観評価を可能にする主観評価方法およびそのプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記した目的を達成するために、本発明は、被験者のモバイル端末で通信サービスの評価試験を実施する評価試験方法において、以下のような手順を具備したことを特徴とする。
【００１２】
(1)被験者の通信要求を検知して、仮想的な通信環境での通信を模擬した応答を被験者に感知させる手順と、通信サービスの主観評価を被験者に入力させる手順と、入力された評価結果を所定の宛先へ送信する手順とを含むことを特徴とする。
【００１３】
(2)モバイル端末の機種情報を取得する手順を含み、評価結果が機種情報と共に所定の宛先へ送信されることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、以下のような効果が達成される。
【００１５】
(1)被験者のモバイル端末は評価試験中に外部のサーバ等と通信を行う必要はないので、評価試験プログラムさえ予め取得しておけば、通信環境の悪い場所や時間帯でも評価試験を実施できる。
【００１６】
また、評価試験プログラムのパラメータを適宜に変更するだけで様々な通信環境を模擬できるので、被験者のモバイル端末において、その現実の通信環境にかかわらず、評価側が望む通信環境での主観評価が可能になる。
【００１７】
(2)被験者のモバイル端末から評価結果と共に機種情報が送信され、評価側では評価結果をモバイル端末の特徴ごとに管理できるので、モバイル端末の違いによる評価誤差を統計的に処理するなどして、モバイル端末の機種に依存しない正確な評価結果を得られるようになる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明の最良の実施の形態について詳細に説明する。図１は、本発明が適用されるネットワークの構成を示したブロック図であり、携帯電話１やPDA２などの多数のモバイル端末MNが無線基地局３や無線アクセスポイント４を経由して携帯電話網あるいはインターネット等のIPネットワークNWに接続される。IPネットワークNWにはさらに、音声品質、映像品質あるいはWebサービスのレスポンスに関する主観評価試験を各モバイル端末MNにおいてユーザ（被験者）に実施させ、その結果を収集する評価試験サーバ５が接続されている。
【００１９】
本実施形態では、図２に一例を示したように、被験者がモバイル端末MNから評価試験サーバ５に対して評価試験用のコンテンツ（プログラム）を要求すると、これに応答して評価試験サーバ５からモバイル端末MNへ評価試験プログラムが配信される。前記モバイル端末MNは、評価試験サーバ５から取得した評価試験プログラムを実行し、その後、評価結果を評価試験サーバ５へ送信する。
【００２０】
前記評価試験プログラムは実装先のモバイル端末MN上で動作し、後に詳述するように、(1)被験者の通信要求を検知して仮想的な通信環境での通信を模擬した応答を被験者に感知させる手順、(2)通信サービスの主観評価を被験者に入力させる手順、および(3)入力された評価結果を評価試験サーバ５へ返信する手順を含む。
【００２１】
前記(1)被験者の通信要求を検知して仮想的な通信環境での通信を模擬した応答を出力する手順では、被験者からの要求に対して、所定の通信環境での通信を模擬した応答を被験者に返す。このような評価試験プログラムは、市販されているモバイル端末の多くがサポートしているFlash LiteやJava（登録商標）などの汎用スクリプトを用いて作成することが望ましい。
【００２２】
前記評価試験サーバ５には、たとえば通信速度として1Mbpsを模した評価試験プログラム、10Mbpsを模した評価試験プログラム、あるいはパケットロス率として0.1％を模した評価試験プログラム、1％を模した評価試験プログラム、あるいはジッタとして１０ミリ秒を模した評価試験プログラム、５０ミリ秒を模した評価試験プログラム…など、様々な通信環境を模した多数の評価試験プログラムが蓄積されており、所望の評価内容に応じた評価試験プログラムがモバイル端末MNへ配信される。
【００２３】
図３は、前記モバイル端末MNの主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００２４】
モバイル端末MNは、送受信部１０１、変復調部１０２、制御部１０３、表示部１０４、入力操作部１０５および音響部１０６を含み、前記制御部１０３は、CPU２０１、このCPU２０１により実行されるプログラムや各種の制御データを不揮発に記憶するROM２０２、およびダウンロードしたプログラムやデータを一時記憶すると共に前記CPU２０１にワークエリアを提供するRAM２０３を主要な構成としている。
【００２５】
評価試験サーバ５からダウンロードされた評価試験プログラムは変復調部１０２で復調されて制御部１０３のRAM２０２に記憶される。CPU２０１により当該評価試験プログラムが実行されると、表示部１０４に各種のメッセージ画面が表示される。被験者がメッセージ画面を参照しながら入力操作部１０５を操作して通信を要求すると、仮想的な通信環境での通信を模擬した応答が表示部１０４およびスピーカ１０７から出力される。
【００２６】
図４は、前記評価試験プログラムが実行されるモバイル端末MNの一実施形態の動作を示したフローチャートであり、図５は、モバイル端末MNの表示部１０４における画面遷移の一例を示した図である。
【００２７】
ここでは、モバイル端末MNが音楽データや映像データ等のコンテンツを所定のコンテンツ配信サーバからダウンロードする処理が前記評価試験プログラムにより模擬され、モバイル端末MNに対する被験者のダウンロード要求に対して、所定の通信環境でダウンロードが現実に行われているような応答が出力されて被験者に感知される。
【００２８】
モバイル端末MNにおいて評価試験プログラムが実行されると、ステップＳ１では、図５(a)に一例を示したように、被験者の年齢や性別などを入力させるユーザ情報の入力画面が表示部１０４に表示される。ユーザ情報の入力が完了して「次へ」ボタンがクリックされると、これがステップＳ２で検知されてステップＳ３へ進む。
【００２９】
ステップＳ３ではモバイル端末MNの機種情報が取得される。評価試験プログラムがFlash Liteで作成されていれば、次式(1)の関数を実行することによりモバイル端末MNの機種情報（デバイスID）を取得できる。
fscommand2("GetDevice", "devicename");  …(1)
【００３０】
ステップＳ４では、前記機種情報に基づいて各種のパラメータが設定され、例えばモバイル端末MNの画面サイズや解像度に応じてビデオ出力のフォーマットが最適化される。ステップＳ５では、図５(b)に一例を示したように、音楽データや映像データ等のダウンロードを被験者に要求させるダウンロード開始画面が表示される。「ダウンロード」ボタンがクリックされ、これがステップＳ６で検知されると、ステップＳ７へ進んでダウンロードが仮想的に開始される。
【００３１】
ステップＳ８では、図５(c)に一例を示したように、ダウンロード中であることを模擬するダウンロード中画面が表示される。ステップＳ９では、ダウンロードの完了率（％）を表示するインジケータが、模擬している通信環境に応じた速度で更新される。すなわち、模擬する通信環境の通信品質が低いほど、より遅い速度で完了率が増加し、例えば通信速度として１Mbpsを模した評価試験プログラムにおけるダウンロード時間は、１０Mbpsを模した評価試験プログラムにおけるダウンロード時間の１０倍程度となる。ダウンロードの完了率が１００％に達し、これがステップＳ１０で検知されるとステップＳ１１へ進む。
【００３２】
ステップＳ１１では、図５(d)に一例を示したダウンロード完了画面が表示される。ステップＳ１２では、図５(e)に一例を示した主観評価の入力画面が表示される。被験者が主観評価を入力すると、これがステップＳ１３で検知されてステップＳ１４へ進む。ステップＳ１４では、前記評価結果が前記ユーザ情報および機種情報と共に試験評価サーバ５へ送信される。
【００３３】
なお、ここではコンテンツのダウンロード速度に関する主観評価方法を例にして説明したが、アップロード速度に関する主観評価にも同様に適用できる。
【００３４】
本実施形態によれば、被験者のモバイル端末MNは評価試験中に外部のサーバ等と通信を行う必要がないので、評価試験プログラムさえ予め取得しておけば、通信環境の悪い場所でも評価試験を実施できる。
【００３５】
また、本実施形態によれば、評価試験プログラムのパラメータを適宜に変更するだけで様々な通信環境を模擬できるので、被験者のモバイル端末において、その現実の通信環境にかかわらず、評価側が望む通信環境での主観評価が可能になる。
【００３６】
さらに、本実施形態によれば、各モバイル端末MNから評価結果と共に機種情報が送信され、評価側では評価結果をモバイル端末MNの特徴ごとに管理できるので、モバイル端末MNの違いによる評価誤差を統計的に処理するなどして、モバイル端末MNの機種に依存しない評価結果を得られるようになる。
【００３７】
例えば、表示解像度が低いモバイル端末MNでは表示解像度が高いモバイル端末MNよりも通信品質の低下に伴う画像の劣化が感知されにくい。同様に、オーディオ回路の能力が低い機種では高い機種よりも音楽データの劣化や感知されにくい。これに対して、本実施形態では評価結果をモバイル端末MNの機種情報と対応付けて管理できるので、モバイル端末MNの機種に依存しない正確な主観評価を得られるようになる。
【００３８】
図６は、評価試験プログラムが実行されるモバイル端末MNの他の実施形態の動作を示したフローチャートであり、図７は、モバイル端末MNの表示部１０４における画面遷移の一例を示した図である。
【００３９】
ここでは、モバイル端末MNがコンテンツ配信サーバから配信される音楽データをストリーミング再生する処理が前記評価試験プログラムにより模擬され、モバイル端末MNに対する被験者の視聴要求に対して、所定の通信環境でストリーミング再生が現実に行われているような応答が出力される。
【００４０】
モバイル端末MNにおいて前記評価試験プログラムが実行されると、ステップＳ２１では、図７(a)に一例を示したように、被験者の年齢や性別などを入力させるユーザ情報の入力画面が端末ディスプレイに表示される。ユーザ情報の入力が完了して「次へ」ボタンがクリックされると、これがステップＳ２２で検知されてステップＳ２３へ進む。ステップＳ２３ではモバイル端末MNの機種情報が取得される。ステップＳ２４では、前記機種情報に基づいて各種のパラメータが設定される。
【００４１】
ステップＳ２５では、図７(b)に一例を示したように、音楽再生を被験者に要求させる再生開始画面が表示される。「再生開始」ボタンがクリックされ、これがステップＳ２６で検知されると、ステップＳ２７へ進んで所定のネットワーク環境におけるストリーミング再生を模擬した音楽再生が開始される。本実施形態では、通信品質のより悪いネットワーク環境を模擬した試験ほど、例えば音質の劣化として感知され易い音飛びや歪みなどを模した加工が、より高い強度あるいは頻度で音楽データに施されている。
【００４２】
ステップＳ２８では、図７(c)に一例を示したように、音楽再生中であることを模擬する再生中画面が表示される。ステップＳ２９では、再生位置を表示するインジケータが更新され、再生が完了するとステップＳ３１へ進む。
【００４３】
ステップＳ３１では、図７(d)に一例を示した再生完了画面が表示され、ステップＳ３２では、図７(e)に一例を示した主観評価の入力画面が表示される。被験者が主観評価を入力すると、これがステップＳ３３で検知されてステップＳ３４へ進む。ステップＳ３４では、前記評価結果が前記ユーザ情報および機種情報と共に試験評価サーバ５へ送信される。
【００４４】
図８は、評価試験プログラムが実行されるモバイル端末MNの他の実施形態におけるモバイル端末MNの表示部１０４における画面遷移の一例を示した図である。ここでは、モバイル端末MNがコンテンツ配信サーバから配信される動画をストリーミング再生する処理が前記評価試験プログラムにより模擬され、モバイル端末MNに対する被験者の視聴要求に対して、所定の通信環境でストリーミング再生が現実に行われているような応答が返される。
【００４５】
本実施形態でも同様に、モバイル端末MNにおいて評価評価試験プログラムが実行されると、同図(a)に一例を示したように、ユーザ情報の入力画面が端末ディスプレイに表示される。ユーザ情報の入力が完了して「次へ」ボタンがクリックされると、同図(b)に示した再生開始画面が表示される。「再生開始」ボタンがクリックされると、所定のネットワーク環境におけるストリーミング再生を模擬した動画再生が開始され、同図(c)に一例を示したように、インジケータには再生位置が表示される。本実施形態では、通信品質のより悪いネットワーク環境を模擬した試験ほど、例えば画質の劣化として感知され易いコマ落ちやブロックノイズなどを模した加工が、より高い強度あるいは頻度で動画データに施されている。
【００４６】
動画の再生が完了すると、同図(d)に一例を示した再生完了画面が表示され、次いで、同図(e)に一例を示した主観評価の入力画面が表示される。被験者が主観評価を入力すると、これがユーザ情報および機種情報と共に試験評価サーバ５へ送信される。
【００４７】
なお、上記した各実施形態では、ダウンロードやアップロードに要する時間、あるいは音楽や動画のストリーミング再生の品質に基づいて通信サービスが評価されるものとして説明したが、本発明はこれのみに限定されるものではなく、例えばWeb閲覧を要求してから当該Webページが完全に表示されるまでのレスポンスを模擬する評価試験プログラムを用いて通信サービスが評価されるようにしても良い。
【図面の簡単な説明】
【００４８】
【図１】本発明が適用されるネットワークの構成を示したブロック図であ
【図２】本発明のシーケンスフローを示した図である。
【図３】モバイル端末MNの主要部の構成を示した機能ブロック図である。
【図４】評価試験プログラムが実行されるモバイル端末MNの動作を示したフローチャートである。
【図５】評価試験中のモバイル端末MNの画面遷移の一例を示した図である。
【図６】評価試験プログラムが実行されるモバイル端末MNの動作を示したフローチャートである。
【図７】評価試験中のモバイル端末MNの画面遷移の一例を示した図である。
【図８】評価試験中のモバイル端末MNの画面遷移の一例を示した図である。
【図９】従来技術のオピニオン評価法における主観評価値の一例を示した図である。
【図１０】従来技術のインターネットを利用したWebアンケートの一例を示した図である。
【図１１】従来技術のモバイル端末を用いた評価試験方法の一例を示した図である。
【符号の説明】
【００４９】
１…携帯電話，２…PDA，３…無線基地局，４…無線アクセスポイント，５…評価試験サーバ，１０１…送受信部，１０２…変復調部，１０３…制御部，１０４…表示部，１０５…入力操作部，１０６…音響部，１０７…スピーカ
【図１】
2010140079.tif 000003
【図２】
2010140079.tif 000004
【図３】
2010140079.tif 000005
【図４】
2010140079.tif 000006
【図６】
2010140079.tif 000007
【図９】
2010140079.tif 000008
【図１０】
2010140079.tif 000009
【図１１】
2010140079.tif 000010
【図５】
2010140079.tif 000011
【図７】
2010140079.tif 000012
【図８】
2010140079.tif 000013