ゲームテストにおけるユーザー感情という「想いは不滅」

1

ユーザーテストの呼吸KLab株式会社
品質管理部

安田 芙美子
小林 祐子

自己紹介

3

自己紹介
KLab株式会社 QAエンジニア

安田 芙美子（やすだ ふみこ）
経歴●

いろいろ時代：不動産営業、事務（高校、IT系企業）など●

2013年8月 ：テスターとして入社○●

担当：ブラウザ/スマホゲーム、通販、出会い系アプリ など

2017年10月 ：KLab品質管理G QAエンジニアとして入社○

担当：男性アイドルゲーム、女性アイドルゲーム

夢●

ミニチュアホース（馬）を飼う

4

自己紹介
KLab株式会社 QAエンジニア

小林 祐子 （こばやし ゆうこ）
経歴●

2010年3月～：KLab 第一開発部入社（現在：品質管理部）○

モバイルサイトのテスター、カスタマーサポート対応、ゲームアプリのテスター○

QAエンジニア業務いろいろ

趣味
●

野球観戦

●

猫を吸う

5

会社紹介

6

会社概要
社名

KLab株式会社（クラブかぶしきかいしゃ）
KLab Inc.

設立

2000年8月1日

資本金48億6167万円（2020年10月末現在）

株式公開市場

東京証券取引所･市場第一部（3656）

代表者

代表取締役社長CEO 森田 英克
代表取締役副会長 五十嵐洋介

所在地

本社（東京都港区、六本木ヒルズ森タワー）
大阪事業所、福岡事業所、仙台事業所

主要関連会社

株式会社スパイスマート

海外拠点

可来软件开发（上海）有限公司 （KLab China Inc.）

グループ従業員数

正社員 563名(2020年9月末現在)
7スマホゲーム（基本無料オンラインゲーム）のビジネスモデル
基本無料ゲームのビジネスモデル＝入場料無料のテーマパーク
ン
ベーシックプラム
ツ・無料アイテン
テン
コ
本基＝フリープレイ
ユーザー

0円

テーマパーク＝ゲーム＝追加 プレミアムプ
コンテ
ンツ・ ラン
有料ア
イテ

購入

リピート・好感度上昇によりコンテンツの購入意欲UP

ム

コンテンツ購入ユーザー
8

今回の発表内容について
これから お話する内容は「スマホゲーム」に絞った話です

9

CONTENTS● ユーザーテストとは？
● KLabユーザーテストの経験● ユーザーテストを開発プロセスに組み込もう！
● ユーザーテストに名前をつけてみた● 各ユーザーテストのコンセプト● 現在の状況～今度の取り組み
● まとめ

10

CONTENTS● ユーザーテストとは？
● KLabユーザーテストの経験● ユーザーテストを開発プロセスに組み込もう！
● ユーザーテストに名前をつけてみた● 各ユーザーテストのコンセプト● 現在の状況～今度の取り組み
● まとめ

11

ユーザーテストとは？

12

ユーザーテスト とは
ユーザーテスト とは
Webサイトやソフトウェア、製品などの使いやすさ、使い勝手を実際にユーザーに試してもらうことによって、問題点や改善点を見つけること。

出典：impress BUSINESSMEDIA 用語集
https://webtan.impress.co.jp/g/ユーザーテスト

13

「ユーザーテスト」という言葉が示すもの
色々なユーザーテスト手法の総称＝「ユーザーテスト」

ユーザーテスト
アイトラッキング
手/指の動き確認シナリオレビュー
フォーカスグループ

クローズドβテスト
オープンβテスト
14

ユーザーテストのイメージ
皆さんは「ユーザーテスト」と言ったらどんなことを思い浮かべますか？

15ユーザーテストのイメージ
こんなイメージ…？

モニタリング（実際に使ってもらう）

アンケート
座談会（ヒアリング）

16

ユーザーテストで調べること
一般的なユーザーテスト○ 調べること■ デザイン■ 操作性■ UI/UX(ユーザーインターフェース/ユーザーエクスペリエンス)≒ 使いやすさ17ユーザーテストで調べること
P.10

ゲームのユーザーテスト○ 調べること■

使いやすさ（デザイン、操作性、UI/UX など）■面白さ■プレイ継続率■購入意欲 など

18

『ユーザ感情』を調べる
ゲームのユーザーテストで調べること ＝ ユーザ感情■面白さ= 面白い！
世界観■プレイ継続率 = 明日も遊びたい！
■購入意欲＝ 買いたい！
ユーザ感情
コンテキスト

実装◆三銃士モデルの概念図
詳しくは 本セッションの第一部「三銃士モデルの紹介」の資料をご覧ください19

ゲームのユーザーテスト
今回の発表では、「ゲームならではのユーザーテスト」についてお話します

20

CONTENTS● ユーザーテストとは？
● KLabユーザーテストの経験● ユーザーテストを開発プロセスに組み込もう！
● ユーザーテストに名前をつけてみた● 各ユーザーテストのコンセプト● 現在の状況～今度の取り組み● まとめ21KLab ユーザーテストの経験

22

KLabユーザーテストの経験
ユーザーテスト が 必要なかった時代● 2010年前後 ガラケーのゲーム(ブラウザゲーム)の全盛期● 社内のゲーム制作のプロの意見があれば、ヒットするゲームが作れていた● 社内でユーザーテストはやっていなかった

23

KLabユーザーテストの経験
ユーザーテストをやるプロジェクトの出現● 競合コンテンツの増加● 新プロジェクトの責任者（プロデューサー）がユーザーテストのデータの活用方法を知っており、スマホゲームでもユーザーテストをやる● ユーザーテストのおかげ？でユーザーから好評！

24

KLabユーザーテストの経験
ユーザーテスト やろうよ！時代● 開発進行中の各プロジェクトでユーザーテストが採用され、リリース前にユーザーテストが実施される

25

KLabユーザーテストの経験
これで 他のプロジェクトも上手くいく と 思われていたが…

なぜか上手くいかない…

26

KLabユーザーテストの経験
上手くいかなかったこと● ユーザーテストの目的と開発プロセスが噛み合わず、結果データを活かしきれない○ 最終調整段階でUI/UXの問題を検知しても直しにくい○ 直せずにリリース、サービス開始後に大規模な改修が発生した■ 大規模な改修が発生することによる追加のコスト増■ 計画外の稼働発生によるプロジェクトの負担増■ 想定していた機能追加ができず、ユーザーがゲームをプレイしなくなるリスク…
27

KLabユーザーテストの経験
なぜ上手くいかなかったのか、後々振り返ると…
● 「上手くいったプロジェクトのユーザーテストのやり方」を分析しないまま、ユーザーテストを導入してしまっていた…

28

うまくいった例◎Goodポイント● 開発フェーズの序盤から、ユーザーテストを複数回実施● 実施目的も段階的に変化させていた▼開発プロセス と ユーザーテストの実施タイミング
企画

設計
1

実施目的

最終調整

開発
2

総合評価 (面白さ)デザイン
UI/UX・操作性

3

4

総合評価 (面白さ)
遊びやすさ
大人数 接続確認5

6

7

総合評価 (面白さ)
継続・購入意欲
ゲームバランス29うまくいかなかった例✕Badポイント● 最終調整段階で 1回ユーザーテストを実施● ユーザーテストの実施目的が曖昧なまま実施▼開発プロセス と ユーザーテストの実施タイミング企画

設計

開発最終調整
1

実施目的

遊びやすさ
UI/UX
総合評価 (面白さ)
2D・3Dモデル操作性
バランス
購入意欲
30

成功例/失敗例 比較◎うまくいった例
企画

設計
1

実施目的

最終調整

開発
2

3

総合評価 (面白さ)デザイン
UI/UX・操作性

4
総合評価 (面白さ)
遊びやすさ
大人数 接続確認5

6

7

総合評価 (面白さ)
継続・購入意欲
ゲームバランス✕うまくいかなかった例
企画

設計

開発

最終調整
1

実施目的

遊びやすさ
総合評価 (面白さ)UI/UX
2D・3Dモデル
バランス
操作性
購入意欲
31

KLabユーザーテストの経験～～～ 反省 ～～～今後は、ユーザーテストを開発プロセスに組み込もう！！

32

CONTENTS● ユーザーテストとは？
● KLabユーザーテストの経験● ユーザーテストを開発プロセスに組み込もう！
● ユーザーテストに名前をつけてみた● 各ユーザーテストのコンセプト● 現在の状況～今度の取り組み
● まとめ

33

ユーザーテストを開発プロセスに組み込もう！

34

ユーザーテストの適切なタイミングとは？
過去の反省ポイント● ユーザーテストの実施タイミング：遅かった反省を活かして…
● ユーザーテストを早い段階＝『企画』『設計』からやればいい？？

企画

設計

開発

最終調整

35

ユーザーテスト の 適切なタイミング とは？
よく考えてみると…
● 『企画』『設計』フェーズ＝ 成果物は、プロトタイプ、企画書、仕様書 の段階● ユーザーが見ても、意味がわからないものがほとんど…

企画

設計

開発

最終調整

36

テーマパークで例えると…
● 企画、設計フェーズの成果物＝建設中のアトラクション○ まだ乗ることができない状態なのに、面白いかどうかはわからない……

37

ユーザーテストの適切なタイミングとは？
KLabの考え● ゲームがある程度出来上がらないと、ユーザーが魅力を感じられない＝ 低い評価になって当然なので、早すぎる段階でのユーザーテストの結果はミスリードする場合がある● ユーザーが理解できる段階からテストを実施する
ある程度、実装が進んでからユーザーテストを実施
それまでは、社内の有識者でレビューを行う
企画

設計

開発

最終調整

△ユーザーテストは必須ではない38

ユーザーテストの適切なタイミングとは？
なおかつ、過去の経験から学んだこと● 『最終調整』からテストをするのは遅すぎる● 『開発』の序盤からユーザーが理解できる成果物が出来上がるので、この段階からユーザー感情の確認が可能
その結果、のようになりました！

企画
設計△ユーザーテストは開発最終調整

必須ではない△ユーザーテストは必須ではない◎ 必須で行うユーザーテストを組み込む

ユーザーが理解できない成果物

ユーザーが理解できる成果物
39

過去事例 と 新しい開発プロセス の比較
ユーザーテストの実施タイミングと回数▼過去：うまくいった例
企画

設計

最終調整

開発
1

2

3

4

5

67

▼過去：うまくいかなかった例
企画

設計

最終調整

開発

1

▼新しい開発プロセス
企画

設計

最終調整

開発
1

2

3

4540

ユーザーテストで確認することゲームの開発進行度合いにあわせて確認することを整理● 開発の初期段階＝総合評価(面白さ)、デザイン、UI/UX・操作性● 開発の中盤以降＝総合評価(面白さ)、継続・購入意欲、ゲームバランス、大人数 接続確認
企画

設計
1

実施目的

開発
2

総合評価(面白さ)
デザイン
UI/UX・操作性

最終調整
3

4

5

総合評価(面白さ)
継続・購入意欲
ゲームバランス
大人数 接続確認41

ユーザーテストの被験者
ユーザーテストの被験者● ゲームが未完成の段階＝社内・テスト会社で被験者を集める● ゲームが完成した段階＝一般ユーザーに公開
企画

設計
1

実施目的

被験者

開発
2

総合評価(面白さ)
デザイン
UI/UX・操作性

社内・テスト会社

最終調整
3

4

5

総合評価(面白さ)
継続・購入意欲
ゲームバランス
大人数 接続確認

一般ユーザー42ユーザーテストの社内認識を統一させるには…
開発プロセスに組み込んだので、社内の認識を統一させたい● そのために、各ユーザーテストを表すテスト名称が必要

企画

設計

最終調整

開発

？？？

？？？

？？？

？？？

？？？

43

CONTENTS● ユーザーテストとは？
● KLabユーザーテストの経験● ユーザーテストを開発プロセスに組み込もう！
● ユーザーテストに名前をつけてみた● 各ユーザーテストのコンセプト● 現在の状況～今度の取り組み● まとめ44

ユーザーテストに名前をつけてみた45

ユーザーテストに名前をつけてみた● 各ユーザーテストの名前を決めるにあたり、何度も議論を重ねました

社外クローズドβ

CBT
OBT

フォーカスグループテスト

ユーザー参加テスト
コアゲームプレイ会

46

ユーザーテストに名前をつけてみた
採用されなかった名前の例：『フォーカスグループテスト』
理由：名前を「テスト手法」にしてしまうと、「何が目的のテストなのか」わかりくくなってしまう…
開発プロセス
企画

設計

最終調整

開発
フォーカスグループテスト

フォーカスグループテスト

フォーカス
グループテスト4547

ユーザーテストに名前をつけてみた● ネーミングのコツ● 社内のテストに詳しくない人でも覚えられるように、「テスト目的のイメージしやすさ」「覚えやすさ」を大事に
企画

設計

最終調整

開発
ゲームサイクル
テスト

UI / UX
テスト

ゲームバランス
テスト

テストの実施目的からネーミング
被験者

社内・テスト会社

CBT

OBT

一般ユーザーにもわかりやすい名称
一般ユーザー
48

CONTENTS● ユーザーテストとは？
● KLabユーザーテストの経験● ユーザーテストを開発プロセスに組み込もう！
● ユーザーテストに名前をつけてみた● 各ユーザーテストのコンセプト● 現在の状況～今度の取り組み● まとめ49

各ユーザーテストのコンセプト

50

各ユーザーテストのコンセプト
ゲーム

アンケート

● ゲームサイクルテスト○ ゲームサイクル、ゲーム駆け引きなどゲームのシステムが出来ていることを確認する

企画

設計

最終調整

開発
ゲームサイクル
テスト

UI / UX
テスト

ゲームバランス
テスト

CBT

OBT

51

ゲームサイクルとは？
ゲームサイクル とはプレイヤーが継続して遊び続けたくなる動機付けの循環の仕組みのことを指します。
例えばソーシャルゲームにおいては、最も一般的に使われている仕組みの1つに、【行動】→【報酬】→【拡張】のサイクルがあります。
出典：GDX Newshttps://g-dx.jp/docs/ゲームサイクル

52

ゲームサイクルテスト - 補足
アンケート例：継続意向
質問：引き続きプレイを続けたいですか？

プレイ時間11hを超えたあたり…
ストーリー第三章に差し掛かる頃か…
バトルの難易度を調整した方が良さそう…

「①止めたい」が急増

53

各ユーザーテストのコンセプト● UI/UXテスト○ UI/UXの観点から、ユーザーが迷うこと無くゲーム内の導線を把握していることを確認する

企画

設計最終調整開発
ゲームサイクル
テスト

UI / UX
テスト

ゲームバランス
テスト

CBT

OBT

54

UI/UXテスト - 補足
UI/UXテストの例：
画面上の各種表示をユーザーに認識してもらえているか、アイトラッキング装置などを使って測定©KLabGames55

各ユーザーテストのコンセプト● ゲームバランステスト○ ユーザーがプレイして進行が行き詰まる箇所がないかなど、ゲームバランスを確認する

企画

設計

最終調整

開発
ゲームサイクル
テスト

UI / UX
テスト

ゲームバランス
テスト

CBT

OBT

56

ゲームバランステスト - 補足
ゲームバランスの具体例● ゲーム内コインの配布量○多すぎると購入が不要になってしまう○

少ないとガチャが回せずユーザーが不満に● バトル難易度設定○

難易度を徐々に上げていかないとやり甲斐がない○

難しくしすぎるとユーザーが離れてしまう● ログインボーナス(アイテム配布)のタイミング○想定した進行速度と合わないとアイテムの使いどころがない

57

各ユーザーテストのコンセプト● クローズドベータテスト(CBT)○ 本番相当の環境にユーザーを招待し、ゲームの継続プレイ率などの想定した目標値と実データの比較をする

企画

設計

最終調整

開発
ゲームサイクル
テスト

UI / UX
テスト

ゲームバランス
テスト

CBT

OBT

58

各ユーザーテストのコンセプト● オープンベータテスト(OBT)○ リリース前の最終品質として、サーバー負荷などを含む総合的な確認を行う

企画

設計

最終調整

開発
ゲームサイクル
テスト

UI / UX
テスト

ゲームバランス
テスト

CBT

OBT

59

CONTENTS● ユーザーテストとは？
● KLabユーザーテストの経験● ユーザーテストを開発プロセスに組み込もう！
● ユーザーテストに名前をつけてみた● 各ユーザーテストのコンセプト● 現在の状況～今度の取り組み
● まとめ

60

現在の状況～今後の取り組み

61

現在の状況
新しいプロジェクトで 新しい開発プロセスを導入中
ユーザーテスト組み込みの結果が見えてくるのは、もう少し先…

62

少し先の未来
新しい開発プロセス導入によって期待していること① ゲームの魅力的品質の向上● より「面白い！」と思ってもらえるゲームを…
② 過去の過ちを繰り返さない● コストを抑える● プロジェクトの負荷を軽減するデータを蓄積しながら、改善していきます！
63今後の取り組み② ゲームテスト研究会
三銃士モデルの研究● 詳しくは 本セッションの第一部「三銃士モデルの紹介」の資料をご覧ください● 2020年は あまり活動ができませんでしたが…

64

今後の取り組み② ゲームテスト研究会
三銃士モデルの研究● 今後、ユーザーテストと三銃士モデルの研究をやってみる…？
今回の取り組みで感じたこと：○ ゲームのユーザーテストで「調べたいこと」の特徴■ 面白さ(シナリオ) ▶ 世界観＋ユーザー感情■ プレイ継続率 ▶ コンテキスト ＋ ユーザー感情■ 購入意欲▶ コンテキスト ＋ ユーザー感情65今後の取り組み② ゲームテスト研究会
三銃士モデルの研究

世界観● 三銃士モデルの概念図にユー
和の調面白さ (対戦)

ユーザ感情

世界観とコ

現の実界観

ンテ
キスト

面白さ (シナリオ)

る世

当てはめると…？によ実装

ザーテストを購入意欲
コンテキスト

継続意欲

UI/UX

実装

実装とコンテキストの整合66

ゲームテスト研究会へのお誘い
あなたも ゲームテスト研究会に参加しませんか？？
● 研究会の紹介○ MTG：月１程度（JaSST前は多め）○ 活動理念：“ゲームテストをする人が 楽ができるようにしたい”○ 研究内容：三銃士モデル、テスト業務での課題 など

ご興味がある方はquery@aster.or.jp
まで、お気軽にご連絡ください♪

67

CONTENTS● ユーザーテストとは？
● KLabユーザーテストの経験● ユーザーテストを開発プロセスに組み込もう！
● ユーザーテストに名前をつけてみた● 各ユーザーテストのコンセプト● 現在の状況～今度の取り組み● まとめ68

まとめ●

ゲームのユーザーテストは「調べたいこと」に特徴あり●

一般的なユーザーテスト＋「面白さ」「プレイ継続率」「購入意欲」など●

ユーザーテストの実施タイミングは早すぎず・遅すぎずユーザーが理解できる成果物の段階から、かつ、最終調整段階では遅すぎる●

実施目的などを整理して開発プロセスへ組み込もう
開発フェーズ、ユーザーテストの実施目的などを整理、段階的に組み込むいただいた ご質問については、後日 回答をつけた資料を
JaSST公式ページに UP予定です！
69

Q&A

70

Q＆A
Q. ユーザーテストのコストは、どの程度を見込んでおくといいのでしょうか？規
模感も知りたいです。
A. ユーザーテストの内容（被験者数やレポート内容など）で、金額が変動します。
Q. 海外向けのゲームでは海外ユーザーでテストをする？
A. なるべく実際リリースしたときのデータに近いものを取るため、可能な限り、ゲームのメインターゲットの地域でテストしています。

71

Q＆A
Q. アンケートって、どんな内容が多い？ ヒアリングのコツがある？
A. ユーザーテストの目的によりけりではありますが、総合的な評価だったり、機能別に何が良かったか、あとどんなところに不満があったか聞いてますね。ヒ
アリングのコツについては、誘導尋問してはいけないので、プロの方にお任せしています。
Q. アイトラッキングシステムは、社内にシステムを常備している感じですか？
結構な値段の記憶がありまして・・・
A. こちら、社内には常備できていないですね。現状はレンタルする形で使用しております。
72

Q＆A
Q. 発表された5つのユーザーテスト以外にも状況によっては追加で実施したりするのですか？
A. プロジェクト側から相談などがあれば、追加で行います。例えば、ゲーム内のストーリーの内容について「事前に感想を聞きたい」という場合は、シナリオのレビューをするテストをしました。

73

Q＆A
Q. 通常の機能テストとユーザーテストは、並行して行っているのでしょうか？
A. 社内やテスト会社で行うユーザーテストの段階では、ゲームが完成していないので、機能テストを並行して行っています。
一般ユーザーに遊んでもらうユーザーテストは、ゲームが完成している必要があるので、その前に機能テストは完了しています。

74