効率的な『項目外評価体制』の構築を目指して～デジタルハーツの「能動的デバッグ」のノウハウについて～
２０１０年１月２８日
株式会社デジタルハーツ 取締役COO
川口 兼一郎Copyright 2010 DIGITAL Hearts Co., Ltd. All Rights Reserved.

会社紹介①：概要・沿革
製品の不具合を無くす為に設立した上場企業唯一の独立系テスト専門企業です。
社名

株式会社デジタルハーツ

年月

沿革

設立

2001年（平成2001年（平成13年（平成13年）４月13年）４月19年）４月19日
19日

2001年４月
年４月

東京都杉並区方南一丁目に有限会社デジタルハーツを設立
コンシューマゲーム・パチンコを対象としたデバッグサービスの提供を開始

上場市場

東京証券取引所 マザーズ市場（証券コード：3620（証券コード：3620）3620）

2001年
年10月
月

事業規模の拡大に伴い本社を渋谷区笹塚二丁目に移転

2002年９月
年９月

一般労働者派遣事業の許可を取得

資本金２億7,267
２億7,267万円（7,267万円（2009万円（2009年９月2009年９月30年９月30日現在）30日現在）

2003年９月
年９月

携帯電話アプリケーションを対象としたデバッグサービスの提供を開始

発行済株式数

57,777株（57,777株（2009株（2009年９月2009年９月30年９月30日現在）30日現在）

2003年
年10月
月

株式会社に組織変更

事業内容

総合デバッグサービス
総合デバッグサービス

2004年８月
年８月

社団法人コンピュータエンターテインメント協会に正会員として加入

2005年１月
年１月

事業規模の拡大に伴い本社を渋谷区笹塚一丁目に移転

事業セグメント組込ソフトリレーション
組込ソフトリレーション
モバイルリレーション
モバイルリレーション
アミューズメント機器リレーション
アミューズメント機器リレーション
コンシューマゲームリレーション
コンシューマゲームリレーション

2005年４月
年４月

大阪府大阪市淀川区に大阪営業所を開設

2005年８月
年８月

愛知県名古屋市中村区名駅南に名古屋営業所を開設

2006年６月
年６月

東京都千代田区に秋葉原営業所を開設 [現、秋葉原Lab.(
現、秋葉原Lab.(ラボ）Lab.(ラボ）]ラボ）]

2007年７月
年７月

神奈川県横浜市西区に横浜営業所を開設 [現、横浜Lab.(現、横浜Lab.(ラボ）Lab.(ラボ）]ラボ）]

2007年９月
年９月

Microsoft Co.,
Co.,Ltd.,Ltd.
Ltd. より「Xboxより「Xbox 360®
360®」の推奨ゲームテスト企業認定(AXTP)」の推奨ゲームテスト企業認定(AXTP)を(AXTP)を日本企業として初めて取得

2007年
年10月
月

財団法人日本情報処理開発協会より「プライバシーマーク」の付与認定を取得 [認定番号：第A822640
認定番号：第A822640（A822640（01）号01）号]）号]

2008年２月
年２月

東京証券取引所 マザーズ市場に上場 [証券コード：3620]
証券コード：3620]

2008年５月
年５月

北海道札幌市に札幌営業所を開設

2009年４月
年４月

福岡県福岡市中央区に福岡Lab.(
福岡県福岡市中央区に福岡Lab.(ラボ）を開設
Lab.(ラボ）を開設

2009年９月
年９月

米国ロサンゼルスにロサンゼルス営業所を開設

本社

東京都渋谷区笹塚1
東京都渋谷区笹塚1-6464-8 笹塚サウスビル３F
笹塚サウスビル３F

拠点

大阪/大阪/名古屋/名古屋/札幌/札幌/横浜/
横浜/秋葉原/秋葉原/福岡/LA
福岡/LA

従業員数

4,298人（4,298人（2009人（2009年９月末現在・登録スタッフ含む）2009年９月末現在・登録スタッフ含む）

主要取引先

株式会社 ソニー・コンピュータエンタテインメント
任天堂 株式会社
マイクロソフト ディベロップメント 株式会社
KDDI株式会社
KDDI株式会社
株式会社カプコン
株式会社セガ他（五十音順、敬称略）

Copyright 2010 DIGITAL Hearts Co., Ltd. All Rights Reserved.

会社紹介②：ビジネスモデル
発売前のソフトウェアや、リリース前のシステムの不具合をユーザー視点から検証して報告するサービスを提供致しております(当社で言う“デバッグサービス”)

家電業界様ソフトウェア
検証依頼

デバッグサービス

組込業界様（検証・最終品質テスト）

携帯業界様アミューズメント
業界様

研修
教育

ゲーム業界様システム開発業界様

雇用（社保対象者全加入）
当社雇用・登録スタッフ

顧 客

不具合情報
報告Copyright 2010 DIGITAL Hearts Co., Ltd. All Rights Reserved.

フリー評価がデタラメ！？
 昨今の高機能デジタル家電製品においては、項目書に沿った評価だけでなく、項目外のフリー評価の重要性が増しています。しかしながら多くのメーカー様では体系的なフリー評価は行なわれておらず、評価者の個人能力に頼っているのが現状となっています
割合は増えているが個人能力に頼る評価が主流なため成果が安定しないフリー評価を「組織化」するノウ
ハウで有効な評価体制を構築

項目外評価

項目内評価

各機能に精通したスタッフによる体系的な評価を実施している

項目外評価

組織的なフリー評価の導入

項目内評価

体系的な「フリー評価体制」の構築により、日常操作での不具合（≒返品率に直結する不具合）を効率的に検出します

Copyright 2010 DIGITAL Hearts Co., Ltd. All Rights Reserved.

一般的なフリー評価と「能動的デバッグ」の比較一般的なフリー評価体制
各テスター個人への依存度が高い各テスターのスキル把握が難しい
バグ検出分野や検出率に偏りがある
テストチーム全体に効率的な指示が出しにくい 反省や、フィードバックが難しい

弊社の「能動的デバッグ」
組織力により個人への依存度を低減
各テスターの能力を詳細に把握
バグ検出分野、検出率の安定化が可能
テストチームの統率が取れており、指示が出しやすい
 テスト結果からのフィードバックを次回テストに生かすことが出来る

・弊社では、「能動的デバッグ」という独自の項目外フリー評価を行っています・「能動的デバッグ」では、観点や目的に沿ったポジション配置とチーム編成を行います。ゲームソフトのフリー検証からスタートした弊社だからこそできる独自のノウハウでテストチームのマネジメントを行なっています・「能動的デバッグ」を行えば、限られた時間とリソースの中でも効率的に 狙いたい分野のバグを検出することが出来ます
Copyright 2010 DIGITAL Hearts Co., Ltd. All Rights Reserved.

「能動的デバッグ」の方程式
 弊社では弊社では、では、チームで行チームで行う「能動的デバッグ能動的デバッグ」デバッグ」の精度を精度を以下の以下の式で定義しています
定義していますテスターのセンス×テスターの経験値
テスターの経験値

×ポジションの組合ポジションの組合せ
組合せ

×

チーム戦略
チーム戦略

個人能力

チームシナジー（操作困難なパラメータ）（操作可能なパラメータ）

可視化して把握

意図的に操作操作困難なパラメータを可視化して把握した上で、操作可能操作困難なパラメータを可視化して把握した上で、操作可能なパラメータを動かし、バグ検出率やバグ検出分野をコントなパラメータを動かし、バグ検出率やバグ検出分野をコントロールするのが、弊社の「能動的デバッグ」のノウハウです！
ロールするのが、弊社の「能動的デバッグ」のノウハウです！
Copyright 2010 DIGITAL Hearts Co., Ltd. All Rights Reserved.

個人能力の把握に関して

当日のみ

Copyright 2010 DIGITAL Hearts Co., Ltd. All Rights Reserved.

チームシナジーについて
各ポジションの役割分担

各ポジションの評価範囲イメージ

リーダー

横軸：操作のイレギュラー度合

高広範な操作に精通するチームリーダー。各メン
バーの進捗の把握、観点の調整などを行なう

縦軸：バグ検出率

エキスパート

エキスパート
弊社内でも高度なセンスと経験を持ったテスター。
既知不具合情報、端末仕様情報などから類推し、ピンポイントでのテストを得意とするポジション。テスト観点の抽出などリーダーのフォローも行なう

異常アクティブアタッカー

正常
ノーマルテスター

アクティブアタッカー
異常操作を中心に行い、不具合検出率を上げていくことを目的としたポジション。発想力に優れ、通常行なわれにくい操作などを主に担当
低ノーマルテスター
日常操作周りのチェックやロールプレイを担当するポジション。素直な操作を中心とするため、細かい点によく気づき、根気強いタイプのメンバーが中心。
一般ユーザに最も近い立場でのテストを担当

各ポジションの比率
ポジションの比率やチーム比率やチーム戦略やチーム戦略を戦略を組合せ
組合せ、チーム構成
チーム構成に構成に多様性を多様性を持たせることで、たせることで、バグ検出分野や検出分野や、検出率のコントロールが検出率のコントロールが可能のコントロールが可能

Copyright 2010 DIGITAL Hearts Co., Ltd. All Rights Reserved.

プロジェクトに対して構成されるチーム例

当日のみ

Copyright 2010 DIGITAL Hearts Co., Ltd. All Rights Reserved.

「能動的デバッグ」の有用性
幣社内で行う検証作業において、「能動的デバッグ」「「あり」「なし」あり」のチームと「なし」のチームを平行して走らせる実験を行っております。「あり」のチームは適切なポジション配置を行い、「重大なバグを中心に狙う」という戦略をとり、「なし」のチームには、特に指示を与えず、ポジション配置も行っていません。
バグ検出数の比較
114

バグ検出分野とばらつき具合の比較
70%

112
60%

110

１２％
１２％UP!

108

Aバグ
バグ、バグをバグ、Bバグを多く検出！
検出！

50%

106

あり
なし

40%

104
102

30%

100

20%

98
10%

960%

94
なし

Aバグ

あり

Bバグ

Cバグ

※各棒グラフ上の線はばらつき具合（標準偏差）を表しています

結果考察•バグ検出数は、「なし」のチームの平均を100としたとき、「あり」のチームの平均は112（12％％アップ）
アップ•「あり」のチームは「なし」のチームに比べて、Aバグバグ、バグの検出率バグ、Bバグのバグの検出率が検出率が高く、ばらつきも小ばらつきも小さくなっている。
さくなっている。

「能動的デバッグ」は安定的に高い効果が期待できます！
Copyright 2010 DIGITAL Hearts Co., Ltd. All Rights Reserved.

テスト効果を最大限発揮するために

テストは「人の手」で行われている– フリー評価の分野では単調になりがちな作業において、「根気」と「閃き」を維持し続ける必要があります– デジタルハーツはその名の通り、高度化したデジタル社会の中でも「心」を大切にする会社でありたいと考えています。弊社の品質は「人材」が命です。評価の品質を保つために評価者のモチベーションを高く維持する施策に全社的に取り組んでいます。
– これは協力会社からの派遣などを一切扱わず、全スタッフを自社雇用とする弊社だからこそ可能な取り組みです

Copyright 2010 DIGITAL Hearts Co., Ltd. All Rights Reserved.

ご参考：モチベーション維持に関する資料
モチベーションアップの施策の一例◆リフレッシュルームの充実◆マイページにてメンタルフォロー実施◆Office研修・スキルアップ研修の実施◆積極的な社員登用◆月間・年間のテスターMVP発表◆テスター対象イベントの開催（ゲーム大会等）◆全作業者対象の社員との定期面談◆会社負担での健康診断の実施◆各管理者の作業場への定期巡回◆打ち上げ等の飲み会は会社負担

社員・テスター参加自由のゲーム大会の風景です。

年度末のテスター打ち上げのテスターＭＶＰ受賞の風景。

成績上位者には賞品も用意しています

月間、及び年間のテスターＭＶＰが選出されます

Copyright 2010 DIGITAL Hearts Co., Ltd. All Rights Reserved.

デジタルハーツの想い
デジタルハーツの由来は「Hearts to Hearts」「能動的デバッグ」は、高いモチベーションを持ったテスターとチームが、「製品」に「心」を注ぎ、「誠品」に変える作業です（メーカー様、キャリア様）

能動的デバッグ
能動的デバッグ（ユーザー様）

誠品

製品

様々なデータをお示ししましたが、「能動的デバッグ」の「真の」方程式は、「センス」×「経験値」×「組合せ」×「戦略」×「「心」「誠品」「心」が宿った「誠品」は、必ずユーザー様にもご満足頂けると、弊社は信じています！
Copyright 2010 DIGITAL Hearts Co., Ltd. All Rights Reserved.