イマドキのテストツール～ラクするために、ちょっと頑張る～
日本ノーベル株式会社
技術統括本部
ソフトウェア検証ビジネスグループ
東 大輔

Copyright ©2011 Japan Novel Corporation. All rights reserved.

自己紹介◘ 名前：東 大輔（あずま だいすけ） 40歳
歳◘ 所属：日本ノーベル株式会社
技術統括本部 ソフトウェア検証ビジネスグループ
 NPO法人
法人ASTER
法人会員
JaSST Tokyo 実行委員会
ソフトウェアテストツールWG
 S-open メトリクスSIG
メトリクス
 TestLink 日本語化部会
 Androidテスト部
テスト部◘ Twitter: @dicea◘ FB: Daisuke AZMA （←「「U」不要！）」不要！）
Copyright ©2011 Japan Novel Corporation. All rights reserved.

アジェンダ◘ 営業トーク（10分）
営業トーク（ 分）◘ 日本のツール概観（30分）
日本のツール概観（ 分）◘ 言いたいこと（10分）
言いたいこと（ 分）Copyright ©2011 Japan Novel Corporation. All rights reserved.

アジェンダ◘ 営業トーク◘ 日本のツール概観◘ 言いたいこと

Copyright ©2011 Japan Novel Corporation. All rights reserved.

Quality Commander とは？
◘ テスト自動化システムです

Copyright ©2011 Japan Novel Corporation. All rights reserved.

動画を見た方が早いですね

Copyright ©2011 Japan Novel Corporation. All rights reserved.

JaSST’11 CEDEC 用スペシャルムービー

Copyright ©2011 Japan Novel Corporation. All rights reserved.

QualityCommanderの実績例：スマートフォンの実績例：スマートフォン◘ もし自動化していなかった場合の工数算出
機種
A

B

テスト内容

実行回数

手動係数

工数換算

高ランク(S,A)バグ修正確認

9,360

12回/H

780H

BlueScreen再現試験

1332

30回/H

44.4H

高ランク(S,A)バグ修正確認

1930

12回/H

160.8
HBlueScreen再現試験

6584

120回/H

54.8H

合計

19,206

備考

BlueScreen発見：7回

BlueScreen発見：1回
画面ノイズ発見：38回

1040H

1040H ＝ 6.5 人月分を自動テストでカバー人月分※手動テストでのテスト実施効率を、手動係数にて算出

2011
JapanNovelCorporation.
Rights Reserved.
Copyright(C)©2011JapanNovelCorporation.
All rightsAllreserved.

8

Quality Commander まとめ◘ 自動テスト対象▶ ケータイ、カーナビ、デジカメ、テレビ、ゲーム機器 etc.

アプリ
▶ Windowsアプリ◘ 売りは画像処理技術▶ ロボットメーカーではありません◘ 販売開始から早10年
販売開始から早 年▶ お客様に育てていただいた製品です◘ 豊富なオプションでまるごと自動化▶ オプション数は24オプション数は もあります

３F展示ブースでご覧ください！
展示ブースでご覧ください！
Copyright ©2011 Japan Novel Corporation. All rights reserved.

第三者検証サービスでの活用事例◘ 実績：携帯電話メーカー様、ミドルウェアベンダー様、デジタルカメラメーカー様◘ リグレッションテスト
▶ バージョン毎の品質を確認

手動テストを開始して良いかの判断材料◘ 再現テスト▶ 夜間・週末の実施で数個のテストケースを7千回実行
夜間・週末の実施で数個のテストケースを 千回実行ex.)テストケースにもよるが、テストケースにもよるが、5000回実施して再現しなければ修正済と回実施して再現しなければ修正済とテストケースにもよるが、判断する◘ 競合系テスト▶ ～するタイミングで、～をする▶ ～の状態で、～をする
Copyright ©2011 Japan Novel Corporation. All rights reserved.

テスト設計CASEツール
ツール
テスト設計
◘ テスト設計時に使うCASEツール
ツール
テスト設計時に使う▶ Computer Aided Software Engineering

テスト設計はエンジニアリング
テスト設計はエンジニアリングです。
エンジニアリングです。
専用ツールを使いましょう！
専用ツールを使いましょう！

脱エクセル！

Copyright ©2011 Japan Novel Corporation. All rights reserved.

テスト設計CASEツール
ツール
テスト設計
エクセルで満足できますか？
▶ テスト仕様の版管理
08_カメラ機能
カメラ機能_最新
カメラ機能 最新_20101224.xls
最新
08_カメラ機能
カメラ機能_20101228.xls
カメラ機能
08_カメラ機能
カメラ機能_20101228_old.xls
カメラ機能▶ 「ファイルを開くのに１分待ちます」「フィルタ設定すると、さらに１分待たないといけないんです」▶ まさかファイルの共有とか「せっかく入力したテストケースが消えてる・・・」▶ 入力パラメータのパターンを生成「別ツールを起動して、えーと・・・」

Copyright ©2011 Japan Novel Corporation. All rights reserved.

テスト設計CASEツール
ツール
テスト設計

Copyright ©2011 Japan Novel Corporation. All rights reserved.

賢者のツール

2011年春年内
年春年内発売予定
ご期待ください！
Copyright ©2011 Japan Novel Corporation. All rights reserved.

本件に関するお問い合わせ

自動テスト スマートフォン

検索E-Mail：Mail：sales@jnovel.co.jp
TEL : 0303-39273927-8801
http://www.jnovel.co.jp/

Copyright ©2011 Japan Novel Corporation. All rights reserved.

アジェンダ◘ 営業トーク（10分）
営業トーク（ 分）◘ 日本のテストツール概観（30分）
日本のテストツール概観（ 分）◘ 言いたいこと（10分）
言いたいこと（ 分）Copyright ©2011 Japan Novel Corporation. All rights reserved.

テストツールは使われているのか？
◘

経産省 2010年版
年版 組込みソフトウェア産業実態調査報告書より

Copyright ©2011 Japan Novel Corporation. All rights reserved.

テストツールは使われているのか？
◘

経産省 2010年版
年版 組込みソフトウェア産業実態調査報告書より

１１％

５％

Copyright ©2011 Japan Novel Corporation. All rights reserved.

テストツールは使われているのか？
◘

経産省 2010年版
年版 組込みソフトウェア産業実態調査報告書より

１２％

１０％

Copyright ©2011 Japan Novel Corporation. All rights reserved.

テストツールは使われているのか？
◘経産省 2010年版
年版 組込みソフトウェア産業実態調査報告書より２４％！

２１％！

Copyright ©2011 Japan Novel Corporation. All rights reserved.

テストツールは使われているのか？
◘経産省 2010年版
年版 組込みソフトウェア産業実態調査報告書より

Copyright ©2011 Japan Novel Corporation. All rights reserved.

テストツールは使われているのか？
◘

経産省 2010年版
年版 組込みソフトウェア産業実態調査報告書より

Copyright ©2011 Japan Novel Corporation. All rights reserved.

テストツールは使われているのか？
◘

日経SYSTEM
ITPro 開発支援ツール徹底調査2011
テスト編 ツール利用率より
日経
開発支援ツール徹底調査

Copyright ©2011 Japan Novel Corporation. All rights reserved.

テストツールは使われているのか？
◘日経SYSTEM
ITPro 開発支援ツール徹底調査2011
テスト編 ツールを使っていない理日経
開発支援ツール徹底調査
由より

Copyright ©2011 Japan Novel Corporation. All rights reserved.

テストツールは使われているのか？
結論：「テストツールはあまり使われていない」
1. 導入コストが高い◘◘◘

商用ツールだけでなく、OSSにも良いものがあるにも良いものがある
商用ツールだけでなく、ROIシミュレーションなど導入効果を計れているのか？
シミュレーションなど導入効果を計れているのか？
義理人情も？

2. 手作業で行った方が早い◘◘

プロダクトの性質 → テストにコストは割けません
プロセスの性質 → 1回しかテストしません
回しかテストしません

3. どんなツールがあるのか知らない
忙し過ぎるのか、情報弱者→ ASTER ツールWGの動向の動向
ツール◘Copyright ©2011 Japan Novel Corporation. All rights reserved.

テストツールは使われているのか？
◘日経SYSTEM
ITPro 開発支援ツール徹底調査2011
テスト編 ツールの満足度より
日経
開発支援ツール徹底調査

Copyright ©2011 Japan Novel Corporation. All rights reserved.

アジェンダ◘ 営業トーク（10分）
営業トーク（ 分）◘ 日本のツール概観（30分）
日本のツール概観（ 分）◘ 言いたいこと（10分）
言いたいこと（ 分）Copyright ©2011 Japan Novel Corporation. All rights reserved.

ラクするために、ちょっとがんばろう◘

品質確保のために投資を！
▶

投資できるようステークホルダーに働きかける
1.

2.

3.

4.

プロジェクトを分析する改善できる点はあるはず
ツールを導入する
自動テストツールだけではないツールを使いこなす
必ずスタディが必要
勉強会をする
ツールをプロセスに組み込む
インフラ化する

ソフトウェアテストはエンジニアリング
ソフトウェアテストはエンジニアリングである
エンジニアリングである
Copyright ©2011 Japan Novel Corporation. All rights reserved.

ラクするために、ちょっとがんばろう◘

操作を覚えるのに時間がかかる 21.3%▶

◘

エンジニアですよね？
エンジニアですよね？

テストスクリプト／テストデータのメンテナンスが大変 20.8%▶

工夫をする

メンテナンスが大変なら最小になるよう

Copyright ©2011 Japan Novel Corporation. All rights reserved.

工夫の1例
工夫の 例◘◘

部分的に機種ごとに必要なファイルを作成
機種間で同じ操作の部分は遷移シナリオとして作成し効率アップ
複写機

環境設定ファイル

機種A

機種B

機種C

機種D

環境設定A

環境設定B

環境設定C

環境設定D

A用前処理
シナリオ

B用前処理
シナリオ

C用前処理
シナリオ

D用前処理
シナリオ

MSエクセルをベースとしたエクセルをベースとしたシナリオ作成支援ツールで作成

遷移シナリオ
遷移シナリオ
遷移シナリオ
遷移シナリオ

テストシナリオ

検査シナリオ
検査シナリオ
検査シナリオ
検査シナリオ
A用画像

B用画像

C用画像

D用画像

Quality Commander
Copyright ©2011 Japan Novel Corporation. All rights reserved.

工夫の1例
工夫の 例
前処理

遷移試験/判定◘ 試験/判定部分までをシナリオ
試験 判定部分までをシナリオ作成者がゼロから作る必要がない◘ シナリオ作成時には試験/判定
シナリオ作成時には試験 判定箇所に注力できる◘ どのタイプの試験でも流用が可能

さらなる進化が必要！
後処理

Copyright ©2011 Japan Novel Corporation. All rights reserved.

まとめ◘ ツールを使おう！
▶ 特に日本製◘ ツールを使いこなす工夫をしよう！
▶ ベンダやユーザーズグループに相談してみよう◘ 仲間を増やそう！
▶ 勉強会、コミュニティ◘ パイロットプロジェクトで成功事例をつくろう！
◘ うまく運用してインフラ化
うまく運用してインフラ化しよう！
インフラ化しよう！

Copyright ©2011 Japan Novel Corporation. All rights reserved.

まとめツールを使ってネ！

アジアを、そして世界をリーディングするソフトウェアテスト技術を共に目指しましょう！
Copyright ©2011 Japan Novel Corporation. All rights reserved.