テスト⾃自動化サービスプロバイダがこっそり教える成功の秘訣
⽇日本ノーベル株式会社
澤⽥田 　悠介

Japan Novel Corporation

⾃自⼰己紹介：澤⽥田 　悠介
⽇日本ノーベル株式会社
技術統括本部検証システムビジネスグループ
Quality  Commander開発チーム
Quality  Commanderを利利⽤用した検証-‐‑‒-‐‑‒WACATE実⾏行行委員会
2
Copyright @2015 Japan Novel Corporation. All rights reserved.

⽇日本ノーベル株式会社
会社概要
l 設⽴立立：  1980年年4⽉月9⽇日
l 所在地：  〒114-‐‑‒0002   　東京都北北区王⼦子2-‐‑‒30-‐‑‒2l 代表者：  鈴鈴⽊木  祥夫
l 従業員数：  120名
l 売上⾼高：17億4700万円 　（2014年年6⽉月期）	

日本ノーベルは、創業以来、	組込み・計測制御・産業分野のソフト開発に特化した専門技術者集団です。
こだわりのITで社会の発展に貢献いたします。 		

3
Copyright @2015 Japan Novel Corporation. All rights reserved.

本セッションの前提Quality
Commander
ご存知ですか？
4
Copyright @2015 Japan Novel Corporation. All rights reserved.

テスト⾃自動化システム  Quality Commander
ロボットが端末のボタンを押し、遷移する画⾯面をカメラで撮影。
実測・期待画像を画像判定する
携帯、⾞車車載、デジタル家電、産業機器、アプリに適⽤用可能
OSに依存しないテスト⾃自動化が可能
導⼊入実績No.1  （当社調べ）の⾼高性能システム

携帯電話キャリア／メーカ、⾞車車載メーカにてご利利⽤用中2
1

ロボットが押す

カメラで撮影3

⾃自動判定

特許取得済み5
Copyright @2015 Japan Novel Corporation. All rights reserved.

システム構成（XY＋プランジャー）

OracleData  Base

プランジャー

プランジャー	

制御⽤用PC
基本システム構成l H/WPC(Windows7)  英語OS可／液晶モニタ／ロボット（ＸＹロボット）／アダプタユニット（評価機固定冶具）／CCDカメラ（200万画素~∼）  ／プランジャーl S/W
Quality  Commander／Oracle／画像処理理ライブラリ
6
Copyright @2015 Japan Novel Corporation. All rights reserved.

タッチパネル操作の⾃自動化
⼈人の動きに近いロボット動作l ドラッグl フリックl ダブルタップl マルチタッチ

7
Copyright @2015 Japan Novel Corporation. All rights reserved.

⾃自動化対象機に合わせたロボット構成
直交ロボット6軸ロボット⾚赤外線制御•押下時間(2回/sec)•押下時間(1回/sec)•複数台同時制御•なぞり、ダブルクリック•低価格•タッチパネル押し(1回/sec)•ロードセル装着•ロードセル装着•フィーチャーフォン

•フィーチャーフォン

•スマートフォン•スマートフォン•タッチパネル製品•タッチパネル製品

名称 XYロボット

形状

特徴

対象機器

•凹凸⾯面を押す3次元操作•省省スペース•つまみ回し、CD出し⼊入れ•⾞車車載機器（カーナビ等）•薄型TV•横向きタッチパネル•その他リモコン操作•DVD/HDDレコーダ

Copyright @2015 Japan Novel Corporation. All rights reserved.

8

テストの流流れ環境設定
ボタンの位置や画⾯面の映り具合を評価機ごとに設定

シナリオ
作成
テスト⼿手順を記述し期待値画像を登録

テスト
実⾏行行
シナリオに従ってロボットがテストを⾃自動実⾏行行

結果確認
DBに記録されたテスト結果を確認

シナリオ例例9
Copyright @2015 Japan Novel Corporation. All rights reserved.

実⾏行行結果確認
実⾏行行結果はOracleDBに保存

テスト結果はマルチシナリオ集~∼ステップレベルまで⼀一覧で確認数万件のテスト項⽬目から数件のNG箇所を⼀一瞬で絞り込み＜結果画⾯面＞確認したい条件でマウスクリックで絞り込み
マルチシナリオ集
シナリオ集
シナリオ
テストステップ

10
Copyright @2015 Japan Novel Corporation. All rights reserved.

Windows、MacOSも⾃自動化
PC環境においてもテスト⾃自動化
スマホ、タブレット、PCの間でテスト⼿手順や 　 　コンセプトの⼀一貫性を担保

11
Copyright @2015 Japan Novel Corporation. All rights reserved.

Android環境における⾃自動化
QCWing for  Android
USBで接続したAndroid端末をPCから制御し、 　 　Androidアプリの操作の⾃自動化
画像判定による判定の⾃自動化
異異なるモデルでも同時に5台まで接続可能

12
Copyright @2015 Japan Novel Corporation. All rights reserved.

Quality Commander  の特⻑⾧長
① 簡単操作のインターフェースl

擬似画⾯面を操作するシナリオ作成l

コマンドダイアログでのl制御コマンド簡単挿⼊入② 外観検査で蓄積した画像判定技術③ 各種I/Fを備えた広い拡張性
RS-232C	
ETHER
NET	

⾃自動操作

Quality CommanderGP-IB
USB	

ＣＡＮ

WindowsAndroid

CANoe

Copyright @2015 Japan Novel Corporation. All rights reserved.

13

⾃自動化のメリット？

14
Copyright @2015 Japan Novel Corporation. All rights reserved.

⾃自動化メリット①
夜間休⽇日を利利⽤用してテストの実⾏行行が可能
開発期間
不不具合

S/W
変更更⼿手動の場合、この期間中実施内容を再度度⾏行行うのは困難

⾃自動化済部分は夜間・休⽇日等を利利⽤用して実⾏行行可能
既に実施した項⽬目の再検証が可能

実⾏行行が間に合わない場合
⾃自動化ツールを増設して対応可能
Copyright @2015 Japan Novel Corporation. All rights reserved.

15

⾃自動化メリット②
スクリプトの再利利⽤用が可能
l バージョンアップ時など、既存スクリプトの 　メンテナンスのみで再実⾏行行が可能
l 不不具合修正時の確認に使⽤用繰り返し利利⽤用することでコストメリットアップ
16
Copyright @2015 Japan Novel Corporation. All rights reserved.

⾃自動化メリット③
エビデンス取得が容易易l 正常時/異異常時/期待値差分

17
Copyright @2015 Japan Novel Corporation. All rights reserved.

⾃自動化メリット④
スクリプト変更更で異異なるテストを⽣生成
正常系

スクリプト

着信など実際の運⽤用を想定したイベントを指定

繰り返し回数を指定

設定値を指定回数試験
スクリプト

異異なる環境
で動作する
正常系
スクリプト

競合試験
スクリプト

18
Copyright @2015 Japan Novel Corporation. All rights reserved.

理理想の姿⾃自動化

⼈人⼿手削減コスト

19
19
Copyright @2015 Japan Novel Corporation. All rights reserved.

しかし・・・様々な問題
スクリプト作
成コスト

担当者
不不在

メンテナンスコスト

トレーサビリティがない

コスト増！！
20
Copyright @2015 Japan Novel Corporation. All rights reserved.

テストの⾃自動化
成功の秘訣とは？
21
Copyright @2015 Japan Novel Corporation. All rights reserved.

そもそもなぜ⾃自動化したいのか？
l 品質を確保したいからl めんどうだから（同じ操作の繰り返し）l テスト⼯工程にコストをかけたくないからl ⾃自動化でしかできないテストがあるから
l 開発が遅れているからl ⾃自動化していることが訴求⼒力力になるから
22
Copyright @2015 Japan Novel Corporation. All rights reserved.

理理想の姿⾃自動化

⼈人⼿手初期が最も重要削減コスト安定した運⽤用

23
Copyright @2015 Japan Novel Corporation. All rights reserved.

成功しているユーザの特徴

組織に根付いている24
Copyright @2015 Japan Novel Corporation. All rights reserved.

成功しているユーザの特徴
ツールを理理解した専任者がいる

ゴールが明確になっている

⾃自動化のプロセスがある
25
Copyright @2015 Japan Novel Corporation. All rights reserved.

成功しているユーザの特徴
ツールを理理解した専任者がいる

ゴールが明確になっている

⾃自動化のプロセスがある
26
Copyright @2015 Japan Novel Corporation. All rights reserved.

ツールを理理解した専任者がいる
推進役が必要l ツールを使い続ける⾃自動化作業に注⼒力力できますか？
l ⽚片⼿手間でやることはできないツールのメリットの理理解l ⾃自動化のメリットの理理解

27
Copyright @2015 Japan Novel Corporation. All rights reserved.

ツールを理理解した専任者がいる
⾃自動テストリーダーとなる⼈人材の育成l スクリプトが書けるl ⾃自動化の設計ができるl ⾃自動化に向いたテストケースの判断やテストケース再設計

l 改善マインドを持つl レポート⽣生成も⾃自動化してしまうl テスト⾃自動化プロセスを定義できる

28
Copyright @2015 Japan Novel Corporation. All rights reserved.

ツールを理理解した専任者がいる
いない場合の失敗例例
理理解しないままにやみくもに⾃自動化してしまうl ⼿手動 　→ 　⾃自動  にただ置き変えようとする・・
l 出来ないことも頑張ろうとしてしまう

外部に丸投げしてしまうl ノウハウが残らない

使う⼈人がいなくなるl 少しだけ使って終わりl 別の優先的な仕事に注⼒力力してしまう
29
Copyright @2015 Japan Novel Corporation. All rights reserved.

成功しているユーザの特徴
ツールを理理解した専任者がいる

ゴールが明確になっている

⾃自動化のプロセスがある
30
Copyright @2015 Japan Novel Corporation. All rights reserved.

ゴールが明確になっている
⾃自動化したいテスト対象・範囲
ROIの算出ステークホルダーとの確認・承認

テスト計画書（RFP）
31
Copyright @2015 Japan Novel Corporation. All rights reserved.

あるお客様の例例
部分最適化から⾃自動化率率率を⾼高める

第三段階：評価体制の確⽴立立評価全体の改善へ

第⼆二段階：適⽤用範囲の拡⼤大第⼀一段階：仕組みづくり
Copyright @2015 Japan Novel Corporation. All rights reserved.

32

第⼀一段階 　 　
仕組み作りl ⾃自動化をプロセス化するための検討l ⾃自動化リーダ(推進役)の育成

ツールへの慣れl ツールの使い⽅方l メンテナンスしやすいスクリプト作りの検討

部分最適化
l まずは「効果」の出る部分を狙うl 流流⽤用、使いまわし
33
Copyright @2015 Japan Novel Corporation. All rights reserved.

第⼆二段階 　 　
適⽤用範囲の拡⼤大l 効果の⾒見見える部分の拡⼤大l ⼈人⼿手試験との住み分け

スクリプトの流流⽤用
l 同⼀一機種の使いまわし⇒他機種への展開

作業効率率率の⾒見見える化

34
Copyright @2015 Japan Novel Corporation. All rights reserved.

第三段階 　 　評価体制の確⽴立立l ⾃自動化プロセスの完成
l これまで⼈人⼿手の合間だったものがプロセス化

l 組織チーム化

属⼈人化作業の⾃自動化
l 特定メンバにしかできない作業をスクリプト化

35
Copyright @2015 Japan Novel Corporation. All rights reserved.

ゴールが明確になっている
⾃自動化のスコープが明確になっている

人：「質」に対する頭脳
複雑な操作、一定で無い操作、フレキシブル

ツール：「量」に対する道具
同じ動作、繰り返しの操作、正確なタイミングメトリクスの測定ができる
36
Copyright @2015 Japan Novel Corporation. All rights reserved.

ROI算出の難しいところ
単純に⼿手動テストの⽐比較では効果が⾒見見えない
⻑⾧長期的な⽬目標と達成のための理理解が必要
テスト対象のライフサイクルを考えるl リリース頻度度、改変規模
l 他の機種にも搭載  →  使いまわせるか予測が困難

他チームとのコミュニケーションが重要
Copyright @2015 Japan Novel Corporation. All rights reserved.

37

ゴールが明確になっている
なっていない場合の失敗例例
スクリプトを作ることが⽬目的になってしまうl 凝り過ぎて属⼈人化してしまう

流流⽤用・再利利⽤用が出来なくなる効果を測定できなくなる

38
Copyright @2015 Japan Novel Corporation. All rights reserved.

成功しているユーザの特徴
ツールを理理解した専任者がいる

ゴールが明確になっている

⾃自動化のプロセスがある
39
Copyright @2015 Japan Novel Corporation. All rights reserved.

⾃自動化のプロセスがある
テストチーム全体の⼀一部としてある
⾃自動化テスト設計
運⽤用保守
後続案件での移植

40
Copyright @2015 Japan Novel Corporation. All rights reserved.

⾃自動化プロセス例例

41
Copyright @2015 Japan Novel Corporation. All rights reserved.

⾃自動化プロセス例例
1.自動化可能性分析	

5.自動化スクリプト実行	

6.ドキュメント作成	

2.スケジュール	
テスト戦略	
見積もり	3.試験環境構築	

4.自動化スクリプト作成	

7.テストスクリプトメンテナンス	

42
Copyright @2015 Japan Novel Corporation. All rights reserved.

⾃自動化スクリプト作成例例
信頼性、保守性、移植性の⾼高いスクリプトl 機器共通部分のモジュール化等l 複数メンバでも同⼀一基準で作れる作成規約

43
Copyright @2015 Japan Novel Corporation. All rights reserved.

⾃自動化スクリプト作成〜～実⾏行行例例
スクリプト規約

ソフトウェア開発に近いプロセス
⾃自動⽣生成マクロ
テスト仕様書スクリプト

スケジューラスクリプト

⾃自動⽣生成マクロ

テスト成績書実⾏行行結果構成管理理サーバ
Copyright @2015 Japan Novel Corporation. All rights reserved.

44

成功しているユーザの特徴
ツールを理理解した専任者がいる

ゴールが明確になっている

⾃自動化のプロセスがある
45
Copyright @2015 Japan Novel Corporation. All rights reserved.

とはいえリソース確保やゼロからの育成や周りへの理理解は難しい
Copyright @2015 Japan Novel Corporation. All rights reserved.

46

根付かせるために⻑⾧長期的に継続して品質向上していける検証パートナーが重要！
47
Copyright @2015 Japan Novel Corporation. All rights reserved.

ご静聴ありがとうございました

⽇日本ノーベルブースへいらしてください！

YouTube  公式チャンネルをご覧ください。
https://www.youtube.com/user/JapanNovelCorp/48
Copyright @2015 Japan Novel Corporation. All rights reserved.