Quality Forward テスト設計案 改弐号
テクバン株式会社- シン・田町補充計画-| Copyright(C) TechVan Co,Ltd■アジェンダ
シン・田町補充計画について

テスト設計の実施

テスト設計コンセプト

テスト自動化の要求分析

テスト設計の方針について

テスト自動化の実施

テストアーキテクチャ

デモ

テストタイプの選定| Copyright(C) TechVan Co,Ltd■「シン・田町補充計画」について▼チーム名の由来“シン・エヴァンゲリオン”、“シン・ゴジラ”の「シン」と会社の所在地「田町」から命名▼チーム構成メンバー
長島、渡邊、大羽、松浦、濱田、石井• 全員が同じ会社のメンバーだが、それぞれ別の現場に従事しており、同じチームを組んで作業をしたことがない• テスト設計経験もまばらである| Copyright(C) TechVan Co,Ltd

■テスト設計のコンセプト① ユーザ目線を考慮した効果的かつ実現性の高いシステムテストのテストケースを作成② テストケースの一部を自動化し、リリース頻度の増加に対応
改リリース頻度が増えた時間がない。
それでもユーザー体験を落としたくない。

手動テストだと時間が足りない。
予算をもらえない(泣)
| Copyright(C) TechVan Co,Ltd

■テスト設計のコンセプト：工夫した点

がんばった

マインドマップでのテスト要求分析・整理し、製品コンセプトに関係のある項目を抽出ユーザ権限ごとの機能確認の優先度付けを実施、ユーザにとって重要な機能を特定し効率的にテスト実施できるようにした

また、テストアーキテクチャ作成方法の調査を行い、チームの環境・レベルに即した設計方針を確立
テストアーキテクチャとテスト要求分析の結果を比較し、重要なテスト対象を優先して自動化することで、自動化の効果を最大化した| Copyright(C) TechVan Co,Ltd

改■テスト設計の方針について（前提）▼前提として以下のように利用想定シーンを考えた• 自分が従事している現場でQuality Forwardを導入する場合を想定• テスト工程はシステムテストを対象として考える• 自動化による工数削減のメリットを最大限活用できるよう留意• 現場の業務を分析し、テストに必要な項目を割り出す• 自動化により工数を削減できるテストを抽出する

改

ユーザーに必要な機能とは？
| Copyright(C) TechVan Co,Ltd

改■テスト設計の方針について（詳細）▼機能分析と業務分析を行った
機能分析
Quality Forwardの機能を業務に役立てることが可能か？
• 実際にQuality Forwardを触り、利用者の観点から必要な機能を推測• テスト担当者の経験から、テストすべき観点を割り出す

業務分析• 現在の業務で適用できるか、また業務で発生した問題についてQuality Forwardで解決できるか？ → マインドマップで整理する• 提案されているコンセプトが業務に役立てることができるか？
→ コンセプトを分析し、業務内容と当てはめてみる| Copyright(C) TechVan Co,Ltd

■テスト設計プロセス概要

New

テスト要求分析

テストアーキテクチャ

スコープの検討

テスト設計(基本設計/詳細設計 等)
並行して自動化の計画/自動化を実施(自動化要求分析/自動化スコープ検討/自動テスト設計を含む)※ テスト自動化は詳細設計後(コンテスト予選実施後)に指令されたため、プロセスの最後に記載している
ただし自動化計画後に既存のテスト要求分析/アーキテクチャとも整合性が取れるよう調整した。
以降のスライドおよび設計書ではその点を考慮し、プロセスの最初から自動化を盛り込んだものとして記載している| Copyright(C) TechVan Co,Ltd

■テスト要求分析と自動化対象の選定▼テスト要求分析と自動化対象選定のイメージ

改

実際の業務内容

実システム

営業資料

マニュアル

業務分析

アンチユーザ分析

コンセプト分析

機能分析

自動化対象のテス
トレベルを検討

機能確認の優先度
付け

テスト要求分析

テストアーキテクチャ

自動化対象を選定

改| Copyright(C) TechVan Co,Ltd

■テスト設計における重要ポイントの選定◎テスト観点を定める
テストマネジメント工数削減を目的としてQualityForward(以下QF)を導入するユーザとしてのテストを行う

必要な手順としては以下３つ

1）QFを導入する理由を考える

2）機能全体の把握（洗い出し）を行う

3)権限による機能確認の優先度付けを行う| Copyright(C) TechVan Co,Ltd

■テスト要求分析▼マインドマップで整理 (例：Ver2)| Copyright(C) TechVan Co,Ltd

■テスト設計における重要ポイントの選定◎テスト観点を定める＜1）QFを導入する理由＞
導入理由としては以下が挙げられる
・これまで手動で行ってきたテストマネジメント管理のスケーラビリティに限界を感じてきた
・PJにおけるテストマネジメントにおいて、規模にかかわらず利便性、応答性に特化したテスト管理ツールである・他管理ツールと比較して高機能かつユーザビリティが良い・導入効果の実績があり費用対効果が高い
・可用性が高く、高品質である| Copyright(C) TechVan Co,Ltd

■テスト設計における重要ポイントの選定◎テスト観点を定める＜2）機能全体の把握（洗い出し）を行う＞ Quality Forward 機能全体図を書き出す| Copyright(C) TechVan Co,Ltd

■テスト設計における重要ポイントの選定◎テスト観点を定める＜3)権限による機能確認の優先度付けを行う＞
・優先度は「高」「中」「低」・ユーザ権限レベルは①テナント管理者、②プロジェクト管理者、③一般ユーザ| Copyright(C) TechVan Co,Ltd

■テストアーキテクチャ▼テストアーキテクチャを作成する方法について調査を行った手法（まとめ方）

概要

分析結果

使い勝手

参考URLテストタイプ

ソフトウェア・テストPRESS
Vol.10に記載のテストタイプ

現在の業務と一致しており、アーキテクチャとして作りやすい〇

https://note.com/katar
uyube/n/na3195a510ef
eISO-25010

品質要求を定義し、その実装を評価するための国際規格観点が広く、テストの抜け漏れに利用できる〇

テストレベル

レベルごとに分類されるテスト
グループ

テスト計画時の前提条件で対象外とした

×

機能単位

機能単位で分類されるテストグループ

テスト計画時の前提条件においてQF全機能をテスト対象としてはいないため機能単位の分析は不適切と判断した×

QFの実態に即した分析が可能
でアーキテクチャとして作りやす
いものの粒度が不十分△

コンセプト単位コンセプト単位で分類されるテストグループ

分析結果からテストタイプとISO-25010を併用する方針とした| Copyright(C) TechVan Co,Ltd

http://JSTQjstJqb.jp/dl/JSTQBSyllabusFoundation_Ver%20
sion2018.J01.pdf (JSTQBシラバス P22)

■テストタイプの選定
改▼テストタイプを性質ごとに分類し、選定を行ったシステム/ソフトウェア構造の網羅性▼
・ 構造テスト
プログラムの内部構造に着目し網羅率を確認する→ システムテスト範囲外のため対象外とした

機能適合性▼
・ 機能テスト機能が動作することを確認する（画面、機能単体のテスト）
・ 機能組み合わせテスト
機能同士を組み合わせても問題ないことを確認する（ALL-Pair法、HAYST法などで確認した方がいい部分） → テスト要求とテストタイプに一致するものがなかっため対象外とした・ シナリオテスト
一連の機能がシナリオ通りに動作することを確認する

セキュリティ
▼・ セキュリティテスト
システムのセキュリティが問題ないことを確認する

性能効率性▼
・ ロードテスト
負荷を高めた状態でも問題なく動作することを確認す
る→本番環境への影響を考慮しリスク回避のため対象外とした・ ストレステストシステムに想定以上の負荷を与えても問題ないことを確認する→本番環境への影響を考慮しリスク回避のため対象外とした・ 拡張性テスト
システム負荷が増大しても問題なく動作することを確認する（ユーザ数やデータ容量が増大しても対応できる）→本番環境への影響を考慮しリスク回避のため対象外とした使用性▼
・ ユーザビリティテスト
ユーザにとって使いやすい機能となっているかを確認する| Copyright(C) TechVan Co,Ltd

信頼性▼・ロバストネステスト
誤った入力をしても動作することを確認する（マイナスを入力、仕様にないファイルをアップロード）
・ 回復性テスト
システムがダウンしても復元できることを確認する→ 本番環境でシステムダウンを再現できないため対象外とした・ 信頼性テスト
既定したＳＬＡを満たすことを確認する→SLAの定めがないため対象外とした互換性▼
・ データ互換性テスト
入出力するファイルに問題ないことを確認する（Excelファイルなのか、バージョンはいくつなのか）・ 構成テストOS、ブラウザなどの特定の環境で動作することを確認する

■テスト設計の実施▼それぞれのテストタイプについて調査のうえテスト設計を実施した【例１】 機能適合性テスト

機能適合性に留意したテストケースを作成

・完全性・・・機能が利用者の目的を満たしているか・正確性・・・機能が正しく動作するか・適切性・・・機能が利用者の目的(業務など)を達成するのに適切な仕様となっているか| Copyright(C) TechVan Co,Ltd

■テスト設計の実施▼それぞれのテストタイプについて調査のうえテスト設計を実施した【例２】 使用性テスト
ユーザビリティ特性に留意したテストケースを作成
・適切度認識性・・・「システムの機能が利用者のニーズに適切であること」を利用者に認識できるようにしているか

・習得性・・・
利用者が定義されたシステムのできるか

学習目標を達成・運用操作性・・・
システムが運用しやすい操作性か。運用時に想定される誤操作に対する許容やユーザーの期待に一致しているか・ユーザエラー防止性・・・
システムが利用者が誤操作しないよう防止できているか等| Copyright(C) TechVan Co,Ltd

■自動化のプロセスの概要

New▼自動化プロセスのイメージ

ASTER社からの要求

・現状の確認、整理・期待効果
・自動テスト対象の選択
・ツール選定・自動テストケース作成
・テスト実施優先度付け

・テストスクリプト作成
・環境調整、確認、疎通テスト

・結果確認
・追加／修正確認

報告、フィードバック①テスト自動化における要求分析、計画策定②自動化システムの設計、分析③自動テスト実行の準備、開発④自動テストケース実行、結果分析
報告、フィードバック

分析・計画、レビュー（永続的）テスト管理と運用・保守
自動テストとの調整、均衡

これまでの手動テストプロセス（分析、計画、設計、実行、後工程作業・・・）| Copyright(C) TechVan Co,Ltd

■テスト自動化要求分析

New▼テスト自動化の要求分析と計画策定

現状の課題整理自動テストを導入することで期待する効果

自動テスト対象の機能、範囲の洗い出し（手動テストとの切り分け）

・開発効率を上げたいが、テストにかかる負荷が高くなるリスク
・工数と費用対効果のバランスが悪くなる

・コスト削減による開発サイクルの加速 (時間の有効活用、正確性の確保など)
・副次的効果によるテストカバレッジの拡大 (開発アクティビティへの効果)

・変更が少ない繰り返し可能な回帰部分
・最低限の機能が担保できる導線部分| Copyright(C) TechVan Co,Ltd

■自動化対象の選定▼QiarotyForwordの機能ごとにカテゴリ分けし自動化対象を選定した

New

変更が少ない繰り返し可能な回帰部分変更が多く複雑な部分

最低限の機能が担保できる導線部分

基本機能以外の部分

手動／自動テストとの均衡を図る
テストの重複をなるべく避ける

自動テスト

手動テスト

適性にあわせて割り当てた| Copyright(C) TechVan Co,Ltd

■自動化対象の選定▼各機能/権限ごとのマトリクスを作成し自動化の対象を選定した

New■自動/手動テストの割り当て状況
縦軸に対象の機能を、横軸に権限を記載したマトリクスを使用して、自動化の対象となる組み合わせを記載した。

■割り当ての判断基準＜自動テスト＞
・変更が少なく、繰り返し確認を行う必要が必要がある機能
・最低限の機能が担保できる導線部分
・エラーになった場合に影響度が高い機能＜手動テスト＞
・テスト手順が多い、または複雑な項目
・上記、自動テストの割り当て対象外の項目かつ、編集画面など入力パターンが自由かつ多岐にわたるもの（ユーザビリティテストを兼ねる）| Copyright(C) TechVan Co,Ltd

■テスト実行優先度付け▼自動テストにおいても各機能/権限ごとに優先度を設定し、テストケースに記載した| Copyright(C) TechVan Co,LtdNew

■自動化ツールmabl (メーブル)▼自動化ツールmablの特徴と利点

New

■概要
・mablはメーブル社の提供するWeb系テストを自動化するクラウドサービス■特徴と利点• 導入が容易••

クラウドサービスのため環境構築の必要がない
GUI操作のみでテストスクリプトを作成でき、ノーコード開発も可能。メ
ンバーの教育コストが低い。

• メンテナンスが容易••

画面の変更が少なければ、AIがスクリプトを修復しテストを続行する。
些細な変更で発生するスクリプト改修を回避できる。

• テストの実行効率が高い••

クロスブラウザに対応している。
メンバーを追加しなくともテストの並列/同時実行ができる| Copyright(C) TechVan Co,Ltd

■テスト自動化全体図▼テスト自動化の全体図

New

デスクトップ環境

自動テストツールmabl(メーブル)

Mablがブラウザを操作しQuarityForwordへテスト実行

RPAツールPower Automate Desktop

デスクトップ全体を録画しエビデンス取得

録画ツール Bandi Cam※時間になるとRPAツールが自動化ツールと録画ツールを同時に実行| Copyright(C) TechVan Co,Ltd

■作業イメージ▼テスト自動化後の作業イメージと効率化した箇所

自動テスト失敗

自動テスト
スクリプト作成

New

RPAツールが録画ツール
自動テストツールを同時に実行

スクリプト作成

mablにより細かなスクリプトのメンテナンスから解放

テスト実行

落とし穴回避テスト実行

録画ファイルがエビデンスとなる

レポート出力エビデンス取得

テスト実行に失敗しエラーログが出力される。

テスト失敗

画像ファイル(大量)の整理
から解放
効率化

失敗内容を確認レポート/エビデンス
確認

録画ファイルを担当者がX倍速で再生しチェック完了

スクリプト修正

画像ファイル(大量)のチェックから解放

テスト完了

効率化

テスト完了
| Copyright(C) TechVan Co,Ltd

テスト実行時に撮影した動画ファイルとエラーログの両方から原因を確認
動画ファイルは、テスト成功時にはエビデンスに、失敗時にはピンポイントで原因を特定する情報とり、トラブルシューティングの効率を大幅に向上させる。
効率化

■自動化による工数の削減

New▼自動化により工数削減の有無を図式化して検討
テスト計画▼・自動化による工数変化なし
・テスト計画は自動化の有無によって工数は変化しな
い手動テスト実行▼・ 手動で実施のため工数削減なし

手動テストレポート作成▼・手動で実施のため工数削減なし

テスト設計▼・自動化により工数がやや増加する
・既存の手動テスト分に加え、自動テスト分の設計が追加で発生する

自動テスト実行▼・自動化による工数削減あり
・ツールを起動しテスト実行のボタンをクリック、もしくはタイマー設定をするのみでテストを実行し結果を出力することができる※テストスクリプトを作成済みと想定

自動テストレポート作成▼
・ 自動化による工数削減大・テスト実行後に自動的にレポートが出力され、テスト結果の集計やグラフをほぼリアルタイムで確認することができる

詳細テスト設計▼・自動化により工数がやや増加する
・既存の手動テスト分の詳細設計に加え、自動化スクリプト作成する・また、手動テスト/自動テストの切り分けも追加で作業する必要がある

回帰テスト実行▼・自動化による工数削減大・各テストを並行して実施し終了までの時間を短縮
・対象に変更がなければ追加の工数なしにテストを実行できるエビデンス取得/確認/テストスクリプトメンテナンス▼
・エビデンスの動画化により確認/整理の工数削減大対象ファイル数を大幅に削減、確認時は倍速再生でテスト内容と結果を効率的にチェックすることができる
・問題発生時のメンテナンス工数削減大
mabl側のログと動画ファイルの両方を使用することで、問題個所をピンポイントで特定できる※mablの導入により対象に変更があった場合のメンテナンスも最小限に抑えている| Copyright(C) TechVan Co,Ltd

■テスト自動実行/動作監視デモ (約2分間)| Copyright(C) TechVan Co,LtdNew■工夫した点

New
テスト要求分析・マインドマップでテスト要求分析・整理し製品コンセプトに関係のある項目を抽出
・ユーザ権限ごとの機能確認の優先度付けを実施、ユーザにとって重要な機能を特定し効率的にテスト実施できるようにしたテスト設計（アーキテクチャ設計）
・テストアーキテクチャ作成方法の調査を行い、チームの環境・レベルに即した設計方針を確立
・テストアーキテクチャとテスト要求分析の結果を比較し、テスト対象に抜け漏れが発生しないよう工夫した

テスト自動化・重要なテスト対象を優先して自動化することで、自動化の効果を最大化した・エビデンスを動画ファイルにすることで、エビデンスの取得とチェックの工数を削減した。
自動テストに問題が発生した場合、動画ファイルから直接失敗した動作を確認しメンテナンスを容易に行えるようにした。
・録画ツールと自動化ツールの起動をRPAで連携することで、スケジュール設定等を一元管理できるようにした| Copyright(C) TechVan Co,Ltd

考えぬいた- ご清聴ありがとうございました -文鳥達も陰ながら応援してました| Copyright(C) TechVan Co,Ltd