JaSST’21 Tokyo
スポンサーセッション

ISO/IEC 25010の品質モデルを使って市場不具合を減らす
テスト設計戦略～品質を「見える化」する～
2021年3月15日(月)株式会社ベリサーブ
ITシステム事業部
小森 星児© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

自己紹介■名前：小森 星児（こもり せいじ）
■経歴
1998年～2007年 大手移動体通信関連のSIer
2007年～2015年 大手外資系通信機器メーカー
2015年～

ベリサーブ入社■現在担当している業務• 業務系エンタープライズシステムの品質強化支援のプロジェクトマネージャー兼品質コンサルタントとして、お客様の課題解決および品質向上に努めています。
• 得意分野は、モバイル系システムや業務システム、ITツールの導入支援などです。
© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

1

本日のアジェンダ

1. 昨今のテスト設計の問題点
2. 「品質視点」のテスト設計の方法
3. 品質の「見える化」

4. テスト管理ツールを使った効果的な品質管理方法5. まとめ© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

2

1.昨今のテスト設計の問題点© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

3

昨今のテスト設計の問題点

問題提起：テスト設計において一般的なテスト観点だけでは、「テスト目的」を十分に満たすことができない。
◼ Web画面のテストで、一般的なテスト観点で、テストを実施した結果（一般的なテスト観点：表示内容は正しいか？入出力結果は正しいか？など）●テスト結果100, 10%

テストケース数：1000件
PASS 900件、FAIL 100件

PASS
FAIL

900, 90%© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

4

テストの目的とは？
1. 欠陥を摘出する。 →○2. 意思決定のための情報を示す。 →3. 欠陥の作り込みを防ぐ。 →○△4. 対象ソフトウェアの品質レベルが充分であることを確認する。 →✕100, 10%

これだけでは、PASSFAIL「品質レベル」が充分であることは判断できない。

900, 90%(引用：JSTQB Foundation Levelシラバス Version 2011.J01、P14)© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

5

そもそも「品質」とは何か© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

6

品質とは？
• 「品質とは誰かにとっての価値である」
ソフトウェア開発の人類学者 ジェラルド・ワインバーグ• 「要件に対する適合」
アメリカの品質マネジメントのコンサルタント クロスビー• 「本来備わっている特性の集まりが、要求事項を満たす程度」
ISO9000(品質マネジメントシステムに関する規格)
この他にも、世の中には、多くの品質の定義があります。

（引用：ソフトウェア品質知識体系ガイド第3版、1.1.1 S-KA:品質の考え方の変遷 )© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

7

品質評価の基準の設定

ソフトウェアの「品質」は、「目に見えないもの」を評価しなければならない。
「品質」を確認するための基準が必要

ISO/IEC 25010:2011 ソフトウェアの品質モデル© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

8

ISO/IEC 25010とは？

システム及びソフトウェアの品質の構造をモデル化し、それを構成する品質の観点（品質特性及び品質副特性）を、利用時の品質モデル及び製品品質モデルとして定義したもの。
（引用：つながる世界のソフトウェア品質ガイド、P26、表2.2-1 SQuaRE規格の内容 )■補足• ISO/IEC 9126の改訂版 → ISO/IEC25010を翻訳 → 国内規格 JIS X 25010•

JIS(Japanese Industrial Standards)・・・日本産業規格•ISO/IEC 9126・・・ソフトウェア品質の評価に関する国際規格•ISO(International Organization for Standardization) ・・・国際標準化機構•IEC(International Electrotechnical Commission)・・・国際電気標準会議© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

9

システム・ソフトウェア製品の品質モデル
システム／ソフトウェア製品品質
機能適合性

性能効率性

互換性

使用性

信頼性

セキュリティ

保守性

移植性

機能完全性

時間効率性

共存性

適切度認識性

成熟性

機密性モジュール性

適応性

機能正確性

資源効率性

相互運用性

習得性

可用性

インテグリティ

再利用性

設置性

機能適切性

容量満足性

運用操作性

障害許容性

否認防止性

解析性

置換性

ユーザエラー
防止性

回復性

責任追跡性

修正性

真正性

試験性

8つの品質特性

ユーザインターフェーズ快美性

31の品質副特性
アクセシビリティ
出典:「JIS X 25010:2013 (ISO/IEC 25010:2011) システム及びソフトウェア製品の品質要求及び評価(SQuaRE)ーシステム及びソフトウェア品質モデル」
3.3項 製品品質モデル, 図4-製品品質モデル© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

10

品質副特性のテスト観点
シス
テム／ソフトウェ
ア
製品品質品質特性

品質副特性

テスト観点のポイント

機能適合性

機能完全性
機能正確性
機能適切性

資源効率性

機能全体がすべてのニーズを満たしている度合い。新しく追加された機能が正しく実装できているか
処理・出力データ正誤機能の目的との合致
適切な応答時間及び処理時間
・応答速度、一定の処理を完了するのに要する時間、一定時間に何件の処理ができるかというスループット
使用領域を使い過ぎない・使用CPU時間、使用メモリ、使用媒体（ディスク、外部媒体など）、通信回線占有率、その他の外部資源（プリンタなど）占有率

容量満足性
共存性
相互運用性
適切度認識性
習得性
運用操作性
ユーザエラー防止性
ユーザインタフェース快美性
アクセシビリティ
成熟性
可用性
障害許容性(耐故障性)
回復性
機密性
インテグリティ
否認防止性
責任追跡性
真正性
モジュール性
再利用性
解析性
修正性
試験性
適応性
設置性
置換性

パラメータを最大限まで使えること
他のソフトウェアとの共存
他のシステム、装置との連動
利用者のニーズに適した利用
覚えやすい使用方法になっているか
作業順序に応じた操作になっているか
誤操作防止
利用者が満足のいくシステムとの対話
身体障害者を含む全ての人が快適・有効に使用できるか
障害時に機能停止しない
使用可能な状態の継続度
回避（エラー表示・制限）
障害復旧許可された者のみがアクセスすることできるか許可していない者がアクセスすることができないか
利用事実の証拠を証明できるかログの追跡が可能か本物であるかどうかを確実に証明できる
別々の構成要素の構成度合い
他システムへの再利用
障害監視･ログ取得
修正のしやすさ
試験のしやすさ
移植・OSの入れ替え
インストールのしやすさ、システムの初期導入手順
ソフトウェアのバージョンアップ

時間効率性

性能効率性

互換性

使用性

信頼性

セキュリティ

保守性

移植性© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

11

顧客が要求している価値と品質との関係「誰かにとっての価値」 ＝ 「品質副特性」「品質副特性」に、紐付けることができる。

パソコン購入時に検討するポイント

品質副特性「省電力モード」で長時間使用できるか？

可用性

無線LANによる高速通信でスループットは高いか？

時間効率性

iTunes実行中に他のソフトは使用できるか？

共存性

他の人が勝手にログインして使用できないか？

機密性

スマートフォンを接続して使用できるか？

相互運用性

指紋認証や顔認証で正しく認証できるか？

真正性

オンラインゲームでストレスなく動くか？

資源効率性© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

12

「品質視点」のテスト設計のコンセプト

テストアイテム×

誰かにとっての価値※テストを実施する個々の要素「品質視点」のテスト設計© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

13

2.「品質視点」のテスト設計の方法© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

14

◼ アンケート結果：テスト設計手法の現状

どのようなテスト設計手法を使っていますか？
2%

2%

会社独自のテスト設計手法を使用している。

5%
6%

自身で独自に考えたテスト設計手法を使用している。

6%

テスト設計手法は、特に使っていない。
ISO/IEC 9126の品質モデルを使ったテスト設計手

12%

67%法を使用している。
ISO/IEC 25010の品質モデルを使ったテスト設計手法を使用している。
IVECのテスト設計手法を使用している。
上記にない、テスト設計手法を使用している。

※株式会社ベリサーブ主催オンラインセミナーの参加者に聞いたアンケート結果© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

15

「品質視点」のテスト設計を始める前に• 「品質副特性の選定」・・・すべての品質副特性をテスト観点とするのではなく、「顧客の要求」や「テスト戦略」に合わせて、「要求分析」をして、必要な品質副特性を選定する。
品質特性
機能適合性

品質副特性

適切度認識性

機能正確性

習得性

時間効率性

互換性

運用操作性
ユーザエラー防止性
ユーザインタフェース快美性

容量満足性

アクセシビリティ

共存性

モジュール性

相互運用性

再利用性
保守性

解析性

可用性

修正性

障害許容性(耐故障性)

試験性

回復性

適応性

機密性
インテグリティ
セキュリティ

使用性

資源効率性

成熟性

信頼性

品質副特性

機能完全性
機能適切性
性能効率性

品質特性

移植性

設置性
置換性

否認防止性
責任追跡性
真正性

© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

16

「品質視点」のテスト設計のプロセス
STEP.1
テスト分析

STEP.2
テスト基本設計

STEP.3
テスト詳細設計© 2021 VeriServe Corporation⚫ 対象システムおよび対象機能の仕様や機能目的を理解する。
⚫ 機能リストを作成および機能優先度の整理する。
⚫ テスト対象を把握およびテスト条件の抽出する。
⚫ 仕様が曖昧な点を確認する。
⚫ テスト対象が”どのような品質をもっているか”を分析する。
⚫ テスト目的を決定する。
⚫ テスト条件を決定する。
⚫ テスト技法を決定する。
⚫ テスト環境を決定する。
⚫ テストデータを検討する。
⚫ 期待値を明確にする。
⚫ “品質レベルを視点”としたテスト観点を適用する。
⚫ テスト手順を確立する。
⚫ テスト実行時間を見積る。
⚫ テスト優先度を決定する。
⚫ テストケースを作成する。
⚫ 完成したテスト詳細設計書の検証をする。
会社名・製品名・サービス名は、各社の登録商標または商標です。

17

STEP.1

STEP.2

STEP.3

テスト分析• テストベースより、マインドマップを使用して、機能分解およびテスト分析をする。
※テストベース・・・コンポーネント要件やシステム要件を推測できる全てのドキュメント。

1.機能を中心に考える。

3.左側のエリア機能に間接的に関係のあるテスト要素を整理する。

© 2021 VeriServe Corporation

2.右側のエリア機能に直接的に関係のあるテスト要素を整理する。

会社名・製品名・サービス名は、各社の登録商標または商標です。

18

STEP.1

STEP.2

STEP.3

テストタイプ一覧表の作成 （テストタイプ・・・特定のテスト目的に焦点を合わせたもの）• 26個あるテストタイプの内、一部を紹介しています。
No.

システムテスト

テストタイプ名

説明

1

ボリューム

テスト対象に対して、大容量、多数量、多種類のデータ処理を要求した場合でも、正しく動作することを確認するテスト

2

ストレージ

テスト対象の利用するリソースが不足しそうな状態、または不足している状況においても、正しく動作することを確認するテスト3

高頻度

テスト対象に対して、単位時間内に処理能力の限界を超えるような多数の処理を要求した場合でも、正しく動作することを確認するテスト

4

累積稼働

テスト対象に繰り返し長時間処理を要求した場合でも、正しく動作することを確認するテスト

構成

テスト対象と同一環境内のシステムを構成する要素の削除・置き換え・属性変更を行った場合、または別の要素を同一環境内に追加した場合に、テスト対象が正しく動作することを確認するテスト
テスト対象をある環境に対して追加、削除、置き換え、属性の変更を行った場合に、その環境内のシステムを構成する要素が正しく動作することを確認するテスト
テスト対象に対して利用できるフォーマットのデータを処理させた場合に正しく動作することを確認するテスト
障害発生時の影響が局所的なものに抑えられているか、致命的なものにならないか、または障害発生時の影響をどこまで回復できるかなど、発生する可能性のある障害に対応できるかを確認するテスト
テスト対象のユーザーインターフェイスについて、視認性と操作性の良否を評価するためのテスト
テスト対象への不当な行為を阻止するための対策が適切になされているかを確認するテスト

5
6
78

両立性
データ互換
障害対応

ユーザビリティ
10 セキュリティ11 ドキュメント
9機能テスト

ユーザに提供されるドキュメント（マニュアル）の技術的な正確性を評価するテスト

正常系
12 準正常系
異常系
13 設定保持・初期値

正常系・・・入力ミスなどがなく、エラーメッセージなどが一切出ず最後まで処理が進み通常状態に戻ることを確認するためのテスト
準正常系・・・エラーメッセージなどはでるが、最終的には処理が最後まで進まなくても通常状態に戻ることを確認するためのテスト
異常系・・・エラーを意図的に発生させ、エラー処理が正しく機能しているかどうかを確認するためのテスト
テスト対象に対して、設定変更時などに設定を正しく保持出来ているか、初期値が正しく設定されていることを確認するテスト

14 設定組合せ
15 データ正誤

テスト対象に対して、さまざまな設定を組み合わせる事により機能が正しく動作することを確認するテスト

16 バリデーション

テスト対象に対して、要求仕様どおりに正しく動作することを確認するテスト

テスト対象に対して、入力値に対して正しく出力されていることを確認するテスト（ベリサーブホームページ,「実績・強み」を参照 「https://www.veriserve.co.jp/asset/advantage/technic /」）© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

19

STEP.1

STEP.2

STEP.3

テスト基本設計•

テストアイテムマトリクス表を使って、各サブ機能に対して、該当する品質副特性の選定およびテストタイプを決定する。

①マインドマップで整理したテスト分析結果をまとめる。

© 2021 VeriServe Corporation②該当する「品質副特性」の箇所のセルを黄色で塗りつぶす。

会社名・製品名・サービス名は、各社の登録商標または商標です。

③テストタイプを選択する。
12=機能テスト（正常系/準正常系/異常系)
6=システムテスト（両立性）
8=システムテスト（障害対応）※テストタイプは、2つ以上適用する場合もある。

20

STEP.1

STEP.2

STEP.3

テスト詳細設計• テスト基本設計書をもとに、テスト詳細設計書を作成する。
＜テスト詳細設計項目＞
1. テストケースID
2. テスト対象

3. テスト目的
4. 事前条件
5. テストデータ
6. テスト環境

テスト基本設計書「品質副特性」
項目を追加する。

7. テスト設計参照先8. テスト優先度
9. テスト実行時間

10. テスト手順11. 期待結果© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

21

STEP.1

STEP.2

STEP.3

テスト詳細設計書の検証• テストアイテムマトリクスで作成した内容とテスト詳細設計書で作成した内容を比較し、該当する品質副特性のテストケースが正しく設計されていることを確認する。
①テストアイテムマトリクス

テストタイプ番号②テスト詳細設計書
エクセルのピボットテーブルで、テストケースの「品質副特性」を集計した表
テストケース数© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

22

「品質視点」のテスト設計の全体のイメージ図
品質視点のテスト設計のライフサイクル
テスト目的

テスト分析
テスト対象

テスト条件

テスト
基本設計
テスト観点
(品質特性)

テスト技法

テスト観点
(一般的な観点)テスト
詳細設計© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

23

3.品質の「見える化」© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

24帳票系機能Aのテスト結果•

エクセルのレーダーチャートを使って、品質レベルを「見える化」する。
インテグリティ
PASS率 90.00%
テスト観点：許可していないユーザーがアクセスできないことの確認

機能正確性
PASS率 23.53%
テスト観点：入力データに対する出力データが正しいことの確認など

凡例© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

25

システム全体の品質レベルの比較(v0.1-v1.0)①ソフトウェアバージョン v0.1
開発初期時の品質レベル②ソフトウェアバージョン v1.0
リリース候補時の品質レベル★ポイント
最近では、開発規模の高機能化や繰り返される派
生開発によって、必ずしも、すべての品質レベルが100%になるとは限りません。

© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

26

4.テスト管理ツールを使った効果的な品質管理方法「品質視点のテスト設計」 ✕© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

27

テスト管理ツール(QF)による品質管理プロセス全体像
プロジェクト
品質レベルの結果確認

テストフェーズA

品質レベルの品質レベルの品質レベルの事前確認

モニタリング

結果確認

参照

参照

テストフェーズB

品質視点のテスト
設計書を使ってテストを実施

AWSクラウド© 2021 VeriServe Corporation

参照

会社名・製品名・サービス名は、各社の登録商標または商標です。

品質レベルの品質レベルの品質レベルの事前確認

モニタリング

結果確認

28

①テスト管理ツール(QF)による品質管理プロセス：テスト実行前
テストフェーズ

品質レベルの品質レベルの品質レベルの事前確認

モニタリング

結果確認

テストスイート（テスト詳細設計書）© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

29

①カバレッジパネルによる品質レベルの事前確認• 対象機能のテストスイートが網羅している品質レベルを示しています。
テストスイートの状態：テスト実行前

図1. Quality Forward – テストスイートのカバレッジパネル画面

テストケース数 全1200件（内訳）
機能適切性：500件、機能正確性：200件、時間効率性：100件、相互運用性：100件
障害許容性：50件、回復性：50件、容量満足性：50件、否認防止性：50件、インテグリティ：50件、機密性：50件© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

30

②テスト管理ツール(QF)による品質管理プロセス：テスト実行中
テストフェーズ© 2021 VeriServe Corporation

品質レベルの品質レベルの品質レベルの事前確認

モニタリング

結果確認

会社名・製品名・サービス名は、各社の登録商標または商標です。

31

②カバレッジパネルによる品質モニタリング• カバレッジパネルにより、テストフェーズごとに品質レベルをモニタリングします。
テストフェーズA：テスト実行中の状態

図2. Quality Forward – テストスイートカバレッジパネル画面■カバレッジパネル表示カラー（PASS率）★マークがついているのは、PASS率100%を示しています。
赤（PASS率が低い）＜ 緑（PASS率が高い）© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

32

③テスト管理ツール(QF)による品質管理プロセス：テスト実行完了後
テストフェーズ© 2021 VeriServe Corporation

品質レベルの品質レベルの品質レベルの事前確認

モニタリング

結果確認

会社名・製品名・サービス名は、各社の登録商標または商標です。

33

③カバレッジパネルでのテスト実行完了後の品質レベル確認• すべてのテストが完了後、カバレッジパネルの品質結果は以下のとおりです。
• どの品質が良くて、どの品質が悪いのかを一目で確認することができます。
テストフェーズA：テスト実行完了後の状態

図3. Quality Forward – テストスイートカバレッジパネル画面■カバレッジパネル表示カラー（PASS率）© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

悪い品質34

テスト管理ツール(QF)による品質管理のメリット

1. テストスイートの確認対象となる品質特性を事前に把握することができる。
→ プロジェクト目的を確実に達成、作業品質の向上
2. テストフェーズの品質状況をリアルタイムでモニタリングできる。
→ 作業効率の向上、テスト管理工数の削減
3. Excelによる、品質レベルの分析が不要。
→ 品質分析工数の削減
4. プロジェクトやテストフェーズごとの品質レベルの結果が一目瞭然。
→ 品質の「見える化」© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

35

5.まとめ© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

36

「品質視点のテスト設計」による効果

1. 品質の「見える化」ができる。

© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

37

従来のテスト結果との比較

FAIL,100,10%

PASS, 900,90%

PASS

FAIL

「一般的なテスト観点」でのテスト設計によるテスト結果© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

「品質視点」のテスト設計によるテスト結果
38「品質視点のテスト設計」による効果

1. 品質の「見える化」ができる。

2.問題のある品質が明確になるため品質改善がしやすい。
3.テスト設計の漏れが少なくなる。
4.品質レベルが充分であることを確認することができる。
© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

39

参考文献
1. ISO/IEC 25010（システム及びソフトウェア製品の品質要求及び評価(SQuaRE)-システム及びソフトウェ
ア品質モデル
2. ソフトウェア品質知識体系ガイド 第3版
3. JSTQB-Syllabus.Foundation_Version2011.J01
4. JSTQB-Syllabus.Foundation_Version2018.J03
5. JIS Q9000:2015品質マネジメントシステム-基本及び用語
6. ソフトウェアテスト標準用語集(日本語版) Version 2.3.J02© 2021 VeriServe Corporation

会社名・製品名・サービス名は、各社の登録商標または商標です。

40

私 た ち の 使命

夢ある未来を、共に創るお客様からの信頼を基に、共に新たな価値を創造し、夢ある未来を拓きます。