ソフトウェア品質シンポジウム2018

作成者の認知バイアスに着目したレビュー手法の提案
Proposal of review method focused on author’s cognitive bias
2017 年度 SQiP 研究会研究コース 2
The 2nd section meeting team of SQiP Study Group in 2017○湯川 健
〇Takeshi Yukawa

小林 享 1)
Toru Kobayashi 1)

主査
CHIEF INVESTIGATOR
副主査
SUB-CHIEF INVESTIGATOR

櫻井 瑞穂 2)
Mizuho Sakurai 2)： 中谷 一樹 5)： Kazuki Nakatani 5)： 上田 裕之 6)： Hiroyuki Ueda 6)久禮 尚 3)
原田 和典 4)
Takashi Kure 3) Kazunori Harada 4)

アドバイザー
ADVISER：：安達 賢二 7)
Kenji Adachi 7)

AbstractSome defects may be implemented due to human error caused by cognitive bias. However, reviewers often
cannot detect such defects even if they are seeing only deliverables.
So we propose "D2BOCs (Defect Detection from Background of Cognitive bias) method" as a method toefficiently detect the serious or difficult defects.
D2BOCs method is realized in two steps：(1) A reviewer estimates which cognitive bias the author is based on the circumstances at the creation ofproduct and the characteristics of deliverables.
(2) From the cognitive bias speculated by the reviewer, the tendency of the implemented defect is identified.
As a result of the verification, we convinced that the D2BOCs method is effective for detecting serious ordifficult defects.
1. はじめに1.1 背景成果物に混入した欠陥を見つけ出し，品質を高めるために，レビューは有効な手段である．しかしながらレビューを実施しても，重大欠陥の検出漏れは後を絶たない．その結果，後工程で大きな手戻りが発生し，さらにテストもすり抜けて本番環境において重障害を引き起こし，多大な損害を被る場合がある．
検出漏れが発生する要因の一つとして,欠陥の検出難易度が高いことが挙げられる．検出難易度が高
い欠陥とは，レビュー対象である成果物から記載すべき内容が抜け落ちている欠陥，将来の運用や保守性について考慮が漏れている欠陥が該当する [1]．すなわち，成果物の記載内容のみをレビューしていては，検出難易度の高い欠陥は検出できない．

ソーバル株式会社 デジタルプロダクト部
Sobal Corporation Digital Product Department
東京都品川区北品川 5-9-11 大崎 MT ビル Tel: 03-6409-6131 e-mail: takeshi_yukawa@sobal.co.jp
Oosaki MT Building , 5-9-11, Kitashinagawa, Shinagawa-ku, Tokyo, Japan1) カルソニックカンセイ株式会社
Calsonic Kansei Corporation
2) テックスエンジソリューションズ株式会社
TEXENG SOLUTIONS CORPORATION
3) 株式会社インテック
INTEC Inc.
4) 東京海上日動システムズ株式会社
Tokio Marine&Nichido Systems Co.,Ltd.
5) TIS 株式会社
TIS Inc.
6) 株式会社 DTS インサイト
DTS INSIGHT CORPORATION
7) 株式会社 HBA
HBA Corporation【キーワード：】レビュー，認知バイアス，欠陥モデリング，メタ認知ソフトウェア品質シンポジウム2018

このような，検出難易度の高い欠陥が混入してしまう要因の一つが，ヒューマンエラーの存在である．ソフトウェア開発において成果物を作成する時，作成者は大小含めて多くの物事を認知，判断をしながら行動している．これらは「作成者の置かれている状況や過去の経験」(以降，背景情報と定義する)に基づいて意図せずに行われることがある．この時，認知，判断，行動を誤ることにより，欠陥を混入する．このような，意図せずして人が犯してしまう過ちのことをヒューマンエラー [2]と呼ぶ．
また，このヒューマンエラーを引き起こす要因の一つに，認知バイアスがある．認知バイアスを原因とする事象は，ソフトウェア開発業界を含め，医療業界や航空業界など，さまざまな業界で発生している[3]．
1.2 認知バイアス
認知バイアスとは，認知心理学や社会心理学の理論であり，人間が物事を評価する際，自分の利害や希望に沿った方向に考えが歪められたり，これまでの経験や先入観，他人の意見などにとらわれたりして，人の思考を無意識のうちに誘導するものである[4]．
作成者が成果物を作成する際の思考プロセス（図 1 参照）は，認知・判断・行動の順で実施されるが，この三つ全てにおいて，認知バイアスに掛かる可能性がある．そして，無意識のうちにヒューマンエラーを引き起こしてしまい，成果物に欠陥を混入するのである．
例えば，認知バイアスの一つに，「ユニットバイアス」がある．ユニットバイアスは，
図 1 認知バイアスと欠陥混入の関係課題を終了することに注意を集中する傾向を指す．ユニットバイアスに掛かっている状態で成果物を作成した場合，成果物の品質よりも納期を重視する．その結果，本来考慮すべき例外処理の抜けなどの欠陥が混入する．
さらに，混入した欠陥が重大な欠陥である場合，後工程で大きな手戻り，本番環境における重障害を引き起こし，多大な損害を被ることになる．
1.3 本研究で解決すべき課題
我々は，作成者が掛かっている認知バイアスを推測することで，作成者の思考の偏りを想像することが可能となり，作成された成果物に記載されていない検出難易度が高い欠陥または重大欠陥の検出率が高まるのではないかと考えた．そこで本研究で解決すべき課題として以下の二つの RQ を設定する．
RQ1： 作成者が掛かる認知バイアスにレビューアが着目することで，重大欠陥を検出できるかRQ2： 作成者が掛かる認知バイアスにレビューアが着目することで，検出難易度の高い欠陥を検出できるか
なお，本研究で対象とするレビューの範囲は，「個人レビュー，集合レビューを問わず，レビューにおける欠陥検出活動」を対象とする．
1.4 欠陥の重大度，検出難易度の定義
本稿での欠陥の重大度は，先行研究 [5]において定義されている知見分析表を用いる．本稿においても，知見分析表と同様に，「影響度 大」かつ「緊急度 大」の欠陥を重大欠陥と定義する．欠陥の重大度の定義を，表 1 に示す．
また，検出難易度は，先行研究 [1]において定義されている欠陥検出難易度を用いる．検出難易度は
表 2 に示す．本稿では検出難易度の高い欠陥の定義を Level 4～5 とする．

ソフトウェア品質シンポジウム2018

表 1 欠陥の重大度の定義
定義

表 2 欠陥の検出難易度の定義
検出難易度

説明

保守性

○

ソフトウェアの致命的な故障を引き

Level 4

機能欠落

○

起こす欠陥

Level 3

難読/複雑度/不整合

ソフトウェアの動作不良につながる

Level 2

不統一/未決表現/NG ワ

大

影響度

影響度

大

大かつ緊急度

大欠陥
小運用上受容できるが，仕様として違和感がある欠陥

緊急度

※1

Level 5

重大度

中

説明

大

対象工程で対処が必要

中

対象工程での対処が望ましい

小対象工程で対処が不要

ード
Level 1

標準/ルール/形式違反/対象の有無※1）本稿における検出難易度の高い欠陥の定義

2. 関連研究
課題の解決策として先行研究が適用できるかを調査した．その調査結果を以下に示す．
＜HDR 法[6]＞品質要求・品質特性やレビュー対象物そのものから，混入した欠陥の兆候を掴み，その兆候を基に仮説を立てて，狙いを定めて欠陥を検出するレビュー手法である．
しかし，HDR 法は，欠陥混入の手がかりとなるものであれば何でも兆候として捉えようとする考え方であり，ヒューマンエラーのみに焦点を当てたものではない．
＜欠陥モデリング[7]＞欠陥モデリングとは，ある状況下で人が過ちを犯し，その結果，実害が生まれるまでの因果関係を示したバグ分析手法である．「欠陥の混入する原因となる人間の思考や判断の誤りそのもの」を過失因子と定義し，「成果物の中に含まれる，人間の誤りを誘発するトリガーとなる要素」を誘発因子として定義している．欠陥とヒューマンエラーや認知バイアスの関連性は示しているものの，各欠陥の検出方法については，詳細に述べていない．
これらの結果から，本研究での課題の解決策を今回独自に検討することにした．
3. 提案
3.1 提案する手法
本研究での課題の解決策として，D2BOCs(Defect Detection from Background of Cognitive bias)法を提案する．D2BOCs 法は，「レビューアが，作成者の背景情報と作成された成果物の特徴から，どの認知バイアスに掛かっているかを推測し，混入した欠陥の傾向を特定することで，重大欠陥または検出難易度の高い欠陥を効率的に検出する手法」である．
以下に D2BOCs 法の特徴を示す．
(1) 認知バイアスを推測し，欠陥の傾向を特定する
成果物作成時の作成者の背景情報と，成果物の特徴から，どの認知バイアスに掛かっているかを推測し，発生しやすい欠陥の傾向を特定する．
欠陥の傾向を特定する際は，我々が作成した認知バイアス別欠陥関係表を用いる（「3.2 認知バイアス別欠陥関係表」参照）．
(2) 高リスクの範囲を重点的にレビューする
レビュー対象に対し，品質要求，機能の重要度などを軸にプロダクトリスク判定を実施し，高リスクである範囲を決定する．決定した高リスクの範囲を重点的に探索することで，重大欠陥の検出率向上が見込まれる．また，欠陥が検出されなかった場合でも，高リスクの範囲に対しての品質を保証することにつながる．

ソフトウェア品質シンポジウム2018

本研究で対象とする認知バイアスは，作成者が掛かると重大欠陥を混入させるリスクが高い認知バイアス 13 種類に選定した．(表 3 参照)
表3

本研究で対象とする認知バイアス

認知バイアス
可用性
ヒューリスティック
機能的固定

説明
認識，理解，決定の際に，思い出しやすい情報だけに基づいて判断する傾向「本来こうやるべき」という固定化した考えが問題解決を妨げる傾向
先行する何らかの数値（アンカー）によって後の数値の判断が歪められ，判断された数

アンカリング

値がアンカーに近づく傾向のことをさす

文化的バイアス

自分の所属している文化の価値観で現象を理解し，評価する傾向

曖昧性効果

情報が不足している選択肢は避ける傾向

知識の呪い

専門知識を持つ集団は，その知識を持たない人達の考えを想像する事ができない傾向
最初に接した情報に引きずられ，物事の全体像ではなく一部分の側面しか見ようとしなフォーカス効果い傾向專門偏向自分の得意な分野の視点でのみ観察し，他の視点では見ない傾向

共有情報バイアス
サンプルサイズに対する鈍感さ
ゼロリスクバイアス
ユニットバイアス
社会的望ましさバイアス

集団において既に共有されている情報に関しての議論に多くの時間を費やし，共有されていない情報に関しては時間を費やさない傾向
少数のサンプルを調べただけで信念が形成される傾向ある問題の危険性を完全にゼロにする事に注意を集中し，他の重要な問題の危険性に注意を払わない課題を終了する事に注意を集中する傾向．何であれ，やり終える事に人間は満足を感じる
社会的に望ましい側面のみを報告し，望ましくない側面を報告しない傾向

13 種類の認知バイアスは，我々の実務経験に基づいて，以下の手順にて選定した．
① 定義されている 193 種類の認知バイアス[8]から，レビュー対象の作成工程で作成者にかかる認知バイアスを抽出する．
② 抽出した認知バイアスに対し，「発生頻度」「重大欠陥誘発度」の二つの視点で採点する．採点基準を以下の表 4 に示す．
③ 採点の結果，発生頻度 16 点以上 かつ 重大欠陥誘発度 5 点以上の認知バイアスを本研究の対象とした．
表 4 認知バイアス採点基準
採点種別

採点方法

発生頻度

認知バイアスに掛かる頻度を，1～3 点で採点

採点者数
品質保証：1 人全採点者の合計（総得点）を評価値とする
3 点：頻繁に掛かる/ 2 点：時々掛かる

開発：2 人/ 1 点：滅多に掛からない

重大欠陥

重大欠陥の引き起こしやすさを，0 点 or 1 点で採点誘発度全採点者の合計（総得点）を評価値とする
1 点：引き起こしやすい

テスト：3 人/ 0 点：引き起こしにくい

3.2 認知バイアス別欠陥関係表
本手法は，認知バイアス別欠陥関係表を用いる(表 5 参照)．認知バイアス別欠陥関係表は，作成者の背景情報と認知バイアス(A 表)，成果物の特徴と認知バイアス(B 表)，認知バイアスと欠陥の傾向(C表)の関連を定義した三表から構成される．これら三表は,本研究で対象とする認知バイアス (表 3)の各認知バイアスの特徴を理解した上で，我々が所属する各組織の過去の欠陥情報を基に,認知バイアス(横軸)と各情報(縦軸)を関連付けることにより作成した．

ソフトウェア品質シンポジウム2018

認知バイアス別欠陥関係表は，HDR 法[6]の理論を基に「作成者の背景情報と成果物の特徴」を兆候として，「認知バイアス」を仮説として捉えることにより，レビューアが効率的に「関連した欠陥の傾向」を特定するための表である．
作成者の背景情報や成果物の特徴は，組織毎に記載の粒度や項目を調整する必要がある．

表5

認知バイアス別欠陥関係表(一部抜粋)

3.3 D2BOCs 法の手順
D2BOCs 法の手順を図 2 に示す．手順(1)～(3)の詳細は以下で述べる．
(1) 重点探索範囲の決定レビュー計画時に，レビュー対象に対してリスク判定を行い，高リスクである範囲を特定し，レビュー時の重点探索範囲を決定する．リスク判定は，品質要求，機能の重要度などを軸に実施する．
(2) 認知バイアス選定～欠陥の傾向特定① 背景情報からの認知バイアス確認
レビュー開催前にレビューアが，A 表を参照しながら，作成者の背景情報に合致しているかを確認する．
② 成果物の特徴からの認知バイアス確認
レビューアが，成果物を通覧し，B 表を参照しながら，成果物の特徴に合致しているかを確認する．
③ 欠陥の傾向特定①，②の結果を基に合致数が高い三つの認知バイアスを特定する．次に，C 表を参照し，欠陥の傾向を特定する．
(3) レビュー実施
図 2 D2BOCs 法の実施手順
手順(1)で決定した重点探索範囲に対して，手順(2)③で特定した欠陥の傾向を基に，レビューを実施する．また，レビュー結果を分析し，必要に応じて認知バイアス別欠陥関係表に欠陥情報を追加する．
4. 検証
4.1 検証内容
以下の二種の検証により，D2BOCs 法の RQ に対する有効性を確認する．

ソフトウェア品質シンポジウム2018

検証 1：D2BOCs 法を適用時と従来法を適用時の欠陥検出効果の比較
検証 2：D2BOCs 法を適用し追加実施した場合の欠陥検出効果の確認
検証 1 は，D2BOCs 法で検出した欠陥と従来法（被験者が普段実施している方法でのレビューとする）で検出した欠陥の被験者ごとの総件数，重大度別件数，検出難易度別件数を比較する．これにより，
D2BOCs 法が従来法に対し，重大度，検出難易度が高い欠陥を検出できる手法であるかを確認する．
検証 2 は，従来法でレビューを実施した後，D2BOCs 法を適用してレビューを実施することで同一の被験者でも重大度，検出難易度が高い欠陥を新たに検出できる手法であるかを確認する．
4.2 検証条件および手順
本検証は，被験者を二つのグループに分け，異なる手順にて検証を実施した．各グループの検証条
件，検証手順を以下の表 6 に示す．
表 6 検証条件と検証手順
被験者グループ手順適用手法

レビュー対象レビュー時間A グループ（10 名）

A-1

D2BOCs 法

要求仕様書 X

30 分

B グループ（17 名）

B-1

従来法

要求仕様書 X

30 分

B-2

D2BOCs 法

要求仕様書 X※230 分※2 手順 B-1 で未確認部分がある場合は，確認済みの部分のみをレビュー対象とする

各グループともに，同じ要求仕様書（A4 サイズのドキュメント 5 ページ）を用いる．一回のレビュ
ー時間は 30 分とし，各被験者が個人でレビューを実施する．
4.3 検証結果(1) 検証 1： D2BOCs 法を適用時と従来法を適用時の欠陥検出効果の比較
D2BOCs 法(A-1)を用いた場合と従来法(B-1)を用いた場合の，各被験者が検出した欠陥の検出数を表7 に示す．また，箱ひげ図により可視化した結果を図 3 に示す．
表 7 欠陥の検出数
適用手法

従来法

D2BOCs 法

算定値

検出難易度

各被験者の検出数

低中

重大度
高軽微

中程度

重大

最大値

18 件

4 件

5 件

12 件

6 件

6 件

7 件

中央値

6 件

1 件

1 件

3 件

1 件

2 件

2 件

最小値

1 件

0 件

0 件

0 件

0 件

0 件

0 件

平均値

6.4 件

1.3 件

1.7 件

3.4 件

2.1 件

2.1 件

2.2 件

最大値

17 件

2 件

8 件

9 件

5 件

7 件

9 件

中央値

8 件

2 件

2 件

4 件

1.5 件

2 件

4 件

最小値

4 件

0 件

1 件

1 件

0 件

1 件

1 件

平均値

9.1 件

1.4 件

2.9 件

4.8 件

2.0 件

2.7 件

4.4 件

図 3 欠陥の検出数（箱ひげ図）

ソフトウェア品質シンポジウム2018検出難易度の低い欠陥，軽微欠陥は，どちらの手法を用いた場合でも顕著な差は見られなかった．
検出難易度の中・高の欠陥や重大欠陥は，中央値，平均値で比較した場合，D2BOCs 法の検出数が多い傾向であることを確認した．
(2) 検証 2：D2BOCs 法を適用し追加実施した場合の欠陥検出効果の確認
従来法(B-1)を実施後に，同一被験者が D2BOCs 法(B-2)を追加で実施した．検証 2 において各被験者が検出した欠陥数を表 8 に示す．
表 8 D2BOCs 法を追加実施時の欠陥数算定値

各被験者の検出数
従来法

D2BOCs 法

検出難易度:高従来法

重大欠陥

D2BOCs 法

従来法

D2BOCs 法

最大値

18 件

13 件

12 件

7件

7 件

4件

中央値

6 件

4件

3 件

2件

2 件

2件

最小値

1 件

1件

0 件

1件

0 件

1件

平均値6.4 件

4.8 件

3.4 件

2.8 件

2.2 件

2.0 件

同一被験者が，D2BOCs 法によるレビューを追加で実施した場合でも，検出難易度の高い欠陥，重大欠陥を検出できることを確認した．
4.4 考察検証 1 では，検出難易度の高い欠陥の検出数が 1 件である被験者が存在した．この被験者の総欠陥検出数は，最小値の 4 件であり，他の被験者と比較して相対的に少ない結果であった．しかし，この被験者は，3 件の重大欠陥を検出しており，欠陥検出の効果は大きいと考える．また，D2BOCs 法を適用することで，多くの被験者は重大な欠陥，検出難易度の高い欠陥を複数検出できている．
検証 2 では，同一被験者が D2BOCs 法を追加で適用することにより，より多くの欠陥を検出できることを確認した．同一被験者が，欠陥を検出できた背景として，以下の二点が挙げられる．
・認知バイアスを特定することで，混入している欠陥の推測が容易になる．
・レビューで検出すべき欠陥と重点的にレビューする範囲を特定することで，検出難易度の高い重大欠陥の検出に注力可能になる．
検証 1，検証 2 の結果から D2BOCs 法は，検出難易度の高い欠陥，および重大欠陥の検出に効果があり，RQ に対して有効な手法であると言える．
5．おわりに5.1 まとめレビューでの重大欠陥の検出漏れは，後工程での手戻りや本番環境での重障害を引き起こしてしまう問題がある．この問題を解決するために，我々は，作成者が掛かっている認知バイアスに着目し，以下の二つの RQ を設定した．
RQ1： 作成者が掛かる認知バイアスにレビューアが着目することで，重大欠陥を検出できるか
RQ2： 作成者が掛かる認知バイアスにレビューアが着目することで，検出難易度の高い欠陥を検出できるか
これらの課題に対し，我々は D2BOCs 法を考案した．D2BOCs 法とは，「レビューアが，作成者の背景情報と作成された成果物の特徴から，どの認知バイアスに掛かっているかを推測し，混入した欠陥の傾向を特定することで，重大欠陥または検出難易度の高い欠陥を効率的に検出する手法」である．
D2BOCs 法が，重大欠陥，及び検出難易度の高い欠陥の検出に有効であることを検証し，良好な結果を得られた．本手法の活用により，本番障害や手戻りが減少することを大いに期待する．
5.2 今後の課題
本研究における今後の課題は大きく二点存在する．
(1) レビューアが掛かる認知バイアスへの考慮
D2BOCs 法は，レビューアの判断で，作成者に掛かる認知バイアスを推測し，欠陥の傾向を特定してレビューを実施する手法である．しかし，本手法を活用する過程で，レビューア自身が認知バイアスの影響を受けることがあり，推測する認知バイアスの誤り，検出欠陥種類の減少といった弊害が生じ

ソフトウェア品質シンポジウム2018る可能性がある．
こうした状況を回避するための一つの方策として，メタ認知［9］がある．この理論を取り入れることで，レビューア自身が認知バイアスにかかっているかを客観的に把握することが可能となると考える．
このメタ認知の理論をどのように D2BOCs 法に活用するかを検討する必要がある．
(2) 認知バイアス別欠陥関係表の更新
今回の検証では，検出した欠陥数のばらつきが大きい結果となった．レビュー経験の少ないレビューアが安定して欠陥を検出するためには，実際にレビューで検出した欠陥の情報をどのような粒度で認知バイアス別欠陥関係表に反映させるのかをさらに検討する必要がある．
5.3 今後の展望
本研究では,作成者が掛かっている認知バイアスにレビューアが着目することで，重大欠陥や検出難易度が高い欠陥を狙い打つことが可能となるレビュー手法を考案した．
この認知バイアスに着目するという考え方は，レビューで活用できるだけでなく，成果物作成やプロジェクトマネジメントの品質向上にも活用可能である．例えば，認知バイアス別欠陥関係表を作成者が利用すれば，欠陥混入の危険を作成者自身が事前に察知することが可能になる．また，プロジェクトマネージャーが利用すれば，認知バイアスが掛かる原因自体を排除するために，コミュニケーシ
ョン改善や開発環境の見直しなど，開発チーム全体の根本的な改善に取り組むことも可能になる．このような取り組みを促進することにより，レビュー前の成果物品質が向上し，システム開発の品質・生産性の飛躍的な向上が期待できる．
参考文献[1] 細川宣啓， テスト力／レビュー力向上に向けた欠陥管理のススメ，JaSST’2010 Hokkaido[2] 小松原明哲，ヒューマンエラー，丸善株式会社，2003[3] 塚原利夫，忘れていませんか？コミュニケーションに係わるヒューマンファクター～自らエラーをしようと思っている人間はいない！～， SQiP シンポジウム 2017[4] 池田裕二，自分では気づかないココロの盲点，朝日出版社，2013[5] 細川宣啓，永田敦，藤原雅明，森崎修司，中谷一樹，北地敏隆，田中賢太朗，花原雪州，今村陽介，効率的・効果的なレビュー実施のための新規役割「ハーベスタ」の提案－知見分析
表を用いた欠陥傾向分析によりレビューの質を向上－，SQiP シンポジウム 2014[6] 細川宣啓，永田敦，森崎修司，高橋功，上田裕之，高橋実雄，中谷一樹，HDR 法：仮説駆動型レビュー手法の提案- HDR 法の実践による生産性と品質の同時向上-，SQiP シンポジウム2013[7] 細川宣啓，野中誠，西康晴，原佑貴子，嬉野綾，過失に着目した欠陥のモデリング－バグ分
析はなぜうまくいかないのか？－，JaSST’2013 Tokyo[8] 「認知バイアス一覧で社会心理学入門 ～社会科学の知の蓄積を活用した社会教育の実現に向けて～」，<http://lelang.sites-hosting.com/naklang/method.html>，2018 年 8 月 15日アクセス[9] J H Fravell，Metacognitive aspects of problem solving ，1976