ソフトウェア・シンポジウム 2023 in 仙台「ソフトウェアレビュー研究結果の認知拡大と適用促進」活動状況報告
安達 賢二
株式会社 HBA

adachi@hba.co.jp

中谷 一樹
TIS 株式会社

nakatani.kazuki@tis.co.jp

要旨

上田 裕之
株式会社 DTS インサイト

hiroyuki.ueda@dts-insight.co.jp

2.2. 課題を引き起こしている要因

ソフトウェアシンポジウム 2022 にて経験論文として発表した「ソフトウェアレビュー研究結果の認知拡大と適用促進」で計画していた各種活動に対する状況を報告し,今後の対応を述べる.

解決したい課題を引き起こしている主な要因は以下と想定した.
・要因 1：研究成果物が認知されにくい
SQiP 研究会と研究成果物の掲載場所を認識している人,その内容を意図的に確認する人はそう多くないと思われる.
・要因 2：レビューの課題が特定できていない
要因 1 を解決できたとしても,現状のレビューに様々な問題が存在している中で,どれが取り組むべき課題なのかまで認識している人は多くない.
・要因 3：レビュー課題の解決手段の引当てが難しい
要因 2 を解決できたとしても,多くの研究成果からその課題を解決する手段を引当てるのは簡単ではない.
・要因 4：研究結果はそのままの適用が難しい
要因 3 を解決できたとしても,実務に研究内容をそのまま適用できることは稀である.自らの状況への読み替えやカスタマイズを行う必要があり,それは簡単ではない.

1. はじめに
日本科学技術連盟ソフトウェア品質管理研究会レビュー分科会（以降,SQiP 研究会とする）では 10 年ほどソフトウェアレビュー研究が実施され,その成果が 30 件の論文として発表されている.（2022 年 3 月現在）
しかし,それらの研究成果は業界内に広く認知されている状態ではなく,適用も進んでいないと感じていた.
その状況打開のための方策を検討した結果を「ソフトウェアレビュー研究結果の認知拡大と適用促進」としてソフトウェアシンポジウム 2022 にて経験論文として発表した.
当報告では,その後実施したソフトウェアレビュー研究結果の認知拡大と適用促進活動状況と現状の課題,今後の対応について述べる.

以上の要因は,認知の問題（要因 1）と適用の問題（要因2,3,4）に分類することができ,要因 1 から順に解決する必要がある.

2. 当初計画（元論文の要旨）
当報告における活動実績と評価の対象となる活動計
画～ソフトウェアシンポジウム 2022 にて経験論文として発表した「ソフトウェアレビュー研究結果の認知拡大と適用促進」の内容を要約して述べる.（個別詳細は当該論文を参照のこと）

2.3. ターゲットユーザーの特定方策を展開するために活動できるメンバーは 3 名で,組織もロケーションも異なり,実務の空き時間で当活動を行う必要があるため使えるリソースには限りがある．レビューに興味のない人,問題意識のない人たちを相手にしても貴重なリソースを無駄に浪費し,効果も期待できない.
この状態において方策による効果を可能な限り高めるため，どのようなユーザーをターゲットにすると効果的なのかをあらかじめ特定した．
ターゲットユーザーは，「現状のレビューに問題意識を持ち，改善したいと思っている，しかし，改善に効果が期待できるレビュー手法を把握できずにいる人」とした．

2.1. 解決したい課題
日本科学技術連盟ソフトウェア品質管理研究会レビュー分科会では 10 年ほどソフトウェアレビュー研究が実施され,その成果が 30 件の論文として発表されている.
（2022 年 3 月現在）
しかし,「それら研究成果は業界内に広く認知されている状態とは言えず,適用もあまり進んでいない」と感じていた.
これを解決したい課題とした.

105

SEA

ソフトウェア・シンポジウム 2023 in 仙台

2.4. 認知拡大と適用促進に対する方策

ここでレビュー観点とは， レビューアによるレビュー対象の見方を表している．つまりレビューで検出したい欠陥を見つけるためにレビューアが集中して着目する，対象成果物の側面を意味している．レビューアがどのように確認するのかを表したものである，と考えてもよい．レビュー
観点は段階的に詳細化したレビュー目的にも相当し，「利用者課題の解決可能性」のように抽象度が大きい高位レベル観点から，「高齢者が一読で認識できる文字の大きさであること」のように具体的な低位レベル観点まで，さまざまな粒度の観点がある．

課題を引き起こしている要因とターゲットユーザーを考慮したうえで,認知拡大と適用促進のための必要な方策を明確にした.その結果を表 1 に示す.
表 1. 認知拡大と適用促進に対する方策
ID
方策の内容
認知拡大のために
H1 ターゲットユーザーの目に触れやすい関連イベントや一般公開型勉強会など，SQiP 研究会の枠を超えたパブリックな環境で自ら働きかけて情報発信する能動的なアプローチを採る．
→ソフトウェア品質やレビュー，テスト関連のイベントや勉強会，コミュニティ活動等が有力な候補
当初は投稿募集中であったソフトウェアテストシンポジ
ウム 2022 東京をその最初の舞台としてワーク実施を投稿し,採録された.
H2 単発の情報発信では認知を広げる効果が期待できないため継続的な情報発信を行う．
→一か月～数か月に 1 度程度の継続した実践に加え，無償で参加できる等の気軽さも必要である．今回は，Web 上の IT 勉強会支援プラットフォームサー
ビスに「レビュー勉強会」グループを立ち上げ，勉強会を継続運営することとした．
適用促進のために
H3 ターゲットユーザーが持つレビューの問題･課題にヒットしやすくするため，「レビューの典型的な負の事象群」を特定し,整理する．
→図 1：レビューで発生しがちな負の事象の連鎖と循環
H4 「レビューの典型的な負の事象群」を解決するための研究結果を選定し，その構成要素から部品化された解決手段を作成する．
→図 2：方策による負の事象への働きかけ＋表 2：レビュー観点導出技法の実装（部品化）
H5 必要な技法・アプローチを確実に体得するための継続的な取り組みの場を設ける．
→自らのレビューの問題･課題の解決手段を効果的に体得するアプローチが不可欠.
受講者が自らレビューの問題解決を実践し，結果をアウトプットする「ワーク形式」で提供する．

図 1．レビューで発生しがちな負の事象の連鎖と循環

図 2．方策による負の事象への働きかけ

図 2 の下線部に示された方策記述を具体化するため，
表 2 にレビュー観点導出技法として部品化した．

106

SEA

ソフトウェア・シンポジウム 2023 in 仙台

3. この活動の評価指標

表 2．構築したレビュー観点導出技法（部品化）ID
技法の概要
M1 作成者コンテキストからレビュー観点設定
M2 利害関係者の関心事からレビュー観点設定
M3 プロダクトリスクからレビュー観点設定
M4 対象成果物に求められる事項から確認方法設定
M5 対象成果物の典型的な欠陥から確認方法設定
M6 利用シナリオ＋状態遷移図に沿ってレビュー実施

この活動の目的は,レビュー研究結果の認知拡大,そして実務適用の促進である.よって活動の評価指標は表 3とした.

目的認知拡
大2.5. 方策実施に向けた実践体系とワーク実施環境構築
表 1 の H1,H2,H5 を実施するために,さらに H4 の表 2を包含した“レビュー実践体系”を構築した.
その全体像を図 3 に,そしてレビューワーク,勉強会を実施するために構築した Miro（オンラインホワイトボード）環境を図 4 に示す.

適用促進

“レビュー図 3.当初構築したレビュー実践体系

表 3.活動の評価方法
達成要件 or指標
達成内容
活 動 を 実 施 ･ 活動継続度
継続している→3.1 参照
レビュー実践体 活 動 へ の 参系を認知済の 加者数人が多くなる→3.2 参照よ り 内 容 が 理 レビュー実践
解しやすい体系への理解度→3.3 参照
現状のレビュー レビュー実践
課題の解決に 体 系 が 実 務
役立つへ有効であると感じた度合
い→3.3 参照
レビュー指摘の効果向上→3.4 参照

より適切な解を取得するために選択肢が増える
活動が 継続している

レビュー実践
体系への研究成果の組込み度→3.5 参照
活動継続度→3.1 参照

判断方法
期間中の平均
1 回/月以上
認知した人数が当初参加者数より増える
受 講 後 評価：理解度が8 割以上
受 講 後 評
価：実務への有効性が 8 割
以上

全指摘数に対して効果大・中の指摘数が占め る割合が高まる
研究結果の組込み件数が当初の 6 件より増える
期間中の平均
1 回/月以上

3.1. 活動継続度
レビュー実践体系を知ってもらうには,一度だけではな
く何度も知ってもらう機会を提供する必要がある.
また,レビュー実践体系には,レビュー目的を段階的に詳細化するレビュー観点導出など,汎化・具体化を都度適切に行き来することが必要な側面が多いため,一度の経図 4.当初構築したレビューワーク環境

107SEA

ソフトウェア・シンポジウム 2023 in 仙台

2010 年～2015 年にのべ 4 社 20 チーム（1 チーム 3～5名）に対して対象成果物を一斉に手渡し,その場で 15 分
間レビューを実施するアドホックレビューを実施した結果,全検出欠陥数に対して効果が小さい（軽微な）欠陥数の占める割合が大きくなることを確認している.
レビュー指摘例と効果大,中,小の判断事例を示し,各チームで検出した指摘事項がどの効果レベルかを 1 件ずつ割り付けた結果,効果大/中/小それぞれの全欠陥数に占める割合は 19%/44%/37%（20 チーム平均）となった.
今回実施したワークにおいてもレビュー実施時間は 15 分としている.よって今回はこの効果大中小の割合数値を比較対象のベースラインとし,レビュー実践体系に基づくレビューで検出した指摘事項の効果レベル割合が大・中側にシフトしていればレビュー指摘の効果が向上しているとみなす.
なお,活動 B については,各開催回にてレビュー実践体系内の個別手法（例：レビュー結果評価のみ）をトライアルする内容となっているため当指標による評価の対象外とする.

験では習得できない内容が含まれている.そのため適用を促進するためには継続して体験できる機会を提供することが重要である.
限られたリソースの範疇で,可能な限りトレーニングと次トレーニングの間隔を小さくし，継続実践できる運営ができているかを評価する.
対象期間中に平均で 1 回/月以上活動を実施していれば適切に活動が継続していると判断する.
3.2. 当活動への参加者数
当活動は認知拡大を目指すものであり,活動への参加人数が多いほど認知が拡大したとみなすことができる.
当初参加者数より新たに認知した人数が増えているかで評価するが,同一人物が何度も参加した場合をカウントしないようにする.
3.3. レビュー実践体系への理解度と実務有効度
当活動では, レビュー研究結果をレビュー実践体系上にマッピングして整備し,それを実践できるきっかけや継続的に学び体得する機会を提供する.これらの実務適用を促進する上で重要になるのは活動参加時にどれだ
けレビュー実践体系に対する理解度を上げ,実務に有効であると実感してもらえるかである.
活動への参加者がどの程度理解できたと感じたか,実務に有効であると実感したかを評価してもらい,その結果が8 割以上であるか判断する.
なお,判断基準については,プロセス評価の国際標準において“完全に”が 86~100％,“概ね”が 51~85％を参考に,全体の 8 割は高水準であると考えられることから受講者評価結果が“8 割以上”とした.
ただし,一開催,一側面のみの評価結果ではその場限りの偶然性を排除できない可能性もある,よって,複数回開催において複数の側面（理解度と実務への有効性,および満足度）での評価結果を確認し, 3 つの側面でその平均が 8 割以上であれば,理解度・実務への有効性の評価結果が有効であるとみなす.

3.5. レビュー実践体系への研究成果の組込み度
2022 年 2 月の活動開始時点のレビュー実践体系は,実践に必要な枠組みと必要最小限の実践選択肢を取り揃えたものである.当初の活動検討時に存在したレビュー
研究成果物 30 項目のうち, レビュー実践体系として組み込んだのは 6 項目に過ぎない状態であった.
よって,継続的な活動を通じて残り 24 項目を解析してレビュー実践体系に徐々に組み込み,さまざまなレビューの状況に対応可能な選択肢を充実させていく必要がある.
評価指標は「レビュー実践体系に新たに組み込んだ／内容を見直したレビュー研究成果物数」とする.この数値が 0 より高いほど活動が活性化していると判断する.

4. 活動実績
当初論文作成時以降の活動内容は,以下の 3 つのカテゴリに分かれている. これらの実施実績を表 4 に示す.
A. 関連イベントでのワークショップの実施
2.5 時間でレビュー実践体系を通しで体験するワークショップ
B.一般公開型レビュー勉強会の継続開催
レビュー実践体系の構成要素の一部や,新しくレビュー実践体系に組み込む候補である研究成果を試行体験するワーク
C.特定企業 Z 社向けレビューワーク（トレーニング）の3.4. レビュー指摘の効果
レビューの主な目的が欠陥検出であることから,レビュー実践体系に基づきレビューを実践した結果,検出した指摘事項の効果が適用前より向上していることが期待される.ここでの“効果”とは,その欠陥が見逃された場合に以降のフェーズで発生する被害（手戻り工数や利用者への悪影響）の大きさを指す.

108SEAソフトウェア・シンポジウム 2023 in 仙台

5. 活動評価結果

継続実施
3 時間で活動 A と同様レビュー実践体系を通しで体験するワークショップ

活動 A,B,C それぞれに対して評価指標による評価を行った結果を,認知拡大目的分を表 5 に,適用促進目的分を表 6 に示す.（2023 年 3 月 17 日現在）

なお,SS2022 にて発表した経験論文「ソフトウェアレビュー研究結果の認知拡大と適用促進」は,2022.3 に実施した JaSST‘22 東京におけるレビューワークショップの内容を含んでいるため,これを原点となる活動として 0 回目としている.
当報告は,その後の活動（2022 年 4 月以降／1 回目～）についての事例報告となっている.
また,当報告作成時（2023.3.17）は,18 回目のレビュー勉
強会への参加者募集中のため参加者数を“－”とした.

表 5 当活動の評価結果（認知拡大目的分）
目的

認知拡大

指標

活動継続度

活動への参加者数

活動 A

期間中 1 回実施

ワ ー ク 受 講 者 数 20 名

2022/10/28 ソフトウ（増）

ェアレビューシンポジウム2022
活動 B

表 4.レビュー研究結果の認知拡大と適用促進活動実績

期間中 9 回実施

勉強会登録者：90 名増※参考:勉強会参加者数のべ 98 名

※注意：活動 A,B の参加者数（参考値）には同一人物の重複が含まれる

回

開催日

テーマ

活動参

活動 C

期間中 7 回実施

加計のべ 17 回者

2022/3/11

JaSST’22 東京レビューワーク

A

23

1

2022/6/15

レビューワークショップ解説＆ふりかえり

B

16

2

2022/7/11

レビュー目的の構造化

B

12

3

2022/7/12

Z 社向けレビュー観点導出ワーク(1)C1542022/8/25

HDR 法を使った仮説検証アプローチ

B

1552022/9/16

Z 社向けレビュー観点導出ワーク(2)C

2162022/10/11

レビューファシリテーション

B

1472022/10/25

Z 社向けレビュー観点導出ワーク(3)C

782022/10/28

A

20

92022/11/14

レビュー結果評価とふりかえり

B

10102022/11/15

Z 社向けレビュー観点導出ワーク(4)C

11112022/11/29

Z 社向けレビュー観点導出ワーク(5)C

7122022/12/20

Z 社向けレビュー観点導出ワーク(6)C

9132022/12/26

欠陥知識の活用

B

9142023/1/17

Z 社向けレビュー観点導出ワーク(7)

C

1115

2023/1/24

認知バイアスに着目した欠陥予測

B

9B13C

7B－

計

229

162023/2/13

172023/2/14

182023/3/27－－JaSST‘22Review レビュー観点設
計ワーク

製品・サービスリスクに着目したレビュー観点導出
Z 社向けレビュー観点導出ワーク(8)レビュー時の「発言のしやすさ」を考えてみよう！
－(活動当初の 23 名より)

Avg 1.4 回/月数0

受講者数計 88 名（増）198 名増

表 6 当活動の評価結果（適用促進目的分）
目的
指標

活動 A

活動 B

適用促進
実践体

実践体系

指摘事項効果研究成系への理の実務へ向上

果の組

解度の有効度

効果大:中:小込度

Avg

Avg

5 チームの Avg

拡張 2

77.1

88.6

31:45:24

事項※ ＜ 80※満足度

見直し 1のため未Avg

事項

達85.7

未計測

未計測

体系内個別手研究成法実践のため

果 5 事

対象外

項のトライアル実
践済

活動 CAvg

Avg

16 チ ー ム の(解説ス91.3

91.8

Avg

ライド見※満足度

41:39:20

直し)

AVG
91.1
計

理解度

有効度

全 21 チームの拡張 7Avg

Avg

Avg

見直し 1

88.7

91.2

38:41:21

なお,“活動継続度”については認知拡大,適用促進の両109

SEAソフトウェア・シンポジウム 2023 in 仙台

面共通指標となっているため, その結果を表 5 にのみ示し,表 6 からは省略した.

・いつも少人数でレビューしているので役割分担できないがどうしたらよいのか：1 件・レビュー対象の事前読み込みをするのが前提だが全員実践できるのか？：1 件
・しっかり考える必要があるこのアプローチをどうやって広げていけばよいか：1 件・どこまで細かく指摘すると良いのかがわからない：1 件

表 6-活動 A-実践体系への理解度 1 事項の未達と一部未計測部分はあるものの,概ね期待の効果を獲得していることが確認できたため,引き続きこの活動を継続していく価値はあると判断した.
また,以上の評価と併せて活動 A,C（ワークでレビュー実践体系全体を実施する活動）の受講者がワークショップふりかえり時に提示したコメントの内容から,当活動の効果と課題を考察した.

観点抽出と粒度調整に関する問題とそれに起因する時間不足などが計 18 件,現状のコンテキストに Fit させる
方法について 4 件であり,これら対しては何かしらの対策が必要になる.

5.1. ポジティブコメント

6. 当活動の課題と今後

全ふりかえりコメント数 66 件のうち,ポジティブコメントは44 件であり,その内容は想定通りのものとなっていた.
その内訳は以下の通りである.
・アドホックレビューでは検出できなかった影響度大の指摘ができる／有識者的なレビューができる：15 件・レビュー観点設計技法実践による効果を実感：8 件・レビューがしやすくなる：5 件
・普段のレビュー時の観点が偏っていることに気づいた：5件・レビューアの立ち位置や観点の違いで指摘事項が変化することを実感した：4 件
・いつもは色々見るつもりが結果的に見ることができていない／観点を絞ると指摘漏れ防止＋実施が効率的になると感じた：4 件
・観点を個別に割り付けて見る（役割分担）有効性を実感した：3 件

これまでの活動を通じて表面化した課題と今後の対応を表 7 に示す. これらの対応を含めて今後も継続して当活動を実施していく所存である.
表 7.当活動の課題と今後の対応
現状の課題
今後の対応
5.2 ネガティブコメント「観点抽出に 継続勉強会を通じて関する問題」
徐々に体得してもらう
5.2 ネガティブコメント「粒度調整に関する問題」～観点導出手法として高位レベルレビュー観点導出手法と低位レベルレビュー観点導出手法を特に識別していない.ワーク
実践者の所有スキルとアンマッチになる手法を選択してしまうと観点がうまく導出できない場合がある.
5.2 ネガティブコメント「現状のコンテキストに Fit させる方法」

5.2. ネガティブコメント
全ふりかえりコメント数 66 件のうち,ネガティブコメントは22 件であった.
コメントの内訳は以下の通りである.
・観点の粒度が不適切だと指摘に繋がらない：5 件・短時間でレビューしなければならないのに,この手法だといろいろ手間と時間がかかる：5 件・観点の抽出が難しい：3 件
・観点割り付けすると逆に漏れが発生するのではないかと不安になる：2 件
・観点を網羅的に検討できているのかがわからない：1 件
・時間制約がある中で多岐に渡る観点をどこで割り切ればよいのか：1 件
・観点設計の効果を実感できない：1 件

レビューを体系的に実践するための枠組みであるため,すべての要素を連携して実践した結果どのような効果を獲得できるかを確認するための十分な時間を取ったワークが実現できない.
勉強会では適用促進度を測る受講者評価を取得していない.

110

高位レベルレビュー観点導出手法と低位レ
ベルレビュー観点導出手法を識別してスキルレベルによる選択方法をガイドする.

ワーク解説資料に典型的な状況に対するFit 例を追加
長時間テーマに取り組む合宿等で実施することを視野に検討を進める.

今後の勉強会で取得し,定期的に効果を評価する.

SEA

ソフトウェア・シンポジウム 2023 in 仙台

参考文献[1] 「ソフトウェアレビュー研究結果の認知拡大と適用促進」 安達 賢二，中谷 一樹，上田 裕之（ソフトウェア・シンポジウム 2022 発表 経験論文）

111

SEA