「ソフトウェアレビュー研究結果の認知拡大と適用促進」
活動状況報告SS2022経験論文「ソフトウェアレビュー研究結果の認知拡大と適用促進」のその後の活動状況を報告します。
安達 賢二（HBA）・中谷 一樹（TIS）・上田 裕之（DTSインサイト）
発表者 HBA 安達賢二

adachi@hba.co.jp
https://www.softwarequasol.com/
Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

前回SS2022での発表「ソフトウェアレビュー研究結果の認知拡大と適用促進」

方策展開に使えるリソースは少ない
所属が異なる3名／ボランティア運営

方策展開に最も効果的なターゲットユーザーを絞り込む

解決したい現状

要因1：研究成果物が認知されにくい

現状を作り出す要因

ソフトウェア品質管理研究会のレビュー分
野研究結果が,それを 要因2：レビューの課題必要とする現場の実 が特定できていない
務者や管理者にあま 要因3：レビューの問題･り知られていない,活課題への解決手段の引当てが難しい
用されていない
論文作成時の対象

レビュー研究論文30件

要因4：研究結果はそのままの適用が難しい

主なターゲットユーザー
現状のレビューに問題意識を持ち，改善したいと思っているが，改善の効果が期待できるレビュー手法を把握できずにいる人
ID

目的

H1

ターゲットユーザーの目に触れやすい関連イベントや一般公開型勉強会など，当研究会の枠を超認知 えたパブリックな環境で自ら働きかけて情報発信す拡大 る能動的なアプローチを採る．
単発の情報発信では認知を広げる効果が期待できないので継続的な情報発信を行う．

H2

方策

H3

ターゲットユーザーが持つレビューの問題･課題にヒットしやすくするため，「レビューの典型的な負の事象群」を特定する．

H4

適用 「レビューの典型的な負の事象群」を解決するため促進 に研究結果を選定し，その構成要素から部品化された解決手段を作成する．

H5

必要な技法・アプローチを体得するための継続的な取り組みの場を設ける．

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

2

前回SS2022での発表

A[当初]計画していた活動

B

関連イベントでレビューワークの実施
全体概要とミニ体験

ターゲットユーザーが出没しそうな場で知らせる
技能習得効果が高い
H5「ワーク形式」で提供
H1

JaSST’22東京
ワークによるFeedback事項
組込み

当初30件のうち6件の研究論文を組込み

H3

これは！と感じた受講者が勉強会Grに登録

2022年6月～勉強会スタート

個別実践とFeedback「レビュー勉強会」
Grを継続運営
H5 技能習得効果が高い「ワーク形式」で提供

H2

H4

問題・課題と解決手段の引き当てを容易にした
レビュー実践方法

レビュー実践体系の整備と展開

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

受講者が効果を実感して口コミで登録者が広がる

Hx
Hx

認知拡大
への方策
適用促進への方策
3

A

JaSST’22Review
でのワーク実施[現在]実際の活動内容

B

全体概要とミニ体験

ターゲットユーザーが出没
H1
しそうな場で知らせる
技能習得効果が高い
H5「ワーク形式」で提供
JaSST’22東京
ワークによる
Feedback事項
組込み

当初30件のうち6件の研究論文を組込み

H3

勉強会
登録

H4

2022年6月～
継続的な勉強会

個別実践とFeedback「レビュー勉強会」
Grを継続運営
H5 技能習得効果が高い「ワーク形式」で提供

H2

C受講者が効果を実感して口コミで登録者が広がる+4件の研究論文を追加組込み問題・課題と解決手段の引き当てを容易にした
レビュー実践方法

レビュー実践体系の整備
Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

2022年7月～
企業内トレーニング
企業内標準
トレ―ニング
企業内トレーニングを実施(年7回程)
H5 技能習得効果が高い「ワーク形式」で提供
Hx

Hx
Hx

認知拡大への方策
適用促進への方策
4認知拡大・適用促進活動実績（2023/3/15現在） 摘要 〇：全体を取り扱う内容 △：一部分を取り扱う内容
回
開催日
02022/3/1112022/6/15
22022/7/11
32022/7/12
42022/8/25
52022/9/16
62022/10/11
72022/10/25
82022/10/28
92022/11/14
102022/11/15
112022/11/29
122022/12/20
132022/12/26
142023/1/17
152023/1/24
162023/2/13
172023/2/14
182023/3/27

テーマ
活動分類
JaSST’22東京レビューワーク
A
6/9 SS2022経験論文発表
B
レビューワークショップ解説＆ふりかえり
レビュー目的の構造化
B
Z社向けレビュー観点導出ワーク(1)C
HDR法を使った仮説検証アプローチ
B
Z社向けレビュー観点導出ワーク(2)C
レビューファシリテーション
B
Z社向けレビュー観点導出ワーク(3)C
JaSST‘22Reviewレビュー観点設計ワーク
A
B
レビュー結果評価とふりかえり
Z社向けレビュー観点導出ワーク(4)C
Z社向けレビュー観点導出ワーク(5)C
Z社向けレビュー観点導出ワーク(6)C
欠陥知識の活用
B
Z社向けレビュー観点導出ワーク(7)C
認知バイアスに着目した欠陥予測
B
製品・サービスリスクに着目したレビュー観点導出
B
Z社向けレビュー観点導出ワーク(8)C
レビュー会議の「発言のしやすさ」を考えてみよう！ B計

参加者

2316121515
211472010117991191377229

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

観点設計
Facilitation〇〇〇（全体概説）△〇△〇〇〇〇△〇〇〇
△〇△△〇
17〇

A 関連イベントでレビューワークの実施
全体概要とミニ体験
ターゲットユーザーが出没しそうな場で知らせる
技能習得効果が高い
H5「ワーク形式」で提供
H1

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

HxHx

認知拡大への方策
適用促進への方策

A JaSST’22Review レビュー観点設計ワーク
2022/10/28 ワーク2時間＋解説・ふりかえり1時間

1チーム4名：TeamA～Eの5チームでワークを実施
Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

7

A

現在のレビュー実践体系[更新版]
Goal1【レビュー目的】
大きな影響があるリスクを可能な限り特定

Context

レビュー対象＝要求仕様書Strategy1

Strategy2

システムリスク

Goal11

Goal12

成果物のリスク

Goal13

Goal21

Goal22

Goal23類似システムの過去トラから特定システムの特徴から発生事象を推論

利用者背景と利用から発生事象を推論

成果物に求められることへの合致
度合い（A5）-3プロ
ダクトリスクアプ
ローチ（A5）-2プロ
ダクトリスクアプ
ローチ（A5）-1プロダク
トリスクアプローチ（A6）利用シナ
リオアプローチ（A3）対象成
果物に求められることアプローチ（A2）利害関係者の関心事アプローチ（A1）作成者コンテキスト
アプローチ

(A3)
観点群

(A2)
観点群

(A1)
観点群

レビュー
実施

レビュー
実施

レビュー
実施

レビュー
実施

レビュー
結果

レビュー
結果

レビュー
結果

レビュー
結果

(A5)
観点群

(A5)
観点群

レビュー
実施

レビュー
実施

レビュー
結果

レビュー
結果

集合レビュー会(A5･A6)
観点群

レビュー
結果

関係Phaseへの影響

作成者状況
による欠陥
作り込み

レビュー
評価＆ふりかえり
レビュー
評価結果

ワーク実施領域

ふりかえり
結果

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

レビュー目的を基軸とした目的構造化表記の採用[拡張]
レビュー観点導出技法としての部品化と目的構造化表記への割り付けによるレビュー観点導出[技法バリエーション見直し]
レビュー観点に基づくレビュー実施集合レビュー会での建設的議論による結果共有
レビュー結果評価[拡張]とふりかえりによるレビュー改
8
善検討

A JaSST’22Reviewワーク受講者による評価
受講者19名（未記入者は除外）による平均

理解度

3.9/5.0(77.1/100)

実務有効性

体系の見直し・更新により理解度が向上

4.4/5.0(88.6/100)

受講満足度

4.3/5.0(85.7/100)

維持【受講者のコメント】【受講者のコメント】
・体系的なレビュースキルの蓄積・向 ・楽しかった！もっとやりたい！
上に繋げられそう。
・観点により指摘の数や種類が違う。
・アプローチにより異なる指摘が出る。 ・メンバーで観点を共有し合うのが大事だと感じた。
・レビューの設計はよさそう。ぜひ使いまわしていきたい。
・いろいろな人とレビュー観点を話し合えるって新鮮。
・GSNの親観点から他のハイレベル観点が出てきそう。
・いつもなんとなくやってるレビューが体系的にやってみれてよかった。

当初JaSST‘22東京ワーク受講者評価
受講者18名（未記入者は除外）による平均

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved9B

レビュー勉強会
個別実践とFeedback「レビュー勉強会」
Grを継続運営
H5 技能習得効果が高い「ワーク形式」で提供

H2

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

HxHx

認知拡大への方策
適用促進への方策

B

レビュー勉強会運営インフラと運営メンバー
IT勉強会支援プラットフォーム
connpass

安達上田

オンラインホワイトボード
miro

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

中谷B レビュー勉強会実施実績：2023/3/17現在
通常隔月第2月曜日19:00～21:00に開催予定

回
1
2
3
4
5
6
7
8
9ー

開催日
2022/6/15
2022/7/11
2022/8/25
2022/10/11
2022/11/14
2022/12/26
2023/1/24
2023/2/13
2023/3/27
ーテーマ
参加者
安
レビューワークショップ解説＆ふりかえり
16
安
レビュー目的の構造化
12
上HDR法を使った仮説検証アプローチ
15
中レビューファシリテーション14安
レビュー結果評価とふりかえり
10
上
欠陥知識の活用9中認知バイアスに着目した欠陥予測
9
製品・サービスリスクに着目したレビュー観点導出 安
13
レビュー会議の「発言のしやすさ」を考えてみよう！ 上7計98

観点設計
ファシリ〇全体概説
△△〇
△△△△
△ーー

摘要 〇：全体を取り扱う内容 △：一部分を取り扱う内容
Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

B

miroレビュー勉強会会場：2023/3/17現在

勉強会
開催領域

過去の勉強会ワーク結果（勉強会が終わるとこちらに格納）

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

B

miro 2022/8/25勉強会ワーク会場
テーマ：HDR法を使った仮説検証アプローチ

レビュー対象気づいた兆候兆候からの仮説推測した欠陥各チームでの検討・考察結果

受講者評価

受講者ふりかえり結果

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

Bmiro 2022/8/25勉強会ワーク会場
受講者評価

受講者ふりかえり結果

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

B

ソフトウェアレビュー勉強会への登録者数

2022/3/11JaSST22東京にて初ワーク実施
勉強会登録者23名でSTART

のべ8回の勉強会
JaSST22Reviewワーク実施

2023/3/28現在
勉強会登録者113名

Copyright © Kenji Adachi@Software Quasol , All Rights ReservedC 特定企業向けレビューワークの継続実施
実践トレ―ニング

企業内トレーニングを実施(年7回程)
H5 技能習得効果が高い「ワーク形式」で提供
Hx

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

HxHx

認知拡大への方策
適用促進への方策

C Z社向けレビュー観点設計ワーク実施概要
時 間 数 ( 予定)1209:00～09:20
14:00～14:20
09:20～11:55
14:20～16:55

実施事項
イントロダクション＆チームビルディング
レビューワーク（計160分）(1)狙い撃ちレビュー準備～実施

観点導出→個別レビュー実施→結果共有(2)レビュー結果評価・ふりかえり

結果評価→ふりかえり→実務適用方法検討

3

11:55～12:00
16:55～17:00

まとめ

事前解説
ワーク
結果解説

【3時間コース】
・0.5時間がイントロダクション＆チームビルディング
・0.5時間が全体像解説
・2時間が各種ワーク&フィードバック＋まとめ

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

18

C

受講後アンケートコメント例1※実施内容に対するコメント

想定通りの反応～全200件コメントのうち70件(35%)□最初に全体の説明、その後実習で実践の形で設計されており、実践する前に今からやる方法のメリットや違いがわかりやすく定着しやすかった。
□レビュー観点を事前に出してくのは有効。観点を普段使いするためには慣れが必要。
□レビューアのための研修でしたが、レビューイとして気付くことも多く、よかったです。
□レビューする側の視点を知ることで、成果物を作成する際の観点も磨かれていくと思う。
□改めてレビュー観点設計の大切さが身に沁みました。
□レビューの観点、全部を短い時間で浅く実践するのではなく、 一つに絞って実践することで、適切に学びを得ることができたと思います。
□事前の課題でレビューしたことを講義を聞いてから再度レビューをすることで、感じ方が変わったことが体験できとても有意義でした。
Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

C

受講後コメント

ワーク時間への反応～全73件コメントのうち8件(12%)□時間にもう少し余裕があると良いなと思った。（4件）□各アプローチごとの説明もう少し聞きたかった。

※運営環境に対するコメント□短時間の研修のため、少し駆け足な感じなのが残念。
□３時間の内容としては、少し難しく。ワークの時間も足りない印象でした。

オンライン受講環境への反応～全73件のうち28件(38%)□miroは作業の共有がしやすく良かったです。（2件）□miroが使いにくい。（8件）□miroの使用が初めてで操作方法に戸惑う事があった。（8件）□miroに接続できずに終わった。（2件）□受講者や講師の声が聴きとれないことがあった。（4件）□PCが落ちて立ち上げ直しました。（2件）□zoomが落ちて立ち上げ直しました。（2件）
Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

C Z社向けレビュー観点設計ワーク受講者評価結果＋当初ワークからの改善度
回
1
2
3
4
5
6
78

開催日
2022/7/12
2022/9/16
2022/10/25
2022/11/15
2022/11/29
2022/12/20
2023/1/17
2023/2/14
AfterBefore(当初ワーク)
改善度

受講者数 理解度
有効性
満足度
15
90.0
89.2
89.2
21
90.0
88.8
88.1
792.9
96.4
94.6
1184.1
86.4
87.5
796.496.4
95.5
991.7
91.7
90.3
1195.5
95.5
96.0
7
90.0
90.0
87.5
計 88名 Avg 91.3 Avg 91.8 Avg 91.1
23名
72.2
88.9
95.3

+19.1

+2.9

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved－4.2

当活動の評価

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

ID

達成要件/結果

指標

活動が実施され継続していること

単位期間(月)あたりの実施数

レビュー実践体系を認知している人が多くなること

活動への参加者数 当初参加者数より新たに認知した人数が増える

より内容が理解しやすいこと・現状のレビュー課題の解決に役立つこと

ワーク受講時のレビュー実践体系への理解度・実務への有効性*1:国際標準プロセス評定水準 85%超で”完全“.
80%以上は“完全”に近く、“概ね”の最上位レベルに該当.
よって80%以上は高いレベルの及第点と言える

当アプローチ採用
により有効な指摘ができること

レビュー指摘事項の アドホックレビュー指効果大･中･小の摘効果大:中:小件数比率
比率より大･中が占める割合が高くなる

H4「レビューの典型的な負の事象群」を解決するために研究結果を選定し，その構成要素から部品化された解決手段を作成する．

より適切な解を取得するために選択肢が増えること

レビュー実践体系へ 研究結果の組込みの研究成果の組込 件数が当初の6件
み度より増えるH5

必要な技法・アプローチを体得するための継続的な取り組みの場を設ける．

活動が継続していること

単位期間(月)あたりの実施数

H1

方策

当活動の評価方法
目的

ターゲットユーザーの目に触れやすい関連イベント 認知や一般公開型勉強会など，当研究会の枠を超 拡大
えたパブリックな環境で自ら働きかけて情報発信する能動的なアプローチを採る．

H2

単発の情報発信では認知を広げる効果が期待できないので継続的な情報発信を行う．

H3

ターゲットユーザーが持つレビューの問題･課題にヒットしやすくするため，「レビューの典型的な負の事象群」を特定する．

適用促進

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

判断方法

期間中の平均1回/月以上

受講後評価：理解度と実務への有効性が8割以上(*1)

期間中の平均1回/月以上当活動の評価結果
目標

認知拡大

適用促進

指標

参加者数

活動継続度

ワーク内容への理解度と実務有効性

基準

1名以上

1回/月以上80ポイント以上
10/28参加者平均
理解度：77.1
実務への有効性：88.6

AB
A

受講者数:
20名

1回

B

登録者数：90名増

9回

CC計

未計測

当初23名→113名※参考:勉強会参加者
数のべ105名

受講者数計：
88名

198名増

7回

2022年3月～2023年3月
末まで

のべ17回

Avg 1.4回/月

計8回開催88名の平均
理解度：91.3
実務への有効性：91.8
理解度Avg：88.7
実務有効性Avg：91.2

指摘事項効果指摘効果大:中:小アドホックレビュー
19:44:37より向上
5チーム平均31:45:24

研究結果の組込み度
1項目以上
拡張2事項
見直し1事項

体系内個別手法実践のため対象外

研究成果5事項のトラ
イアル実践済16チーム平均
41:39:20（解説スライド見直し）

全21チーム平均

7項目拡張
1事項見直し38:41:21

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

AC

ワーク直後ふりかえりコメント(ポジティブ編) 全ふりかえりコメント66件のうち44件(67%)
影響度大の指摘ができる／有識者的なレビューができる

レビュー設計技法の効果を実感

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

AC

ワーク直後ふりかえりコメント(ポジティブ編) 全ふりかえりコメント66件のうち44件(67%)

観点を個別に割り付けて見る（役割分担）有効性を実感

レビューしやすくなる

いつもは色々見るつもりが結果的に見れていない／
観点を絞ると指摘漏れ防止＋実施が効率的になる

観点毎に指摘が異なることを実感

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

いつものレビューの偏りに気づいた

A
C

レビュー指摘事項の効果の変化

全指摘事項数に対する効果大・中・小指摘事項数の占める割合
100%

21%

90%
80%

37%

70%
60%
50%
40%

44%

効果大＋中指摘事項
が+16Point41%

効果大指摘事項が+19Point

38%

30%
20%
10%
0%

19%
アドホック
アドホックレビュー

当手法
当手法

効果大
効果中
効果小※効果＝指摘事項を見逃した場合、以降で発生する被害の大きさ
Copyright © Kenji Adachi@Software Quasol , All Rights ReservedA ワークの成果：指摘事項の効果レベル分布
C 効果大・中側に厚みを持ちつつバランスよく指摘できている収集できた全21チームの典型的な結果例
メンバー
1

効果大の指摘効果中の指摘効果小の指摘

メンバー
2

メンバー
3

メンバー
4

指摘数
全体に占める
Avg/Team割合

指摘事項の例
性能等非機能要件が定義されていない

4.9

38%

否認・再申請の手続きがない

5.3

41%

検索・データの保持期限は？

承認者本人申請時は誰が承認する？

2.7

21%

交通費画面
詳細部に誤記入金待ではなく支払待では？

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

AC

ワーク直後ふりかえりコメント(ネガティブ編) 全ふりかえりコメント66件のうち22件(33%)

観点の抽出が難しい

時間制約がある中で多岐に渡る観点をどこで割り切ればよい？

観点の粒度が不適切だと指摘に繋がらない観点を網羅的に検討できているのかがわからない

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

観点設計の効果を実感していない

AC

ワーク直後ふりかえりコメント(ネガティブ編) 全ふりかえりコメント66件のうち22件(33%)
観点割り付けすると逆に漏れが発生するのでは？
（不安）

レビュー対象の事前読み込みを全員実践できるのか？

いつも少人数でレビューしている役割分担できないがどうしたら？

時間・工数に制約ありどこまで細かく指摘すると良いのかがわからない

しっかり観点検討する必要有
他のレビューアにどう広げたらよいか？

短時間でレビューしなければならないのにいろいろ手間と時間がかかる

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

現状の課題と今後の対応課題

今後の対応

ネガティブコメント「観点抽出」に関する問題

継続勉強会を通じて徐々に体得してもらう

ネガティブコメント「粒度調整」に関する問題
高位レベルレビュー観点導出手法と低位レベルレビュー観点～観点導出手法として高位レベルレビュー観点導出手法と導出手法を識別してスキルレベルにより選択方法をガイドする.
低位レベルレビュー観点導出手法を特に識別していない.ワー
ク実践者の所有スキルとアンマッチになる手法を選択してしまうと観点がうまく導出できない場合がある.
ネガティブコメント「現状のコンテキストにFitさせる」方法

ワーク解説資料に典型的な状況に対するFit例を追加

長時間テーマに取り組む合宿等で実施することを視野に検討レビューを体系的に実践するための枠組みであるため,すべての要素を連携して実践した結果どのような効果を獲得できる を進める.
かを確認するための十分な時間を取ったワークが実現できない.
勉強会では適用促進度を測る受講者評価を取得していない. 今後の勉強会で取得し,定期的に効果を評価する.
2023/3/27勉強会から受講者評価適用開始
Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

活動結果を踏まえ、今後も当活動を継続実践していきます
ご清聴ありがとうございました！

Copyright © Kenji Adachi@Software Quasol , All Rights Reserved

32