ソフトウェア品質シンポジウム2017

レビュー会議の可視化により目的の曖昧さを明確にする手法の提案
Proposal of method to clarify the ambiguous of the review meeting purposeby visualization
2016 年度 SQiP 研究会第 3 分科会
The 3rd section meeting team of SQiP Study Group in 2016
主査
副主査
研究員

：中谷 一樹 1)：上田 裕之 2)：○ 西澤 賢一
中山 匡 6)CHIEF INVESTIGATOR：
Kazuki Nakatani 1)
SUB-CHIEF INVESTIGATOR：
Hiroyuki Ueda 2)
RESERCHER：〇 Kenichi Nishizawa
Tadashi Nakayama 6)

原 佑貴子 3)
竹森 和哉 4)
湯川 健 7)
Yukiko Hara 3)
Kazuya Takemori 4)
Takeshi Yukawa 7)

田中拓也 5)

Takuya Tanaka 5)

Abstract
At the software review meeting, participants feel that the review has not been carried out efficiently. The reasons
are that "The purpose of the review meeting is ambiguous" and "The participants do not grasp the actual
situation of the review meeting accurately". This paper suggests the practical method, Time Measure Based
Review Improvement. The features of this method are 1) Participants in the meeting share the purpose of review,2) Visualize the review meeting by activity time, 3) Reflect the results by all participants and identify the action
to improve it. We applied this method to real software review meeting. The results show this method has theeffect to improve the review meeting.
1. はじめに1.1 背景レビュー会議を実施している組織では，効率よくレビューをするために，不要な活動をできるだけ排除したいと考えている．そこで我々は，不要な活動によってどのような問題が生じているかを調査した．調査結果は,「レビュー会議で抱える問題は何か？」についてのアンケート(回答者数：206 名)の結果をもとに，実際のレビュー会議を観察することで問題の事実確認をした結果である．実際に発生していることが確認できた主な問題は，以下の通りである．
(A) レビュー会議の大半の時間を仕様説明に費やしている．
(B) レビュー会議で有識者に欠陥の修正方針を相談するため，時間通りに終わらない．
GE ヘルスケア・ジャパン株式会社 技術本部 CT 技術部
CT Engineering, STO Japan, GE Healthcare Japan Corporation
東京都日野市旭丘 4-7-127 〒191-8503 Tel: 042-585-5254 e-mail: Kenichi.Nishizawa@ge.com
4-7-127, Asahigaoka, Hino-shi, Tokyo 191-8503 Japan
1) TIS 株式会社
TIS Inc.
2) 株式会社 DTS インサイト
DTS INSIGHT CORPORATION
3) 日本アイ・ビー・エム株式会社
IBM Jpan, Ltd.
4) 株式会社モバイルインターネットテクノロジー
Mobile Internet Technology Co., LTD.
5) 株式会社インテック
INTEC Inc.
6) 株式会社東光高岳
TAKAOKA TOKO CO., LTD.
7) ソーバル株式会社
Sobal Corporation【キーワード：】レビュー、メトリクス、改善、時間ソフトウェア品質シンポジウム2017(C) 軽微欠陥の指摘に終始し，重大欠陥の検出に至らない．
(D) レビュー会議の中で同種欠陥を全て検出するため，時間が長くなる．
1.2
問題が解決されない理由
4 つの問題が解決されない原因は以下の二つにあると我々は考えた．
・レビュー会議の目的が曖昧になっている
レビュー会議の目的が曖昧であるとは，レビュー会議の目的を設定・共有していても，目的の種類や目的のレベルが明確になっていない状況を指す．例えば，欠陥検出という目的を設定したとしても，レビュー対象の説明が目的に含まれるかについては，参加者間で考え方が異なる(目的の種類が曖昧)．
さらに欠陥の中でも，重大欠陥のみを検出するのか，軽微欠陥を含めて検出を行うかは，参加者間で異なる可能性がある(目的のレベルが曖昧)．
・レビュー会議の実態を参加者が正確には把握していない
レビュー会議の実態とは，「誰が，どのような活動を，どの程度の時間行っているか」を指す．このレビューの実態を，参加者が正確には把握していないのである．例えば，参加者全員が，特定の人が多く話している状況を認識しているが，「どのような活動を，どの程度の時間行っているか」を把握しているわけではない．
この二つの原因により，参加者は，レビュー会議に不要な活動があり，効率よくレビューが行われていないと感じているのである．このとき，参加者は，不要な活動を行っている人固有の問題であるとみなし，レビュー会議を開催するチームの問題として捉えないため，問題の解決を諦めてしまう．
1.3 本研究で解決すべき課題
我々は，「誰が，どのような目的で，どのような活動を，どの程度の時間行っているか」を把握して分析し，レビュー会議の目的が曖昧になっていることを認識する必要があると考えた．そこで，下記の RQ1 を設定する．
RQ1: レビュー会議の分析により，レビュー会議の目的が曖昧であることを参加者が認識できるかまた，分析した結果から問題を導出でき，新たな目的を設定できたとしても，参加者がその問題の原因は他者にあるとみなすと改善が行われないことが懸念される．そのため，参加者が主体的に問題の解決に取り組むことも必要であると考えた． そこで，下記の RQ2 を設定する．
RQ2: レビュー会議の目的を明確にすることにより，他者やチームが抱える問題を参加者が主体的に改善できるか
2.

関連研究
課題の解決策として先行研究が適用できるかを調査した．その調査結果を以下に示す．
まず，目的を明確にする手法として，目的・観点を決定するレビュー計画作成手法 [1]がある．この手法は作成者とレビューア間でレビューの開始前に，レビューの目的・観点を決定し，合意を得るプロセスをレビュー計画に導入するものである．この手法を使用することにより，計画時にレビューの目的について合意を得ることはできるが，実際に設定した目的に則ったレビューが実施されたことを確認するプロセスがないため，設定した目的が適していたかを評価できないという課題がある．
次に，レビュー会議の改善手法として，ピアレビュー有効時間比率を用いるレビュー会議改善手法[2]がある．この手法はレビュー会議の総時間中の指摘を行った時間の割合をピアレビュー有効時間比率として定義し，この数値を指標として，レビュー会議の改善を行うというものである．これにより，参加者は欠陥検出にのみ注力するため，欠陥の残存が減ると論じられている．しかし，指摘項目への議論は別の会議で行うとしており，教育や情報共有も目的にするレビュー会議では適用できないという課題がある．また，レビュー会議の改善にはこの手法で提示されるプロセスを用いる．これは，参加者が主体的にレビュー会議の問題を解決することには繋がらない．
上記の結果から，本研究での課題の解決策を我々で検討することにした．
3. 提案
3.1 提案する手法
本研究では，レビュー会議の目的が曖昧であることを認識していない問題を解決する手法として，

ソフトウェア品質シンポジウム2017

TMBRI(Time Measure Based Review Improvement)法を提案する．TMBRI 法は，「レビュー会議の目的を参加者で共有し，会議での発言内容毎の時間と発言者を測定，可視化し，全員が参加して分析を行う．
分析を通して，目的の曖昧さを認識し，目的の明確化とレビュー会議の改善を行う手法」である．本手法を長期的に運用することでレビュー会議が改善されることを見込む．そのため，同じチームで繰り返し行われるレビュー会議に適用するとよい．
TMBRI 法の特徴を以下に示す．
(1) レビュー会議の参加者全員で，各々が持つレビュー会議の目的を共有する
レビュー会議の目的を共有することは，他者が持つ目的に対する理解を助ける．これにより，発言者の意図を考慮し，理解することに繋がる．
(2) 発言内容毎の時間，発言者を可視化し，参加者全員で振り返る
発言内容毎の時間，発言者を可視化することは，当該レビュー会議の問題を検出・定義することを可能にする．特に発言内容毎の時間を可視化することにより，目的から逸脱した発言の頻度や割合を確認できる．
(3) 振り返りにより，レビュー会議の主体的な改善を促す
参加者全員で振り返りをすることで，チームや他者が抱えているレビュー会議の問題を共有することが可能である．このとき，なぜその問題が発生したのかを議論することで曖昧であった目的を明確にすることができる．共有された問題は，自身の解決すべき問題として設定することに繋がる．これにより，チームの問題を参加者が主体的に解決へ導くきっかけとなる．
上記(2)で示した発言内容については，発言内容分類として，表 1 に定義する．発言内容分類は，先行研究[2]で示されている分類をもとに，レビュー会議で発生している問題の調査結果を踏まえて一部追加した（「新規追加」欄に〇を記載）．
表 1 発言内容分類表
分類

説明

新規追加

開始宣言

背景の説明，レビューの目的などの確認

説明

成果物の内容読み上げ，説明議論

指摘に対する議論

修正案

指摘に対する修正案の検討意図の質問

指摘に対する意図の確認

指摘(重大)

重大欠陥，レビュー対象以外への懸念事項指摘(軽微)

誤字脱字等の軽微指摘○

まとめ

指摘内容の確認，次回予定など○

指導参加者への指導○

雑談

レビュー対象と無関係な発言○

無発言

参加者が発言をしない時間，開始が遅延した場合も含む

3.2 TMBRI 法の手順
TMBRI 法の手順を図 1 に示す．手順(1)～(5)は，レビュー会議の開催毎に繰り返し行う．また，(1)，(4)，(5)は，参加者全員で実施する．手順の詳細を以下に示
す．
(1) 目的の共有・設定
レビュー会議の開催前に参加者が，レビューおよびレビュー会議に対して持っている目的を先行研究[1]で提案されている手法を参考に共有する．共有された目的をもとに，実施するレビュー会議で有効な発言内容分類を設定する．
(2) レビュー会議の時間測定

図 1 TMBRI 法の実施手順

ソフトウェア品質シンポジウム2017

レビュー会議での発言内容分類毎の時間，発言者を記録する．記録したデータは，測定データとして以降の手順で使用する．
この際，ボイスレコーダーを用いてレビュー会議の発言を記録することで，分析の際に発言の意図を検証することが可能となる．
(3) 可視化レビュー会議終了後，手順(2)で得た測定データを，散布図や折れ線グラフなどの図表を用いて可視化する．可視化したデータは「活動レポート」としてまとめる．活動レポートの一部を以下に示す．
表 2 は発言内容分類毎の時間・発言者を会議の進行順に並べた表である．図 2 は発言内容毎の時間分布を箱ひげ図によって表した図である．
表 2 測定データ例
時間
発言者
(秒)
125 A氏

No

発言内容

1

開始宣言

2

議論

5

B氏, A氏

3

開始宣言

60

A氏

4

無発言

15

5

説明

120

A氏

6

指摘(重大)

10

C氏

7

説明

30

A氏

8

議論

55

A氏,C氏,D氏

…

…

…

…

118 雑談30

A氏,B氏,D氏

119 まとめ

10A氏

図 2 箱ひげ図による測定データの可視化(4) 分析
可視化したデータから，以下に例示する良かった点と改善すべき点(以降，優位点，改善点と記載)を検出する．この 2 点を総称して「着目ポイント」と定義する．

レビュー会議での活動を通して新規に検出した重大欠陥の指摘(優位点)
目的達成に役立つ発言(優位点)
レビュー会議の目的から逸脱した発言(改善点)
他の発言と比較して時間が長い項目(改善点)
次に，着目ポイントが発生した原因を分析する．必要に応じて，ボイスレコーダーの記録を用いて，分析結果の妥当性を検証する．
(5) 改善案の検討分析された着目ポイントをもとに改善案を検討する．また，(1)で定義した目的に合致したレビュー会議が実施されていたか，次回のレビュー会議の際に反映すべき申し送り事項の有無を確認する．
表 2 と図 2 を用いて，着目ポイントの検出から改善案を導出した例を表 3 に示す．
表 3 改善案の導出例
導出元

優位点/改善点

表 2 No1，3 改善点

着目ポイント着目ポイントの発生原因

改善案

開始宣言が二回発生 目的設定が曖昧で議論後，再度宣 目的共有でより詳細している言を行ったに目的を共有する

図 2 "説明" 改善点 外れ値がある

記載されている文章を読み上げて 説明時の要点をまとおり，要点をまとめられていない めておく

表 2 No4

改善点

無発言が発生してい 説明を始めてよいか，様子を伺っ 15 秒以内であれば，るた
改善不要

表 2 No6

優位点

開始直後に指摘(重事前準備が行われている大)を検出している

分析・検討した結果は，組織毎に改善事例集として蓄積していくと良い．

ソフトウェア品質シンポジウム2017

手順(1)～(5)の長期的な運用により，各々が持つレビュー会議の目的を共有し，新たな目的として設定することで，レビュー会議の問題を明確にすることが可能となる．レビュー会議が時間通りに終わらない，重大欠陥が検出されないなどのチームの問題を参加者各自が課題として認識し，主体的に解決を図ることでレビュー会議を参加者にとってよりよいものに改善することが可能となる．
4. 実験
4.1 検証内容
TMBRI 法の有効性を判断するためには，TMBRI 法がレビュー会議の改善に効果的で，導入が容易であることを確認する必要がある．このため，以下を検証する．
<TMBRI 法の効果検証項目>
1-1.
レビュー会議の改善点/改善案を導出できるか
1-2.
レビュー会議に参加している他者が持つ問題を共有できるか
1-3.
レビュー会議の目的が明確になるか
1-4.
レビュー会議を改善できるか<TMBRI 法の導入容易性検証項目>
2-1.
実際のレビュー会議に適用できるか
2-2.
活動レポートの作成時間
2-3.
分析/改善案の導出，振り返りの時間
TMBRI 法の効果検証項目「1-4． レビュー会議を改善できるか」については， TMBRI 法を長期的に運用する必要があるため，本実験では，改善を促せるかを検証する．
4.2 実験方法
実験は，研究員の組織で行われている実際のレビュー会議で実施する．今回の実験は欠陥検出と教育を目的としたレビュー会議(チーム A)と欠陥検出を目的としたレビュー会議(チーム B)を対象とする．
実験手順を以下の表 4 に示す．
表 4 実験手順
手順

実施内容

実験手順 1TMBRI 法の手順(1)～(2)を実施する

実験手順 2TMBRI 法の手順(3)～(5)を実施し，各手順の所要時間を測定する

実験手順 3

実験手順 2 の結果を被験者に提示し，アンケートを実施する

本来，TMBRI 法の全手順は被験者であるレビュー会議の参加者が実施すべきであるが，可視化の方法や結果の分析方法については検討段階であるため，実験手順 2 は研究員が実施する．これにより TMBRI法の効果検証項目「1-1． レビュー会議の改善点/改善案を導出できるか」を検証する．
レビュー会議終了後，研究員から被験者に TMBRI 法の説明を実施し，活動レポートと改善案を提示する．これをもとに被験者は振り返りを行う．その後，TMBRI 法の効果と導入容易性を検証するため，被験者に以下のアンケートを実施する．
表 5 アンケート項目
効果検証項目Q1．他者が持っている課題は共有できたかQ2．レビューの目的は明確になったか
Q3．TMBRI 法を適用することで，改善ができそうか
導入容易性検証項目
Q4．TMBRI 法を自分の組織に導入できるか

選択肢
1: できる2: どちらかというとできる
3: どちらかというとできない
4: できない選択肢
1: 導入できる
2: 導入できないソフトウェア品質シンポジウム2017

4.3 実験結果実施したレビュー会議(チーム A)の活動レポートの一部を図 3 に示す．

図 3 時間‐活動分布図
活動レポートを元に研究員が導出した改善点及び改善案の一部を表 6 に示す．
表 6 改善点，改善案の一部
No

改善点

改善案

1

一つの修正案検討に多く時間をかけている レビュー会議での修正案の検討は方向性を決めるまでとし，詳細は担当者をアサインして別途検討する
 修正案の検討に時間制限を設ける

2

修正案のあと，雑談が多くなっている

 モデレータによるファシリテーションが必要

また，活動レポートから導出した優位点を以下に示す．

説明に時間を多くかけることなく，前半から指摘が多く出ていることから事前に資料の読み込みができている（優位点）．
被験者はこの改善案及び活動レポートをもとに，振り返りを実施した．振り返り後に実施したアンケートの結果を表 7 に示す．
表 7 アンケート結果
設問
Q1．他者が持っている課題は共有できたか効果
検証項目

Q2．レビューの目的は明確になったか
Q3．TMBRI 法を適用することで，改善ができそうか

導入容易性
検証項目

Q4．TMBRI 法を自分の組織に導入できるか

チーム

1

2

3

4

A

3人

2人

0人

0人

B

3人

1人

0人

0人

A

2人

2人

１人

0人

B

4人

0人

0人

0人

A

2人

3人

0人

0人

B

1人

3人

0人

0人

A

2人

3人

B

4人

0人

また，レビュー会議の実施時間，活動レポートの作成時間，分析/改善案の導出時間，振り返りの時間を表 8 に示す．

ソフトウェア品質シンポジウム2017

表8

実験手順 2 の時間測定結果
チーム A

チーム B

レビュー会議の実施時間

2.2 時間1.0 時間活動レポートの作成時間

3.5 時間

1.5 時間分析/改善案の導出時間※

1.0 時間1.0 時間

振り返りの時間

0.5 時間0.5 時間※研究員が活動レポートを元に分析/改善案の導出に要した時間
4.4 考察4.4.1 効果
TMBRI 法を実際のレビュー会議に適用することで，表 6 に示したように，改善点/改善案を導出することができた．改善点 1 は修正案の検討という目的のレベル（どこまで検討を行うか）が曖昧であったために所要時間が長くなっていることを示している．改善点 2 ではレビュー会議の不要な活動を認識するという効果を得ることができた．
4.4.2 導入容易性
アンケートの Q4 にて，TMBRI 法を自分の組織に導入できるかを確認したところ，チーム A では 5 名
中 3 名から導入できないと判断された．レビュー会議の活動レポートの作成にはレビュー会議の 1.5倍程度の時間を要する（表 8 参照）．そのため，被験者からは自分の組織に導入できないと判断されたと考えられる．導入できると回答した被験者からも活動レポートの作成時間の短縮が必要とのコメントがあった． チーム B では 4 名中 4 名から導入できると判断されている．チーム A と異なる結果が出ているが，チーム B では以前からレビュー会議に問題があるのではないかと感じており，TMBRI 法によって問題を明確にすることができた．そのため，レポート作成の 1.5 倍程度の時間（表 8 参照）も受け入れられていると考える．
4.4.3 RQ1:「レビュー会議の分析により，レビュー会議の目的が曖昧であることを参加者が認識できるか」について
アンケートの「Q1.レビュー会議に対する課題の共有ができる」にてチーム A では 5 人中 5 人が，チーム B では 4 人中 4 人が，回答選択肢の 1:できる，2:どちらかというとできる，を選択した．また，「Q2.レビュー会議の目的が明確になる」についても，チーム A では 5 人中 4 人が，チーム B では 4 人中 4 人の回答者が，回答選択肢の 1:できる，2:どちらかというとできる，を選択しており，これらの結果から RQ1 は確認できた．
4.4.4 RQ2:「レビュー会議の目的を明確にすることにより，他者やチームが抱える問題を参加者が主体的に改善できるか」について
アンケートの「Q3.TMBRI 法を適用することで，改善ができそうか」にてチーム A では 5 人中 5 人が，チーム B では 4 人中 4 人の回答者が，回答選択肢の 1:できる，2:どちらかというとできる，を選択した．この結果から，RQ2 の一部は確認できたが，4.1 検証内容で示したように，実際に改善が行われたかについては，今回の実験では確認できていない．
5. おわりに
5.1 まとめレビュー会議の分析により，レビュー会議の目的が曖昧であることを参加者が認識できるか(RQ1)，レビュー会議の目的を明確にすることにより，他者やチームが抱える問題を参加者が主体的に改善できるか(RQ2)という 2 つの課題に対して，我々は TMBRI 法を考案した．
TMBRI 法とは「レビュー会議の目的を参加者で共有し，会議での発言内容毎の時間と発言者を測定，可視化し，全員が参加して分析を行う．分析を通して，目的の曖昧さを認識し，目的の明確化とレビ
ュー会議の改善を行う手法」である．
実験により TMBRI 法を適用することで RQ1 が実現できることを確認できた．RQ2 は TMBRI 法を長期的に運用し，改善効果を検証する必要があるため，今回は一部の確認となった．
改善の基本は，現状を把握し，目指すべき方向を明確にすること，そして，理想と現状との間にあソフトウェア品質シンポジウム2017

るギャップを課題として関係者全員が認識することである．今回我々は現状と理想を認識するために「時間」という概念を用いた．
「時間」は，その人の置かれている状況や感情により，長くも短くも感じる恣意的で感覚的な概念である．一方で，「時間」は全人類にとって共通的で絶対的な指標とも言える．この感覚的な概念でありながらも絶対的な指標である「時間」を活用するという考え方は，今後のレビュー会議の改善に大きく貢献できると考える．
また，本研究ではレビュー会議の目的が曖昧であることを認識するために TMBRI 法を考案したが，目的が曖昧になるのはレビュー会議だけではない．TMBRI 法をレビュー以外の会議にも導入することで，日常的に実施されている会議の目的を明確にすることができ，効率的な会議とすることができると我々は考える．
5.2 今後の課題
本研究での課題は以下の通りである．
まず，複数の組織で様々な目的を持ったレビュー会議を対象に TMBRI 法によるレビュー会議の改善ができるかを確認できていない．TMBRI 法を複数の組織で長期的に運用し，効果を確認する必要がある．
次に，考察でも示したように TMBRI 法での可視化には時間を要する．このため，毎回のレビュー会議で測定するのではなく，振り返りで導出した改善案の定着期間を設けて，改善が定着した後に改めて測定・可視化を実施するのがよいと考える．ただし，改善案毎に定着期間は異なるため四半期毎など大きな改善サイクルを回すことも必要である．どのようなタイミングで測定・可視化を実施するのが最適かを検討すべきと考える．なお，可視化ツールの作成や組織的な支援など，可視化の負荷削減のための対策を検討することも必要である．
将来，IT 技術の発展により，レビュー会議の場で，すぐに活動レポートを作成することも可能になるであろう．また，レビュー会議の目的が今後さらに多様化することも考えられる．そのような時代が到来した際に，本研究で提案した TMBRI 法の価値は更に高まると推測している．
我々は，本手法が抱えている課題を解決し，TMBRI 法をソフトウェア開発で，より有効活用できるようにしたいと考える．
6. 参考文献[1] 山本浩之，牧野将治，小原美帆，奥山剛，小田部健，ソフトウェア品質不安に対する心理的側面に着目した，レビュー計画作成技法の提案，日本科学技術連盟 SQiP 研究会分科会報告書，
2010[2] 久野倫義，中島毅，松下誠，井上克郎，ピアレビュー有効時間比率計測によるピアレビュー
会議の改善，SEC journal 10(1)，16-23，2014-03