ソフトウェア品質シンポジウム2023

レビューの新たな品質メトリクス収集「エーオース(Ēōs)法」の提案～レビュー会議の会話データを分析し，発言に関する心理的パラメータを測定～

芳沢 圭一（株式会社オージス総研）
星野 智彦（株式会社アイシン）
村上 薫 （株式会社日立システムズ）

ソフトウェア品質シンポジウム2023

本日の内容
Ⅰ. はじめに
Ⅱ. 仮説
Ⅲ. エーオース(Ēōs)とは
Ⅳ. 実験の方法
Ⅴ. 実験の結果
Ⅵ. 今後の展望
Ⅶ. おわりにソフトウェア品質シンポジウム2023

Ⅰ. はじめにソフトウェア品質シンポジウム2023

レビューの質を上げたいソフトウェア品質シンポジウム2023

レビューの質を上げたい！

いろいろ取り組んでいるが…
ツール？

レビューのやり方？
技法？
テクニック？

スキル？

何かもっと本質的で大事なコトが？

ソフトウェア品質シンポジウム2023

参加者全員で協力できていますか？

ソフトウェア品質シンポジウム2023

参加者全員で協力できていますか？

発言できていない人も…

発言しやすい雰囲気にしたい！

発言する人っていつも同じかも！
他の人は何故発言しないの？

発言しやすい雰囲気にしよう！

ソフトウェア品質シンポジウム2023参加者全員が発言しやすい場にするために人の心理に切り込む！

レビュー会議の雰囲気について考えてみましょう！

ソフトウェア品質シンポジウム2023

でも雰囲気って言葉で表現するのが難しい…
どうしたら伝わるかな？
動画で観てみますか！

ソフトウェア品質シンポジウム2023

雰囲気の異なる２つのレビュー会議を動画でご覧くださいソフトウェア品質シンポジウム2023

ソフトウェア品質シンポジウム2023

いかがでしょうか？

ソフトウェア品質シンポジウム2023

ソフトウェア品質シンポジウム2023

どちらの雰囲気でレビューをやりたいですか？

ソフトウェア品質シンポジウム2023

どちらの雰囲気でレビューをやりたいですか？

もちろんホワイトっしょ！

発言しやすい場ソフトウェア品質シンポジウム2023

Ⅱ. 仮説

ソフトウェア品質シンポジウム2023

レビュー効果向上の仮説
発言しやすい場

全員が建設的に発言

レビュー効果の向上

ウォーターフォール開発のレビューでは、従来、指摘する側とされる側という関係でレビューを実施してきた全員で品質を上げることを考えるような場を実現することでレビューの効果が上がるはずソフトウェア品質シンポジウム2023

レビュー効果向上の仮説
発言しやすい場

全員が建設的に発言

研究対象

レビュー効果の向上

ソフトウェア品質シンポジウム2023

発言しやすい場とは？

ソフトウェア品質シンポジウム2023

発言しやすい場とは？

注意!!!

｢ 和んだ雰囲気＝発言しやすい場｣ で は な い ！

和気あいあいの感じだが･･･
お互い遠慮している喧嘩をしているように見えて･･･
真剣に発言しているソフトウェア品質シンポジウム2023

発言しやすい場とは？

改善する
発言しにくい場

発言しやすい場

測れないものは改善できない!!!
発言しやすさを客観的に 測 る メトリクスを探究する!!!

ソフトウェア品質シンポジウム2023

Ⅲ. エーオース(Ēōs)とは

ソフトウェア品質シンポジウム2023「発言しやすさ」に影響を及ぼすいくつかのパラメータの測定とそれらのパラメータ間の関係性（因果関係）を探る!!!

ソフトウェア品質シンポジウム2023

なにを測りますか？

ソフトウェア品質シンポジウム2023

エーオース（Ēōs）パラメータ

ソフトウェア品質シンポジウム2023

どうやって測りますか？

ソフトウェア品質シンポジウム2023

パラメータ収集方法
レビュー中

レビュー会議を録画

レビュー後

アンケート

発言の音声データ作成
発言をテキスト化

感情
ＡＩテキストマイニングで解析

動作、声の大きさ
レスポンス
発言空白時間

レビュー後の
結果パラメータ

テキストデータや音声データ、動画から抽出

アンケート結果を数値化

ソフトウェア品質シンポジウム2023

Ⅳ. 実験の方法

ソフトウェア品質シンポジウム2023

予備実験• ＡＩテキストマイニングによる測定の妥当性確認が目的• 効果の低い／高いレビューを 意図的に作り出したシナリオ を利用

https://www.jasst.jp/symposium/jasst22tokyo/pdf/F6.pdf

測定メトリクス⇒

ブラックレビュー

ホワイトレビュー

特定の人が一方的に発言全員が建設的に発言

測定結果⇒

ホワイトレビューの方が✓「恐れ」や「悲しみ」が少ない✓「好き」や「喜び」が多い

ソフトウェア品質シンポジウム2023

本番実験• ロールプレイによる模擬レビュー• 研究員が２つのチームに分かれて、レビューアのロールを担う• それぞれのチームがホワイトレビュー または ブラックレビューを意識して再現
すべてのエーオース（Ēōs）パラメータ
測定メトリクス⇒ソフトウェア品質シンポジウム2023

Ⅴ. 実験の結果

ソフトウェア品質シンポジウム2023

今回測定したパラメータと測定方法
パラメータ

測りやすさ

1

感情◎(AI分析)

2

あいづち◎(テキストマイニング)3

発言に含まれる単語◎(テキストマイニング)

4

声の大きさ△(音声編集ｿﾌﾄ)

5

会話参加者数とレスポンス数△～○(ツール性能に依る)

6

発言空白時間△～○(ツール性能に依る)参加者の満足度○(Webｱﾝｹｰﾄ)

参加者の緊張度○(Webｱﾝｹｰﾄ)

参加者が感じた雰囲気○(Webｱﾝｹｰﾄ)

7

測定方法
文字起こし結果をユーザーローカル社AIテキストマイニングツールで分析
文字起こし結果をユーザーローカル社AIテキストマイニングツールで分類
録音結果を音声編集ソフトで発言ごとのピーク音量を測定
文字起こし結果およびそのタイムスタンプを元に集計(話題は音声から手分類)

参加者にWebｱﾝｹｰﾄを依頼し、アンケート結果をスコアリング・集計

測りやすさ◎はツール使用のみ、○は簡単な集計があるもの、△は一定の手作業が発生するもの

ソフトウェア品質シンポジウム2023

実験の結果（1/7）

１ 感情～感情分析 powered by

レビュー中の レビューイの感情推移 をAIツールを用いて 可視化

•

「喜び」

▶ 「喜び」の感情 が ホワイトレビューで大きく出現している•～

ソフトウェア品質シンポジウム2023

実験の結果（2/7）

2 あいづちレビュー中の発言から、参加者のあいづちの数 を計測

あいづち
はい
うん
そう
そうですね
なるほど
確かにを含む会話の件数(回)

ブラックレビュー

ホワイトレビュー

レビューイ

レビューア

レビューイ

レビューア

31102733▶ 「レビューア」のあいづちの数 が ホワイトレビューはブラックレビューの3倍超ソフトウェア品質シンポジウム2023

実験の結果（3/7）

3 発言に含まれる単語
レビュー中の発言から 品詞の数 を計測

形 容 詞 (上位3種を表示)

動 詞 （上位5種を表示)

名 詞 (上位5種を表示)
ブラックレビュー(11種35語)

ホワイトレビュー(12種42語)

ブラックレビュー(15種37語)

ホワイトレビュー(15種37語)

# 単語

# 単語

# 単語

# 単語

出現数

出現数

出現数

出現数

ブラックレビュー (3種6語)

ホワイトレビュー (8種15語)

# 単語

# 単語

出現数

出現数

1

いい

31

いい

72

面倒くさい

22

すごい

2

新しい

1

3

嬉しい

1

1

画面

71

申請

81

入れる

91

思う

1232入力62ステータス

42できる

72書く

4感 動 詞 （全数を表示）

3申請

53承認

43書く

53終わる

34ステータス

34確か

44わかる

44隠す

25作成

35画面

35入る

25わかる

2

ブラックレビュー (3種6語)

ホワイトレビュー (3種5語)

# 単語

# 単語

出現数

出現数

1

なるほど

4

1

そうですね

3

2

そうですね

1

2

なるほど

1

3ありがとう1

3ありがとう1▶ホワイトレビューで動詞 ｢思う｣ が突出。また 形容詞では ポジティブな単語 が多いソフトウェア品質シンポジウム2023

実験の結果（4/7）

4 声の大きさレビュー中の レビューイの声量変化 を計測
のるしかないこのビッグウェーブに▶ 指摘タイミングで声量が下がる傾向は共通。その他で目立った差はみられず

ソフトウェア品質シンポジウム2023

実験の結果（5/7）

5 会話参加者数とレスポンス数
一つの話題ごとの 会話参加者数 と レスポンス数 を計測▶ホワイトレビューは ｢会話の参加者数｣ も ｢レスポンス数｣ も多いソフトウェア品質シンポジウム2023

実験の結果（6/7）

6 発言空白時間
レビュー中の 発言間の 空白時間 を計測▶ ホワイトレビューは ｢累計時間｣が短い、｢指摘後の空白時間｣ も短い傾向である

ソフトウェア品質シンポジウム2023

実験の結果（7/7）

7 参加者アンケート
レビュー終了後、レビューアにアンケートを実施して 満足度 と 心理面 を確認▶ ホワイトレビューは ｢満足度｣ が高く、｢緊張なし｣｢ゆるい雰囲気｣と感じていた

ソフトウェア品質シンポジウム2023

実験結果のまとめ殆どのパラメータでブラックホワイトでの差異あり。特に有効性◎は「発言しやすさ」測定に有効ソフトウェア品質シンポジウム2023

Ⅵ. 今後の展望ソフトウェア品質シンポジウム2023

今後の展望
新 た な レ ビ ュ ー 品 質 メ ト リ ク ス 「 Ē ō s 」 の 扉 は 開 かれ た ばか り !! !
更 に 有 効 な パ ラ メ ー タ や 因 果 関 係 が 発 見 さ れる 可 能 性 を 秘 め て いる ! ! !
 データ収集･分析の継続パラメータ間の新たな因果関係が見つかり、｢発言しやすさ｣のコントロール手段を増やすことができる

 新たなパラメータの追加

深める

広げる

原因パラメータ：・ジェスチャー(身振り手振り,身体の動き)
・顔の表情(笑顔,顔色)など

結果パラメータ：・バイタルデータ(心拍数,体温,発汗など)
・声の波形(音程,震え)など更なる研究が求められる!!!

ソフトウェア品質シンポジウム2023

Ⅶ. おわりにソフトウェア品質シンポジウム2023

Ēōs(エーオース)という命名Ēasy tō speak
Ēōsはギリシア神話に登場する暁の女神である。

「夜明けのごとく明るい心理的環境では夜の暗中では見えなかった探し物(欠陥)が見つけやすくなる」と い う 意 味 を 込 め て 命 名 し まし た 。

ソフトウェア品質シンポジウム2023

ま た 、 Ē ō s の 娘 「 A s tr a i ā （ ア ス ト ラ イ ア ） 」 は て ん び ん 座 の 女 神 。

「一説によるとアストライアは、天秤でいろいろなものを測って人間関係などをうまくまとめていたそうです」
私たちは今回、レビューにおける「発言しやすさ」を測ることに成功しました。

ソフトウェア品質シンポジウム2023

ご静聴ありがとうございました