!"##$%&%'$

SD 法による大規模印章評価に基づくアノテーションを支援する可視化飯島 緋理* 伊藤 貴之*

概要． 画像の印象を推測する機械学習では，多数の画像へのタグ付け作業により訓練データを構築することが多い．ここでタグ付け作業者が有する個人の印象回答が学習結果に依存する問題がある．本研
究では画像から受ける印象の個人差を解消するため，多人数の印象回答値を参照して印象のタグ付けを半自動化する過程を可視化する．本手法ではまず SD 法を採用した印象評価を実施し，続いて各画像の印象値を用いてファジィ決定木を生成する．決定木によって自動タグ付けされたのち，目視確認及びタグ付け再考が可能になるような可視化システムを提供する．また，類似する画像を近くに配置した画像一覧を可視化することで，タグ付け結果を画像特徴から観察する．本報告では，1500 枚の女性着衣服画像に 43 人の作業者が印象評価を実施したデータを題材として，本手法による可視化の実行例を示す．

1

はじめに機械学習の訓練データ構築のためのアノテーション作業は面倒[1]である．本研究では画像の印象を推定する機械学習の構築を考える．一般的にアノテーションは少人数で実施されることが多く，1 人あたりの作業項目も多い．作業項目が多いことでアノテーターの疲労につながり信頼性が下がる可能性がある．また，少人数のアノテーターが有する個人の印象回答が学習結果に依存してしまう．
本研究では 1 人あたりの作業項目数を減らすため，大人数による大規模印象評価を採用する．画像から受ける印象の個人差を解消するため，多人数の印象回答値を参照して印象のタグ付けを半自動化する過程を可視化する．まず，SD 法[2]を用いて印象評価を実施し，画像の印象値を用いてファジー決定木[3][4][5]を生成する．さらに，画像群一覧表示で画像分類を可視化することで，決定木が構築した階層構造と画像の特徴との相関を観察することができる．
半自動化アノテーションを目視確認及びタグ付け再考が可能になるような可視化システムを提供する．

2

SD 法を用いた印象評価

2.1 尺度の因子選択
本研究では使用する画像群を女性衣服の画像に限定し，印象評価[6]や印象因子分析に関する研究[7][8]を参照した結果，性差・年齢差・個人差の影響が小さいと考えられる色彩/立体感/正統性/穏健性/装飾性の 5 種類の因子を採用した．
2.2 パイロットテストと尺度決定
印象評価時の被験者の疲労は回答の信頼性低下を
Copyright is held by the author(s). This paper isnonrefereed and non-archival. Hence it may later
appear in any journals, conferences, symposia, etc.
* お茶の水女子大学

起こす．これを回避するために我々は，適切な尺度抽出のためのパイロットテストを実施した．10 枚の女性衣服画像を用い，5 因子の中から選出した 15 項目の形容詞対に対して，回答者(20 代女性 15 名)から5 段階評価回答を収集した．この評価結果から，任意の形容詞対間の距離行列を算出した．続いて各形
容詞対について，他の形容詞対との距離の平均値を求めた．この平均値が大きいほど，他の尺度との相関がないことを意味する．この平均値が最大となる
形容詞対を因子ごとに摘出したものを表 1 に示す．
表 1．印象評価データ
画像
回答者「色彩」尺度 1「立体的」尺度 2「正統性」尺度 3「穏健性」尺度 4「装飾性」尺度 5

女性着衣服画像 1500 枚
43 人(全員 20 代/女性 37 人男性 6 人/日本国籍 35 人中国国籍 8 人)
暗い
明るい
フィットした
ルーズな
フォーマルな
カジュアルな日常的な
非日常的な
シンプルな
ゴージャスな

2.3 画像の前処理
本研究は背景が無地単色である女性の衣服画像を対象として印象評価を実施する．衣服以外の要因が印象評価に影響するため，OpenCV を用いて顔領域を検出し，顔及び背景削除処理を実施した．
2.4 印象評価の収集と可視化データの構築
画像を 1500 枚，回答者を 43 名，尺度を 5 項目として，5 段階評価で回答を収集した．1 人あたり 500枚の画像の印象評価を回答しているため，画像 1 枚の回答人数は 12〜13 人である．内訳を表 1 に示す．

3可視化手法3.1 ファジィ決定木
本研究ではクラスタリング手法にファジィクラス

WISS 2021タリングを採用する．ファジィクラスタリングは[0,1]の範囲の実数で各クラスタへの帰属を算出するため，曖昧で柔軟なクラスタ表現が可能である．
本手法ではクラスタへの帰属値をクラスタリングの確信度の値として扱う．
ファジィ決定木の構築手順は以下の通りである．
l クラスタリング数と決定木の深さを決定．
l クラスタリング結果の確信度を算出．
l 決定木を構築．
1 枚の画像の 5 段階評価「暗い−明るい」を例とし，本手法による印象推定の手順を図 1 に示す．現時点での実装ではクラスタ数を例えば「暗い」「明るい」「どちらでもない」の 3 個に固定する．また，我々の実験では木の深さを 6 以上に指定すると決定属性の再帰や繰り返しが頻繁に出現したため，最大深さを 5 に指定している．

より，色分布が類似する画像を近くに配置する．

4実行例

我々は本手法を python の可視化ライブラリ bokehを拡張することにより実装した．
5 つの尺度により構成される決定木の全体を通して，各尺度のクラスタリング分類結果について，3 つのクラスの間に大きな偏りの存在は確認されな かった．印象評価を実施する前に，少人数の参加者によるパイロットテストを実施して，尺度が適切であるか，尺度間に強い相関がないか，といった点をあらかじめ見積もっており，これが効果的であったものと考えられる.
図 2 から，決定木を観察することで，印象を回答しやすい画像群を発見することが容易である．図 3，4 から，画像特徴によって策定結果の全体把握や，深さによる詳細な比較表示を可能にしている．

図 2．尺度「シンプルな(青)−ゴージャスな(オレンジ)」の決定木の可視化．
「シンプルな」の決定木の深さが浅いことから，画像群の中でも印象の確信度が高い尺度であったことが推察される.

図 1．右の画像が印象項目「暗い−明るい」から「暗い」印象であると策定されるまでの手順．3 つのクラス「暗い」「どちらでもない」「明るい」から確信度の高いクラスに策定される．

続いて，図 1 に示した手順で算出される確信度をもとに決定木を生成する．木構造を上から下の階層にたどることで，各画像がクラスタリングされる工程を表現する．各ノードは確信度の詳細を表しており，分類条件や条件判定を受けた画像数も表示されている．葉ノードは，クラスタリング結果となる各クラスを表現している．可視化結果から，各画像がクラスタリングされる過程を観察できるだけでなく，その確信度も推察可能である．概して，浅いノードでクラスが決定される画像は確信度が高い傾向にあり，逆に深いノードでクラスが決定される画像は確信度が低い傾向にある．

図 3．尺度「暗い−明るい」の画像一覧表示．視覚的に「明るい」
印象は色が鮮やかな服が多く「暗い」印象は黒の服が多い．

図 4．尺度「フォーマルな−カジュアルな」．深さ 5 で，異なる3.2 画像群の一覧表示

形容詞で策定された画像群を右に表示．フォーマルとカジュアル

本手法では，決定木のクラスタリング結果ごと及び深さごとに画像群の一覧表示をする．画像の RGB値を多次元ベクトルとし，これに主成分分析 (PCA)を適用して各画像を 2 次元空間に配置する．これにどちらにも同じ赤色/形/デザインの衣服がある．着衣衣服の印象評価の際に，モデルの髪形や体格が影響する可能性が示唆される.

SD 法による大規模印章評価に基づくアノテーションを支援する可視化[6] 堀尾華子, 加藤雪枝, “衣服の印象評価における媒体間の比較”, 日本家政学会誌, 53(7), pp.693-701,

謝辞
本研究の一部は，日本学術振興会科学研究費補助金の助成に関するものです．
ユーザーテストにご協力していただいた皆様に感謝いたします．

参考文献[1] Muller, Michael, et al. “Designing Ground Truthand the Social Life of Labels.” Proceedings of the2021 CHI Conference on Human Factors inComputing Systems. 2021.
[2] Osgood, C.E., “The nature and measurement ofmeaning” Psychological bulletin, 49(3), p.197, 1952.

2002.
[7] 村山和弘, 油屋直子, “学生の衣服の色彩嗜好と色彩 感 情に 関す る分 析 ” , 尚絅 学院 大学 紀 要 , 55,
pp.157-164, 2008.
[8] 古川貴雄, 三浦爾子, “ラグジュアリーファッションに注目したトレンドの定量分析”, 共立女子大 学・共立女子短期大学総合文化研究所紀要, 23, pp.35-48,
2017.

[3] OMatsuo, Takeshi, et al., “Sensitivity Information
Analysis of Running Shoes Using Fuzzy Decision
Tree and Visualization of Analytical Results” SCIS& ISIS SCIS & ISIS 2010. Japan Society for Fuzzy
Theory and Intelligent Informatics, 2010.
[4] Neto, Mário Popolin, Fernando V. Paulovich,Explainable Matrix - Visualization for Global andLocal Interpretability of Random Forest
Classification
Ensembles.
arXiv
preprint
arXiv:2005.04289, 2020.
[5] 井上博行, 王冠, “ファジィ決定木を用いた花束の感性ルール抽出”, 日本知能情報ファジィ学会ファジィシステムシンポジウム講演論文集第 25 回ファジィシステムシンポジウム, 日本知能情報ファジィ学会, 2009.

未来ビジョン
現在，ブラウザ上から本報告で実装した可視化システムを操作することにより，本手法の評価を実施している．評価内容は以下の 2 点である．
l 操作性及び可読性を含む可視化システ
ム自体の評価l 可視化システムを使用してアノテーシ
ョンされた画像のタグ付け結果に対する評価
評価者を 3 つのグループ(可視化の専門家，機械学習の専門家，可視化及び機械学習の非専門家)に分けて各々に評価してもらう．評価
結果からわかる本手法の優位性を明らかにし，印象推定のための訓練データ作成の支援をしていく．

(可視化システム)
https://user-testimp.sakura.ne.jp/labo/evaluation/en/decitio
n.html決定木の可読性は常に低く，専門家/非専門家関係なく，ある程度の事前説明が必要である．それは木構造の可視化が身近な存在ではないためであると推測する．
しかしながら，機械学習の説明責任という観点において，決定木の可視化に関する論文・研究は近年増えてきている．
決定木の可読性向上のためにも，我々の論文が微力でも多くの研究参考になりうることを切に願う．