経営課題にAIを!ビジネスインフォマティクス研究会 (第18回)
JSAI Special Interest Group on Business Informatics (SIG-BI #18)

花画像の特徴量抽出および類似度計算による対話型フラワー推薦システム
Interactive flower recommendation system based on similarity among flowers
defined by features extracted from their images
平山 真康 杉之内 将大 水山 元
Masayasu Hirayama, Shota Suginouchi, and Hajime Mizuyama
青山学院大学 理工学部 経営システム工学科
Department of Industrial and Systems Engineering, College of Science and Engineering,
Aoyama Gakuin University
Abstract: The spread of COVID-19 has changed people's lifestyle, which caused great loss in various
industries including the flower industry. Under the circumstance, new online shopping services forindividuals are attracting attention. However, it is not easy for those who have not purchased flowers often
before to find "a right flower for them." Therefore, this study (1) defines some features of flower images
and creates a hyperspace representing the similarity among flower images, and (2) proposes and evaluates
an interactive evolutionary computation system for recommending a flower that reflects the user's potential
taste from a large number of candidates according only to a relatively small number of intuitive flowerevaluation made by a user.

1

はじめに

2020 年は新型コロナウイルスの蔓延により活動の自粛が要請され，在宅勤務や学校の休校など生活スタイルが一変する年となった．花き産業においても，イベントやコンサートなどの催しの延期や中止，結婚式や葬儀などの式典の見送りや簡素化，輸出の停滞などにより，業務用花の需要は減少し，価格の低迷，取引量の大幅な減少が続いている[1]．この窮状を受けて，農林水産省は，国産農林水産物等販売促進緊急対策として“花いっぱいプロジェクト”などの支援策に取り組んでいる[2]．
このような状況の中，“お花の定期便”と称した，インターネットを利用したサブスクリプション型のサービスが登場して人気を博している．これは，自宅や職場に飾る，自分自身のための花の需要の増大を目指したものである．しかし，サブスクリプション型サービスでは，顧客は好みの花を自由に選ぶことはできない．そのため，必ずしも自身の趣味・嗜好に合った花を手に入れられるとは限らないという問題を抱えている．一方，様々な種類の花の中から顧客自身に好みの花を選択してもらおうとすると，花の知識や購入の習慣が乏しい顧客にとって，好みの花を見つけ出すこと自体が難しいという限界が生じる．そのため，取り扱う花が豊富であるほど選択・購入に多くの時間を要することになってしまう．
そこで本研究では，顧客に花画像を提示しそれらを評価してもらうことを繰り返し，顧客の嗜好に合う花を推薦する，対話型進化計算を用いたフラワー推薦システムを提案する．提案システムでは，対話型進化計算手法の一つである CMA-ES[3]を用いる．
ただし，CMA-ES では，候補となる花画像の集合をそのまま解空間として用いることは難しいため，解空間や目的関数に拡張を加える必要がある．また，推薦の有効性を維持したままなるべく利用者の負担を減らすことも求められる．そのために，本研究では以下の 3 点に取り組む．
1)人間が花を評価する際の基準を捉えるための特徴量の定義
2)利用者の嗜好を反映した花推薦のための対話型システムの構築
3)利用者の負担軽減のための対話の簡素化が，提案システムの性能に与える影響の評価

2

花画像の特徴量抽出2.1

対象画像とその前処理経営課題にAIを!ビジネスインフォマティクス研究会 (第18回)
JSAI Special Interest Group on Business Informatics (SIG-BI #18)

2.1.1 対象画像
Shutterstock [4]から取得した花画像 500 枚を用いる．これらは，すべて同一の撮影者による白背景かつ，花を真上から撮影したものである．計算時間の短縮の為，花の印象が変わらない程度に画像のリサイズを行った．
2.1.2 前処理
リサイズ後の花画像について，RGB の値が全て 252以上のピクセルのアルファチャンネルの値を 0（それ以外のピクセルは 1）とし，アルファチャンネルの値が全て 0 である行もしくは列は不要と判断しトリミングした．花画像のトリミング後のサイズを𝐼行×𝐽列とし，𝑖行𝑗列のピクセルをピクセル (𝑗, 𝑖)と呼ぶ．
また，ピクセル(𝑗, 𝑖)の色相を 60 段階（∈ {0, 1, … , 59}）で表したものを𝐻𝑖𝑗，彩度を 10 段階（∈ {0, 1, … , 9}）で表したものを𝑆𝑖𝑗，明度を 10 段階（∈ {0, 1, … , 9}）で表したものを𝑉𝑖𝑗 ，アルファチャンネルの値を𝛼𝑖,𝑗 で表す．
続いて，彩度と明度の平均からの偏差𝛥𝑆𝑖,𝑗，𝛥𝑉𝑖,𝑗を算出し，整数値（∈ {−9, −8, …, 9}）に丸めた.また，ピクセル(𝑗, 𝑖)の画像の中心からの距離𝐿𝑖,𝑗 ，360 段階（∈ {0, 1, …, 359}）の角度𝜃𝑖,𝑗 を算出した．𝐿𝑖,𝑗 を画像の長辺の流さで標準化し 10 段階（∈ {0, 1, …, 9}）に丸めたものを𝑅 𝑖,𝑗とおく．最後に，𝜃方向の𝐿𝑖,𝑗 の最大値を𝐿max𝜃 とおき，それをフーリエ変換したものを輪郭系列𝑂とした．

2.2 特徴量の提案
2.2.1 考慮する特徴
人間が花の見た目の違いを知覚する際の判断基準となる特徴として，本研究では COLOR，TONE，PATTERN，SHAPE の 4 つを取りあげる．COLOR は全体的な色目の特徴であり，色相，彩度，明度の分布（2.2.2 節参照）に基づいて数値化する．TONE は色のトーンであり，彩度，明度の分布（2.2.2 節参照）によって評価する．PATTERN は模様や柄に関する特徴であり，花の中心からの距離とトーンの偏差の分布（2.2.2 節参照）によって定量化する．SHAPE は，花びらの集合が形作る輪郭の形状であり，輪郭系列𝑂を用いて数値化する．
2.2.2 利用した分布情報
ここでは，同時分布を乗算記号×，周辺分布の直積を加算記号＋を用いて表す．例えば，Ax×By は基準 A と基準 B の同時分布を意味し，Ax＋By は A とB の周辺分布の直積を意味する．また，x，y は粒度を表す．
COLOR に用いる分布：𝐻60 × 𝑆10 + 𝐻60 × 𝑉10𝑓𝐻60×𝑆10 (ℎ, 𝑠)ℎ < 𝐻𝑖𝑗 ≦ ℎ + 1= |{ (𝑖, 𝑗) | ∧ 𝑠 < 𝑆𝑖𝑗 ≦ 𝑠 + 1 }|∧ 𝛼𝑖𝑗 = 1(2.1)/ |{ (𝑖, 𝑗) | 𝛼𝑖𝑗 = 1 }|𝑓𝐻60×𝑉10 (ℎ, 𝑣)ℎ ≦ 𝐻𝑖𝑗 ≦ ℎ + 1()∧= |{ 𝑖, 𝑗 | 𝑣 ≦ 𝑉𝑖𝑗 ≦ 𝑣 + 1 }|∧ 𝛼𝑖𝑗 = 1(2.2)/ |{ (𝑖, 𝑗) | 𝛼𝑖𝑗 = 1 }|TONE に用いる分布：𝑆10 × 𝑉10
𝑓𝑆10×𝑉10 (𝑠, 𝑣)
𝑠 ≦ 𝑆𝑖𝑗 ≦ 𝑠 + 1= |{ (𝑖, 𝑗) |∧ 𝑣 ≦ 𝑉𝑖𝑗 ≦ 𝑣 + 1 }|∧ 𝛼𝑖𝑗 = 1(2.3)/ |{ (𝑖, 𝑗) | 𝛼𝑖𝑗 = 1 }|PATTERN に用いる分布：𝑅10 × 𝛥𝑆10 × 𝛥𝑉10
𝑓𝑅10×𝛥𝑆10×𝛥𝑉10(𝑟, 𝑠𝑑, 𝑣𝑑 )𝑟 ≦ 𝑅 𝑖𝑗 ≦ 𝑟 + 1∧𝑠𝑑≦ 𝑆𝑑 𝑖𝑗 ≦ 𝑠𝑑 + 1 |= || (𝑖, 𝑗) ||∧ 𝑣𝑑 ≦ 𝑉𝑑 𝑖𝑗 ≦ 𝑣𝑑 + 1 |∧ 𝛼𝑖𝑗 = 1{}(2.4)/ |{ (𝑖, 𝑗) | 𝛼𝑖𝑗 = 1 }|2.2.3 主成分分析による次元圧縮
前節の 3 つの特徴に関する分布データ，および輪郭系列𝑂を，主成分分析により次元圧縮し，第 3 主成分までを用いて特徴量を定義する．500 枚の対象画像から得られたデータに主成分分析を適用して得られた第 1 主成分～第 3 主成分を用いた散布図を図 1〜図 4 に示す．

図 1: 色経営課題にAIを!ビジネスインフォマティクス研究会 (第18回)
JSAI Special Interest Group on Business Informatics (SIG-BI #18)

図 2: トーン

図 3: 模様

図 4: 概形
2.2.4 基準空間(Base Space)の作成
前節で定量化した 4 つの特徴を尺度を揃えて結合し，12 次元の特徴量の超空間を作成した（図 5 参照）．
2 つの花画像の類似度は，この超空間上でのユークリッド距離で評価することができる．この超空間を，以下，基準空間(Base Space)と呼ぶ．

3

提案手法

3.1

提案手法のアルゴリズム

提案するフラワー推薦システムの実行可能解の集合は，基準空間全体ではなく，その中にプロットされた，花画像に対応する有限の点群である．そのため，CMA-ES をそのままでは適用できない．そこで，
CMA-ES で生成され得る任意のサンプル𝑥𝑖からなる集

図 5: 基準空間(Base Space)合（すなわち，基準空間全体）を解空間として扱えるように目的関数を拡張する．
そのためにまず，各サンプル𝑥𝑖の最近傍に位置する花画像を同定し，それらを，𝑥𝑖を実行可能化した近傍解𝑥̃とする．
ただし，各世代に生成される𝜆個のサ𝑖
ンプル𝑥1, ⋯ , 𝑥𝜆 の近傍解𝑥̃,
1 ⋯, 𝑥̃𝜆 は全て異なる花画像になるように選択する．すなわち，𝑥𝑖の近傍解𝑥̃を𝑖決定する際は，全ての𝑖 ′ < 𝑖の近傍解𝑥̃の花画像を除𝑖′いた花画像の中で最近傍の花画像を選択する．
利用者に近傍解𝑥̃に対応する花画像を提示するこ𝑖とによって𝑥̃の評価値を得ることができる．𝑥̃𝑖𝑖𝑖 =𝑥であれば，それをそのまま目的関数として採用すればよいが，一般には𝑥𝑖 ≠ 𝑥̃𝑖 であり，その場合の目的関数についての検討が必要である．サンプルと近傍解が離れるほど，𝑥̃の評価値をそのまま𝑥𝑖𝑖の評価値とみなすことは難しくなる．そこで，任意のサンプル𝑥𝑖の目的関数を，𝑥̃の評価値に，基準空間内での 𝑥𝑖𝑖から𝑥̃までのユークリッド距離の2 乗に一定の重み𝑖𝑘を付加したペナルティを加算したものとすることを提案する．なお，適切な𝑘の値は 4.1 節の計算機実験にて定める．
今回は CyberAgent の提供する CMA-ES ライブラリ[5]を使用した．

3.2

CMA-ES を用いた提案手法の流れ

S TEP 1 CMA-ES に基づいて基準空間内に𝜆個のサンプル𝑥1 , ⋯ , 𝑥𝜆 を生成する．
S TEP 2 ̃,𝑥1 ⋯ , 𝑥̃𝜆 を決定し，対話によってそれらの評価値を得る．そして，それらに基づいて
𝑥1 , ⋯ , 𝑥𝜆 の目的関数値を計算しCMA-ES に返す．
S TEP 3 STEP1 と 2 を繰り返し，あらかじめ決められた世代数が終了した後，最終世代の𝑥𝑖の重心から基準空間上で一番近い花画像を利用者に推薦する．

経営課題にAIを!ビジネスインフォマティクス研究会 (第18回)
JSAI Special Interest Group on Business Informatics (SIG-BI #18)

図 6: 花の一例

図 7: 絶対評価の場合の収束の遷移

図 8: 相対評価の場合の収束の遷移

4

検証実験

4.1

計算機実験

4.1.1
コンピュータエージェント
提案手法の有効性を評価するために，利用者を模擬したコンピュータエージェントを用いて計算機実験を行う．500 枚の画像の中からランダムに選んだ 1枚を，そのコンピュータエージェントにとって理想の花であるとする．
現実の人間の場合，人によって花の類似性についての 4 つの特徴の重みは異なる．例えば，花の色目を重視する人は図 6 に示す 2 つの花を似ていると感じるが，輪郭を重視する人はこれらは似ていないと感じる．そこで，コンピュータエージェントは 4 つの特徴の重視度に関する情報を持つものとし，それぞれの値を総和が 1 になるようにランダムに設定した．
4.1.2
嗜好付加空間(Agent Space)の作成
重視度の比率に応じた倍率で尺度を変化させた新た な超空間を作成し，これを嗜好付加空間(AgentSpace)とする．嗜好付加空間上での 2 つの花画像の距離は，コンピュータエージェントから見た 2 つの花画像の類似度を表す．実験では，エージェントの評価値はこの類似度に基づいて与えればよい．ただし，Agent Space はコンピュータエージェントが持つ非公開の情報であり，Agent Space 上の各花画像の座標を提案手法は知ることができないことに注意する．
4.1.3
実験条件と目的
この実験を通して，収束速度と収束精度の関係を明らかにし，最良のパラメータを定める．また，花画像に対する評価は個人の感性によるため属人的なブラックボックスであり，同一の基準で評価をし続けることが難しいため，相対評価でも絶対評価と同等の性能を出せるかを確認したい．そのため，絶対評価でも正しく評価することができるコンピュータエージェントを利用し両者を比較する．
設定したパラメータは以下の通りである．
評価粒度：𝐺（2，3，5，10，100）
絶対評価または相対評価
距離計算時のペナルティの重み：𝑘 （0.05，0.1，0.2，0.4）
また，対話の対象が実際の被験者であった場合に，点数評価に対しての負荷が多すぎないよう，今回は各世代のサンプル数𝜆を 8 に設定し，50 世代の計算を行った．
4.1.4
実験結果と考察理想の花，各特徴の重みをランダムに変え，10 パターンの試行を行った．
最良なパラメータを見つけるため，粒度𝐺別とペナルティの重み𝑘別にまとめて各世代の目的関数の平均値を比較したところ，𝐺が 5 以上であれば，絶対評価，相対評価どちらの場合も 15 世代ほどで収束が可能であることがわかった．これは人間にとって過度な負担なく評価することが可能な粒度であると考えられる．
図 7 は絶対評価，図 8 は相対評価，評価粒度𝐺 =5，計算時のペナルティの重み𝑘 = 0.1 の場合の結果であり，縦軸は目的関数の平均値，横軸は世代数である．
また，基準空間の作成に利用する花画像の枚数によって花画像の密集度が変化し，基準空間上におけ経営課題にAIを!ビジネスインフォマティクス研究会 (第18回)
JSAI Special Interest Group on Business Informatics (SIG-BI #18)

る 𝑥𝑖から𝑥̃までのユークリッド距離の2 乗が変化す𝑖るために最良な𝑘の値が変化する可能性を考慮し，花画像の枚数が 100 枚の場合でも同様の実験を行った．
この結果，500 枚の場合では，𝑘 = 0.1，0.2，0.4 のとき収束に大きな差異はなく，100 枚の場合では、𝑘=0.1 のときに収束が見られた．よって，画像の枚数に関わらず𝑘は 0.1 周辺の値が適切であるとみられる．
以上から，適切なパラメータの値は評価粒度 5，ペナルティの重み 10%，収束に必要な世代数は 15 世代であると判断される．よって，提案システムでは世代毎に複数枚の花画像を見比べ，相対的に 5 段階評価を行ってもらえば良いため，利用者の負荷を抑えながら適切なフラワーの推薦が可能であると期待される．また，基準空間の作成に利用する花画像の枚数が多くなった場合も，必要な世代数と最良な評価粒度は大きく変化しないと予想される．

4.2

被験者実験

4.2.1
実験目的
提案手法が，計算機実験で定めたパラメータ設定のもとで，実際の人間との対話においても有効に動作するかを確認する．
4.2.2
実験方法
20 代 30 代の男女 8 人を対象に，被験者実験を行った．ペナルティの重みを 10%とし，各世代で 8 枚の花画像を評価してもらう．世代ごとに花画像が１枚ずつ表示され，5 段階で評価をしてもらい，最大15 世代の対話の後に最も好みの花画像を 1 つ選んでもらう．評価値はそれぞれ次の値の 2 乗とした（とても好み…1，好み…2，普通…3，好みでない…4，全く好みでない…5）．
対話の途中に表示された花画像を最終決定候補として保存することが可能で，対話終了後に候補の一覧の中から最終候補を 1 つ選択してもらう．また，候補に保存された花の評価は，”とても好み”とした．満足な花が得られた場合，または疲労や飽きによる途中の離脱を可能とした．
4.2.3
実験結果と考察
評価のつけ方には個人差が見られ，また，操作時
間も 3 分 57 秒～12 分 16 秒と開きが見られたが，いずれの場合も好みの花に辿り着き，最後に決定した花に対して満足したという感想が得られた（とても満足…4 人，満足…4 人）．
一度ある解の周辺に収束すると，そこから離れた場所を探索するようになるまでには時間がかかるため，好み花が複数ある場合にそれらすべてに辿り着くことは難しい．特に，相反する特徴を持つ複数の花を同時に探索することは難しいことがわかった．

5

結論

5.1

得られた成果本研究では，花画像の特徴量を導入し，それを用いた対話型フラワー推薦システムを提案した．そして，パラメータの設定が対話的な探索の有効性に与える影響を評価した．その結果，少数回の直感的な相対評価のみに利用者の負荷を抑えた場合でも適切なフラワーの推薦が可能であることが確認できた．

5.2

今後の課題

今後の主な課題は以下の通りである．
・特徴量の拡張（例えば，花の大きさなど）・花一輪の推薦から花束の推薦への拡張
・最近傍探索の効率化（例: Spotify annoy [6]）・値段や季節などの制約条件の追加

参考文献[１] https://jfc.thebase.in/ (accessed 2021-03-01)[２] https://www.maff.go.jp/j/seisan/kaki/flower/hanaproject.html (accessed 2021-03-01)[３] Nikolaus Hansen: The CMA Evolution Strategy: A Tutorial,
arXiv:1604.00772v1 (2016) (accessed 2021-03-01)[４] https://www.shutterstock.com/about (accessed 2021 -0301)[５] https://github.com/CyberAgent/cmaes (accessed 2021 -0301)[６] https://github.com/spotify/annoy (accessed 2021-03-01)