東京都市大学横浜キャンパス情報メディアジャーナル 2023. 3 第 24 号

論文

進化計算を用いた画像配置の最適化によるモザイク写真生成
御手洗拓弥

平綿素望

大谷紀子

モザイク写真とは，モザイクアートの一種であり，完成図である画像に見えるように，多数の画像を小片として組み合わせたアートである．現在コロナ禍において，学生のイベントが中止になることが相次ぎ，モザイク写真を作成するのに必要な小片画像が不足している．本研究では，コロナ禍で思い出の写真がない学生を対象としたモザイク写真の自動生成手法を提案する．画像生成 AI によって小片となる画像を生成し，画像の配置を進化計算アルゴリズムの1つである共生進化によって決定する．完成図である画像と小片画像の色合いに関する類似度合いと，小片となる多数の画像の使用数に関する偏り度合いを目的関数として，画像の配置を最適化する．完成図である画像として東京都市大学横浜キャンパスの写真を使用し，提案手法によりモザイク写真を生成した実行例を示す．
キーワード：進化計算アルゴリズム，共生進化，最適化，モザイク写真，画像生成 AI

１．はじめにグモデルを使用する．本モデルは，テキストと連想されモザイクアートは，小片を寄せ集めて，絵や模様を表る画像を対応付けるものであり，目的の画像を生成する

現する装飾美術の技法であり，ビザンツ様式の特徴であには適切なテキストを入力する必要がある．入力に適切る壁画や市の魅力を発信するための絵画など，幅広い場なテキストを生成するため，コロナ禍で活動の中止を余面で用いられている．特に画像を小片として組み合わせ儀なくされた学生に対して，「コロナ禍で行えなかったた画像はモザイク写真と呼ばれ，過去の軌跡を一枚の画活動」と「その活動の雰囲気」についての自由記述のア像に収めることで，家族との思い出作りや団体の創立・ンケートを実施する．収集したアンケートの回答テキス周年記念に用いられることが多い．近年では完成図であトを形態素解析して，画像生成 AI の入力に必要なテキる画像（以下，目標画像）と小片となる多数の画像（以ストを抽出し，画像を生成する．

下，小片画像）からモザイク写真を自動的に生成する手法が提案されている．
学園祭では学園での活動や思い出を表現するためにモザイク写真を作成することもある．しかし，現在コロナ

２．
２ モザイク写真生成（１）評価指標

目標画像と多数の小片画像からモザイク写真を自動生

禍において，学園祭やサークル活動などの学生のイベン成する手法は，小片画像を組み合わせた画像に，目標画トが中止になることが相次ぎ，モザイク写真を作成する像を投影する手法と，小片画像の色合いを活かし，適切のに必要な小片画像が不足している．本研究では，コロな組み合わせによって，目標画像を表現する手法に大別ナ禍で思い出の写真がない学生を対象としたモザイク写される．前者の手法では，目標画像により近い画像を生真の自動生成手法を提案する．

成できるが，投影度合いを高くすると小片画像が見えに

２．提案手法２．
１ 小片画像生成

小片画像生成には，Text2Image のディープラーニン

くくなる．後者の手法では，小片画像の色合いを維持できるが，小片画像の組み合わせが複雑となる．本研究では，小片画像である思い出の写真を加工しないことを重視するために，小片画像の色合いを生かす後者の手法を用いる．後者の手法では，以下の2つの評価指標に基づ

MITARAI Takuya
東京都市大学メディア情報学部情報システム学科３年生
HIRAWATA Sou
東京都市大学メディア情報学部情報システム学科３年生
OTANI Noriko
東京都市大学メディア情報学部情報システム学科教授

4いて，モザイク写真を生成する．
・ モザイク写真と目標画像の色合いに関する類似度合い（以下，類似度）
・ 小片画像の使用数に関する偏り度合い（以下，公平度）
類似度は小片画像の色合いを活かすための指標であり，公平度は同一画像を際限なく使用することを防ぎ，より

御手洗・平綿・大谷：進化計算を用いた画像配置の最適化によるモザイク写真生成

多くの種類の画像を使用するための指標である．膨大な小片画像の組み合わせのパターンの中から，類似度を高番号（i -1）× p_length +j の領域に格納される．モザイ
ク写真生成における染色体を図1に示す．

めつつ，公平度も高めるような小片画像の組み合わせを見つけることは難しい．本手法では，組合せ最適化アルゴリズムの1つである共生進化を用いて，小片画像の適切な配置を決定する．
（２）共生進化

共生進化（symbotic evolution）は，Moriarty によって提案された遺伝的アルゴリズムの一種である［1］［2］．
共生進化の手法では，解の一部分である部分解を個体とする部分解集合と，部分解の組み合わせによって形成される全体解を個体とする全体解集合を保持し，両集団を並行して進化させる．部分解を個体とする進化は「“効果的な解” のすばやい獲得」という特長を持ち，全体解を個体とする進化は「“最適な解” への確実な収束」という特長を持つ［3］．一般的な遺伝的アルゴリズムと同様に，初期化，評価，世代交代という3つの処理によって解を探索するが，各段階においてそれぞれ部分解集合と全体解集合に対して操作する．共生進化の処理の流れを以下に示す．
Step 1 【初期化】（a）部分解を表す個体をランダムに生成し，初期世代の部分解集団とする．
（b）部分解集団の個体をランダムに組み合わせて，初期世代の全体解を生成する．
Step 2 【評価】（a）全体解集団内の個体の適応度を算出する．
（b）全体解の適応度をもとに，部分解集団内の個体の適応度を決定する．
Step 3 【世代交代】（a）部分解集団の次世代の個体を生成する．
（b）全体解集団の次世代の個体を生成する．
Step 4 終了条件が満たされるまで，Step 2~3を繰り返す．
以下では，モザイク写真生成における共生進化の染色体の設計と処理について詳細に説明する．
（３）染色体の設計

N 枚の小片画像に対して，識別番号として0〜N -1の整数を一意に割り当てる．また，モザイク写真のすべての領域に対して領域番号を割り当てる．モザイク写真の縦と横の分割数がそれぞれn ，m であるとき，k 行l 列の領域の領域番号は（k -1）×n +l と表現される．
部分解の遺伝子 p_chrom_j （j =1，2，…，p_length ）に対して，小片画像の識別番号を格納し，全体解の遺伝
子 w_chrom_i （i =1，2，…，w_length ）は部分解の個体へのポインタを格納する．全体解の遺伝子座 i ，部分解の遺伝子座j の示す小片画像が，モザイク写真の領域

図1

染色体の設計（４）評価

全体解Wi の適応度fw （Wi ）は，Wi の表すモザイク写

真と目標画像の色合いに関する類似度f 1（Wi ），およびWi の表すモザイク写真における小片画像の使用数に関する公平度 f 2（Wi ）の重み付き和とする．重みを w としたとき，fw （Wi ）は式2.1で算出される．
（2.1）
目標画像をモザイク写真と同じサイズとし，（３）と同様に領域番号（k -1）×n +l を割り当てる．すべての解が示す小片画像と，対応する領域の代表色の3次元空間における2点間の距離の和を類似度とする．代表色は，各画像のすべてのピクセルに対して，RGB 値のそれぞれの中央値をとった値とする．解が示す各小片画像の代

表色の RGB 値をそれぞれ rcj ，gcj ，bcj とし，目標画像の各領域の代表色のRGB 値をそれぞれrdj ，gdj ，bdj とすると，類似度f 1（Wi ）は式2.2により求められる．


（2.2）
2点間の距離の和を小さくするほど類似するといえる

ため，f 1（Wi ）は最小化を目指す目的関数であるといえる．

N 枚の小片画像をk 等分し，k 個のグループを作る．
各グループで，グループ内のすべての小片画像のモザイ
ク写真に関する使用数の合計値cj を算出する． をcj の平均値とするとき，公平度f 2（Wi ）は式2.3により算出される．

5

東京都市大学横浜キャンパス情報メディアジャーナル 2023. 3 第 24 号



（2.3）

使用数の分散を小さくするほど，より多くの種類の小片画像を使用しているといえるため，f 2（Wi ）は最小化を目指す目的関数であるといえる．

部分解の適応度は，全体解の適応度を算出した後に，求めたい部分解を参照している全体解のうち，最良の全体解の適応度とする．
（５）世代交代p_size 個の部分解の個体の適応度上位5% から非復元抽出を行った2つの部分解を1組とし，1/2p_size 組生成する．各組の個体に対して二点交叉を行い，部分解の次世代個体を p_size 個生成する．すべての部分解の各遺伝子に対して0.01% の確率で突然変異を起こし，突然変異する遺伝子は乱数によって生成された0〜N -1の整数に書き換えられる．
全体解集合の次世代交代には，MGG モデル［4］を採用する．MGG モデルは，局所解収束の回避と進化的停滞の抑制を意図して考案されたモデルである．MGG モデルの処理の後に，すべての全体解の個体の各遺伝子に対して0.1% で突然変異を起こし，ランダムに選択した別の個体を指すポインタに置き換える．

３．実行例

2.1で示したアンケートを4人の学生に行い，アンケート結果から1人あたり10,000枚の画像を画像生成
AI “Stable Diffusion” により生成し，計40,000枚の画像を小片画像とする．目標画像を図2に示し，縦横それぞれ75分割し，領域数5625とする．

共生進化の全体解の個体数 w _si ze と部分解の個体数

p_size をそれぞれ5,000とし，w_length と p_length をそれぞれ75とする．終了条件は世代交代数が4,000に達したときとする．公平度を算出するとき，64枚の小片画像を1グループとし，計625グループ作成する．重み図2

6

目標画像

図3

モザイク写真表1

類似度と公平度

0126849

56.8224

10,0001988640.166450,0003875950.0032

御手洗・平綿・大谷：進化計算を用いた画像配置の最適化によるモザイク写真生成

w を0，10,000，50,000とし，それぞれ実行した結果として，モザイク写真と処理終了時の最良個体の類似度f 1（Wi ）と公平度f 2（Wi ）を以下に示す．
表1より，重みw を小さくするほど，類似度が小さくなり，公平度が大きくなることがわかった．したがって，類似度と公平度はトレードオフの関係であり，両方とも最小化することは困難であるといえる．

４．おわりに本研究では，コロナ禍で思い出の写真がない学生を対象としたモザイク写真の自動生成手法を提案した．学生に対するアンケート内容をもとに “Stable Diffusion”によって小片画像を生成し，類似度と公平度の2つを目的関数とする小片画像配置の最適化を共生進化によって解決する．結果として，類似度と公平度はトレードオフの関係であることが示された．したがって，重み w を変えて複数のモザイク写真を生成し，1枚を選び取る必要がある．

参考文献［1］ Moriarty, D.E. and Miikkulainen, R.: Efficient
Learning from Delayed Rewards throughSymbiotic Evolution, in Proceeding of the 12th
International Conference on Machine Learning,
pp.396-404（1995）［2］ Moriarty, D.E. and Miikkulainen, R.: Efficient
Reinforcement Learning through Symbiotic
Evolution, Machine Learning, Vol.22, pp.11-32（1996）［3］ 大谷紀子：共生進化の帰納学習への適用に関する研究，博士学位請求論文，東京大学（2006）［4］ S a t o , H . , Ya m a m u r a , M . , K o b a y a s h i , S . :Minimal Generation Gap Model for GAs
Considering both Exploration and Exploitation,
Proc. of 4th International Conference on SoftComputing, pp.494-497（1996）

7