WISS2010

俳句に適合する画像を合成するシステムの試作
A prototype system for generating composite image suitable for Haiku

湊 匡平

岡部 誠

尾内 理紀夫∗

Summary. 俳句は短い詩でありながら，我々の心の中に大きな場景を思い描かせる．我々は，俳句の描く場景を計算機を用いて画像合成して表現することができれば，新たなエンターテインメントを生み出すことができると考え，その様なシステムを提案，試作した．本システムは，入力された俳句をもとに，自動で合成画像の候補を出力する．更にユーザは，簡単な修正，選択操作を行うことで最終的な合成画像をデザインすることができる．全自動で出力された結果の修正をサポートするため，本システムは簡単な画像編集のためのユーザインタフェースも備えている．ユーザテストによって，システムのロード及び画像検索時間を含めて，5〜15 分程度の時間で，画像処理の初心者でも，俳句の場景を画像合成できることを確認した．

1

はじめに

俳句は，江戸時代に栄えた俳諧を起源に持ち，現在に至るまで親しまれている日本語の定型詩である．
俳句は，五・七・五の韻律と季語によって短い詩でありながら，我々の心に大きな場景を思い描かせる．
俳句の表現する場景を計算機を利用して表現することができれば，新たなエンターテインメントを生み出すことができると考えられる．
近年，Web 上に存在する大量の画像を用いて，画像を合成する研究が盛んに行われている．例えば，
James ら [1] はコンテキストマッチングやブレンディング処理といった技術と Web 上の大量の画像を用いて，欠損のある画像をそれらしいパーツを集め補完する研究を行っている．また，Tao ら [2] は画像のセグメンテーションやポアソンブレンディングの技術を用いて，ユーザの書いた手書きの絵とそれに付与されたタグをもとに適合する画像をデータベースから検索・合成する研究を行っている．しかし，俳句や詩をもとに，その場景を計算機で合成しようとした研究はなかった．

2

システム概要試作したシステムの概要について述べる（図 1）．
まず，ユーザは任意の俳句を入力する（図 1(a)）．
入力した俳句を MeCab1 を用いて形態素解析し，解析した単語の中から名詞句を抽出する．その名詞句から，合成画像の前景と背景を表現する 2 枚の画像を得るために 2 つの特徴語（図 1 の場合は，「花吹雪」と「列車」）を選出する（図 1(b)）．1 つは，日外アソ
Copyright is held by the author(s).
Kyouhei Minato, 電気通信大学大学院 電気通信学研究科 情報工学専攻, Makoto Okabe and Rikio Onai, 電気通信大学 情報理工学部 総合情報学科
1MeCab, http://mecab.sourceforge.net/

シエーツ2 の「DCS-季語季題よみかた辞書」を利用し，季語データベースを構築して，季語を選ぶ．もう一つは Yahoo! Japan3 が提供する検索 WebAPIを利用して，名詞句それぞれが Web 上でマッチした文書数を調べ，それがより少ない名詞句を特徴的と判断して，特徴語とする．次に，画像の収集を行う．抽出された特徴語を検索キーとして，flickr4 のAPI を利用し Web 上から画像を 50 枚ずつ収集する（図 1(c)）．
この後，合成に使用する画像を選出するが，今回は収集した画像からユーザが手動で選ぶこととした（図 1(d)）．そして，選出した画像に対して，特徴語に関する部分のみを切抜く．図 1 では，「花吹雪」の画像が前景となり，桜の木の部分だけが切り取られている．最後に，切抜いた画像をもとに画像を合成する（図 1(e)）．ここでは，前景位置の調整や色変換を行う．

3
3.1

画像の切抜きと合成
画像からの主題抽出と切抜き画像中から対応する検索語句に関する領域を特定する手法について述べる．検索語句に関する領域は，他の領域よりも視覚注意を引きやすいと考えられるため，本稿では，Itti らに提案された SaliencyMap(顕著性マップ)[3] を用いる．Saliency Map を適用した例を，図 2 の (a) 原画像，(b)Saliency Mapに示す．
Saliency Map をもとに，画像の主題となる部分を切抜く方法について述べる．画像の切抜きには，画像切抜きシステムの「切絵」[4] を用いる．本稿では，Saliency Map をもとにユーザのスケッチに相当∗

2

日外アソシエーツ，http://www.nichigai.co.jp/
Yahoo! Japan, http://www.yahoo.co.jp/
4flickr，http://www.flickr.com/
3

WISS 2010

図 1. システムの流れ．(a) 入力俳句，(b) 選出された特徴語，(c) 収集した画像，(d) 選出した画像，(e) 合成画像

図 2. (a) 原画像，(b)Saliency Map，(c) 初期前景「黄」と初期背景「青」を設定した画像，(d) 切抜
き結果するような初期領域を自動生成する．図 2 の (c) はSaliency Map をもとに初期前景を黄色，初期背景を青色で表したものである．閾値を設定し，SaliencyMap の各ピクセルの顕著度 s(0 ≤ s ≤ 255) が高いものを初期前景，低いものを初期背景とする．本稿では，s ≥ 180 のピクセルを初期前景，s ≤ 30 のピクセルを初期背景に設定している．(d) は「切絵」での切抜き結果である．

3.2

合成画像の色変換

選ばれた前景画像と背景画像は全く違う場面であることが多い．そこで，前景画像の色合いを背景画像に合わせることによって，より違和感のない合成画像を生成する．ここでは，Reinhard らの提案した手法 [5] を用いる．これは，与えられた 2 枚の画像の色の平均値及び標準偏差を，lαβ 色空間上で合わせるように色合いを変換する手法である．

4

ユーザスタディ

9 人の大学生・大学院生を対象にユーザスタディを行った．1 人につき 3 つの俳句を入力してもらい，合成画像を作成するまでの時間を計測し，合成画像の品質に関するアンケートを取った．まず，延べ 27

つの俳句に対し，合成画像を作成するまでの時間を計測した結果，平均時間は 10 分 01 秒であった．実際には，このうちシステムの処理時間に 4 分程度掛かっているので，ユーザの作業時間は平均 6 分程度である．このことから，初心者であってもそれほど長くない時間で合成画像を作成できることが分かった．合成画像の作成に時間が掛かる場合の原因として，Saliency Map がうまく働かない場合が挙げられる．この場合には，ほぼ手作業で画像の切抜きをしなければならず，かなりの時間のロスとなった．
論文末にユーザが満足したと答えた合成画像をいく
つか載せた．

5

今後の課題

今後の課題として，画像収集及び解析処理の高速化が挙げられる．これに関しては，マルチスレッドや分散による並列処理によって高速化が可能である．
その他の課題として，画像の自動切り抜き精度の向上，画像合成のオブジェクト貼り付け位置の推定，合成する画像同士のスケールの推定が挙げられる．

参考文献[1] J. Hays and A. A. Efros. Scene Completion Using
Millions of Photographs. ACM Trans. Graph.,26(3):4, 2007.
[2] T. Chen, M.-M. Cheng, P. Tan, A. Shamir, andS.-M. Hu. Sketch2Photo: internet image montage. ACM Trans. Graph., 28(5):1–10, 2009.
[3] L. Itti, C. Koch, and E. Niebur. A model ofSaliency-based Visual Attention for Rapid SceneAnalysis. IEEE Trans. Pattern Attention forRapid Scene Analysis, 20(11):1254–1259, 1998.
[4] 清野達也, 林貴弘, 尾内理紀夫, 三條正裕, 森正弥.
改良領域拡張法による高速画像切り抜き手法の提案と評価. 情報処理学会論文誌, 50(12):3233–3249,2009.
[5] E. Reinhard, M. Adhikhmin, B. Gooch, andP. Shirley.
Color transfer between images.
Computer Graphics and Applications, IEEE,
21(5):34–41, 2001.

A prototype system for generating composite image suitable for Haiku

図 3. テストユーザによる画像合成結果

未来ビジョン
本研究は現在，ユーザが補正をできる形にして，最終的な俳句に適合する画像を半自動で生成している．しかし，最終目標は，ユーザが俳句を入力すると，全自動で俳句に適合する画像を生成することである．このためには，前景の切抜き，前景位置の推定，前景と背景の相対的なスケール推定を精度良く行う必要がある．これらを実現するためには高度な技術が必要であるが，それだけ研究の意義があると考えている．
また，本研究は俳句を解析するためのテキスト処理と，合成画像を生成するための画像処理といった，全く違う分野の技術が必要になってくる．テキスト処理ならば，形態素解析に限らず，俳句の単語には表れていない意味を読み取るためのセマンティック技術が必要であるし，画像処理も先に述べたような技術が必要となる．これらの全く違う分野の技術を横断的に用いることにより，今までにない新しい技術の利用方法が生まれるのではないかと考えている．
また，俳句は日本に留まらず，Haiku という名前で海外でも知られており，自然言語の分野でも研究がなされている．そこで，係り受け解析や意味解析などのテキスト処理の英語への応用を考えれば，日本だけでなく，海外でも通用する研究になると考えている．
以上のように，本研究はさまざまな技術を利用しなければ実現が難しく，しかも異なる分野の技術を活用しなければならず，現段階での完全な実現は難しい．しかし，だからこそ研究の意義が多数存在し，複数の問題を同時に横断的に考え，解決する研究になるのではないかと考えている．