WISS2011

直感的で効率のよい空の画像生成システム
A System for Intuitive and Eﬃcient Generation of Sky Background Images

三谷 隆暢

藤代 一成∗

Summary. 本発表では，特定の種類の画像を生成するシステムとして，これまでにない高い実用性をもつシステム CosmicAI を紹介する．CosmicAI は，利用用途の広い 空 に特化した画像生成システムである．2D で直感的に使えるため，景観作成 3DCG ソフトウェアに含まれる空の画像生成機能に比べて，気軽で扱いやすいシステムといえる．システムの機能は， パーツごとの検索 ， 柔軟な画像合成 ， 用途にあわせた出力 の 3 つに大きく分けられる．CosmicAI の検索は，パーツ (雲，月，背景 (雲，月以外)) ごとの属性およびスケッチを用いた精度の高いものとなっている．見つけてきた画像の合成も柔軟性が高く，どの背景に対しても，どの雲，どの月も思いのままに配置でき，微調節機能によりユーザの希望とわずかに異なるパーツであっても，希望に合うように近づけられる．出力は，静止画用画像，動画用画像，全体画像の3 つがあり，いずれも独自に撮影した画像を用いた安定した高画質の画像出力が可能である．動画用画像出力は雲や視点の変化にも対応している．

はじめに

1

映像制作では目的にあった空の画像を利用する利点が大きく，効率的に置換用の空の画像を作成するソフトウェアが望まれている．本発表では，空の画像を含む映像制作の助けとなる空の画像作成シス
テム『CosmicAI（COntent-based Search and MyriadImage Composition with Acquired Information for sky
background generation）』を紹介する．ユーザは，属性検索やスケッチに基づくコンテンツベース検索により，希望する雲，月，背景（雲と月以外）を個別に見つけた後，それらを柔軟に合成することで多彩な空の画像を作成することができる．CosmicAI は，著者らが開発したシステム COSMIC SKY [1] を，空のもつ特徴やセンサ類から得た情報を活用することで，ブラッシュアップしたシステムである．
関連システムのひとつに SkyFinder [2] がある．
SkyFinder は Flickr よりダウンロードした約 50 万枚の空画像を，属性（カテゴリ，地平線の高さ，配置，太陽の有無と位置，雲量）に基づいて手軽に検索することができるが，空全体に対しての検索のため検索精度は高くなく，見つけた画像について編集を行うこともできない．夜空・星空にも対応しておらず，Flickr の画像の質にばらつきがあるため，不安定な画質でしか出力できない．関連 3DCG ソフト
ウェアに，Vue や Terragen 等があるが，これらのソフトウェアは実写に近い空の画像を自由な編集で作成できるものの，製作時間がやや長く，操作には慣れが必要で，うまく作らないと到底実写には見えない画像も出力されてしまう．
CosmicAI は，SkyFinder のような空全体に対し∗Copyright is held by the author(s).
Takanobu MITANI, Issei FUJISHIRO, 慶應義塾大学ての検索とは異なり，柔軟な構成要素であるパーツ（背景・雲・月）ごとに精度の高い検索を行うとともに，制約のない編集を簡易出力画面で円滑に行うことができる．また 3DCG ソフトウェアと違い，操作方法の把握が容易で，かつ短時間で空の画像を作成できるシステムでもある．言い換えれば，SkyFinderのような気軽さと，3DCG ソフトウェアの自由な編集を両立したうえで，今までにない精度の良い検索を可能にしている．

2

パーツごとの検索

CosmicAI で使用する画像はすべて独自に撮影したものである．これにより，画像の中心仰角や撮影時の太陽の位置や状態を知ることができるうえ，安定した質の高い画像を利用できる．
2.1

属性およびスケッチによる検索

CosmicAI では背景，雲，月に関してそれぞれ以下の属性を利用した検索ができる．背景は種類，色の分散，太陽の有無と位置，中心仰角の 4 つの属性を設定できる．雲は種類，大きさ，高さ，中心仰角，平均色，色の分散の 6 つの属性を設定できる．月は月齢，明るさ，仰角の 3 つの属性を設定できる．検索に使用する項目は一部またはすべてを選ぶことや優先度を変更することが可能な柔軟な検索機能を提供している．
属性を利用した検索のほかに，スケッチしたものに近い雲を見つける機能がある．ユーザの描いた輪郭線の中身を埋めたうえで，画像における雲のピクセル数の割合が一定になるようにスケーリングすることで，純粋に形だけで評価するようにしている．

2.2

画像からの類似検索

候補画像の 1 つに近い画像を検索することができる．これにより，ユーザの希望により近いものがあった場合にそれを見逃す可能性を減らすことができる．
類似検索は検索を行う画面だけでなく，合成を行う画面でも実行でき，出力時のイメージに近い状態での確認がスムーズに行えるようになっている．

3

柔軟な画像合成

3.1

柔軟な合成

CosmicAI では，雲と月の位置を自由に動かしたり，明るさや厚み，大きさを微調節することができるほか，雲と雲を重ねても自然な出力を行える．またユーザは画像として外部出力する領域に任意の位置を選べ，その領域だけを拡大して簡易出力画面いっぱいに表示することができる．
背景画像として選択したものをそのまま使うだけでなく，仰角はそのままで全方位を見回したパノラマ画像を推測して生成し，パノラマ画像上で柔軟な合成が行えるのも特徴のひとつである．
3.2

用途にあわせた出力

4.1 1 枚の画像生成
ユーザは自分が選択した領域または全ての領域を，希望の画素数と画像形式で外部出力できる．外部出力の際は，合成時に簡易的に表示される画像の 25 倍の画素数をもつ画像を使用して画像を生成するためハイビジョン映像の使用に適したクリアな画質で出力できる．

4.2

4.3

Android 端末を利用した試み

CosmicAI は現在は基本的にノート PC 上で実行するシステムとなっているが，最近普及しだしている Android 端末を利用することで飛躍的にシステムを進化させられるのではないかと我々は考えている．
今回は初期段階の試みとして，CosmicAI で作ったパノラマ画像を，Android 搭載のタブレット PC でタブレットの傾きに合わせて出力することができるようにした．

5

結論

本発表では，属性およびスケッチを用いた精度の高い検索を行い，検索によって得た雲や背景に対して，位置や明るさ，厚みなどの変更が可能な柔軟な合成を行うことができるシステム CosmicAI を紹介した．図 1 は，CosmicAI で出力した画像を使って実写中の空の置換をした画像例である．

雲，月の出力位置と 2 種類の配置方法

簡易出力画面に雲や月が出力される際，背景の中心仰角と雲や月の中心仰角を考慮し，測定した条件にあった出力を行った．これにより，ユーザが横方向だけの移動をする限り，ほぼ実写に近い状態での画像生成が可能である．
縦方向に移動したい場合も当然考えられるので，縦方向に移動した際も実写に近い状態をできるだけ維持できるように，奥行きを考慮した雲の配置ができるようにした．奥行きを考慮した雲の配置では，雲が検索と異なる形になり直感的ではなくなってしまうため，縦方向に移動しても雲の形が変わらない切り絵的配置も用意している．

4

ユーザは出力された画像を一般的な動画編集ソフトウェアに読み込ませることで動画を作成できる．

動画用画像生成

1 回の操作で 1 つの画像を出力するほかに，動画用に大量の画像を生成することもできる．具体的には一定フレームあたりの雲の移動速度，雲の厚み変化，視点の変化，出力するフレーム数を指定することで，徐々に雲が変化する画像が次々と出力される．

図 1. 実写中の空の置換例

5.1

今後の課題

より実用的なシステムとなるように機能を強化していくとともに，Android 端末を利用したシステムの機能向上を狙う．
システムの強化としては，動画用画像出力の際に雲の形や背景を変化させながら出力したり，履歴を表示したり，より自然な画像を出力できるようにするといったことが考えられる．

参考文献[1] 三谷隆暢，大野義夫，藤代一成：「COSMIC SKY: コンテンツベース検索と合成による空の画像生成システム」，Visual Computing/ グラフィクスとCAD 合同シンポジウム 2011 予稿集，No. 11，2011
年6月[2] Litian Tao，Lu Yuan，Jian Sun： SkyFinder:
Attribute-based Sky Image Search, ACM Transactions on Graphics, Vol. 28, No. 3, Article 68, August2009.