全天周画像からの要約動画生成に関する研究
代表研究者

原健 二

九州大学 大学院芸術工学研究院准教授

1 はじめに映像要約は,情報量が膨大であったり視聴に時間を要する長時間映像から特徴的なフレームを抽出してハイライトを生成したり,全体のストーリーを把握するのに必要最小限のフレームを抽出してダイジェスト版を作成することを指す場合が多い.このような映像要約技術はこれまでにも多数提案されており,一部では実用化もされている.これに対し,本報告では全天周画像から広域シーン中の重要領域をカバーする通過領域を持つ最短経路を探索し,これを視点経路とする仮想動画を合成することにより,全天周画像から要約動画を自動生成する手法を提案する. 全天周画像とは,広視野角レンズカメラで 360 度全方向をくまなく撮影した複数枚の多視点画像を球面上に展開・統合した画像データである.しかし,一般の狭視野画像と比べ歪みが大きく,前景領域が背景領域に比べて小さいため,特に携帯端末などの小画面では画像内容の視認が困難になることが多い.全天周画像の重要な領域を少数の連続画像集合でカバーすることにより,全天周画像の内容を保ちつつ短時間の動画に要約する手法を開発することが本稿の目的である.本報告では,まず入力された全天周画像から顕著領域を抽出する手法を提案する．次に,これらの顕著領域を全てカバーする通過領域をもつ最短経路を探索する問題を範囲付き球面セールスマン問題として定式化したうえで，この最適化問題を近似的に解いて得られた経路を仮想視点経路とみなして動画を生成することにより全天周画像を要約動画に変換する手法を提案し，これら二手法の有効性を実験により検証してきた．以下，本研究の概要を報告する.

2 HDR 全天周画像の顕著性マップ生成
2-1 HDR 全天周画像
顕著性マップは，画像や映像からヒトの興昧を引く領域や物体領域を抽出するために画素ごとに 顕著性を評価したもので，セグメンテーションや物体検出等，様々な分野への応用が期待されており，盛んに研究が行われてきている[1]～[4]．これまで多数の顕著性マップ生成手法が提案されているが，これらの手法の多くは空間解像度が均一な通常視野角の画像を対象としており，周囲 360 度の広範囲の輝度情報を 1 枚に収めた全天周画像のように空間解像度が不均一で，極や極付近にお いて特異点をもっ広視野角画像にそのまま用いることは適切ではない．また，全天周画像を屋外で撮影する場合，広範囲の輝度情報を取得するため白とびや黒潰れが発生しやすい．そのため，全天周画像からの顕著性マップ生成では，高ダイナミックレンジ(High Dynamic Range,HDR)画像への対応も要求される．一般に，人の目の視野角は 200 度程度しかなく，また 1 チャネル 10 ビット以上の階調データに対応可能な表示機器は普及していない．そのため，360 度全天周画像と HDR 画像を同時に用いた視覚計測による学習データの収集は難しく，深層学習などのデータ分析技術の利用は困難である．
次節では，通常の狭視野角な低ダイナミックレンジ(Low Dynamic Range,LDR)画像を対象とする既存の顕著性マップ生成手法を HDR に対応した全天周画像（以降，HDR 全天周画像）にも適用できるように拡張する．
まず，HDR 全天周画像における解像度不均一性と極問題に対応するため，三つの緯度経度格子からなる陰陽格子[5]を用いて，HDR 全天周画像から幾何歪が少なく解像度が空間的に均一な 2 枚の矩形平面画像を生成す
る．次に，各 HDR 矩形平面画像に位相の異なる複数のトーンマッピングオペレータ(Tone Mapping Operator,TMO)を用いてトーンマッピング処理を施し，複数枚の異なる輝度領域が強調された LDR 画像を生成する．さらに，各格子の LDR 画像に既存の顕著性マップ生成手法を適用して得られた複数枚の各多重露光顕著性マップを凸最適化で 1 枚の顕著性マップに統合する．最後に，各格子の座標系から L1 最適化により緯度経度格子の座標系の表現に戻し，球面調和関数で近似することで，HDR 全天周画像の顕著性マップを生成する．本手法を実際の HDR 全天周画像に適用し，その有効性を示す．

1図1: HDR全天周顕著性マップ生成手法の概要．
2-2 分割・統合に基づく HDR 全天周顕著性マップ生成（１）陰陽格子
顕著性マップ生成の提案手法の詳細について述べる．図 1 に本手法の処理の流れを示す．提案手法では，Kageyama ら[5]の陰陽格子（Yin-Yang grid）を用いる．陰陽格子は近年，地球科学分野において，地球が球面状であることから生じる極問題を回避するために考案されたもので，緯度経度格子の低緯度領域からなる陰格子（Yin-grid）と陰格子を高緯度領域を覆うように回転させた陽格子（Yang-grid）の三つの格子に，球面を一部重複を許して分割した重合格子である（図 2）．陰陽格子を HDR 全天周画像処理に用いることにより，極問題が回避される．図 1(b)に図 1(a)の陰格子に対応する HDR 陰格子画像（図 1(b)上）と陽格子に対応する HDR 陽格子画像（図 1(b)下）を示す．
（２）多重局所トーンマッピング
HDR 陰格子画像と HDR 陽格子画像に対し，複数の TMO によるトーンマッピング処理を行う．HDR 画像の代表的な生成方法として，例えば，低い露光量で撮影された低露光画像，高い露光量で撮影された高露光画像，その中間である中露光画像の 3 枚を 1 枚の HDR 画像に合成する方法がある．これに対し，提案手法
では，この HDR 画像生成の入出力を逆にして，階調変換により強調される輝度範囲が互いに異なる３つのトーンマッピングオペレータ TMO1,TMO2,TMO3 を用いて

図2: 陰陽格子. (a) 陰陽格子, (b) 陰格子, (c) 陽格子([5])．
各HDR格子画像から仮想的な高露光画像I1，中露光画像I2，低露光画像I3をそれぞれ生成する（図1(c)）．これらの多重露光画像I1,I2, I3に対して，LDR画像を対象とする既存の顕著性マップ生成手法を適用して顕著性マップV1,V2,V3をそれぞれ得る（図1(d)）．各TMOの推定は、次式のDragoらの手法[8]を用いる．

(1)
ここで，L は HDR 画像の輝度値，Lmax は HDR 画像の最大輝度値，Ld はトーンマッピング処理後の LDR 画像の輝度値，Ldmax は LDR 画像の最大輝度値，b は明度領域のレンジ圧縮性と暗部領域でのコントラストを制御するパラメータである．式(1)のパラメータ b を適切に設定することで，各 TMO の推定を精度よく行う．パラメ

2

ータ b の設定方法は，トーンマッピング処理により変換した LDR 画像における白とび領域や黒潰れ領域が本来の顕著領域を含まないように決定される．例えば TMO1 の場合，はじめに初期値 b(0)を用いて生成した高露光画像 I1 の顕著性マップ V(0)を生成する．次に，この高露光画像 I1 の白とび領域における顕著性マップV(0)の顕著度の平均値 µ(0)を計算する．さらに，パラメータ b を次式に基づき更新する．

(2)
ここで，k=0,1,･･･,K は更新ステップ，S(k)は更新ステップ k における顕著性マップ V(k)の画素値の合計，Nは画素数である．更新ステップ k における平均値 µ(k)が S(k)/N より大きい場合，高露光画像の白とびさせた領域が顕著性を多く含んでいるため，b(k)を b(k)− ∆ b とおいて白とびの領域を拡大させ，S(k)/N 以下になるまで k←k+1 として式(2)の計算を収束するまで繰り返すことで TMO1 のパラメータ b を決定する．TMO3 においては，式(2)で平均値 µ(k)が S(k)/N より大きい場合，b(k)を b(k)+∆ b とおいて黒潰れの領域を拡大させること以外は同様に行う．提案手法では，∆ b=0.01 とした．TMO2 のパラメータ b は，TMO1 のパラメータ値と TMO3 のパラメータ値の中間値として決定する．
（３）凸最適化を用いた多重顕著性マップ統合
各格子の顕著性マップ V1,V2,V3 をそれぞれ 1 枚の顕著性マップに統合する．各格子の高露光画像 I1 の顕著性マップ V1 は各 HDR 画像の暗部領域の顕著性，各格子の低露光画像 I3 の顕著性マップ V3 は各 HDR 画像の明部領域の顕著性を正しく検出している点に着目し，各格子の中露光画像 I2 の顕著性マップ V2 の顕著度レベルをトーンカーブ(Tone Curve,TC)で階調補正することを考える．それぞれの TC を TChigh,TClow とおいて，次式の L1 ノルムの最適化問題を解くことにより各格子の TChigh と TClow を推定する．

(3)(4)
ここで，V1’,V2’は各 HDR 格子画像から得られた仮想的な各露光画像の顕著性マップ V1,V3 の一定値以上の顕著性をもつ L 次元ベクトル，V2’は V1,V3 の一定値以上の顕著性をもつ位置と同じ位置の V2 の L 次元ベク
トル，1 は要素が全て 1 の L 次元ベクトル，L は V1,V2,V3 の一定値以上の顕著性をもつ画素数，α1,β1 はそれぞれ各格子の TChigh,TClow の一次係数，α2,β2 はそれぞれ各格子の TChigh,TClow の切片である．ここで，一次係数α1,β1 が正の値となるような制約を課しているのは，各 TC が単調増加関数でなければならないためである．また，切片α2,β2 が負の値や極端に大きくなることを防ぐために，0 より大きく，闘値 t より小さい値となるような制約を与える．次章の実験では t=0.1 とおいた．この式(3),(4)は制約付きの最小化問題であるので，そのまま解くことは難しい．そこで，指示関数を導入し，見かけ上制約なしの最小化問題に置き換える．このようにして，式(3),(4)は ADMM(Alternating Direction Multiplier Method) を用いて解くことができる．また，L2 ノルムとは異なり，L1 ノルムを用いることで外れ値への過剰な依存を回避することができる．式(3),(4)をパラメータα1,α2,β1,β2 に関して解くことで，V1,V3 を最適に補正することが可能である．これらの TC を用いて，各格子の顕著性マップ V1,V3 を補正した後，画像の正規化を行う．最後に，各格子から得られた 2 枚の顕著性マップの和をとり，画像の正規化を行うことで各 HDR 格子画像の顕著性マップが生成される（図 1(e)）．
（４）重複領域に基づく顕著度補正
図 1(e)の陰格子画像と陽格子画像の顕著性マップ（図 1(f)）の重複領域をもとに，イメージスティッチング（image stitching）を行う．まず，各格子画像の顕著性マップを各格子の座標系から 緯度経度画像の座標系の表現に戻して統合する．このとき，重複領域には，陽格子画像の顕著性マップの画素値を用いている．
統合後の結果を図 1(g)に示す．次に，陽格子画像の顕著度レベルを陰格子画像に合わせるために，陰格子画像の座標系に合わせたときに対応する重複領域の画素値をもとにロバスト回帰を行う．前節同様，提案手法
では L1 ノルムで TC を推定する最適化モデルを次式のように定式化する．

3

(5)
ここで，x1 は陰格子画像の重複領域の画素値のベクトル，x2 は陽格子画像の重複領域の画素値のベクトル，
1 は要素が全て 1 の N 次元ベクトル，N は重複領域の画素数，p1 は TC の一次係数，p2 は TC の切片である．
各重複領域の画素値のベクトルは[0,1]で正規化を行う．前節の式(3),(4)同様，単調増加関数となるよう制約を課している．また，次章の実験では闘値 t=0.1 とおいた．式(5)の最適化を行うことで，陽格子画像の重複領域の画素値 x2 と陰格子画像の重複領域の画素値 x1 との差異が最小化されたパラメータ p1, p2 を求めることが可能である．このようにして得られた p1,p2 に対応する TC を図 3 に示す．図 3 の TC を基に，陽格子画像の輝度値を変換した後，画像の正規化を行う（図 1(f)）．しかし，陰格子画像と陽格子画像の境目には不自然なエッジがまだ存在するため，次節で述べる球面調和関数を用いてこのエッジの問題を解決する．

図 3: 顕著度補正のためのトーンカーブ．
（５）球面調和関数
エッジ部の違和感を取り除くために球面調和関数を用いて近似を行う．球面調和関数は，球面上の直交基底関数系で球面上の任意の関数を近似的に表現することができる．使用する球面調和関数ごとに最適なスケーリング係数を求める．スケーリング係数は次式で与えられる．

(6)
ここで，l と m は球面調和関数の次数で，基底関数の個数により変化する．f(θ,φ)は入力画像の球面座標(θ,φ)における画素値，Yml(θ,φ)は次数(l,m)に対応する球面調和関数の球面座標(θ,φ)における関数値である．以下の式のように，式(6)で求めたスケーリング係数 c と対応する球面調和関数との線形和をとることで近似を行う．

(7)
ここで，L は次数 l の範囲の上限を表す整数，S(θ,φ)は球面座標(θ,φ)における出力画像の画素値，つまり S は全天周画像の顕著性マップである．最大次数 L を適切に設定することで，精度よく近似を行うことができる．次章で述べる実験では L=12 とした．図 1(f)を球面調和関数で近似した結果を図 1(g)に示す．

4

3 全天周画像からの要約動画生成
本章では，(1)球面 TSP を用いた初期経路生成処理と(2)範囲付き球面 TSP を用いた経路改善処理の 2 段階から構成される全天周要約動画生成手法を提案する．図 4 に本手法の処理の流れを示す．

図 4: HDR 全天周動画要約手法の概要．
（１）球面 TSP を用いた初期経路生成
初期経路生成処理では，まず入力として与えられた全天周画像における顕著度の極大値付近の球面領域を顕著領域として抽出し，各顕著領域の重心を球面上に投影した点を訪問点とする球面巡回セールスマン問題(球面 TSP)を近似的に解く．巡回セールスマン問題(TSP)は，複数個の訪問点が平面上に与えられたとき，それら全ての訪問点を一度ずつ巡った巡回路の中で総移動コストが最小のものを探索する組み合わせ最適化問
題である[9]．初期経路生成処理では，この球面 TSP に対し，TSP の最も簡単な近似解法のひとつである 2-opt法を用いる．2-opt 法は，まず初期巡回路をランダムに生成し，以下の手続きを収束するまで繰り返す．現在得られている経路における 2 つの辺 AB と CD を削除して AC と BD を追加することを考える．このとき，巡回路の総移動コストが減少すれば新しいものに交換する（図 5）．すなわち，AB 間の移動コストを cost(A,B)とするとき(8)であれば，AB と CD をそれぞれ AC と BD に入れ替える．この手続きを総移動コストが減少する交換が見つからなくなるまで繰り返す．

図 5: 2-opt 法による巡回路の改善．
ただし，全天周画像のデータは平面上ではなく球面上に展開されているため，ここでは球面に拡張された2−opt 法を適用する．例えば，図 6(a)に平面画像上の点 P,Q,R を巡回点とする見かけ上の最短経路を示すが,この全天周画像を中心を O とする単位球面上に展開すると(図 6(c)), PQ,QR,RP の最短経路長はそれぞれ∠
POQ(=θ１), ∠QOR(=θ2),∠QOR(=θ3)をなす角とする弧の長さθ１,θ2,θ3 となる.したがって全天周画像上の球面 TSP の解経路は図 6(d)の赤線となり，図 6(a)とは異なる結果となる．このように球面 TSP を解くことで巡回路が得られるが，本手法が扱う問題では必ずしも最初と最後の訪問点が同じである必要はない．そこで，その巡回路からコストが最大の辺を削除する．
（２）範囲付き球面 TSP を用いた経路改善
経路改善処理では，範囲付き球面 TSP を用いて前節で得られた球面上経路を修正する．範囲付き TSP[10]5とは TSP に加えて集合被覆を考慮した問題であり，与えられたすべての訪問点を訪問エリアに拡大し，訪問エリアを通過するとき,訪問点を通過したものとみなす[12]．ここで範囲付き TSP を採用する理由は，最終的に生成される経路上に多数の分割点を与え，球面画像解析により各分割点を中心とする部分画像列を仮想動画とする処理では部分画像の中心に顕著領域の重心が一致する必要はなく，いずれかの部分画像内に顕著領域の重心が入れば，全天周画像の内容を保ちつつ TSP よりさらなる経路長の削減が見込めるためである．

図 6: 球面 TSP．
経路改善処理では,訪問エリアを単位球面上の 2 本の経線と 2 本の緯線で囲まれた球面正方形領域に設定し,その範囲内であればどこを通過しても訪問点を通過したものとみなす範囲付き球面 TSP を解く.ここでは,計算負荷のため範囲付き球面 TSP の解経路が通過する有限個の候補点を各訪問エリア内に設定する.各訪問エリアの候補点の数は多ければ多いほど経路の精度は高くなるが,計算負荷が上がる.本手法では各訪問エリアの候補点を球面正方形の頂点と各辺の中点を球面に投影した点の 8 つに設定し（図 7），訪問エリアの候補点を更新しながら反復的に探索する．最終的に得られた範囲付き球面 TSP の解経路に多数の分割点を与え,球面画像解析により各分割点を中心とする部分画像からなる動画として再生する．

図 7: 訪問エリアの設定による最短経路の変化．

6

4 実験結果
実際の HDR 全天周画像を用いて提案手法の評価を行う．入力に用いた HDR 全天周画像のパノラマ表示 (図8(a),(i)）を示す．ただし，HDR 全天周画像の元のサイズはいずれも 1024×2048（ピクセル）であるが，ここでは 1024×1024 で表示した．画像フォーマットは Radiance の RGBE フォーマット（拡張子は hdr）を使用した．RGBE フォーマットは，RGB と指数部(Exponent)にそれぞれ 1 バイトを割り当てた合計 32bpp(bit perpixel) のフォーマットである．RGB 各チャネルに対し 1 バイトで仮数を表現し，全チャネル共通の指数部として 1 バイトが割り当てられる．ただし，HDR 全天周画像にトーンマッピング処理を施して，8 ビットに変換した LDR 全天周画像を表示している．HDR 全天周画像に対して直接(1)Harel らの手法[2]を適用した場合（以下， Harel），(2)Fang らの手法[3]を適用した場合（以下，Fang），(3)Tavakoli らの手法[4]を適用した場合（以下，Tavakoli），(4)Bremond らの手法[7]を適用した場合（以下，Bremond）を従来手法として，提案手法で生成された各画像に(5)Harel らの手法を適用した場合（以下，ours-Harel），(6)Fang らの手法を適用した場合（以下，ours-Fang），(7)Tavakoli らの手法を適用した場合（以下，ours-Tavakoli）との性能比較を行った．従来手法で得られた顕著性マップをそれぞれ図 8(b)～(e),(j)～(m) に示す．提案手法を適用して 得られた顕著性マップをそれぞれ図 8(f)～(h),(n)～(p) に示す．従来手法の場合，HDR 全天周画像の高緯度にある物体領域や暗部領域の顕著性が低く評価されていることが分かる．一方，提案手法では高緯度にある物体領域や暗部領域の顕著性も他の領域同様に正確に評価できている．
次に, 3 章の提案手法を用いて,ある屋内環境の全天周画像を要約映像に変換し,これを携帯端末画面に動画表示した例を図 9 に示す. 図 9(a)は入力された全天周画像, 図 9(b)の緑の領域は入力画像の顕著領域である.図 9(c)の青線は顕著領域の重心を訪問点とした球面 TSP を解いて得られた巡回路, 図 9(d)は図 9(c)の経路の一番長いパスを削除し範囲付き球面 TSP を解いて得られた開経路であり, 図 9(c)の球面 TSP のみの経路より格段に経路長が短縮されたことがわかる．図 9(d)で解いた経路に多数の分割点を与え,球面画像解析により各分割点を中心とする部分画像列を仮想動画を生成した.この実験では,各訪問エリアを顕著領域の重心を中心とした 100×100 画素の正方形に設定し,部分画像のサイズは 400×225 画素に設定した.これを小画面である携帯端末で再生したものが図 9(e)である.全天周画像内の内容を保ちつつ小画面内でも確認できる短時間の動画に要約することができた.

5 まとめ
本研究では，既存の顕著性マップ生成手法を全天周を HDR 撮影した画像に適用できるように拡張する手法，及びこの手法で得られた顕著性マップを用いて全天周画像から要約動画を自動生成する手法を提案した．前者の手法に対する実験では解像度不均一問題や極問題が回避され，従来手法と比べて広ダイナミックレンジに対応した良好な結果が得られたことから，提案手法の有効性が示された．後者の手法に対する実験では，全天周画像内の広域シーンを要約動画に変換して小画面でも視認できることが確認された．本手法で得られる視点経路は単位球面上の大円弧の連結となり，連結点で不連続が生じる恐れがあるため，不連続のない滑らかな視点経路生成法の検討が今後の課題である．

7

図8: 顕著性マップ生成実験の結果．(a)HDR 全天周画像，(b)Harel，(c)Fang，(d)Tavakoli，(e)Bremond， (f)ours-Harel，(g)ours-Fang，(h)ours-Tavakoli，(i)HDR 全 天 周 画 像 ，(j)Harel，(k)Fang， (l)Tavakoli，(m)Bremond，(n)ours-Harel，(o)ours-Fang，(p)ours-Tavakoli.

8図 9: 動画要約実験の結果．

【参考文献】[1] L. Itti, C. Koch, and E. Niebur, ``A model of saliency based visual attention for rapid sceneanalysis,'' IEEE Trans. PAMI, vol.20, no.11, pp.1254–1259, 1998.
[2] J. Harel, C. Koch, and P. Perona, ``Graph-based visual saliency,'' NIPS, vol.19, pp.545–552,
2006.
[3] S. Fang, J. Li, and Y. Tian, ``Learning discriminative subspaces on random contrasts for image
saliency analysis,'' IEEE Trans. Neural Netw. Learning Syst., vol.28, no.5, pp.1095– 1108, 2016.
[4] H.R. Tavakoli, E. Rahtu, and J. Heikkila, ``Fast and eﬃcient detection using sparse sampling
and kernel density estimation,'' Proc. of SCIA, pp.666–675, 2011.
[5] A. Kageyama, and T. Sato, ``The‘ Yin-Yang grid’: An overset grid in spherical geometry,''Geochem. Geophys., 5, Q09005, 2004.
[6] I. Bogdanova, A. Bur, and H. Hugli, ``Visual attention on the sphere,'' IEEE Trans. Image
Process., vol.17, no.11, pp.2000-2014, 2008.
[7] R. Bremond, J. Petit, and J.P. Tarel, ``Saliency maps of high dynamic range images,'' MediaRetargeting Workshop in Conjuction with ECCV ’10, 2010.
[8] F. Drago, K. Myszkowski, T. Annen, and N. Chiba, ``Adaptive logarithmic mapping fordisplaying high contrast scenes,'' Computer Graphics Forum, vol.3, pp.419–426, 2003.
[9] A. Behzad and M. Modarres, ``A new efficient transformation of generalized travelingsalesman problem into traveling salesman problem,'' Proceedings of the 15th International
Conference of Systems Engineering, 2002.

9[10] Y. Noguchi, A. Takemura, H. Ohta, and M. Nakamamori, ``A heuristic algorithm for the region
covering salesman problem,'' IPSJ SIG Technical Report, vol.2012-MPS-91, no.18,vol.2012-BIO-32, no.18, 2012.
[11] J.R. Current and D.A.Schiling, ``The covering salesman problem,'' Transportation Science, vol.
24, pp.208-213, 1989.

〈発題名表資料〉

掲載誌・学会名等

発表年月

電子情報通信学会論文誌

2018 年 5 月

画 像の 認識 ・理 解シン ポジウム(MIRU)

2018 年 8 月

International Conference on
Pattern Recognition (ICPR2018)2018 年 8 月

情報科学技術フォーラム(FIT)2018 年 9 月

全天周画像からの要約動画生成

情報科学技術フォーラム(FIT)2018 年 9 月

多重局所トーンマッピングオペレータを用いた HDR 画像の顕著性マップ

電子情報通信学会論文誌

2018 年 11 月

陰陽格子法を用いた全天周顕著性マップ生成手法
ＨＤＲ全天周画像のための顕著性マップ生成手法
Foreground Enlargement of
Omnidirectional Images by Spherical
Trigonometry
高ダイナミックレンジ画像のための顕著性
マップ推定手法

Omnidirectional Saliency Map Generation
by Yin-Yang Grid Method
Foreground Enlargement of Spherical
Images using a Spring Model

ACM International Conference on
Video and Image Processing(ICVIP2018)
IEICE Transactions on
Fundamentals of Electronics,
Communications and ComputerSciences.

102018 年 12 月

2019 年 2 月