情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3A-06
2023/3/1

TimeSpaceSlice: 時空間連続性を保った
タイムライン表示手法
福地 健太郎1,a)

楠 駿也1

概要：映像編集ソフトやシミュレーションソフトウェア等では，対象となる二次元映像の時系列変化を概観あるいは制御するためのタイムライン表示が広く使われるが，多くの場合対象の時間軸方向の連続性が満たされないため，その変化を見落しやすい．この解消のために，対象映像中にスキャンラインを定め，スキャンされた線分領域を時系列順に並べて表示する手法として Video slicing 法があるが，これは空間方向の連続性が満たされない．そこで Video slicing 法を拡張し，対象映像中のある幅を持った領域内でスキャンラインを時系列で移動させることで，時空間連続性を保つことを目指したタイムライン表示の手法として TimeSpaceSlice を開発した．様々な映像を対象に同手法を試したところ，タイムライン上に観測対象の空間情報をある程度は保ちつつ，時系列変化を提示することができた．

1. 序論

る．また短い時間間隔での変化を見るためにはマウスを細かく制御する必要が生じてしまう．

時系列データを概観したいとき，それが一次元データでこの解決を目指した手法に，Video slicing 法 [2] がある．

あれば，折れ線グラフや棒グラフのように，横軸を時系列

これは対象となる映像の内にある線分領域をスキャンライとし，縦軸に表現したい量を示すことができる．しかし対ンとして定め，各フレーム毎にスキャンした線分画像を時象とするデータが空間方向に広がっている場合には困難が系列に並べて表示するものである．これは映像の特定箇所生じる．例えば映像閲覧ソフトウェアであれば対象データにおける，可能な限り短い時間間隔での時系列変化を概観は各時点での静止画（サムネイル）であるが，これをタイすることができる利点を保つ．例えばスキャンライン上のムライン上に時系列に並べると大きな表示領域を占めるこ物体の通過や，状態変化が時系列に沿った形で観測することとなり，一方でそれらを間引いて表示すると時間軸上でとができる．スキャンラインを曲線状に配置することで，の連続性（時間連続性）が損われることになる．同種の問対象映像中の様々な箇所の変化を同時に観測することも可

題は，シミュレーションソフトウェアにおいて，パラメタ能である [3]．しかし同手法においては空間連続性が損わを時系列で変化させ，それに応じた対象の状態変化をやはれる．すなわち，スキャンライン周辺での空間的な情報のり時系列に沿って概観したい場合にも生じる．例えばライ連なりがタイムライン上に保存されないため，そこに何がティングシミュレーションを想定した場合，ユーザが観察写っているのかを把握することは簡単ではない．特に，対したいのは照明された空間の様子であり，折れ線グラフの象領域内に状態変化が見られない場合にその傾向が顕著で類では可視化はできず，かといってサムネイル表示では細ある．

かな時系列変化を見落とす可能性がある．

以上をまとめると，対象の時系列変化を概観するというサムネイル表示の欠点を補う方法の一つとしては，タイ目的を達成するためには，時間と空間双方での連続性，すムライン上にマウスポインタを置くと，その時点での静止

なわち時空間連続性を向上させたタイムライン表示手法が画をポップアップ表示する手法がある（例: YouTube プレ求められている．また，概観という目的のためには，ユーイヤー）．タイムラインに沿ってマウスポインタを滑らか

ザ操作の不要な手法が望ましい．に動かせば，その移動速度に応じて時系列変化を好みの速これを解決する手法として，我々は TimeSpaceSlice

度で観測することができる．しかしこれはマウス操作を伴と呼ぶ手法を開発した．これは video slicing 法を拡張したうものであり，状態を概観したいという目的にはやや反すもので，同法ではスキャンラインの位置は映像中で固定され，であるが故に空間連続性が損われたが，我々の手法で

1a)

明治大学
kentaro@fukuchi.org© 2023 Information Processing Society of Japanはこのスキャンラインを，指定された範囲内で時間経過に815情報処理学会 インタラクション 2023
IPSJ Interaction 2023

図 13A-06
2023/3/1

TimeSpaceSlice 法により生成されたタイムライン表示（右）．
左図で白い矩形で囲われた領域が，映像中でスキャンラインが移動する範囲．
図 2

各手法の時空間の切り出し方の違い．

従って移動させることにより，時空間連続性を部分的に保持すること狙っている．
提案手法をいくつかの映像に適用して実験したところ，観測対象の空間情報をある程度保った，何が写っているかは部分的に判別がつくような画像を提示しつつ，時系列変化を可能な限り短い時間間隔で提示することができた．

図 3

2. TimeSpaceSlice 法

中華料理の調理風景を TimeSpaceSlice 表示したもの．図右側のタイムラインは，左下から右上に向かって時間が進んでい©2020 中華一筋 『【営業中】中華一筋厨房営業く．映像は，序論に述べたように，TimeSpaceSlice 法では，まず対象中を俯瞰で覗く動画』を，著作者の許可を得て使用．

映像中に領域を定め，その範囲内でスキャンラインを移動させる．その詳細を図 1 を用いて説明する．
図 1 左図が対象映像で，そこに白い矩形が示されているが，これがスキャンラインが移動する範囲である．ここでは縦が矩形領域の高さで，横が 1 ピクセル幅のスキャンラインを，図示された範囲内で左右に往復移動させる．各フ

図 4

図 3 と同じ映像を video slicing 表示したもの．

レームで 1 ピクセルずつスキャンラインを移動させつつ，ライン上の画素を左から右へと時系列で並べたのが，図 1の右図である．
ここで例に示したのは蝋燭の燃焼の様子を撮影したもの
で，時折横から風を当て，炎の揺れ具合を記録した映像である．映像の開始後しばらくは無風であったため炎に特段の動きはなかったが，タイムライン上ではその様子が，炎の形を保って並んでいるかのように表わされている．その後風が吹いて炎が動き出すと，タイムライン上の炎の形が乱れて表わされ，それによって動きがあったことが可視化されている．また，スキャンライン上の炎の高さから，おおまかに風の強さおよびその時系列変化もあわせて推測することができる．
映像の時空間の切り出し方について，提案手法と他の手法との違いを模式的に表わしたのが図 2 である．点線の3. 適用例
提案手法が有効な例として，図 3 に示したような，定点カメラからの映像が挙げられる．映像中，ときおり調味料を振り入れたり洗浄のために鍋が静止するが，その様子がタイムラインで明瞭に確認することができ，またその時の鍋の様子をおおまかに確認することができる．図 4 は同じ
映像を video slicing 表示したものだが，鍋の静止時の表示は提案手法に比べると空間連続性を欠くため，何が写っているかすら把握が困難である．
参考文献
[1]

格子で示したのが映像に含まれる画素の時空間である．文献 [1] でいう “video volume” に相当するもので，ここでは[2]簡単のため空間の縦軸は省略している．さて，サムネイル
表示においては，空間連続性を保持しているが，時間連続性は犠牲にされている．video slicing 法においては，時間連続性は保持されているが，スキャンラインに隣接する画素は省かれるため，空間連続性が損われる．対して提案手[3]Fels, S. and Mase, K.:Interactive Video Cubism, Proc. of NPIVM ’99, ACM, pp. 78–82, DOI:
10.1145/331770.331789 (1999).
Nunes, M., Greenberg, S., Carpendale, S. and Gutwin,
C.: What Did I Miss? Visualizing the Past through Video
Traces, Proc. of ECSCW 2007, Springer London, pp. 1–20, DOI: 10.1007/978-1-84800-031-5 1 (2007).
Tang, A., Greenberg, S. and Fels, S.: Exploring
Video Streams Using Slit-Tear Visualizations, Proc. AVI’08, ACM, pp. 191–198, DOI: 10.1145/1385569.1385601(2008).

法は，いわば時空間を斜めにスキャンするものであり，時間・空間の双方で緩やかに連続している，と捉えることができる．

© 2023 Information Processing Society of Japan816