FIT2006(第5回情報科学技術フォーラム)I-039
マルチメディア信号におけるタイミング構造のモデル化
Modeling Timing Structure in Multimedia Signals
川嶋 宏彰 †Hiroaki Kawashima

1.

堤 公孝 †Kimitaka Tsutsumi

松山 隆司 †Takashi Matsuyama

マルチメディア信号のタイミング構造

timesignal S

S1

S2

STtime
I1

I2

IKtimesignal S

I1

I2

IK

実世界で起こる様々なイベントを，複数のセンサで同
I'1 I'2
I'K
I'S'T
I'
signal S' I'
signal S' S'1 S'2時計測することで，複数のメディア信号が得られる．このとき，異なるメディア信号に現れる変化パターンの間[a1] Adjacent time relations [a2] Interval co-occurrenceには，共起性，時間的な同期などの時間的構造の特徴が(a) Frame-wise representation(b) Timing based representation
見られ，計測したイベントの認識や生成にとって，しば
図 1: マルチメディア信号の時間構造のモデル化しば重要な役割を持つ [8, 2]．
マルチメディア信号における共起性のモデル化は，特認識や，メディア変換といった応用が可能になると期待徴量同士の相関を直接扱うものや，いったん HMM などされる．本論文では，1 つの応用例として，発話およびの状態を考え，異なるメディアの状態間での構造を扱う
ピアノ演奏における，音響・映像信号のタイミング構造
もの [3] がある．そして，これらの手法で注目している構モデルを学習し，これを用いることで音響信号から映像造は，ほとんどの場合，同じ時刻や，隣接するフレーム（唇や演奏者の動き）が生成できることを示す．
での関係である（図 1(a)）．しかし実際には，異なるメディアの変化パターン間に，これらのモデルでは直接表
2. メディア信号間のタイミング構造モデル
現しきれない構造が現れる．例えば，音声の破裂音/pa/
2.1 メディア信号の時区間表現と母音/a/を比べると，破裂音と唇動作の開始時刻はほマルチメディア信号におけるタイミング構造を定義す
ぼ同期するのに対し，母音に対しては，唇の動きが若干るための前提として，個々のメディア信号は，それぞれ先行することが多く，その開始時刻の時間差にはばらつinterval model として表現され，個々の interval modelきがある．また，ピアノなどの楽器の演奏では，実際ののパラメタは，あらかじめ学習されている（文献 [9, 6, 5]音に対して演奏者の手や体の準備的動作が入り，ライブを参照のこと）とする．このとき，個々のメディア信号演奏においては豊かな情報を観客に与えている．
は，区間系列として以下のように記述することができる．
本論文では，このような異なるメディア信号の変化パ
マルチメディア信号: マルチメディア信号とは，複数ターン間に起こる，共起性や系統的時間差といった時間のセンサによって同時に計測して得られた Ns 個的構造をタイミング構造と呼ぶ．このとき，マルチメディのメディア信号であるとする．このとき，メディアア信号におけるこのタイミング構造を明示的に表現する信号を Sc で表せば，マルチメディア信号は S =新たなモデル化の枠組みを示すことを目的とする．
{S1 , · · · , SNs } で定義することができる．各信号は個々のメディア信号は，信号内にあわられる有限個の要それぞれ ∆T1 , ..., ∆TNs で標本化されているとする．
素的な変化 (モード) によって表現できると仮定する．こモードとモード集合: あるメディア信号 Sc の時間的なのような仮定の下で，メディア信号をモードの系列とし変化を表現するモード（要素的な変化）の集合をてモデル化する手法としては，音声認識分野の segment(c)(c)M(c) = {M1 , · · · , MNc } によって定義する．inmodel [9] や，computer vision における hybrid systemterval model によって，モードのモデル化方法は異[4, 5]，graphics における motion texture [6] などが提案なり，文献 [4, 5] のように，個々のモードは線形シされており，物理的な時刻ではなく，状態やイベントのステムによって表現されることが多い．
生起する時区間（以下では単に区間とする）とその遷移
区間と区間系列: あるメディア信号 Sc が単一のモードに基づいて複雑な変化を扱うことができる．ここでは，(c)に従って変化する時間範囲を区間 Ik とする．区間区間を単位としたこれらのモデルを，まとめて “interval(c)(c)(c)
Ik は開始時刻 bk と終了時刻 ek ，モードラベルmodel” と呼ぶことにする．
(c)
mk をもつ．あるメディア信号 Sc を単一のモードに
本論文では，あらかじめ個々のメディア信号が，それ従う時間範囲に分割していくと区間系列 (区間の全ぞれ interval model によって表現されていることを前提(c)(c)
順序集合) I (c) = {I1 , ..., IKc } が得られる．なお，として，複数の interval model 間での時間的構造を，確(c)(c)率モデルによって表現する手法を提案する（図 1(b)）．
隣接区間 Ik−1 と Ik は重なりを持たないとする．
これにより，あるメディアの変化パターンと別のメディ
マルチメディア信号の区間表現: 上記の記法を用いれアの変化パターンがどの程度の時間差で始まり，どの程ば，マルチメディア信号 S の区間系列による表現度の時間差で終了するかといった系統的な時間的関係をは，集合 {I (1) , ..., I (Ns ) } となる．
表現することが可能となり，さらに，あらかじめ学習さ2.2 タイミング構造の定義れた複数のメディア信号間のタイミング構造に基づいて，本論文では 2 つのメディア信号 S, S 0 の間におけるタ† 京都大学情報学研究科, Grad. Sch. of Informatics, Kyoto Univ.
イミング構造に注目する（以下ではメディア信号を区別
193

2K'

FIT2006(第5回情報科学技術フォーラム)よび終了時刻の差 De の分布:

met bycontains

finished byoverlaps

starrted by

equa
quals

starrts

overlapped byove

finishesduringmeets

P (bk − b0k0 = Db , ek − e0k0 = De |mk = Mi , m0k0 = Mp0 ,difference ofthe beginningpoints( b(i) - b(p) )[bk , ek ] ∩ [b0k0 , e0k0 ] 6= φ)

I(i)
I(p)

difference of the ending points ( e(i) - e(p) )図 2: 始点や終点の時間差に基づく 2 つの区間の関係するのに，’ を用いる）．
メディア信号 S においてモード Mi ∈ M が現れるある区間を I(i) とする．
（ここで，区間の生起する順序を表す kは今は重要ではないため省略した．
）同様に，メディア信号0S 0 においてモード Mp0 ∈ M0 が表れるある区間を I(p)とする．また，区間 I(i) における開始・終了時刻を b(i) , e(i) ，0
同様に区間 I(p)における開始・終了時刻を b0(p) , e0(p) とする．これら 2 つのモードにおける時間関係は，一般にはこれら 4 つの時刻の関係 R(b(i) , e(i) , b0(p) , e0(p) ) となる‡ ．本論文では，4 つの時刻の関係 R として，2 時刻間の二項関係 Rbb (b(i) , b0(p) ), Rbe (b(i) , e0(p) ), Reb (e(i) , b0(p) ),Ree (e(i) , e0(p) ) の組み合わせによって定まるものを考え，これをモード間のタイミング構造と呼ぶ．
このとき，Rbb , Rbe , Reb , Ree として，具体的にどのような関係を考えるかが重要になる．それぞれに 3 つの時間的前後関係 R< , R= , R> を考えると 13 通りの関係になるが [1]，実際には，区間同士の時間的前後関係だけではなく，口の動きに対して，何 10msec 後に音声が生じたかといった，物理時間軸上での距離に基づくより詳細な関係が実用上重要となる．

を，モード対の時間差分布と呼ぶ．この分布が原点付近に高い山を持つ場合は，その 2 つのモードは開始時刻および終了時刻が共に同期する傾向があるといえる．一方，系統的な時間差は現れない場合は，分布の分散が大きくなる．例えば，bk − bk0 は正の領域に鋭いピークを持ち，ek − ek0 の分散が非常に大きい場合は，常にモード Miが Mp0 に比べてほぼ同じ時間遅れて開始するが，終了時刻はどちらが先に終了するかも含めてばらつきを持つことになる．
モード対時間差分布は，与えられた区間系列から計算することができるが，サンプル数は有限個であるため，実用上は何らかの関数を当てはめることが望ましい．評
価実験では 2 次元混合ガウス関数を用いた．
モード対の共起分布:
時間差分布は重なりをもつモード対に対する条件付き確率分布であり，どのモード対が重なる頻度が高いかという共起性を別途モデル化する必要がある．そこで，オーバラップを持つ区間対 Ik , Ik0 0 において，それぞれのモード対が現れる頻度を，確率分布:

P (mk = Mi , mk0 = Mp0 | [bk , ek ] ∩ [b0k0 , e0k0 ] 6= φ). (2)で表現する．この共起行列は，重なりを持つ全ての区間対について，各モード対が現れる頻度分布を計算することで得られる．

そこで，まず時間的に離れたところにあるモードによる影響は小さいことを仮定する．そして，特に，区間同士が重なりを持つ，すなわち，Rbe , Reb をそれぞれR≤ , R≥ (b(i) ≤ e0(p) かつ e(i) ≥ b0(p) ) とした場合における，Rbb と Ree の時間差関係（始点差 b(i) −b0(p) および終点差e(i) −e0(p) ）に注目する．すると，2 つの区間の時間関係は，
図 2 に示すような 2 次元空間 (b(i) −b0(p) )−(e(i) −e0(p) ) における点 (Db , De ) ∈ R2 となる．次節以降で提案するタイミング構造モデルは，このような重なりを持つモード間における開始時刻，終了時刻の時間差に注目してモデル化を行う点で，前後関係のみを扱う Temporal Interval
Logic [1] に比べマルチメディアの同期現象を詳細に表現することができる．

2.3

(1)

タイミング構造のモデル化

重なりを持つモード対の時間差分布:
2 つのメディア
信号 S, S 0 に，時間的な重なりを持って現れるモード対Mi ∈ M, Mq0 ∈ M0 において，その開始時刻の差 Db お
‡ 2 つのメディア信号の標本化レートが異なる場合，b0(i) や b(p) の代わりに b(i) ∆T や b0(p) ∆T 0 を用いて連続時間で構造を考える必要がある．本節ではこれも含め単に b(i) と表記し一般的な議論を行う．

94

モード遷移確率:式 (1) および (2) を用いることで，2.2 節で定義したメディア間のタイミング構造を表現することができる．しかし，マルチメディア信号の特徴を記述するためには，タイミング構造だけでなく，モード間の順序関係を表現することも重要となる．ここでは，多くの interval model と同様に，モード間の遷移確率:

P (mk = Mj |mk−1 = Mi ) (Mi , Mj ∈ M).

(3)を用いて，隣接する区間のモードに現れる時間的順序関係の頻度をモデル化する．

3.

タイミング構造に基づくメディア変換

発話や演奏などの動的イベントを，マイクやカメラなどの複数のセンサで同時に計測することで得られたマルチメディア信号から，2.3 節で導入したタイミング構造モデルをあらかじめ学習しておく．すると，入力された音響信号から，唇の動きや演奏者の動きを映像として生成をするといったメディア信号の変換が可能となる．本
節ではその具体的な方法について述べる．
あるメディアの時系列信号 S 0 から別メディアの時系
列信号 S を生成するメディア変換は以下の流れで実現できる: (1) 入力されたメディア信号 S 0 を，区間モデルに0基づいて区間系列 I 0 = {I10 , ..., IK0 } へ分節化する．(2)00
メディア信号 S の区間系列 I から別のメディア信号 S

FIT2006(第5回情報科学技術フォーラム)区間系列 I = {I1 , ..., IK } を生成する．(3) 生成された区間系列 I からメディア信号 S : {x1 , ..., xT } を生成す
る．なお，K, K 0 はそれぞれ区間系列 I, I 0 に現れる区間の個数であり，一般には K 6= K 0 である．
このうち (1),(3) については文献 [6, 5] で既に単一メディアのモデルを用いた方法によって実現されている．
本論文ではこの手順 (2) における，一方のメディアの区間系列から他方のメディアへの区間系列の変換方法について提案する．以下では簡単のため，2 つのメディア信号の標本化レートが一致しているものとする．

3.1

reference (input) interval sequence

I'k'+rgeneratedinterval

I'k'+r+1
temporal difference
distribution of mode pairs

ekIk

ending time of
temporal interval

mk v.s. m'k'+r

mk v.s.m'k'+r+1

beginning time of
temporal interval bk

メディア変換の問題の定式化

2 つのメディア信号間のあらかじめ学習されたタイミング構造モデルを Φ とする．このとき，一方のメディアの区間系列 I 0 を参照しながら，もう一方のメディアの区間系列 I を生成する問題を考える．これは，メディア信号 S 0 の区間系列 I 0 が与えられたときに，この区間系列と共に生じるもう一方のメディアの区間系列 I のうち，最も高い確率を取るものを見つけることで実現でき，以下のような最適化問題として定式化できる．

図 3: 区間遷移確率の計算の概要

ここで，Et (j) は，時刻 t においてモード Mj で区間が終了する確率の最大値であり，時刻 1 から t − 1 の全ての可能なモード系列（パス）について最適化されている．
確率 P (mt = Mj , ft = 1, lt = τ |ft−τ = 1, mt−τ =Mi , I 0 ) は，参照区間系列 I 0 が与えられ，さらにモードMi を持つ区間が t − τ で終了するときに，モード Mjを持つ区間が [t − τ + 1, t] の範囲で現れる確率である．
0Î = arg max P (I|I , Φ)(4)I
ここではこの確率を区間遷移確率と呼び，あらかじめ学習されたタイミング構造モデルおよびモードの遷移確率
S 0 の長さを T とすれば，具体的には時間範囲 [1, T ] においから計算する．紙面の都合上，具体的な導出方法を省略て，分節化を行う区間の個数 K ，および各区間の終了（もし，直感的な説明を図 3 に示す．まず，今注目している
しくは開始）時刻 ek (bk ) とそのモード mk (k = 1, ..., K)[t − τ + 1, t] の区間に対して，オーバラップする参照区間を決めることになる．区間の系列を決定する問題は非常（一般には複数）を見つける．すると，それら参照区間に自由度が大きいため，全ての区間系列の候補 {I} につに対する生成区間の始点・終点の確率は，参照・生成区いてそれぞれ式 (4) の確率値を計算して，最適な区間系間の相対的な時間関係をモデル化した式 (1) を，式 (2)列を求める方法では，T が大きくなるに従い膨大な計算と組み合わせることで，絶対時間軸（生成区間の始・終が必要となる．そこで，HMM などにおける Viterbi ア点の 2 次元）にマッピングすることができる．この際，ルゴリズムと同様に，動的計画法を用いて式 (4) の最適
式 (3) によって直前の生成区間のモードを考慮すること化問題を解く．なお，以降の式変形では Φ を省略する．
で，[t − τ + 1, t] でモード Mj を取る確率が計算できる．
3.2 動的計画法による区間系列生成式 (5) により，各モードの区間が時刻 t で終了する確率の最大値を，時刻t = 1 から t = T まで再帰的に計算
時刻 t である区間が終了することを，文献 [7] の表記
0することができる．最後に，時刻t = T で終わる区間のにならい ft = 1 で表す．すると，区間系列 I が与えら∗うち最大の確率を取るモード
j=arg maxj ET (j)，おれたときに，時刻 t においてモード Mj をとり，かつそ∗0よびE(j)を式(5)で求めた際の最大値を与えた
τかT
こで区間が終了する確率は P (mt = Mj , ft = 1|I ) と表ら，最後の区間のモードとその持続長が定まる．この操せ，以下の漸化式作を繰り返して trace back することにより，式 (4) の最適系列を得ることができる．区間の個数 K についても，
P (mt = Mj , ft = 1|I 0 )½¾
この trace back を行った際に定まる．
X X
P (mt = Mj , ft = 1, lt = τ |mt−τ = Mi ,=ft−τ = 1, I 0 )P (mt−τ = Mi , ft−τ = 1|I 0 )τ4.

p (6=q)で計算することが可能である．ここで，lt は時刻 t までに区間が持続している長さを，mt は時刻 t におけるモードを表す．すると，ただちに以下の式に基づく動的計画法を導くことができる．

Et (j) = max max P (mt = Mj , ft = 1, lt = τ |τi (6=j)mt−τ = Mi , ft−τ = 1, I 0 )Et−τ (i),0where Et (j) , max
P (mt−1
1 , mt = Mj , ft = 1|I )
t−1
m1

(5)

評価実験

音声から唇動画像を生成する実験を行い，提案手法の有効性を検証する．続いて，音響信号からピアノ演奏者のシルエット動画像の生成へも応用可能であることを示す．
特徴抽出:
人が母音/a//i//u//e//o/と連続して 9 回発話する様子（約 18 秒間）の映像を，解像度 720×480,フレームレート 60fps で撮影した. 音声の標本化レートは 48kHz とした. その後，音声はフィルタバンク解析（フーリエ窓の幅は 1/30msec，窓間隔は 1/60msec）によって，映像は唇周辺の矩形領域を低解像度化し，得ら95

FIT2006(第5回情報科学技術フォーラム)200-20-40

40visual interval sequence
200time [frame]

-20

#1-20

02040

difference of beginning time [frame](a) visual mode #1

generated visual interval sequence from audio interval sequence#8-40

frame #140-40

audio interval sequence

Audio mode #1
Audio mode #3
Audio mode #5

mode

40

difference of ending time [frame]difference of ending time [frame]

training pair of interval sequences
Audio mode #1
Audio mode #2
Audio mode #3-40-20

02040

#250
generated image sequence

difference of beginning time [frame](b) visual mode #7

original image sequencereference (input) audio signal

図 4: 音声，映像モード間の時間差の散布図. 映像モード#1,7

0.2
0.1

はそれぞれ/o/ → /a/, /a/ → /i/の動きに対応

0-0.1
-0.2

図 5: 音声信号を入力とする唇動画像の生成れた 32×32 の系列に主成分分析を行うことで，フレームレートを合わせた特徴ベクトル系列 1134 フレームを得た（音声は 25 次元，映像は 27 次元）．

5.

おわりにマルチメディア信号に含まれる各メディア信号は，その変化パターン同士に系統的な時間差や相互依存性，共起性性といった時間構造が存在すると考え，これらを区間に基づいてモデル化する手法を提案した．また，実際の音響信号から映像を生成する実験によって，その有効性を確認した．ただし，今回はモデルやアルゴリズムの基本的能力を検証する準備的な評価であり，学習時に用いた音響データそのものを入力して確認するに留まっている．未知のデータに対する生成へはそのまま適用可能であるが，より多くの実データに基づいた学習が必要になると考えられる．タイミング構造に基づく発話・イベント認識への展開も含め，今後の課題とする．

各メディア信号の分節化とモード集合の推定:
音声と映像の特徴ベクトル系列をそれぞれ信号 S, S 0 と考え，それぞれのモード数，モードパラメタの推定，および分節化を行った．各モードとしては線形システムモデルを用いた．その方法として，線形システムの固有値制約に基づく階層的クラスタリング [5] を用いた．得られた各メディアの区間系列を図 5 の 1,2 段目に示す．それぞれの図では, 縦方向にモードを並べて区間を表現した. 横軸は時間方向である. 音声と映像のモード数はそれぞれ 8および 13 と自動推定された．音声のモードは画像に比べて多くなったが，これは同じ音が異なるモードになる場合があったためである．

謝辞:
本研究の一部は，科学研究費補助金 18049046の補助を受けて行った．

音声と映像間のタイミング構造モデルの学習:
分節化によって得られた 2 つの区間系列を用いることで，式(1)，(2)，(3) の確率分布を推定した．映像モードのうち3 つについて，時間差の散布図を図 4 に示す．同じ母音でも，/a/への動きに比べ，/i/への動きの開始と音声はよく同期することが分かる．時間差分布はこれらに対して混合ガウス分布を当てはめることで推定した．

参考文献

音声信号を入力とした唇映像生成:
学習に用いた音声区間系列に対して, 画像区間系列を生成した結果を図 5の 3 段目に示す．生成された画像区間系列と，あらかじめ学習された画像のモード（線形システム）集合を用いて，画像の特徴系列を生成した. その後，主成分分析における固有ベクトルとの線形和を計算し，各フレームの特徴ベクトルを画像化した．このうち，フレーム 140 から 250 までを，5 フレーム間隔で図 5 の 5 段目に示す．
学習に用いた画像系列を 6 段目に示すが，両者の唇の動きはほぼ同期していることが分かる．さらに，同じ時間範囲における音声信号（図 5 の 5 段目）と比較すると，音声の開始に先行して唇が動くなど，タイミング構造モデルが詳細な時間構造を保持していることが分かる．

96[1] J. F. Allen. Maintaining knowledge about temporal interval.
Commun. of the ACM, Vol. 26, No. 11, pp. 832–843, 1983.
[2] M. Brand. Voice puppetry. Proc. SIGGRAPH, pp. 21–28,1999.
[3] M. Brand, N. Oliver, and A. Pentland. Coupled hidden
Markov models for complex action recognition. Proc. IEEE
Conference on Computer Vision and Pattern Recognition,
pp. 994–999, 1997.
[4] C. Bregler. Learning and recognizing human dynamics invideo sequences. Proc. Int. Conference on Computer Vision
and Pattern Recognition, pp. 568–574, 1997.
[5] H. Kawashima and T. Matsuyama. Multiphase learning for
an interval-based hybrid dynamical system. IEICE Trans.
Fundamentals, Vol. E88-A, No. 11, pp. 3022–3035, 2005.
[6] Y. Li, T. Wang, and H.-Y. Shum. Motion texture: A twolevel statistical model for character motion synthesis. Proc.
SIGGRAPH, pp. 465–472, 2002.
[7] K. P. Murphy. Hidden semi-Markov models (HSMMs). Informal Notes, 2002.
[8] A. V. Nefian, L. Liang, X. Pi, X. Liu, and K. Murphy. Dynamic Bayesian networks for audio-visual speech recognition.
EURASIP Journal on Applied Signal Processing, Vol. 2002,
No. 11, pp. 1–15, 2002.
[9] M. Ostendorf, V. Digalakis, and O. A. Kimball. From HMMs
to segment models: A unified view of stochastic modeling forspeech recognition. IEEE Trans. Speech and Audio Process,Vol. 4, No. 5, pp. 360–378, 1996.