副音声利用による映像への索引付け
Video Indexing based on Sub-Audio Content

タンティッケ井手一郎

田中英彦

Tan Tit Keat

Ichiro Ide

Hidehiko Tanaka

東京大学大学院 工学系研究科

Graduate School of Engineering, The University of TokyoIndexing is necessary for reutilising and extracting speci c information from the enormousvolume of video data that is increasing rapidly. Image and text data, by using image andlanguage processing techniques, have been employed in various video-indexing research.
However, the conventional indexing techniques are still far from fully practical utilisation. In thispaper, we propose and assess a new video-indexing technique, by employing the sub-audio data
which is originally used to enhance the blinds' understanding of the video content. We also
propose a simple method to extract the following 4 basic keywords, \location", \subject",\action" and \object" from the sub-audio text.

1 はじめに
近年、放送される映像量の増大に伴い、これらの情報の再利用や検索に必要な索引付けの需要が高まっている。
従来、映像データへの索引付けは、画像認識・字幕解析や台詞の利用によるものがあった。研究例としては、映像の内容をPDS(Program Description Script) と呼ばれる方式により記述し 、ユーザーからの自然言語による要PDS の検索を行うことによって、希望する場面の表示を行うものがある [1]。
求を自然言語処理によって解析し 、報に対応付けする手法を提案する。日本語番組を対象にして、副音声の利用によって受信側で画像内容に踏み込んだ索引付けを行うことを目指す点で、本研究はこれらの研究とは趣を異にする。

2

副音声利用による索引付け

1

本研究のシステム構成を図 に示す。

ＴＶ 番組

画像

しかし 、これは放送局側があらかじめ情報を付与してお副音声副音声文を人手で書き下す

PDS の作成はほとんどくことを前提とした研究であり、手作業であり、映像量の増大に追い付くのは困難である。

自然言語処理ショット分割Carnegie Mellon 大学を中心に行われている
Informedia プロジェクトは、デジタルライブラリの構築を目指したプロジェクトであり、この中で、音声, 言語,画像情報を統合した認識が行われている [2]。まず、ビデ
一方、

場所 行為者 対象

オの音声は高精度の音声システムによってテキストに変報は、画像処理技術によって認識され、音声から得られ図たテキストとの対応付けがなされる。しかし 、このシステムは索引付けの際に画像内容にあまり深く踏み込んで2.1いないという問題点がある。

2.1.1

副音声から必要な情報を抽出する手法と、それを画像情動作対応付け換され、全文テキストデータとして蓄積される。映像情本研究では視覚障害者のための副音声放送を利用し 、キーワード抽出

描写範囲決定1: システム全体の概要

既存技術を利用した処理

動画像の電子化
動画像をビデオキャプチャボード でフレーム単位に1電子化した際の諸条件を表 にまとめる。

項目

条件

キャプチャボード

SUN Video Card

大きさ

横色数
保存データ形式
標本化レート表

放送年月日

320 2 縦 240
16,777,216 色 (24bit)
UYVY 非圧縮 [3]5fps (frame per second)

1: 動画像電子化の際の諸条件

カット 検出
副音声と映像の同期調整を行うために 、カットを検2.1.2出する必要がある。本研究では、比較的雑音に対する耐性があり高性能と言われている分割2 検定によるカット検出法
2.1.3

TV[4] を採用した。

放送されることもあるため、単純に音声認識を既存の手法で行うことはできない。また将来はこのような情報が電子的な形で付加されて放送されるもとも考えられる。
このため、本研究では副音声の認識は自動化せず、人間が書き下し 、完全に行えたものとみなすことにする。
形態素解析
副音声文からの情報抽出を自動化するために 、まず2.1.4

形態素解析を行う必要がある。本研究では、形態素解析

JUMAN version 3.0 [5]を利用した。

転勤判事
わが町

IX

待っている妻

2: データ収集を行った TV 番組
有名詞辞書中にある人名) に対しても、その出力を「人物名詞」に置き換える。
「場所名詞」: 場所を表す名詞

JUMAN は、「家」,「 部屋」などのように、場所を指す語を普通名詞と判断する。
よって、「人物名詞」と同様に、収集した辞書に基づき、詞」に置き換える。また、後段の処理を簡単にするため

JUMAN によって「地名」と出力された語 (JUMAN
固有名詞辞書中にある地名) に対しても、その出力を「場に、所名詞」に置き換える。
形態素解析により分割された語の復元

形態素解析によっ

1 つの語がいくつかの形態素に分割されたものについて、正確な対応付けを行うために、表 3に示すて、本来はように、再び結合して復元する必要がある。結合された語の形態素情報は元の2 番目の語に合わせる。なお、普通名詞にはサ変名詞も含む。
前後の品詞

普通名詞・人物名詞

例文

副音声に対する自然言語処理
日本語形態素解析システム

2.2.1

3

表

本手法独自の処理

2.2

犯罪心理分析官

このような語の形態素情報を「普通名詞」から「場所名音声認識
番組によっては副音声が主音声と混じった状態でに日本語形態素解析システム

1997 年 08 月 12 日
1997 年 09 月 02 日
1997 年 10 月 14 日
1997 年 10 月 28 日

番組名

出力

JUMAN は語義の解析ま

表では行わないため、副音声からの情報抽出を自動化する

野球普通名詞

選手

人物名詞

野球選手

人物名詞

3: 複合語の復元の例

ために、さらにいくつかの工夫が必要である。
「人物名詞」: 人物を表す名詞,JUMAN は、「母」,「警察」 「 判事」などのように人間を指す語を普通名詞と判

2.2.3で行う「行為者」情報の抽出のためには 、これらを他の「花」,「 車」などのような普通名詞と区別する必要がある。表 2に挙げる 4 本の NTV-4 の「火曜断する。

2.2.2

副音声の描写範囲の決定

本研究では、副音声のないショットを考慮に入れず、副音声のあるショットのみを対象に索引付けを行う。な3.1で記す 2 本の実験用のドラマにおいて、全ショット数の 50.4%に副音声が存在する。副音声を利用してショッお、サスペンス劇場」ド ラマの副音声から、人間を指し得るトへ索引付けを行うには、まず各々の副音声がどのショッ普通名詞と判断したものをサンプルとして集め、分類語トに、そしてそのショットのどの部分に対応しているか、彙表すなわち副音声の描写範囲を決める必要がある。

[6] の利用により、これらのサンプルと同じ 分類にあり、かつ人間を指し得ると判断した全ての普通名詞を、単一のショット内に一本の副音声しか含まれない場合「人物名詞」として収集した。他のド ラマに対して実験は 、そのショット全体を描写範囲とする。また、単一のを行う際には 、ショットに複数の副音声が含まれる場合は、図 に示す

かつ収集した「人物名詞」の中の語と一致するものにつように、最初の副音声の描写範囲をショットの先頭からいて、その形態素情報を「 普通名詞」から「人物名詞」次の副音声の発声の始点の直前までにし 、 番目の副音に置き換える。また、後段の処理を簡単にするために 、声の描写範囲を発声始点からショットの終点までにする。

JUMAN によって普通名詞と出力され 、JUMAN によって「人名」と出力された語 (JUMAN 固22

A詞」と判断した全ての動詞を収集し 、この処理に利B

±º用する。

®ÆË NDNDbA

図b B ®ÆË-æ> NÝ

声に遡って、前の副音声から抽出できた「場所」情報を2: 描写範囲の決定利用する。

2

また、副音声が つのショットに跨る場合は、その副(また、場所名詞のない副音声に対しては 、前の副音)が後のショットに含まれるなら、図 3のように、その描音声の長さ 何フレームにわたるのか を調べ、半分以上写範囲を次のショットの先頭から始まることにする。逆に、半分以上が前のショットに含まれる場合は、その描写範囲は前のショットに含まれると考える。

行為者

副音声文が人物名詞のみからなるものがあれば、その人物名詞を描写範囲の「行為者」情報として抽出する。複数の情報が含まれた一般文の場合は、「 動作」情報の主語となる人物名詞を「行為者」情報として抽出す,る。ここで、格助詞「が 」と接続助詞「は」 「 も」の前の人物名詞を主語と考える[7]。なお、人物名詞のない副音声に対しては、前の副音声に遡って、前の副音声から抽出できた「行為者」情報を利用する。

±º®ÆË

動作及び対象 「動作」は基本的に、「行為者」の行動の®ÆË ND

図b-æ> NÝ®ÆË)「行為者」情報が抽出できない副音詞 である。ただし 、3: 同期調整

声文に関しては、「動作」情報が存在しないと考え、次の例のような説明文とみなす。

 「赤いバラの花がテーブルの上に飾ってある」
 「澄んだ水が勢いよく流れていく」

副音声からの情報抽出

2.2.3

,,,

副音声から、「場所」「 行為者」「 動作」「 対象」の4 種類の情報を抽出する。

(ことであり、各描写範囲における副音声文中の述語 動

また、副音声文の中の目的語を「対象」とする。

2

場所 「場所」情報の抽出手法は次の つの場合に分け

:て行う

対応付け

2.2.4

2.2.2で定めた規則に従って定めた描写範囲と、2.2.3

 場所名詞のみの場合その場所名詞をそのまま「場所」情報として抽出する。ただし 、場所名詞のみの副音声文が連続した場の手法で抽出した情報を対応付けする。その出力の一例

4:を表 に示す合は、後方の場所名詞が前方の場所名詞の一部になっ副音声ていることが多いため、後方の副音声文より「場所」

フレーム番号1205 { 1223

場所

ホテルの前

行為者

伊藤刑事

動作

見せる

対象

警察手帳

情報を抽出する前に、前方の場所名詞と格助詞「の」を利用して、後方の場所名詞の連体修飾語[7] を作成する必要がある。

 複数の情報がある場合

伊藤刑事が警察手帳を見せる

表

格助詞「で」の用法はその前の語の品詞によって決まる[7] ため、「で」の前の場所名詞を「場所」情報として抽出する。格助詞「に 」,「へ」,「を 」の場3

合は、これらの前の語の品詞だけではその用法が定3.1[7] ため、後の動詞も分析すべきである。
後にくる動詞としては 「入る」,「 来る」などの「場められない所移動を伴う動詞」であり、かつ、これらの格助詞の前の語が場所名詞であれば 、その場所名詞を「場2 4 本のド ラマの副音所」情報として抽出する。 の声文から 、「場所移動を伴う動詞」と判断した動詞をサンプルとして集め、分類語彙表の検索により、このサンプルと同じ分類にあり「場所移動を伴う動4: 対応付けの一例評価実験
本研究で利用した映像ソース

本章では 、以下の

1

2 本の NTV-4 の火曜サスペンス劇場に対して、図 の流れに従って、索引付けの実験と評価を行う。

 [ド ラマ 1] 1997 年 8 月 5 日「白骨を愛した男」
 [ド ラマ 2] 1997 年 9 月 16 日「女検事霞夕子 12・捨てられた女」

カット 検出分割2 検定法を用いてド ラマ 1 に対してカット検出

3.2を行ったが 、再現率を約80%に設定すると適合率は約80%になる。なお、再現率と適合率は各々次のように定義した:
再現率[%]: 実験結果の正解数
2100
真の正解数

適合率[%]:

実験結果の正解数
実験結果の総数2100

動きの激しいショットにおいて、正確なカットが検出でき

2. 本手法では 、決定された副音声の描写範囲 (画像)の全てが抽出された情報に対応するのではなく、他の場面が映っている部分を含む可能性もある。より正確な描写範囲を決定するには 、物体抽出や追跡(Tracking) 技術が役に立つと思われる。追跡技術を使うことによって、どの「行為者」がいつからいつまでどのような「動作」を行うのかについてより正確に解析できるため、描写範囲の決定をより細かくできる。

3. 本研究では、音声認識は行わなかったが、本システ
ムを実用的なものにするには、自動音声認識が必要なかったのが誤りの主因と考えられる。このようにカッである。今後、音声認識技術の向上や副音声のようト検出は依然実用的なレベルにはないため、次の対応付な情報が電子的な形で付加されたけの実験を行う際は、カット検出をあらかじめ手動で行ったい。

たデータを用いる。
3.3

TV 放送を期待し結論として、副音声の映像への索引付けの有効性が本研究により示された。しかし 、現段階では、全てのショット対応付けに索引付けすることはできないため、本手法を本格的に副音声から抽出された情報の描写範囲への対応付け実用化するのは困難である。今後の課題として、より複の評価を行う。副音声文から正しい情報を抽出でき、か雑な画像処理技術を利用することや、本研究では全く利つ、その描写範囲が正確に定められたものを正解とする。

用しなかった主音声・字幕などの活用によって、より完

よって、真の正解数は各情報における真の描写範囲数と全な索引付けシステムを作り上げることが考えられる。

5:

場所

行為者

なる。実験評価を表 にまとめた項目
再現率
適合率92.3% 94.1%
92.0% 86.5%
表

参考文献
動作・対象

93.8%
86.1%

5: 対応付けの評価[1] 柴田 正啓: 「映像の内容記述モデルとその映像構造化への応用」, 信学論, D-II, vol.J78 D-II, no.5, pp.754-764(1995).
[2] T.Kanade, M.Mauldin, R.Reddy, M.Sirbu, S.Stevens,D.Tygar: \Informedia Digital Video Library",
http://www.informedia.cs.cmu.edu

対応付けの誤り率の原因は 、副音声の発声タイミン
グとカットが大きくずれことや、場所名詞や人物名詞の認識の失敗などである。

4 おわりに[3] \SunVideo User's Guide", pp.125-128, Sun Microsystems, Inc.(1994).
[4] 長坂 晃朗, 田中 譲: 「カラービデオ映像における自動索引付け法と物体探索法」, 情報処理学会論文誌 vol.33, no.4,pp.543-550 (1992).

いため、あらかじめ膨大な知識ベースをもつ必要もなく、[5] 松本 裕治, 黒橋 禎夫, 宇津呂 武仁, 妙木 裕, 長尾 眞: 「日本語形態素解析システム JUMAN 使用説明書 version 3.0
Beta 」(1996)

ると考えられる。また、再利用価値の高い教育番組への[6] 国立国語研究所: 「国立国語研究所言語処理データ集５分
類語彙表 [フロッピーディスク] 」, 秀英出版 (1993).

本研究では 、顔や物体など の画像認識を用いていな

TV 放送の受信側における映像への索引付けに利用でき応用も期待している。

しかし 、全てのショットに対して完全に索引を付けることができないのが現状である。これを改善するには 、次の3 つの方針が考えられる:

1. 画像処理技術を利用し 、ショット間の類似度を分析することによって、副音声のあるショットの索引を、近隣の副音声のない画像的に類似したショットに適用することが考えられる。

[7] 古矢弘, 中井春男, 山崎誠也: 「中学国語総合便覧・全訂増補版」, 正進社, pp.122-134.