音声認識

コミュニケーション科学の融合研究における新潮流

統計翻訳

動画コンテンツ

特集

世界メディアブラウザ

世界中の音・映像コンテンツを日本語で視聴するシステム「世界メディアほりたかあき

堀貴明

す ど う

かつひと/須藤 克仁

ブラウザ」は，高度な音声言語処理技術によって外国語コンテンツの日本語つ か だ

はじめ

なかむらあつしによる検索や日本語字幕付き再生を可能にします．本稿では，これを実現す

塚田

元/中村篤

る私たちの世界最先端技術とマサチューセッツ工科大学の講義ビデオを用いNTTコミュニケーション科学基礎研究所たプロトタイプシステムを紹介します．

世界メディアブラウザとは「世界メディアブラウザ」は母国語のキーワードによって世界の動画コンつあります．これに伴い，世界中で作きな注目を集めています．私たちの研成された動画コンテンツが日々イン

究もこれらと関連する部分はあります

ターネット上にアップロードされ，そのが，その違いはWeb上のより幅広い内数は急速に増加しています．

容のコンテンツを対象とする点です．

テンツを検索し，そのキーワードが話しかしながら，自分の見たい内容をつまり，他のプロジェクトよりも認識されたシーンを母国語の字幕をつけて含むコンテンツを見つけるのは簡単なや翻訳の難しい実世界のデータを対象再生することを指向したシステムです．

ことではありません．例えば動画共有にしています．また，海外のコンテン

このシステムが実現すれば，世界中のサイトでは，各動画ファイルに付与さツを日本語に翻訳して視聴可能にする

価値あるコンテンツに誰もが容易にアれた高々数個の関連キーワードを手掛ことを重視し，技術的にも日本語に適クセスできるだけでなく，世界に向けかりに，膨大な候補の中から目的の動したアプローチを取っています．

た情報発信もより敷居の低いものにな画を探し出さねばなりません．また，るでしょう．しかし，このようなシステ

世界中のコンテンツにアクセスできる

ムの実現には高度な音声認識技術，言環境が整う中で，言葉の壁もまた大き

図１は構築したプロトタイプシステ

語解析技術，機械翻訳技術が不可欠な問題になっています．外国語のコンムのブラウザ画面を表しています．現であり，多くの難しい課題を含んでいテンツは，たとえその内容に興味が在は英語のコンテンツを日本語で視聴ます．本稿では世界メディアブラウザあっても，母国語ではない多くの人にすることができます．の実現に向けた私たちの技術的チャレ

とっては検索することも視聴することンジを紹介していきます．

も困難です．

システムの構成

上部に配置されたクエリ（検索キーワード）入力フォームから日本語またこのような課題を解決するために，は英語のキーワードを入力すると，そ

私たちは世界メディアブラウザの研究のキーワードが話されているシーンの候（1）．そして，これま補一覧が右側に表示されます．キー

を通じて，日本に居ながらにして，世で研究してきた音声認識，言語解析，ワードが日本語，探したいコンテンツ界中の音・映像コンテンツを視聴でき機械翻訳に関する世界最先端レベルのが英語であっても，コンテンツの日本るようになりました．動画配信サービ

成果を結集し，そのプロトタイプシス語訳にそのキーワードが含まれていれスによって映画やTV番組がタイムリにテムを構築するとともに，さらなる発ば，そのシーンが候補として検索され展に向けた研究を進めています．

ます．シーン候補のどれか１つを選択

研究の背景
近年，ブロードバンドネットワーク提供されるだけでなく，YouTubeTMを立ち上げましたに代表される動画共有サイトの登場に近年，米国やヨーロッパでも音・映すると，左側にその選択したシーンかより，一般のエンドユーザが自由に動像コンテンツの翻訳に関する研究が国ら動画が再生されます．ビデオを再生

画を作成・公開できる仕組みも整いつ家的プロジェクトとして進められ，大するときは，話された英語とその日本

NTT技術ジャーナル 2009.513

コミュニケーション科学の融合研究における新潮流

語訳が字幕として動画の上下に表示さといった固有名詞や，日付，金額などあらかじめ動画ファイルを収集し，されます．これらの字幕は，コンテンツの数値表現を含みます．表示された固まざまな情報を抽出しておく必要があの音声情報を解析することで自動的に有表現はWeb検索エンジンにリンクさります．これは，世界メディアブラウ得られた情報です．

れているため，ユーザは動画を再生しザのコンテンツ解析（図２）によってながら固有表現の意味を調べることが行われます．

また，動画の再生に合わせて，話さできます．

れた言葉に含まれる固有表現が表示されます．固有表現とは，人名，会社名

まず，インターネットまたはローカルブラウザがこのように動作するには，ディスクから動画コンテンツを逐次取得します．次に各コンテンツの音声信号を音声認識することで話されているクエリ入力（日本語でも英語でも可）内容の文字情報を得ます．さらに音声言語解析によって連なった文字列を文の単位に分割し，固有表現を抽出し再生画面
日本語翻訳ます．統計的機械翻訳により，各文を目的の言語に翻訳します．音声認識，シーン候補

言語解析，機械翻訳の結果は，動画英語字幕と同期して表示するため，時刻情報とともにアノテーションデータベースに保固有表現リスト存されます．ブラウザは，検索サーバを介してデータベースにアクセスするこ
図１とで，任意のキーワードを含むシーン世界メディアブラウザの画面を検索できます．

音声言語解析
音声認識・内容抽出 （文境界検出・固有表現抽出）
Web
Web動画像コンテンツ

コン
テン
ツ
収集

Walter Lewin〈名称〉

I'm Walter Lewin.

ウォルターレウィンです

統合
音声データ
アノテーションデータベース

音声検索

ローカル動画像コンテンツ
LAN

ブラウザ

図２

14

NTT技術ジャーナル 2009.5

統計的機械翻訳

アノテーションデータ

<mb-contents><content url="http://localhost/mit-ocw/8.011999/L01/8.01-1999-L01.wmv"><sentence id="8.01-1999-L01-0001"
speaker="unknown" stime="1.98"><string lang="english" source="speech"><word stime="1.98">I'm</word><word stime="2.01">walter</word><word stime="2.35">lewin</word><word stime="2.35">.</word></string><string lang="japanese" source="english"><word>ウォルターレウィンです。</word></string><ne class="PERSON">ウォルターレウィン(walter lewin)</ne></sentence>…

世界メディアブラウザのコンテンツ解析

特集

現 在 は， コンテンツとして実 際る単語列を見つけることができます．

ありません．私たちは，文末表現の特にW e b 上 に公 開 されている米 国

幅広い内容の音声を認識するには登録

徴や文の構造（語と語の修飾関係）

マサチューセッツ工 科 大 学 （ M I T :単語数を大幅に増やす必要がありますを利用した文境界検出手法を提案し，Massachusettsofが，これは計算量の増加を招きます．

従来手法に比べて良好な検出精度を（2）

Technology）の講義収録ビデオ

私たちは，重み付き有限状態トラン得ています．

を対象としてプロトタイプシステムを動スデューサと呼ばれる計算モデルに基一方，固有表現抽出では音声認識作させています．

づいて，従来技術の数十倍の単語数の誤りによる悪影響を最小限に抑える

近年，大学の講義資料や講義収録（1 000万語）を扱える高速・高精度効果的な抽出方法を提案しています．

ビデオをW e b 上に公開するオープンな音声認識アルゴリズムを考案しまし

実際に音声認識の誤りを完全に排除すコースウェア（OCW: Open Course

た．1 000万語という語彙の大きさはることはできません．そこで，音声認Ware）の取り組みが世界的に広まっ世界的にも例がなく，市販の音声認識識時にどの程度の自信を持ってその結ています．MITはその中心的役割を担エンジンは高々10万語程度です．ま果を選択したかを表す確信度を，固有い，多くの講義収録ビデオを公開してた，一般的な国語辞典の収録語数は表現らしさを表すモデルの特徴に組みいます．今後，このようなビデオコン５〜８万語，広辞苑でも23万語です．

込みました．これにより，認識誤りにテンツは世界中で公開されていくこと

音声認識システムは，登録されていな影響されにくい高精度な固有表現抽出が期待され，その先駆けであるMITのい単語を話されると，登録されているを実現しました．

ビデオは世界メディアブラウザの研究別の単語に誤って認識してしまいます．

■階層的な句に基づく統計的機械翻訳開発に適した研究試料といえます．

膨大な数の単語を登録しても高速かつ機 械 翻 訳 部 には， 統 計 的 翻 訳 手

正確に認識できる本手法は，幅広い内法（3）

容の音声を認識するうえで大きな強み

法は，専門家の言語知識に頼らなくてになります．

も学習データさえあればあらゆる言語Institute世界メディアブラウザを支える要素技術を採用しています．統計翻訳手世界メディアブラウザを実現するにまた，音声認識に必要な音響モデル間の機械翻訳を可能にする技術です．

は，高い精度の音声認識，言語解析，や言語モデルを構築するために，モデ学習データとしては，同じ内容を表機械翻訳の技術が不可欠です．なぜな

ルの識別能力を直接向上させる識別的

す２カ国語の文の対を大量に集めた対ら，音声認識の誤りが言語解析の誤り学習や，頑健なモデルパラメータ推定

訳コーパスを主に使います．統計翻訳を誘発し，その誤りが翻訳の誤りを誘を可能とするベイズ学習を利用する方は世界メディアブラウザのように多様発するという具合に，小さな誤りが連法も提案しており，高い認識精度を実な言語を扱うアプリケーションにおい鎖して拡大するためです．また，大量現しています．ては，必須の技術だと考えています．のデータを短時間で解析する技術や，■高度な音声言語解析

私たちの統計翻訳手法は階層的な任意のキーワードが含まれるシーンを音声言語解析部では，文境界検出句に基づく手法を採用しています．こ

素早く検索する技術も必要です．世界と固有表現抽出を適用しています．文の手法は，対訳コーパスから統計量でメディアブラウザには，私たちがこれま

境界検出は，音声認識の結果を翻訳スコア付けされた文法を自動獲得し，で研究してきた次のような成果が使わするうえで不可欠な技術です．音声認

これを翻訳モデルとします．図３は，れています．

識結果には人が記述したテキストにみ獲得した文法によって得られる日本語■高速・高精度な超大語彙音声認識られる句読点は存在しません．そのたと英語の階層的な句の対応関係を表し音声認識は，音声信号をその内容め，翻訳の基本単位である文の区切りています．入力された原言語の文に対を表す単語列に変換する技術です．入（文境界）を自動的に決定する必要がして，もっとも適切な句の対応関係を力された音声信号に対して，あらかじあります．しかし話し言葉は，そもそ与える目的言語側の文を求め，翻訳結め登録された単語の組合せの中から，も文という単位があいまいなため，適果とします．

音響的にも言語的にももっとも適合す

切な文境界を見つけることは簡単では

この方法は，翻訳モデルの中に語のNTT技術ジャーナル 2009.515

コミュニケーション科学の融合研究における新潮流

く分析したところ，音声認識や文境界X1

検出のわずかな誤りが翻訳精度を大きX1く劣化させる例がみられました．また，
X2

は

X4

X3

X8

もThe

X2

話し言葉特有の流暢ではない発声や，

X4

非常に専門性の高い内容に対して，音国際

テロ

X5

X6

で ある

起こり うる

X7

international

X3

also

X8

声認識および翻訳の精度が低下することも数多く観察されました．

is a

X6

possible

X7

terrorism

X5

私たちは，これら課題の解決を目指して，現在も研究を進めています．そして，世界メディアブラウザが将来の

図３

階層的な句に基づく統計的機械翻訳

通信放送連携におけるコンテンツ流通の核となる技術になるよう検討を重ね並び替えモデルを統合した手法となっれる構造に変換し保存します．そして，ており，日本語と英語のように語順のこのCNから高速に検索するための索大きく異なる言語間の翻訳で威力を発

引 を構 築 する方 法 を開 発 しました．

揮します．そして，目的言語側の言語

CNは音声認識結果よりも正解を含む制約を効果的に適用することで，高速可能性が高いため，より正しく音声区な翻訳を実現するアルゴリズムも提案間が検索されます．さらにクエリが未しています．

登録語であってもその発音情報を利用■オープン語彙音声検索

して検索する拡張を行いました．この大量の音声データから任意のキー拡張では，クエリが音声認識システムワードを含む区間を瞬時に見つけるこに登録された単語であれば索引中の単とは簡単ではありません．話された内語，未登録の単語であれば索引中の発容を100％正しく認識できれば，テキ音と比較するため，登録単語，未登録

スト文書の場合と同様に，索引（キー単語，およびそれらが混在するクエリワードとその出現区間を対にした情報）に対して高い検索精度が得られます．

を構築することで高速な検索が可能です．しかし，実際には音声認識誤りを世界メディアブラウザの研究についしく検索されません．さらに，検索キーて紹介しました．現在，MITの講義収ワード（クエリ）が音声認識システム

録ビデオを対象にした評価では，音声に登録されていない未登録単語であれ認識の精度は字幕としておおよそ内容

ば，そのキーワードを含む区間は必ずが理解できるレベルを達成しています．

認識誤りとなるため，全く検索できな音声認識を含む最終的な翻訳結果は，い状況に陥ります．私たちは音声認識

全く英語の分からない人が内容を理解結果だけを保存するのではなく，音声できるほどの精度には至っていません

認識時に正解に近いと判定された複数が，英語を部分的に聞き取れる人が理の候補を求め，それらをコンパクトに解の手助けとして利用できるレベルを表現したコンフュージョンネットワーク達成しています．

16

NTT技術ジャーナル 2009.5■参考文献（1） 堀・須藤・大庭・渡部・小川・渡辺・マク
ダーモット・塚田・中村： 「世界メディアブラウザ」−音声認識と統計翻訳に基づく多言語動画コンテンツ検索／閲覧システム−，
日本音響学会講演論文集，1-1-17, 2008. 9.
（2） http://ocw.mit.edu/（3） 塚田・渡辺・鈴木・永田・磯崎： 統計的機械翻訳， NTT技術ジャーナル，Vol.19，No.6，
pp.23-25, 2007.

今後の展開避けることはできず，誤った区間は正（CN: Confusion Network）と呼ばていく予定です．

音声認識から翻訳までの結果を詳し（左から）堀塚田

貴明/ 須藤 克仁/
元/ 中村篤音声・言語処理技術のブレークスルーと応用範囲拡大を目指し，これからも研究を進めていきます．

◆問い合わせ先
NTTコミュニケーション科学基礎研究所
メディア情報研究部
信号処理研究グループ
TEL 0774-93-5336
FAX 0774-93-1945
E-mail hori cslab.kecl.ntt.co.jp