(57)【要約】【課題】映像音声とシナリオテキストを高い精度で対応付けることを可能とする、映像音声とシナリオテキストとの整合方法および装置、並びに前記方法を記録した記憶媒体とコンピュータソフトウェアを提供すること。【解決手段】▲１▼：同じ人物を共通のＩＤで表現するためのテーブルを準備するようにしたこと、▲２▼：発話区間情報，パワーの値およびピッチの値を等しい粒度でパタン化するようにしたこと、▲３▼：シナリオテキストから台詞箇所を抽出し、それを前後に出現した人名と関連付け、モーラ数に基づいて台詞情報を求め、台詞情報，疑問符の位置情報，強調符の位置情報を等しい粒度でパタン化するようにしたこと、▲４▼：発話区間情報を台詞情報へ、シナリオ中の疑問符をピッチへ、また、強調符をパワーへと対応させて、共通ＩＤに変換して、整合を行うようにしたこと等により目的を達した。【選択図】      図１
2005006181.tif 000002
【特許請求の範囲】
【請求項１】
映像音声中に登場する人物とシナリオテキスト中に登場する人物との対応情報を準備する人物データベース準備ステップと、
映像音声を入力する映像音声信号入力ステップと、
このステップで入力された映像音声信号から、音声特徴量を抽出する音声特徴量抽出ステップと、
このステップで抽出された音声特徴量に基づいて、各話者の発話区間情報のパタンを抽出する発話区間情報抽出ステップと、
シナリオテキストを入力するシナリオテキスト入力ステップと、
このステップで入力されたシナリオテキストから、人物に関する台詞情報のパタンを抽出する台詞情報抽出ステップと、
上記ステップで得られる発話区間情報のパタンと台詞情報のパタンとを、パタン間の距離が最小となるようにパタンに含まれる要素同士を対応させて、要素の対応付け情報を求める整合ステップと、
このステップで得られるパタン間の要素の対応付け情報から、シナリオテキストに映像音声の再生時刻情報を関連付けたインデクス情報を生成するインデクス情報生成ステップと
を有することを特徴とする映像音声とシナリオテキストとの整合方法。
【請求項２】
前記人物データベース準備ステップにより、映像音声およびシナリオテキストに含まれる人物名を対応させるテーブルを作るか、もしくは事前に準備された相当の情報を有するテーブルを入力し、
前記映像音声信号入力ステップによって映像音声信号を入力し、
前記音声特徴量抽出ステップによって、前記入力された映像音声信号の音声トラックから音声特徴量を抽出し、
前記発話区間情報抽出ステップによって、映像音声中の話者毎の発話区間情報を抽出し、
前記シナリオテキスト入力ステップによりシナリオテキストを入力し、
前記台詞情報抽出ステップにより、入力されたシナリオテキスト中から人物に関する情報を台詞情報として抽出し、
前記整合ステップによって、先に得られた発話区間情報と台詞情報とを整合させ、
この整合の結果に基づいて、
前記インデクス情報生成ステップにより、シナリオテキスト内の複数箇所に映像音声の再生時間情報を対応させたインデクス情報を生成する
ことを特徴とする請求項１に記載の映像音声とシナリオテキストとの整合方法。
【請求項３】
前記人物データベース準備ステップにおいて、
人物毎に関連付けられた音声の特徴を表わすベクトルを有するデータベースを生成することを特徴とする請求項１または２に記載の映像音声とシナリオテキストとの整合方法。
【請求項４】
前記人物データベース準備ステップにおいて、
発話区間情報のパタンに含まれる人名と、台詞情報のパタンに含まれる人名とを、共通のＩＤにマッピングすることが可能な、人物ＩＤテーブルを生成することを特徴とする請求項１または２に記載の映像音声とシナリオテキストとの整合方法。
【請求項５】
前記整合ステップにおいて、
データベース中の特徴ベクトルに基づいて多次元空間インデクスを生成することを特徴とする請求項１〜４のいずれか１項に記載の映像音声とシナリオテキストとの整合方法。
【請求項６】
前記発話区間情報抽出ステップにより話者毎の発話区間のパワーの値をパタン化し、また、前記台詞情報抽出ステップにより台詞に含まれる強調符の位置をパタン化し、
両者を用いて整合を行うことを特徴とする請求項１〜５のいずれか１項に記載の映像音声とシナリオテキストとの整合方法。
【請求項７】
前記発話区間情報抽出ステップにより話者毎の発話区間のピッチの値をパタン化し、また、前記台詞情報抽出ステップにより台詞に含まれる疑問符の位置をパタン化し、
両者を用いて整合を行うことを特徴とする請求項１〜５のいずれか１項における映像音声とシナリオテキストの整合方法。
【請求項８】
前記整合ステップにおいて、
前記映像音声およびシナリオテキストからそれぞれ抽出されたパタンを用いて、非線形時間伸縮によるマッチングを行うことを特徴とする請求項１〜７のいずれか１項に記載の映像音声とシナリオテキストとの整合方法。
【請求項９】
前記整合ステップにおいて、マッチングを行う際、
マッチングスコア（距離）に対して、前記映像音声およびシナリオテキストから抽出された特徴に任意の重みをつけることを特徴とする請求項１〜７のいずれか１項に記載の映像音声とシナリオテキストとの整合方法。
【請求項１０】
前記発話区間情報抽出ステップにより得られる発話パタンと、前記台詞情報抽出ステップにより得られる台詞パタンとを用いて、
話者の発話時間の比率に基づいて人物ＩＤテーブルを生成することを特徴とする請求項１〜９のいずれか１項に記載の映像音声とシナリオテキストとの整合方法。
【請求項１１】
前記発話区間情報抽出ステップにより得られる発話パタンと、前記台詞情報抽出ステップにより得られる台詞パタンとを用いて、
人物ＩＤテーブルを生成する際、
前記映像音声およびシナリオテキストを複数の区域に分割し、その各々について話者の発話時間の比率を計算し、人物ＩＤテーブルを生成することを特徴とする請求項１０に記載の映像音声とシナリオテキストとの整合方法。
【請求項１２】
映像音声中に登場する人物とシナリオテキスト中に登場する人物との対応情報を準備する人物データベース準備処理手段と、
映像音声を入力する映像音声信号入力処理手段と、
この処理手段で入力された映像音声信号から、音声特徴量を抽出する音声特徴量抽出処理手段と、
この処理手段で抽出された音声特徴量に基づいて、各話者の発話区間情報のパタンを抽出する発話区間情報抽出処理手段と、
シナリオテキストを入力するシナリオテキスト入力処理手段と、
この処理手段で入力されたシナリオテキストから、人物に関する台詞情報のパタンを抽出する台詞情報抽出処理手段と、
上記処理手段で得られる発話区間情報のパタンと台詞情報のパタンとを、パタン間の距離が最小となるようにパタンに含まれる要素同士を対応させて、要素の対応付け情報を求める整合処理手段と、
この処理手段で得られるパタン間の要素の対応付け情報から、シナリオテキストに映像音声の再生時刻情報を関連付けたインデクス情報を生成するインデクス情報生成処理手段と
を有することを特徴とする映像音声とシナリオテキストとの整合装置。
【請求項１３】
請求項１〜１１のいずれか１項に記載の映像音声とシナリオテキストとの整合方法を、コンピュータのプログラム制御により実行させるためのコンピュータソフトウェア。
【請求項１４】
請求項１３に記載のコンピュータソフトウェアを記録した、コンピュータにより読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオ，ＴＶ放送番組等の映像音声に対し、メタデータと呼ばれる索引情報を生成する技術に関し、より詳細には、映像音声とシナリオテキストとの整合方法と装置、並びに前記方法を記録した記憶媒体とコンピュータソフトウェアに関する。
【０００２】
【従来の技術】
映像の内容に基づいて特定のシーンを検索したいという要求がある。例えば、ドラマ映像を短編に編集する際、長時間（数時間から十数時間）に及ぶドラマ映像の中から、特定の内容のシーンや、特定の人物の話すシーンを素早く探したいという要求がある。ドラマ，映画およびニュースといった放送番組は、放映以前の制作段階において、番組のシナリオをまず作成し、このシナリオに基づいて映像が制作される。シナリオには、場面の情報や、人物の会話，話題の進行などが含まれるため、シナリオを完成した映像音声と対応付けることができれば、先に述べた内容検索が実現できる。
【０００３】
これに対し、非特許文献１〜６では、次のような情報に着目してシナリオテキストと番組との対応付け（整合）を行ってきた。
すなわち、番組（映像音声）からは、
▲１▼：有音・無音による会話の有無および長さ
▲２▼：平均ピッチの違いによる女性発話区間
▲３▼：音声認識によって抽出された単語
を抽出し、シナリオテキストからは、
▲４▼：テキストに含まれるキーワード
▲５▼：台詞の括弧中の文字列から推定した発話長さ
を抽出し、これらを対応付けの処理に用いている。
【０００４】
【非特許文献１】
柳沼、坂内「ＤＰマッチングを用いたドラマ映像・音声・シナリオ文書の対応付け手法の一提案」
電子情報通信学会論文誌  Ｄ−ＩＩ，Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ．７４７−７５５，１９９６
【非特許文献２】
柳沼、和泉、坂内「同期されたシナリオ文書を用いた映像編集方式の一提案」電気情報通信学会論文誌  Ｄ−ＩＩ，Ｖｏｌ．Ｊ７９−Ｄ−ＩＩ，Ｎｏ．４，ｐｐ．５４７−５５８，１９９６
【非特許文献３】
谷村、中川「音声認識を用いたドラマのシナリオへの時刻情報付与」
（同じ題名で２件発表）
言語処理学会第５回年次大会  講演論文集，ｐｐ．５１３‐５１６，１９９９
電子情報通信学会総合大会  後援論文集，ｐｐ．３７７−３７８，１９９９
【０００５】
【非特許文献４】
谷村，中川「テレビドラマのシナリオと、音声トラックの自動対応付け」
情報処理学会  自然言語処理  音声言語情報処理  合同研究会  ｐｐ．２３−２９
【非特許文献５】
谷村、中川「テレビドラマにおけるシナリオの台詞と音声トラックの同期システム」
１９９９年度第１３回人工知能学会全国大会  講演論文集，ｐｐ．２０５−２０８，１９９９
【非特許文献６】
谷村，中川「ドラマのビデオ音声トラックとシナリオのセリフの時刻同期法」情報処理学会  知識と複雑系研究会  ｐｐ．２５−３１，１９９９
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の技術では次のような問題があった。
（１）番組に女性が出現しない場合があるため、▲２▼の情報は全ての番組で用いることができるとは限らない。
（２）ドラマ，討論および映画といった番組では、出演者は「話し言葉」で話すため、認識による単語の正解率が５０％程度と低く、▲３▼の情報は不正確である。
（３）ドラマなどでは、背景雑音，ＢＧＭの影響により、単語認識誤りを生じやすいため、同様に▲３▼の情報は不正確である。
（４）音声認識によって得られた単語と、台詞中の単語の情報とを整合に用いるため、整合を行う要素数が多く、整合に時間がかかる。
【０００７】
このように、従来技術では、不正確な情報を元に対応付けの処理を行うため、対応の精度が低く、また、単語を整合に用いるため、整合に時間がかかるという問題があった。
【０００８】
本発明は上記事情に鑑みてなされたものであり、その目的とするところは、従来の技術における上述のような問題を解消し、映像音声とシナリオテキストを高い精度で対応付けることを可能とする、映像音声とシナリオテキストとの整合方法および装置、並びに前記方法を記録した記憶媒体とコンピュータソフトウェアを提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る映像音声とシナリオテキストとの整合方法は、人物データベース準備ステップと、映像音声信号入力ステップと、音声特徴量抽出ステップと、発話区間情報抽出ステップと、シナリオテキスト入力ステップと、台詞情報抽出ステップと、整合ステップと、インデクス情報生成ステップとを有することを特徴とする。
【００１０】
人物データベース準備ステップは、人物のデータベースを準備する。人物のデータベースは、各話者の基準となる音声から抽出された特徴ベクトルと、各話者のシナリオテキスト中における呼称とが関連付けられたものであり、既存のデータベースを用いる他に、本ステップで生成することもできる。
【００１１】
また、映像音声信号入力ステップは、ビデオ等の映像音声ファイルをプログラムの入力に指定する。音声特徴量抽出ステップは、映像音声からスペクトル，ピッチなどの特徴量を抽出する。発話区間情報抽出ステップは、話者毎の発話区間情報を抽出し、パタン化する。シナリオテキスト入力ステップは、シナリオテキストをプログラムの入力に指定する。台詞情報抽出ステップは、シナリオテキストから、各話者の台詞情報を抽出し、パタン化する。
【００１２】
整合ステップは、上述の発話区間情報抽出ステップによって得られたパタンと整理符情報抽出ステップによって得られたパタンとを、上記人物データベース生成ステップにより生成された人物データベースを用いて、同じ人物に関して共通のパタン要素へと変換し、変換したパタンを用いてＤＰマッチングに基づく整合処理を行う。
インデクス生成ステップは、上記各ステップによって得られる結果に基づいて、シナリオテキスト内に、映像音声の再生時刻を関連付けたインデクス情報を生成する。
【００１３】
また、本発明に係る映像音声とシナリオテキストとの整合方法では、前記人物データベース準備ステップにおいて、発話区間情報のパタンに含まれる人名と、台詞情報のパタンに含まれる人名とを、共通のＩＤにマッピングすることが可能な、人物ＩＤテーブルを生成することを特徴とする。
【００１４】
また、本発明に係る映像音声とシナリオテキストとの整合方法では、前記整合ステップにおいて、データベース中の特徴ベクトルに基づいて多次元空間インデクスを生成することを特徴とする。
【００１５】
また、本発明に係る映像音声とシナリオテキストとの整合方法では、前記発話区間情報抽出ステップにより話者毎の発話区間のパワーの値をパタン化し、また、前記台詞情報抽出ステップにより台詞に含まれる強調符の位置をパタン化し、両者を用いて整合を行うことを特徴とする。
【００１６】
また、本発明に係る映像音声とシナリオテキストとの整合方法では、前記発話区間情報抽出ステップにより話者毎の発話区間をピッチの値をパタン化し、また、前記台詞情報抽出ステップにより台詞に含まれる疑問符の位置をパタン化し、両者を用いて整合を行うことを特徴とする。
【００１７】
また、本発明に係る映像音声とシナリオテキストとの整合方法では、前記整合ステップにおいて、前記映像音声およびシナリオテキストからそれぞれ抽出されたパタンを用いて、非線形時間伸縮によるマッチングを行うことを特徴とする。
【００１８】
また、本発明に係る映像音声とシナリオテキストとの整合方法では、前記整合ステップにおいて、マッチングを行う際、マッチングスコア（距離）に対して、前記映像音声およびシナリオテキストから抽出された特徴に任意の重みをつけることを特徴とする。
【００１９】
また、本発明に係る映像音声とシナリオテキストとの整合方法では、前記発話区間情報抽出ステップにより得られる発話パタンと、前記台詞情報抽出ステップにより得られる台詞パタンとを用いて、人物ＩＤテーブルを生成する際、前記映像音声およびシナリオテキストを複数の区域に分割し、その各々について話者の発話時間の比率を計算し、人物ＩＤテーブルを生成することを特徴とする。
【００２０】
なお、本発明に係る映像音声とシナリオテキストとの整合方法は、これを、コンピュータのプログラム制御により実行することが可能であり、本発明の技術範囲は、このためのコンピュータソフトウェア、さらには、このコンピュータソフトウェアを記録した、コンピュータにより読み取り可能な記録媒体にも及ぶことはいうまでもない。
【００２１】
一方、本発明は、映像音声とシナリオテキストとの整合装置としても、特徴を有するものである。
すなわち、本発明に係る映像音声とシナリオテキストとの整合装置は、映像音声中に登場する人物とシナリオテキスト中に登場する人物との対応情報を準備する人物データベース準備処理手段と、映像音声を入力する映像音声信号入力処理手段と、この処理手段で入力された映像音声信号から、音声特徴量を抽出する音声特徴量抽出処理手段と、この処理手段で抽出された音声特徴量に基づいて、各話者の発話区間情報のパタンを抽出する発話区間情報抽出処理手段と、シナリオテキストを入力するシナリオテキスト入力処理手段と、この処理手段で入力されたシナリオテキストから、人物に関する台詞情報のパタンを抽出する台詞情報抽出処理手段と、上記処理手段で得られる発話区間情報のパタンと台詞情報のパタンとを、パタン間の距離が最小となるようにパタンに含まれる要素同士を対応させて、要素の対応付け情報を求める整合処理手段と、この処理手段で得られるパタン間の要素の対応付け情報から、シナリオテキストに映像音声の再生時刻情報を関連付けたインデクス情報を生成するインデクス情報生成処理手段とを有することを特徴とする。
【００２２】
【作用】
本発明によれば、
▲１▼：シナリオテキスト中の人物と、映像音声中の人物とは、必ずしも一致しないことに鑑みて、同じ人物を共通のＩＤで表現するためのテーブルを準備するようにしたこと
▲２▼：話者識別技術を用いて、各話者の発話区間を求め、発話区間情報，パワーの値およびピッチの値を等しい粒度でパタン化するようにしたこと
さらには、
▲３▼：シナリオテキストから台詞箇所を抽出し、それを前後に出現した人名と関連付け、モーラ数に基づいて台詞情報を求め、台詞情報，疑問符の位置情報，強調符の位置情報を等しい粒度でパタン化するようにしたこと
▲４▼：発話区間情報を台詞情報へ、シナリオ中の疑問符をピッチへ、シナリオ中の強調符をパワーへと対応させて、共通ＩＤに変換して、整合を行うようにしたこと
等の工夫により、従来技術よりも高い精度で、しかも高速に、映像音声とシナリオテキストを対応付けることが可能となる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態を、図面に示す好適実施例に基づいて、詳細に説明する。
【００２４】
〔実施例１〕
図１を用いて、本発明の実施例１の実施形態を説明する。本実施例は、人物データベース準備ステップ１１，映像音声処理ステップ１２，シナリオテキスト処理ステップ１３，整合ステップ１４に分けることができる。
本実施例では、整合に用いるパタンとして、次の特徴を映像音声およびシナリオテキストから抽出する。映像音声からは各話者の発話区間，発話区間中のパワーの推移および発話区間中のピッチの推移を抽出する。また、シナリオテキストからは、人物名，台詞部分の文字に基づくモーラ数，疑問符の箇所および強調符の箇所を抽出する。
【００２５】
次に、人物データベース準備ステップ１１について説明する。
図２は、人物データベース準備ステップ１１の動作を説明する詳細フローチャートである。  本ステップでは、人物データベースを生成する場合について説明する。
ステップ２０１では、各話者の基準となる発話音声（以後、これを基準音声と呼ぶ）を準備する。各話者の基準音声は、１０〜３０秒の、１人の話者の発話音声だけが含まれる音声のことである。これは、汎用のソフト（例えばＷｉｎｄｏｗｓ（登録商標）  Ｍｅｄｉａ  Ｐｌａｙｅｒなど）または非特許文献７に記載された方法によって、人手または自動処理により、映像音声から容易に取り出すことができる。
【００２６】
例えば、下記の文献が参考になる。
西田、秋田、河原「討論を対象とした話者モデル選択による話者インデキシングと自動書き起こし」
電子情報通信学会技術研究報告、ＳＰ２００２−１５７，ＮＬＣ２００２−８０（ＳＬＰ−４４−３７），２００２
討論音声を対象とした教師なし話者インデキシングとそれを用いた音声認識技術に関するものである。討論音声では、話者の交替が頻繁に発生し、継続時間が短い発話が多く、発話時間のばらつきも大きいため、画一的なモデルで話者インデキシングが難しい。
【００２７】
そこで、ここでは、発話時間の短い音声に対しては、ＶＱモデル、長い音声に対してはＧＭＭモデルが選択される枠組みを実現している。こ子では、これに加えて、討論音声認識のための音響・言語モデルについても検討し、良好な話者インデキシング結果を得ることに成功している。この技術は、最終的に音声認識精度の向上を狙ったものであるが、その過程での処理が、単独の話者の発話する区間の決定に応用できる。すなわち、上述のステップ２０１の処理に適用することができる。
【００２８】
ステップ２０２では、各話者の基準音声を入力して非特許文献８に記載される処理を行い、基準音声のスペクトルの包絡を表わす係数（線形予測係数，ＬＰＣケプストラム，ＭＦＣＣ等）を出力する。本ステップで得られた各話者の特徴量は、図３の例に示すような数値の列で表現される。なお、ここでは、短時間のスペクトル特徴から、逐次ベクトルデータが生成される。
【００２９】
例えば、下記の文献が参考になる。
Ｆ．Ｋ．Ｓｏｏｎｇ，Ａ．Ｅ．Ｒｏｓｅｎｂｅｒｇ，Ｌ．Ｒ．Ｒａｂｉｎｅｒ  ａｎｄ  Ｂ．Ｈ．Ｊｕａｎｇ，
”Ａ  Ｖｅｃｔｏｒ  Ｑｕａｎｔｉｚａｔｉｏｎ  Ａｐｐｒｏａｃｈ  ｔｏ  Ｓｐｅａｋｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ”
Ａｔ＆Ｔ  Ｔｅｃｈｎｉｃａｌ  Ｊｏｕｒｎａｌ，Ｖｏｌ．６６，ｐｐ．１４−２６，Ｍａｒ／Ａｐｒ  １９８７
ここでは、話者の識別方法として、識別対象となる人物の音声から、短時間スペクトル包絡の特徴を抽出し、ベクトルとして格納しておき、識別時には、入力される音声から短時間スペクトル包絡の情報を同様にベクトルとして抽出し、格納されているベクトルと照合する。ベクトルの距離に基づいて入力された音声の話者が格納されている人物の音声か否かを判断する。この音声特徴量の抽出方法は、ステップ２０２に適用できる。具体的には、数ｍｓ〜数十ｍｓの短時間ずつに入力音声を取り出し、その各々からケプストラム等の係数を抽出するという処理である。
【００３０】
ステップ２０３で、話者毎に特徴ベクトル個数を正規化する場合には、ステップ２０４で、ステップ２０３の出力で得られた基準音声のスペクトルの包絡を表わす係数（線形予測係数，ＬＰＣケプストラム，ＭＦＣＣ等）を入力し、非特許文献９に記載される処理を行い、話者毎に一定の個数のベクトルを出力する。本ステップの出力により、例えば図４に示すようなデータ構造で、映像音声に含まれる話者名（４１）、およびシナリオテキスト中の人物の呼称（４２）、人物の特徴を表わすベクトルの番号（４３）、ベクトルの要素の値（４４）を各カラムとするテーブル４０１を作ることが可能である。
【００３１】
例えば、下記の文献が参考になる。
Ｙ．Ｌｉｎｄｅ、ａ．Ｂｕｚｏ、ａｎｄＲｏｂｅｒｔＭ．Ｇｒａｙ．
Ａｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｖｅｃｔｏｅ  Ｑｕａｎｔｉｚｅｒ  Ｄｅｓｉｇｎ，ＩＥＥＥ  Ｔｒａｎｓｌａｔｉｏｎｓ  ｏｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，  Ｖｏｌ．ＣＯＭ−２８，Ｎｏ．１  １９８０．
ＬＰＣ等を用いてパタン認識を行う場合、予め登録信号を学習し、それらの特徴をベクトルとして格納する。このとき、ベクトル空間内のベクトルの分布を、エラーベクトルに影響されずに忠実にベクトルの分布を表現できるような、代表ベクトルの集合を作成することが重要である（この作業を量子化という）。元のベクトルでなく代表ベクトルを用いる理由は、ベクトルの数を削減できることにあり、ベクトルの数が削減できれば、識別時間の短縮につながるためである。本発明では、必要に応じて、ステップ２０４に適用する。
【００３２】
ステップ２０５では、前述のテーブルを、磁気ディスク等の記録媒体へと保存する。ここでは、各話者のベクトルデータを一定個数に圧縮し、これに番号を付け、話者名およびシナリオテキスト中における人物の呼称と対応付けるテーブルを生成する。図４の例では、各話者について８つの特徴ベクトルが保存されている。
【００３３】
ステップ２０６で、例えば図５に示すようなテーブル（人物ＩＤテーブル）５０１に基づいて、話者名およびシナリオテキスト中の人物の呼称がそれぞれ共通のＩＤへと対応付けがなされる。ここで用いるテーブルは、映像音声中の人物名およびシナリオテキスト中の人物の呼称の対応表であり、これに基づいて、各人物に番号（ＩＤ）が与えられる。なお、図５の例ではテーブルは３つのカラムよりなっているが、２つのカラムからなる２つの表を用いてもよい。
【００３４】
ステップ２０７で、各人物に帰属するベクトルを包含する集合として、話者クラスを定義する（以後、クラスと呼ぶ）。
ステップ２０８で、必要な話者についての特徴ベクトルの登録が完了したかどうかを判断する。
【００３５】
ステップ２０９では、記録媒体等へ保存されたデータから、その特徴量の値に基づいて、非特許文献１０による処理を行い、多次元空間インデクスを生成し、インデクスのデータをメモリ等の主記憶装置へと格納する。図６に示すように、多次元空間インデクス６０１は、各ノードに類似するベクトルのＩＤ（６０２）が関連付けられており、キーベクトルに類似するベクトルを探索する際に、データベース中のベクトル全部に対して探索を行う必要がなく、探索時間を短縮することができる。
【００３６】
例えば、下記の文献が参考になる。
Ｋ．Ｃｕｒｔｉｓ，Ｎ．Ｔａｎｉｇｕｃｈｉ，Ｊ．Ｎａｋａｇａｗａ，ａｎｄ  Ｍ．Ｙａｍａｍｕｒｏ．
Ａ  ｃｏｍｐｒｅｈｅｎｓｉｖｅ  ｉｍａｇｅ  ｓｉｍｉｌａｒｉｔｙ  ｒｅｔｒｉｅｖａｌ  ｓｙｓｔｅｍ  ｔｈａｔ  ｕｔｉｌｉｚｅｓ  ｍｕｌｔｉｐｌｅ  ｆｅａｔｕｒｅ  ｖｅｃｔｏｒｓ  ｉｎ  ｈｉｇｈ  ｄｉｍｅｎｓｉｏｎａｌ  ｓｐａｃｅ，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ，  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，ｐｐ．  １８０−１８４，  １９９７．この技術は、画像の類似検索のために、特跳梁を多次元のベクトルに変換し、それらを階層構造に管理することにより、高速な探索を可能とするものである。２次元の場合を例にとると、ベクトルの空間を矩形で区切り、それぞれの部分に存在するベクトルを、階層構造に管理するインデクスを生成する。このインデクスを用いれば、新たにベクトルが入力された場合、それがどのベクトルの近傍であるかを、すべてのベクトルを探索することなしに知ることができる。この方法を、ステップ２０９に適用している。
【００３７】
図１のステップ１１では、上記のように人物データベースを作成する他に、予め準備された、既存のデータベースを用いることも可能である。
【００３８】
次に、図１の映像音声処理ステップ１２について説明する。図７は、映像音声処理ステップ１２の動作を説明する詳細フローチャートである。
【００３９】
ステップ７１では、プログラムの入力に映像音声を指定し、映像音声を入力する。
ステップ７２では、入力された映像音声から、音声トラックを分離する。
ステップ７３では、ステップ７２で分離された音声トラックから、前記人物データベース準備ステップ１１のステップ２０２と同じ方法で特徴量を抽出し、これをキーとする。
【００４０】
ステップ７４では、得られたキーを用いて、前記人物データベース準備ステップ１１によって作成された人物データベース中から、キーに類似する特徴ベクトルの探索を行う。特徴ベクトルとキーとの類似尺度として、ベクトル間の様々な距離尺度（ユークリッド距離，市街地距離等）を用いることが可能である。また、探索は、多次元空間インデクスを参照しながら探索する。
【００４１】
ステップ７５では、ステップ７４の探索結果に基づいて、一定粒度で話者名を判定することにより、各話者の発話区間を求めていく。
今、キーベクトルのｋ最近傍空間に含まれるデータベース中のベクトルをｘｉ（ｉ＝１，２，…ｋ）、ｘｉのクラス判別関数をＣ（ｘｉ）、話者クラスｐを含む話者クラスのセットをＰとすると、話者名ｐａｎｓは次の式（１）で求められる。
【数１】
2005006181.tif 000003
【００４２】
但し、１［Ｆ］とは、条件文Ｆが成立する場合に１をとり、他では０をとる関数と定義する。Ｊは話者名の判別粒度をＲｓ、キーの生成頻度をｆとした場合、定数ＪはＪ＝Ｒｓ／ｆで得られる数である。
ステップ７６では、話者名の判定が音声トラックの終端まで達したか否かを判断する。
【００４３】
ステップ７７では、ステップ７５で得られた話者名に基づいて、図８に示すように、ｐａｎｓの値を各要素とするような、話者の発話区間を表わすパタン、Ｎ＝｛ｎ１，ｎ２，．．．ｎｍ｝を生成する（８０１）。但し、ｍは、映像音声の長さをＴとし、ｍ＝Ｔ／Ｒで得られる数である。
【００４４】
ステップ７８では、パワーの値を表わすパタンを生成する。キーを生成するための入力音声の振幅の値の積分値から、話者名の判定粒度と等しい粒度で、パワーの平均値を求める。これにより、パワーの値を表わすパタンＰ＝｛ｐ１，ｐ２，．．．ｐｍ｝を生成する（８０２）。
ステップ７９では、ピッチの値を表わすパタンを生成する。キーを生成するために入力音声に対し、自己相関法，変形相関法などの一般的な方法により、ピッチを求める。話者名の判定粒度と等しい粒度で、ピッチの平均値を求める。これにより、ピッチの値を表わすパタンＦ＝｛ｆ１，ｆ２，．．．ｆｍ｝を生成する（８０３）。
【００４５】
次に、図１のシナリオテキスト処理ステップ１３について説明する。図９は、シナリオテキスト処理ステップ１３の動作を説明する詳細フローチャートである。
ステップ９１では、プログラムの入力にシナリオテキストを指定する。
ステップ９２では、シナリオテキストファイルから台詞の部分を検索する。
シナリオの記述方法は様々なフォーマットが考えられ、台詞の検索には「…」，‘…’，“…”などの、記号で囲み表記された部分を用いることができる。また、シナリオテキストがＸＭＬ等の構造化文章である場合には、そのタグ情報を用いることが可能である。
【００４６】
ステップ９３では、各台詞の直前または直後に存在する人名を検索し、得られた人名から、台詞と人名とを関連付ける。
ステップ９４では、人名と関連付けられた各台詞の中から、疑問符“？”および強調符“！”を検索する。
ステップ９５では、台詞，疑問符および強調符のパタンを生成する。まず、シナリオテキストに含まれる全台詞から、モーラ数の総数を計算する。モーラ数とは、母音またはｎが含まれる音の数で、例えば「朝ごはんです」という台詞に対しては、「ａ／ｓａ／ｇｏ／ｈａ／ｎ／ｄｅ／ｓｕ」となり、モーラ数は７ということになる。
【００４７】
ステップ９５におけるパタン生成処理を、図１０に示す詳細フローチャートを用いて説明する。
ステップ１０１では、シナリオテキスト中に含まれる全台詞のモーラ数の総数（Ｔｍ）を計算する。
ステップ１０２で、Ｔｍ個のモーラに対し、ステップ９３の結果を用い、各モーラが含まれている台詞に関連付けられた人物名を各要素とする、Ｔｍ個のデータを得る。
【００４８】
ステップ１０３では、ステップ１０２で得られたＴｍ個の人物名のデータに対し、先頭からＲｔ個毎にデータを集計し、各集計について最も多く含まれている人物名をパタンの１要素として出力する（図１１に例を示す）。こうして、台詞の人物を表わすパタンＳ｛ｓ１，ｓ２，．．．ｓｌ｝を生成する（１１１）。但し、パタンの要素数Ｌは、Ｌ＝Ｔｍ／Ｒｔにより得られる数である。
【００４９】
ステップ１０４では、疑問符の直前のモーラが含まれるパタンＳの要素ｓｌ＊について、ｌ＝ｌ＊となる要素のみが１で他が０となるような疑問符の位置を表わすパタンＱ｛ｑ１，ｑ２，．．．ｑｌ｝を生成する（１１２）。
ステップ１０５で、強調符の直前のモーラが含まれるパタンＳの要素ｓｌ＊について、ｌ＝ｌ＊となる要素のみが１で他が０となるような強調符の位置を表わすパタンＥ｛ｅ１，ｅ２，．．．ｅｌ｝を生成する（１１３）。
【００５０】
次に、図１の整合ステップ１４について説明する。図１２は、整合ステップ１４の動作を説明する詳細フローチャートである。
本実施例のこのフェーズでは、前記映像音声処理ステップ１２およびシナリオテキスト処理ステップ１３でそれぞれ得られたパタンを非線形に伸縮することにより、整合させる。この際、パタン同士の距離が最小になるように、各要素の対応付けを行う。
【００５１】
ステップ１２１では、パタンの対を生成する。本発明では、パタンの対は３対（ＮとＳ，ＰとＥおよびＦとＱ）生成される。パタンの対は、各パタンの由来に基づいて生成される。図１３に示すように、映像音声中における話者毎の発話区間を表わすパタンは、シナリオテキスト中の台詞に関連付けられた人物名と対応するので、パタンＮとＳとが対になる。
また、疑問文においては一般に語尾が尻上がりとなることから、映像音声中のピッチを表わすパタンＦは、シナリオテキスト中の疑問符の位置を表わすパタンＱと対になる。同様に、映像音声中のパワーを表わすパタンＰは、シナリオテキスト中の強調符の位置を表わすパタンＥと対になる（１３１〜１３３）。
【００５２】
ステップ１２２では、図１４に示すように、対応させるパタンをプログラムへ入力し（１４１，１４２）、人物ＩＤテーブル５０１を参照し、人物に関する要素を共通なＩＤ（１４３、１４４）へと変換する。本ステップは、前記映像音声処理ステップ１２とシナリオテキスト処理ステップ１３とから得られる人名が異なる場合に必要である。
例えば、シナリオテキストにはドラマの役者名が記載され、人物データベースには俳優名が記載される場合があるからである。ここでは、人物ＩＤテーブル５０１を図５，図６のような３カラムからなるテーブルとして説明したが、話者名を共通ＩＤに変換することが可能であれば、どのようなデータ構造でもよい。
【００５３】
ステップ１２３では、パタン間の距離が最小になるように、各パタンに含まれる要素同士を対応させる。例えば、パタンＮ｛ｎ１，ｎ２，．．．ｎｍ｝およびパタンＳ｛ｓ１，ｓ２，．．．ｓｌ｝を整合させる場合、２つのパタンの距離ｄ（Ｎ、Ｓ）は一般に次の式（２）で表される。
【数２】
2005006181.tif 000004
【００５４】
但し、ｋ＝１，２，．．．Ｋは各パタン間の要素の組み合わせ数、ｍ（ｋ）は非負のパス重み係数、Ｍφは正規化係数、ｃｋは各パタンに含まれる要素の対、ｄ（ｃｋ）は２要素間の距離をそれぞれ表わす。ここで、パタン要素間の距離はユークリッド距離、Ｃｉｔｙ−Ｂｌｏｃｋ距離等、様々な距離を用いることができる。
例えば、図１５に示すように、パス傾斜を０．５‐２．０に制限し、パタン要素間の距離としてＣｉｔｙ−Ｂｌｏｃｋ距離を用いた場合には、
Ｍφ＝ｍ＋１
ｄ（ｃｋ）＝｜ｎｉｋ‐ｓｊｋ｜
となる。
【００５５】
ここで、ＩはパタンＮに含まれる要素数、ＪはパタンＳに含まれる要素数をそれぞれ表わす。ｋ＝１，２，．．．Ｋの各ステップに至るまでの正規化した距離和をδ、各ステップにおけるｎｋとｓｋの組み合わせのセットをｃｋとすると、図１５に示すように、パス重みを１．０〜２．０とした場合、δおよびｃｋは、下記の漸化式（３）、（４）により得られる。
【００５６】
【数３】
2005006181.tif 000005
【数４】
2005006181.tif 000006
ここで、上の漸化式において、ｋ＝Ｋの時、δ（ｎＫ，ｓＫ）≡ｄ（Ｎ，Ｓ）である。整合フェーズでは、個のｄ（Ｎ，Ｓ）を最小にするようなｎｋとｓｋの組み合わせの、Ｋ個のセットＣＫを求める。
【００５７】
本発明では、パタンの対は３対（ＮとＳ、ＰとＥおよびＦとＱ）あるので、始めにパタンの対に対して生成されるパタン間距離に任意の重みｗ（ｇ）（ｇ＝１，２，３）を設定し、パタン間距離を求め、これを最小にするような要素の対ｃｋを求めることになる。
すなわち、下記の式（５）のように表わせる。
【数５】
2005006181.tif 000007
但し、ｇはパタンの対の個数であり、本実施例ではＧ＝３である。
【００５８】
ステップ１２４で、漸化式（３），（４）を用い、ｃｋに対するδが最小かどうか判断し、最小値を与えるＣＫが更新される。
ステップ１２５では、最終的にｋ＝Ｋにおいて、最終的に最小δを与えるＣＫが出力される。
ステップ１２６では、ＣＫに基づいて、シナリオテキストと映像音声の箇所を対応させ、インデクス情報を生成する。インデクス情報は、図１６の例に示すように、シナリオテキスト１６１内に、映像音声の再生時刻１６２を関連付けるものである。
【００５９】
本実施例では、パタンＮとＳ，ＰとＥおよびＦとＱの３対のパタンを用いたが、少なくとも１対のパタンがあれば、映像音声とシナリオテキストとの整合を行うことは可能である。また、本実施例では、ＤＰマッチングの技法を用いたが、総当り法で対応付けを行うことも可能である。
【００６０】
〔実施例２〕
図１７を用いて、本発明の実施例２の実施形態を説明する。本実施例では、実施例１において人が手作業で作成していた人物ＩＤテーブルを自動的に作成するための、人物ＩＤテーブル生成ステップ１７１が追加されている。また、人物データベース準備ステップ１１では、図４におけるシナリオテキストにおける人物の呼称を表わすカラム４２が空白となっている。
【００６１】
人物ＩＤテーブル生成ステップについて説明する。図１８は、実施例２の本ステップの動作を説明する詳細フローチャートである。
ステップ１８１では、映像音声処理ステップ１２において得られたパタンに基づいて、図１９に示すように、人物毎に、発話の総時間の比率を算出する（１９１）。
ステップ１８２では、シナリオテキスト処理ステップ１３において得られたパタンに基づいて、図１９に示すように、人物毎に、台詞長さの総時間の比率を算出する（１９２）。
【００６２】
ステップ１８３では、ステップ１８１およびステップ１８２で得られた比率に基づいて上位から順に人名を対応付けることにより、人物ＩＤテーブル１９３を生成する。また、ステップ１８３で、人名の対応付けができない場合には、映像全体を複数の区域に分割し、分割された区域のそれぞれに対して、ステップ１８１〜ステップ１８２の処理を行い、人物ＩＤテーブルを生成することも可能である。
なお、その他のフェーズの動作は全て実施例１と同様である。
【００６３】
その他の実施例
本発明は、上記の実施例の他に、次のような実施形態で行うことができる。
（１）大局的な発話パタンを抽出し、マッチングの際のパスを制限する／重みをつけることができる。
（２）従来技術で用いられてきた特徴と、本発明で用いている特徴とを任意に組み合わせて整合を行うことができる。
【００６４】
本実施例によっても、映像音声とシナリオテキストとを高い精度で対応付けることを可能とする、映像音声とシナリオテキストとの整合方法を実現することが可能である。
【００６５】
なお、上記各実施例はいずれも本発明の一例を示すものであり、本発明はこれらに限定されるべきものではなく、本発明の技術的範囲を逸脱しない範囲内で適宜の変更・改良を行ってもよいことはいうまでもない。
【００６６】
例えば、前述のように、本発明に係る映像音声とシナリオテキストとの整合方法は、これを、コンピュータのプログラム制御により実行することが可能であり、本発明の技術的範囲は、このためのコンピュータソフトウェア、さらには、このコンピュータソフトウェアを記録した、コンピュータにより読み取り可能な記録媒体にも及ぶことはいうまでもない。
【００６７】
また、本発明に係る映像音声とシナリオテキストとの整合方法を具体化した映像音声とシナリオテキストとの整合装置も、有用なものである。
【００６８】
【発明の効果】
以上、詳細に説明したように、本発明によれば、各話者の発話情報に基づいてシナリオテキストと映像音声の整合を行うことができ、従来技術よりも精度のよい整合が可能になる。また、単語の情報を用いた場合に比べて整合箇所が少なく、従来技術よりも精度のよい整合が可能になるという顕著な効果を奏するものである。
【図面の簡単な説明】
【図１】本発明の実施例１の実施形態を示す図である。
【図２】図１中の人物データベース準備ステップ１１の動作を説明する詳細フローチャートである。
【図３】図２中のステップ２０２で得られる特徴ベクトルのデータの一例を示す図である。
【図４】図２中のステップ２０５で得られる特徴ベクトルテーブルの一例を示す図である。
【図５】図２中のステップ２０６で用いる人物ＩＤテーブルの一例を示す図である。
【図６】図２中のステップ２０９における非特許文献１０による処理で得られるデータの一例を示す図である。
【図７】図１中のステップ１２の処理を示す詳細フローチャートである。
【図８】図７中のステップ７７，７８，７９で得られるデータの一例を示す図である。
【図９】図１中のステップ１３の処理を示す詳細フローチャート
【図１０】図９中のステップ９５における処理を示す詳細フローチャートである。
【図１１】図１０中のステップ１０３，１０４，１０５で得られるデータの一例を示す図である。
【図１２】図１中のステップ１４の処理を示す詳細フローチャートである。
【図１３】図１２中のステップ１２１におけるパタン対の生成方法を示す図である。
【図１４】図１２中のステップ１２２におけるパタン要素の変換方法を示す図である。
【図１５】パタン同士の非線形伸縮によるマッチング（図１２のステップ１２３および１２４の処理で用いる計算式）を示す図である。
【図１６】図１２中のステップ１２６で出力されるインデクス情報の一例を示す図である。
【図１７】本発明の実施例２の実施形態を示す図である。
【図１８】実施例２の人物ＩＤテーブル生成ステップの動作を説明する詳細フローチャートである。
【図１９】人物ＩＤテーブルの自動生成を説明する図である。
【符号の説明】
１１  人物データベース準備ステップ
１２  映像音声処理ステップ
１３  シナリオテキスト処理ステップ
１４  整合ステップ
１７１  人物ＩＤテーブル生成ステップ
２０１〜２０９  人物データベース準備ステップの詳細
４０１  特徴ベクトルテーブル
５０１  人物ＩＤテーブル
６０１  多次元空間インデクス
【図１】
2005006181.tif 000008
【図２】
2005006181.tif 000009
【図３】
2005006181.tif 000010
【図４】
2005006181.tif 000011
【図５】
2005006181.tif 000012
【図６】
2005006181.tif 000013
【図７】
2005006181.tif 000014
【図８】
2005006181.tif 000015
【図９】
2005006181.tif 000016
【図１０】
2005006181.tif 000017
【図１１】
2005006181.tif 000018
【図１２】
2005006181.tif 000019
【図１３】
2005006181.tif 000020
【図１４】
2005006181.tif 000021
【図１５】
2005006181.tif 000022
【図１６】
2005006181.tif 000023
【図１７】
2005006181.tif 000024
【図１８】
2005006181.tif 000025
【図１９】
2005006181.tif 000026