(57)【要約】【課題】  映像の部分区間（シーン）とシナリオテキストとの対応付け作業の効率を向上させる。【解決手段】  本発明は、読み込まれた映像データの部分区間と読み込まれたシナリオテキストとの対応付け結果である提示候補を表示手段に表示することにより、オペレータに判断を促し、オペレータから正しく対応付けられている旨の入力があった場合に、ロック情報記憶手段の、映像データの部分区間とシナリオテキストの対応関係を有するレコードのロックフラグをＯＮにし、次の映像データの部分区間とシナリオテキストの対応関係をオペレータに提示する際に、ロック情報記憶手段のロックフラグがＯＮになっている映像データの部分区間とシナリオテキストの対応関係を表示手段への提示候補から除外する。【選択図】  図１
2005236544.tif 000002
【特許請求の範囲】
【請求項１】
映像の部分区間（シーン）毎にシナリオテキストを対応付けるための映像・シナリオ整合方法において、
映像蓄積手段から読み込んだ映像データとシナリオ蓄積手段から読み込んだシナリオテキストの対応付けを行い、
オペレータとのユーザインタフェースを用いて、
読み込まれた映像データの部分区間と読み込まれたシナリオテキストとの対応付け結果を表示して、前記オペレータに判断を促し、
前記オペレータから対応付けが誤っている旨の入力があった場合には、
前記該オペレータに修正を要求し、ロック情報記憶手段の映像データの部分区間とシナリオテキストの対応関係を有するレコードのロックフラグをＯＮにし、対応付けの更新を行うかどうかを該オペレータに問い合わせ、
前記オペレータから更新を行う旨の入力があれば対応付け処理を繰り返すことを特徴とする映像・シナリオ整合方法。
【請求項２】
映像蓄積手段から映像データを入力し、シナリオ蓄積手段から一定の語長で区切られたシナリオテキストを入力するデータ入力過程と、
前記シナリオテキストの区切られた単位毎に話者名を含む記号列であるシナリオの話者パターンを生成して話者パターン記憶手段に格納するシナリオテキスト解析過程と、
前記映像データを単位区間毎に区切り、話者名を含む記号列である発話パターンを生成して発話パターン記憶手段に格納する映像解析過程と、
前記話者パターン記憶手段に格納された記号列と、前記発話パターン記憶手段に格納された記号列をマッチングし、台詞の変わり目と時刻とを対応付けた整合情報を生成し、整合情報記憶手段に格納する対応付け過程と、
前記整合情報記憶手段から整合情報を読み出して、該整合情報に対応する前記映像蓄積手段から映像を取得し、さらに、前記シナリオ蓄積手段からシナリオテキストを取得して、対応付けられた結果を表示手段に表示し、オペレータによって指定された映像部分区間を表示する対応付け結果表示過程と、
前記オペレータにより対応付け結果が正しいと判断され、対応関係のロックを指定された場合には、前記表示装置上の画面上のロック状態を示す表示を行うと共に、ロック情報記憶手段のロックフラグをＯＮにし、
前記オペレータにより対応付け結果の修正指示が行われた場合には、オペレータに対応付けすべきシナリオのキーワードを入力させ、該キーワードに対応するシナリオテキストを前記シナリオ蓄積手段から検索して前記表示装置上に表示し、該オペレータから対応関係のロックを指定された場合には、該表示装置上の画面上のロック状態を表す表示を行うと共に、前記ロック記憶手段のロックフラグをＯＮにすると共に、前記整合情報を更新する再整合過程と、
全ての映像データとシナリオテキストの整合が終了したら、整合情報を出力する整合結果出力過程と、からなる請求項1記載の映像・シナリオ整合方法。
【請求項３】
前記対応付け過程において、
前記ロック情報ファイルを参照し、ロックフラグがＯＮになっている台詞ＩＤに対応した台詞ＩＤに対応した部分でシナリオテキストを分割し、該ロックフラグがＯＮになっている時刻に対応した映像データを分析し、個別に対応付けを行って前記整合情報記憶手段に統合する請求項２記載の映像・シナリオ整合方法。
【請求項４】
映像の部分区間（シーン）毎にシナリオテキストを対応付けるための映像・シナリオ整合装置であって、
映像データを蓄積する映像蓄積手段と、
台詞ＩＤ、話者ＩＤ、話者名及び台詞からなるシナリオテキストを蓄積するシナリオ蓄積手段と、
前記シナリオ蓄積手段から前記シナリオテキストを読み込み、シナリオの話者パターンを生成して話者パターン記憶手段に格納するシナリオテキスト解析過程と、
前記映像蓄積手段から前記映像データを読み込み、単位区間毎に区切り、話者名を含む記号列である発話パターンを生成して発話パターン記憶手段に格納する映像解析過程と、
前記話者パターン記憶手段に格納された記号列と、前記発話パターン記憶手段に格納された記号列をマッチングし、台詞の変わり目と時刻とを対応付けた整合情報を生成し、整合情報記憶手段に格納する対応付け手段と、
前記整合情報記憶手段から整合情報を読み出して、前記映像蓄積手段から該整合情報に対応する映像を取得し、さらに、前記シナリオ蓄積手段から該整合情報に対応するシナリオテキストを取得して、対応付けられた結果を表示手段に表示し、オペレータによって指定された映像部分区間を表示する対応付け結果表示手段と、
前記オペレータにより対応付け結果が正しいと判断され、対応関係のロックが指定された場合には、前記表示装置上の画面上のロック状態を示す表示を行うと共に、ロック情報記憶手段のロックフラグをＯＮにし、また、該オペレータにより対応付け結果の修正指示が行われた場合には、オペレータに対応付けすべきシナリオのキーワードを入力させ、該キーワードに対応するシナリオテキストを前記シナリオ蓄積手段から検索して前記表示装置上に表示し、該オペレータから対応関係のロックを指定された場合には、該表示装置上の画面上のロック状態を表す表示を行うと共に、該ロック記憶手段のロックフラグをＯＮにすると共に、前記整合情報を更新するように指示する再整合手段と、
全ての映像データとシナリオテキストの整合が終了したら、整合情報を出力する整合結果出力手段と、を有することを特徴とする映像・シナリオ整合装置。
【請求項５】
前記対応付け手段は、
対応付けを行う際に、前記ロック情報ファイルを参照し、ロックフラグがＯＮになっている台詞ＩＤに対応した部分で話者パターンを分割し、該ロックフラグがＯＮになっている時刻に対応した部分で話者パターンを分割し、個別に対応付けを行って前記整合情報記憶手段に統合する手段を含む請求項４記載の映像・シナリオ整合装置。
【請求項６】
映像の部分区間（シーン）毎にシナリオテキストを対応付けるための映像・シナリオ整合プログラムであって、
コンピュータに、
映像蓄積手段から映像データを入力し、シナリオ蓄積手段から一定の語長で区切られたシナリオテキストを入力させるデータ入力ステップと、
前記シナリオテキストの区切られた単位毎に話者名を含む記号列であるシナリオの話者パターンを生成して話者パターン記憶手段に格納するシナリオテキスト解析ステップと、
前記映像データを単位区間毎に区切り、話者名を含む記号列である発話パターンを生成して発話パターン記憶手段に格納する映像解析ステップと、
前記話者パターン記憶手段に格納された記号列と、前記発話パターン記憶手段に格納された記号列をマッチングし、台詞の変わり目と時刻とを対応付けた整合情報を生成し、整合情報記憶手段に格納する対応付けステップと、
前記整合情報記憶手段から整合情報を読み出して、該整合情報に対応する前記映像蓄積手段から映像を取得し、さらに、前記シナリオ蓄積手段からシナリオテキストを取得して、対応付けられた結果を表示手段に表示し、オペレータによって指定された映像部分区間を表示する対応付け結果表示ステップと、
前記オペレータにより対応付け結果が正しいと判断され、対応関係のロックを指定された場合には、前記表示装置上の画面上のロック状態を示す表示を行うと共に、ロック情報記憶手段のロックフラグをＯＮにし、
前記オペレータにより対応付け結果の修正指示が行われた場合には、オペレータに対応付けすべきシナリオのキーワードを入力させ、該キーワードに対応するシナリオテキストを前記シナリオ蓄積手段から検索して前記表示装置上に表示し、該オペレータから対応関係のロックを指定された場合には、該表示装置上の画面上のロック状態を表す表示を行うと共に、前記ロック記憶手段のロックフラグをＯＮにすると共に、前記整合情報を更新する再整合ステップと、
全ての映像データとシナリオテキストの整合が終了したら、整合情報を出力する整合結果出力ステップと、を実行させることを特徴とする映像・シナリオ整合プログラム。
【請求項７】
前記対応付けステップにおいて、
対応付けを行う際に、前記ロック情報ファイルを参照し、ロックフラグがＯＮになっている台詞ＩＤに対応した部分で話者パターンを分割し、該ロックフラグがＯＮになっている時刻に対応した部分で話者パターンを分割し、個別に対応付けを行って前記整合情報記憶手段に統合するステップを実行させる請求項６記載の映像・シナリオ整合プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像・シナリオ整合方法及び装置及びプログラムに係り、特に、映像の部分区間（シーン）毎にシナリオテキストを対応付けるための映像・シナリオ整合方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
従来の映像とシナリオテキストを対応付ける第１の方法として、映像のショット切り換えを検出し、ショット単位にコメントをカット・アンド・ペーストすることにより入力する方法がある。
【０００３】
また、第２の方法として、映像とシナリオテキストとの対応付け処理に誤りがあった場合に、全ての区間についてＩＮ／ＯＵＴ点を指定することにより、誤りを修正する方法がある（例えば特許文献１，２参照）。
【特許文献１】特開２００３−２２４７７４「半自動型字幕番組制作システム」
【特許文献２】特開２００３−２２４７７３「タイムライン上の配置した字幕の境界移動による字幕編集支援システム」
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の第１の方法では、シナリオテキストからショットに対応するテキストをカット・アンド・ペーストする手間が掛かるという問題がある。また、ショットの先頭とナレーションの先頭が一致しないため、ショットの先頭からナレーションを聞き終わるまでに時間がかかる。また、ショット切り換えが存在しない映像に対応できないという問題がある。
【０００５】
また、従来の第２の方法では、対応付けが間違っていた全ての区間に対して、ＩＮ／ＯＵＴ点を指定する必要があり、手間が掛かるという問題がある。
【０００６】
本発明は、上記の点に鑑みなされたもので、映像の部分区間（シーン）とシナリオテキストとの対応付け作業の効率を向上させる映像・シナリオ整合方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
図1は、本発明の原理を説明するための図である。
【０００８】
本発明は、映像の部分区間（シーン）毎にシナリオテキストを対応付けるための映像・シナリオ整合方法において、
映像蓄積手段から読み込んだ映像データとシナリオ蓄積手段から読み込んだシナリオテキストの対応付けを行い（ステップ１）、
オペレータとのユーザインタフェースを用いて、
読み込まれた映像データの部分区間と読み込まれたシナリオテキストとの対応付け結果を表示して、前記オペレータに判断を促し（ステップ２）、
前記オペレータから対応付けが誤っている旨の入力があった場合には（ステップ３）、
前記該オペレータに修正を要求し（ステップ４）、ロック情報記憶手段の映像データの部分区間とシナリオテキストの対応関係を有するレコードのロックフラグをＯＮにし（ステップ５）、対応付けの更新を行うかどうかを該オペレータに問い合わせ（ステップ６）、
前記オペレータから更新を行う旨の入力があれば対応付け処理（ステップ１）から繰り返し、そうでなければ終了する。
【０００９】
本発明は、映像蓄積手段から映像データを入力し、シナリオ蓄積手段から一定の語長で区切られたシナリオテキストを入力するデータ入力過程と、
シナリオテキストの区切られた単位毎に話者名を含む記号列であるシナリオの話者パターンを生成して話者パターン記憶手段に格納するシナリオテキスト解析過程と、
映像データを単位区間毎に区切り、話者名を含む記号列である発話パターンを生成して発話パターン記憶手段に格納する映像解析過程と、
話者パターン記憶手段に格納された記号列と、発話パターン記憶手段に格納された記号列をマッチングし、台詞の変わり目と時刻とを対応付けた整合情報を生成し、整合情報記憶手段に格納する対応付け過程と、
整合情報記憶手段から整合情報を読み出して、該整合情報に対応する映像蓄積手段から映像を取得し、さらに、シナリオ蓄積手段からシナリオテキストを取得して、対応付けられた結果を表示手段に表示し、オペレータによって指定された映像部分区間を表示する対応付け結果表示過程と、
オペレータにより対応付け結果が正しいと判断され、対応関係のロックを指定された場合には、表示装置上の画面上のロック状態を示す表示を行うと共に、ロック情報記憶手段のロックフラグをＯＮにし、
オペレータにより対応付け結果の修正指示が行われた場合には、オペレータに対応付けすべきシナリオのキーワードを入力させ、該キーワードに対応するシナリオテキストをシナリオ蓄積手段から検索して表示装置上に表示し、該オペレータから対応関係のロックを指定された場合には、該表示装置上の画面上のロック状態を表す表示を行うと共に、ロック記憶手段のロックフラグをＯＮにすると共に、整合情報を更新する再整合過程と、
全ての映像データとシナリオテキストの整合が終了したら、整合情報を出力する整合結果出力過程と、からなる。
【００１０】
また、本発明は、対応付け過程において、
ロック情報ファイルを参照し、ロックフラグがＯＮになっている台詞ＩＤに対応した台詞ＩＤに対応した部分でシナリオテキストを分割し、該ロックフラグがＯＮになっている時刻に対応した映像データを分析し、個別に対応付けを行って前記整合情報記憶手段に統合する。
【００１１】
図２は、本発明の原理構成図である。
【００１２】
本発明は、映像の部分区間（シーン）毎にシナリオテキストを対応付けるための映像・シナリオ整合装置であって、
映像データを蓄積する映像蓄積手段１１０と、
台詞ＩＤ、話者ＩＤ、話者名及び台詞からなるシナリオテキストを蓄積するシナリオ蓄積手段１２０と、
シナリオ蓄積手段からシナリオテキストを読み込み、シナリオの話者パターンを生成して話者パターン記憶手段１２に格納するシナリオテキスト解析手段１４０と、
映像蓄積手段１１０から映像データを読み込み、単位区間毎に区切り、話者名を含む記号列である発話パターンを生成して発話パターン記憶手段１１に格納する映像解析手段１３０と、
話者パターン記憶手段１２に格納された記号列と、発話パターン記憶手段１１に格納された記号列をマッチングし、台詞の変わり目と時刻とを対応付けた整合情報を生成し、整合情報記憶手段１３に格納する対応付け手段１５０と、
整合情報記憶手段１３から整合情報を読み出して、映像蓄積手段１１０から該整合情報に対応する映像を取得し、さらに、シナリオ蓄積手段１２０から該整合情報に対応するシナリオテキストを取得して、対応付けられた結果を表示手段に表示し、オペレータによって指定された映像部分区間を表示する対応付け結果表示手段１６１と、
オペレータにより対応付け結果が正しいと判断され、対応関係のロックが指定された場合には、表示装置上の画面上のロック状態を示す表示を行うと共に、ロック情報記憶手段１４のロックフラグをＯＮにし、また、該オペレータにより対応付け結果の修正指示が行われた場合には、オペレータに対応付けすべきシナリオのキーワードを入力させ、該キーワードに対応するシナリオテキストをシナリオ蓄積手段１２０から検索して表示装置上に表示し、該オペレータから対応関係のロックを指定された場合には、該表示装置上の画面上のロック状態を表す表示を行うと共に、該ロック記憶手段１４のロックフラグをＯＮにすると共に、整合情報を更新するように指示する再整合手段１６２と、
全ての映像データとシナリオテキストの整合が終了したら、整合情報を出力する整合結果出力手段１６３と、を有する。
【００１３】
また、上記の対応付け手段１５０は、
対応付けを行う際に、ロック情報ファイルを参照し、ロックフラグがＯＮになっている台詞ＩＤに対応した部分で話者パターンを分割し、該ロックフラグがＯＮになっている時刻に対応した部分で話者パターンを分割し、個別に対応付けを行って整合情報記憶手段に統合する手段を含む。
【００１４】
本発明は、映像の部分区間（シーン）毎にシナリオテキストを対応付けるための映像・シナリオ整合プログラムであって、
コンピュータに、
映像蓄積手段から映像データを入力し、シナリオ蓄積手段から一定の語長で区切られたシナリオテキストを入力させるデータ入力ステップと、
シナリオテキストの区切られた単位毎に話者名を含む記号列であるシナリオの話者パターンを生成して話者パターン記憶手段に格納するシナリオテキスト解析ステップと、
映像データを単位区間毎に区切り、話者名を含む記号列である発話パターンを生成して発話パターン記憶手段に格納する映像解析ステップと、
話者パターン記憶手段に格納された記号列と、発話パターン記憶手段に格納された記号列をマッチングし、台詞の変わり目と時刻とを対応付けた整合情報を生成し、整合情報記憶手段に格納する対応付けステップと、
整合情報記憶手段から整合情報を読み出して、該整合情報に対応する映像蓄積手段から映像を取得し、さらに、シナリオ蓄積手段からシナリオテキストを取得して、対応付けられた結果を表示手段に表示し、オペレータによって指定された映像部分区間を表示する対応付け結果表示ステップと、
オペレータにより対応付け結果が正しいと判断され、対応関係のロックを指定された場合には、表示装置上の画面上のロック状態を示す表示を行うと共に、ロック情報記憶手段のロックフラグをＯＮにし、
オペレータにより対応付け結果の修正指示が行われた場合には、オペレータに対応付けすべきシナリオのキーワードを入力させ、該キーワードに対応するシナリオテキストをシナリオ蓄積手段から検索して表示装置上に表示し、該オペレータから対応関係のロックを指定された場合には、該表示装置上の画面上のロック状態を表す表示を行うと共に、ロック記憶手段のロックフラグをＯＮにすると共に、整合情報を更新する再整合ステップと、
全ての映像データとシナリオテキストの整合が終了したら、整合情報を出力する整合結果出力ステップと、を実行させる。
【００１５】
また、上記の対応付けステップにおいて、
対応付けを行う際に、前記ロック情報ファイルを参照し、ロックフラグがＯＮになっている台詞ＩＤに対応した部分で話者パターンを分割し、該ロックフラグがＯＮになっている時刻に対応した部分で話者パターンを分割し、個別に対応付けを行って前記整合情報記憶手段に統合するステップを実行させる。
【発明の効果】
【００１６】
本発明は、映像データとシナリオの対応付けを行う際に、オペレータから対応関係が正しいと判断された対応付け結果に対して、ロックフラグをＯＮにしておくことにより、オペレータにより指示された対応点を通る、より良い対応付けを生成することができる。
【００１７】
また、映像に対応する台詞をテキスト検索で探す際に、検索範囲を直前のロック情報（映像より前の時刻で一番近いもの）から直後のロック情報（映像より後の時刻で一番近いもの）までの間に限定することができる。このため、テキスト検索結果の件数が少なくなり、ロックフラグが無い場合に比べて、台詞の確認の手間が減少する。
【発明を実施するための最良の形態】
【００１８】
以下、図面と共に本発明の実施の形態を説明する。
【００１９】
最初に、以下の説明で用いられる用語について説明する。
・映像：ｍｐｅｇ等の動画像ファイル；
・シナリオテキスト：話者名と台詞文章が特定のフォーマットで記述されたテキストファイル；
・シナリオ整合：特定の台詞が映像音声の内容と合致するようにタイムコードを与える操作（対応付け操作と修正操作を繰り返すことにより行う）；
・対応付け操作：自動でシナリオと映像音声とを対応付ける操作、別プログラム（対応付けプログラム）により行う。
・修正操作：対応付け操作の結果得られる整合状態を、ＧＵＩを介して手作業で修正する操作；
・キュー（ＣＵＥ）：特定のシナリオテキストが対応付けられた１部分映像；
次に、本発明の装置構成について説明する。
【００２０】
図３は、本発明の一実施の形態における映像シナリオ整合装置の構成を示す。
【００２１】
同図に示す映像シナリオ整合装置は、映像蓄積部１１０、シナリオ蓄積部１２０、映像解析部１３０、シナリオテキスト解析部１４０、対応付け部１５０、制御部１６０、表示部１７０、入力部１８０、発話パターンファイル１１、話者パターンファイル１２、整合情報ファイル１３、ロック情報ファイル１４から構成される。
【００２２】
映像蓄積部１１０は、入力された映像ファイルのデータを蓄積する。
【００２３】
シナリオ蓄積部１２０は、入力されたシナリオテキストを蓄積する。シナリオテキストの例を図４に示す。同図に示すように、シナリオテキストは、台詞ＩＤ、話者ＩＤ、話者名、台詞から構成される。
【００２４】
映像解析部１３０は、映像蓄積部１１０から映像データを読み込み、単位区間長に区切り、一定の長さの時区間における話者名が並べられたリストである発話パターンを生成し、発話パターンファイル１１に格納する。図５に発話パターンの例を示す。同図に示すように、発話パターン１１は、単位区間ＩＤ，単位区間スタート点、単位区間エンド点、話者ＩＤから構成される。なお、発話パターン１１は、ファイル形式で記憶手段に格納されるものとする。
【００２５】
シナリオテキスト解析部１４０は、図６に示すように、シナリオ蓄積部１２０からシナリオテキストを読み込み、台詞を一定の語長で区切った時の話者名のリストである話者パターンを台詞ＩＤを付与して生成し、話者パターンファイル１２に格納する。
【００２６】
対応付け部１５０は、発話パターン１１の記号列と話者パターン１２の記号列とをＤＰマッチング等の手法により対応付け、図７に示すように、台詞の変わり目と時刻（ｓｅｃ）とを対応付けた整合情報を生成し、整合情報ファイル１３に格納する。
【００２７】
制御部１６０は、図８に示すように、整合情報ファイル１３の整合情報の台詞ＩＤと再生時刻からシナリオ蓄積部１２０のシナリオテキスト及び、映像蓄積部１１０の静止画を取得し、表示装置１７０に対して、整合結果表示ウィンドウに並べて表示するように制御する。また、整合コントロールウィンドウには、選択されたＣＵＥ番号（初期値は先頭）のシナリオテキスト及び静止画を表示すると共に、再生ボタンが入力装置１８０からクリックされた場合には、指定した位置から映像を再生する。また、制御部１６０は、入力装置１８０から再生している映像の部分区間とシナリオセグメントの対応が正しいと判断した場合には、ロック情報ファイル１４に対して、台詞と時刻の対応を固定するロック情報（ロックフラグをＯＮに設定）を追加し、対応付け部１５０が発話パターンと話者パターンの記号列を対応付ける際に、ＤＰマッチングにより話者パターンと発話パターンが対応付けられ、話者パターンから台詞ＩＤが、発話パターンから再生時刻（単位区間Start）が得られ、台詞ＩＤと再生時刻を並べてリストを作成する。このとき、同じ台詞ＩＤを持つ行が複数できる場合があるので、時刻が最も早いもののみを整合情報ファイル１３に書き込む。
【００２８】
ロック情報ファイル１４は、図９に示すように、ロックＩＤ，台詞ＩＤ，ロックされた映像の再生時刻及びロックフラグから構成される。制御部１６０によりロックが指示されると、ロック情報ファイル１４には、ロックされた順に付与されるロックＩＤ，整合情報ファイル１３から取得した整合した台詞ＩＤとロックされた映像の再生時刻からなるレコードが追加される。
【００２９】
表示装置１７０は、制御部１６０の指示により、整合結果表示ウィンドウと整合コントロールウィンドウを表示する。
【００３０】
ここで、整合結果表示ウィンドウと整合コントロールウィンドウについて説明する。
【００３１】
整合結果ウィンドウは、図９の右側に示すようなウィンドウであり、ＣＵＥ番号、ロックアイコン、ＣＵＥ先頭カット画像及び時刻、再生位置カーソル、修正ＣＵＥ先頭カット画像及び時刻、台詞文章表示部などがある。
【００３２】
整合コントロールウィンドウは、図１０の左側に示すようなウィンドウであり、メニューバー（ファイル、ツール、ヘルプ）、映像表示部、映像シークコントロール、台詞表示部、台詞シークコントロール、音声波形表示部、フレーム映像表示部、対応付け位置の修正コントロールボタンからなる。対応付け位置の修正コントロールボタンは、図１１に示すように、リンクボタン、ロックボタン等があり、リンクボタンは、映像側の表示とシナリオテキストの表示同期／非同期を切り替えるボタンである。また、ロックボタンは、映像音声とシナリオテキストの整合のペアをロックする。整合を再帰的に行う場合には、ロックされたペアは不動となる。これらのボタンを用いることにより、修正のためにリンクを解除し、正しい整合のペアを選択してロックをかける。また、最初の状態で既に整合されている場合には、再整合の前にロックをかける等の処理が可能である。
【００３３】
次に、上記の構成における動作を図１２を用いて説明する。
【００３４】
ステップ１０１）  映像解析部１３０が、映像蓄積部１１０から映像を入力し、シナリオテキスト解析部１４０がシナリオ蓄積部１２０から、シナリオテキストは、台詞ＩＤ，話者ＩＤ，話者名及び台詞からなるシナリオテキストを入力する。
【００３５】
ステップ１０２）  シナリオテキスト解析部１４０において、シナリオテキストの台詞を一定の語長で区切り、通し番号を付与し、当該通し番号順に話者名を並べ、話者パターンファイル１２を生成する。
【００３６】
ステップ１０３）  また、映像解析部１３０において、映像データから一定の長さの時区間毎に、単位区間ＩＤ，単位区間スタート点、単位区間エンド点及び話者ＩＤからなる発話パターンファイル１３を生成する。
【００３７】
ステップ１０４）  制御部１６０は、ロック情報ファイル１４のロックフラグを全てＯＦＦに初期化する。
【００３８】
ステップ１０５）  対応付け部１５０において、発話パターンファイル１１と話者パターンファイル１２の各パターン毎の記号列をＤＰマッチングすることにより、台詞ＩＤと対応付けられた映像の再生時刻を取得し、対応付けを行い、整合情報ファイル１３を生成する。
【００３９】
ステップ１０６）  制御部１６０において、整合情報ファイル１３、映像蓄積部１１０の映像データ及び、シナリオ蓄積部１２０のシナリオテキストを読み込み、対応付け結果として、整合結果表示ウィンドウと整合コントロールウィンドウを表示装置１７０上に表示する。
【００４０】
ステップ１０７）オペレータが整合コントロールウィンドウのテキストのシーク操作ボタンを操作（前ＣＵＥ／次ＣＵＥ）することにより、映像の部分区間及び／またはシナリオテキストの再生を指示すると、制御部１６０は、当該指示に基づいて、整合コントロールウィンドウに指定されたＣＵＥの部分映像及び／またはシナリオテキストを表示する。このとき、整合情報ファイル１３からＣＵＥ番号の行を読み、対応する映像シナリオを表示する。なお、ＣＵＥ番号は、整合情報ファイル１３を読み込むときに、整合情報ファイルの行番号に一致させる。
【００４１】
ステップ１０８）  オペレータが表示装置１７０上に表示されている整合コントロールウィンドウを見て、再生している映像の部分区間とシナリオセグメントの対応付けが正しいかを判定し、正しければ（整合していれば）ステップ１０９に移行し、正しくなければ（整合していなければ）ステップ１１０に移行する。
【００４２】
ステップ１０９）  オペレータが整合コントロールウィンドウに表示されている部分区間とシナリオセグメントが整合していれば、入力装置１８０からロックボタンをロックする。これにより、制御部１６０は、ロック情報ファイル１４のロックフラグをＯＮにし、ステップ１０７に移行する。このとき、整合結果表示ウィンドウの各ＣＵＥ番号に対応するロックアイコンがロック表示される。このとき、制御部１６０は、現在のＣＵＥ番号を表示部１７０に通知し、ロックアイコンをロック表示させる。
【００４３】
ステップ１１０）  オペレータが、整合コントロールウィンドウのテキストボックスに、入力装置１８０から検索キーワードを指定する。
【００４４】
ステップ１１１）  制御部１６０は、当該キーワードに基づいて、シナリオ蓄積部１２０を検索し、当該キーワードが存在した場合には、整合結果表示ウィンドウ中のシナリオテキスト欄のキーワードを強調表示する。
【００４５】
ステップ１１２）  オペレータは、対応付けを修正し、ロックフラグをＯＮにすると、制御部１６０は、対応付けられた台詞ＩＤとロックされた映像の再生時刻を整合情報ファイル１４から取得し、ロックフラグをＯＮに設定し、ロックＩＤを付与して、ロックファイル１４に追加登録する。
【００４６】
ステップ１１３）  オペレータが映像とシナリオを再度対応付けを行う指示を行うと、ステップ１０６の処理に移行し、再度ステップ１０６以降の処理を行う。
【００４７】
上記のステップ１０３において、映像の音声から発話パターンを作成する方法としては、例えば、“Automatic Speech and Speaker Recognition-Advanced Topics,”Kluwer Academic Publishers Group, 1996, ISBN 0-7923-9706-1等に記載された手法を用いることで実現できる。
【００４８】
また、上記のステップ１０５の処理について詳細に説明する。
【００４９】
図１３は、本発明の話者パターンと発話パターンを対応付ける処理のフローチャートである。
【００５０】
まず、対応付け部１５０は、整合情報ファイル１３をクリアし（ステップ１５０１）、次に、ロック情報ファイル１４に基づき、話者パターンと発話パターンを同じ数に分割する（ステップ１０５２，１０５３）。このとき、分割数はロック情報ファイルの行数＋１となる。次に、分割された話者パターンと発話パターンを個別にＤＰマッチングし、話者パターンから台詞ＩＤを取得し、発話パターンから再生時刻（単位区間Start）を取得することで、台詞ＩＤと再生時刻のリストを作成する（ステップ１０５５）。このリストから、各台詞ＩＤのうち時刻が最も早いものを整合情報ファイル１３に追加する（ステップ１０５６）。この処理を分割数分繰り返す（ステップ１０５４）ことで整合情報ファイル１３を生成する。
【００５１】
次に、対応付けの動作を詳細に説明する。
【００５２】
対応付け部１５０において、初回の対応付けを行う場合には、図１４に示すように、話者パターンと発話パターンをマッチングするが、その場合、ロック情報が全てＯＦＦであるので、そのまま対応付けを行い整合情報ファイル１３に出力する。
【００５３】
また、ロック情報がある場合には、図１５に示すように、ロック情報を参照して、話者パターンの分割数を、
分割数＝ロック情報の行数＋１
により求め、当該分割数に基づいて、話者パターンを分割する。同図の例では、話者パターン片１，２，３に分かれており、話者パターン片１は、先頭から台詞ＩＤより前まで、話者パターン片２は、台詞ＩＤ１から台詞ＩＤ３より前まで、話者パターン片３は、台詞ＩＤ３から台詞ＩＤ１８より前までにそれぞれ分割する。
【００５４】
発話パターンについては、図１６に示すように、ロック情報を参照し、発話パターンを上記の式で計算された分割数に応じて、発話パターン片１は先頭から０：００：００より前まで、発話パターン片２は０：００：００から０：０７：００より前まで、発話パターン片３は０：０７：００から０：１５：３０より前までにそれぞれ分割する。
【００５５】
図１５、図１６により分割された話者パターン片、発話パターン片を対応付けて、整合情報ファイル１３に追加する処理を分割数分繰り返すことにより整合情報ファイル１３が更新される。
【００５６】
次に、上記の動作に基づいて、図１８〜図２３を用いて、具体的に説明する。
【００５７】
ここで、動作の説明をする前に、入力装置１８０、出力装置１９０におけるインタフェースについて説明する。
【００５８】
入力装置１８０から映像コントロールの次ＣＵＥ（または、前ＣＵＥ）が入力されると、現在表示されている整合コントロールウィンドウの再生画面に表示されている映像区間の次（前）の区間が整合コントロールウィンドウの再生画面に表示される。このとき、シーク操作のリンクボタンがＯＮであれば、テキストボックスに表示される台詞が同期して次（前）の台詞に遷移する（ＯＦＦのときはテキストの変更はない）。
【００５９】
入力装置１８０から、テキストボックスのコントロールの次（前）テキストが入力されると、現在表示されている台詞の次（前）の台詞が表示される。ここで、シーク操作のリンクボタンがＯＮであれば、映像区間も同期して次（前）の区間に遷移する。
【００６０】
リンクボタンをＯＮにして、映像及びテキストのシーク操作を行うと、映像とテキストが同期して変化するので、対応付けが正しいかどうかを確認することが可能である。
【００６１】
また、対応付けが間違っている場合には、リンクボタンをＯＦＦにすることで、映像の音声を聞き取り、テキスト検索機能で対応する台詞を探すことで正しい対応付けを行うことができる。このとき、テキスト検索を行う範囲は、ロック情報によって制限される。
【００６２】
以下では、映像解析部１３０、シナリオテキスト解析部１４０により、発話パターンファイル１１、話者パターンファイル１２が作成され、更に、対応付け部１５０により整合情報ファイル１３が作成されているものとする。
【００６３】
図１８は、対応付け開始時の起動画面の例である。ここで、オペレータが、プログラムアイコンをダブルクリックすることにより起動し、画面上の「ファイル（Ｆ）」をクリックすると、ファイル選択のダイアログボックスが表示され、整合情報ファイルを選択する。このとき、制御部１６０は、整合コントロールウィンドウのリンクボタンをＯＮとし、ロックボタンをＯＦＦとする（ステップ１０４）。制御部１６０は、話者パターンと発話パターンを対応付け、整合情報ファイル１３に追加する（ステップ１０５）、これにより、制御部１６０は、整合情報ファイル１３から整合情報を読み込み、台詞ＩＤに基づいてシナリオ蓄積部１２０からシナリオテキスト内の台詞を参照し、同様に、タイムコードに基づいて映像ファイル蓄積部１１０からカット映像を生成し整合コントロールウィンドウに表示する（ステップ１０６）。また、整合結果ウィンドウの映像表示部に、「ＣＵＥ１」の先頭カットを、台詞表示部に「ＣＵＥ１」の台詞をそれぞれ表示する。図１９では、リンクボタンをＯＮ、ロックボタンをＯＦＦとした状態を初期状態として表示している。
【００６４】
この状態において、映像シークコントロール、または、台詞シークコントロールを操作することにより（ステップ１０７）、整合コントロールウィンドウに任意のＣＵＥを表示させることができる。整合コントロールウィンドウ上で表示されているＣＵＥは、整合状態表示ウィンドウで同色の太枠でハイライトされる。
【００６５】
上記の状態で、任意のＣＵＥ位置において、オペレータがロックボタンをクリックすると（ステップ１０７，１０８）、図２０に示すように、ロックボタンのアイコンが赤（施錠マーク）へと変化する。また、ロックした整合結果ウィンドウのＣＵＥ番号もロックボタンと同様に変化する。ロックされたＣＵＥの情報がロック情報ファイル１４へ書き出される（ステップ１０９）。
【００６６】
次に、上記の操作の後、任意の区間の対応関係を修正することができる。まず、シークのリンクボタンをクリックすると、図２１に示すように、シークのリンクボタン及びロックボタンの両方が非アクティブ状態に遷移する。次に、映像のシークコントロールを用いて任意の時刻の映像にジャンプし、図２２に示すように、その時点で映像のコントロールにより映像の再生を一時停止する。シーク操作を繰り返し、特定の台詞の開始時点で一時停止する。適切な対応関係にある台詞のテキストセグメントを、台詞のシークコントロールとしてキーワードを指定することにより選択し（ステップ１１０）、マッチした部分を強調表示する（ステップ１１１）。
【００６７】
この時点でロックボタンをクリックすると、シークのリンクボタン及びロックボタンがＯＮになり、ロック情報ファイル１４に時刻情報及び台詞ＩＤが書き出される（ステップ１１２）。
【００６８】
上記の操作を繰り返し行い、複数回ロックを行った後、再度整合を行うことができる。
【００６９】
オペレータが図２３に示すメニューバーのツールにおいて、「再整合」を選択すると、対応付け部１５０により新規に書き出す整合情報ファイル１３のパスを指定し、オペレータが整合ボタンがクリックすると、対応付け部１５０は、ロック情報ファイル１４に基づいてマッチング処理を行い、整合情報ファイル１３に上書きする。前の整合情報ファイル１３は、ファイル名を変更した後、バックアップとして残すことも可能である。
【００７０】
上記の処理の終了後、映像と台詞の対応付けが正しく行われていれば、制御部１６０は、整合情報を出力する。
【００７１】
上記のステップ１０９において、オペレータがロックボタンをＯＮにする操作を指定すると、制御部１６０は、台詞と時刻との対応を固定するロック情報をロック情報ファイル１４に追加し、対応付け部１５０が発話パターンの記号列と話者パターンの記号列とを対応付けする際に、ロック情報ファイル１４のロックフラグがＯＮになっている台詞ＩＤに対応した部分で話者パターンを分割し、ロックフラグがＯＮになっている時刻に対応した部分で発話パターンを分割し、個別に対応付けを行って整合情報ファイル１３に統合する。
【００７２】
これにより、対応付け部１５０に人手により指定された対応点を通るより良い対応付けを生成することができる。
【００７３】
また、映像の対応する台詞をテキスト検索で検索する際に、検索範囲を直前のロック情報（映像より前の時刻で一番近いもの）から直後のロック情報（映像より後の時刻で一番近いもの）までの間に限定できる。このため、テキストの検索の件数が少なくなり、ロックフラグがない場合に比べて台詞の確認の手間が減少する。図２４に示すように、ロック情報がない場合には、全範囲を検索する必要があるが、ロック情報を用いると、ロックされている範囲については探索する必要がない。
【００７４】
なお、前述の図３に示す映像解析部１３０、シナリオテキスト解析部１４０、対応付け部１５０、制御部１６０の動作をプログラムとして構築し、映像シナリオ整合装置として利用されるコンピュータにインストールし、ＣＰＵ等の制御手段に実行させることが可能である。
【００７５】
また、構築されたプログラムを映像シナリオ整合装置として利用されるコンピュータに接続されるハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、実施する際に、コンピュータにインストールすることも可能である。
【００７６】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【産業上の利用可能性】
【００７７】
本発明は、映像データとシナリオデータ（テキストデータ）とをユーザインタフェースを介して対応付けるシステムに適用可能である。
【図面の簡単な説明】
【００７８】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における映像シナリオ整合装置の構成図である。
【図４】本発明の一実施の形態におけるシナリオテキストの構成図である。
【図５】本発明の一実施の形態における発話パターンファイルの構成図である。
【図６】本発明の一実施の形態における話者パターンファイルの生成手順を示す図である。
【図７】本発明の一実施の形態における整合情報ファイルの例である。
【図８】本発明の一実施の形態における制御部の動作を説明するための図である。
【図９】本発明の一実施の形態におけるロック情報ファイルの構成図である。
【図１０】本発明の一実施の形態における表示装置に表示されるウィンドウを説明するための図である。
【図１１】本発明の一実施の形態における対応付け位置の修正コントロールボタンを説明するための図である。
【図１２】本発明の一実施の形態における映像シナリオ整合装置の動作のフローチャートである。
【図１３】本発明の一実施の形態における話者パターンと発話パターンを対応付ける処理のフローチャートである。
【図１４】本発明の一実施の形態における初回の対応付けを説明するための図である。
【図１５】本発明の一実施の形態におけるロック情報がある場合の対応付けを説明するための図（その１）である。
【図１６】本発明の一実施の形態におけるロック情報がある場合の対応付けを説明するため図（その２）である。
【図１７】本発明の一実施の形態におけるロック情報がある場合の対応付けを説明するための図（その３）である。
【図１８】本発明の一実施の形態における対応付け開始時の起動画面の例である。
【図１９】本発明の一実施の形態における整合情報を開いた時点における画面例である。
【図２０】本発明の一実施の形態におけるオペレータが判断を行った場合（正しいと判断）の表示例である。
【図２１】本発明の一実施の形態におけるオペレータが判断を行った場合（正しくないと判断）の表示例である。
【図２２】本発明の一実施の形態における対応関係の修正の例である。
【図２３】本発明の一実施の形態における再整合を行う場合の表示例である。
【図２４】本発明の一実施の形態におけるロック情報による効果を説明するための図である。
【符号の説明】
【００７９】
１１  発話パターン記憶手段、発話パターンファイル
１２  話者パターン記憶手段、話者パターンファイル
１３  整合情報記憶手段、整合情報ファイル
１４  ロック情報記憶手段、ロック情報ファイル
１５  整合情報
１１０  映像蓄積手段、映像蓄積部
１２０  シナリオ蓄積手段、シナリオ蓄積部
１３０  映像解析手段、映像解析部
１４０  シナリオテキスト解析手段、シナリオテキスト解析部
１５０  対応付け手段、対応付け部
１６０  制御部
１６１  対応付け結果表示手段
１６２  再整合手段
１６３  整合結果出力手段
１７０  表示部
１８０  入力部  
【図１】
2005236544.tif 000003
【図２】
2005236544.tif 000004
【図３】
2005236544.tif 000005
【図４】
2005236544.tif 000006
【図５】
2005236544.tif 000007
【図６】
2005236544.tif 000008
【図７】
2005236544.tif 000009
【図８】
2005236544.tif 000010
【図９】
2005236544.tif 000011
【図１１】
2005236544.tif 000012
【図１２】
2005236544.tif 000013
【図１３】
2005236544.tif 000014
【図１４】
2005236544.tif 000015
【図１５】
2005236544.tif 000016
【図１６】
2005236544.tif 000017
【図１７】
2005236544.tif 000018
【図１８】
2005236544.tif 000019
【図２４】
2005236544.tif 000020
【図１０】
2005236544.tif 000021
【図１９】
2005236544.tif 000022
【図２０】
2005236544.tif 000023
【図２１】
2005236544.tif 000024
【図２２】
2005236544.tif 000025
【図２３】
2005236544.tif 000026