(57)【要約】【課題】  シナリオと映像を対応付ける候補が複数ある場合に、オペレータへの候補提示時の判断の負担を軽減する。【解決手段】  本発明は、映像（イベント）とシナリオ（レコード）を対応付けた少なくとも１つの対応付け候補を含む系列対応付け候補を記憶手段から読み込んで入力し、読み込んだ対応付け候補のレコードについてスコアを求め、スコアに基づいて、オペレータに提示するレコードを決定して、該レコードに対応する対応付け候補を抽出し、表示手段に出力し、オペレータから選択された系列対応付け候補を取得し、記憶手段内の系列対応付け候補から削除する。【選択図】  図１
2005236545.tif 000002
【特許請求の範囲】
【請求項１】
対応付けられた映像とシナリオとの検証を行う対応関係検証支援方法において、
映像（イベント）とシナリオ（レコード）を対応付けた少なくとも１つの対応付け候補を含む系列対応付け候補を記憶手段から読み込んで入力する系列対応付け候補入力過程と、
読み込んだ前記対応付け候補のレコードについてスコアを求めるスコア設定過程と、
前記スコアに基づいて、オペレータに提示するレコードを決定して、該レコードに対応する対応付け候補を抽出し、表示手段に出力する対応付け候補提示過程と、
前記オペレータから選択された系列対応付け候補を取得し、前記記憶手段内の系列対応付け候補から削除する削除過程と、からなることを特徴とする対応関係検証支援方法。
【請求項２】
前記スコア設定過程において、
前記対応付け候補のレコードを前記オペレータに提示した場合に、削除できる系列対応付け候補の数をスコアとして設定する請求項１記載の対応関係検証支援方法。
【請求項３】
前記スコア設定過程において、
前記対応付け候補のレコードを前記オペレータに提示した場合に、削除される系列対応付け候補の期待値を求め、
前記期待値を、前記オペレータに提示されているイベントの個数で割ることにより、１つのイベントあたりの系列対応付け候補削減量をスコアとして設定する請求項１記載の対応関係検証支援方法。
【請求項４】
前記対応付け候補提示過程において、
前記スコア設定過程において、最も大きなスコアを有する対応付け候補のレコードを前記オペレータに提示する請求項１記載の対応関係検証支援方法。
【請求項５】
対応付けられた映像とシナリオとの検証を行う対応関係検証支援装置であって、
映像（イベント）とシナリオ（レコード）を対応付けた少なくとも１つの対応付け候補を含む系列対応付け候補を記憶手段から読み込んで入力する系列対応付け候補入力手段と、
読み込んだ前記対応付け候補のレコードについてスコアを求めるスコア設定手段と、
前記スコアに基づいて、オペレータに提示するレコードを決定して、該レコードに対応する対応付け候補を抽出し、表示手段に出力する対応付け候補提示手段と、
前記オペレータから選択された系列対応付け候補を取得し、前記記憶手段内の系列対応付け候補から削除する削除手段と、を有することを特徴とする対応関係検証支援装置。
【請求項６】
前記スコア設定手段は、
前記対応付け候補のレコードを前記オペレータに提示した場合に、削除できる系列対応付け候補の数をスコアとして設定する手段を含む請求項５記載の対応関係検証支援装置。
【請求項７】
前記スコア設定手段は、
前記対応付け候補のレコードを前記オペレータに提示した場合に、削除される系列対応付け候補の期待値を求める手段と、
前記期待値を、前記オペレータに提示されているイベントの個数で割ることにより、１つのイベントあたりの系列対応付け候補削減量をスコアとして設定する手段と、を含む請求項５記載の対応関係検証支援装置。
【請求項８】
前記対応付け候補提示手段は、
前記スコア設定手段において、最も大きなスコアを有する対応付け候補のレコードを前記オペレータに提示する手段を含む請求項５記載の対応関係検証支援装置。
【請求項９】
対応付けられた映像とシナリオとの検証を行うコンピュータに実行させる対応関係検証支援プログラムであって、
映像（イベント）とシナリオ（レコード）を対応付けた少なくとも１つの対応付け候補を含む系列対応付け候補を記憶手段から読み込んで入力する系列対応付け候補入力ステップと、
読み込んだ前記対応付け候補のレコードについてスコアを求めるスコア設定ステップと、
前記スコアに基づいて、オペレータに提示するレコードを決定して、該レコードに対応する対応付け候補を抽出し、表示手段に出力する対応付け候補提示ステップと、
前記オペレータから選択された系列対応付け候補を取得し、前記記憶手段内の系列対応付け候補から削除する削除ステップと、をコンピュータに実行させることを特徴とする対応関係検証支援プログラム。
【請求項１０】
前記スコア設定ステップにおいて、
前記対応付け候補のレコードを前記オペレータに提示した場合に、削除できる系列対応付け候補の数をスコアとして設定するステップを含む請求項９記載の対応関係検証支援プログラム。
【請求項１１】
前記スコア設定ステップにおいて、
前記対応付け候補のレコードを前記オペレータに提示した場合に、削除される系列対応付け候補の期待値を求めるステップと、
前記期待値を、前記オペレータに提示されているイベントの個数で割ることにより、１つのイベントあたりの系列対応付け候補削減量をスコアとして設定するステップと、を含む請求項９記載の対応関係検証支援プログラム。
【請求項１２】
前記対応付け候補提示ステップにおいて、
前記スコア設定ステップにおいて、最も大きなスコアを有する対応付け候補のレコードを前記オペレータに提示するステップを含む請求項９記載の対応関係検証支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対応関係検証支援方法及び装置及びプログラムに係り、特に、対応付けられたシナリオと映像を検証するための対応関係検証支援方法及び装置及びプログラムに関する。詳しくは、複数経路の正解確率を考慮することによりオペレータの判断回数をより少なくするための対応関係検証支援方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
シナリオと当該シナリオに対する映像を対応付けることにより、字幕の表示タイミングの自動的に付与する、映像に関して説明するための情報（メタデータ）の付与を行うといった研究がなされている（例えば、特許文献１、非特許文献1参照）。
【特許文献１】特開平１０−２５４４７８「音声原稿最適照合装置及び方法」
【非特許文献１】柳沼良知、坂内正夫「ＤＰマッチングを用いたドラマ映像・音声・シナリオ文書の対応づけ手法の位置提案」電子情報通信学会論文誌D-II Vol.J79-D-II No.5, pp.747-755, 1996年5月
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来のシナリオと映像の対応付け技術における対応関係の検証はオペレータの目視によるしかない。しかし、先頭から全ての対応関係をオペレータの目視で検証を行うのは大変なコストである。
【０００４】
本発明は、上記の点に鑑みなされたもので、オペレータが目視で検証する回数をより少なくすることが可能な対応関係検証支援方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
図１は、本発明の原理を説明するための図である。
【０００６】
本発明は、対応付けられた映像とシナリオとの検証を行う対応関係検証支援方法において、
映像（イベント）とシナリオ（レコード）を対応付けた少なくとも１つの対応付け候補を含む系列対応付け候補を記憶手段から読み込んで入力する系列対応付け候補入力過程（ステップ１）と、
読み込んだ対応付け候補のレコードについてスコアを求めるスコア設定過程（ステップ２）と、
スコアに基づいて、オペレータに提示するレコードを決定して、該レコードに対応する対応付け候補を抽出し、表示手段に出力する対応付け候補提示過程（ステップ３）と、
オペレータから選択された系列対応付け候補を取得し、記憶手段内の系列対応付け候補から削除する削除過程（ステップ４）と、からなる。
【０００７】
また、本発明のスコア設定過程において、
対応付け候補のレコードをオペレータに提示した場合に、削除できる系列対応付け候補の数をスコアとして設定する。
【０００８】
また、本発明のスコア設定過程において、
対応付け候補のレコードをオペレータに提示した場合に、削除される系列対応付け候補の期待値を求め、
期待値を、オペレータに提示されているイベントの個数で割ることにより、１つのイベントあたりの系列対応付け候補削減量をスコアとして設定する。
【０００９】
また、本発明の対応付け候補提示過程において、
スコア設定過程において、最も大きなスコアを有する対応付け候補のレコードをオペレータに提示する。
【００１０】
図２は、本発明の原理構成図である。
【００１１】
本発明は、対応付けられた映像とシナリオとの検証を行う対応関係検証支援装置であって、
映像（イベント）とシナリオ（レコード）を対応付けた少なくとも１つの対応付け候補を含む系列対応付け候補を記憶手段７から読み込んで入力する系列対応付け候補入力手段１と、
読み込んだ対応付け候補のレコードについてスコアを求めるスコア設定手段２と、
スコアに基づいて、オペレータに提示するレコードを決定して、該レコードに対応する対応付け候補を抽出し、表示手段９に出力する対応付け候補提示手段３と、
オペレータから選択された系列対応付け候補を取得し、記憶手段７内の系列対応付け候補から削除する削除手段５と、を有する。
【００１２】
また、本発明のスコア設定手段２は、
対応付け候補のレコードをオペレータに提示した場合に、削除できる系列対応付け候補の数をスコアとして設定する手段を含む。
【００１３】
また、本発明のスコア設定手段２は、
対応付け候補のレコードをオペレータに提示した場合に、削除される系列対応付け候補の期待値を求める手段と、
期待値を、オペレータに提示されているイベントの個数で割ることにより、１つのイベントあたりの系列対応付け候補削減量をスコアとして設定する手段と、を含む。
【００１４】
また、本発明の対応付け候補提示手段３は、
スコア設定手段２において、最も大きなスコアを有する対応付け候補のレコードをオペレータに提示する手段を含む。
【００１５】
本発明は、対応付けられた映像とシナリオとの検証を行うコンピュータに実行させる対応関係検証支援プログラムであって、
映像（イベント）とシナリオ（レコード）を対応付けた少なくとも１つの対応付け候補を含む系列対応付け候補を記憶手段から読み込んで入力する系列対応付け候補入力ステップと、
読み込んだ対応付け候補のレコードについてスコアを求めるスコア設定ステップと、
スコアに基づいて、オペレータに提示するレコードを決定して、該レコードに対応する対応付け候補を抽出し、表示手段に出力する対応付け候補提示ステップと、
オペレータから選択された系列対応付け候補を取得し、記憶手段内の系列対応付け候補から削除する削除ステップと、をコンピュータに実行させる。
【００１６】
また、本発明のスコア設定ステップにおいて、
対応付け候補のレコードをオペレータに提示した場合に、削除できる系列対応付け候補の数をスコアとして設定するステップを含む。
【００１７】
また、本発明のスコア設定ステップにおいて、
対応付け候補のレコードをオペレータに提示した場合に、削除される系列対応付け候補の期待値を求めるステップと、
期待値を、オペレータに提示されているイベントの個数で割ることにより、１つのイベントあたりの系列対応付け候補削減量をスコアとして設定するステップと、を含む。
【００１８】
また、本発明の対応付け候補提示ステップにおいて、
スコア設定ステップにおいて、最も大きなスコアを有する対応付け候補のレコードをオペレータに提示するステップを含む。
【発明の効果】
【００１９】
本発明は、シナリオ（レコード）と映像（イベント）を対応付ける候補が複数ある場合に、候補中の幾つかの対応付け結果をオペレータに提示することによって正しい対応付け経路を決定するシステムにおいて、複数経路の正解確率を考慮することにより、オペレータの判断回数をより少なくし、少ない負担で正しい経路を判断することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態を図面と共に説明する。
【００２１】
図３は、本発明の一実施の形態における対応関係検証支援装置の構成を示す。
【００２２】
同図に示す対応関係検証支援装置は、系列対応付け候補読み取り部１、スコア設定部２、候補提示部３、オペレータ入力読み取り部４、系列対応付け候補修正部５、系列対応付け候補数カウント部６、系列対応付け候補記憶部７、系列対応付け結果記憶部８、表示装置９、及び入力装置１０から構成される。
【００２３】
系列対応付け候補読み取り部１は、系列対応付け候補記憶部７から系列対応付け候補（レコード（シナリオ）とイベント（映像）の組）を読み取る。
【００２４】
スコア設定部２は、系列対応付け候補に基づいて、レコード（シナリオ）に対してスコアを設定する。
【００２５】
候補提示部３は、スコアに基づき、オペレータへ提示するレコードを決定し、表示装置９に出力する。
【００２６】
オペレータ入力読み取り部４は、入力装置１０を介して入力さえたオペレータからの情報を読み取る。
【００２７】
系列対応付け候補修正部５は、オペレータからの入力を用いて系列対応付け候補を削減する。
【００２８】
系列対応付け候補カウント部６は、系列対応付け候補修正部５によって削減された結果、残っている系列対応付け候補の数をカウントし、残った対応付け結果を系列対応付け結果記憶部８に記憶する。
【００２９】
系列対応付け候補記憶部７は、図４に示すような対応付け候補の組を格納する。図４において、Ｍ１〜Ｍ５までの５つの対応付け候補の組があり、以下では、Ｍ１、Ｍ２などを「系列対応付け候補」と呼び、その内部の（Ａ，１）を対応付け候補と呼ぶ。さらに、対応付け候補（Ａ，１）の、「Ａ」をレコード（シナリオ）と呼び、「１」をイベント（映像）と呼ぶ。
【００３０】
映像対応付け結果記憶部８は、最終的に残った系列対応付け候補を記憶する。
【００３１】
表示装置９は、候補提示部３から渡された候補を提示するディスプレイ等である。
【００３２】
入力装置１０は、ユーザが削除する系列対応付け候補を入力する。
【００３３】
次に、上記の構成における動作を説明する。
【００３４】
図５は、本発明の一実施の形態における全体の動作のフローチャートである。
【００３５】
ステップ１０１）  系列対応付け候補読み取り部１が、系列対応付け候補記憶部７から図４に示すような系列対応付け候補集合を読み込む。
【００３６】
ステップ１０２）  スコア設定部２は、系列対応付け候補読み取り部１で読み込まれた全てのレコード（シナリオ）について評価式に基づいてスコアを求める。当該処理については後述する。
【００３７】
ステップ１０３）  候補提示部３は、スコア設定部２で設定されたスコアが付与されたレコードとそれに対応付けられる可能性のあるイベントを表示装置９に出力する。これにより、オペレータは、入力装置１０から提示されたレコードとイベントから当該レコードと正しく対応付いているイベントを指定する。
【００３８】
ステップ１０４）  オペレータ入力読み取り部４は、入力装置１０から指定されたイベントを解釈し、系列対応付け候補修正部５に転送し、系列対応付け候補修正部５は、系列対応付け候補を削除する。
【００３９】
当該処理は、例えば、対応付け候補（ａ，ｂ）を提示した場合、オペレータの判断として、ａとｂの対応付けが正しいか否かを判断し、オペレータの判断が『正しく対応付いている』という場合には、系列対応付け候補の中に（ａ，ｂ）という対応付けが存在するものだけが系列対応付け候補として残り、それ以外は削除される。一方、オペレータが『正しく対応付いていない』と判断した場合は、逆に系列対応付け候補の中で（ａ，ｂ）という対応付けが存在しないものだけが候補として残ることになる。
【００４０】
ステップ１０５）  系列対応付け候補数カウント部６において、系列対応付け候補の数を確認し、１であれば当該系列対応付け候補を系列対応付け結果記憶部８に書き込んで処理を終了し、そうでなければステップ１０１に移行する。
【００４１】
次に、上記のステップ１０２（スコア設定）について詳細に説明する。以下では、オペレータへの提示回数を最少化するための方法と、オペレータへ提示するイベントの総数を最少化する２つの例を示す。
【００４２】
図６は、本発明の一実施の形態におけるスコア設定動作のフローチャート（その１）であり、スコア設定部２において、オペレータに提示した場合に、削除できる系列対応付け候補の数をスコアとして設定する場合の動作である。
【００４３】
ステップ３０１）  ｉ＝０に初期化する。
【００４４】
ステップ３０２）  レコードｉについて、オペレータに提示し他場合に、削除される系列対応付け候補の期待値を以下の式を用いて計算し、レコードｉのスコアＳｉとする。
【００４５】
Ｓｉ＝Ｍ−Ｅ［Ｍｋ’］
但し、Ｍ：もとの系列対応付け候補数であり、Ｅ［Ｍｋ’］は、レコードｋを提示してオペレータが判断を下した後の系列対応付け候補の数Ｍ’ｋの期待値であり、
Ｅ［Ｍｋ’］＝Σｊ（Ｎｋｊ・Ｐｋｊ）
で表される。但し、
Ｎｋｊは（ｋ，ｊ）という対応付け候補を含む系列対応付け候補の数；
Ｐｋｊは（ｋ，ｊ）という対応付け候補が正解である確率；
ステップ３０３）  全てのレコードについてスコアを計算したかを判断し、計算されていれば処理を終了し、計算されていない場合にはステップ３０４に移行する。
【００４６】
ステップ３０４）  ｉをインクリメントしてステップ３０２に移行する。
【００４７】
上記の処理を行うことにより、オペレータへの平均提示回数を最少化することができる。
【００４８】
次に、スコア設定部２において、オペレータに提示した場合に提示される１つのイベントあたりに削除できる系列対応付け候補を最大化する方法について説明する。
【００４９】
図７は、本発明の一実施の形態におけるスコア設定動作のフローチャート（その２）である。
【００５０】
ステップ４０１）  ｉ＝０に初期化する。
【００５１】
ステップ４０２）  レコードｉについてオペレータに提示した場合に、削除される系列対応付け候補の期待値を以下の式を用いて計算し、Ｖｉとする。
【００５２】
Ｖｉ＝Ｍ−Ｅ［Ｍｋ’］
但し、Ｍ：もとの系列対応付け候補数であり、Ｅ［Ｍｋ’］は、
Ｅ［Ｍｋ’］＝Σｊ（Ｎｋｊ・Ｐｋｊ）
Ｉｋ＝（Ｍ−Ｅ［Ｍｋ’］／ｍｋ（Ｉｋが最大になるレコードｋを選択）
Ｎｋｊ（ｊ＝１，２，…ｍｋ）：対応付け（ｋ、ｊ）を含む系列対応付け候補の数；
Ｐｋｊ：対応付け（ｋ、ｊ）を含む系列対応付け候補画正解である確率；
ステップ４０３）  期待値Ｖｉをそのときにオペレータに提示されているイベントの個数ｍで割ることにより、提示１イベントあたりの系列対応付け候補削減量を求め、スコアＳｉとする。
【００５３】
Ｓｉ＝Ｖｉ／ｍ    （ｍはレコードｉに対応付く可能性のあるイベントの個数）
ステップ４０４）  全てのレコードについてスコアを計算したかを判断し、計算されていれば、処理を終了し、計算されていなければステップ４０５に移行する。
【００５４】
ステップ４０５）  ｉをインクリメントしてステップ４０２に移行する。
【００５５】
次に、前述のステップ１０３の処理について説明する。
【００５６】
ステップ１０３では、候補提示部３が、スコア設定部２で設定されたスコアＳｉに従って、オペレータに対応付け候補を提示し、オペレータの判断を促すべき対応付け候補を選択させる。
【００５７】
図８は、本発明の一実施の形態における対応付け候補提示動作のフローチャートである。
【００５８】
ステップ５０１）  ｉ＝０と初期化する。
【００５９】
ステップ５０２）  レコードｉのスコアＳｉをｍａｘに代入する。同時に、ｉをｗｉｎに代入する。
【００６０】
ステップ５０３）  ｉをインクリメントする。
【００６１】
ステップ５０４）  ｉのスコアがＳｉがｍａｘより大きいか判断し、大きければステップ５０５に移行し、そうでなければステップ５０３に移行する。
【００６２】
ステップ５０５）  ｍａｘとして、Ｓｉを代入する。同時に、ｉをｗｉｎに代入する。
【００６３】
ステップ５０６）  全てのレコードが終了しているか判断し、終了していなければステップ５０３に移行し、終了していればステップ５０７に移行する。
【００６４】
ステップ５０７）  レコードｗｉｎをオペレータに提示する。
【００６５】
次に、前述のステップ１０４の系列対応付け候補を削除する処理について説明する。
【００６６】
図９は、本発明の一実施の形態における系列対応付け候補削除動作のフローチャートである。
【００６７】
ステップ６０１）  ｉ＝０と初期化する。
【００６８】
ステップ６０２）  系列対応付け候補修正部５は、系列対応付け候補ｉに、オペレータ入力読み取り部４から渡されたオペレータの入力した対応付け候補（ｗｉｎ，ｏｐｅ）が含まれるかを判断し、含まれている場合には、ステップ６０３に移行し、そうでない場合にはステップ６０４に移行する。ここで、「ｗｉｎ」は提示されたレコードであり、「ｏｐｅ」はオペレータの入力を示す。
【００６９】
ステップ６０３）  系列対応付け候補ｉを系列対応付け候補から削除する。
【００７０】
ステップ６０４）  全ての系列対応付け候補をチェックしたか判断し、終了していなければステップ６０５に移行し、終了していれば、削除された結果残った系列対応付け候補を系列対応付け候補カウント部６に転送し、処理を終了する。
【００７１】
ステップ６０５）  ｉをインクリメントして、ステップ６０２に移行する。
【００７２】
なお、図３に示す対応関係検証支援装置の系列対応付け候補読み取り部１、スコア設定部２、候補提示部３、オペレータ入力読み取り部４、系列対応付け候補修正部５、系列対応付け候補数カウント部６の処理（図５〜図８）をプログラムとして構築し、対応関係検証支援装置として利用されるコンピュータにインストールし、ＣＰＵ等の制御手段により実行する、または、ネットワークを介して流通させてもよい。
【００７３】
また、構築されたプログラムを、対応関係検証支援装置として利用されるコンピュータに接続されるハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際に、コンピュータにインストールすることも可能である。
【００７４】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【産業上の利用可能性】
【００７５】
本発明は、シナリオと映像を対応付けるシステムに適用可能である。
【図面の簡単な説明】
【００７６】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における対応関係検証支援装置の構成図である。
【図４】本発明の一実施の形態における系列対応付け候補記憶部のデータの例である。
【図５】本発明の一実施の形態における全体の動作のフローチャートである。
【図６】本発明の一実施の形態におけるスコア設定動作のフローチャート（その１）である。
【図７】本発明の一実施の形態におけるスコア設定動作のフローチャート（その２）である。
【図８】本発明の一実施の形態における対応付け候補提示動作のフローチャートである。
【図９】本発明の一実施の形態における系列対応付け候補削除動作のフローチャートである。
【符号の説明】
【００７７】
１  系列対応付け候補入力手段、系列対応付け候補読み取り部
２  スコア設定手段、スコア設定部
３  対応付け候補提示手段、対応付け候補提示部
４  オペレータ入力読み取り部
５  削除手段、系列対応付け候補修正部
６  系列対応付け候補数カウント部
７  記憶手段、系列対応付け候補記憶部
８  系列対応付け結果記憶部
【図１】
2005236545.tif 000003
【図２】
2005236545.tif 000004
【図３】
2005236545.tif 000005
【図４】
2005236545.tif 000006
【図５】
2005236545.tif 000007
【図６】
2005236545.tif 000008
【図７】
2005236545.tif 000009
【図８】
2005236545.tif 000010
【図９】
2005236545.tif 000011