(57)【要約】【課題】既に構造化された構造記述ファイルと同様な構造の動画像データをセグメントに区切ったり意味的内容を付与したりするための作業を軽減する。【解決手段】記憶装置１には、ある動画像データの参考構造記述ファイルと、これを元に新規動画像ファイルに構造化処理を行う範囲及び処理方法を記述した処理設定ファイルと、処理対象の新規動画像ファイルとを保存する。読み出し処理部２は記憶装置１から参考構造記述ファイルと処理設定ファイルと動画像ファイルを読み出す。構造記述データ取得処理部３は、参考構造記述ファイルを元に処理設定ファイルで記述の範囲について同じく指定のイベントを新規動画像ファイルから抽出する処理をイベント抽出処理部４に指示し、抽出されたイベントから新規動画像ファイルの構造記述データを取得する。これを構造記述データ出力処理部５が新規動画像ファイルのファイルとして記憶装置１に保存する。【選択図】  図１
2004274647.tif 000002
【特許請求の範囲】
【請求項１】
記憶装置に保存されている、ある動画像データの構造が記述された参考構造記述ファイルと参考構造記述ファイルを元に新規動画像ファイルに対して構造化処理を行う範囲および処理方法が記述された処理設定ファイルと処理対象となる新規動画像ファイルとを読み出す読み出し手順と、
該参考構造記述ファイルを元に該処理設定ファイルで記述された範囲について該処理設定ファイルで指定されたイベントを該新規動画像ファイルの中から抽出するイベント抽出手順と、
該参考構造記述ファイルを元に処理設定ファイルで記述された範囲について該抽出されたイベントから該新規動画像ファイルの構造記述データを取得する構造記述データ取得手順と、
該構造記述データ取得処理手順により取得された新規動画像ファイルの構造記述データをファイルとして該記憶装置に保存する構造記述データ出力手順とを備える
ことを特徴とする動画像処理方法。
【請求項２】
前記構造記述データ取得手順では、
前記イベント抽出手順で抽出されたイベントにより、新規動画像ファイルの構造記述データにおける意味的内容の区間を示すセグメントの終了点と次のセグメントの開始点の一方または双方を取得するとともに、次のセグメントがなくなるまで該イベント抽出手順に戻り、指定されたイベントの抽出を指示する処理を繰り返して、全てのセグメントの開始点と終了点を取得する
ことを特徴とする請求項１に記載の動画像処理方法。
【請求項３】
前記イベント抽出手順では、
イベントとして、動画像中のカット切り替え点、動画像中にテロップが出現している区間の開始点または終了点、動画像中に含まれている音楽区間の開始点または終了点、動画像中に含まれている音声区間の開始点または終了点、テロップの文字認識による特定の文字の表示開始点または表示終了点、動画像中において構成するフレームについて指定されたエリアの画素値の平均が指定値に比べて大きくなった検出点または小さくなった検出点、および動画像中に含まれている音声から話者が話した内容を認識して動画像中で特定の言葉が発せられた発声点の１以上を抽出する
ことを特徴とする請求項１または２に記載の動画像処理方法。
【請求項４】
ある動画像データの構造が記述された参考構造記述ファイルと参考構造記述ファイルを元に新規動画像ファイルに対して構造化処理を行う範囲および処理方法が記述された処理設定ファイルと処理対象となる新規動画像ファイルとが保存されている記憶装置と、
該記憶装置から参考構造記述ファイルと処理設定ファイルと動画像ファイルを読み出す読み出し処理部と、
該参考構造記述ファイルを元に該処理設定ファイルで記述された範囲について該処理設定ファイルで指定されたイベントを該新規動画像ファイルの中から抽出する処理を指示し、該指示により抽出されたイベントから該新規動画像ファイルの構造記述データを取得する構造記述データ取得処理部と、
該構造記述データ取得処理部からの該指示により該新規動画像ファイルの中から該イベントを抽出するイベント抽出処理部と、
該構造記述データ取得処理部により取得された新規動画像ファイルの構造記述データをファイルとして記憶装置に保存する構造記述データ出力処理部とを備える
ことを特徴とする動画像処理装置。
【請求項５】
前記構造記述データ取得処理部は、
前記イベント抽出処理部で抽出されたイベントにより、新規動画像ファイルの構造記述データにおける意味的内容の区間を示すセグメントの終了点と次のセグメントの開始点の一方または双方を取得するとともに、次のセグメントがなくなるまで該イベント抽出手順に戻り、指定されたイベントの抽出を指示する処理を繰り返して、全てのセグメントの開始点と終了点を取得するものである
ことを特徴とする請求項４に記載の動画像処理装置。
【請求項６】
前記イベント抽出処理部は、
イベントとして、動画像中のカット切り替え点、動画像中にテロップが出現している区間の開始点または終了点、動画像中に含まれている音楽区間の開始点または終了点、動画像中に含まれている音声区間の開始点または終了点、テロップの文字認識による特定の文字の表示開始点または表示終了点、動画像中において構成するフレームについて指定されたエリアの画素値の平均が指定値に比べて大きくなった検出点または小さくなった検出点、および動画像中に含まれている音声から話者が話した内容を認識して動画像中で特定の言葉が発せられた発声点の１以上を抽出するものである
ことを特徴とする請求項４または５に記載の動画像処理装置。
【請求項７】
請求項１ないし３のいずれかに記載の動画像処理方法における手順を、コンピュータに実行させるためのプログラムとした
ことを特徴とする動画像処理プログラム。
【請求項８】
請求項１ないし３のいずれかに記載の動画像処理方法における手順を、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする方法の動画像処理プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の構造化処理を行う方法および装置に関するものである。
【０００２】
【従来の技術】
動画像データに対してその意味的内容、例えばニュース番組の場合、
・オープニング
・オープニングトーク
・全国版ニュース
・ＣＭ
・地方版ニュース
・スポーツコーナー
・全国版天気予報
・地方版天気予報
・エンディングトーク
の如くに区切ってその内容を記述する作業（以下、構造化処理と呼ぶ）を行うことにより、動画像データを整理して容易く検索することが出来るため、動画像アーカイブ構築には非常に有効な作業である。そのために動画像データをその意味的内容に関してその開始点（以下、ｉｎ点と呼ぶ）および終了点（以下、ｏｕｔ点と呼ぶ）を抽出し（区切った単位を以下、セグメントと呼ぶ）、そのセグメントに対して前記の如く意味的内容を付与しておく作業が必要である。ｉｎ点とｏｕｔ点を抽出するには、従来ビデオ編集機器を利用して運用者が目視によりセグメントを認識しつつ抽出する方法が採られてきたが、ｉｎ点とｏｕｔ点を抽出する作業を軽減するために計算機により動画像中の計算機が認識出来る変化（以下、イベントと呼ぶ）を自動的に抽出することで、ある程度自動化するための技術が従来より存在する。
【０００３】
例えば、特許文献１や特許文献２などを利用することにより動画像中のカット点イベント（以下、単にカット点と呼ぶ）の検出が可能であり、特許文献３などを利用することにより動画像中に表示されるテロップの表示開始イベントと表示終了イベントの検出を行い、テロップが表示されている区間の検出が可能である。また、特許文献４などでは音楽や音声の開始イベントと終了イベントの検出により音楽や音声が再生されている区間の検出が可能である。また、特許文献５や特許文献６や特許文献７などにより動画像中のテロップ文字表示領域を検出することが出来、それを使ってＯＣＲ等で開発されてきた既存の文字認識方法（例えば、非特許文献１や非特許文献２など）を利用することにより、動画像中のテロップ文字認識が可能である。
【０００４】
以上のように、ある動画像データに対して計算機を利用して自動的にイベントの抽出を行ってセグメント化を行い、その結果を元に人手で意味的内容の単位に編集を行うことで、前記構造化処理を支援する技術が存在する。
【０００５】
【特許文献１】
特許２８３９１３２号公報
【０００６】
【特許文献２】
特開平１１−１８０２８号公報
【０００７】
【特許文献３】
特開平１１−１７８００７号公報
【０００８】
【特許文献４】
特開平１０−１８７１８２号公報
【０００９】
【特許文献５】
特開２０００−１９４８５１号公報
【００１０】
【特許文献６】
特開２００１−７６０９４号公報
【００１１】
【特許文献７】
特開２００２−５６３５５号公報
【００１２】
【非特許文献１】
萩田、内藤他：「外郭方向寄与度特徴による手書き漢字の識別」（電子情報通信学会論文誌（Ｄ）、Ｖｏｌ．Ｊ６６，Ｎｏ．１０（１９８３））
【００１３】
【非特許文献２】
鶴岡、栗田地：「加重方向ヒストグラム法による手書き漢字・ひらがな認識」（電子情報通信学会論文誌（Ｄ）、Ｖｏｌ．Ｊ７０，Ｎｏ．７（１９８７））
【００１４】
【発明が解決しようとする課題】
従来の技術によれば、前述の如くビデオ編集機器を用いて完全手作業によりセグメントを取得したり計算機により自動的にイベントを抽出することにより構造化の作業を軽減する技術は存在するが、同一シリーズや定期的に放映されるテレビ番組などその意味的内容および構造が酷似する（が各セグメントのｉｎ点やｏｕｔ点は必ずしも同一では無い）ことが前提として分かっている複数の動画像データに対しても、その各々全てに対して全く同じ作業を行わなければならない、という問題がある。
【００１５】
本発明は、上記従来の技術の問題点を解決するためになされたものであり、既に構造化された、ある動画像データの構造記述ファイルを利用することにより、同様な構造を持つと思われる動画像データ（同一シリーズや定期的に放映されるテレビ番組など：ただし各セグメントのｉｎ点やｏｕｔ点は必ずしも同じとは限らない）に対して、セグメントに区切ったり意味的内容を付与したりするための作業を軽減することが目的である。
【００１６】
【課題を解決するための手段】
上記の目的を達成するため、本発明は、記憶装置に保存されている、ある動画像データの構造が記述された参考構造記述ファイルと参考構造記述ファイルを元に新規動画像ファイルに対して構造化処理を行う範囲および処理方法が記述された処理設定ファイルと処理対象となる新規動画像ファイルとを読み出す読み出し手順と、該参考構造記述ファイルを元に該処理設定ファイルで記述された範囲について該処理設定ファイルで指定されたイベントを該新規動画像ファイルの中から抽出するイベント抽出手順と、該参考構造記述ファイルを元に処理設定ファイルで記述された範囲について該抽出されたイベントから該新規動画像ファイルの構造記述データを取得する構造記述データ取得手順と、該構造記述データ取得処理手順により取得された新規動画像ファイルの構造記述データをファイルとして該記憶装置に保存する構造記述データ出力手順とを備えることを特徴とする動画像処理方法を解決の手段とする。
【００１７】
あるいは、前記構造記述データ取得手順では、前記イベント抽出手順で抽出されたイベントにより、新規動画像ファイルの構造記述データにおける意味的内容の区間を示すセグメントの終了点と次のセグメントの開始点の一方または双方を取得するとともに、次のセグメントがなくなるまで該イベント抽出手順に戻り、指定されたイベントの抽出を指示する処理を繰り返して、全てのセグメントの開始点と終了点を取得することを特徴とする動画像処理方法を解決の手段とする。
【００１８】
あるいは、前記イベント抽出手順では、イベントとして、動画像中のカット切り替え点、動画像中にテロップが出現している区間の開始点または終了点、動画像中に含まれている音楽区間の開始点または終了点、動画像中に含まれている音声区間の開始点または終了点、テロップの文字認識による特定の文字の表示開始点または表示終了点、動画像中において構成するフレームについて指定されたエリアの画素値の平均が指定値に比べて大きくなった検出点または小さくなった検出点、および動画像中に含まれている音声から話者が話した内容を認識して動画像中で特定の言葉が発せられた発声点の１以上を抽出することを特徴とする動画像処理方法を解決の手段とする。
【００１９】
あるいは、ある動画像データの構造が記述された参考構造記述ファイルと参考構造記述ファイルを元に新規動画像ファイルに対して構造化処理を行う範囲および処理方法が記述された処理設定ファイルと処理対象となる新規動画像ファイルとが保存されている記憶装置と、該記憶装置から参考構造記述ファイルと処理設定ファイルと動画像ファイルを読み出す読み出し処理部と、該参考構造記述ファイルを元に該処理設定ファイルで記述された範囲について該処理設定ファイルで指定されたイベントを該新規動画像ファイルの中から抽出する処理を指示し、該指示により抽出されたイベントから該新規動画像ファイルの構造記述データを取得する構造記述データ取得処理部と、該構造記述データ取得処理部からの該指示により該新規動画像ファイルの中から該イベントを抽出するイベント抽出処理部と、該構造記述データ取得処理部により取得された新規動画像ファイルの構造記述データをファイルとして記憶装置に保存する構造記述データ出力処理部とを備えることを特徴とする動画像処理装置を解決の手段とする。
【００２０】
あるいは、前記構造記述データ取得処理部は、前記イベント抽出処理部で抽出されたイベントにより、新規動画像ファイルの構造記述データにおける意味的内容の区間を示すセグメントの終了点と次のセグメントの開始点の一方または双方を取得するとともに、次のセグメントがなくなるまで該イベント抽出手順に戻り、指定されたイベントの抽出を指示する処理を繰り返して、全てのセグメントの開始点と終了点を取得するものであることを特徴とする動画像処理装置を解決の手段とする。
【００２１】
あるいは、前記イベント抽出処理部は、イベントとして、動画像中のカット切り替え点、動画像中にテロップが出現している区間の開始点または終了点、動画像中に含まれている音楽区間の開始点または終了点、動画像中に含まれている音声区間の開始点または終了点、テロップの文字認識による特定の文字の表示開始点または表示終了点、動画像中において構成するフレームについて指定されたエリアの画素値の平均が指定値に比べて大きくなった検出点または小さくなった検出点、および動画像中に含まれている音声から話者が話した内容を認識して動画像中で特定の言葉が発せられた発声点の１以上を抽出するものであることを特徴とする動画像処理装置を解決の手段とする。
【００２２】
あるいは、上記の動画像処理方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする動画像処理プログラムを解決の手段とする。
【００２３】
あるいは、上記の動画像処理方法における手順を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする方法の動画像処理プログラムを記録した記録媒体を解決の手段とする。
【００２４】
本発明では、従来の技術を用いて既に構造化されたある動画像データの構造記述ファイルを利用することにより、同様な構造を持つと思われる動画像データ（同一シリーズや定期的に放映されるテレビ番組など）に対して、セグメントに区切ったり意味的内容を付与したりするための作業を計算機処理などによりかなりの部分を自動化し、その結果、運用者の負担を大幅に軽減する。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２６】
図１に本発明の装置構成の一実施形態例を示す。本装置は、ある動画像データの構造が記述された参考構造記述ファイルと参考構造記述ファイルを元に新規動画像ファイルに対して構造化処理を行う範囲および処理方法が記述された処理設定ファイルと処理対象となる新規動画像ファイルとが保存されている記憶装置１と、記憶装置１から参考構造記述ファイルと処理設定ファイルと動画像ファイルを読み出す読み出し処理部２と、該参考構造記述ファイルを元に該処理設定ファイルで記述された範囲について該処理設定ファイルで指定されたイベントを該新規動画像ファイルの中から抽出する処理を指示し、該指示により抽出されたイベントから該新規動画像ファイルの構造記述データを取得する構造記述データ取得処理部３と、構造記述データ取得処理部３からの該指示により該新規動画像ファイルの中から該イベントを抽出するイベント抽出処理部４と、構造記述データ取得処理部３により取得された新規動画像ファイルの構造記述データをファイルとして記憶装置１に保存する構造記述データ出力処理部５とを備える。
【００２７】
図２に本発明における構造記述ファイルの例を示す。本発明における参考構造記述ファイルおよび本発明で出力される構造記述ファイルの例であるが、情報としてこれらの内容が含まれていれば本発明は矛盾無く構成することが出来るため、フォーマットとして図２のようなテーブル状で無ければいけないということは無く（例えば、ｘｍｌ形式であっても情報として同様の内容が表現されていれば良い）、またｉｎ点ｏｕｔ点の時間表記（単位）や属性表現方法も図２の例に限らない。また、図２の例においてはセグメントを識別するＩＤとして１で始まり１づつインクリメントする整数の例を挙げているが、セグメントをユニークに識別するＩＤであればこの例に限ったものでは無い。さらに、図２の例では各セグメントが直列に連なって（あるセグメントのｏｕｔ点の次のフレームが次のセグメントのｉｎ点になっている）いて本実施形態例ではこのケースにおいて説明を行うが、本発明の動作上各セグメントが直列に連なっていなければならないという制約は存在しないし、例えば、複数のセグメントが時間軸上で重なりが存在する場合であっても問題無く動作する。
【００２８】
図３に本発明における処理設定ファイルの例を示す。情報としてこれらの内容が含まれていれば本発明は矛盾無く構成することが出来るため、フォーマットとして図３のようなテーブル状で無ければいけないということは無く（例えば、ｘｍｌ形式であっても情報として同様の内容が表現されていれば良い）、また探索開始点や探索終了点の表記の仕方（単位や正負）、イベント種別や属性の表現方法も図３の例に限らない。さらに、図３の例において第１列に振られている番号は図２の例における各セグメントの先頭からの相対的な位置を示していて（例えば、図３第１列の“３”は図２の例における「先頭から３番目のセグメント」を指している）、本実施形態例ではこのケースにおいて説明を行うが、図２の例におけるセグメントＩＤが識別出来れば問題無く動作するので、図３の表記で無ければならないという制限は存在しない。また、図３の例においては図２の例における各セグメント毎に異なる一種類のイベント抽出方法および属性が指定出来る例としていて本実施形態例ではこのケースに沿った説明を行っているが、必ずしも図３と図２はセグメントにおいて１対１に対応づけしなければならないというものでは無く、例えば、たったひとつのイベント抽出方法および属性が図２のセグメント全てにおいて適用しても問題は無い。また、あるひとつのセグメントに対して１種類のイベント抽出方法と属性を記述しなければならないという制約も無く（本実施形態例では説明を分かりやすくするために１種類のイベント抽出方法と属性が記述されているとした）、例えば、「テロップ“ＣＭ”が検出されて、音声区間が終了した後、フレーム上のある領域の平均色が（２０，２０，２０）以下となり、次の音楽区間が始まる直前がそのセグメントのｏｕｔ点である」という記述を行うことも本発明の容易な拡張により可能であり、現実の使用においては映像演出の約束事によるが複数の条件記述によってより確実なイベント抽出が可能となる。
【００２９】
以下、図１の各コンポーネント毎に説明を行う。
【００３０】
１．記憶装置
後述する処理設定ファイルや参考構造記述ファイルそれらを用いて本発明により構造化を行う新規映像ファイルが格納されており、本発明により出力される構造記述ファイルが格納される。参考構造記述ファイルが記述する元となる映像ファイルに関しては記憶装置１に格納されている必要は無い。本装置は一般的な装置であるため特に記述する項目は無い。
【００３１】
２．読み出し処理部
記憶装置１に格納されている処理設定ファイルや参考構造記述ファイルや新規映像ファイルを読み出す。一般的な処理装置であり特に記述する項目は無い。
【００３２】
３．構造記述デー夕取得処理部
図４に本構造記述デー夕取得処理部４の処理例を示す。
【００３３】
まず、変数ｃｏｕｎｔｅｒを１にセットする（１０１）。ｃｏｕｎｔｅｒは参考構造記述ファイル（図２）におけるセグメントの先頭からの相対的な位置（先頭を１とする）を示しており同時に処理設定ファイル（図３）の第１列に記述されている番号に相当する。
【００３４】
次に、変数ｉｎ−ｎｅｗ［ｃｏｕｎｔｅｒ］に参考構造記述ファイル（図２）の先頭からｃｏｕｎｔｅｒ番目のセグメントにおけるｉｎ点の時刻値（以下、ｉｎ［ｃｏｕｎｔｅｒ］と記述する）をセットする（１０２）。ここでｉｎ−ｎｅｗ［ｃｏｕｎｔｅｒ］は該新規映像ファイルにおける先頭からｃｏｕｎｔｅｒ番目のセグメントにおけるｉｎ点となり、最終的に該新規映像ファイルにおける構造記述データに反映される。
【００３５】
次に、変数ｓｔａｒｔに処理設定ファイル（図３）における先頭からｃｏｕｎｔｅｒ番目のセグメントにおける探索開始点の値（以下、探索開始点［ｃｏｕｎｔｅｒ］と記述する）をセットし、また変数ｅｎｄに処理設定ファイル（図３）における先頭からｃｏｕｎｔｅｒ番目のセグメントにおける探索終了点の値（以下、探索終了点［ｃｏｍｔｅｒ］と記述する）をセットする（１０３）。
【００３６】
次に、変数ｃｕｒｒｅｎｔにｏｕｔ［ｃｏｕｎｔｅｒ］＋ｓｔａｒｔの値をセットする（１０４）。ここでｏｕｔ［ｃｏｕｎｔｅｒ］は、参考構造記述ファイル（図２）の先頭からｃｏｕｎｔｅｒ番目のセグメントにおけるｏｕｔ点の時刻値である。また、ｃｕｒｒｅｎｔは新規映像ファイルの再生時刻を先頭からの相対値で示しているものとし絶対値では無いものとする。したがって、１秒当たりのフレーム数が異なる映像ファイルに対しても同じ処理が提供出来る（ただし、１秒当たりのフレーム数が必ず同一である映像ファイルにのみ適用する場合は、ｃｕｒｒｅｎｔの値として映像ファイルの先頭からの絶対値で表現しても構わない）。
【００３７】
次に、新規映像ファイルのｃｕｒｒｅｎｔに移動する（１０５）。
【００３８】
次に、処理設定ファイル（図３）のｃｏｕｎｔｅｒに相当するイベント種別と属性を取り出し、該当するイベント抽出処理を呼び出す（１０６）。イベント抽出処理の内容については次項に示す。
【００３９】
次に、イベント抽出処理部４からの戻り値によりｃｕｒｒｅｎｔの位置にイベントが見つかったかどうかを判定する。イベントが見つかった場合は１１１に移り、イベントが見つからなかった場合は１０８に移る（１０７）。１つのセグメントに対してイベント種別が複数指定されている場合（前述の例では、「テロップ“ＣＭ”が検出されて、音声区間が終了した後、フレーム上のある領域の平均色が（２０，２０，２０）以下となり、次の音楽区間が始まる直前がそのセグメントのｏｕｔ点である」）には、１０７ではひとつひとつ条件を前から満たすイベントを探していき、見つかった場合にはその状況をメモリに保持していき、最後の条件が見つかった場合には１１１に移り、それ以外は１０８に移る。
【００４０】
１０８では、ｃｕｒｒｅｎｔをインクリメントする。
【００４１】
１０９では、ｃｕｒｒｅｎｔが処理設定ファイルに記述された該セグメントの新規映像ファイルにおける探索終了点に到達したかどうかの判断を行い、探索終了点に到達していなければ１０５に移り、該セグメントに対する処理を続行する。探索終了点に到達している場合は、該セグメントについて処理設定ファイルに記述されたイベントが見つからなかったことを示すので１１０に移る。
【００４２】
１１０では、前記該新規映像ファイルにおける該セグメントについて処理設定ファイルに記述されたイベントが見つからなかったため、新規映像ファイルにおける該セグメントのｉｎ点とｏｕｔ点を参考構造記述ファイルの該値と同じ値とする。新規映像ファイルの構造記述ファイルにおける先頭からｃｏｕｎｔｅｒ番目のセグメントのｏｕｔ点の値（以下、ｏｕｔ−ｎｅｗ［ｃｏｕｎｔｅｒ］と記述する）をｏｕｔ［ｃｏｕｎｔｅｒ］とし、同様に新規映像ファイルの構造記述ファイルにおける先頭からｃｏｕｎｔｅｒ＋１番目のセグメントのｉｎ点の値（ｉｎ−ｎｅｗ［ｃｏｕｎｔｅｒ＋１］）をｏｕｔ［ｃｏｕｎｔｅｒ］＋１とし、１１２に移る。
【００４３】
１１１では、新規映像ファイルのｏｕｔ−ｎｅｗ［ｃｏｕｎｔｅｒ］をｃｕｒｒｅｎｔとし、同様にｉｎ−ｎｅｗ［ｃｏｕｎｔｅｒ＋１］をｃｕｒｒｅｎｔ＋１とし、１１２に移る。
【００４４】
１１２では、新規映像ファイルの構造記述データにおける先頭からｃｏｕｎｔｅｒ番目の該セグメントの属性値に参考構造記述ファイルの先頭からｃｏｕｎｔｅｒ番目の該セグメントの属性値をコピーする。
【００４５】
１１３では、ｃｏｕｎｔｅｒの値をインクリメントし、次のセグメントの処理に備える。
【００４６】
１１４では、ｃｏｕｎｔｅｒが示すセグメントが参考構造記述データに見つかるかどうかの判定を行い、見つかれば１０３に移って処理を続行し、見つからなければ処理が完了したことを示すため本構造記述データ取得処理部３における処理を終了し、構造記述データ出力処理部５に処理が移る。
【００４７】
４．イベント抽出処理部
前記構造記述データ取得処理部３の指示により新規映像ファイルからイベントの抽出を行う。イベント抽出では、処理設定ファイルに記述されているイベント種別とその属性により対応するイベント抽出処理が行われ、指定のイベントが存在するかどうかの処理を行う。カット点（図３における項番１）、テロップ出現区間（図３における項番２）、音楽区間（図３における項番３）、音声区間（図３における項番４）、テロップ認識（図３に項番５）、色認識（図３の項番６と項番７）等、本イベント抽出処理部４における処理の内容については、既知の手法により構成することを前提としているため、本明細書では利用の観点から以下に説明するにとどめる。
【００４８】
１）カット点
動画像中のカット切り替え点を検出する。例えば、特許文献１や特許文献２などで記載の方法が利用出来る。本明細書における例（図３項番１）においては、指定されたセグメントのｏｕｔ点（図２）の前後の探索開始点と探索終了点（図３）の間のカット切り替え点を検出する。
【００４９】
２）テロップ出現区間
動画像中にテロップが出現している区間（開始点と終了点）を検出する。例えば、特許文献３などで記載の方法が利用出来る。本明細書における例（図３項番２）においては、指定されたセグメントのｏｕｔ点（図２）の前後の探索開始点と探索終了点（図３）の間のテロップ出現終了点を検出する。
【００５０】
３）音楽区間
動画像中に含まれている音楽区間（開始点と終了点）を検出する。例えば、特許文献４などで記載の方法が利用出来る。本明細書における例（図３項番３）においては、指定されたセグメントのｏｕｔ点（図２）の前後の探索開始点と探索終了点（図３）の間の音楽区間終了点を検出する。
【００５１】
４）音声区間
動画像中に含まれている音声区間（開始点と終了点）を検出する。例えば、特許文献４などで記載の方法が利用出来る。本明細書における例（図３項番４）においては、指定されたセグメントのｏｕｔ点（図２）の前後の探索開始点と探索終了点（図３）の間の音声区間終了点を検出する。
【００５２】
５）テロップ認識
動画像中に含まれているテロップ出現区間において、更にテロップの文字認識を行う。例えば、特許文献５、特許文献６、および特許文献７などにより動画像中のテロップ文字表示領域が検出することが出来、それを使ってＯＣＲ等で開発されてきた既存の文字認識方法（例えば、非特許文献１や、非特許文献２など）を利用することが出来る。本明細書における例（図３項番５）においては、指定されたセグメントのｏｕｔ点（図２）の前後の探索開始点と探索終了点（図３）の間の“ＣＭ”というテロップの表示が終わった点を検出する。
【００５３】
６）色認識
動画像中において構成するフレームについて指定されたエリア（対象とする動画像によってフレーム全体でも良いしフレームの特定の一部の領域指定でも良い）の画素値の平均が指定された値に比べて大きい、あるいは小さいかどうかの検出を行う。処理の内容については余りに一般的であるため、特に詳細に説明は行わないが、本明細書における例（図３項番６）においては、指定されたセグメントのｏｕｔ点（図２）の前後の探索開始点と探索終了点（図３項番６）の間のフレームで指定されたエリアの画素値の平均が（２００，２００，２００）より大きいフレームを検出する（図４）、あるいは、別の例（図３項番７）では指定されたセグメントのｏｕｔ点（図２）の前後の探索開始点と探索終了点（図３項番７）の間のフレームで指定されたエリアの画素値の平均が（２０，２０，２０）より小さいフレームを検出する。
【００５４】
７）音声認識
動画像中に含まれている音声から話者が話した内容を認識する。例えば、ＶｏｉｃｅＲｅｘやＶｉａＶｏｉｃｅ（いずれも登録商標）などによる技術が利用出来る。これにより、動画像中で特定の言葉が発せられたイベントの検出が可能である。
【００５５】
なお、前記のとおり本イベント抽出処理部４では、常に単数種のイベント抽出処理のみを行うものでは無く、複数の処理の組み合せが可能である。
【００５６】
５．構造記述デー夕出力処理部
前記構造記述データ取得処理部３により生成された新規映像ファイルに対する構造記述データを記憶装置１に出力する。一般的な処理装置であり特に記述する項目は無い。
【００５７】
なお、図１などで示した本装置における各処理部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図１および図４などで示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで、本発明が実施可能となる。
【００５８】
【発明の効果】
本発明によると、既に構造化されたある動画像データの構造記述ファイルを利用することにより、同様な構造を持つと思われる動画像データ（同一シリーズや定期的に放映されるテレビ番組など）に対して、セグメントに区切ったり意味的内容を付与したりするための作業を計算機処理によりかなりの部分を自動化することが出来、結果として運用者の負担を大幅に軽減することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態例を示す構成図である。
【図２】本発明における構造記述ファイルの例であり、同時に本発明における参考構造記述ファイルの例を示す図である。
【図３】本発明における処理設定ファイルの記述例を示す図である。
【図４】本発明の一実施形態例における構造記述データ取得処理部の動作例を示すフローチャートである。
【符号の説明】
１…記憶装置
２…読み出し処理部
３…構造記述データ取得処理部
４…イベント抽出処理部
５…構造記述データ出力処理部
【図１】
2004274647.tif 000003
【図２】
2004274647.tif 000004
【図３】
2004274647.tif 000005
【図４】
2004274647.tif 000006