(57)【要約】【課題】記録保存される映像音声データについて、毎回の手動作業を要することなく、視聴に適した分割や制御点の決定と関連情報付与を行うことができる情報処理装置を提供する。【解決手段】記録媒体９０、映像データ取得部４８、映像データ指定部４７、音声データ分離部２５、キー生成部３１、キー関連データ取得部５５及びキーデータ管理部１０を備え、第１の音声データ中の区間を指定してキーを生成する際に、近傍の分割点や制御点に基づく名称や属性情報を保持しておき、キーの音声パターンと類似した音声区間を第２の音声データ中から検出した際に、保持されている属性情報に従って、検出された区間の始終端を基準に分割点や制御点を決定し、分割された区間や制御点または音声データ全体に対して、保持されている名称または命名方法に従って付与された名称を設定する。【選択図】      図１
2006309923.tif 000002
【特許請求の範囲】
【請求項１】
利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理装置において、
前記支援データを生成するためのキー音声データを取得するキー音声データ取得部と、
前記キー音声データの全部または一部区間を指定するためのキー指定情報を入力するキー指定情報入力部と、
前記キー指定情報に基づいて、前記キー音声データの全部または一部区間を切り出して音声パターンデータを検索キーとして生成するキー生成部と、
前記キー指定情報に基づいて、前記キー音声データと関連するキー関連データを取得するキー関連データ取得部と、
前記音声パターンデータと前記キー関連データとを含むキーデータと、前記利用対象データとを照合して支援データを生成する支援データ生成部と、
を具備する
ことを特徴とする情報処理装置。
【請求項２】
前記支援データ生成部は、
前記利用対象データから音声データのみを利用対象音声データとして取得する音声データ取得部と、
前記音声パターンデータに前記キー関連データを付加してキーデータとして記録するキーデータ管理部と、
前記利用対象音声データと前記音声パターンデータとを所定の条件に基づいて照合し、前記利用対象音声データにおける前記所定の条件を満たす位置を表す照合結果情報を出力するキー照合部と、
前記出力された照合結果情報を前記支援データとして記録媒体に記録させる照合結果記録指示部と、
を具備する
ことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記利用対象データが映像音声データであり、
前記音声データ取得部は、前記利用対象データから音声データを分離して、この音声データを利用対象音声データとして取得する
ことを特徴とする請求項２記載の情報処理装置。
【請求項４】
前記キーデータは、前記再生、編集、検索時の動作に関連する動作属性情報を含み、
前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って前記記録媒体に前記支援データを記録する
ことを特徴とする請求項２または３記載の情報処理装置。
【請求項５】
前記キー指定情報を基準として、前記キー音声データにおけるマーカ位置または分割位置を検索するキーデータ検索部をさらに具備し、
前記キー関連データ取得部は、前記キーデータ検索部において検索されたマーカまたは分割の情報をキー関連データとして取得する
ことを特徴とする請求項４記載の情報処理装置。
【請求項６】
前記キーデータ検索部は、前記キー指定情報において指定された範囲に一致するマーカ範囲または分割単位を検索し、マーカまたは分割の情報として取得する
ことを特徴とする請求項５記載の情報処理装置。
【請求項７】
前記キーデータ検索部は、前記キー指定情報において指定された範囲の始端または終端のいずれか一方に一致するマーカ位置または分割位置を検索し、前記マーカ位置、前記マーカ位置を含むマーカ範囲、前記分割位置、前記分割位置を含む分割単位のいずれかをマーカまたは分割の情報として取得する
ことを特徴とする請求項５記載の情報処理装置。
【請求項８】
前記キーデータ検索部は、前記キー指定情報において指定された範囲の始端または終端のいずれか一方に近接するマーカ位置または分割位置を検索し、前記マーカ位置、前記マーカ位置を含むマーカ範囲、前記分割位置、前記分割位置を含む分割単位のいずれかをマーカまたは分割の情報として取得する
ことを特徴とする請求項５記載の情報処理装置。
【請求項９】
前記キー関連データ取得部は、前記キーデータ検索部において検索されたマーカまたは分割の位置情報と前記キー指定情報において指定された範囲との位置関係に基づいて、前記照合時の動作を指定する動作属性情報を生成する
ことを特徴とする請求項５から８の中で少なくとも一項に記載の情報処理装置。
【請求項１０】
前記キー関連データ取得部は、前記キーデータ検索部において検索されたマーカの位置情報と前記キー指定情報において指定された範囲との位置関係に基づいて、前記照合結果情報において検出された区間を基準とした記録位置の決定方法を規定する動作属性情報を生成し、
前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って、前記利用対象データ中の位置を決定し、前記決定された位置に前記マーカを支援データとして記録する
ことを特徴とする請求項５から８の中で少なくとも一項に記載の情報処理装置。
【請求項１１】
前記キー関連データ取得部は、前記キーデータ検索部において検索された分割の位置情報と前記キー指定情報において指定された範囲との位置関係に基づいて、前記照合結果情報において検出された区間を基準とした記録位置の決定方法を規定する動作属性情報を生成し、
前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って、前記利用対象データ中の位置を決定し、前記決定された位置で前記利用対象データを分割するという情報を支援データとして記録する
ことを特徴とする請求項５から８の中で少なくとも一項に記載の情報処理装置。
【請求項１２】
前記キー関連データ取得部は、前記照合結果に関連するテキスト情報の生成方法を規定する動作属性情報を生成し、
前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って、前記照合結果情報に関連するテキスト情報を生成し、前記記録された各マーカまたは前記分割部分と関連付けて、前記生成されたテキスト情報を支援データとして記録する
ことを特徴とする請求項１０または１１記載の情報処理装置。
【請求項１３】
前記キーデータは、前記キーデータに関連するテキスト情報を含み、
前記照合結果記録指示部は、前記規定されたテキスト情報の生成方法に従って、前記キーデータに関連するテキスト情報に基づいて前記照合結果に関連するテキスト情報を生成する
ことを特徴とする請求項１２記載の情報処理装置。
【請求項１４】
前記キー関連データ取得部は、前記キーデータ検索部において検索されたマーカまたは分割の情報に関連するテキスト情報を取得し、
前記照合結果記録指示部は、前記規定されたテキスト情報の生成方法に従って、前記マーカまたは分割の情報に関連するテキスト情報に基づいて前記照合結果に関連するテキスト情報を生成し、前記記録された各マーカまたは前記分割された各部分と関連付けて、前記生成されたテキスト情報を支援データとして記録する
ことを特徴とする請求項１２記載の情報処理装置。
【請求項１５】
前記キーデータは、前記キーデータに関連するテキスト情報を含み、
前記照合結果記録指示部は、予め規定されたテキスト情報の生成方法に従って、前記キーデータに関連するテキスト情報に基づいて前記照合結果に関連するテキスト情報を生成し、
前記照合結果に関連するテキスト情報を支援データとして記録する
ことを特徴とする請求項２または３に記載の情報処理装置。
【請求項１６】
前記キー関連データ取得部は、前記キー指定情報に基づいて、前記キー音声データに関連するタイトル情報を取得し、
前記照合結果記録指示部は、前記照合結果に含まれる一連の利用対象データ全体に関連するタイトル情報を支援データとして記録する
ことを特徴とする請求項１５記載の情報処理装置。
【請求項１７】
前記支援データが、メタデータである
ことを特徴とする請求項１から１６の中で少なくとも一項に記載の情報処理装置。
【請求項１８】
利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理方法において、
前記支援データを生成するためのキー音声データを取得し、
前記キー音声データの全部または一部区間を指定するためのキー指定情報を入力し、
前記キー指定情報に基づいて、前記キー音声データの全部または一部区間を切り出して音声パターンデータを検索キーとして生成し、
前記キー指定情報に基づいて、前記キー音声データと関連するキー関連データを取得し、
前記音声パターンデータと前記キー関連データとを含むキーデータと、前記利用対象データとを照合して支援データを生成する
ことを特徴とする情報処理方法。
【請求項１９】
利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データをコンピュータによって生成する情報処理プログラムにおいて、
前記支援データを生成するためのキー音声データを取得し、
前記キー音声データの全部または一部区間を指定するためのキー指定情報を入力し、
前記キー指定情報に基づいて、前記キー音声データの全部または一部区間を切り出して音声パターンデータを検索キーとして生成し、
前記キー指定情報に基づいて、前記キー音声データと関連するキー関連データを取得し、
前記音声パターンデータと前記キー関連データとを含むキーデータと、前記利用対象データとを照合して支援データを生成する
ことを特徴とする情報処理プログラム。
【請求項２０】
利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理装置において、
第１の利用対象データに関する第１の支援データを入力する第１支援データ入力部と、
前記第１の支援データに関連するキー音声データを取得するキー音声データ取得部と、
前記入力された第１の支援データに基づいて前記キー音声データの一部区間を選択するキー指定情報を生成するキー指定情報生成部と、
前記キー指定情報に基づいて、前記キー音声データの一部区間を切り出して音声パターンデータを検索キーとして生成するキー生成部と、
前記キー指定情報に基づいて、前記キー音声データと関連するキー関連データを取得するキー関連データ取得部と、
前記音声パターンデータと前記キー関連データとを含むキーデータと、前記利用対象データとを照合して第２の支援データを生成する第２支援データ生成部と、
を具備する
ことを特徴とする情報処理装置。
【請求項２１】
利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理装置において、
第１の支援データを生成するためのキー音声データを取得するキー音声データ取得部と、
前記キー音声データの変化点を検出し、前記第１の支援データを生成する第１支援データ生成部と、
前記生成された第１の支援データに基づいて前記キー音声データの一部区間を選択するキー指定情報を生成するキー指定情報生成部と、
前記キー指定情報に基づいて、前記キー音声データの一部区間を切り出して音声パターンデータを検索キーとして生成するキー生成部と、
前記キー指定情報に基づいて、前記キー音声データと関連するキー関連データを取得するキー関連データ取得部と、
前記音声パターンデータと前記キー関連データとを含むキーデータと、前記利用対象データとを照合して第２の支援データを生成する第２支援データ生成部と、
を具備する
ことを特徴とする情報処理装置。
【請求項２２】
前記第２支援データ生成部は、
前記利用対象データから音声データのみを利用対象音声データとして取得する音声データ取得部と、
前記音声パターンデータに前記キー関連データを付加してキーデータとして記録するキーデータ管理部と、
前記利用対象音声データと前記音声パターンデータとを所定の条件に基づいて照合し、前記利用対象音声データにおける前記所定の条件を満たす位置を表す照合結果情報を出力するキー照合部と、
前記出力された照合結果情報を前記第２の支援データとして記録媒体に記録させる照合結果記録指示部と、
を具備する
ことを特徴とする請求項２０または２１記載の情報処理装置。
【請求項２３】
前記利用対象データが映像音声データであり、
前記音声データ取得部は、前記利用対象データから音声データを分離して、この音声データを利用対象音声データとして取得する
ことを特徴とする請求項２２記載の情報処理装置。
【請求項２４】
前記キーデータは、前記再生、編集、検索時の動作に関連する動作属性情報を含み、
前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って前記記録媒体に前記支援データを記録する
ことを特徴とする請求項２２または２３記載の情報処理装置。
【請求項２５】
前記キー指定情報を基準として、前記キー音声データにおけるマーカ位置または分割位置を検索するキーデータ検索部をさらに具備し、
前記キー関連データ取得部は、前記キーデータ検索部において検索されたマーカまたは分割の情報をキー関連データとして取得する
ことを特徴とする請求項２４記載の情報処理装置。
【請求項２６】
前記第１の支援データは、マーカまたは分割の情報であり、
前記キー関連データ取得部は、前記第１の支援データにおけるマーカまたは分割の情報をキー関連データとして取得する
ことを特徴とする請求項２４記載の情報処理装置。
【請求項２７】
前記キー指定情報生成部は、前記第１の支援データにおけるマーカ範囲または分割単位に一致する範囲をキー指定情報として生成する
ことを特徴とする請求項２６記載の情報処理装置。
【請求項２８】
前記キー指定情報生成部は、
前記第１の支援データにおけるマーカ位置、分割位置、マーカ範囲の始端、マーカ範囲の終端、分割単位の始端、分割単位の終端のいずれかを第１の端点とし、
予め指定された方法により、前記第１の端点の前後いずれか側の第２の端点を決定し、
前記第１の端点と前記第２の端点の間の範囲をキー指定情報として生成する
ことを特徴とする請求項２６記載の情報処理装置。
【請求項２９】
前記キー指定情報生成部は、
予め指定された第１の方法により、前記第１の支援データにおけるマーカ位置、分割位置、マーカ範囲の始端、マーカ範囲の終端、分割単位の始端、分割単位の終端のいずれかに近接する第１の端点を決定し、
予め指定された第２の方法により、前記第１の端点の前後いずれか側の第２の端点を決定し、
前記第１の端点と前記第２の端点の間の範囲をキー指定情報として生成する
ことを特徴とする請求項２６記載の情報処理装置。
【請求項３０】
前記キー関連データ取得部は、前記第１の支援データにおけるマーカまたは分割の位置情報と前記キー指定情報において指定された範囲との位置関係に基づいて、前記照合時の動作を指定する動作属性情報を生成する
ことを特徴とする請求項２６から２９の中で少なくとも一項に記載の情報処理装置。
【請求項３１】
前記キー関連データ取得部は、前記第１の支援データにおけるマーカの位置情報と前記キー指定情報において指定された範囲との位置関係に基づいて、前記照合結果情報において検出された区間を基準とした記録位置の決定方法を規定する動作属性情報を生成し、
前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って、前記利用対象データ中の位置を決定し、前記決定された位置に前記マーカを第２支援データとして記録する
ことを特徴とする請求項２６から２９の中で少なくとも一項に記載の情報処理装置。
【請求項３２】
前記キー関連データ取得部は、前記第１の支援データにおける分割の位置情報と前記キー指定情報において指定された範囲との位置関係に基づいて、前記照合結果情報において検出された区間を基準とした記録位置の決定方法を規定する動作属性情報を生成し、
前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って、前記利用対象データ中の位置を決定し、前記決定された位置で前記利用対象データを分割するという情報を第２支援データとして記録する
ことを特徴とする請求項２６から２９の中で少なくとも一項に記載の情報処理装置。
【請求項３３】
前記キー関連データ取得部は、前記照合結果に関連するテキスト情報の生成方法を規定する動作属性情報を生成し、
前記照合結果記録指示部は、前記照合結果情報と前記動作属性情報に従って、前記照合結果情報に関連するテキスト情報を生成し、前記記録された各マーカまたは前記分割部分と関連付けて、前記生成されたテキスト情報を支援データとして記録する
ことを特徴とする請求項３１または３２記載の情報処理装置。
【請求項３４】
前記キー関連データ取得部は、前記第１の支援データにおけるマーカまたは分割の情報に関連するテキスト情報を取得し、
前記照合結果記録指示部は、前記規定されたテキスト情報の生成方法に従って、前記マーカまたは分割の情報に関連するテキスト情報に基づいて前記照合結果に関連するテキスト情報を生成し、前記記録された各マーカまたは前記分割された各部分と関連付けて、前記生成されたテキスト情報を第２支援データとして記録する
ことを特徴とする請求項３３記載の情報処理装置。
【請求項３５】
前記キーデータは、前記キーデータに関連するテキスト情報を含み、
前記照合結果記録指示部は、予め規定されたテキスト情報の生成方法に従って、前記キーデータに関連するテキスト情報に基づいて前記照合結果に関連するテキスト情報を生成し、
前記照合結果に関連するテキスト情報を支援データとして記録する
ことを特徴とする請求項２２または２３記載の情報処理装置。
【請求項３６】
前記キー関連データ取得部は、前記キー指定情報に基づいて、前記キー音声データに関連するタイトル情報を取得し、
前記照合結果記録指示部は、前記照合結果に含まれる一連の利用対象データ全体に関連するタイトル情報を支援データとして記録する
ことを特徴とする請求項３５記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像音声や音声の記録の処理を行う情報処理装置及びその方法に関する。
【背景技術】
【０００２】
近年、音声や映像を記録する機器の主流は、従来のアナログ方式の磁気テープから、デジタル方式の磁気ディスクや半導体メモリ等に移っている。特に大容量のハードディスクを使用した映像記録再生機器では、記録可能な容量が飛躍的に拡大している。このような機器を使用すれば、放送や通信によって提供される多数の番組の映像を保存しておき、ユーザが自在に選択して視聴できる。
【０００３】
ここで、保存されている映像の管理においては、番組等の単位であるタイトル（プログラム）でファイル化した上で、名称その他の情報を付与しておき、一覧の際に代表画像（サムネイル）と名称等を並べて表示することができる。また、一番組（タイトル）の中をチャプタ（セグメント）と呼ばれる単位に分割し、チャプタ単位で再生や編集を行うこともできる。チャプタ名を付与したり、チャプタの代表画面（サムネイル）を表示したりして、チャプタ一覧から好みの場面を含むチャプタを選択して再生したり、選択したチャプタを並べてプレイリスト等を生成したりすることができる。これらの管理方法を規定するものとして、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）のＶＲ（ＶｉｄｅｏＲｅｃｏｒｄｉｎｇ）モードがある。
【０００４】
ところで、番組（タイトル）内の区間や位置の指定に用いられるマーカには、映像・音声コンテンツを再生したときの時間的位置に対応する再生時刻情報が含まれており、チャプタ分割点を表すチャプタマーカのほか、装置によっては、編集操作の際の対象区間を指定するエディットマーカや、頭出し操作の際にジャンプ先の地点を指定するインデックスマーカを使用する場合もある。なお、本明細書における「マーカ」も上記の意味で使用する。
【０００５】
番組名については、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）等によって提供される番組情報を利用すれば、録画保存されたファイルに自動付与することもできる。ＥＰＧで提供される番組情報については、ＡＲＩＢ（Association of Radio Industries and Businesses）標準規格（ＳＴＤ−Ｂ１０）がある。
【０００６】
しかし、一番組の中については、分割する時刻位置を与える情報や、分割された各々を容易に識別できるような名称等をはじめ、視聴や編集等を支援したり自動化したりするために有用なメタデータとしてさまざまなものが考えられるが、これらが汎用的に外部から提供されることはほとんど行われない。このため、一般の視聴者向けの機器においては、記録された音声や映像に基づいて、装置側でメタデータ生成を行うことが必要になっている。
【０００７】
映像・音声コンテンツに関する汎用的なメタデータの記述形式としてＭＰＥＧ−７があり、コンテンツと対応付けてＸＭＬ（extensible Markup Language）データベースに格納する方法がある。また、放送におけるメタデータの伝送方式等について、ＡＲＩＢ（Association of Radio Industries and Businesses）標準規格（ＳＴＤ−Ｂ３８）があり、これらに準拠してメタデータを記録することもできる。
【０００８】
装置が自動的に行うものとして、無音部分、映像の切り替わり（カット）、音声多重モード（モノラル、ステレオ、二か国語）の切り替わり等の検出によるチャプタ分割機能が提供されている場合もある（例えば、特許文献１参照）。しかし、必ずしも適切に分割されるわけではなく、分割された個々のチャプタの意味付け・名称付与を含め、ユーザがかなりの部分を手動で行わなければならない。
【０００９】
また、テロップ画像認識や音声認識により得られた言語情報を利用した、自動的なキーワード抽出等のメタデータ生成については、全文検索的な利用については可能になってきているが（例えば、特許文献２参照）、チャプタ分割や名称付与という部分について全面的な適用は難しいのが現状である。
【００１０】
一方、音響の一致または類似を検索する音響検索や音響ロバストマッチングの方法が考案されているが、その多くは、視聴したい音楽等を検索して再生するといった形で利用されており、映像のメタデータ生成等に適した構成になっていない（例えば、特許文献３参照）。
【特許文献１】特開２００３−３６６５３公報
【特許文献２】特開平８−２４９３４３号公報
【特許文献３】特開２０００−３１２３４３公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
このように、従来の技術では、大量に保存されている映像の管理において、特に一番組内の分割については、視聴に適した分割や制御点の決定と関連情報付与が容易にできないという問題があった。
【００１２】
そこで、本発明は上記事情を考慮してなされたもので、その目的は、記録保存される映像について、毎回の手動作業を要することなく、視聴に適した分割や制御点の決定と関連情報付与を行うことができるデータ処理装置を提供することにある。
【課題を解決するための手段】
【００１３】
本発明は、利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理装置において、前記支援データを生成するためのキー音声データを取得するキー音声データ取得手段と、前記キー音声データの全部または一部区間を指定するためのキー指定情報を入力するキー指定情報入力手段と、前記キー指定情報に基づいて、前記キー音声データの全部または一部区間を切り出して音声パターンデータを検索キーとして生成するキー生成手段と、前記キー指定情報に基づいて、前記キー音声データと関連するキー関連データを取得するキー関連データ取得手段と、前記音声パターンデータと前記キー関連データとを含むキーデータと、前記利用対象データとを照合して支援データを生成する支援データ生成手段と、を具備することを特徴とする情報処理装置である。
【００１４】
また、本発明は、利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理装置において、第１の利用対象データに関する第１の支援データを入力する第１支援データ入力部と、前記第１の支援データに関連するキー音声データを取得するキー音声データ取得部と、前記入力された第１の支援データに基づいて前記キー音声データの一部区間を選択するキー指定情報を生成するキー指定情報生成部と、前記キー指定情報に基づいて、前記キー音声データの一部区間を切り出して音声パターンデータを検索キーとして生成するキー生成部と、前記キー指定情報に基づいて、前記キー音声データと関連するキー関連データを取得するキー関連データ取得部と、前記音声パターンデータと前記キー関連データとを含むキーデータと、前記利用対象データとを照合して第２の支援データを生成する第２支援データ生成部と、を具備することを特徴とする情報処理装置である。
【００１５】
さらに、本発明は、利用者が映像音声データ、または、音声データのみからなる利用対象データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データを生成する情報処理装置において、第１の支援データを生成するためのキー音声データを取得するキー音声データ取得部と、前記キー音声データの変化点を検出し、前記第１の支援データを生成する第１支援データ生成部と、前記生成された第１の支援データに基づいて前記キー音声データの一部区間を選択するキー指定情報を生成するキー指定情報生成部と、前記キー指定情報に基づいて、前記キー音声データの一部区間を切り出して音声パターンデータを検索キーとして生成するキー生成部と、前記キー指定情報に基づいて、前記キー音声データと関連するキー関連データを取得するキー関連データ取得部と、前記音声パターンデータと前記キー関連データとを含むキーデータと、前記利用対象データとを照合して第２の支援データを生成する第２支援データ生成部と、を具備することを特徴とする情報処理装置である。
【発明の効果】
【００１６】
本発明では、キー音声データ中の区間を指定して音声を切り出し、切り出した音声データまたは特徴抽出した音声パターンデータを検索キーとする際に、指定した区間の近傍の分割点や制御点の有無とそれらに付与された名称その他の情報とに基づく属性を合わせて保持する。
【００１７】
また、本発明では、利用対象音声データの分割点や制御点が設定される際に、その近傍の区間をキー音声データとして切り出し、切り出した音声データまたは特徴抽出した音声パターンデータを検索キーとするとともに、分割点や制御点とそれらに付与された名称その他の情報とに基づく属性を検索キーと合わせて保持する。
【００１８】
次に、検索キーと類似した区間を利用対象音声データ中から検出し、検索キーの保持する属性に従って、利用対象音声データにおける検出された(音声)区間の始終端の一方または両方を基準として分割点や制御点を決定し、分割された前後いずれかの(音声)区間や制御点または利用対象音声データ全体に対して、予め指定された名称または予め指定された命名方法に従って付与された名称を設定するようにしている。
【００１９】
したがって、本発明によれば、コーナータイトル音楽等の毎回出現する特定パターン音声をキーとして、その頭から再生したり、タイトル音楽をスキップしてコーナーの本編から再生したり、その時点や分割されたチャプタにコーナー名称を付与したり、このコーナーを含む番組名を付与したりすることができる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して、本発明の一実施形態について説明する。
【００２１】
［第１の実施形態］
本発明の第１の実施形態に係る映像音声処理装置について図１から図９に基づいて説明する。本実施形態に係る映像音声処理装置は、利用者が映像音声データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データであるメタデータを生成する場合に、メタデータの元となる検索キーとキー関連データよりなるキーデータを生成する装置である。
【００２２】
（１）映像音声処理装置の構成
図１は、本実施形態に係る映像音声処理装置の構成を示すものである。
【００２３】
図１に示す映像音声処理装置は、記録媒体９０、映像データ取得部４８、映像データ指定部４７、音声データ分離部２５、キー生成部３１、キー関連データ取得部５５及びキーデータ管理部１０を備えている。
【００２４】
記録媒体９０には、予め映像音声データまたは映像音声信号が記録されている。また、記録媒体９０には、映像音声のタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。
【００２５】
映像データ取得部４８は、記録媒体９０に記録されている映像音声データを読み出して取得し、映像データ指定部４７へ渡す。また、アナログ映像音声信号を読み出して取得し、デジタル映像音声データに変換した後、映像データ指定部４７へ渡してもよい。なお、これらの処理に加えて、必要に応じて映像音声データの暗号解除処理（例えば、Ｂ−ＣＡＳ）、デコード処理（例えば、ＭＰＥＧ２）、形式変換処理（例えば、ＴＳ／ＰＳ）、レート（圧縮率）変換処理等を行ってもよい。
【００２６】
映像データ指定部４７は、映像データ取得部４８において取得された映像音声データの全部または一部区間を指定する。利用者の操作により指定する区間を取得する場合には、例えばマウスやリモコンといったデバイスを用いたものが考えられるが、その他の方法を用いてもよい。映像音声データを再生表示しておき、ユーザが映像音声データを確認しながら始終端の位置を指定するようにしてもよい。また、チャプタのサムネイル画像一覧等からチャプタを選択し、そのチャプタ全体を指定された区間と見なしてもよい。
【００２７】
音声データ分離部２５は、映像データ指定部４７において指定された映像音声データから音声データを分離して、キー生成部３１へ渡す。例えば、ＭＰＥＧ２データをＤｅｍｕｘして、音声データを含むＭＰＥＧ２Ａｕｄｉｏ  ＥＳを取り出し、デコード（ＡＡＣ等）する。
【００２８】
キー生成部３１は、後述する第３から第６の各実施形態のキー照合部３０において使用される音声パターンデータを、音声データ分離部２５から渡された音声データに基づいて生成する。ここで、検索キーとして保持する音声パターンデータは、例えば、再生可能な音声データであってもよく、または音声データを特徴抽出してパラメータ化したものでもよい。
【００２９】
キー関連データ取得部５５は、映像データ指定部４７において指定された映像音声データの区間に関連する情報であるキー関連データを記録媒体９０から取り出す。
【００３０】
例えば、指定された映像音声データに対応するタイトル名や指定された区間に対応するチャプタ名があれば、それらの情報が取り出される。また、以前の検索結果に対応する区間が指定され、その検索結果のキー関連データが保存されている場合は、図２のようなキー関連データが取り出される。また、キー関連データを外部入力してもよい。
【００３１】
さらに、指定された区間に直接対応しなくても、近接するチャプタやマーカを検索して見つかれば、それらの情報を取り出し、指定された区間とチャプタやマーカの位置関係により、情報を付与する。
【００３２】
キーデータ管理部１０は、キー生成部３１において生成された複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについてキー関連データ取得部５５において取得された関連する名称や属性等のキー関連データを付加して管理することができる。
【００３３】
本明細書において、「照合」とは、利用対象データ（映像音声データまたは音声データ）と検索キーである音声パターンデータとを比較し、利用対象データの中でどの位置、または、区間が音声パターンデータに該当するかを検出する意味である。この照合を行うのは、第３から第６の実施形態におけるキー照合部３０である。
【００３４】
本明細書において、「付加」とは、検索キーである音声パターンデータと属性情報等のキー関連データとを関連させることをいう。この付加を行うのは、キーデータ管理部１０である。
【００３５】
（２）キーデータ管理部１０において管理される情報
図２は、前記処理結果として生成された検索キーとなる音声パターンデータＡ〜Ｄと共にキーデータ管理部１０において管理される情報の例を示すものである。ここでは、キーの名称、タイトルの名称、属性、照合方法及びパラメータが管理されている。以下、これらのデータをキー関連データという。
【００３６】
検索キーＡについては、「占いコーナー」、「朝の情報テレビ」、「ＢＧＭ属性１（ＢＧＭ−１）」、「前方一致」、「ＢＧＭ」という情報が管理されている。
【００３７】
検索キーＢについては、「オープニング」、「夜の連続ドラマ」、「オープニング音楽属性１（ＯＰＭ−１）」、「完全一致」、「クリーン音楽（ＣＬＭ）」という情報が管理されている。
【００３８】
検索キーＣについては、「スポーツコーナー」、「１０時のニュース」、「コーナー音楽属性１（ＣＮＭ−１）」、「完全一致」、「ロバスト音楽（ＲＢＭ）」という情報が管理されている。
【００３９】
検索キーＤについて、「水泳スタート音」、「（タイトルなし）」、「競技開始イベント属性１（ＳＧＥ−１）」、「前方一致」、「ロバスト効果音（ＲＢＳ）」という情報が管理されている。
【００４０】
図３は、図２における属性に対応付けて規定された記録指示動作の例を示すものである。なお、この属性は、第３から６の実施形態では、キー照合部３０の検出結果に基づいて照合結果記録指示部３５で記録指示動作に使用される。
【００４１】
「ＢＧＭ属性１（ＢＧＭ−１）」については、検出された区間全体をそのままマーカ区間とし、その区間の名称を「（キーの名称）」（複数検出された場合は「（キーの名称）−番号」）と設定する記録指示動作のために、検索キーに付加される属性である。なお、図３における「＃」は番号を表す。
【００４２】
「オープニング音楽属性１（ＯＰＭ−１）」については、検出された区間の始端と終端でチャプタ分割し、始終端に挟まれたチャプタの名称を「『オープニング』−番号」、終端で分割された後方のチャプタの名称を「『本編』−番号」、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名として、それぞれ設定する記録指示動作のために、検索キーに付加される属性である。
【００４３】
「コーナー音楽属性１（ＣＮＭ−１）」については、検出された区間の始端でチャプタ分割し、分割された後方のチャプタの名称を「（キーの名称）」（複数検出された場合は「（キーの名称）−番号」）、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名として、それぞれ設定する記録指示動作のために、検索キーに付加される属性である。
【００４４】
「競技開始イベント属性１（ＳＧＥ−１）」については、検出された区間の始端の２秒前をマーカ点とし、マーカの名称を「（キーの名称）−番号」と設定する記録指示動作のために、検索キーに付加される属性である。
【００４５】
（３）検索キーＡへの属性情報の付加
検索キーＡ（音声パターンデータＡ）を生成するために、記録媒体９０に記録されている映像音声データの中の一部分を指定したときに、どのように属性を付加させるかについて図４の模式図に基づいて説明する。なお、この属性は、キー関連データ取得部５５から入力した情報である。この属性をどのように取得するかはキー関連データ取得部５５の処理に基づいて後から詳しく説明する。
【００４６】
図４に示す帯の中の斜線部分はマーカの記録されている区間、吹出しはマーカの名称を示し、帯の上に接した濃い印は検索キーＡを生成するために指定した区間を示す。
【００４７】
１２月２２日放送の「朝の情報テレビ」番組（１時間５４分）を記録したタイトル「朝の情報テレビ  １２／２２」におけるマーカ「占いコーナー−１」部分を指定して、キーを生成した場合、キー指定部分とマーカ部分の一致を判定して、マーカの名称等を元に、検出時の動作を検索キーＡの属性情報として付加する。
【００４８】
例えば、「朝の情報テレビ  １２／２２」から番組名「朝の情報テレビ」を、「占いコーナー−１」からキー名「占いコーナー」をそれぞれ得て、検出された区間全体をそのままマーカ区間とし、その区間の名称を「『占いコーナー』−番号」とする属性を付加する。
【００４９】
また、マーカ「占いコーナー−１」の始終端と、キー指定部分の始終端を比較し、始端のみがほぼ同一点であって、終端が異なる点になっている場合は、照合方法を「前方一致」と設定する。
【００５０】
なお、これらを規定の動作として含む「ＢＧＭ属性１（ＢＧＭ−１）」として設定してもよい。
【００５１】
（４）検索キーＢへの属性情報の付加
検索キーＢ（音声パターンデータＢ）を生成するために、記録媒体９０に記録されている映像音声データの中の一部分を指定したときに、どのように上記属性を付加させるかについて図５の模式図に基づいて説明する。なお、この属性は、キー関連データ取得部５５から入力した情報である。この属性をどのように取得するかはキー関連データ取得部５５の処理に基づいて後から詳しく説明する。
【００５２】
図５に示す帯の中の縦線はチャプタ分割されている点、吹出しはチャプタ名を示し、帯の上に接した濃い印は検索キーＢを生成するために指定した部分を示す。
【００５３】
１２月２３日放送の「夜の連続ドラマ」の５話連続再放送の番組（１時間４０分）を記録したタイトル「夜の連続ドラマ  １２／２３」におけるチャプタ「オープニング−２」を選択してキーを生成した場合、指定されたチャプタ「オープニング−２」及び同一のサフィックス「−２」を持つ隣接チャプタ「本編−２」の名称等を元に、検出時の動作を検索キーＢの属性情報として付加する。
【００５４】
例えば、「夜の連続ドラマ  １２／２３」から番組名「夜の連続ドラマ」を、「オープニング−２」からキー名「オープニング」をそれぞれ得て、検出された区間の始終端でチャプタ分割し、始終端に挟まれたチャプタの名称を「『オープニング』−番号」、終端で分割された後方のチャプタの名称を「『本編』−番号」とする属性を付加する。
【００５５】
なお、これらを規定の動作として含む「オープニング音楽属性−１（ＯＰＭ−１）」として設定してもよい。
【００５６】
また、タイトル名「夜の連続ドラマ  １２／２３」に設定されている、ジャンル「ドラマ」、保存先メディア「ＨＤＤ」、保存先フォルダ「マイドラマ」、最終保存レート（圧縮率）「低」等の情報を合わせて設定し、検索キーＢが検出されたタイトルの記録時に、タイトル名に代えて、またはタイトル名に加えて、ジャンル「ドラマ」が設定されたり、保存先のディスクをＨＤＤの「マイドラマ」フォルダにしたり、最終保存レートに従って品質を落とした「低」レートに変換して保存したりしてもよい。
【００５７】
さらに、番組「夜の連続ドラマ」のチャプタ「本編」を集めたプレイリスト「夜の連続ドラマ−本編」がある場合、新たなチャプタ「『本編』−番号」をプレイリスト「夜の連続ドラマ−本編」に追加し、プレイリスト上のチャプタ名を「１２／２３放送−番号」のようにしてもよい。
【００５８】
もし、オープニング音楽の始まりが徐々に音が大きくなる（フェードイン）ような場合は、検索キーの始端を後方にずらし、安定した区間を検索キーとしてとして指定するようにしてもよい。その場合でも、キー区間とチャプタとの位置関係が考慮されるので、検出された区間でのチャプタ分割は始端をずらす時間によらず正常に行われる。
【００５９】
（５）検索キーＣへの属性情報の付加
検索キーＣ（音声パターンデータＣ）を生成するために、記録媒体９０に記録されている映像音声データの中の一部分を指定したときに、どのように上記属性を付加させるかについて図６の模式図に基づいて説明する。なお、この属性は、キー関連データ取得部５５から入力した情報である。この属性をどのように取得するかはキー関連データ取得部５５の処理に基づいて後から詳しく説明する。
【００６０】
図６に示す帯の中の縦線はチャプタ分割されている点、吹出しはチャプタ名を示し、帯の上に接した濃い印は検索キーＣを生成するために指定した部分を示す。
【００６１】
１２月２４日放送の「１０時のニュース」（６０分）を記録したタイトル「１０時のニュース  １２／２４」におけるチャプタ「スポーツコーナー」の最初のコーナー音楽部分を選択してキーを生成した場合、指定された区間の始端とチャプタ「スポーツコーナー」の始端とが近接していることを利用して、検出時の動作を検索キーＣの属性情報として付加する。
【００６２】
例えば、検出された区間の始端でチャプタ分割し、後方のチャプタ名を「スポーツコーナー」、タイトル名「１０時のニュース」とする属性を付加する。これらを規定の動作として含む「コーナー音楽属性１（ＣＮＭ−１）」として設定してもよい。
【００６３】
（６）検索キーＤへの属性情報の付加
検索キーＤ（音声パターンデータＤ）を生成するために、記録媒体９０に記録されている映像音声データの中の一部分を指定したときに、どのように上記属性を付加させるかについて図７の模式図に基づいて説明する。なお、この属性は、キー関連データ取得部５５から入力した情報である。この属性をどのように取得するかはキー関連データ取得部５５の処理に基づいて後から詳しく説明する。
【００６４】
図７に示す帯の中の吹出しはマーカ点とその名称を示し、帯の上に接した濃い印は検索キーＤを生成するために指定した部分を示す。
【００６５】
８月１９日放送の「国際水泳競技生中継」を記録したタイトル「国際水泳競技生中継  ０８／１９」や「７時のニュース  ０８／１９」「今日のスポーツニュース  ０８／１９」における水泳のスタート音の部分を指定してキーを生成した場合、指定された区間の始端の２秒前にマーカ「水泳スタート音−５」があることを利用して、検出時の動作を検索キーＤの属性情報として付加する。
【００６６】
例えば、検出された区間の始端の２秒前をマーカ点とし、マーカの名称を「『水泳スタート音』−番号」とする属性を付加する。
【００６７】
また、タイトル名については検出時に付与しない設定にすることができる。これらを規定の動作として含む「競技開始イベント属性１（ＳＧＥ−１）」として設定してもよい。
【００６８】
（７）キー関連データ取得部５５における処理
次に、キー関連データ取得部５５における処理の流れを、図８のフローチャートを使用して説明する。
【００６９】
上記したようにキー関連データ取得部５５は、映像データ指定部４７において指定された映像音声データの区間に関連するキー関連データ（チャプタ名やマーカ）を記録媒体９０から取り出すものであり、その取り出し処理を順番に説明する。
【００７０】
まず、映像データ指定部４７において指定された映像音声データの区間に関する情報として、指定区間の始端時刻Ｔsbと終端時刻Ｔseを取得する（ステップＳ１０１）。
【００７１】
次に、始端時刻Ｔsbに存在するチャプタ境界やマーカの情報を取得する（ステップＳ１１１）。ほぼ同一時刻と見なせる第１の時間幅ｔ1、例えば２００ミリ秒について、Ｔsbの前後を調べる。チャプタ境界に関して取得される情報としては、チャプタ境界時刻Ｔbc、チャプタ境界の前方チャプタＣbf、後方チャプタＣbl等である。マーカに関して取得される情報としては、点マーカ時刻Ｔbm、区間マーカの始端時刻Ｔbp、点マーカＭbm、区間マーカＭbp、等がある。
【００７２】
同様に、終端時刻Ｔseに存在するチャプタ境界やマーカの情報を取得する（ステップＳ１１２）。ほぼ同一時刻と見なせる第１の時間幅ｔ1について、Ｔseの前後を調べる。チャプタ境界に関して取得される情報としては、チャプタ境界時刻Ｔec、チャプタ境界の前方チャプタＣef、後方チャプタＣel等である。マーカに関して取得される情報としては、点マーカ時刻Ｔem、区間マーカの始端時刻Ｔep、点マーカＭem、区間マーカＭep、等がある。
【００７３】
ステップＳ１１１及びステップＳ１１２において、いずれも存在するチャプタやマーカの情報が取得されたとき、その中から、始終端の両方が指定区間と一致するチャプタＣcや区間マーカＭcpを取得する（ステップＳ１１３）。
【００７４】
また、ステップＳ１１１において、始端時刻Ｔsbに存在するチャプタやマーカが取得されなかった場合には、指定区間と関連があると見なせる第２の時間幅ｔ2、例えば１０秒について、Ｔsbの前後を調べる（ステップＳ１２１）。
【００７５】
このとき、Ｔsbの後方（Ｔsb＋ｔ1〜Ｔsb＋ｔ2の間）は、選択された区間に含まれるので、優先してもよい。ステップＳ１１１と同様に、チャプタ境界に関して取得される情報としては、チャプタ境界時刻Ｔbc’、チャプタ境界の前方チャプタＣbf’、後方チャプタＣbl’等である。マーカに関して取得される情報としては、点マーカ時刻Ｔbm’、区間マーカの始端時刻Ｔbp’、点マーカＭbm’、区間マーカＭbp’、等がある。
【００７６】
ステップＳ１１２において、終端時刻Ｔseに存在するチャプタやマーカが取得されなかった場合には、指定区間と関連があると見なせる第２の時間幅ｔ2について、Ｔseの前後を調べる（ステップＳ１２２）。このとき、Ｔseの前方（Ｔse−ｔ2〜Ｔse−ｔ1の間）は、選択した区間に含まれるので、優先してもよい。ステップＳ１１２と同様に、チャプタ境界に関して取得される情報としては、チャプタ境界時刻Ｔec’チャプタ境界の前方チャプタＣef’、後方チャプタＣel’等である。マーカに関して取得される情報としては、点マーカ時刻Ｔem’、区間マーカの始端時刻Ｔep’、点マーカＭem’、区間マーカＭep’、等がある。
【００７７】
なお、ステップＳ１２１またはステップＳ１２２において、チャプタ境界やマーカが見つかった場合、区間指定の履歴を参照して、今回の指定区間より見つかったチャプタやマーカに近いものがある場合には、チャプタやマーカを採用しないようにしてもよい（ステップＳ１２３）。
【００７８】
次に、ステップＳ１１１からステップＳ１２３までの処理で見つかったチャプタ及びマーカの情報により、指定された区間に対応するキーの属性を設定する（ステップＳ１３１）。
【００７９】
最後に、設定された属性を既存属性と比較し（ステップＳ１４１）、設定された属性部分が既存属性と一致している場合は、他の属性を含む既存属性を設定する（ステップＳ１４２）、不一致の場合は個別属性をそのまま設定する（ステップＳ１４３）。
【００８０】
（８）キーの属性設定処理
次に、ステップＳ１３１におけるキーの属性設定処理の詳細について、図９のフローチャートを使用して説明する。
【００８１】
（８−１）始終端に一致するチャプタＣcが取得されているとき
図８のステップＳ１１３において、始終端に一致するチャプタＣcが取得されているとき、キー名称＝ベース名（チャプタ名（Ｃc））、照合方法＝完全一致、動作＝チャプタ、チャプタ始端＝検出区間始端、チャプタ終端＝検出区間終端、チャプタ名＝既定名前規則（キー名称）、の属性がそれぞれ設定される（ステップＳ２０１）。
【００８２】
（８−２）始終端に一致する区間マーカＭcpが取得されているとき
ステップＳ１１３において、始終端に一致する区間マーカＭcpが取得されているとき、キー名称＝ベース名（マーカ名（Ｍcp））、照合方法＝完全一致、動作＝区間マーカ、マーカ始端＝検出区間始端、マーカ終端＝検出区間終端、マーカ名＝既定名前規則（キー名称）、の属性がそれぞれ設定される（ステップＳ２０２）。
【００８３】
（８−３）始端に一致するチャプタ境界があるとき
図８のステップＳ１１１において、始端に一致するチャプタ境界があるとき、照合方法＝前方一致、動作＝チャプタ、チャプタ分割点＝検出区間始端、の属性がそれぞれ設定される（ステップＳ２１１）。
【００８４】
さらに、前方チャプタＣbfと後方チャプタＣblの両方に名称があってサフィックスが同一かどうかを判定し、同一の場合には、キー名称＝ベース名（チャプタ名（Ｃbl））、前方チャプタ名＝既定名前規則（ベース名（チャプタ名（Ｃbf））、後方チャプタ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２１３）。
【００８５】
サフィックスが同一でない場合やサフィックスがない場合、及び前方チャプタにのみ名称がない場合は、キー名称＝ベース名（チャプタ名（Ｃbl））、後方チャプタ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２１４）。後方チャプタにのみ名称がない場合は、キー名称＝ベース名（チャプタ名（Ｃbf））、前方チャプタ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２１５）。
【００８６】
（８−４）始端に一致する点マーカＭbmが取得されているとき
図８のステップＳ１１１において、始端に一致する点マーカＭbmが取得されているとき、照合方法＝前方一致、動作＝点マーカ、マーカ点＝検出区間始端、の属性がそれぞれ設定される（ステップＳ２２１）。
【００８７】
さらに、点マーカＭbmに名称がある場合は、キー名称＝ベース名（マーカ名（Ｍbm））、マーカ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２２２）。
【００８８】
また、始端に一致する区間マーカＭbpが取得されているとき、照合方法＝前方一致、動作＝区間マーカ、マーカ区間＝検出区間始端〜マーカ長（Ｍbp）、の属性がそれぞれ設定される（ステップＳ２２３）。
【００８９】
さらに、区間マーカＭbpに名称がある場合は、キー名称＝ベース名（マーカ名（Ｍbp））、マーカ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２２４）。
【００９０】
（８−５）終端に一致するチャプタ境界があるとき
図８のステップＳ１１２において、終端に一致するチャプタ境界があるとき、照合方法＝後方一致、動作＝チャプタ、チャプタ分割点＝検出区間終端、の属性がそれぞれ設定される（ステップＳ２３１）。
【００９１】
さらに、前方チャプタＣefと後方チャプタＣelの両方に名称があってサフィックスが同一かどうかを判定し、同一の場合には、キー名称＝ベース名（チャプタ名（Ｃef））、前方チャプタ名＝既定名前規則（キー名）、後方チャプタ名＝既定名前規則（ベース名（チャプタ名（Ｃel））、の属性がそれぞれ設定される（ステップＳ２３３）。
【００９２】
サフィックスが同一でない場合やサフィックスがない場合、及び後方チャプタにのみ名称がない場合は、キー名称＝ベース名（チャプタ名（Ｃef））、後方チャプタ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２３４）。前方チャプタにのみ名称がない場合は、キー名称＝ベース名（チャプタ名（Ｃel））、前方チャプタ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２３５）。
【００９３】
（８−６）終端に一致する点マーカＭemが取得されているとき
図８のステップＳ１１２において、終端に一致する点マーカＭemが取得されているとき、照合方法＝後方一致、動作＝点マーカ、マーカ点＝検出区間終端、の属性がそれぞれ設定される（ステップＳ２４１）。
【００９４】
さらに、点マーカＭemに名称がある場合は、キー名称＝ベース名（マーカ名（Ｍem））、マーカ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２４２）。
【００９５】
（８−７）終端に一致する区間マーカＭepが取得されているとき
図８のステップＳ１１２において、終端に一致する区間マーカＭepが取得されているとき、照合方法＝後方一致、動作＝区間マーカ、マーカ区間＝検出区間終端〜マーカ長（Ｍep）、の属性がそれぞれ設定される（ステップＳ２４３）。
【００９６】
さらに、区間マーカＭepに名称がある場合は、キー名称＝ベース名（マーカ名（Ｍep））、マーカ名＝既定名前規則（キー名）、の属性がそれぞれ設定される（ステップＳ２４４）。
【００９７】
［第２の実施形態］
本発明の第２の実施形態に係る音声処理装置について図１０から図１２に基づいて説明する。
【００９８】
本実施形態と第１の実施形態の異なる点は、第１の実施形態では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。
【００９９】
（１）音声処理装置の構成
図１０は、本実施形態に係る音声処理装置の構成を示すものである。
【０１００】
図１０に示す音声処理装置は、記録媒体９０、音声データ取得部２８、音声データ指定部２７、キー生成部３１、キー関連データ取得部５５及びキーデータ管理部１０を備えている。
【０１０１】
記録媒体９０には、予め音声データまたは音声信号あるいは映像音声信号が記録されている。また、記録媒体９０には、音声データのタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関するキー関連データが記録されている。
【０１０２】
音声データ取得部２８は、記録媒体９０に記録されている音声データを読み出して取得し、音声データ指定部２７へ渡す。また、記録媒体９０に記録されているアナログ音声信号を読み出して取得するか、記録媒体９０に記録されているアナログ映像音声信号を読み出して音声信号のみを取得し、デジタル音声データに変換した後、音声データ指定部２７へ渡してもよい。なお、これらの処理に加えて、必要に応じて音声データの暗号解除処理、デコード処理、形式変換処理、レート変換処理等を行ってもよい。
【０１０３】
音声データ指定部２７は、音声データ取得部２８において取得された音声データの全部または一部区間を指定する。利用者の操作により指定する区間を取得する場合には、例えばマウスやリモコンといったデバイスを用いたものが考えられるが、その他の方法を用いてもよい。音声データを再生しておき、ユーザが音声データを確認しながら始終端の位置を指定するようにしてもよい。また、チャプタ名一覧等からチャプタを選択し、そのチャプタ全体を指定された区間と見なしてもよい。
【０１０４】
キー生成部３１は、第３から第６の各実施形態のキー照合部３０において使用される音声パターンデータを、音声データ指定部２７から渡された音声データについて生成する。ここで、キーとして保持する音声パターンデータは、例えば、再生可能な音声データであってもよく、または音声データを特徴抽出してパラメータ化したものでもよい。
【０１０５】
キー関連データ取得部５５は、音声データ指定部２７において指定された音声データの区間に関連するキー関連データを記録媒体９０から取り出す。
【０１０６】
例えば、指定された音声データに対応するタイトル名や指定された区間に対応するチャプタ名があれば、それらのキー関連データが取り出される。また、以前の検索結果に対応する区間が指定され、その検索結果のキーデータが保存されている場合は、図１１のようなキーデータが取り出される。また、キー関連データを外部入力してもよい。
【０１０７】
さらに、指定された区間に直接対応しなくても、近接するチャプタやマーカを検索して見つかれば、それらのキー関連データを取り出し、指定された区間とチャプタやマーカの位置関係により、情報を付与する。
【０１０８】
キーデータ管理部１０は、第１の実施形態と同様に、キー生成部３１において生成された複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについてキー関連データ取得部５５において取得された関連する名称や属性等のキー関連データを合わせて管理することができる。
【０１０９】
（２）キーデータ管理部１０において管理される情報
図１１は、前記処理結果として生成された検索キーとなる音声パターンデータと共に本実施形態のキーデータ管理部１０において管理されるキー関連データの例を示すものである。
【０１１０】
ここでは、キーの名称、タイトルの名称、属性、照合方法及びパラメータがキー関連データとして管理されている。
【０１１１】
検索キーＥ（音声パターンデータＥ）については、「道路渋滞情報」、「道路情報ラジオ」、「ＢＧＭ属性２（ＢＧＭ−２）」、「前方一致」、「ＢＧＭ」という情報が管理されている。
【０１１２】
検索キーＦ（音声パターンデータＦ）については、「エンディング」、「○田×男のトーク番組」、「エンディング音楽属性２（ＥＤＭ−２）」、「後方一致」、「ロバスト音楽（ＲＢＭ）」という情報が管理されている。
【０１１３】
検索キーＧ（音声パターンデータＧ）については、「カルチャーコーナー」、「トラベル会話」、「コーナー音楽属性２（ＣＮＭ−２）」、「完全一致」、「クリーン音楽（ＣＬＭ）」という情報が管理されている。
【０１１４】
検索キーＨ（音声パターンデータＨ）については、「金属バット音」、「（タイトルなし）」、「競技注目イベント属性２（ＡＧＥ−２）」、「前方一致」、「ロバスト効果音（ＲＢＳ）」という情報が管理されている。
【０１１５】
さらに、組で動作する検索キーＪ１及びＪ２（音声パターンデータＪ１、Ｊ２）については、「曲名“Ａ”」、「（タイトルなし）」、「音楽開始属性２（ＢＯＭ−２）」、「前方一致」、「クリーン音楽（ＣＬＭ）」、及び「曲名“Ａ”末尾」、「（タイトルなし）」、「音楽終了属性２（ＥＯＭ−２）」、「後方一致」、「クリーン音楽（ＣＬＭ）」という情報が管理されている。
【０１１６】
図１２は、図１１における属性に対応付けて規定された記録指示動作の例を示すものである。なお、この属性は、第３から６の実施形態では、キー照合部３０の検出結果に基づいて照合結果記録指示部３５で記録指示動作に使用される。
【０１１７】
「ＢＧＭ属性２（ＢＧＭ−２）」については、検出された区間全体をそのままマーカ区間とし、検出された箇所の放送時刻を「ＨＨ：ＭＭ」（００〜２３時、００〜５９分）として取得した後、その区間の名称を「（キーの名称）−時刻」）と設定する記録指示動作のために、検索キーに付加される属性である。なお、図１２における「％Ｒ」は「ＨＨ：ＭＭ」形式の時刻情報を表す。
【０１１８】
「エンディング音楽属性２（ＥＤＭ−２）」については、検出された区間の始端と終端でチャプタ分割し、始終端に挟まれたチャプタの名称を「『エンディング』」（複数検出された場合は「『エンディング』−番号」）、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名としてそれぞれ設定する記録指示動作のために、検索キーに付加される属性である。
【０１１９】
「コーナー音楽属性２（ＣＮＭ−２）」については、検出された区間の始端でチャプタ分割し、分割された後方のチャプタの名称を「（キーの名称）」、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名としてそれぞれ設定する記録指示動作のために、検索キーに付加される属性である。
【０１２０】
「競技注目イベント属性２（ＡＧＥ−２）」については、検出された区間の始端の８秒前をマーカ点とし、マーカの名称を「（キーの名称）−番号」として設定する記録指示動作のために、検索キーに付加される属性である。
【０１２１】
「音楽開始属性２（ＢＯＭ−２）」については、検出された区間の始端でチャプタ分割し、分割された後方のチャプタの名称を「（キーの名称）」として設定する記録指示動作のために、検索キーに付加される属性である。
【０１２２】
「音楽終了属性２（ＥＯＭ−２）」については、検出された区間の終端でチャプタ分割する記録指示動作のために、検索キーに付加される属性である。
【０１２３】
（３）検索キーＥへの属性情報の付加
検索キーＥ（音声パターンデータＥ）を生成するために、記録媒体９０に記録されている音声データの中の一部分を指定したときに、どのように上記属性を付加させるかについて説明する。なお、この属性は、キー関連データ取得部５５から入力した情報である。
【０１２４】
例えば、検索キーＥを生成するために、記録媒体９０に記録されている音声の中の一部分を指定したときの動作は次のようになる。
【０１２５】
「道路情報ラジオ」番組を記録したタイトルにおけるマーカ「道路渋滞情報−１０：２８」部分を指定して、キーを生成した場合、キー指定部分とマーカ部分の一致を判定して、マーカの名称等を元に、検出時の動作をキーの属性情報として付加する。
【０１２６】
例えば、マーカ「道路渋滞情報−１０：２８」からキー名「道路渋滞情報」を得て、検出された区間全体をそのままマーカ区間とし、その区間の名称を「『道路渋滞情報』−時刻」とする属性を付加する。また、マーカ「道路渋滞情報−１０：２８」の始終端と、キー指定部分の始終端を比較し、始端のみがほぼ同一点であって、終端が異なる点になっている場合は、照合方法を「前方一致」と設定する。
【０１２７】
なお、これらを規定の動作として含む「ＢＧＭ属性２（ＢＧＭ−２）」として設定してもよい。
【０１２８】
（４）検索キーＨへの属性情報の付加
検索キーＨ（音声パターンデータＨ）を生成するために、記録媒体９０に記録されている音声データの中の一部分を指定したときに、どのように上記属性を付加させるかについて説明する。なお、この属性は、キー関連データ取得部５５から入力した情報である。
【０１２９】
「高校対抗野球大会」番組を記録したタイトルにおける金属バット音の部分を指定してキーを生成した場合、指定した区間の８秒前にマーカ「金属バット音−３」があることを利用して、検出時の動作をキーの属性情報として付加する。
【０１３０】
例えば、検出された箇所の８秒前をマーカ点とし、マーカの名称を「『金属バット音』−番号」とする属性を付加する。
【０１３１】
また、タイトル名については検出時に付与しない設定にすることができる。これらを規定の動作として含む「競技注目イベント属性２（ＡＧＥ−２）」として設定してもよい。
【０１３２】
（５）検索キーＪ１とＪ２への属性情報の付加
検索キーＪ１（音声パターンデータＪ１）と検索キーＪ２（音声パターンデータＪ２）を生成するために、記録媒体９０に記録されている音声データの中の一部分を指定したときに、どのように上記属性を付加させるかについて説明する。なお、この属性は、キー関連データ取得部５５から入力した情報である。
【０１３３】
音楽番組を記録したタイトルにおける曲名“Ａ”の音楽の開始部分を指定してキーを生成した場合、指定した区間の始端とほぼ同一点から始まる「曲名“Ａ”」のチャプタがあることを利用して、検出時の動作をキーの属性情報として付加する。例えば、検出された区間の始端でチャプタ分割し、後方のチャプタ名を「曲名“Ａ”」とする属性を付加する。
【０１３４】
同様に、同じ音楽の終了部分を指定してキーを生成した場合、指定した区間の終端とほぼ同一点で終わる「曲名“Ａ”」のチャプタがあることを利用して、検出時の動作をキーの属性情報として付加する。例えば、検出された区間の終端でチャプタ分割し、前方のチャプタ名を「曲名“Ａ”」とする属性を付加する。また、タイトル名については検出時に付与しない設定にすることができる。これらをそれぞれ規定の動作として含む「音楽開始属性２（ＢＯＭ−２）」「音楽終了属性２（ＥＯＭ−２）」として設定してもよい。
【０１３５】
［第３の実施形態］
本発明の第３の実施形態に係る映像音声処理装置について図１３から図１７に基づいて説明する。
【０１３６】
第１の実施形態に係る映像音声処理装置は、利用者が映像音声データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データであるメタデータを生成する場合に、メタデータの元となる検索キーとキー関連データよりなるキーデータを生成する装置である。そして、本実施形態の映像音声処理装置は、その機能に加えてキーデータに基づいて利用対象データである映像音声データに支援データであるメタデータを記録させる機能も有している。
【０１３７】
（１）映像音声処理装置の構成
図１３は、本実施形態に係る映像音声処理装置の構成を示すものである。
【０１３８】
図１３に示す映像音声処理装置は、キー生成に係る構成要素として、映像データ取得部４８、映像データ指定部４７、音声データ分離部２５、キー生成部３１及びキー関連データ取得部５５を備えている。また、キー検索に係る構成要素として、映像データ取得部４１、音声データ分離部２２、キー照合部３０及び照合結果記録指示部３５を備えている。さらに、共通の構成要素として、記録媒体９０及びキーデータ管理部１０を備えている。
【０１３９】
キー生成に係る構成要素は、第１の実施形態と同様であり、説明を省略する。
【０１４０】
キー検索に係る映像データ取得部４１は、外部のデジタルビデオカメラ、デジタル放送等の受信チューナー、その他のデジタル機器から入力される映像音声データを取得し、記録媒体９０に記録すると共に、音声データ分離部２２へ渡す。また、外部のビデオカメラ、放送受信チューナー、その他の機器から入力されるアナログ映像音声信号を取得し、デジタル映像音声データに変換した後、記録媒体９０に記録したり、音声データ分離部２２へ渡してもよい。なお、これらの処理に加えて、必要に応じて映像音声データの暗号解除処理（例えばＢ−ＣＡＳ）、デコード処理（例えばＭＰＥＧ２）、形式変換処理（例えばＴＳ／ＰＳ）、レート（圧縮率）変換処理等を行ってもよい。
【０１４１】
音声データ分離部２２は、映像データ取得部４１において取得された映像音声データから音声データを分離して、キー照合部３０へ渡す。
【０１４２】
キーデータ管理部１０は、第１の実施形態と同様に、複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについて、関連する名称や属性等の情報を合わせて管理することができる。キー生成の結果、図２のような情報が管理されている。
【０１４３】
キー照合部３０は、キーデータ管理部１０において検索キーとして管理されている音声パターンデータのうち、予め選択された１または複数の音声パターンデータと、音声データ分離部２２において分離された音声データとを照合し、類似した区間を検出する。
【０１４４】
（２）キー検索の説明
検索キーＡに対しては、「前方一致」と「ＢＧＭ」という情報に従って、人の声の周波数領域をマスクする等でＢＧＭの音楽成分に着目して一致度合いを評価し、検索キーの先頭からパターンが一致するところまでを終端フリーで検出するアルゴリズムを使用する。
【０１４５】
検索キーＢに対しては、「完全一致」と「クリーン音楽」という情報に従って、音楽成分を重視して一致度合いを評価し、検索キー全体のパターンが一致する箇所を検出するアルゴリズムを使用する。
【０１４６】
検索キーＣに対しては、「完全一致」と「ロバスト音楽」という情報に従って、音楽成分を重視しながら多少のノイズを許容して一致度合いを評価し、検索キー全体のパターンが一致する箇所を検出するアルゴリズムを使用する。
【０１４７】
検索キーＤに対しては、「前方一致」と「ロバスト効果音」という情報に従って、スペクトルピークに着目して一致度合いを評価し、検索キーの先頭からパターンが一致するところまでを終端フリーで検出するアルゴリズムを使用する。
【０１４８】
なお、図２記載の各情報は検索キーと共に予め設定されて管理されているものとしているが、実際に検出や検索のためにキー照合部３０に対して選択、設定する際に、一部または全部の情報を変更して使用してもよい。例えば、検索キーＢは通常は「完全一致」「クリーン音楽（ＣＬＭ）」となっているが、「前方一致」「ＢＧＭ」として使用することで、同番組の予告編を検索・検出するのに適したものになる。
【０１４９】
（３）照合結果記録指示部３５
照合結果記録指示部３５は、キー照合部３０において検出されたキーデータをキーデータ管理部１０より取得する。そして、このキーデータにおける検索キーの属性に応じて、再生、編集、検索が簡単にできるようにメタデータとして記録媒体９０に記録する。記録媒体９０において記録されるメタデータは、例えばＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）のＶＲ（Ｖｉｄｅｏ  Ｒｅｃｏｒｄｉｎｇ）モードで規定される構造になっている。
【０１５０】
照合結果記録指示部３５における、属性に対応付けて規定された記録指示動作の例を図３を参考にして説明する。
【０１５１】
「ＢＧＭ属性１（ＢＧＭ−１）」については、検出された区間全体をそのままマーカ区間とし、その区間の名称を「（キーの名称）」（複数検出された場合は「（キーの名称）−番号」）と設定するように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。なお、図３における「＃」は番号を表す。
【０１５２】
「オープニング音楽属性１（ＯＰＭ−１）」については、検出された区間の始端と終端でチャプタ分割し、始終端に挟まれたチャプタの名称を「『オープニング』−番号」、終端で分割された後方のチャプタの名称を「『本編』−番号」、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名として、それぞれ設定するように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。
【０１５３】
「コーナー音楽属性１（ＣＮＭ−１）」については、検出された区間の始端でチャプタ分割し、分割された後方のチャプタの名称を「（キーの名称）」（複数検出された場合は「（キーの名称）−番号」）、もしタイトル名が未設定の場合にはキーに関連付けられた「タイトルの名称」をタイトル名として、それぞれ設定するように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。
【０１５４】
「競技開始イベント属性１（ＳＧＥ−１）」については、検出された区間の始端の２秒前をマーカ点とし、マーカの名称を「（キーの名称）−番号」と設定するように照合結果記録指示部３５が記録媒体９０に対し記録指示動作を行い、記録媒体９０がその記録指示動作に基づきメタデータとして記録する。
【０１５５】
（４）検索キーＡが検出されたときの記録指示動作
キー照合部３０において検索キーＡが検出されたときに、照合結果記録指示部３５が「ＢＧＭ属性１」の規定の動作に従って記録指示動作を記録媒体９０に対して行い、図１４は、その記録媒体９０に記録された情報を示す模式図である。
【０１５６】
１２月２２日放送の「朝の情報テレビ」番組（１時間５４分）における「占いコーナー」の区間が、放送開始から５８分ちょうどと１時間５１分の計２回検出されて（帯の上に接した濃い印で示す）、それぞれ「占いコーナー−１」「占いコーナー−２」という名前のマーカ（帯の中の斜線で示した部分）がついている。
【０１５７】
これにより、例えば、占いコーナーの部分だけを抜き出し、高圧縮で再エンコードして携帯機器に転送する等が可能となる。
【０１５８】
（５）検索キーＢが検出されたときの記録指示動作
キー照合部３０において検索キーＢが検出されたときに、照合結果記録指示部３５が「オープニング音楽属性１」の規定の動作に従って記録指示動作を記録媒体９０に対して行い、図１５は、その記録媒体９０に記録された情報を示す模式図である。
【０１５９】
１２月２３日放送の「夜の連続ドラマ」の５話連続再放送の番組（１時間４０分）における「オープニング」の区間が、０分３０秒、２０分１５秒等の計５回検出されて（帯の上に接した濃い印で示す）、１回目の「オープニング」の前のチャプタ（名前なし）、１回目の「オープニング−１」、１回目のオープニングに続く「本編−１」、２回目の「オープニング−２」、２回目のオープニングに続く「本編−２」等のチャプタに分割（帯の中の縦線で示す）されている。また、タイトル名「夜の連続ドラマ」が設定されている。ここで、検索キーＢと関連付けて、タイトル名のほかに、ジャンル「ドラマ」、保存先メディア「ＨＤＤ」、保存先フォルダ「マイドラマ」、最終保存レート（圧縮率）「低」、プレイリスト「夜の連続ドラマ−本編」が設定されているとすると、検索キーＢが検出されたときに、タイトル名に代えて、またはタイトル名に加えて、ジャンル「ドラマ」が設定されたり、保存先のディスクをＨＤＤの「マイドラマ」フォルダにしたり、最終保存レートに従って品質を落とした「低」レートに変換して保存したり、新たなチャプタ「『本編』−番号」をプレイリスト「夜の連続ドラマ−本編」に追加したりしてもよい。
【０１６０】
これにより、例えば、水曜日の再放送である３話目だけを見たい場合にチャプタ一覧から「オープニング−３」を選択して再生したり、オープニング再生中に「次チャプタへジャンプ」等の操作をすることにより、何度も同じオープニングを見ることなく、本編だけをまとめて見たりすることが可能となる。また、ＥＰＧによらないタイトル名設定や、ジャンル設定、保存先フォルダ設定等の自動化が可能となる。
【０１６１】
（６）検索キーＣが検出されたときの記録指示動作
キー照合部３０において検索キーＣが検出されたときに、照合結果記録指示部３５が「コーナー音楽属性１」の規定の動作に従って記録指示動作を記録媒体９０に対して行い、図１６は、その記録媒体９０に記録された情報を示す模式図である。
【０１６２】
１２月２４日放送の「１０時のニュース」（６０分）における「スポーツコーナー」の音楽が検出され、コーナー音楽の頭（３５分３０秒）でチャプタ分割されて「スポーツコーナー」のチャプタ名がついている。これにより、例えば、スポーツにしか関心がないユーザは、チャプタ一覧から「スポーツコーナー」を選択して再生することができる。また、番組冒頭からしばらく主要ニュースを見た後、興味がなくなってきたところで「次チャプタへジャンプ」等の操作をすることにより「スポーツコーナー」までの間を飛ばすような視聴の仕方も可能となる。
【０１６３】
（７）検索キーＤが検出されたときの記録指示動作
キー照合部３０において検索キーＤが検出されたときに、照合結果記録指示部３５が「競技開始イベント属性１」の規定の動作に従って記録指示動作を記録媒体９０に対して行い、図１７は、その記録媒体９０に記録された情報を示す模式図である。
【０１６４】
８月１９日放送の「国際水泳競技生中継」番組における「水泳スタート音」が１２回、同日放送の「７時のニュース」番組で２回、「今日のスポーツニュース」番組で５回、それぞれ検出されて、各々２秒前に「水泳スタート音−１」「水泳スタート音−２」等のマーカがついている。これにより、「次マーカへジャンプ」等の操作をすることで、各レースのスタートのシーンを頭出しすることができ、例えば、特定の選手が出場しているなどで見たいレースがある場合、再生された映像を見ながら次々にジャンプして、見たいレースを見つけることが可能となる。
【０１６５】
なお、キー検索に係る構成要素である映像データ取得部４１及び音声データ分離部２２は、キー生成に係る構成要素である映像データ取得部４８及び音声データ分離部２５と類似した処理を行うものであり、共通化してもよい。
【０１６６】
［第４の実施形態］
本発明の第４の実施形態に係る音声処理装置について図１８に基づいて説明する。
【０１６７】
本実施形態と第３の実施形態の異なる点は、第３の実施形態では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。
【０１６８】
（１）音声処理装置の構成
図１８は、本実施形態に係る音声処理装置の構成を示すものである。
【０１６９】
この図に示す音声処理装置は、キー生成に係る構成要素として、音声データ取得部２８、音声データ指定部２７、キー生成部３１及びキー関連データ取得部５５を備えている。また、キー検索に係る構成要素として、音声データ取得部２１、キー照合部３０及び照合結果記録指示部３５を備えている。さらに、共通の構成要素として、記録媒体９０及びキーデータ管理部１０を備えている。
【０１７０】
キー生成に係る構成要素は、第２の実施形態と同様であり、説明を省略する。
【０１７１】
キー検索に係る音声データ取得部２１は、外部のデジタルマイクロホン、デジタル放送等の受信チューナー、その他のデジタル機器から入力される音声データを取得し、記録媒体９０に記録すると共に、キー照合部３０へ渡す。また、外部のマイクロホン、放送受信チューナー、その他の機器から入力されるアナログ音声信号を取得し、デジタル音声データに変換した後、記録媒体９０に記録したり、キー照合部３０へ渡してもよい。また、これらの処理に加えて、必要に応じて音声データの暗号解除処理、デコード処理、形式変換処理、レート変換処理等を行ってもよい。
【０１７２】
キーデータ管理部１０は、第２の実施形態と同様に、複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについて、関連する名称や属性等の情報を合わせて管理することができる。
【０１７３】
（２）キー検索の説明
キー生成の結果、図１１のような情報が管理されているものとして、キー検索の説明をする。
【０１７４】
キー照合部３０は、キーデータ管理部１０において検索キーとして管理されている音声パターンデータのうち、予め選択された１または複数の音声パターンデータと、音声データ取得部２１において取得された音声データとを照合し、類似した区間を検出する。
【０１７５】
検索キーＥに対しては、「前方一致」と「ＢＧＭ」という情報に従って、人の声の周波数領域をマスクする等でＢＧＭの音楽成分に着目して一致度合いを評価し、検索キーの先頭からパターンが一致するところまでを終端フリーで検出するアルゴリズムを使用する。
【０１７６】
検索キーＦに対しては、「後方一致」と「ロバスト音楽」という情報に従って、音楽成分を重視しながら多少のノイズを許容して一致度合いを評価し、検索キー末尾からパターンが一致するところまでを始端フリーで検出するアルゴリズムを使用する。
【０１７７】
検索キーＧに対しては、「完全一致」と「クリーン音楽」という情報に従って、音楽成分を重視して一致度合いを評価し、検索キー全体のパターンが一致する箇所を検出するアルゴリズムを使用する。
【０１７８】
検索キーＨに対しては、「前方一致」と「ロバスト効果音」という情報に従って、スペクトルピークに着目して一致度合いを評価し、検索キーの先頭からパターンが一致するところまでを終端フリーで検出するアルゴリズムを使用する。
【０１７９】
検索キーＪ１に対しては、「前方一致」と「クリーン音楽」という情報に従って、音楽成分を重視して一致度合いを評価し、検索キーの先頭からパターンが一致するところまでを終端フリーで検出するアルゴリズムを使用する。
【０１８０】
検索キーＪ２に対しては、「後方一致」と「クリーン音楽」という情報に従って、音楽成分を重視して一致度合いを評価し、検索キーの末尾からパターンが一致するところまでを始端フリーで検出するアルゴリズムを使用する。
【０１８１】
なお、図１１記載の各情報は検索キーと共に予め設定されて管理されているものとしているが、実際に検出や検索のためにキー照合部３０に対して選択、設定する際に、一部または全部の情報を変更して使用してもよい。例えば、検索キーＪ１は通常は「クリーン音楽（ＣＬＭ）」となっているが、「ＢＧＭ」として使用することで、曲の最初にナレーションが入る形式の音楽番組やＣＭでの検索・検出に適したものになる。
【０１８２】
（３）照合結果記録指示部３５
照合結果記録指示部３５は、キー照合部３０において検出されたキーデータをキーデータ管理部１０より取得する。そして、このキーデータにおける検索キーの属性に応じて、再生、編集、検索が簡単にできるようにメタデータとして記録媒体９０に記録する。
【０１８３】
図１２は、照合結果記録指示部３５における、属性に対応付けて規定された記録指示動作の例を示すものである。内容は第２の実施形態と同様であるので、説明を省略する。
【０１８４】
（４）検索キーＥが検出されたとき
例えば、検索キーＥが検出されたときに、「ＢＧＭ属性２」の規定の動作に従って、「道路情報ラジオ」番組における「道路渋滞情報」の区間が、複数回検出されて、それぞれ放送された時刻に応じて「道路渋滞情報−９：５５」「道路渋滞情報−１０：２８」「道路渋滞情報−１０：５６」等という名前のマーカが検出された区間についている。これにより、例えば、道路渋滞情報だけを最新の情報から順に抜き出して聞く等が可能となる。
【０１８５】
（５）検索キーＨが検出されたとき
検索キーＨが検出されたときに、「競技注目イベント属性２」の規定の動作に従って、「高校対抗野球大会」番組における「金属バット音」が検出され、各々検出された箇所の８秒前にマーカがついているので、打撃のシーンのみを直前の投球動作から順次再生することが可能となる。
【０１８６】
（６）検索キーＪ１とＪ２が検出されたとき
検索キーＪ１とＪ２が検出されたときに、「音楽開始属性２」と「音楽終了属性２」の規定の動作の組み合わせによって、「曲名“Ａ”」の音楽の開始と終了の両方でチャプタ分割され、音楽の区間が「曲名“Ａ”」のチャプタとなる。
【０１８７】
［第５の実施形態］
本発明の第５の実施形態に係る映像音声処理装置について図１９に基づいて説明する。
【０１８８】
本実施形態と第３の実施形態の異なる点は、外部から取得した映像音声データについて記録及び処理を行うのではなく、記録済みの映像音声データについて処理を行うことである。
【０１８９】
図１９は、本実施形態に係る映像音声処理装置の構成を示すものである。
【０１９０】
図１９に示す映像音声処理装置は、キー生成に係る構成要素として、映像データ取得部４８、映像データ指定部４７、音声データ分離部２５、キー生成部３１及びキー関連データ取得部５５を備えている。また、キー検索に係る構成要素として、映像データ取得部４６、音声データ分離部２２、キー照合部３０及び照合結果記録指示部３５を備えている。さらに、共通の構成要素として、記録媒体９０及びキーデータ管理部１０を備えている。
【０１９１】
キー生成に係る構成要素は、第１の実施形態と同様であり、説明を省略する。
【０１９２】
記録媒体９０には、予め映像音声データまたは映像音声信号が記録されている。また、記録媒体９０には、映像音声のタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。
【０１９３】
キー検索に係る映像データ取得部４６は、記録媒体９０に記録されている映像音声データを読み出して取得し、音声データ分離部２２へ渡す。また、アナログ映像音声信号を読み出して取得し、デジタル映像音声データに変換した後、音声データ分離部２２へ渡してもよい。また、これらの処理に加えて、必要に応じて映像音声データの暗号解除処理、デコード処理、形式変換処理、レート変換処理等を行ってもよい。
【０１９４】
音声データ分離部２２は、映像データ取得部４６において取得された映像音声データから音声データを分離して、キー照合部３０へ渡す。例えば、ＭＰＥＧ２データをＤｅｍｕｘして、音声データを含むＭＰＥＧ２  Ａｕｄｉｏ  ＥＳを取り出し、デコード（ＡＡＣ等）する。
【０１９５】
キーデータ管理部１０は、第３の実施形態と同様に、複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについて、関連する名称や属性等の情報を合わせて管理することができる。
【０１９６】
例えば、図２に示すように、検索キーＡについて「占いコーナー」「朝の情報テレビ」「ＢＧＭ属性１」等、検索キーＢについて「オープニング」「夜の連続ドラマ」「オープニング音楽属性１」等がキー関連情報として管理されている。
【０１９７】
キー照合部３０は、キーデータ管理部１０において検索キーとして管理されている音声パターンデータのうち、予め選択された１または複数の音声パターンデータと、音声データ取得部２６において取得された音声データとを照合し、類似した区間を検出する。
【０１９８】
照合結果記録指示部３５は、キー照合部３０において検出されたキーデータをキーデータ管理部１０より取得する。そして、このキーデータにおける検索キーの属性に応じて、再生、編集、検索が簡単にできるようにメタデータとして記録媒体９０に記録する。
【０１９９】
例えば、図３と同様に、検索キーＡの「ＢＧＭ属性１」については検出された区間全体を「（キーの名称）」、また、検索キーＢの「オープニング音楽属性１」については検出された区間の始終端の間を「オープニング」、終端の後方の区間を「本編」、さらにタイトル名を設定する等の記録指示動作が各属性について規定されている。
【０２００】
また、照合結果記録指示部３５において、記録媒体９０に記録されるメタデータは、例えばＡＲＩＢ  ＳＴＤ−Ｂ３８で規定される構造になっている。
【０２０１】
図２１は、キー照合部３０において検索キーＡが検出されたときに、照合結果記録指示部３５によって記録媒体９０に記録されるメタデータの例を示すものである。番組開始後３４８０秒（５８分）から１２０秒間の「占いコーナー−１」と、６６６０秒（１時間５１分）から１８０秒間の「占いコーナー−２」という２つのセグメントと、これらの占いコーナー部分を抜き出した「占いコーナー」というセグメントグループが記録されている。
【０２０２】
図２２は、キー照合部３０において検索キーＢが検出されたときに、照合結果記録指示部３５によって記録媒体９０に記録されるメタデータの例を示すものである。プログラムに関する、名前（タイトル名）「夜の連続ドラマ」やジャンル「ドラマ」等の情報と、番組開始後３０秒から７０秒間の「オープニング−１」や１２１５秒（２０分１５秒）からの「オープニング−２」、これらの間の「本編−１」「本編−２」等のセグメントが記録されている。
【０２０３】
［第６の実施形態］
本発明の第６の実施形態に係る音声処理装置について図２０に基づいて説明する。
【０２０４】
本実施形態と第４の実施形態の異なる点は、外部から取得した音声データについて記録及び処理を行うのではなく、記録済みの音声データについて処理を行うことである。
【０２０５】
図２０は、本実施形態に係る音声処理装置の構成を示すものである。
【０２０６】
この図に示す音声処理装置は、キー生成に係る構成要素として、音声データ取得部２８、音声データ指定部２７、キー生成部３１及びキー関連データ取得部５５を備えている。また、キー検索に係る構成要素として、音声データ取得部２６、キー照合部３０及び照合結果記録指示部３５を備えている。さらに、共通の構成要素として、記録媒体９０及びキーデータ管理部１０を備えている。
【０２０７】
キー生成に係る構成要素は、第２の実施形態と同様であり、説明を省略する。
【０２０８】
キーデータ管理部１０は、第４の実施形態と同様に、複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについて、関連する名称や属性等の情報を合わせて管理することができる。
【０２０９】
記録媒体９０には、予め音声データまたは音声信号あるいは映像音声信号が記録されている。また、記録媒体９０には、音声データのタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。
【０２１０】
キー検索に係る音声データ取得部２６は、記録媒体９０に記録されている音声データを読み出して取得し、キー照合部３０へ渡す。
【０２１１】
音声データ取得部２６は、記録媒体９０に記録されているアナログ音声信号を読み出して取得するか、記録媒体９０に記録されているアナログ映像音声信号を読み出して音声信号のみ取得し、デジタル音声データに変換した後、キー照合部３０へ渡してもよい。なお、これらの処理に加えて、必要に応じて音声データの暗号解除処理、デコード処理、形式変換処理、レート変換処理等を行ってもよい。
【０２１２】
キーデータ管理部１０は、第４の実施形態と同様に、複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについて、関連する名称や属性等の情報を合わせて管理することができる。
【０２１３】
キー生成の結果、図１１のような情報が管理されているものとして、キー検索の説明をする。
【０２１４】
キー照合部３０は、キーデータ管理部１０において検索キーとして管理されている音声パターンデータのうち、予め選択された１または複数の音声パターンデータと、音声データ取得部２６において取得された音声データとを照合し、類似した区間を検出する。
【０２１５】
照合結果記録指示部３５は、キー照合部３０において検出されたキーデータをキーデータ管理部１０より取得する。そして、このキーデータにおける検索キーの属性に応じて、再生、編集、検索が簡単にできるようにメタデータとして記録媒体９０に記録する。
【０２１６】
［第７の実施形態］
本発明の第７の実施形態に係る映像音声処理装置について図２３、図２４に基づいて説明する。
【０２１７】
本実施形態に係る映像音声処理装置は、利用者が映像音声データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データであるメタデータを生成する場合に、メタデータの元となる検索キーとキー関連データよりなるキーデータを生成する装置である。
【０２１８】
本実施形態と第１の実施形態の異なる点は、検索キーとする区間を外部から指定するのではなく、第１の支援データの入力に基づいて決定する点である。
【０２１９】
（１）映像音声処理装置の構成
図２３は、本実施形態の映像音声処理装置の構成を示すブロック図である。
【０２２０】
図２３に示す映像音声処理装置は、第１映像データ取得部４３、第１音声データ分離部２５、第１支援データ入力部６６、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５、記録媒体９１Ａ及びキーデータ管理部１０を備えている。
【０２２１】
第１映像データ取得部４３は外部からキー生成に係る第１コンテンツの映像音声データを取得して記録媒体９１Ａに記録する。
【０２２２】
第１音声データ分離部２５は、第１映像データ取得部４３において取得された映像音声データから音声データを分離して、キー指定情報生成部６１へ渡す。例えば、ＭＰＥＧ２データをＤｅｍｕｘして、音声データを含むＭＰＥＧ２Ａｕｄｉｏ  ＥＳを取り出し、デコード（ＡＡＣ等）する。
【０２２３】
第１支援データ入力部６６は、第１コンテンツに関する支援データを入力し、記録媒体９１Ａに記録する。
【０２２４】
キー指定情報生成部６１は、第１支援データ入力部６６において入力された支援データの時刻を基準として、第１音声データ分離部２５から渡された音声データにおいて、検索キーとする区間を決定する。
【０２２５】
キー関連データ取得部５５は、キー指定情報生成部６１において指定された映像音声データの区間に関連するキー関連データを取得する。キー関連データとして、記録媒体９１Ａに記録された支援データまたは第１支援データ入力部６６において入力された支援データがある。これらの第１支援データには、放送や外部から提供される電子番組表や番組メタデータから取得した、第１コンテンツの番組に関する情報、例えば番組の属性として、番組タイトル、ジャンル、放送日時（曜日、時刻、日付）、放送チャンネル（放送局）、制作元、番組グループ（番組シリーズ、派生元番組）等が含まれていてもよい。
【０２２６】
キー生成部３１は、第１の実施形態と同様に、第３から第６及び後述の各実施形態のキー照合部３０において使用される音声パターンデータを、キー指定情報生成部６１において決定された区間の音声データに基づいて生成する。ここで、検索キーとして保持する音声パターンデータは、例えば、再生可能な音声データであってもよく、または音声データを特徴抽出してパラメータ化したものでもよい。
【０２２７】
キーデータ管理部１０は、第１の実施形態と同様に、キー生成部３１において生成された複数の音声パターンデータを検索キーとして管理する。また、各々の検索キーについてキー関連データ取得部５５において取得された関連する名称や属性等のキー関連データを付加して管理することができる。
【０２２８】
（２）映像音声処理装置の別の構成
図２４は、本実施形態の別の構成を示すブロック図である。
【０２２９】
図２４における第１映像データ取得部４８は、外部から取得した映像音声データについて記録及び処理を行うのではなく、記録媒体９１Ｂに記録済みの映像音声データについて処理を行う点が、図２３における第１映像データ取得部４３と異なる。
【０２３０】
記録媒体９１Ｂには、予め第１コンテンツの映像音声データまたは映像音声信号が記録されている。また、記録媒体９１Ｂには、映像音声のタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。
【０２３１】
［第８の実施形態］
本発明の第８の実施形態に係る映像音声処理装置について図２５、図２６、図２７に基づいて説明する。
【０２３２】
（１）映像音声処理装置の第１の構成
図２５は、本実施形態の映像音声処理装置の第１の構成を示すブロック図である。
【０２３３】
図２５に示す映像音声処理装置は、第１映像データ取得部４３、第１音声データ分離部２５、第１支援データ生成部６５、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５、記録媒体９１Ａ及びキーデータ管理部１０を備えている。
【０２３４】
本実施形態と第７の実施形態の異なる点は、第１支援データ入力部６６に代えて、第１支援データ生成部６５を有する点である。
【０２３５】
第１支援データ生成部６５は、第１音声データ分離部２５において分離された音声データの変化点を検出して、第１支援データを生成し、記録媒体９１Ａに記録する。例えば、無音区間を検出して、その開始、終了、中間点等で分割を行う。また、音声多重モードの切り替わりを検出して、モノラルモードの本編部分と、ステレオモードのＣＭ部分との境界で分割を行うようにしてもよい。
【０２３６】
キー指定情報生成部６１は、第１支援データ生成部６５において生成された支援データの時刻を基準として、第１音声データ分離部２５から渡された音声データにおいて、検索キーとする区間を決定する。
【０２３７】
キー関連データ取得部５５は、キー指定情報生成部６１において指定された映像音声データの区間に関連するキー関連データを取得する。キー関連データとして、記録媒体９１Ａに記録された支援データまたは第１支援データ生成部６５において生成された支援データがある。
【０２３８】
第１映像データ取得部４３、第１音声データ分離部２５、キー生成部３１、記録媒体９１Ａ及びキーデータ管理部１０については、第７の実施形態と同様であり、説明を省略する。
【０２３９】
なお、第７の実施形態における図２４と同様、本実施形態においても、外部から取得した映像音声データについて記録及び処理を行う第１映像取得部４３に代えて、記録媒体９１Ｂに記録済みの映像音声データについて処理を行う第１映像取得部４８を備えてもよい。
【０２４０】
（２）映像音声処理装置の第２の構成
図２６は、本実施形態の第２の構成を示すブロック図である。
【０２４１】
図２６における第１支援データ生成部６５は、第１音声データ分離部２５において分離された音声データではなく、第１映像データ取得部４３において取得された映像音声データに基づいて第１支援データを生成する点が、図２５における第１支援データ生成部６５と異なる。例えば、映像の切り替わり（カット）を検出して、分割を行う。音声データを併用して、無音部分のカットで分割するようにしてもよい。また、特開２００５−１３０４１６公報のような、映像同士の類似度に基づく分割を行ってもよい。
【０２４２】
（３）映像音声処理装置の第３の構成
図２７は、本実施形態のさらに別の第３の構成を示すブロック図である。
【０２４３】
図２７における第１支援データ生成部６５は、第１音声データ分離部２５において分離された音声データではなく、第１映像データ取得部４８において取得された映像音声データに基づいて第１支援データを生成する点が、図２５における第１支援データ生成部６５と異なる。
【０２４４】
また、図２７における第１映像データ取得部４８は、外部から取得した映像音声データについて記録及び処理を行うのではなく、記録媒体９１Ｂに記録済みの映像音声データについて処理を行う点が、図２６における第１映像データ取得部４３と異なる。
【０２４５】
［第９の実施形態］
本発明の第９の実施形態に係る映像音声処理装置について図２８、図２９に基づいて説明する。
【０２４６】
（１）映像音声処理装置の構成
図２８は、本実施形態の映像音声処理装置の構成を示すブロック図である。
【０２４７】
図２８に示す映像音声処理装置は、第１映像データ取得部４３、第１音声データ分離部２５、第１支援データ生成部６５、第１支援データ入力部６６、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５、記録媒体９１Ａ及びキーデータ管理部１０を備えている。
【０２４８】
本実施形態と第７及び第８の実施形態の異なる点は、第１支援データ入力部６６及び第１支援データ生成部６５をともに有する点である。
【０２４９】
第１支援データ生成部６５は、第１音声データ分離部２５において分離された音声データの変化点を検出して、支援データを生成する。例えば、無音区間を検出して、その開始、終了、中間点等で分割を行う。また、音声多重モードの切り替わりを検出して、モノラルモードの本編部分と、ステレオモードのＣＭ部分との境界で分割を行うようにしてもよい。
【０２５０】
第１支援データ入力部６６は、第１支援データ生成部６５において生成された支援データに基づきまたは加えて、第１コンテンツに関する支援データを入力し、記録媒体９１Ａに記録する。第１支援データ生成部６５において生成された支援データは、入力画面上で基準値として表示したり、入力がない場合の初期値や規定値として採用したりするとよい。例えば、第１支援データ生成部６５において分割されたＣＭ部分に、ＣＭの名前等のテキスト情報を入力する。
【０２５１】
キー指定情報生成部６１は、第１支援データ生成部６５において生成され、または第１支援データ入力部において入力された支援データの時刻を基準として、第１音声データ分離部２５から渡された音声データにおいて、検索キーとする区間を決定する。
【０２５２】
キー関連データ取得部５５は、キー指定情報生成部６１において指定された映像音声データの区間に関連するキー関連データを取得する。キー関連データとして、記録媒体９１Ａに記録された支援データまたは第１支援データ入力部６６において入力された支援データ或いは第１支援データ生成部６５において生成された支援データがある。
【０２５３】
第１映像データ取得部４３、第１音声データ分離部２５、キー生成部３１、記録媒体９１Ａ及びキーデータ管理部１０については、第７の実施形態と同様であり、説明を省略する。
【０２５４】
なお、第７の実施形態における図２４と同様、本実施形態においても、外部から取得した映像音声データについて記録及び処理を行う第１映像取得部４３に代えて、記録媒体９１Ｂに記録済みの映像音声データについて処理を行う第１映像取得部４８を備えてもよい。
【０２５５】
（２）映像音声処理装置の別の構成
図２９は、本実施形態の映像音声処理装置の別の構成を示すブロック図である。
【０２５６】
図２９における第１支援データ生成部６５は、第８の実施形態における図２６と同様、第１音声データ分離部２５において分離された音声データではなく、第１映像データ取得部４３において取得された映像音声データに基づいて第１支援データを生成する点が、図２８における第１支援データ生成部６５と異なる。例えば、映像の切り替わり（カット）を検出して、分割を行う。音声データを併用して、無音部分のカットで分割するようにしてもよい。また、特開２００５−１３０４１６公報のような、映像同士の類似度に基づく分割を行ってもよい。また、第１支援データ入力部６６は、第１支援データ生成部６５において映像同士の類似度に基づいて分割された部分が話題単位になっている場合に、話題やコーナーの名前等のテキスト情報を入力する。
【０２５７】
なお、第８の実施形態における図２７と同様、外部から取得した映像音声データについて記録及び処理を行う第１映像取得部４３に代えて、記録媒体９１Ｂに記録済みの映像音声データについて処理を行う第１映像取得部４８を備えてもよい。
【０２５８】
［第１０の実施形態］
本発明の第１０の実施形態に係る音声処理装置について図３０、図３１に基づいて説明する。
【０２５９】
本実施形態と第７の実施形態の異なる点は、第７の実施形態では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。
【０２６０】
（１）音声処理装置の構成
図３０は、本実施形態に係る音声処理装置の構成を示すブロック図である。
【０２６１】
図３０に示す音声処理装置は、第１音声データ取得部２３、第１支援データ入力部６６、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５、記録媒体９１Ａ及びキーデータ管理部１０を備えている。
【０２６２】
第１音声データ取得部２３は外部からキー生成に係る第１コンテンツの音声データを取得して記録媒体９１Ａに記録するとともに、キー指定情報生成部６１へ渡す。
【０２６３】
第１支援データ入力部６６は、第１コンテンツに関する支援データを入力し、記録媒体９１Ａに記録する。
【０２６４】
キー指定情報生成部６１は、第１支援データ入力部６６において入力された支援データの時刻を基準として、第１音声データ取得部２３から渡された音声データにおいて、検索キーとする区間を決定する。
【０２６５】
キー関連データ取得部５５は、キー指定情報生成部６１において指定された音声データの区間に関連するキー関連データを取得する。キー関連データとして、記録媒体９１Ａに記録された支援データまたは第１支援データ入力部６６において入力された支援データがある。これらの第１支援データには、放送や外部から提供される電子番組表や番組メタデータから取得した、第１コンテンツの番組に関する情報、例えば番組の属性として、番組タイトル、ジャンル、放送日時（曜日、時刻、日付）、放送チャンネル（放送局）、制作元、番組グループ（番組シリーズ、派生元番組）等が含まれていてもよい。
【０２６６】
キー生成部３１、記録媒体９１Ａ及びキーデータ管理部１０については、第７の実施形態と同様であり、説明を省略する。
【０２６７】
（２）音声処理装置の別の構成
図３１は、本実施形態の別の構成を示すブロック図である。
【０２６８】
図３１における第１音声データ取得部２８は、外部から取得した音声データについて記録及び処理を行うのではなく、記録媒体９１Ｂに記録済みの音声データについて処理を行う点が、図３０における第１音声データ取得部２３と異なる。
【０２６９】
記録媒体９１Ｂには、予め第１コンテンツの音声データまたは音声信号が記録されている。また、記録媒体９１Ｂには、音声のタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。
【０２７０】
［第１１の実施形態］
本発明の第１１の実施形態に係る音声処理装置について図３２に基づいて説明する。
【０２７１】
本実施形態と第８の実施形態の異なる点は、第８の実施形態では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。
【０２７２】
図３２は、本実施形態に係る音声処理装置の構成を示すブロック図である。
【０２７３】
図３２に示す音声処理装置は、第１音声データ取得部２３、第１支援データ取得部６５、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５、記録媒体９１Ａ及びキーデータ管理部１０を備えている。
【０２７４】
本実施形態と第１０の実施形態の異なる点は、第１支援データ入力部６６に代えて、第１支援データ生成部６５を有する点である。
【０２７５】
第１支援データ生成部６５は、第１音声データ取得部２３において取得された音声データの変化点を検出して、第１支援データを生成し、記録媒体９１Ａに記録する。例えば、無音区間を検出して、その開始、終了、中間点等で分割を行う。また、音声多重モードの切り替わりを検出して、モノラルモードの本編部分と、ステレオモードのＣＭ部分との境界で分割を行うようにしてもよい。
【０２７６】
キー指定情報生成部６１は、第１支援データ生成部６５において生成された支援データの時刻を基準として、第１音声データ取得部２３から渡された音声データにおいて、検索キーとする区間を決定する。
【０２７７】
キー関連データ取得部５５は、キー指定情報生成部６１において指定された音声データの区間に関連するキー関連データを取得する。キー関連データとして、記録媒体９１Ａに記録された支援データまたは第１支援データ生成部６５において生成された支援データがある。
【０２７８】
第１音声データ取得部２３、キー生成部３１、記録媒体９１Ａ及びキーデータ管理部１０については、第１０の実施形態と同様であり、説明を省略する。
【０２７９】
なお、第１０の実施形態における図３１と同様、本実施形態においても、外部から取得した音声データについて記録及び処理を行う第１音声取得部２３に代えて、記録媒体９１Ｂに記録済みの音声データについて処理を行う第１音声取得部２８を備えてもよい。
【０２８０】
［第１２の実施形態］
本発明の第１２の実施形態に係る音声処理装置について図３３に基づいて説明する。
【０２８１】
本実施形態と第９の実施形態の異なる点は、第９の実施形態では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。
【０２８２】
図３３は、本実施形態の音声処理装置の構成を示すブロック図である。
【０２８３】
図３３に示す音声処理装置は、第１音声データ取得部２３、第１支援データ生成部６５、第１支援データ入力部６６、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５、記録媒体９１Ａ及びキーデータ管理部１０を備えている。
【０２８４】
本実施形態と第１０及び第１１の実施形態の異なる点は、第１支援データ入力部６６及び第１支援データ生成部６５をともに有する点である。
【０２８５】
第１支援データ生成部６５は、第１音声データ取得部２３において取得された音声データの変化点を検出して、支援データを生成する。例えば、無音区間を検出して、その開始、終了、中間点等で分割を行う。また、音声多重モードの切り替わりを検出して、モノラルモードの本編部分と、ステレオモードのＣＭ部分との境界で分割を行うようにしてもよい。
【０２８６】
第１支援データ入力部６６は、第１支援データ生成部６５において生成された支援データに基づきまたは加えて、第１コンテンツに関する支援データを入力し、記録媒体９１Ａに記録する。第１支援データ生成部６５において生成された支援データは、入力画面上で基準値として表示したり、入力がない場合の初期値や規定値として採用したりするとよい。例えば、第１支援データ生成部６５において分割されたＣＭ部分に、ＣＭの名前等のテキスト情報を入力する。
【０２８７】
キー指定情報生成部６１は、第１支援データ生成部６５において生成され、または第１支援データ入力部において入力された支援データの時刻を基準として、第１音声データ取得部２３から渡された音声データにおいて、検索キーとする区間を決定する。
【０２８８】
キー関連データ取得部５５は、キー指定情報生成部６１において指定された映像音声データの区間に関連するキー関連データを取得する。キー関連データとして、記録媒体９１Ａに記録された支援データまたは第１支援データ入力部６６において入力された支援データ或いは第１支援データ生成部６５において生成された支援データがある。
【０２８９】
第１音声データ取得部２３、キー生成部３１、記録媒体９１Ａ及びキーデータ管理部１０については、第１０の実施形態と同様であり、説明を省略する。
【０２９０】
なお、第１０の実施形態における図３１と同様、本実施形態においても、外部から取得した音声データについて記録及び処理を行う第１音声取得部２３に代えて、記録媒体９１Ｂに記録済みの音声データについて処理を行う第１音声取得部２８を備えてもよい。
【０２９１】
［第１３の実施形態］
本発明の第１３の実施形態に係る映像音声処理装置について図３４、図３５、図３６及び図３７に基づいて説明する。
【０２９２】
第７の実施形態に係る映像音声処理装置は、利用者が映像音声データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データであるメタデータを生成する場合に、メタデータの元となる検索キーとキー関連データよりなるキーデータを生成する装置である。そして、本実施形態の映像音声処理装置は、その機能に加えてキーデータに基づいて利用対象データである映像音声データに支援データであるメタデータを記録させる機能も有している。
【０２９３】
本実施形態と第３の実施形態の異なる点は、検索キーとする区間を外部から指定するのではなく、第１の支援データの入力に基づいて決定する点である。
【０２９４】
（１）映像音声処理装置の構成
図３４は、本実施形態に係る映像音声処理装置の構成を示すものである。
【０２９５】
図３４に示す映像音声処理装置は、キー生成に係る構成要素として、第１映像データ取得部４８、第１音声データ分離部２５、第１支援データ入力部６６、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５及び第１コンテンツを記録した記録媒体９１Ｂを備えている。また、キー検索に係る構成要素として、第２映像データ取得部４１、第２音声データ分離部２２、キー照合部３０、照合結果記録指示部３５及び第２コンテンツを記録する記録媒体９２Ａを備えている。さらに、共通の構成要素として、キーデータ管理部１０を備えている。
【０２９６】
（２）キー生成に係る構成要素
本構成におけるキー生成に係る構成要素は、第７の実施形態の図２４と同様のものであるが、図２３に示す構成であっても構わない。
【０２９７】
また、本実施形態におけるキー生成に係る構成要素は、第８の実施形態に記載した構成であっても構わない。この場合は、第１支援データ入力部６６に代えて、第１支援データ生成部６５を有する点で異なるものとなる。
【０２９８】
さらに、本実施形態におけるキー生成に係る構成要素は、第９の実施形態に記載した構成であっても構わない。この場合は、第１支援データ入力部６６及び第１支援データ生成部６５をともに有する点で異なるものとなる。
【０２９９】
（３）キー検索に係る構成要素
（３−１）キー検索に係る構成要素の第１の構成
図３５は、本実施形態におけるキー検索に係る構成要素の第１の構成を示すブロック図である。
【０３００】
図３５に示す構成要素は、第２映像データ取得部４１、第２音声データ分離部２２、キー照合部３０、照合結果記録指示部３５、第２コンテンツを記録する記録媒体９２Ａ及びキーデータ管理部１０である。
【０３０１】
図３６は、本実施形態におけるキー検索に係る構成要素の第１の構成の別の例を示すブロック図である。
【０３０２】
図３６における第２映像データ取得部４６は、外部から取得した映像音声データについて記録及び処理を行うのではなく、記録媒体９２Ｂに記録済みの映像音声データについて処理を行う点が、図３５における第２映像データ取得部４１と異なる。
【０３０３】
記録媒体９２Ｂには、予め第２コンテンツの映像音声データまたは映像音声信号が記録されている。また、記録媒体９２Ｂには、映像音声のタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。
【０３０４】
（３−２）キー検索に係る構成要素の第２の構成
図３７は、本実施形態におけるキー検索に係る構成要素の第２の構成を示すブロック図である。
【０３０５】
図３７では、照合結果記録指示部３５に代えて、照合結果表示制御部３９を備える。
【０３０６】
照合結果表示制御部３９は、キー照合部３０において検出されたキーデータをキーデータ管理部１０より取得する。そして、このキーデータにおける検索キーの属性に応じて、メタデータとして図示せぬ表示装置に表示させる制御を行う。例えば、第２映像データを表示する表示装置上に、コーナータイトル等のテキスト情報や、分割位置からの時間情報、その他属性をあらわす図形や文字を表示させる。
【０３０７】
なお、照合結果表示制御部３９は、照合結果記録指示部３５に置き換えまたは追加して備えることができる。第３及び第４の実施形態における照合結果記録指示部３５に対しても同様に、置き換えまたは追加して備えることができる。表示装置は、映像データ表示とは別であってもよい。また、第２映像取得部４１は、外部から取得した映像音声データについて記録せずに処理のみ行うものであってもよく、記録媒体９２Ａを備えなくてもよい。
【０３０８】
（３−３）キー検索に係る構成要素の第３の構成
図３８は、本実施形態におけるキー検索に係る構成要素の第３の構成を示すブロック図である。
【０３０９】
図３８では、図３５に示す第１の構成に加えて、第２支援データ生成部６２を備える。
【０３１０】
第２支援データ生成部６２は、映像データの変化点を検出して、第２支援データを生成する。例えば、映像のカットを検出し、分割する情報を生成する。音声データを併用したり、映像同士の類似度に基づく分割を行ってもよい。
【０３１１】
照合結果記録指示部３５は、第２支援データ生成部６２で生成された第２支援データに加えて、第２コンテンツに関する支援データを生成し、記録媒体９２Ａに記録する。例えば、第２支援データ生成部６２において分割された部分に、コーナーの名前等のテキスト情報を生成する。
【０３１２】
図３９は、本実施形態におけるキー検索に係る構成要素の第３の構成の別の例を示すブロック図である。
【０３１３】
図３９における第２映像データ取得部４６は、外部から取得した映像音声データについて記録及び処理を行うのではなく、記録媒体９２Ｂに記録済みの映像音声データについて処理を行う点が、図３８における第２映像データ取得部４１と異なる。
【０３１４】
（３−４）キー検索に係る構成要素の第４の構成
図４０は、本実施形態におけるキー検索に係る構成要素の第４の構成を示すブロック図である。
【０３１５】
本構成と第１の構成の異なる点は、第１の構成では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。
【０３１６】
図４１は、第４の構成の別の例を示すブロック図である。
【０３１７】
図４１における第２音声データ取得部２６は、外部から取得した音声データについて記録及び処理を行うのではなく、記録媒体９２Ｂに記録済みの音声データについて処理を行う点が、図４０における第２音声データ取得部２１と異なる。
【０３１８】
記録媒体９２Ｂには、予め第２コンテンツの音声データまたは音声信号が記録されている。また、記録媒体９２Ｂには、音声のタイトルやチャプタといった単位に分割するための情報や、それらの名前や属性等に関する情報が記録されている。
【０３１９】
（３−５）キー検索に係る構成要素の第５の構成
図４２は、本実施形態におけるキー検索に係る構成要素の第５の構成を示すブロック図である。
【０３２０】
本構成と第２の構成の異なる点は、第２の構成では、映像音声データを処理したが、本実施形態は音声データのみを処理する点である。
【０３２１】
［第１４の実施形態］
本発明の第１４の実施形態に係る映像音声処理装置について図４３、図４４及び図４５に基づいて説明する。
【０３２２】
第７の実施形態に係る映像音声処理装置は、利用者が映像音声データを再生、編集、または、検索するときに、前記利用者が希望する動作で再生、編集、検索ができるように支援する支援データであるメタデータを生成する場合に、メタデータの元となる検索キーとキー関連データよりなるキーデータを生成する装置である。そして、本実施形態の映像音声処理装置は、その機能に加えてキーデータに基づいて利用対象データである映像音声データを選択的に取得して、支援データであるメタデータを記録させる機能も有している。
【０３２３】
図４３は、本発明に係る映像音声処理装置の第１４の実施形態の構成を示すブロック図である。
【０３２４】
本実施形態と第１３の実施形態の異なる点は、データ取得制御部８１を備えた点である。
【０３２５】
（１）映像音声処理装置の構成
図４３は、本実施形態に係る映像音声処理装置の構成を示すものである。
【０３２６】
図４３に示す映像音声処理装置は、キー生成に係る構成要素として、第１映像データ取得部４８、第１音声データ分離部２５、第１支援データ入力部６６、キー指定情報生成部６１、キー生成部３１、キー関連データ取得部５５及び第１コンテンツを記録した記録媒体９１Ｂを備えている。また、キー検索に係る構成要素として、データ取得制御部８１、第２映像データ取得部４１、第２音声データ分離部２２、キー照合部３０、照合結果記録指示部３５及び第２コンテンツを記録する記録媒体９２Ａを備えている。さらに、共通の構成要素として、キーデータ管理部１０を備えている。
【０３２７】
（２）キー生成に係る構成要素
本実施形態におけるキー生成に係る構成要素は、第７の実施形態の図２４と同様のものを例示しているが、第１３の実施形態の場合と同様に、第７乃至第９の実施形態に記載したいずれの構成であっても構わない。すなわち、第１支援データ入力部６６に代えてまたは加えて第１支援データ生成部６５を備えたり、記録媒体９１Ｂに記録済みの映像音声データについて処理を行う第１映像取得部４８に代えて、外部から取得した映像音声データについて記録媒体９１Ａに記録及び処理を行う第１映像取得部４３を備えたりしてもよい。
【０３２８】
また、第１の実施形態と同様のものとして、記録媒体９１Ｂ、第１映像データ取得部４８、映像データ指定部４７、第１音声データ分離部２５、キー生成部３１、キー関連データ取得部５５及びキーデータ管理部１０を備えたものとしてもよい。記録媒体９１Ｂに記録済みの映像音声データについて処理を行う第１映像取得部４８に代えて、外部から取得した映像音声データについて記録媒体９１Ａに記録及び処理を行う第１映像取得部４３を備えたりしてもよい。
【０３２９】
（３）キー検索に係る構成要素
図４４は、本実施形態におけるキー検索に係る構成要素を示すブロック図である。
【０３３０】
図４４に示す構成要素は、データ取得制御部８１、第２映像データ取得部４１、第２音声データ分離部２２、キー照合部３０、照合結果記録指示部３５、第２コンテンツを記録する記録媒体９２Ａ及びキーデータ管理部１０である。
【０３３１】
データ取得制御部８１は、第２映像データ取得部４１において外部から取得するデータを、所定の条件を満たすもののみとする制御を行う。例えば、外部から取得するデータに関する番組の属性を電子番組表や番組メタデータに基づいて取得し、キー関連データ取得部５５においてキー関連データとして取得された第１コンテンツの番組の属性と一致または部分一致する番組の映像音声データのみを取得するようにする。予め所定の条件を満たす番組を指定または検索しておき、番組放送時に自動でチャンネル設定して受信し、自動処理されるように（予約）してもよい。
【０３３２】
番組の属性に関する条件として、番組タイトル、ジャンル、放送日時（曜日、時刻、日付）、放送チャンネル（放送局）、制作元、番組グループ（番組シリーズ、派生元番組）等の一致または部分一致する番組の映像音声データのみを取得するようにする。これにより、無関係な映像音声データに対して処理を行うことで負荷が増大したり、誤って支援データを生成したりすることを避けることができる。
【０３３３】
図４５は、本実施形態におけるキー検索に係る構成要素の別の例を示すブロック図である。
【０３３４】
図４５における第２映像データ取得部４６は、外部から取得した映像音声データについて記録及び処理を行うのではなく、記録媒体９２Ｂに記録済みの映像音声データについて処理を行う点が、図４４における第２映像データ取得部４１と異なる。
【０３３５】
データ取得制御部８６は、第２映像データ取得部４６において取得するデータを、記録済みのうち所定の条件を満たすもののみとする制御を行う。例えば、記録済みの映像データに関する番組の属性を番組メタデータを含む支援データに基づいて取得し、キー関連データ取得部５５においてキー関連データとして取得された第１コンテンツの番組の属性と一致または部分一致する番組の映像音声データのみを取得するようにする。
【０３３６】
キー関連データ取得部５５は、キー指定情報生成部６１において指定された映像音声データの区間に関連するキー関連データを取得する。キー関連データとして、記録媒体９１Ｂに記録された支援データまたは第１支援データ入力部６６において入力された支援データがある。これらの第１支援データには、放送や外部から提供される電子番組表や番組メタデータから取得した、第１コンテンツの番組に関する情報、例えば番組の属性として、番組タイトル、ジャンル、放送日時（曜日、時刻、日付）、放送チャンネル（放送局）、制作元、番組グループ（番組シリーズ、派生元番組）等が含まれていてもよい。
【０３３７】
（５）映像音声処理装置における処理
次に、本実施形態に係る映像音声処理装置における処理について、図４６〜図５０に基づいて説明する。
【０３３８】
図４６は、本実施形態における処理を示すフローチャートである。
【０３３９】
第１支援データ入力部６６において視聴支援情報を設定する「視聴支援情報設定」（ステップＳ３０１）。
【０３４０】
キー指定情報生成部６１においてキー区間を決定する「キー区間決定」（ステップＳ３１１）。
【０３４１】
キー生成部３１においてキーを生成する「キー生成」（ステップＳ３２１）。
【０３４２】
キー関連データ取得部５５において関連情報を取得する「関連情報取得」（ステップＳ３３１）。
【０３４３】
データ取得制御部８１において検索予約またはデータ取得制御部８６等において実行する「検索予約または実行」（ステップＳ３４１）。
【０３４４】
図４７は、本実施形態の別の構成における処理を示すフローチャートである。
【０３４５】
第１支援データ生成部６５において視聴支援情報を生成する「視聴支援情報生成」（ステップＳ３５１）。
【０３４６】
キー指定情報生成部６１においてキー区間を決定する「キー区間決定」（ステップＳ３６１）。
【０３４７】
キー生成部３１においてキーを生成する「キー生成」（ステップＳ３７１）。
【０３４８】
キー関連データ取得部５５において関連情報を取得する「関連情報取得」（ステップＳ３８１）。
【０３４９】
データ取得制御部８１において検索予約またはデータ取得制御部８６等において実行する「検索予約または実行」（ステップＳ３９１）。
【０３５０】
次に、図４６のステップＳ３４１及び図４７のＳ３９１の「検索予約または実行」の処理を、図４８〜図５０に基づいて説明する。
【０３５１】
図４８は、本実施形態におけるデータ取得制御部８１の処理を示すフローチャートである。
【０３５２】
電子番組表（ＥＰＧ）より、これから取得可能となる中から所定の条件を満たす番組を検索し、それぞれについて処理を実行するループ「ＥＰＧ番組検索」（ステップＳ４０１〜ステップＳ４２１）。
【０３５３】
各々、録画予約を行うとともに、録画時にキー検索を行うためのキーを設定する「録画予約キー設定」（ステップＳ４１１）。
【０３５４】
図４９は、本実施形態におけるデータ取得制御部８１の別の処理を示すフローチャートである。
【０３５５】
録画予約を管理する録画予約リストより、すでに録画予約されている中から所定の条件を満たす番組を検索し、それぞれについて処理を実行するループ「予約済み番組検索」（ステップＳ４３１〜ステップＳ４５１）。
【０３５６】
各々、録画時にキー検索を行うためのキーを、録画予約と関連付けて設定する「キー設定」（ステップＳ４４１）。
【０３５７】
図５０は、本実施形態の別の構成におけるデータ取得制御部８６等の処理を示すフローチャートである。
【０３５８】
データ取得制御部８６及び第２映像データ取得部４６において、記録媒体９２Ｂにおける録画済み番組の中から所定の条件を満たす番組を検索して取得し、それぞれについて処理を実行するループ「録画済み番組検索」（ステップＳ４６１〜Ｓ４９１）。
【０３５９】
各々、キー照合部３０において、検索キーとの照合を実行する「キー照合」（ステップＳ４７１）。
【０３６０】
照合結果記録指示部３５において、キー照合結果に基づいて第２支援データを生成する「視聴支援情報生成」（ステップＳ４８１）。
【０３６１】
（６）映像音声処理装置における処理の具体例
続いて、本実施形態に係る映像音声処理装置における処理の具体例について、図５１に基づいて説明する。
【０３６２】
図５１は、支援データとしてチャプタ（チャプタ分割とチャプタ名設定）を扱う場合の例を説明する図である。第１コンテンツ（番組１−１）及び第２コンテンツ（番組１−２）は３０分番組で、左が番組始端（時刻０：００：００．００）、右が番組終端（時刻０：３０：００．００）となる時間との対応を表している。
【０３６３】
（ａ）第１支援データ入力部６６における第１支援データ入力の例。第１コンテンツに対して第１支援データとしてチャプタ分割とチャプタ名設定を行う。
【０３６４】
（ｂ１）キー指定情報生成部６１におけるキー区間決定の例（チャプタ分割点１）。
【０３６５】
「分割点の前後いずれかで一定時間長の音響キー」Ｘ１及びＹ１。一定時間は、例えば数秒でよいが、音楽の４小節程度に相当する８秒、ＣＭ等の単位に相当する１５秒等であってもよい。照合時に部分一致等で救済されるのであれば、それ以上の長時間でも構わない。また、区切り前の音の減衰やフェードアウト等の効果、無音の長さ等の傾向を考慮して、例えばチャプタ分割点の前方Ｘ１を１０秒、後方Ｙ１を５秒等のように、前後で異なる時間長としてもよい。いずれにしても、Ｘ１の終端及びＹ１の始端にチャプタ分割点があるので、それぞれのキー関連情報として管理する。
【０３６６】
支援データの入力において、区間を指定してチャプタ名を入力する場合など、境界の前後いずれが注目されているかが識別可能な場合は、注目されている側のキー（Ｙ１）のみを使用してもよい。また、前後の音響的特徴を分析し、例えばチャプタ分割点付近の無音を挟んで、前方に音声、後方に音楽がある場合、音楽の側（Ｙ１）のみを使用するようにしてもよい。
【０３６７】
「近傍の音楽部分の音響キー」Ｚ１。チャプタ分割点に（数秒の範囲で）最も近い（一定時間以上の）音楽部分を検索し、音楽部分境界から一定時間をキーとする。例えば、チャプタ分割点の後方２秒の点から４秒間をキーとする。この場合、Ｚ１の始端から前方２秒にチャプタ分割点があるので、キー関連情報として管理する。
【０３６８】
ここで、さらに関連するキー相互の情報をキー関連情報として管理することもできる。例えば、同一のチャプタ分割点に関連するＸ１、Ｙ１、Ｚ１があるので、各キーを識別する情報や単に３つのキーがあるという情報を管理する。
【０３６９】
（ｂ２）キー指定情報生成部６１におけるキー区間決定の例（チャプタ分割点２）。
【０３７０】
「分割点の前後いずれかで一定時間長の音響キー」Ｘ２及びＹ２。なお、決定された区間の音に基づいて、キーを選別してもよい。例えば、音の大きさや音楽の含有を判定して、大きい音を含んでいないもの、音楽を含んでいないもの等をキーから除外してもよい。
【０３７１】
「分割点をまたいだ効果音部分の音響キー」Ｚ２。チャプタ分割点付近が音楽（効果音）部分になっているとき、チャプタ分割点の前後（数秒の範囲）の音楽部分の境界を検索し、その間をキーとする。また、チャプタ分割点の前方の境界を検索して、そこから一定時間をきーとしてもよい。例えば、チャプタ分割点の前方１秒の点から２秒間をキーとする。
【０３７２】
ここで、さらに関連するキー相互の情報をキー関連情報として管理することもできる。例えば、同一のチャプタ名設定に関連するＸ１、Ｙ１、Ｚ１、Ｘ２、Ｙ２、Ｚ２があるので、各キーを識別する情報や単に６つのキーがあるという情報を管理する。
【０３７３】
また、図５１に対する別の説明として、図２６または図２７あるいは図２９の構成で、（ａ）第１支援データ生成部６５において映像特徴に基づくチャプタ分割が行われる。さらに第１支援データ入力部６６においてチャプタ名設定を行ってもよい。映像特徴に基づくチャプタ分割については、（ｂ）を参照する。画像特徴で画面の切り替わり（カット）の検出により、ショットＡ１とショットＢ１、ショットＡ２とショットＢ２のそれぞれの境界でチャプタ分割されている。音響特徴の無音を合わせて判定してもよい。
【０３７４】
（ｃ）照合結果記録指示部３５。第２コンテンツに対して、キーＹ１、Ｚ１、Ｘ２、Ｚ２が検出されたとする。それぞれのキー関連情報に基づいて、第２支援データとしてチャプタ分割とチャプタ名設定が行われる。例えば、キーＺ１の始端から前方２秒またはキーＹ１の始端にチャプタ分割、キーＺ２の始端から後方１秒またはキーＸ２の終端にチャプタ分割、その間のチャプタ名設定が行われる。
【０３７５】
複数のキーが検出された場合は、照合のスコアや予めキーに設定した優先度等に基づいて選択したり、多数決で決定したりしてもよい。例えば、キー関連情報として、チャプタ分割点１に関連するキーＸ１、Ｙ１、Ｚ１の３つが管理されている場合、これらの過半数となる２つが検出されたことにより、チャプタ分割を実行するようにしてもよい。また、チャプタ名設定に関するキーＸ１、Ｙ１、Ｚ１、Ｘ２、Ｙ２、Ｚ２の６つが管理されている場合、これらの過半数となる４つが検出されたことにより、チャプタ名設定を実行するようにしてもよい。
【０３７６】
支援データの別の例として、「チャプタ名設定」に代えて「プレイリスト」。予め分割されたチャプタの１つを選択して、新規のプレイリストを作成または既存のプレイリストに追加するとする。チャプタに関連するキーが生成され、キー関連情報としてプレイリストが管理される。照合結果記録指示部３５では、キーが検出されると、キー関連情報に基づいてチャプタ分割に加えてプレイリストへの追加が行われる。例えば、番組中のあるコーナー部分のチャプタをプレイリストにした場合、毎回の放送から同コーナーがチャプタ分割されてプレイリストに追加されていく、という機能が実現される。
【０３７７】
［変更例］
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【０３７８】
例えば、上記各実施形態では、支援データとしてメタデータを用いたが、再生、編集、検索が支援できる情報であれば、他のデータ形式でもよい。
【産業上の利用可能性】
【０３７９】
本発明は、例えば、ＨＤＤ（ハードディスク）レコーダー、ＤＶＤレコーダー、パソコン、ＨＤＤ内蔵型音楽再生装置に好適である。
【図面の簡単な説明】
【０３８０】
【図１】本発明に係る映像音声処理装置の第１の実施形態の構成を示すブロック図である。
【図２】第１の実施形態のキーデータ管理部１０において、検索キーと共に管理されている情報の例を示す表である。
【図３】第１の実施形態において、属性に対応付けて規定されている動作の例を示す表である。
【図４】第１の実施形態のキー関連データ取得部５５において、「ＢＧＭ属性１」またはこれに相当する属性情報が設定される例を示す模式図である。
【図５】第１の実施形態のキー関連データ取得部５５において、「オープニング音楽属性１」またはこれに相当する属性情報が設定される例を示す模式図である。
【図６】第１の実施形態のキー関連データ取得部５５において、「コーナー音楽属性１」またはこれに相当する属性情報が設定される例を示す模式図である。
【図７】第１の実施形態のキー関連データ取得部５５において、「競技開始イベント属性１」またはこれに相当する属性情報が設定される例を示す模式図である。
【図８】第１の実施形態のキー関連データ取得部５５における処理の流れを示すフローチャートである。
【図９】図８のステップＳ１３１におけるキーの属性設定処理における詳細な処理の流れを示すフローチャートである。
【図１０】本発明に係る音声処理装置の第２の実施形態の構成を示すブロック図である。
【図１１】第２の実施形態のキーデータ管理部１０において、検索キーと共に管理されている情報の例を示す表である。
【図１２】第２の実施形態において、属性に対応付けて規定されている動作の例を示す表である。
【図１３】本発明に係る映像音声処理装置の第３の実施形態の構成を示すブロック図である。
【図１４】第３の実施形態の照合結果記録指示部３５において、「ＢＧＭ属性１」の規定の動作に従って記録された情報の例を示す模式図である。
【図１５】第３の実施形態の照合結果記録指示部３５において、「オープニング音楽属性１」の規定の動作に従って記録された情報の例を示す模式図である。
【図１６】第３の実施形態の照合結果記録指示部３５において、「コーナー音楽属性１」の規定の動作に従って記録された情報の例を示す模式図である。
【図１７】第３の実施形態の照合結果記録指示部３５において、「競技開始イベント属性１」の規定の動作に従って記録された情報の例を示す模式図である。
【図１８】本発明に係る音声処理装置の第４の実施形態の構成を示すブロック図である。
【図１９】本発明に係る映像音声処理装置の第５の実施形態の構成を示すブロック図である。
【図２０】本発明に係る音声処理装置の第６の実施形態の構成を示すブロック図である。
【図２１】キー照合部において検索キーＡが検出されたときに、照合結果記録指示部によって記録媒体に記録されるメタデータの例を示す図である。
【図２２】キー照合部において検索キーＢが検出されたときに、照合結果記録指示部によって記録媒体に記録されるメタデータの例を示す図である。
【図２３】本発明に係る映像音声処理装置の第７の実施形態の構成を示すブロック図である。
【図２４】第７の実施形態の別の構成を示すブロック図である。
【図２５】本発明に係る映像音声処理装置の第８の実施形態の構成を示すブロック図である。
【図２６】第８の実施形態の映像音声処理装置の第２の構成を示すブロック図である。
【図２７】第８の実施形態の映像音声処理装置の第３の構成を示すブロック図である。
【図２８】本発明に係る映像音声処理装置の第９の実施形態の構成を示すブロック図である。
【図２９】第９の実施形態の別の構成を示すブロック図である。
【図３０】本発明に係る音声処理装置の第１０の実施形態の構成を示すブロック図である。
【図３１】第１０の実施形態の別の構成を示すブロック図である。
【図３２】本発明に係る音声処理装置の第１１の実施形態の構成を示すブロック図である。
【図３３】本発明に係る音声処理装置の第１２の実施形態の構成を示すブロック図である。
【図３４】本発明に係る映像音声処理装置の第１３の実施形態の構成を示すブロック図である。
【図３５】第１３の実施形態におけるキー検索に係る構成要素の第１の構成を示すブロック図である。
【図３６】第１３の実施形態におけるキー検索に係る構成要素の第１の構成の別の例を示すブロック図である。
【図３７】第１３の実施形態におけるキー検索に係る構成要素の第２の構成を示すブロック図である。
【図３８】第１３の実施形態におけるキー検索に係る構成要素の第３の構成を示すブロック図である。
【図３９】第１３の実施形態におけるキー検索に係る構成要素の第３の構成の別の例を示すブロック図である。
【図４０】第１３の実施形態におけるキー検索に係る構成要素の第４の構成を示すブロック図である。
【図４１】第１３の実施形態におけるキー検索に係る構成要素の第４の構成の別の例を示すブロック図である。
【図４２】第１３の実施形態におけるキー検索に係る構成要素の第５の構成を示すブロック図である。
【図４３】本発明に係る映像音声処理装置の第１４の実施形態の構成を示すブロック図である。
【図４４】第１４の実施形態におけるキー検索に係る構成要素を示すブロック図である。
【図４５】第１４の実施形態におけるキー検索に係る構成要素の別の例を示すブロック図である。
【図４６】第１４の実施形態における処理を示すフローチャートである。
【図４７】第１４の実施形態の別の構成における処理を示すフローチャートである。
【図４８】図４６のステップＳ３４１及び図４７のＳ３９１の「検索予約または実行」に係るデータ取得制御部８１の処理を示すフローチャートである。
【図４９】図４６のステップＳ３４１及び図４７のＳ３９１の「検索予約または実行」に係るデータ取得制御部８１の別の処理を示すフローチャートである。
【図５０】第１４の実施形態の別の構成におけるデータ取得制御部８６等の処理を示すフローチャートである。
【図５１】第１４の実施形態において、支援データとしてチャプタ（チャプタ分割とチャプタ名設定）を扱う場合の例を説明する図である。
【符号の説明】
【０３８１】
１０  キーデータ管理部
２１  第２音声データ取得部
２２  第２音声データ分離部
２３  第１音声データ取得部
２５  第１音声データ分離部
２６  第２音声データ取得部
２７  音声データ指定部
２８  第１音声データ取得部
３０  キー照合部
３１  キー生成部
３５  照合結果記録指示部
３９  照合結果表示制御部
４１  第２映像データ取得部
４３  第１映像データ取得部
４６  第２映像データ取得部
４７  映像データ指定部
４８  第１映像データ取得部
５５  キー関連データ取得部
６１  キー指定情報生成部
６２  第２支援データ生成部
６５  第１支援データ生成部
６６  第１支援データ入力部
８１  データ取得制御部
８６  データ取得制御部
９０  記録媒体
９１  記録媒体（第１コンテンツ）
９２  記録媒体（第２コンテンツ）
【図１】
2006309923.tif 000003
【図２】
2006309923.tif 000004
【図３】
2006309923.tif 000005
【図４】
2006309923.tif 000006
【図５】
2006309923.tif 000007
【図６】
2006309923.tif 000008
【図７】
2006309923.tif 000009
【図８】
2006309923.tif 000010
【図９】
2006309923.tif 000011
【図１０】
2006309923.tif 000012
【図１１】
2006309923.tif 000013
【図１２】
2006309923.tif 000014
【図１３】
2006309923.tif 000015
【図１４】
2006309923.tif 000016
【図１５】
2006309923.tif 000017
【図１６】
2006309923.tif 000018
【図１７】
2006309923.tif 000019
【図１８】
2006309923.tif 000020
【図１９】
2006309923.tif 000021
【図２０】
2006309923.tif 000022
【図２１】
2006309923.tif 000023
【図２２】
2006309923.tif 000024
【図２３】
2006309923.tif 000025
【図２４】
2006309923.tif 000026
【図２５】
2006309923.tif 000027
【図２６】
2006309923.tif 000028
【図２７】
2006309923.tif 000029
【図２８】
2006309923.tif 000030
【図２９】
2006309923.tif 000031
【図３０】
2006309923.tif 000032
【図３１】
2006309923.tif 000033
【図３２】
2006309923.tif 000034
【図３３】
2006309923.tif 000035
【図３４】
2006309923.tif 000036
【図３５】
2006309923.tif 000037
【図３６】
2006309923.tif 000038
【図３７】
2006309923.tif 000039
【図３８】
2006309923.tif 000040
【図３９】
2006309923.tif 000041
【図４０】
2006309923.tif 000042
【図４１】
2006309923.tif 000043
【図４２】
2006309923.tif 000044
【図４３】
2006309923.tif 000045
【図４４】
2006309923.tif 000046
【図４５】
2006309923.tif 000047
【図４６】
2006309923.tif 000048
【図４７】
2006309923.tif 000049
【図４８】
2006309923.tif 000050
【図４９】
2006309923.tif 000051
【図５０】
2006309923.tif 000052
【図５１】
2006309923.tif 000053