(57)【要約】映像情報から、出演者名と出演者が映像に出現する第１出現時間とを含む出演者情報を抽出する手段１０１と、映像情報から出演者の特徴を抽出する手段１０２と、映像に含まれる第１シーケンスに登場する人物のうち、特徴の類似度が閾値よりも大きい複数の人物を同一人物と判定する手段１０２と、同一人物が登場すると判定された映像に含まれる１以上の第２シーケンスの第２出現時間と、第２シーケンスを含む第１クラスタの第１クラスタ識別子とを作成する手段１０２と、シーケンスごとの第２出現時間と第１出現時間とが重複するかどうかを判定する手段１０３と、第２出現時間と第１出現時間とが重複し、かつ、第２出現時間が第１出現時間に含まれる場合には、第２出現時間に対応する第２シーケンスを含む第２クラスタの第２クラスタ識別子と、出演者名とを対応付ける手段１０３と、を具備する。【選択図】図１
2011519183.tif 000002
【特許請求の範囲】
【請求項１】
映像または該映像に付随する情報から、出演者名と該出演者が前記映像に出現する第１出現時間とを含む出演者情報を抽出する第１抽出手段と、
前記映像または該映像に付随する情報から出演者の特徴を抽出する第２抽出手段と、
前記映像に含まれる第１シーケンスに登場する人物のうち、前記特徴の類似度が閾値よりも大きい複数の人物を同一人物と判定する第１判定手段と、
同一人物が登場すると判定された前記映像に含まれる１以上の第２シーケンスの第２出現時間と、該第２シーケンスを含む第１クラスタの第１クラスタ識別子とを作成する作成手段と、
シーケンスごとの前記第２出現時間が前記第１出現時間に含まれているかどうかを判定する第２判定手段と、
前記第２出現時間が前記第１出現時間に含まれる場合には、前記第２出現時間に対応する第２シーケンスを含む第２クラスタの第２クラスタ識別子と、前記出演者名とを対応付ける第１対応付け手段と、を具備することを特徴とする映像処理装置。
【請求項２】
前記映像から、映像の変化点を検出する検出手段と、
前記変化点の間をセグメントとし、セグメントごとの第１セグメント識別子と、該セグメントの第１セグメント時間を記憶している第１記憶手段と、
前記第２出現時間が前記第１セグメント時間に含まれる場合には、前記第１セグメント識別子と、前記第２クラスタ識別子と対応付けられている出演者名とを対応付ける第２対応付け手段と、
前記第１セグメント識別子と前記出演者名とを対応付けて記憶する第２記憶手段と、をさらに具備することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記第１抽出手段は、クローズドキャプションから前記出演者名と前記第１出現時間を抽出する第３抽出手段、テロップ認識の結果から前記出演者名と前記第１出現時間を抽出する第４抽出手段、および、音声認識の結果から前記出演者名と前記第１出現時間を抽出する第５抽出手段のうち、１以上の手段を含むことを特徴とする請求項１または請求項２に記載の映像処理装置。
【請求項４】
前記第１判定手段は、前記第２抽出手段が前記映像に付随する音声から発話を抽出し、話者ごとに区間に区切り、切り出した発話シーケンスの類似した特徴を持つ話者を同一人物と判定する第３判定手段、および、前記第２抽出手段が前記映像から顔画像を抽出し、抽出した顔シーケンスの類似した特徴を持つ顔を同一人物と判定する第４判定手段のうち、１以上の手段を含むことを特徴とする請求項３に記載の映像処理装置。
【請求項５】
前記第２判定手段は、前記第３抽出手段が抽出した前記第１出現時間に、前記第３判定手段が判定した同一人物の発話シーケンスの第３出現時間が含まれるかどうかを判定し、
前記第１対応付け手段は、前記第３出現時間が前記第１出現時間に含まれる場合には、前記第３出現時間に対応する発話シーケンスを含むクラスタの第３クラスタ識別子と、前記出演者名とを対応付けることを特徴とする請求項４に記載の映像処理装置。
【請求項６】
前記第２判定手段は、前記第３抽出手段が抽出した前記第１出現時間に、前記第４判定手段が判定した同一人物の顔シーケンスの第３出現時間が含まれるかどうかを判定し、
前記第１対応付け手段は、前記第３出現時間が前記第１出現時間に含まれる場合には、前記第３出現時間に対応する顔シーケンスを含むクラスタの第３クラスタ識別子と、前記出演者名とを対応付けることを特徴とする請求項４に記載の映像処理装置。
【請求項７】
前記第２判定手段は、前記第４抽出手段が抽出した前記第１出現時間に、前記第３判定手段が判定した同一人物の発話シーケンスの第３出現時間が含まれるかどうかを判定し、
前記第１対応付け手段は、前記第３出現時間が前記第１出現時間に含まれる場合には、前記第３出現時間に対応する発話シーケンスを含むクラスタの第３クラスタ識別子と、前記出演者名とを対応付けることを特徴とする請求項４に記載の映像処理装置。
【請求項８】
前記第２判定手段は、前記第４抽出手段が抽出した前記第１出現時間に、前記第４判定手段が判定した同一人物の顔シーケンスの第３出現時間が含まれるかどうかを判定し、
前記第１対応付け手段は、前記第３出現時間が前記第１出現時間に含まれる場合には、前記第３出現時間に対応する顔シーケンスを含むクラスタの第３クラスタ識別子と、前記出演者名とを対応付けることを特徴とする請求項４に記載の映像処理装置。
【請求項９】
前記第２判定手段は、前記第５抽出手段が抽出した前記第１出現時間に、前記第３判定手段が判定した同一人物の発話シーケンスの第３出現時間が含まれるかどうかを判定し、
前記第１対応付け手段は、前記第３出現時間が前記第１出現時間に含まれる場合には、前記第３出現時間に対応する発話シーケンスを含むクラスタの第３クラスタ識別子と、前記出演者名とを対応付けることを特徴とする請求項４に記載の映像処理装置。
【請求項１０】
前記第２判定手段は、前記第５抽出手段が抽出した前記第１出現時間に、前記第４判定手段が判定した同一人物の顔シーケンスの第３出現時間が含まれるかどうかを判定し、
前記第１対応付け手段は、前記第３出現時間が前記第１出現時間に含まれる場合には、前記第３出現時間に対応する顔シーケンスを含むクラスタの第３クラスタ識別子と、前記出演者名とを対応付けることを特徴とする請求項４に記載の映像処理装置。
【請求項１１】
前記第１対応付け手段は、前記第１出現時間の分布と前記第２出現時間の分布との和が閾値以上のクラスタの第４クラスタ識別子と前記出演者名とを対応付けることを特徴とする請求項１から請求項１０のいずれか１項に記載の映像処理装置。
【請求項１２】
前記第１対応付け手段は、前記第１出現時間の分布と前記第２出現時間の分布との和が最も大きいクラスタから順に閾値以下の個数のクラスタの第４クラスタ識別子と前記出演者名とを対応付けることを特徴とする請求項１から請求項１０のいずれか１項に記載の映像処理装置。
【請求項１３】
前記第１対応付け手段は、前記第１出現時間の分布内の前記第２シーケンスの出現個数が閾値以上のクラスタの第４クラスタ識別子と前記出演者名とを対応付けることを特徴とする請求項１から請求項１０のいずれか１項に記載の映像処理装置。
【請求項１４】
前記第１対応付け手段は、前記第１出現時間の分布内の前記第２シーケンスの出現個数が閾値以上のクラスタの第４クラスタ識別子と前記出演者名とを対応付けることを特徴とする請求項１から請求項１０のいずれか１項に記載の映像処理装置。
【請求項１５】
前記第１対応付け手段は、前記第１出現時間の分布内の前記第２シーケンスの全てのクラスタの第４クラスタ識別子と前記出演者名を含む出演者名とを対応付けることを特徴とする請求項１から請求項１０のいずれか１項に記載の映像処理装置。
【請求項１６】
前記第１対応付け手段は、前記第１出現時間の分布内の前記第２シーケンスの全てのクラスタの第４クラスタ識別子と前記出演者名を含む出演者名とを対応付けることを特徴とする請求項１から請求項１０のいずれか１項に記載の映像処理装置。
【請求項１７】
前記第１対応付け手段は、前記第２クラスタ識別子と前記出演者名とを対応付ける場合に、閾値以上の頻度のクラスタのクラスタ識別子と出演者名とを対応付けることを特徴とする請求項１から請求項１０のいずれか１項に記載の映像処理装置。
【請求項１８】
前記第１対応付け手段は、前記第２クラスタ識別子と前記出演者名とを対応付ける場合に、クラスタごとに最大尤度の出演者名と該クラスタのクラスタ識別子とを対応付けることを特徴とする請求項１から請求項１０のいずれか１項に記載の映像処理装置。
【請求項１９】
前記第１対応付け手段は、前記第２クラスタ識別子と前記出演者名とを対応付ける場合に、全ての出演者名をあるクラスタのクラスタ識別子に対応付けることを特徴とする請求項１から請求項１０のいずれか１項に記載の映像処理装置。
【請求項２０】
映像または該映像に付随する情報から、出演者名と該出演者が前記映像に出現する第１出現時間とを含む出演者情報を抽出し、
前記映像または該映像に付随する情報から出演者の特徴を抽出し、
前記映像に含まれる第１シーケンスに登場する人物のうち、前記特徴の類似度が閾値よりも大きい複数の人物を同一人物と判定し、
同一人物が登場すると判定された前記映像に含まれる１以上の第２シーケンスの第２出現時間と、該第２シーケンスを含む第１クラスタの第１クラスタ識別子とを作成し、
シーケンスごとの前記第２出現時間が前記第１出現時間に含まれているかどうかを判定し、
前記第２出現時間が前記第１出現時間に含まれる場合には、前記第２出現時間に対応する第２シーケンスを含む第２クラスタの第２クラスタ識別子と、前記出演者名とを対応付けることを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受信した映像だけから所望の出演者が登場しているシーンをトークや演奏等の映像が変化する単位で再生することができる映像処理装置に関する。
【背景技術】
【０００２】
音楽番組では複数の出演者が順にトークや演奏を行なう場合が多く、ユーザは録画した音楽番組から見たい出演者のシーンの映像を再生したいという要望がある。このような視聴を可能とする技術として、受信または記録した番組から顔画像を検出し、予め顔画像データベースに記憶した顔画像と照合を行って当該顔画像に対応する人物を識別して、識別した情報を、当該人物の番組における登場時間を反映したポイントとともに登場人物データベースとして管理し、ユーザが番組の視聴を所望する際には、登場人物データベース及びポイントを参照して、登場人物が出演している割合を算出し、高い順に提示するものがある（例えば、特許文献１参照）（例えば、特開２００６−３３６５９公報参照）。しかしながら、この技術を用いて所望の出演者の場面を再生するには、顔画像データベースに人物名を別途登録しなければならず、新人や未知の人物が出演している場合はデータベースの更新が必要になる。また、出演ショットの単位でしか人物名がわからず、トークや演奏等の番組構成単位で出演している人物名がわからないという問題がある。
【０００３】
このように従来の技術では、顔画像データベースに人物名を別途登録しなければならず、新人が出演している場合はデータベースを更新する必要がある。また、出演ショットの単位でしか人物名がわからず、トークや演奏等の番組構成単位で出演している人物名がわからないという問題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３３６５９公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、このような事情を考慮してなされたもので、受信した映像だけから容易に所望の場面を見つけることができる映像処理装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の映像処理装置は、映像または該映像に付随する情報から、出演者名と該出演者が前記映像に出現する第１出現時間とを含む出演者情報を抽出する第１抽出手段と、前記映像または該映像に付随する情報から出演者の特徴を抽出する第２抽出手段と、前記映像に含まれる第１シーケンスに登場する人物のうち、前記特徴の類似度が閾値よりも大きい複数の人物を同一人物と判定する第１判定手段と、同一人物が登場すると判定された前記映像に含まれる１以上の第２シーケンスの第２出現時間と、該第２シーケンスを含む第１クラスタの第１クラスタ識別子とを作成する作成手段と、シーケンスごとの前記第２出現時間が前記第１出現時間に含まれているかどうかを判定する第２判定手段と、前記第２出現時間が前記第１出現時間に含まれる場合には、前記第２出現時間に対応する第２シーケンスを含む第２クラスタの第２クラスタ識別子と、前記出演者名とを対応付ける第１対応付け手段と、を具備することを特徴とする。
【図面の簡単な説明】
【０００７】
【図１】実施形態の映像処理装置のブロック図。
【図２】実施形態の変形例の映像処理装置のブロック図。
【図３】出演者情報、セグメント、クラスタ、シーケンスの関係を示す図。
【図４】図１および図２の映像処理装置の動作の一例を示すフローチャート。
【図５】図４のステップＳ４０３の動作の一例を示すフローチャート。
【図６】図４のステップＳ４０４の動作の一例を示すフローチャート。
【図７】実施形態の第１の具体例の映像処理装置のブロック図。
【図８】クローズドキャプションの一例を示す図。
【図９】図７のラベリング部１０３がクラスタＩＤと出演者名とを対応付ける手法を説明するための図。
【図１０】図９の手法によってクラスタＩＤと出演者名とが対応付けられた一例を示す図。
【図１１】実施形態の第２の具体例の映像処理装置のブロック図。
【図１２】図１１のラベリング部１０３がクラスタＩＤと出演者名とを対応付ける手法を説明するための図。
【図１３】図１２の手法によってクラスタＩＤと出演者名とが対応付けられた一例を示す図。
【図１４】実施形態の第３の具体例の映像処理装置のブロック図。
【図１５】図１４のラベリング部１０３がクラスタＩＤと出演者名とを対応付ける手法を説明するための図。
【図１６】クラスタＩＤと出演者名とが対応付けられた一例を示す図。
【図１７】ラベリング部１０３がクラスタＩＤと出演者名とを対応付ける手法を説明するための図。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら本発明の実施形態に係る映像処理装置および方法について詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。  
本発明の映像処理装置および方法によれば、受信した映像だけから容易に所望の場面を見つけることができる。
【０００９】
（第１の実施形態）  
本実施形態の映像処理装置について図１を参照して説明する。  
本実施形態の映像処理装置は、出演者情報抽出部１０１、クラスタリング部１０２、ラベリング部１０３を含む。
【００１０】
出演者情報抽出部１０１は、映像または映像に付随する情報から、出演者名と出演者が映像に出現する出現時間からなる出演者情報を抽出する。出演者情報抽出部１０１は、例えば、映像に関連するＥＰＧ（electronic program guide）情報から出演者情報を抽出する。出演者情報については後に図３を参照して説明する。  
クラスタリング部１０２は、映像または映像に付随する情報から出演者の特徴を抽出し、類似した特徴を持つ人物を同一人物と判断してクラスタリングする。例えば、クラスタリング部１０２は、映像に含まれるシーケンスに登場する人物のうち、特徴の類似度が閾値よりも大きい複数の人物を同一人物と判定する。類似した特徴には、例えば、顔の形状、話者であるかないかを示す値、がある。クラスタリング部１０２がクラスタリングしたクラスタリング結果には、クラスタＩＤ、このＩＤのクラスタに含まれるシーケンスの出現時間が含まれる。
【００１１】
ラベリング部１０３は、出演者情報内の出演者名の出現時間とクラスタリング結果によるクラスタに含まれるシーケンスの出現時間とをマッチングして、クラスタ（正確にはクラスタ識別子（クラスタＩＤとも呼ぶ））と出演者名とを対応付ける。クラスタについては後に図３を参照して説明する。ラベリング部１０３の詳細な動作の一例については後に図５を参照して説明する。
【００１２】
図１の映像処理装置によれば、出演者情報と類似した特徴を持つ人物をクラスタリングした結果とを使用して、クラスタと出演者名の対応を得ることができるので、予め顔画像を登録しておき顔画像と照合を行う必要がなくなる。したがって、受信した映像だけから容易に所望の場面を見つけることができる。
【００１３】
（変形例）  
図１の変形例の映像処理装置について図２を参照して説明する。  
本変形例の映像処理装置は、出演者情報抽出部１０１、クラスタリング部１０２、ラベリング部１０３、セグメント対応付け部２０１、セグメント対応付け記憶部２０２、セグメンテーション結果記憶部２０３を含む。
【００１４】
セグメンテーション結果記憶部２０３は、映像の変化点を検出し、映像の変化点を区間に分割したセグメンテーション区間を記憶している。セグメンテーション結果記憶部２０３は、例えば、セグメント識別子（ＩＤ）と、このＩＤのセグメントの開始時刻と終了時刻を含むセグメント時間とを記憶している。セグメンテーション結果記憶部２０３は、映像から自動的に、例えば、トーク場面と演奏場面との区切りを検出する。セグメントはユーザが区切ってもよいし、セグメンテーション結果記憶部２０３がトーク場面、演奏場面で自動的に区切ってもよい。セグメントについては後に図３を参照して説明する。
【００１５】
セグメント対応付け部２０１は、映像の変化点を区間に分割したセグメンテーション区間にあるクラスタに含まれるシーケンスからセグメントと出演者名とを対応付ける。シーケンスについては後に図３を参照して説明する。セグメント対応付け部２０１の詳細な動作の一例については後に図６を参照して説明する。
【００１６】
セグメント対応付け記憶部２０２は、セグメント対応付け部２０１で対応付けられたセグメントと出演者名を対応付けて記憶する。
【００１７】
図２の映像処理装置によれば、映像の変化点を区間に分割したセグメンテーション区間にあるクラスタに含まれるシーケンスからセグメントと出演者名を対応付けることによって、受信した映像だけから所望の出演者が登場しているシーンをトークや演奏等の映像が変化する単位で再生することができる。また、従来の手法に比べ、処理速度が速くなる。
【００１８】
次に、出演者情報、セグメント、クラスタ、シーケンスの関係について図３を参照して説明する。  
出演者情報は、図３に示すように、出演者名とこの出演者が映像に出現する出現時間とを関連付けている。ある映像は、複数のセグメントに時間的に区切られている。図３の例では、セグメント１、セグメント２、セグメント３、セグメント４を示している。シーケンスは、セグメントに含まれて１つのまとまりの映像の時間区間である。この時間区間は、開始時刻と終了時刻との間の出現時間で指定されている。この時間区間は、図３に示されているように様々な長さがありうる。クラスタは、同一人物であると判定された複数のシーケンスからなる。図３の例では、クラスタ１、クラスタ２、クラスタ３を示している。
【００１９】
次に、図１および図２の映像処理装置の動作の一例について図４を参照して説明する。図４は本実施形態に係わる映像処理装置の映像からセグメントにラベリングするまでの動作を示すフローチャートである。
【００２０】
初めに、出演者情報抽出部１０１が、映像から出演者名と出演者名の出現時間を含む出演者情報を抽出する（ステップＳ４０１）。クラスタリング部１０２が、映像から出演者の特徴を抽出し、類似した特徴を持つ人物を同一人物と判断してクラスタリングする（ステップＳ４０２）。ラベリング部１０３が、出演者情報内の出演者名の出現時間と、クラスタリング部１０２でクラスタリングされたクラスタに含まれるシーケンスの出現時間との重複している部分を検出し、出演者名とクラスタＩＤとを対応付ける（ステップＳ４０３）。セグメント対応付け部２０１が、セグメンテーション結果記憶部２０３が記憶している映像の変化点を区間に分割したセグメンテーション区間にあるクラスタに含まれるシーケンスからセグメントと出演者名とを対応付ける（ステップＳ４０４）。セグメント対応付け記憶部２０２は、対応付けたセグメントと出演者名を記憶する（ステップＳ４０５）。
【００２１】
次に、ラベリング部１０３が行う図４のステップＳ４０３の動作の一例について図５を参照して説明する。  
初めに、クラスタリング部１０２のクラスタリング結果からクラスタＩＤとクラスタに含まれるシーケンスの出現時間を取得する（ステップＳ５０１）。次に、出演者情報抽出部１０１から出演者名と出演者名の出現時間とを取得する（ステップＳ５０２）。クラスタに含まれるシーケンスの出現時間と出演者名の出現時間とを比較し、シーケンスの出現時間が出演者名の出現時間に含まれているかどうかを判定する（ステップＳ５０３）。シーケンスの出現時間が出演者名の出現時間に含まれていなければ、ステップＳ５０２に戻り、新たな出演者名と出演者名の出現時間とを取得する。シーケンスの出現時間が出演者名の出現時間に含まれていれば、このシーケンスを含むクラスタＩＤと出演者名とを対応付ける（ステップＳ５０４）。出演者情報抽出部１０１が抽出した出現時間に対応する新たなクラスタに含まれるシーケンスが存在するかどうかを判定し（ステップＳ５０５）、存在すれば、ステップＳ５０１に戻りクラスタＩＤとこのクラスタに含まれるシーケンスの出現時間を取得する。存在しなければ、クラスタＩＤと出演者名の対応付けにおいて一つのクラスタＩＤに対する出演者名を選択し（ステップＳ５０６）、終了する。ステップＳ５０６の処理で得られるクラスタＩＤと出演者名の一例は後に図１０、図１３、図１７を参照して説明する。また、ステップＳ５０６では、１つのクラスタから複数の出演者名を選択する場合もある。その詳細は後に図１２、図１３を参照して説明する。
【００２２】
次に、セグメント対応付け部２０１が行う図４のステップＳ４０４の動作の一例について図６を参照して説明する。ステップＳ４０４の動作はある１つのシーケンスごとに行われる。  
初めに、クラスタリング部１０２のクラスタリング結果からクラスタＩＤとクラスタに含まれるシーケンスの出現時間とを取得する（ステップＳ６０１）。次に、セグメンテーション結果記憶部２０３のセグメンテーションの結果からセグメントＩＤとセグメント時間を取得する（ステップＳ６０２）。クラスタに含まれるシーケンスの出現時間がセグメント時間内であるかどうかを判定する（ステップＳ６０３）。シーケンスの出現時間がセグメント時間内である場合には、ラベリング部１０３の処理結果からクラスタＩＤと出演者名の対応付けを取得する（ステップＳ６０４）。ステップＳ６０１のクラスタＩＤとステップＳ６０４のクラスタＩＤが一致しているかどうかを判定する（ステップＳ６０５）。一致していない場合には次のクラスタＩＤと出演者名の対応付けをラベリング部１０３の処理結果から取得し（ステップＳ６０４）、クラスタＩＤが一致していれば、ステップＳ６０２で取得したセグメントＩＤと、ステップＳ６０４で取得した出演者名とを対応付ける（ステップＳ６０６）。
【００２３】
ステップＳ６０３でシーケンスの出現時間がセグメント時間内でない場合には、セグメント対応付け部２０１が、新たなセグメントが存在するかどうかを判定する（ステップＳ６０７）。新たなセグメントが存在すれば、ステップＳ６０２に戻ってセグメントＩＤとセグメント時間を取得する。新たなセグメントが存在しない場合には、新たなクラスタに含まれるシーケンスが存在するかどうかを判定する（ステップＳ６０８）。新たなクラスタに含まれるシーケンスが存在すれば、ステップＳ６０１に戻ってクラスタＩＤとクラスタ出現時間を取得する。新たなクラスタに含まれるシーケンスが存在しなければ終了する。
【００２４】
以下、第１の実施形態の映像処理装置の具体例について図面を参照して説明する。  
（第１の具体例）  
第１の具体例の映像処理装置について図７を参照して説明する。  
図７の映像処理装置は、図２の出演者情報抽出部１０１、クラスタリング部１０２、セグメンテーション結果記憶部２０３がそれぞれ、クローズドキャプション抽出部７０１、話者クラスタリング部７０２、話者セグメンテーション記憶部７０３に具体的に置き換わったものである。
【００２５】
クローズドキャプション抽出部７０１は、話者名と発話時間を、映像に付随するクローズドキャプションから抽出する。デジタル放送のプロトコルであるＭＰＥＧ２−ＴＳでは、オーディオ／ビデオ以外に放送用途に必要な各種データ（クローズドキャプション、ＥＰＧ、ＢＭＬ等）の多重伝送が可能になっている。クローズドキャプションは耳が聴こえない人のために出演者の発話内容を発話時間等とともにテキストデータで送信されたものである。クローズドキャプションの例を図８に示す。クローズドキャプションでは、映像に複数の出演者が映っている場合や映像に発話者が映っていない場合等、どの出演者が発話しているかが映像だけでは判別できない場合に括弧付きの出演者名が発話内容の前に書かれてある。
【００２６】
話者クラスタリング部７０２は、映像の音声データを細かい発話区間に分割し、各区間の特徴を求め、複数の統計モデルである話者モデルに対する尤度を成分にもつ話者ベクトルとして表現し、話者ベクトルで表現された隣接する音声区間同士を比較し、類似度が極小となる、話者が交代する時刻を検出する。そして、話者クラスタリング部７０２は、検出した時刻毎の話者ベクトルを例えばＭｅａｎＳｈｉｆｔ法等の所定のクラスタリング方法を用いてクラスタリングを行なう。話者クラスタリングの方法は上記の方法に限らず、例えば、特開平１１−１７５０９０公報に記載の方法等、映像中の話者特徴を抽出し、同一人物をクラスタリングする機能を有する方法であれば、既存のいかなる方法を用いてもよい。
【００２７】
話者セグメンテーション記憶部７０３は、話者クラスタリング部７０２の話者クラスタリングの結果、各クラスタのシーケンスが占める時間をベクトルとして表現し、連続する区間の類似度が極小となる点を話者構成の変化点として記憶している。話者セグメンテーションの方法は上記の方法に限らず、映像中の話者構成の変化点を検出し、区間に分割する機能を有する方法であれば、既存のいかなる方法を用いてもよい。
【００２８】
次に、第１の具体例の映像処理装置の動作の一例について図４、図５、図６を参照して説明する。  
初めにクローズドキャプション抽出部７０１が、映像から出演者名と出演者名の出現時間とを含むクローズドキャプションを抽出する（ステップＳ４０１）。話者クラスタリング部７０２が、映像から出演者の発話区間を検出し、話者の特徴を抽出し、類似した特徴を持つ人物を同一人物と判断して話者クラスタリングする（ステップＳ４０２）。ラベリング部１０３が、クローズドキャプションに含まれる出演者名の出現時間と、話者クラスタリング部７０２でクラスタリングされた話者クラスタに含まれる話者シーケンスの出現時間との重複している部分を検出し、出演者名と話者クラスタＩＤとを対応付ける（ステップＳ４０３）。セグメント対応付け部２０１が、話者セグメンテーション記憶部７０３が記憶している話者構成の変化点を区間に分割した話者セグメンテーション区間にある話者クラスタに含まれる話者シーケンスからセグメントと出演者名を対応付ける（ステップＳ４０４）。セグメント対応付け記憶部２０２は、対応付けたセグメントと出演者名を記憶する（ステップＳ４０５）。
【００２９】
次にステップＳ４０３の詳細を説明する。ラベリング部１０３が、話者クラスタリング部７０２の話者クラスタリング結果から話者クラスタＩＤと話者クラスタに含まれる話者シーケンスの出現時間とを取得する（ステップＳ５０１）。次に、ラベリング部１０３が、クローズドキャプション抽出部７０１のクローズドキャプションから出演者名と出演者名の出現時間とを取得する（ステップＳ５０２）。ラベリング部１０３が、話者クラスタに含まれる話者シーケンスの出現時間と出演者名の出現時間とを比較し、話者シーケンスの出現時間が出演者名の出現時間に含まれているかどうかを判定する（ステップＳ５０３）。
【００３０】
ここで、話者シーケンスの出現時間が出演者名の出現時間に含まれているかどうかを判定し、重複時間を抽出する際に出演者名の出現時間内のクラスタ選択方法について図９を参照して説明する。図９において各出演者名の出現時間の分布は三角分布となっているが、一様分布、正規分布等いかなる分布を仮定してもよい。図９では、ラベリング部１０３が、クラスタのシーケンスの分布と各出演者名の出現時間との分布との和をとり、閾値以上のクラスタに対してクラスタＩＤと出演者名を対応付けている（ステップＳ５０４）。図９では、クラスタ１、クラスタ２、クラスタ３のうち閾値以上のクラスタであるクラスタ１とクラスタ３をそれぞれ出演者名Ａと出演者名Ｃに対応付けている。ラベリング部１０３が、クローズドキャプション抽出部７０１が抽出した出現時間に対応する新たな話者クラスタに含まれる話者シーケンスが存在するかどうかを判定し（ステップＳ５０５）、新たな話者クラスタに含まれる話者シーケンスが存在すれば、ステップＳ５０１に戻り話者クラスタと話者クラスタに含まれる話者シーケンスの出現時間とを取得する。新たな話者クラスタに含まれる話者シーケンスが存在しなければ、ラベリング部１０３は、話者クラスタＩＤと出演者名の対応付けにおいて一つの話者クラスタＩＤに対する出演者名を選択する（ステップＳ５０６）。図１０にクラスタＩＤと出演者名の対応付けの例を示す。図１０では、話者クラスタＩＤと出演者名の対応付けにおいて、閾値（＝２０）以上の頻度の出演者名を対応付けている。
【００３１】
次にステップＳ４０４の詳細を説明する。セグメント対応付け部２０１が、初めに、話者クラスタリング部７０２の話者クラスタリング結果から話者クラスタＩＤと、話者クラスタに含まれる話者シーケンスの出現時間とを取得する（ステップＳ６０１）。次に、セグメント対応付け部２０１が、話者セグメンテーションの結果から話者セグメントＩＤと話者セグメント時間とを取得する（ステップＳ６０２）。セグメント対応付け部２０１が、話者クラスタに含まれる話者シーケンスの出現時間が話者セグメント時間内であるかどうかを判定する（ステップＳ６０３）。セグメント対応付け部２０１が、話者クラスタに含まれる話者シーケンス出現時間が話者セグメント時間内であると判定すれば、ラベリング部１０３の処理結果から話者クラスタＩＤと出演者名の対応付けを取得する（ステップＳ６０４）。セグメント対応付け部２０１が、ステップＳ６０１の話者クラスタＩＤとステップＳ６０４の話者クラスタＩＤとが一致しているかどうかを判定する（ステップＳ６０５）。一致していなければ、セグメント対応付け部２０１が、次の話者クラスタＩＤと出演者名との対応付けを取得し（ステップＳ６０４）、話者クラスタＩＤが一致していれば、ステップＳ６０２で取得した話者セグメントＩＤと、ステップＳ６０４で取得した出演者名とを対応付ける（ステップＳ６０６）。
【００３２】
ステップＳ６０３で話者シーケンスの出現時間が話者セグメント時間内でない場合には、セグメント対応付け部２０１が、新たなセグメントが存在するかどうかを判定する（ステップＳ６０７）。新たな話者セグメントが存在すれば、セグメント対応付け部２０１が、ステップＳ６０２に戻って話者セグメントＩＤと話者セグメント時間とを取得する。新たな話者セグメントが存在しない場合には、新たなクラスタに含まれるシーケンスが存在するかどうかを判定する（ステップＳ６０８）。新たな話者クラスタに含まれる話者シーケンスが存在すれば、セグメント対応付け部２０１は、ステップＳ６０１に戻って話者クラスタＩＤと話者クラスタに含まれる話者シーケンスの出現時間とを取得する。新たな話者クラスタＩＤが存在しなければ終了する。
【００３３】
（第２の具体例）  
第２の具体例の映像処理装置について図１１を参照して説明する。  
図１１の映像処理装置は、図２の出演者情報抽出部１０１、クラスタリング部１０２、セグメンテーション結果記憶部２０３がそれぞれ、テロップ認識部１１０１、顔クラスタリング部１１０２、類似ショットセグメンテーション記憶部１１０３に具体的に置き換わったものである。
【００３４】
テロップ認識部１１０１は、映像からテロップの出現区間や領域を検出する。例えば、連続する複数のフレームの画像からＳｏｂｅｌオペレータによりエッジを検出し、複数のフレームに共通しているエッジだけを取り出し、静止エッジを求める。連続する複数のフレームの画像から、輝度の変動が少ない画素だけを取り出し、静止エッジと輝度の変動が少ない画素の位置情報から、テロップ領域を検出する。ＯＣＲによって文字の認識を行い、連続するフレームのテロップ領域の面積からテロップ出現時間を算出する。テロップ認識の方法は上記に限らず、例えば、特開２００１−２８５７１６公報に示されているように、映像中のテロップとテロップ出現時間を抽出する機能を有する方法であれば、既存のいかなるテロップ認識方法を用いてもよい。また、テロップ認識の結果から出演者名を抽出する方法は、ＥＰＧデータの出演者情報にある出演者名から抽出してもよいし、例えば、特開２００７−１４８７８５公報に示されているような固有表現抽出方法を用いてもよい。
【００３５】
顔クラスタリング部１１０２は、映像中の顔領域を検出し、トラッキングして断片的なシーケンスを多数作成する。各断片シーケンスにつき顔画像部分空間を作成し、各断片シーケンスの組み合わせについて顔画像部分空間の類似度マトリックスを作成する。一方、各断片シーケンスつき代表顔の顔静止画像辞書を作成し、各断片シーケンスの組み合わせについて顔特徴点に基づいて類似度マトリックスを作成する。２つの類似度マトリックスを用いて階層的クラスタリングを行う。顔クラスタリングの方法は上記に限らず、映像中の顔の特徴を抽出し、同一人物をクラスタリングする機能を有する方法であれば、既存のいかなる顔クラスタリング方法を用いてもよい。
【００３６】
類似ショットセグメンテーション記憶部１１０３は、例えば、特開２００５−１３０４１６公報に示されているように、類似ショットの判定、対話度数の算出等を行い、チャプタ境界を決定したものを記憶している。類似ショットセグメンテーションの方法は、映像データの隣接するフレーム同士の色相や輝度が大きく異なる点をカット点として検出し、過去のカット点からさかもどった数フレームと直近のカット点から後の数フレームとの総当りでフレーム間の類似判定を行い、類似と判断したフレームの組の数が閾値以上の場合双方のショットは類似であると判定する。対話検出と対話度数は、類似ショットが集中的に登場する区間（部分）は、意味のある区間であり、類似ショットがどれくらいの密度で出現するかを数値化するために「対話度数」という指標を導入している。「対話度数」は、以下の条件を満たすほど大きくなる。  
条件１：ショットが多くふくまれている。  
条件２：類似しているショットの個数が多い。  
条件３：類似しているショットの合計時間が長い。
【００３７】
類似ショットセグメンテーション記憶部１１０３は、上記の対話度数をもとに、対話区間を算出する。そして近接した対話区間は接続する。類似ショットセグメンテーションの方法は上記に限らず、映像中の類似ショットをセグメンテーションする機能を有する方法であれば、既存のいかなる類似ショットセグメンテーションを用いてもよい。
【００３８】
次に、第２の具体例の映像処理装置の動作の一例について図４、図５、図６を参照して説明する。  
初めにテロップ認識部１１０１が、映像から出演者名と出演者名の出現時間とを含むテロップを抽出する（ステップＳ４０１）。顔クラスタリング部１１０２が、映像から出演者の顔を検出し、類似した特徴を持つ人物を同一人物と判断して顔クラスタリングする（ステップＳ４０２）。ラベリング部１０３が、テロップ内の出演者名の出現時間と、顔クラスタリング部１１０２でクラスタリングされた顔クラスタに含まれる顔シーケンスの出現時間との重複している部分を検出し、出演者名と顔クラスタＩＤとを対応付ける（ステップＳ４０３）。セグメント対応付け部２０１が、類似ショットセグメンテーション記憶部１１０３が記憶している類似ショットの変化点を区間に分割した類似ショットセグメンテーション区間にある顔クラスタＩＤの顔クラスタに含まれる顔シーケンスからセグメントと出演者名とを対応付ける（ステップＳ４０４）。セグメント対応付け記憶部２０２は、対応付けたセグメントと出演者名とを記憶する（ステップＳ４０５）。
【００３９】
次にステップＳ４０３の詳細を説明する。ラベリング部１０３が、初めに顔クラスタリング部１１０２の顔クラスタリング結果から顔クラスタＩＤと顔クラスタに含まれる顔シーケンスの出現時間を取得する（ステップＳ５０１）。次に、ラベリング部１０３が、テロップ認識部１１０１が認識したテロップから出演者名と出演者名の出現時間とを取得する（ステップＳ５０２）。ラベリング部１０３が、顔クラスタに含まれる顔シーケンスの出現時間と出演者名の出現時間とを比較し、顔シーケンスの出現時間が出演者名の出現時間に含まれているかどうかを判定する（ステップＳ５０３）。
【００４０】
ここで、顔シーケンスの出現時間が出演者名の出現時間に含まれているかどうかを判定し、重複時間を抽出する際に出演者名の出現時間内のクラスタ選択方法を図１２に示す。図１２において各出演者名出現時間の分布は三角分布となっているが、一様分布、正規分布等いかなる分布を仮定してもよい。図１２では、ラベリング部１０３が、クラスタに含まれるシーケンスの分布と各出演者名の出現時間との分布との和をとり、最も大きい値をとるクラスタから順に閾値以下のクラスタに対してクラスタＩＤと出演者名を対応付けている（ステップＳ５０４）。図１２の例では、シーケンスの分布と各出演者名の出現時間との分布との和の関係は、ｌ１＞ｌ３＞ｌ２である。図１２では、クラスタ１、クラスタ２、クラスタ３のうち、最も和が大きいクラスタであるクラスタ１から閾値（＝１）以下、つまり最も大きいクラスタ１だけを出演者名Ａと対応付けている。この閾値は、選択するクラスタ数の上限を示す。例えば、図１２で閾値が２である場合には、クラスタ１とクラスタ３を出演者名と対応付ける。ラベリング部１０３が、テロップ認識部１１０１が取得した出現時間に対応する新たな顔クラスタに含まれる顔シーケンスが存在するかどうかを判定し（ステップＳ５０５）、新たな顔クラスタに含まれる顔シーケンスが存在すれば、ステップＳ５０１に戻り顔クラスタと顔クラスタに含まれる顔シーケンスの出現時間とを取得する。新たな顔クラスタに含まれる顔シーケンスが存在しなければ、ラベリング部１０３は、顔クラスタＩＤと出演者名の対応付けにおいて一つの顔クラスタＩＤに対する出演者名を選択する（ステップＳ５０６）。図１３にクラスタＩＤと出演者名の対応付けの例を示す。図１３では、顔クラスタＩＤと出演者名の対応付けにおいて、顔クラスタＩＤ毎に最大頻度の出演者名を対応付けている。
【００４１】
次にステップＳ４０４の詳細を説明する。初めに、セグメント対応付け部２０１が、顔クラスタリング部１１０２の顔クラスタリング結果から顔クラスタＩＤと、顔クラスタに含まれる顔シーケンス出現時間とを取得する（ステップＳ６０１）。次に、セグメント対応付け部２０１が、類似ショットセグメンテーションの結果から類似ショットセグメントＩＤと類似ショットセグメント時間とを取得する（ステップＳ６０２）。セグメント対応付け部２０１が、顔クラスタに含まれる顔シーケンスの出現時間が類似ショットセグメント時間内であるかどうかを判定する（ステップＳ６０３）。セグメント対応付け部２０１が、顔クラスタに含まれる顔シーケンスの出現時間が類似ショットセグメント時間内であると判定すれば、ラベリング部１０３の処理結果から顔クラスタＩＤと出演者名の対応付けを取得する（ステップＳ６０４）。セグメント対応付け部２０１が、ステップＳ６０１の顔クラスタＩＤとステップＳ６０４の顔クラスタＩＤとが一致しているかどうかを判定する（ステップＳ６０５）。一致していなければ、セグメント対応付け部２０１が、次の顔クラスタＩＤと出演者名との対応付けを取得し（ステップＳ６０４）、顔クラスタＩＤが一致していれば、ステップＳ６０２で取得した類似ショットセグメントＩＤと、ステップＳ６０４で取得したで出演者名とを対応付ける（ステップＳ６０６）。
【００４２】
ステップＳ６０３で顔シーケンスの出現時間が類似ショットセグメント時間内でない場合には、セグメント対応付け部２０１が、新たな類似ショットセグメントが存在するかどうかを判定する（ステップＳ６０７）。新たな類似ショットセグメントが存在すれば、セグメント対応付け部２０１が、ステップＳ６０２に戻って類似ショットセグメントＩＤと類似ショットセグメント時間とを取得する。新たな類似ショットセグメントが存在しない場合には、新たな顔クラスタに含まれる顔シーケンスが存在するかどうかを判定する（ステップＳ６０８）。新たな顔クラスタに含まれる顔シーケンスが存在すれば、セグメント対応付け部２０１は、ステップＳ６０１に戻って顔クラスタＩＤと顔クラスタに含まれる顔シーケンスの出現時間とを取得する。新たな顔クラスタＩＤに含まれる顔シーケンスＩＤが存在しなければ終了する。
【００４３】
（第３の具体例）  
第３の具体例の映像処理装置について図１４を参照して説明する。  
図１４の映像処理装置は、図２の出演者情報抽出部１０１、クラスタリング部１０２、セグメンテーション結果記憶部２０３がそれぞれ、音声認識部１４０１、話者クラスタリング部７０２、音楽区間セグメンテーション記憶部１４０２に具体的に置き換わったものである。
【００４４】
音声認識部１４０１は、映像から音声を認識し、音声出現区間を検出する。例えば、記憶しておいた認識対象とする単語の各音声モデルと、音声の特徴パラメータ系列との類似度あるいは距離を求め、類似度が最大（あるいは距離が最小）の音声モデルと対応付けられた単語とを認識結果として出力する。照合方法としては、音声モデルも特徴パラメータ系列で表現しておき、ＤＰ（動的計画法）で音声モデルの特徴パラメータ系列と入力音声の特徴パラメータ系列の距離を求める方法や、ＨＭＭ（隠れマルコフモデル）を用いて音声モデルを表現しておき、入力音声の特徴パラメータ系列が入力されたときの各音声モデルの確率を計算する方法等がある。音声認識の方法は上記に限らず、映像から音声を認識し、音声出現区間を検出する機能を有する方法であれば、既存のいかなる音声認識方法を用いてもよい。また、音声認識の結果から出演者名を抽出する方法は、ＥＰＧデータの出演者情報にある出演者名から抽出してもよいし、例えば、特開２００７−１４８７８５公報に示されているような固有表現抽出方法を用いてもよい。
【００４５】
音楽区間セグメンテーション記憶部１４０２は、映像中の音声データを音楽区間にセグメンテーションして記憶している。音楽区間セグメンテーションの方法は、フレーム毎に音種別を表す特徴と事前に学習された音種別を判定するための統計モデルとを比較して各モデルに対する対数尤度を求め、境界候補点を一定間隔でずらしながら候補点を中心とした窓で抽出された特徴の差分の絶対値を計算し、特徴の閾値以上の変化点を検出し、音楽や音楽重畳音声の尤度が閾値を超えた区間を音楽区間とし、短い音楽区間の除去や尤度が低い音楽区間の両端でのマージを行い、音楽区間とする。音楽区間セグメンテーションの方法は上記に限らず、映像中の音声データを音楽区間にセグメンテーションする機能を有する方法であれば、既存のいかなる音楽区間セグメンテーションを用いてもよい。
【００４６】
次に、第３の具体例の映像処理装置の動作の一例について図４、図５、図６を参照して説明する。  
初めに音声認識部１４０１が、映像から出演者名と出演者名の出現時間とを含む音声を認識する（ステップＳ４０１）。話者クラスタリング部７０２が、映像から出演者の発話区間を検出し、話者の特徴を抽出し、類似した特徴を持つ人物を同一人物と判断して話者クラスタリングする（ステップＳ４０２）。ラベリング部１０３が、音声内の出演者名の出現時間と、話者クラスタリング部７０２でクラスタリングされた話者クラスタに含まれる話者シーケンスの出現時間との重複している部分を検出し、出演者名と話者クラスタＩＤとを対応付ける（ステップＳ４０３）。セグメント対応付け部２０１は、音楽区間セグメンテーション記憶部１４０２が記憶している音楽の変化点を区間に分割した音楽区間セグメンテーション区間にある話者クラスタＩＤに含まれる話者シーケンスＩＤからセグメントと出演者名を対応付ける（ステップＳ４０４）。セグメント対応付け記憶部２０２は、対応付けたセグメントと出演者名とを記憶する（ステップＳ４０５）。
【００４７】
次にステップＳ４０３の詳細を説明する。ラベリング部１０３が、初めに話者クラスタリング部７０２の話者クラスタリング結果から話者クラスタＩＤと話者クラスタに含まれる話者シーケンスの出現時間とを取得する（ステップＳ５０１）。次に、ラベリング部１０３が、音声認識部１４０１が認識した音声から出演者名と出演者名の出現時間とを取得する（ステップＳ５０２）。ラベリング部１０３が、話者クラスタに含まれる話者シーケンスの出現時間と出演者名の出現時間とを比較し、話者シーケンスの出現時間が出演者名の出現時間に含まれているかどうかを判定する（ステップＳ５０３）。
【００４８】
ここで、話者シーケンスの出現時間が出演者名の出現時間に含まれているかどうかを判定し、重複時間を抽出する際に出演者名の出現時間内のクラスタ選択方法について図１５を参照して説明する。図１５において各出演者名出現時間の分布は三角分布となっているが、一様分布、正規分布等いかなる分布を仮定してもよい。図１５では、ラベリング部１０３が、各出演者名の出現時間分布内のクラスタに含まれるシーケンスの出現個数が閾値以上の個数のクラスタに対してクラスタＩＤと出演者名を対応付けている（ステップＳ５０４）。図１５では、クラスタ１、クラスタ２、クラスタ３のうち、出現個数が閾値（＝３）以上、つまりクラスタ１とクラスタ３をそれぞれ出演者名Ａと出演者名Ｃに対応付けている。ラベリング部１０３が、音声認識部１４０１が取得した出現時間に対応する新たな話者クラスタに含まれる話者シーケンスが存在するかどうかを判定し（ステップＳ５０５）、新たな話者クラスタに含まれる話者シーケンスが存在すれば、ステップＳ５０１に戻り話者クラスタと話者クラスタに含まれる話者シーケンスの出現時間とを取得する。新たな話者クラスタに含まれる話者シーケンスが存在しなければ、ラベリング部１０３は、話者クラスタＩＤと出演者名の対応付けにおいて一つの話者クラスタＩＤに対する出演者名を選択する（ステップＳ５０６）。
【００４９】
図１６にクラスタＩＤと出演者名の対応付けの一例を示す。図１６では、話者クラスタＩＤと出演者名の対応付けにおいて、話者クラスタＩＤ毎に最大の尤度（信頼度）の出演者名を対応付けている。図１６に示す例では、信頼度は、各話者クラスタＩＤと出演者名との対応づけの頻度を出演者名についての総頻度とクラスタ数の積で割って求めている。
【００５０】
次にステップＳ４０４の詳細を説明する。初めに、セグメント対応付け部２０１が、話者クラスタリング部７０２の話者クラスタリング結果から話者クラスタＩＤと、話者クラスタに含まれる話者シーケンス出現時間とを取得する（ステップＳ６０１）。次に、セグメント対応付け部２０１が、音楽区間セグメンテーションの結果から音楽区間セグメントＩＤと音楽区間セグメント時間とを取得する（ステップＳ６０２）。セグメント対応付け部２０１が、話者クラスタに含まれる話者シーケンスの出現時間が音楽区間セグメント時間内であるかどうかを判定する（ステップＳ６０３）。セグメント対応付け部２０１が、話者クラスタに含まれる話者シーケンスの出現時間が音楽区間セグメント時間内であると判定すれば、ラベリング部１０３の処理結果から話者クラスタＩＤと出演者名の対応付けを取得する（ステップＳ６０４）。セグメント対応付け部２０１が、ステップＳ６０１の話者クラスタＩＤとステップＳ６０４の話者クラスタＩＤとが一致しているかどうかを判定する（ステップＳ６０５）。一致していなければ、セグメント対応付け部２０１が、次の話者クラスタＩＤと出演者名との対応付けを取得し（ステップＳ６０４）、話者クラスタＩＤが一致していれば、ステップＳ６０２で取得した音楽区間セグメントＩＤと、ステップＳ６０４で取得した出演者名とを対応付ける（ステップＳ６０６）。
【００５１】
ステップＳ６０３で話者シーケンスの出現時間が音楽区間セグメント時間内でない場合には、セグメント対応付け部２０１が、新たな音楽区間セグメントが存在するかどうかを判定する（ステップＳ６０７）。新たな音楽区間セグメントが存在すれば、セグメント対応付け部２０１が、ステップＳ６０２に戻って音楽区間セグメントＩＤと音楽区間セグメント時間とを取得する。新たな音楽区間セグメントが存在しない場合には、新たな話者クラスタＩＤと話者クラスタに含まれる話者シーケンスが存在するかどういかを判定する（ステップＳ６０８）。新たな話者クラスタに含まれる話者シーケンスが存在すれば、セグメント対応付け部２０１は、ステップＳ６０１に戻って話者クラスタＩＤと話者クラスタに含まれる話者シーケンス出現時間を取得する。新たな話者クラスタＩＤが存在しなければ終了する。
【００５２】
なお、上記の実施形態において、セグメンテーション結果記憶部２０３のかわりにコーナーテロップセグメンテーション記憶部を用いてもよいし、ユーザが手動でつけたチャプタを記憶してもよい。  
コーナーテロップセグメンテーション記憶部は、１つのコーナーの間など長時間表示されたままになるコーナーテロップを検出し、その表示区間に基づいて自動的にチャプタリングしたものを記憶している。コーナーテロップセグメンテーションの方法は、時空間画像から時間軸に平行な面で切断したスライス画像を作成し、スライス画像内の線分らしさを算出し、２値化を行い一定以上の線分らしさを持つ画素を抽出する。スライス画像内で２次元的な領域抽出を行い、時空間画像内で統合し、３次元的な時空間テロップ領域を求める。抽出された時空間テロップの開始時刻に合わせてチャプタを決定する。コーナーテロップセグメンテーションの方法は、上記に限らずコーナーの表示区間をチャプタする方法であれば既存のいかなる方法を用いてもよい。
【００５３】
また、クラスタと出演者名の対応付けにおいて、一つの出演者名出現時間内のクラスタを選択する際に、図１７に示すように出演者名出現時間分布内のクラスタに含まれるシーケンス出現個数が最も大きい個数のクラスタから順に閾値以下のクラスタに対してクラスタＩＤと出演者名を対応付けてもよい。図１７では、クラスタ１、クラスタ２、クラスタ３のうち最も大きい個数のクラスタ３から閾値（＝１）以下、つまりクラスタ３を出演者名Ｃと対応付けている。
【００５４】
また、上記の実施形態ではセグメンテーション区間に対する出演者毎のラベリング結果の対応付けに利用するクラスタリング部１０２として話者クラスタリング手段と顔クラスタリング手段の一方を用いたが、両方のクラスタリング手段を同時に用いて、話者クラスタリングと顔クラスタリングの組み合わせを最大頻度から求め、どちらかのクラスタに変換して用いてもよい。また、話者クラスタリングと顔クラスタリングの両方のクラスタリング手段を用いた場合、クラスタに対する出演者名の対応付ける際に、同一クラスタに異なる出演者名が対応付けられた際には、どちらかのクラスタを優先してもよいし、頻度の大きいクラスタを優先してもよい。
【００５５】
以上に示した実施形態によれば、出演者情報と類似した特徴を持つ人物をクラスタリングした結果とを使用して、クラスタと出演者名の対応を得ることができるので、予め顔画像を登録しておき顔画像と照合を行う必要がなくなる。また、映像の変化点を区間に分割したセグメンテーション区間にあるクラスタに含まれるシーケンスからセグメントと出演者名を対応付けることによって、受信した映像だけから所望の出演者が登場しているシーンをトークや演奏等の映像が変化する単位で再生することができる。さらに、従来の手法に比べ、処理速度が速くなる。
【００５６】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図１】
2011519183.tif 000003
【図２】
2011519183.tif 000004
【図３】
2011519183.tif 000005
【図４】
2011519183.tif 000006
【図５】
2011519183.tif 000007
【図６】
2011519183.tif 000008
【図７】
2011519183.tif 000009
【図８】
2011519183.tif 000010
【図９】
2011519183.tif 000011
【図１０】
2011519183.tif 000012
【図１１】
2011519183.tif 000013
【図１２】
2011519183.tif 000014
【図１３】
2011519183.tif 000015
【図１４】
2011519183.tif 000016
【図１５】
2011519183.tif 000017
【図１６】
2011519183.tif 000018
【図１７】
2011519183.tif 000019
【国際調査報告】
2011519183.tif 000020
2011519183.tif 000021