(57)【要約】【課題】開始点と終了点に特徴のある音を伴う特定事象の映像区間を適切に決定することができる映像区間決定装置、映像区間決定方法、要約映像再生装置を提供する。【解決手段】要約映像再生装置１の映像区間決定装置１０は、音声信号の周波数特性を一定の時間範囲毎に解析する周波数解析手段１４と、音モデル保持手段１５と、周波数解析結果と音モデルとの比較結果に基づいて一定の時間範囲毎の音の種類を特定する種類特定手段１６と、特定された音の種類の確からしさ値を算出する特徴音発生時刻検出手段（確からしさ値算出手段）１７と、第１の一定の時間範囲及び該第１の一定の時間範囲の音の種類の第１の確からしさ値と、第２の特徴音に一致する音の種類が特定された第２の一定の時間範囲及び該第２の一定の時間範囲の音の種類の第２の確からしさ値とに基づいて、映像区間を決定する映像区間決定手段１８とを有する。【選択図】図１
2011024033.tif 000002
【特許請求の範囲】
【請求項１】
音声信号を伴う映像信号から、開始点及び終了点に特定の特徴音を付帯して発生する特定事象の映像区間を決定する映像区間決定装置であって、
前記音声信号の周波数特性を一定の時間範囲毎に解析して解析結果を出力する周波数解析手段と、
予め複数種類の音モデルの周波数特性を記憶する音モデル保持手段と、
前記解析結果と前記複数種類の音モデルとを比較し、該比較の結果に基づいて、前記一定の時間範囲毎の音声信号が前記複数種類の音モデルのいずれの音の種類であるかを特定する種類特定手段と、
前記映像区間の開始点における第１の特徴音及び終了点における第２の特徴音が設定されており、前記第１の特徴音の種類に一致する音の種類が特定された１又は複数の第１の一定の時間範囲及び前記第２の特徴音の種類に一致する音の種類が特定された１又は複数の第２の一定の時間範囲について、前記特定された音の種類の確からしさを示す指標である確からしさ値を、前記第１又は第２の一定の時間範囲について特定された音の種類と該第１又は第２の一定の時間範囲の後に続く１又は複数の他の一定の時間範囲について特定された音の種類とに基づいて算出する確からしさ値算出手段と、
前記第１の特徴音の種類に一致する音の種類が特定された前記第１の一定の時間範囲及び該第１の一定の時間範囲の音の種類の第１の確からしさ値と、前記第２の特徴音に一致する音の種類が特定された前記第２の一定の時間範囲及び該第２の一定の時間範囲の音の種類の第２の確からしさ値とに基づいて、前記映像区間を決定する映像区間決定手段と
を有することを特徴とする映像区間決定装置。
【請求項２】
前記映像区間決定手段は、前記第１の一定の時間範囲の時刻と前記第２の一定の時間範囲の時刻との間の時間間隔が、予め決められた第１の基準時間間隔より小さい場合には、前記第１の一定の時間範囲の音の種類の第１の確からしさ値と前記第２の一定の時間範囲の音の種類の第２の確からしさ値とを比較し、確からしさ値が小さいと判定された一定の時間範囲を前記第１の一定の時間範囲及び前記第２の一定の時間範囲として扱わない
ことを特徴とする請求項１に記載の映像区間決定装置。
【請求項３】
前記映像区間決定手段は、１又は複数の前記第１の一定の時間範囲の時刻と１又は複数の前記第２の一定の時間範囲の時刻との間の時間間隔のうち、予め決められた第２の基準時間間隔より小さい１又は複数の時間間隔であって、その中で最も大きい時間間隔となる区間を、前記映像区間とする
ことを特徴とする請求項１又は２に記載の映像区間決定装置。
【請求項４】
前記映像区間決定手段は、
前記第１の一定の時間範囲が複数回連続的に存在し、前記第２の一定の時間範囲が複数回連続的に存在する場合に、
複数の前記第１の一定の時間範囲のうちの最後の第１の一定の時間範囲の時刻から、複数の前記第２の一定の時間範囲のうちの最初の第２の一定の時間範囲の時刻までの区間を前記映像区間とし、
前記最後の第１の一定の時間範囲よりも前の他の第１の一定の時間範囲が存在し、前記最後の第１の一定の時間範囲の時刻から前記他の第１の一定の時間範囲の時刻までの時間範囲が予め決められた第３の基準時間間隔より小さい場合には、前記映像区間の開始点を前記他の第１の一定の時間範囲の時刻まで延伸し、
前記最後の第２の一定の時間範囲よりも後の他の第２の一定の時間範囲が存在し、前記最後の第２の一定の時間範囲の時刻から前記他の第２の一定の時間範囲の時刻までの時間範囲が予め決められた第４の基準時間間隔より小さい場合には、前記映像区間の終了点を前記他の第２の一定の時間範囲の時刻まで延伸する
ことを特徴とする請求項１又は２に記載の映像区間決定装置。
【請求項５】
前記映像区間決定手段は、
前記第１の一定の時間範囲が複数回連続的に存在し、前記第２の一定の時間範囲が複数回連続的に存在する場合に、
前記映像区間の開始点とされた前記他の第１の一定の時間範囲の時刻よりもさらに前の第１の一定の時間範囲が存在し、前記他の第１の一定の時間範囲の時刻から前記さらに前の第１の一定の時間範囲の時刻までの時間範囲が予め決められた第５の基準時間間隔より小さい場合には、前記映像区間の開始点を前記さらに前の第１の一定の時間範囲の時刻まで延伸し、
前記映像区間の終了点とされた前記他の第２の一定の時間範囲の時刻よりもさらに後の第２の一定の時間範囲が存在し、前記他の第２の一定の時間範囲の時刻から前記さらに後の第２の一定の時間範囲の時刻までの時間範囲が予め決められた第６の基準時間間隔より小さい場合には、前記映像区間の終了点を前記さらに後の第２の一定の時間範囲の時刻まで延伸する
ことを特徴とする請求項４に記載の映像区間決定装置。
【請求項６】
前記映像区間決定手段は、
前記第１の一定の時間範囲が複数回連続的に存在し、前記第２の一定の時間範囲が複数回連続的に存在する場合に、
複数の前記第１の一定の時間範囲のうちの最後の第１の一定の時間範囲の時刻から、複数の前記第２の一定の時間範囲のうちの最初の第２の一定の時間範囲の時刻までの区間を前記映像区間とし、
前記最後の第１の一定の時間範囲よりも前の複数の他の第１の一定の時間範囲が存在するときには、前記映像区間の開始点を、前記最後の第１の一定の時間範囲の時刻から複数の前記他の第１の一定の時間範囲の時刻までの一定の時間範囲のうちの予め決められた第７の基準時間間隔より小さく且つ前記映像区間を最長にする他の第１の一定の時間範囲の時刻まで延伸し、
前記最初の第２の一定の時間範囲よりも後の複数の他の第２の一定の時間範囲が存在するときには、前記映像区間の終了点を、前記最初の第１の一定の時間範囲の時刻から複数の前記他の第２の一定の時間範囲の時刻までの一定の時間範囲のうちの予め決められた第８の基準時間間隔より小さく且つ前記映像区間を最長にする他の第２の一定の時間範囲の時刻まで延伸する
ことを特徴とする請求項１又は２に記載の映像区間決定装置。
【請求項７】
前記映像区間決定手段は、
前記さらに前の第１の一定の時間範囲まで開始点を延伸すると判定した場合であっても、前記映像区間の開始点を、前記最後の第１の一定の時間範囲の時刻から前記さらに前の第１の一定の時間範囲の時刻まで時間間隔が予め決められた第９の基準時間間隔より大きい場合には、前記さらに前の第１の一定の時間範囲まで開始点を延伸せず、
前記さらに後の第２の一定の時間範囲まで終了点を延伸すると判定した場合であっても、前記映像区間の終了点を、前記最初の第２の一定の時間範囲の時刻から前記さらに後の第２の一定の時間範囲の時刻まで時間間隔が予め決められた第１０の基準時間間隔より大きい場合には、前記さらに後の第２の一定の時間範囲まで終了点を延伸しない
ことを特徴とする請求項４に記載の映像区間決定装置。
【請求項８】
前記映像区間決定手段は、
前記第１の一定の時間範囲が複数回連続的に存在し、前記第２の一定の時間範囲が複数回連続的に存在する場合に、
前記映像区間の開始点とされた前記他の第１の一定の時間範囲の時刻よりもさらに前の第１の一定の時間範囲が存在し、前記他の第１の一定の時間範囲の時刻から前記さらに前の第１の一定の時間範囲の時刻までの時間間隔が予め決められた第１１の基準時間間隔より小さい場合には、前記さらに前の第１の一定の時間範囲に特定された音の種類の第３の確からしさ値と、前記最後の第１の一定の時間範囲から前記他の第１の一定の時間範囲までに存在する第１の一定の時間範囲に特定された音の種類の第４の確からしさ値うちのの最大値とを比較し、値の大きい第１の一定の時間範囲を前記映像区間の開始点とし、
前記映像区間の終了点とされた前記他の第２の一定の時間範囲の時刻よりもさらに後の第２の一定の時間範囲が存在し、前記他の第２の一定の時間範囲の時刻から前記さらに後の第２の一定の時間範囲の時刻までの時間間隔が予め決められた第１２の基準時間間隔より小さい場合には、前記さらに後の第２の一定の時間範囲に特定された音の種類の第５の確からしさ値と、前記最初の第２の一定の時間範囲から前記他の第２の一定の時間範囲までに存在する第２の一定の時間範囲に特定された音の種類の第６の確からしさ値のうちの最大値とを比較し、値の大きい第２の一定の時間範囲を前記映像区間の開始点とする
ことを特徴とする請求項４に記載の映像区間決定装置。
【請求項９】
前記映像区間決定手段は、
前記第３の確からしさ値と、前記第４の確からしさ値のうちの最大値とが、等しい場合には、予め決められた平均時間間隔に前記映像区間を近づけることができる、第１の一定の時間範囲を前記映像区間の開始点とし、
前記第５の確からしさ値と、前記第６の確からしさ値のうちの最大値とが、等しい場合には、予め決められた平均時間間隔に前記映像区間を近づけることができる、第２の一定の時間範囲を前記映像区間の終了点とする
ことを特徴とする請求項８に記載の映像区間決定装置。
【請求項１０】
前記映像区間決定手段は、前記第１の一定の時間範囲が複数回連続的に存在し、前記第２の一定の時間範囲が複数回連続的に存在する場合に、前記第１の一定の時間範囲の数が多いほど長くなる第１の最大許容時間間隔を設定し、最初の前記第１の一定の時間範囲から第１の最大許容時間間隔内において最も後の第２の一定の時間範囲の時刻までを前記映像区間とする
ことを特徴とする請求項１又は２に記載の映像区間決定装置。
【請求項１１】
前記映像区間決定手段は、前記第１の一定の時間範囲が複数回連続的に存在し、前記第２の一定の時間範囲が複数回連続的に存在する場合に、前記第１の一定の時間範囲の数が多いほど長くなる第２の最大許容時間間隔を設定し、最後の前記第１の一定の時間範囲から第２の最大許容時間間隔内において最も前の第２の一定の時間範囲の時刻までを前記映像区間とする
ことを特徴とする請求項１又は２に記載の映像区間決定装置。
【請求項１２】
前記第１の特徴音の種類に一致する音の種類が特定された前記第１の一定の時間範囲の時刻及び該第１の一定の時間範囲の音の種類の第１の確からしさ値と、前記第２の特徴音に一致する音の種類が特定された前記第２の一定の時間範囲の時刻及び該第２の一定の時間範囲の音の種類の第２の確からしさ値とを記憶する一時記憶手段をさらに有することを特徴とする請求項１乃至１１のいずれか１項に記載の映像区間決定装置。
【請求項１３】
前記映像区間決定手段が決定した映像区間の情報を記憶する記憶手段をさらに有することを特徴とする請求項１乃至１１のいずれか１項に記載の映像区間決定装置。
【請求項１４】
前記第１の特徴音の種類に一致する音の種類が特定された前記第１の一定の時間範囲の時刻及び該第１の一定の時間範囲の音の種類の第１の確からしさ値と、前記第２の特徴音に一致する音の種類が特定された前記第２の一定の時間範囲の時刻及び該第２の一定の時間範囲の音の種類の第２の確からしさ値とを記憶する一時記憶手段と、
前記映像区間決定手段が決定した映像区間の情報を記憶する記憶手段と
をさらに有することを特徴とする請求項１乃至１１のいずれか１項に記載の映像区間決定装置。
【請求項１５】
音声信号を伴う映像信号から、開始点及び終了点に特定の特徴音を付帯して発生する特定事象の映像区間を決定する映像区間決定装置が実行する方法であって、
前記音声信号の周波数特性を一定の時間範囲毎に解析して解析結果を出力するステップと、
前記解析結果と音モデル保持手段に予め記憶されている複数種類の周波数特性の音モデルとを比較し、該比較の結果に基づいて、前記一定の時間範囲毎の音声信号が前記複数種類の音モデルのいずれの音の種類であるかを特定するステップと、
前記映像区間の開始点における第１の特徴音及び終了点における第２の特徴音が設定されており、前記第１の特徴音の種類に一致する音の種類が特定された１又は複数の第１の一定の時間範囲及び前記第２の特徴音の種類に一致する音の種類が特定された１又は複数の第２の一定の時間範囲について、前記特定された音の種類の確からしさを示す指標である確からしさ値を、前記第１又は第２の一定の時間範囲について特定された音の種類と該第１又は第２の一定の時間範囲の後に続く１又は複数の他の一定の時間範囲について特定された音の種類とに基づいて算出するステップと、
前記第１の特徴音の種類に一致する音の種類が特定された前記第１の一定の時間範囲及び該第１の一定の時間範囲の音の種類の第１の確からしさ値と、前記第２の特徴音に一致する音の種類が特定された前記第２の一定の時間範囲及び該第２の一定の時間範囲の音の種類の第２の確からしさ値とに基づいて、前記映像区間を決定するステップと
を有することを特徴とする映像区間決定方法。
【請求項１６】
前記映像区間を決定する前記ステップにおいて、前記第１の一定の時間範囲の時刻と前記第２の一定の時間範囲の時刻との間の時間間隔が、予め決められた第１の基準時間間隔より小さい場合には、前記第１の一定の時間範囲の音の種類の第１の確からしさ値と前記第２の一定の時間範囲の音の種類の第２の確からしさ値とを比較し、確からしさ値が小さいと判定された一定の時間範囲を前記第１の一定の時間範囲及び前記第２の一定の時間範囲として扱わない
ことを特徴とする請求項１５に記載の映像区間決定方法。
【請求項１７】
前記映像区間を決定する前記ステップにおいて、１又は複数の前記第１の一定の時間範囲の時刻と１又は複数の前記第２の一定の時間範囲の時刻との間の時間間隔のうち、予め決められた第２の基準時間間隔より小さい１又は複数の時間間隔であって、その中で最も大きい時間間隔となる区間を、前記映像区間とする
ことを特徴とする請求項１５又は１６に記載の映像区間決定方法。
【請求項１８】
前記映像区間を決定する前記ステップにおいて、
前記第１の一定の時間範囲が複数回連続的に存在し、前記第２の一定の時間範囲が複数回連続的に存在する場合に、
複数の前記第１の一定の時間範囲のうちの最後の第１の一定の時間範囲の時刻から、複数の前記第２の一定の時間範囲のうちの最初の第２の一定の時間範囲の時刻までの区間を前記映像区間とし、
前記最後の第１の一定の時間範囲よりも前の他の第１の一定の時間範囲が存在し、前記最後の第１の一定の時間範囲の時刻から前記他の第１の一定の時間範囲の時刻までの時間範囲が予め決められた第３の基準時間間隔より小さい場合には、前記映像区間の開始点を前記他の第１の一定の時間範囲の時刻まで延伸し、
前記最後の第２の一定の時間範囲よりも後の他の第２の一定の時間範囲が存在し、前記最後の第２の一定の時間範囲の時刻から前記他の第２の一定の時間範囲の時刻までの時間範囲が予め決められた第４の基準時間間隔より小さい場合には、前記映像区間の終了点を前記他の第２の一定の時間範囲の時刻まで延伸する
ことを特徴とする請求項１５又は１６に記載の映像区間決定方法。
【請求項１９】
前記映像区間を決定する前記ステップにおいて、
前記第１の一定の時間範囲が複数回連続的に存在し、前記第２の一定の時間範囲が複数回連続的に存在する場合に、
前記映像区間の開始点とされた前記他の第１の一定の時間範囲の時刻よりもさらに前の第１の一定の時間範囲が存在し、前記他の第１の一定の時間範囲の時刻から前記さらに前の第１の一定の時間範囲の時刻までの時間範囲が予め決められた第５の基準時間間隔より小さい場合には、前記映像区間の開始点を前記さらに前の第１の一定の時間範囲の時刻まで延伸し、
前記映像区間の終了点とされた前記他の第２の一定の時間範囲の時刻よりもさらに後の第２の一定の時間範囲が存在し、前記他の第２の一定の時間範囲の時刻から前記さらに後の第２の一定の時間範囲の時刻までの時間範囲が予め決められた第６の基準時間間隔より小さい場合には、前記映像区間の終了点を前記さらに後の第２の一定の時間範囲の時刻まで延伸する
ことを特徴とする請求項１８に記載の映像区間決定方法。
【請求項２０】
前記映像区間を決定する前記ステップにおいて、
前記第１の一定の時間範囲が複数回連続的に存在し、前記第２の一定の時間範囲が複数回連続的に存在する場合に、
複数の前記第１の一定の時間範囲のうちの最後の第１の一定の時間範囲の時刻から、複数の前記第２の一定の時間範囲のうちの最初の第２の一定の時間範囲の時刻までの区間を前記映像区間とし、
前記最後の第１の一定の時間範囲よりも前の複数の他の第１の一定の時間範囲が存在するときには、前記映像区間の開始点を、前記最後の第１の一定の時間範囲の時刻から複数の前記他の第１の一定の時間範囲の時刻までの一定の時間範囲のうちの予め決められた第７の基準時間間隔より小さく且つ前記映像区間を最長にする他の第１の一定の時間範囲の時刻まで延伸し、
前記最初の第２の一定の時間範囲よりも後の複数の他の第２の一定の時間範囲が存在するときには、前記映像区間の終了点を、前記最初の第１の一定の時間範囲の時刻から複数の前記他の第２の一定の時間範囲の時刻までの一定の時間範囲のうちの予め決められた第８の基準時間間隔より小さく且つ前記映像区間を最長にする他の第２の一定の時間範囲の時刻まで延伸する
ことを特徴とする請求項１５又は１６に記載の映像区間決定方法。
【請求項２１】
前記映像区間を決定する前記ステップにおいて、
前記さらに前の第１の一定の時間範囲まで開始点を延伸すると判定した場合であっても、前記映像区間の開始点を、前記最後の第１の一定の時間範囲の時刻から前記さらに前の第１の一定の時間範囲の時刻まで時間間隔が予め決められた第９の基準時間間隔より大きい場合には、前記さらに前の第１の一定の時間範囲まで開始点を延伸せず、
前記さらに後の第２の一定の時間範囲まで終了点を延伸すると判定した場合であっても、前記映像区間の終了点を、前記最初の第２の一定の時間範囲の時刻から前記さらに後の第２の一定の時間範囲の時刻まで時間間隔が予め決められた第１０の基準時間間隔より大きい場合には、前記さらに後の第２の一定の時間範囲まで終了点を延伸しない
ことを特徴とする請求項１８に記載の映像区間決定方法。
【請求項２２】
前記映像区間を決定する前記ステップにおいて、
前記第１の一定の時間範囲が複数回連続的に存在し、前記第２の一定の時間範囲が複数回連続的に存在する場合に、
前記映像区間の開始点とされた前記他の第１の一定の時間範囲の時刻よりもさらに前の第１の一定の時間範囲が存在し、前記他の第１の一定の時間範囲の時刻から前記さらに前の第１の一定の時間範囲の時刻までの時間間隔が予め決められた第１１の基準時間間隔より小さい場合には、前記さらに前の第１の一定の時間範囲に特定された音の種類の第３の確からしさ値と、前記最後の第１の一定の時間範囲から前記他の第１の一定の時間範囲までに存在する第１の一定の時間範囲に特定された音の種類の第４の確からしさ値うちのの最大値とを比較し、値の大きい第１の一定の時間範囲を前記映像区間の開始点とし、
前記映像区間の終了点とされた前記他の第２の一定の時間範囲の時刻よりもさらに後の第２の一定の時間範囲が存在し、前記他の第２の一定の時間範囲の時刻から前記さらに後の第２の一定の時間範囲の時刻までの時間間隔が予め決められた第１２の基準時間間隔より小さい場合には、前記さらに後の第２の一定の時間範囲に特定された音の種類の第５の確からしさ値と、前記最初の第２の一定の時間範囲から前記他の第２の一定の時間範囲までに存在する第２の一定の時間範囲に特定された音の種類の第６の確からしさ値のうちの最大値とを比較し、値の大きい第２の一定の時間範囲を前記映像区間の開始点とする
ことを特徴とする請求項１８に記載の映像区間決定方法。
【請求項２３】
前記映像区間を決定する前記ステップにおいて、
前記第３の確からしさ値と、前記第４の確からしさ値のうちの最大値とが、等しい場合には、予め決められた平均時間間隔に前記映像区間を近づけることができる、第１の一定の時間範囲を前記映像区間の開始点とし、
前記第５の確からしさ値と、前記第６の確からしさ値のうちの最大値とが、等しい場合には、予め決められた平均時間間隔に前記映像区間を近づけることができる、第２の一定の時間範囲を前記映像区間の終了点とする
ことを特徴とする請求項２２に記載の映像区間決定方法。
【請求項２４】
前記映像区間を決定する前記ステップにおいて、前記第１の一定の時間範囲が複数回連続的に存在し、前記第２の一定の時間範囲が複数回連続的に存在する場合に、前記第１の一定の時間範囲の数が多いほど長くなる第１の最大許容時間間隔を設定し、最初の前記第１の一定の時間範囲から第１の最大許容時間間隔内において最も後の第２の一定の時間範囲の時刻までを前記映像区間とする
ことを特徴とする請求項１５又は１６に記載の映像区間決定方法。
【請求項２５】
前記映像区間を決定する前記ステップにおいて、前記第１の一定の時間範囲が複数回連続的に存在し、前記第２の一定の時間範囲が複数回連続的に存在する場合に、前記第１の一定の時間範囲の数が多いほど長くなる第２の最大許容時間間隔を設定し、最後の前記第１の一定の時間範囲から第２の最大許容時間間隔内において最も前の第２の一定の時間範囲の時刻までを前記映像区間とする
ことを特徴とする請求項１５又は１６に記載の映像区間決定方法。
【請求項２６】
信号を受信し、該受信した信号に基づく映像信号及び音声信号を出力する映像音声入力手段と、
前記映像音声入力手段から出力される映像信号及び音声信号を記録する映像音声信号記録手段と、
請求項１乃至１１，１３のいずれか１項に記載の１又は複数の映像区間決定装置と、
要約再生時に前記映像区間決定装置から出力される映像区間情報に基づく映像区間の映像音声信号を再生する映像音声信号再生手段とを有し、
前記映像区間決定装置は、前記映像音声信号記録手段から音声信号を受け取り、前記映像音声信号再生手段に前記映像区間情報を出力する
ことを特徴とする要約映像再生装置。
【請求項２７】
信号を受信し、該受信した信号に基づく映像信号及び音声信号を出力する映像音声入力手段と、
前記映像音声入力手段から出力される映像信号及び音声信号を記録する映像音声信号記録手段と、
請求項１２に記載の１又は複数の映像区間決定装置と、
要約再生時に前記映像区間決定装置から出力される映像区間情報に基づく映像区間の映像音声信号を再生する映像音声信号再生手段とを有し、
前記映像区間決定装置は、前記映像音声入力手段から音声信号を受け取り、前記映像音声信号記録手段に前記映像区間情報を出力する
ことを特徴とする要約映像再生装置。
【請求項２８】
信号を受信し、該受信した信号に基づく映像信号及び音声信号を出力する映像音声入力手段と、
前記映像音声入力手段から出力される映像信号及び音声信号を記録する映像音声信号記録手段と、
請求項１乃至１１のいずれか１項に記載の１又は複数の映像区間決定装置と、
要約再生時に前記映像区間決定装置から出力される映像区間情報に基づく映像区間の映像音声信号を再生する映像音声信号再生手段とを有し、
前記映像区間決定装置は、前記映像音声信号記録手段から音声信号を受け取り、前記映像音声信号記録手段に前記映像区間情報を出力する
ことを特徴とする要約映像再生装置。
【請求項２９】
信号を受信し、該受信した信号に基づく映像信号及び音声信号を出力する映像音声入力手段と、
前記映像音声入力手段から出力される映像信号及び音声信号を記録する映像音声信号記録手段と、
請求項１乃至１１，１４のいずれか１項に記載の１又は複数の映像区間決定装置と、
要約再生時に前記映像区間決定装置から出力される映像区間情報に基づく映像区間の映像音声信号を再生する映像音声信号再生手段とを有し、
前記映像区間決定装置は、前記映像音声信号入力手段から音声信号を受け取り、前記映像音声信号再生手段に前記映像区間情報を出力する
ことを特徴とする要約映像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像情報及び音声情報（「映像音声情報」とも言う。）の中から、開始時と終了時に１又は複数の特定の音（「特徴音」とも言う。）を付帯して発生する事象（「特定事象」とも言う。）の映像区間を決定する映像区間決定装置及び映像区間決定方法、並びに、特定事象の映像区間を決定してこの映像区間の映像（「要約映像」とも言う。）を再生する要約映像再生装置に関するものである。
【背景技術】
【０００２】
従来の映像再生装置において、記録されている映像情報の中から特定事象の映像情報が記録されている映像区間（「特定事象の映像区間」又は「再生対象区間」とも言う。）を視聴したい場合には、記録されている映像情報を再生しながら目視で特定事象の映像区間を見つける必要があった。
【０００３】
この対策として、映像情報に付帯している音声情報の音量が予め設定した閾値よりも高い映像区間を、特定事象の映像区間として抽出する映像再生装置がある（例えば、特許文献１参照）。しかし、このような抽出方法では、特定事象の映像区間の開始点及び終了点のそれぞれにおいて特徴的な特定の音を伴うが、特定事象の映像区間の途中に記録されている音声情報の音量が不特定である映像区間を、正確に抽出することができない。
【０００４】
この対策として、音声情報の解析結果から得られる特徴情報を予め設定された特徴情報と比較し、比較結果が所定条件を満たす時点を再生対象区間の開始点とし、開始点から一定時間経過した時点を再生対象区間の終了点とし、又は、音声情報の特徴情報の比較結果が他の所定条件を満たす時点を再生対象区間の終了点とするシーン抽出処理方法がある（例えば、特許文献２、特許請求の範囲及び第２頁右下欄第６〜１５行参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１０１９３９号公報
【特許文献２】特開平３−８０７８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に記載の方法では、音声情報の解析結果から得られる特徴情報が予め設定された特徴情報と一致した場合（比較結果が所定条件を満たす場合）には、必ずその時点を再生対象区間の開始点と判定するので、以下のような問題があった。例えば、解析対象となる音声情報が、電子パルス音のような短時間の音であって、短い時間間隔で連続的に繰り返し発生する音である場合（例えば、小売店舗に備えられているキャッシュレジスターが発する電子パルス音である場合）に、再生対象区間の開始点を多数検出してしまい、希望する再生対象区間が適切に検出されない事態（再生対象区間の誤検出）が多発するという問題があった。
【０００７】
そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、開始点と終了点に特徴のある音声情報を含む特定事象の映像区間を適切に決定することができる映像区間決定装置及び映像区間決定方法、並びに、特定事象の映像区間を適切に決定して再生することができる要約映像再生装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る映像区間決定装置は、音声信号を伴う映像信号から、開始点及び終了点に特定の特徴音を付帯して発生する特定事象の映像区間を決定する映像区間決定装置であって、前記音声信号の周波数特性を一定の時間範囲毎に解析して解析結果を出力する周波数解析手段と、予め複数種類の音モデルの周波数特性を記憶する音モデル保持手段と、前記解析結果と前記複数種類の音モデルとを比較し、該比較の結果に基づいて、前記一定の時間範囲毎の音声信号が前記複数種類の音モデルのいずれの音の種類であるかを特定する種類特定手段と、前記映像区間の開始点における第１の特徴音及び終了点における第２の特徴音が設定されており、前記第１の特徴音の種類に一致する音の種類が特定された１又は複数の第１の一定の時間範囲及び前記第２の特徴音の種類に一致する音の種類が特定された１又は複数の第２の一定の時間範囲について、前記特定された音の種類の確からしさを示す指標である確からしさ値を、前記第１又は第２の一定の時間範囲について特定された音の種類と該第１又は第２の一定の時間範囲の後に続く１又は複数の他の一定の時間範囲について特定された音の種類とに基づいて算出する確からしさ値算出手段と、前記第１の特徴音の種類に一致する音の種類が特定された前記第１の一定の時間範囲及び該第１の一定の時間範囲の音の種類の第１の確からしさ値と、前記第２の特徴音に一致する音の種類が特定された前記第２の一定の時間範囲及び該第２の一定の時間範囲の音の種類の第２の確からしさ値とに基づいて、前記映像区間を決定する映像区間決定手段とを有することを特徴としている。
【０００９】
また、本発明に係る要約映像再生装置は、信号を受信し、該受信した信号に基づく映像信号及び音声信号を出力する映像音声入力手段と、前記映像音声入力手段から出力される映像信号及び音声信号を記録する映像音声信号記録手段と、１又は複数の上記映像区間決定装置と、要約再生時に前記映像区間決定装置から出力される映像区間情報に基づく映像区間の映像音声信号を再生する映像音声信号再生手段とを有し、前記映像区間決定装置は、前記映像音声信号記録手段から音声信号を受け取り、前記映像音声信号再生手段に前記映像区間情報を出力することを特徴としている。
【発明の効果】
【００１０】
本発明に係る映像区間決定装置及び映像区間決定方法によれば、開始点と終了点に特徴音が存在する特定事象の映像区間を適切に決定することができるという効果がある。
【００１１】
また、本発明に係る要約映像再生装置によれば、開始点と終了点に特徴音が存在する特定事象の映像区間を適切に決定して再生することができるという効果がある。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１〜８に係る映像区間決定装置及び要約映像再生装置の構成を概略的に示すブロック図である。
【図２】本発明の実施の形態１〜１１に係る映像区間決定装置の特徴音発生時刻検出手段による動作、すなわち、種類特定手段によって特定された音の種類及びその確からしさ値を算出する動作を説明するための図である。
【図３】（ａ）及び（ｂ）は、実施の形態１に係る映像区間決定装置の映像区間決定手段による特定事象の映像区間の決定処理を説明するための図（その１）である。
【図４】（ａ）及び（ｂ）は、実施の形態１に係る映像区間決定装置の映像区間決定手段による特定事象の映像区間の決定処理を説明するための図（その２）である。
【図５】（ａ）〜（ｃ）は、実施の形態１に係る映像区間決定装置の映像区間決定手段による特定事象の映像区間の決定処理を説明するための図（その３）である。
【図６】（ａ）及び（ｂ）は、本発明の実施の形態２に係る映像区間決定装置の映像区間決定手段による特定事象の映像区間の決定処理を説明するための図である。
【図７】（ａ）及び（ｂ）は、本発明の実施の形態３に係る映像区間決定装置の映像区間決定手段による特定事象の映像区間の決定処理を説明するための図である。
【図８】（ａ）及び（ｂ）は、本発明の実施の形態４に係る映像区間決定装置の映像区間決定手段による特定事象の映像区間の決定処理を説明するための図である。
【図９】（ａ）及び（ｂ）は、本発明の実施の形態５に係る映像区間決定装置の映像区間決定手段による特定事象の映像区間の決定処理を説明するための図である。
【図１０】（ａ）及び（ｂ）は、本発明の実施の形態６に係る映像区間決定装置の映像区間決定手段による特定事象の映像区間の決定処理を説明するための図である。
【図１１】（ａ）〜（ｄ）は、本発明の実施の形態７に係る映像区間決定装置の映像区間決定手段による特定事象の映像区間の決定処理を説明するための図である。
【図１２】（ａ）〜（ｄ）は、本発明の実施の形態８に係る映像区間決定装置の映像区間決定手段による特定事象の映像区間の決定処理を説明するための図である。
【図１３】本発明の実施の形態９に係る映像区間決定装置及び要約映像再生装置の構成を概略的に示すブロック図である。
【図１４】本発明の実施の形態１０に係る映像区間決定装置及び要約映像再生装置の構成を概略的に示すブロック図である。
【図１５】本発明の実施の形態１１に係る映像区間決定装置及び要約映像再生装置の構成を概略的に示すブロック図である。
【図１６】本発明の実施の形態１２に係る映像区間決定装置及び要約映像再生装置の構成を概略的に示すブロック図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、本発明の実施の形態１に係る映像区間決定装置（映像区間決定方法を実施することができる装置）１０及び要約映像再生装置１の構成を概略的に示すブロック図である。
【００１４】
図１に示されるように、要約映像再生装置１は、音声信号を伴う映像信号（映像音声信号）を受信し、受信した信号に基づく映像信号及び音声信号を出力する映像音声入力手段１１と、映像音声入力手段１１から出力される映像信号及び音声信号を時間情報などのメタデータと共に記録する映像音声信号記録手段１２と、音声信号に基づいて、開始時と終了時に１又は複数の特定の音（特徴音）を付帯して発生する特定事象が発生している映像区間を決定し、要約再生時の映像区間情報として出力する映像区間決定装置１０と、要約再生時に映像区間決定装置１０から出力される映像区間情報に基づく映像区間の映像音声信号を再生して映像表示・音声出力装置２に出力する映像音声信号再生手段１３とを有している。なお、映像音声入力手段１１に入力される映像信号及び音声信号は、どのような形式の信号であってもよい。また、映像音声入力手段１１に入力される映像信号及び音声信号は、例えば、放送局からの放送波を受信する受信装置（図示せず）からの出力信号、又は、カメラなどの撮像機器（図示せず）及びマイクなどの集音機器（図示せず）からの出力信号などである。また、映像表示・音声出力装置２は、映像音声信号再生手段１３によって再生された映像信号及び音声信号を表示するモニタ又はスピーカーなどを有する装置である。
なお、映像区間決定装置１０に加えて、映像区間決定装置１０とは異なる特定事象を決定する１又は複数の他の映像区間決定装置（図示せず）と、映像音声信号記録手段１２及び映像音声信号再生手段１３に接続される映像区間決定装置として、映像区間決定装置１０及び追加された１又は複数の他の映像区間決定装置の中の１つを選択する選択手段（図示せず）とを備えてもよい。
【００１５】
図１に示されるように、映像区間決定装置１０は、映像信号に付帯する音声信号の周波数特性を一定の時間範囲毎に解析して解析結果を出力する周波数解析手段１４と、予め複数種類の音モデルの周波数特性を記憶する音モデル保持手段１５と、周波数解析手段１４から出力される解析結果と音モデル保持手段１５に記憶されている音モデルとを比較し、該比較の結果に基づいて、一定の時間範囲（後述する図２における時間範囲Ｐ０）毎の音声信号を複数種類の音モデルのいずれの音の種類であるかを特定する種類特定手段１６とを有している。
【００１６】
また、映像区間決定装置１０は、抽出したい映像区間の開始点における第１の特徴音及び終了点における第２の特徴音が設定されており、第１の特徴音の種類に一致する種類の音の周波数特性が存在する一定の時間範囲、及び、第２の特徴音の種類に一致する種類の音の周波数特性が存在する一定の時間範囲について、種類特定手段１６によって特定された音の種類の確からしさを示す指標である確からしさ値を、一定の時間範囲について特定された音の種類とこの一定の時間範囲の後に続く１又は複数の他の一定の時間範囲について特定された音の種類とに基づいて算出する確からしさ値算出手段を含む特徴音発生時刻検出手段１７と、第１の特徴音の種類に一致する種類の音の周波数特性が存在する一定の時間範囲及び該一定の時間範囲の音の種類の確からしさ値と、第２の特徴音の種類に一致する音の種類の他の一定の時間範囲及び該他の一定の時間範囲の音の種類の確からしさ値とに基づいて、映像区間を決定する映像区間決定手段１８とを有している。
【００１７】
周波数解析手段１４は、映像音声信号記録手段１２に記録されている音声信号の周波数特性を一定の時間範囲（後述する図２に示す時間範囲Ｐ０）毎に解析する。周波数解析手段１４は、例えば、一定の時間範囲として１オーディオフレーム（約３１．８ミリ秒）を設定し、１オーディオフレーム毎の音声信号を、例えば、ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：変形離散コサイン変換）などにより周波数解析し、周波数域毎のエネルギースペクトル密度として出力する。
【００１８】
音モデル保持手段１５は、予め決められた複数種類の音の各々の種類毎に周波数特性を表現した音モデルを保持する。音モデルで表現される音の種類（特性）は、例えば、検出したい特定事象が小売店舗のキャッシュレジスターで行われる会計作業である場合には、バーコードをキャッシュレジスターで読み取ったときに発生する電子音の特性、又は、キャッシュレジスターのキーを押下したときに発生する打鍵音及び電子音の特性、又は、店員や客の話し声の特性、又は、他の特定の物音の特性などである。音モデルとしては、例えば、ＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ：混合正規分布モデル）を用いる。音モデルとしてＧＭＭを用いることにより、音モデルで表現される音の種類を、ある周波数域で高いエネルギースペクトル密度を持つ音が発生する確率として表現することができる。
【００１９】
種類特定手段１６は、周波数解析手段１４によって得られた音声信号の一定の時間範囲（後述する図２に示す時間範囲Ｐ０）毎の周波数特性を音モデル保持手段１５が保持する複数種類の音モデルと比較し、周波数解析手段１４によって一定の時間範囲（後述する図２に示す時間範囲Ｐ０）毎に得られた周波数特性に最も近い周波数特性を持つ音モデルが示す種類の音（例えば、種類‘Ａ’の音又は種類‘Ｂ’の音）であると判定する。
【００２０】
特徴音発生時刻検出手段１７は、種類特定手段１６によって得られた一定の時間範囲（後述する図２に示す時間範囲Ｐ０）毎の音声信号の種類の識別結果から、複数種類（例えば、種類‘Ａ’と種類‘Ｂ’の２種類）の特徴音の各々の発生時刻を検出する。また、特徴音発生時刻検出手段１７は、第１の特徴音の種類に一致する音の種類の一定の時間範囲（後述する図３（ａ）におけるピーク波形）及び第２の特徴音の種類に一致する音の種類の一定の時間範囲（後述する図３（ｂ）におけるピーク波形）について、種類特定手段１６によって特定された音の種類の確からしさを示す指標である確からしさ値ＬＡ，ＬＢを算出する確からしさ値算出手段としての機能をも併せ持つ。
【００２１】
映像区間決定手段１８は、特徴音発生時刻検出手段１７によって検出された複数種類（例えば、種類‘Ａ’と種類‘Ｂ’の２種類）の音が発生した時刻の発生時間間隔を判定して特定事象が発生している区間を検出し、検出結果（特定事象の映像区間情報）を映像音声信号再生手段１３に出力する。
【００２２】
映像音声信号再生手段１３は、要約再生動作時には、映像区間決定手段１８からの検出結果に基づく開始点から終了点までの映像区間の映像音声信号を再生して、再生された映像音声信号を映像表示・音声出力装置２に出力する。
【００２３】
図２は、特徴音発生時刻検出手段１７による動作、すなわち、種類特定手段１６によって特定された音の種類及びその確からしさ値を算出する動作を説明するための図である。図２において、横軸は経過時間ｔを示す。図２において、矩形７１の各々が示す一定の時間範囲Ｐ０は、種類特定手段１６によって時間範囲Ｐ０毎の音声信号がいずれの種類の音であるかを特定（識別）する時間である。種類特定手段１６は、音声信号の種類を時間範囲Ｐ０毎に特定して、図２においての矩形７１内のラベル（括弧付き数字）７２と示されるように、一定の時間範囲Ｐ０毎の音の種類（すなわち、種類‘１’，‘２’，‘３’，‘４’，‘５’）を特定する。音の種類‘１’，‘２’，‘３’，‘４’，‘５’は、音声信号が、音モデル保持手段１５が保持する複数の音モデルのうちのどの種類の音であるかを判定した結果を示している。例えば、種類特定手段１５によって音の種類が特定された一定の時間範囲毎の音が、スポーツ番組における観客の声援であり、この観客の声援を種類‘２’の音とする場合には、識別結果を示すラベル７２として、種類‘２’が付与される。
【００２４】
また、図２において、スライドウィンドウ７３は、一定の時間範囲Ｐ０を所定数個含む枠であり、特徴音発生時刻検出手段１７が、種類特定手段１６によって特定された音の種類の確からしさを示す指標である確からしさ値を、一定の時間範囲（Ｐ０）７４について特定された音の種類（図２では、種類‘Ａ’）とこの一定の時間範囲（Ｐ０）７４の後に続く１又は複数の他の一定の時間範囲（Ｐ０）７５について特定された音の種類とに基づいて算出するときに用いられる。スライドウィンドウ７３には、確からしさ値の算出対象の一定の時間範囲（Ｐ０）７４（種類‘Ａ’）について特定された音の種類とこの一定の時間範囲（Ｐ０）７４の後に続く１又は複数の他の一定の時間範囲（Ｐ０）７５が含まれる。図２の場合には、特徴音発生時刻検出手段１７は、スライドウィンドウ７３に含まれる時間範囲Ｐ０の総数（＝１＋（時間範囲７５の個数））に対する、スライドウィンドウ７３内における種類‘Ａ’の音の時間範囲Ｐ０の個数の割合が、時間範囲（Ｐ０）７４における種類‘Ａ’の音の確からしさ値となる。スライドウィンドウ７３を移動させて、複数の一定の時間範囲（Ｐ０）ごとに、特定された音の種類の確からしさ値を算出することができる。
【００２５】
特徴音発生時刻検出手段１７は、確からしさ値の算出方法として例えば次の処理を行う。スライドウィンドウ７３で指定された範囲で特定の音声が含まれる時間の割合を種類‘Ａ’の音の時間範囲Ｐ０について、及び、種類‘Ｂ’の音の時間範囲Ｐ０について算出し、時間範囲（Ｐ０）７４における種類‘Ａ’の音であることの確からしさ値ＬＡ及び種類‘Ｂ’の音であることの確からしさ値ＬＢとして算出する。
【００２６】
また、特徴音発生時刻検出手段１７は、算出された確からしさ値が予め設定した閾値よりも高い時間範囲Ｐ０の時刻、又は、確からしさ値が０より大きくなった時刻から確からしさ値が０に戻る時刻までの各時間範囲の中で確からしさ値が最大となった時間範囲Ｐ０の時刻を、特定事象の映像区間の開始点又は終了点を特徴付ける特徴音の発生時刻として検出することもできる。
【００２７】
例えば、検出したい特定事象が小売店舗のキャッシュレジスターで行われる会計作業である場合には、特徴音は、例えば、バーコードをキャッシュレジスターで読み取ったときに発生する電子音、又は、キャッシュレジスターのキーを押下したときに発生する打鍵音や電子音である。また、この場合には、例えば、スライドウィンドウ７３の範囲を３オーディオフレーム分とし、各種類の音の割合を算出し、閾値として０．５を設定し、確からしさ値が０．５以上になったときに、特徴音発生時刻検出手段１７が特徴音の発生時刻を検出してもよい。
【００２８】
図３（ａ）及び（ｂ）は、実施の形態１に係る映像区間決定装置１０の映像区間決定手段１８による映像区間の決定処理を説明するための図（その１）である。図３（ａ）は、音モデル保持手段１５が保持する複数の音モデルにおける種類‘Ａ’の音を示すピーク波形１０１ａ〜１０１ｄを示す波形図である。図３（ａ）において、横軸は経過時間ｔを示し、縦軸は特徴音が音モデルにおける種類‘Ａ’の音であることの確からしさを表す指標（例えば、０（特徴音ではない）から１（特徴音である）までの値）である確からしさ値ＬＡを示す。図３（ｂ）は、音モデル保持手段１５が保持する複数の音モデルにおける種類‘Ｂ’の音を示すピーク波形１０２ａ〜１０２ｄを示す波形図である。図３（ｂ）において、横軸は経過時間ｔを示し、縦軸は特徴音が音モデルにおける種類‘Ｂ’の音であることの確からしさを表す指標（例えば、０（特徴音ではない）から１（特徴音である）までの値）である確からしさ値ＬＢを示す。
【００２９】
図３（ａ）において、ピーク波形１０１ａ〜１０１ｄは、種類‘Ａ’の音が検出されたことを示し、ピーク波形１０１ａ〜１０１ｄのピーク値は、種類‘Ａ’の音であることの確からしさ値ＬＡを示す。また、図３（ｂ）において、ピーク波形１０２ａ〜１０２ｄは、種類‘Ｂ’の音が検出されたことを示し、ピーク波形１０２ａ〜１０２ｄのピーク値は、種類‘Ｂ’の音であることの確からしさ値ＬＢを示す。
【００３０】
図３（ａ）及び（ｂ）においては、確からしさ値ＬＡの高い種類‘Ａ’のピーク波形１０１ｃの直後に、ピーク波形１０１ｃの確からしさ値ＬＡより低い確からしさ値ＬＢを持つ種類‘Ｂ’のピーク波形１０２ａが検出されている。また、図３（ａ）及び（ｂ）においては、確からしさ値ＬＢの高い種類‘Ｂ’のピーク波形１０２ｂの直前に、ピーク波形１０２ｂの確からしさ値ＬＢより低い確からしさ値ＬＡを持つ種類‘Ａ’のピーク波形１０１ｄが検出されている。また、図３（ａ）及び（ｂ）において、Ｐ１１は、確からしさ値の低い種類‘Ｂ’の音を示すピーク波形１０２ａから近接した確からしさ値の高い種類‘Ａ’の音を示すピーク波形１０１ｃまでの時間間隔を示し、Ｐ１２は、確からしさ値の低い種類‘Ａ’の音を示すピーク波形１０１ｄから近接した確からしさ値の高い種類‘Ｂ’の音を示すピーク波形１０２ｂまでの時間間隔を示す。
【００３１】
決定される映像区間に対応する特定事象には、その特定事象の性質上、その開始時に関連する種類の音（第１の特徴音）と終了時に関連する種類の音（第２の特徴音）とが近接して発生することがない場合がある。すなわち、特定事象には、その開始時の第１の特徴音が発生してから所定の時間が経過した以降でなければ、終了時の第２の特徴音が発生することがない事象がある。したがって、実施の形態１においては、映像区間決定手段１８は、異なる種類の音が近接して検出された場合には、確からしさ値の低い検出結果を示すピーク波形を除外（無視）することによって、特定事象の開始時又は終了時に発生した特徴音であるが、映像区間の決定処理においては特徴音として扱わない処理を行う。なお、確からしさ値が同じ値である場合には、映像区間決定手段１８は、例えば、予め設定しておいた種類の音を示すピーク波形（すなわち、予め決められた一方のピーク波形）を残し、他方のピーク波形を除外（無視）することによって事象開始時又は終了時に発生した特徴音とはみなさない処理を行う。
【００３２】
映像区間決定手段１８は、複数回連続的に発生した種類‘Ａ’の音１０１ａ〜１０１ｃのうちの最後に検出されたピーク波形１０１ｃが現れる時刻から、種類‘Ｂ’の音を示すピーク波形１０２ａが現れる時刻までの時間間隔Ｐ１１が、所定の基準時間Ｑ１０より短い場合には、種類‘Ａ’の音を示すピーク波形１０１ｃと種類‘Ｂ’の音を示すピーク波形１０２ａのうちの確からしさ値が低い検出結果を示すピーク波形である種類‘Ｂ’の音を示すピーク波形１０２ａを除外（無視）する処理を行う。
【００３３】
映像区間決定手段１８は、複数回連続的に発生した種類‘Ｂ’の音１０２ｂ〜１０１ｄのうちの最初に検出されたピーク波形１０２ｂが現れる時刻から種類‘Ａ’の音を示すピーク波形１０１ｄが現れる時刻までの時間間隔Ｐ１２が短い場合には、種類‘Ａ’の音を示すピーク波形１０１ｄと種類‘Ｂ’の音を示すピーク波形１０２ｂのうちの確からしさ値が低い検出結果を示すピーク波形である種類‘Ａ’の音を示すピーク波形１０１ｄを除外（無視）する処理を行う。
【００３４】
例えば、小売店舗の店内を記録した映像からキャッシュレジスターで会計作業が行われている映像区間を検出する場合には、商品のバーコードを読み取ったときに発生する電子音（第１の特徴音）からキャッシュレジスターのキーを押下したときに発生する打鍵音や電子音（第２の特徴音）までの時間は、通常０．５秒以上である。このため、この時間が０．５秒未満の場合には、映像区間決定手段１８は、バーコード読み取り時の電子音（第１の特徴音）又はキーを押下時の打鍵音や電子音のうちの確からしさ値の低い検出結果を示すピーク波形を除外（無視）する処理を行う。以上の処理により、特徴音を検出したピーク波形は、以下の図４（ａ）及び（ｂ）のようになる。
【００３５】
図４（ａ）及び（ｂ）は、実施の形態１に係る映像区間決定装置１０の映像区間決定手段１８による映像区間の決定処理を説明するための図（その２）である。図４（ａ）は、種類‘Ａ’の音を示すピーク波形１０１ａ〜１０１ｃの波形図である。図４（ａ）において、横軸は経過時間ｔを示し、縦軸は種類‘Ａ’の音であることの確からしさ値ＬＡを示す。図４（ｂ）は、種類‘Ｂ’の音を示すピーク波形１０２ｂ〜１０２ｄを示す波形図である。図４（ｂ）において、横軸は経過時間ｔを示し、縦軸は種類‘Ｂ’の音であることの確からしさ値ＬＢを示す。
【００３６】
映像区間決定手段１８において、特徴音として検出された音声が発生した時間間隔を判定し特定事象が記録された映像区間を検出する方法について説明する。図４（ａ）及び（ｂ）において、Ｐ２１は、複数回連続的に発生した種類‘Ａ’の音（ピーク波形１０１ａ〜１０１ｃ）のうちのピーク波形１０１ｂから、複数回連続的に発生する種類‘Ｂ’の音（ピーク波形１０２ｂ〜１０２ｄ）のうちのピーク波形１０２ｃまでの時間間隔を示し、
Ｐ２２は、複数回連続的に発生した種類‘Ａ’の音（ピーク波形１０１ａ〜１０１ｃ）のうちのピーク波形１０１ｃから、複数回連続的に発生する種類‘Ｂ’の音（ピーク波形１０２ｂ〜１０２ｄ）のうちのピーク波形１０２ｄまでの時間間隔、Ｐ２３は、複数回連続的に発生した種類‘Ａ’の音（ピーク波形１０１ａ〜１０１ｃ）のうちのピーク波形１０１ａから複数回連続的に発生する種類‘Ｂ’の音（ピーク波形１０２ｂ〜１０２ｄ）のうちのピーク波形１０２ｂまでの時間間隔を示し、Ｑ２０は、予め設定条件によって決められた基準時間間隔である。
【００３７】
開始時と終了時に特徴的な音を伴って発生する事象は、通常、種類‘Ａ’の音が発生してから一定の時間内で種類‘Ｂ’の音が発生するので、予め設定条件によって決められた時間間隔Ｑ２０より短い時間内で種類‘Ａ’の音と種類‘Ｂ’の音が発生するはずである。したがって、映像区間決定手段１８は、基準時間間隔Ｑ２０より短い時間内で種類‘Ａ’の音と種類‘Ｂ’の音が発生する映像区間を検出する。
【００３８】
映像区間決定手段１８は、例えば、検出する映像区間の開始点である種類‘Ａ’の音を示すピーク波形から終了点である種類‘Ｂ’の音を示すピーク波形までの最大許容時間間隔を予め設定条件によって決められた時間間隔と決めておき、種類‘Ａ’の音を示すピーク波形から種類‘Ｂ’の音を示すピーク波形までの区間が、予め設定条件によって決められた時間間隔以下となるように映像区間を決定する。検出される映像区間の候補である時間間隔Ｐ２１、時間間隔Ｐ２２、及び時間間隔Ｐ２３と、基準時間間隔Ｑ２０の長さの関係は、
Ｐ２１＜Ｑ２０＜Ｐ２２＜Ｐ２３
となり、基準時間間隔Ｑ２０の長さ以下の時間間隔で最大となる時間間隔Ｐ２１が検出される映像区間となる。なお、基準時間間隔の設定は、例えば、ユーザによる設定、又は、製造段階における設定による。
【００３９】
図５（ａ）〜（ｃ）は、実施の形態１に係る映像区間決定装置１０の映像区間決定手段１８による映像区間の決定処理を説明するための図（その３）である。図５（ａ）は、種類‘Ａ’の音を示すピーク波形１０１ａ〜１０１ｃを示す波形図である。図５（ａ）において、横軸は経過時間ｔを示し、縦軸は、種類‘Ａ’の音であることの確からしさ値ＬＡを示す。図５（ｂ）は、種類‘Ｂ’の音を示すピーク波形１０２ｂ〜１０２ｄを示す波形図である。図５（ｂ）において、横軸は経過時間ｔを示し、縦軸は、特徴音が音モデルにおける種類‘Ｂ’の音であることの確からしさ値ＬＢを示す。また、図５（ｃ）は、決定された映像区間を示す。
【００４０】
図５（ｃ）において、Ｐ３２は、特定事象発生映像区間、Ｐ３１及びＰ３３は、特定事象が記録されていない映像区間である。映像区間決定手段１８は、間に種類‘Ｂ’の音が検出されずに複数回連続的に検出された種類‘Ａ’の音のうちの基準時間間隔Ｑ２０以内となる区間Ｐ２１の最初に検出された種類‘Ａ’の音を示すピーク波形１０１ｂの時刻から、基準時間間隔Ｑ２０以内となる区間Ｐ２１の最後に検出された種類‘Ｂ’の音を示すピーク波形１０２ｂの時刻までを特定事象発生映像区間Ｐ３２として決定し、決定された映像区間情報を映像音声信号再生手段１３に出力する。映像音声信号再生手段１３は、要約映像再生時には、映像区間が検出されたことを示すピーク波形３１に基づき特定事象が記録されていない映像区間Ｐ３１，Ｐ３３をスキップし、特定事象が記録されている特定事象発生映像区間Ｐ３２だけを再生する。
【００４１】
実施の形態１の映像区間決定装置及び方法の適用例としては、例えば、１つの組の演目時間の最大時間が決まっている漫才番組放送映像の中から、出囃子及び観客の声、又は、拍手を開始点とし、採点者の採点によって発生する電子音を終了点として、演目場面の映像区間だけを抽出する場合がある。
【００４２】
また、実施の形態１の映像区間決定装置及び方法の他の適用例としては、例えば、回答時間の決まっているクイズ番組放送映像の中から、出題開始音及び解答終了音をそれぞれ開始点及び終了点として、解答場面の映像区間だけを抽出する場合がある。
【００４３】
さらに、実施の形態１の映像区間決定装置及び方法の他の適用例としては、例えば、１つの攻防の時間間隔がある時間範囲に収まるであろうと考えられるテニス番組放送映像の中から、サービスにおける打球音又はサーバーの声を開始点とし、ボールがネットにかかる音、又は、観客の声を終了点として、プレイ場面の映像区間だけを抽出する場合がある。
【００４４】
さらにまた、実施の形態１の映像区間決定装置及び方法の他の適用例としては、例えば、ボールを打ってから着地までの時間間隔がある時間範囲に収まるだろうと考えられるゴルフ番組放送映像の中から、ボールのショット音、又は、スイング音を開始点とし、ボール着地音、又は、観客の声、又は、拍手を終了点として、プレイ場面の映像区間だけを抽出する場合がある。
【００４５】
以上に説明したように、実施の形態１に係る映像区間決定装置及び映像区間決定方法によれば、開始点と終了点に特徴音が存在する特定事象の映像区間を適切に（精度良く）決定することができる。また、実施の形態１に係る要約映像再生装置及び要約映像再生方法によれば、開始点と終了点に特徴音が存在する特定事象の映像区間を適切に決定して再生することができる。
【００４６】
実施の形態２．
図６（ａ）及び（ｂ）は、本発明の実施の形態２に係る映像区間決定装置の映像区間決定手段１８による特定事象の映像区間の決定処理を説明するための図である。なお、実施の形態２の説明においては、図１をも参照する。図６において、Ｐ４１は、複数回連続的に発生した種類‘Ａ’の音（ピーク波形１０１ａ〜１０１ｃ）のうちの最後の音を示すピーク波形１０１ｃから複数回連続的に発生した種類‘Ｂ’の音（ピーク波形１０２ｂ〜１０２ｄ）のうちの最初の音を示すピーク波形１０２ｂまでの時間間隔を示し、Ｑ４１は、予め設定条件によって決められた基準時間間隔を示す。また、Ｐ４２は、種類‘Ａ’の音を示すピーク波形１０１ａから種類‘Ａ’の音を示すピーク波形１０１ｂまでの時間間隔を示し、Ｐ４３は、種類‘Ａ’の音を示すピーク波形１０１ｂから種類‘Ａ’の音を示すピーク波形１０１ｃまでの時間間隔を示す。また、Ｐ４４は、種類‘Ｂ’の音を示すピーク波形１０２ｂから種類‘Ｂ’の音を示すピーク波形１０２ｃまでの時間間隔を示し、Ｐ４５は、種類‘Ｂ’の音を示すピーク波形１０２ｃから種類‘Ｂ’の音を示すピーク波形１０２ｄまでの時間間隔を示す。また、Ｑ４２は、予め設定条件によって決められた種類‘Ａ’の音を示すピーク波形１０１ｂからの基準時間間隔、Ｑ４３は、予め設定条件によって決められた種類‘Ａ’の音を示すピーク波形１０１ｃからの基準時間間隔、Ｑ４４は、予め設定条件によって決められた種類‘Ｂ’の音を示すピーク波形１０２ｂからの基準時間間隔、Ｑ４５は、予め設定条件によって決められた種類‘Ｂ’の音を示すピーク波形１０２ｃからの基準時間間隔である。
【００４７】
映像区間決定手段１８は、例えば、複数回連続的に発生した種類‘Ａ’の音のうちの最後の音を示すピーク波形から複数回連続的に発生した種類‘Ｂ’の音を示すピーク波形のうちの最初の音を示すピーク波形までの最大許容時間間隔を、予め設定条件によって決められた基準時間間隔Ｑ４１とする。映像区間決定手段１８は、複数回連続的に発生した種類‘Ａ’の音のうちの最後の音を示すピーク波形１０１ｃから複数回連続的に発生した種類‘Ｂ’の音を示すピーク波形のうちの最初の音を示すピーク波形１０２ｂまでの時間間隔が、予め設定条件によって決められた基準時間間隔Ｑ４１以下になった映像区間を検出する。次に、映像区間決定手段１８は、その映像区間の前に複数回連続的に種類‘Ａ’の音を示すピーク波形が存在すれば、条件に合う種類‘Ａ’の音を示すピーク波形の時間まで検出する映像区間を延伸する。さらに、映像区間決定手段１８は、その映像区間の後に複数回連続的に種類‘Ｂ’の音を示すピーク波形が存在すれば、条件に合う種類‘Ａ’の音を示すピーク波形の時間まで検出する映像区間を延伸する。
【００４８】
決定する映像区間の延伸方法として、例えば、以下の方法がある。映像区間決定手段１８は、複数回連続的に発生した種類‘Ａ’の音のうちの最後の音を示すピーク波形１０１ｃの前に、種類‘Ａ’の音を示す他のピーク波形が存在し、種類‘Ａ’の音を示すピーク波形１０１ｃからその１つ前の種類‘Ａ’の音を示すピーク波形１０１ｂまでの時間間隔Ｐ４３が予め設定条件によって決められた基準時間間隔Ｑ４３よりも短い場合には、映像区間の開始点を種類‘Ａ’の音を示すピーク波形１０１ｂの時刻にずらす。ただし、映像区間決定手段１８は、種類‘Ａ’の音を示すピーク波形１０１ｃから種類‘Ａ’の音を示すピーク波形１０１ｂまでの時間間隔が、予め設定条件によって決められた基準時間間隔Ｑ４３よりも長い場合には、映像区間の開始点は、そのまま変更せず、検出する映像区間の前方向への延伸処理を終了する。
【００４９】
さらに、映像区間決定手段１８は、映像区間の開始点を種類‘Ａ’の音を示すピーク波形１０１ｂの時刻にずらした場合には、種類‘Ａ’の音を示すピーク波形１０１ｂからその１つ前の種類‘Ａ’の音を示すピーク波形１０１ａまでの時間間隔Ｐ４２が、予め設定条件によって決められた基準時間間隔Ｑ４２よりも短い場合には、映像区間の開始点を種類‘Ａ’の音を示すピーク波形１０１ａの時刻にずらす。ただし、映像区間決定手段１８は、種類‘Ａ’の音を示すピーク波形１０１ｂから種類‘Ａ’の音を示すピーク波形１０１ａまでの時間間隔が、基準時間間隔Ｑ４２よりも長い場合には、映像区間の開始点は、そのまま変更せず、検出する映像区間の前方向への延伸処理を終了する。映像区間決定手段１８は、新たに決められた映像区間の開始点から予め設定条件によって決められた時間間隔の時間範囲以内に種類‘Ａ’の音を示すピーク波形が存在すれば、映像区間の延伸を繰り返す。
【００５０】
また、映像区間決定手段１８は、複数回連続的に発生した種類‘Ｂ’の音のうちの最初の音を示すピーク波形１０２ｂの後に種類‘Ｂ’の音を示すピーク波形が存在し、種類‘Ｂ’の音を示すピーク波形１０２ｂからその１つ後の種類‘Ｂ’の音を示すピーク波形１０２ｃまでの時間間隔Ｐ４４が予め設定条件によって決められた基準時間間隔Ｑ４４よりも短い場合には、映像区間の終了点を種類‘Ｂ’の音を示すピーク波形１０２ｃの時刻にずらす。ただし、映像区間決定手段１８は、種類‘Ｂ’の音を示すピーク波形１０２ｂから種類‘Ｂ’の音を示すピーク波形１０２ｃまでの時間間隔が予め設定条件によって決められた基準時間間隔Ｑ４４よりも長い場合には、映像区間の終了点は、そのまま変更せず、検出する映像区間の後方向への延伸処理を終了する。さらに、映像区間決定手段１８は、映像区間の開始点を音声‘Ｂ’が検出されたことを示すピーク波形１０２ｃの時刻にずらした場合、種類‘Ｂ’の音を示すピーク波形１０２ｃからその１つ後の種類‘Ｂ’の音を示すピーク波形１０２ｄまでの時間間隔Ｐ４５が予め設定条件によって決められた基準時間間隔Ｑ４５よりも短い場合には、映像区間の終了点を種類‘Ｂ’の音を示すピーク波形１０２ｄの時刻にずらす。ただし、映像区間決定手段１８は、種類‘Ｂ’の音を示すピーク波形１０２ｃから種類‘Ｂ’の音を示すピーク波形１０２ｄまでの時間間隔が予め設定した基準時間間隔Ｑ４５よりも長い場合には、映像区間の終了点は、そのまま変更せず、検出する映像区間の後方向への延伸処理を終了する。映像区間決定手段１８は、新たに決められた映像区間の終了点から予め設定条件によって決められた時間間隔の時間範囲以内に種類‘Ａ’の音を示すピーク波形が存在すれば、映像区間の延伸を繰り返す。
【００５１】
映像区間決定手段１８は、以上の処理により、特定事象の開始点から終了点までを含む映像区間を決定することができる。
【００５２】
実施の形態２の適用例として、例えば、小売店舗でカウンター周辺を撮影した映像からキャッシュレジスターで会計作業が行われたシーンを精度良く検出する例がある。複数の商品のバーコードをキャッシュレジスターで読み取るときには、バーコード読み取り音は一定の時間間隔内で発生すると考えられる。したがって、最後に発生したバーコード読み取り音を検出して抽出する映像区間の開始点として決定した後に、それより以前の一定時間間隔以内のバーコード読み取り音を検出してその時点を映像区間の開始点として改める。この処理を繰り返すことでより、より正確に映像区間の開始点を決定できる。また、終了点についても同様である。
【００５３】
実施の形態３．
図７（ａ）及び（ｂ）は、本発明の実施の形態３に係る映像区間決定装置の映像区間決定手段による特定事象の映像区間の決定処理を説明するための図である。なお、実施の形態３の説明においては、図１をも参照する。図７において、Ｐ５１は、種類‘Ａ’の音を示すピーク波形１０１ａから種類‘Ａ’の音を示すピーク波形１０１ｃまでの時間間隔、Ｐ５２は、種類‘Ａ’の音を示すピーク波形１０１ｂから種類‘Ａ’の音を示すピーク波形１０１ｃまでの時間間隔である。また、Ｐ５３は、種類‘Ｂ’の音を示すピーク波形１０２ｂから種類‘Ｂ’の音を示すピーク波形１０２ｃまでの時間間隔、Ｐ５４は、種類‘Ｂ’の音を示すピーク波形１０２ｂから種類‘Ｂ’の音を示すピーク波形１０２ｄまでの時間間隔である。また、Ｑ５１は、種類‘Ａ’の音を示すピーク波形１０１ｃからの予め設定条件によって決められた基準時間間隔、Ｑ５２は、種類‘Ｂ’の音を示すピーク波形１０２ｂからの予め設定条件によって決められた基準時間間隔である。
【００５４】
映像区間決定手段１８は、複数回連続的に発生した種類‘Ａ’の音（ピーク波形１０１ａ〜１０１ｃ）のうちの最後の音を示すピーク波形１０１ｃの前に、複数回連続的に種類‘Ａ’の音を示すピーク波形１０１ａ，１０１ｂが存在し、種類‘Ａ’の音を示す最後のピーク波形１０１ｃから基準時間間隔Ｑ５１だけ前の時刻までの範囲内で最も早い時刻に発生する種類‘Ａ’の音を示すピーク波形１０１ｂを、映像区間の開始点とする。なお、映像区間決定手段１８は、種類‘Ａ’の音を示すピーク波形１０１ｂの前に種類‘Ａ’の音を示すピーク波形１０１ａがあったとしても、種類‘Ａ’の音を示す最後のピーク波形１０１ｃから基準時間間隔Ｑ５１だけ前の時刻までの範囲外であれば、映像区間の開始点を種類‘Ａ’の音を示すピーク波形１０１ａまで延伸する処理は行わない。
【００５５】
また、映像区間決定手段１８は、複数回連続的に発生した種類‘Ｂ’の音（ピーク波形１０２ｂ〜１０２ｄ）のうちの最初の音を示すピーク波形１０２ｂの後に、複数回連続的に種類‘Ｂ’の音を示すピーク波形１０２ｃ，１０２ｄが存在し、種類‘Ｂ’の音を示す最初のピーク波形１０２ｃから基準時間間隔Ｑ５２だけ後の時刻までの範囲内で最も遅い時刻に発生する種類‘Ｂ’の音を示すピーク波形１０２ｃを、映像区間の終了点とする。なお、映像区間決定手段１８は、種類‘Ｂ’の音を示すピーク波形１０２ｂの後に種類‘Ｂ’の音を示すピーク波形１０２ｄが存在するとしても、種類‘Ｂ’の音を示す最初のピーク波形１０２ｂから基準時間間隔Ｑ５２だけ後の時刻までの範囲外であれば、映像区間の終了点を種類‘Ｂ’の音を示すピーク波形１０２ｄまで延伸する処理は行わない。
【００５６】
映像区間決定手段１８は、以上の処理により、特定事象を含む適切な長さの映像区間を検出することができる。
【００５７】
実施の形態３の適用例として、例えば、小売店舗でカウンター周辺を撮影した映像からキャッシュレジスターで会計作業が行われたシーンを精度良く検出する例がある。会計作業の終了点ではキャッシュレジスターに顧客から受領した金額を打ち込む事象が発生するが、キーで金額を打ち込む作業は一定時間内に完了すると考えられる。したがって、実施の形態３では、最初にキャッシュレジスターでキーのタッチ時に発生した電子音を検出した時点を抽出対象の映像区間の終了点として決定した後、それ以後で一定時間の範囲内で発生した最後の電子音を検出しその時点を映像区間の終了点として改めるので、より正確に映像区間の終了点を決定できる。
【００５８】
実施の形態４．
図８（ａ）及び（ｂ）は、本発明の実施の形態４に係る映像区間決定装置の映像区間決定手段１８による特定事象の映像区間の決定処理を説明するための図である。なお、実施の形態４の説明においては、図１をも参照する。実施の形態４は、実施の形態２の処理方法に、実施の形態３の処理方法を組み合わせた例である。実施の形態４においては、映像区間決定手段１８は、実施の形態２と同様に、複数回連続的に発生した種類‘Ａ’の音（ピーク波形１０１ａ〜１０１ｃ）のうちの最後の音を示すピーク波形１０１ｃの前に、複数回連続的に発生した種類‘Ａ’の音を示すピーク波形１０１ａ，１０１ｂが存在し、種類‘Ａ’の音を示す最後のピーク波形１０１ｃから基準時間間隔Ｑ４３までで最も早く発生する種類‘Ａ’の音を示すピーク波形１０１ｂを映像区間の開始点とする。なお、実施の形態４においては、映像区間決定手段１８は、種類‘Ａ’の音を示すピーク波形１０１ｂの前に、複数回連続的に発生した種類‘Ａ’の音を示すピーク波形１０１ａ（基準時間間隔Ｑ４２内）が存在しても、実施の形態３と同様に、ピーク波形１０１ａが種類‘Ａ’の音を示す最後のピーク波形１０１ｃから基準時間間隔Ｑ５１の範囲外にある場合には、映像区間は延伸しない。
【００５９】
また、映像区間決定手段１８は、実施の形態２と同様に複数回連続的に発生した種類‘Ｂ’の音（ピーク波形１０２ｂ〜１０２ｄ）のうちの最初の音を示すピーク波形１０２ｂの後に複数回連続的に種類‘Ｂ’の音を示すピーク波形が存在し、種類‘Ｂ’の音を示す最初のピーク波形から基準時間間隔Ｑ４４までに発生する種類‘Ｂ’の音を示すピーク波形１０２ｃを映像区間の終了点とする。なお、実施の形態４においては、映像区間決定手段１８は、その後、複数回連続的に種類‘Ｂ’の音を示すピーク波形１０２ｄ（基準時間間隔Ｑ４５内）が存在しても、実施の形態３と同様に、種類‘Ｂ’の音を示す最初のピーク波形１０２ｂからの基準時間間隔Ｑ５２の範囲外にある場合には、映像区間は延伸しない。
【００６０】
映像区間決定手段１８は、以上の処理により、音声が実際に発生していないにもかかわらず発生したとする誤検出が多発する場合でも、特定事象の開始点から終了点までを全て含む適切な長さの映像区間を検出することができる。
【００６１】
実施の形態４の適用例として、例えば、小売店舗でカウンター周辺を撮影した映像からキャッシュレジスターで会計作業が行われたシーンで開始点や終了点となる音声の誤検出が多発した場合でも適切な長さの映像区間を検出する例がある。音モデルの精度によっては、音の検出で誤検出が多発することが考えられる。その場合、実施の形態２では映像区間を冗長に延伸してしまう可能性がある。したがって、実施の形態４によれば、延伸区間の最大値を設定することによってキャッシュレジスターで会計作業が行われている場面の映像区間だけを精度良く検出することができる。
【００６２】
実施の形態５．
図９（ａ）及び（ｂ）は、本発明の実施の形態５に係る映像区間決定装置の映像区間決定手段１８による特定事象の映像区間の決定処理を説明するための図である。なお、実施の形態５の説明においては、図１をも参照する。図９において、Ｑ８１は、予め設定条件によって決められた映像区間の開始点から終了点までの最大許容時間間隔である。実施の形態５に係る映像区間決定装置及び方法は、実施の形態２に係る映像区間決定装置及び方法を変更した例である。
【００６３】
映像区間決定手段１８は、実施の形態２と同様に、複数回連続的に発生した種類‘Ａ’の音（ピーク波形１０３ａ〜１０３ｃ）のうちの最後の音を示すピーク波形１０３ｃの前に、種類‘Ａ’の音を示すピーク波形が存在し、種類‘Ａ’の音を示すピーク波形１０３ｃからその１つ前の種類‘Ａ’の音を示すピーク波形１０３ｂまでの時間間隔Ｐ４３が基準時間間隔Ｑ４３よりも短い場合には、映像区間の開始点をピーク波形１０３ｂの時刻にずらす。
【００６４】
映像区間決定手段１８は、ピーク波形１０３ｂの前に種類‘Ａ’の音を示すピーク波形１０３ａが存在して、新たに映像区間の開始点となった種類‘Ａ’の音を示すピーク波形１０３ｂから予め設定条件によって決められた基準時間間隔Ｑ４２内に種類‘Ａ’の音を示すピーク波形１０３ａが存在する場合には、連続的に発生した種類‘Ａ’の音のうちの最後の音を示すピーク波形１０３ｃから、新たに映像区間の開始点となった種類‘Ａ’の音を示すピーク波形１０３ｂまでの時間範囲で検出された種類‘Ａ’の音を示すピーク波形（図９（ａ）には示さず）の確からしさ値ＬＡの最大値よりも、種類‘Ａ’の音を示すピーク波形１０３ａの確からしさ値ＬＡの大きさの方が大きく、且つ、種類‘Ａ’の音を示すピーク波形１０３ａから映像区間の終了点までの時間間隔が予め設定した映像区間の最大許容時間間隔Ｑ８１よりも小さければ、種類‘Ａ’の音を示すピーク波形１０３ａを新たな映像区間の開始点とする。映像区間決定手段１８は、複数回連続的に発生した種類‘Ａ’の音を示すピーク波形のうちの最後の音を示すピーク波形１０３ｃから新たに映像区間の開始点となった種類‘Ａ’の音を示すピーク波形１０３ｂまでの時間範囲で検出された種類‘Ａ’の音を示すピーク波形（図９（ａ）には示さず）の確からしさ値ＬＡの最大値よりも種類‘Ａ’の音を示すピーク波形１０３ａの確からしさ値ＬＡの大きさが同じか、又は、小さければ、映像区間は延伸しない。
【００６５】
また、映像区間決定手段１８は、実施の形態２と同様に、複数回連続的に発生した種類‘Ｂ’の音のうちの最初の音を示すピーク波形１０４ｂの後に種類‘Ｂ’の音を示すピーク波形が存在し、種類‘Ｂ’の音を示すピーク波形１０４ｂからその１つ後の種類‘Ｂ’の音を示すピーク波形１０４ｃまでの時間間隔Ｐ４４が予め設定条件によって決められた基準時間間隔Ｑ４４よりも短い場合には、映像区間の終了点を種類‘Ｂ’の音を示すピーク波形１０４ｃの時刻にずらす。
【００６６】
映像区間決定手段１８は、ピーク波形１０４ｃの後に、複数回連続的に種類‘Ｂ’の音を示すピーク波形１０４ｄが存在するが、新たに映像区間の終了点となった種類‘Ｂ’の音を示すピーク波形１０４ｃから予め設定条件によって決められた基準時間間隔Ｑ４５よりも以降にピーク波形１０４ｄがある場合には、複数回連続的に発生した種類‘Ｂ’の音を示すピーク波形のうちの最初の音を示すピーク波形１０４ｂから新たに映像区間の終了点となった種類‘Ｂ’の音を示すピーク波形１０４ｃまでの時間範囲で検出された種類‘Ｂ’の音を示すピーク波形（図９（ｂ）に示さず）の確からしさ値ＬＢの最大値よりも種類‘Ｂ’の音を示すピーク波形１０４ｄの確からしさ値ＬＢの大きさの方が大きく、映像区間の開始点から種類‘Ｂ’の音を示すピーク波形１０４ｄまでの時間間隔が予め設定した映像区間の最大許容時間間隔Ｑ８１よりも小さければ、種類‘Ｂ’の音を示すピーク波形１０４ｄを新たな映像区間の終了点とする。映像区間決定手段１８は、複数回連続的に発生した種類‘Ｂ’の音を示すピーク波形のうちの最初の音を示すピーク波形１０４ｂから新たに映像区間の終了点となった種類‘Ｂ’の音を示すピーク波形１０４ｃまでの時間範囲で検出された種類‘Ｂ’の音を示すピーク波形（図９（ｂ）に示さず）の最大の確からしさ値ＬＢに比べ、種類‘Ｂ’の音を示すピーク波形１０４ｄの確からしさ値ＬＢの大きさが同じか、又は、小さければ、映像区間を延伸しない。
【００６７】
実施の形態５の適用例として、例えば、小売店舗でカウンター周辺を撮影した映像からキャッシュレジスターで会計作業が行われたシーンを特定事象の映像区間として抽出する場合であって、映像区間の開始点や終了点となる音の誤検出が多発する場合がある。実施の形態５によれば、検出結果を示すピーク波形の確からしさ値を考慮することによってより適切な映像区間を検出できる。
【００６８】
実施の形態６．
図１０（ａ）及び（ｂ）は、本発明の実施の形態６に係る映像区間決定装置１０の映像区間決定手段１８による特定事象の映像区間の決定処理を説明するための図である。図１０において、Ｑ９１は予め設定した映像区間の平均時間間隔である。なお、実施の形態６の説明においては、図１をも参照する。
【００６９】
映像区間決定手段１８は、実施の形態５と同様に、複数回連続的に発生した種類‘Ａ’の音（ピーク波形１０５ａ〜１０５ｃ）のうちの最後の音を示すピーク波形１０５ｃの前に種類‘Ａ’の音を示すピーク波形が存在し、種類‘Ａ’の音を示すピーク波形１０５ｃから１つ前の種類‘Ａ’の音を示すピーク波形１０５ｂまでの時間間隔Ｐ４３が予め設定条件によって決められた基準時間間隔Ｑ４３よりも短い場合には、映像区間の開始点を種類‘Ａ’の音を示すピーク波形１０５ｂの時刻にずらす。映像区間決定手段１８は、ピーク波形１０５ｂの前に複数回連続的に種類‘Ａ’の音を示すピーク波形１０５ａが存在して、新たに映像区間の開始点となった種類‘Ａ’の音を示すピーク波形１０５ｂから予め設定条件によって決められた基準時間間隔Ｑ４２よりも前に種類‘Ａ’の音を示すピーク波形１０５ａが存在する場合には、複数回連続的に発生した種類‘Ａ’の音を示すピーク波形のうちの最後の音を示すピーク波形１０５ｃから新たに映像区間の開始点となった種類‘Ａ’の音を示すピーク波形１０５ｂまでの時間範囲で検出された種類‘Ａ’の音を示すピーク波形（図１０（ａ）に示さず）の確からしさ値ＬＡの最大値よりも、種類‘Ａ’の音を示すピーク波形１０５ａの確からしさ値ＬＡの大きさの方が大きく、且つ、種類‘Ａ’の音を示すピーク波形１０５ａから映像区間の終了点までの時間間隔が予め設定した映像区間の最大許容時間間隔Ｑ８１よりも小さければ、種類‘Ａ’の音を示すピーク波形１０５ａを新たな映像区間の開始点とする。ただし、映像区間決定手段１８は、複数回連続的に発生した種類‘Ａ’の音を示すピーク波形のうちの最後の音を示すピーク波形１０５ｃから新たに映像区間の開始点となった種類‘Ａ’の音を示すピーク波形１０５ｂまでの時間範囲で検出された種類‘Ａ’の音を示すピーク波形（図１０（ａ）に示さず）の最大の確からしさ値ＬＡよりも種類‘Ａ’の音を示すピーク波形１０５ａの確からしさ値ＬＡの大きさが同じ場合には、それまでに延伸された映像区間の時間間隔と種類‘Ａ’の音を示すピーク波形１０５ａから映像区間の終了点までの時間間隔とを比較し、予め設定した映像区間の平均時間間隔Ｑ９１により近くなる映像区間となる開始点を決定する。映像区間決定手段１８は、複数回連続的に発生した種類‘Ａ’の音を示すピーク波形のうちの最後の音を示すピーク波形１０５ｃから新たに映像区間の開始点となった種類‘Ａ’の音を示すピーク波形１０５ｂまでの時間範囲で検出された種類‘Ａ’の音を示すピーク波形（図１０（ａ）に示さず）の最大の確からしさ値ＬＡよりも種類‘Ａ’の音を示すピーク波形１０５ａの確からしさ値ＬＡの大きさが小さければ、映像区間は延伸しない。
【００７０】
また、映像区間決定手段１８は、実施の形態５と同様に、複数回連続的に発生した種類‘Ｂ’の音のうちの最初の音を示すピーク波形１０６ｂの後に種類‘Ｂ’の音を示すピーク波形が存在し、種類‘Ｂ’の音を示すピーク波形１０６ｂからその１つ後の種類‘Ｂ’の音を示すピーク波形１０６ｃまでの時間間隔Ｐ４４が予め設定条件によって決められた基準時間間隔Ｑ４４よりも短い場合には、映像区間の終了点を種類‘Ｂ’の音を示すピーク波形１０６ｃの時刻にずらす。映像区間決定手段１８は、ピーク波形１０６ｃの後に複数回連続的に種類‘Ｂ’の音を示すピーク波形１０６ｄが存在して、新たに映像区間の終了点となった種類‘Ｂ’の音を示すピーク波形１０６ｃから予め設定条件によって決められた基準時間間隔Ｑ４５よりも以降に種類‘Ｂ’の音を示すピーク波形１０６ｄが存在する場合には、複数回連続的に発生した種類‘Ｂ’の音を示すピーク波形のうちの最初の音を示すピーク波形１０６ｂから新たに映像区間の終了点となった種類‘Ｂ’の音を示すピーク波形１０６ｃまでの時間範囲で検出された種類‘Ｂ’の音を示すピーク波形（図１０（ｂ）に示さず）の確からしさ値ＬＢの最大値よりも種類‘Ｂ’の音を示すピーク波形１０６ｄの確からしさ値ＬＢの大きさの方が大きく、且つ、映像区間の開始点から種類‘Ｂ’の音を示すピーク波形１０６ｄまでの時間間隔が予め設定した映像区間の最大許容時間間隔Ｑ８１よりも小さければ、種類‘Ｂ’の音を示すピーク波形１０６ｄを新たな映像区間の終了点とする。ただし、映像区間決定手段１８は、複数回連続的に発生した種類‘Ｂ’の音を示すピーク波形のうちの最初の音を示すピーク波形１０６ｂから新たに映像区間の終了点となった種類‘Ｂ’の音を示すピーク波形１０６ｃまでの時間範囲で検出された種類‘Ｂ’の音を示すピーク波形（図１０（ｂ）に示さず）の最大の確からしさ値ＬＢよりも、種類‘Ｂ’の音を示すピーク波形１０６ｄの確からしさ値ＬＢの大きさが同じ場に合は、それまでに延伸された映像区間の時間間隔と映像区間の開始点から種類‘Ｂ’の音を示すピーク波形１０６ｄまでの時間間隔とを比較し、予め設定した映像区間の平均時間間隔Ｑ９１により近くなる映像区間となる終了点を決定する。映像区間決定手段１８は、複数回連続的に発生した種類‘Ｂ’の音を示すピーク波形のうちの最初の音を示すピーク波形１０６ｂから新たに映像区間の終了点となった種類‘Ｂ’の音を示すピーク波形１０６ｃまでの時間範囲で検出された種類‘Ｂ’の音を示すピーク波形（図１０（ｂ）に示さず）の最大の確からしさ値ＬＢよりも種類‘Ｂ’の音を示すピーク波形１０６ｄの確からしさ値ＬＢの大きさが小さければ、映像区間を延伸しない。
【００７１】
実施の形態６の適用例として、例えば、ゴルフ番組のショット場面のような予め平均的な時間間隔が分かっている映像区間を記録映像から検出する場合がある。実施の形態６によれば、平均時間を考慮することによってより精度良く映像区間を抽出できる。
【００７２】
実施の形態７．
図１１（ａ）〜（ｄ）は、本発明の実施の形態７に係る映像区間決定装置の映像区間決定手段１８による特定事象の映像区間の決定処理を説明するための図であり、図１１（ａ）及び（ｂ）は、２回連続的に種類‘Ａ’の音が検出された場合を示し、図１１（ｃ）及び（ｄ）は、４回連続的に種類‘Ａ’の音が検出された場合を示す。図１１（ａ）及び（ｂ）において、１０７ａ及び１０７ｂは、２回連続的に検出された種類‘Ａ’の音を示すピーク波形であり、Ｑ１０４は、２回連続的に種類‘Ａ’の音が検出されたときに検出する映像区間の開始点となる種類‘Ａ’の音を示すピーク波形から終了点となる種類‘Ｂ’の音を示すピーク波形までの予め設定条件により決められた最大許容時間間隔である。また、図１１（ａ）及び（ｂ）において、１０８ａ〜１０８ｄは、種類‘Ｂ’の音を示すピーク波形であり、Ｐ１０６は、種類‘Ａ’の音を示すピーク波形１０７ａから種類‘Ｂ’の音を示すピーク波形１０８ｂまでの時間間隔である。また、図１１（ｃ）及び（ｄ）において、１０９ａ〜１０９ｄは、４回連続的に検出された種類‘Ａ’の音を示すピーク波形であり、Ｑ１０８は、４回連続的に種類‘Ａ’の音が検出されたときの映像区間の開始点となる種類‘Ａ’の音を示すピーク波形から終了点となる種類‘Ｂ’の音を示すピーク波形まででの最大許容時間間隔である。また、図１１（ｃ）及び（ｄ）において、Ｐ１０９は、種類‘Ａ’の音を示すピーク波形１０９ｂから種類‘Ｂ’の音を示すピーク波形１０８ｄまでの時間間隔である。なお、実施の形態７の説明においては、図１をも参照する。
【００７３】
映像区間決定手段１８は、検出する映像区間の開始点となる種類‘Ａ’の音を示すピーク波形から終了点となる種類‘Ｂ’の音を示すピーク波形までの最大許容時間間隔を、連続的に発生した種類‘Ａ’の音の連続回数に応じて変化させ、種類‘Ａ’の音を示すピーク波形から種類‘Ｂ’の音を示すピーク波形までの時間間隔を決定する。
【００７４】
図１１（ａ）及び（ｂ）に示されるように、映像区間決定手段１８は、２回連続的に種類‘Ａ’の音が検出された場合には、最大許容時間間隔としてＱ１０４を採用し、種類‘Ａ’の音が検出されたときの映像区間の開始点となる種類‘Ａ’の音を示すピーク波形から終了点となる種類‘Ｂ’の音を示すピーク波形までの最大許容時間間隔Ｑ１０４以下で最大となる時間間隔（区間）は、種類‘Ａ’の音を示すピーク波形１０７ａから種類‘Ｂ’の音を示すピーク波形１０８ｂまでの区間Ｐ１０６とする。また、図１１（ｃ）及び（ｄ）に示されるように、映像区間決定手段１８は、４回連続的に種類‘Ａ’の音が検出された場合には、最大許容時間間隔として長い時間間隔Ｑ１０８を採用し、最大許容時間間隔Ｑ１０８以下で最大となる区間は種類‘Ａ’の音を示すピーク波形１０９ｂから種類‘Ｂ’の音を示すピーク波形１０８ｄまでの区間Ｐ１０９とする。
種類‘Ａ’の音が連続して検出された回数の測定方法として、例えば、間に種類‘Ｂ’の音が検出されずに種類‘Ａ’の音が検出された回数がある。また、他の測定方法として、例えば、実施の形態２から実施の形態４における映像区間の延伸方法のように、連続的に検出された種類‘Ａ’の音のうちの最後の音からあらかじめ設定された時間間隔までの範囲内で種類‘Ａ’の音が検出された回数などがある。
【００７５】
実施の形態７の適用例として、例えば、小売店舗のキャッシュレジスター周辺を記録した映像から客が商品を購入する会計作業が行われた映像を検出するときに、購入する商品の数によって会計作業にかかる時間も変化する。そのため、会計作業の開始点となる商品のバーコードをキャッシュレジスターで読み取るときに発生する電子音の発生回数によって終了点となる店員のキャッシュレジスターへの金額打ち込み打鍵音までの時間間隔は変化させることによって会計作業の場面だけをより高精度に検出できる。
【００７６】
実施の形態７により、音声の発生回数に応じて適正に時間間隔を設定し、記録映像の中から発生時間の短い音声を開始点と終了点に伴って発生する事象が記録されている映像区間を精度良く検出できる。
【００７７】
実施の形態８．
図１２（ａ）〜（ｄ）は、本発明の実施の形態８に係る映像区間決定装置の映像区間決定手段１８による特定事象の映像区間の決定処理を説明するための図である。図１２（ａ）及び（ｂ）は、２回連続的に種類‘Ａ’の音が検出された場合を示し、図１２（ｃ）及び（ｄ）は、４回連続的に種類‘Ａ’の音が検出された場合を示す。図１２（ａ）及び（ｂ）において、１０７ａ及び１０７ｂは、２回連続的に検出された種類‘Ａ’の音を示すピーク波形であり、Ｑ１１３は、２回連続的に種類‘Ａ’の音が検出されたときに検出する映像区間の開始点となる種類‘Ａ’の音を示すピーク波形から終了点となる種類‘Ｂ’の音を示すピーク波形までの予め設定条件により決められた最大許容時間間隔である。また、図１２（ａ）及び（ｂ）において、１１０ａ及び１１０ｂは、種類‘Ｂ’の音を示すピーク波形であり、Ｐ１１５は、種類‘Ａ’の音を示すピーク波形１０７ａから種類‘Ｂ’の音を示すピーク波形１１０ａまでの時間間隔である。また、図１２（ｃ）及び（ｄ）において、１０９ａ、１０９ｂ、１０９ｃ、及び１０９ｄは、４回連続的に検出された種類‘Ａ’の音を示すピーク波形であり、Ｑ１１６は、４回連続的に種類‘Ａ’の音が検出されたときの映像区間の開始点となる種類‘Ａ’の音を示すピーク波形から終了点となる種類‘Ｂ’の音を示すピーク波形まででの最大許容時間間隔である。また、図１２（ｃ）及び（ｄ）において、Ｐ１１８は、種類‘Ａ’の音を示すピーク波形１０９ｂから種類‘Ｂ’の音を示すピーク波形１１２ａまでの時間間隔である。なお、実施の形態８の説明においては、図１をも参照する。
【００７８】
映像区間決定手段１８は、例えば、複数回連続的に発生した種類‘Ａ’の音の連続回数に応じて、複数回連続的に発生した種類‘Ａ’の音のうちの最後の音を示すピーク波形から複数回連続的に発生した種類‘Ｂ’の音を示すピーク波形のうちの最初の音を示すピーク波形までの最大許容時間間隔（例えば、Ｑ１１３又はＱ１１６）を変化させ、最大許容時間間隔以下になる映像区間を検出し、さらに、その映像区間の前に複数回連続的に種類‘Ａ’の音を示すピーク波形が存在すれば、条件に合う種類‘Ａ’の音を示すピーク波形の時間まで検出する映像区間を延伸し、且つ、その映像区間の後に複数回連続的に種類‘Ｂ’の音を示すピーク波形が存在すれば、条件に合う種類‘Ｂ’の音を示すピーク波形の時間まで検出する映像区間を延伸する。
【００７９】
図１２（ａ）及び（ｂ）に示されるように、映像区間決定手段１８は、２回連続的に種類‘Ａ’の音が検出された場合には、最大許容時間間隔としてＱ１１３を採用し、複数回連続的に発生した種類‘Ａ’の音のうちの最後の音を示すピーク波形１０７ｂから複数回連続的に発生した種類‘Ｂ’の音を示すピーク波形のうちの最初の音を示すピーク波形１１０ａまでの区間Ｐ１１５の長さが最大の時間間隔Ｑ１１３以下であれば区間Ｐ１１５とする。また、図１２（ｃ）及び（ｄ）に示されるように、映像区間決定手段１８は、４回連続的に種類‘Ａ’の音が検出されたときは、最大許容時間間隔としてＱ１１６を採用し、複数回連続的に発生した種類‘Ａ’の音のうちの最後の音を示すピーク波形１０９ｄから複数回連続的に発生した種類‘Ｂ’の音を示すピーク波形のうちの最初の音を示すピーク波形１１２ａまでの区間Ｐ１１８の長さが最大の時間間隔Ｑ１１６以下であれば区間Ｐ１１８を検出する。
【００８０】
実施の形態８により、音声の発生回数に応じて適正に時間間隔を設定し、特定事象の開始点から終了点までを含む映像区間を検出することができる。
【００８１】
実施の形態９．
図１３は、本発明の実施の形態９に係る映像区間決定装置１０ａ及び要約映像再生装置１ａの構成を概略的に示すブロック図である。図１３において、図１に示される構成と同一又は対応する構成には、同じ符号を付す。実施の形態９に係る映像区間決定装置１０ａは、映像音声信号記録手段１２ａからではなく映像音声入力手段１１ａから音声信号が周波数解析手段１４に入力される点、特徴音発生時刻検出手段１７と映像区間決定手段１８との間に特徴音発生時刻検出手段１７の検出結果を一時的に記憶する特徴音発生時刻一時記憶手段９１を備えた点、及び、映像音声信号再生手段１３ａにではなく映像音声記録手段１２ａに決定された映像区間情報を出力する点が、実施の形態１〜８に係る映像区間決定装置１０と相違する。
【００８２】
実施の形態９に係る映像区間決定装置１０ａ及び要約映像再生装置１ａにおいては、種類特定手段１６は、一定の時間範囲（図２のＰ０）毎に入力音声信号の音の種類を特定（識別）する。次に、特徴音発生時刻検出手段１７は、特定事象の映像区間の開始点の第１の特徴音と終了点の第２の特徴音が発生した時刻を検出し、第１の特徴音が発生したことが検出された時間範囲（図２のＰ０）において第１の特徴音であることの確からしさを示す指標である確からしさ値ＬＡを算出し、第２の特徴音が発生したことが検出された時間範囲（図２のＰ０）において第２の特徴音であることの確からしさを示す指標である確からしさ値ＬＢを算出する。次に、特徴音発生時刻一時記憶手段９１は、２種類の特徴音がそれぞれ検出された時刻を一時記録する。映像区間決定手段１８は、特徴音発生時刻一時記憶手段９１に記憶されている異なる２種類の第１の特徴音と第２の特徴音が発生した時刻の発生時間間隔及び／又は確からしさ値ＬＡ，ＬＢに基づいて、特定事象の映像区間を決定し、決定された映像区間情報を映像音声信号記録手段１２に出力する。映像音声信号再生手段１３ａは、要約映像再生時には、決定された映像区間を示す特定事象の発生時間を記述したリストデータに基づいて、映像信号及び音声信号を再生する。
【００８３】
実施の形態９に係る映像区間決定装置１０ａ及び要約映像再生装置１ａによれば、リアルタイムで映像の中から発生時間の短い特徴音を開始点及び終了点とする特定事象を精度良く検出し、再生できる。
【００８４】
なお、実施の形態９において、上記以外の点は、上記実施の形態１〜８の場合と同じである。
【００８５】
実施の形態１０．
図１４は、本発明の実施の形態１０に係る映像区間決定装置１０ｂ及び要約映像再生装置１ｂの構成を概略的に示すブロック図である。図１４において、図１に示される構成と同一又は対応する構成には、同じ符号を付す。実施の形態１０に係る映像区間決定装置１０ｂは、映像区間決定手段１８で決定された映像区間情報を記憶する映像区間記憶手段９２を備え、この映像区間記憶手段９２から映像音声信号再生手段１３に決定された映像区間情報を出力する点が、実施の形態１〜８に係る映像区間決定装置１０と相違する。
【００８６】
実施の形態１０に係る映像区間決定装置１０ｂにおいては、種類特定手段１６は、一定の時間範囲（図２のＰ０）毎に入力音声信号の音の種類を特定（識別）する。次に、特徴音発生時刻検出手段１７は、特定事象の映像区間の開始点の第１の特徴音と終了点の第２の特徴音が発生した時刻を検出し、第１の特徴音が発生したことが検出された時間範囲（図２のＰ０）において第１の特徴音であることの確からしさを示す指標である確からしさ値ＬＡを算出し、第２の特徴音が発生したことが検出された時間範囲（図２のＰ０）において第２の特徴音であることの確からしさを示す指標である確からしさ値ＬＢを算出する。映像区間決定手段１８は、２種類の第１の特徴音と第２の特徴音が発生した時刻の発生時間間隔及び／又は確からしさ値ＬＡ，ＬＢに基づいて、特定事象の映像区間を決定し、決定された映像区間情報を映像区間記憶手段９２に出力する。映像区間記憶手段９２は、映像区間決定手段１８によって出力された映像区間情報である、特定事象が発生した時間を記述したリストデータを記憶する。映像音声信号再生手段１３は、要約映像再生時には、映像区間記憶手段９２に記憶されている、決定された映像区間を示す特定事象の発生時間を記述したリストデータに基づいて、映像信号及び音声信号を再生する。
【００８７】
実施の形態１０に係る映像区間決定装置１０ｂ及び要約映像再生装置１ｂによれば、特定事象を精度良く検出し、再生できることに加え、映像区間記憶手段９２が記憶するリストデータを要約再生以外の用途（例えば、リストデータそのものの表示など）に利用できる。
【００８８】
なお、実施の形態１０において、上記以外の点は、上記実施の形態１〜８の場合と同じである。
【００８９】
実施の形態１１．
図１５は、本発明の実施の形態１１に係る映像区間決定装置１０ｃ及び要約映像再生装置１ｃの構成を概略的に示すブロック図である。図１５において、図１に示される構成と同一又は対応する構成には、同じ符号を付す。実施の形態１１に係る映像区間決定装置１０ｃは、映像音声信号再生手段１３ａにではなく映像音声記録手段１２ｃに決定された映像区間情報を出力する点が、実施の形態１〜８に係る映像区間決定装置１０と相違する。
【００９０】
実施の形態１１に係る映像区間決定装置１０ｃ要約映像再生装置１ｃにおいては、種類特定手段１６は、一定の時間範囲（図２のＰ０）毎に入力音声信号の音の種類を特定（識別）する。次に、特徴音発生時刻検出手段１７は、特定事象の映像区間の開始点の第１の特徴音と終了点の第２の特徴音が発生した時刻を検出し、第１の特徴音が発生したことが検出された時間範囲（図２のＰ０）において第１の特徴音であることの確からしさを示す指標である確からしさ値ＬＡを算出し、第２の特徴音が発生したことが検出された時間範囲（図２のＰ０）において第２の特徴音であることの確からしさを示す指標である確からしさ値ＬＢを算出する。映像区間決定手段１８は、２種類の第１の特徴音と第２の特徴音が発生した時刻の発生時間間隔及び／又は確からしさ値ＬＡ，ＬＢに基づいて、特定事象の映像区間を決定し、決定された映像区間情報を映像音声信号記録手段１２に出力する。映像音声信号再生手段１３ａは、要約映像再生時には、決定された映像区間を示す特定事象の発生時間を記述したリストデータに基づいて、映像信号及び音声信号を再生する。
【００９１】
実施の形態１１に係る映像区間決定装置１０ｃ及び要約映像再生装置１ｃによれば、発生時間の短い特徴音を開始点及び終了点とする特定事象を精度良く検出し、再生できる。また、図１４の映像区間記憶手段９２を設けることなく、映像区間情報を記憶できるので、構成の増加を抑制しつつ、記憶するリストデータを要約再生以外の用途に利用できる。
【００９２】
なお、実施の形態１１において、上記以外の点は、上記実施の形態１〜８の場合と同じである。
【００９３】
実施の形態１２．
図１６は、本発明の実施の形態１２に係る映像区間決定装置１０ｄ及び要約映像再生装置１ｄの構成を概略的に示すブロック図である。図１６において、図１に示される構成と同一又は対応する構成には、同じ符号を付す。実施の形態１２に係る映像区間決定装置１０ｄは、映像音声信号記録手段１２ｄからではなく映像音声入力手段１１ａから音声信号が周波数解析手段１４に入力される点、特徴音発生時刻検出手段１７と映像区間決定手段１８との間に特徴音発生時刻検出手段１７の検出結果を一時的に記憶する特徴音発生時刻一時記憶手段９１を備えた点、及び、映像区間決定手段１８で決定された映像区間情報を記憶する映像区間記憶手段９２を備え、この映像区間記憶手段９２から映像音声信号再生手段１３に決定された映像区間情報を出力する点が、実施の形態１〜８に係る映像区間決定装置１０と相違する。
【００９４】
実施の形態１２に係る映像区間決定装置１０ｄ及び要約映像再生装置１ｄにおいては、種類特定手段１６は、一定の時間範囲（図２のＰ０）毎に入力音声信号の音の種類を特定（識別）する。次に、特徴音発生時刻検出手段１７は、特定事象の映像区間の開始点の第１の特徴音と終了点の第２の特徴音が発生した時刻を検出し、第１の特徴音が発生したことが検出された時間範囲（図２のＰ０）において第１の特徴音であることの確からしさを示す指標である確からしさ値ＬＡを算出し、第２の特徴音が発生したことが検出された時間範囲（図２のＰ０）において第２の特徴音であることの確からしさを示す指標である確からしさ値ＬＢを算出する。次に、特徴音発生時刻一時記憶手段９１は、２種類の特徴音がそれぞれ検出された時刻を一時記録する。映像区間決定手段１８は、特徴音発生時刻一時記憶手段９１に記憶されている異なる２種類の第１の特徴音と第２の特徴音が発生した時刻の発生時間間隔及び／又は確からしさ値ＬＡ，ＬＢに基づいて、特定事象の映像区間を決定し、決定された映像区間情報を映像区間記憶手段９２に出力する。映像区間記憶手段９２は、映像区間決定手段１８によって出力された映像区間情報である、特定事象が発生した時間を記述したリストデータを記憶する。映像音声信号再生手段１３は、要約映像再生時には、映像区間記憶手段９２に記憶されている、決定された映像区間を示す特定事象の発生時間を記述したリストデータに基づいて、映像信号及び音声信号を再生する。
【００９５】
実施の形態１２に係る映像区間決定装置１０ｄ及び要約映像再生装置１ｄによれば、リアルタイムで映像の中から発生時間の短い特徴音を開始点及び終了点とする特定事象を精度良く検出し、再生できる。また、記憶するリストデータを要約再生以外の用途に利用できる。
【００９６】
なお、実施の形態１２において、上記以外の点は、上記実施の形態１〜８の場合と同じである。
【００９７】
変形例．
実施の形態１〜１２においては、映像区間決定装置１０，１０ａ，１０ｂ，１０ｃ，１０ｄの構成として、図１、図１３、図１４、図１５、及び図１６に示される構成を説明したが、映像音声信号入力手段１１，１１ａ、映像音声信号記録手段１２，１２ａ，１２ｃ，１２ｄ、及び映像音声信号再生手段１３，１３ａと、映像区間決定装置との接続関係を切り替えることができる第１の切替手段（図示せず）、並びに、特徴音発生時刻一時記憶手段９１を経由して特徴音発生時刻検出手段１７と映像区間決定手段１８を接続する又は特徴音発生時刻一時記憶手段９１を経由せずに特徴音発生時刻検出手段１７と映像区間決定手段１８を接続する第２の切替手段（図示せず）を設けてもよい。この場合には、ユーザの選択操作などに基づいて接続径路を切替える第１の切替手段及び第２の切替手段によって、例えば、図１、図１３、及び図１５に示される映像区間決定装置１０、１０ａ、及び１０ｃのいずれかを選択的に構成することができ、又は、図１４及び図１６に示される映像区間決定装置１０ｂ及び１０ｄのいずれかを選択的に構成することができる。このような切替えを可能にした構成の場合には、ユーザの選択操作によって、要約映像再生装置が所望の機能を持つように、切替えることが可能になる。
【符号の説明】
【００９８】
１，１ａ，１ｂ，１ｃ，１ｄ  要約映像再生装置、  ２  映像表示・音声出力装置、  １０，１０ａ，１０ｂ，１０ｃ，１０ｄ  映像区間決定装置、  １１，１１ａ  映像音声信号入力手段、  １２，１２ａ，１２ｃ，１２ｄ  映像音声信号記録手段、  １３，１３ａ  映像音声信号再生手段、  １４  周波数解析手段、  １５  音モデル保持手段、  １６  種類特定手段、  １７  特徴音発生時刻検出手段、  １８  映像区間決定手段、  ９１  特徴音発生時刻一時記憶手段、  ９２  映像区間記憶手段。
【図１】
2011024033.tif 000003
【図２】
2011024033.tif 000004
【図３】
2011024033.tif 000005
【図４】
2011024033.tif 000006
【図５】
2011024033.tif 000007
【図６】
2011024033.tif 000008
【図７】
2011024033.tif 000009
【図８】
2011024033.tif 000010
【図９】
2011024033.tif 000011
【図１０】
2011024033.tif 000012
【図１１】
2011024033.tif 000013
【図１２】
2011024033.tif 000014
【図１３】
2011024033.tif 000015
【図１４】
2011024033.tif 000016
【図１５】
2011024033.tif 000017
【図１６】
2011024033.tif 000018