(57)【特許請求の範囲】
【請求項１】
音声信号の無音状態を検出して、無音検出時刻情報を出力する音声情報判定部と、
画像信号における画像の輝度変化又は輝度レベルの低下を検出して、前記輝度変化又は輝度レベルの低下を検出した時刻を示すシーン変化時刻情報を記憶する画像情報判定部と、
前記無音検出時刻情報と前記シーン変化時刻情報とに基づき第１のシーン変化候補時刻を出力するシーン変化候補ポイント検出部と、
前記第１のシーン変化候補時刻よりも後の時刻における前記音声信号の音声レベルの変化量と予め設定された判定最小値とに基づき前記第１のシーン変化候補時刻の有効性を判定し、有効と判定された前記第１のシーン変化候補時刻を第２のシーン変化候補時刻として出力するシーン変化候補ポイント判定部と、
前記第２のシーン変化候補時刻のうち前後する時刻の時間差と検出最大値とに基づきシーン変化検出情報を出力する出力判定部と、を有し、
前記出力判定部は、
前記第２のシーン変化候補時刻のうち現時刻と前記第２のシーン変化候補時刻のうち前記現時刻の一時刻前の時刻との時間差に基づき第１の検出区間を算出し、
前記第２のシーン変化候補時刻のうち前記現時刻の一時刻前の時刻と前記第２のシーン変化候補時刻のうち前記現時刻の二時刻前の時刻との時刻差に基づき第２の検出区間を算出し、
前記第１の検出区間が前記検出最大値以下であって、前記第２の検出区間が前記検出最大値よりも大きな場合、一時刻前の前記第２のシーン変化候補時刻を前記シーン変化検出情報のうち開始時刻として出力し、
前記第１の検出区間が前記検出最大値よりも大きく、前記第２の検出区間が前記検出最大値以下である場合、一時刻前の前記第２のシーン変化候補時刻を前記シーン変化検出情報のうち終了時刻として出力するシーン変化検出装置。
【請求項２】
前記シーン変化候補ポイント判定部は、前記第１のシーン変化候補時刻よりも後ろの所定の期間を設定する候補ポイント判定期間が予め設定され、前記候補ポイント判定期間内における前記音声レベルの変化量を前記有効性の判定に用いる請求項１に記載のシーン変化検出装置。
【請求項３】
前記シーン変化候補ポイント判定部は、前記音声レベルの変化量が前記判定最小値よりも小さい場合に、前記第１のシーン変化候補時刻を廃棄する請求項２に記載のシーン変化検出装置。
【請求項４】
前記シーン変化候補ポイント検出部は、前記無音検出時刻情報を含む所定の期間を無音検出期間に設定し、当該無音検出期間中に前記シーン変化時刻情報が含まれる場合に前記第１のシーン変化候補時刻を出力する請求項１乃至３のいずれか１項に記載のシーン変化検出装置。
【請求項５】
前記シーン変化候補ポイント検出部は、前記無音検出期間に複数の前記シーン変化時刻情報が含まれる場合、最も前の時刻を示す前記シーン変化時刻情報を前記第１のシーン変化候補時刻として出力する請求項４に記載のシーン変化検出装置。
【請求項６】
前記画像情報判定部は、前記画像信号における画像の輝度変化を検出するシーンチェンジ検出部と、前記画像信号における輝度レベルの低下を検出する黒画像検出部と、前記シーンチェンジ検出部の出力と前記黒画像検出部の出力との論理和を算出するＯＲ回路とを有する請求項１乃至５のいずれか１項に記載のシーン変化検出装置。
【請求項７】
請求項１乃至６に記載のシーン変化検出装置と、
アナログ音声信号及びアナログ画像信号をデジタル音声信号及びデジタル画像信号に変換するアナログ／デジタル変換器と、
前記デジタル画像信号を遅延させる遅延回路と、
前記デジタル音声信号及び前記遅延回路を介して入力されるデジタル画像信号を符号化するエンコーダと、を有する符号化装置であって、
前記シーン変化検出装置の前記音声情報判定部は、前記デジタル音声信号に基づき前記無音検出時刻情報を出力し、前記シーン変化検出装置の前記画像情報判定部は、前記エンコーダに入力される前記デジタル画像信号に基づき前記シーン変化時刻情報を出力する符号化装置。
【請求項８】
音声信号と画像信号とからなる映像が入力されるシーン変化検出装置におけるシーン変化検出方法であって、
音声信号の無音状態を検出して、無音検出時刻情報を生成し、
画像信号における画像の輝度変化又は輝度レベルの低下を検出して、前記輝度変化又は輝度レベルの低下を検出した時刻を示すシーン変化時刻情報を生成し、
前記無音検出時刻情報と前記シーン変化時刻情報とに基づき第１のシーン変化候補時刻を生成し、
前記第１のシーン変化候補時刻よりも後の時刻における前記音声信号の音声レベルの変化量と予め設定された判定最小値とに基づき前記第１のシーン変化候補時刻の有効性を判定し、有効と判定された前記第１のシーン変化候補時刻を第２のシーン変化候補時刻として出力し、
前記第２のシーン変化候補時刻のうち現時刻と前記第２のシーン変化候補時刻のうち前記現時刻の一時刻前の時刻との時間差に基づき第１の検出区間を算出し、
前記第２のシーン変化候補時刻のうち前記現時刻の一時刻前の時刻と前記第２のシーン変化候補時刻のうち前記現時刻の二時刻前の時刻との時刻差に基づき第２の検出区間を算出し、
前記第１の検出区間が検出最大値以下であって、前記第２の検出区間が前記検出最大値よりも大きな場合、一時刻前の前記第２のシーン変化候補時刻をシーン変化検出情報のうち開始時刻として出力し、
前記第１の検出区間が前記検出最大値よりも大きく、前記第２の検出区間が前記検出最大値以下である場合、一時刻前の前記第２のシーン変化候補時刻を前記シーン変化検出情報のうち終了時刻として出力するシーン変化検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はシーン変化検出装置、符号化装置及びシーン変化検出方法に関し、特に入力音声及び入力画像の変化点に基づきシーン変化を検出するシーン変化検出装置、符号化装置及びシーン変化検出方法に関する。
【背景技術】
【０００２】
テレビ放送などを録画するビデオレコーダでは、録画情報の中からコマーシャル（ＣＭ：Commercial Message）部分を検出して、コマーシャル部分のスキップや削除を行なうことができる。従来、テレビ放送中のＣＭ区間の検出は音声信号の切り替わり（例えば、ステレオとモノラルとの切り替わり）などの音声特徴情報や映像の輝度変化等の映像特徴情報の組み合わせによる検出が行われていた。また、ＣＭ区間の検出は、時刻情報などの時間特徴を用いる場合もある。時間特徴情報を用いた場合、時間特徴情報は、例えば、１単位を１５秒として定義し、１ＣＭ区間を単位時間の整数倍と定義する。このような装置におけるコマーシャル部分の検出装置及び検出方法について様々な提案がなされている。このような装置の一例が特許文献１、２（以下、従来例１、２と称す）に開示されている。
【０００３】
従来例１では、入力画像及び入力音声よりシーン変化点を検出し、検出したシーン変化点から信号区間を算出する。そして、信号区間がＣＭの特定特徴に一致するか否かを判定する特定区間判断手段を有する。ここで、このＣＭの特定特徴とは、予め設定された上記音声特徴情報、映像特徴情報、又は、時間特徴情報（以下、これらの総称を特徴情報と称す）である。
【０００４】
一方、従来例２では、画像情報に基づきエッジ黒フレーム情報及びフェード黒フレーム情報を検出する検出手段と、エッジ黒フレーム情報又はフェード黒フレーム情報のうち隣接する２つの情報に基づき第１時間差情報を決定する時間差手段と、第１時間差情報が第１プリセット時間差情報内にあるかを判定するテスト手段を有する。つまり、従来例２では、第１時間差情報が第１プリセット時間差情報内にある場合にその区間をコマーシャル区間として検出する。なお、第１プリセット時間差情報とは、例えば１０秒、２０秒、３０秒などの複数の設定値のそれぞれの前後０．５秒を範囲とした設定の集合情報である。
【特許文献１】特開２００４−１４７２０４号公報
【特許文献２】特表２００３−５３４７５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、ＣＭ単位時間が規定されてない場合（例えば欧米の放送）や、ステレオ、モノラルなどの変化が発生しない場合や、映画放送などで番組区間中にＣＭ区間と番組区間の切り替わり時と類似した映像・音声特徴がある場合などがあり、このような放送形態の場合には高精度にＣＭ区間を検出することは従来例１、２では困難である問題がある。つまり、従来例１、２は、予め規定した信号区間に一致するもののみをＣＭ部分として検出する。そのため、時間が不定なＣＭ期間（例えば、一つ一つのＣＭ時間がランダムになる場合など）を有するテレビ放送を録画しようとした場合、そのＣＭ部分を検出できない場合がある。
【課題を解決するための手段】
【０００６】
本発明の一態様は、音声信号の無音状態を検出して、無音検出時刻情報を出力する音声情報判定部と、画像信号における画像の輝度変化又は輝度レベルの低下を検出して、前記輝度変化又は輝度レベルの低下を検出した時刻を示すシーン変化時刻情報を記憶する画像情報判定部と、前記無音検出時刻情報と前記シーン変化時刻情報とに基づき第１のシーン変化候補時刻を出力するシーン変化候補ポイント検出部と、前記第１のシーン変化候補時刻よりも後の時刻における前記音声信号の音声レベルの変化量と予め設定された判定最小値とに基づき前記第１のシーン変化候補時刻の有効性を判定し、有効と判定された前記第１のシーン変化候補時刻を第２のシーン変化候補時刻として出力するシーン変化候補ポイント判定部と、前記第２のシーン変化候補時刻のうち前後する時刻の時間差と検出最大値とに基づきシーン変化検出情報を出力する出力判定部と、を有するシーン変化検出装置である。
【０００７】
また、本発明の別の態様は、音声信号と画像信号とからなる映像が入力されるシーン変化検出装置におけるシーン変化検出方法であって、音声信号の無音状態を検出して、無音検出時刻情報を生成し、画像信号における画像の輝度変化又は輝度レベルの低下を検出して、前記輝度変化又は輝度レベルの低下を検出した時刻を示すシーン変化時刻情報を生成し、前記無音検出時刻情報と前記シーン変化時刻情報とに基づき第１のシーン変化候補時刻を生成し、前記第１のシーン変化候補時刻よりも後の時刻における前記音声信号の音声レベルの変化量と予め設定された判定最小値とに基づき前記第１のシーン変化候補時刻の有効性を判定し、有効と判定された前記第１のシーン変化候補時刻を第２のシーン変化候補時刻として出力し、前記第２のシーン変化候補時刻のうち前後する時刻の時間差が検出最大時間以下である場合にシーン変化検出情報を出力する。
【０００８】
本発明にかかるシーン変化検出装置、シーン変化検出方法及びこれらを含む符号化装置は、シーン変化を検出する場合に、無音検出時刻及び画像の輝度が変化時刻を示すシーン変化時刻情報に基づき第１のシーン変化候補時刻を出力する。また、本発明では、第１のシーン変化候補時刻後の音声信号の音声レベルの変化量に基づき第１のシーン変化候補時刻の有効性を判定する。つまり、第１のシーン変化候補時刻が番組区間とＣＭ区間との間であることの正当性を判定する。そして、有効な第１のシーン変化候補時刻を第２のシーン変化候補時刻とし、この現時刻の第２のシーン変化候補時刻と前時刻の第２のシーン変化候補時刻との時間差からシーン変化検出情報を出力する。つまり、本発明にかかるシーン変化検出装置、シーン変化検出方法及びこれらを含む符号化装置は、高精度に検出された第２のシーン変化候補時刻に基づき、区間の長さが不定な番組の切り替わりが発生する場合であっても、複数の設定を有することなくそれぞれの区間を区別して高精度に検出することが可能になる。
【０００９】
また、本発明の別の態様は、音声信号の無音状態を検出して、無音検出時刻情報を出力する音声情報判定部と、画像信号における画像の輝度変化又は輝度レベルの低下を検出して、前記輝度変化又は輝度レベルの低下を検出した時刻を示すシーン変化時刻情報を記憶する画像情報判定部と、前記無音検出時刻情報に基づき設定される無音検出期間に前記シーン変化時刻情報が含まれる場合に、前記シーン変化時刻情報により示される時刻よりも後に、予め設定される判定最小値以上の前記音声信号の音声レベルの変化量が検出されたことに応じて前記音声信号と前記画像信号を含む映像信号の変化点を示すシーン変化検出情報を出力する区間判定部と、を有するシーン変化検出装置である。
【００１０】
本発明のシーン変化検出装置によれば、無音検出時刻情報に基づき設定される無音検出期間にシーン変化時刻情報が含まれる場合に、シーン変化時刻情報により示される時刻よりも後に、予め設定される判定最小値以上の音声信号の音声レベルの変化量が検出されたことに応じてシーン変化検出情報を出力する。つまり、シーン変化検出情報の生成において、区間の切り替わりの特徴である音声レベルの変化量に基づく判断を行うことで、番組区間とＣＭ区間とをより高精度に判別することができる。従って、本発明のシーン変化検出装置が出力するシーン変化検出情報は、より高精度に番組区間とＣＭ区間の境界となる時刻を示すことができる。
【発明の効果】
【００１１】
本発明のシーン変化検出装置及びシーン変化検出方法によれば、検出すべき区間の長さがそれぞれ不定な場合であっても、検出すべき区間を精度良く検出することが可能である。
【発明を実施するための最良の形態】
【００１２】
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。実施の形態１にかかる符号化装置１のブロック図を図１に示す。図１に示すように、符号化装置１は、アナログ／デジタル変換器（Ａ／Ｄ変換器）１０、遅延回路（Time Base Corrector Unit:ＴＢＣユニット）２０、エンコーダ３０、記憶装置４０、アプリケーション実行ユニット（ＣＰＵ）５０、シーン変化検出装置６０を有している。
【００１３】
Ａ／Ｄ変換器１０は、アナログ画像信号及びアナログ音声信号をデジタル画像信号及びデジタル音声信号に変換して出力する。なお、以下の説明では、デジタル画像信号とデジタル音声信号を単に画像信号及び音声信号と称す。ＴＢＣユニット２０は、遅延回路の１つであって、例えば、Ａ／Ｄ変換器１０から出力される画像信号の遅延量を調節することで、画像信号の時間揺らぎを低減する。エンコーダ３０は、ＴＢＣユニット２０が出力する画像信号とＡ／Ｄ変換器１０が出力する音声信号とを所定のフォーマット（例えば、ＭＰＥＧ２（Moving Picture Experts Group 2））に準じて符号化を行なう。記憶装置４０は、エンコーダにて符号化されたデータを記憶する。
【００１４】
アプリケーション実行ユニット５０は、例えば録画ソフトなどのアプリケーションソフトを実行するものであって、例えば中央演算処理装置（ＣＰＵ：Central Processing Unit）などが用いられる。アプリケーション実行ユニット５０は、後述するシーン変化検出装置６０からシーン変化検出情報を受け取り、例えばＣＭ（Commercial Message）区間を記述した情報ファイルを生成し、録画したデータと共に記憶装置４０にこれを記憶する。
【００１５】
シーン変化検出装置６０は、ＴＢＣユニット２０が出力する画像信号とＡ／Ｄ変換器１０が出力する音声信号とに基づきシーン変化検出情報を出力する。シーン変化検出装置６０は、音声情報判定部７０、画像情報判定部８０、区間判定部９０を有する。音声情報判定部７０は、音声信号の音声レベルを解析して、無音検出時刻情報Ａを出力する。音声情報判定部７０は、無音期間判定部７１を有している。無音期間判定部７１は、音声信号の音声レベルが予め設定された無音判定レベルの値以下になった時刻を開始時刻として、この開始時刻から予め設定された無音判定期間の間音声レベルが閾値を超えない場合に、無音判定期間の終了時刻を無音検出時刻情報Ａとして出力する。
【００１６】
画像情報判定部８０は、ＴＢＣユニット２０が出力する画像信号における輝度変化又は輝度レベルの低下を検出して、輝度変化又は輝度レベルの低下を検出した時刻をシーン変化時刻情報として記憶する。画像情報判定部８０は、シーンチェンジ検出部８１、黒画像検出部８２、ＯＲ回路８３、シーン変化時刻情報格納部８４を有する。
【００１７】
シーンチェンジ検出部８１は、前時刻の画像信号の輝度レベルと現時刻の画像信号の輝度レベルとの差が予め設定される輝度変化幅閾値以上である場合等に、現時刻においてシーンチェンジが発生したと判断し、現時刻をシーンチェンジ検出結果Ｂとして出力する。黒画像検出部８２は、現時刻の画像信号の輝度レベルの絶対値が予め設定される輝度レベル閾値以下である場合に、現時刻において黒画像への変化が発生したと判断して、現時刻を黒画像検出結果Ｃとして出力する。
【００１８】
ＯＲ回路８３は、シーンチェンジ検出結果Ｂと黒画像検出結果Ｃとの論理和をシーン変化時刻として出力する。つまり、ＯＲ回路８３は、シーンチェンジ検出結果Ｂ及び黒画像検出結果Ｃが同じ時刻を示す場合はその時刻をシーン変化時刻とし、シーンチェンジ検出結果Ｂと黒画像検出結果Ｃとが異なる時刻を示す場合はそれぞれをシーン変化時刻として出力する。シーン変化時刻情報格納部８４は、ＯＲ回路８３が出力するシーン変化時刻をシーン変化時刻情報Ｄとして格納する。
【００１９】
区間判定部９０は、音声情報判定部７０が出力する無音検出時刻情報Ａと画像情報判定部８０に記憶されているシーン変化時刻情報Ｄとに基づきシーン変化検出情報を出力する。区間判定部９０は、シーン変化候補ポイント検出部９１、シーン変化候補ポイント判定部９２、出力判定部９３、判定最小値格納部９４、検出最大値格納部９５を有する。シーン変化候補ポイント検出部９１は、無音検出時刻情報Ａを含む所定の期間を無音検出期間に設定する。そして、シーン変化候補ポイント検出部９１は、無音検出期間中にシーン変化時刻情報Ｄから抽出したシーン変化時刻が含まれる場合、そのシーン変化時刻をシーン変化候補時刻Ｅとして出力する。なお、シーン変化候補ポイント検出部９１は、無音検出期間中に複数のシーン変化時刻が含まれる場合、最も前の時刻のシーン変化時刻をシーン変化候補時刻Ｅとして出力する。
【００２０】
シーン変化候補ポイント判定部９２は、シーン変化候補時刻Ｅの直後に発生する音声レベルの変化量（本実施の形態では、音声レベルの増加量ΔＡＵＤＩＯ）と、判定最小値格納部９４に格納されている判定最小値Ａ２＿ｔｈとの比較を行う。より具体的には、シーン変化候補ポイント判定部９２は、シーン変化候補時刻Ｅの後に所定の期間（例えば、候補ポイント判定期間Δｔ）を設定し、候補ポイント判定期間Δｔ中に判定最小値Ａ２＿ｔｈ以上の音声レベルの増加量ΔＡＵＤＩＯを検出すると、そのときのシーン変化候補時刻Ｅを有効と判定する。そして、シーン変化候補ポイント判定部９２は、有効と判定されたシーン変化候補時刻Ｅを有効シーン変化候補時刻Ｆとして出力する。一方、シーン変化候補ポイント判定部９２は、候補ポイント判定期間Δｔ中に判定最小値Ａ２＿ｔｈ以上の音声レベルの増加量ΔＡＵＤＩＯが検出されなかった場合は、そのときのシーン変化候補時刻Ｅを無効と判定する。そして、シーン変化候補ポイント判定部９２は、無効と判定されたシーン変化候補時刻Ｅを廃棄する。判定最小値格納部９４は、最小判定値を格納する。この判定最小値は、アプリケーション実行ユニット５０から送信されるものでも良く、また予め設定される値であっても良い。
【００２１】
出力判定部９３は、有効シーン変化候補時刻Ｆのうち前後する時刻との差に基づき検出区間を算出と、検出区間の時間と検出最大値格納部９５に格納されている検出最大値ＣＭｍａｘとの比較と、を行ないシーン変化検出情報を出力する。なお、シーン変化検出情報の判定処理についての詳細は後述する。検出最大値格納部９３は、検出最大値ＣＭｍａｘを格納する。この検出最大値ＣＭｍａｘは、アプリケーション実行ユニット５０から送信されるものでも良く、また予め設定される値であっても良い。また、検出最大値ＣＭｍａｘは、例えば１つのＣＭの最大時間として定義されるものであって、以下の説明ではこの検出最大値よりも短い区間をＣＭ区間とし、長い区間を本編区間とする。
【００２２】
ここで、シーン変化候補ポイント検出部９１の動作について詳細に説明する。シーン変化候補ポイント検出部９１の動作を含むフローチャートを図２に示す。図２では、音声情報判定部７０の動作に基づきシーン変化候補ポイント検出部９１が動作し、その後画像情報判定部８０の動作に基づきさらにシーン変化候補ポイント検出部９１が動作するフローになっている。
【００２３】
図２に示すフローチャートによれば、シーン変化候補時刻の検出が開始されると、ステップＳ１として、まず音声情報判定部７０にて音声信号の音声レベルの解析が行なわれ無音検出時刻情報Ａが取得される（ステップＳ１）。続いて、シーン変化候補ポイント検出部９１は、無音検出時刻情報Ａが示す時刻の前に検出前期間値を加え、さらにこの時刻の後に検出後期間値を加え、検出前期間値と検出後期間値との合計値を無音検出期間とする（ステップＳ２）。
【００２４】
そして、ステップＳ３として、画像情報判定部８０に格納されるシーン変化時刻情報Ｄを参照して、無音検出期間に含まれるシーン変化時刻があるか否かを判断する。このステップＳ３において、無音検出期間に含まれるシーン変化時刻がない場合、シーン変化候補時刻は出力されない。一方、ステップＳ３において、無音検出期間に含まれるシーン変化時刻がある場合、シーン変化候補ポイント検出部９１はそのシーン変化時刻の情報をｎ番目のシーン変化候補時刻Ｃｔｉｍｅ（ｎ）として取得する（ステップＳ４）。なお、ｎは、整数であって、本実施の形態におけるシーン変化検出装置のシーン変化検出動作において検出されたシーン変化候補ポイントの順番を示す。ｎについて以下の説明においても同様とする。
【００２５】
次にステップＳ５としてシーン変化候補ポイント判定部９２が判定最小値格納部９４に格納される判定最小値Ａ２＿ｔｈを参照し、Ｃｔｉｍｅ（ｎ）が有効であるか否かを判定する。具体的には、Ｃｔｉｍｅ（ｎ）の直後の候補ポイント判定期間Δｔ（例えば５００ｍｓｅｃ以内の時間）に発生した音声レベル増加量ΔＡＵＤＩＯが判定最小値Ａ２＿ｔｈを上回るか否かを判定する。このステップＳ５において、音声レベル増加量ΔＡＵＤＩＯが判定最小値Ａ２＿ｔｈを下回る場合、Ｃｔｉｍｅ（ｎ）は誤検出されたシーン変化候補時刻として廃棄する(ステップＳ６)。そして、ステップＳ３において無音検出期間に含まれるシーン変化候補時刻がない場合、及び、ステップＳ６においてシーン変化候補時刻が無効にされた場合は有効なシーン変化候補時刻がないものとして処理が終了する。また、ステップＳ５において音声レベル増加量ΔＡＵＤＩＯが判定最小値Ａ２＿ｔｈを上回る場合は検出されたシーン変化候補時刻を有効シーン変化候補時刻Ｆとて出力して（ステップＳ７）、処理が終了する。
【００２６】
ここで、シーン変化候補ポイント検出部９１及びシーン変化候補ポイント判定部９２の動作のタイミングチャートを図３に示し、さらに詳細にシーン変化候補ポイント検出部９１及びシーン変化候補ポイント判定部９２の動作を説明する。まず、音声情報判定部７０に入力される音声信号の音声レベルが低下して、無音判定レベルＡ１＿ｔｈを下回ると、音声情報判定部７０は、その時刻を開始時刻として無音判定を開始する。そして、音声情報判定部７０は、無音判定開示時刻から予め設定される無音判定期間ｔ１が経過する間、音声レベルが無音判定レベルＡ１＿ｔｈを上回らないままであれば、無音判定期間経過後の時刻を無音検出時刻として判定し、その時刻を無音検出時刻情報Ａとして出力する。
【００２７】
続いて、シーン変化候補ポイント検出部９１は、所定の期間として無音検出時刻情報Ａが示す時刻の前に検出前期間値を加え、さらにこの時刻の後に検出後期間値を加え、検出前期間値と検出後期間値との合計値を無音検出期間とする。なお、この無音検出期間中に音声信号の音声レベルが無音判定レベルＡ１＿ｔｈを上回った場合であっても、その区間も含め一義的に無音検出期間は設定される。そして、シーン変化候補ポイント検出部９１は、この無音検出期間に含まれるシーン変化時刻がある場合、そのシーン変化時刻のうち最も前のものをシーン変化候補時刻Ｃｔｉｍｅ（ｎ）として出力する。
【００２８】
そして、シーン変化候補ポイント判定部９２は、シーン変化候補時刻Ｃ＿Ｔｉｍｅ（ｎ）の後の候補ポイント判定期間Δｔの期間中に音声レベルの音声レベル増加量ΔＡＵＤＩＯが判定最小値Ａ２＿ｔｈを上回った場合は、そのときのシーン変化候補時刻Ｃ＿Ｔｉｍｅ（ｎ）を有効なものと判定し、有効シーン変化候補時刻Ｃｔｉｍｅ（ｎ）として出力する。一方、シーン変化候補時刻Ｃ＿Ｔｉｍｅ（ｎ）の後の候補ポイント判定期間Δｔの期間中に音声レベルの音声レベル増加量ΔＡＵＤＩＯが判定最小値を上回らなかった場合は、そのときのシーン変化候補時刻Ｃ＿Ｔｉｍｅ（ｎ）を無効なもと判定して廃棄する。そのため、有効シーン変化候補時刻Ｆは出力されない。
【００２９】
続いて、出力判定部９３の動作について詳細に説明する。出力判定部９３の動作を示すフローチャートを図４に示す。図４に示すように、出力判定部９３は、まずシーン変化候補時刻のうち二時刻前のシーン変化候補時刻Ｃｔｉｍｅ（ｎ−２）と一時刻前のシーン変化候補時刻Ｃｔｉｍｅ（ｎ−１）との差分から第２の検出区間Ｌｔｉｍｅ（ｎ−１）を算出する（ステップＳ１０）。続いて、出力判定部９３は、シーン変化候補時刻のうち一時刻前のシーン変化候補時刻Ｃｔｉｍｅ（ｎ−１）と現時刻のシーン変化候補時刻Ｃｔｉｍｅ（ｎ）との差分から第１の検出区間Ｌｔｉｍｅ（ｎ）を算出する（ステップＳ１１）。
【００３０】
そして、第１の検出区間Ｌｔｉｍｅ（ｎ）の時間と検出最大値ＣＭｍａｘの値とを比較する（ステップＳ１２）。ステップＳ１２にて、第１の検出区間Ｌｔｉｍｅ（ｎ）の時間が検出最大値ＣＭｍａｘの値以下であると判断された場合、第２の検出区間Ｌｔｉｍｅ（ｎ−１）の時間と検出最大値ＣＭｍａｘとを比較する（ステップＳ１３）。そして、ステップＳ１３にて、第２の検出区間Ｌｔｉｍｅ（ｎ−１）が検出最大値ＣＭｍａｘよりも大きな場合、シーン変化候補時刻Ｃｔｉｍｅ（ｎ−１）をＣＭ開始時刻として出力する（ステップＳ１４）。また、ステップＳ１３にて、第２の検出区間Ｌｔｉｍｅ（ｎ−１）が検出最大値ＣＭｍａｘ以下であった場合、シーン変化検出情報の出力は行なわずに処理を終了する。
【００３１】
一方、ステップＳ１２にて、第１の検出区間Ｌｔｉｍｅ（ｎ）の時間が検出最大値ＣＭｍａｘの値よりも大きいと判断された場合、第２の検出区間Ｌｔｉｍｅ（ｎ−１）の時間と検出最大値ＣＭｍａｘとを比較する（ステップＳ１５）。そして、ステップＳ１５にて、第２の検出区間Ｌｔｉｍｅ（ｎ−１）が検出最大値ＣＭｍａｘ以下であった場合、シーン変化候補時刻Ｃｔｉｍｅ（ｎ−１）をＣＭ終了時刻として出力する（ステップＳ１６）。また、ステップＳ１５にて、第２の検出区間Ｌｔｉｍｅ（ｎ−１）が検出最大値ＣＭｍａｘよりも大きかった場合、シーン変化検出情報の出力は行なわずに処理を終了する。
【００３２】
上記シーン変化検出装置において、検出されるシーン変化検出情報を模式的に示した図を図５から図８に示す。図５に示す例は、ステップＳ１４においてＣＭ開始時刻が出力される場合を示すものである。この場合、無音検出期間、シーンチェンジの検出結果Ｂ、黒画像検出結果Ｃ、及び、音声レベル増加量の判定結果に基づき有効シーン変化候補時刻Ｆが検出される。そして、３つのシーン変化候補時刻から求まる第１の検出区間Ｌｔｉｍｅ（ｎ）は検出最大値ＣＭｍａｘ以下であって、第２の検出区間Ｌｔｉｍｅ（ｎ−１）は検出最大値ＣＭｍａｘよりも大きい。従って、一時刻前のシーン変化候補時刻Ｃｔｉｍｅ（ｎ−１）がＣＭ開始時刻として検出される。なお、図５に示す例では、無音検出期間中にシーンチェンジ検出結果Ｂが検出された場合であっても、そのときに音声レベル増加量ΔＡＵＤＩＯが判定最小値Ａ２＿ｔｈを上回らない場合についても示している。このような場合、ステップＳ６の判断によりそのときのシー変化候補時刻Ｅが廃棄され、有効シーン変化候補時刻Ｆは出力されない。
【００３３】
図６に示す例は、ステップＳ１６においてＣＭ終了時刻が出力される場合を示すものである。この場合、無音検出期間、シーンチェンジの検出結果Ｂ、黒画像検出結果Ｃ、及び、音声レベル増加量の判定結果に基づきシーン変化候補時刻Ｅが検出される。そして、３つのシーン変化候補時刻から求まる第１の検出区間Ｌｔｉｍｅ（ｎ）は検出最大値ＣＭｍａｘよりも大きく、第２の検出区間Ｌｔｉｍｅ（ｎ−１）は検出最大値ＣＭｍａｘ以下である。従って、一時刻前のシーン変化候補時刻Ｃｔｉｍｅ（ｎ−１）がＣＭ終了時刻として検出される。なお、図６に示す例では、無音検出期間中にシーンチェンジ検出結果Ｂが検出されない場合を示している。このような場合、そのときに音声レベル増加量。ΔＡＵＤＩＯが判定最小値Ａ２＿ｔｈを上回ったとしてもシー変化候補時刻Ｅがシーン変化候補ポイント検出部９１から出力されないため、有効シーン変化候補時刻Ｆは出力されない。
【００３４】
図７に示す例は、ステップＳ１３において第２の検出区間の長さが検出最大値よりも小さいと判断された場合である。この場合、無音検出期間、シーンチェンジの検出結果Ｂ及び黒画像検出結果Ｃに基づきシーン変化候補時刻Ｅが検出される。そして、３つのシーン変化候補時刻Ｅから求まる第１の検出区間Ｌｔｉｍｅ（ｎ）は検出最大値ＣＭｍａｘ以下であって、第２の検出区間Ｌｔｉｍｅ（ｎ−１）は検出最大値ＣＭｍａｘ以下である。従って、一時刻前のシーン変化候補時刻Ｃｔｉｍｅ（ｎ−１）についてはＣＭ終了時刻としての検出は行なわれない。そして、一時刻後のシーン変化候補時刻Ｃｔｉｍｅ（ｎ＋１）が検出され、シーン変化候補時刻Ｃｔｉｍｅ（ｎ＋１）とシーン変化候補時刻Ｃｔｉｍｅ（ｎ）との差から求まる第３の検出区間の値が検出最大値ＣＭｍａｘよりも大きい場合、現刻前のシーン変化候補時刻Ｃｔｉｍｅ（ｎ）がＣＭ終了時刻として検出される。
【００３５】
図８に示す例は、ステップＳ１５において第２の検出区間の長さが検出最大値ＣＭｍａｘよりも大きいと判断された場合である。この場合、無音検出期間、シーンチェンジの検出結果Ｂ及び黒画像検出結果Ｃに基づきシーン変化候補時刻Ｅが検出される。そして、３つのシーン変化候補時刻Ｅから求まる第１の検出区間Ｌｔｉｍｅ（ｎ）は検出最大値ＣＭｍａｘよりも大きく、第２の検出区間Ｌｔｉｍｅ（ｎ−１）は検出最大値ＣＭｍａｘよりも大きい。従って、一時刻前のシーン変化候補時刻Ｃｔｉｍｅ（ｎ−１）についてはＣＭ開始時刻としての検出は行なわれない。そして、一時刻後のシーン変化候補時刻Ｃｔｉｍｅ（ｎ＋１）が検出され、シーン変化候補時刻Ｃｔｉｍｅ（ｎ＋１）とシーン変化候補時刻Ｃｔｉｍｅ（ｎ）との差から求まる第３の検出区間の値が検出最大値ＣＭｍａｘ以下であった場合、現刻前のシーン変化候補時刻Ｃｔｉｍｅ（ｎ）がＣＭ開始時刻として検出される。
【００３６】
上記説明より、本実施の形態にかかるシーン変化検出装置６０は、音声信号の無音検出期間、画像信号の変化点及び音声信号の変化量に基づきシーン変化候補時刻を算出し、複数のシーン変化候補時刻から検出区間を算出する。このとき、本実施の形態にかかるシーン変化検出装置６０では、無音検出期間と有音期間とにおける音声レベルの変化量を考慮して、変化量が判定最小値Ａ２＿ｔｈ以上でなければ検出されたシーン変化候補時刻を廃棄する。このように、本実施の形態にかかるシーン変化検出装置６０では、ＣＭ区間と番組区間との音声レベルの差がそれぞれの区間内での音声レベルの差よりも大きなことに着目し、シーン変化候補時刻の検出精度を向上させることができる。そして、高精度に検出されたシーン変化候補時刻に基づき番組の開始と終了又はＣＭの開始と終了との区間を示す検出区間を高精度に検出する。また、検出区間と検出最大値とを比較することで、検出区間の長さが不定な場合であっても１つの設定値に基づき検出するべき区間の誤検出を防止することが可能である。つまり、本実施の形態にかかるシーン変化検出装置６０は、高精度に検出された検出区間と検出最大値とにより、精度の良い番組区間とＣＭ区間との境界の検出を行うことができる。
【００３７】
また、本実施の形態にかかるシーン変化検出装置６０は、検出区間のうち隣接する検出区間のそれぞれと検出最大値とを比較し、その結果に基づき検出すべきシーン変化候補時刻を判定することで、１つの検出区間のみで判定するときよりも検出精度を向上させることが可能である。例えば、図８に示すように、本編区間において検出されたシーン変化候補時刻Ｃｔｉｍｅ（ｎ−１）についての検出を行なわない処理が可能である。また、このような複数の検出区間を用いて判定を行なうことで、例えばＣＭ区間が連続する場合であっても、連続するＣＭ区間の開始時刻と終了時刻とを判定することが可能になる。例えば、図７に示すように、複数のＣＭ区間が連続する場合に、連続するＣＭ区間の最も前のＣＭ区間の開始時刻と最も後のＣＭ区間の終了時刻とを検出し、連続するＣＭ区間の間の時刻は検出しない処理が可能である。このような処理を行なうことで、本実施の形態にかかるシーン変化検出装置は、検出するシーン変化検出情報の個数を減らすことが可能である。
【００３８】
さらに、本実施の形態にかかるシーン変化検出装置６０は、音声情報判定部７０が無音と判定した無音検出時刻に対して所定の幅を有する無音検出期間を設定することで、シーン変化候補時刻の誤検出を防止する。例えば、図１に示す符号化装置１では、ＴＢＣユニット２０による遅延があるために、図９に示すような音声信号と画像信号とのズレが生じる。図９に示す例は、本来は、画像信号の黒画像に同期して音声信号の音声レベルが低下しなければならないところ、ＴＢＣユニット２０の遅延によって、音声レベルが低下する期間と黒画像となる期間にズレが生じてしまった場合を示す。このような場合であっても、本実施の形態にかかるシーン変化検出装置６０は、無音検出時刻に対して所定の幅を有する無音検出期間を設定するために、このズレを検出前設定値と検出後設定値によって吸収して、シーン変化候補時刻を正確に検出することが可能である。
【００３９】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、検出最大値は、ＣＭ区間の最大値に限られるものではなく、検出するべき区間の最大値を設定したものであれば良い。
【図面の簡単な説明】
【００４０】
【図１】実施の形態１にかかるシーン変化検出装置を含む符号化装置のブロック図である。
【図２】実施の形態１にかかるシーン変化検出装置におけるシーン変化候補時刻の検出処理のフローチャートを示す図である。
【図３】実施の形態１にかかるシーン変化検出装置におけるシーン変化候補時刻の検出処理のタイミングチャートである。
【図４】実施の形態１にかかるシーン変化検出装置における出力判定処理のフローチャートを示す図である。
【図５】実施の形態１にかかるシーン検出装置において検出されるシーン変化検出情報を模式的に示した図である。
【図６】実施の形態１にかかるシーン検出装置において検出されるシーン変化検出情報を模式的に示した図である。
【図７】実施の形態１にかかるシーン検出装置において検出されるシーン変化検出情報を模式的に示した図である。
【図８】実施の形態１にかかるシーン検出装置において検出されるシーン変化検出情報を模式的に示した図である。
【図９】実施の形態１にかかるシーン検出装置において音声信号と画像信号のズレによる誤検出を防止する例を示すタイミングチャートである。
【符号の説明】
【００４１】
１    符号化装置
１０    Ａ／Ｄ変換器
２０    ＴＢＣユニット
３０    エンコーダ
４０    記憶装置
５０    アプリケーション実行ユニット
６０    シーン変化検出装置
７０    音声情報判定部
７１    無音期間判定部
８０    画像情報判定部
８１    シーンチェンジ検出部
８２    黒画像検出部
８３    ＯＲ回路
８４    シーン変化時刻情報格納部
９０    区間判定部
９１    シーン変化候補ポイント検出部
９２    シーン変化候補ポイント判定部
９３    出力判定部
９４    判定最小値格納部
９５    検出最大値格納部
Ａ    無音検出時刻情報
Ｂ    シーンチェンジ検出結果
Ｃ    黒画像検出結果
Ｄ    シーン変化時刻情報
Ｅ    シーン変化候補時刻
Ｆ    有効シーン変化候補時刻
ＣＭｍａｘ    検出最大値
Ｃｔｉｍｅ    シーン変化候補時刻
Ｌｔｉｍｅ    検出区間
【図１】
0005016556.tif 000002
【図２】
0005016556.tif 000003
【図３】
0005016556.tif 000004
【図４】
0005016556.tif 000005
【図５】
0005016556.tif 000006
【図６】
0005016556.tif 000007
【図７】
0005016556.tif 000008
【図８】
0005016556.tif 000009
【図９】
0005016556.tif 000010