(57)【特許請求の範囲】
【請求項１】
少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在し、映像及び音声信号からなる入力信号から、上記第１の信号区間を検出する第１の信号区間検出手段と、
上記第１の信号区間の検出結果に基づき、上記入力信号から第１の信号部分を抽出する第１の信号抽出手段と、
上記抽出された第１の信号部分を特徴付ける特徴量を抽出する特徴量抽出手段と、
上記抽出された特徴量を、特定のコマーシャルメッセージ（ＣＭ）の信号を特徴付ける特徴量と比較し、比較結果に基づいて上記ＣＭを検出して、そのＣＭに対応する付加情報を少なくとも出力する比較手段と、
上記検出された上記ＣＭに対応する付加情報を表示する表示手段とを有し、
上記第１の信号区間検出手段は、所定の時間間隔を持つ信号の特徴的パターンに基づいて、上記第１の信号の候補区間を検出し、上記候補区間内又はその前後の入力信号から、上記第１の信号らしさを表わす特徴量を抽出し、抽出された特徴量に基づき上記第１の信号の区間を検出し、検出された上記第１の信号の区間について、ルール判定を行い第１の信号の区間を決定し、
上記第１の信号抽出手段は、上記第１の信号区間の判定結果に基づき、上記入力信号から第１の信号区間の信号を抽出し、
上記ルール判定は、ＣＭ候補区間中に他のＣＭ候補が存在している場合は最小長さ優先ルールを利用し、上記最小長さ優先ルール適用後に他のＣＭ候補が存在している場合には隣接優先ルールを利用し、上記隣接優先ルール適用後に他のＣＭ候補が存在している場合にはスコア優先ルールを利用する判定である
信号処理装置。
【請求項２】
上記第１の信号区間検出手段は、上記入力信号に対応して作成された所定のガイド情報に基づいて上記第１の信号区間を検出する請求項１記載の信号処理装置。
【請求項３】
上記比較手段は、上記第１の信号区間内の信号の振幅、第１の信号区間内の信号のスペクトラム、第１の信号内の信号の線形予測係数、第１の信号区間内の信号の所定成分のヒストグラム、第１の信号区間内の信号の所定成分の平均値、第１の信号区間内の信号の所定成分の差分値、第１の信号区間内の信号の状態が変化する変化回数、第１の信号区間内の信号の状態が変化する時刻の、それぞれ上記第１の信号を特徴付ける特徴量のうち、何れか一つ以上からなるベクトル間の所定の距離尺度に基づく距離によって比較するものである請求項１記載の信号処理装置。
【請求項４】
上記付加情報は、商品名、サービス名、団体名などのＣＭ作成者情報の少なくとも１つを含む請求項１記載の信号処理装置。
【請求項５】
少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在し、映像及び音声信号からなる入力信号から、上記第１の信号区間を検出する第１の信号区間検出工程と、
上記第１の信号区間の検出結果に基づき、上記入力信号から第１の信号部分を抽出する第１の信号抽出工程と、
上記抽出された第１の信号部分を特徴付ける特徴量を抽出する特徴量抽出工程と、
上記抽出された特徴量を、特定のコマーシャルメッセージ（ＣＭ）の信号を特徴付ける特徴量と比較し、比較結果に基づいて上記ＣＭを検出して、そのＣＭに対応する付加情報を少なくとも出力する比較工程と、
上記検出された上記ＣＭに対応する付加情報を表示手段に表示する工程とを有し、
上記第１の信号区間検出工程では、所定の時間間隔を持つ信号の特徴的パターンに基づいて、上記第１の信号の候補区間を検出し、上記候補区間内又はその前後の入力信号から、上記第１の信号らしさを表わす特徴量を抽出し、抽出された特徴量に基づき上記第１の信号の区間を検出し、検出された上記第１の信号の区間について、ルール判定を行い第１の信号の区間を決定し、
上記第１の信号抽出工程では、上記第１の信号区間の判定結果に基づき、上記入力信号から第１の信号区間の信号を抽出し、
上記ルール判定は、ＣＭ候補区間中に他のＣＭ候補が存在している場合は最小長さ優先ルールを利用し、上記最小長さ優先ルール適用後に他のＣＭ候補が存在している場合には隣接優先ルールを利用し、上記隣接優先ルール適用後に他のＣＭ候補が存在している場合にはスコア優先ルールを利用する判定である
信号処理方法。
【請求項６】
上記第１の信号区間の検出の際には、上記入力信号に対応して作成された所定のガイド情報に基づいて上記第１の信号区間を検出する請求項５記載の信号処理方法。
【請求項７】
上記第１の信号区間内の信号の振幅、第１の信号区間内の信号のスペクトラム、第１の信号内の信号の線形予測係数、第１の信号区間内の信号の所定成分のヒストグラム、第１の信号区間内の信号の所定成分の平均値、第１の信号区間内の信号の所定成分の差分値、第１の信号区間内の信号の状態が変化する変化回数、第１の信号区間内の信号の状態が変化する時刻の、それぞれ上記第１の信号を特徴付ける特徴量のうち、何れか一つ以上からなるベクトル間の所定の距離尺度に基づく距離によって上記特徴量の比較を行う請求項５記載の信号処理方法。
【請求項８】
上記付加情報は、商品名、サービス名、団体名などのＣＭ作成者情報の少なくとも一つを含む請求項５記載の信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば映像音声記録再生装置に適用されるものであり、特に、テレビジョン放送に付加されるコマーシャルメッセージを作成する際、コマーシャルメッセージのデータベースを参照する際などに好適な信号処理装置及び方法に関するものである。
【０００２】
【従来の技術】
テレビジョン放送やラジオ放送等の公共放送は、一部の有料放送などを除き、企業や団体などを提供者とするコマーシャルメッセージ（以下、単にＣＭとする）を、番組本編中に挿入して放送されることが多い。
【０００３】
ここで、番組に関しては、例えば番組表などにより事前に放送時間を知ることができるのに対し、ＣＭに関しては、一般には何時放送されるのかを事前には知り得ないため、特定のＣＭを必要に応じて視聴することは難しい。特に、特定のＣＭが、何時、どのチャンネルで、何回、実際に放送されたのかを調査又は確認することは、現在のところ人手に頼らざるを得ないため、これを自動化する手段があれば、番組提供者、或いは市場調査を行うものにとって、非常に有益なものとなる。
【０００４】
【発明が解決しようとする課題】
ところで、従来より、放送信号からＣＭを検出に関する技術としては、例えば特開平８−３１７３４２号公報、特開平３−１５８０８６号公報、特開平３−２６２２８７２号公報などに、ＣＭをスキップして視聴する技術が公開されている。しかしながら、これら技術では纏まったＣＭ区間の除去はできても、特定のＣＭについての検出を行うようなことは出来ない。
【０００５】
また、特開平１０−２２４７２４号公報には、ＣＭに付随する情報を検出、蓄積し、同一コマーシャルを１回だけ再生する技術が公開されている。しかしながら、この技術によっても、予め指定したＣＭと同じＣＭを抽出、或いはその放送回数をカウントするようなことはできない。また、この技術では、ステレオモードで放送されることの多いＣＭ区間とスレテオ番組区間とが区別されないため、使用できる範囲は非常に限定されている。
【０００６】
以上のようなことから、放送信号から特定のＣＭ部分を高精度に検出できると共に、その特定のＣＭの放送回数のカウント等の自動化等が望まれている。
【０００７】
そこで、本発明は、以上のような状況を鑑みてなされたものであり、例えば、放送信号から特定のＣＭ部分を高精度に検出できると共に、その特定のＣＭの放送回数のカウント等を自動的に行うことを可能とする、信号処理装置及び方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の信号処理装置は、入力信号を特徴付ける特徴量を抽出する参照信号特徴量抽出手段と、上記入力信号の特徴量を記録する特徴量記録手段と、上記入力信号に関連する付加情報を記録する付加情報記録手段とを有することにより、上述した課題を解決する。
【０００９】
本発明の信号処理装置は、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在し、映像及び音声信号からなる入力信号から、上記第１の信号区間を検出する第１の信号区間検出手段と、上記第１の信号区間の検出結果に基づき、上記入力信号から第１の信号部分を抽出する第１の信号抽出手段と、上記抽出された第１の信号部分を特徴付ける特徴量を抽出する特徴量抽出手段と、上記抽出された特徴量を、特定のコマーシャルメッセージ（ＣＭ）の信号を特徴付ける特徴量と比較し、比較結果に基づいて上記ＣＭを検出して、そのＣＭに対応する付加情報を少なくとも出力する比較手段と、上記検出された上記ＣＭに対応する付加情報を表示する表示手段とを有し、上記第１の信号区間検出手段は、所定の時間間隔を持つ信号の特徴的パターンに基づいて、上記第１の信号の候補区間を検出し、上記候補区間内又はその前後の入力信号から、上記第１の信号らしさを表わす特徴量を抽出し、抽出された特徴量に基づき上記第１の信号の区間を検出し、検出された上記第１の信号の区間について、ルール判定を行い第１の信号の区間を決定し、上記第１の信号抽出手段は、上記第１の信号区間の判定結果に基づき、上記入力信号から第１の信号区間の信号を抽出し、上記ルール判定は、ＣＭ候補区間中に他のＣＭ候補が存在している場合は最小長さ優先ルールを利用し、上記最小長さ優先ルール適用後に他のＣＭ候補が存在している場合には隣接優先ルールを利用し、上記隣接優先ルール適用後に他のＣＭ候補が存在している場合にはスコア優先ルールを利用する判定であることにより、上述した課題を解決する。
【００１０】
また、本発明の信号処理装置は、入力信号の時間、空間、及び／又は、周波数を特定する記述量と、上記入力信号を特定する記述量と、上記入力信号の意味内容を記述する記述量のうち、少なくとも何れか二つ以つからなるデータセットを生成するデータセット生成手段を有し、上記データセットにより上記入力信号を記述することにより、上述した課題を解決する。
【００１１】
次に、本発明の信号処理方法は、入力信号を特徴付ける特徴量を抽出し、上記入力信号の特徴量を記録し、上記入力信号に関連する付加情報を記録することにより、上述した課題を解決する。
【００１２】
本発明の信号処理方法は、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在し、映像及び音声信号からなる入力信号から、上記第１の信号区間を検出する第１の信号区間検出工程と、上記第１の信号区間の検出結果に基づき、上記入力信号から第１の信号部分を抽出する第１の信号抽出工程と、上記抽出された第１の信号部分を特徴付ける特徴量を抽出する特徴量抽出工程と、上記抽出された特徴量を、特定のコマーシャルメッセージ（ＣＭ）の信号を特徴付ける特徴量と比較し、比較結果に基づいて上記ＣＭを検出して、そのＣＭに対応する付加情報を少なくとも出力する比較工程と、上記検出された上記ＣＭに対応する付加情報を表示手段に表示する工程とを有し、上記第１の信号区間検出工程では、所定の時間間隔を持つ信号の特徴的パターンに基づいて、上記第１の信号の候補区間を検出し、上記候補区間内又はその前後の入力信号から、上記第１の信号らしさを表わす特徴量を抽出し、抽出された特徴量に基づき上記第１の信号の区間を検出し、検出された上記第１の信号の区間について、ルール判定を行い第１の信号の区間を決定し、上記第１の信号抽出工程では、上記第１の信号区間の判定結果に基づき、上記入力信号から第１の信号区間の信号を抽出し、上記ルール判定は、ＣＭ候補区間中に他のＣＭ候補が存在している場合は最小長さ優先ルールを利用し、上記最小長さ優先ルール適用後に他のＣＭ候補が存在している場合には隣接優先ルールを利用し、上記隣接優先ルール適用後に他のＣＭ候補が存在している場合にはスコア優先ルールを利用する判定であることにより、上述した課題を解決する。
【００１３】
また、本発明の信号処理方法は、入力信号の時間、空間、及び／又は、周波数を特定する記述量と、上記入力信号を特定する記述量と、上記入力信号の意味内容を記述する記述量のうち、少なくとも何れか二つ以つからなるデータセットを生成し、上記データセットにより上記入力信号を記述することにより、上述した課題を解決する。
【００１４】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００１５】
図１〜図３を用いて、本発明の一実施の形態のＣＭデータベース作成装置及び方法について説明する。
【００１６】
図１には、本発明の一実施の形態としてのＣＭデータベース作成装置の概略構成を示す。
【００１７】
先ず、放送されるＣＭ（参照ＣＭ）の映像信号，音声信号２００ａ、及びそのＣＭの内容に関する例えば商品名、サービス名、団体名などの付加情報２００ｂを用意する。これら参照ＣＭの映像信号，音声信号２００ａ及び付加情報２００ｂは、例えば予め放送者又はＣＭ作成者等から取得するか、或いは、放送信号から切り出すことなどにより得たものであり、参照ＣＭ特徴抽出部２０１に入力する。
【００１８】
参照ＣＭ特徴抽出部２０１では、参照ＣＭの映像信号，音声信号２００ａより、そのＣＭを特徴付ける特徴量（以下、参照ＣＭ特徴量と呼ぶ）を抽出し、ＣＭ記録部２０４に記録する。
【００１９】
ここで、ＣＭを特徴付ける特徴量としては、映像信号及び音声信号から抽出される、以下のような物理量の一部または全部を用いることができる。これらの特徴量は、同一のＣＭでは同一のパターンとなり、異なるＣＭでは異なるパターンとなるものであるから、ＣＭを特徴付けるものと言うことができる。
【００２０】
以下の説明では、入力音声信号及び映像信号は離散化されているとし、図２の（ｂ）に示すＳ[m]により入力音声信号を表し、ｍ＝０，１，…，Ｍ−１により離散化された時間を表し、Ｍにより処理フレームに対応する離散時間を表わすことにする。また、図２の（ａ）に示すＩ[x,y;l]により入力映像信号を表し、ｌ＝０，１，…，Ｌ−１により入力映像の各映像フレームを表し、Ｌにより処理フレームに対応する映像フレーム数を、ｘ＝０，…，Ｘ−１は横方向の画素番号を、Ｘは横方向の映像サイズを、ｙ＝０，…，Ｙ−１は縦方向の画素番号を、Ｙは縦方向の映像サイズを表すことにする。なお、処理フレームは、所定の時間長の処理単位であり、例えば２５０ｍｓとする。さらに、図２の（ｃ）に示すように、ＣＭ区間長に対応するフレーム数をＮで表わす。
【００２１】
以下、各特徴量について説明する。
【００２２】
先ず、処理フレームｎの振幅特徴量Ａ[n]は、フレームｎ内の音声信号の平均二乗振幅値であり、式（１）ように得られる。
【００２３】
【数１】
0004507351.tif 000002
【００２４】
これをＣＭ区間の全フレームについてまとめたベクトルをＡ＝(A[0],A[1],…,A[N-1]）で表す。
【００２５】
次に、処理フレームｎのスペクトル特徴量Ｆ[k;n]は、フレームｎ内の平均スペクトルであり、式（２）ようにして得られる。
【００２６】
【数２】
0004507351.tif 000003
【００２７】
ただし、ｋ＝０，…，Ｋは離散化周波数を表わす番号であり、Ｋは対象とする最高周波数を表わす。この演算は、ＦＦＴや線形予測分析などを用いて実装される。周波数離散化のステップは、式（２）のｋを再離散化することで、例えば１ｋＨｚ毎といった線形なものにすることも、例えば１オクターブ毎といった非線型なものにすることもできる。また、これをＣＭ区間の全フレームについてまとめたベクトルをＦ＝（F[0;0],F[1;0],…,F[K-1;N-1]）で表わす。
【００２８】
次に、処理フレームｎにおける線形予測係数Ｐ[k;n]は、例えばLinear Predictionof Speech （Markel他者、Springer‐Verag,1978）等に示される、ＬＰＣアルゴリズムを用いて計算される。ｋ＝０，…，Ｋ−１は、線形予測係数を表わす番号、Ｋは予測次数である。また、これをＣＭ区間の全ワレームについてまとめたベクトルをＰ＝(P[0;0],P[1;0],…,P[K-1;N-1]）で表わす。
【００２９】
次に、処理フレームｎの輝度ヒストグラムＨ1[q;n]は、フレームｎ内の映像信号の輝度のヒストグラムである。ただし、ｑ＝０,…,Ｑ−１は、輝度に対する升目を表わすインデックス番号であり、Ｑはビスとグラムの升目の数である。
【００３０】
処理フレームｎの色ヒストグラムＨC[q;n]は、フレームｎ内の信号の各色毎の強度のヒストグラムである。ただし、ｑ＝０，…，Ｑ−１は、色及び強度の升目を表わすインデックス番号であり、Ｑはヒストグラムの升目の数である。
【００３１】
これら輝度ヒストグラム、色ヒストグラムをそれぞれＣＭ区間の全フレームについてまとめたベクトルを、ＨI＝（HI[0;0],HI[1;0],…,HI[Q-1;N-1]）、及び、ＨC＝（HC[0;0],HC[1;0],…,HC[Q-1;N-1]）により表す。
【００３２】
次に、処理フレームｎの平均輝度Ｂ[n]は、フレームｎ内の映像信号の平均輝度であり、式（３）に示すように求められる。
【００３３】
【数３】
0004507351.tif 000004
【００３４】
これをＣＭ区間の全フレームについてまとめたベクトルをＢ＝（B[0],B[1],…,B[N-1]）で表す。
【００３５】
次に、処理フレームｎの輝度差分エネルギーＤ[n]は、隣接する映像フレームの画素間差分エネルギーであり、例えば式（４）により求められる。
【００３６】
【数４】
0004507351.tif 000005
【００３７】
これをＣＭ区間の全フレームについてまとめたベクトルをＤ＝（D[0],D[1],…,D[N-1]）で表わす。なおこの演算は、画素間差分に代えて、全画面の平均輝度の差分や、水平×垂直方向に８×８画素や１６×１６画素といったブロック間の差分を用いることもできる。
【００３８】
次に、処理フレームｎのカットチェンジ回数Ｃ[n]は、処理フレームｎ内で、隣接映像フレーム間の画素差分エネルギーが所定の閾値を越えるフレーム数であり、式（５）により求められる。
【００３９】
【数５】
0004507351.tif 000006
【００４０】
ただし、Countba(f)は、ａからｂまでの区間内で評価式ｆが満足される回数を表わす関数であり、Ｄthsdは、輝度差分エネルギーに関する所定の閾値である。これをＣＭ区間の全処理フレームについてまとめたベクトルをＣ＝（C[0],C[1],…,C[N-1]）で表わす。
【００４１】
また、カットチェンジ時刻は、Ｃ[n]＞０となるフレーム番号ｎとして求めることができ、ＣＭ区間全体でのカットチェンジ回数は、Ｃ[n]の総和として求めることができる。
【００４２】
上記ＣＭ特徴抽出部２０３では、以上に説明した特徴量の一部又は全部を、各ＣＭ区間毎に検出する。すなわち、ＣＭ区間を特徴付ける特徴量は、式（６）に示されるベクトルＶとして表わされることになる。
【００４３】
Ｖ＝｛Ａ，Ｆ，Ｐ，ＨI，ＨC，Ｂ，Ｄ，Ｃ｝        (6)
また、特徴ベクトルＶは、式（７）のようにも表すことができる。
【００４４】
Ｖ＝｛V[0]，V[1]，…，V[N-1] ｝                 (7)
但し、Ｖ[n]は式（８）に示されるように、処理フレームｎにおける各々の特徴量を、ベクトルとしてまとめたものである。
【００４５】
Ｖ＝｛A[n]，F[k;n]，P[k;n]，HI[n]，HC[n]，B[n]，D[n]，C[n] ｝    (8)
参照ＣＭ特徴抽出部２０１により抽出された参照ＣＭ特徴量は、上記付加情報２００ｂと共にＣＭ記録部２０４に送られて記録される。
【００４６】
ＣＭ記録部２０４は、例えば磁気テープや磁気ディスク、光磁気ディスク、記録可能な光ディスク、半導体メモリ等の記録媒体の何れか一つ若しくはそれらの組み合わせを用いて、信号を記録及び再生する装置からなり、上記参照ＣＭ特徴量及び付加情報２００ｂを記録する。
【００４７】
図３には、上記データベース作成装置におけるデータベース作成処理の動作（本実施の形態のデータベース作成方法）の概略的な流れを示す。
【００４８】
この図３において、参照ＣＭの映像信号／音声信号２００ａは、先ず、ステップＳ３１０として参照ＣＭ特徴抽出部２０１に入力される。次に、ステップＳ３１１として、当該参照ＣＭ特徴抽出部２０１では、参照ＣＭの映像信号，音声信号２００ａから、特徴ベクトルＶを抽出する。その後、ステップＳ３１２として、この参照ＣＭの特徴ベクトルＶは、付加情報２００ｂと共に、ＣＭ記録部２０４に記録される。なお、参照ＣＭの特徴量と付加情報とを、後述するデータセット化したＣＭ記述子の一つとしてＣＭ記録部２０４に記録しておくことも可能である。
【００４９】
続いて、上述のように作成されたＣＭデータベースを参照する本発明実施の形態のＣＭデータベース参照方法及び装置について説明する。
【００５０】
ＣＭ検出部２０２には、映像信号，音声信号，制御信号，番組ガイド信号等からなる放送信号２００ｃが入力される。これらの放送信号２００ｃは、地上波放送、衛星放送、ケーブル放送、電話回線等を通じて受信されたもの、若しくはそれらが図示しない別の記録装置に記録された後、再生されたものである。ここで、映像信号，音声信号は、番組本編及びＣＭ部分を含む、放送信号の主要部を構成する信号である。また、制御信号には、放送モード、放送時刻、放送周波数もしくはチャンネル等の情報が含まれ、番組ガイド信号には、ディジタル放送や電話回線等により受信される、上記映像信号や音声信号に関連のあるデータを含む。以下の説明では、これらが単数の放送番組の信号であることを想定して説明するが、同時に複数のチャンネルの信号が入力されてもよい。
【００５１】
ＣＭ検出部２０２は、上記映像信号／音声信号／制御信号／番組ガイド信号等よりなる放送信号２００ｃから、少なくともＣＭ区間の開始時刻（ＣＭ開始時刻と呼ぶ）及びＣＭ区間の長さ（以下、ＣＭ長さと呼ぶ）を検出し、それらＣＭ開始時刻及びＣＭ長さを含むＣＭ検出信号２０２ａを出力する。このＣＭ検出部２０２において、放送信号２００ｃからＣＭ開始時刻及びＣＭ長さを検出する場合の詳細な動作と、それらＣＭ開始時刻及びＣＭ長さの詳細については後述する。なお、ＣＭ検出部２０２では、番組ガイド信号によりＣＭ区間が指定されている場合は、当該指定されているＣＭ区間をＣＭ検出信号として出力することも可能である。当該ＣＭ検出部２０２にて検出されたＣＭ検出信号２０２ａは、放送ＣＭ特徴抽出部２０３に送られる。
【００５２】
放送ＣＭ特徴抽出部２０３は、説明の都合により、参照ＣＭ特徴抽出部２０１と分けて記載されているが、参照ＣＭ特徴抽出部２０１と同一のものであり、これらを纏めて一つの構成とすることはもちろん可能である。但し、ＣＭ検出部２０において、上記入力信号２００ｃからＣＭを検出するようにした場合、当該ＣＭ検出部２０２から出力されるＣＭ検出信号２０２ａには一定の時間遅れ（ＣＭ検出処理に必要な時間）が生じるため、放送ＣＭ特徴抽出部２０３は図示しない記憶装置などからなる一時記憶装置を有し、その時間ずれを吸収する。
【００５３】
放送ＣＭ特徴抽出部２０３は、ＣＭ検出部２０２より供給されたＣＭ検出信号２０２ａに基づいて、先ず、放送信号２００ｃからＣＭ区間に相当する部分の信号を抽出し、そのＣＭ区間に相当する部分の信号について、上記参照ＣＭ特徴抽出部２０１と同様にして特徴ベクトルＶを抽出する。なお、以下の説明では、参照ＣＭ特徴抽出部２０１が抽出してＣＭ記録部２０４に記録されているＣＭ特徴ベクトルを参照ＣＭ特徴ベクトルＶjと呼び、放送ＣＭ特徴抽出部２０３が放送信号２００ｃから抽出した特徴ベクトルを放送ＣＭ特徴ベクトルＶiと呼ぶ。この放送ＣＭ特徴抽出部２０３により出力された放送ＣＭ特徴ベクトルＶiは、特徴比較部２０５に送られる。
【００５４】
特徴比較部２０５は、上記放送ＣＭ特徴抽出部２０３から得られた放送ＣＭ特徴ベクトルＶiと、ＣＭ記録部２０４に記録されている参照ＣＭ特徴ベクトルＶjとを比較し、その比較の結果、それら特徴ベクトルが同一であった場合、上記放送ＣＭ特徴ベクトルＶiに対応するＣＭ区間の放送時刻及び放送時間と、当該放送ＣＭ特徴ベクトルＶiに一致した参照ＣＭ特徴ベクトルＶjに対応した付加情報（上記ＣＭ記録部２０４に記録されている付加情報）とを、ＣＭ情報出力として取り出す。
【００５５】
ここで、上記特徴比較部２０５における、上記参照ＣＭ特徴ベクトルＶjと放送ＣＭ特徴ベクトルＶiとの比較は、次のようにして行われる。
【００５６】
先ず、特徴比較部２０５は、評価関数Ｊ(i,j)を式（９）のように計算する。
【００５７】
【数６】
0004507351.tif 000007
【００５８】
続いて、当該評価関数Ｊ(i,j)を、所定の閾値Ｊthsdと比較し、上記評価関数Ｊ(i,j)が閾値Ｊthsd以下ならば、上記放送ＣＭ特徴ベクトルＶiと参照ＣＭ特徴ベクトルＶjが一致する、すなわち同一のＣＭであると判断し、一方、上記評価関数Ｊ(i,j)が閾値Ｊthsdより大きければ、上記放送ＣＭ特徴ベクトルＶiと参照ＣＭ特徴ベクトルＶjとが一致しない、すなわち異なるＣＭであると判断する。
【００５９】
このように、上記特徴比較部２０５は、上記ＣＭ記録部２０４に記録されている特徴ベクトルＶj（参照ＣＭの特徴量）と、上記放送信号２００ｃから抽出したＣＭ区間に相当するの信号の特徴ベクトルＶi（放送信号中のＣＭの特徴量）を順次比較し、それら特徴ベクトルが同一と判断された信号部分（放送信号中のＣＭ区間）があれば、上記放送ＣＭ特徴ベクトルＶiに対応するＣＭ区間の放送時刻及び放送時間長と、当該放送特徴ベクトルＶiに一致した参照ＣＭ特徴ベクトルＶjに対応した付加情報（前記商品名、サービス名、団体名などのＣＭ作成者の情報）とを、ＣＭ情報出力として出力する。
【００６０】
以上のＣＭ検出部２０２、放送ＣＭ特徴抽出部２０３、特徴比較部２０５における動作の流れを、図４に示す。
【００６１】
この図４において、先ず、ＣＭ検出部２０２と放送ＣＭ特徴抽出部２０３には、ステップＳ３２０として、映像信号／音声信号／制御信号／番組ガイド信号からなる放送信号２００ｃが入力される。
【００６２】
次に、ステップＳ３２１として、前述したようにＣＭ検出部２０２での処理遅延分を吸収するために、上記放送信号２００ｃは、放送ＣＭ特徴抽出部２０３内の図示しない一時記憶装置に一旦保存され、また、ＣＭ検出部２０２では、ステップＳ３２２として、上記放送信号２００ｃのＣＭ区間と思われる信号部分がＣＭの信号であるかどうかのチェックが行われる。
【００６３】
このステップＳ３２２でのチェックにおいて、ＣＭでないと判定された場合（Ｎｏ）は、ステップＳ３２７の処理に進み、上記一時記憶装置に記憶された信号は破棄された後、ステップＳ３２０の処理に戻り、上述した処理が繰り返される。一方、ステップＳ３２２でのチェックにおいて、ＣＭであると判定された場合（Ｙｅｓ）は、ステップＳ３２３の処理に進む。
【００６４】
ステップＳ３２３の処理に進むと、放送ＣＭ特徴抽出部２０３では、前述した放送ＣＭ特徴ベクトルＶiの抽出が行われ、この放送ＣＭ特徴ベクトルＶiが特徴比較部２０５に送られる。
【００６５】
特徴比較部２０５では、ステップＳ３２４として、ＣＭ記録部２０４に記録されている１つのＣＭに対応する参照ＣＭ特徴ベクトルＶjを取得する。
【００６６】
次に、特徴比較部２０５は、上記ステップＳ３２３において、前記式（９）に示した評価関数Ｊ(i,j)の計算を行い、その評価関数Ｊ(i,j)と所定の閾値Ｊthsdとを比較することにより、放送ＣＭ特徴抽出部２０３が抽出した放送ＣＭ特徴ベクトルＶiと参照ＣＭ特徴ベクトルＶjとが一致するか否かの判定を行う。
【００６７】
このステップＳ３２３の比較判定において、評価関数Ｊ(i,j)が所定の閾値Ｊthsdより大きいと判定された場合（Ｎｏ）は、ステップＳ３２４の処理に戻り、ＣＭ記録部２０４に蓄積されている他の参照ＣＭ特徴ベクトルを取得し、さらにステップＳ３２４にて比較判定を行う。また、ステップＳ３２３の比較判定において、評価関数Ｊ(i,j)が所定の閾値Ｊthsd以下であると判定された場合（Ｙｅｓ）、特徴比較部２０５は、同一のＣＭであるとして、ＣＭ情報２０５ａを出力する。その後は、ステップＳ３２７として、上記放送ＣＭ特徴抽出部２０３の一時記憶装置の一時記憶信号を破棄し、必要ならば同じ処理を繰り返す。
【００６８】
以上説明したようにしてコマーシャルメッセージのデータベースを生成し、そのデータベースを用いて参照を行うことで得られたＣＭ情報２０５ａは、例えば表示手段を備えた装置２０６等に送られて表示される。これにより、表示手段を備えた装置２０６には、放送信号２００ｃより、参照ＣＭと一致したとして抽出されたＣＭが表示されることになる。
【００６９】
また、上記のように得られたＣＭ情報２０５ａを、例えば記録手段を備えた装置２０６に送って記録するようなことを行えば、当該記録手段を備えた装置２０６には、放送信号２００ｃより、参照ＣＭと一致したとして抽出されたＣＭが記録されることになる。このように、参照ＣＭと一致するＣＭを記録するような構成によれば、例えば一日分の放送信号から同一のＣＭのみを取り出して記録するようなことが可能となる。
【００７０】
また、上記ＣＭ情報２０５ａを、例えば計数（カウント）手段を備えた装置２０６に送り、参照ＣＭと一致するＣＭを放送信号２００ｃから抽出して計数を行うようにすれば、例えば一日分の放送信号内で、同一のＣＭが何回放送されたかを計測（同一ＣＭの放送回数の計測）することが可能となる。
【００７１】
さらに、以上説明した本実施の形態におけるコマーシャルメッセージのデータベース生成処理と、そのデータベースを用いた参照処理を用いれば、例えば、前記ＣＭの特徴量と付加情報とをデータセット化したＣＭ記述子を生成することも可能となる。
【００７２】
ここで、ＣＭ記述子とは、ＣＭを時間、空間或いは周波数的に特定する記述量、ＣＭの映像信号及び／又は音声信号を特定する記述量、ＣＭの意味内容を記述する記述量のうち、何れか二つ以上を有するデータセットのことである。なお、記述子とは、何らかのものの実体と表現、或いはその異なる表現同士を関連付けるものであるから、二つ以上を有する必要がある。
【００７３】
本実施の形態の場合、ＣＭを時間、空間或いは周波数的に特定する記述量には、ＣＭの放送時刻、放送チャンネル、放送地域などが含まれ、ＣＭの映像信号及び／又は音声信号を特定する記述量には、上述の特徴量（特徴ベクトルＶ）などが含まれ、ＣＭの意味内容を記述する記述量には、例えば商品名やサービス名、会社名や団体名、団体や商品に対する問い合わせ先などが含まれる。
【００７４】
本実施の形態においては、例えば、ＣＭの開始時刻やチャンネル、地域コードなどはＣＭ検出部２０２が上記放送信号２００ｃから取り出し、ＣＭを特徴付ける特徴量は放送ＣＭ特徴抽出部２０３が抽出し、意味内容に関する付加情報は参照ＣＭ特徴抽出部２０１が上記付加情報２００ｂを出力することにより得られるため、ＣＭ情報２０５ａにそれら記述子として必要な情報を出力するようにすれば、ＣＭ記述子生成装置及び方法を実現可能となる。
【００７５】
以上説明したように、本発明実施の形態によれば、予め与えられた参照ＣＭについて、その参照ＣＭを特徴付ける特徴量を抽出してデータベース化することが可能である。また、本発明実施の形態によれば、放送信号から番組本編等と放送ＣＭ部分とを区別して検出し、放送ＣＭを特徴付ける特徴量を抽出し、その特徴量と予めデータベースに登録されている参照ＣＭの特徴量とを比較することにより、放送信号から参照ＣＭに対応するＣＭ部分のみを検出して蓄積、表示等することが可能となる。
【００７６】
さらに、本発明実施の形態によれば、ＣＭの映像信号及び／又は音声信号に関して、それを記述する記述子を生成することが可能となる。
【００７７】
また、本発明実施の形態によれば、予め登録されたＣＭが実際に放送された時刻や回数を検出することができ、また例えば、放送されたＣＭの確認や調査を自動的に行うことが可能となる。これにより、例えばＣＭの提供者や市場調査を行う者は、放送されたＣＭの確認や調査を、より簡易に行うことが可能となる。
【００７８】
次に、本発明実施の形態において、放送信号からＣＭを検出し、ＣＭ開始時刻やＣＭ長さを検出する、図１のＣＭ検出部２０２の詳細について以下に説明する。
【００７９】
以下、ＣＭ検出部２０２において、例えばＴＶ放送信号からＣＭ部分を検出する際の原理について概説する。なお、以下の説明で、特徴量という記載は、前記参照ＣＭ特徴抽出部２０１や放送ＣＭ特量抽出部２０３、特徴比較部２０５における特徴と同じ場合と異なる場合とがあるが、それらは共にＣＭの特徴を表すものであるため、ここではそれらを特に区別せずに使用している。
【００８０】
一般に、ＴＶ放送されるＣＭは、放送者の指定する規格に基づいて製作されるため、その「時間長（１つのＣＭの時間）はごく少数の種類に限定」される。例えば日本国内においては、特殊な例を除くほぼ全てのＣＭが、１５秒、３０秒、６０秒の長さで製作されている。
【００８１】
また、ＣＭの放送時には、番組本編や他のＣＭとは独立に製作されたものがＴＶ放送ストリーム中に挿入されるため、各ＣＭの前後では必然的に「音声レベルが下がる（すなわち小音量となる）」こと、及び、「映像信号が切り替わる」こと、という特徴を持つ。ここで、「音声レベルが下がる」とは、必ずしも無音（ここでは極微小なノイズしかない部分という意味）と同義ではない。すなわち、実際には、ＣＭと本編との切り替えのタイミングなどにより、必ずしも完全に無音とはならないまま切り替わることがあるからである。
【００８２】
上述したように、ＣＭについての「規定時間長（少数種類の時間長）」、「小音量」、「映像切り替わり」という３つの特徴は、ほぼ全てのＣＭが満たす条件である。本発明では、以下、これら３つの特徴に基づく条件を「必須条件」と称することにする。
【００８３】
したがって、ＴＶ放送信号から当該必須条件に対応する信号部分を検出するようにすれば、誤棄却がほとんどなく決定論的にＣＭの候補（すなわちＣＭであろうと思われる信号部分）を検出することが可能となる。但し、番組本編内にも、偶然そのような必須条件を満たしてしまう部分が多く存在するため、上記必須条件を用いただけでは、番組本編の一部をＣＭ候補として誤検出してしまう虞が残る。
【００８４】
一方で、上記必須条件と比べて例外は多く存在するものの、ＣＭの性質上、多くのＣＭが満たすか若しくは一定の傾向を示す特徴としては、以下のようなものがある。
【００８５】
１）ＣＭの前後（ＣＭが開始される直前とＣＭが終了して本編番組が開始又は再開される直前）では、通常の番組本編内よりも音声レベルが低くなることが多い。
【００８６】
２）ＣＭと番組本編との間、及び、あるＣＭと他のＣＭとの間の、ほぼ無音となる区間長は、数百ミリ秒程度であることが多い。
【００８７】
３）ＴＶ放送内に含まれる有音区間は、ＣＭの規定時間長（１５秒、３０秒、６０秒等）より百ミリ秒程度以上短いことが多く、また１秒程度以上短いことは少ない。
【００８８】
４）ステレオ音声信号の左チャンネル（Ｌチャンネル）と右チャンネル（Ｒチャンネル）の相関値は、１より有意に小さいことが多い。
【００８９】
５）ＣＭ期間中は、番組本編より音量が大きめである傾向がある。
【００９０】
６）ＣＭの放送モードは、ステレオモードであることが多い。
【００９１】
７）ＣＭ区間では、複数のＣＭが連続して放送されることが多い。
【００９２】
８）ＣＭ期間中は、映像カットの切り替わり頻度が高いことが多い。
【００９３】
９）逆に、ＣＭ期間中であっても、カットの切り替わり頻度が極端に低いものがある（例えば静止画によるＣＭなど）。
【００９４】
１０）番組本編とＣＭとの境界や、あるＣＭと他のＣＭの境界では、音質が大きく変化することが多い。
【００９５】
１１）ＣＭは、音声と音楽を同時に含むことが多い。
【００９６】
１２）番組編成上、毎時丁度の時刻近辺では、ＣＭが放送される確率が高い。
【００９７】
１３）同様に、毎時３０分付近でもＣＭが放送される確率が高い。
【００９８】
１４）番組のジャンルによってＣＭが放送される確率の高い時間帯がある（例えばサッカー中継のハーフタイムなど）。
【００９９】
本発明では、以下、これらの特徴に基づく条件を「付加条件」と称することにする。すなわち、当該付加条件は、ＣＭが、規格に基づいて製作されるという制約、短い時間で宣伝効果を上げるためのものであるという制約、及び、番組構成上の都合などによる制約の元で製作された結果として、ＴＶ放送信号上に現れてくることによる条件である。したがって、この付加条件は、決定論的な取り扱いができるほど確実な条件ではないものの、ＣＭである可能性（ＣＭらしさ）を評価する際の有効な条件となる。
【０１００】
さらに、ＴＶ放送においては、同時に同じチャンネルで複数の映像及び音声が放送されることは物理的にありえないという特徴がある。すなわち、ＴＶ放送信号からＣＭであろうと思われる信号部分（ＣＭ候補）を検出しようとする場合において、例えば、ＴＶ放送信号中に、上記付加条件を満たす複数の映像及び音声区間がオーバーラップして存在し、何らかの処理の結果、当該オーバーラップ区間でＣＭ候補が検出されたとしても、そのオーバーラップしている複数の映像及び音声内の少なくともどちらかの区間は、正しいＣＭ区間ではあり得ない。本発明では、ＴＶ放送におけるこのような特徴に基づく条件を、「論理条件」と称することにする。
【０１０１】
本発明では、以上説明した「必須条件」、「論理条件」、「付加条件」を合理的かつ効果的に利用することにより、ＴＶ放送信号から高精度でＣＭ部分を検出可能としている。
【０１０２】
より具体的に言うと、本発明では、「必須条件」に基づき、決定論的にＴＶ放送信号中からＣＭ候補（ＣＭであろうと思われる信号部分）を抽出し、「付加条件」に基づくＣＭらしさ（ＣＭである可能性）の統計論的な評価によってＣＭ候補を選択し、「論理条件」によりＣＭ候補のオーバーラップ関係を解消することにより、精度の高いＣＭ検出を実現するものである。
【０１０３】
図５には、上記ＣＭ検出部２０２の第１の具体例の詳細な構成を示す。当該ＣＭ検出部２０２は、大別して、フロントエンド部とバックエンド部とから構成されている。また、図中の動作制御部２３は、放送チャンネルを示すチャンネル情報１ｂに基づいて、明らかにＣＭが放送されない放送チャンネルであるか否か判断し、その判断結果に応じて、当該図５の各部におけるＣＭ検出動作を行わないように制御するものである。
【０１０４】
先ず、図５のフロントエンド部から説明する。
【０１０５】
この図５において、当該フロントエンド部には、前記入力信号２００ａに含まれる映像信号２ａ、音声信号２ｂ、及び放送モード信号２ｃが入力される。また、フロントエンド部には、図示しない時計により発生した時間情報３ａも入力される。
【０１０６】
映像信号２ａは、Ａ／Ｄ変換器１０にてディジタル化され、フレームメモリ１１に蓄えられる。なお、フレームメモリ１１には、少なくとも２フレーム分の映像信号を蓄積可能なメモリである。当該フレームメモリ１１からフレーム毎に読み出された映像信号は、カットチェンジ検出器１２に送られる。
【０１０７】
カットチェンジ検出器１２は、フレームメモリ１１より供給されたフレーム毎の映像信号に基づいて、映像が急激に変化するフレーム（以下、映像変化フレームと呼ぶ）と、輝度が一様となるフレーム（以下、一様輝度フレームと呼ぶ）を検出する。
【０１０８】
すなわち、カットチェンジ検出器１２は、フレームメモリ１１に蓄えられた時間的に隣接する２つのフレーム映像間で、各画素毎に輝度の差分の自乗和を求め、当該自乗和が所定の閾値を越えた場合に、上記隣接する２つのフレームのうちの時間的に後のフレームを、上記映像が急激に変化する映像変化フレームとして検出する。また、カットチェンジ検出器１２は、フレームメモリ１１に蓄えられた各フレーム映像の輝度の分散を求め、その輝度の分散値が所定の閾値以下である場合に、そのフレームを一様輝度フレームであるとして検出する。なお、フレームの間隔（ＮＴＳＣ方式では約３０ｍｓ）が、後述する音声信号処理において説明するフレーム周期と一致しない場合には、当該フレーム間隔を再離散化することによって、フレーム周期と一致させておくようにする。
【０１０９】
以下、当該カットチェンジ検出器１２における映像変化フレームと一様輝度フレームの検出について、より具体的に説明する。
【０１１０】
ここで、離散化された映像信号の横サイズをＸ、縦サイズをＹ、縦横の画素番号をｘ，ｙとし、第ｎフレームの映像をＩn（ｘ，ｙ）、当該第ｎフレームに対して時間的に１フレーム前の第ｎ−１フレームの映像をＩn-1（ｘ，ｙ）として表わすと、第ｎフレームと第ｎ−１フレームの間の各画素毎の輝度差分の二乗和Ｄ[n]は、式（１０）により得られ、また、第ｎフレームの輝度分散値Ｖ[n]は、式（１１）により得られる。
【０１１１】
【数７】
0004507351.tif 000008
【０１１２】
また、このときのカットチェンジ検出器１２の検出出力Ｃ[n]は、式（１２）により表わされる。
【０１１３】
【数８】
0004507351.tif 000009
【０１１４】
ただし、式中のＤthsdは上記映像変化フレームを検出する際の前記自乗和に対する所定の閾値であり、Ｖthsdは上記一様輝度フレームを検出する際の前記輝度の分散値に対する所定の閾値である。
【０１１５】
当該カットチェンジ検出器１２の検出出力Ｃ[n]は、映像信号についての特徴量として特徴量バッファ１８へ送られる。
【０１１６】
なお、上記の２つのフレーム映像間で輝度差分を求める際には、２フレーム分の映像信号を蓄積可能なメモリが必要となり、また、２フレーム分の映像信号に対する演算量も必要となる。そこで、例えばフレーム映像全面を同時に処理する代わりに、フレーム映像を適切な小ブロック毎に分け、その小ブロック毎に輝度差分を求めるようにしたり、或いは、フレーム映像間の各画素毎に輝度差分を求めるのではなく、各フレーム映像毎に輝度ヒストグラムを求めて、その輝度ヒストグラムのフレーム間差分を求めるようにしたり、又は、各フレーム映像毎に平均輝度を求めて、その平均輝度のフレーム間差分を求めるようにするで、メモリ容量や演算量を減らすことも可能である。逆に、メモリや演算量に余裕がある場合には、例えば、カラー映像におけるＲ（赤），Ｇ（緑），Ｂ（青）成分のようなカラー成分毎に、上記輝度差分やカラーヒストグラム差分を求めることで、より検出精度を高めることも可能である。
【０１１７】
次に、音声信号２ｂは、Ａ／Ｄ変換器１３にてディジタル化され、音声信号バッファ１４に蓄えられる。なお、音声信号バッファ１４には、少なくとも所定時間Ｔ1（例えば３０ｍｓ、以下、これを１フレーム長とする）分の左（Ｌ）右（Ｒ）２チャンネルのステレオ音声信号を蓄積可能なメモリである。当該音声信号バッファ１４から読み出された音声信号は、振幅検出器１５、相関検出器１６、スペクトル検出器１７に送られる。
【０１１８】
振幅検出器１５は、音声信号バッファ１４に蓄えられた音声信号を用いて、所定の時間Ｔ2（例えば１５ｍｓ、以下、これを１フレーム周期とする）毎の短時間平均二乗振幅を検出する。すなわち、振幅検出器１５は、音声信号バッファ１４に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１４より読み出された左右２チャンネルのステレオ音声信号ＳL[m]，ＳR[m]から、所定の時間Ｔ2（１５ｍｓ、１フレーム周期）毎に、短時間平均二乗振幅を検出する。なお、上記ｍ（ｍ＝０，・・・，Ｍ−１）は、離散化された時間を表わすバッファ内のサンプル番号であり、最大番号Ｍが１フレーム長Ｔ1に対応する。
【０１１９】
より具体的に説明すると、振幅検出器１５は、第ｎフレームにおける左右２チャンネルの音声信号の平均二乗振幅Ａ[n]を式（１３）により計算する。
【０１２０】
【数９】
0004507351.tif 000010
【０１２１】
当該振幅検出器１５の検出出力である平均二乗振幅Ａ[n]は、音声信号についての特徴量の一つとして特徴量バッファ１８へ送られる。
【０１２２】
相関検出器１６は、音声信号バッファ１４に蓄えられた音声信号を用いて、１フレーム毎の音声信号について規格化前の相関係数を検出すると共に、後段にて行われる規格化のための短時間エネルギーも同時に検出する。すなわち、相関検出器１６は、音声信号バッファ１４に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１４より読み出された左右２チャンネルのステレオ音声信号ＳL[m]，ＳR[m]から、１フレーム毎の左右２チャンネルの音声信号について規格化前の相関係数を検出すると共に、後段にて行われる規格化のための短時間エネルギーも同時に検出する。
【０１２３】
より具体的に説明すると、相関検出器１６は、第ｎフレームにおける左右２チャンネルの音声信号の相関係数ＡLR[n]を式（１４）により計算し、左チャンネルの音声信号エネルギーＡLL[n]を式（１５）により計算し、右チャンネルの音声信号エネルギーＡRR[n]を式（１６）により計算する。
【０１２４】
【数１０】
0004507351.tif 000011
【０１２５】
当該相関検出器１６の検出出力である相関係数ＡLR[n]と音声信号エネルギーＡLL[n]、ＡRR[n]は、それぞれが音声信号についての特徴量の一つとして特徴量バッファ１８へ送られる。
【０１２６】
スペクトル検出器１７は、音声信号バッファ１４に蓄えられた音声信号を用いて、短時間スペクトルを計算する。すなわち、スペクトル検出器１７は、音声信号バッファ１４に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１４より読み出された左右２チャンネルのステレオ音声信号ＳL[m]，ＳR[m]から、短時間スペクトルを計算する。
【０１２７】
より具体的に説明すると、スペクトル検出器１７は、第ｎフレームにおける左右２チャンネルの音声信号の離散スペクトルＦ[k;n]を求める。なお、ｋ＝０，・・・，Ｋ−１を離散化された周波数を表わす番号とすると、離散スペクトルＦ[k;n]は式（１７）により表わされる。
【０１２８】
【数１１】
0004507351.tif 000012
【０１２９】
この式（１７）の演算は、例えば、高速フーリエ変換（ＦＦＴ）又は線形予測分析（ＬＰＣ）などを用いて実現される。
【０１３０】
当該スペクトル検出器１７の計算出力である短時間離散スペクトルＦ[k;n]は、音声信号についての特徴量の一つとして特徴量バッファ１８へ送られる。
【０１３１】
次に、放送モード信号２ｃは、上述した音声信号処理のフレームに合わせて離散化された数値となされる。
【０１３２】
より具体的に説明すると、第ｎフレームにおける放送モード信号２ｃは、例えば式（１８）のような数値Ｂ[n]となされる。
【０１３３】
【数１２】
0004507351.tif 000013
【０１３４】
この放送モード信号２ｃを離散化した数値Ｂ[n]は、ＴＶ放送信号の特徴量の一つとして特徴量バッファ１８へ送られる。
【０１３５】
同様に、時間信号３ａも、音声信号処理のフレームに合わせて離散化された数値Ｔ[n]となされ、特徴量の一つとして特徴量バッファ１８へ送られる。
【０１３６】
特徴量バッファ１８は、上記カットチェンジ検出器１２からの検出出力Ｃ[n]と、振幅検出器１５からの平均二乗振幅Ａ[n]と、相関検出器１６からの相関係数ＡLR[n]、音声信号エネルギーＡLL[n]，ＡRR[n]と、スペクトル検出器１７からの短時間離散スペクトルＦ[k;n]と、放送モード信号２ｃの離散化数値Ｂ[n]と、時間信号３ａの離散化数値Ｔ[n]とからなる、式（１９）に示される特徴量Ｇ[n]を、所定の時間Ｔ3に渡って蓄積する。なお、時間Ｔ3はＣＭ部分を最低でも１つ以上に渡って記憶できる時間であり、例えば８０秒などとする。
【０１３７】
Ｇ[n]≡｛Ｃ[n],Ａ[n],ＡLR[n],ＡLL[n],ＡRR[n],Ｆ[k;n],Ｂ[n],Ｔ[n]｝  (21)
以上のＡ／Ｄ変換器１０から特徴量バッファ１８までが、図５に示したＣＭ検出部２０２のフロントエンド部の構成であり、以下、図６、図７のフローチャートを用いて当該フロントエンド部における処理の流れを説明する。なお、図６のステップＳ３０〜Ｓ３２までは映像信号２ａについての処理の流れを表しており、図７のステップＳ３３〜Ｓ４０までは音声信号２ｂ及び放送モード信号２ｃ、時間信号３ａについての処理の流れを表している。
【０１３８】
先ず、映像信号２ａについての処理の流れを表す図６において、フロントエンド部は、ステップＳ３０の処理として、Ａ／Ｄ変換器１０によりディジタル化された、少なくとも１フレーム分の映像信号２ａをフレームメモリ１１に蓄える。このフレームメモリ１１は、１フレーム分の映像信号２ａを１サンプルとして扱うようになされており、１フレーム分の映像信号２ａが入力されると、当該フレームメモリ１１内に既に蓄積されている映像信号２ａが１フレーム分シフトし、最も時間的に過去に入力された１フレームの映像信号２ａが押し出されて出力されるようになっている。
【０１３９】
次に、フロントエンド部は、ステップＳ３１の処理として、フレームメモリ１１から映像信号２ａを読み出してカットチェンジ検出器１２に送り、前述のようにして検出出力Ｃ[n]を求める。
【０１４０】
その後、フロントエンド部は、ステップＳ３２の処理として、当該検出出力Ｃ[n]を特徴量バッファ１８に蓄える。
【０１４１】
一方、音声信号２ｂについての処理の流れを表す図７において、フロントエンド部は、ステップＳ３３及びステップＳ３４の処理として、Ａ／Ｄ変換器１３によりディジタル化された、音声信号２ｂを音声信号バッファ１４に入力すると共に、当該音声信号バッファ１４に少なくとも１フレーム周期Ｔ2分の音声信号２ｂを蓄積する。この音声バッファ１４は、１フレーム周期Ｔ2分の音声信号２ｂを１サンプルとして扱うようになされており、１フレーム周期Ｔ2分の音声信号２ｂが入力されると、当該音声バッファ１４内に既に蓄積されている音声信号２ｂが１フレーム周期Ｔ2分だけシフトし、最も時間的に過去に入力された１フレーム周期Ｔ2分の音声信号２ｂが押し出されて出力されるようになっている。
【０１４２】
上記音声信号バッファ１４に少なくとも１フレーム周期Ｔ2分の音声信号２ｂが蓄積されると、フロントエンド部は、ステップＳ３５の処理として、当該音声信号バッファ１４に蓄積された音声信号２ｂを読み出して振幅検出器１５に送り、前述のようにして、平均二乗振幅Ａ[n]を求める。
【０１４３】
同時に、フロントエンド部は、ステップＳ３６の処理として、音声信号バッファ１４に蓄積された音声信号２ｂを相関検出器１６に送り、前述のようにして、相関係数ＡLR[n]と音声信号エネルギーＡLL[n]、ＡRR[n]を求める。
【０１４４】
また同時に、フロントエンド部は、ステップＳ３７の処理として、音声信号バッファ１４に蓄積された音声信号２ｂをスペクトル検出器１７に送り、前述のようにして、短時間離散スペクトルＦ[k;n]を求める。
【０１４５】
さらに、フロントエンド部は、ステップＳ３８の処理として、放送モード信号２ｃから離散化した数値Ｂ[n]を求めると共に、時間信号３ａから、離散化された数値Ｔ[n]を求める。
【０１４６】
フロントエンド部は、以上にようにして求められた、上記カットチェンジ検出器１２からの検出出力Ｃ[n]と、振幅検出器１５からの平均二乗振幅Ａ[n]と、相関検出器１６からの相関係数ＡLR[n]、音声信号エネルギーＡLL[n]，ＡRR[n]と、スペクトル検出器１７からの短時間離散スペクトルＦ[k;n]と、放送モード信号２ｃの離散化数値Ｂ[n]と、時間信号３ａの離散化数値Ｔ[n]とからなる特徴量Ｇ[n]を、特徴量バッファ１８に蓄積する。
【０１４７】
図５に戻り、バックエンド部の説明を行う。なお、以下の説明において、番号ｎは、特徴量バッファ１８内にフレーム毎に蓄積される特徴量の、各フレーム番号を表わすものとする。また、最新のフレームの特徴量をＧ[0]とし、過去のフレームの特徴量となるにしたがってｎの値が増加し、新たなフレームの特徴量が入力された場合には、全てのデータが１ずつシフト（フレーム番号が１ずつシフト）するものとする。
【０１４８】
図５において、特徴量バッファ１８に蓄積された特徴量は、フレーム毎にＣＭ候補検出器１９に送られる。
【０１４９】
当該ＣＭ候補検出器１９は、ほぼ全てのＣＭが満たす、前述した「必須条件」に基づき、フレーム毎にＣＭ区間の候補を算出する。ここで、必須条件とは、前述したように、ＣＭの音声信号が「小音量」であること、すなわち音声信号の音量が所定の閾値以下となっているフレーム（以下、音量条件と呼ぶ）であり、且つ、ＣＭの「映像切り替わり」があること、すなわち映像信号が急激に変換するフレーム又は一様な輝度となるフレーム（以下、映像条件と呼ぶ）であり、さらに、「規定時間長（少数種類の時間長）」であること、すなわち上記音量条件と映像条件を満たす２つのフレームの間隔が所定のＣＭ長と合致する区間（以下、時間条件と呼ぶ）となるような条件であり、具体的には、前述の特徴量を用いて、以下のような式（２０）で且つ式（２１）で且つ式（２２）の条件として書き下すことができる。
【０１５０】
Ａ[0]＜Ａthsd                  (20)
Ｃ[0]＝１                      (21)
Ａ[n1]＜Ａthsd，Ｃ[n1]＝１又はＡ[n2]＜Ａthsd，Ｃ[n2]＝１又は
Ａ[n3]＜Ａthsd，Ｃ[n3]＝１                                      (22)
ただし、Ａthsdは所定の二乗振幅の閾値であり、ｎ1，ｎ2，ｎ3はそれぞれＣＭ長として規定されている時間長（本実施の形態では、一例として１５秒、３０秒、６０秒の３種類の時間長がある場合を説明に用いている）を、フレーム周期単位に換算した数である。なお、ＣＭの実際の放送時間には誤差があるため、実用上は、ｎ1，ｎ2，ｎ3にはそれぞれ多少の幅を持たせる。
【０１５１】
ここで、図８を用いて、上記ＣＭ候補検出器１９の動作の流れを説明する。
【０１５２】
図８において、特徴量バッファ１８では、ステップＳ５０のバッファシフト処理とステップＳ５１の特徴量入力処理として、図６のステップＳ３２で説明したフレームメモリと図７のステップＳ４０で説明した音声信号バッファと同様に、１フレーム単位の入力、シフト及び出力の動作を行うようになされている。すなわち、特徴量バッファ１８は、１フレーム分の特徴量を１サンプルとして扱うようになされており、１フレーム分の特徴量が入力されると、当該特徴量バッファ１８内に既に蓄積されている特徴量が１フレーム分だけシフトし、最も時間的に過去に入力された１フレーム分の特徴量が押し出されて出力されるようになっている。
【０１５３】
上記ステップＳ５０及びステップＳ５１の処理により、特徴量バッファ１８から１フレーム（１サンプル）分の特徴量が入力されると、ＣＭ候補検索器１９は、ステップＳ５２及びステップＳ５３の処理として、１フレーム（サンプル）に特徴量が上記必須条件の音量条件、映像条件、時間条件を満たすか否かの評価を行う。すなわち。ＣＭ候補検索器１９は、ステップＳ５２において、先ず最初のフレームの平均二乗振幅Ａ[0]と所定の二乗振幅の閾値Ａthsdを比較し、次に、ステップＳ５３の処理として、前記検出出力Ｃ[0]が１となるか否か調べることにより、当該フレームが上記必須条件である音量条件、映像条件、時間条件を満たすか否かの判定を行う。ＣＭ候補検索器１９では、これらステップＳ５２，Ｓ５３の判定処理の結果、上記平均二乗振幅Ａ[0]が所定の二乗振幅の閾値Ａthsdを超えず、且つ、上記必須条件を満たしていると判定した場合、当該フレームをＣＭ候補としてステップＳ５７以降（ステップＳ５４〜Ｓ５６については後述する）の処理に進み、逆に、上記平均二乗振幅Ａ[0]が所定の二乗振幅の閾値Ａthsdを超えたか、或いは上記必須条件を満たしていないと判定した場合、当該フレームがＣＭ候補にはならないとしてステップＳ５０の処理に戻る。
【０１５４】
上記ステップＳ５２，Ｓ５３の各判定処理の結果、上記平均二乗振幅Ａ[0]が所定の二乗振幅の閾値Ａthsdを超えず、且つ、上記必須条件を満たしている場合、ＣＭ候補検索器１９は、ステップＳ５７の処理としてＣＭ開始フレームｎsを検索し、次に、ステップＳ５８の処理としてＣＭ終了フレームｎeの検索を行い、更に、ステップＳ５９の処理としてＣＭ開始時刻Ｔsを計算し、ステップＳ６０としてＣＭ長さＷを計算する。
【０１５５】
ＣＭ候補検索器１９は、以上のステップＳ５７〜Ｓ６０の検索及び計算を行った後、ステップＳ６１において後述するＣＭ候補テーブルを参照し、もし、ＣＭ開始時刻Ｔs及びＣＭ長さＴwの一致する候補がすでに当該ＣＭ候補テーブル中に存在するならば、そのまま再びステップＳ５４〜Ｓ５６の処理に戻り、逆に存在しない場合には、新たなＣＭ候補としてＣＭ候補テーブルに追加した後、再びステップＳ５４〜Ｓ５６の処理に戻る。
【０１５６】
ステップＳ５４〜Ｓ５６では、全ての時間長に対して上述同様の処理を行った後、ステップＳ５０に戻り、次の入力に対して同じ処理を繰り返すことを表している。
【０１５７】
なお、上記ＣＭ開始フレームｎsとは、ｎ1，ｎ2，ｎ3で表される各フレームのうち時間条件に合致したフレームから、最新フレームの方向へ向かって、平均二乗振幅Ａ[n]が二乗振幅の閾値Ａthsdを越える最初のフレーム番号である。また、ＣＭ終了フレームｎeとは、０番目のフレームより過去の方向に向かって、平均二乗振幅Ａ[n]が二乗振幅の閾値Ａthsdを越えない最後のフレーム番号である。さらにＣＭ開始時刻Ｔsは、ＣＭ開始フレーム番号ｎsを用いてＴs＝Ｔ[ns]として求められる。同様にＣＭ長さＴwは、Ｔw＝Ｔ[ne]−Ｔ[ns]として求められる。
【０１５８】
ここで、図９には、上記必須条件の算出例を示す。この図９に示すＡ[n]の項において、「ｏ」は二乗振幅の閾値Ａthsd未満の平均二乗振幅を持つフレームを示し、「ｘ」は二乗振幅の閾値Ａthsd以上の平均二乗振幅を持つフレームを示している。この例では、Ａ[0]，Ｃ[0]及びＡ[n1]，Ｃ[n1]が条件を満たし、ｎ1より左方で最初にＡ[n]＝ｘとなるフレームがｎs、０より右方に連続する最後のＡ[n]＝ｏとなるフレームがｎeとなる。
【０１５９】
以上の処理により、ＣＭ候補検出器１９では、１フレーム（１サンプル）の特徴量が入力される毎にＣＭ候補の検出を行い、ＣＭ候補が検出された場合にはＣＭ候補テーブルにエントリーする。
【０１６０】
図１０には、ＣＭ候補テーブルの構成例を示す。この図１０において、ＣＭ候補テーブルの項目は、開始時刻Ｔs、長さＴw、及び後述する付加条件算出器２０で算出する特徴量Ｑ1〜Ｑ11、及び後述する付加条件判定器２１で算出するスコアＲとスコア判定結果Ｚからなる。ＣＭ候補検出器１９によるＣＭ候補テーブル１９ａの段階では、開始時刻Ｔｓ、長さＴｗのみが記述される。このように、ＣＭ候補テーブルは、ＣＭ候補検出器１９で得られるＣＭ開始時刻Ｔｓ、長さＴｗと、付加条件算出器２０で算出される特徴量Ｑ1〜Ｑ11と、付加条件判定器２１で算出されるスコアＲ及びスコア判定結果Ｚとを記述し、それら特徴量を管理するための表である。また、ＣＭ候補テーブルは、そのエントリーがＣＭであるかないかの判定を受けるまで保持され、ＣＭであると判断された場合には、後述するルール判定器２２からＣＭ検出出力４ａとして出力され、ＣＭでないと判断された場合には破棄される。
【０１６１】
上記ＣＭ候補検出器１９により開始時刻Ｔｓ、長さＴｗのみが記述されたＣＭ候補テーブル１９ａは、付加条件算出器２０に送られる。
【０１６２】
付加条件算出器２０では、ＣＭ候補テーブル１９ａにエントリーされた候補区間より、特徴量バッファ１８を参照しながら、以下に示すような特徴量Ｑ1〜Ｑ11を抽出し、それをＣＭ候補テーブル１９ａに追加記述し、ＣＭ候補テーブル２０ａとして付加条件判定器２１に出力する。
【０１６３】
図１１には、当該付加条件算出器２０における特徴量Ｑ1〜Ｑ11の算出例を示す。
【０１６４】
この図１１において、横軸はフレーム番号（離散時間に相当）を表し、図１１の（ａ）はカットチェンジ検出出力Ｃ[n]、図１１の（ｂ）は放送モード信号２ｃの離散化数値Ｂ[n]、図１１の（ｃ）は音声信号の短時間離散スペクトルＳ[k,n]、図１１の（ｄ）は音声信号の平均二乗振幅Ａ[n]を表わし、ｎ1の間隔（図中点線で挟まれた区間）がＣＭ候補である。なお、図１１の（ａ）において、図中ＣＴで示す位置はカットチェンジ検出出力Ｃ[n]が１となっている位置（すなわちカットチェンジが検出された位置）を示している。また、図１１の（ｂ）において、図中Ｍで示す区間はその区間が何らかの放送モードとなっていることを示している。図１１の（ｃ）において、図中Ｓ１，Ｓ２，Ｓ３，Ｓ４は何らかのスペクトル成分が存在することを示し、図１１の（ｄ）において、図中ＡＭは二乗振幅の変化を表している。また、図中Ｑ1からＱ11は、上記付加条件算出器２０にて特徴量Ｑ1〜Ｑ11が計算される場所を示している。
【０１６５】
以下、付加条件算出器２０で算出される各特徴量Ｑ1〜Ｑ11について個々に説明する。
【０１６６】
特徴量Ｑ1は前ブレーク長である。当該前ブレーク長とは、ＣＭ候補区間直前の小音量区間（前ブレーク区間と称する）、すなわち連続してＡ[n]が所定の閾値Ａthsd以下である時間長であり、図１１中の一点鎖線で挟まれた区間長ＢＢが前ブレーク長Ｑ1である。
【０１６７】
特徴量Ｑ2は後ブレーク長である。当該後ブレーク長とは、ＣＭ候補区間直後の小音量区間（後ブレーク区間と称する）、すなわち連続してＡ[n]が所定の閾値Ａthsd以下である時間長であり、図１１中の一点鎖線で挟まれた区間長ＡＢが後ブレーク長Ｑ2である。
【０１６８】
特徴量Ｑ3は前ブレーク最小振幅である。当該前ブレーク最小振幅Ｑ3は、前記の前ブレーク区間におけるＡ[n]の最小値である。
【０１６９】
特徴量Ｑ4は後ブレーク最小振幅である。当該後ブレーク最小振幅Ｑ4は、前記の後ブレーク区間におけるＡ[n]の最小値である。
【０１７０】
特徴量Ｑ5は左右相関値である。当該左右相関値Ｑ5は、ＣＭ候補区間の音声の左右２チャンネルの音声信号ＳL[m]、ＳR[m]の相関値である。これは、式（１４）〜式（１６）のＡLR[n]，ＡLL[n]，ＡRR[n]を利用して、式（２３）に従って算出することができる。
【０１７１】
【数１３】
0004507351.tif 000014
【０１７２】
この式（２３）の演算では、フレームのオーバーラップにより原波形が部分的に複数回加算されることになるが、そのことはこのシステムに実質的な影響は及ぼさない。また、原波形をそのまま保持できるだけのメモリ容量及び処理速度がある場合には、この演算は原波形の相互相関と置き換えることもできる。
【０１７３】
特徴量Ｑ6は平均振幅値である。当該平均振幅値Ｑ6は、ＣＭ候補区間の音声信号の振幅のＲＭＳ値（平均二乗振幅）である。これは、式（２４）により計算することができる。
【０１７４】
【数１４】
0004507351.tif 000015
【０１７５】
この式（２４）の演算では、上記左右相関演算の場合と同様に、フレームのオーバーラップ次第では原波形が部分的に複数回加算されることになるが、そのことは実質的な影響を及ぼさない。また、原波形をそのまま保持できるだけのメモリ容量及び処理速度がある場合には、この演算は原波形のＲＭＳ演算と置き換えることもできる。
【０１７６】
特徴量Ｑ7はカット数である。当該カット数Ｑ7は、ＣＭ候補区間中に存在するカットチェンジの回数（上記ＣＴの数）を数える演算となる。すなわちこれは、[ns,ne）の区間でＣ[n]＝１となる回数を数える演算となる。
【０１７７】
特徴量Ｑ8は放送モードである。ここでの放送モードは、ＣＭ候補区間中で最も支配的な放送モードのことである。これは、［ns,ne）の区間のＢ[n］値の中で、最も頻発する放送モードＱ8を選ぶ演算である。
【０１７８】
特徴量Ｑ9は隣接候補数である。当該隣接候補数Ｑ9は、あるＣＭ候補に対して、その前後にある有音区間もＣＭ候補であるかどうかを表わし、両側ともＣＭ候補であれば「２」、片側のみＣＭ候補であれば「１」、どちらもＣＭ候補でなければ「０」の値をとる。この演算は、ＣＭ候補テーブルを検索することで行われ、開始時刻Ｔsと長さＴwと後ブレーク長Ｑ2の和（Ｔs＋Ｔw＋Ｑ2）が、他のＣＭ候補の開始時刻（Ｔ′s）と一致するかどうかで後側候補の判定が行われる。同様に、開始時刻Ｔsと前ブレーク長Ｑ1の差（Ｔs−Ｑ1）が、他のＣＭ候補の開始時刻Ｔ′sと長さＴ′wの和（Ｔ′s＋Ｔ′w）と一致するかどうかで、前側候補の判定が行われる。
【０１７９】
特徴量Ｑ10，Ｑ11はスペクトル差分エネルギーである。当該スペクトル差分エネルギーＱ10，Ｑ11は、ＣＭと番組本編やＣＭと他のＣＭとの境界での音質変化を定量化するために用いられる。これは、上記境界の両側における平均スペクトルの差の自乗和として定義され、式（２５）〜（３０）に従って計算される。
【０１８０】
【数１５】
0004507351.tif 000016
【０１８１】
但し、式中のＮはスペクトルの平均をとるフレーム数、ｎ′eはＣＭ候補区間の直前の有音区間の終了フレーム番号（図１１参照）、ｎ′sはＣＭ候補区間の直後の有音区間の開始フレーム番号、Ｓ1[k]はＣＭ候補区間の直前の有音区間の終了直前の平均スペクトラム、Ｓ2[k]はＣＭ候補区間開始直後の平均ズクトラム、Ｓ3[k]はＣＭ候補区間終了直前の平均スペクトラム、Ｓ4[k]はＣＭ候補区間の直後の有音区間の開始直後の平均スペクトラム、Ｓnormは適切な規格化定数である。
【０１８２】
上記付加条件算出器２０は、以上により算出したＱ1からＱ11までの特徴量を、ＣＭ候補テーブル１９ａに追加記述し、ＣＭ候補テーブル２０ａとして出力する。当該ＣＭ候補テーブル２０ａは、付加条件判定器２１に送られる。
【０１８３】
付加条件判定器２１は、ＣＭ候補テーブル２０ａを入力とし、ＣＭ候補の特徴量を、閾値関数などにより非線型にパラメータ変換した後、荷重加算することでＣＭ候補に対するスコアＲを算出し、Ｒが所定の閾値以上である場合には有力ＣＭ候補と判定する。付加条件判定器２１は、これらスコアＲとスコア判定結果ＺをＣＭ候補テーブル２０ａに追加記述し、ＣＭ候補テーブル２１ａとして出力する。
【０１８４】
図１２には、付加条件判定器２１の概略構成を示す。
【０１８５】
この図１２において、ＣＭ候補テーブル２１ａの各特徴量Ｑ1〜ＱLは、それぞれ対応する関数演算器５０1〜５０Lに送られ、それぞれ対応するパラメータ変換関数Ｈ1()〜ＨL()による変換演算が施された後、さらにそれぞれ対応する重み付け器５１1〜５１Lにより重みＷ1〜ＷLとの積がとられる。各重み付け器５１1〜５１Lにより重み付けがなされた後の特徴量は、総和加算器５２での総和加算によりスコアＲが算出される。この総和加算器５２から出力されたスコアＲは、スコア判定器５３にて所定の閾値と比較され、スコアＲが所定の閾値以上である場合には有力ＣＭ候補である旨を示す判定結果が出力される。なお、スコア判定器５３によるスコア判定により所定の閾値未満であると判定されたＣＭ候補は、テーブルから消去される。
【０１８６】
より具体的に説明すると、当該付加条件判定器２１におけるスコア算出演算は、式（３１）に従って行われる。
【０１８７】
【数１６】
0004507351.tif 000017
【０１８８】
ただし、Ｈl()は各特徴量に対して予め定めるパラメータ変換関数、Ｗlは予め決定しておく荷重、Ｌは特徴量数（＝１１）である。なお、ｌは１〜１１のうちの任意の数である。
【０１８９】
ここで、各関数演算器５０1〜５０Lにおけるパラメータ変換関数Ｈl()は、最も簡単には矩形関数でよい。すなわち例えば、図１３の（ｂ）に示すような矩形関数Ｒect（x;t1,t2）を用い、予め各特徴量について決定しておく標準値の下上限値をｔ1l，ｔ2lとし、式（３２）により例えばＱ1が標準値の範囲内ならば１、範囲外ならば０となるようにする。
【０１９０】
Ｈl（Ｑl）＝Ｒect（Ｑl;t1,t2）              (32)
なお、前記境界付近で滑らかに０から１、１から０への推移させるようにする場合には、例えば式（３３）のような、シグモイド関数Ｓigm(x;t1,t2)を用いることもできる。
【０１９１】
【数１７】
0004507351.tif 000018
【０１９２】
図１３の（ｃ）にはその概形を示す。ただし、σ1l,σ2lは推移の程度を表わす定数であり、予め特徴量の分布などに基づき決定しておく。
【０１９３】
また、上記各重み付け器５１1〜５１Lによる加算荷重Ｗlは、予め特徴量の統計的性質に基づき人為的に決定しておくこともできるが、既知の学習サンプルに対して、ニューラルネットワーク（例えば中川著「パターン情報処理」丸善（1999）などに詳説）の要領で学習することで、自動的に荷重を決定することも可能である。なお、ｌは１〜１１のうちの任意の数である。
【０１９４】
さらに、上記判定器５３におけるスコア判定は、式（３４）のように、スコアＲの閾値処理により行う。
【０１９５】
Ｚ＝Ｕnit（Ｒ−ｔr）                         (34)
ただし、Ｕnit（ｘ）は、図１３の（ａ）に示すように、ｘ＞０で１、ｘ＜０で０となる単位ステップ関数であり、ｔrは予め定めるか或いは学習により自動的に決まる判定閾値である。
【０１９６】
次に、ルール判定器２２は、上記付加条件判定器２１でのスコア判定により得られたＣＭ候補テーブル２１ａを入力とし、後述するような所定のルール判定によりｍ最終的なＣＭ検出出力４ａとしてＣＭ開始時刻と長さを出力する。すなわち、当該ルール判定器２２では、同一時刻に複数のＣＭ候補があった場合（以下、競合関係という）に、どちらがよりＣＭとして確からしいかをルール処理により判定する。
【０１９７】
以下、ルール判定器２２の動作を図１４のフローチャートを用いて説明する。
【０１９８】
先ず、ルール判定器２２は、ステップＳ７０として、ＣＭ候補テーブルより、判定するべくＣＭ候補を選択する。これは、ＣＭ候補テーブル中で最古の候補であり、予め設定された時間Ｔ4が経過したものから順に行う。Ｔ4は、数個のＣＭが十分含まれる程度の時間長であり、例えば１５０秒間とする。
【０１９９】
続いて、ルール判定器２２は、ステップＳ７１として、選択したＣＭ候補の区間中（ＴｓからＴｓ＋Ｔｗまでの間）に、他のＣＭ候補が存在するかどうか、ＣＭ候補テーブル中を検索する。このステップＳ７１において、存在しないと判定した場合（Ｎｏ）、このＣＭ候補はＣＭ検出出力として出力され、ＣＭ候補テーブルより消去される。
【０２００】
一方、ステップＳ７１において、存在すると判定した場合（Ｙｅｓ）、それらは競合関係にあるとして、ステップＳ７２にて先ず最小長さ優先ルールが適用される。ここで、最小長さ優先ルールは、ある時区間が、複数の長さの異なるＣＭ候補の組み合わせにより構成され得る場合、より短いＣＭ候補で構成されている方を優先するというルールである。すなわち、例えば３０秒という時区間に対して、１つの３０秒ＣＭという可能性と、２つの１５秒ＣＭの組み合わせという可能性の、両方が同時に候補として存在する場合には、１５秒ＣＭを選択し、３０秒ＣＭを棄却するというルールである。
【０２０１】
図１５を用いて、この最小長さ優先ルールの一例を説明する。
【０２０２】
なおこの例には、図１５の（ａ）のように、実際には４つのＣＭ１〜ＣＭ４が連続して放送されている区間に対し、図１５の（ｂ）中Ａ〜Ｈで示すような８つの候補がＣＭ候補テーブルに存在する場合が示されている。
【０２０３】
先ず、図１５の（ｃ）に示すように、ＡのＣＭ候補が判定中であるとすると、この候補Ａと競合する候補はＥとＨである。しかしながら、Ｅの区間はＡとＢで記述でき、また、Ｈの区間はＡとＢとＣとＤ等で記述できることから、それぞれ棄却され、Ａが採用される。続いて、図１５の（ｄ）に示すように、Ｂが判定中となったときには、Ｆが競合相手となる（このとき、Ｅ、ＨはＡの判定により棄却済みとなっている）が、Ｆの区間はＢとＣで記述できることから棄却され、Ｂが採用される。同様に、図１５の（ｅ）に示すように、Ｃが判定中の場合には、Ｇが競合相手となるが、Ｇの区間はＣとＤで記述されることから棄却され、Ｃが採用される。最後に、図１５の（ｆ）に示すように、Ｄが判定されるときには、すでに競合相手は存在しないので、そもそもこのルールを適用する必要はなく、当該Ｄがそのまま採用される。
【０２０４】
以上により、この時区間からは、ＣＭ候補としてＡ，Ｂ，Ｃ，Ｄが選択されることとなる。このルールが適用できない競合関係については、そのままＣＭ候補テーブルに残してこの処理を終了する。
【０２０５】
図１４に戻り、ステップＳ７２のルール判定の後、ルール判定器２２の処理は、ステップＳ７３に進む。ステップＳ７３に進むと、ルール判定器２２は、最小長さ優先ルールを適用した結果、判定中のＣＭが棄却されたか否か判断する。このステップＳ７３において、判定中のＣＭが棄却されと判断した場合（Ｙｅｓ）、ルール判定器２２は、その候補をＣＭ候補テーブルから消去し、ステップＳ７０に戻る。一方、ステップＳ７３において、棄却されていないと判断した場合（Ｎｏ）、ルール判定器２２では、ステップＳ７４において、再び判定中のＣＭ候補の区間中に他のＣＭ候補が存在するかどうか、テーブル中を検索する。
【０２０６】
このステップＳ７４において他のＣＭ候補が存在しないと判定した場合（Ｎｏ）、ルール判定器２２では、ステップＳ８０において判定中のＣＭ候補をＣＭ検出出力から出力し、ＣＭ候補テーブルから消去する。一方、ステップＳ７４にて存在すると判断した場合（Ｙｅｓ）、ルール判定器２２の処理は、ステップＳ７５に進む。
【０２０７】
ステップＳ７５に進むと、ルール判定器２２は、隣接優先ルールを適用する。ここで、隣接優先ルールとは、複数のＣＭ候補が競合関係にある場合、それぞれ直前又は直後に隣接するＣＭ候補を検索し、それが存在する方を優先するというルールである。
【０２０８】
図１６を用いて、当該隣接優先ルールについて説明する。
【０２０９】
なおこの例には、図１６の（ａ）のように、実際には４つのＣＭ１１〜ＣＭ１４が連続して放送されている区間に対し、図１６の（ｂ）中Ｉ〜Ｎで示すような６つの候補が存在する場合が示されている。また、この例の場合、候補Ｍ及びＮは、偶然ＣＭ中にカットチェンジや小音量区間が存在したために候補となっているが、このような候補は、実際には誤った区間であるとはいえ、内容的にはＣＭを含んでいるため、ＣＭらしさを判定する付加条件のスコア判定によっても、棄却されない場合があるものである。
【０２１０】
このような例において、先ず、図１６の（ｃ）に示すように、最古のＩが判定される候補となる。当該Ｉと競合するものとしてＭがあるが、Ｉには隣接する候補Ｊが存在するのに対し、Ｍには隣接する候補がないため、Ｉを採用し、Ｍを棄却する。次に、図１６の（ｄ）に示すように、Ｊが判定される候補となった場合、Ｊと競合する候補としてＮがあるが、Ｊには隣接する候補Ｉ、Ｋが存在するのに対し、Ｎには存在しないため、Ｊが採用されＮが棄却される。次に、図１６の（ｅ），（ｆ）に示すように、残りの候補Ｋ、Ｌには、既に競合する候補がなくなるため、このルールは適用されず、これらＫ、Ｌがそのまま採用される。
【０２１１】
以上により、この図１６に例示した区間からは、Ｉ，Ｊ，Ｋ，ＬがＣＭ候補として選択されることとなる。
【０２１２】
なお、競合関係の候補のいずれにも隣接候補が無い場合、及び複数の候補にそれぞれ隣接候補がある場合には、それらはどちらも棄却されず、ＣＭ候補テーブルに残される。
【０２１３】
図１４に戻り、ステップＳ７５の処理後、ルール判定器２２の処理は、ステップＳ７６に進む。ステップＳ７６に進むと、ルール判定器２２は、隣接優先ルールを適用の結果、判定中のＣＭが棄却されたか否か判断する。このステップＳ７６において、判定中のＣＭが棄却されたと判断した場合（Ｙｅｓ）、ルール判定器２２は、その候補をＣＭ候補テーブルから消去し、ステップＳ７０の処理に戻る。一方、ステップＳ７６において棄却されていない場合（Ｎｏ）、ルール判定器２２は、次のステップＳ７７において、再び判定中のＣＭ候補の区間中に、他のＣＭ候補が存在するかどうか、ＣＭ候補テーブル中を検索する。
【０２１４】
このステップＳ７７において、他のＣＭ候補が存在しなと判定された場合（Ｎｏ）、ルール判定器２２は、ステップＳ８０において、判定中のＣＭ候補をＣＭ検出出力から出力し、ＣＭ候補テーブルから消去する。一方、ステップＳ７７において、他のＣＭ候補が存在すると判定した場合（Ｙｅｓ）、ルール判定器２２は、ステップＳ７８において、スコア優先ルールを適用する。ここで、スコア優先ルールとは、上記の各ルールによっても競合関係が解消されない場合、付加条件判定器２１により得られた判定スコアＲの高い候補を優先するというルールである。このスコア優先ルールは、対象となる競合関係が解消するまで繰り返し適用する。
【０２１５】
図１７を用いて、当該スコア優先ルールについて説明する。
【０２１６】
なおこの例には、図１７の（ａ）のように、実際には４つのＣＭ２１〜ＣＭ２４が連続して放送されている区間に対し、図１７の（ｂ）中Ｐ〜Ｗで示すような７つの候補が存在する場合が示されている。
【０２１７】
この例において、先ず、図１７の（ｃ）に示すように、最古のＰが判定される候補となるが、この候補ＰはＵと競合関係がある。但し、このときの競合関係は、前記最小長さ優先ルールによっても、また、隣接優先ルールによっても競合が解消されない。
【０２１８】
したがって、この場合には、これら競合関係にある候補と関連する全ての競合関係を、ＣＭ候補テーブル中から検索する。すなわち、この場合は、(Ｐ−Ｕ)、(Ｕ−Ｑ)、(Ｑ−Ｖ)、(Ｖ−Ｒ)、(Ｒ−Ｗ)、(Ｗ−Ｓ)という、７候補に対する６つの競合関係が全て関連しているので、スコア優先ルールでは、これら関連する候補の中で最もスコアの高い候補を採用する。この例の場合、判定スコアＲ(2.0)が最も高いスコアであるため、図１７の（ｄ）に示すように、このスコアが採用され、その結果、Ｒと競合関係にある候補Ｖ、Ｗは棄却される。
【０２１９】
しかしながら、図１７の（ｅ）に示すように、これによっても（Ｐ−Ｕ）の競合関係は解消されていない。したがって、再びこれらと関連する全ての競合関係を、ＣＭ候補テーブル中から検索する。今回は、Ｖが棄却されたことにより、(Ｐ−Ｕ)、(Ｕ−Ｑ)という、３つの候補が関係する２つの競合関係のみとなる。
【０２２０】
さらに、これらの候補の中で最もスコアの高い候補Ｑ(1.9)を採用し、図１７の（ｆ）に示すように、Ｑと競合関係にある候補Ｕを棄却する。
【０２２１】
以上によって、Ｐに関係する競合関係はなくなり、Ｐが採用される。また、Ｕ、Ｖ、Ｗは全て棄却され、Ｑ、Ｒ、Ｓが採用されることとなる。
【０２２２】
なお、もしも、関連する全ての競合関係を検索せず、対象となる競合関係（この例の場合、Ｐ，Ｕ）のみでスコア優先ルールを適用すると、先ずＵが採用され、Ｐは棄却される。後にＵとＱとの競合関係により、一時採用されたＵもまた棄却されてしまう。このように、ルール判定器２２では、偶然の処理順序により候補Ｐが棄却されるようなことのないよう、関連競合関係の検索を行っている。
【０２２３】
以上のスコア優先ルールにより、選択された候補に関する競合関係は必ず解消されることになる。
【０２２４】
図１４に戻り、ステップＳ７８の処理後、ルール判定器２２の処理は、ステップＳ７９に進む。ステップＳ７９に進むと、ルール判定器２２は、スコア優先ルールを適用の結果、判定中の候補が棄却されたか否か判断する。このステップＳ７９において、判定中の候補が棄却されたと判断した場合（Ｙｅｓ）、ルール判定器２２は、その候補をＣＭ候補テーブルより消去し、ステップＳ７０に戻る。一方、ステップＳ７９において、棄却されなかった場合、ルール判定器２２は、ステップＳ８０のＣＭ検出出力として、開始時刻とその長さを出力し、ＣＭ候補テーブルから消去した後、ステップＳ７０に戻る。
【０２２５】
以上説明したように、本実施の形態の第１の具体例のＣＭ検出部２０２においては、ほぼ全てのＣＭが満足する必須条件に基づき、決定論的に番組中からＣＭの候補を抽出し、ＣＭらしさの指標である付加条件に基づく特徴量の統計論的な評価により候補を選択し、論理条件により候補のオーバーラップ関係を解消することで、精度の高いＣＭ検出を実現している。また、本実施の形態では、例えば現行のアナログＴＶ放送の映像音声録画録音装置を例にとったが、ディジタルＴＶ放送等に適用される場合にも同様のＣＭ検出部２０２が適用できることは明らかである。また、例えばラジオ放送に適用される場合には、上記ＣＭ検出部２０２から映像信号の処理を担当する部分を省略することで同様の機能が実現できる。
【０２２６】
次に、本発明の第２の具体例としてのＣＭ検出部２０２について以下に説明する。
【０２２７】
図１８には、本発明の第２の具体例としてのＣＭ検出部２０２の詳細な構成を示す。
【０２２８】
当該第２の具体例のＣＭ検出部２０２は、前述した付加条件の中でも基本的なもののみを実装するようにしており、前述した１）〜１４）の付加条件のうち、１１）〜１４）に関しては導入しないことで、装置構成を簡略化している（複雑になることを防いでいる）。
【０２２９】
この第２の具体例のＣＭ検出部２０２も、図５の例と同様にフロントエンド部とバックエンド部とから構成されている。なお、この図１８において、図５の各構成要素と同じ動作を行う部分については、同一の指示符号を付して、それらの説明は省略する。
【０２３０】
以下、図１８の構成において、新たに追加された各構成要素（１０１，１０２，１０３）と、付加条件算出器２０において新たに拡張された機能についてのみ説明する。
【０２３１】
フロントエンド部に設けられた音源識別器１０１は、ディジタル化及びフレーム化された音声信号２ｂを入力とし、この音声信号２ｂの該当フレームに関する音源名を出力する。音源名としては、例えば、音声、音楽、音声と音楽、その他を挙げることができる。なお、入力された音声信号の音源識別を実現する技術としては、例えば、河地、他による、「ＶＱ歪みに基づく放送音の自動分類」信学技報、DSP97‐95/SP97‐50、43/48(1998)に記載された技術や、南、他による、「音情報を用いた映像インデクシングとその応用」信学論、Vo1.J81‐D‐II、No.3，529/537(1998)に記載された技術、安部による、特願平１１−１９０６９３号の明細書及び図面に記載された技術などがあり、これらを利用することができる。
【０２３２】
この音源識別器１０１により識別された各音源名は、例えば音声＝１、音楽＝２、などのように、各フレーム毎に適切に数値化され、特徴量Ｕ[n]として特徴量バッファ１８に入力される。
【０２３３】
フロントエンド部に設けられた番組ジャンルデータ又は番組ジャンル識別器１０２は、現在処理している番組のジャンル名を出力するものである。番組ジャンルは、例えば、ニュース、ドラマ、野球、サッカーなどである。番組ジャンルデータは、テレビ番組表などから入力してもよく、また近年ではインターネット等を通じて自動的に取得することもできる。または、外部情報に頼らず音声及び映像信号から番組ジャンルを識別する装置を用いることも可能である。なお、音声及び映像信号から番組ジャンルを識別する技術としては、例えば安部による、特願平１１−１９０６９３号の明細書及び図面に記載された技術などを利用することができる。
【０２３４】
この番組ジャンルデータ又は番組ジャンル識別器１０２により分類された番組ジャンル名は、例えばニュース＝１、ドラマ＝２、などのように、各フレーム毎に適切に数値化され、特徴量Ｗ［n]として特徴量バッファ１８に入力される。
【０２３５】
フロントエンド部のその他の各構成要素は、図５の例と全く同じである。
【０２３６】
この第２の具体例の場合、フロントエンド部に、上記音源識別器１０１と番組ジャンルデータ又は番組ジャンル識別器１０２を設け、これらにより得られた各特徴量Ｕ[n]とＷ［n]を特徴量バッファ１８に蓄積することで、当該特徴量バッファ１８においては、式（１９）に示した特徴量Ｇ[n]が、式（３５）のように拡張されることになる。
【０２３７】
Ｇ[n]≡｛Ｃ[n],Ａ[n],ＡLR[n],ＡLL[n],ＡRR[n],Ｆ[k;n],
Ｂ[n],Ｔ[n],Ｕ[n],Ｗ[n]｝                              (35)
バックエンド部のＣＭ検出器１９は、前述の図５のものと全く同じであるが、当該第２の具体例の場合、ＣＭ候補テーブル１９ａ〜２１ａは、次のように拡張される。すなわち、この第２の具体例の場合のＣＭ候補テーブル１９ａ〜２１ａは、前述したＱ1からＱ11までの特徴量に加え、図１９に示すように、後述する特徴量Ｑ12からＱ15が拡張される。なお、図１９は、Ｑ1からＱ11までの特徴量についての図示を省略している。
【０２３８】
また、バックエンド部のＣＭ確率データベース１０３には、予め、時間帯に応じたＣＭの放送確率、及び、番組ジャンルと経過時間に応じたＣＭの放送確率をデータとして蓄積してある。このＣＭ確率データベース１０３からは、現在時刻に応じてそれらの確率が読み出され、付加条件算出器２０に入力するようになされている。なお、これらの確率のデータは、実際の放送を元に統計をとることで作成することができる。
【０２３９】
この第２の具体例の場合の付加条件算出器２０は、前述の特徴量Ｑ1からＱ11に加え、次の特徴量Ｑ12からＱ15の演算を行うよう拡張される。
【０２４０】
ここで、特徴量Ｑ12は、ＣＭ候補区間中に、音声区間があったどうかを検出して求められるものである。音声の有無を表す特徴量Ｑ12は、式（３６）に従って検出される。
【０２４１】
【数１８】
0004507351.tif 000019
【０２４２】
特徴量Ｑ13は、上記音声の有無と同様に、ＣＭ候補区間中に、音楽区間があったどうかを検出して求められるものである。この音楽の有無を表す特徴量Ｑ13は、式（３７）に従って検出される。
【０２４３】
【数１９】
0004507351.tif 000020
【０２４４】
特徴量Ｑ14は、現在時刻に応じたＣＭの発生確率（時間帯確率）である。付加条件算出器２０では、ＣＭ確率データベース１０３より提供されるＣＭの放送確率を、そのまま特徴量Ｑ14に代入する。
【０２４５】
特徴量Ｑ15は、番組ジャンル及びその番組の開始からの経過時間に従うＣＭの放送確率（番組ジャンル確率）である。付加条件算出器２０では、ＣＭ確率データベース１０３より提供されるＣＭの放送確率を、そのまま特徴量Ｑ15に代入する。
【０２４６】
付加条件判定器２１以降は、変数としての特徴量Ｑ12〜Ｑ15が拡張されるだけであり、前述の図５のＣＭ検出部２０２の場合と同様であるため、説明を省略する。
【０２４７】
この場合のＣＭ検出部２０２においては、以上の拡張により、放送信号の音源に応じたＣＭ検出を行うことができ、また、現在時間に応じたＣＭ検出を行うこと、さらに、番組ジャンルに応じたＣＭ検出を行うことが可能となる。
【０２４８】
次に、図２０には、上述した図５や図１８に示したＣＭ検出部２０２を実装する場合のハードウェア構成の一例を示す。
【０２４９】
この図９において、Ａ／Ｄ変換器４０は、前記図５や図１８のＡ／Ｄ変換器１０及び１３の機能を備え、メモリ４１は、前記フレームメモリ１１及び音声信号バッファ１４の機能を備えている。
【０２５０】
Ａ／ＶプロセッサまたはＤＳＰ（ディジタルシグナルプロセッサ）４２は、前記カットチェンジ検出器１１２、振幅検出器１５、相関検出器１６、スペクトル検出器１７、音源識別器１０１等の機能を備え、メモリ４３は、前記特徴量バッファ１８の機能を備えている。
【０２５１】
プロセッサ４４は、前記ＣＭ候補検出器１９、付加情報算出器２０、付加条件判定器２１、ルール判定器２２、ＣＭ確率データベース１０３等の機能を備えている。
【０２５２】
前記動作制御部２３の機能については、Ａ／ＶプロセッサまたはＤＳＰ（ディジタルシグナルプロセッサ）４２か、或いは、プロセッサ４４が備えることができる。
【０２５３】
【発明の効果】
本発明においては、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から第１の信号区間を検出して、その第１の信号部分を特徴付ける特量量を抽出し、その第１の信号の特徴量を、予め参照用の信号から抽出してデータベース化しておいた特徴量と比較することにより、例えば、放送信号から特定のＣＭ部分を高精度に検出できると共に、その特定のＣＭの放送回数のカウント等を自動的に行うようなことが可能となる。
【図面の簡単な説明】
【図１】本発明実施の形態の信号処理装置の全体構成図である。
【図２】入力音声信号及び映像信号の離散化とフレームの説明に用いる図である。
【図３】ＣＭデータベース作成の流れを示すフローチャートである。
【図４】ＣＭデータベース参照の流れを示すフローチャートである。
【図５】第１の具体例のＣＭ検出部の詳細な構成図である。
【図６】ＣＭ検出部のフロントエンド部における映像信号処理の流れを示すフローチャートである。
【図７】ＣＭ検出部のフロントエンド部における音声信号処理の流れを示すフローチャートである。
【図８】ＣＭ検出部のＣＭ候補検出器における動作の流れを示すフローチャートである。
【図９】必須条件の算出例の説明に用いる図である。
【図１０】第１の具体例のＣＭ検出部におけるＣＭ候補テーブルを示す図である。
【図１１】ＣＭ検出部の付加条件算出器における特徴量の算出例の説明に用いる図である。
【図１２】付加条件算出器の構成図である。
【図１３】スコア算出演算の際の単位ステップ関数、矩形関数、シグモイド型関数の説明に用いる図である。
【図１４】ルール判定器の動作の流れを示すフローチャートである。
【図１５】最小長さ優先ルールの説明に用いる図である。
【図１６】隣接優先ルールの説明に用いる図である。
【図１７】スコア優先ルールの説明に用いる図である。
【図１８】第２の具体例のＣＭ検出部の詳細な構成図である。
【図１９】第２の具体例のＣＭ検出部におけるＣＭ候補テーブル（拡張部分のみ）を示す図である。
【図２０】ＣＭ検出部を実装する場合の一例としてのハードウェア構成図である。
【符号の説明】
２０１  参照ＣＭ特徴抽出部、  ２０２  ＣＭ検出部、  ２０３  放送ＣＭ特徴抽出部、  ２０４  ＣＭ記録部、  ２０５  特徴比較部
【図１】
0004507351.tif 000021
【図２】
0004507351.tif 000022
【図３】
0004507351.tif 000023
【図４】
0004507351.tif 000024
【図５】
0004507351.tif 000025
【図６】
0004507351.tif 000026
【図７】
0004507351.tif 000027
【図８】
0004507351.tif 000028
【図９】
0004507351.tif 000029
【図１０】
0004507351.tif 000030
【図１１】
0004507351.tif 000031
【図１２】
0004507351.tif 000032
【図１３】
0004507351.tif 000033
【図１４】
0004507351.tif 000034
【図１５】
0004507351.tif 000035
【図１６】
0004507351.tif 000036
【図１７】
0004507351.tif 000037
【図１８】
0004507351.tif 000038
【図１９】
0004507351.tif 000039
【図２０】
0004507351.tif 000040