(57)【特許請求の範囲】
【請求項１】
テレビジョン放送に含まれるコマーシャルを検出するコマーシャル検出方法であって、
前記テレビジョン放送の音声信号から無音区間を検出する段階と、
検出された前記無音区間から、２つの無音区間が所定の時間間隔で離れて存在する区間をＣＭ候補区間として抽出する段階と、
抽出された前記ＣＭ候補区間に基づいて、２以上のコマーシャルが連続して存在する区間であるＣＭ放映区間を判定する段階と、
判定された前記ＣＭ放映区間内に含まれる全てのＣＭ候補区間について、当該ＣＭ候補区間に引き続いて、コマーシャルとして考えられる時間間隔で無音区間が連続して配列しているかどうかを判定し、判定の結果前記時間間隔で連続する無音区間の数が最も多いＣＭ候補区間を先頭として、前記時間間隔で連続して配置している無音区間を区切りとしてＣＭ候補を抽出する連続性評価段階と、
を有する、コマーシャル検出方法。
【請求項２】
前記テレビジョン放送の映像信号からカット点を検出するカット点検出段階と、
前記連続性評価段階で抽出された各ＣＭ候補に関し、当該ＣＭ候補の開始点及び終了点の近辺にカット点があれば信頼度が高くなるように、かつ、当該ＣＭ候補の前後の少なくとも一方に他のＣＭ候補が存在すれば信頼度が高くなるように信頼度を算出する段階と、
高い信頼度を得たＣＭ候補を出力する出力段階と、
を有する請求項１に記載のコマーシャル検出方法。
【請求項３】
前記カット点検出段階は、前記映像信号のフレームから特徴量を抽出する段階と、前記特徴量に基づいて前記カット点を検出する段階と、を有する、請求項２に記載のコマーシャル検出方法。
【請求項４】
前記出力段階において出力されるＣＭ候補に基づいて、コマーシャル区間に対応する前記特徴量を切り出す段階と、
前記切り出された特徴量とＣＭデータベースに登録されている特徴量とを照合することにより、前記切り出された特徴量に対応するコマーシャル区間が新作コマーシャル候補であるかどうかを判定する段階と、
新作コマーシャル候補であると判定された場合に、当該新作コマーシャル候補を新作コマーシャルとして前記ＣＭデータベースに登録する段階と、
をさらに有する請求項３に記載のコマーシャル検出方法。
【請求項５】
前記連続性評価段階において、現在評価中のＣＭ候補の開始点が既に評価済みのＣＭ候補の終了点位置よりも後ろである場合には、無音区間が連続して配列しているかどうかの判定を当該終了点位置で一旦打ち切り、前記時間間隔で連続して配置している無音区間を区切りとしてＣＭ候補を抽出する処理を実行する、請求項１乃至４のいずれか１項に記載のコマーシャル検出方法。
【請求項６】
前記ＣＭ放映区間の直前または直後に当該ＣＭ放映区間に連続するＣＭ候補区間を仮定して前記連続性評価段階を実行する、請求項１乃至５のいずれか１項に記載のコマーシャル検出方法。
【請求項７】
テレビジョン放送に含まれるコマーシャルを検出するコマーシャル検出方法であって、
前記テレビジョン放送の映像信号からカット点を検出する段階と、
検出された前記カット点から、２つのカット点が所定の時間間隔で離れて存在する区間をＣＭ候補区間として抽出する段階と、
抽出された前記ＣＭ候補区間に基づいて、２以上のコマーシャルが連続して存在する区間であるＣＭ放映区間を判定する段階と、
判定された前記ＣＭ放映区間内に含まれる全てのＣＭ候補区間について、当該ＣＭ候補区間に引き続いて、コマーシャルとして考えられる時間間隔でカット点が連続して配列しているかどうかを判定し、判定の結果前記時間間隔で連続するカット点の数が最も多いＣＭ候補区間を先頭として、前記時間間隔で連続して配置しているカット点を区切りとしてＣＭ候補を抽出する連続性評価段階と、
前記テレビジョン放送の音声信号から無音区間を検出する段階と、
前記連続性評価段階で出力された各ＣＭ候補に関し、当該ＣＭ候補の開始点及び終了点の近辺に無音区間があれば信頼度が高くなるように、かつ、当該ＣＭ候補の前後の少なくとも一方に他のＣＭ候補が存在すれば信頼度が高くなるように信頼度を算出する段階と、
高い信頼度を得たＣＭ候補を出力する段階と、
を有するコマーシャル検出方法。
【請求項８】
テレビジョン放送に含まれるコマーシャルを検出するコマーシャル検出装置であって、
前記テレビジョン放送の音声信号から無音区間を検出する無音区間検出手段と、
検出された前記無音区間から、２つの無音区間が所定の時間間隔で離れて存在する区間をＣＭ候補区間として抽出する区間間隔一定箇所抽出手段と、
抽出された前記ＣＭ候補区間に基づいて、２以上のコマーシャルが連続して存在する区間であるＣＭ放映区間を判定するＣＭ放映区間判定手段と、
判定された前記ＣＭ放映区間内に含まれる全てのＣＭ候補区間について、当該ＣＭ候補区間に引き続いて、コマーシャルとして考えられる時間間隔で無音区間が連続して配列しているかどうかを判定し、判定の結果前記時間間隔で連続する無音区間の数が最も多いＣＭ候補区間を先頭として、前記時間間隔で連続して配置している無音区間を区切りとしてＣＭ候補を抽出する連続性評価手段と、
を有する、コマーシャル検出装置。
【請求項９】
前記テレビジョン放送の映像信号のフレームから特徴量を抽出する特徴量抽出手段と、
前記特徴量に基づいてカット点を検出するカット点検出手段と、
前記連続性評価手段で抽出された各ＣＭ候補に関し、当該ＣＭ候補の開始点及び終了点の近辺にカット点があれば信頼度が高くなるように、かつ、当該ＣＭ候補の前後の少なくとも一方に他のＣＭ候補が存在すれば信頼度が高くなるように信頼度を算出し、高い信頼度を得たＣＭ候補を出力する信頼度判定手段を有する、請求項８に記載のコマーシャル検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テレビジョン放送中におけるコマーシャル（広告放送）を自動的に検出するための方法及び装置に関する。
【０００２】
【従来の技術】
テレビジョン放送中におけるコマーシャル（一般にはＣＭ(commercial message)とも略称される。以下、本明細書においてもＣＭと称する場合がある）放送は、広告主や広告代理店などの依頼主が放送局と契約を結び、依頼主から提供を受けた音声データやビデオデータを番組（本編）の合間に放送するものである。このようなＣＭは、放送局にとっては番組制作のための重要な収入源であり、広告主にとっても重要な宣伝メディアである。また、その広告主と放送局との間でＣＭ放送に関する調整を行うのが広告代理店であるが、ＣＭが契約通り放送されているか否かは、これらの三者のいずれにとっても非常に重要な問題である。このため、現在多くの広告代理店は、放送局が提出する放送確認書とあわせて、ＣＭ放送の確認サービスすなわち実際にＣＭが放映されたかどうかを確認するサービスを利用している。放送局でも、実際の放送データと広告料請求書に添付される放送確認書の出力とがきちんと連動するシステムの導入が進められている。また広告主にとっても、第三者機関が実施する放送確認サービスが期待されている。
【０００３】
ところで一般に、ＣＭの放送時刻は、大まかには決まってはいるものの、番組のスケジュール自体が緊急ニュースや番組自体の都合（特に生放送の場合）で変更されることが多いために、厳密には決められていない。そのため、特定の放送局について特定の時刻だけ受信して特定のＣＭが放送されたかどうかをチェックするという方法では、ＣＭ放送確認を行うことはできない。
【０００４】
これまでのＣＭ放送確認は、人手により２４時間３６５日の映像を確認した上で、調査レポートを作成するものであった。この場合、放送確認作業者は、テレビジョン放送を目視で確認し、ＣＭ部分に対して名前づけを行うなど膨大な時間を必要とする作業を実行する。このため、ＣＭ放送確認のためのコストは非常に大きく、また作業者にとっても負担が非常に大きい。またこの方法では、人手を介するがゆえに、リアルタイムでのＣＭの放送確認を行うことが難しい。一方、放送局にとっても、ＣＭ放送がきちんとなされているか重要であるとともに、放送すべきＣＭがトラブルにより放映されなかった場合に即時対応できるような確認手段が重要となる。
【０００５】
また、放送されている全てのＣＭを調査対象とすることを考慮すると、新しいＣＭが放送されるたびにそのＣＭを登録する作業が必要となる。この際に、ＣＭが既知か新規であるか見分け、新規ＣＭのみを登録していく必要がある。しかしながら、この作業を人手に頼ると膨大な確認作業時間が必要となるうえ、ＣＭが既知か新規であるか見分ける必要があり負荷が非常に大きい。
【０００６】
そこで、テレビジョン放送におけるＣＭを自動的に検出してそのＣＭを自動的に同定するテレビＣＭ放送調査システムの実現が求められいてる。このようなシステムを構成するためには、テレビジョン放送中においてＣＭである可能性の高い区間を推定するシステム、放送された新作ＣＭを自動登録するシステム、及び放送中のＣＭを自動識別するシステムが必要となる。
【０００７】
従来、テレビジョン放送中におけるＣＭの放送区間を推定する方法として、音声多重モードを検出する方法、無音区間と画面の切り替わりとを検出する方法などがある。以下、従来のＣＭの放送区間の推定方法を説明する。
【０００８】
番組本編とＣＭを分離する方法としてよく知られているものが、特許第２８５８７５８号明細書に記載されているように、音声多重モードへの切り替えを検出する方法である。番組本編はモノラルモードで放送されることが多く、ＣＭはステレオモードで放送されることが多いので、この方法では、図１７に示すように、音声多重モード区間をＣＭとする。この方法は、ビデオデッキのＣＭスキップ機能などとして用いられていることが多い。ただし、この方法では、連続して放送される複数のＣＭを個別に分けられない点、また本編もステレオ放送である番組が増えてきたことによる性能低下という点が問題である。
【０００９】
一方、特公平６−６６７３８号公報には、無音区間およびシーンチェンジを利用したＣＭ区間検出が開示されている。ＣＭには、一般に、（１）ＣＭの前後に数１０ｍｓの無音区間が存在し、かつ（２）一般的に長さは１５秒、３０秒（少なくとも日本国内でのＣＭの場合）である、という性質を有している。この性質を用い、無音区間とシーンチェンジ（カット点）とを検出してＣＭ区間を推定することが可能になる。具体的には、図１８に示すように、無音とカットが同時に発生したと判断された時点から次に無音とカットとが同時に発生したと判断された時点までの秒数が、ＣＭ放送秒数として予め定められた秒数のいずれかと一致した場合にＣＭ候補と判定するものである。しかしながらこの方法では、ＣＭ以外の場所ですなわち本編中で時間間隔一定となる個所が多数存在するため、誤検出が多数生じること、また、無音またはカットの検出漏れにより検出されるべきＣＭが検出できない場合があること等の問題点がある。
【００１０】
【発明が解決しようとする課題】
上述したように、ＣＭ放送確認の自動化とリアルタイム化（短時間の遅れは許容する）を果たす上で、ＣＭ区間の自動検出及び新作ＣＭのデータベースへの自動登録を実現する必要がある。そこで本発明の目的は、テレビジョン放送から精度よくＣＭ区間を推定できるようにするとともに、新作ＣＭを自動的にデータベースに登録できる、コマーシャル検出方法及び装置を提供することにある。
【００１１】
【課題を解決するための手段】
本発明のコマーシャル検出方法は、テレビジョン放送に含まれるコマーシャルを検出するコマーシャル検出方法であって、テレビジョン放送の音声信号から無音区間を検出する段階と、検出された無音区間から、２つの無音区間が所定の時間間隔で離れて存在する区間をＣＭ候補区間として抽出する段階と、抽出されたＣＭ候補区間に基づいて、１以上のコマーシャルが連続して存在する区間であるＣＭ放映区間を判定する段階と、判定されたＣＭ放映区間内に含まれる全てのＣＭ候補区間について、当該ＣＭ候補区間に引き続いて、コマーシャルとして考えられる時間間隔で無音区間が連続して配列しているかどうかを判定し、判定の結果、その時間間隔で連続する無音区間の数が最も多いＣＭ候補区間を先頭として、その時間間隔で連続して配置している無音区間を区切りとしてＣＭ候補を抽出する連続性評価段階と、を有する。
【００１２】
本発明のコマーシャル検出方法では、テレビジョン放送の映像信号からカット点を検出するカット点検出段階と、連続性評価段階において抽出された各ＣＭ候補に関し、当該ＣＭ候補の開始点及び終了点の近辺にカット点があれば信頼度が高くなるように、かつ、当該ＣＭ候補の前後の少なくとも一方に他のＣＭ候補が存在すれば信頼度が高くなるように信頼度を算出する段階と、高い信頼度を得たＣＭ候補を出力する出力段階と、を設けることが好ましい。
【００１３】
本発明のコマーシャル検出装置は、テレビジョン放送に含まれるコマーシャルを検出するコマーシャル検出装置であって、テレビジョン放送の音声信号から無音区間を検出する無音区間検出手段と、検出された無音区間から、２つの無音区間が所定の時間間隔で離れて存在する区間をＣＭ候補区間として抽出する区間間隔一定箇所抽出手段と、抽出されたＣＭ候補区間に基づいて、１以上のコマーシャルが連続して存在する区間であるＣＭ放映区間を判定するＣＭ放映区間判定手段と、判定されたＣＭ放映区間内に含まれる全てのＣＭ候補区間について、当該ＣＭ候補区間に引き続いて、コマーシャルとして考えられる時間間隔で無音区間が連続して配列しているかどうかを判定し、判定の結果その時間間隔で連続する無音区間の数が最も多いＣＭ候補区間を先頭として、その時間間隔で連続して配置している無音区間を区切りとしてＣＭ候補を抽出する連続性評価手段と、を有する。
【００１４】
本発明のコマーシャル検出装置においては、テレビジョン放送の映像信号のフレームから特徴量を抽出する特徴量抽出手段と、特徴量に基づいてカット点を検出するカット点検出手段と、連続性評価手段において抽出された各ＣＭ候補に関し、当該ＣＭ候補の開始点及び終了点の近辺にカット点があれば信頼度が高くなるように、かつ、当該ＣＭ候補の前後の少なくとも一方に他のＣＭ候補が存在すれば信頼度が高くなるように信頼度を算出し、高い信頼度を得たＣＭ候補を出力する信頼度判定手段と、を設けることが好ましい。
【００１５】
特に本発明では、ＣＭの連続性を評価することにより、ＣＭ放送区間の誤検出、未検出を防止する。すなわち、無音区間のみでＣＭ放送区間の候補を抽出し、カット（シーンチェンジ）の存在位置により、ＣＭ放送区間としてのその確からしさを検出する。あるいは、カット点のみでＣＭ放送区間の候補を抽出し、無音区間の存在位置により、ＣＭ放送区間としてのその確からしさを検出する。これにより、ＣＭ放送区間の誤検出、未検出が防止される。
【００１６】
【発明の実施の形態】
次に、本発明の好ましい実施の形態について、図面を参照して説明する。図１は、本発明の好ましい実施の形態のコマーシャル検出装置の構成を示すブロック図である。
【００１７】
このコマーシャル検出装置は、テレビジョン放送波を受信する受信部１１からのテレビジョン信号（映像信号及び音声信号）あるいは予め蓄積部１２に蓄積された放送データ（映像信号及び音声信号）を入力とするものである。なお、このコマーシャル検出装置では、放送波に含まれるＣＭ区間を検出してそのＣＭ区間の開始及び終了時刻を出力するので、また、映像信号と音声信号とを独立して処理するものの両者間の時刻同期は確立させる必要があるから、映像信号及び音声信号には、放送波における時刻タイミングを示す情報が付加されていることが好ましい。
【００１８】
図１に示すコマーシャル検出装置は、音声信号における無音区間を検出する無音区間検出部２１と、無音区間検出部２１で検出された無音区間について、２つの無音区間がある時間間隔（ＣＭの長さとして一般的によく用いられる時間間隔、例えば１５秒あるいは３０秒）離れて存在する区間をＣＭ候補区間として抽出する区間間隔一定箇所抽出部２２と、区間間隔一定箇所抽出部２２で抽出されたＣＭ候補区間から、連続していくつかのＣＭが放映されている区間の候補であるＣＭ放映区間候補を選択するＣＭ放映区間判定部２３と、ＣＭ放映区間候補中の全てのＣＭ候補について連続性評価を行う連続性評価部２４と、映像信号からフレーム特徴量を抽出する特徴量抽出部２５と、抽出されたフレーム特徴量に基づいてシーンチェンジ（カット点）を検出するカット検出部２６と、連続性評価部２４での連続性評価の結果、ＣＭ区間である可能性が高いとされたＣＭ候補区間に対して、カット検出部２６で検出されたカット点を適用して、最終的にＣＭ候補区間を候補データとして出力する信頼度判定部２７と、を備えている。また、このコマーシャル検出装置には、無音区間検出部２１で検出された無音区間のリストを保持する無音区間リスト保持部３１と、区間間隔一定箇所抽出部２２で抽出されたＣＭ候補区間をＣＭ候補リストとして保持するＣＭ候補リスト保持部３２と、カット検出部３６で検出されたカット点（シーンチェンジ）の時刻を保持するカット保持部３３と、を備えている。
【００１９】
このコマーシャル検出装置は、音声信号から得られた無音区間と、映像信号から得られたカット位置とに基づいて、ＣＭ放送区間の推定・抽出を行う。ここでは、ＣＭが以下の特徴を有することを利用する。
（Ａ）ＣＭは１５秒、３０秒の長さのものが一般的である。
（Ｂ）ＣＭは連続して放送される傾向が高い。
（Ｃ）ＣＭ同士は映像が無音区間およびカットでつながる。
すなわち、隣接カット点間との関係が上記の３つの特徴を満たす場合に、その区間をＣＭ候補として抽出するようにする。
【００２０】
以下、上述の各部の詳細について説明する。
【００２１】
無音区間検出部２１は、音声信号からリアルタイムで無音区間を検出する。音声信号における無音区間の検出方法としては、いくつかの周知の方法があるが、ここでは例えば、音声信号を８ビット（２５６値）でサンプリング周波数８ｋＨｚでサンプリングするとして、５０ミリ秒の長さの区間を１つの単位とし、５０ミリ秒の区間内に含まれる４００サンプルのうち３９５サンプル以上が０か１の値であれば、その５０ミリ秒の区間は無音区間であると判定する方法を採用する。
【００２２】
区間間隔一定箇所抽出部２２は、無音区間検出部２１で検出した無音区間について、２つの無音区間が、ある時間間隔（例えば１５秒、３０秒）離れて存在する区間を検出し、ＣＭ候補区間として抽出する。図２は、区間間隔一定箇所抽出部２２における無音区間からのＣＭ候補抽出を示す概念図である。抽出されたＣＭ候補区間の時間帯（開始時刻：終了時刻）は、全てＣＭ候補リストに記録しておく。図３は、ＣＭ候補リストの一例を示している。
【００２３】
なお、区間間隔一定箇所抽出の処理はリアルタイムに行うことも可能である。例えば、６０秒分のテレビジョン放送に対して、５０ミリ秒あたり１ビットのバッファを予め用意しておくものとする。そして、（１）新たに入力された５０ミリ秒区間に対して無音判定を行い、（２）１ビット分（１単位分）だけバッファへの書込みアドレスをシフトさせた上で、（３）無音である場合にはバッファに“１”を記録し、そうではない場合には“０”と記録する。そして、無音とみなされた場合には、バッファにおいて１５秒前の区間に相当するビットをチェックし、“１”であった場合には１５秒のＣＭ候補として記録する。“０”であった場合には、３０秒前の区間に相当するビットをチェックし、“１”であった場合には３０秒ＣＭ候補として記録する。以上の（１）〜（３）の処理を繰り返すことによって、ＣＭ候補区間を検出することができる。
【００２４】
図４は、この一連の処理をフローチャートとしてまとめたものである。まず、ステップ１０１において、無音区間の時間位置を取得する。次に、ステップ１０２において、取得した時間位置の一定時間前（１５秒前あるいは３０秒前、ここでは上述したように１５秒前を優先する）に無音区間があるかどうかを判定する。無音区間があれば、ステップ１０３において、その一定時間前の無音区間を開始点とし、注目している無音区間を終了点として、ＣＭ候補を出力する。すなわちＣＭ候補リストに記録する。その後ステップ１０４に移行する。ステップ１０２において無音区間でない場合には、そのままステップ１０４に移行する。ステップ１０４では、現在注目している無音区間が最後の無音区間であるかを判定し、最後の無音区間であればそのまま処理を終了し、最後の無音区間でない場合には、ステップ１０５において次の無音区間の時間位置を取得してステップ１０２に戻る。
【００２５】
以上の処理により、区間間隔一定箇所が抽出されることになる。
【００２６】
次に、ＣＭ放映区間判定部２３におけるＣＭの放映区間の判定の処理を説明する。図５は、この処理を示す概念図である。ここでは、ＣＭ候補リストよりＣＭ放映区間を選定する。ＣＭ放映区間とは、連続していくつかのＣＭが放送されている区間のことを指す。
【００２７】
上述した無音区間検出及び区間間隔一定箇所抽出の処理のみでは、ＣＭをまたがった誤検出も、ＣＭ候補とみなされてしまう。そこでこのＣＭ放映区間判定部２３は、まずＣＭ放映区間を抽出し、区間内で重複しているＣＭ候補を消去する処理を行う。この重複するＣＭ候補を消去する処理は、ＣＭ候補同士の時間間隔Δｔが一定値（例えば３０秒）を越える場合に一旦打ち切られ、一定の時間間隔以降に現れる最初のＣＭ候補は、次のＣＭ放映区間に属するものとして、再度処理が開始される。ここでの３０秒という値は、通常のＣＭとして（たまにしか放映されない長大なＣＭを除いて）考えられる最大の継続時間である。
【００２８】
図６は、このＣＭ放映区間判定の処理を示すフローチャートである。まず、ステップ１１１において、ＣＭ候補の開始点、終了点の双方の全てを時間軸上に点として時系列に配列する。そして、ステップ１１２において開始点の時間位置を取得し、ステップ１１３において、取得した時間位置と、次の点の時間位置との距離Δｔを計算する。ステップ１１４においてΔｔが一定時間長（３０秒）より長いかどうかを判定し、長い場合には、ステップ１１５において、その取得した時間位置を終了点として、次の点を開始点として出力し、ステップ１１６に移行する。またステップ１１４においてΔｔが一定時間長以下の場合には、そのままステップ１１６に移行する。ステップ１１６では、注目している点が最後の点であるかどうかを判定し、最後の点であれば処理を終了し、最後の点でなければ、ステップ１１７において、次の点の時間位置を取得して、ステップ１１３に戻る。
【００２９】
以上の処理により、ＣＭ放映区間の判定が行われる。
【００３０】
図７は、図３に示したＣＭ候補リストの各ＣＭ候補区間に対して、上述したＣＭ放映区間の判定を行った場合の処理を示している。図３に示したＣＭ候補区間から、ＣＭ放映区間として、0:01:30〜0:02:45と0:25:15〜0:26:30が抽出されることが分かる。
【００３１】
次に、連続性評価部２４における連続性評価によるＣＭ候補抽出（すなわちＣＭ区間推定）の処理を説明する。図８は、連続性評価によるＣＭ区間推定を説明する図である。図８において、無音区間を表す細長い矩形に付記されている数値は、この無音区間に引き続いて何個のＣＭ候補が連続しているか（連続ＣＭ候補数）を表している。ここでは、上述のＣＭ放映区間判定部２３で得られたＣＭ放映区間候補について、そのＣＭ放映区間候補内に含まれるＣＭ候補について以下の動作［１］〜［３］を繰り返す。
［１］  選択されたＣＭ候補の終点の、１５秒または３０秒後に無音区間が存在するか否かをチェックする。
［２］  ［１］において無音区間が存在した場合には、その次の１５秒または３０秒後にさらに無音が存在するか否かを順次チェックする。［１］において無音区間が存在しない場合には処理を打ち切る。
［３］  同様の処理を各無音区間につき行い、連続する１５秒または３０秒ごとの無音区間数の最も多い無音区間を選定する。
【００３２】
選定されたＣＭ候補を先頭とし、連続する１５秒または３０秒ごとの無音区間を区切りとしてＣＭ候補とする。
【００３３】
図９は、この連続性評価によるＣＭ区間推定の処理を示すフローチャートである。まず、ステップ１２１において、ＣＭ候補の終了点の時間位置を取得し、ステップ１２２において、取得した時間位置の一定時間後（１５秒後あるいは３０秒後）に終了点が存在するかを判定する。ここで終了点が存在する場合には、ステップ１２３において、注目しているＣＭ候補に対する連続ＣＭ候補数のカウントに１を加え、ステップ１２４において、一定時間後のその終了点の時間位置を取得して、ステップ１２２に戻る。一方、ステップ１２２において終了点が存在しない場合には、ステップ１２５において、注目しているＣＭ候補が最後のＣＭ候補であるかどうかを判定する。最後のＣＭ候補である場合には、ステップ１２６において、連続ＣＭ候補数が最も多いＣＭ候補を先頭とした、各連続ＣＭ候補を出力し、処理を終了する。また、ステップ１２５において最後のＣＭ候補でない場合には、ステップ１２７において、次のＣＭ候補の終了点の時間位置を取得し、ステップ１２２に戻る。
【００３４】
以上の処理により、ＣＭ放映区間から、連続する一連のＣＭ候補区間が抽出されることになる。
【００３５】
図１０は、図３に示す候補リストと図７で得られたＣＭ放映区間（0:01:30〜0:02:45）から、連続性判定により、どのように連続するＣＭ候補区間が抽出されたかを示している。この例では、連続するＣＭ候補区間として、0:01:30〜0:01:45、0:01:45〜0:02:00、0:02:00〜0:02:15、0:02:15〜0:02:30、0:02:30〜0:02:45の５個のＣＭ候補区間が抽出されている。
【００３６】
次に、映像信号からカット（シーンチェンジ）を抽出するための処理を説明する。ＣＭの放送区間推定のためには、カットを抽出する処理としては適宜のものを使用することができるが、この実施の形態では、ＣＭの放送区間推定の結果を用いて新作ＣＭのデータベースへの登録を行うことも視野に入れているため、フレーム特徴量に基づいて映像信号におけるカットを検出するようにしている。
【００３７】
映像信号は、まず、特徴量抽出部２５に入力する。特徴量抽出部２５は、映像信号から各フレームをキャプチャし、キャプチャした画像より、カット検出に用いる特徴量を生成する。フレーム特徴量としては各種のものが想定されるが、ここでは、ＭＰＥＧ(motion picture expert)‐７  ＦＣＤ（final committee draft；最終草稿）に採用されたカラーレイアウト記述子を用いる。なお、ＣＭをデータベースに登録する際のそのＣＭの特微量としても、ここで用いる特徴量と同じ特徴量が用いられることになる。
【００３８】
カット検出部２６は、特徴量算出部２５で得られた特徴量に対し、フレーム間で差分を行うことなどにより、カット検出を行う。特徴量に基づくカット検出の方法は、当業者に知られているように各種のものがあり、ここでは適宜にこれらの方法を選択して用いることができる。なお、カットの検出漏れを防ぐため、カット検出結果が過剰検出気味になるように、カット検出のためのパラメータを設定する。
【００３９】
以上のようにして、音声信号において無音区間に基づいてＣＭ候補区間が抽出され、映像信号からはカットが検出される。次に、信頼度判定部２７は、連続性評価部２４において抽出された各ＣＭ候補について、カット検出結果を用いて、ＣＭであるか否かを判定する。ＣＭである条件は以下のとおりである。
（ａ）ＣＭ候補の開始点および終了点近辺にカットが存在する。
（ｂ）ＣＭ候補の前後のいずれかにＣＭが存在する。
【００４０】
（ａ）の判定は、開始点の数フレーム前から数フレーム後まで調査を行い、カットが存在した場合、１５秒または３０秒後にもカットが存在するか否かをチェツクする。開始カットに対応した終了カットが存在した場合、（ｂ）の調査に移る。（ｂ）では、開始カットの１５秒または３０秒前におけるカットの有無、または終アカットの１５秒または３０秒後におけるカットの有無を調べ、いずれか一方にカットが存在する場合、入力されたＣＭ候補をＣＭと認めることになる。
【００４１】
一方、ＣＭ開始位置も同時に決定する。数フレーム前から数フレーム後まで調査している関係で、検出されるＣＭの位置が実際に放送されている位置と比較して数フレームずれる可能性がある。このため、調査の段階で上記（ａ），（ｂ）の条件を満たしたものを即座にＣＭとするのではなく、ＣＭである信頼度を算出しておき、全ての調査対象フレームの処理がすんだ時点で最もＣＭ信頼度の高い区間を選択する方法を採用する。ここで、ＣＭである信頼度の算出は、以下の２つのパラメータを利用し、信頼度を得点として計算する。
・ＣＭに隣接するＣＭの数に比例して加点。
・開始カットと終了カットの時間間隔の評価。１５秒ちょうどまたは３０秒ちょうどに近づくほど加点する（数フレームのずれを許容しながら隣接ＣＭを調査していく際に、ずれを評価値として加える）。
【００４２】
図１１は、この信頼度判定部２７の処理を示すフローチャートである。まず、ステップ１３１において、ＣＭ候補の開始点及び終了点の時間位置を取得し、ステップ１３２において、開始点周辺におけるカット点フレームの有無を調査し、ステップ１３３において、各カット点フレームについて、一定時間間隔で連続するカット点の数、時間間隔の一定値（１５秒または３０秒）からのずれを求め、ＣＭ候補の信頼度を求める。そして、ステップ１３４において、最も高い信頼度の値が、予め定めたしきい値ｔｈを上回るかどうかを判定する。上回っていた場合には、ステップ１３５において、最も高い信頼度値を有するカット点フレームをＣＭ開始点として出力し、処理を終了する。一方、ステップ１３４において上回っていなかった場合には、ステップ１３６において、入力されたＣＭ候補はＣＭではないと判定し、処理を終了する。
【００４３】
以上のようにして、この実施の形態のコマーシャル検出装置は、最終的に、ＣＭ区間の推定結果を出力する。
【００４４】
次に、このコマーシャル検出装置を用いて実際にＣＭの検出を行った実験結果について説明する。まず、カット及び無音区間の一方を用いてＣＭ推定を行う実験の結果を説明する。
【００４５】
実験１
検出されたカット及び検出された無音区間に対し、上述の区間間隔一定箇所の抽出、ＣＭ放映区間の判定及び連続性の評価の各処理を行った場合に、ＣＭ区間が正しく推定されているかを実験した。実験は、２０００年４月６日のＡＭ０：００〜２：００に東京地区の第４チャンネルにおいて放送された映像に対して行った。この時間帯に放映されたＣＭは実際には８９個であり、検出対象のＣＭは１５秒または３０秒の長さのものに限っている。カット（映像信号）については、上述の特徴量抽出部２５及びカット検出部２６での処理によって検出されたカット位置に対し、区間間隔一定箇所抽出部２２、ＣＭ放映区間判定部２３及び連続性評価部２４での各処理アルゴリズムを適用した。無音区間（音声信号）については、上述のコマーシャル検出装置における連続性評価部２４の出力をそのまま評価対象とした。結果を表１に示す。なお、結果については、カット、無音区間それぞれ２度テストを行い、その平均値を採用した。
【００４６】
【表１】
0004697371.tif 000002
【００４７】
表１より、カットを利用する場合に比べて無音区間を利用する場合の方が、高い検出率、低い誤検出率が得られることが分かる。一方、未検出の原因としては、（１）ＣＭ放映区間判定の処理において、２つ以上のＣＭ放映区間を１つのＣＭ放映区間として検出してしまうこと、（２）無音区間未検出による検出もれ、が考えられる。
【００４８】
図１２は、２つ以上のＣＭ放映区間を１つのＣＭ放映区間として検出したことによるＣＭ未検出を説明する図である。実際には２つ以上のＣＭ放映区間が存在するにもかかわらず、ＣＭ放映区間の間隔が３０秒未満であるために、複数のＣＭ放映区間を１つのＣＭ放映区間として検出する場合が存在する。これは、ＣＭ放映区間の間に、数秒（例えば５秒程度）の長さの番組（本編）のエンディングが流れる場合等に生じる。１つのＣＭ放映区間として検出された場合、最もＣＭの多いＣＭ放送区間のＣＭ候補のみが検出され、その他の区間については未検出となってしまう。
【００４９】
そこで、このような場合におけるＣＭ候補が未検出となることへの対策として、図１３に示すように、以下に述べるようなものがある。
［１］ＣＭ候補の連続性評価の際に、先頭の無音区間から順番にチェックを行う。
［２］ＣＭ候補が連続する場合、連続する最後のＣＭ候補の終点位置を記憶しておく。
［３］現在評価するＣＭ候補の開始点が評価済みのＣＭ候補に対する終点位置より後ろかチェックし、後ろであれば一度カウントを打切り、ＣＭ候補抽出処理を行う。
［４］現在評価するＣＭ候補の開始点より再び［１］〜［３］の処理を行う。
【００５０】
この対策を上述のコマーシャル検出装置に組み込む場合には、連続性評価部２４において連続性を評価する際に、［１］〜［４］の処理を実行するようにすればよい。
【００５１】
図１４は、無音区間未検出によるＣＭ未検出を説明する図である。ＣＭ放映区間に含まれる最後のＣＭと番組（本編）との間に無音区間が存在しない場合や、番組（本編）とＣＭ放映区間に含まれる最初のＣＭとの間に無音区間が存在しない場合があり、さらには、無音検知方法の問題で無音区間が未検出となる場合がある。このような場合には、ＣＭ、特に最後尾や最先頭のＣＭを落としてしまう場面が見られる。図１４は、ＣＭ放映区間に含まれる最後のＣＭと番組との間に無音区間が存在しない場合の例を示している。
【００５２】
そこで、このような場合におけるＣＭが未検出となることへの対策として、図１５に示すように、以下に述べるようなものがある。
【００５３】
［１］検出されるＣＭ候補の最後尾に１つＣＭ候補を追加する（ＣＭの長さは未定とする）。
【００５４】
［２］追加したＣＭ候補に対しては、１５秒ＣＭ、３０秒ＣＭの双方と仮定して、特徴量抽出、カット検出及び信頼度判定の各処理を実行する。ただし、カット検出に際しては、通常よりも大幅に過小検出となるような検出パラメータを用い、また、信頼度の算出に際しても、通常よりも大幅にしきい値を高くして、ＣＭ候補として検出され難くする。大抵のものは、カットを利用した判定で落とされることになる。
【００５５】
実験２
未検出ＣＭへの以上の２通りの対策を加え、再び実験を行った。実験条件は実験１と同様であるが、無音区間についてのみ実験を行った。表２に対策前、対策後の検出性能比較結果を示す。
【００５６】
【表２】
0004697371.tif 000003
【００５７】
未検出ＣＭへの対策を導入することにより、未検出ＣＭの数を２つに減らすことができた。一方、誤検出ＣＭの数が２つ増加した。この未検出ＣＭは、無音検出に失敗したため生じたものである。
【００５８】
次に、カット及び無音区間の双方を用いてＣＭを推定する実験を行った。
【００５９】
実験３
無音区間によりＣＭ候補を絞り込みカットを用いて検証する本実施の形態のコマーシャル検出装置を用い、ＣＭ推定実験を行った。実験は、２０００年４月６日のＡＭ０：００〜２：００に東京地区の第４チャンネルにおいて放送された映像に対して行った。この時間帯に放映されたＣＭは実際には８９個であり、これらのＣＭについて検知実験を行った結果を表３に示す。なお、実験２で述べた未検出ＣＭに対する２通りの対策を導入して実験を行った。
【００６０】
【表３】
0004697371.tif 000004
【００６１】
無音区間のみでＣＭ推定を行う場合に比べ、無音区間＋カットを用いた場合、正常検出を減らすことなく誤検出を１７個→２個と大幅に減らすことができた。
【００６２】
実験４
次に、異なる時間帯の映像を加えて、本実施の形態のコマーシャル検出装置によるＣＭ推定実験を行った。実験は、２０００年４月６日のＡＭ０：００〜６：００に東京地区の第４チャンネルにおいて放映された全２１９個のＣＭを対象とした。その結果を表４に示す。
【００６３】
【表４】
0004697371.tif 000005
【００６４】
表４より、実際に流れたＣＭのうち約９８％が正しく検出されていることが分かる。また、誤検出の数を３つに抑えることができた。検出性能８０％程度だったこれまでのビデオ信号を用いたＣＭ検出システムに比べ、大幅に性能を向上させることができた。
【００６５】
以上説明したように、無音区間とカットの組合せの導入及びＣＭの連続性に着目し、無音区間の位置及び連続性評価によりＣＭ候補を抽出し、カットの存在位置によりその信頼度を算出することにより、ＣＭ区間推定性能９８％と、ビデオ信号のみによる推定性能８０％に比べ、大幅に性能を向上させることができた。
【００６６】
なお、上記のコマーシャル検出システムでは、無音区間の位置及び連続性評価によりＣＭ候補を抽出し、カットの存在位置によりその信頼度を算出しているが、多少検出精度が低下するものの、カットと無音区間との適用の仕方を逆にすることも可能である。具体的には、カットの時間位置を検出し、このカットの時間位置に対して、区間間隔一定箇所を抽出し、ＣＭ放映区間を判定し、連続性評価によるＣＭ候補抽出を行う。そして、検出された無音区間を用いて、抽出されたＣＭ候補の信頼度判定を行う。すなわち、カットから抽出されたＣＭ候補に対し、ＣＭ候補の開始点及び終了点近辺に無音区間が存在し、ＣＭ候補の前後のいずれかにＣＭが存在するかどうかで、信頼度を算出し、算出された信頼度に基づいてＣＭ候補を出力する。
【００６７】
次に、新作ＣＭをデータベースに登録するための構成を説明する。この構成は、テレビジョン放送におけるＣＭを例えば上述したコマーシャル検出装置を用いて自動抽出し、既存のＣＭとの照合によりＣＭの新旧判定を行い、新作ＣＭのみをデータベースへ自動登録していくことを可能とするものである。図１６は、新作ＣＭをデータベースに登録するシステムを示すブロック図である。
【００６８】
このシステムは、上述のコマーシャル検出装置と組み合わされて使用されるものであって、コマーシャル検出装置の構成要素の一部分（具体的には特徴抽出部２５）を共有しており、テレビジョン放送波を受信する受信部１１からのテレビジョン映像信号あるいは予め蓄積部１２に蓄積された放送データ（映像信号）を入力とする。そして、この映像信号からフレーム特徴量を抽出する特徴量抽出部２５と、抽出された特徴量を保存する番組特徴量保存データベース４１と、ＣＭを登録するＣＭデータベース４２と、コマーシャル検出装置でのＣＭ検出結果に基づき、ＣＭ部分の特徴量を切り出す切り出し部４３と、切り出されたＣＭとＣＭデータベース４２に既に登録されているＣＭとを照合して新作ＣＭを判定する新作ＣＭ判定部４４と、新作ＣＭと判定されたＣＭについて検出漏れをチェックするための放送履歴確認部４５と、確かに新作ＣＭであると確認されたＣＭについて、名前やタイトルを付けてＣＭデータベース４２に登録するＣＭ登録部４６と、を備えている。特徴量抽出部２５には、画像信号フレームをキャプチャするキャプチャ部５１と、キャプチャされたフレームから特徴量を算出する特徴量計算部５２とが設けられている。
【００６９】
次に、図１６に示すシステムの動作を説明する。ここでは、フレームから抽出される特徴量として、上述のコマーシャル検出装置の場合と同様に、ＭＰＥＧ−７  ＦＣＤのカラーレイアウト識別子が用いられるものとする。もちろん、他の特徴量を使用するようにしてもよい。
【００７０】
特徴量抽出部２５において、キャプチャ部５１が、入力される映像信号（放送波）からフレームをキャプチャし、特徴量計算部５２が、各フレームより特徴量としてカラーレイアウト記述子を抽出する。このとき呼び出し時間情報として放送時刻も求め、呼び出し時間情報及び特徴量を逐次、特徴量データとして番組特徴量保存データベース４１に保存する。
【００７１】
次に、切り出し部４３において、コマーシャル検出装置から入力するＣＭ検出結果（ＣＭ候補データ）に基づき、番組の特徴量データのうち、ＣＭ部分の特徴量データを切り出す。
【００７２】
次に、新作ＣＭ判定部４４において、切り出し部４３において切り出されたＣＭとＣＭデータベース４２に既に登録されているＣＭとを照合して、その切り出されたＣＭが新作ＣＭであるかどうかを判定する。ＣＭデータベース４２には、ＣＭが登録されており、各ＣＭに対して、それぞれＣＭ区間の特徴量、画像データ及び内容を示すメタデータが保持されている。切り出し部４３により切り出されたＣＭ候補の特徴量は、ＣＭデータベース４２に登録されている各ＣＭの特徴量と照合される。同一とみなされるＣＭがＣＭデータベース４２中に存在しない場合に、そのＣＭを新作ＣＭ候補とする。ＣＭの照合では、各ＣＭの先頭同士から順に照合するだけではなく、一方のＣＭの先頭位置をずらした照合も行う。
【００７３】
このようにして新作ＣＭ候補が抽出される。
【００７４】
次に、抽出された新作ＣＭ候補が本当に新作ＣＭであるかどうかを確認するために、放送履歴確認部４５において、過去にそのＣＭが放送されたかどうかを確認する。上述したコマーシャル検出システムであっても、いくばくかのＣＭの抽出漏れは避けられないため、新ＣＭ候補が検出された時点ですでにそのＣＭが放送されている可能性があり、ＣＭ放送履歴に漏れが生じることになる。そこで放送履歴確認部４５は、新作ＣＭ判定部４４により抽出された新ＣＭ候補と、番組特徴量保存データベース４１に保存されている番組特徴量全体との照合を行い、ＣＭの放送された回数およびその放送時間帯をチェックする。
【００７５】
放送履歴確認部４５によって新作ＣＭであると確認されたＣＭは、ＣＭ登録部４６によって、名前やタイトルを付けてＣＭデータベース４２に登録される。
【００７６】
また、放送履歴確認部４５を介さず、新作ＣＭ候補を全て登録することにより、放映された全ての新作ＣＭをＣＭデータベース４２に登録することが可能となる。
【００７７】
次に、この新作ＣＭ登録システムについて行った実験を説明する。同一ＣＭの有無を調べる実験を、約１週間にわたる１チャンネル分の放送波を利用して行った。予め放送回数のわかっている３０個のＣＭに対して実験を行ったところ、過剰検出も未検出もなく放送された時間及び回数をすべて正確に検出できた。
【００７８】
このように、この新作ＣＭ登録システムによれば、テレビジョン放送におけるＣＭを自動抽出し、既存のＣＭとの照合によりＣＭの新旧判定を行い、新作ＣＭのみをデータベースへ自動登録していくことが可能である。
【００７９】
また、この新作ＣＭシステムによれば、一定期間の間に初めて登場したＣＭのリスト、また全新作ＣＭのリストを作成することが可能である。
【００８０】
以上、本発明の好ましい実施の形態について説明したが、本発明が適用されるテレビジョン放送は、地上波でのテレビジョン放送に限定されるものではなく、衛星テレビジョン放送あるいはケーブルテレビジョン（ＣＡＴＶ）放送であってもよい。さらには、ネットワークを介してブロードキャストされる映像情報、例えば、インターネットなどのネットワークを介して送信される映像コンテンツをも含むものである。
【００８１】
【発明の効果】
以上説明したように本発明は、テレビジョン放送から精度よくＣＭ区間を推定できるようになるとともに、新作ＣＭを自動的にデータベースに登録できるようになる、という効果がある。
【図面の簡単な説明】
【図１】本発明の好ましい実施の形態のコマーシャル検出装置の構成を示すブロック図である。
【図２】区間間隔一定箇所抽出部における無音区間からのＣＭ候補抽出を示す概念図である。
【図３】ＣＭ候補リストの一例を示す図である。
【図４】区間間隔一定箇所抽出部における区間間隔一定箇所抽出の処理を説明するフローチャートである。
【図５】ＣＭ放映区間判定部におけるＣＭの放映区間の判定を示す概念図である。
【図６】ＣＭ放映区間判定部におけるＣＭの放映区間の判定の処理を示すフローチャートである。
【図７】図３に示すＣＭ候補区間に対してＣＭの放映区間の判定を行った例を示す図である。
【図８】連続性評価部における連続性評価によるＣＭ候補抽出（ＣＭ区間推定）を示す概念図である。
【図９】連続性評価部における連続性評価によるＣＭ候補抽出の処理を示すフローチャートである。
【図１０】図３に示すＣＭ候補区間と図７に示されるＣＭ放映区間に基づき、連続性評価によるＣＭ候補抽出を行った例を示す図である。
【図１１】信頼度判定部において最終的にＣＭ候補区間を候補データとして出力する処理を示すフローチャートである。
【図１２】ＣＭが未検出となる原因の１つを説明する図である。
【図１３】ＣＭが未検出となることへの対策を説明する図である。
【図１４】ＣＭが未検出となる別の原因を説明する図である。
【図１５】ＣＭが未検出となることへの対策を説明する図である。
【図１６】新作ＣＭを登録するためのシステムの構成を示す図である。
【図１７】音声多重モードを利用した従来のＣＭ区間検出方法を説明する図である。
【図１８】無音区間及びシーンチェンジを利用した従来のＣＭ区間検出方法を説明する図である。
【符号の説明】
１１    受信部
１２    蓄積部
２１    無音区間検出部
２２    区間間隔一定箇所抽出部
２３    ＣＭ放映区間判定部
２４    連続性評価部
２５    特徴量抽出部
２６    カット検出部
２７    信頼度判定部
３１    無音区間リスト保持部
３２    ＣＭ候補リスト保持部
３３    カット保持部
４１    番組特徴量保存データベース
４２    ＣＭデータベース
４３    切り出し部
４４    新作ＣＭ判定部
４５    放送履歴確認部
４６    ＣＭ登録部
５１    キャプチャ部
５２    特徴量計算部
【図１】
0004697371.tif 000006
【図２】
0004697371.tif 000007
【図３】
0004697371.tif 000008
【図４】
0004697371.tif 000009
【図５】
0004697371.tif 000010
【図６】
0004697371.tif 000011
【図７】
0004697371.tif 000012
【図８】
0004697371.tif 000013
【図９】
0004697371.tif 000014
【図１０】
0004697371.tif 000015
【図１１】
0004697371.tif 000016
【図１２】
0004697371.tif 000017
【図１３】
0004697371.tif 000018
【図１４】
0004697371.tif 000019
【図１５】
0004697371.tif 000020
【図１６】
0004697371.tif 000021
【図１７】
0004697371.tif 000022
【図１８】
0004697371.tif 000023