(57)【要約】【課題】  放送局とは独立した第三者が依頼主へ報告するための放送確認を安価に行える放送確認システムを構築する。【解決手段】  ＣＭ特徴量抽出手段２２は受信設備２１により受信した放送信号からＣＭに該当する区間の特徴量２４を抽出する。照合部２３はこの特徴量２４をＤＢ３に登録されているＣＭの特徴量と照合して、ＤＢ３に含まれないと判断したＣＭの特徴量２４を新ＣＭとしてＤＢ３に登録する。また、特徴量算出部４２は受信設備４１より受信した放送波から特徴量４４を抽出し、照合手段４３はこの特徴量４４とＤＢ３に蓄えられたＣＭの特徴量を照合する。両者が一致した場合、照合部４は照合結果４５を記録部５に送出し、記録部５が照合結果４５からレポート５１を作成して依頼主１に提出し、放送確認業者６はレポート５１の対価として放送確認委託料１１を受け取る。【選択図】    図１
2005198326.tif 000002
【特許請求の範囲】
【請求項１】
映像を含むコンテンツの映像を確認する映像確認装置であって、
映像信号から前記コンテンツの特徴量を抽出するコンテンツ特徴量抽出手段と、
映像信号から特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量と前記コンテンツ特徴量抽出手段により抽出された特徴量とを照合する照合手段と、
該照合によって得られた照合結果を記録する記録手段とを備え、
前記特徴量算出手段は、
コンテンツの映像データに含まれる全てまたは一部のフレームについて縮小画像を生成し、該縮小画像に対して周波数変換および量子化を施すことによって前記特徴量を生成することを特徴とする映像確認装置。
【請求項２】
前記コンテンツの特徴量を蓄える蓄積手段をさらに備えたことを特徴とする請求項１に記載の映像確認装置。
【請求項３】
映像を含むコンテンツの放送を確認する放送確認装置であって、
放送信号から前記コンテンツの特徴量を抽出するコンテンツ特徴量抽出手段と、
放送信号から特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量と前記コンテンツ特徴量抽出手段により抽出された特徴量とを照合する照合手段と、
該照合によって得られた照合結果を記録する記録手段とを備え、
前記特徴量算出手段は、
コンテンツの映像データに含まれる全てまたは一部のフレームについて縮小画像を生成し、該縮小画像に対して周波数変換および量子化を施すことによって前記特徴量を生成することを特徴とする放送確認装置。
【請求項４】
前記コンテンツの特徴量を蓄える蓄積手段をさらに備えたことを特徴とする請求項３に記載の放送確認装置。
【請求項５】
映像を含むコンテンツの映像を確認する映像確認方法であって、
映像信号から前記コンテンツの特徴量を抽出するコンテンツ特徴量抽出手順と、
映像信号から特徴量を算出する特徴量算出手順と、
前記特徴量算出手順により算出された特徴量と前記コンテンツ特徴量抽出手順により抽出された特徴量とを照合する照合手順と、
該照合によって得られた照合結果を記録する記録手順とを含み、
前記特徴量算出手順において、コンテンツの映像データに含まれる全てまたは一部のフレームについて縮小画像を生成し、該縮小画像に対して周波数変換および量子化を施すことによって前記特徴量を生成することを特徴とする映像確認方法。
【請求項６】
前記コンテンツの特徴量を蓄える蓄積手順をさらに含むことを特徴とする請求項５に記載の映像確認方法。
【請求項７】
映像を含むコンテンツの放送を確認する放送確認方法であって、
放送信号から前記コンテンツの特徴量を抽出するコンテンツ特徴量抽出手順と、
放送信号から特徴量を算出する特徴量算出手順と、
前記特徴量算出手順により算出された特徴量と前記コンテンツ特徴量抽出手順により抽出された特徴量とを照合する照合手順と、
該照合によって得られた照合結果を記録する記録手順とを含み、
前記特徴量算出手順において、コンテンツの映像データに含まれる全てまたは一部のフレームについて縮小画像を生成し、該縮小画像に対して周波数変換および量子化を施すことによって前記特徴量を生成することを特徴とする放送確認方法。
【請求項８】
前記コンテンツの特徴量を蓄える蓄積手順をさらに含むことを特徴とする請求項７に記載の放送確認方法。
【請求項９】
映像を含むコンテンツの映像を確認するコンピュータプログラムを記録したコンピュータ読取可能な記録媒体であって、
前記コンピュータプログラムは、
映像信号から前記コンテンツの特徴量を抽出するコンテンツ特徴量抽出手順と、
映像信号から特徴量を算出する特徴量算出手順と、
前記特徴量算出手順により算出された特徴量と前記コンテンツ特徴量抽出手順により抽出された特徴量とを照合する照合手順と、
該照合によって得られた照合結果を記録する記録手順とをコンピュータに実行させるコンピュータプログラムであり、
前記特徴量算出手順において、コンテンツの映像データに含まれる全てまたは一部のフレームについて縮小画像を生成し、該縮小画像に対して周波数変換および量子化を施すことによって前記特徴量を生成することを特徴とするコンピュータプログラムを記録した記録媒体。
【請求項１０】
前記コンピュータプログラムは、前記コンテンツの特徴量を蓄える蓄積手順をさらにコンピュータに実行させることを特徴とする請求項９に記載のコンピュータプログラムを記録した記録媒体。
【請求項１１】
映像を含むコンテンツの放送を確認するコンピュータプログラムを記録したコンピュータ読取可能な記録媒体であって、
前記コンピュータプログラムは、
放送信号から前記コンテンツの特徴量を抽出するコンテンツ特徴量抽出手順と、
放送信号から特徴量を算出する特徴量算出手順と、
前記特徴量算出手順により算出された特徴量と前記コンテンツ特徴量抽出手順により抽出された特徴量とを照合する照合手順と、
該照合によって得られた照合結果を記録する記録手順とをコンピュータに実行させるコンピュータプログラムであり、
前記特徴量算出手順において、コンテンツの映像データに含まれる全てまたは一部のフレームについて縮小画像を生成し、該縮小画像に対して周波数変換および量子化を施すことによって前記特徴量を生成することを特徴とするコンピュータプログラムを記録した記録媒体。
【請求項１２】
前記コンピュータプログラムは、前記コンテンツの特徴量を蓄える蓄積手順をさらにコンピュータに実行させることを特徴とする請求項１１に記載のコンピュータプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像確認装置および方法、放送確認装置および方法、コンピュータプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
コマーシャル（以下「ＣＭ」と記すことがある）放送は、広告主や広告代理店などの依頼主が放送局と契約を結び、放送局が依頼主から提供を受けた音声データやビデオデータを番組の合間に放送するものである。コマーシャルの放送時間は大まかに決まってはいるものの、番組のスケジュール自体が緊急ニュースや番組自身の都合で変更されることが多いために、厳密には決められてはいない。
【０００３】
依頼主にとって、放送を委託したコマーシャルが意図した時間に希望した本数分だけ放送されたか否かを知ることは重要である。現在、放送局は月末ごとに放送確認書を依頼主に提出することで、契約通りの放送が行われたことを保証するシステムになっている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、放送確認書の内容は放送局側の自己申告であって第三者による検証を経たものではない。こうしたシステムは商習慣によって支えられてきたものであるため、契約と異なる放送を行いながら、実態と異なる放送確認書を出す等の不正が行われても依頼主側で容易にチェックすることは出来ない。現に、そうした不正があったことがニュースとして報じられてもいる。
【０００５】
従来、契約通りに放送が為されたかどうかを確認するための方法としては、人間が放送を目視しながらチェックするということが一般的に行われてきている。
しかし、こうした方法はコストが高くつくという問題がある上に、チェックすべきチャンネル数やコマーシャルの量が増えるとそれだけチェックを行う人間も増やす必要がある。しかも、目視する人間の体調によって検証精度が上下するという問題もある。また、広告主にとっては、自社のコマーシャルだけに留まらず、ライバル会社や他業種のコマーシャルの放送実績を調査することがマーケティング上の理由から必要となることもあるが、上記のような方法ではやはりコストが高くつく。
【０００６】
以上のような話は、コマーシャル以外の映像配信についても同様である。例えば、ニュース映像にソース放送局のロゴを入れてそのまま外国の他局で配信することは今日ではよく行われている。しかし、コマーシャルと同様に、何時何処で何回放映されたのかをソース放送局が把握するシステムは整備されていない。このため、ソース放送局としては、ニュース映像の配信を受けた他局の報告を信じるか、コマーシャルの場合と同様にして人間による目視に頼るしかなかったという問題がある。
【０００７】
こうしたことから、放送確認を行うためのシステムとして例えば特開平７−７９２０６号公報などに開示された放送確認技術が提案されている。この技術によれば、テレビ放送の受信音声が無音となり、且つ映像が大幅に変化したことをもってＣＭの開始又は終了と判断して、これらの間の音声信号を抜き出し、予め蓄積しておいた音声信号と比較することによって、放送されたＣＭの自動識別を行っている。
【０００８】
しかし、音声照合だけで放送確認をすると次のような問題が生じてくる。すなわち、ある種のドリンク剤や清涼飲料水のＣＭでは幾つものバージョンが存在しているが、それらのＣＭは音声が全て同じであって画像だけが変わっている。このような場合、音声認識による放送確認ではバージョンの違いを判別できないため、ＣＭのバージョンを新しくした場合に古いバージョンのＣＭが流されていてもそれを判別することができない。
【０００９】
また、特開昭５６−８９３８号公報には、スポンサとの契約通りにＣＭが放送されたかを確認するために、ＣＭ放送に挿入しておいた識別番号を検出して、契約通りの時間帯，回数，日時で検知されたかをチェックするシステムが開示されている。しかし、このような識別番号はそれぞれの放送局毎に決められているものであり、他社のＣＭの放送確認を行うことができないなどの不具合がある。
【００１０】
本発明は上述した事情に鑑みてなされたものであって、その目的は、放送局や依頼主とは独立した第三者が、依頼主へ報告するためのコマーシャルやニュース映像などのコンテンツについての放送確認を人手に頼らず安価に行うことが可能な放送確認システムを提供することにある。また、本発明の目的はこうした放送確認システムに適用される放送確認装置，放送確認方法及びこれらを実現するコンピュータプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、本発明に係る映像確認装置は、映像を含むコンテンツの映像を確認する映像確認装置であって、映像信号から前記コンテンツの特徴量を抽出するコンテンツ特徴量抽出手段と、映像信号から特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量と前記コンテンツ特徴量抽出手段により抽出された特徴量とを照合する照合手段と、該照合によって得られた照合結果を記録する記録手段とを備え、前記特徴量算出手段は、コンテンツの映像データに含まれる全てまたは一部のフレームについて縮小画像を生成し、該縮小画像に対して周波数変換および量子化を施すことによって前記特徴量を生成することを特徴とする。
【００１２】
本発明に係る映像確認装置においては、前記コンテンツの特徴量を蓄える蓄積手段をさらに備えたことを特徴とする。
【００１３】
本発明に係る放送確認装置は、映像を含むコンテンツの放送を確認する放送確認装置であって、放送信号から前記コンテンツの特徴量を抽出するコンテンツ特徴量抽出手段と、放送信号から特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量と前記コンテンツ特徴量抽出手段により抽出された特徴量とを照合する照合手段と、該照合によって得られた照合結果を記録する記録手段とを備え、前記特徴量算出手段は、コンテンツの映像データに含まれる全てまたは一部のフレームについて縮小画像を生成し、該縮小画像に対して周波数変換および量子化を施すことによって前記特徴量を生成することを特徴とする。
【００１４】
本発明に係る放送確認装置においては、前記コンテンツの特徴量を蓄える蓄積手段をさらに備えたことを特徴とする。
【００１５】
本発明に係る映像確認方法は、映像を含むコンテンツの映像を確認する映像確認方法であって、映像信号から前記コンテンツの特徴量を抽出するコンテンツ特徴量抽出手順と、映像信号から特徴量を算出する特徴量算出手順と、前記特徴量算出手順により算出された特徴量と前記コンテンツ特徴量抽出手順により抽出された特徴量とを照合する照合手順と、該照合によって得られた照合結果を記録する記録手順とを含み、前記特徴量算出手順において、コンテンツの映像データに含まれる全てまたは一部のフレームについて縮小画像を生成し、該縮小画像に対して周波数変換および量子化を施すことによって前記特徴量を生成することを特徴とする。
【００１６】
本発明に係る映像確認方法においては、前記コンテンツの特徴量を蓄える蓄積手順をさらに含むことを特徴とする。
【００１７】
本発明に係る放送確認方法は、映像を含むコンテンツの放送を確認する放送確認方法であって、放送信号から前記コンテンツの特徴量を抽出するコンテンツ特徴量抽出手順と、放送信号から特徴量を算出する特徴量算出手順と、前記特徴量算出手順により算出された特徴量と前記コンテンツ特徴量抽出手順により抽出された特徴量とを照合する照合手順と、該照合によって得られた照合結果を記録する記録手順とを含み、前記特徴量算出手順において、コンテンツの映像データに含まれる全てまたは一部のフレームについて縮小画像を生成し、該縮小画像に対して周波数変換および量子化を施すことによって前記特徴量を生成することを特徴とする。
【００１８】
本発明に係る放送確認方法においては、前記コンテンツの特徴量を蓄える蓄積手順をさらに含むことを特徴とする。
【００１９】
本発明に係るコンピュータプログラムを記録した記録媒体は、映像を含むコンテンツの映像を確認するコンピュータプログラムを記録したコンピュータ読取可能な記録媒体であって、前記コンピュータプログラムは、映像信号から前記コンテンツの特徴量を抽出するコンテンツ特徴量抽出手順と、映像信号から特徴量を算出する特徴量算出手順と、前記特徴量算出手順により算出された特徴量と前記コンテンツ特徴量抽出手順により抽出された特徴量とを照合する照合手順と、
該照合によって得られた照合結果を記録する記録手順とをコンピュータに実行させるコンピュータプログラムであり、前記特徴量算出手順において、コンテンツの映像データに含まれる全てまたは一部のフレームについて縮小画像を生成し、該縮小画像に対して周波数変換および量子化を施すことによって前記特徴量を生成することを特徴とする。
【００２０】
本発明に係るコンピュータプログラムを記録した記録媒体においては、前記コンピュータプログラムは、前記コンテンツの特徴量を蓄える蓄積手順をさらにコンピュータに実行させることを特徴とする。
【００２１】
本発明に係るコンピュータプログラムを記録した記録媒体は、映像を含むコンテンツの放送を確認するコンピュータプログラムを記録したコンピュータ読取可能な記録媒体であって、前記コンピュータプログラムは、放送信号から前記コンテンツの特徴量を抽出するコンテンツ特徴量抽出手順と、放送信号から特徴量を算出する特徴量算出手順と、前記特徴量算出手順により算出された特徴量と前記コンテンツ特徴量抽出手順により抽出された特徴量とを照合する照合手順と、該照合によって得られた照合結果を記録する記録手順とをコンピュータに実行させるコンピュータプログラムであり、前記特徴量算出手順において、コンテンツの映像データに含まれる全てまたは一部のフレームについて縮小画像を生成し、該縮小画像に対して周波数変換および量子化を施すことによって前記特徴量を生成することを特徴とする。
【００２２】
本発明に係るコンピュータプログラムを記録した記録媒体においては、前記コンピュータプログラムは、前記コンテンツの特徴量を蓄える蓄積手順をさらにコンピュータに実行させることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、映像を含むコンテンツ放送の実施状態を確認することができる。また、特徴量を登録しておくためのデータベースなどを小規模にできるとともに、コンテンツデータそのものを照合する場合に比べて照合に要する時間を大幅に削減することが可能である。さらに、一度放映されたコンテンツは自動登録され、次回から照合の対象となるため、他社コンテンツも含め一度放映されたどのコンテンツを調査するような場合であっても、放送確認を容易に行うことができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して本発明の各実施形態について順次説明してゆく。
〔第１実施形態〕
図１は、本発明の第１実施形態による放送確認システムの構成を示すブロック図である。同図において、放送確認業者６は依頼主１の希望するＣＭの放送確認レポート（以下、レポートと記す）５１を報告する。放送確認業者６は照合基地７を保有しており，照合基地７はＣＭ登録部２、ＣＭデータベース（以下、ＤＢと記す）３、ＣＭ照合部４、及び記録部５から構成されている。
【００２５】
ＣＭ登録部２は、放送を受信するための受信設備２１、ＣＭ特徴量抽出部２２、及び照合部２３から構成される。受信設備２１は、アンテナ、チューナなどで構成される。このＣＭ登録部２において、ＣＭ特徴量抽出部２２は、受信設備２１により受信した放送信号からＣＭに該当する区間の特徴量２４を抽出する。照合部２３は、この得られた特徴量２４をＤＢ３に登録されているＣＭの特徴量と照合し、この照合の結果、ＤＢ３に含まれないと判断したＣＭの特徴量２４を新ＣＭの特徴量としてＤＢ３に登録する。
なお、上記放送はテレビ放送，ラジオ放送のいずれで行ってもよく、また、無線，有線を問わない。ただし、従来の放送確認システムのように、テレビ放送でのＣＭ放送確認において音声による照合だけでは、ＣＭの識別に関して不十分な面があるため、本実施形態をテレビ放送に適用するほうがより有用である。
なお、上記照合部２３が、特徴量２４をＤＢ３へ登録する際、ＣＭ特徴量抽出部２２により抽出された全てまたは一部のＣＭの特徴量２４をそのまま登録するようにしてもよい。
【００２６】
ＤＢ３は、個々のＣＭを識別するためのＩＤ（Identifier；識別子），人間がＣＭの内容を一見して分かるようにするためのタイトル，ＣＭの特徴量で構成されている。いま、コンテンツが例えばＣＭであるとする。この場合、ＩＤは、ＣＭをＤＢ３へ登録するときに逐一発行するものであって、シリアルかつユニークに与えられる番号である。また、タイトルはＣＭで流される個々の商品名などである。さらに、特徴量は１秒間に１６バイト、１０秒であれば１６０バイト、３０秒であれば４８０バイト程度の情報であって、ＤＢ３にはこれらの情報が多数並べられている。
【００２７】
ここで、受信した放送信号からＣＭに該当する区間の特徴量を抽出するための一実現手法について詳述する。ＣＭ特徴量抽出部２２はＣＭ抽出部２２１（図示せず）と特徴量算出部２２２（図示せず）から構成される。ＣＭ抽出部２２１は、入力された放送信号からＣＭに該当する区間を抽出する。この手法としては、従来より広く知られている、テレビ放送の受信音声が無音となることをもってＣＭの開始又は終了と判断し、抽出する手法などを用いることが可能である。次いで、特徴量算出部２２２は、ＣＭ抽出部２２１により抽出されたＣＭから特徴量２４を算出する。
【００２８】
さらに、受信した放送信号からＣＭに該当する区間の特徴量を抽出するための実現手法として、上記実現手法とは異なる他の一実現手法について詳述する。この場合のＣＭ特徴量抽出部２２は、特徴量算出部２２３（図示せず）とＣＭ特徴量切り出し部２２４（図示せず）とから構成される。特徴量算出部２２３は、入力された放送信号から特徴量を算出する。次いで、ＣＭ特徴量切り出し部２２４は、特徴量算出部２２３により算出された特徴量からＣＭ区間を推定し、このＣＭ区間に相当する特徴量２４を切り出す。
【００２９】
ここで、特徴量を算出するための一実現手法について詳述する。特徴量を算出するためには、例えば、本発明の出願人が先に出願した特願平１１−０５９４３２号（「画像特徴量生成装置、画像検索装置、並びにその生成方法及び検索方法」；以下、「関連技術」という）等に開示された手法を用いることができる。ただ、この関連技術に開示された技術の詳細を述べることは煩雑であるため、ここでは当該技術を具体例を挙げて概説することにする。
【００３０】
いまある画像があったときにこの画像を８×８＝６４個のブロックに分割したのち、個々のブロックについて平均値を算出して、８画素×８画素のサムネイル画像（すなわち、アイコンのような親指大の画像）のイメージを作成する。このサムネイル画像はＣＭ画像がぼやけたような画像として見え、ちょうどＬＰＦ（ローパスフィルタ）を通したような画像となる。なお、ＣＭ画像はＲＧＢの３原色からなる普通のカラー画像であることから、各色について８画素×８画素のサムネイル画像を生成する。もっとも、実際にはＣＭ画像はテレビ信号であることから、ＲＧＢではなくＹ（輝度信号），Ｒ−Ｙ及びＢ−Ｙ（色差信号）の３種類の信号に対応した３つの画像となる。
【００３１】
次に、サムネイル画像に対してＤＣＴ（離散コサイン変換）を施して周波数変換を行い、８×８画素に対応する周波数表現された情報を得る。次いで、この８×８画素に対応した情報から低周波数成分を選択する。例えば、Ｙ信号から６個，Ｒ−Ｙ信号及びＢ−Ｙ信号からそれぞれ３個ずつ選択して合計１２個とする。
そしてこれら１２個の係数を粗く量子化して合計６４ビットの情報を特徴量として抽出する。なお、量子化にあたっては係数毎に量子化特性を変えるとともに、量子化レベル数も変えるようにする。以上のようにして、ＣＭ画像に含まれる低周波成分で表現された情報が特徴量として得られる。
【００３２】
ここで、ビデオ信号は１秒間に３０枚のフレームで構成されるため、本実施形態では各フレームについて特徴量を生成することになる。もっとも、必ずしも全てのフレームについて特徴量を生成しなければならないわけでなく、例えば、２秒に１回程度の割合で特徴量を付加しても良い。これは、一つには全てのフレームについて特徴量を算出すると計算量が増大することと、全てのフレームについて特徴量を格納するとそれだけＤＢ３に登録可能なＣＭの件数が減ってしまうことによる。したがって、放送確認を行うシステムに応じてどの程度のフレーム間隔で特徴量を生成するかを決定してゆくことになる。
【００３３】
さて、図１に戻って、ＣＭ照合部４は、放送を受信するための受信設備４１、特徴量算出部４２および照合部４３を有している。特徴量算出部４２は、受信設備４１により受信した放送信号から特徴量４４を算出する。また、照合部４３はＤＢ３に登録されているＣＭの特徴量を算出し、これら２つの特徴量を照合してその照合結果４５を記録部５に出力する。なお、この照合結果４５は、電子メールなどを利用して、依頼主１へ直接送付されるようにしてもよい。
【００３４】
ここで、放送確認におけるコンテンツの照合を行うにあたっては、基本的に映像照合によって行う。すなわち、上述したようにある種のドリンク剤や清涼飲料水のＣＭでは音声が全て同じで画像だけが変わっている幾つものバージョンが存在することがある。このため、音声照合に頼った放送確認ではこうしたＣＭのバージョンの違いを切り分けることができない。したがって、音声照合ではなく映像照合によって放送確認を行うことが望ましい。近年、ＣＰＵ（中央処理装置）の処理能力が飛躍的に向上してきており、計算量の多い映像照合による放送確認を充分に行える環境にある。
【００３５】
もっとも、照合の際に、音声照合を併用した方が検出精度を高めることができるため、従来から知られている音声認識の技術を利用して、映像照合及び音声照合の双方を用いることがさらに望ましい。例えば、音声照合を行うことによってＣＭの始まりを検出することができるので、映像照合によって得たＣＭの開始時点と音声照合によって得たＣＭの開始時点を互いに照合しても良い。もし両者が一致していれば、映像照合によって得たＣＭが本当にＣＭであるという確証が得られることになる。これに対して、両者が不一致していれば映像照合においてＣＭを誤検出している可能性があることがわかる。
【００３６】
さて、照合部４３は、上記の関連技術などに開示された方法によって、リアルタイムに映像信号を照合することが可能になっている。そして、記録部５は照合結果４５を集計した後にこれをレポート５１として依頼主１へ提出する。なお、照合部４３が照合結果４５を郵送や電子メール等で即時に依頼主１へ送付するようにしても良い。ここで、レポート５１の内容としては、コンテンツの登録番号，放映チャネル，放映日，放映時刻，放映状態等が含まれる。そして、放送確認業者６は照合結果４５又はレポート５１の対価として依頼主１から放送確認委託料１１を受け取る。
【００３７】
ここで、放映状態とは、フレームが落ちていないかや音声が途切れていないかどうかといった放送状況を指している。放送確認を行う目的は、決められた時間帯に契約通りの回数だけＣＭが放送されているかどうかにある。したがって、本当にＣＭが正しく放送されているかどうかが依頼主１の関心事でもある。ここで、放送局がＣＭを流す場合、登録されているＣＭの最初の１乃至２フレームは別のＣＭからの切り替えるタイミングで切れる場合があるが、この程度のフレーム落ちであれば一般に許容されている。
【００３８】
しかし、３フレーム以上フレームが欠けた場合には放送局２から依頼主１に対してペナルティを払うなどの慣例があるため、こうしたフレーム落ちを検出した場合にはこれを放映状態として報告することになる。なお、上述したように特徴量は全てのフレームについて生成する必要はないが、１フレームないし２フレーム程度のフレーム落ちを検出するためには全てのフレームについて特徴量を生成することが望ましい。このほか、放映中に音声が途切れるなどの事故も時々発生することから、上述した音声認識技術を用いた音声照合を併用することによって、音声が途切れていないかどうかを報告することになる。
【００３９】
ここで、ＣＭ照合部４が行う映像信号の照合処理についてその手順の詳細を説明する。図２はＣＭ照合部４が一枚の画像を抽出して映像照合を行う場合のフローチャートであり、図３はＣＭ照合部４が画像シーケンスを抽出して映像照合を行う場合のフローチャートである。つまり、図２は１フレームの静止画像を検出して映像照合する場合を示したものであり、図３は動画像を検出して映像照合する場合を示している。ただいずれの場合も、チューナを通じてテレビ信号を受信し、このテレビ信号から特徴量を抽出してＤＢ３中の特徴量と照合して、照合度のより高いものを候補として選択して、両者のマッチングの度合いがある閾値より高ければＣＭであると判定することは同じである。
【００４０】
最初に図２の場合について説明すると、まず受信設備４１でテレビ信号を受信し、受信したテレビ信号からフレーム毎の特徴量を抽出する（ステップＳ１）。
次に、ＤＢ３に蓄えられている特徴量を登録ＩＤとともにＤＢ３から取り出し（ステップＳ２）てゆき、ステップＳ１で抽出された特徴量と逐一比較する。そして、比較の度にマッチング度（すなわち、画像が似ているか似ていないかの尺度）を計算し、入力されたＴＶ信号の特徴量に類似したＤＢ３内の特徴量を選択し、その登録ＩＤとマッチング度を出力する（ステップＳ３）。なお、マッチングにあたっては、例えば特徴量間の距離の平均値を算出してマッチング度とすれば良い。
【００４１】
次に、得られたマッチング度をある閾値と比較し、類似の度合いが少なければ不適と判断する。一方、両者の類似度合いが上記閾値を超えていればＣＭが検出されたものと見なして登録ＩＤを出力する（ステップＳ４）。そして、出力された登録ＩＤは記録部５へ送信されて記録されることになる。このとき、ＣＭが何時検出されたかを示す時刻も必要となってくるため、ＣＭ照合部４内に設置してある時計から時刻情報Ｓ５を取り出して登録ＩＤに付加して記録部５へ送信するようにする（ステップＳ５）。但し、この時刻情報Ｓ５は図２に示した各ステップの何れの段階で付加しても良く、あるいは、記録部５が時刻情報Ｓ５を登録ＩＤへ付加するようにしても良い。
【００４２】
次に図３の場合について説明するが、画像シーケンスの検出の場合も１フレームの静止画像を検出する場合とほぼ同様の手順である。図２に示した場合との相違点は、フレーム毎の特徴量を抽出（ステップＳ１１）してから、フレーム一枚分の特徴量をバッファに溜めてゆき（ステップＳ１２）、複数のフレームの特徴量をまとめた特徴量シーケンスをバッファから出力する点である。これ以降のステップＳ１３乃至Ｓ１６は図２に示したステップＳ２乃至Ｓ５と全く同じであるので説明は省略する。
【００４３】
このように、画像シーケンスを検出する場合には、すべての時刻において、過去数十フレームあるいは過去数百フレームの特徴量をまとめたものを特徴量シーケンスとして、この特徴量シーケンスを単位として照合を行っている。なお、この場合は当然ながらＤＢ３に登録されているのも特徴量シーケンスとなっている。なお、上述したように、全てのフレームの特徴量から特徴量シーケンスを作らねばならないわけではなく、数フレームおきに算出した特徴量から特徴量シーケンスを生成するようにしても良い。
【００４４】
なお、照合結果４５を集計したレポート５１には、ＣＭ毎に付与されたＩＤ，ＣＭのタイトル，検出されたＣＭの開始時刻及び終了時刻などが記載される。もっとも、終了時刻は必ずしも必要ではなく、ＩＤ及び開始時刻が分かっていればどのＣＭであるかを特定することができる。また、記録部５がレポート５１を作成する集計処理の実現手法としては様々なものが考えられる。例えば、ＣＭを検出する度に電子メールなどで依頼主１へレポート５１を送付しても良く、あるいは、毎日深夜に１日の結果を集計しても良く、さらには、１週間又は１ヶ月毎に集計を行っても良い。また、記録部５は、記録する照合結果から、依頼主が希望するＣＭの照合結果を検索してレポート５１を作成するようにしてもよい。
【００４５】
ここで、ＣＭは５秒，１５秒，３０秒など様々な長さのものがあるが、ＣＭが登録されたものであるか否かを判定するにあたっては、ＣＭ全体を対象としなければならないわけではない。例えばＣＭの長さが３０秒の場合には最初の１０秒間に基づいてＣＭが登録されるものかどうかを判定すれば十分である。そして、例えば１秒間に２フレームだけ判定に使用するとした場合、最初の１０秒で判別に使用されるのは２０フレームとなる。
【００４６】
したがって、２０フレーム中の１フレームについて特徴量が偶然に一致したとしても、それ以外のフレームについての特徴量が不一致であれば、ＣＭとして誤検出することはなくなる。本発明者による実用段階にあるシステムでは実際上も最初の１０秒間の判定だけで９９％以上の検出率が得られている。なお、ＣＭの長さが３０秒以外の場合についてもＣＭの長さに合わせて判定時間を適宜増減させるようにすれば良い。
【００４７】
なお、ＣＭによってはＣＭの最後の部分だけをバージョンによって変えているものも存在する。例えば、ウィークデイは毎日同じ内容のＣＭを流すが、週末に流すものは「お近くの○○神奈川へ」など地域毎にＣＭの最後の部分を変えたりする場合がよくある。こうした場合にはＣＭ全体を判別対象とするのが好ましいと言える。したがって、ＣＭを検出するにあたってはＣＭ毎に検出すべき長さをＤＢ３へ登録しておき、検出すべきＣＭに応じて判定時間の長さを可変させることが望ましい。
【００４８】
また、本実施形態ではＣＭの検出にあたってやや過剰検出ぎみとなるように閾値の設定を行っている。こうすることで、実際にＣＭが流れたにもかかわらずこれを検出できないという事態を回避することができる。過剰に誤検出されたＣＭは、後述するようにＣＭ画像を別途ハードディスクやＶＴＲ（ビデオテープレコーダ）などに記録しておくことで、記録されているＣＭの全フレームについて特徴量の判別を行うか、特徴量の判別ではなく各フレームの全ての画像データについて照合を行うか、あるいは、人間が記録されているＣＭを目視で確認するなどして検証可能である。
【００４９】
なお、本実施形態では、パーソナルコンピュータなどで容易に放送確認することができるように、コンテンツの特徴量を用いて照合を行っている。しかし、近々、ＢＳ（Broadcasting 
by 
Satellite）デジタル放送が開始され、２００３年からは地上波もデジタル放送に移行されることが予定されている。こうしたことからすると、コンテンツそのものがデジタル化される可能性がある。したがって、映像信号の全部とは言わないまでもその一部を照合して放送確認を行うことは十分想定されうる。
【００５０】
確かに、コンテンツに含まれる全ての画素を照合すると計算量が大きくなるため、リアルタイムに放送確認するにはメインフレームやスーパーコンピュータなどを利用する必要が生じてくる可能性はある。しかしながら、近年におけるマイクロプロセッサ等の性能向上を考えればパーソナルコンピュータで実現することも十分考えられる。また、ＣＭ画像そのものをＤＢ３に登録するとＤＢ３としても大容量のものが要求されることになるが、ＤＢ３に登録可能なＣＭの件数が限定されても良い場合には問題ないと考えられる。
【００５１】
このようにコンテンツの全部又は一部をそのまま照合に用いる場合、ＤＢ３にはコンテンツの特徴量ではなくコンテンツそのものが登録されることになる。また、ＣＭ照合部４はコンテンツの画像データそのもののマッチングをとることになり、ＤＢ３に登録されているＣＭ画像と放送波から抽出した映像をフレーム毎に比較してそれらの間のマッチング度を算出することになる。ここで、画像検出のための手法としてはカラーヒストグラム方式やドミナントカラー方式などの既存の類似画像検索技術を用いれば良い。前者は色の構成割合を利用するもので、色空間を分割してそれぞれのレベルに含まれる画素数の割合を求めて検索を行う。一方、後者は前者の方式を簡易化したものであって、色の空間的な配置状況を利用して検索を行うものである。
【００５２】
また、図１では受信設備２１および受信設備４１をそれぞれ一組だけ設ける構成としている。しかし、実際には多数のチャネルが同時に放送されているため、これら多チャネルを同時に確認するためには、図１に示した照合基地７の構成をチャネル数分だけ設けることになる。あるいは、ＣＭ登録部２，ＣＭ照合部４，記録部５をチャネル毎に設けてＤＢ３を共有する構成でも良く、さらにはＣＭ登録部２，ＣＭ照合部４をチャネル毎に設けてＤＢ３及び記録部５を共用する構成などであっても良い。そして、多チャネルについて放送確認する場合には、レポート５１にＣＭを検出したチャネルの情報（例えば、１チャネル，３チャネル，４チャネルなど）を付加する。
【００５３】
さらに、図１において放送確認委託料１１の支払いなどは人間が行うことが当然考えられるが、それ以外にも電子メール，電子マネー，電子商取引などの技術を利用して自動化を図るようにしても良い。
【００５４】
以上のように、本実施形態ではコンテンツから特徴量を抽出して照合を行っているため、受信したコンテンツだけを使用して放送確認を実現することができる。つまり本実施形態では、従来技術のようにコンテンツに対して識別番号といった特別な情報を埋め込まなくて良いという利点がある。従来技術のように、識別信号をコンテンツに埋め込んでしまうと、識別信号を知っているものでなければ放送確認を実施できなくなる。このため、依頼者の依頼したＣＭ放送が確実に放送されているかどうかを確認できる。さらに、一度放映されたＣＭは自動登録され、次回から照合の対象となるため、一度放映されたどのＣＭを調査するような場合であっても、放送確認を容易に行うことができる。
【００５５】
〔第２実施形態〕
図４は、本発明の第２実施形態による放送確認システムの構成を示すブロック図であって、図１と同じ構成要素については同一の符号を付してある。
本実施形態では、図１に示したＣＭ登録部２に対して機能変更を行ったものをＣＭ登録照合部２０として備える。また、本実施形態は図１のＣＭ照合部４を備えていない。さらにこうした構成上の違いがあることから、図４では、図１に示した照合基地７の代わりに照合基地７０として示してある。
【００５６】
ＣＭ登録照合部２０は、放送を受信するための受信設備２１、ＣＭ特徴量抽出部２２、及び照合部３０から構成される。放送を受信するための受信設備２１はアンテナ、チューナなどで構成される。このＣＭ登録照合部２０において、ＣＭ特徴量抽出部２２は、受信設備２１により受信した放送信号からＣＭに該当する区間の特徴量２４を抽出する。照合部３０は、この得られた特徴量２４をＤＢ３に登録されているＣＭの特徴量と照合して、照合結果３０１を記録部５に出力する。また、照合部３０は、照合の結果、ＤＢ３に登録されたどのＣＭの特徴量とも一致とみなされないＣＭの特徴量２４を、新ＣＭの特徴量としてＤＢ３に登録する。
以上のように、本実施形態によれば、１つの受信設備２１により新ＣＭの登録と放送中のＣＭの放送確認を同時に行うことができる。
【００５７】
〔第３実施形態〕
図５は、本発明の第３実施形態による放送確認システムの構成を示すブロック図であって、図１と同じ構成要素については同一の符号を付してある。
本実施形態では、図１に示したＣＭ照合部４に対して機能変更を行ったものをＣＭ登録照合部４０として備える。また、本実施形態は図１のＣＭ登録部２を備えていない。さらにこうした構成上の違いがあることから、図５では図１に示した照合基地７の代わりに照合基地７１として示してある。
【００５８】
ＣＭ登録照合部４０は、放送を受信するための受信設備４１、特徴量算出部４２、照合部４０３、及びＣＭ判定部４０４を有している。特徴量算出部４２は、受信設備４１により受信した放送信号から特徴量４４を抽出する。また、照合部４０３は、ＤＢ３に登録されているＣＭの特徴量を算出し、これら２つの特徴量を照合してその照合結果４０５を記録部５に出力する。
なお、照合結果４０５は、電子メールなどを利用して、依頼主１へ直接送付されるようにしてもよい。
また、ＣＭ判定部４０４は、照合部４０３の照合によりどのＣＭの特徴量とも一致とみなされなかった特徴量４４に対してＣＭの特徴量であるか否かを判定し、ＣＭの特徴量であるとみなした場合には、その特徴量４４を新ＣＭの特徴量としてＤＢ３に登録する。このＣＭであるか否かの判定手法としては、従来より広く知られている手法であって、特徴量抽出のタイミングとテレビ放送の受信音声が無音となるタイミングとの一致または近似により、ＣＭの開始又は終了を判断する手法などを適用可能である。
【００５９】
さらに、ＣＭ判定部４０４は、照合結果４０５を参照してＣＭ判定を行うこともできる。また、この照合結果４０５から既知ＣＭを検出した場合、ＣＭ判定部４０４は、検出されたＣＭの時刻の前後一定の間隔でＣＭの存在する確率が高いことから、検出されたＣＭの時間位置の前後を対象にしてさらにＣＭ判定を行うようにしてもよい。また、ＣＭ判定部４０４は、検出されたＣＭの時間位置から、例えば特徴量４４の時間位置が検出されたＣＭの一部と重複する場合などにおいて、ＣＭとなりえないと判断することもできる。
以上のように、本実施形態によれば、１つの受信設備４１により新ＣＭの登録と放送中のＣＭの放送確認を同時に行うことができる。さらに、照合結果４０５を利用することにより新ＣＭの抽出精度を向上させることができる。
【００６０】
〔第４実施形態〕
上述した各実施形態では、放送確認業者６側の照合基地として専用に設計された装置を想定していたが、本発明は一般的なパーソナルコンピュータ上で実現することも可能である。図６は本実施形態による放送確認システムの構成を示したブロック図である。同図では本実施形態を第１実施形態に適用した例を示してあり、図１に示したものと同じ構成要素については同一の符号を付してある。なお、本実施形態を第１実施形態以外の各実施形態に適用しても良い。
【００６１】
本実施形態では、放送確認業者６における処理内容を実行するプログラム（以下「放送確認プログラム」という）やデータを記録媒体に記録しておき、この記録媒体から放送確認プログラムをパーソナルコンピュータ上にロードして実行する。これにより、パーソナルコンピュータを構成するハードウェア各部の動作を制御して、放送確認プログラムによって指令された特定の処理を行うことになる。このため、本実施形態における放送確認業者６側の装置構成は、アンテナ及びチューナから成る受信設備２１、４１と、図１に示した照合基地７の内、受信設備２１、４１以外の各部に相当するパーソナルコンピュータ９１と、コンピュータ読み取り可能な記録媒体９２が装着される記録装置９３となる。
【００６２】
パーソナルコンピュータ９１は照合基地７内の各部（受信設備２１、４１は除く）に相当する機能を備えている。例えば、ＤＢ３はパーソナルコンピュータ９１内のハードディスク上のファイルとして実現することができる。また、ＣＭ登録部２、ＣＭ照合部４及び記録部５は記録媒体９２に格納しておいた放送確認プログラムをパーソナルコンピュータ９１上で実行することによって実現される。
この放送確認プログラムの処理内容は第１実施形態で説明したのと全く同様である。
【００６３】
なお、特に図示していないがパーソナルコンピュータ９１には周辺機器として入力装置や表示装置などが接続される。入力装置はキーボードやマウスなどの入力デバイスであり、表示装置はＣＲＴ（Cathode Ray Tube）や液晶表示装置などである。ここで、放送確認プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された放送確認プログラムをコンピュータシステムに読み込ませて実行することで放送確認を行っても良い。図６ではこの場合を例示してある。なお、ここでいう「コンピュータシステム」とは、ＯＳ（オペレーティングシステム）や周辺機器等のハードウェアを含む。
【００６４】
また、コンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ディスクやハードディスクや光磁気ディスク，フラッシュメモリ等の不揮発性メモリ，ＣＤＲＯＭ（コンパクトディスク読み出し専用メモリ）などの読み出しのみが可能な記録媒体，ＲＡＭ（ランダムアクセスメモリ）のような揮発性のメモリ，あるいはこれらの組み合わせにより構成される。また、パーソナルコンピュータ９１はＣＰＵ及び主記憶メモリなどから構成され、図１に示した照合基地７が行ったのと同等の機能を実現するための放送確認プログラムを主記憶上にロードしてこれを実行する。
【００６５】
さらに、コンピュータ読み取り可能な記録媒体は、インターネット等のネットワークや電話回線等の通信回線を介して放送確認プログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部のメモリのように、一定時間プログラムを保持しているものも含む。また、放送確認プログラムは、この放送確認プログラムを記憶装置などに格納したコンピュータシステムから伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されても良い。
【００６６】
ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワークや電話回線等の通信回線のように、情報を伝送する機能を有する媒体のことをいう。また、放送確認プログラムは、前述した機能の一部を実現するためのものであっても良く、さらには前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの（いわゆる差分プログラム）であっても良い。
【００６７】
なお、本実施形態の動作は基本的に第１実施形態と同じであって、放送確認にあたって記録媒体９２から放送確認プログラムがパーソナルコンピュータ９１上に読み出される点が異なっているだけである。ちなみに、本発明者らは１万本程度のＣＭをＤＢ３に登録している場合であっても、パーソナルコンピュータ１台でリアルタイムにＣＭを検出可能であることを確認している。
【００６８】
上記各実施形態は本発明を説明するための一例であって、本発明は、上記実施形態に限定されるものではなく、発明の要旨の範囲で種々の変形が可能である。
例えば、上述した各実施形態では、実際の運用形態に沿って受信した放送波をもとにリアルタイムに放送確認するものとしていた。しかし、ＣＭ画像をビデオテープに記録しておいて、ビデオテープを再生して放送確認を行うようにしても良い。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１実施形態による放送確認システムの構成を示すブロック図である。
【図２】同実施形態において、ＣＭ照合部４が一枚の画像を抽出して照合を行う場合の手順を示したフローチャートである。
【図３】同実施形態において、ＣＭ照合部４が画像シーケンスとして抽出して照合を行う場合の手順を示したフローチャートである。
【図４】本発明の第２実施形態による放送確認システムの構成を示すブロック図である。
【図５】本発明の第３実施形態による放送確認システムの構成を示すブロック図である。
【図６】本発明の第４実施形態による放送確認システムの構成を示すブロック図である。
【符号の説明】
【００７０】
１…依頼主、２…ＣＭ登録部、３…ＣＭデータベース（ＤＢ）、４…ＣＭ照合部、５…記録部、６…放送確認業者、７，７０，７１…照合基地、１１…放送確認委託料、２０，４０…ＣＭ登録照合部、２１，４１…受信設備、２２…ＣＭ特徴量抽出部、２３，３０，４３，４０３…照合部、２４，４４…特徴量、４２…特徴量算出部、４５，３０１，４０５…照合結果、５１…レポート、９１…パーソナルコンピュータ、９２…記録媒体、９３…記録装置、４０４…ＣＭ判定部。
【図１】
2005198326.tif 000003
【図２】
2005198326.tif 000004
【図３】
2005198326.tif 000005
【図４】
2005198326.tif 000006
【図５】
2005198326.tif 000007
【図６】
2005198326.tif 000008