(57)【要約】テレビ広告自動検出装置であって、テレビが受信した、第１組のビデオフレームと、画面切換え周波数が前記第１組のビデオフレームと顕著に異なる第２組のビデオフレームと、を記憶するビデオフレームバッファと、前記ビデオフレームバッファに記憶されている前記第１組と前記第２組のビデオフレームを読取って、前記第１組のビデオフレームが前記第２組のビデオフレームに切換える前の前記第１組のビデオフレームにおいて最後の一つのフレームを計算して、提示キーフレームにし、また新たに受信したビデオフレームと前記提示キーフレームとの間の関連性を計算するビデオ画面切換え検出計算装置と、前記ビデオ画面切換え検出計算装置が、前記新たに受信したビデオフレームと前記提示キーフレームとの間の関連性が予め定めた閾値より大きい又は等しいと検出された場合、提示信号を発生する提示信号発生装置と、前記ビデオ画面切換え検出計算装置の読み取り、計算操作を制御する制御装置と、を備えることを特徴とするテレビ広告自動検出装置を公開する。その他、テレビ広告自動検出方法も公開する。
2006524936.tif 000002
【特許請求の範囲】
【請求項１】
テレビ広告自動検出装置であって、
テレビが受信した、第１組のビデオフレームと、画面切換え周波数が前記第１組のビデオフレームとは顕著に異なる第２組のビデオフレームと、を記憶するビデオフレームバッファと、
前記ビデオフレームバッファに記憶されている前記第１組と前記第２組のビデオフレームを読取って、前記第１組のビデオフレームが前記第２組のビデオフレームに切換える前の前記第１組のビデオフレームにおいての最後の一つのフレームを計算して、提示キーフレームにし、また新たに受信したビデオフレームと前記提示キーフレームとの間の関連性を計算するビデオ画面切換え検出計算装置と、
前記ビデオ画面切換え検出計算装置が、前記新たに受信したビデオフレームと前記提示キーフレームとの間の関連性が予め定めた閾値より大きい又は等しいと検出された場合、提示信号を発生する提示信号発生装置と、
前記ビデオ画面切換え検出計算装置の読み取り、計算操作を制御する制御装置と、を備えることを特徴とするテレビ広告自動検出装置。
【請求項２】
前記ビデオフレームバッファの中に、前記提示キーフレームを記憶する専用記憶区域が設けられることを特徴とする請求項１記載のテレビ広告自動検出装置。
【請求項３】
前記提示キーフレームを記憶するバッファが、前記ビデオフレームバッファとは分けて設けられることを特徴とする請求項１記載のテレビ広告自動検出装置。
【請求項４】
前記ビデオ画面切換え検出計算装置は、前記第１組と前記第２組のビデオフレームとの間の画面切換え間隔によって、前記第２組のビデオフレームから前記第１組のビデオフレームへの切換えを検出し、かつ、前記画面切換え間隔が予め定めた閾値より小さい場合、前記第２組のビデオフレームから前記第１組のビデオフレームに切換えたことを確認し、前記提示信号発生装置に信号を提供することを特徴とする請求項１記載のテレビ広告自動検出装置。
【請求項５】
前記ビデオ画面切換え検出計算装置は、ビデオフレームの間のヒストグラムによって、新たに受信したビデオフレームと前記提示キーフレームとの間の関連性を計算することを特徴とする請求項１記載のテレビ広告自動検出装置。
【請求項６】
テレビ広告自動検出装置であって、
テレビが受信した、第１組のビデオフレームと、画面切換え速度が前記第１組のビデオフレームとは顕著に異なる第２組のビデオフレームと、を記憶するビデオフレームバッファと、
前記ビデオフレームバッファに記憶されている前記第１組と前記第２組のビデオフレームを読取って、前記第１組のビデオフレームが前記第２組のビデオフレームに切換える前の前記第１組のビデオフレームにおいての最後の一つのフレームを計算して、提示キーフレームにし、また新たに受信したビデオフレームと前記提示キーフレームとの間の関連性を計算するビデオ画面切換え検出計算装置と、
前記ビデオ画面切換え検出計算装置が、前記新たに受信したビデオフレームと前記提示キーフレームとの間の関連性が予め定めた閾値より大きい又は等しいと検出された場合、提示信号を発生する提示信号発生装置と、
前記ビデオ画面切換え検出計算装置によって、前記第２組のビデオフレームから前記第１組のビデオフレームへの切換えを検出し、また前記提示信号発生装置を制御して提示信号を発生する制御装置と、を備えることを特徴とするテレビ広告自動検出装置。
【請求項７】
前記ビデオフレームバッファの中に、前記提示キーフレームを記憶する専用記憶区域が設けられることを特徴とする請求項６記載のテレビ広告自動検出装置。
【請求項８】
前記提示キーフレームを記憶するバッファが、前記ビデオフレームバッファとは分けて設けられることを特徴とする請求項６記載のテレビ広告自動検出装置。
【請求項９】
前記ビデオ画面切換え検出計算装置は、前記第１組と前記第２組のビデオフレームとの間の画面切換え間隔によって、前記第２組のビデオフレームから前記第１組のビデオフレームへの切換えを検出し、かつ、前記画面切換え間隔が予定閾値より小さい場合、前記第２組のビデオフレームから前記第１組のビデオフレームに切換えたことを確認し、前記提示信号発生装置に信号を提供することを特徴とする請求項６記載のテレビ広告自動検出装置。
【請求項１０】
前記ビデオ画面切換え検出計算装置は、ビデオフレームの間のヒストグラムによって、新たに受信したビデオフレームと前記提示キーフレームとの間の関連性を計算することを特徴とする請求項６記載のテレビ広告自動検出装置。
【請求項１１】
テレビ広告自動検出方法であって、
テレビが受信した、第１組のビデオフレームと、画面切換え周波数が前記第１組のビデオフレームとは顕著に異なる第２組のビデオフレームと、を記憶するステップと、
広告の終わりを提示する指令を受信した時、記憶されている前記第１組と第２組のビデオフレームを読取って、前記第２組のビデオフレームが何時前記第１組のビデオフレームと関連するビデオフレームに切換えたかを検出するステップと、
前記新たに受信したビデオフレームと前記最後の一つのフレームとの関連性が予め定めた閾値より大きい又は等しい場合、提示信号を発生するステップと、を含むことを特徴とするテレビ広告自動検出方法。
【請求項１２】
前記第２組のビデオフレームが何時前記第１組のビデオフレームと関連するビデオフレームに切換えたかを計算する前記ステップは、
前記第１組のビデオフレームが前記第２組のビデオフレームに切換える前の前記第１組のビデオフレームにおいて最後の一つのフレームを計算して、提示キーフレームにし、また新たに受信したビデオフレームと前記提示キーフレームとの関連性を計算するステップを含むことを特徴とする請求項１１記載のテレビ広告自動検出方法。
【請求項１３】
前記第２組のビデオフレームが何時前記第１組のビデオフレームと関連するビデオフレームに切換えたかを計算する前記ステップは、
前記第１組と前記第２組のビデオフレームとの間の画面切換え間隔によって、前記第２組のビデオフレームから前記第１組のビデオフレームへの切換えを検出し、かつ、前記画面切換え間隔が予め定めた閾値より小さい場合、前記第２組のビデオフレームから前記第１組のビデオフレームに切換えたことを確認するステップを含むことを特徴とする請求項１１記載のテレビ広告自動検出方法。
【請求項１４】
前記第２組のビデオフレームが何時前記第１組のビデオフレームと関連するビデオフレームに切換えたかを計算する前記ステップは、
ビデオフレームの間のヒストグラムによって、新たに受信したビデオフレームと前記提示キーフレームとの間の関連性を計算するステップを含むことを特徴とする請求項１１記載のテレビ広告自動検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ受信機で受信した広告を検出するのに使用する装置及び方法に関する。より具体的には、本発明は、受信したテレビプログラムの中で放送される広告を検出して、広告の放送が終わったとき、視聴者に、広告が終わったためテレビを続けて見ることができるということを提示する装置及び方法に関する。
【背景技術】
【０００２】
現在、放送されているテレビプログラムの中には、大量の商業広告が挿入されているが、これらの広告は、内容が重複するだけでなく、放送時間も非常に長いので、視聴者に煩わしい感覚を生じさせる。今までは、いろいろな方法でこのような商業広告を回避しようとする努力が進まれてきた。例えば、広告を放送する音をキャンセルするか、チャンネルを変えるか、あるいはしばらくテレビから離れて他の仕事をするか、等である。ただし、広告の放送時間を把握することが難しいから、頻繁に視聴者が戻って希望のプログラムを見ようとする時、広告放送がまだ終わっていないか、または希望のプログラムがもういくつか放送されてこのプログラムを見逃す場合がある。
【０００３】
広告を回避するもっとも直接な解決方法は、テレビプログラムの中に若干のメッセージを隠すことである。例えば、ウオータマーク技術若しくは標識メッセージを採用するか、又は、プログラムに対してデジタルコーティングするとき、特定の識別子を利用してメッセージをプログラムコードストリームに埋め込む。これによって、テレビ受信側は、プログラムを受信するとき、特定なデジタルウオータマーク又は識別子を検出することによって、ある段落が広告であることを判断することができる。ただし、このような方法は、テレビプログラム放送者の作業量を増加するばかりでなく、広告制作者にとって受け入れられないものとなる。
【０００４】
１９９６年３月２０日に公開された名称「放送内容を記録するとともに広告は記録しない放送記録システム」の中国特許公開CN1118967Aには、記録されるプログラムの中に広告が記録されることを避けるシステムを提供した。この特許には、記録されたテレビ放送内容の中から広告内容を削除する方法及び装置が開示されている。採用した技術は、センターステーションでテレビ放送を監視して、ユーザ宅の受信機に対して制御性と指示性がある放送を行う。その中、指示性がある放送は、テレビプログラムスケジュール表とレコーダ制御データとを含む。放送を受信する処理装置は、この制御放送に応じて、放送の記録過程を休止するか又は認識された放送の記録過程を回復し、また、ユーザはセンターステーションに電話をかけて、ユーザのレコーダをプログラム化することを請求することによって、ある特定な放送を記録することができる。
【０００５】
開示された放送記録システムは、予め計画したテレビ放送時間に基づいて、予定プログラムにより、記録されたテレビプログラムに広告が現れることを回避する。こうした場合、構造が非常に複雑になり、またセンターステーションに連絡する必要があるし、レコーダに対してプログラム化する必要があるから、その過程が非常に煩雑である。また、この特許は、記録されたビデオプログラムの中の広告を避ける問題を解決するだけであり、テレビ視聴者がテレビを見るとき広告を避ける問題は解決していない。なお、プログラムのスケジュールは常に変動する可能性があるため、時間的要素のみでは、広告を見ることに関する問題を解決できない。
【０００６】
ＲＣＡ許可会社が１９９３年１１月３日に授与された中国特許ZL90100863（公開番号：CN1022661C）では、自動的に起動する広告メッセージタイマーが開示されている。この広告メッセージタイマーは、チャンネルの指令を変化することにより、前回合わせたチャンネルのデータを記憶すると同時に、予定時刻の計時を繰り返す。毎回時刻になると、前回合わせたチャンネルの広告がもう終わる可能性があるということをユーザに注意を与える。ユーザは、タイマーを起動して他のチャンネルを検索することにより、前回合わせたチャンネルの広告を避けることができる。ただし、開示されたこのようなタイマーには、やはり時間的要素と関係を持つ。
【０００７】
上記従来技術において、広告を避ける装置及び方法は、いずれもユーザが時刻を予め設定する必要があり、テレビ放送の広告画面とは直接な関係がない。このような方式を取れば、以下のような問題が生じる、即ち、タイマー設定の不具合い又はプログラム放送時間の変化によって、広告を避けれないか又は完全に避けられない場合があり、または、広告がもう終わったが、直ちにチャンネルを変えなかった結果、一部の見たいプログラムを見逃す場合もある。したがって、上記の従来技術は、いつ広告の放送が終わるかを正確に決定できないため、見たいプログラムを適時に見られるように視聴者に注意を与えることができない。
【０００８】
従来技術による方法又は装置は、広告本体の特徴とプログラムが備え得る連続性とを充分に考慮していない。もし広告がプログラムの中間に挿し込まれば、プログラムは広告の前後で強い連続性がある。また、広告と普通のプログラムは顕著な区別がある。一つのテレビ広告の長さは一般的に非常に短く、例えば数秒から数十秒までの長さがあるが、このような短い時間で商品の特徴を明瞭かつ明確に伝えられるように、できるだけ少ない画面を使ってメッセージを伝えることが要求されるため、広告画面変化の周波数は非常に早く、色の対比も非常に強い。
【０００９】
したがって、放送される広告画面を検出して、広告放送がいつ終わるかを確定することによって、広告がすでに終わったことを視聴者に正確に注意与えることができる装置及び方法が必要である。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、テレビ画面の関連性を検出し、広告の放送終わりを確定することによって、見たいテレビプログラムを遅れることなく視聴者に提示する装置及び方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明の一態様によるテレビ広告自動検出装置は、テレビが受信した、第１組のビデオフレームと、画面切換え周波数が前記第１組のビデオフレームと顕著に異なる第２組のビデオフレームと、を記憶するビデオフレームバッファと、前記ビデオフレームバッファに記憶されている前記第１組と前記第２組のビデオフレームを読取って、前記第１組のビデオフレームが前記第２組のビデオフレームに切換える前の前記第１組のビデオフレームにおいて最後の一つのフレームを計算して、提示キーフレームにし、また新たに受信したビデオフレームと前記提示キーフレームとの間の関連性を計算するビデオ画面切換え検出計算装置と、前記ビデオ画面切換え検出計算装置が、前記新たに受信したビデオフレームと前記提示キーフレームとの間の関連性が予め定めた閾値より大きい又は等しいと検出された場合、提示信号を発生する提示信号発生装置と、前記ビデオ画面切換え検出計算装置の読み取り、計算操作を制御する制御装置と、を備えることを特徴とする。
【００１２】
本発明の他の態様によるテレビ広告自動検出装置は、テレビが受信した、第１組のビデオフレームと、画面切換え速度が前記第１組のビデオフレームと顕著に異なる第２組のビデオフレームと、を記憶するビデオフレームバッファと、前記ビデオフレームバッファに記憶されている前記第１組と前記第２組のビデオフレームを読取って、前記第１組のビデオフレームが前記第２組のビデオフレームに切換える前の前記第１組のビデオフレームにおいて最後の一つのフレームを計算して、提示キーフレームにし、また新たに受信したビデオフレームと前記提示キーフレームとの間の関連性を計算するビデオ画面切換え検出計算装置と、前記ビデオ画面切換え検出計算装置が、前記新たに受信したビデオフレームと前記提示キーフレームとの間の関連性が予め定めた閾値より大きい又は等しいと検出された場合、提示信号を発生する提示信号発生装置と、前記ビデオ画面切換え検出計算装置によって、前記第２組のビデオフレームから前記第１組のビデオフレームへの切換えを検出し、また前記提示信号発生装置を制御して提示信号を発生する制御装置と、を備えることを特徴とする。
【００１３】
本発明のさらに他の態様によるテレビ広告自動検出方法は、テレビが受信した、第１組のビデオフレームと、画面切換え周波数が前記第１組のビデオフレームと顕著に異なる第２組のビデオフレームと、を記憶するステップと、広告の終わりを提示する指令を受信した時、記憶されている前記第１組と第２組のビデオフレームを読取って、前記第２組のビデオフレームが何時、前記第１組のビデオフレームと関連するビデオフレームに切換えたかを検出するステップと、前記新たに受信したビデオフレームと前記最後の一つのフレームとの関連性が予定されている閾値より大きい又は等しい場合、提示信号を発生するステップと、を含むことを特徴とする。
【００１４】
本発明のテレビ広告自動検出装置及び方法によると、テレビ視聴者が、テレビ広告の前で無駄に待機しなくて済み、他の仕事をするか又はほかのチャンネルを見ながらも、前回のプログラムを見逃すことがない。
【００１５】
以下の図面と本発明の実施例に対する詳細な説明によれば、本発明の上記または他の目的、特徴及び長所がより明らかになるだけでなく、これらに対する理解もより容易になる。このような実施例は、単に本発明を説明する目的であって、本発明の技術的思想はこれに限られない。
【発明を実施するための最良の形態】
【００１６】
まず、本発明によるテレビ広告自動検出装置及び方法の動作原理を簡単に説明する。本発明では、広告ビデオ画像と普通のテレビプログラムのビデオ画像との顕著な区別を充分に考えて、ビデオ画像フレームの間の関連性により、放送されるテレビ広告の終わりを検出する。
【００１７】
通常、テレビプログラムのビデオ画像フレームの間には、非常に強い連続性がある。もしテレビプログラムの中に広告を挿入すれば、ビデオ画像も非常に顕著な変化が出現する。また、広告が終わってテレビプログラムを再び放送するとき、放送されるテレビプログラム画像フレームと、広告が放送される前の一つフレーム又は数フレームのプログラム画像フレームとは、強い連続性がある。したがって、テレビ画像の間の関連性を検出することにより、広告放送の終わりを検出することができる。
【００１８】
以下、図面を参照しながら、本発明によるテレビ広告自動検出装置の実施例を説明する。
【００１９】
図１は、本発明の実施例によるテレビ広告自動検出装置を示す。本発明の実施例によるテレビ広告自動検出装置は、図１で示すように、テレビとリモートコントローラとを含む。その中でリモートコントローラ部分には、広告放送の終わりを提示する提示ボタンを追加している。テレビで広告放送が始まるとき、視聴者はリモートコントローラの上の広告放送終わり提示ボタン１０を押すことにより、送信器９を介してテレビに広告放送終わりを提示せよの指令を送信する。
【００２０】
テレビ受信機部分は、信号源１と、テレビプログラム制御装置２と、ディスプレー装置３と、ビデオフレームバッファ４と、コントローラ５と、ビデオ画面切換え検出計算装置６と、提示信号発生装置７と、受信器８とを含む。
【００２１】
本発明によるテレビ広告自動検出装置は、従来のテレビ装置以外に、ビデオフレームバッファ４と、コントローラ５と、ビデオ画面切換え検出計算装置６と、提示信号発生装置７と、受信器８とを追加している。なお、受信器８を省略して、コントローラ５が、リモートコントローラの送信器９が送信する広告放送の終わりを提示する指令を直接に受信することもできる。
【００２２】
テレビ受信機のテレビプログラム制御装置２は、アンテナ（不図示）を介して、プログラム信号源１から送信されるビデオ信号を受信し、その中の同調部品（不図示）で同調および変換を行うことによって、表示しようするビデオ信号を得る。テレビプログラム制御装置２は、処理後のビデオ信号をディスプレー装置３に入力して表示する。ディスプレー装置は、例えば、陰極線管、液晶ディスプレー、あるいはプラズマディスプレーのようなディスプレーである。
【００２３】
また、本発明によるテレビ広告自動検出装置は、その中のビデオフレームバッファ４がテレビプログラム制御装置２から表示しようとするテレビ信号を受信する。ビデオフレームバッファ４は、数秒、例えば、５秒から１０秒までのビデオフレーム信号を放送することができる。テレビプログラム制御装置２からビデオフレームバッファ４に入力されるビデオフレームデータは、順序に従って一つずつビデオフレームバッファ４に記憶可能である。ビデオフレームバッファ４は、ビデオ画面切換え検出計算装置６に接続される。ビデオ画面切換え検出計算装置６は、ビデオフレームバッファ４に記憶されたビデオフレームを読取って、読取ったビデオフレームの画面切換えを計算する。広告放送が終わり画像も終わって、広告以前に放送したテレビプログラムを放送するとき、提示信号発生装置７に信号を出力する。例えば、ビデオフレームバッファ４に専用記憶区域を設けて、ビデオの突然変化が発生する前の一つフレームを記憶する記憶区域として使用することができる。ビデオ画面切換え検出計算装置６は、計算された突然変化の前の一つフレームのビデオフレームバッファ４を、ビデオフレームバッファ４の中の専用記憶区域に記憶する。例えば、ビデオフレームバッファ４、コントローラ５、及びビデオ画面切換え検出計算装置６は、中央制御ユニットを用いて実現することができる。
【００２４】
テレビの中の受信器８は、リモートコントローラの送信器９が送信する広告放送終わり提示の指令を受信する。受信器８はコントローラ５と接続されている。広告放送終わり提示の指令を受信した後、受信器８はコントローラ５に起動信号を入力させる。コントローラ５が起動信号を受信すると、ビデオ画面切換え検出計算装置６に制御信号を提供し、ビデオ画面切換え検出計算装置６を制御してビデオフレームバッファ４から記憶されているビデオフレームを読取るとともに、また計算機能を実施して切換えフレームを計算して、切換えフレームと関連する切換えフレームを検出する。専用記憶区域に記憶されているビデオフレームと関連するビデオフレームを検出すると、提示信号発生装置７が広告終わり信号を発生するように、提示信号発生装置７に制御信号を出力する。広告終わり提示信号は、ディスプレー３において、文字又は他の方式、例えば、音信号を発生するような信号方式で視聴者に提示する。
【００２５】
続いて、本発明の実施例のテレビ広告自動検出装置の動作について説明する。テレビのテレビプログラム制御装置２は、放送されているテレビプログラムを受信する。テレビプログラム制御装置２の出力は、ビデオフレームバッファ４とディスプレー装置３とに接続されており、ディスプレー装置３は、放送されているテレビプログラムを表示する。後述する処理のため、ビデオフレームバッファ４には、現在のプラグラムの前５秒から１０秒までの関連メッセージが絶えず記録されている。２５フレーム／秒のビデオの場合に基づいて計算すると、約２００フレームのプログラム内容を記憶する必要がある。実際に要求される記憶量の大きさは、テレビ画面の解像度レベルと、画像圧縮算法の採用の有無とに関連していて、例えば、数メガバイトの記憶空間が必要となる。もし記憶量を縮小する場合には、ビデオデータに関して非常に大きな圧縮比を採用することができる。例として、以下に採用する方法では、関連する二つのフレームメッセージのみを使用しているため、実際には現在処理する隣接した二つのフレームの画像と、保存した画面切換え前の画像フレームとを記憶するだけでよく、これにより必要な記憶量を大幅に減少できる。
【００２６】
テレビプログラム制御装置２は、ディスプレー装置３にビデオ画像を入力するほか、ビデオフレームバッファ４に現在受信しているビデオ内容の前５秒から１０秒までのビデオフレームを記憶している。視聴者がテレビプログラムを見ている間に広告が始まると、視聴者は、直ちにリモートコントローラの広告終わり提示ボタン１０を押して、リモートコントローラの送信器９からテレビ内の受信器８に向けて、広告終わりを検出せよという指令を送信する。受信器８は、送信器９からの指令を受信すると、コントローラ５に起動信号を提供する。その後、ビデオ画面切換え検出計算装置６は、ビデオ画像突然変化検出算法によって、ビデオフレームバッファ４に記憶されている広告開始時の一つの切換えビデオ画像を検出し、切換え画像の一つ前のフレームをテレビプログラムのキー提示フレームとして選択する。例として、ビデオ切換え検出算法は、放送される画像の連続フレームの間の関連性に基づいて行われる。したがって、ビデオ画面切換え検出計算装置６は、コントローラ５からの制御信号を受信した後、記憶した最後一つのビデオ画像から一つずつ、前一つフレームの画像との関連性を計算する。もし記憶されている前のあるフレーム画像との関連性が予め設定した閾値より小さい場合、前のこの一つのフレームは切換える前の最後のフレーム、即ち、広告放送が始まる前の最後の一つのフレーム（以下に、「キー提示フレーム」）であると確定し、このテレビプログラムの最後の一つのフレームをビデオフレームバッファ４の専用記憶区域に記憶して、その後の比較で使用する。その代わりに、キー提示フレームをメモリ（不図示）に記憶することができる。例として、放送されるテレビプログラムのビデオ画像フレームを第１組ビデオフレームと称し、放送される広告のデオ画像フレームを第２組ビデオフレームと称することができる。
【００２７】
広告を放送している間は、ビデオフレームバッファ４は、現在放送されている５秒から１０秒の画像データを絶えず記憶しており、ビデオ画面切換え検出計算装置６は、最新の受信した画像フレームと記憶されているキー提示フレームとを比較する。一般には、広告前後のテレビプログラムの画像関連性が非常に強いことから、最新の受信した画像フレームと記憶されているキー提示フレームとの関連性が、設定した閾値を超えた場合に、広告画像は既にプログラム画像に復帰していると、即ち、プログラムがもう始まっていると判断する。このとき、ビデオ画面切換え検出計算装置６から提示信号発生装置７に制御信号が出力される。提示信号発生装置７は、広告終わり提示信号を発生してディスプレー装置３に表示するか、又は音を出すことによって、視聴者に提示する。
【００２８】
画像処理分野において、フレーム間の関連性を分析する方法はすでにいろいろあるが、最も通常に使用されている方法はテンプレートマッチングである。この方法によると、二つの画像に対して、同じ位置の画素の階調又は色値を比較し、各階調差又は色値差の総和を計算する。
【００２９】
例えば、画像の寸法が、X＊Yである場合、フレーム同士の差分を計算する式は、次のようになる。
【００３０】
【数１】
2006524936.tif 000003
【００３１】
なお、ＩｉとＩｊはそれぞれ両方フレーム画像を代表し、ｘ，ｙは画像の横座標と縦座標をそれぞれ表し、Ｉｉ（ｘ，ｙ）は点（ｘ，ｙ）における画像階調値を表す。
プログラムの連続性は、主として場面が変化しないことにあるから、物体運動のような干渉を避けるためには、ヒストグラムでマッチングを行えば、より良好な効果を得ることができる。
【００３２】
グレー図（無彩色）について、フレーム間の差分計算の式は、次のようになる。
【００３３】
【数２】
2006524936.tif 000004
【００３４】
なお、Ｈは色ヒストグラムによる表示を表す。
【００３５】
Ｈｉは画像Ｉｉのヒストグラムであり、その中でＩｉはｎ個（ｎは自然数）のグレースケールに分けられ、第ｋ個のグレースケールの画素数の総和はＨｉ（ｋ）である。
【００３６】
カラー画像については、まずそれぞれのカラーチャンネルのヒストグラムを作成して、最後に結果を加えることができる。例えば、ＲＧＢ画像については、三つのチャンネルＲ（赤）Ｇ（緑）Ｂ（青）でそれぞれヒストグラムを作成してから、最後にこれらをお互いに加えることができる。このことは以下の式（３）で表される。
【００３７】
【数３】
2006524936.tif 000005
【００３８】
テレビプログラム形式の多様性を考えると、プログラムの関連性が強くない場合もあって、上記のような画像間の関連性による方法が機能しない可能性もある。そのためこの代わりに、下記のような広告を検出する補助方法を採用することができる。即ち、広告本体の特徴を利用して検出する。広告と普通プログラムの顕著な区別は、テレビプログラムの長さは一般的に非常に短く、この短い時間で商品の特徴を明瞭明確に伝えるなら、できるだけ少ない画面を使って充分なメッセージを伝えることが要求されている。
【００３９】
図３ａは広告のビデオ画像の変化周波数を示し、図３ｂは普通のテレビプログラムのビデオ画像の変化周波数を示す。図面において、ピーク値の位置は、画像がこの場所で顕著な変化があることを示している。図面から判るように、８秒程度に長い広告には５箇所以上の切換え場所を検出することができ、画面時間の長さは２秒を超えないのに対して、普通のテレビプログラムは（図３ｂを参照）５秒からそれ以上の長さの画面が少なくない。したがって、広告画面の変化周波数は、一般に普通のテレビプログラムより早いことが判る。好ましい実施例では、長い画面で検出した。即ち、画面切換えの時間間隔がある閾値より小さくない場合、広告プログラムがもう終わったと判断する。例として、この閾値を５秒ほどに設定することができ、あるいは場合によって調整することもできる。
【００４０】
画面切換え検出の基本的な原理は、非常によいフレーム間差分比較方法を調べてピーク値を検出し、設定されている差分値を超える場所を画面切換え点であると確定する。フレーム間の関連性に対する分析と同じように、色ヒストグラムマッチングでフレーム間の差分分析をすることが好ましい。具体的な計算方法は上記と同様であるため、ここでは説明を省略する。
【００４１】
以下、図２を使って、テレビ広告自動検出方法の動作フローを説明する。図２で示したように、まずステップＳ２０１においてテレビ電源をオンにして、約５秒から１０秒のビデオフレームをビデオフレームバッファ４に記憶する。テレビプログラムを見ている間に、もし広告が出ると、視聴者はリモートコントローラの提示ボタン１０を押して、テレビ側の受信器８に広告終わり提示指令を送信する。ステップＳ２０２において、受信器８は、リモートコントローラ側の送信器９が送信した広告終わり提示指令を受信したか否かを検出する。もしステップＳ２０２での判断が「いいえ」であるなら、広告終わり提示指令を受信したか否かを続けて検出する。もしステップＳ２０２での判断が「はい」であるなら、ステップＳ２０３において、コントローラ５に起動信号を提供してコントローラ５を起動する。コントローラ５は、ビデオ画面切換え検出計算装置６を制御し、ビデオ画像フレームの突然変化を検出して、ビデオフレームバッファ４の中の専用記憶区域に、ビデオフレームに突然変化が発生する一つ前のフレームを提示キーフレームとして、ビデオフレームバッファ４に記憶する。ステップＳ２０４において、バッファに記憶されている新たに受信したビデオフレームが、提示キーフレームとマッチング（関連あり）するか否かを判断する。もし新たに受信したビデオフレームが提示キーフレームとマッチング（関連あり）すると判断できるか、又は、画面切換え時間間隔が予定閾値より大きい若しくは等しい場合、フローはステップＳ２０６に入って、提示信号発生装置７を制御して広告終わり提示信号を発生し、音を出すか又は文字を表すような適当な方式で、広告がもう終わったことを視聴者に注意を与える。もしステップＳ２０４において新たに受信したビデオフレームが記憶されている提示キーフレームとマッチングしない（関連ない）と判断し、かつ画面切換え時間間隔が予め定めた閾値より小さい場合、フローはステップＳ２０５に移って、このステップでもし広告放送がまだ終わっていないと判断すると、ステップＳ２０４に戻って関連性の検出を、受信したビデオフレームが記憶されている提示キーフレームとマッチングする（関連あり）と判断できるまで続行する。検出画像のマッチング若しくは関連あり、又は広告画像からテレビプログラムに切換える方法は、前記の本発明に対する記述で使用した手法を使うことができ、ここでは繰り返さない。
【００４２】
図４は、本発明の他の実施例によるテレビ広告自動検出装置の配置ブロック図である。その中で、使用する装置は、図１で説明した実施例中の装置と同じであり、ここでは、図１と同じ装置に対して同じ参照符号を付与した。本実施例と図１の実施例と区別は以下のようである、即ち、テレビ側において、受信器８とビデオ画面切換え検出計算装置６とは直接に接続され、広告終わり提示指令を受信したとき、ビデオ画面切換え検出計算装置６で画像関連性の検出を行う。コントローラ５は、ビデオ画面切換え検出計算装置６と提示信号発生装置７との間に設置される。ビデオ画面切換え検出計算装置６が、提示キーフレームと関連又はマッチングしている画像フレームを検出した場合、コントローラ５に起動信号を提供し、このコントローラ５で提示信号発生装置７を制御して広告終わり提示信号を発生する。当該実施例において、ビデオ画面切換え検出計算装置６は、提示キーが信号を送信するか否かに関わらず、画面の切換えを絶えず検出する。このようにすることによって、現在処理する二つのフレームの画像と、保存されている画面切換え前の画像フレームとを記憶するだけで足りるため、要求される記憶量を大幅に減少することができる。
【００４３】
本発明のテレビ広告自動検出装置及び方法は、自動的に広告放送の終わりを検出して、テレビ視聴者をテレビ広告の前で無駄に待機させることなく、また他の仕事をするか若しくは他のチャンネルを見ながらも、前回のプログラムを見逃すことがない。
【００４４】
より具体的な実施例を用いて本発明を説明したが、こうした説明は説明の目的のみならず、本発明の請求項の精神又は範囲を超えることなく、本発明にとっていろいろな変更と変化を行えることができるのは言うまでもない。
【図面の簡単な説明】
【００４５】
【図１】本発明の一実施例によるテレビ広告自動検出装置の配置ブロック図である。
【図２】本発明の実施例による、テレビ広告を自動検出する動作のフローチャートである。
【図３ａ】テレビ広告と普通のテレビプログラムのビデオ画面との間の切換え特徴を示す模式図である。
【図３ｂ】テレビ広告と普通のテレビプログラムのビデオ画面との間の切換え特徴を示す模式図である。
【図４】本発明の他の実施例によるテレビ広告自動検出装置の配置ブロック図である。
【図１】
2006524936.tif 000006
【図２】
2006524936.tif 000007
【図３ａ】
2006524936.tif 000008
【図３ｂ】
2006524936.tif 000009
【図４】
2006524936.tif 000010
【手続補正書】
【提出日】平成17年11月1日(2005.11.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
テレビ広告自動検出装置であって、
テレビが受信した、第１組のビデオフレームと、画面切換え周波数が前記第１組のビデオフレームとは顕著に異なる第２組のビデオフレームと、を記憶するビデオフレームバッファと、
前記ビデオフレームバッファに記憶されている前記第１組と前記第２組のビデオフレームを読取って、前記第１組のビデオフレームが前記第２組のビデオフレームに切換える前の前記第１組のビデオフレームにおいての最後の一つのフレームを計算して、提示キーフレームにし、また新たに受信したビデオフレームと前記提示キーフレームとの間の関連性を計算するビデオ画面切換え検出計算装置と、
前記ビデオ画面切換え検出計算装置が、前記新たに受信したビデオフレームと前記提示キーフレームとの間の関連性が予め定めた閾値より大きい又は等しいと検出された場合、提示信号を発生する提示信号発生装置と、
前記ビデオ画面切換え検出計算装置の読み取り、計算操作を制御する制御装置と、を備えることを特徴とするテレビ広告自動検出装置。
【請求項２】
前記ビデオフレームバッファの中に、前記提示キーフレームを記憶する専用記憶区域が設けられることを特徴とする請求項１記載のテレビ広告自動検出装置。
【請求項３】
前記提示キーフレームを記憶するバッファが、前記ビデオフレームバッファとは分けて設けられることを特徴とする請求項１記載のテレビ広告自動検出装置。
【請求項４】
前記ビデオ画面切換え検出計算装置は、前記第１組と前記第２組のビデオフレームとの間の画面切換え間隔によって、前記第２組のビデオフレームから前記第１組のビデオフレームへの切換えを検出し、かつ、前記画面切換え間隔が予め定めた閾値より小さい場合、前記第２組のビデオフレームから前記第１組のビデオフレームに切換えたことを確認し、前記提示信号発生装置に信号を提供することを特徴とする請求項１記載のテレビ広告自動検出装置。
【請求項５】
前記ビデオ画面切換え検出計算装置は、ビデオフレームの間のヒストグラムによって、新たに受信したビデオフレームと前記提示キーフレームとの間の関連性を計算することを特徴とする請求項１記載のテレビ広告自動検出装置。
【請求項６】
テレビ広告自動検出装置であって、
テレビが受信した、第１組のビデオフレームと、画面切換え速度が前記第１組のビデオフレームとは顕著に異なる第２組のビデオフレームと、を記憶するビデオフレームバッファと、
前記ビデオフレームバッファに記憶されている前記第１組と前記第２組のビデオフレームを読取って、前記第１組のビデオフレームが前記第２組のビデオフレームに切換える前の前記第１組のビデオフレームにおいての最後の一つのフレームを計算して、提示キーフレームにし、また新たに受信したビデオフレームと前記提示キーフレームとの間の関連性を計算するビデオ画面切換え検出計算装置と、
前記ビデオ画面切換え検出計算装置が、前記新たに受信したビデオフレームと前記提示キーフレームとの間の関連性が予め定めた閾値より大きい又は等しいと検出された場合、提示信号を発生する提示信号発生装置と、
前記ビデオ画面切換え検出計算装置によって、前記第２組のビデオフレームから前記第１組のビデオフレームへの切換えを検出し、また前記提示信号発生装置を制御して提示信号を発生する制御装置と、を備えることを特徴とするテレビ広告自動検出装置。
【請求項７】
前記ビデオフレームバッファの中に、前記提示キーフレームを記憶する専用記憶区域が設けられることを特徴とする請求項６記載のテレビ広告自動検出装置。
【請求項８】
前記提示キーフレームを記憶するバッファが、前記ビデオフレームバッファとは分けて設けられることを特徴とする請求項６記載のテレビ広告自動検出装置。
【請求項９】
前記ビデオ画面切換え検出計算装置は、前記第１組と前記第２組のビデオフレームとの間の画面切換え間隔によって、前記第２組のビデオフレームから前記第１組のビデオフレームへの切換えを検出し、かつ、前記画面切換え間隔が予定閾値より小さい場合、前記第２組のビデオフレームから前記第１組のビデオフレームに切換えたことを確認し、前記提示信号発生装置に信号を提供することを特徴とする請求項６記載のテレビ広告自動検出装置。
【請求項１０】
前記ビデオ画面切換え検出計算装置は、ビデオフレームの間のヒストグラムによって、新たに受信したビデオフレームと前記提示キーフレームとの間の関連性を計算することを特徴とする請求項６記載のテレビ広告自動検出装置。
【請求項１１】
テレビ広告自動検出方法であって、
テレビが受信した、第１組のビデオフレームと、画面切換え周波数が前記第１組のビデオフレームとは顕著に異なる第２組のビデオフレームと、を記憶するステップと、
広告の終わりを提示する指令を受信した時、記憶されている前記第１組と第２組のビデオフレームを読取って、前記第２組のビデオフレームが何時前記第１組のビデオフレームと関連するビデオフレームに切換えたかを検出するステップと、
前記新たに受信したビデオフレームと前記最後の一つのフレームとの関連性が予め定めた閾値より大きい又は等しい場合、提示信号を発生するステップと、を含むことを特徴とするテレビ広告自動検出方法。
【請求項１２】
前記第２組のビデオフレームが何時前記第１組のビデオフレームと関連するビデオフレームに切換えたかを計算する前記ステップは、
前記第１組のビデオフレームが前記第２組のビデオフレームに切換える前の前記第１組のビデオフレームにおいて最後の一つのフレームを計算して、提示キーフレームにし、また新たに受信したビデオフレームと前記提示キーフレームとの関連性を計算するステップを含むことを特徴とする請求項１１記載のテレビ広告自動検出方法。
【請求項１３】
前記第２組のビデオフレームが何時前記第１組のビデオフレームと関連するビデオフレームに切換えたかを計算する前記ステップは、
前記第１組と前記第２組のビデオフレームとの間の画面切換え間隔によって、前記第２組のビデオフレームから前記第１組のビデオフレームへの切換えを検出し、かつ、前記画面切換え間隔が予め定めた閾値より小さい場合、前記第２組のビデオフレームから前記第１組のビデオフレームに切換えたことを確認するステップを含むことを特徴とする請求項１１記載のテレビ広告自動検出方法。
【請求項１４】
前記第２組のビデオフレームが何時前記第１組のビデオフレームと関連するビデオフレームに切換えたかを計算する前記ステップは、
ビデオフレームの間のヒストグラムによって、新たに受信したビデオフレームと前記提示キーフレームとの間の関連性を計算するステップを含むことを特徴とする請求項１１記載のテレビ広告自動検出方法。
【請求項１５】
テレビ広告自動検出装置であって、
テレビが受信した、第１組のビデオフレームと、画面切換え周波数が前記第１組のビデオフレームとは顕著に異なる第２組のビデオフレームと、を記憶するビデオフレームバッファと、
前記ビデオフレームバッファに記憶されている前記第１組と前記第２組のビデオフレームを読取って、前記第１組のビデオフレームが前記第２組のビデオフレームに切換える前の前記第１組のビデオフレームにおいての最後の一つのフレームを確定して、提示フレームにするビデオ画面切換え検出計算装置と、
前記ビデオ画面切換え検出計算装置が、前記新たに受信したビデオフレームと前記提示フレームとがマッチングしていると判断した場合、提示信号を発生する提示信号発生装置と、
前記ビデオ画面切換え検出計算装置の操作を制御する制御装置と、を備えることを特徴とするテレビ広告自動検出装置。
【請求項１６】
前記ビデオフレームバッファの中に、前記提示キーフレームを記憶する専用記憶区域が設けられることを特徴とする請求項１５記載のテレビ広告自動検出装置。
【請求項１７】
前記ビデオフレームバッファとは分けて設けられ、前記提示キーフレームを記憶するメモリをさらに含むことを特徴とする請求項１５記載のテレビ広告自動検出装置。
【請求項１８】
テレビ広告自動検出装置であって、
テレビが受信した、第１組のビデオフレームと、画面切換え周波数が前記第１組のビデオフレームとは顕著に異なる第２組のビデオフレームと、を記憶するビデオフレームバッファと、
前記ビデオフレームバッファに記憶されている前記第１組と前記第２組のビデオフレームを読取って、前記第１組のビデオフレームが前記第２組のビデオフレームに切換える前の、予定時刻の前記第１組のビデオフレームに含める一つのフレームを確定して、提示フレームにするビデオ画面切換え検出計算装置と、
前記ビデオ画面切換え検出計算装置が、前記新たに受信したビデオフレームと前記提示フレームとがマッチングしていると判断した場合、提示信号を発生する提示信号発生装置と、
前記ビデオ画面切換え検出計算装置の操作を制御する制御装置と、を備えることを特徴とするテレビ広告自動検出装置。
【請求項１９】
前記ビデオフレームバッファの中に、前記提示キーフレームを記憶する専用記憶区域が設けられることを特徴とする請求項１８記載のテレビ広告自動検出装置。
【請求項２０】
前記ビデオフレームバッファとは分けて設けられ、前記提示キーフレームを記憶するメモリをさらに含むことを特徴とする請求項１８記載のテレビ広告自動検出装置。
【請求項２１】
テレビ広告自動検出方法であって、
テレビが受信した、第１組のビデオフレームと、画面切換え周波数が前記第１組のビデオフレームと顕著に異なる第２組のビデオフレームと、を記憶するステップと、
記憶されている前記第１組と第２組のビデオフレームを読取って、前記第１組のビデオフレームが前記第２組のビデオフレームに切換える前の前記第１組のビデオフレームにおいての最後の一つのフレームを確定して、提示キーフレームにするとともに、この提示キーフレーム記憶するステップと、
新たに受信したビデオフレームと前記提示フレームとがマッチングしているとき、提示信号を発生するステップと、を含むことを特徴とするテレビ広告自動検出方法。
【請求項２２】
テレビ広告自動検出方法であって、
テレビが受信した、第１組のビデオフレームと、画面切換え周波数が前記第１組のビデオフレームと顕著に異なる第２組のビデオフレームと、を記憶するステップと、
記憶されている前記第１組と第２組のビデオフレームを読取って、前記第１組のビデオフレームが前記第２組のビデオフレームに切換える前の、予定時刻の前記第１組のビデオフレームに含めている一つのフレームを確定して、提示フレームにするとともに、この提示キーフレームを記憶するステップと、
新たに受信したビデオフレームと前記提示フレームとがマッチングしているとき、提示信号を発生するステップと、を含むことを特徴とするテレビ広告自動検出方法。
【請求項２３】
前記予定時刻は、前記第１組のビデオフレームが前記第２組のビデオフレームに切換える前の、２秒から１０秒までの範囲の一つの時刻であることを特徴とする請求項２２記載のテレビ広告自動検出方法。
【国際調査報告】
2006524936.tif 000011
2006524936.tif 000012
2006524936.tif 000013
2006524936.tif 000014