(57)【要約】電子番組情報のカタログの処理方法であって、前記カタログは番組の開始時刻と終了時刻を含む番組のための情報を含み、前記番組はそこから収集された特性データにより表され、前記処理は前記番組の表示及び/または録画を制御するため、番組の開始及び/または終了時刻から特性データの番組映像入力をモニタすることを含む。
2004528790.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの番組の開始時刻と終了時刻を含む情報からなる電子番組情報のカタログの処理方法であって：
前記少なくとも１つの番組の特性データを表す第１値を前記開始時刻に取得するステップ；
前記カタログに前記第１値を保存するステップ；
前記少なくとも１つの番組の特性データを表す第２値を前記終了時刻に取得するステップ；及び
前記カタログに前記第２値を保存するステップ；
ユーザが利用のため前記少なくとも１つの番組を番組入力を備えた装置により選ぶ場合、前記第１値と前記第２値を前記装置にコピーするステップ；及び
前記第１値と前記第２値を前記番組入力から取得した対応する値と比較し、前記利用のため開始及び終了時刻を決定するステップ；
からなることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、前記第１値は、前記少なくとも１つの番組の直前の番組の終了の特性データを表すことを特徴とする方法。
【請求項３】
請求項２記載の方法であって、前記情報は：
仮の直前の番組の前記終了時刻；及び
前記開始時刻に前記少なくとも１つの番組の特性データを表す前記第２値；
を含み、前記仮の直前の番組の終了時刻を決定するため前記第１値は前記番組入力から取得した対応する値と比較され、前記利用の開始時刻を決定するため前記第２値は前記番組入力から取得した対応する値と比較されることを特徴とする方法。
【請求項４】
請求項１乃至３の何れか１項記載の方法であって、前記番組は映像信号源により搬送されることを特徴とする方法。
【請求項５】
請求項１または２記載の方法であって、前記番組から収集される特性データを表す前記値は、前記番組のフレームからの特性の組み合わせを利用することにより生成されるシグネチャであることを特徴とする方法。
【請求項６】
請求項１または２記載の方法であって、前記番組から収集される特性データを表す前記値は、前記番組のフレームから生成されるカラーヒストグラムであることを特徴とする方法。
【請求項７】
請求項１または２記載の方法であって、前記番組から収集される特性データを表す前記値は、前記番組のフレームから収集される字幕データから生成されることを特徴とする方法。
【請求項８】
請求項１または２記載の方法であって、前記番組から収集される特性データを表す前記値は、前記番組の１つ以上のフレームからの音声部分から生成されることを特徴とする方法。
【請求項９】
請求項１または２記載の方法であって、前記番組から収集される特性データを表す前記値は、フレームの離散コサイン値のブロックに対し生成されるシグネチャであることを特徴とする方法。
【請求項１０】
請求項１または２記載の方法であって、前記番組から収集される特性データを表す前記値は、低レベル特性から取得されることを特徴とする方法。
【請求項１１】
請求項１または２記載の方法であって、前記DCTブロックの特性を表す前記値は、フレームのDCT値のブロックに対し生成されるシグネチャであることを特徴とする方法。
【請求項１２】
請求項１または２記載の方法であって、前記番組から収集される特性データを表す前記値は、低レベル特性から取得されることを特徴とする方法。
【請求項１３】
番組の開始時刻と終了時刻が記憶され、前記番組から収集される特性データにより表される前記番組のための情報を含む電子番組情報のカタログの処理システムであって：
前記番組の映像信号源；及び
前記映像信号源、電子番組ガイド、ユーザ選択装置及び論理出力手段に接続されるプロセッサ；
からなり、前記プロセッサは、前記ユーザ選択装置からユーザ番組選択を取得し、前記カタログを含む前記電子番組ガイドから前記特性データ、番組チャンネル選択及び番組開始及び終了時間を取得し、前記特性データを映像信号源から生成される補完特性データと比較するため、前記番組開始時刻に近接した時刻に前記映像信号源をモニタし、及び（a）前記特性データが映像信号源から生成される前記補完特性データに等しい場合、論理出力手段をTRUEに設定し、前記比較の実行を止めるか、あるいは（b）そうでない場合、論理出力手段をFALSEに設定し、映像信号源に対し前記比較を実行し続けることを特徴とするシステム。
【請求項１４】
請求項１３記載のシステムであって、さらに、前記プロセッサは、前記特性データを映像信号源から生成される補完特性データと比較するため、前記番組終了時刻に近接した時刻に前記映像信号源をモニタし、及び（a）前記特性データが映像信号源から生成される前記補完特性データに等しい場合、論理出力手段をFALSEに設定し、前記比較の実行を止めるか、あるいは（b）そうでない場合、論理出力手段をTRUEに設定し、映像信号源に対し前記比較を実行し続けることを特徴とするシステム。
【請求項１５】
請求項１３記載のシステムであって、前記プロセッサはさらに、前記番組のさらなる処理のための装置に接続され、前記論理出力手段のTRUE値は前記プロセッサに前記番組のチャンネルに合わせて前記装置をオンすることを特徴とするシステム。
【請求項１６】
請求項１５記載のシステムであって、さらに、前記論理出力手段のFALSE値は前記さらなる処理のための装置をオフすることを特徴とするシステム。
【請求項１７】
請求項１記載のシステムとして機能するよう実行されるとき、プログラム可能な装置を可能にするコンピュータプログラムプロダクツ。
【発明の詳細な説明】
【０００１】
本発明は、電子番組ガイド（EPG）を利用し放送信号から抽出及び生成されるシグネチャデータ（signature  data）に関連した番組開始時刻と終了時刻の検出方法及びシステムに関する。
【０００２】
テレビユーザはしばしばテレビ番組ガイドを利用し、視聴及び/あるいは録画する番組を選ぶ。最近、テレビガイドは、電子番組ガイド（EPG）として、番組が放映される開始時刻、終了時刻、チャンネルあるいは放送局に関する情報を含んだ電子形態での利用が可能になってきている。
【０００３】
現在のEPGでは、テレビ受信機のユーザは、EPGから視聴または録画したい番組を選択し、その開始時刻、終了時刻、チャンネルや放送局の選択を受信機にダウンロードすることが可能である。そして受信機は視聴及び/または録画装置を制御し、選択された番組が放映されると、電源を入れ、その番組にチャンネルを合わせる。従来技術における問題点は、EPGに保存されている時刻がしばしば概算的なものであり、間際での変更や遅延のため、ユーザにより選択された番組がEPGにスケジュールされたものより遅れて開始及び終了される可能性があるという点である。
【０００４】
具体例として、ユーザがピーターパンの録画を所望しているケースを考える。EPGによると、ピーターパンは月曜日の「マンデーナイトフットボール」の後に始まる。このマンデーナイトフットボールは東部時間午後１１：３０に終了するようスケジュールされている。実際、フットボールゲームはオーバータイムに入り、東部時間午後１１：４５までに終了せず、ピーターパンの放送時刻は１５分シフトされる。
【０００５】
従来技術による録画装置を制御する受信機は、午後１１：３０に録画を開始し、午前１２：００に録画を終了するよう録画装置に信号を送信する。その結果、フットボールゲームの最後の１５分が記録され、その後にピーターパンの最初の１５分が記録されてしまう。すなわち、ピーターパンの最後の１５分は録画されない。
【０００６】
本発明は、従来技術による問題点を解決するものであり、番組から抽出された特性データにより表される番組の開始時刻と終了時刻を含む番組情報を有する電子番組情報のカタログの処理方法を一実施例において提供する。本発明による方法では、番組開始時に映像プログラムから特性データを表す値を取得し、次に、番組開始時に映像区切り（video  segment）からの特性データを表す値をカタログに保存する。
【０００７】
その後、番組終了時に映像区切りから特性データを表す値を取得し、この値をEPGカタログに保存する。ユーザがEPGカタログにリストされている番組を選択すると、開始及び終了時刻における特性データを表す値を装置にコピーし、その後、EPGにリストされているものの開始及び終了時刻からこの特性に適合するものを検索するため、電子番組入力映像データをモニタする。
【０００８】
選択されたチャンネルの映像入力からの特性が番組開始時からの特性に適合している場合、装置は選択された番組の視聴、録画あるいは他の利用活動を開始する。
【０００９】
本発明の他の実施例では、本装置は、その後、番組終了時の映像シーケンスからの特性データを表す値と映像入力からの特性データを表す値とを比較する。番組終了時の映像シーケンスからの特性データを表す値と映像入力からの特性データを表す値とが適合している場合、本装置はその番組のための動作を終了する。
【００１０】
本発明の他の実施例では、電子番組情報のカタログを処理するシステムが記述される。このカタログには、番組の開始時刻と終了時刻を有する番組情報が含まれ、番組はそこから抽出された特性データにより表現される。本システムは、番組の映像信号源とこの映像信号源に動作可能なよう接続されたプロセッサとを備える。プロセッサはまた、電子番組ガイド、ユーザ選択装置及び論理出力手段に接続される。プロセッサは、前述の方法に従い動作し、ユーザ選択装置からユーザ番組選択と、EPGから番組開始及び終了特性データ、番組チャンネル選択と開始及び終了時刻を受け入れるよう構成される。そして、プロセッサは、前述の方法において述べられたように接続されているモニタに番組表示を開始及び終了するよう操作する。
【００１１】
本発明の他の実施例では、プロセッサは、モニタの代わりに番組録画装置を操作する。
【００１２】
以下の記述は、当業者が本発明を作成及び使用することを可能にするよう与えられる。与えられる好適な実施例への様々な変更が当業者には即座に明らかになるであろう。またここで与えられる開示は、本発明及び添付されるクレームの意図及び範囲から逸脱することなく、他の実施例や適用事例に応用可能である。従って、本発明は、説明される実施例に制限されるされることを意図したものでなく、ここで与えられた開示と一貫した最も広い範囲に一致する。
【００１３】
本発明は、EPG開始時刻が概算的なものであるという問題を、番組の開始と終了からフレームを表すシグネチャを生成し、そしてEPGカタログに保存することを可能にすることにより解消する。これらのシグネチャは、ユーザが視聴や録画のためにEPGから番組を選択するとき、抽出される。本発明を利用したシステムは、（EPGから）番組が放映されるようスケジュールされている時刻の近くからチャンネルをモニタしてもよい。チャンネルをモニタすることにより生成されるシグネチャがEPGに記憶されているものと適合する場合、本システムは番組の表示及び/または録画の開始を知る。
【００１４】
同様に、本システムは、適当な時刻に表示及び/または録画を停止するために、番組の終了を示すシグネチャをモニタし続ける。あるいは、本システムは、スケジュールされた番組の終了時間近くになってからモニタしてもよい。
【００１５】
本発明の他の実施例は、生放送、スポーツ番組、天気番組やニュース番組のように、番組開始及び/または終了シグネチャが予め利用可能でない場合を扱うことができる。本実施例では、表示/録画装置は、EPGにおいて放送が始まるようスケジュールされる前に、短時間選択されたチャンネルや放送局のバッファリングを開始してもよい。EPGはまた継続的にモニタされ、放送局はできるだけ即座にEPGに開始及び/または終了シグネチャを挿入する。その後、表示/録画装置は、バッファの中の開始シグネチャのある点から表示/録画を開始し、エンドシグネチャが検出された点で表示/録画を終了する。
【００１６】
本発明の他の特徴は選択された番組の表示に関し、またさらなる他の特徴は選択された番組の録画に関する。
【００１７】
追加的な実施例は番組のフレームからの特徴の組み合わせを利用することにより生成されるシグネチャの特性データを表す値に関し、さらなる他の実施例は番組のフレームから生成されたカラーヒストグラムを利用する。
【００１８】
本発明の他の実施例によると、この番組から抽出された特性データを表す値が番組の１つ以上のフレームから抽出される字幕データから生成される。
【００１９】
本発明の他の実施例によると、番組の特性を表す値は、フレームのDCT値のブロックに対し生成されるシグネチャである。
【００２０】
本発明の他の実施例によると、番組の特性を表す値は、１つ以上のフレームの音声を利用し生成されるシグネチャである。
【００２１】
本発明の他の実施例によると、番組の特性を表す値は、上記実施例の組み合わせから生成されるシグネチャである。
【００２２】
以下で説明されるように、番組開始及び終了シグネチャからなる多くの可能な特性がある。
［DCTフレームシグネチャ］
フレームシグネチャ表示は、フレーム内の類似の値を持つDCTブロックの各グループに対し導かれる。すなわち、フレームシグネチャはフレーム内のリージョンシグネチャ（region  signature）から導出される。
【００２３】
各リージョンシグネチャは、ここで説明されるようにブロックシグネチャから導出される。定性的に、フレームシグネチャは、認識可能なオブジェクトを表す映像フレームにおける顕著な領域についての情報を含む。このフレームのシグネチャは、この部分の映像を抽出するために利用することができる。
［ブロック、領域及びフレームシグネチャの抽出］
AC係数のDC値と最大値に基づき、フレーム内の各ブロックに対しシグネチャが導出される。次に、類似のシグネチャを有するブロックのサイズと位置が、リージョンシグネチャの導出に利用される。
【００２４】
図２は、ブロックシグネチャが８ビットであるブロックシグネチャ抽出の一例を示す。ここで、８ビットのうちの３ビットがDC2’値に、５ビットがAC1’値にそれぞれ寄与する。シグネチャのDC部分は、DC値がある特定の値の範囲（例えば、-2400から2400）にある場所を決定することにより導出される。この範囲は、予め選ばれた数の間隔に分割される。３ビットがDC値に寄与する場合、８つのまでの間隔が利用されうる。適用事例のタイプに応じて、全体のシグネチャのサイズは多数の間隔とより精細な粒度表示を備えるよう変更することができる。各間隔には、DC値の範囲からシグネチャのDC部分への所定のマッピングが含まれている。
【００２５】
各AC値は閾値と比較される。もしこの値が閾値より大きければ、ACシグネチャの対応するビットは１に設定される。各フレームに対しブロックシグネチャを導出した後、類似の値を有するブロックシグネチャの領域が決定される。領域は同様のブロックシグネチャを共有する２つ以上のブロックから構成される。この処理で、画像における領域を分離させるため領域拡大方法が利用される。
【００２６】
従来より、領域拡大方法は、画素カラー及び近傍コンセプトを利用し、領域を検出する。ここでは、ブロックシグネチャは領域拡大のベーシス（basis）として利用される。各領域には、リージョンシグネチャ
【００２７】
【数１】
2004528790.tif 000003
が割り当てられる。ここで、RxとRyは領域の中心の座標である。各領域は、概ね画像におけるオブジェクトに対応している。
【００２８】
選択されたフレームは、DCTブロックの最も顕著なグループ（領域）により表現される。nワード長シグネチャが、nにより（適用事例により定義される）重要領域の個数が決定され、ワードが所定のバイト数からなるフレームに対し導出される。各フレームは多数の顕著領域により表現されうる。１つの可能な実現方法としては、画像中の領域数を制限し、最も大きな領域のみを保持するというものである。１つのフレームは多数の領域により表現されるので、類似領域の個数を選ぶことによりフレーム間の類似性を、ブロックシグネチャ、サイズ及び位置に基づき規定することができる。領域は領域サイズによりソートされ、当該フレームの代表として上位n個のリージョンシグネチャ
【００２９】
【数２】
2004528790.tif 000004
が選ばれる。ここで、このキーフレームの表示は、画像の視覚的様相に基づき、画像の意味的な側面を記述しようとはしていない。
［フレームマッチング］
映像フレームの開始あるいは終了を検出するため、フレーム比較手順は、映像フレームF’’シグネチャをEPGからのシグネチャと比較する。このそれぞれのリージョンシグネチャはそれらのサイズに従い比較される。
【００３０】
【数３】
2004528790.tif 000005
フレーム差が、同一の重心を有するフレームシグネチャにおける領域に対し計算される。この場合、オブジェクトの位置と色内容がシグネチャ生成で考慮される。あるいは、位置が関連していないケース、領域サイズの比較が必要なケース、及び領域の位置が無視されるケースがある。フレーム差がゼロの場合、適合したフレームからの位置情報は映像シーケンスの開始または終了の信号化に利用される。
［他のフレームシグネチャタイプ］
他の低レベルのフレーム特性によりシグネチャは生成されうる。シグネチャは、現在フレームとその直前及び/あるいは直後のフレームとの間の平均絶対差（MAD）のような複数フレームの特徴の組み合わせを利用することにより生成可能である。フレームの強度（intensity）、フレームで利用されるビットレート、フレームがインタレース（interlaced）かプログレッシブ（progressive）か、及びフレームが１６：９フォーマットか４：３フォーマットかが、フレーム特定の任意の組み合わせと前述のものと類似して展開された抽出処理において利用されるすべてのタイプの情報である。
【００３１】
シグネチャはまた、輝度合計値（luminance  total  value）、量子化スケール（quantizer  scale）、現在ビットレート（current  bit  rate）、X方向のフィールド移動平均（field  move  average）、（連続フレームの）輝度差分値（luminance  differential  value）、レターボックス値（letterbox  value）、エッジポイント（edge  point）の総数、映像テキストボックスの総数と情報、及びフェース（face）の総数と情報から生成されてもよい。
［カラーヒストグラム］
前述のシグネチャを利用する代わりに、フレームのためにカラーヒストグラムを計算し、シグネチャのためにこのカラーヒストグラムを利用してもよい。カラーヒストグラムは、任意の色空間からの任意のバイナリ（bin）数からなる。
［字幕（closed  caption）］
字幕データがまたシグネチャとして利用されてもよい。トリガーワード（trigger  word）が、EPGに保存され、前述の開始と終了を検出するために抽出された字幕が比較される。
［組み合わせ］
上記任意の組み合わせが、映像のフレームやセクションをブックマークするために利用されてもよい。
【００３２】
図１は、映像信号１で搬送される与えられた番組の表示及び/あるいは録画を制御するシステムにおける様々な相互作用を示す。ユーザ制御装置３を有するユーザ２は、電子番組ガイド４を参照し、そのカタログ５から記録すべき番組を選択する。開始・終了時刻及びシグネチャを含む選択された番組のデータが、受信機６のプロセッサに送信される。その後、このプロセッサ６は、選択された番組の開始時刻のためのシグネチャを検出するため、入力映像信号１をモニタする。シグネチャが検出されると、プロセッサ６は録画/表示装置７を制御し、選択されている番組の録画あるいは表示を行う。
【００３３】
同様に、プロセッサ６は、選択された番組の終了のためのシグネチャの検出のため、映像信号１をモニタし続けてもよい。もしこのシグネチャが検出されると、プロセッサ６は表示/録画装置７を制御し、番組の録画及び/あるいは表示を停止する。
【００３４】
図２に戻って、ブロックシグネチャ抽出の一例が示される。与えられた映像フレームのDCTブロック８は値の配列を備えている。これらの値は、DC値９と最も重要なAC値１０により表現される。DC値は、８ビットブロックシグネチャ１１の３ビットにより表現される。AC値は残りの５ビットにより表現される。
［音声］
１つ以上のフレームから収集された音声情報もまたシグネチャとして利用されうる。音声シグネチャは、ピッチ（例えば、最大値、最小値、中間値、平均値、ピーク数など）、平均振幅、平均エネルギー、帯域幅及びメル周波数ケプストラム係数（MFCC）ピークなどの情報から構成される。そのようなシグネチャは、映像区切りの最初の５秒から抽出された単一のオブジェクト区切りの形態であってもよい。他の例として、音声シグネチャは、特定された各映像カットに続く指定された時間間隔から抽出された音声シグネチャ{A1,  A2,  …,  An}の集合であってもよい。
【００３５】
もちろん、当該分野においてよく知られているように、映像フレームからフレームシグネチャの取得には多くの方法がある。従って、ここまで本発明の好適な実施例が説明されてきたが、さらなる変更及び修正が、本発明の意図から逸脱することなく当業者により実行されうる。また、以下に与えられるクレームの範囲内のすべての変更及び修正を含むことが意図されている。
【図面の簡単な説明】
【００３６】
【図１】図１は、EPGと録画及び/または表示装置を制御するための信号特性を利用したシステムのブロック図である。
【図２】図２は、DCT法を利用したブロックシグネチャ抽出の一例を示す図である。
【図１】
2004528790.tif 000006
【図２】
2004528790.tif 000007
【国際公開パンフレット】
2004528790.tif 000008
2004528790.tif 000009
2004528790.tif 000010
2004528790.tif 000011
2004528790.tif 000012
2004528790.tif 000013
2004528790.tif 000014
2004528790.tif 000015
2004528790.tif 000016
2004528790.tif 000017
2004528790.tif 000018
2004528790.tif 000019
2004528790.tif 000020
2004528790.tif 000021
【国際調査報告】
2004528790.tif 000022
2004528790.tif 000023
2004528790.tif 000024