(57)【要約】    【課題】  放送番組の内容を示すメニューを自動的に作成する放送番組内容メニュー作成装置及び方法を提供する。    【解決手段】  蓄積した放送番組の映像信号の放送番組が所定のジャンルの放送番組であるか否かを判定し、その蓄積した映像信号のうちの所定のジャンルの放送番組の映像信号の各フレームの所定の特徴画部分を検出し、検出した所定の特徴画部分のうちの所定の出現条件を満たすフレームの特徴画部分だけの映像データを抽出し、その映像データの抽出毎にその映像データによって示される特徴画部分を含む映像を示す映像信号をメニューとして作成して出力する。【選択図】  図１
2004364234.tif 000002
【特許請求の範囲】
【請求項１】
放送番組の内容に関するメニューを作成する放送番組内容メニュー作成装置であって、
放送番組の映像信号を蓄積する蓄積手段と、
前記蓄積手段に映像信号が蓄積された放送番組が所定のジャンルの放送番組であるか否かを判定するジャンル判定手段と、
前記蓄積手段に蓄積された映像信号のうちの前記所定のジャンルの放送番組の映像信号の各フレームの所定の特徴画部分を検出する特徴画検出手段と、
前記特徴画検出手段によって検出された前記所定の特徴画部分のうちの所定の出現条件を満たすフレームの特徴画部分だけの映像データを抽出する映像抽出手段と、
前記映像抽出手段によって映像データが抽出される毎にその映像データによって示される特徴画部分を含む映像を表す映像信号を前記メニューとして作成して出力するメニュー作成手段と、を備えることを特徴とする放送番組内容メニュー作成装置。
【請求項２】
前記所定のジャンルの放送番組は、ニュース番組であり、
前記特徴画検出手段は、前記所定の特徴画部分として各フレーム中のテロップを検出するテロップ検出部からなり、
前記映像抽出手段は、前記蓄積手段に蓄積された映像信号のフレーム列においてシーンが変化する時点のフレームを検出するシーン検出手段を含み、
前記所定の出現条件は、
条件(1) 文字サイズは比較的大きく、かつニュース項目各々でほぼ一定であること、
条件(2) １つのニュース番組内において複数回出現すること、
条件(3) ニュース項目毎の最初のシーンで出現する冒頭テロップはほぼ毎回同一位置に配置されること、
条件(4) その冒頭テロップの出現から消滅までの間はシーンの変化がないこと
の全てであることを特徴とする請求項１記載の放送番組内容メニュー作成装置。
【請求項３】
前記テロップ検出部は、前記蓄積手段に蓄積された映像信号のうちの前記ニュース番組の映像信号の各フレーム内で隣り合う画素の輝度差が高い部分で囲まれたエッジ囲み領域を検出するエッジ領域検出手段と、
前記エッジ領域検出手段によって検出されたエッジ囲み領域が所定フレーム数より多く連続してほぼ同一の領域であるときそのエッジ囲み領域をテロップと判定してそのテロップの出現フレーム、消滅フレーム、テロップ位置及び文字サイズからなるテロップ情報を前記映像抽出手段に供給するテロップ判定手段と、を備えることを特徴とする請求項２記載の放送番組内容メニュー作成装置。
【請求項４】
前記映像抽出手段は、テロップの文字サイズを設定する文字サイズ設定手段と、
前記テロップ検出部によって検出されたテロップのうちの前記文字サイズ設定手段によって設定された文字サイズの文字を有するテロップの数が第１所定数より大であるときには、前記条件(1)及び前記条件(2)を満たすと判別する第１判別部と、
前記条件(1)及び前記条件(2)を満たしたテロップのうちのテロップ位置が同一位置のテロップであって最多テロップ数となった位置のテロップを全て検出し、その検出したテロップ数が第２所定数より大であるときには前記条件(3)を満たすと判別する第２判別部と、
前記条件(3)を満たしたテロップのうちの同一のテロップの出現フレームから消滅フレームまでの期間において前記シーン検出手段によってシーンの変化が検出されていない場合には前記条件(4)を満たすと判別する第３判別部と、を有することを特徴とする請求項２又は３記載の放送番組内容メニュー作成装置。
【請求項５】
前記テロップ検出部によって検出されたテロップのうちの前記設定された文字サイズの文字を有するテロップの数が前記第１所定数以下であると前記第１判別部によって判別されたとき、前記最多テロップ数となった位置のテロップのテロップ数が前記第２所定数以下あると前記第２判別部によって判別されたとき、又は前記出現フレームから前記消滅フレームまでの期間において前記シーン検出手段によってシーンの変化が検出されたと前記第２判別部によって判別されたときには、前記文字サイズ設定手段はテロップの文字サイズを１サイズだけ減少させて前記第１判別部にその判別動作を再度実行させることを特徴とする請求項４記載の放送番組内容メニュー作成装置。
【請求項６】
前記エッジ領域検出手段は、前記輝度差が高いエッジの画素のうち中間輝度を除く輝度を示す画素によるエッジを検出するエッジ検出手段を有し、前記エッジ検出手段によって検出されたエッジに応じて前記エッジ囲み領域を検出することを特徴とする請求項３記載の放送番組内容メニュー作成装置。
【請求項７】
前記エッジ検出手段は、前記映像信号のフレーム毎にエッジ画素についての輝度ヒストグラムを作成し、その輝度ヒストグラムに応じて各エッジ画素を低輝度、中間輝度及び高輝度の３分類し、その分類結果から前記低輝度又は前記高輝度を示す画素によるエッジを検出することを特徴とする請求項６記載の放送番組内容メニュー作成装置。
【請求項８】
前記所定の出現条件には前記条件(1)ないし前記条件(4)の他に、冒頭テロップは１フレームの画面下部に位置するという条件(5)が含まれることを特徴とする請求項２記載の放送番組内容メニュー作成装置。
【請求項９】
前記映像抽出手段は、前記テロップ検出部によって検出されたテロップが１フレームの画面下部に位置するとき前記条件(5)を満たすと判別する第４判別部を含み、
前記第１判別部は、前記第４判別部によって判別されたテロップに対して前記条件(1)及び前記条件(2)を満たすか否かの判別を行うことを特徴とする請求項４又は８記載の放送番組内容メニュー作成装置。
【請求項１０】
前記所定の出現条件には前記条件(1)ないし前記条件(4)の他に、冒頭テロップは時間的に短い間隔で出現しないという条件(6)が含まれることを特徴とする請求項２記載の放送番組内容メニュー作成装置。
【請求項１１】
前記映像抽出手段は、前記条件(1)及び前記条件(2)を満たしたテロップが時間的に短い間隔で出現しないテロップであるとき前記条件(6)を満たすと判別する第５判別部を含み、
前記第２判別部は、前記第５判別部によって判別されたテロップに対して前記条件(3)を満たすか否かの判別を行うことを特徴とする請求項４又は１０記載の放送番組内容メニュー作成装置。
【請求項１２】
前記所定の出現条件には前記条件(1)ないし前記条件(4)の他に、冒頭テロップはニュース番組前半に出現するという条件(7)が含まれることを特徴とする請求項２記載の放送番組内容メニュー作成装置。
【請求項１３】
前記映像抽出手段は、前記条件(1)及び前記条件(2)を満たしたテロップがニュース番組前半に出現するとき前記条件(7)を満たすと判別する第６判別部を含み、
前記第２判別部は、前記第６判別部によって判別されたテロップに対して前記条件(3)を満たすか否かの判別を行うことを特徴とする請求項４又は１０記載の放送番組内容メニュー作成装置。
【請求項１４】
前記映像抽出手段は、前記所定の出現条件を満たすテロップを含むフレームの検出を長時間ニュース番組については一定時間毎に区切って行うことを特徴とする請求項２記載の放送番組内容メニュー作成装置。
【請求項１５】
前記文字サイズ設定手段は前記文字サイズの初期値を最大値とすることを特徴とする請求項４又は５記載の放送番組内容メニュー作成装置。
【請求項１６】
前記シーン検出手段は、前記蓄積手段に蓄積された映像信号のうちの前記ニュース番組の映像信号の各フレームの輝度平均値を算出する輝度平均算出手段と、前記ニュース番組の映像信号の連続するフレーム間の輝度平均値の差が所定値より大であるときシーンが変化する時点のフレーム間であると判定する手段と、を備えることを特徴とする請求項２記載の放送番組内容メニュー作成装置。
【請求項１７】
前記メニューの表示項目のいずれか１項目を選択する操作手段を有し、
前記メニュー作成手段は、前記操作手段によって選択された１項目に対応した前記所定の特徴画部分の出現フレームから少なくとも消滅フレームまでの映像信号を前記蓄積手段から取り出して前記メニューを示す映像信号と混合することを特徴とする請求項１記載の放送番組内容メニュー作成装置。
【請求項１８】
前記メニュー作成手段は、前記メニューを示す映像信号には前記映像データによって示される特徴画部分を縮小したデータを用いることを特徴とする請求項１記載の放送番組内容メニュー作成装置。
【請求項１９】
放送番組の内容に関するメニューを作成する放送番組内容メニュー作成方法であって、
放送番組の映像信号を蓄積し、
蓄積した映像信号の放送番組が所定のジャンルの放送番組であるか否かを判定し、
前記蓄積した映像信号のうちの前記所定のジャンルの放送番組の映像信号の各フレームの所定の特徴画部分を検出し、
検出した前記所定の特徴画部分のうちの所定の出現条件を満たすフレームの特徴画部分だけの映像データを抽出し、
前記映像データの抽出毎にその映像データによって示される特徴画部分を含む映像を表す映像信号を前記メニューとして作成して出力することを特徴とする放送番組内容メニュー作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ニュース番組等の放送番組の内容を示すメニューを作成する放送番組内容メニュー作成装置に関する。
【背景技術】
【０００２】
ハードディスクレコーダ等の録画装置では放送番組を例えば、２４時間分だけ録画して置き、後でユーザがその録画された番組の中から任意の番組を選択して視聴することができる。
【０００３】
このような録画装置において、ニュース番組のような放送内容が毎日変化し、かつ複数の項目からなる番組については放送内容を示すメニューを表示する機能があれば、ユーザは番組の中の興味がある項目だけを選択して視聴することができるようになり、録画装置の使い勝手が飛躍的に向上することになる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来、ニュース番組等の放送番組の内容についてのメニューを作成して表示させるためにはどうしても人手を要し、自動的にメニューを作成することは不可能であると考えられていた。
【０００５】
本発明が解決しようとする課題には、上記の問題点が一例として挙げられ、放送番組の内容を示すメニューを自動的に作成する放送番組内容メニュー作成装置及び方法を提供することが本発明の目的である。
【課題を解決するための手段】
【０００６】
請求項１に係る発明の放送番組内容メニュー作成装置は、放送番組の内容に関するメニューを作成する放送番組内容メニュー作成装置であって、放送番組の映像信号を蓄積する蓄積手段と、前記蓄積手段に映像信号が蓄積された放送番組が所定のジャンルの放送番組であるか否かを判定するジャンル判定手段と、前記蓄積手段に蓄積された映像信号のうちの前記所定のジャンルの放送番組の映像信号の各フレームの所定の特徴画部分を検出する特徴画検出手段と、前記特徴画検出手段によって検出された前記所定の特徴画部分のうちの所定の出現条件を満たすフレームの特徴画部分だけの映像データを抽出する映像抽出手段と、前記映像抽出手段によって映像データが抽出される毎にその映像データによって示される特徴画部分を含む映像を表す映像信号を前記メニューとして作成して出力するメニュー作成手段と、を備えることを特徴としている。
【０００７】
請求項１９に係る発明の放送番組内容メニュー作成方法は、放送番組の内容に関するメニューを作成する放送番組内容メニュー作成方法であって、放送番組の映像信号を蓄積し、蓄積した映像信号の放送番組が所定のジャンルの放送番組であるか否かを判定し、前記蓄積した映像信号のうちの前記所定のジャンルの放送番組の映像信号の各フレームの所定の特徴画部分を検出し、検出した前記所定の特徴画部分のうちの所定の出現条件を満たすフレームの特徴画部分だけの映像データを抽出し、前記映像データの抽出毎にその映像データによって示される特徴画部分を含む映像を表す映像信号を前記メニューとして作成して出力することを特徴としている。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施例を図面を参照しつつ詳細に説明する。
【０００９】
図１は本発明を適用したニュース番組内容メニュー作成装置を示している。このニュース番組内容メニュー作成装置は、映像蓄積部１、ジャンル判定部２、テロップ検出部３、シーンチェンジ検出部４、冒頭テロップ判定部５、チャプタメニュー作成部６、ユーザインタフェース部７及び表示部８を備えている。
【００１０】
映像蓄積部１はアンテナ１０を介して任意のテレビ放送波を受信しその受信信号を復調して少なくとも映像信号（場合によっては音声信号）を得て、映像信号を内部に蓄積する。また、テレビ放送波或いは別の放送波に含まれているＥＧＰ（エレクトロニックプログラムガイド）等の番組情報を抽出してその抽出した番組情報をデータとして蓄積する。映像蓄積部１は、例えば、ハードディスクドライブを有する。ジャンル判定部２は映像蓄積部１に蓄積された映像信号が示す番組のジャンルを上記の番組情報を用いて判定する。
【００１１】
テロップ検出部３は映像蓄積部１に蓄積された映像信号の輝度信号を用いて、映像信号が示す番組中に出現するテロップの位置、文字サイズ、及びテロップを含むフレーム等のテロップ情報を検出する。テロップ検出部３にはジャンル判定部２によってニュース番組と判定された映像信号がジャンル判定部２から供給されても良いし、ジャンル判定部２によってニュース番組と判定された映像信号を映像蓄積部１から取り込んでも良い。
【００１２】
シーンチェンジ検出部４は映像蓄積部１に蓄積された映像信号の輝度信号を用いて、映像信号が示す番組のシーンが変化する時点（シーンの切れ目）をシーンチェンジ情報として検出する。
【００１３】
冒頭テロップ判定部５は、テロップ検出部３によって検出されたテロップ情報と、シーンチェンジ検出部４によって検出されたシーンチェンジ情報とに応じてニュース番組の冒頭テロップを判定する。冒頭テロップとは、ニュース番組のニュース項目毎の最初のシーンで出現するニュースのヘッダを示すテロップである。また、冒頭テロップ判定部５は、テロップ情報のテロップを含むフレームからその判定した冒頭テロップを画像データとして抽出することも行う。
【００１４】
チャプタメニュー作成部６は、冒頭テロップ判定部５によって抽出された冒頭テロップの画像データを用いて、ニュース番組のチャプタメニューを作成し、そのチャプタメニューを含む映像信号と、映像蓄積部１に蓄積されたテロップに対応した映像信号とを混合した映像信号を生成してそれを表示部８に出力する。
【００１５】
ユーザインタフェース部７は、表示部８のモニタ画面に表示されるチャプタメニューの項目（縮小テロップ）を選択するための操作部であり、ユーザによって操作可能にされている。
【００１６】
かかる構成のニュース番組内容メニュー作成装置においては、映像蓄積部１に蓄積された映像信号のうちの番組ジャンルがニュースであることがジャンル判定部２によって検出されると、その検出信号がテロップ検出部３に供給される。
【００１７】
テロップ検出部３は検出信号に応答して映像蓄積部１に蓄積された映像信号、すなわちニュース番組の映像信号のテロップ情報を検出する。例えば、映像信号の各フレーム内のエッジ、またフレーム間のエッジを検出することによりテロップが検出される。フレーム内のエッジは、フレーム内で隣り合う画素の輝度差が高い部分であり、フレーム間のエッジは連続するフレーム間でフレーム内のエッジを比較し、同一画素部分にエッジがある場合である。ここで、エッジとは画面内で１つの映像片の縁となる部分である。
【００１８】
テロップ検出部３はエッジ検出において、図２に示すように、先ず、映像蓄積部１に蓄積された映像信号から１つのニュース番組の開始フレームを取り出す（ステップＳ１）。取り出した今回のフレーム内のエッジを検出し（ステップＳ２）、今回のフレームと１つ前のフレームとの間のエッジを検出する（ステップＳ３）。ステップＳ３は今回のフレームが開始フレームである場合には無視される。ステップＳ３の実行後、そのニュース番組の全てのフレームが映像蓄積部１から取り出されたか否かを判別する（ステップＳ４）。全てのフレームが取り出されていない場合には、次のフレームを映像蓄積部１から取り出して（ステップＳ５）、ステップＳ２に戻る。よって、上記のフレーム内のエッジ検出及びフレーム間のエッジ検出が行われる。
【００１９】
全てのフレームが取り出された場合には、全てのエッジ検出内容からテロップ情報を得るために、テロップ検出動作を行う。すなわち、図３に示すように、映像蓄積部１に蓄積された映像信号からニュース番組の開始フレームを取り出す（ステップＳ１１）。このステップＳ１１の開始フレームはエッジが検出されたフレームのうちの時間的に最も古いフレームである。そのフレーム番号を保存し（ステップＳ１２）、今回のフレームからはエッジで囲まれた領域が検出されるか否かを判別する（ステップＳ１３）。エッジで囲まれた領域、すなわちエッジ囲み領域が検出されたならば、今回のフレームに連続するフレームであって今回のフレームのエッジ囲み領域と同一領域のエッジが消滅するフレームを検出する（ステップＳ１４）。エッジ囲み領域出現フレームからその消滅フレームまでの表示時間が所定時間より大であるか否かを判別する（ステップＳ１５）。そのエッジ囲み領域の表示時間が所定時間より大であることが判別されたならば、そのエッジ囲み領域をテロップ領域としてＩＤ（番号）、出現フレーム、消滅フレーム、フレーム中のテロップ位置及び文字サイズを保存する（ステップＳ１６）。ステップＳ１６ではそのテロップ領域内をスキャンしての文字サイズを検出する。その文字サイズの検出には、公知の文字列情報抽出方法を用いることができる（例えば、特許文献１参照。）。
【特許文献１】特開２００１−７６０９４号公報
【００２０】
ステップＳ１６で保存されるテロップ情報は、図４に示すように、テロップ毎にＩＤ、出現フレーム、消滅フレーム、テロップ位置及び文字サイズからなるデータテーブルとして内部メモリ（図示せず）に書き込まれる。ここではテロップは一般的な形状である、矩形としており、テロップ位置のＸ１，Ｙ１はテロップ左上の座標、Ｘ２，Ｙ２は右下の座標である。なお、テロップ形状は矩形でない場合もあるので、その場合にはその形状を示すデータを含む必要がある。
【００２１】
ステップＳ１６の実行後、エッジが検出された全フレームが映像蓄積部１から取り出されたか否かを判別する（ステップＳ１７）。全てのフレームが取り出されていない場合には、次のエッジが検出されたフレームを映像蓄積部１から取り出して（ステップＳ１８）、ステップＳ１２に戻って上記のテロップ領域判別を繰り返す。
【００２２】
シーンチェンジ検出部４は、上記の検出信号に応答してニュース番号の映像信号が示す番組のシーンが変化する時点を検出するために、図５に示すように動作する。すなわち、先ず、映像蓄積部１に蓄積された映像信号からニュース番組の開始フレームを取り出す（ステップＳ２１）。取り出した今回のフレームの次のフレームを取り出し（ステップＳ２２）、今回のフレームの全画素の輝度合計値と次のフレームの全画素の輝度合計値との差、すなわち輝度差を算出する（ステップＳ２３）。その輝度差が所定値より大であるか否かを判別する（ステップＳ２４）。輝度差が所定値より大であるならば、今回のフレームをシーンが変化するシーンチェンジのフレームとして保存する（ステップＳ２５）。
【００２３】
ステップＳ２５の実行後、全フレームが映像蓄積部１から取り出されたか否かを判別する（ステップＳ２６）。全てのフレームが取り出されていない場合には、現在次のフレームを今回のフレームとする（ステップＳ２７）。その後、ステップＳ２２に戻って次のフレームを映像蓄積部１から取り出し、上記のシーンチェンジ検出動作を繰り返す。
【００２４】
このようにテロップ情報とシーンチェンジ情報とが検出されると、それらの情報に応じて冒頭テロップ判定部５がニュース番組の冒頭テロップを判定する。この冒頭テロップの判定には、次の４条件(1)〜(4)が定められている。
(1) 文字サイズは比較的大きく、かつニュース項目各々でほぼ一定である。
(2) １つのニュース番組内において複数回出現する。
(3) 冒頭テロップはほぼ毎回同一位置に配置される。
(4) 冒頭テロップの出現から消滅までの間はシーンチェンジがない。
【００２５】
冒頭テロップ判定部５はこの条件(1)〜(4)全てを満たすテロップを抽出するために次の冒頭テロップ判定動作を行う。
【００２６】
冒頭テロップ判定動作においては、図６に示すように、先ず、文字サイズＸを最大値ＭＡＸに設定し（ステップＳ３１）、文字サイズＸを有するテロップをテロップ検出部３によって検出されたテロップ情報から全て抽出する（ステップＳ３２）。文字サイズＸを有するテロップ数が第１所定数ＴＨ１より大であるか否かを判別する（ステップＳ３３）。文字サイズＸを有するテロップ数が第１所定数ＴＨ１より大であるならば、上記の条件(1)及び(2)を満たしたことになる。この場合には、文字サイズＸを有するテロップのうちのテロップ位置が同一位置のテロップであって最多テロップ数となった位置のテロップを全て抽出し（ステップＳ３４）、抽出したテロップ数が第２所定数ＴＨ２より大であるか否かを判別する（ステップＳ３５）。
【００２７】
抽出したテロップ数が第２所定数ＴＨ２より大であるならば、上記の条件(3)を満たしたことになり、それらのテロップのうちの１のテロップの出現フレーム及び消滅フレームを取得する（ステップＳ３６）。１のテロップの出現フレーム及び消滅フレームは上記したデータテーブルから読み出して得ることができる。ステップＳ３６の実行後、１のテロップの出現フレームと消滅フレームとの間にシーンチェンジが存在するか否かを判別する（ステップＳ３７）。１のテロップの出現フレームと消滅フレームとの間にシーンチェンジが存在するならば、ステップＳ３４で抽出したテロップ全てについてシーンチェンジの存在の判別を終了したか否かを判別する（ステップＳ３８）。終了してないときにステップＳ３６に戻って残りの１のテロップの出現フレーム及び消滅フレームを取得する。
【００２８】
１のテロップの出現フレームと消滅フレームとの間にシーンチェンジが存在しない場合には、上記の条件(4)を満たしたことになり、その１のテロップを冒頭テロップとする（ステップＳ３９）。その後、ステップＳ３８を実行する。
【００２９】
ステップＳ３８においてテロップ全てについてのシーンチェンジの存在の判別を終了したと判別した場合には、冒頭テロップが検出されたか否かを判別する（ステップＳ４０）。すなわち、ステップＳ３９が実行されたか否かが判別される。ステップＳ４０はステップＳ３３において文字サイズＸを有するテロップ数が第１所定数ＴＨ１以下と判別した場合、或いはステップＳ３５において抽出したテロップ数が第２所定数ＴＨ２以下と判別した場合には直ちに実行される。
【００３０】
冒頭テロップが検出されていない場合には文字サイズＸを１だけ減らしてステップＳ３２に戻って上記の動作を繰り返す。すなわち、文字サイズを１サイズだけ小さくして同様に冒頭テロップの検出が行われる。一方、冒頭テロップが既に検出された場合にはステップＳ３９で定めた冒頭テロップの画像部分（画像データ）及びフレーム番号を示す冒頭テロップ情報をチャプタメニュー作成部６に出力し（ステップＳ４１）、そして、この冒頭テロップ判定動作を終了する。冒頭テロップ情報のフレーム番号は冒頭テロップを含む出現フレームの番号である。
【００３１】
なお、冒頭テロップの文字サイズや位置については、文字の性質や受信状況などにより、ある程度の誤差が生じる可能性があるので、文字サイズや位置の一致条件を緩和しても良い。
【００３２】
チャプタメニュー作成部６は、冒頭テロップ判定部５から供給された冒頭テロップ情報に応じてニュース番組のチャプタメニューを作成する。１つの冒頭テロップ情報が供給される毎に、その冒頭テロップ画像でチャプタメニューの１項目が追加形成される。チャプタメニューの１項目は、１つのニュース項目についての概要或いはタイトルを表す。各項目は冒頭テロップ映像の縮小映像で表示部８のモニタには表示される。チャプタメニューはモニタに例えば、図７に符号Ａで示すように表示される。
【００３３】
表示部８のモニタに表示されたチャプタメニューの複数の項目（図７の符号Ｂ）のうちの所望の項目をユーザがユーザインタフェース部７を介して選択すると、チャプタメニュー作成部６はその選択項目に対応した冒頭テロップ情報のフレーム番号を用いて映像蓄積部１からそのフレーム番号からの映像信号を所定期間に亘って読み出し、その映像信号にチャプタメニューの映像信号を混合して表示部８に供給する。図７の表示例では表示部８のモニタには選択された項目「シャトル打ち上げ成功」についての映像（符号Ｃ）が表示されている。選択項目の内容が映像としてモニタに表示される所定期間は、当該冒頭テロップが表示される期間（出現フレームから消滅フレームまでの期間）でも良いし、それとは関係なく一定した時間でも良い。
【実施例】
【００３４】
冒頭テロップ判定部５による冒頭テロップの判定精度を向上させるために、テロップ検出部３によるエッジ検出時に中間輝度のものを除外しても良い。すなわち、テロップ検出部３はエッジ検出において、図８に示すように、ステップＳ２において取り出した今回のフレーム内のエッジを検出した後、エッジの画素が中間輝度のものを含むか否かを判別する（ステップ６）。中間輝度のエッジならば、そのエッジを除外して中間輝度以外の輝度、すなわち高輝度又は低輝度のエッジだけを残す（ステップＳ７）。その後、ステップＳ３に移行する。その他のエッジ検出動作は図２に示した通りである。
【００３５】
エッジ検出時に中間輝度のものを除外する理由は、テロップを構成する画素としては高輝度或いは低輝度のものが多く、中間輝度のものは少ないことに基づいている。上記のステップＳ６においては、エッジ画素の輝度のヒストグラムが作成され、そのヒストグラムから高輝度、低輝度及び中間輝度の３つの輝度領域に分ける２つの閾値が設定され、その閾値によってエッジの画素が中間輝度であるか否かが判別される。
【００３６】
輝度のヒストグラムにおいて複数の輝度領域に分けるための閾値を設定する方法としては、大津の方法が知られている（例えば、非特許文献１参照。）。
【非特許文献１】「画像解析ハンドブック」、東京大学出版会、５０２頁〜５０４頁
【００３７】
この大津の方法を用いることにより、図９に示すように、先ず、(a)輝度ヒストグラム全体を２分化することにより閾値Ｍが得られる。次に、(b)その閾値Ｍより小の低輝度及び閾値Ｍ以上の高輝度の各領域で各々２分化することにより閾値Ｌ及びＨが得られる。(c)その閾値Ｌ及びＨによって輝度ヒストグラムは高輝度、低輝度及び中間輝度の３つの輝度領域に分けられる。
【００３８】
２分化のための閾値の設定では、先ず、Ｍが輝度のある値として設定され、Ｍに対する輝度ヒストグラムの「散布度」が最小となるときにＭが閾値とされる。具体的には、輝度ヒストグラムがＮ個の画素で構成されており、各輝度をＬＵＭi（１≦ｉ≦Ｎ）とするときの
【００３９】
【数１】
2004364234.tif 000003
【００４０】
が算出される。この算出値を最小とするＭが閾値とされる。
【００４１】
その中間輝度領域に属するエッジがステップＳ７では除外され、高輝度領域又は低輝度領域に属するエッジだけが冒頭テロップの判定に採用される。よって、冒頭テロップの判定精度を向上させることができる。
【００４２】
冒頭テロップ判定部５による冒頭テロップ判定には上記した４条件(1)〜(4)に対して、冒頭テロップは画面下部に出現するという条件(5)を更に加えても良い。この条件(5)を加えた場合には、冒頭テロップ判定部５は冒頭テロップ判定動作において、図１０に示すように、ステップＳ３２にて文字サイズＸを有するテロップをテロップ検出部３によって検出されたテロップ情報から全て抽出した後、そのテロップのうちから１のテロップを選択する（ステップＳ５１）。その選択した１のテロップが画面の下半分の範囲に位置するか否かを判別する（ステップＳ５２）。ステップＳ５２では１のテロップについてのテロップ情報からテロップ位置を得ることにより判別が行われる。１のテロップが画面の下半分の範囲に位置しない場合には、ステップＳ３２にて抽出したテロップから１のテロップを除去し（ステップＳ５３）、その後、ステップＳ５４に進む。１のテロップが画面の下半分の範囲に位置する場合には、直ちにステップＳ５４に進む。ステップＳ５４では、ステップＳ３２にて抽出したテロップ全てについて処理したか否かを判別する。すなわち、ステップＳ５２の判別が抽出したテロップ全てに対して行われた否かが判別される。抽出したテロップ全てについて処理が終了していない場合には、ステップＳ５１に戻って残りのテロップから新たな１のテロップを選択する。抽出したテロップ全てについて処理が終了した場合には、ステップＳ３２にて抽出したテロップのうちステップＳ５５で除去されることなく残ったテロップについてステップＳ３３以降の動作を行う。
【００４３】
このように、冒頭テロップは画面下部に出現するという条件を冒頭テロップ判定に加えることにより、冒頭テロップの判定精度をより向上させることができる。
【００４４】
なお、ステップＳ５２では画面下部を画面の下半分の範囲としているが、画面下部は画面の例えば、下１／３の範囲などであっても良い。
【００４５】
また、冒頭テロップ判定部５による冒頭テロップ判定には上記した４条件(1)〜(4)に対して、時間的に短い間隔で出現するテロップは冒頭テロップではないという条件(6)を更に加えても良い。この条件(6)を加えた場合には、冒頭テロップ判定部５は冒頭テロップ判定動作において、図１１に示すように、ステップＳ３４にて文字サイズＸを有するテロップのうちのテロップ位置が同一位置のテロップであって最多テロップ数となった位置のテロップを全て抽出した後、その抽出したテロップについてフレーム閾値Ｆｒを設定する（ステップＳ６１）。フレーム閾値Ｆｒは通常の冒頭テロップ出現間隔に基づいて設定され、例えば、１分である。フレーム閾値ＦｒはステップＳ６１で設定しないで初期値をそのまま用いても良い。ステップＳ６１の実行後、抽出したテロップについてテロップ出現順に出現間隔がフレーム閾値Ｆｒより小であるテロップ組を検出し、その組数Ｐａｉｒを求める（ステップＳ６２）。例えば、第１テロップの消滅後に第２テロップが出現した場合には、その出現間隔は、第１テロップの消滅フレームと第２テロップの出現フレームとの差フレーム数に基づいて検出される。出現間隔がフレーム閾値Ｆｒより小であるテロップ組が全て検出され、その全ての検出組数がＰａｉｒである。ステップＳ６２の実行後、抽出したテロップ数から組数Ｐａｉｒを差し引き、その算出結果をテロップ数とする（ステップＳ６３）。また、ステップＳ３４における抽出テロップのうちから、出現間隔がフレーム閾値Ｆｒより小であるテロップ組の時間的に後のテロップが除去され、その除去後のテロップについてステップＳ３５以降の動作を行う。
【００４６】
ニュース番組の場合、１つの冒頭テロップが消滅した後には、その冒頭テロップについての詳細シーンが表示されることが通常であるので、冒頭テロップはある程度の時間間隔をもって出現する。よって、時間的に短い間隔で出現するテロップは冒頭テロップではないという条件を冒頭テロップ判定に加えることにより、冒頭テロップの判定精度をより向上させることができる。
【００４７】
更に、冒頭テロップ判定部５による冒頭テロップ判定には上記した４条件(1)〜(4)に対して、ニュース番組の前半に出現するテロップを冒頭テロップとするという条件(7)を更に加えても良い。この条件(7)を加えた場合には、冒頭テロップ判定部５は冒頭テロップ判定動作において、図１２に示すように、先ず、冒頭テロップを判定する対象のニュース番組の放送時間をＴＯＴＡＬとして取得する（ステップＳ７１）。これは上記した番組情報から得ることができる。ステップＳ７１の実行後、図６の冒頭テロップ判定動作と同様に、文字サイズＸを最大値ＭＡＸに設定する（ステップＳ３１）。更に、ステップＳ３４にて文字サイズＸを有するテロップのうちのテロップ位置が同一位置のテロップであって最多テロップ数となった位置のテロップを全て抽出した後、その抽出したテロップのうちの放送時間ＴＯＴＡＬの後半（放送開始からＴＯＴＡＬ／２以降）に出現するテロップ数Ｌａｔｅｒを全て求める（ステップＳ７２）。ステップＳ７２の実行後、抽出したテロップ数からテロップ数Ｌａｔｅｒを差し引き、その算出結果をテロップ数とする（ステップＳ７３）。また、ステップＳ３４における抽出テロップのうちから、放送時間ＴＯＴＡＬの後半に出現するテロップが除去され、その除去後のテロップについてステップＳ３５以降の動作を行う。
【００４８】
ニュース番組の構成としては、前半に一般のニュース、後半にその他の項目（例えば、特集、スポーツ、天気予報）となることが一般的である。そのため、冒頭テロップは必然的にニュース番組前半に出現する可能性が高くなる。よって、ニュース番組の前半に出現するテロップを冒頭テロップとするという条件を冒頭テロップ判定に加えることにより、冒頭テロップの判定精度をより向上させることができる。
【００４９】
なお、ステップＳ７２ではニュース番組後半に出現するテロップ数Ｌａｔｅｒを求めるために、ニュース番組の放送開始から時間ＴＯＴＡＬ／２経過以降を後半としているが、これに限定されない。ニュース番組の例えば、放送開始から３０分以降を後半として出現するテロップ数Ｌａｔｅｒを求めても良い。
【００５０】
また、早朝の長時間ニュース番組については時間を区切って冒頭テロップ検出を行っても良い。例えば、午前５〜８時の如き早朝に放送されるニュース番組は２〜３時間のように長く、その番組中では数十分毎にテロップの構成（例えば、スタジオの背景、テロップ周囲の模様）が若干変わり、同様のニュース項目が繰り返し放送される。このような長時間のニュース番組に対しては、一定時間（例えば、１時間）毎に区切りを付けて各時間帯各々で冒頭テロップ検出を行った方が冒頭テロップの判定精度をより向上させることができる。
【００５１】
上記した実施例のように、冒頭テロップを含むフレームからその冒頭テロップを抽出してチャプタメニューの項目として使用するので、文字認識、画像認識、音声認識等の負荷の大きい処理を必要としない。よって、チャプタメニュー表示を実現するに当たってリソースを低く抑えることができる。また、ニュース番組の構成が異なってもそれに対応することができる。
【００５２】
また、チャプタメニューの各項目は冒頭テロップ部分だけの画像データによって示される映像を縮小して使用するので、そのメニューには図７に示したように複数の項目を表示することができ、また、比較的小さなサイズに縮小しても各項目の認識を容易にすることができる。
【００５３】
なお、上記した実施例においては、放送番組のジャンルがニュースである場合について説明したが、これに限定されない。スポーツ番組や歌番組等の他のジャンルの放送番組にも本発明を適用することができる。例えば、相撲のテレビ放送では、対戦力士のしこ名がテロップとして表示されるので、このテロップを上記した実施例と同様に検出することにより各対戦をメニュー表示することができる。
【００５４】
また、ニュース番組の映像信号の各フレームの所定の特徴画部分はテロップであるとして説明したが、これも限定されない。所定の特徴画部分としては静止画であっても良い。更に、所定の特徴画部分としては特定の人物の顔映像であっても良く、顔面の輪郭や目、鼻及び口の位置関係から人物を認識する顔面認識装置を用いることによって特定の人物の顔映像を抽出することができる。
【００５５】
以上のように、本発明によれば、蓄積手段に映像信号が蓄積された放送番組が所定のジャンルの放送番組であるか否かを判定するジャンル判定手段と、蓄積手段に蓄積された映像信号のうちの所定のジャンルの放送番組の映像信号の各フレームの所定の特徴画部分を検出する特徴画検出手段と、特徴画検出手段によって検出された所定の特徴画部分のうちの所定の出現条件を満たすフレームの特徴画部分だけの映像データを抽出する映像抽出手段と、映像抽出手段によって映像データが抽出される毎にその映像データによって示される特徴画部分を含む映像を表す映像信号をメニューとして作成して出力するメニュー作成手段と、を備えているので、放送番組の内容を示すメニューを自動的に作成することができる。また、本発明はハードディスクレコーダ等の録画装置に適用することができる。
【図面の簡単な説明】
【００５６】
【図１】本発明を適用したニュース番組内容メニュー作成装置を示すブロック図である。
【図２】エッジ検出動作を示すフローチャートである。
【図３】テロップ検出動作を示すフローチャートである。
【図４】テロップ情報のデータテーブルを示す図である。
【図５】シーンチェンジ検出動作を示すフローチャートである。
【図６】冒頭テロップ判定動作を示すフローチャートである。
【図７】チャプタメニューを含むモニタ画面を示す図である。
【図８】他の実施例としてエッジ検出動作を示すフローチャートである。
【図９】輝度のヒストグラムから各輝度領域を分ける閾値を設定する方法を示す図である。
【図１０】本発明の他の実施例として冒頭テロップ判定動作を示すフローチャートである。
【図１１】本発明の他の実施例として冒頭テロップ判定動作を示すフローチャートである。
【図１２】本発明の他の実施例として冒頭テロップ判定動作を示すフローチャートである。
【符号の説明】
【００５７】
１  映像蓄積部
２  ジャンル判定部
３  テロップ検出部
４  シーンチェンジ検出部
５  冒頭テロップ判定部
６  チャプタメニュー作成部
【図１】
2004364234.tif 000004
【図２】
2004364234.tif 000005
【図３】
2004364234.tif 000006
【図４】
2004364234.tif 000007
【図５】
2004364234.tif 000008
【図６】
2004364234.tif 000009
【図７】
2004364234.tif 000010
【図８】
2004364234.tif 000011
【図９】
2004364234.tif 000012
【図１０】
2004364234.tif 000013
【図１１】
2004364234.tif 000014
【図１２】
2004364234.tif 000015