(57)【要約】【課題】音楽番組の内容を示すメニューを自動的に作成する音楽番組内容メニュー作成装置及び方法を提供する。【解決手段】放送番組の放送映像信号を蓄積し、蓄積した放送映像信号のうちの音楽番組の放送映像信号の各フレームの所定の特徴部分を検出し、音楽番組の放送映像信号のうちの所定の特徴部分の表示態様が安定した状態にありかつ連続的に音楽を伴う音楽区間であるフレーム区間を演奏シーンとして検出し、その検出した演奏シーンに関する映像を表す映像信号をメニューとして作成して出力する。【選択図】  図１
2004363917.tif 000002
【特許請求の範囲】
【請求項１】
音楽番組の内容に関するメニューを作成する音楽番組内容メニュー作成装置であって、
放送番組の放送映像信号を蓄積する蓄積手段と、
前記蓄積手段に蓄積された放送映像信号のうちの音楽番組の放送映像信号の各フレームについての所定の特徴部分を検出する特徴検出手段と、
前記音楽番組の放送映像信号のうちの、前記特徴検出手段によって検出された前記所定の特徴部分の表示態様が安定した状態にありかつ連続的に音楽を伴う音楽区間であるフレーム区間を演奏シーンとして検出する演奏シーン検出手段と、前記演奏シーン検出手段によって検出された演奏シーンに関する映像を表す映像信号を前記メニューとして作成して出力するメニュー作成手段と、を備えることを特徴とする音楽番組内容メニュー作成装置。
【請求項２】
前記特徴検出手段は、前記所定の特徴部分として各フレーム中のテロップを検出するテロップ検出部からなり、
前記演奏シーン検出手段は、前記テロップ検出部によって検出されたテロップがそのテロップ位置及び文字サイズにおいて一定で連続して出現する区間を検出する一定テロップ出現区間検出手段と、
前記蓄積手段に蓄積された放送映像信号のうちの音楽番組の映像信号又は音声信号に応じて音楽区間を検出する音楽区間検出手段と、
前記一定テロップ出現区間検出手段によって検出された出現区間内に音楽区間検出手段によって検出された音楽区間が存在するときその音楽区間を演奏シーンと決定し、その決定した演奏シーンを前記メニュー作成手段に通知する決定手段とを有することを特徴とする請求項１記載の音楽番組内容メニュー作成装置。
【請求項３】
前記決定手段によって決定される演奏シーンは歌唱シーンであることを特徴とする請求項２記載の音楽番組内容メニュー作成装置。
【請求項４】
前記メニュー作成手段は、前記演奏シーン検出手段によって検出された演奏シーンに出現する全テロップのうちの出現頻度が少ないパターンのテロップを検出する出現頻度検出手段と、前記出現頻度検出手段によって検出されたテロップとパターンが等しいテロップが前記演奏シーン検出手段によって検出された他の演奏シーンに存在するか否かを判別する判別手段と、前記判別手段によってパターンが等しいテロップが前記他の演奏シーンに存在すると判別されたテロップをタイトルテロップと決定し、そのタイトルテロップを含む前記メニュー用の映像信号を生成する手段と、を有することを特徴とする請求項２記載の音楽番組内容メニュー作成装置。
【請求項５】
前記テロップ検出部は、前記蓄積手段に蓄積された放送映像信号のうちの前記音楽番組の映像信号の各フレーム内で隣り合う画素の輝度差が高い部分で囲まれたエッジ囲み領域を検出するエッジ領域検出手段と、
前記エッジ領域検出手段によって検出されたエッジ囲み領域が所定フレーム数より多く連続してほぼ同一の領域であるときそのエッジ囲み領域をテロップと判定してそのテロップの出現フレーム、消滅フレーム、テロップ位置及び文字サイズからなるテロップ情報を前記映像抽出手段に供給するテロップ判定手段と、を備えることを特徴とする請求項２記載の音楽番組内容メニュー作成装置。
【請求項６】
前記メニューの表示項目のいずれか１項目を選択する操作手段を有し、
前記メニュー作成手段は、前記操作手段によって選択された１項目に対応した前記所定の特徴部分の出現フレームから少なくとも消滅フレームまでの放送映像信号を前記蓄積手段から取り出して前記メニューを示す映像信号と混合することを特徴とする請求項１記載の音楽番組内容メニュー作成装置。
【請求項７】
前記メニュー作成手段は、前記メニューを示す映像信号には前記映像データによって示される特徴部分を縮小したデータを用いることを特徴とする請求項１記載の音楽番組内容メニュー作成装置。
【請求項８】
音楽番組の内容に関するメニューを作成する音楽番組内容メニュー作成方法であって、
放送番組の放送映像信号を蓄積し、
蓄積した放送映像信号のうちの音楽番組の放送映像信号の各フレームの所定の特徴部分を検出し、
前記音楽番組の放送映像信号のうちの、前記所定の特徴部分の表示態様が安定した状態にありかつ連続的に音楽を伴う音楽区間であるフレーム区間を演奏シーンとして検出し、
その検出した演奏シーンに関する映像を表す映像信号を前記メニューとして作成して出力することを特徴とする音楽番組内容メニュー作成方法。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、音楽番組の内容を示すメニューを作成する音楽番組内容メニュー作成装置に関する。
【０００２】
【従来の技術】
ハードディスクレコーダ等の録画装置では放送番組を例えば、２４時間分だけ録画して置き、後でユーザがその録画された番組の中から任意の番組を選択して視聴することができる。
このような録画装置において、ニュース番組のような放送内容が毎日変化し、かつ複数の項目からなる番組については放送内容を示すメニューを表示する機能があれば、ユーザは番組の中の興味がある項目だけを選択して視聴することができるようになり、録画装置の使い勝手が飛躍的に向上することになる。このように放送内容を選択メニューとして表示する従来技術は例えば、特許文献１に開示されている。
【０００３】
【特許文献１】
特開２００２−２７４１１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、放送番組の中でも音楽番組は一般にその構成が様々であるので、音楽番組の中で演奏される曲のメニューを自動的に作成することは難しいと考えられていた。
本発明が解決しようとする課題には、上記の問題点が一例として挙げられ、音楽番組の内容を示すメニューを自動的に作成する音楽番組内容メニュー作成装置及び方法を提供することが本発明の目的である。
【０００５】
【課題を解決するための手段】
本願請求項１に係る発明の音楽番組内容メニュー作成装置は、音楽番組の内容に関するメニューを作成する音楽番組内容メニュー作成装置であって、放送番組の放送映像信号を蓄積する蓄積手段と、前記蓄積手段に蓄積された放送映像信号のうちの音楽番組の放送映像信号の各フレームについての所定の特徴部分を検出する特徴検出手段と、前記音楽番組の放送映像信号のうちの、前記特徴検出手段によって検出された前記所定の特徴部分の表示態様が安定した状態にありかつ連続的に音楽を伴う音楽区間であるフレーム区間を演奏シーンとして検出する演奏シーン検出手段と、前記演奏シーン検出手段によって演奏シーンに関する映像を表す映像信号を前記メニューとして作成して出力するメニュー作成手段と、を備えることを特徴としている。
【０００６】
本願請求項８に係る発明の音楽番組内容メニュー作成方法は、音楽番組の内容に関するメニューを作成する音楽番組内容メニュー作成方法であって、放送番組の放送映像信号を蓄積し、蓄積した放送映像信号のうちの音楽番組の放送映像信号の各フレームの所定の特徴部分を検出し、前記音楽番組の放送映像信号のうちの前記所定の特徴部分の表示態様が安定した状態にありかつ連続的に音楽を伴う音楽区間であるフレーム区間を演奏シーンとして検出し、その検出した演奏シーンに関する映像を表す映像信号を前記メニューとして作成して出力することを特徴としている。
【０００７】
【発明の実施の形態】
以下、本発明の実施例を図面を参照しつつ詳細に説明する。
図１は本発明を適用した音楽番組内容メニュー作成装置を示している。この音楽番組内容メニュー作成装置は、映像受信部１、ジャンル判定部２、テロップ検出部３、音楽区間検出部４、歌唱シーン検出部５、メニューアイテム作成部６、チャプタメニュー作成部７、ユーザインタフェース部８及び表示部９を備えている。
【０００８】
映像受信部１はアンテナ１０を介して任意のテレビ放送波を受信しその受信信号を復調して映像信号及び音声信号（すなわち放送映像信号）を得て、その映像信号及び音声信号を内部に蓄積する。また、テレビ放送波或いは別の放送波に含まれているＥＰＧ（エレクトロニックプログラムガイド）等の番組情報を抽出してその抽出した番組情報をデータとして蓄積する。映像受信部１は、例えば、ハードディスクドライブを有する。ジャンル判定部２は映像受信部１に接続され、映像受信部１に蓄積された映像信号が示す番組のジャンルを上記の番組情報を用いて判定する。
【０００９】
テロップ検出部３はジャンル判定部２に接続され、映像受信部１に蓄積された映像信号の輝度信号を用いて、映像信号が示す音楽番組中に出現するテロップの位置、文字サイズ、及びテロップを含むフレーム等のテロップ情報を検出する。テロップ検出部３にはジャンル判定部２によって音楽番組と判定された映像信号がジャンル判定部２から供給されても良いし、ジャンル判定部２によって音楽番組と判定された映像信号をテロップ検出部３が映像受信部１から取り込んでも良い。
【００１０】
音楽区間検出部４はジャンル判定部２に接続され、ジャンル判定部２によって音楽番組と判定された番組の音声信号を用いて、音楽が連続的に存在する区間、すなわち音楽区間を検出し、その開始フレーム及び終了フレームを音楽区間検出情報として歌唱シーン検出部５に出力する。音楽区間検出方法としては、特開平１０−２４７０９３号公報及び特開２０００−６６６９１号公報に示されている。
【００１１】
歌唱シーン検出部５は、テロップ検出部３及び音楽区間検出部４に接続され、テロップ検出部３によって検出された音楽番組のテロップ情報と音楽区間検出部４によって検出された音楽区間と応じて音楽番組における歌唱シーンを検出する。具体的な動作は後述するが、テロップの表示態様が安定した状態にある期間のうちの音楽区間であるフレーム区間が歌唱シーンとして検出される。
【００１２】
メニューアイテム作成部６は歌唱シーン検出部５に接続され、歌唱シーン検出部５によって検出された歌唱シーンについてのメニューアイテムを作成する。メニューアイテムとは歌唱シーンの特徴を表す事柄である。例えば、歌唱シーンのタイトルテロップ（曲名や歌手名を示すテロップ）、歌唱シーンのサムネイル画像、楽曲のさび部分の音声、歌手の顔画像である。この実施例では歌唱シーンのタイトルテロップを検出する場合を示しているが、その他の特徴部分を用いることもできる。
【００１３】
チャプタメニュー作成部７はメニューアイテム作成部６に接続され、メニューアイテム作成部６によって作成されたメニューアイテムのデータを用いて、音楽番組のチャプタメニューを作成し、そのチャプタメニューを含む映像信号と、映像受信部１に蓄積されたテロップに対応した映像信号とを混合した映像信号を生成してそれを表示部９に出力する。
【００１４】
ユーザインタフェース部８は、表示部９のモニタ画面に表示されるチャプタメニューの項目（縮小テロップ）を選択するための操作部であり、ユーザによって操作可能にされている。
かかる構成の音楽番組内容メニュー作成装置においては、映像受信部１に蓄積された映像信号及び音声信号のうちの番組ジャンルが音楽であることがジャンル判定部２によって検出されると、その検出信号がテロップ検出部３及び音楽区間検出部４に供給される。
【００１５】
テロップ検出部３は検出信号に応答して映像受信部１に蓄積された映像信号、すなわち音楽番組の映像信号のテロップ情報を検出する。例えば、映像信号の各フレーム内のエッジ、またフレーム間のエッジを検出することによりテロップが検出される。フレーム内のエッジは、フレーム内で隣り合う画素の輝度差が高い部分であり、フレーム間のエッジは連続するフレーム間でフレーム内のエッジを比較し、同一画素部分にエッジがある場合である。
【００１６】
テロップ検出部３はエッジ検出において、図２に示すように、先ず、映像受信部１に蓄積された映像信号から１つの音楽番組の開始フレームを取り出す（ステップＳ１）。取り出した今回のフレーム内のエッジを検出し（ステップＳ２）、今回のフレームと１つ前のフレームとの間のエッジを検出する（ステップＳ３）。ステップＳ３は今回のフレームが開始フレームである場合には無視される。ステップＳ３の実行後、その音楽番組の全てのフレームが映像受信部１から取り出されたか否かを判別する（ステップＳ４）。全てのフレームが取り出されていない場合には、次のフレームを映像受信部１から取り出して（ステップＳ５）、ステップＳ２に戻る。よって、上記のフレーム内のエッジ検出及びフレーム間のエッジ検出が行われる。
【００１７】
全てのフレームが取り出された場合には、全てのエッジ検出内容からテロップ情報を得るために、テロップ検出動作を行う。すなわち、図３に示すように、映像受信部１に蓄積された映像信号から音楽番組の開始フレームを取り出す（ステップＳ１１）。このステップＳ１１の開始フレームはエッジが検出されたフレームのうちの時間的に最も古いフレームである。そのフレーム番号を保存し（ステップＳ１２）、今回のフレームからはエッジで囲まれた領域が検出されるか否かを判別する（ステップＳ１３）。エッジで囲まれた領域、すなわちエッジ囲み領域が検出されたならば、今回のフレームに連続するフレームであって今回のフレームのエッジ囲み領域と同一領域のエッジが消滅するフレームを検出する（ステップＳ１４）。エッジ囲み領域出現フレームからその消滅フレームまでの表示時間が所定時間より大であるか否かを判別する（ステップＳ１５）。そのエッジ囲み領域の表示時間が所定時間より大であることが判別されたならば、そのエッジ囲み領域をテロップ領域としてＩＤ（番号）、出現フレーム、消滅フレーム、フレーム中のテロップ位置及び文字サイズを保存する（ステップＳ１６）。ステップＳ１６ではそのテロップ領域内をスキャンしての文字サイズを検出する。その文字サイズの検出には、例えば、特開２００１−７６０９４号公報に示された文字列情報抽出方法を用いることができる。ステップＳ１６で保存されるテロップ情報は、図４に示すように、テロップ毎にＩＤ、出現フレーム、消滅フレーム、テロップ位置及び文字サイズからなるデータテーブルとして内部メモリ（図示せず）に書き込まれる。ここではテロップは一般的な形状である、矩形としており、テロップ位置のＸ１，Ｙ１はテロップ左上の座標、Ｘ２，Ｙ２は右下の座標である。なお、テロップ形状は矩形でない場合もあるので、その場合にはその形状を示すデータを含む必要がある。
【００１８】
ステップＳ１６の実行後、エッジが検出された全フレームが映像受信部１から取り出されたか否かを判別する（ステップＳ１７）。全てのフレームが取り出されていない場合には、次のエッジが検出されたフレームを映像受信部１から取り出して（ステップＳ１８）、ステップＳ１２に戻って上記のテロップ領域判別を繰り返す。
【００１９】
音楽区間検出部４においては、ジャンル判定部２によって音楽番組と判定された番組の音声信号に応じて音楽区間が検出される。音声信号のレベルが所定レベル以上であってその状態が連続的であるときその開始フレーム及び終了フレームが音楽区間検出情報として歌唱シーン検出部５に出力される。複数の音楽区間が検出された場合にはその数だけ音楽区間検出情報は得られる。
【００２０】
歌唱シーン検出部５は、図５に示すように、先ず、テロップ検出部３からテロップ情報を得てテロップの位置とその文字サイズとが時間的に連続して一定であるテロップの出現区間を検出する（ステップＳ２１）。このテロップの出現区間の検出は、音楽番組の歌唱シーンに表示される歌詞テロップの位置は定位置であり、その文字サイズは一定であり、かつそのテロップは時間的に連続して一定であることに基づいている。テロップの出現区間はフレーム番号で表すことができる。テロップの位置とその文字サイズとが時間的に連続して一定であることがテロップの表示態様が安定した状態である。
【００２１】
ステップＳ２１で得られたテロップの出現区間内に音楽区間検出部４によって検出された音楽区間が存在するか否かを判別する（ステップＳ２２）。すなわち、ステップＳ２１で検出されたテロップの出現区間が歌唱シーンを含む区間であるならば、音楽区間が存在するので、それを判別することが行われる。ステップＳ２２においてテロップの出現区間内に音楽区間があると判別された場合にはその音楽区間を歌唱シーンと決定する（ステップＳ２３）。テロップ検出部３によってテロップが検出されてそれがテロップ情報としてテロップ検出部３に保存されているので、歌唱シーン検出部５は検出されたテロップ毎に上記のステップＳ２１〜Ｓ２３を実行して歌唱シーンを決定する。
【００２２】
メニューアイテム作成部６は、メニューアイテムとして歌唱シーンのタイトルテロップを検出するために、図６に示すように、先ず、歌唱シーン検出部５によって検出された歌唱シーン内に出現する全テロップのテロップ情報（位置及び文字サイズ）の統計をとる（ステップＳ３１）。すなわち、テロップのパターン毎に出現頻度が調べられる。歌唱シーン内に出現する全テロップのテロップ情報はテロップ検出部３に保存されたテロップ情報から得ることができる。ステップＳ３１では歌唱シーン内に出現する全テロップについて、位置と文字サイズとが同じテロップ（図４のテロップＩＤ単位）だけを集めてその合計の出現頻度を計算する。例えば、位置と文字サイズとが同じテロップが２つあれば、その種類のテロップは２回の出現頻度とする。また、位置と文字サイズとが他のテロップとは異なるテロップは１回の出現頻度とする。ステップＳ３１の実行後、出現頻度が少ないテロップのみを処理対象とし、それ以外のテロップは無視する（ステップＳ３２）。ステップＳ３２で処理対象とされるテロップの数は少なくとも１である。閾値を設けて処理対象のテロップは定めても良い。
【００２３】
メニューアイテム作成部６は、ステップＳ３２で処理対象としたテロップのうちの１のテロップを選択し（ステップＳ３３）、今回選択したテロップのテロップ情報と等しいテロップ情報を備えたテロップが他の歌唱シーンに存在するか否かを判別する（ステップＳ３４）。その今回選択したテロップがタイトルテロップであるならば、同一の音楽番組内では他の歌唱シーンについての同様のテロップ情報を有するテロップがあることが多いので、ステップＳ３４の判別は行われる。この判別の際に各歌唱シーンについて比較されるテロップ情報の内容はテロップ位置と文字サイズとであるが、タイトルテロップの位置は歌唱シーン毎に異なる場合もあるので、文字サイズだけでも良い。ステップＳ３４において他の歌唱シーンには同一のテロップ情報が存在しないと判別した場合には、後述のステップＳ３６に進む。一方、他の歌唱シーンに同一のテロップ情報が存在すると判別した場合には、今回選択したテロップ、すなわちタイトルテロップの画像データをメニューアイテムのデータとしてチャプタメニュー作成部７に供給する（ステップＳ３５）。ステップＳ３５の実行後、ステップＳ３２で処理対象とされたテロップ全てについてステップＳ３４の処理を終了したか否かを判別する（ステップＳ３６）。終了してないときにステップＳ３３に戻って新たな１のテロップを選択して上記の動作を繰り返す。処理対象とされたテロップ全てについてステップＳ３４の処理を終了したならば、メニューアイテム作成動作を終了する。
【００２４】
チャプタメニュー作成部７はメニューアイテム作成部６によって作成されたメニューアイテムのデータであるタイトルテロップの画像データを用いて音楽番組のチャプタメニューを作成する。１つのタイトルテロップの画像データが供給される毎に、その画像データでチャプタメニューの１項目が追加形成される。チャプタメニューの１項目は、１つの音楽項目についてのタイトルを表す。各項目はタイトルテロップ映像の縮小映像で表示部９のモニタには表示される。チャプタメニューはモニタに例えば、図７に符号Ａで示すように表示される。
【００２５】
表示部９のモニタに表示されたチャプタメニューの複数の項目（図７の符号Ｂ）のうちの所望の項目をユーザがユーザインタフェース部８を介して選択すると、チャプタメニュー作成部７はその選択項目に対応したテロップのフレーム番号を用いて映像受信部１からそのフレーム番号からの映像信号を所定期間に亘って読み出し、その映像信号にチャプタメニューの映像信号を混合して表示部９に供給する。図７の表示例では表示部９のモニタには選択された項目「矢切の私（太川たかし）」についての映像（符号Ｃ）が表示されている。選択項目の内容が映像としてモニタに表示される所定期間は、当該歌唱シーンについての音楽区間でも良いし、それとは関係なく一定した時間でも良い。
【００２６】
上記した実施例のように、歌唱シーンのタイトルテロップを含むフレームからそのタイトルテロップを抽出してチャプタメニューの項目として使用するので、文字認識、画像認識、音声認識等の負荷の大きい処理を必要としない。よって、チャプタメニュー表示を実現するに当たってリソースを低く抑えることができる。また、音楽番組の構成が異なってもそれに対応することができる。
【００２７】
また、チャプタメニューの各項目はタイトルテロップ部分だけの画像データによって示される映像を縮小して使用するので、そのメニューには図７に示したように複数の項目を表示することができ、また、比較的小さなサイズに縮小しても各項目の認識を容易にすることができる。
なお、上記した実施例においては、音楽番組の放送映像信号の各フレームの所定の特徴部分はテロップであるとして説明したが、これも限定されない。所定の特徴部分としては静止画であっても良い。更に、所定の特徴部分としては特定の人物の顔映像であっても良く、顔面の輪郭や目、鼻及び口の位置関係から人物を認識する顔面認識装置を用いることによって特定の人物の顔映像を抽出することができる。また、楽曲のサビ部分であっても良いが、この場合には歌唱シーンに関する映像としてはサンプル歌唱音の選択肢映像とすることができる。
【００２８】
以上のように、本発明によれば、音楽番組の内容を示すメニューを自動的に作成することができる。また、本発明はハードディスクレコーダ等の録画装置に適用することができる。
【図面の簡単な説明】
【図１】本発明を適用した音楽番組内容メニュー作成装置を示すブロック図である。
【図２】エッジ検出動作を示すフローチャートである。
【図３】テロップ検出動作を示すフローチャートである。
【図４】テロップ情報のデータテーブルを示す図である。
【図５】歌唱シーン検出動作を示すフローチャートである。
【図６】タイトルテロップ検出動作を示すフローチャートである。
【図７】チャプタメニューを含むモニタ画面を示す図である。
【符号の説明】
２  ジャンル判定部
３  テロップ検出部
４  音楽区間検出部
５  歌唱シーン検出部
６  メニューアイテム作成部
７  チャプタメニュー作成部
【図１】
2004363917.tif 000003
【図２】
2004363917.tif 000004
【図３】
2004363917.tif 000005
【図４】
2004363917.tif 000006
【図５】
2004363917.tif 000007
【図６】
2004363917.tif 000008
【図７】
2004363917.tif 000009