(57)【要約】【課題】ＴＶ番組の重要部分を自動的に選択してダイジェスト的に再生すること。【解決手段】番組コーナ判定手段１０１と、重要区間判定手段１０２と、コーナ重要度判定手段１０３と、再生制御手段１０４と、情報表示手段１０５を備え、番組コーナ区間、重要区間、コーナ重要度の計算結果に基づき番組コーナの重要度ランクを算出し、これらの情報を利用した複数のダイジェスト再生スキームの再生区間を画面表示することにより、番組のジャンルや内容を考慮して最適なダイジェスト再生スキームを容易に選択可能とする。【選択図】図１
2005328329.tif 000002
【特許請求の範囲】
【請求項１】
録画済みのＴＶ放送番組中に存在する番組コーナの区間を決定する番組コーナ判定手段と、
前記番組コーナ中の重要区間を決定する番組重要区間判定手段と、
前記番組コーナ判定手段と前記番組重要区間判定手段の判定結果に基づき番組コーナの重要度を決定するコーナ重要度判定手段と、
番組コーナ区間の情報と重要区間の情報とコーナ重要度の情報を用いる再生制御情報に基づいてダイジェスト再生する区間の選択を行う再生制御手段と、
前記再生制御情報に基づき番組内の重要区間の時間軸上の位置を画面表示する情報表示手段とを備えた映像再生装置。
【請求項２】
録画済みのＴＶ放送番組中に存在するコマーシャルの区間を決定するコマーシャル区間判定手段と、
前記番組中のコマーシャルで区切られた番組区間を番組コーナと見なしてその区間内で重要区間を決定する番組重要区間判定手段と、
前記コマーシャル区間判定手段と前記番組重要区間判定手段の判定結果に基づき番組コーナの重要度を決定するコーナ重要度判定手段と、
コマーシャル区間の情報と重要区間の情報とコーナ重要度の情報を用いる再生制御情報に基づいてダイジェスト再生する区間の選択を行う再生制御手段と、
前記再生制御情報に基づき番組内の重要区間の時間軸上の位置を画面表示する情報表示手段とを備えた映像再生装置。
【請求項３】
ＴＶ放送番組中に存在する番組コーナの区間を決定する番組コーナ判定手段と、
前記番組中の重要区間を決定する番組重要区間判定手段と、
前記番組コーナ判定手段と前記番組重要区間判定手段の判定結果に基づき番組コーナの重要度を決定するコーナ重要度判定手段と、
映像音響信号と対応する番組コーナ区間の情報と重要区間の情報とコーナ重要度の情報とを記録メディアに記録する再生制御情報記録手段と、
映像音響信号と再生制御情報を記録・再生するための情報記録媒体と、
再生制御情報に基づき番組内の重要区間の時間軸上の位置を画面表示する情報表示手段と、
番組コーナ区間と重要区間とコーナ重要度に基づきダイジェスト再生する区間の選択を行う再生制御手段とを備えた映像録画再生装置。
【請求項４】
録画済みのＴＶ放送番組中に存在する番組コーナの区間を決定し、
前記番組コーナ中の重要区間を決定し、
２つの判定手段の判定結果に基づき番組コーナの重要度を決定し、
番組コーナ区間の情報と重要区間の情報とコーナ重要度の情報を用いる再生制御情報に基づき所定のダイジェスト再生スキームで再生する区間を決定し、
前記再生制御情報に基づき番組内の重要区間の時間軸上の位置と所定のダイジェスト再生スキームにおける再生区間とを画面表示して提示し、
選択されたダイジェスト再生スキームに基づき決定された区間を再生する映像再生方法。
【請求項５】
ダイジェスト再生スキームは、
全ての番組コーナにおける重要区間を時間順に再生することを特徴とする請求項４に記載の映像再生方法。
【請求項６】
ダイジェスト再生スキームは、
重要度ランクの最も高い番組コーナのみを再生することを特徴とする請求項４に記載の映像再生方法。
【請求項７】
ダイジェスト再生スキームは、
重要度ランクの最も高い番組コーナにおける重要区間のみを再生することを特徴とする請求項４に記載の映像再生方法。
【請求項８】
ダイジェスト再生スキームは、
重要度ランクの高い順に番組コーナを再生することを特徴とする請求項４に記載の映像再生方法。
【請求項９】
ダイジェスト再生スキームは、
重要度ランクの高い順に番組コーナにおける重要区間を再生することを特徴とする請求項４に記載の映像再生方法。
【請求項１０】
録画済みのＴＶ放送番組中に存在する番組コーナの区間を決定し、
前記番組コーナ中の重要区間を決定し、
２つの判定手段の判定結果に基づき番組コーナの重要度を決定し、
番組コーナ区間の情報と重要区間の情報とコーナ重要度の情報を用いる再生制御情報に基づき視聴観点が異なる複数のダイジェスト再生スキームにおける再生する区間を決定し、
前記再生制御情報に基づき番組内の重要区間の時間軸上の位置と複数のダイジェスト再生スキームにおける再生区間とを画面表示して提示し、
選択されたダイジェスト再生スキームに基づき選択された区間を再生する映像再生方法。
【請求項１１】
ダイジェスト再生スキームは、
請求項５、請求項６、請求項７、請求項８、請求項９のうち少なくとも２つ以上を具備することを特徴とする請求項１０に記載の映像再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はＴＶ放送などの映像信号を録画あるいは再生する際に、ダイジェスト再生することを特徴とする映像録画再生装置または映像再生装置または映像再生方法に関するものである。
【背景技術】
【０００２】
従来の映像再生方法としては、所定の再生時間長に合うようにダイジェストを自動生成するものがある（例えば、特許文献１参照）。図７は、従来の映像再生方法を示すものである。図７において、動画像格納媒体３１と優先度情報格納媒体３０からなるデータベースを備えており、ユーザが与えるダイジェスト時間入力と対象とする番組の優先度情報から、しきい値計算部６では再生時間長に見合う優先度のしきい値を求め、このしきい値以上の優先度の値をとる画像フレームをダイジェスト用画像フレーム検索部７で検索し、ダイジェスト格納媒体８に記録する。
【０００３】
以上の動作に先立ち、図８に示す装置で、ユーザは対象となる番組をディスプレイ４で視聴しながら重要度の大きさを優先度として判定し、ジョイスティック１を操作することで、連続的に優先度入力装置２経由で優先度情報を優先度情報格納媒体３０に記録する必要がある。
【０００４】
また、別の映像再生方法として、代表画像の抽出を信号処理により効率的に行い、代表画像を空間的に並べてデータ表示させるものであるが、コマーシャルと番組を識別してコマーシャルの要約リストを利用した映像再生方法を提供するものである（例えば、特許文献２参照）。
【特許文献１】特許第２７５２７１６号公報
【特許文献２】特許第３４０７８４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の特許文献１の構成では、人間が事前に一度視聴して番組の重要度を判定し、その結果を記録して初めてダイジェスト再生が可能となるものであり、この作業には多大な労力が事前に必要となるという課題を有していた。また、視聴しながら随時判定結果を記録し、人間の記憶を頼りにした局所的な時間範囲で重要度を判定しているため、番組全体を通して安定した重要度の判定にはならない場合があると予想される。また、このような不確かな判定結果に依存してダイジェスト再生を行うにもかかわらず、再生する区間が番組中のどの部分であるかなどの時間位置情報が明示されておらず、ユーザの目的に合うダイジェスト再生区間であるかどうかが視認されない。
【０００６】
一方、特許文献２の構成では、ダイジェスト再生の目安として単にＣＭ区間の終端を示すのみで重要度合いを考慮したものにはなっていないという課題を有していた。
【０００７】
本発明は、従来のこれらの課題を解決するもので、ＴＶ放送の番組中に存在する１つの意味的なまとまりである番組コーナ区間と、その各コーナ中に存在する局所的な重要区間を自動抽出した後にコーナ毎の重要度を算出しており、番組全体において、局所的な重要区間と重要な番組コーナの双方を求めてダイジェスト再生に利用可能とし、その重要区間の存在を時間軸上で俯瞰する表示を行う。その結果、番組内容や番組ジャンルによって、ダイジェスト再生スキームを変更できるダイジェスト再生機能を保有する映像再生方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
従来の課題を解決するために、本発明の映像再生装置は、番組コーナの区間を決定する番組コーナ判定手段と、番組コーナ中の重要区間を決定する番組重要区間判定手段と、番組コーナの重要度を決定するコーナ重要度判定手段と、番組コーナ区間の情報と重要区間の情報とコーナ重要度の情報を用いる再生制御情報に基づいてダイジェスト再生する区間の選択を行う再生制御手段と、前記再生制御情報に基づき番組内の重要区間の時間軸上の位置を画面表示する情報表示手段とを有し、ダイジェスト再生する区間の選択を行って再生する。
【０００９】
本構成によって、ダイジェスト再生区間を人手によらず自動抽出し、番組全体を通して安定した重要区間の抽出を行う。また、ダイジェスト再生として再生する区間に関しては、局所的な重要区間抽出結果や、１つの番組内の意味的な区切り区間である番組コーナの双方を利用できるので、番組内容や番組ジャンルに応じた最適なダイジェスト再生にすることが可能となる。また、ダイジェスト再生が抽出して再生した区間は、番組全体の中でどの区間であるかを画面に明確に表示して確認しながら視聴することができる。
【発明の効果】
【００１０】
本発明の映像再生方法によれば、信号処理によって判別した番組コーナと重要度の時間軸上の位置情報と、複数のダイジェスト再生スキームにより選択された再生区間を画面表示で確認でき、全体の中の重要コーナだけを再生して特定コーナに重点を絞った視聴方法や、各コーナの重要区間すべてを再生して全体の内容をくまなく再生して概要を知るための視聴方法など、番組のジャンルや内容を考慮して最適なダイジェスト再生スキームを容易に選択することができる。
【発明を実施するための最良の形態】
【００１１】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１２】
（実施の形態１）
図１は、本発明の実施の形態１における映像再生装置の構成図である。図１において、番組コーナ判定手段１０１はＡＶ信号から抽出した特徴量（オーディオ、画像、文字など）に基づき番組コーナの自動区間判定を行う。ここで番組コーナとは、番組の時間内でいくつかの意味のある塊りとして分割可能な単位であり、番組の時間構造を表現するものと考える。重要区間判定手段１０２は、求められた番組コーナの区間内で重要区間推定を行うものである。コーナ重要度判定手段１０３は、コーナ内の重要区間の割合が高い事を利用するなど特定の条件にマッチした番組コーナの重要度を求める。再生制御手段１０４は、番組コーナ区間、重要区間、コーナ重要度の計算結果に基づき選択されたダイジェスト再生スキームの再生区間を再生する。情報表示手段１０５は、再生制御手段の制御により番組コーナ区間、重要区間、コーナ重要度などの番組の重要な区間を時間軸に沿って画面表示する。
【００１３】
ＴＶ番組は、通常は複数のコーナに分類できる。そのコーナの例は、例えば、ニュース番組では、複数の異なるニュース単位がコーナに相当し、野球中継では、攻撃・守備の交代時期がコーナと見て良い。これらの時間的な区切りを示す重要な情報としてシーンの変化を示す画像特徴量、テロップによる文字情報、コーナの始まりを示すジングル音やＢＧＭ存在を検知する音響情報がある。これらの特徴量をＴＶ番組の音源から信号処理技術によって抽出し、コーナ区間を判定する。各コーナが求められた後、さらに重要区間の検出を行う。重要区間とは、ニュースやドキュメンタリー・教養番組では人の音声が情報の中心であると考えられ、人間が大きな声で強調して話をしている場合や、ゆっくりとメリハリを付けて話す場合などであり、スポーツ番組では得点シーンやファインプレイなどのハイライトシーンである。これらの重要区間は、オーディオ信号から抽出した音響的特徴量に基づき、区間を求めることが可能である。そして、番組コーナ中における重要区間の時間比率を求めることで、番組コーナの重要度を算出することが可能となる。本発明では、これら、番組コーナにおける重要区間の情報と、番組コーナの重要度をもとにダイジェスト再生する区間を決定し、番組中のどの部分を選択して再生するかを示して複数のダイジェスト再生スキームの中から選択することができ、また、再生中には、現在どの部分を再生しているかを画面表示してユーザに示しながら視聴することが可能となる。
【００１４】
図２、図３は情報表示手段が示す情報の一例であり、図２では、番組コーナ（コーナ１、コーナ２、コーナ３、コーナ４）、重要区間（Ｉ１、Ｉ２、Ｉ３、Ｉ４）、コーナの重要度ランク（ランク＝１、ランク＝２、ランク＝３、ランク＝４）の番組における時間軸上の配置を示し、さらに、この情報に基づく再生スキームとして３つの異なる方法１ａ、２ａ、３ａを示す。ここで、再生方法１ａでは、重要区間に着目し、発生する時間順にＩ１、Ｉ２、Ｉ３、Ｉ４を再生する。次に、再生方法２ａでは、コーナの重要度ランクに着目し、その中で最も重要であるランク＝１の区間のみを再生する。そして、再生方法３ａでは、重要度ランクの最も高いコーナの重要区間に着目し、重要区間Ｉ３、Ｉ４のみを再生する。これらの３つの再生スキームの特長を野球中継を例として示す。例えば、方法１ａでは、番組全体に発生したいくつかのハイライトシーン（得点シーン）を概観することが可能となる。方法２ａでは最も重要なコーナを全て視聴するものであって、ハイライトコーナ（例えば、７回裏の攻撃）を全体として見ることで、特定のハイライトシーンの前後の流れも把握することが可能である。また、方法３ａでは、その番組中の最も盛り上がったハイライトシーンの区間に限定した最も要約度の高いダイジェスト再生を与えるものである。これらの再生スキームは、番組の後続的な特長だけでなく、番組の中身の結果（例えば応援するチームの勝敗結果など）の情報に応じて、ユーザが適宜選択可能であることが望ましいと考えられる。
【００１５】
別の再生スキームを図３に示す。番組コーナ、重要区間、コーナの重要度ランクに関しては、図２と同様である。この図における再生スキームでは、先の図２とは異なり、再生する時間順の制約なく視聴することも選択肢に加えている。再生スキームとして３つの異なる方法１ｂ、２ｂ、３ｂを示す。ここで、再生方法１ｂは、再生方法１ａと同じである。次に、再生方法２ｂでは、コーナの重要度ランクに着目し、重要度ランクの高い順番にコーナ毎に再生する。そして、再生方法３ｂでは、重要度ランクの高いコーナの重要区間に着目し、重要度ランクの高いコーナの重要区間から順番に再生する。これらの再生スキームでは、再生時間順が、実際の番組とは異なるが、重要な順番に次々と再生を行うことが可能なケースとして、例えば音楽番組などが考えられる。音楽番組では、重要区間は音楽区間であるとし、その中でもユーザの興味対象とマッチした音楽が含まれる番組コーナから順番に視聴することを想定した。
【００１６】
このように、信号処理によって判別した番組コーナと重要度の時間軸上の位置情報と、複数のダイジェスト再生スキームにより選択された再生区間を画面表示で確認でき、全体の中の重要コーナだけを再生して特定コーナに重点を絞った視聴方法や、各コーナの重要区間すべてを再生して全体の内容をくまなく再生して概要を知るための視聴方法など、番組のジャンルや内容を考慮して最適なダイジェスト再生スキームを容易に選択することができる。
【００１７】
（実施の形態２）
図４は、本発明の実施の形態１における映像再生装置の構成図である。図４において、ＣＭ区間判定手段はＡＶ信号から抽出した特徴量（オーディオ、画像）に基づきＣＭ区間の自動区間判定を行う。このＣＭ区間に挟まれた番組区間は、ひとまとまりの意味のある区切りであって番組コーナ（コーナ１、コーナ２、コーナ３、コーナ４）と見なすことにする。非重要区間判定手段２０２は、番組中の音声や音楽などの重要な音響イベントを除く区間であり、ＣＭ区間を含む区間であるものとして、ＮＩ１、ＮＩ２、…、ＮＩ８で示す区間とする。番組コーナ中の非重要部を除外した区間Ｒ１、Ｒ２、Ｒ３、…、Ｒ８を非重要部除外区間とした。コーナ重要度判定手段２０３は、番組コーナのうち、非重要区間の占める割合が少ないものからコーナの重要度が高いと判断し重要度ランクを決定する。再生制御手段１０４は、と情報表示手段１０５は、図１と同様の動作を行うものである。
【００１８】
本実施の形態では、ＣＭ区間から番組コーナを決定し、この番組コーナから非重要部の除外を行うことをもとにコーナの重要度ランクを決定して再生する区間を求めている。この非重要区間を求める代わりに重要区間を直接求めることも当然可能である。
【００１９】
図５は情報表示手段が示す情報の一例であり、番組コーナ（コーナ１、コーナ２、コーナ３、コーナ４）、非重要区間（ＮＩ１、ＮＩ２、ＮＩ３、ＮＩ４）、非重要部除外区間（Ｒ１、Ｒ２、Ｒ３、…、Ｒ８）、コーナの重要度ランク（ランク＝１、ランク＝２、ランク＝３、ランク＝４）の番組における時間軸上の配置を示し、さらに、この情報に基づく再生スキームとして３つの異なる方法１ｃ、２ｃ、３ｃを示す。ここで、再生方法１ｃでは、非重要部除外区間に着目し、発生する時間順にＲ１、Ｒ２、…、Ｒ８を再生する。次に、再生方法２ｃでは、コーナの重要度ランクに着目し、番組の時間的順番とは異なるがランクの重要度順に番組コーナを再生する。そして、再生方法３ｃでは、重要度ランクの最も高いコーナの非重要部除外区間に着目し、非重要部除外区間Ｒ１のみを再生する。
【００２０】
本実施の形態では、ＣＭ区間の判定結果に基づき番組コーナを決定し、番組コーナ中の非重要区間の判定結果に基づき番組コーナ中の非重要区間を除外し、それによって再生する区間を求めているため、番組中の重要度が容易に決定できない場合でも本来必要でない区間を削減することでダイジェスト的な再生を実現するものとして有効である。
【００２１】
この再生スキームとして有効な番組ジャンルとしては、バラエティ番組や、トーク番組などの音声が中心の構造であり、重要区間の判定には、言語意味的な判断が必要とされるケースの時である。これらの番組においても、非重要な音声区間の合間のシーンなどを除外することで、番組の効率的な再生を実現することが可能となる。
【００２２】
（実施の形態３）
図６には、本発明の実施の形態３における映像録画再生装置の構成図を示したものである。ＴＶ放送を録画する際には、ＥＰＧなどによって番組書誌情報を用いることが可能であるとし、本実施例では、番組コーナ判定手段３０１、重要区間判定手段３０２、およびコーナ重要度判定手段３０３においてこの番組書誌情報を利用して判定を行う。この番組書誌情報を利用するメリットとしては、例えば、番組のジャンル情報（スポーツ、バラエティ、映画、など）を用いて重要な内容の対象が変更できることである。番組コーナの情報と、番組コーナ中の重要区間の情報と、番組コーナの重要度ランクの情報をメタデータとしてＡＶ信号と一緒に情報記録媒体３０６に記録する。そして、この記録媒体のコンテンツを再生する時に、図２や図３などの再生スキームと全体における再生区間の位置を示す画面表示を提示して、ユーザの選択指示を入力させる。これにより、所望のダイジェスト再生スキームに従って、効率的に視聴を行うことが可能となる。
【産業上の利用可能性】
【００２３】
本発明にかかる映像再生装置、映像録画再生装置、あるいは映像再生方法は、番組のダイジェスト再生機能を有し、大容量の蓄積メディアを搭載する映像コンテンツの蓄積装置を効率よく視聴する際に有用である。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態１における映像再生装置の構成図
【図２】ダイジェスト再生スキームと再生区間の時間軸上の位置と画面表示図の例を示す図
【図３】ダイジェスト再生スキームと再生区間の時間軸上の位置と画面表示図の例２を示す図
【図４】本発明の実施の形態２における映像再生装置の構成図
【図５】ダイジェスト再生スキームと再生区間の時間軸上の位置と画面表示図の例３を示す図
【図６】本発明の実施の形態３における映像録画再生装置の構成図
【図７】従来の映像再生方法の構成図
【図８】従来の映像再生方法の構成図
【符号の説明】
【００２５】
１０１    番組コーナ判定手段
１０２    重要区間判定手段
１０３    コーナ重要度判定手段
１０４    再生制御手段
１０５    情報表示手段
【図１】
2005328329.tif 000003
【図２】
2005328329.tif 000004
【図３】
2005328329.tif 000005
【図４】
2005328329.tif 000006
【図５】
2005328329.tif 000007
【図６】
2005328329.tif 000008
【図７】
2005328329.tif 000009
【図８】
2005328329.tif 000010