(57)【要約】【課題】  要約画像等の再生において、ユーザにシーンの切り替わりを報知することができる映像再生装置を提供する。【解決手段】  映像再生装置は、音映像コンテンツの特徴部を抽出する特徴抽出部と、前記特徴抽出部が抽出した特徴部を再生する再生部を備え、前記再生部は、再生する特徴部を識別するための情報を出力する識別情報出力部を備える。【選択図】図１
2007243501.tif 000002
【特許請求の範囲】
【請求項１】
音映像コンテンツの特徴部を抽出する特徴抽出部と、
前記特徴抽出部が抽出した特徴部を再生する再生部を備え、
前記再生部は、再生する特徴部を識別するための情報を出力する識別情報出力部を備えることを特徴とする映像再生装置。
【請求項２】
前記再生部は、前記特徴抽出部が抽出した特徴部の再生順を決定する特徴部再生制御部を備え、
前記識別情報出力部は、再生する特徴部を識別するための情報として前記特徴部再生制御部が決定した再生順を出力することを特徴とする請求項１に記載の映像再生装置。
【請求項３】
音映像コンテンツの特徴部を抽出する特徴抽出部と、
前記特徴抽出部が抽出した特徴部を再生する再生部を備え、
前記再生部は、特徴部の再生時、この再生経過を示す情報を出力する識別情報出力部を備えることを特徴とする映像再生装置。
【請求項４】
音声信号を含むコンテンツに対し、所定区間における音声信号の出力のピークを検出する検出部を備え、
前記特徴抽出部は、前記検出部の結果を用いて、特徴部を抽出することを特徴とする請求項１ないし３の何れかに記載の映像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音映像のコンテンツに対して、特徴抽出シーンを自動的に生成して再生する映像再生装置に関する。
【背景技術】
【０００２】
従来、映像等の特徴あるシーンを抽出して再生する技術が提案されている。
【０００３】
特許文献１には、ニュース、音楽、相撲等、番組のカテゴリに応じて適切な要約画像を生成する技術が開示されている。
【特許文献１】特開２００３-２９８９８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような要約画像の再生においては、その抽出された特徴あるシーンがシームレスに切り替わり再生されるため、これらシーンの切り替わり（以下、シーンチェンジと称す）をユーザが認識することは困難となり、所望のシーンを検索するとき困難となる。
【０００５】
そこで、本発明は、このような要約画像の再生（以下、ダイジェスト再生と称す）において、ユーザにシーンの切り替わりを報知することができる映像再生装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題に鑑み本発明は、以下の特徴を有する。
【０００７】
請求項1の発明は、映像再生装置であって、音映像コンテンツの特徴部を抽出する特徴抽出部と、前記特徴抽出部が抽出した特徴部を再生する再生部とを備え、前記再生部は、再生する特徴部を識別するための情報を出力する識別情報出力部を備えることを特徴とする。
【０００８】
この特徴により、ダイジェスト再生等の特徴部再生において、シーンが切り替わったことを知ることができるため、シーン検索等を容易に行うことができる。
【０００９】
請求項2の発明は、請求項1に記載の映像再生装置であって、前記再生部は、前記特徴抽出部が抽出した特徴部の再生順を決定する特徴部再生制御部を備え、前記識別情報出力部は、再生する特徴部を識別するための情報として前記特徴部再生制御部が決定した再生順を出力することを特徴とする。
【００１０】
この特徴により、ダイジェスト再生等の特徴部再生において、シーンが切り替わったことを知ることができると共に、再生中の特徴部が、再生される全特徴部のうちいずれであるかを知ることができる。
【００１１】
請求項3の発明は、映像再生装置であって、音映像コンテンツの特徴部を抽出する特徴抽出部と、前記特徴抽出部が抽出した特徴部を再生する再生部を備え、前記再生部は、特徴部の再生時、この再生経過を示す情報を出力する識別情報出力部を備えることを特徴とする。
【００１２】
この特徴により、特徴部再生の進行状況を知ることができ、所望のシーンの検索等を容易に行うことができる。
【００１３】
請求項4の発明は、請求項1ないし3の何れかに記載の映像再生装置であって、音声信号を含むコンテンツに対し、所定区間における音声信号の出力のピークを検出する検出部を備え、前記特徴抽出部は、前記検出部の結果を用いて、特徴部を抽出することを特徴とする。
【００１４】
この特徴により、音声信号の特徴により抽出したシーンを再生するダイジェスト再生において、シーンが切り替わったことを知ることができる。
なお、請求項中の特徴抽出部は実施の形態に係る映像記録再生装置の再生制御部17に対応する。また、請求項中の識別情報出力部は実施の形態に係る映像記録再生装置のシーンチェンジ出力制御部21に対応する。また、請求項中の特徴部再生制御部は実施の形態に係る映像記録再生装置の再生制御部17に対応する。また、請求項中の再生部は実施の形態に係る映像記録再生装置の再生制御部17、AVデコーダ18、シーンチェンジ出力制御部21、に対応する。また、請求項中の検出部は実施の形態に係る映像記録再生装置のピーク検出部14に対応する。
【発明の効果】
【００１５】
本発明によれば、ダイジェスト再生において、ユーザにシーンの切り替わりを報知することができる映像再生装置を提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態につき図面を参照して説明する。
図1は、本実施形態に係る映像記録再生装置の構成を示す図である。図示のように、映像記録再生装置は、主に、受信部11、データ分離部12、音声デコーダ13、ピーク検出部14、記憶媒体インタフェース15、記憶媒体16、再生制御部17、AVデコーダ18、モニタ19、スピーカ20、シーンチェンジ出力制御部21、システムコントローラ（図示しない）を含む。
【００１７】
尚、図1では、記録媒体16としてHDD(Hard Disk Drive)が例示してあり、また、それに対する書込み・読出しの記憶媒体インタフェース15としてHDDインタフェースを例示している。
受信部11は、音映像放送信号を受信して検波し、MPEG2-TS形式のような符号化音映像信号に復調する。
【００１８】
データ分離部12は、受信部11から出力されたMPEG2-TS形式のような符号化音映像信号から、符号化音声信号と符号化映像信号を分離する。
【００１９】
音声デコーダ13は、データ分離部12において分離された符号化音声信号を音声信号に変換する。
【００２０】
ピーク検出部14は、音声デコーダ13の変換した音声信号に対して、その出力が所定区間において最大となるピーク位置、およびその値であるピーク値を検出する。また、ピーク検出部14は、その結果をダイジェスト再生ポイント情報として記憶媒体16に記録する。ダイジェスト再生ポイントとは、ダイジェスト再生を行う際に、用いるシーンを指す。
【００２１】
記憶媒体インタフェース15は、記憶媒体16に対して符号化音映像信号を記録し、また記憶媒体16から符号化音映像信号を読み出すインタフェースである。
【００２２】
また、記憶媒体インタフェース15は、ピーク検出部14の制御に基づいて、ピーク検出部14において作成されたダイジェスト再生ポイント情報を記憶媒体16に記録する。また、再生制御部17の制御に基づいて、記憶媒体16からダイジェスト再生ポイント情報を読み出す。
【００２３】
記憶媒体16は、符号化音映像信号を記録する記録媒体である。
【００２４】
再生制御部17は、HDDに記録されているダイジェスト再生ポイント情報を参照して、検出されたダイジェスト再生ポイントの総数を取得する。さらに、全ダイジェスト再生ポイントにおける各ダイジェスト再生ポイントの再生順を示す情報を生成し、これとダイジェスト再生ポイントの総数と各ダイジェスト再生ポイント情報とからなるプレイリストを生成する。
【００２５】
再生制御部17は、プレイリストに基づき、記録媒体16から該当記録部分を読出してAVデコーダ19にて再生させるとともに、プレイリストをシーンチェンジ出力制御部21に出力する。
【００２６】
AVデコーダ18は、記録媒体16に記録されているMPEG2-TS形式のような符号化音映像信号を読み出して映像信号と音声信号とに変換する。
【００２７】
モニタ19は、映像信号を再生出力する。このモニタ19は、主映像信号を表示する主画面と、OSD(On Screen Display)として使用される副画面を備える。
【００２８】
スピーカ20は、音声信号を再生出力する。
【００２９】
シーンチェンジ出力制御部21は、再生制御部17から入力されたプレイリストを参照して、ダイジェスト再生ポイントを識別するための情報、例えば、全ダイジェスト再生ポイントにおける順序等をOSDとしてモニタ19に表示させるよう制御する。また、同情報を音声合成等によってスピーカ20から出力するよう制御する。
【００３０】
なお、図示しないシステムコントローラは、映像記録再生装置の構成要素を統括的に制御する。
次に、上記構成の映像記録再生装置による記録動作について説明する。
【００３１】
映像記録再生装置において、受信部11が音映像放送信号を受信して検波し、MPEG2-TSに復調する。
【００３２】
復調された符号化音映像信号はデータ分離部12に入力され、データ分離部12において、符号化音声信号が取り出される。そしてこれを音声デコーダ13にて音声信号に変換し、ピーク検出部14にてその音声信号に対して後述する処理方法にてピーク位置、ピーク値を検出し、インタフェース15を介して記録媒体16にダイジェスト再生ポイント情報として順次記録していく。
【００３３】
また、受信部11にて復調し、圧縮された音映像の圧縮信号もインタフェース15を介して記録媒体16に記録していく。
前述のピーク検出部14によるピークの位置、その出力パワーピーク値の記録処理は、以下の通りである。
【００３４】
図2に、音声振幅波形（同図(a)）とその一部の量子化グラフ（同図(b)）を示す。この図2において、音声出力パワー値を最初から順に比較していき、あるパワー値Piがそれ以降の一定期間T、例えば20秒間の間、他のパワー値よりも大きい時、このパワー値Piを特徴点とし、その記録位置とパワー値Piを記録する。
【００３５】
以降も同様にして、あるパワー値Piを越えるパワー値がそれに続く一定期間Tの間、出現しない場合に、そのパワー値Piを特徴点として、その記録位置とパワー値Piを記録していく。
図3は、このピーク検出部14によるパワーピーク値記録処理を概略的に示すフローチャートである。
【００３６】
記録に先立って特徴点パワー値Pj＝0に初期設定し（Ｓ１）、順次にサンプリングタイミングごとのパワー値Piを取り込み（Ｓ３）、特徴点パワー値Pjと大小比較する（Ｓ５）。
【００３７】
そして、新たに取り込んだパワー値Piの方が特徴点パワー値Pjよりも大きければ特徴点パワー値Pjを新たにパワー値Piにて置換える（Ｓ７，Ｓ９）。
【００３８】
そして、この新たな特徴点パワー値に置換えると、その時点で経過時間を０にリセットする。そして、新たな特徴点パワー値Pjに対して、Ｓ３からの処理を再開する（Ｓ１１）。
【００３９】
他方、ある特徴点パワー値Pjに対して、その出現時点よりも後により大きなパワー値Piが一定経過時間Tの間出現しなければ（Ｓ１３）、この特徴点パワー値Pjの記録位置とパワー値をダイジェスト再生ポイントのピーク位置及びピーク値として記録する（Ｓ１５）。こうして、ダイジェスト再生ポイントが発見されると、特徴点パワー値Pjを初期状態にリセットし（Ｓ１７，Ｓ１）、Ｓ３以降の処理を再開する。
【００４０】
以上のダイジェスト再生ポイント記録処理は、ユーザによる停止操作まで、あるいは1つのコンテンツの終了まで継続する。これにより、記録媒体16にはコンテンツ毎に、一連のダイジェスト再生ポイントのピーク位置、ピーク値が記録されることになる。
【００４１】
図4は、このように生成され、記録媒体16に記録されたダイジェスト再生ポイント群のピーク位置及びピーク値を示している。
次に、本実施の形態の映像記録再生装置によるダイジェスト再生処理について、図5のフローチャートを参照しながら説明する。
【００４２】
再生制御部17は、記録媒体16に記録されている図4の表に示すダイジェスト再生ポイント群を読出し、ダイジェスト再生ポイントのピーク値の高い方から順に並べ替え、所定数だけ抽出する（Ｓ２１，Ｓ２３）。ここで、抽出するダイジェスト再生ポイントの数は任意であり、抽出したダイジェスト再生ポイント全てであってもよく、また、単位時間内に再生するダイジェスト再生ポイントの数とすることもできる。Ｓ２１およびＳ２３における処理の結果の一例を図6(a)に示す。
【００４３】
そして、図6(b)の表に示すようなプレイリストを作成する。このプレイリストには、Ｓ２３にて抽出されたダイジェスト再生ポイントがその記録時期の早い順にリストアップされている。
【００４４】
再生制御部17は、ダイジェスト再生ポイントに対応するダイジェストシーンとして、該当ピーク位置から一定期間T前の位置、該当ピーク位置から一定期間T後ろの位置を、それぞれ再生開始位置と再生終了位置として設定する（Ｓ２５）。尚、ダイジェストシーンの切取り再生時間Tは、ここではピークサーチ時間Tと同じ長さに設定している。しかしながら、そのダイジェストシーンの再生時間は限定されるものではない。
【００４５】
さらに、これらの情報は、再生制御部17によって、ダイジェストシーンの総数とダイジェストシーンの再生順を示す情報ととともにプレイリストに記録される
図6(b)の表は、上記一定期間（再生期間）Tを10秒とし、ダイジェスト再生ポイント群の中から抽出するダイジェスト再生ポイントの数を24とした例を示している。このプレイリスト1行目のデータは、開始時間10秒、終了時刻30秒、総ダイジェスト再生ポイント中1番目、総ダイジェスト再生ポイント数24を示している。
続いて再生制御部17は、図7に示すフローチャートの手順にて、プレイリストを用いた再生処理を行う。
【００４６】
再生制御部17は、図6(b)に示すようなプレイリストをシーンチェンジ出力制御部21に出力するとともに、このプレイリストに基づき、記録媒体16に記録されているコンテンツに対して記録時期の早い順に該当位置から一定期間Tの間の記録映像を順次読出し（Ｓ３１，Ｓ３３）、AVデコーダ18に出力する。AVデコーダ18は、入力された記録映像信号をデコードし、デコードされた映像信号をモニタ19の主画面に表示させ、また、デコードした音声信号をスピーカ20から出力させる（Ｓ３５）。
【００４７】
一方、シーンチェンジ出力制御部21は、入力されたプレイリストを参照して、ダイジェストシーンの総数とダイジェストシーンの再生順を示す情報を取得し、これらの情報を用いて、再生中のダイジェストシーンが、ダイジェストシーン全体においてどの位置にあるかを示す再生経過情報を生成し、これをOSDとしてモニタ19の副画面に表示させるよう出力制御する（Ｓ３７）。
【００４８】
AVデコーダ18によってデコードされた再生音声信号はスピーカ20から出力され、デコードされた映像信号は、OSDとして表示される再生経過情報とともにモニタ19から出力される（Ｓ３９）。
【００４９】
以上のダイジェスト再生動作は、ユーザによる停止操作まで、あるいは１つのコンテンツの終了まで継続する。
図8〜10は、本実施の形態におけるシーンチェンジ時に表示される再生経過情報の表示例である。
【００５０】
図8は、シーン番号とシーン総数を、“シーン番号／シーン総数”の形式で表示している。
【００５１】
図9は、全ダイジェストシーンを意味する全円をシーン総数で分割し、再生中のダイジェストシーンに対応する分割円をハイライト表示している。このとき、時計まわり順に分割円を再生順のダイジェストシーンに対応させ、再生経過にしたがって表示させるようにさせてもよい。
【００５２】
図10は、シーン番号とシーン総数を表す、“シーン番号／総シーン数”の形式での表示のほかに、ダイジェストシーン総時間における再生経過時間を、“再生経過時間／ダイジェストシーン総時間”の形式での表示、および、録画総時間における再生経過時間を、“再生経過時間／録画総時間”の形式で表示している。
上記によれば、記録媒体14に記録されたコンテンツのダイジェストシーンが予め設定されたダイジェスト再生時間内に再生できる数だけ特徴性の高いものを最初から順に再生でき、長いコンテンツであってもそのハイライトを自動再生できるとともに、ダイジェスト再生におけるシーンの切り替わりを、再生中のシーン番号を表示するなどして再生経過を表示することができる。
【００５３】
これにより、ユーザは、ダイジェストシーンの再生経過を容易に知ることでき、また、所望のシーンの検索も容易に行うことができ、ユーザの利便性を向上させることが可能となる。
【００５４】
特に、ダイジェストシーンのシーン総数やシーン番号を用いて、再生経過を円グラフ状に表示したり、再生経過時間を表示することによって、ユーザはよりダイジェストシーンの再生を利用し易くなる。
なお、上記の実施の形態において、ダイジェスト再生の経過を再生中のシーン番号を表示するなどしてモニタに表示するようにしたが、例えば、シーン番号を音声にて出力するようにしてもよい。
【００５５】
また、上記の実施の形態では、ダイジェスト再生ポイント情報としてピークに関する情報を記憶媒体に記録するようにしてダイジェスト再生ポイントの決定を行ったが、記憶媒体へ記録することなく、再生時にリアルタイム処理にて行うようにしてもよい。
以上、本発明に係る実施の形態について説明したが、本発明ないし各構成要件の用語の意義等は、本実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００５６】
【図１】実施形態に係る映像記録再生装置の構成を示す図
【図２】実施形態に係るピーク点候補の検出処理を説明する図
【図３】実施形態に係るピーク点候補の検出処理を示すフローチャート
【図４】実施形態に係るピーク点候補のリストの一例を示す図
【図５】実施形態に係るダイジェスト再生処理を示すフローチャート
【図６】実施形態に係るプレイリストの一例を示す図
【図７】実施形態に係るダイジェスト再生処理を示すフローチャート
【図８】実施形態に係るダイジェスト再生時の経過表示の一例を示す図
【図９】実施形態に係るダイジェスト再生時の経過表示の一例を示す図
【図１０】実施形態に係るダイジェスト再生時の経過表示の一例を示す図
【符号の説明】
【００５７】
11  受信部
12  データ分離部
13  音声デコーダ
14  CM検出部
15  記憶媒体インタフェース
16  記憶媒体
17  再生制御部
18  AVデコーダ
19  モニタ
20  スピーカ
【図１】
2007243501.tif 000003
【図２】
2007243501.tif 000004
【図３】
2007243501.tif 000005
【図４】
2007243501.tif 000006
【図５】
2007243501.tif 000007
【図６】
2007243501.tif 000008
【図７】
2007243501.tif 000009
【図８】
2007243501.tif 000010
【図９】
2007243501.tif 000011
【図１０】
2007243501.tif 000012