(57)【要約】【課題】自動的にハイライトシーンのみを録画可能にする技術を提供する。【解決手段】ダイジェスト録画機能装置において、受信部で受信したデジタル信号又は受信部で受信したアナログ信号から変換したデジタル信号を再生する再生部と、デジタル信号から映像、音声、字幕等の特徴抽出を行う特徴抽出部と、特徴抽出部において抽出された特徴抽出データを合成する合成部と、正規化係数算出部において算出された正規化係数を用いて合成部において合成された合成されたデータを正規化する正規化部と、正規化されたデータからハイライトシーンを判定し、ダイジェスト録画を行うハイライトシーン判定部と、ハイライトシーン判定部においてハイライトシーンであると判定されたシーンのデータを記憶する補助記憶装置と、を備えるという構成をとる。【選択図】図１
2009100141.tif 000002
【特許請求の範囲】
【請求項１】
受信部で受信したデジタル信号又は受信部で受信したアナログ信号から変換したデジタル信号を再生する再生部と、
前記デジタル信号から映像、音声、字幕等の特徴抽出を行う特徴抽出部と、
前記特徴抽出部において抽出された特徴抽出データを合成する合成部と、
正規化係数算出部において算出された正規化係数を用いて前記合成部において合成された合成されたデータを正規化する正規化部と、
前記正規化されたデータからハイライトシーンを判定し、ダイジェスト録画を行うハイライトシーン判定部と、
前記ハイライトシーン判定部においてハイライトシーンであると判定されたシーンのデータを記憶する補助記憶装置と、
を備えることを特徴とするダイジェスト録画機能装置。
【請求項２】
前記正規化係数算出部は、録画を行なった録画データの特徴抽出データに基づいて正規化係数を算出し、前記算出した正規化係数を用いて、録画データを正規化することを特徴とする請求項１に記載のダイジェスト録画機能装置。
【請求項３】
前記正規化係数算出部は、録画を行なった録画データのメタデータから、前記録画を行なった録画データの番組と同一のジャンル情報を特定し、前記ジャンルの正規化係数を算出し、前記算出した正規化係数を用いて録画データの正規化を行なうことを特徴とする請求項１に記載のダイジェスト録画機能装置。
【請求項４】
前記正規化係数算出部は、新しく録画したデータから順に複数のデータを特定し、前記特定した番組から正規化係数を算出し、前記算出した正規化係数を用いて録画データの正規化を行なうことを特徴とする請求項１に記載のダイジェスト録画機能装置。
【請求項５】
前記補助記憶装置に録画可能な記憶領域が予め限られている場合、前記ハイライトシーン判定部は、過去の特徴抽出データ及び合成データ来歴から閾値の値を決め、若しくは、前もって閾値の値を決め、残りの記憶容量に応じて閾値を動的に上下することで、ハイライトシーンを抽出し、且つ録画可能な領域が予め決まっている媒体にも記憶することが可能であることを特徴とする請求項１に記載のダイジェスト録画機能装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオビデオデータのダイジェスト録画機能装置に関するものである。
【背景技術】
【０００２】
現在、録画したコンテンツを短時間で視聴するために、ハイライトシーンの判別・再生機能を有する録画再生装置がある。複数のハイライトシーンを取り扱うダイジェスト機能付き録画再生技術において、特開２００２−３３０３９０号公報（以下、「特許文献１」という）の「録画装置」には、元のコンテンツのハイライトシーン以外を削除可能にする技術が示されている。この技術は、録画データ全範囲の録画音声レベルを検出し、あるレベル以上の音声時にタグ情報を作成する。このタグ情報の前後のシーンを自動的に削除することで、簡易ダイジェストを作成するというものである。
【０００３】
【特許文献１】特開２００２−３３０３９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、このような技術では、録画対象番組を一旦全て録画しなければならない。ユーザがハイライトシーンのみ視聴する場合でも、ハイライトシーン以外のデータも保存され、記憶領域を無駄に使用してしまう。また、ハイライトシーン以外を破棄してダイジェスト録画を行う場合、コンテンツ全体の録画、続いて非ハイライトシーン部分の削除という作業を行うため、処理量が多く、録画データのフラグメンテーションも引き起こしてしまう。
【０００５】
さらに、残量の少ないハードディスクやＤＶＤ等、コンテンツ全体の録画容量よりも小さい予め決められた記憶領域に、直接ダイジェスト録画をすることは不可能である。
【０００６】
本発明の第１の課題は、ダイジェスト録画に際して、ハイライトシーン以外も録画することで記憶領域を無駄に必要としまう問題を解決することである。本発明の第２の課題は、ダイジェスト録画に際してハイライトシーン以外を補助記憶装置に録画し、後に削除することによる処理を削減し、また、発生する録画データのフラグメンテーションを回避することである。本発明の第３の課題は、予め定められた記憶領域にダイジェスト録画を行うことである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、例えば、ダイジェスト録画機能装置において、受信部で受信したデジタル信号又は受信部で受信したアナログ信号から変換したデジタル信号を再生する再生部と、前記デジタル信号から映像、音声、字幕等の特徴抽出を行う特徴抽出部と、前記特徴抽出部において抽出された特徴抽出データを合成する合成部と、正規化係数算出部において算出された正規化係数を用いて前記合成部において合成された合成されたデータを正規化する正規化部と、前記正規化されたデータからハイライトシーンを判定し、ダイジェスト録画を行うハイライトシーン判定部と、前記ハイライトシーン判定部においてハイライトシーンであると判定されたシーンのデータを記憶する補助記憶装置と、を備えるという構成をとる。
【発明の効果】
【０００８】
本発明によれば、例えば、ユーザの視聴したい部分を自動で特定し、該当部分のみを録画することで、記録するコンテンツのデータサイズを小さく出来る。
【０００９】
また、例えば、録画時にハイライトシーンのみを記録するダイジェスト録画を行うことで、全録画データを一旦ＨＤＤ等の補助記憶装置に記憶してから、ハイライトシーン以外を削除するという処理を省くことができ、録画データのフラグメンテーションの発生を防ぐことが出来る。
【００１０】
また、例えば、ＨＤＤ等の残りの容量が少ない場合や、ＤＶＤ等の予め決められた記憶媒体に直接記憶する場合でも、ディスクの空き容量に応じてダイジェスト録画のみを保存することができる。
【発明を実施するための最良の形態】
【００１１】
本発明は、HDD/DVDレコーダ及びパソコン、テレビなど、アナログ/デジタルチューナを搭載した録画装置上で実行可能である。
【００１２】
以下において、図面を用いて本発明の実施例を説明する。なお、本発明は実施例に限定されるわけではない。
【実施例１】
【００１３】
図１を用いて、録画データのハイライトシーンのみを選別して記憶装置及び媒体に保存する方法を説明する。
【００１４】
図１は、本実施例に係る信号処理装置のハードウェア及びソフトウェア構成の一例である。図１において、１０１は放送信号受信部、１０２はチューナ、１０３は再生部、１０４は特徴抽出部、１０５は合成部、１０６は正規化部、１０７はハイライトシーン判定部、１０８はオーサリング部、１０９はＯＤＤ(光ディスク装置)である。
【００１５】
また、１１０は特徴抽出データ、１１１は合成データ、１１２は正規化データ、１１３はハイライトデータ、１１４は特徴抽出データ及び(特徴抽出)合成データ来歴、１１５は正規化係数算出部、１１６は、ハイライトシーン録画データである。１１７はインターネットであるWANやLAN等のネットワークであり、１１８はリムーバブルメディアである。
【００１６】
放送信号受信部１０１でアナログ放送及びデジタル放送、ＢＳ、ＣＳなどの放送信号を受信し、チューナ１０２でデジタル信号に変換する。再生部１０３で再生を行いながら、特徴抽出部１０４で特徴抽出を行う。また、ネットワーク１１７からコンテンツをストリーム受信、若しくはリムーバブルメディア１１８より録画データを取り込み、再生部１０３で再生を行いながら特徴抽出部１０４で特徴抽出することも可能である。
【００１７】
特徴抽出されたデータは特徴抽出データ１１０となる。特徴抽出データ１１０は、映像、音声、字幕などの複数のデータである。これら複数のデータを合成部１０５で合成し、合成データ１１１となる。次に、正規化部１０６で正規化を行い、正規化するために用いる正規化係数として、正規化係数算出部１１５で算出した値を使用する。
【００１８】
正規化係数は、特徴抽出データ及び特徴抽出データの来歴１１４のデータを用いて、正規化係数算出部１１５にて算出される。ハイライトシーン判定部１０７で、特徴抽出データ１１０をバッファリングし、ハイライトシーンの判別をハイライトシーン判定部１０７にて行った後、ハイライトデータ１１３のみ抽出し、ハイライトシーン録画データとしてＨＤＤ等の補助記憶装置１１６に記憶する。
【００１９】
ＯＤＤ(光ディスク装置)１０９に保存する場合は、オーサリング部１０８で最適な記録方式に合わせて整形するオーサリング処理を施し、ＯＤＤ(光ディスク装置)１０９に記憶する。なお、ＯＤＤ(光ディスク装置)１０９はＭＤやＣＤ、ＤＶＤやＢｌｕ−ｒａｙディスク、ＨＤＤ−ＤＶＤ以外にも、ＳＤカード、メモリースティック、ＸＤピクチャカードなどのリムーバブルメディアにも適用することができる。
【００２０】
図２を用いて、放送データから正規化特徴量の閾値が６０％以上のハイライトシーンを抽出する場合のダイジェスト録画方法を説明する。
【００２１】
２０１は、特徴抽出、合成、正規化中の放送データ。２０２は正規化特徴量の閾値で、ここでは６０％、２０３は正規化特徴量１００％を示す。２０４はハイライトシーン解析済の正規化特徴量で、２０５、２０６はハイライトシーンである。２０７は、ハイライトシーン２０５と２０６を連結させたダイジェストである。
【００２２】
放送データ２０１をバッファに溜め、解析をしながらハイライトシーン２０５及び２０６を抜き出す過程を説明する。図２における横軸はコンテンツの通常再生経過時間、縦軸はコンテンツの一つまたは複数の時系列特徴抽出ヒストグラムを合成・正規化した値、すなわち正規化データ１１２である。
【００２３】
まず放送データ２０１をバッファに溜め、特徴抽出部１０４で特徴抽出、合成部１０５で合成、正規化部１０６で正規化を行い、正規化特徴抽出データ２０４を作成する。正規化部１０６では、過去の特徴抽出データ及び（特徴抽出）合成データ来歴１１４より正規化係数算出部１１５にて正規化係数の算出を行い、この値を掛け合わせて算出される。よって、正規化部１０６の結果にもかかわらず、１００％以上の値になることもあるが問題はない。次に、解析済の正規化特徴量２０４から閾値２０２以上のデータを特定・抽出し、これをそれぞれハイライトシーン２０５、２０６とする。ハイライトシーンが複数ある場合は、連結して、ダイジェスト２０７とする。
【００２４】
図３を用いて、ハイライトシーンの判別を行いながら、同時にダイジェスト録画を行う方法を説明する。３０１は初段リングバッファの読み出しポイント、３０２は初段リングバッファの書き込みポイント、３０３はハイライトシーンa、３０４はハイライトシーンｂ、３０５はハイライトシーンｃである。３０６はハイライトシーンａ、３０７は最終段リングバッファの読み出しポイント、３０８はハイライトシーンｂ、３０９はこれからバッファに蓄積されるハイライトシーンc、３１０は最終段リングバッファの書き込みポイントである。
【００２５】
３１１は放送データを一時的に蓄積する初段リングバッファ、３１２は、ハイライトシーンと判定され抽出されたデータのみを連結して一時的に蓄える最終段リングバッファである。
【００２６】
コンテンツデータはサイズが大きいので、コンテンツデータを主記憶領域に一時的に蓄積して処理を行うリングバッファを用いる。一方、特徴抽出部１０４・合成部１０５・正規化部１０６・ハイライトシーン判定部１０７にて、コンテンツデータを処理して得られる特徴抽出データ１１０・合成データ１１１・正規化データ１１２は、データサイズが小さいので、主記憶領域にコンテンツ全域分のデータが保持できる。特徴抽出部１０４・合成部１０５・正規化部１０６・ハイライトシーン判定部１０７の処理は、一つのハイライトシーン抽出タスクとして実装する。
【００２７】
図３の状態は、コンテンツデータを初段リングバッファ３１１に蓄積し、ハイライトシーン判定部１０７にて解析した後、ハイライトシーンa３０３、ハイライトシーンb３０４が最終段リングバッファ３１２にすでに蓄積され、ハイライトシーンc３０５をバッファに書き込む直前の状態である。ここで、読出しポイント３０１及び３０７、書き込みポイント３０２及び３１０は時計回りに動き、読出しポイント３０１及び３０７は書き込みポイント３０２及び３１０を追い抜かさないように実装する。
【００２８】
まずコンテンツデータは、再生部１０３から読み出し、初段リングバッファの書き込みポイント３０２でバッファに蓄積され、初段リングバッファの読出しポイント３０１から読み出される。その後、ハイライトシーン判定部１０７内でハイライトシーンの解析・、抽出・連結がおこなわれ、最終段リングバッファの書き込みポイント３１０からハイライトシーン３０３、３０４、３０５のみを蓄える。
【００２９】
その後、最終段リングバッファの読出しポイント３０７から、連結されたハイライトシーン３０６、３０７、３０８をオーサリング部１０８がダイジェストとして読み出す。読み出されたダイジェストは、オーサリング部１０８によりHDDなどの補助記憶装置１１６及びODD(光ディスク装置)１０９に蓄積される。
【００３０】
図４を用いて、過去に録画した全ての特徴抽出データの最大・最小値から正規化係数を求める方法を説明する。４０１はＮ番目(一番最近録画したデータの番号)の特徴抽出データ、４０２は３番目(古い録画データから三番目のデータ)の特徴抽出データ、４０３は１番目からＮ番目の全ての特徴抽出データの最大値を表している。４０４は２番目の特徴抽出データ、４０５は１番目の特徴抽出データ、４０６はＮ番目を表し、自４０７〜至４１０はジャンルＡ、Ｂ、Ｃを表す。
【００３１】
４１１は自１番目〜至Ｎ番目の全ての特徴抽出データの最小値を表している。４１２は３番目を表し、４１３は２番目を表し、４１４は１番目を表す。４１５は、自１番目〜至Ｎ番目の全ての特徴抽出データの最大値であり、４１６は自１番目〜至Ｎ番目の全ての特徴抽出データの最小値である。
【００３２】
例えばＡは歌番組、Ｂはドラマ、Ｃはバラエティであるとする。これらのジャンルで分類せず、自＃１〜至＃N全ての特徴抽出データの最大値４１５及び自１番目〜至Ｎ番目の全ての特徴抽出データの最小値４１６より正規化を行い、０％〜１００％の範囲に収める。正規化するにあたり掛け合わせた係数を、正規化係数とする。この過去の録画データより算出した正規化係数を用いて、新規に録画する放送番組のハイライトシーン抽出を行う。Ａ、Ｂ、Ｃ…の分類分けは、ジャンルに限らず、放送局で分類することも可能である。また、連続ドラマの場合など番組毎、出演者毎に分類することも可能である。
【００３３】
図５を用いて、ジャンルごとに正規化係数を求める方法を説明する。５０１は１番目と３番目の特徴抽出データの最大値を表し、５０２は１番目の特徴抽出データ、５０３は３番目の特徴抽出データ、５０４は、１番目と３番目の特徴抽出データの最小値を表し、５０５は３番目、５０６は１番目の録画番組であることを示す。１番目と３番目のデータは、共に同じジャンルＡの特徴抽出データである。５０７は１番目の特徴抽出データ５０２と３番目の特徴抽出データ５０３の最大値であり、５０８は１番目の特徴抽出データ５０２と３番目の特徴抽出データ５０３の最小値である。
【００３４】
例えば、ある歌番組の録画を行いながらハイライトシーンのみ録画することとする。この場合、特徴抽出データを合成し、正規化する際に必要となる正規化係数を、全録画データから歌番組のジャンルである１番目の録画データ５０２と、３番目の録画データ５０３を元に、正規化係数を算出する。具体的には、１番目と３番目の特徴抽出データの最大値５０７の縦軸の値を１００％とし、１番目と３番目の特徴抽出データの最小値５０８の縦軸の値を０％とし、正規化係数を算出する。ジャンルの分類方法は、各録画データのメタデータより判別する。
【００３５】
図６を用いて、最新の録画データからＭ番目の特徴抽出データより正規化係数を求める方法を説明する。
【００３６】
６０１はＮ番目(最新)からＮ−Ｍ番目までの録画データの特徴抽出データの最大値である。６０２はＮ番目の録画の特徴抽出データであり、最新の録画番組である。６０３はＮ−１番目の録画の特徴抽出データ、６０４はＮ−Ｍ番目の録画の特徴抽出データであり、６０５は全Ｍ＋１個の録画番組の中で、Ｎ番目(最新)からＮ−Ｍ番目の録画データの特徴抽出データの最小値である。
【００３７】
６０６はＮ番目を表し、６０７はＮ−１番目を表し、６０８はＮ−Ｍ番目を表す。６０９は、Ｎ番目(最新)からＮ−Ｍ番目までの録画データの特徴抽出データの最大値であり、６１０は、Ｎ番目(最新)からＮ−Ｍ番目までの録画データの特徴抽出データの最小値である。
【００３８】
図６は、Ｎ個の録画番組の最新(Ｎ番目)６０２からＭ番目６０４までを表している。例えば、全部で３０個(＃Ｎ＝３０)の録画データが存在するとし、その中で最新の録画番組６０２からＭ＝１０個の録画番組の特徴抽出データから正規化係数を算出し、ある番組のハイライトシーンのみを録画するとする。正規化係数は、１１個の録画番組全ての特徴抽出データの最大値６０１を１００％、最小値６０５を０％とし、正規化係数算出部１１５において正規化係数を算出する。
【００３９】
図７を用いて、予め録画可能容量が決まっている場合、録画中のデータを補助記憶装置１１６に記憶せず、そのままダイジェスト録画をする方法を説明する。
【００４０】
７０１は現在解析中(特徴抽出、合成、正規化処理を含む)のデータ、７０２は、録画データ解析後の閾値予想ライン、７０３は閾値１００％のライン、７０４は解析済の正規化特徴抽出データ、７０５は閾値である。７０６と７０７、７０８、７０９はそれぞれ解析済みの正規化特徴抽出データ７０４から抜き出したハイライトシーン、１０９は予め録画可能容量が決まっている記憶媒体、７１１は記憶可能な容量が残り少ないと検知した所、７１２はハイライトシーン自７０６〜至７０９を連結させたダイジェストである。
【００４１】
初期値は、過去の履歴を元に正規化係数を算出し決定する、若しくは、初めから閾値を決めておくとする。例えば、閾値７０５以上のハイライトシーンを抽出し、尚且つ、予め録画記憶容量の限られている記憶媒体７１０(ＤＶＤなど)に直接保存したい場合を考える。
【００４２】
閾値７０５の初期値を５０％と指定したとすると、５０％の時点で閾値７０５よりも正規化特徴抽出データ７０４の方が大きいため、閾値７０５を上げる。しかし、正規化特徴抽出データ７０４の値が小さくなると、閾値７０５を下げる。記憶可能な容量が残り少ないと検知した所７１１の時点で記憶可能領域が少なくなったことを検知すると、閾値７０５を上げていく。複数のハイライトシーン自７０６〜至７０９は連結し、一つのダイジェスト７１２にする。こうすることで、閾値７０５以上のハイライトシーン自７０６〜至７０９を抽出しつつ、且つ記憶容量の限られた媒体にダイジェスト７１２として直接記憶することが可能となる。
【産業上の利用可能性】
【００４３】
本発明は、オーディオビデオデータのダイジェスト再生機能を有する録画装置に関するものである。
【図面の簡単な説明】
【００４４】
【図１】本発明における信号処理装置のハードウェア及びソフトウェア構成の一例
【図２】閾値を６０％と指定した時のハイライトシーン抽出録画方法
【図３】録画時にハイライトシーンを抽出し、ダイジェスト録画を行う方法を示したリングバッファ図
【図４】過去に録画した全ての特徴抽出データの最大・最小値から正規化係数を求める方法
【図５】ジャンルごとに正規化係数を求める方法
【図６】最新の録画データからＭ番目の特徴抽出データより正規化係数を求める方法
【図７】ディスクの空き容量に収まるように閾値を変化させながらハイライトシーンを抽出していく方法
【符号の説明】
【００４５】
１０１…放送信号受信部、１０２…チューナ、１０３…再生部、１０４…特徴抽出部、１０５…合成部、１０６…正規化部、１０７…ハイライトシーン判定部１０８…オーサリング部、１０９…ＯＤＤ(光ディスク装置)、１１０…特徴抽出データ、１１１…合成データ、
１１２…正規化データ、１１３…ハイライトデータ、１１４…特徴抽出データ(特徴抽出)合成データ来歴、１１５…正規化係数算出、１１６…補助記憶装置、１１７…ネットワーク、１１８…リムーバブルメディア、２０１…解析中の録画データ、２０２…閾値６０％のライン、２０３…正規化特徴量１００％のライン、２０４…解析済みの正規化特徴抽出データ、２０５…正規化特徴量１００％のラインを超えた部分、２０６…ハイライトシーン１、２０７…ハイライトシーン２、２０８…ハイライトシーン１と２を連結したハイライトシーンデータ、３０１…初段リングバッファの読み出しポイント、３０２…初段リングバッファの書き込みポイント、３０３…ハイライトシーンa、３０４…ハイライトシーンｂ、３０５…ハイライトシーンc、３０６…ハイライトシーンa、３０７…最終段リングバッファの読み出しポイント、３０８…ハイライトシーンb、３０９…これからバッファに蓄積されるハイライトシーンc、３１０…最終段リングバッファの書き込みポイント、３１１…初段リングバッファ、３１２…最終段リングバッファ、４０１…Ｎ番目の特徴抽出データ、４０２…３番目の特徴抽出データ、４０３…正規化特徴量１００％のライン、４０４…２番目の特徴抽出データ、４０５…１番目の特徴抽出データ、４０６…Ｎ番目、４０７…ジャンルＣ、４０８…ジャンルＡ、４０９…ジャンルＢ、４１０…ジャンルＡ、４１１…正規化特徴量０％のライン、４１２…３番目、４１３…２番目、４１４…１番目、５０１…正規化特徴量１００％のライン、５０２…１番目の特徴抽出データ、５０３…３番目の特徴抽出データ、５０４…正規化特徴量０％のライン、５０５…３番目、５０６…１番目、６０１…正規化特徴量１００％のライン、６０２…Ｎ番目の特徴抽出データ、６０３…Ｎ−１番目の特徴抽出データ、
６０４…Ｎ−Ｍ番目の特徴抽出データ、６０５…正規化特徴量０％のライン、６０６…Ｎ番目、６０７…Ｎ−１番目、６０８…Ｎ−Ｍ番目、７０１…現在解析中(特徴抽出、合成、正規化処理を含む)のデータ、７０２…録画データ解析後の閾値予想ライン(録画データによっては、変化することもある)、７０３…閾値１００％のライン、７０４…解析済の正規化特徴抽出データ、７０５…閾値、７０６…解析済みの正規化特徴抽出データから抜き出したハイライトシーン、７０７…解析済みの正規化特徴抽出データから抜き出したハイライトシーン、７０８…解析済みの正規化特徴抽出データから抜き出したハイライトシーン、７０９…解析済みの正規化特徴抽出データから抜き出したハイライトシーン、７１０…予め録画可能容量が決まっている記憶媒体、７１１…記憶可能な容量が残り少ないと検知した所、７１２…ハイライトシーン自７０６〜至７０９を連結させたダイジェスト
【図１】
2009100141.tif 000003
【図２】
2009100141.tif 000004
【図３】
2009100141.tif 000005
【図４】
2009100141.tif 000006
【図５】
2009100141.tif 000007
【図６】
2009100141.tif 000008
【図７】
2009100141.tif 000009