【手続補正書】
【提出日】平成20年7月4日(2008.7.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
各々異なる複数の基準に基づいて、入力データに含まれる音声信号から、前記入力データの第１の楽曲区間を検出する第１の楽曲区間検出ステップと、
前記入力データの映像信号の変化に基づくシーンチェンジ、および／または前記音声信号のエネルギーが所定値以下となる個所に基づいて、前記入力データの変化点を検出する変化点検出ステップと、
検出された前記入力データの変化点に基づいて、前記第１の楽曲区間の始点、および／または終点を変更することで第２の楽曲区間を検出する第２の楽曲区間検出ステップとを備える楽曲区間検出方法。
【請求項２】
前記第２の楽曲区間検出ステップでは、前記入力データの変化点のうち、
前記第１の楽曲区間の始点または終点から所定の時間幅の中にある変化点を用いることを特徴とする請求項１に記載の楽曲区間検出方法。
【請求項３】
前記各々異なる複数の基準の一は、人間の主観に基づいて予め定めた音声クラスモデルであることを特徴とする請求項１に記載の楽曲区間検出方法。
【請求項４】
前記各々異なる複数の基準の一は、左右音声チャンネルの差異量であることを特徴とする請求項１に記載の楽曲区間検出方法。
【請求項５】
各々異なる複数の基準に基づいて、入力データに含まれる音声信号から、前記入力データの第１の楽曲区間を検出する第１の楽曲区間検出部と、
前記入力データの映像信号の変化に基づくシーンチェンジ、および／または前記音声信号のエネルギーが所定値以下となる個所に基づいて、前記入力データの変化点を検出する変化点検出部と、
検出された前記入力データの変化点に基づいて、前記第１の楽曲区間の始点、および／または終点を変更することで第２の楽曲区間を検出する第２の楽曲区間検出部とを備える楽曲区間検出装置。
【請求項６】
前記第２の楽曲区間検出部では、前記入力データの変化点のうち、
前記第１の楽曲区間の始点または終点から所定の時間幅の中にある変化点を用いることを特徴とする請求項５に記載の楽曲区間検出装置。
【請求項７】
前記各々異なる複数の基準の一は、人間の主観に基づいて予め定めた音声クラスモデルであることを特徴とする請求項５に記載の楽曲区間検出装置。
【請求項８】
前記各々異なる複数の基準の一は、左右音声チャンネルの差異量であることを特徴とする請求項５に記載の楽曲区間検出装置。
【請求項９】
請求項１から４のいずれか１項に記載の楽曲区間検出方法により検出された楽曲区間を含むデータを記録するデータ記録ステップを備え、
前記データ記録ステップは、前記楽曲区間の時間情報を記録するデータ記録方法。
【請求項１０】
請求項５から８のいずれか１項に記載の楽曲区間検出装置により検出された楽曲区間を含むデータを記録するデータ記録部を備え、
前記データ記録部は、前記楽曲区間の時間情報を記録するデータ記録装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明に係わる楽曲区間検出方法は、
各々異なる複数の基準に基づいて、入力データに含まれる音声信号から、入力データの第１の楽曲区間を検出する第１の楽曲区間検出ステップと、
入力データの映像信号の変化に基づくシーンチェンジ、および／または音声信号のエネルギーが所定値以下となる個所に基づいて、入力データの変化点を検出する変化点検出ステップと、
検出された入力データの変化点に基づいて、第１の楽曲区間の始点、および／または終点を変更することで第２の楽曲区間を検出する第２の楽曲区間検出ステップと
を備えることとしたものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の楽曲区間検出方法によれば、音声信号に対して各々異なる複数の基準に基づいて第１の楽曲区間を検出し、入力データの変化点に基づいて、第１の楽曲区間の始点、および／または終点を変更することで第２の楽曲区間を検出するので、楽曲シーンの開始や終了のシーンを精度よく検出でき、視聴者にとって違和感のない楽曲シーンを提供することが可能となる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
マルチプレクサ８では、映像データと音声データとを多重化してマルチメディアデータを生成する。その後、書き込みバッファメモリ９でマルチメディアデータを逐次取り込んだ後に書き込みドライブ２に送出し、ＤＶＤ−ＲやＤＶＤ−ＲＷディスクあるいは記録型Ｂｌｕ−ｒａｙ  Ｄｉｓｃなどのリムーバブルな蓄積メディア１に記録（一連の処理は「録画」とも言われる。）が行われる。映像音声記録装置２０００および書き込みドライブ２の動作は、マイクロプロセッサなどから構成する記録制御部１９によって統括的に管理して制御されている。なお蓄積メディア１と書き込みドライブ２は、ハードディスクドライブ（ＨＤＤ）などのリムーバブルではない蓄積メディアに置き換わっても構わない。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
第二の楽曲検出部１７で検出された楽曲区間は、メタデータ生成部１８にてメタデータファイルに生成されて、書き込みバッファメモリ９を介して蓄積メディア１に記録される（ＳＴ１３）。なお、メタデータ生成部１８は、逐次算出されて決定する楽曲区間の楽曲情報を保持するメモリ機能を有している。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
なお、映像音声記録装置２０００の記録部の概念としては、書き込みドライブ２のみを含めてもよいし、マルチプレクサ８、メタデータ生成部１８、書き込みバッファメモリ９、記録制御部１９を含めてもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
さて、ビデオデコーダ７１から出力されたＹＵＶ２５６階調で表現された映像データはヒストグラム生成器７２に入力される。ヒストグラム生成器７２では、Ｙ、Ｕ、Ｖ各２５６階調で表現されるヒストグラムを下記の形式で表す。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
次に、図９、１０を用いて、検出された楽曲区間の楽曲情報をメタデータ生成部１８にてメタデータファイルに生成する方法を説明する。図９は、本実施の形態１の映像音声記録装置のファイル構成図である。すなわち、図９は、蓄積メディア１の論理ファイル構造を示したものであり、論理的に階層構造を成すディレクトリ構造の最上位階層にルートディレクトリ９０が配置され、そのルートディレクトリ９０の下位層に、マルチメディアディレクトリ９１、およびメタデータディレクトリ９２が配置されている。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
実施の形態３．
本実施の形態３では、テレビジョン放送がデジタル放送であった場合について説明する。図１５は、本実施の形態３の映像音声記録装置２００２を示すシステムブロック図である。テレビジョン放送が地上波デジタル放送やＢＳデジタル、ＣＳデジタル放送などのデジタル放送の場合、装置に入力される信号は映像データと音声データが重畳して符号化圧縮されている。したがって、デマルチプレクサ３０１によってデジタル放送信号３００を映像データ３０２と音声データ３０３に分離する。分離された映像データ３０２はシーンチェンジ検出部１４で解析される。また、分離された音声データ３０３に対しては第一の楽曲候補区間検出部１０および第二の楽曲候補区間検出部１１において、楽曲候補区間の検出が行なわれる。デジタル放送信号３００はすでにデジタルデータとなっているため、書き込みバッファメモリ９を介して書き込みドライブ２によって蓄積メディア１に記録される。これ以外の部分は実施の形態１と同じであるため、ここでは説明を省略する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１２２
【補正方法】変更
【補正の内容】
【０１２２】
１  蓄積メディア、    ２  書き込みドライブ、    ３  映像信号、    ４  音声信号、    ５  ビデオエンコーダ、    ６  Ａ／Ｄコンバータ、    ７  オーディオエンコーダ、    ８  マルチプレクサ、    ９  書き込みバッファメモリ、    １０  第一の楽曲候補区間検出部、    １１  第二の楽曲候補区間検出部、    １２  第一の補正部、    １３  第二の補正部、    １４  シーンチェンジ検出部、    １５  楽曲区間検出部、    １６  第一の楽曲区間検出部、    １７  第二の楽曲区間検出部、    １８  メタデータ生成部、    １９  記録制御部、    ２０  直交変換処理部、    ２１  尤度比較処理部、    ２２  モデルデータ、    ２３  エネルギー算出処理部、    ２４  変化点判定部、    ３０  差分演算処理部、    ４０  時間経過（横軸）、    ４１  差異量（縦軸）、    ４２  差異量、    ４３  閾値、    ４４  ラベル軸、    ４５  ラベル、    ４６ａ、４６ｂ、４６ｃ  楽曲候補区間、    ４７  補正処理後のラベル、    ４８  補正処理後の楽曲候補区間、    ５０  補正処理後のラベル、    ５１ａ、５１ｂ、５１ｃ  補正処理後の楽曲候補区間、    ５２  補正処理後のラベル、    ５３ａ、５３ｂ、５３ｃ、５３ｄ  補正処理後の楽曲候補区間、    ５４  検出処理後のラベル、    ５５ａ、５５ｂ、５５ｃ、５５ｄ  楽曲区間、    ６０  検出処理後のラベル、    ６１ａ、６１ｂ、６１ｃ  第一の楽曲区間、    ７１  ビデオデコーダ、    ７２  ヒストグラム生成器、    ７３  ヒストグラムバッファＡ、    ７４  ヒストグラムバッファＢ、    ７５  差異判定部、    ８０  音声レベル検出部、    ８５  シーンチェンジのラベル、    ８６  シーンチェンジの有無（縦軸）、    ８７  会話の区切り目のラベル、    ８８  会話の区切りの有無（縦軸）、    ９０  ルートディレクトリ、    ９１  マルチメディアディレクトリ、    ９２  メタデータディレクトリ、    ９３  情報管理ファイル、    ９４  マルチメディアデータファイル、    ９５  バックアップファイル、    ９６  メタデータファイル、    １００  検出処理後のラベル、    １０１ａ、１０１ｂ、１０１ｃ  第二の楽曲区間、    １１０  検出処理後のラベル、    １１１ａ、１１１ｂ、１１１ｃ  第二の楽曲区間、    １３０  メタデータ、    １３１ａ  メタデータ管理情報、    １３１ｂ  番組メタデータ情報サーチポインタ、    １３１ｃ  番組メタデータ情報、    １３２ａ  メタデータ一般情報、    １３２ｂ  楽曲マップ情報、    １３３ａ  楽曲マップ一般情報、    １３３ｂ  楽曲エントリ、    １３４ａ  楽曲開始時刻情報、    １３４ｂ  楽曲終了時刻情報、    ３００  デジタル信号、    ３０１  デマルチプレクサ、    ３０２  映像データ、    ３０３  音声データ、    ３１０  読込／書込ドライブ、    ４００  差異量のグラフ、    ４０５  ラベルのグラフ、    ４０７  補正処理後のラベルのグラフ、    ５００  補正処理後のラベルのグラフ、    ５０２  補正処理後のラベルのグラフ、    ５０４  検出処理後のラベルのグラフ、    ６００  検出処理後のラベルのグラフ、    ７００  シーンチェンジのラベルのグラフ、    ８００  会話の区切りのラベルのグラフ、    １０００  検出処理後のラベルのグラフ、    １１００  検出処理後のラベルのグラフ。
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
2007306327.tif 000001