(57)【要約】映像音声記録装置は、それぞれ映像音声放送されて入力された音声信号または映像信号を符号化する音声符号化部１０１および映像符号化部１０２と、符号化された音声信号と映像信号とを多重化する符号多重化部１０３を備えている。音声符号化部１０１は、符号化前の音声信号に基づいて、無音部であることや、音声信号の振幅レベル、周波数分布などの特徴量の抽出をする。抽出結果は、符号化によって生成されるパケットのヘッダにおける固定値領域に埋め込まれる。そこで、映像音声信号から抽出された特徴量等と映像音声信号との対応付けのための情報や処理を要することなく両者の対応関係を容易にとることができる。【特許請求の範囲】
【請求項１】
映像信号および音声信号の少なくとも一方を符号化し、ヘッダを有する符号化信号を生成する符号化手段と、
上記符号化信号を記録媒体に記録する記録手段と、
上記映像信号または音声信号における所定の特徴状態、または特徴量を抽出する特徴抽出手段と、
符号化信号のヘッダにおける、複数の符号化信号で同じ値が設定される固定値領域に、上記特徴抽出手段の抽出結果を設定する抽出結果設定手段と、
を備えたことを特徴とする記録装置。
【請求項２】
請求項１の記録装置であって、
上記特徴抽出手段は、上記音声信号における、無音状態、振幅、および周波数分布のうちの少なくとも１つを抽出するように構成されていることを特徴とする記録装置。
【請求項３】
請求項１の記録装置であって、
上記特徴抽出手段は、上記映像信号における、振幅、および周波数分布のうちの少なくとも１つを抽出するように構成されていることを特徴とする記録装置。
【請求項４】
請求項１の記録装置であって、
上記特徴抽出手段は、映像信号または音声信号を符号化するための演算の結果を用いて、上記抽出を行うように構成されていることを特徴とする記録装置。
【請求項５】
請求項１の記録装置であって、
上記特徴抽出手段による抽出が行われた後に、上記符号化が行われるように構成されていることを特徴とする記録装置。
【請求項６】
請求項５の記録装置であって、
さらに、バッファ記憶部を有し、
上記符号化手段、および特徴抽出手段は、上記バッファの保持内容に基づいて、上記符号化または抽出を行うとともに、
上記符号化手段は、生成された符号化信号を上記バッファに保持させるように構成されていることを特徴とする記録装置。
【請求項７】
請求項１の記録装置であって、さらに、
上記ヘッダの固定値領域に抽出結果が設定された符号化信号を、元の固定値が設定された符号化信号に復元する固定値復元手段を備えたことを特徴とする記録装置。
【請求項８】
請求項７の記録装置であって、
上記記録手段は、上記固定値復元手段によって復元された符号化信号を上記記録媒体に記録するように構成されていることを特徴とする記録装置。
【請求項９】
請求項７の記録装置であって、
上記記録手段は、上記ヘッダの固定値領域に抽出結果が設定された符号化信号を上記記録媒体に記録する一方、
上記固定値復元手段は、上記記録媒体から再生される符号化信号に対して、上記復元を行うように構成されていることを特徴とする記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、映像信号や音声信号を符号化して磁気ディスクや光ディスクなどに保存するハードディスクレコーダやＤＶＤレコーダなどの映像音声記録装置等に関し、特に、例えば、コマーシャルメッセージ（ＣＭ）放送の判別や要約再生などのために用いられる、音声の特徴量を抽出する機能等を有する装置に関するものである。
【背景技術】
【０００２】  従来の映像音声記録装置には、例えば、放送された映像音声信号などに対する自動ＣＭ検出を行うために、無音状態等を検出する手法を用いたものが知られている（例えば、特許文献１参照。）。【０００３】  また、近年では、映像音声信号をディジタル化してハードディスクなどの記憶装置に記録する記録装置が用いられつつある。これらの記録装置では、記憶装置の大容量化により、映像音声放送等を大量に録画できるようになってきたが、非圧縮の映像音声信号を記録していくのは非効率的であるため、通常、映像音声信号をＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）２などの圧縮手段を用いて符号化して記録している。再生時には、それが伸張されて再生される。【０００４】  この種の装置では、映像音声放送を大量に録画できるようになってきたため、一層、必要なシーンのみを視聴できるようにすることが望まれている。すなわち、自動ＣＭ検出、除去などの必要性が一層高まっているうえ、ハイライトシーン検出機能などもより重要となっている。これらの機能を実現するには、映像音声信号の内容を解析する必要がある。【０００５】  上記のように映像音声信号を符号化して記録するとともに、ＣＭの検出等を行う装置としては、符号化部とは独立して設けられたＣＭ検出部などを有し、符号化されてメモリに保持された音声信号に基づいてＣＭを検出する装置が知られている（例えば、特許文献２参照。）。
【特許文献１】特開平８−３１７３４２号公報
【特許文献２】特開２００２−２４７５１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】  しかしながら、上記のように符号化部とは独立して設けられたＣＭ検出部などによってＣＭの検出などをする場合、自動ＣＭ除去などの処理を行うためには、検出結果が映像音声信号のどの部分に対応するものなのかの対応関係をとることが困難である。すなわち、符号化部で符号化された映像音声信号と、抽出された特徴量等とで、どの時刻の映像音声信号と一致するものであるか、同期を取ることや対応付けが困難である。それゆえ、対応関係を示す情報を記憶するようにしたり、その情報を用いた対応付け処理が行われるようにしたりするために、回路やマイクロコードなどが複雑化し、回路規模の増大等を招くという問題点を有していた。【０００７】  本発明は、上記の点に鑑み、映像信号や音声信号から抽出された特徴量等と映像音声信号等との対応関係を容易にとることができ、しかも、対応付けのための情報や処理を低減または不要にして、回路規模の低減等も容易に図り得るようにすることを目的としている。
【課題を解決するための手段】
【０００８】  上記の課題を解決するため、本発明の実施形態の第１の装置は、
映像信号および音声信号の少なくとも一方を符号化し、ヘッダを有する符号化信号を生成する符号化手段と、
上記符号化信号を記録媒体に記録する記録手段と、
上記映像信号または音声信号における所定の特徴状態、または特徴量を抽出する特徴抽出手段と、
符号化信号のヘッダにおける、複数の符号化信号で同じ値が設定される固定値領域に、上記特徴抽出手段の抽出結果を設定する抽出結果設定手段と、
を備えたことを特徴とする。【０００９】  また、本発明の実施形態の第２の装置は、
第１の記録装置であって、
上記特徴抽出手段は、上記音声信号における、無音状態、振幅、および周波数分布のうちの少なくとも１つを抽出するように構成されていることを特徴とする。【００１０】  また、本発明の実施形態の第３の装置は、
第１の記録装置であって、
上記特徴抽出手段は、上記映像信号における、振幅、および周波数分布のうちの少なくとも１つを抽出するように構成されていることを特徴とする。【００１１】  これらにより、映像信号や音声信号から抽出された特徴量等が、ヘッダの固定値領域に設定され、映像音声信号等と対応づけられる。また、固定値領域に設定されていたデータは、上記特徴量等によって上書きされたとしても、複数のヘッダについて共通の値なので、容易に復元することができる。【００１２】  また、本発明の実施形態の第４の装置は、
第１の記録装置であって、
上記特徴抽出手段は、映像信号または音声信号を符号化するための演算の結果を用いて、上記抽出を行うように構成されていることを特徴とする。【００１３】  これにより、特徴抽出手段と符号化手段との回路やプログラムコードの共通化を容易に図ることができる。【００１４】  また、本発明の実施形態の第５の装置は、
第１の記録装置であって、
上記特徴抽出手段による抽出が行われた後に、上記符号化が行われるように構成されていることを特徴とする。【００１５】  また、本発明の実施形態の第６の装置は、
第５の記録装置であって、
さらに、バッファ記憶部を有し、
上記符号化手段、および特徴抽出手段は、上記バッファの保持内容に基づいて、上記符号化または抽出を行うとともに、
上記符号化手段は、生成された符号化信号を上記バッファに保持させるように構成されていることを特徴とする。【００１６】  これにより、符号化前のバッファの保持内容が符号化によって書き換えられる場合でも、特徴抽出手段による抽出が適切に行われる。【００１７】  また、本発明の実施形態の第７の装置は、
第１の記録装置であって、さらに、
上記ヘッダの固定値領域に抽出結果が設定された符号化信号を、元の固定値が設定された符号化信号に復元する固定値復元手段を備えたことを特徴とする。【００１８】  また、本発明の実施形態の第８の装置は、
第７の記録装置であって、
上記記録手段は、上記固定値復元手段によって復元された符号化信号を上記記録媒体に記録するように構成されていることを特徴とする。【００１９】  これにより、特徴抽出が行われない装置との互換性などを容易に図ることができる。【００２０】  また、本発明の実施形態の第９の装置は、
第７の記録装置であって、
上記記録手段は、上記ヘッダの固定値領域に抽出結果が設定された符号化信号を上記記録媒体に記録する一方、
上記固定値復元手段は、上記記録媒体から再生される符号化信号に対して、上記復元を行うように構成されていることを特徴とする。【００２１】  これにより、特徴抽出が行われない装置との互換性などを容易に図ることができるとともに、記録媒体に必要な記憶容量を低減することも容易にできる。
【発明の効果】
【００２２】  本発明によれば、映像音声信号から抽出された特徴量等と映像音声信号との対応関係を容易にとることができ、しかも、対応付けのための情報や処理を低減または不要にして、回路規模の低減等も容易に図ることができる。
【図面の簡単な説明】
【００２３】
【図１】図１は、本発明の実施形態の映像音声記録装置の要部の構成を示すブロック図である。
【図２】図２は、同、音声符号化部１０１の具体的な構成を示すブロック図である。
【図３】図３は、同、音声符号化部１０１の動作の例を示すフローチャートである。
【図４】図４は、ハードディスクへの記憶内容等の例を示す説明図である。
【符号の説明】
【００２４】  １０１    音声符号化部
１０１ａ  ワークメモリ
１０１ｂ  特徴抽出部
１０１ｃ  符号化処理部
１０２    映像符号化部
１０３    符号多重化部
【発明を実施するための最良の形態】
【００２５】  以下、本発明の実施形態を図面に基づいて詳細に説明する。【００２６】  本発明の実施形態の映像音声記録装置は、図１に示すように、例えばそれぞれ映像音声放送されて入力された音声信号または映像信号を符号化する音声符号化部１０１および映像符号化部１０２と、符号化された音声信号と映像信号とを多重化する符号多重化部１０３を備えて構成されている。このような映像音声記録装置は、特に限定されないが、例えば、画像信号を符号化してハードディスクに保存するハードディスクレコーダや、ハードディスクレコーダ内蔵電気機器、ハードディスクレコーダ内蔵テレビジョン装置、ハードディスクレコーダ内蔵ビデオレコーダ、ハードディスクレコーダ内蔵ＤＶＤプレーヤなどに用いられ、これらの装置用の半導体集積回路の一部などとして形成される。【００２７】  上記音声符号化部１０１には、例えば図２に示すように、ワークメモリ１０１ａ、特徴抽出部１０１ｂ、および符号化処理部１０１ｃが設けられている。【００２８】  上記ワークメモリ１０１ａは、符号化前後の音声信号を保持するようになっている。なお、符号化前後でワークメモリ１０１ａが兼用されることによって、回路や入力信号線数を少なく抑えることができ、回路規模の低減が容易になるが、これに限るものではない。【００２９】  特徴抽出部１０１ｂは、例えばワークメモリ１０１ａに保持された符号化前の音声信号に基づいて、無音部であることや、音声信号の振幅レベル、周波数分布などの特徴量の抽出をするようになっている。抽出結果は、後に詳述するように、符号化によって生成されるパケットのヘッダにおける固定値領域に埋め込まれる。【００３０】  また、符号化処理部１０１ｃは、例えばＭＰＥＧ２などの方式で符号化処理を行い、ヘッダを含むパケットを生成するようになっている。具体的には、例えばＰＥＳヘッダを含むＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）のパケットが生成される。【００３１】  上記特徴抽出部１０１ｂは、具体的には、例えば符号化処理部１０１ｃが、マイクロコードなどを用いたソフトウェア処理によって音声符号化処理を行うように構成されている場合には、特に特徴抽出用の回路を設けることなく、ソフトウェアのコードを設けるのみで容易に実現することができる。ただし、これに限定されず、ソフトウェア処理のみで無音検出処理や特徴量抽出処理を実現できない場合などには、無音検出処理等の一部または全部がハードウェアによって行われるようにしてもよい。【００３２】  上記のように構成された映像音声記録装置では、図３に示すようにして無音部や特徴量の抽出が行われる。ここで、通常は符号化後のデータ量よりも符号化前のデータ量の方が多いが、図３では説明の便宜上、同じデータ量として描いている。【００３３】  （Ｓ１０１）音声符号化部１０１で、例えばｎ−１番目の音声信号に対する符号化処理が行われて、符号化音声信号［ｎ−１］がワークメモリ１０１ａに保持されていた状態で、次の所定量の入力音声信号［ｎ］が入力されると、その入力音声信号［ｎ］によって符号化音声信号［ｎ−１］が上書きされる。【００３４】  （Ｓ１０２）例えば符号化処理部１０１ｃにより、ワークメモリ１０１ａに保持されている入力音声信号［ｎ］に基づいて、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）やＤＴＳ（Ｄｅｃｏｄｅｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）などの時刻情報等とともに固定値［ｎ］を含むヘッダ［ｎ］が生成される。上記固定値［ｎ］は、例えばパケットごとに変化のない、すなわち一連の（少なくとも複数の）パケットに対して等しく設定される値である。生成されたヘッダ［ｎ］はワークメモリ１０１ａに保持される（ヘッダ［ｎ−１］が上書きされる。）。【００３５】  （Ｓ１０３）特徴抽出部１０１ｂにより、ワークメモリ１０１ａに保持されている入力音声信号［ｎ］に基づいて、その音声が無音であるかどうかや、振幅、周波数分布などが抽出される。ここで、例えば、ソフトウェアによって無音検出などが行われる場合には、そのソフトウェアの実行によって、ワークメモリ１０１ａに保持されている音声信号がディジタル信号処理回路などに読み込まれる。また、ハードウェアによって無音検出などが行われる場合には、ワークメモリ１０１ａから出力された信号が無音検出回路などに入力される。【００３６】  無音等の検出結果としての、無音部であるかどうかや種々の特徴量を示す情報は、特徴量［ｎ］として、ヘッダ［ｎ］に固定値［ｎ］と置換して埋め込まれる。すなわち、符号化が行われる際には、符号化データの内容を示すためや、符号化データの時刻情報を示すなどのためにヘッダの付加が行われるが、そのようなヘッダ部分に、（符号化状態のときに）符号化用およびその他のパラメータが変更されない限り変化しない固定値部分が存在する場合には、そのような固定値部分に抽出した特徴量を埋め込むことによって、抽出された特徴量を保存したり、その特徴量に基づく処理を行う部分に伝達したりすることができ、新たにレジスタ領域や外部メモリ領域等を確保する必要がない。なお、必要に応じて、固定値部分に多重化したことを示すためのフラグを立てるようにしてもよい。また、例えばＤＶＤレコーダとして全てのパケットに対して固定値であるというような場合ならば、その固定値は、そのＤＶＤレコーダにおける後段の処理部においても既知の情報であるため、全く伝達する必要はない。（パケットがＤＶＤレコーダ等の外部に出力される際など、すなわちＤＶＤなどの交換可能な記録媒体に書き出す場合など、他の規格や仕様のＤＶＤプレーヤやレコーダなどとの互換性を保つ必要がある場合などには、その際に、所定の固定値が復元されるようにすればよい。）一方、ある符号化状態においては固定値というような場合には、その固定値は伝達する必要があるが、その場合は、はじめの１パケット目のみに多重するとかにより伝達すればよいので、各パケットのヘッダによって伝達する必要はない。したがって、上記のように、抽出された特徴量を固定値部分に多重化することが容易に行える。なお、ヘッダなどの未使用領域部分に埋め込まれるようにしてもよい。【００３７】  （Ｓ１０４）符号化処理部１０１ｃによって、ワークメモリ１０１ａに保持されている入力音声信号［ｎ］の符号化が行われる。符号化前の入力音声信号［ｎ］は、符号化によって生成された符号化音声信号［ｎ］によって上書きされる。【００３８】  （��１０５）上記のようにして生成され、ワークメモリ１０１ａに保持されたヘッダ［ｎ］および符号化音声信号［ｎ］が、パケットとして音声符号化部１０１から出力される。以下、ｎ＋１以降の入力音声信号に対しても同様の処理が繰り返される。【００３９】  音声符号化部１０１から出力された符号化音声信号は、符号多重化部１０３により、映像符号化部１０２から出力された映像信号のパケットと多重化されて、音声映像（ＡＶ）多重ストリームデータとして出力され、記録媒体への記録等がなされる。上記多重化の際の音声信号と映像信号との同期は、ＰＥＳヘッダに埋め込まれたＰＴＳやＤＴＳなどの時刻情報によって行われる。【００４０】  上記のようにヘッダの固定値部分または未使用領域部分に特徴量を示す情報が埋め込まれたパケットは、符号多重化部１０３やその後段の図示しない処理部などによって、各パケットから切り出された特徴量に基づいて、自動ＣＭ検出、除去や、要約再生を可能にするためのハイライトシーン検出などの処理が行われる。この場合、上記のように各パケットのヘッダに特徴量を示す情報が埋め込まれているので、各パケットと特徴量とを対応づけた処理が容易に行える。すなわち、特徴量を別途保存する場合には、その特徴量と音声信号等とを対応づけるための情報や処理が必要となるのに対して、パケットごとに処理を行うだけで、そのような対応付けが保証されることになる。また、符号多重化部１０３の動作について説明したように、音声信号と映像信号との同期は時刻情報等によって容易にとられるので、結果的に、例えば音声信号について抽出された特徴量と映像信号との同期をとることも容易にできることになる。【００４１】  また、上記自動ＣＭ検出などの処理結果に基づいた処理が、さらに後段の処理部によって行われる場合などには、その処理結果がヘッダの固定値部分や未使用領域部分に埋め込まれるようにしてもよい。【００４２】  また、特徴量の埋め込みがヘッダなどの未使用領域部分ではなく固定値部分に行われている場合には、無音検出等の処理が行われた後、必要に応じて、元の固定値部分の値を上書きし、元のパケットが復元される。ここで、特徴量が埋め込まれた固定値部分を元の固定値の値に復元するためには、特徴量の埋め込みの際に、元の固定値の値を保存しておく必要がある場合もあるが、例えば図４に示すように、破線で示す固定値［１］〜固定値［ｎ］が共通の値であれば、１つの固定値を保存する少量の記憶領域を用意して保存するようにすれば、固定値をｎ−１個分保存するための記憶容量の削減が可能となる。【００４３】  なお、上記のような特徴抽出処理と符号化処理とに共通の処理が含まれる場合には、これらの処理が兼用の処理回路や処理プログラムによって行われるようにしてもよい。具体的には、例えば符号化処理部１０１ｃでは、音声符号化処理を行うために、無音検出、振幅レベル、周波数分布などの特徴量を抽出していることがある。これらの情報は、本来は符号化のために用いられるものであっても、無音検出やＣＭ検出などの特徴量として用いるようにしてもよい。このように符号化のための特徴量をＣＭ検出などの特徴量として用いるようにする場合には、特徴量抽出のためのソフトウェア���コードや回路を設ける必要がなく、回路規模等を容易に低減することができる。【００４４】  ここで、符号化のために求められた特徴量が、無音検出などの処理のために参照される前に逐次更新されるような場合には、埋め込む時点まで、上記特徴量を別のメモリ領域に退避して残しておくようにすればよい。そのためのメモリ領域の容量は、非圧縮の映像音声情報を退避しておくべきメモリ容量に比べて小容量だけ確保すればよい。【００４５】  また、上記のような装置は、ディジタル放送を受信して記録する装置などに適用してもよい。すなわち、ディジタル放送では、既に映像符号化、音声符号化された映像音声放送として配信されるため、アナログ放送をディジタル記録する録画装置のように、記録時点で必ずしも符号化部を通す必要があるとは限らない。しかし、符号化された映像音声放送を、符号化解除し、再度、符号化を行うといった再符号化をする場合などには、符号化部を通ることになるため、符号化部に特徴量を抽出する機能を持たせて、ディジタル放送に関しても無音検出などを行わせることができる。【００４６】  また、上記の例では、音声信号について特徴抽出が行われる例を示したが、音声符号化部１０１に特徴抽出部１０１ｂを設けるのに代えて、またはこれとともに、映像符号化部１０２に特徴抽出部を設けて、映像信号について同様の特徴抽出が行われるようにしてもよい。なお、音声符号化部１０１と映像符号化部１０２との両方に特徴抽出部が設けられる場合でも、それぞれ別個に動作するようにしてもよいし、両方動作することも、片方のみ動作することも可能なようにしてもよい。【００４７】  また、パケットの固定値部分に特徴量が上書きされた状態のままで、ハードディスクなどの記録媒体に記録等され、再生時等に復元されるようにしてもよい。これによって、効率的な記録等を実現できる。すなわち、各パケットなどに必要な特徴量を保存しておく必要がある場合、その特徴量を符号化音声信号などとは別領域に保存しておくには、さらなる記憶容量が必要であったり、その特徴量がどのパケットと対応するものであるかの情報を特徴量とセットで保持しておくためにさらに記憶容量が必要であったりするが、これに対して、ヘッダの固定値部分に特徴量を埋め込んで記録媒体に記録等することによって、そのような記憶容量の増大などを回避することができる。
【産業上の利用可能性】
【００４８】  本発明にかかる記録装置は、映像信号や音声信号から抽出された特徴量等と映像音声信号等との対応関係を容易にとることができ、しかも、対応付けのための情報や処理を低減または不要にして、回路規模の低減等も容易に図ることができるという効果を有し、映像音声信号を符号化して磁気ディスクや光ディスクなどに保存するハードディスクレコーダやＤＶＤレコーダなどの記録装置等として有用である。
【図１】
2006075457.tif 000002
【図２】
2006075457.tif 000003
【図３】
2006075457.tif 000004
【図４】
2006075457.tif 000005
【手続補正書】
【提出日】平成19年4月4日(2007.4.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
映像信号および音声信号の少なくとも一方を符号化し、ヘッダを有する符号化信号を生成する符号化手段と、
上記符号化信号を記録媒体に記録する記録手段と、
上記映像信号または音声信号における所定の特徴状態、または特徴量を抽出する特徴抽出手段と、
一連の符号化信号のうち、少なくとも２つの符号化信号のヘッダに、同じ値である固定値が設定されている場合、または設定される予定である場合に、少なくとも１つの上記符号化信号の上記固定値が設定されている、または設定される予定である固定値領域に、上記特徴抽出手段の抽出結果を上記固定値と置換して、または上記固定値の代わりに設定する抽出結果設定手段と、
を備えたことを特徴とする記録装置。
【手続補正書】
【提出日】平成19年4月9日(2007.4.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
特許文献２：特開２００２−２４７５１６号公報
［発明の開示］
［発明が解決しようとする課題］
［０００６］
しかしながら、上記のように符号化部とは独立して設けられたＣＭ検出部などによってＣＭの検出などをする場合、自動ＣＭ除去などの処理を行うためには、検出結果が映像音声信号のどの部分に対応するものなのかの対応関係をとることが困難である。すなわち、符号化部で符号化された映像音声信号と、抽出された特徴量等とで、どの時刻の映像音声信号と一致するものであるか、同期を取ることや対応付けが困難である。それゆえ、対応関係を示す情報を記憶するようにしたり、その情報を用いた対応付け処理が行われるようにしたりするために、回路やマイクロコードなどが複雑化し、回路規模の増大等を招くという問題点を有していた。
［０００７］
本発明は、上記の点に鑑み、映像信号や音声信号から抽出された特徴量等と映像音声信号等との対応関係を容易にとることができ、しかも、対応付けのための情報や処理を低減または不要にして、回路規模の低減等も容易に図り得るようにすることを目的としている。
［課題を解決するための手段］
［０００８］
上記の課題を解決するため、本発明の実施形態の第１の装置は、
映像信号および音声信号の少なくとも一方を符号化し、ヘッダを有する符号化信号を生成する符号化手段と、
上記符号化信号を記録媒体に記録する記録手段と、
上記映像信号または音声信号における所定の特徴状態、または特徴量を抽出する特徴抽出手段と、
一連の符号化信号のうち、少なくとも２つの符号化信号のヘッダに、同じ値である固定値が設定されている場合、または設定される予定である場合に、少なくとも１つの上記符号化信号の上記固定値が設定されている、または設定される予定である固定値領域に、上記特徴抽出手段の抽出結果を上記固定値と置換して、または上記固定値の代わりに設定する抽出結果設定手段と、
を備えたことを特徴とする。
［０００９］
また、本発明の実施形態の第２の装置は、
第１の記録装置であって、
上記特徴抽出手段は、上記音声信号における、無音状態、振幅、および周波数分
【手続補正書】
【提出日】平成19年6月11日(2007.6.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像信号および音声信号の少なくとも一方を符号化し、ヘッダを有する符号化信号を生成する符号化手段と、
上記符号化信号を記録媒体に記録する記録手段と、
上記映像信号または音声信号における所定の特徴状態、または特徴量を抽出する特徴抽出手段と、
一連の符号化信号のうち、少なくとも２つの符号化信号のヘッダに、同じ値である固定値が設定されている場合、または設定される予定である場合に、少なくとも１つの上記符号化信号の上記固定値が設定されている、または設定される予定である固定値領域に、上記特徴抽出手段の抽出結果を上記固定値と置換して、または上記固定値の代わりに設定する抽出結果設定手段と、
を備えたことを特徴とする記録装置。
【請求項２】
請求項１の記録装置であって、
上記特徴抽出手段は、上記音声信号における、無音状態、振幅、および周波数分布のうちの少なくとも１つを抽出するように構成されていることを特徴とする記録装置。
【請求項３】
請求項１の記録装置であって、
上記特徴抽出手段は、上記映像信号における、振幅、および周波数分布のうちの少なくとも１つを抽出するように構成されていることを特徴とする記録装置。
【請求項４】
請求項１の記録装置であって、
上記特徴抽出手段は、映像信号または音声信号を符号化するための演算の結果を用いて、上記抽出を行うように構成されていることを特徴とする記録装置。
【請求項５】
請求項１の記録装置であって、
上記特徴抽出手段による抽出が行われた後に、上記符号化が行われるように構成されていることを特徴とする記録装置。
【請求項６】
請求項５の記録装置であって、
さらに、バッファ記憶部を有し、
上記符号化手段、および特徴抽出手段は、上記バッファの保持内容に基づいて、上記符号化または抽出を行うとともに、
上記符号化手段は、生成された符号化信号を上記バッファに保持させるように構成されていることを特徴とする記録装置。
【請求項７】
請求項１の記録装置であって、さらに、
上記ヘッダの固定値領域に抽出結果が設定された符号化信号を、元の固定値が設定された符号化信号に復元する固定値復元手段を備えたことを特徴とする記録装置。
【請求項８】
請求項７の記録装置であって、
上記記録手段は、上記固定値復元手段によって復元された符号化信号を上記記録媒体に記録するように構成されていることを特徴とする記録装置。
【請求項９】
請求項７の記録装置であって、
上記記録手段は、上記ヘッダの固定値領域に抽出結果が設定された符号化信号を上記記録媒体に記録する一方、
上記固定値復元手段は、上記記録媒体から再生される符号化信号に対して、上記復元を行うように構成されていることを特徴とする記録装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号や音声信号を符号化して磁気ディスクや光ディスクなどに保存するハードディスクレコーダやＤＶＤレコーダなどの映像音声記録装置等に関し、特に、例えば、コマーシャルメッセージ（ＣＭ）放送の判別や要約再生などのために用いられる、音声の特徴量を抽出する機能等を有する装置に関するものである。
【背景技術】
【０００２】
従来の映像音声記録装置には、例えば、放送された映像音声信号などに対する自動ＣＭ検出を行うために、無音状態等を検出する手法を用いたものが知られている（例えば、特許文献１参照。）。
【０００３】
また、近年では、映像音声信号をディジタル化してハードディスクなどの記憶装置に記録する記録装置が用いられつつある。これらの記録装置では、記憶装置の大容量化により、映像音声放送等を大量に録画できるようになってきたが、非圧縮の映像音声信号を記録していくのは非効率的であるため、通常、映像音声信号をＭＰＥＧ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）２などの圧縮手段を用いて符号化して記録している。再生時には、それが伸張されて再生される。
【０００４】
この種の装置では、映像音声放送を大量に録画できるようになってきたため、一層、必要なシーンのみを視聴できるようにすることが望まれている。すなわち、自動ＣＭ検出、除去などの必要性が一層高まっているうえ、ハイライトシーン検出機能などもより重要となっている。これらの機能を実現するには、映像音声信号の内容を解析する必要がある。
【０００５】
上記のように映像音声信号を符号化して記録するとともに、ＣＭの検出等を行う装置としては、符号化部とは独立して設けられたＣＭ検出部などを有し、符号化されてメモリに保持された音声信号に基づいてＣＭを検出する装置が知られている（例えば、特許文献２参照。）。
【特許文献１】特開平８−３１７３４２号公報
【特許文献２】特開２００２−２４７５１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のように符号化部とは独立して設けられたＣＭ検出部などによってＣＭの検出などをする場合、自動ＣＭ除去などの処理を行うためには、検出結果が映像音声信号のどの部分に対応するものなのかの対応関係をとることが困難である。すなわち、符号化部で符号化された映像音声信号と、抽出された特徴量等とで、どの時刻の映像音声信号と一致するものであるか、同期を取ることや対応付けが困難である。それゆえ、対応関係を示す情報を記憶するようにしたり、その情報を用いた対応付け処理が行われるようにしたりするために、回路やマイクロコードなどが複雑化し、回路規模の増大等を招くという問題点を有していた。
【０００７】
本発明は、上記の点に鑑み、映像信号や音声信号から抽出された特徴量等と映像音声信号等との対応関係を容易にとることができ、しかも、対応付けのための情報や処理を低減または不要にして、回路規模の低減等も容易に図り得るようにすることを目的としている。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明の実施形態の第１の装置は、
映像信号および音声信号の少なくとも一方を符号化し、ヘッダを有する符号化信号を生成する符号化手段と、
上記符号化信号を記録媒体に記録する記録手段と、
上記映像信号または音声信号における所定の特徴状態、または特徴量を抽出する特徴抽出手段と、
一連の符号化信号のうち、少なくとも２つの符号化信号のヘッダに、同じ値である固定値が設定されている場合、または設定される予定である場合に、少なくとも１つの上記符号化信号の上記固定値が設定されている、または設定される予定である固定値領域に、上記特徴抽出手段の抽出結果を上記固定値と置換して、または上記固定値の代わりに設定する抽出結果設定手段と、
を備えたことを特徴とする。
【０００９】
また、本発明の実施形態の第２の装置は、
第１の記録装置であって、
上記特徴抽出手段は、上記音声信号における、無音状態、振幅、および周波数分布のうちの少なくとも１つを抽出するように構成されていることを特徴とする。
【００１０】
また、本発明の実施形態の第３の装置は、
第１の記録装置であって、
上記特徴抽出手段は、上記映像信号における、振幅、および周波数分布のうちの少なくとも１つを抽出するように構成されていることを特徴とする。
【００１１】
これらにより、映像信号や音声信号から抽出された特徴量等が、ヘッダの固定値領域に設定され、映像音声信号等と対応づけられる。また、固定値領域に設定されていたデータは、上記特徴量等によって上書きされたとしても、複数のヘッダについて共通の値なので、容易に復元することができる。
【００１２】
また、本発明の実施形態の第４の装置は、
第１の記録装置であって、
上記特徴抽出手段は、映像信号または音声信号を符号化するための演算の結果を用いて、上記抽出を行うように構成されていることを特徴とする。
【００１３】
これにより、特徴抽出手段と符号化手段との回路やプログラムコードの共通化を容易に図ることができる。
【００１４】
また、本発明の実施形態の第５の装置は、
第１の記録装置であって、
上記特徴抽出手段による抽出が行われた後に、上記符号化が行われるように構成されていることを特徴とする。
【００１５】
また、本発明の実施形態の第６の装置は、
第５の記録装置であって、
さらに、バッファ記憶部を有し、
上記符号化手段、および特徴抽出手段は、上記バッファの保持内容に基づいて、上記符号化または抽出を行うとともに、
上記符号化手段は、生成された符号化信号を上記バッファに保持させるように構成されていることを特徴とする。
【００１６】
これにより、符号化前のバッファの保持内容が符号化によって書き換えられる場合でも、特徴抽出手段による抽出が適切に行われる。
【００１７】
また、本発明の実施形態の第７の装置は、
第１の記録装置であって、さらに、
上記ヘッダの固定値領域に抽出結果が設定された符号化信号を、元の固定値が設定された符号化信号に復元する固定値復元手段を備えたことを特徴とする。
【００１８】
また、本発明の実施形態の第８の装置は、
第７の記録装置であって、
上記記録手段は、上記固定値復元手段によって復元された符号化信号を上記記録媒体に記録するように構成されていることを特徴とする。
【００１９】
これにより、特徴抽出が行われない装置との互換性などを容易に図ることができる。
【００２０】
また、本発明の実施形態の第９の装置は、
第７の記録装置であって、
上記記録手段は、上記ヘッダの固定値領域に抽出結果が設定された符号化信号を上記記録媒体に記録する一方、
上記固定値復元手段は、上記記録媒体から再生される符号化信号に対して、上記復元を行うように構成されていることを特徴とする。
【００２１】
これにより、特徴抽出が行われない装置との互換性などを容易に図ることができるとともに、記録媒体に必要な記憶容量を低減することも容易にできる。
【発明の効果】
【００２２】
本発明によれば、映像音声信号から抽出された特徴量等と映像音声信号との対応関係を容易にとることができ、しかも、対応付けのための情報や処理を低減または不要にして、回路規模の低減等も容易に図ることができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施形態を図面に基づいて詳細に説明する。
【００２４】
本発明の実施形態の映像音声記録装置は、図１に示すように、例えばそれぞれ映像音声放送されて入力された音声信号または映像信号を符号化する音声符号化部１０１および映像符号化部１０２と、符号化された音声信号と映像信号とを多重化する符号多重化部１０３を備えて構成されている。このような映像音声記録装置は、特に限定されないが、例えば、画像信号を符号化してハードディスクに保存するハードディスクレコーダや、ハードディスクレコーダ内蔵電気機器、ハードディスクレコーダ内蔵テレビジョン装置、ハードディスクレコーダ内蔵ビデオレコーダ、ハードディスクレコーダ内蔵ＤＶＤプレーヤなどに用いられ、これらの装置用の半導体集積回路の一部などとして形成される。
【００２５】
上記音声符号化部１０１には、例えば図２に示すように、ワークメモリ１０１ａ、特徴抽出部１０１ｂ、および符号化処理部１０１ｃが設けられている。
【００２６】
上記ワークメモリ１０１ａは、符号化前後の音声信号を保持するようになっている。なお、符号化前後でワークメモリ１０１ａが兼用されることによって、回路や入力信号線数を少なく抑えることができ、回路規模の低減が容易になるが、これに限るものではない。
【００２７】
特徴抽出部１０１ｂは、例えばワークメモリ１０１ａに保持された符号化前の音声信号に基づいて、無音部であることや、音声信号の振幅レベル、周波数分布などの特徴量の抽出をするようになっている。抽出結果は、後に詳述するように、符号化によって生成されるパケットのヘッダにおける固定値領域に埋め込まれる。
【００２８】
また、符号化処理部１０１ｃは、例えばＭＰＥＧ２などの方式で符号化処理を行い、ヘッダを含むパケットを生成するようになっている。具体的には、例えばＰＥＳヘッダを含むＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）のパケットが生成される。
【００２９】
上記特徴抽出部１０１ｂは、具体的には、例えば符号化処理部１０１ｃが、マイクロコードなどを用いたソフトウェア処理によって音声符号化処理を行うように構成されている場合には、特に特徴抽出用の回路を設けることなく、ソフトウェアのコードを設けるのみで容易に実現することができる。ただし、これに限定されず、ソフトウェア処理のみで無音検出処理や特徴量抽出処理を実現できない場合などには、無音検出処理等の一部または全部がハードウェアによって行われるようにしてもよい。
【００３０】
上記のように構成された映像音声記録装置では、図３に示すようにして無音部や特徴量の抽出が行われる。ここで、通常は符号化後のデータ量よりも符号化前のデータ量の方が多いが、図３では説明の便宜上、同じデータ量として描いている。
【００３１】
（Ｓ１０１）  音声符号化部１０１で、例えばｎ−１番目の音声信号に対する符号化処理が行われて、符号化音声信号［ｎ−１］がワークメモリ１０１ａに保持されていた状態で、次の所定量の入力音声信号［ｎ］が入力されると、その入力音声信号［ｎ］によって符号化音声信号［ｎ−１］が上書きされる。
【００３２】
（Ｓ１０２）  例えば符号化処理部１０１ｃにより、ワークメモリ１０１ａに保持されている入力音声信号［ｎ］に基づいて、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）やＤＴＳ（Ｄｅｃｏｄｅｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）などの時刻情報等とともに固定値［ｎ］を含むヘッダ［ｎ］が生成される。上記固定値［ｎ］は、例えばパケットごとに変化のない、すなわち一連の（少なくとも複数の）パケットに対して等しく設定される値である。生成されたヘッダ［ｎ］はワークメモリ１０１ａに保持される（ヘッダ［ｎ−１］が上書きされる。）。
【００３３】
（Ｓ１０３）  特徴抽出部１０１ｂにより、ワークメモリ１０１ａに保持されている入力音声信号［ｎ］に基づいて、その音声が無音であるかどうかや、振幅、周波数分布などが抽出される。ここで、例えば、ソフトウェアによって無音検出などが行われる場合には、そのソフトウェアの実行によって、ワークメモリ１０１ａに保持されている音声信号がディジタル信号処理回路などに読み込まれる。また、ハードウェアによって無音検出などが行われる場合には、ワークメモリ１０１ａから出力された信号が無音検出回路などに入力される。
【００３４】
無音等の検出結果としての、無音部であるかどうかや種々の特徴量を示す情報は、特徴量［ｎ］として、ヘッダ［ｎ］に固定値［ｎ］と置換して埋め込まれる。すなわち、符号化が行われる際には、符号化データの内容を示すためや、符号化データの時刻情報を示すなどのためにヘッダの付加が行われるが、そのようなヘッダ部分に、（符号化状態のときに）符号化用およびその他のパラメータが変更されない限り変化しない固定値部分が存在する場合には、そのような固定値部分に抽出した特徴量を埋め込むことによって、抽出された特徴量を保存したり、その特徴量に基づく処理を行う部分に伝達したりすることができ、新たにレジスタ領域や外部メモリ領域等を確保する必要がない。なお、必要に応じて、固定値部分に多重化したことを示すためのフラグを立てるようにしてもよい。また、例えばＤＶＤレコーダとして全てのパケットに対して固定値であるというような場合ならば、その固定値は、そのＤＶＤレコーダにおける後段の処理部においても既知の情報であるため、全く伝達する必要はない。（パケットがＤＶＤレコーダ等の外部に出力される際など、すなわちＤＶＤなどの交換可能な記録媒体に書き出す場合など、他の規格や仕様のＤＶＤプレーヤやレコーダなどとの互換性を保つ必要がある場合などには、その際に、所定の固定値が復元されるようにすればよい。）一方、ある符号化状態においては固定値というような場合には、その固定値は伝達する必要があるが、その場合は、はじめの１パケット目のみに多重するとかにより伝達すればよいので、各パケットのヘッダによって伝達する必要はない。したがって、上記のように、抽出された特徴量を固定値部分に多重化することが容易に行える。なお、ヘッダなどの未使用領域部分に埋め込まれるようにしてもよい。
【００３５】
（Ｓ１０４）  符号化処理部１０１ｃによって、ワークメモリ１０１ａに保持されている入力音声信号［ｎ］の符号化が行われる。符号化前の入力音声信号［ｎ］は、符号化によって生成された符号化音声信号［ｎ］によって上書きされる。
【００３６】
（Ｓ１０５）  上記のようにして生成され、ワークメモリ１０１ａに保持されたヘッダ［ｎ］および符号化音声信号［ｎ］が、パケットとして音声符号化部１０１から出力される。以下、ｎ＋１以降の入力音声信号に対しても同様の処理が繰り返される。
【００３７】
音声符号化部１０１から出力された符号化音声信号は、符号多重化部１０３により、映像符号化部１０２から出力された映像信号のパケットと多重化されて、音声映像（ＡＶ）多重ストリームデータとして出力され、記録媒体への記録等がなされる。上記多重化の際の音声信号と映像信号との同期は、ＰＥＳヘッダに埋め込まれたＰＴＳやＤＴＳなどの時刻情報によって行われる。
【００３８】
上記のようにヘッダの固定値部分または未使用領域部分に特徴量を示す情報が埋め込まれたパケットは、符号多重化部１０３やその後段の図示しない処理部などによって、各パケットから切り出された特徴量に基づいて、自動ＣＭ検出、除去や、要約再生を可能にするためのハイライトシーン検出などの処理が行われる。この場合、上記のように各パケットのヘッダに特徴量を示す情報が埋め込まれているので、各パケットと特徴量とを対応づけた処理が容易に行える。すなわち、特徴量を別途保存する場合には、その特徴量と音声信号等とを対応づけるための情報や処理が必要となるのに対して、パケットごとに処理を行うだけで、そのような対応付けが保証されることになる。また、符号多重化部１０３の動作について説明したように、音声信号と映像信号との同期は時刻情報等によって容易にとられるので、結果的に、例えば音声信号について抽出された特徴量と映像信号との同期をとることも容易にできることになる。
【００３９】
また、上記自動ＣＭ検出などの処理結果に基づいた処理が、さらに後段の処理部によって行われる場合などには、その処理結果がヘッダの固定値部分や未使用領域部分に埋め込まれるようにしてもよい。
【００４０】
また、特徴量の埋め込みがヘッダなどの未使用領域部分ではなく固定値部分に行われている場合には、無音検出等の処理が行われた後、必要に応じて、元の固定値部分の値を上書きし、元のパケットが復元される。ここで、特徴量が埋め込まれた固定値部分を元の固定値の値に復元するためには、特徴量の埋め込みの際に、元の固定値の値を保存しておく必要がある場合もあるが、例えば図４に示すように、破線で示す固定値［１］〜固定値［ｎ］が共通の値であれば、１つの固定値を保存する少量の記憶領域を用意して保存するようにすれば、固定値をｎ−１個分保存するための記憶容量の削減が可能となる。
【００４１】
なお、上記のような特徴抽出処理と符号化処理とに共通の処理が含まれる場合には、これらの処理が兼用の処理回路や処理プログラムによって行われるようにしてもよい。具体的には、例えば符号化処理部１０１ｃでは、音声符号化処理を行うために、無音検出、振幅レベル、周波数分布などの特徴量を抽出していることがある。これらの情報は、本来は符号化のために用いられるものであっても、無音検出やＣＭ検出などの特徴量として用いるようにしてもよい。このように符号化のための特徴量をＣＭ検出などの特徴量として用いるようにする場合には、特徴量抽出のためのソフトウェアのコードや回路を設ける必要がなく、回路規模等を容易に低減することができる。
【００４２】
ここで、符号化のために求められた特徴量が、無音検出などの処理のために参照される前に逐次更新されるような場合には、埋め込む時点まで、上記特徴量を別のメモリ領域に退避して残しておくようにすればよい。そのためのメモリ領域の容量は、非圧縮の映像音声情報を退避しておくべきメモリ容量に比べて小容量だけ確保すればよい。
【００４３】
また、上記のような装置は、ディジタル放送を受信して記録する装置などに適用してもよい。すなわち、ディジタル放送では、既に映像符号化、音声符号化された映像音声放送として配信されるため、アナログ放送をディジタル記録する録画装置のように、記録時点で必ずしも符号化部を通す必要があるとは限らない。しかし、符号化された映像音声放送を、符号化解除し、再度、符号化を行うといった再符号化をする場合などには、符号化部を通ることになるため、符号化部に特徴量を抽出する機能を持たせて、ディジタル放送に関しても無音検出などを行わせることができる。
【００４４】
また、上記の例では、音声信号について特徴抽出が行われる例を示したが、音声符号化部１０１に特徴抽出部１０１ｂを設けるのに代えて、またはこれとともに、映像符号化部１０２に特徴抽出部を設けて、映像信号について同様の特徴抽出が行われるようにしてもよい。なお、音声符号化部１０１と映像符号化部１０２との両方に特徴抽出部が設けられる場合でも、それぞれ別個に動作するようにしてもよいし、両方動作することも、片方のみ動作することも可能なようにしてもよい。
【００４５】
また、パケットの固定値部分に特徴量が上書きされた状態のままで、ハードディスクなどの記録媒体に記録等され、再生時等に復元されるようにしてもよい。これによって、効率的な記録等を実現できる。すなわち、各パケットなどに必要な特徴量を保存しておく必要がある場合、その特徴量を符号化音声信号などとは別領域に保存しておくには、さらなる記憶容量が必要であったり、その特徴量がどのパケットと対応するものであるかの情報を特徴量とセットで保持しておくためにさらに記憶容量が必要であったりするが、これに対して、ヘッダの固定値部分に特徴量を埋め込んで記録媒体に記録等することによって、そのような記憶容量の増大などを回避することができる。
【産業上の利用可能性】
【００４６】
本発明にかかる記録装置は、映像信号や音声信号から抽出された特徴量等と映像音声信号等との対応関係を容易にとることができ、しかも、対応付けのための情報や処理を低減または不要にして、回路規模の低減等も容易に図ることができるという効果を有し、映像音声信号を符号化して磁気ディスクや光ディスクなどに保存するハードディスクレコーダやＤＶＤレコーダなどの記録装置等として有用である。
【図面の簡単な説明】
【００４７】
【図１】図１は、本発明の実施形態の映像音声記録装置の要部の構成を示すブロック図である。
【図２】図２は、同、音声符号化部１０１の具体的な構成を示すブロック図である。
【図３】図３は、同、音声符号化部１０１の動作の例を示すフローチャートである。
【図４】図４は、ハードディスクへの記憶内容等の例を示す説明図である。
【符号の説明】
【００４８】
１０１      音声符号化部
１０１ａ    ワークメモリ
１０１ｂ    特徴抽出部
１０１ｃ    符号化処理部
１０２      映像符号化部
１０３      符号多重化部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2006075457.tif 000006
【図２】
2006075457.tif 000007
【図３】
2006075457.tif 000008
【図４】
2006075457.tif 000009
【国際調査報告】
2006075457.tif 000010
2006075457.tif 000011
2006075457.tif 000012
2006075457.tif 000013