(57)【要約】【課題】音声や楽曲等のオーディオ信号を含むコンテンツに適した特徴検出処理を、低処理負荷で検出する方法及び検出装置を提供する。【解決手段】この発明のオーディオ信号検出装置は、入力ストリームからそのストリームの分類情報を取得する情報分析部４４０と、この情報分析部により取得した分類情報から入力ストリームを解析する方法を特定する解析制御部４５０と、この解析制御部にて特定された解析する方法に基づいて入力ストリームを解析し、検出項目として特定すべき特徴パラメータに変換する特徴パラメータ変換部４６０と、この特徴パラメータ変換部により特定された特徴パラメータである検出項目が入力ストリームに含まれるか否かを検出する検出処理部４７０と、この検出処理部により検出された検出項目の検出結果を入力ストリームの再生時に検索可能に保持するインデキシング部４８０と、を有する。【選択図】      図１
2009157278.tif 000002
【特許請求の範囲】
【請求項１】
入力ストリームからそのストリームの分類情報を取得する情報分析部と、
この情報分析部により取得した分類情報から入力ストリームを、解析レベル、解析帯域及び解析チャネルの少なくとも１つについて解析することを特定する解析制御部と、
この解析制御部にて特定された解析する方法に基づいて入力ストリームを解析し、検出項目として特定すべき特徴パラメータに変換する特徴パラメータ変換部と、
この特徴パラメータ変換部により特定された特徴パラメータである検出項目が入力ストリームに含まれるか否かを検出する検出処理部と、
この検出処理部により検出された検出項目の検出結果を入力ストリームの再生時に検索可能に記録する記録部と、
を有するオーディオ信号特徴検出装置。
【請求項２】
前記解析制御部が実行可能な解析レベルは、符号化データの解析信号帯域を変更する解析レベルを含むことを特徴とする請求項１記載のオーディオ信号特徴検出装置。
【請求項３】
前記解析制御部が実行可能な解析レベルは、符号化データの解析信号帯域と解析信号のチャネルを変更する解析レベルを含むことを特徴とする請求項１記載のオーディオ信号特徴検出装置。
【請求項４】
入力ストリームからそのストリームの分類情報を取得し、
取得した分類情報から入力ストリームを、解析レベル、解析帯域及び解析チャネルの少なくとも１つについて解析する方法を特定し、
特定された解析する方法に基づいて入力ストリームを解析し、検出項目として特定すべき特徴パラメータに変換し、
特定された特徴パラメータである検出項目が入力ストリームに含まれることを検出し、
検出された検出項目を入力ストリームの再生時に検索可能に保持する    
ことを特徴とするオーディオ信号特徴検出方法。
【請求項５】
前記解析する方法の特定は、符号化データの解析レベルとして複数の解析レベルを実行可能で、必要に応じて解析レベルを変更することにより最適な処理負荷を設定できることを特徴とする請求項４記載のオーディオ信号特徴検出方法。
【請求項６】
前記解析する方法の特定は、符号化データの解析レベル、解析信号帯域及び解析チャネルを変更することであることを特徴とする請求項５記載のオーディオ信号特徴検出方法。
【請求項７】
符号化ストリームを、オーディオ符号化データとそのメタ情報とに分離するストリーム分離ステップと、
分離されたメタ情報からストリームに含まれるコンテンツのうちの少なくともオーディオ信号の情報を抽出する情報分析ステップと、
抽出された特定の情報に基づいて、    
情報分析ステップにより抽出されたコンテンツの少なくともオーディオ信号の情報を参照して、第１のレベルの解析において検出項目が検出可能か、
第１のレベルに続く第２のレベルの解析においてオーディオ信号のうちのチャネルについて解析指定があるか否かを判定し、チャネルの解析指定がない場合には、全チャネルに対して解析を行い、チャネルの解析指定がある場合には、指定されたチャネルに対して解析を行い、検出項目が検出可能か、
第２のレベルに続く第３のレベルの解析において検出項目が検出可能か、
第３のレベルに続く第４のレベルの解析による検出項目の検出が必要か、
を判定して、オーディオ信号の特徴を検出する特徴検出ステップと、
検出された検出項目を、入力ストリームの再生時に検索可能にインデキシングするステップと、
を少なくとも含むオーディオ信号特徴検出プログラム。
【請求項８】
特徴検出ステップにおける第１のレベルは、ストリームを符号化する際に適用された符号化パラメータを得るステップを少なくとも含む請求項７記載のオーディオ信号特徴検出プログラム。
【請求項９】
特徴検出ステップにおける第２のレベルの解析は、量子化スペクトルをスケールファクタに基づいて逆量子化し、リニアスケールのスペクトラムを得るステップを少なくとも含む請求項７記載のオーディオ信号特徴検出プログラム。
【請求項１０】
前記第２のレベルの解析において解析チャネル指定の有無がチェックされ、解析チャネル指定がある場合には、指定されたチャネルに対して量子化スペクトルをスケールファクタに基づいて逆量子化し、リニアスケールのスペクトラムを得るステップを少なくとも含む請求項９記載のオーディオ信号特徴検出プログラム。
【請求項１１】
前記第２のレベルの解析において解析チャネル指定の有無がチェックされ、解析チャネル指定がない場合には、全チャネルに対して量子化スペクトルをスケールファクタに基づいて逆量子化し、リニアスケールのスペクトラムを得るステップを少なくとも含む請求項９記載のオーディオ信号特徴検出プログラム。
【請求項１２】
特徴検出ステップにおける第３のレベルの解析は、チャンネル間相関情報を得るステップを少なくとも含む請求項７記載のオーディオ信号特徴検出プログラム。
【請求項１３】
特徴検出ステップにおける第４のレベルの解析は、検出されたスペクトラムの形状を含む特性を得るステップを少なくとも含む請求項７記載のオーディオ信号特徴検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、主として動画情報とオーディオ信号からなり地表波や放送衛星からの電波として供給される公衆向け放送やケーブルネットワーク等により配信される映像信号及びおよび音声や楽曲等のオーディオ信号を含むコンテンツに適した特徴検出処理を、低処理負荷で検出する方法及び検出装置に関する。
【背景技術】
【０００２】
動画情報（映像信号）やオーディオ信号（音声信号）を受信して再生するテレビ受信器や受信した動画およびオーディオを記録して保存できる録画再生装置（ビデオレコーダ）や動画撮像装置（ビデオカメラ）等の普及と発展は、めざましい。また、既にパーソナルコンピュータにおいても、テレビ放送を受信して映像や音声を再生できる機能が標準仕様として用意されている場合も少なくない。
【０００３】
このような、さまざまなコンテンツを容易に取得可能な環境において、例えば音楽番組やコンテンツに含まれる楽曲部分とそれ以外の部分とを分離したい、という音楽検出の要求に関する記載が特許文献１に見られる。
【０００４】
特許文献１には、音楽検出を行う際に、検出処理すべきデータが符号化ストリームの場合は、復号処理の過程で得られる周波数領域のＬチャネル信号とＲチャネル信号の和成分と差成分に基づいてパワー比を計算し、閾値判定することが提案されている。
【特許文献１】特開２００６−３０１１３４
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１は、音楽検出に特化した方式であり音楽番組のようなコンテンツには適しているが、それ以外のニュース番組やバラエティ番組等では検出処理として意味をなさない。
【０００６】
また、この検出方法をベースにして、例えばＣＭ（コマーシャルメッセージ、商業放送に含まれるコンテンツ本編とは独立した構成）を検出使用とした場合には、２チャンネル（ｃｈ）分の信号に対して解析処理をする必要はないため、無駄な処理が生じることになってしまう。
【０００７】
また、ニュース番組等の（比較的帯域の狭い）スピーチ信号が主体であることが自明の場合には、必ずしも全帯域の成分について解析処理をする必要はないため、この点においても無駄な処理が生じることになってしまう。
【０００８】
また、マルチチャネル信号を含むストリームの場合には、全てのチャネルデータを復号した後にダウンミックス処理して２ｃｈ信号を得るため、処理負荷が高くなってしまう。一般に、マルチチャネル信号の場合に多くの主情報はフロントのセンターチャネルあるいはＬＲチャネルに含まれている。
【０００９】
また、音楽検出のみに限定して考察した場合であっても、放送や蓄積メディア等で一般的に利用されているオーディオ符号化方式であるＡＡＣ（Advanced Audio Coding）規格を想定した場合、周波数領域信号に対していくつかのオプション処理が存在し、それらに対する扱いが明確ではない。
【００１０】
この発明の目的は、音声や楽曲等のオーディオ信号を含むコンテンツに対して、そのコンテンツの分類情報に応じて適切な検出処理を特定し、特定された検出処理に応じた解析方法を実行することにより、コンテンツに適した特徴検出処理を低処理負荷で行う（検出する）方法及び検出装置を提供することである。
【課題を解決するための手段】
【００１１】
この発明は、上記問題点に基づきなされたもので、入力ストリームからそのストリームの分類情報を取得する情報分析部と、この情報分析部により取得した分類情報から入力ストリームを、解析レベル、解析帯域及び解析チャネルの少なくとも１つについて解析することを特定する解析制御部と、この解析制御部にて特定された解析する方法に基づいて入力ストリームを解析し、検出項目として特定すべき特徴パラメータに変換する特徴パラメータ変換部と、この特徴パラメータ変換部により特定された特徴パラメータである検出項目が入力ストリームに含まれるか否かを検出する検出処理部と、この検出処理部により検出された検出項目の検出結果を入力ストリームの再生時に検索可能に記録する記録部と、を有するオーディオ信号特徴検出装置を提供するものである。
【発明の効果】
【００１２】
この発明の実施の形態によれば、検出処理する符号化データのメタ情報に応じた適切な検出処理を判定し、その検出処理に応じた必要な信号を取得するため、解析レベルや解析信号帯域あるいは解析対象チャネルを制御することにより最低限の処理負荷で高速に検出処理を行うことができる。これにより、比較的低速で安価なプロセッサでも処理が可能になり、低コスト化が図れる。
【００１３】
特に、解析対象がマルチチャネルである場合に、処理負荷が必要以上に増加することが低減でき、より高速に、かつシステムの処理能力に応じた柔軟な検出処理が実現できる。
【００１４】
一般に、マルチチャネル信号の場合に多くの主情報はフロントのセンターチャネルあるいはＬＲチャネルに含まれている。この特性を考慮してコンテンツに応じて適切な検出項目（音楽検出、ＣＭ検出等）を判断し、それに応じたチャネル信号（フロントセンターチャネルあるいはフロントＬＲチャネル）のみを抽出して適切な（解析レベルおよび帯域で）解析を行うことで余分な復号処理を行うことなく高速な特徴検出処理を実現できる。
【発明を実施するための最良の形態】
【００１５】
以下、この発明の一実施の形態について図面を参照して説明する。
【００１６】
図１は、本発明の実施の形態が適用される映像記録再生装置（ビデオレコーダ）の一例を示す。なお、以下に説明する本発明の実施の形態は、映像記録再生装置にのみ適用されるものではなく、例えばパーソナルコンピュータやビデオカメラ、もしくはビデオプログラムや映像コンテンツ等を再生可能な携帯端末装置においても適用可能である。また、携帯端末装置やパーソナルコンピュータもしくはビデオゲーム端末装置に対して供給可能に取り扱われるプログラムとして販売されることも可能である。
【００１７】
図１に示すビデオレコーダ（映像記録再生装置）１は、例えば放送衛星または通信衛星を介して提供される衛星デジタルＴＶ放送、地表波（空間波）により提供される地上デジタル放送及びアナログＴＶ放送、あるいはケーブルネットワークを介して供給される映像コンテンツ等の受信機能を持つチューナ部（TV tuner）１０を有し、チューナ部１０からの出力は、映像系アナログ−デジタルコンバータ（Video ADC）１４と、オーディオ（音声／音楽）系アナログ−デジタルコンバータ（Audio ADC）１６に入力される。外部入力端子（Aux）１２からの入力信号もまた、映像系アナログ−デジタルコンバータ１４およびオーディオ（音声／音楽）系アナログ−デジタルコンバータ１６に入力される。
【００１８】
映像系アナログ−デジタルコンバータ１４でデジタル化されたビデオストリームおよびオーディオ（音声／音楽）系アナログ−デジタルコンバータ１６でデジタル化されたオーディオストリームは、ＭＰＥＧエンコーダ（MPEG Encoder）２０に入力される。外部デジタル入力端子１８からのデジタルストリーム（ＭＰＥＧ２−ＴＳ（ＴＳは、Transport Streamの略）等）は、ＩＥＥＥ１３９４（あるいはＨＤＭＩ）等のインタフェース（Ｉ／Ｆ，interface）１９を介して、ＭＰＥＧエンコーダ２０に入力される。
【００１９】
チューナ部１０に供給されたＴＶ放送信号がＭＰＥＧ２−ＴＳ等のデジタル信号である場合は、（チューナ部１０からのデジタルストリームは）そのまま、ＭＰＥＧエンコーダ２０に入力される。
【００２０】
ＭＰＥＧエンコーダ２０は、入力されたＭＰＥＧ２−ＴＳをそのまま出力する（パススルー（Pass thourgh）する）場合以外は、入力されたストリームをＭＰＥＧ２−ＰＳにエンコードするか、ＭＰＥＧ４−ＡＶＣにエンコードする。本発明は、デジタル符号化されたストリームを記録する場合に、コンテンツの情報に基づいて特徴検出およびインデキシングを行う場合を想定しており、上述のうちの符号化されたストリームあるいはパススルーされたストリームに対して適用する処理となる。
【００２１】
ＭＰＥＧエンコーダ２０において処理されたストリームデータは、高速メモリ、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２２等に一旦バッファリングされる。
【００２２】
ＳＤＲＡＭ２２にバッファリングされ、所定の処理が施されたストリームデータは、その内容に応じて、所定のタイミングで、ＨＤＤ１０４、ディスクドライブユニット（Disk Drive Unit）２４もしくはメモリスロット２６に転送される。
【００２３】
ＨＤＤ１０４は、ＨＤＤ（すなわちハードディスクドライブであり、例えば１ＴＢ（１０００ＧＢ））の容量が与えられているＨＤ（ハードディスク）を含む。
【００２４】
ディスクドライブユニット２４は、円盤状の記録媒体であって、ＨＤ（High Definition）  ＤＶＤ規格（再生専用で１５ＧＢ、記録可能で２０ＧＢ）の光ディスク１００やＤＶＤ規格（４．５ＧＢ）の光ディスク１０２に、データ（ストリーム）を記録可能で、かつ既に記録されているデータ（ストリーム）を再生可能である。
【００２５】
メモリスロット２６には、例えば２ＧＢ程度の容量が与えられたカードメモリ１０６が挿入されて、用いられる。
【００２６】
ディスクドライブユニット２４、ＨＤＤ１０４もしくはメモリスロット２６を介して、光ディスク１００または１０２、ＨＤ（ＨＤＤ１０４内）またはカードメモリ１０６から再生されたストリームデータは、ＳＤＲＡＭ２２を経由して、ＭＰＥＧデコーダ（MPEG Decoder）３０に転送される。
【００２７】
ＭＰＥＧデコーダ３０は、転送されてきたストリームに応じ、ＭＰＥＧ２−ＴＳ、ＭＰＥＧ２−ＰＳまたはＭＰＥＧ４−ＡＶＣをデコード可能である。
【００２８】
ＭＰＥＧデコーダ３０でデコードされたビデオデータ（ＭＰＥＧ２−ＴＳまたはＭＰＥＧ２−ＰＳ）は、映像系デジタル−アナログコンバータ（Video DAC）３２により標準画質または高精細画質のアナログビデオ信号に変換され、ビデオ出力（Video Out）端子３６に供給される。なお、ビデオ出力端子３６と表示装置（モニタ装置／表示部）５２を接続することで、表示装置５２に映像が表示される。
【００２９】
一方、ＭＰＥＧデコーダ３０でデコードされたオーディオデータは、オーディオ（音声／音楽）系デジタル−アナログコンバータ（Audio DAC）３４によりアナログオーディオ信号に変換され、オーディオ（音声）出力（Audio Out）端子３８に供給される。なお、オーディオ出力端子３８とスピーカ（表示装置５２に内蔵されている場合や独立している場合がある）を接続することで、音声あるいは音楽が再生される。
【００３０】
なお、ＭＰＥＧデコーダ３０に供給されたデータがＭＰＥＧ２−ＴＳの場合は、ＩＥＥＥ１３９４（またはＨＤＭＩ）等のインタフェース３７を経由して、そのままデジタル出力（Digital Out）端子３９に供給される。
【００３１】
また、図１に示した録画再生装置（ＨＤ  ＤＶＤレコーダ）は、主制御ブロック４０により制御される。主制御ブロック４０は、ストリームパーサとして機能するもので、図示しないが、ＭＰＵ（マイクロプロセッサ）もしくはＣＰＵ（セントラルプロセッサ）を含み、ファームウエアや種々な制御パラメータを格納するＥＥＰＲＯＭ４２、ワークＲＡＭ４４、タイマ４６等が付属している。なお、主制御ブロック４０は、ＳＤＲＡＭ２２及びＭＰＥＧデコーダ３０との間でストリームを管理し、映像の記録及び映像の再生に用いられることはいうまでもない。
【００３２】
主制御ブロック４０にはまた、オーディオ信号特徴検出部４１０が内挿あるいは接続されている。
【００３３】
オーディオ信号特徴検出部４１０は、図２を用いて後段に詳細に説明するが、ストリーム分離部４２０、ストリーム解析部４３０、メタ情報分析部４４０、適応解析制御部４５０、特徴パラメータ変換部４６０、検出処理部４７０、及びインデキシング（Indexing）部４８０等を含む。
【００３４】
符号化ストリームは、ストリーム分離部４２０において、第１にメタ情報が分離され、図６を用いて後段に詳細に説明する検出項目が判断される。判断された検出項目は、図７を用いて後段に説明するが、符号化ストリームに対する解析レベルと解析帯域とが関連づけられる。これにより、本願発明においては、コンテンツに基づいて最適なストリーム解析方法が設定され、高速に（オーディオ信号の）特徴を検出する機能を実現することができる。
【００３５】
より詳細には、図２に示すストリーム分離部４２０において、受信したあるいは入力された符号化ストリームが、オーディオ符号化データとそのメタ情報とに分離される。
【００３６】
ストリーム分離部４２０において分離されたメタ情報は、メタ情報分析部４４０に入力され、（同）オーディオ符号化データは、ストリーム解析部４３０に供給される。なお、メタ情報としては、例えば、オーディオデータを含むコンテンツと共に放送される電子番組情報（ＥＰＧ）等がある。
【００３７】
メタ情報分析部４４０は、電子番組情報から受信ストリームに対応する番組分類情報を分析し、得られた番組分類情報を適応解析制御部４５０に出力する。
【００３８】
適応解析制御部４５０では、得られた番組分類情報からストリーム解析する方法を判定し、判定結果を制御情報としてストリーム解析部４３０に出力し、検出項目を検出処理部４７０に出力する。
【００３９】
ストリーム解析部４３０は、ストリーム分離部４２０から入力されたオーディオ符号化ストリームを解析し、解析して得られた情報を特徴パラメータ変換部に出力する。この解析の際に、図７を用いて後段に説明するが、適応解析制御部からの制御情報で指示されるどのレベルまでストリームを解析するか、解析する信号帯域はどこまでか、どのチャネルを解析するかといった情報に基づいて処理を行う。
【００４０】
特徴パラメータ変換部４６０では、ストリーム解析部４３０によるストリーム解析結果として得られる情報（主にスペクトラム）から、検出項目に適した（検出項目として特定（抽出）すべき）特徴パラメータに変換し、検出処理部４７０に出力する。なお、変換する特徴パラメータとしては、各チャネルのパワー情報等がある。
【００４１】
検出処理部４７０では、ストリーム解析部４３０におけるストリーム解析結果から得られる特徴パラメータに基づいて、適応解析制御部４５０にから指示された検出項目が検出されたか否かを判定し検出結果を、インデキシング部４８０へ出力する。
【００４２】
検出処理部４７０における検出処理としては、図６を用いて一例を示すが、例えばＣＭ（コマーシャルメッセージ、商業放送に含まれるコンテンツ本編と独立した構成）検出、音楽検出、歓声検出、及びコーナー音検出、等がある。
【００４３】
ＣＭ検出の場合には、ＣＭの前後で挿入される一定レベル以下の無音を特徴パラメータとして得られるパワー情報から判定し、無音の間隔がＣＭの長さの一般的な規則（１５秒あるいは３０秒等）に当てはまるか否かを判定して、ＣＭの始まり／終わりを検出する。
【００４４】
音楽検出では、受信するＬチャンネル（ｃｈ）とＲチャンネル（ｃｈ）の２チャンネル（ｃｈ）の信号が楽音信号の特徴としてのＬｃｈとＲｃｈとで信号の違いの度合い（Ｌ−Ｒ等の変動）と継続時間に基づいて判定して、音楽区間の始まり／終わりを検出する。
【００４５】
歓声検出やコーナー音検出では、特徴パラメータとして得られるスペクトルの形状に基づいて、該当区間を検出する。
【００４６】
インデキシング部４８０では、検出処理部４７０からの検出結果とそれに対応する時間情報に基づいて、どの時刻に、どのイベントが発生したかを、検索処理に利用できるインデックス情報として保存する。なお、イベントとは、検出した特徴に対応するもので、ＣＭの始まり／終わり、音楽の始まり／終わり等である。また、インデキシング部４８０では、記録媒体に応じて、その記録媒体に固有のリードインエリアやヘッダー情報記録エリアまたはＴＯＣ（Table of contents）等の所定の記録領域に、上述のインデキシング情報を記録することはいうまでもない。
【００４７】
図３は、図２により説明した適応解析制御部の構成の一例を説明する概略ブロック図である。
【００４８】
検索方法判定部４５２は、メタ情報分析部４４０からの番組分類情報に基づいて、図６に示すが、予め設定された番組分類とそれに適した検出項目が対応付けられたテーブルを引き（テーブルを参照して）、検出項目を判定する。
【００４９】
例えば、音楽番組であれば音楽区間を、スポーツ番組であれば観客が盛り上がる歓声区間を、その他にＣＭ（コマーシャル）区間を検出項目として対応する。なお、ＣＭ区間としては、図６に示す通り、例えば音楽番組やスポーツ番組、バラエティ番組あるいは映画等において、広く検出される。
【００５０】
さらに、解析レベル判定部４５４において、図６に示した上述の検出項目に基づいて、ストリームをどの程度まで解析すべきかが判定される。
【００５１】
また、解析帯域判定部４５６では、ストリーム解析する帯域を判定する（ストリームを解析すべき帯域が特定される）。
【００５２】
またさらに、解析チャネル判定部４５８では、オーディオ符号化ストリームが、２ｃｈより多い、チャネル数のマルチチャネル（ｃｈ）信号の場合に、解析するチャネルを判定する。これは、検出項目によって、必要とされる解析レベルや帯域および解析チャネルが異なるためであり、図７に示すような、予め設定された検出項目とそれに適した解析処理（レベル、帯域、もしくはチャネル）が対応付けられたテーブルを引く（テーブルを参照する）ことにより判定できる。
【００５３】
図４は、ストリーム解析部の内部ブロック図を示している。
【００５４】
ストリーム解析部４３０は、ＭＰＥＧ−２  ＡＡＣ（Advanced Audio Coding）規格に基づくもので、シンタックス（Syntax）解析部４３２と逆量子化部４３４とジョイントステレオ（ＪＳ）部４３６とＴＮＳ（Temporal Noise Shaping）部４３８を、少なくとも有する。なお、シンタックス解析部４３２と逆量子化部４３４との間に、マルチチャネルストリームの場合に上述の解析チャネルを判定するための解析チャネル判定部４３３が位置（挿入）される。
【００５５】
シンタックス解析部４３２は、ＡＡＣ規格に従って、オーディオ符号化ストリームからハフマン復号等により量子化スペクトルやスケールファクタ（スペクトルのスケーリング情報）、及びまたはチャンネル間相関情報等の復号パラメータを抽出し、逆量子化部４３４へ出力する。ここまでの解析が解析レベル１（図７には示されていないが、いずれのストリームに関しても必ず解析される）に相当し、音声あるいは楽曲のチャネル数やサンプリング周波数等の基本的な符号化パラメータが得られる。
【００５６】
ここで、入力符号化ストリームがマルチチャネル信号である場合は、適応解析制御からの解析チャネルの指定に応じ、フロントセンターチャネルあるいはフロントＬＲチャネルのみの復号パラメータを逆量子化部４３４に出力する。こうすることで、オーディオ情報として特徴を大きくロスすることなく、後続の逆量子化等の処理については、限定されたチャネル数分だけとなる。従って、処理負荷が大きく軽減される。
【００５７】
また、２ｃｈ以下のステレオ信号については、量子化スペクトル等の復号パラメータをそのまま逆量子化部４３４に出力する。
【００５８】
逆量子化部４３４は、（シンタックス解析部４３２において解析された）量子化スペクトルを、スケールファクタに基づいて逆量子化し、本来のリニアスケールのスペクトラムを求める。ここまでの解析が解析レベル２に相当し、逆量子化スペクトラムが得られる。但し、後段のジョイントステレオ処理をしていないため、帯域によっては、ＬｃｈとＲｃｈの和信号の場合とＬｃｈの場合とが混在しているスペクトルである。
【００５９】
ジョイントステレオ（ＪＳ）部４３６は、逆量子化部４３４により逆量子化されたスペクトラムに、ＭＳ（Mid/Side）ステレオやＩＳ（インテンシティ）ステレオ処理を行うことによって、本来のＬｃｈ信号とＲｃｈ信号とに分かれたスペクトラムを求める。ここまでの解析が解析レベル３に相当し、各チャネルのスペクトラムが得られる。
【００６０】
ＴＮＳ（Temporal Noise Shaping）部４３８は、符号化時の時間域信号で見ると、ノイズ成分を信号レベルの高い区間に集中（シェイピング）させて、ノイズを知覚させにくくするオプション処理である。すなわち、ＴＮＳ部４３８は、ストリーム解析処理から見ると、ＴＮＳ処理前のスペクトラムから本来の（エンコーダから見て時間周波数変換直後の）スペクトラムを復元するための合成フィルタをかけるもので、スペクトラムの概形を補正する。
【００６１】
また、デコーダの場合は、得られたスペクトラムについて、周波数時間変換であるＩＭＤＣＴ（Inverse Modified ＤＣＴ）処理によりＰＣＭ信号を求める（ことが要求される）が、ストリーム解析では周波数領域での信号のみを取り扱うので必要ない。このＴＮＳ処理後までの解析が解析レベル４に相当し、周波数時間変換直前の精度の高いスペクトラムである。
【００６２】
上述したストリーム解析は、適応解析制御部４５０から指示される検出項目に基づく、上記の解析レベルによって、どの処理（解析レベル）まで行うかが制御される。これは、例えば、ＣＭ検出の場合には、無音かどうかを判定すればよく、チャネル毎の信号は、不要で解析レベル２のスペクトラムで十分であり、以降の処理は不要となることを意味している。
【００６３】
また、音楽検出の場合は、Ｌｃｈ信号とＲｃｈ信号の和成分と差成分のパワー比が重要となるため、解析レベル３以上のスペクトラムが必要になる。反面、スピーチ信号（音声）のようなパルス的な信号に適用されやすいＴＮＳ処理は、使用頻度が少なく、適用されたとしても適用帯域も限定的であるため、解析レベル４のスペクトラムでなくとも十分である。
【００６４】
一方、歓声検出やコーナー検出の場合は、検出精度にも依存するが、検出されたスペクトラムの形状を含む特性が必要となり、精度の高いスペクトラムである解析レベル４の信号が必要になる。
【００６５】
このように、検出項目に応じた必要最低限の解析レベルまでのスペクトラムのみを算出することで、処理負荷が低減され、処理速度の高速化が図れる。
【００６６】
また、解析帯域についても同様であり、ニュース番組のようなスピーチ信号（音声）が主体の番組であれば、図７に示すように解析帯域も７ｋＨｚ程度までとれば十分であり、符号化ストリーム本来の２４ｋＨｚ帯域（４８ｋＨｚサンプリングの場合）まで解析する必要はない。一方、音楽を含む広帯域の信号については、符号化ストリームに含まれる信号帯域の全てを解析することが好ましい。
【００６７】
また、解析チャネルについては、マルチチャネルストリームの場合の解析チャネル制御であり、例えばＣＭ検出の場合は、前述のように無音判定がベースになるため１チャネル分の情報で十分であり、フロントチャネル信号の内のより処理負荷の少ない（フロント）センターチャネルのみの解析とすることで負荷を低減できる。
【００６８】
これに対して、音楽検出の場合は、前述のようにチャネル間の信号特性（パワー比等）を利用して検出処理することが多いため、フロントＬＲチャネルの解析が必要になる。
【００６９】
なお、歓声検出の場合には、アナウンサーの実況音声がセンターチャネルに含まれることが多いため、より効果的に歓声を拾うために、フロントＬＲチャネルを使って解析することが効果的である。
【００７０】
図５は、上述した一連のオーディオ信号検出方法をソフトウェアとして実現した場合のフローチャートである。
【００７１】
第１にストリーム分離ステップにおいて、受信したあるいは入力された符号化ストリームが、オーディオ符号化データとそのメタ情報とに分離される（Ｓ１）。
【００７２】
ステップＳ１において分離されたメタ情報からは、メタ情報分析ステップにおいて、例えば電子番組情報（ＥＰＧ）等が抽出される（Ｓ２）。
【００７３】
メタ情報分析ステップ（Ｓ２）において、ＥＰＧ（電子番組情報）等が抽出された場合にはＥＰＧから読み取ることのできる番組の属性、例えばニュース、映画、音楽等のメタ情報から、図６に示されるような番組分類情報と検出項目が対応づけられたテーブルに基づいて検出項目が特定（判定）される（Ｓ３）。なお、メタ情報がない場合や必要な属性情報がどのコンテンツでも共通の検出項目であるＣＭ検出を設定する。
【００７４】
検出項目が特定されると、解析レベル判定ステップにおいて、図７に示されるような検出項目とどの程度まで詳細に解析すべきかの指標となる解析レベルが対応づけられたテーブルに基づいて、ストリーム解析時の解析レベルが特定（判定）される（Ｓ４）。
【００７５】
また、解析レベル判定と同様に、解析帯域判定ステップにおいて、図７に示されるようなテーブルに基づいて、検出項目から解析すべき帯域が特定（判定）される（Ｓ５）。
【００７６】
続いて、これらの判定結果に基づいて符号化ストリームの解析処理が行われる。
【００７７】
まず、ＡＡＣ規格に従って、オーディオ符号化ストリームからハフマン復号等により量子化スペクトルやスケールファクタ（スペクトルのスケーリング情報）、及びまたはチャネル間相関情報等の復号パラメータが抽出され（Ｓ６）、解析レベルを「レベル１」で終了してよいか否かが判断される（Ｓ７）。
【００７８】
ステップＳ７において、解析レベルを、「レベル１」で終了してよいと判断された場合（Ｓ７−ＹＥＳ）、ストリーム解析結果として得られる情報から、検出項目に適した（検出項目として特定（抽出）すべき）特徴パラメータに変換する特徴パラメータ変換が実行され（Ｓ１５）、ストリーム解析結果から得られた特徴パラメータに基づいて、検出処理が実行され（Ｓ１６）、検出項目が検出されたか否かを示す検出結果が、インデキシング（Indexing）される（Ｓ１７）。
【００７９】
ステップＳ７において、解析レベルが「レベル１」では足りない（「レベル１」で終了できない）と判断された場合（Ｓ７−ＮＯ）、解析チャネルの指定の有無（解析チャネルが指定されているか否か）がチェックされ（Ｓ８）、指定無しの場合（Ｓ８−ＮＯ）は、全チャネルに対してステップＳ１０以降が実行される。
【００８０】
一方、解析チャネルが指定されている場合（Ｓ８−ＹＥＳ）においては、指定された解析チャネルのみに対してストリームを解析する方法として『逆量子化』が採用され、量子化スペクトルがスケールファクタに基づいて逆量子化され、本来のリニアスケールのスペクトラムが求められる（Ｓ１０）。この後、解析レベルを「レベル２」で終了してよいか否かが判断される（Ｓ１１）。
【００８１】
ステップＳ１１において、解析レベルを「レベル２」で終了してよいと判断された場合（Ｓ１１−ＹＥＳ）、引き続いて、先に説明したステップＳ１５〜Ｓ１７が実行される。
【００８２】
ステップＳ１１において、解析レベルが「レベル２」では不足（「レベル２」で終了できない）と判断された場合（Ｓ１１−ＮＯ）、ストリームを解析する方法として『ジョイントステレオ（ＪＳ）』が採用され、逆量子化されたスペクトラムに、ＭＳ（Mid/Side）ステレオ処理やＩＳ（インテンシティ）ステレオ処理が施されて、本来のＬｃｈ信号とＲｃｈ信号とに分かれたスペクトラムが求められる（Ｓ１２）。以下、解析レベルを「レベル３」で終了してよいか否かが判断される（Ｓ１３）。
【００８３】
ステップＳ１３において、解析レベルを「レベル３」で終了してよいと判断できた場合（Ｓ１３−ＹＥＳ）、同様に、先に説明したステップＳ１５〜Ｓ１７が実行される。
【００８４】
ステップＳ１３において、解析レベルが「レベル３」でも不足（「レベル３」で終了できない）と判断された場合（Ｓ１３−ＮＯ）は、ストリームを解析する方法として『ＴＮＳ』が採用され、解析レベルとして「レベル４」が設定（特定）されて、検出されたスペクトラムの形状（概形）を含む特性が解析される（Ｓ１４）。
【００８５】
以降は、先に説明したステップＳ１５〜Ｓ１７が実行される。
【００８６】
このように、ストリーム解析の際に、検出方法を判定し、解析レベルや解析信号帯域に加えて解析チャネルを制御することにより、マルチチャネルストリームに対しても、最適な処理負荷で高速に検出処理を行うことができる。すなわち、検出処理する符号化データのメタ情報を用いて、適切な（必要な）検出処理を判定し、その検出処理に応じた必要な信号を取得するための負荷を低減可能である。
【００８７】
換言すると、解析レベル判定ステップにより判定された解析レベル判定結果に応じて、各ストリーム解析処理をスキップする（解析を終了してよい解析レベルが見つかった時点で、ストリーム解析処理を終了する）ことで、符号化ストリームに適した解析処理のみを実現できる。
【００８８】
また、解析帯域判定ステップでの解析帯域判定結果と解析チャネルによる解析チャネルの設定に応じて各ストリーム解析処理での解析帯域及び解析チャネルが制限されるため、処理負荷が軽減され、高速処理が可能となる。
【００８９】
なお、図５を用いて説明した一連の処理は、主制御ブロック（ストリームパーサ）４０の図示しないＭＰＵまたはＣＰＵのファームウエアであってもよいし、ＥＥＰＲＯＭ４２に予め書き込まれたプログラムとして提供されてもよい。
【００９０】
以上説明したように上記発明の実施の形態によれば、検出処理する符号化データのメタ情報に応じた適切な検出処理を判定し、その検出処理に応じた必要な信号を取得するために、解析レベルや解析信号帯域を制御することにより最適な処理負荷で高速に検出処理を行うことができる。この際、比較的簡単な計算で音楽検出を行うことができ、低コスト化できる。
【００９１】
また、許容される処理負荷が限られる場合においても、検出精度に応じて解析レベルを制御することで、処理負荷に応じた柔軟な検出処理が実現できる。
【００９２】
なお、本発明の内容はここに記述した形態だけに限定されるものではなく、その主旨を逸脱しない範囲で、他にも様々な形態を取り得ることはいうまでもない。また、本発明では、映像記録再生装置（ビデオディスクレコーダ）を例に説明したが、ビデオレコーダが組み込まれたテレビジョン装置やパーソナルコンピュータ（ＰＣ）等、あるいはユニット化され、外部から付加可能なオーディオ（コンテンツ）再生装置等も含まれることはいうまでもない。なお、各実施の形態は、可能な限り適宜組み合わせて、もしくは一部を削除して実施されてもよく、その場合は、組み合わせもしくは削除に起因したさまざまな効果が得られる。
【図面の簡単な説明】
【００９３】
【図１】本発明の実施の一形態が適用可能な映像記録再生装置（ビデオレコーダ）の一例を示す概略図。
【図２】本発明の実施の一形態として利用可能なオーディオ信号特徴検出部の構成の一例を示す概略ブロック図。
【図３】本発明の実施の一形態であるオーディオ信号特徴検出部において用いられる適応解析制御部の構成の一例を示す概略ブロック図。
【図４】本発明の実施の一形態であるオーディオ信号特徴検出部において用いられるストリーム解析部の構成の一例を示す概略ブロック図。
【図５】本発明の実施の一形態として利用可能なオーディオ信号特徴検出部をソフトウェアとして実現する例を説明するフローチャート。
【図６】図３に示した検索方法判定部において用いられる番組分類情報と検出項目との対応づけの一例を示す概略図。
【図７】図３に示した解析レベル判定部において用いられる検出項目とどの程度まで詳細に解析すべきかの指標となる解析レベルの対応づけの一例を示す概略図。
【符号の説明】
【００９４】
１…ビデオレコーダ（映像記録再生装置）、１０…チューナ部、２０…エンコーダ、２４…ディスクドライブユニット、２６…メモリスロット、３０…デコーダ、４０…主制御ブロック（ストリームパーサ）、５０…オンスクリーン表示（ＯＳＤ）制御部、５２…表示装置、１００，１０２…記録媒体（ＤＶＤ規格の光ディスク）、１０４…ＨＤＤ（ハードディスクドライブ）、１０６…記録媒体（カードメモリ）、４１０…オーディオ信号特徴検出部、４２０…デコーダ部、４３０…ストリーム解析部、４３２…シンタックス（Syntax）解析部、４３４…逆量子化部、４３６…ジョイントステレオ（識別）部、４３８…ＴＮＳ（）部、４４０…メタ情報分析部、４５０…適応解析制御部、４５２…部、４５４…部、４５６…部、４６０…特徴パラメータ変換部、４７０…検出処理部、４８０…インデキシング（Indexing）部。
【図１】
2009157278.tif 000003
【図２】
2009157278.tif 000004
【図３】
2009157278.tif 000005
【図４】
2009157278.tif 000006
【図５】
2009157278.tif 000007
【図６】
2009157278.tif 000008
【図７】
2009157278.tif 000009