(57)【要約】【課題】  映像信号及び／または音声信号の特徴を示す特徴情報の抽出処理にかかる時間を低減させることのできる信号処理装置、及び信号処理方法を提供する。【解決手段】  映像信号及び／または音声信号を符号化するのと同時に、映像信号及び／または音声信号の特徴を示す肌色情報や動きベクトル情報等のデータを抽出することにより、ハイライトシーンのみを再生する際の特徴情報の抽出処理を不要とし、特徴情報の抽出処理にかかる時間を実質０時間にする。【選択図】  図１
2006094183.tif 000002
【特許請求の範囲】
【請求項１】
映像信号及び／または音声信号を符号化するのと同時に、前記映像信号及び／または前記音声信号の特徴を示す特徴情報を抽出する、
ことを特徴とする信号処理方法。
【請求項２】
請求項１記載の信号処理方法において、
前記特徴情報は、
前記映像信号の色差成分、前記映像信号の輝度成分、前記映像信号の色差成分を演算処理したもの、前記映像信号の輝度成分を演算処理したもののうちの少なくともいずれか１つである、
ことを特徴とする信号処理方法。
【請求項３】
請求項１記載の信号処理方法において、
前記特徴情報は、
前記映像信号の動きベクトルの大きさを示す動きベクトル情報である、
ことを特徴とする信号処理方法。
【請求項４】
請求項１記載の信号処理方法において、
前記特徴情報を、前記映像信号及び／または前記音声信号の符号化データ中の特定の領域に多重化する、
ことを特徴とする信号処理方法。
【請求項５】
請求項１に記載の信号処理方法において、
前記映像信号及び／または前記音声信号の特性を示す特性情報を入力し、
前記特徴情報が複数種類ある場合は、前記特性情報に基づいて、抽出すべき特徴情報を選択する、
ことを特徴とする信号処理方法。
【請求項６】
映像信号を符号化する信号処理装置であって、
前記符号化処理に並行して、前記映像信号が所定量以上の肌色成分を有するか否かを示す肌色情報を抽出し当該装置外部に出力する肌色情報抽出部を備える、
ことを特徴とする信号処理装置。
【請求項７】
映像信号を符号化する信号処理装置であって、
前記符号化処理に並行して、前記映像信号の動きベクトルの大きさを示す動きベクトル情報を抽出し当該装置外部に出力する動きベクトル検出部を備える、
ことを特徴とする信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置、及び信号処理方法に関し、特に、ハイライトシーンを検出するのに用いる、映像信号及び／または音声信号の特徴を示す特徴情報を抽出するものに関するものである。
【背景技術】
【０００２】
近年、ＤＶＤレコーダやＨＤＤ（Hard Disk Drive）レコーダ等の大容量記憶装置の出現や、高効率な符号化技術の出現により、何百時間もの大量の映像や音声を容易に家庭で記録できるような状況となってきた。将来的には、全チャンネルの映像や音声をすべて２４時間記録するような装置が登場するものと考えられる。このような状況となると、例えば、スポーツ等のハイライトシーンのみを見たい、などの要求が出るものと考えられる。これを実現するには、そのシーンの特徴を示す特徴情報を検出する必要があり、従来はハイライトシーンのみを再生する際に、一旦符号化されているデータをパーシング（即ちデコード処理）して、シーンの特徴情報を抽出していた（例えば、特許文献１参照。）。
【特許文献１】特表２００３−５１６０５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の信号処理装置、及び信号処理方法では、ハイライトシーンのみを再生する際に、シーンの特徴情報の抽出処理を行なっており、その処理時間が必要となるため、再生までに時間がかかるといった問題があった。
【０００４】
本発明は、上記のような従来の問題点を解決するためになされたものであり、特徴情報の抽出処理にかかる時間を低減させることのできる信号処理装置、及び信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の請求項１に係る信号処理方法は、映像信号及び／または音声信号を符号化するのと同時に、前記映像信号及び／または前記音声信号の特徴を示す特徴情報を抽出するものである。
【０００６】
本発明の請求項２に係る信号処理方法は、請求項１記載の信号処理方法において、前記特徴情報が、前記映像信号の色差成分、前記映像信号の輝度成分、前記映像信号の色差成分を演算処理したもの、前記映像信号の輝度成分を演算処理したもののうちの少なくともいずれか１つであるものとしたものである。
【０００７】
本発明の請求項３に係る信号処理方法は、請求項１記載の信号処理方法において、前記特徴情報が、前記映像信号の動きベクトルの大きさを示す動きベクトル情報であるものとしたものである。
【０００８】
本発明の請求項４に係る信号処理方法は、請求項１記載の信号処理方法において、前記特徴情報を、前記映像信号及び／または前記音声信号の符号化データ中の特定の領域に多重化するものとしたものである。
【０００９】
本発明の請求項５に係る信号処理方法は、請求項１に記載の信号処理方法において、前記映像信号及び／または前記音声信号の特性を示す特性情報を入力し、前記特徴情報が複数種類ある場合に、前記特性情報に基づいて、抽出すべき特徴情報を選択するものとしたものである。
【００１０】
本発明の請求項６に係る信号処理装置は、映像信号を符号化する信号処理装置であって、前記符号化処理に並行して、前記映像信号が所定量以上の肌色成分を有するか否かを示す肌色情報を抽出し当該装置外部に出力する肌色情報抽出部を備えるものである。
【００１１】
本発明の請求項７に係る信号処理装置は、映像信号を符号化する信号処理装置であって、前記符号化処理に並行して、前記映像信号の動きベクトルの大きさを示す動きベクトル情報を抽出し当該装置外部に出力する動きベクトル検出部を備えるものである。
【発明の効果】
【００１２】
本発明に係る信号処理装置、及び信号処理方法は、映像信号及び／または音声信号を符号化するのと同時に、映像信号の色差成分や、映像信号の輝度成分、映像信号の色差成分を演算処理したもの、映像信号の輝度成分を演算処理したもの、動きベクトル情報等の、映像信号及び／または音声信号の特徴を示す特徴情報を抽出することにより、ハイライトシーンのみを再生する際の特徴情報の抽出処理を不要としたので、特徴情報の抽出処理にかかる時間を実質０時間にすることができ、その結果、高速でハイライトシーンのみの再生を行なうことができるという効果がある。
【発明を実施するための最良の形態】
【００１３】
実施の形態１．
以下に、本発明の実施の形態について添付図面を参照して説明する。
図１は、本発明の実施の形態１による信号処理装置、及びその周辺機器を示すブロック図である。
【００１４】
図において、１００は信号処理装置、１１０はＮＴＳＣ（National Television Standards Committee）デコーダ、１１１は外部メモリ、１１２はＤＶＤやＨＤＤ（Hard Disk Drive）等の外部記憶器である。
【００１５】
信号処理装置１００は、ＮＴＳＣデコーダ１１０の出力信号をダウンサンプリングするダウンサンプリング部１０２、及びＮＴＳＣデコーダ１１０の出力信号から肌色情報を抽出する肌色情報抽出部１０３を有するＶｉｄｅｏＩＦ（Video Intermediate Frequency）部１０１と、動きベクトル検出処理を行なうＭＥ（Motion Estimation）部１０４と、動き補償処理を行なうＭＣ（Motion Compensation）部１０５と、離散コサイン変換及び量子化を行なうＤＣＴ／Ｑ（Discrete Cosine Transform / Quantization）部１０６と、可変長符号化するＶＬＣ（Variable Length Coding）部１０７とから構成されており、地上波アナログ信号を符号化すると同時に、その映像信号の特徴を示す特徴情報として肌色情報と動きベクトル情報とを抽出し、外部記憶器１１２に出力するものである。
【００１６】
以下に、本実施の形態１による信号処理方法について説明する。
まず、ＮＴＳＣデコーダ１１０は、地上波アナログ信号入力１２３を４（Ｙ）：２（Ｃｒ）：２（Ｃｂ）のデジタル信号に変換し、ダウンサンプリング部１０２及び肌色情報抽出部１０３に出力する。ここで、Ｙは輝度信号を表し、Ｃｒ，Ｃｂは、それぞれの色差成分を表している。
【００１７】
信号処理装置１００内のＶｉｄｅｏＩＦ部１０１のダウンサンプリング部１０２は、４（Ｙ）：２（Ｃｒ）：２（Ｃｂ）信号を通常の圧縮規格（ＭＰＥＧ１，ＭＰＥＧ２，Ｈ．２６Ｘ）の対象となる４（Ｙ）：２（Ｃｒ，Ｃｂ）：０の信号に変換する。
【００１８】
また、ＶｉｄｅｏＩＦ部１０１内にある肌色情報抽出部１０３は、肌色成分の画素数を算出して「肌色」か「肌色でない」かを判定し、その判定結果を示す肌色情報１２２を外部記憶器１１２に出力する。
【００１９】
以下に、肌色情報抽出部１０３による肌色情報抽出処理について詳述する。
図２は、本発明の実施の形態１による肌色情報抽出部１０３の肌色情報抽出方法を説明するためのフローチャートである。
【００２０】
まず、ＮＴＳＣデコーダ１１０で変換されたデジタル信号のＣｒ成分が、最大値の限界値を示す所定のＣｒ＿Ｍａｘと最小値の限界値を示す所定のＣｒ＿ＭＩＮとの間にあるかどうかを判断する（ステップ２０１）。条件を満たせばステップ２０２に進み、満たさなければ「肌色でない」と判定する。
【００２１】
次に、ＮＴＳＣデコーダ１１０で変換されたデジタル信号のＣｂ成分が、最大値の限界値を示す所定のＣｂ＿Ｍａｘと最小値の限界値を示す所定のＣｂ＿ＭＩＮとの間にあるかどうかを判断する（ステップ２０２）。条件を満たせばステップ２０３に進み、満たさなければ「肌色でない」と判定する。
【００２２】
最後に、ステップ２０１及びステップ２０２でＣｒ成分の条件とＣｂ成分の条件とを満たしたものの個数が、所定の最小値を示すＮｕｍｂｅｒ＿ｌｉｍ以上であるかどうかを判断し（ステップ２０３）、Ｎｕｍｂｅｒ＿ｌｉｍ以上であれば、「肌色」と判定し、Ｎｕｍｂｅｒ＿ｌｉｍ以上でなければ「肌色でない」と判定する。
【００２３】
ＶｉｄｅｏＩＦ部１０１内のダウンサンプリング部１０２で、４：２：０にダウンサンプリングされたデータは、外部メモリ１１１に出力された後に、ＭＥ部１０４に入力される。
【００２４】
ＭＥ部１０４は、現フレームと参照フレームとをブロックマッチング法と呼ばれる手法により差分の絶対値和をとり、最小の値を示したものを最適な動きベクトルとし、動きベクトル情報１２１として外部記憶器１１２に出力する。
【００２５】
また、ＭＥ部１０４から出力される動きベクトル情報１２１は、さらにＭＣ部１０５、ＤＣＴ／Ｑ部１０６、及びＶＬＣ部１０７を介し、ビットストリーム１２０として、外部記憶器１１２に出力される。
【００２６】
ＭＥ部１０４が出力した動きベクトル情報１２１と、肌色情報抽出部１０３が出力した肌色情報１２２とは、外部記憶器１１２内の、ビットストリーム１２０とは異なる領域に格納される。
【００２７】
以上の処理により外部記憶器１１２に記録されたデータから、所望のハイライトシーンを再生する際には、例えばスポーツ中継などでは、動きベクトルが大きければ動きが早いものと類推され、動きが早いシーンがハイライトシーンとなると考えられるため、動きベクトルが大きいシーンのみをつないで再生するようにする。また、ドラマなどの場合では、背景画像ではなく人物を中心として映像が構成されていると考えられるため、「肌色」と判定されたシーンのみをつないで再生するようにする。
【００２８】
このように、本実施の形態１による信号処理装置、及び信号処理方法は、地上波アナログ信号を符号化するのと同時に、その符号化の途中で得られる，シーンの特徴となる肌色情報や動きベクトル情報を抽出することにより、ハイライトシーンのみを再生する際の特徴抽出処理を不要としたので、特徴抽出処理にかかる時間を実質０時間にすることができ、その結果、高速でハイライトシーンのみの再生を行なうことができる。
【００２９】
なお、本実施の形態１では、地上波アナログ信号はＮＴＳＣ方式として説明したが、これはＰＡＬ（Phase Alternation by Line）や、ＳＥＣＡＭ（SEquential Couleur A Memoire）等の他の放送方式でも構わない。
【００３０】
また、映像信号の特徴を示す特徴情報として、色差成分を演算処理した肌色情報を用いて説明したが、映像の色差成分や映像の輝度成分、輝度成分を演算処理したものを用いるようにしても構わない。
【００３１】
さらに、映像信号の特徴情報ではなく、音声信号の特徴情報を用いるようにしても構わないし、その両方を用いるようにしても構わない。
【００３２】
また、動きベクトルや肌色情報をビットストリーム中に多重して、外部記憶器に格納するようにしてもよい。このとき、一般にはＭＰＥＧやシステム多重化プログラム中のユーザが任意にデータを指定可能な領域に挿入するが、エンコード側とデコード側との取り決めにより、任意の領域に挿入するようにしても構わない。
【００３３】
また、電子番組ガイド（ＥＰＧ：Electronic Program Guide）のように、映像信号及び／または音声信号の特性を示す特性情報に基づいて、ドラマであれば肌色情報のみを用い、スポーツ中継であれば動きベクトル情報のみを用いるようにする等、特徴情報を選択的に抽出するようにしてもよい。
【産業上の利用可能性】
【００３４】
本発明に係る信号処理装置、及び信号処理方法は、予め符号化時に、そのシーンの特徴を示す特徴情報を抽出するため、ハイライトシーンのみを再生する際には特徴情報を抽出する必要がなく、高速でハイライトシーンのみの再生を行なうＤＶＤレコーダやＨＤＤレコーダ等に有用である。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施の形態１による信号処理装置、及びその周辺機器を示すブロック図である。
【図２】本発明の実施の形態１による肌色情報抽出部の肌色情報抽出方法を説明するためのフローチャートである。
【符号の説明】
【００３６】
１００  信号処理装置
１０１  ＶｉｄｅｏＩＦ部
１０２  ダウンサンプリング部
１０３  肌色情報抽出部
１０４  ＭＥ部
１０５  ＭＣ部
１０６  ＤＣＴ／Ｑ部
１０７  ＶＬＣ部
１１０  ＮＴＳＣデコーダ
１１１  外部メモリ
１１２  外部記憶器
１２０  ビットストリーム
１２１  動きベクトル情報
１２２  肌色情報
１２３  地上波アナログ信号
【図１】
2006094183.tif 000003
【図２】
2006094183.tif 000004