(57)【要約】【課題】映像シーンに合わせて、その映像に適した音声に自動的に調整することのできる映像音声信号処理装置を提供する。【解決手段】映像音声信号処理装置１は、映像シーン更新検出部１３が、デコード処理中に映像デコーダ１１から得られるデコード情報にもとづいて映像シーンの更新を検出し、映像シーン特徴判定部１４が、映像デコーダ１１から出力されるデコード画像から、新しい映像シーンの特徴を判定し、音場制御情報生成部１５が、その映像シーンの特徴に応じて、その映像シーンに適した音場に制御するための音場制御情報を生成し、音場調整部１６が、その音場制御情報にもとづいて、音声デコーダ１２から出力されるデコード音声の音場を調整する。【選択図】図１
2009296274.tif 000002
【特許請求の範囲】
【請求項１】
映像ストリームをデコードする映像デコーダと、
音声ストリームをデコードする音声デコーダと、
前記映像デコーダによる前記デコードの際に前記映像デコーダから得られるデコード情報にもとづいて映像シーンの更新を検出する映像シーン更新検出手段と、
前記映像シーン更新検出手段により新たな映像シーンの開始が検出されると、前記映像デコーダから出力されるデコード画像から、その映像シーンの特徴を判定する映像シーン特徴判定手段と、
前記映像シーン特徴判定手段により判定された映像シーンの特徴に応じて、その映像シーンに適した音場に制御するための音場制御情報を生成する音場制御情報生成手段と、
前記音場制御情報生成手段から出力される音場制御情報にもとづいて、前記音声デコーダから出力されるデコード音声の音場を調整する音場調整手段と
を備えることを特徴とする映像音声信号処理装置。
【請求項２】
前記映像シーン特徴判定手段が、
前記デコード画像から特定の物体を検出する検出手段
を有し、
前記映像シーン特徴判定手段が前記特定の物体が存在するシーンであると判定したときは、
前記音場制御情報生成手段が、
前記音場制御信号として、前記特定の物体が発する音の聴取に適した周波数特性の音声フィルタ情報を生成する
ことを特徴とする請求項１に記載の映像音声信号処理装置。
【請求項３】
前記映像シーン特徴判定手段が、
前記デコード画像から人物の顔を検出する顔検出手段と、
前記顔検出手段により検出された顔から口の動きを検出して、発話しているかどうかを判定する発話判定手段と
を有して、
前記発話判定手段が発話していると判定したときは、現在の映像シーンの特徴が人物の会話シーンであると判定し、
前記映像シーン特徴判定手段が前記人物の会話シーンであると判定したときは、
前記音場制御情報生成手段が、
前記音場制御情報として、人物の会話の聴取に適した周波数特性の音声フィルタ情報を生成する
ことを特徴とする請求項２に記載の映像音声信号処理装置。
【請求項４】
前記映像シーン特徴判定手段が、
前記デコード画像から移動体を検出する移動体検出手段と、
前記移動体検出手段が移動体を検出したときに、前記映像デコーダから出力される前記デコード情報に含まれる動きベクトルデータにもとづいて前記移動体の位置情報を生成する位置情報生成手段と
を有し、
前記移動体検出手段が前記移動体を検出したときは、現在の画像シーンの特徴が移動体の移動シーンであると判定し、検出した移動体の情報および前記位置情報を出力する
ことを特徴とする請求項１または２に記載の映像音声信号処理装置。
【請求項５】
前記音場制御情報生成手段は、
前記映像シーン特徴判定手段から前記移動体の情報および前記位置情報が出力されたときは、前記音場制御情報として、前記移動体の音を強調する音声フィルタ情報、および前記位置情報に応じて左右の音声強度のバランスを変化させる音声強度情報を生成する
ことを特徴とする請求項４に記載の映像音声信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像音声信号処理装置に関する。
【背景技術】
【０００２】
デジタルテレビ放送あるいはオンラインで配信される動画像コンテンツやＤＶＤなどのメディアに格納されるコンテンツは、それぞれが圧縮符号化された画像データと音声データが多重化されたストリームデータ形式となっている。
【０００３】
そこで、これらのコンテンツが入力される映像音声信号処理装置では、まず、入力されたストリームデータを、Ｄｅｍｕｘ（多重信号分離器）で、映像ストリームと音声ストリームとに分離することが行われる。
【０００４】
その後、映像ストリームは、映像デコーダでデコードされ、デコードされた画像は、映像フィルタで画像調整された後に、映像出力装置へ出力される。
【０００５】
一方、音声ストリームは、音声デコーダでデコードされ、デコードされた音声は、音声フィルタで音声調整された後に、音声出力装置へ出力される。
【０００６】
従来、このような映像および音声の出力を行う際に、入力された映像および音声データを単にそのまま再生するだけでなく、映像あるいは音声に何らかの処理を加えることが行われることがある。
【０００７】
例えば、ユーザの嗜好性に合致した特定のシーンが放送されると、字幕および音声出力を同時に強調してシーンの切り替わりをユーザに通知するデジタル放送受信装置が提案されている（例えば、特許文献１参照。）。
【０００８】
この提案されたデジタル放送受信装置により、好みのシーンを見逃したくないという、ユーザの要望が満たされる。
【０００９】
ところで、ユーザの要望として、映像シーンに合わせて、その映像に適した音声に自動的に調整して欲しいという要望がある。例えば、トーク番組で出演者が会話しているシーンでは、人間の会話が聞き取りやすいように音声を自動的に調整して欲しいという要望がある。
【００１０】
しかし、上述の提案の装置では、シーンの切り替わりで音声が強調されるだけで、切り替わったシーンに合わせた音声に調整されるわけではない、という問題があった。
【特許文献１】特開２００５−１０９９２５号公報  （第３−４ページ、図１）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
そこで、本発明の目的は、映像シーンに合わせて、その映像に適した音声に自動的に調整することのできる映像音声信号処理装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の一態様によれば、映像ストリームをデコードする映像デコーダと、音声ストリームをデコードする音声デコーダと、前記映像デコーダによる前記デコードの際に前記映像デコーダから得られるデコード情報にもとづいて映像シーンの更新を検出する映像シーン更新検出手段と、前記映像シーン更新検出手段により新たな映像シーンの開始が検出されると、前記映像デコーダから出力されるデコード画像から、その映像シーンの特徴を判定する映像シーン特徴判定手段と、前記映像シーン特徴判定手段により判定された映像シーンの特徴に応じて、その映像シーンに適した音場に制御するための音場制御情報を生成する音場制御情報生成手段と、前記音場制御情報生成手段から出力される音場制御情報にもとづいて、前記音声デコーダから出力されるデコード音声の音場を調整する音場調整手段とを備えることを特徴とする映像音声信号処理装置が提供される。
【発明の効果】
【００１３】
本発明によれば、映像シーンに合わせて、その映像に適した音声に自動的に調整することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施例を図面を参照して説明する。
【実施例１】
【００１５】
本実施例では、映像音声コンテンツとして、トーク番組で出演者が会話しているコンテンツを想定する。このコンテンツでは、映像としては、出演者の姿、なかでも顔を中心とした姿が納められており、音声としては、その出演者の声が主に収められているものとする。
【００１６】
本実施例の映像音声信号処理装置は、上述の映像音声コンテンツの映像ストリームおよび音声ストリームが入力されたときに、出演者の会話が聞き取りやすいように音声を調整し、出力する。
【００１７】
図１は、本発明の実施例１に係る映像音声信号処理装置の構成の例を示すブロック図である。
【００１８】
本実施例の映像音声信号処理装置１は、入力された映像ストリームをデコードする映像デコーダ１１と、入力された音声ストリームをデコードする音声デコーダ１２と、デコード処理中に映像デコーダ１１から得られるデコード情報にもとづいて映像シーンの更新を検出する映像シーン更新検出部１３と、映像シーン更新検出部１３により新たな映像シーンの開始が検出されると、映像デコーダ１１から出力されるデコード画像から、その映像シーンの特徴を判定する映像シーン特徴判定部１４と、映像シーン特徴判定部１４により判定された映像シーンの特徴に応じて、その映像シーンに適した音場に制御するための音場制御情報を生成する音場制御情報生成部１５と、音場制御情報生成部１５から出力される音場制御情報にもとづいて、音声デコーダ１２から出力されるデコード音声の音場を調整する音場調整部１６と、映像デコーダ１１から出力されるデコード画像に所定のフィルタ処理を行う映像フィルタ１７と、を備える。
【００１９】
映像音声信号処理装置１は、映像シーンが変わるごとに、新たな映像シーンが出演者の会話シーンであるかどうかの判定を行う。そのために、映像シーン更新検出部１３により、映像シーンの更新の検出を行う。
【００２０】
映像シーン更新検出部１３は、デコード処理中に映像デコーダ１１から得られる、シーンチェンジに関するデコード情報にもとづいて、映像シーンの更新を検出する。
【００２１】
シーンチェンジに関するデコード情報とは、例えば、動画像圧縮符号化標準Ｈ．２６４では、ピクチャタイプがＩタイプとなったことを示す情報や、動きベクトルの値がマクロブロックごとにばらばらになったことを示す情報などのことである。
【００２２】
映像シーン特徴判定部１４は、映像デコーダ１１から出力されたデコード画像から人物の顔を検出する顔検出部１４１と、顔検出部１４１により検出された顔から口の動きを検出して、発話しているかどうかを判定する発話判定部１４２と、を有する。
【００２３】
顔検出部１４１は、顔認識技術を用いて、デコード画像の中に人物の顔が含まれているかどうかを検出する。
【００２４】
発話判定部１４２は、顔検出部１４１により検出された顔の中の口の部分の動きに注目し、その口が開閉するなどの動きを示せば、顔検出部１４１により検出された顔が発話していると判定する。
【００２５】
映像シーン特徴判定部１４は、発話判定部１４２が「発話している」と判定すると、現在の映像シーンの特徴は「人物の会話シーン」であると判定する。
【００２６】
音場制御情報生成部１５は、映像シーン特徴判定部１４が「人物の会話シーン」であると判定したときは、音場制御情報として、「人物の会話の聴取に適した周波数特性の音声フィルタ情報」を生成する。
【００２７】
音場調整部１６は、音場制御情報生成部１５から出力される「人物の会話の聴取に適した周波数特性の音声フィルタ情報」に従って、内蔵の音声フィルタの周波数特性を設定し、音声デコーダ１２から出力されるデコード音声に対するフィルタ処理を行う。これにより、音場調整部１６から、人物の会話が聞きやすく調整された音声が出力される。
【００２８】
なお、この音声フィルタ処理は、映像シーン更新検出部１３により新たな映像シーンの更新が検出され、映像シーン特徴判定部１４により、新たな映像シーンが人物の会話シーンではないと判定されるまで継続される。
【００２９】
映像シーン特徴判定部１４により、新たな映像シーンが人物の会話シーンではないと判定されたときは、音場制御情報生成部１５は、音場制御情報として、「標準の周波数特性の音声フィルタ情報」を生成する。これにより、音場調整部１６は、音声デコーダ１２から出力されるデコード音声に対して標準のフィルタ処理を行う。
【００３０】
このような本実施例によれば、映像デコーダから出力されるデコード画像に人物の会話シーンが含まれるかどうかを判定し、人物の会話シーンを検出したときは、音声デコーダから出力されるデコード音声に対して、人物の会話の聴取に適した周波数特性の音声フィルタ処理を自動的に行うことができる。これにより、映像に映し出されている人物の会話を自動的に聞き取りやすくすることができる。
【実施例２】
【００３１】
本実施例では、映像音声コンテンツとして、映像は、自動車レースの自動車のような移動体が画面上を移動し、音声は、モノラル音声であるコンテンツを想定する。
【００３２】
本実施例の映像音声信号処理装置は、上述の映像音声コンテンツの映像ストリームおよび音声ストリームが入力されたときに、その移動体の特徴を強調するよう音声を調整するとともに、移動体の動きに合わせて音も移動させ、臨場感あふれる音声を出力する。
【００３３】
図２は、本発明の実施例２に係る映像音声信号処理装置の構成の例を示すブロック図である。
【００３４】
本実施例の映像音声信号処理装置２は、入力された映像ストリームをデコードする映像デコーダ１１と、入力された音声ストリームをデコードする音声デコーダ１２と、デコード処理中に映像デコーダ１１から得られるデコード情報にもとづいて映像シーンの更新を検出する映像シーン更新検出部１３と、映像シーン更新検出部１３により新たな映像シーンの開始が検出されると、映像デコーダ１１から出力されるデコード画像から、その映像シーンの特徴を判定する映像シーン特徴判定部２４と、映像シーン特徴判定部２４により判定された映像シーンの特徴に応じて、その映像シーンに適した音場に制御するための音場制御情報を生成する音場制御情報生成部２５と、音場制御情報生成部２５から出力される音場制御情報にもとづいて、音声デコーダ１２から出力されるデコード音声の音場を調整する音場調整部１６と、映像デコーダ１１から出力されるデコード画像に所定のフィルタ処理を行う映像フィルタ１７と、を備える。
【００３５】
なお、図２において、実施例１と同等の機能を有するブロックには図１と同じ符号を付し、ここではその詳細な説明を省略する。
【００３６】
本実施例の映像シーン特徴判定部２４は、映像デコーダ１１から出力されたデコード画像から移動体を検出する移動体検出部２４１と、移動体検出部２４１が移動体を検出したときに、映像デコーダ１１から出力されるデコード情報に含まれる動きベクトルデータにもとづいて、その移動体の位置情報を生成する位置情報生成部２４２と、を有する。
【００３７】
移動体検出部２４１は、デコード画像から抽出したパターン画像を、予め登録されている自動車、電車、航空機などの参照パターンと比較して、一致度の高い参照パターンを検出したときに、その参照パターンの移動体を検出したと判定する。
【００３８】
移動体検出部２４１は、検出した移動体の種別に関し、移動体情報を生成する。
【００３９】
位置情報生成部２４２は、移動体検出部２４１が移動体を検出したときに、その画像の位置と映像デコーダ１１から出力されるデコード情報に含まれる動きベクトルデータにもとづいて、その移動体の位置情報を生成する。
【００４０】
映像シーン特徴判定部２４は、移動体検出部２４１が移動体を検出したときは、現在の画像シーンの特徴が移動体の移動シーンであると判定し、移動体検出部２４１で生成した移動体情報、および位置情報生成部２４２で生成した位置情報を、音場制御情報生成部２５へ出力する。
【００４１】
音場制御情報生成部２５は、移動体検出部２４１で生成された移動体情報にもとづいて、検出された移動体の特徴を強調する音声フィルタ情報、例えば、移動体が自動車であれば、エンジン音などを強調する音声フィルタ情報を生成する。
【００４２】
また、音場制御情報生成部２５は、位置情報生成部２４２で生成された位置情報にもとづいて、左右の音声強度のバランスを変化させる音声強度情報を生成する。
【００４３】
音場調整部１６は、音場制御情報生成部２５から出力される「移動体の特徴を強調する音声フィルタ情報」に従って、内蔵の音声フィルタの周波数特性を設定し、音声デコーダ１２から出力されるデコード音声に対するフィルタ処理を行う。
【００４４】
また、音場調整部１６は、音場制御情報生成部２５から出力される「左右の音声強度」に従って、スピーカなどの音声出力装置の左右の音声の強度を変化させる。
【００４５】
なお、本実施例においても、映像シーン更新検出部１３により新たな映像シーンの更新が検出されたときに、映像シーン特徴判定部２４が、新たな映像シーンでは移動体が検出されないと判定したときは、音場制御情報生成部２５は、音場制御情報を、「標準の周波数特性の音声フィルタ情報」に変更する。これにより、音声デコーダ１２から出力されるデコード音声に対する音場調整部１６の処理は、標準のフィルタ処理に変更される。また、左右の音声強度のバランスも標準状態に設定される。
【００４６】
このような本実施例によれば、映像デコーダから出力されるデコード画像に移動体が含まれるかどうかを判定し、移動体を検出したときは、音声デコーダから出力されるデコード音声に対して、検出した移動体の特徴を強調する音声フィルタ処理を自動的に行うとともに、画面上の移動体の動きに合わせて音声を移動させることができる。これにより、モノラル音声のコンテンツであっても、映像に映し出される移動体の動きに合わせて音が移動する、臨場感あふれる音声を楽しむことができる。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施例１に係る映像音声信号処理装置の構成の例を示すブロック図。
【図２】本発明の実施例２に係る映像音声信号処理装置の構成の例を示すブロック図。
【符号の説明】
【００４８】
１、２  映像音声信号処理装置
１１  映像デコーダ
１２  音声デコーダ
１３  映像シーン更新検出部
１４、２４  映像シーン特徴判定部
１５、２５  音場制御情報生成部
１６  音場調整部
１７  映像フィルタ
１４１  顔検出部
１４２  発話判定部
２４１  移動体検出部
２４２  位置情報生成部
【図１】
2009296274.tif 000003
【図２】
2009296274.tif 000004