(57)【要約】【課題】効果音やＢＧＭなどの背景音が流れるシーンであっても、違和感が生じない音声定位技術を提供する。【解決手段】映像音声出力装置１は、映像を解析して、話者の位置を特定する映像解析部１１と、特定した話者の位置に音声を定位させるように話者音声定位パラメータの値を設定する話者音声定位パラメータ設定部１２と、音声を解析して背景音の特徴量を算出する音声解析部１３と、解析された背景音の特徴量に基づいて、背景音の大きさが予め定めた閾値以上の大きさと判定した場合には、設定された話者音声定位パラメータの値に対して、定位位置の変更を小さくするように話者音声定位パラメータの値を調整する話者音声定位パラメータ調整部１４と、調整された話者音声定位パラメータの値に従って音声の定位変更を行う定位処理部１５と、定位処理部１５により定位変更された音声を出力する音声出力部１７と、を備える。【選択図】図１
2010041484.tif 000002
【特許請求の範囲】
【請求項１】
音声定位パラメータに基づいて音声定位を制御する映像音声出力装置であって、
映像を解析して、話者の位置を特定する話者位置特定手段と、
前記話者位置特定手段により特定した話者の位置に音声を定位させるように前記音声定位パラメータの値を設定する音声定位パラメータ設定手段と、
音声を解析して、背景音の特徴量を算出する背景音解析手段と、
前記背景音解析手段により解析された背景音の特徴量に基づいて、背景音の大きさが予め定めた閾値以上の大きさと判定した場合には、前記音声定位パラメータ設定手段で設定された音声定位パラメータの値に対して、定位位置の変更を小さくするように前記音声定位パラメータの値を調整する音声定位パラメータ調整手段と、
前記音声定位パラメータ調整手段により、調整された音声定位パラメータの値に従って音声の定位変更処理を行い、映像及び音声を出力する定位変更出力手段と、
を備えることを特徴とする映像音声出力装置。
【請求項２】
前記背景音解析手段は、
前記音声の周波数特性を解析して、高域である第１周波数以上の周波数、または低域である第２周波数以下に含まれるエネルギーを算出し、算出したエネルギーを背景音の特徴量とすることを特徴とする請求項１記載の映像音声出力装置。
【請求項３】
前記背景音解析手段は、
前記音声の左信号と右信号の差分信号を算出し、算出した差分信号を背景音の特徴量とすることを特徴とする請求項１記載の映像音声出力装置。
【請求項４】
前記音声定位パラメータ調整手段は、表示画面の中心方向の位置に音声を定位させるように前記音声定位パラメータの値を調整することを特徴とする請求項１乃至３のいずれか１項に記載の映像音声出力装置。
【請求項５】
前記話者位置特定手段は、映像における人の顔の位置を検出して、検出した顔の口の動きから、話者を特定し、特定した話者の口近傍を話者の位置とすることを特徴とする請求項１乃至４のいずれか１項に記載の映像音声出力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像及び音声を含むコンテンツデータを出力する映像音声出力装置に関し、特に、映像の話者位置に応じて音声の定位を決定し、音声出力制御を行う映像音声出力装置に関する。
【背景技術】
【０００２】
テレビ放送などの番組コンテンツを受信して、ディスプレイに映像を表示するとともにスピーカから音声を出力する場合、モノラル音声においてはスピーカの位置から人の声が聞こえるようになっている。また、ステレオ／サラウンド音声においては、多くの場合、画面中央に人の声を定位させて、画面中央から人の声が聞こえるようになっている。
【０００３】
しかしながら、一般に、ディスプレイ上の話者位置に人の声が定位していると臨場感が増すことが知られているため、従来においては、映像解析により話者位置を特定し、話者位置に音声を定位させる音声定位技術が開示されている。
【０００４】
例えば、特許文献１では、話者の位置を検出し、検出した位置に応じて、複数のスピーカから出力する音声の音量を制御している。また、特許文献２では、発話者の位置を特定し、特定した位置に応じて、エフェクトや音量調整を行い、最適なスピーカから音声データを出力している。
【０００５】
【特許文献１】特開平１１−３１３２７２号公報
【特許文献２】特開２００７−１１０５８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来技術においては、シーンの内容を考慮せずに、話者位置に音声を定位させているため、シーンによっては、臨場感を高めるどころか、却ってストレスを感じてしまう場合がある。例えば、効果音やＢＧＭなどの背景音が流れるシーンにおいても、効果音やＢＧＭなどの背景音を話者位置から出力するため、当該シーンを視聴している視聴者は、却ってストレスを感じてしまうという問題がある。
【０００７】
このように従来技術においては、シーンの内容を考慮せずに、一律に話者位置に音声を定位させているため、効果音やＢＧＭなどの背景音が流れるシーンにおいては、臨場感を高めるどころか、却って違和感が生じるという問題がある。
【０００８】
本発明は上記の事情を鑑みてなされたものであり、その課題の一例としては、話者位置を特定して、特定した話者位置に音声を定位させる音声定位技術において、効果音やＢＧＭなどの背景音が流れるシーンであっても、違和感を生じない映像音声出力装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の課題を達成するため、請求項１記載の映像音声出力装置は、音声定位パラメータに基づいて音声定位を制御する映像音声出力装置であって、映像を解析して、話者の位置を特定する話者位置特定手段と、前記話者位置特定手段により特定した話者の位置に音声を定位させるように前記音声定位パラメータの値を設定する音声定位パラメータ設定手段と、音声を解析して、背景音の特徴量を算出する背景音解析手段と、前記背景音解析手段により解析された背景音の特徴量に基づいて、背景音の大きさが予め定めた閾値以上の大きさと判定した場合には、前記音声定位パラメータ設定手段で設定された音声定位パラメータの値に対して、定位位置の変更を小さくするように前記音声定位パラメータの値を調整する音声定位パラメータ調整手段と、前記音声定位パラメータ調整手段により、調整された音声定位パラメータの値に従って音声の定位変更処理を行い、映像及び音声を出力する定位変更出力手段と、を備えることを特徴とする。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を用いて説明する。
【００１１】
図１は、本発明の実施の形態に係る映像音声出力装置１の概略構成図である。映像音声出力装置１は、音声データの背景音を考慮しつつ、話者位置に合わせた音声定位で音声を出力する装置であり、詳しくは、映像解析部１１、話者音声定位パラメータ設定部１２、音声解析部１３、話者音声定位パラメータ調整部１４、定位処理部１５、映像表示部１６、及び音声出力部１７を備えている。
【００１２】
ここで、映像音声出力装置１は、外部から入力された映像及び音声を含むコンテンツデータを再生して外部に出力する機能を有する装置であれば何であってもよく、例えば、具体的には、テレビジョン（ＴＶ）、ＤＶＤプレーヤ及びレコーダ、ＢＤプレーヤ及びレコーダ、パーソナルコンピュータ（ＰＣ）などが想定される。また、「背景音」とは、効果音やＢＧＭなど、人の発話以外の音声をいう。また、「話者」とは、映像データ（画面上）において発話している者をいい、「話者位置」とは、話者の画面上の位置をいうが、より正確には話者の顔（特に口）付近の位置をいう。また、「話者位置に合わせた音声定位で音声を出力する」とは、例えば、話者が画面上左側に存在する場合には、画面左側に設けたスピーカから出力される音声の音量を大きくするなどして、話者の位置から音声が聞こえてくるように音声を出力することをいう。
【００１３】
映像解析部１１は、入力した映像データを映像表示部１６に出力する（音声データと同期させるため、必要に応じて映像データを遅延させて映像表示部１６に出力する）とともに、入力した映像データから話者位置を特定するようになっている。話者位置の特定方法については、公知の技術を用いて行われる。例えば、映像データから人の顔面の領域を検出し、顔面の中の口の動きを検出することで、話者を特定するようにしてもよい。この際、口の動きの検出においては、前後数フレームの映像データを用いて、口領域の輝度などの差分を特徴量として算出し、算出した特徴量の値が最も大きい口領域を持った人を話者と判定とすれば、複数の顔面が検出された場合であっても、話者を特定することができる。
【００１４】
また、映像解析部１１は、特定した話者の位置を話者音声定位パラメータ設定部１２に出力するようになっている。
【００１５】
話者音声定位パラメータ設定部１２は、映像解析部１１から入力された話者位置に音声データを定位させるためのパラメータ（以下、話者音声定位パラメータという）の値を設定するようになっている。ここで、「話者位置に音声データを定位させるためのパラメータの値」とは、話者位置から音が聞こえるように音声が出力されるためのパラメータの値をいい、例えば、複数備えたスピーカのうち、話者位置の近くに設置されたスピーカの音量を大きくし、他のスピーカの音量を小さくするような音量調整に関するパラメータ値（複数のスピーカのそれぞれに対する音量設定値）を意味する。
【００１６】
また、話者音声定位パラメータ設定部１２は、設定された話者音声定位パラメータ値を話者音声定位パラメータ調整部１４に出力するようになっている。
【００１７】
音声解析部１３は、入力した音声データを定位処理部１５に出力するとともに、入力した音声データを解析して、背景音の特徴量を算出するようになっている。背景音の特徴量を算出する方法としては、本実施の形態では、音声データをフーリエ変換により周波数領域に変換し、周波数スペクトル（パワースペクトル）から背景音の特徴量を算出する方法を採用している。背景音は一般に高域または低域に偏在するので、高域または低域のパワー（エネルギー）を背景音の特徴量とする。例えば、８０Ｈｚ以下、あるいは３０００Ｈｚ以上の周波数領域に存在するパワーを背景音の特徴量としてもよい。
【００１８】
また、音声解析部１３は、算出した背景特徴量を話者音声定位パラメータ調節部１４に出力するようになっている。
【００１９】
話者音声定位パラメータ調整部１４は、話者音声定位パラメータ設定部１２で設定された話者音声定位パラメータの値を入力するとともに、音声解析部１３が出力する背景音の特徴量を入力して、設定された話者音声定位パラメータの値を調整するようになっている。詳しくは、背景音の特徴量が予め定めた閾値以上であるか否かを判断し、背景音の特徴量が予め定めた閾値以上であり、背景音が大きいと判断した場合には、現在の話者位置に音声を定位させる音声定位変更量を小さくするように話者音声定位パラメータの値を調整（修正）するようになっている。
【００２０】
ここで「現在の話者位置に音声を定位させる音声定位変更量を小さくするように話者音声定位パラメータの値を調整する」とは、例えば、背景音が流れる中、一人の人物が画面上左側から右側に移動した場合を例に挙げて説明すると、背景音を全く考慮しないときには、右側のスピーカの音量をＡ１の大きさで出力するように設定した話者音声定位パラメータの値Ｐ１を、右側のスピーカの音量をＡ２（＜Ａ１）の大きさで出力するように設定した話者音声定位パラメータの値Ｐ２に調整することをいう。すなわち、この場合には、話者位置が左側から右側に移動したとしても、話者音声定位パラメータの値を話者位置に追随させて極端には変化させず、例えば、画面中央位置等に音声を定位させるなど、緩やかに変化させるように話者音声定位パラメータの値を調整する。この結果、背景音が大きく出力されている最中に話者位置が変更されたとしても、背景音の定位位置を極端に変更させないので、視聴者は、違和感を覚えることがない。なお、「音声定位変更量を小さくする」には、入力された音声データ（通常は画面中央位置に定位していることが多い音声データ）に対して音声定位変更量を小さくするようにしてもよいし、また、直前に設定した話者音声定位パラメータの値に対して音声定位変更量を小さくするようにしてもよい。
【００２１】
また、話者音声定位パラメータ調整部１４は、調整された話者音声定位パラメータの値を定位処理部１５に出力するようになっている。
【００２２】
定位処理部１５は、音声データを入力するとともに、話者音声定位パラメータ調整部１４から出力された話者音声定位パラメータの値を入力し、入力した話者音声定位パラメータの値に基づいて、音声データの定位変更処理を行うようになっている。また、定位処理部１５は、定位変更処理した音声データを音声出力部１７に出力するようになっている。
【００２３】
映像表示部１６は、映像解析部１１から出力された映像データをディスプレイ等に表示すべく出力するようになっている。
【００２４】
音声出力部１７は、定位変更処理された音声データをスピーカに出力するようになっている。
【００２５】
い。
【００２６】
次に、図２を参照して、話者音声定位パラメータ調整部１４の機能、すなわち、背景音が大きいシーンにおいて話者が移動する場合の話者音声定位パラメータの調整について具体的に説明する。
【００２７】
なお、図２に示す具体例においては、図３に示すような座標系を用いて説明する。すなわち、１４４０×１０８０の画像サイズにおいて、画面左上を原点、横方向をＸ軸、縦方向をＹ軸としてピクセル単位に座標系を構成している。ここで、画面上で特定される話者ＳＰの位置は、顔面の位置であり、本実施形態では、矩形な顔領域Ｆの四隅の座標を話者ＳＰの位置としている。具体的には、顔領域Ｆの左上の頂点Ｓ０（Ｘ０，Ｙ０）、右上の頂点Ｓ１（Ｘ１，Ｙ１）、左下の頂点Ｓ２（Ｘ２，Ｙ２）、及び右下の頂点Ｓ３（Ｘ３，Ｙ３）により、話者ＳＰの位置を特定している。
【００２８】
また、図２に示す具体例においては、上述した話者音声定位パラメータを話者音声定位位置Ｐ（Ｐｘ，Ｐｙ）として説明し、話者音声定位位置Ｐから音声が聞こえるように音声は調整されて出力されるものとする。なお、図２に示す具体例は、通常時においては、話者音声定位位置Ｐは、特定された話者の顔領域Ｆの中心位置に設定され、背景音が大きいシーンにおいて話者位置が変わるときは、話者音声定位位置Ｐは、画面の中心位置に設定される場合を示している。
【００２９】
図２（ａ）は、話者Ａが画面上左側の位置に存在する場合を示している。具体的には、図２（ａ）に示すように、話者Ａの顔領域Ｆは、Ｓ０（２００，２２０）、Ｓ１（５８０，２２０）、Ｓ２（２００，６００）、Ｓ３（５８０，６００）なので、話者音声定位位置Ｐは、顔領域Ｆの中心であるＰ１（３９０，４１０）となっている。
【００３０】
一方、図２（ｂ）は、話者Ａが画面上左側から右側に移動し、右側に存在する場合を示している。具体的には、図２（ｂ）に示すように、話者Ａの顔領域Ｆは、Ｓ０（８６０，２２０）、Ｓ１（１２４０，２２０）、Ｓ２（８６０，６００）、Ｓ３（１２４０，６００）なので、顔領域Ｆの中心はＰ２（１０５０，４１０）であるが、話者音声定位位置Ｐは、画面の中心位置であるＰ３（７２０，５４０）となっている。
【００３１】
このように、背景音が大きく流れているシーンにおいて、話者Ａが移動して話者位置が変更される場合には、音声（話者音声及び背景音）を画面中央位置に定位させ視聴者に違和感を生じさせないようにしている。なお、背景音を考慮しなければ、話者音声は、話者位置に追随して話者位置に定位させるので、話者音声定位位置ＰはＰ２（１０５０，４１０）となる。
【００３２】
すなわち、背景音を考慮して話者音声定位位置Ｐを決める場合には、話者音声定位位置ＰはＰ１（３９０，４１０）からＰ３（７２０，５４０）に変更されるが、背景音を考慮せずに話者音声定位位置Ｐを決める場合には、話者音声定位位置ＰはＰ１（３９０，４１０）からＰ２（１０５０，４１０）に変更される。ここで、Ｐ１（３９０，４１０）→Ｐ３（７２０，５４０）の位置変更は、Ｐ１（３９０，４１０）→Ｐ２（１０５０，４１０）の位置変更に比べて変更量が小さくなっており、このことは、上述した「音声定位変更量を小さくするように話者音声定位パラメータの値を調整する」を具体的に示すものとなっている。
【００３３】
次に、図４を参照して、本実施の形態の映像音声出力装置１の映像音声出力処理について説明する。図４は、映像音声出力装置１の背景音を考慮して、音声定位制御を行う映像音声出力処理の流れを示すフローチャートである。
【００３４】
まず、映像音声出力装置１の映像解析部１１が入力された映像データを解析して、映像データの話者位置を特定する（ステップＳ１０）。
【００３５】
次に、映像音声出力装置１の話者音声定位パラメータ設定部１２は、特定された話者位置に基づいて、話者音声定位パラメータの値を設定する（ステップＳ２０）。
【００３６】
次に、映像音声出力装置１の音声解析部１３は、入力された音声データを解析して、音声データを周波数領域に変換し、背景音の特徴量を算出する（ステップＳ３０）。例えば、８０Ｈｚ以下、あるいは３０００Ｈｚ以上の周波数領域に存在するエネルギーを背景特徴量として算出する。
【００３７】
次に、映像音声出力装置１の話者音声定位パラメータ調整部１４は、算出された背景音の特徴量に基づいて、入力された音声データの低域または高域のエネルギーが高いか否かを判定する（ステップＳ４０）。すなわち、算出された背景音の特徴量が予め定めた閾値以上であるか否かを判定する。
【００３８】
背景音の特徴量が閾値以上であり、入力された音声データの低域または高域のエネルギーが高いと判定した場合には（ステップＳ４０：ＹＥＳ）、背景音が大きいと判定し（ステップＳ５０）、背景音の特徴量がある閾値未満であり、入力された音声データの低域及び高域のエネルギーは低いと判定した場合には（ステップＳ４０：ＮＯ）、背景音が大きくないと判定する（ステップＳ６０）。
【００３９】
背景音が大きいと判定した場合には（ステップＳ５０）、映像音声出力装置１の話者音声定位パラメータ調整部１４は、話者位置への音声定位変更量が小さくなるように、話者音声定位パラメータの値を調整する（ステップＳ１１０）。
【００４０】
次に、映像音声出力装置１の定位処理部１５は、設定された話者音声定位パラメータの値に従って、音声データの音声定位変更を行う（ステップＳ１２０）。すなわち、背景音が大きいと判定した場合には（ステップＳ５０）、話者位置への音声定位変更量が小さくなるように調整された話者音声定位パラメータの値で音声データの音声定位変更を行い、背景音が大きくないと判定した場合には（ステップＳ６０）、ステップＳ２０で設定された話者音声定位パラメータの値で音声データの音声定位変更を行う。
【００４１】
次に、映像音声出力装置１の映像表示部１６は、映像データを出力し、また、音声出力部１７は、音声定位変更を行われた音声データを出力する。
【００４２】
図５は、本実施の形態の映像音声出力装置１の映像音声出力処理の背景音判定処理の流れの変形例を示すフローチャートであり、図４のステップＳ３０からステップＳ６０に代わるステップを示している。本変形例では、音声データがステレオ音声の場合には、通常、話者の声は画面中央に定位し、左右の音声信号に差分はないが、背景音は左右の音声信号に差分があるので、この差分を利用して、背景音の特徴量を算出している。すなわち、音声解析部１３は、左右の音声信号の差分を背景音の特徴量としている。
【００４３】
詳しくは、まず、映像音声出力装置１の音声解析部１３は、入力された音声データを解析して、音声データの左信号と右信号の差分信号を背景音の特徴量として算出する（ステップＳ７０）。
【００４４】
次に、映像音声出力装置１の話者音声定位パラメータ調整部１４は、算出された背景音の特徴量に基づいて、入力された音声データの差分信号が予め定めた閾値以上であるか否かを判定する（ステップＳ８０）。
【００４５】
背景音の特徴量がある閾値以上である場合には（ステップＳ８０：ＹＥＳ）、左右の音声データに一定以上の差分があるので、背景音は大きいと判定し（ステップＳ９０）、背景音の特徴量がある閾値未満である場合には（ステップＳ８０：ＮＯ）、左右の音声データに一定以上の差分がないので、背景音は大きくないと判定する（ステップＳ１００）。
【００４６】
以上説明したように、上記実施の形態に係る映像音声出力装置１によれば、映像を解析して、話者の位置を特定する映像解析部１１と、映像解析部１１により特定した話者の位置に音声を定位させるように話者音声定位パラメータの値を設定する話者音声定位パラメータ設定部１２と、音声を解析して、背景音の特徴量を算出する音声解析部１３と、音声解析部１３により解析された背景音の特徴量に基づいて、背景音の大きさが予め定めた閾値以上の大きさと判定した場合には、話者音声定位パラメータ設定部１２で設定された話者音声定位パラメータの値に対して、定位位置の変更を小さくするように話者音声定位パラメータの値を調整する話者音声定位パラメータ調整部１４と、話者音声定位パラメータ調整部１４により、調整された話者音声定位パラメータの値に従って音声の定位変更を行う定位処理部１５と、定位処理部１５により定位変更された音声を出力する音声出力部１７と、を備えるので、特定した話者位置に音声を定位させる音声定位技術を備えた装置において、効果音やＢＧＭなどの背景音が流れるシーンで話者位置が変わったとしても、視聴者は、違和感を覚えることはない。例えば、ＢＧＭが流れるシーンの最中に一人の話者が画面上左側から右側に移動しても、ＢＧＭは人の動きに追随させないので、視聴者は違和感を覚えることがない。
【００４７】
また、音声解析部１３は、音声の周波数特性を解析して、高域である第１周波数以上の周波数、または低域である第２周波数以下に含まれるエネルギーを算出し、算出したエネルギーを背景音の特徴量としてもよい。この場合には、音声データの中から背景音を簡単に抽出することができる。
【００４８】
なお、背景音の特徴量の算出方法としては、音声の左信号と右信号の差分信号を算出し、算出した差分信号を背景の特徴量としてもよく、この場合にも音声データの中から背景音を簡単に抽出することができる。
【００４９】
また、話者音声定位パラメータ調整部１４は、表示画面の中心方向の位置に音声を定位させるように話者音声定位パラメータの値を調整するようにしてもよい。効果音やＢＧＭなどの背景音が流れるシーンで話者位置が変わったとしても、音声を画面中心に定位させているので、視聴者は違和感を覚えることなく、快適にコンテンツを視聴することができる。
【００５０】
以上、本発明の実施の形態について説明してきたが、本発明は、上述した実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができ、そのような変形や変更を伴うものもまた、本発明の技術的範囲に含まれるものである。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施の形態に係る映像音声出力装置の概略構成図である。
【図２】本発明の実施の形態に係る映像音声出力装置映像音声出力装置に入力される映像データにおいて話者位置が変わる様子を示す図である。
【図３】本発明の実施の形態に係る映像音声出力装置に入力される映像データの例である。
【図４】本発明の実施の形態に係る映像音声出力装置の背景音を考慮して、音声定位制御を行う映像音声出力処理の流れを示すフローチャートである。
【図５】本発明の実施の形態に係る映像音声出力装置の背景音を考慮して、音声定位制御を行う映像音声出力処理における背景音判定処理の流れの変形例を示すフローチャートである。
【符号の説明】
【００５２】
１  映像音声出力装置
１１  映像解析部
１２  話者音声定位パラメータ設定部
１３  音声解析部
１４  話者音声定位パラメータ調整部
１５  定位処理部
１６  映像表示部
１７  音声出力部
【図１】
2010041484.tif 000003
【図２】
2010041484.tif 000004
【図３】
2010041484.tif 000005
【図４】
2010041484.tif 000006
【図５】
2010041484.tif 000007