(57)【要約】【課題】  ユーザーの操作に応じて、または撮影状況に応じて音声収録後の音声の鑑賞に違和感を感じさせず、自然で聴き取りやすい音声収録を可能とする音声信号処理装置及び電子機器を提供すること。【解決手段】  Ｍ（Ｍは２以上の自然数）個のチャンネルに音声信号を入力する入力部１−１〜１−Ｍと、入力部１−１〜１−Ｍに入力された全ての入力音声信号に対応した自動音量制御を行う。前記入力された音声信号に応じて所定数の前記チャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割するチャンネルグループ分割部４−１〜４−ｎを有し、前記分割されたグループごとに前記各入力音声信号に応じて自動音量制御を行う。【選択図】  図１
2009111519.tif 000002
【特許請求の範囲】
【請求項１】
第１乃至第Ｍ（Ｍは２以上の自然数）のチャンネルに音声信号を入力する入力手段と、
前記入力手段に入力された全ての入力音声信号に対応した自動音量制御を行うものであって、前記入力音声信号に応じて所定数の前記チャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割するチャンネルグループ分割部を含み、前記分割されたグループごとに前記各入力音声信号に応じて自動音量制御を行う音声可変手段とを備える
ことを特徴とする音声信号処理装置。
【請求項２】
前記チャンネルグループ分割部は、前記入力音声信号に応じて前記所定数のチャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割することを決定すると共に、前記チャンネルグループ分割決定部にて決定されたｎ個のグループの中の各入力音声信号の内最も音声信号レベルが大きいものを選択し、
前記チャンネルグループ分割部からの選択結果を受け、選択されたグループに応じて出力信号の出力レベルの目標値を定める変換関数を決定する入出力特性変換関数決定部を有する
ことを特徴とする請求項１記載の音声信号処理装置。
【請求項３】
前記選択されたグループに対応した前記出力レベルの目標値を、前記各入力音声信号に乗じられる係数に所定の時定数処理によって算出された時間遅れに基づいて変換し、該係数を前記選択された各グループに属する全てのチャンネルに共通に適用する係数決定部を有する
ことを特徴とする請求項２記載の音声信号処理装置。
【請求項４】
前記グループ分割決定部にて決定された分割グループ数ｎは前記出力信号のチャンネル数Ｎとの関係において１≦ｎ≦Ｎの条件を満たす
ことを特徴とする請求項２記載の音声信号処理装置。
【請求項５】
前記時定数処理は音声信号レベルを下げるアタック処理と音声信号レベルを上げるリカバリー処理の内の少なくとも一つの処理からなる
ことを特徴とする請求項３記載の音声信号処理装置。
【請求項６】
前記変換関数、前記アタック処理を施すための係数及び前記リカバリー処理を施すための係数の数は１乃至ｎ個の範囲で設定されている
ことを特徴とする請求項５記載の音声信号処理装置。
【請求項７】
映像信号を入力する映像信号入力手段と、
該映像信号に付随した音声信号を第１乃至第Ｍ（Ｍは２以上の自然数）のチャンネルに入力する音声信号入力手段と、
前記入力された映像信号に対応して定められた所定の映像モードに応じて前記所定数のチャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割するチャンネルグループ分割部を含み、前記分割されたグループごとに前記映像モードに応じて前記音声信号入力手段に入力された全ての入力音声信号に対応した自動音量制御を行う音量可変手段とを有する
ことを特徴とする電子機器。
【請求項８】
前記チャンネルグループ分割部は、前記映像モードに応じて前記所定数のチャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割することを決定すると共に、前記グループ分割決定部にて決定されたｎ個のグループの中の各入力音声信号の内最も音声信号レベルが大きいものを選択し、
前記グループ分割部からの選択結果を受け、選択されたグループに応じて出力信号の出力レベルの目標値を定める変換関数を決定する入出力特性変換関数決定部を有する
ことを特徴とする請求項７記載の電子機器。
【請求項９】
前記選択されたグループに対応した前記出力レベルの目標値を、前記各入力音声信号に乗じられる係数に所定の時定数処理によって算出された時間遅れに基づいて変換し、該係数を前記選択された各グループに属する全てのチャンネルに共通に適用する係数決定部を有する
ことを特徴とする請求項８記載の電子機器。
【請求項１０】
撮影された映像信号を入力する映像信号入力手段と、
前記映像信号が撮影パラメータに対応してあらかじめ定められている複数の撮影モードの内のいずれの撮影モードにあたるのかを判別する撮影モード判別手段と、
該映像信号に付随した音声信号を第１乃至第Ｍ（Ｍは２以上の自然数）のチャンネルに入力する音声信号入力手段と、
前記判別された撮影モードに応じて前記所定数のチャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割するチャンネルグループ分割部を含み、前記分割されたグループごとに前記各入力映像信号に応じて前記音声信号入力手段に入力された全ての入力音声信号に対応した自動音量制御を行う音量可変手段を有する
ことを特徴とする電子機器。
【請求項１１】
前記チャンネルグループ分割部は、前記撮影モードに応じて前記所定数のチャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割することを決定すると共に、前記グループ分割決定部にて決定されたｎ個のグループの中の各入力音声信号の内最も音声信号レベルが大きいものを選択し、
前記グループ分割部からの選択結果を受け、選択されたグループに応じて出力信号の出力レベルの目標値を定める変換関数を決定する入出力特性変換関数決定部を有する
ことを特徴とする請求項１０記載の電子機器。
【請求項１２】
前記選択されたグループに対応した前記出力レベルの目標値を、前記各入力音声信号に乗じられる係数に所定の時定数処理によって算出された時間遅れに基づいて変換し、該係数を前記選択された各グループに属する全てのチャンネルに共通に適用する係数決定部を有する
ことを特徴とする請求項１１記載の電子機器。
【請求項１３】
撮影された映像信号を入力する映像信号入力手段と、
該映像信号に付随した音声信号を第１乃至第Ｍ（Ｍは２以上の自然数）のチャンネルに入力する音声信号入力手段と、
前記各チャンネルに入力された入力音声信号相互の相関関係の大小を判別するための相互相関係数を検出する相互相関係数検出部と、
前記相互相関係数の結果に応じて前記所定数のチャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割するチャンネルグループ分割部を含み、前記分割されたグループごとに前記各入力映像信号に応じて前記音声信号入力手段に入力された全ての入力音声信号に対応した自動音量制御を行う音量可変手段を有する
ことを特徴とする電子機器。
【請求項１４】
前記チャンネルグループ分割部は、前記相互相関係数の結果に応じて前記所定数のチャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割することを決定すると共に、前記グループ分割決定部にて決定されたｎ個のグループの中の各入力音声信号の内最も音声信号レベルが大きいものを選択し、
前記グループ分割部からの選択結果を受け、選択されたグループに応じて出力信号の出力レベルの目標値を定める変換関数を決定する入出力特性変換関数決定部を有する
ことを特徴とする請求項１３記載の電子機器。
【請求項１５】
前記選択されたグループに対応した前記出力レベルの目標値を、前記各入力音声信号に乗じられる係数に所定の時定数処理によって算出された時間遅れに基づいて変換し、該係数を前記選択された各グループに属する全てのチャンネルに共通に適用する係数決定部を有する
ことを特徴とする請求項１４記載の電子機器。
【請求項１６】
第１乃至第Ｍ（Ｍは２以上の自然数）のチャンネルに音声信号を入力する入力手段と、
前記入力手段に入力された全ての入力音声信号における同一時刻の音場ベクトルを所定の角度範囲まで角度方向に微分して得られる微分係数と前記所定の角度範囲における各ベクトルの大きさとから主な音源の存在する方向及び該音源のレベルを推定する音源特徴抽出手段と、
前記推定された主な音源の存在する方向と該音源のレベルに応じて前記所定数のチャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割するチャンネルグループ分割部を含み、前記分割されたグループごとに前記各入力音声信号に応じて自動音量制御を行う音量可変手段を有する
ことを特徴とする電子機器。
【請求項１７】
前記チャンネルグループ分割部は、前記推定された主な音源の存在する方向と該音源のレベルに応じて前記所定数のチャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割することを決定すると共に、前記グループ分割決定部にて決定されたｎ個のグループの中の各入力音声信号の内最も音声信号レベルが大きいものを選択し、
前記グループ分割部からの選択結果を受け、選択されたグループに応じて出力信号の出力レベルの目標値を定める変換関数を決定する入出力特性変換関数決定部を有する
ことを特徴とする請求項１６記載の電子機器。
【請求項１８】
前記選択されたグループに対応した前記出力レベルの目標値を、前記各入力音声信号に乗じられる係数に所定の時定数処理によって算出された時間遅れに基づいて変換し、該係数を前記選択された各グループに属する全てのチャンネルに共通に適用する係数決定部を有する
ことを特徴とする請求項１７記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２系統以上の音声信号入力チャンネルを備える音声信号処理装置および電子機器に関し、特に自然で聴き取りやすい音声収録を可能とする音声信号処理装置および電子機器に関する。
【背景技術】
【０００２】
従来、アナログ音声を入力および記録する装置には、その入力音声のレベル（音量）をユーザーの操作や設定に頼ることなく装置自身で自動的に調整するＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）またはＡＬＣ（Ａｕｔｏ Ｌｅｖｅｌ Ｃｏｎｔｒｏｌ）と呼ばれる自動音量制御手段を搭載したものがある。
【０００３】
上記した自動音量制御手段が必要な理由は以下のとおりである。
【０００４】
すなわち、ダイナミックレンジが有限である音声信号処理システムに対しては、その限界を超えるダイナミックレンジを有する音声信号をそのまま入力すると、大音量部分の波形が歪んだり、小音量部分がシステム内部雑音に埋もれて再現不能になり、信号品質が大きく損なわれる。従って、入力音声信号のダイナミックレンジは、必要に応じ入力（記録）前に圧縮しておく必要がある。
【０００５】
また、ダイナミックレンジの広い音声信号をそのまま再生すると、その再生環境（再生装置の電気的・物理的性能や、再生する場所の環境雑音など）によっては、人間にとって聴きとりにくく、聴き疲れしやすくて不都合なことがある。この問題を解決するには、入力音声信号が持つ急峻な音量の増減を適切に緩和しつつ全体のダイナミックレンジを圧縮する必要がある。
【０００６】
上記した問題を解決するには、ユーザー自身が入力音量を最適にするよう常に注意を払いながら設定・調整する方法も考えられるが、多くのユーザーにとってその操作を上手に行うことは容易ではない。特にマイクロフォンを使った生録などで目的音声の収録機会が１度しかないような場合は、音量調整の失敗が許されないため、設定・調整には相当の習熟が必要である。
【０００７】
以下、自動音量制御機能を有する音声信号処理装置の第１の従来技術について図２５を参照して説明する。図２５は、フィードバック方式の音声信号用ＡＧＣシステムの一例である。音声信号処理装置は、入力・出力ともに２系統ずつ、つまり２チャンネルステレオの入力部として入力１００−１，１００−２を備えている。このシステム全体または一部をアナログ信号処理で実現するかディジタル信号処理で実現するかは不問である。なお、アナログ信号処理で実現する場合は可変利得増幅手段の絶対精度が期待できないため、特にこのフィードバック方式が望ましい。入力１００−１，１００−２に入力される入力音声信号はそれぞれ可変利得増幅部１０１−１，１０１−２にて所望の音量調節を受けた後、出力１０７−１，１０７−２に出力されると同時に、レベル検波部１０５−１，１０５−２にも入力される。なお、可変利得増幅手段の代わりに可変減衰手段を用いても良いし、ＡＧＣシステムの全体または一部がディジタル信号処理であれば乗算手段を用いても良い。レベル検波部１０５−１，１０５−２では、例えば入力音声信号に対してエンベロープ検波処理を行う。なお、このＡＧＣシステムがディジタル信号処理であればエンベロープ検波処理の代わりに例えばピークホールド処理を行っても良い。選択部１０４では、レベル検波部１０５−１，１０５−２の出力の大きいほうを選択して該レベル検波信号を比較部１０３へ送出する。
【０００８】
リミッターレベル保持部１０６は、リミッターレベル（レベル制限の目標値）を保持する機能を有する。図２５に示すＡＧＣシステムは、過大な音声信号が入力された場合に、出力信号がこのリミッターレベルを定常的に上回らないように制限するようなリミッター動作を行う。このリミッターレベルは、信号処理システムが許容する最大入力レベルよりもある程度低めに設定される。なお、このリミッターレベルはシステムの内部制御により変更することが可能となるが、システムの外部からの制御によりリミッターレベルを変更可能とする構成にすることもできる。
【０００９】
比較部１０３は、選択部１０４から出力された出力信号の出力レベルと前記リミッターレベルを比較し、差分（エラー）を算出し、エラー情報を送出する。ゲイン決定部１０２は、比較部１０３から出力された前記エラー情報を元にして、可変利得増幅部１０１−１，１０１−２のゲインを決定する変換処理を行う。具体的には、選択部１０４の出力信号の出力レベルがリミッターレベルを超えている場合は可変利得増幅部１０１−１，１０１−２のゲインを通常値よりも下げ、前記リミッターレベルを超えていない場合はゲインを通常値に戻す。このゲイン決定の際、時定数処理も併せて行う。
【００１０】
この時定数処理は具体的にはアタック処理とリカバリー処理の両方、アタック処理およびリカバリー処理のいずれか一方のみの処理をいう。この時定数処理は、ゲイン制御をエラー情報の変化に敏感に追従させず、応答を遅らせる処理である。ゲイン制御をエラー情報の変化に対して敏感に追従させると、音量の増減が激しく頻繁に行われ、人間にとって非常に聴き苦しい音声になってしまうため上記した時定数処理が必要となるのである。ここで、アタック処理とは選択部１０４の出力信号の出力レベルが前記リミッターレベルを超えた場合に該出力レベル（音量）を下げる処理をいい、アタックタイムが長ければ緩やかに出力レベルを下げていくこととなる。リカバリー処理とは選択部１０４の出力信号の出力レベルが前記リミッターレベルを下回った場合に該出力レベル（音量）を上げる処理をいい、リカバリータイムが長ければ緩やかに出力レベルを上げていくこととなる。
【００１１】
音声信号用のＡＧＣシステム、ＡＬＣシステムの場合は、単にダイナミックレンジを圧縮できれば良いのではなく、人間の聴感上自然な音量の増減を実現することが求められている。従って音量を下げるアタック処理についてはアタックタイムを短く、すなわちアタック処理を速くし、音量を上げるリカバリー処理についてはリカバリータイムを長く、すなわちリカバリー処理を遅くするのが一般的である。なお、このアタック特性およびリカバリー特性はシステムの内部制御により変更することが可能であるが、システムの外部からの制御によりアタック、リカバリー特性を変更可能とする構成にすることもできる。
【００１２】
なお、以上の説明はあくまで概念的なものであって、例えば図２５のＡＧＣシステムをアナログ信号処理で実現する場合、ゲイン決定部１０２を省いて、選択部１０４の出力電圧値とリミッターレベルとの差分電圧を、可変利得増幅部１０１−１，１０１−２、すなわちＶＣＡ（Ｖｏｌｔａｇｅ Ｃｏｎｔｒｏｌ Ａｍｐｌｉｆｉｅｒ）に直接与えて音声出力制御（音量制御）を行う構成としてもよい。その場合のアタック特性およびリカバリー特性は、ＶＣＡ制御電圧部に固定抵抗および電荷蓄積キャパシタからなる積分回路を付加することにより実現できる。
【００１３】
以上説明したようにレベル検波からゲイン決定に至る一連のフィードバックループが機能する。図２５に示すＡＧＣシステム全体の入出力特性は図２６のグラフのようになる。フィードバックループによる応答遅れが存在するため、瞬間的に出力信号レベルがリミッターレベルを超える場合も起こりえるが、ある程度時間をおけば（定常的に見れば）、出力レベルはリミッターレベル以下に圧縮され、さらに時定数処理を併用することにより、より人間の聴感上違和感の少ない自然な圧縮を実現できる。
【００１４】
ここではリミッター特性、すなわちリミッターレベルより大きい信号を減衰させることを実現するＡＧＣシステムについてのみ例示したが、この他に、信号レベルが小さくて聴き取りづらい場合にそれを増幅する処理も考えられる。なお、ここではその説明を省略する。
【００１５】
次に、自動音量制御機能を有する音声信号処理装置の第２の従来技術について図２７を参照して説明する。ここでは、音声信号処理装置としてフィードフォワード方式の音声信号用ＡＧＣシステムについて説明する。ここでも、音声信号処理装置は、上記第１の従来例と同様、入力、出力ともに２系統ずつ、すなわち２チャンネルステレオの入力１００−１，１００−２を備えている。このシステム全体または一部をアナログ信号処理で実現するかディジタル信号処理で実現するかは不問である。入力１００−１，１００−２に入力される入力音声信号はそれぞれ、遅延部１１４−１，１１４−２にて後述する信号処理との時間合わせのためのディレイ（遅延）を施した後、乗算器１１５−１，１１５−２に入力され後述する所望の音量調節を受けた後、出力１０７−１，１０７−２に出力される。なお、前記乗算器の代わりに可変利得手段又は可変減衰手段を用いても良い。
【００１６】
一方、入力１００−１、１００−２へ入力された音声信号はレベル検波部１１０−１，１１０−２にも入力される。レベル検波部１１０−１，１１０−２と、その後段にある選択部１１１についての説明は上記した説明と重複するので省く。
【００１７】
入出力特性変換関数決定部１１２は、入出力特性変換関数（図２７のＡＧＣシステムが目標とする入出力特性を決定する関数）を保持し決定する。なお、このＡＧＣシステム全体をディジタル信号処理で実現する場合は、乗算器１１５−１，１１５−２における音量制御が誤差なく正確に行えるため、複雑な入出力特性が容易に実現可能である。図２８は、一例として特性曲線を外部からの制御によってリアルタイムに（ダイナミックに）可変させたり、入力信号のレベルが所定レベルより小さい場合は出力レベルをゼロに固定してしまうベースノイズクリップ処理を行う場合についてのＡＧＣシステムの入出力特性を例示している。
【００１８】
この入出力特性変換関数から出力目標値が決定され、該出力目標値が次段の係数決定部１１３によって実際に乗算器１１５−１，１１５−２に与える係数へ変換されてアタック処理およびリカバリー処理が施され、乗算器１１５−１，１１５−２に該係数が与えられ、出力１０７−１，１０７−２から出力される出力信号の出力レベル（音量）が操作される。この時、例えば外部からの制御でこのアタック処理およびリカバリー処理の特性を変更可能な構成にしたり、係数を決定する際の変換式を変更可能な構成にすることもできる。
【００１９】
フィードフォワード方式のＡＧＣシステムの場合、遅延部１１４−１，１１４−２におけるディレイ時間を適切に決めることで、応答遅れのない制御が可能になるため、フィードバック方式に比べより歪みの少ないＡＧＣ処理が可能になる。
【００２０】
なお、ここではリミッター特性（リミッターレベルより大きい信号を減衰させる）を実現するＡＧＣについてのみ例示したが、この他に、信号レベルが小さくて聴き取りづらい場合にそれを増幅する処理も考えられる。ここでは説明を省略する。
【００２１】
以上、２チャンネルステレオの音声入力装置におけるＡＧＣシステムを大の従来例、第２の従来例として説明したが、両者は、レベル検波結果は、２つのチャンネルのうちの値が大きい方を採用しており、ゲイン（係数）制御は、２つのチャンネルに対して同一に行っている点が共通している。
【００２２】
このようにする理由は、２チャンネルステレオ音声は、互いのチャンネルの音量差、位相差でステレオ感を表現しているので、両チャンネルの音量は全く同等に増減させなければ元々のステレオ感が変化してしまうためである。すると、両チャンネルいずれにも過大入力歪みを発生させないためには、レベル検波値は両チャンネルのうちのいずれか値が大きい方を採用する必要があるからである。
【００２３】
この考え方は、サラウンド音声入力(記録)装置にも当てはまる。サラウンド音声の音量を操作する場合は、全てのチャンネルを同等に増減させなければサラウンド音場感、音像定位は変化してしまう。これを避けるため、現状のサラウンド音声入力(記録)装置、中でも特にサラウンド録音機能を備えたカメラ一体型ビデオに搭載されているＡＧＣシステムの多くは、全チャンネルの検波値のうちの最大値を選択し、全チャンネルを共通制御している。
【００２４】
なお、関連する先行技術文献として以下の特許文献１が挙げられる。該特許文献１には、撮影映像に対応するように、マルチチャンネルの音声信号によるサラウンド音場を可変しながら収録することができるビデオカメラ装置が開示されている。
【００２５】
具体的には、前記ビデオカメラ装置は、撮像結果を取得して映像信号を出力する映像信号の処理系と、入力音声信号を取得してサラウンド音場を形成するマルチチャンネルの音声信号を出力する音声信号の処理系と、前記映像信号及び前記マルチチャンネルの音声信号を記録媒体に記録する記録部と、前記映像信号の処理系及び前記音声信号の処理系を制御する制御部とを備えている。
【００２６】
ここで、前記制御部は、ユーザーによる撮影モードの指定により、前記映像信号の処理系の制御により前記映像信号による映像を可変すると共に、前記音声信号の処理系の制御により前記マルチチャンネルの音声信号の特性を可変することにより、前記撮影モードによる前記映像信号の映像に対応するように、前記マルチチャンネルの音声信号によるサラウンド音場を可変している。
【００２７】
【特許文献１】特開２００７−５８４９号公報
【発明の開示】
【発明が解決しようとする課題】
【００２８】
上記第１の従来技術および第２の従来技術に係るサラウンド音声入力(記録)装置のＡＧＣ処理は、全チャンネル共通制御である。しかし、実際のさまざまなサラウンド収録(撮影)シーンにおいては、全チャンネル共通制御では必ずしも好ましいとは言えないケースが多々ある。
【００２９】
例えば、カメラ一体型ビデオなどで映像とサラウンド音声を同時に収録し、あとで再生して鑑賞する場合、映像に映っていない音源から発せられた音声、つまりカメラの画角外の方向からやってきた音声は、サラウンドの臨場感を高めるためには必要なものであるが、その優先順位は、カメラ画角内からの音声に比べて低いものであると言える。特に、撮影した本人以外の人や、その撮影現場に居合わせなかった人がサラウンド視聴する場合は、カメラ画角外の音声、とりわけ背後からの音声は、その存在意味が理解しがたい場合もあり、特に、最後まで一度も映像内に現れてこない音源から発せられている音声は、視聴者にとって心地良くないこともある。
【００３０】
また、概ね一定の音量を維持している音声収録状態において、不意に大音量の音声が出現すると、ＡＧＣシステムまたはＡＬＣシステムでは不意の大音量に反応し、全チャンネルの音量が一斉に絞られる。この不意の大音量が収録目的である前方の音源から発せられたものであれば問題とは言えないが、該不意の大音量が前述した優先順位の低い背後からの音声または雑音であった場合、これに全チャンネルの音量が追従して変動させられてしまう。
【００３１】
従って、優先順位の低い背後からの大音量の音声または雑音が出現した場合等のあらゆる音声収録状況においても、音声収録後の音声の鑑賞に違和感を感じさせることのない音声収録および前方からの音声の鑑賞が妨げられたりすることのない音声収録の実現が望まれる。
【００３２】
ここで、一律に背後方向のチャンネルの感度を前方より低くする方法もあるが、この方法では状況によらずに単純に背後の音声を聴き取りにくくし、かえってサラウンドの臨場感を損なってしまう。
【００３３】
以上の問題点は、状況に応じて上記した全チャンネル共通制御によって得られるサラウンド定位の維持というメリットを、大きく上回るデメリットとなり得る。
【００３４】
そこで本発明は、ユーザーの操作に応じて、または撮影状況に応じて音声収録後の音声の鑑賞に違和感を感じさせず、自然で聴き取りやすい音声収録を可能とする音声信号処理装置及び電子機器を提供することを課題とする。
【課題を解決するための手段】
【００３５】
本発明の第１の態様による音声処理装置は、第１乃至第Ｍ（Ｍは２以上の自然数）のチャンネルに音声信号を入力する入力手段と、前記入力手段に入力された全ての入力音声信号に対応した自動音量制御を行うものであって、前記入力音声信号に応じて所定数の前記チャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割するチャンネルグループ分割部を含み、前記分割されたグループごとに前記各入力音声信号に応じて自動音量制御を行う音声可変手段とを備えるようにしたものである。
【００３６】
さらに、前記チャンネルグループ分割部は、前記入力音声信号に応じて前記所定数のチャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割することを決定すると共に、前記チャンネルグループ分割決定部にて決定されたｎ個のグループの中の各入力音声信号の内最も音声信号レベルが大きいものを選択し、さらに前記チャンネルグループ分割部からの選択結果を受け、選択されたグループに応じて出力信号の出力レベルの目標値を定める変換関数を決定する入出力特性変換関数決定部を有することが好ましい。
【００３７】
さらに、前記選択されたグループに対応した前記出力レベルの目標値を、前記各入力音声信号に乗じられる係数に所定の時定数処理によって算出された時間遅れに基づいて変換し、該係数を前記選択された各グループに属する全てのチャンネルに共通に適用する係数決定部を有することが好ましい。
【００３８】
さらに、前記グループ分割決定部にて決定された分割グループ数ｎは前記出力信号のチャンネル数Ｎとの関係において１≦ｎ≦Ｎの条件を満たすことが好ましい。
【００３９】
さらに、前記時定数処理は音声信号レベルを下げるアタック処理と音声信号レベルを上げるリカバリー処理の内の少なくとも一つの処理からなることが好ましい。
【００４０】
さらに、前記変換関数、前記アタック処理を施すための係数及び前記リカバリー処理を施すための係数の数は１乃至ｎ個の範囲で設定されていることが好ましい。
【００４１】
本発明の第２の態様に係る電子機器は、ユーザーの操作による間接指示に基づく自動音量制御を行い、具体的には映像信号を入力する映像信号入力手段と、該映像信号に付随した音声信号を第１乃至第Ｍ（Ｍは２以上の自然数）のチャンネルに入力する音声信号入力手段と、前記入力された映像信号に対応して定められた所定の映像モードに応じて前記所定数のチャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割するチャンネルグループ分割部を含み、前記分割されたグループごとに前記映像モードに応じて前記音声信号入力手段に入力された全ての入力音声信号に対応した自動音量制御を行う音量可変手段とを備えるようにしたものである。
【００４２】
本発明の第３の態様に係る電子機器は、ユーザーの操作によらない制御に基づく自動音量制御を行い、具体的には撮影された映像信号を入力する映像信号入力手段と、前記映像信号が撮影パラメータに対応してあらかじめ定められている複数の撮影モードの内のいずれの撮影モードにあたるのかを判別する撮影モード判別手段と、該映像信号に付随した音声信号を第１乃至第Ｍ（Ｍは２以上の自然数）のチャンネルに入力する音声信号入力手段と、前記判別された撮影モードに応じて前記所定数のチャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割するチャンネルグループ分割部を含み、前記分割されたグループごとに前記各入力映像信号に応じて前記音声信号入力手段に入力された全ての入力音声信号に対応した自動音量制御を行う音量可変手段を備えるようにしたものである。
【００４３】
本発明の第４の態様に係る電子機器は、ユーザーの操作によらない制御に基づく自動音量制御を行い、具体的には撮影された映像信号を入力する映像信号入力手段と、該映像信号に付随した音声信号を第１乃至第Ｍ（Ｍは２以上の自然数）のチャンネルに入力する音声信号入力手段と、前記各チャンネルに入力された入力音声信号相互の相関関係の大小を判別するための相互相関係数を検出する相互相関係数検出部と、前記相互相関係数の結果に応じて前記所定数のチャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割するチャンネルグループ分割部を含み、前記分割されたグループごとに前記各入力映像信号に応じて前記音声信号入力手段に入力された全ての入力音声信号に対応した自動音量制御を行う音量可変手段を備えるようにしたものである。
【００４４】
本発明の第５の態様に係る電子機器は、ユーザーの操作によらない制御に基づく自動音量制御を行い、具体的には第１乃至第Ｍ（Ｍは２以上の自然数）のチャンネルに音声信号を入力する入力手段と、前記入力手段に入力された全ての入力音声信号における同一時刻の音場ベクトルを所定の角度範囲まで角度方向に微分して得られる微分係数と前記所定の角度範囲における各ベクトルの大きさとから主な音源の存在する方向及び該音源のレベルを推定する音源特徴抽出手段と、前記推定された主な音源の存在する方向と該音源のレベルに応じて前記所定数のチャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割するチャンネルグループ分割部を含み、前記分割されたグループごとに前記各入力音声信号に応じて自動音量制御を行う音量可変手段を備えるようにしたものである。
【発明の効果】
【００４５】
本発明によれば、ユーザーの操作に応じて、あるいは撮影状況に応じて装置自身が自動音量制御手段の構成を最適化し、違和感が少なく自然で聴き取りやすいサラウンド音声収録を可能とする音声信号処理装置、電子機器を提供することができる。
【発明を実施するための最良の形態】
【００４６】
本発明に係る音声信号処理装置では、少なくとも２系統以上の音声信号入力チャンネルを備え、その全てのチャンネルまたは一部のチャンネルに設けられている音量可変手段を用いて自動音量制御（ＡＧＣまたはＡＬＣ）を行う際、複数ある入力チャンネルを２つ以上のグループに分け、自動音量制御をそれぞれ同じグループのチャンネル同士で共通に行うようにし、グループの異なるチャンネルとは制御を独立化するような構成となっている。なお、どのチャンネル同士を組み合わせてグループ化するのかという制御は、外部から行えるようにしている。
【００４７】
従来の自動音量制御処理（以下、ＡＧＣ処理と呼ぶ。）は、全てのチャンネルのＡＧＣ処理を、同一のレベル検波結果を受け、同一の入出力特性を変換する入出力特性変換関数を適用して同一のアタック特性、リカバリー特性が入力された音声信号に反映させ、同一のゲイン(係数)で実施していたのに対し、本発明ではチャンネルのグループ分け（チャンネルグループ分割）を行い、各グループ分割されたチャンネルグループごとにＡＧＣ処理を行っている。
【００４８】
具体的には、２系統以上の音声信号入力チャンネルを備え、その全てのチャンネルまたは一部のチャンネルに設けられている音量可変手段を用いて自動音量制御（ＡＧＣまたはＡＬＣ）を行う際、複数ある入力チャンネルを２つ以上のグループに分け、自動音量制御をそれぞれ同じグループのチャンネル同士で共通に行うようにし、グループの異なるチャンネルとは制御を独立化する。さらにどのチャンネル同士を組み合わせてグループ化するのかを、外部からの制御で変更できるようにする。
【００４９】
すなわち、全てのチャンネルのＡＧＣ処理を、同一のレベル検波結果を用い、同一の入出力特性関数を用い、同一のアタック特性、リカバリー特性を反映させた同一のゲイン(係数)で実施するのではなく、同一の処理を等しく施すチャンネルのグループ分け（組み合わせ）を自由に変えられるようにすることで、課題を解決する。
【００５０】
具体的には、外部からの制御、すなわち（１）ユーザーの操作による直接指示で行われる制御、（２）ユーザーの操作による間接指示で行われる制御、（３）ユーザーの操作によらない制御を行うことによってチャンネル同士を組み合わせてグループ化し、共通の処理を施す。なお、外部制御によってチャンネル同士を組み合わせてグループ化した場合におけるグループ分割態様は多種多様である。
【００５１】
ここで、ユーザーの操作による直接指示に基づく制御とは、ユーザーがグループ分割態様の制御・選択内容を理解した上で意思を持って行う指示に基づく制御を意味する。
【００５２】
ユーザーの操作による間接指示に基づく制御とは、ユーザーはグループ分割態様の具体的内容を理解(意識)してはいないが、別の意味合いを持つ操作に連動して間接的に行う指示に基づく制御を意味する。
【００５３】
ユーザーの操作によらない制御とは、音声信号入力装置の各種動作状態や、入力映像信号または入力音声信号の内容・特徴そのものを手がかりにして自動的に行われる制御を意味する。
【００５４】
以下、本発明の第１の実施の形態に係る音声信号処理装置について説明する。図１は本発明の第１の実施の形態に係る音声信号処理装置の構成を示した図である。
【００５５】
図１に示されるように前記音声信号処理装置は、入力部１−１〜１−Ｍと、レベル検波部２−１〜２−Ｍと、グループ分割決定部３と、入出力特性変換関数決定部６と、係数決定部７と、選択部８と、ダウンミックス部（あるいはアップミックス部）９と、遅延器１０−１〜１０−Ｎと、乗算器１１−１〜１１−Ｎと、出力部１２−１〜１２−Ｎを有して構成されている。
【００５６】
入力部１−１〜１−Ｍは、第１〜第Ｍ（Ｍは２以上の自然数）のチャンネルにそれぞれ入力音声信号１〜Ｍを入力する。
【００５７】
ここで入力チャンネル数をＭ、出力チャンネル数をＮとする。ただし、Ｍ、Ｎは２以上の自然数とし、ＭとＮは異なっていても良い。Ｍ＞Ｎの場合はチャンネル数を間引くダウンミックス処理が必要となり、Ｍ＜Ｎの場合には、補間などによってチャンネル数を増やすアップミックス処理が必要となる。
【００５８】
Ｍ個の入力チャンネルから入力された入力音声信号１〜Ｍはそれぞれレベル検波部２−１〜レベル検波部２−Ｍに入力される。レベル検波部２−１〜２−Ｍではエンベロープ検波やピークホールドその他の手段で、ＡＧＣ処理に必要な音声レベルを算出し、検波結果を送出する。
【００５９】
グループ分割決定部３は、入力音声信号１〜Ｍに応じて第１〜第Ｍのチャンネルをｎ（１≦ｎ≦Ｍ）個のグループに分割するチャンネルグループ分割部４−１〜４−ｎと、選択部５を有している。チャンネルグループ分割部４−１〜４−ｎはＭ個の検波結果を受け、該Ｍ個の検波結果をｎ個のグループに分割する。ここでｎの範囲は１≦ｎ≦Ｎである。また、Ｍ個の検波結果はいずれも、複数のグループに重複して属しても、あるいはどのグループにも属さなくてもよい。
【００６０】
選択部５は、前記グループごとにその中の最も音声レベルの大きい検波結果を１つ選択し、その選択された検波結果を入出力特性変換関数決定部６に送出する。入出力特性変換関数決定部６は、前記選択された検波結果に基づいて、Ｎ個の出力チャンネルから出力された出力音声信号１２−１〜１２−Ｎのレベルの目標値を決める変換関数がｎ’通り用意されている。ここでｎ’の範囲は１≦ｎ’≦ｎである。ｎ個それぞれの検波結果を、ｎ’個ある特性変換関数の中のいずれに適用されるのかが入出力特性変換関数決定部６で選択され決定される。
【００６１】
係数決定部７は、前記選択された各グループに対応した出力レベルの目標値を、入力音声信号１−１〜１−Ｍに乗算器１１−１〜１１−Ｎによって乗じられる係数に変換する。ここで、前記各係数は、即時に変化はさせず、アタック処理およびリカバリー処理においてあらかじめ設定されている時定数（以下、アタック時定数、リカバリー時定数と呼ぶ。）に従った時間遅れに基づいて変化させる。この変化させたアタック時定数に従ったアタック係数およびリカバリー時定数に従ったリカバリー係数はｎ’’種類あらかじめ用意されている。ここでｎ’’の範囲は１≦ｎ’’≦ｎである。ｎ個それぞれの目標値が、ｎ’’個あるアタック時定数およびリカバリー時定数の中のいずれを用いて係数化されるのかについてもこの係数決定部で選択される。ここで、前記アタック時定数によって算出された音声信号のゲインをリミッターレベルまで下げるのにかかる時間、具体的には入出力特性変換関数に示される目標レベル（リミッターレベル）を上回る信号が入力された場合に、音量を目標レベルまで絞るまでの時間をアタックタイムという。その後音声信号のゲインが徐々に減衰し前記目標レベルを下回ったときに該目標レベルまで上げるのにかかった時間をリカバリータイムという。
【００６２】
選択部８は、Ｎ個ある乗算器１１−１〜１１−Ｎそれぞれに、ｎ種類ある係数の中のいずれを乗ずるのかを選択し、乗算器１１−１〜乗算器１１−Ｎに乗算係数を送出する。
【００６３】
なお、図１はフィードフォワード方式の音声信号処理装置を例示しているが、フィードバック方式であってもよい。また、入力チャンネル数と出力チャンネル数の関係は任意であり、グループ分割にも自由度があり、入出力特性変換関数や前記アタック時定数およびリカバリー時定数の種類も、１種類（全グループ共通）からｎ種類（全グループ別々）まで設定でき、乗算係数の選択方法にも自由度がある。後述するグループ分割態様の種類に限らず、様々な音声信号処理装置として機能するマルチチャンネル（サラウンド）ＡＧＣシステムが実現可能となる。以下、ＡＧＣシステムとあれば前記音声信号処理装置と同義であるとして説明する。
【００６４】
外部からの制御、すなわち（１）ユーザーの操作による直接指示、（２）ユーザーの操作による間接指示、（３）ユーザーの操作によらない制御を行うことによってチャンネル同士を組み合わせてグループ化し、共通の処理が施されるが、外部制御によってチャンネル同士を組み合わせてグループ化した場合におけるグループ分割態様は多種多様である。
【００６５】
ここで、外部からの制御を説明する前に、上記したグループ分割態様の具体例について説明する。
【００６６】
以下、第１のグループ分割態様について説明する。
【００６７】
第１のグループ分割態様は、５.１チャンネルサラウンドで、フロントチャンネルとサラウンドチャンネルの２グループに分けた場合における態様である。
【００６８】
図３に、Ｃチャンネル（センター）、Ｌチャンネル（フロントレフト）、Ｒチャンネル（フロントライト）、Ｌsチャンネル（サラウンドレフト）、Ｒsチャンネル（サラウンドライト）の５つの入力チャンネルを持つサラウンド音声信号を入力とする音声信号処理装置であって、Ｃチャンネル、Ｌチャンネル、Ｒチャンネルと、Ｌsチャンネル、Ｒsチャンネルの２つのグループに分けてＡＧＣ処理を行う音声信号処理装置の一例を示す。なおここで言う各チャンネルの略称はＳＭＰＴＥ（全米映画テレビジョン技術者協会）のＲＰ−２２６文書に記載されている略称に準じている。
【００６９】
いわゆるサラウンドマイクと称されるマイクロフォンシステムの各種特性について、満たすべき明確な規定は存在しないが、一般的にその指向特性（各チャンネルの指向主軸方向）は、再生時のスピーカー配置に準じて設計されている場合が多い。図４は、ＩＴＵ勧告（ITU-R BS.775-1）が推奨する５.１チャンネルサラウンド視聴時のスピーカー配置であるが、以後の説明では５.１チャンネルサラウンドマイクのＳｕｂＷｏｏｆｅＲチャンネル(ＬＦＥチャンネル)を除く残りの５チャンネルの指向特性は概ねこの図に準拠していると仮定する。
【００７０】
小型家庭用カメラ一体型ビデオレコーダーの場合、搭載されているカメラ（レンズ＋撮像素子）の水平画角は、機種によって異なり、可変ズームの倍率で変わるが概ね５度〜５０度程度である。従って、Ｃチャンネル、Ｌチャンネル、Ｒチャンネルはカメラ画角内を、Ｌsチャンネル、Ｒsチャンネルはカメラ画角外を捕らえた音声であるとみなせる。従って、Ｃチャンネル、Ｌチャンネル、Ｒチャンネルと、Ｌsチャンネル、Ｒsチャンネルの２つのグループに分けてＡＧＣ処理を行えば、画角内の音声チャンネルと画角外の音声チャンネルとを分けて音量制御できる。
【００７１】
Ｃチャンネル入力、Ｌチャンネル入力、Ｒチャンネル入力それぞれのレベル検波部２−１、２−２、２−３の出力の中から最も大きい値が第１の選択部５−１で選択され第１の入出力特性変換関数決定部６−１に送出される。ここで第１の入出力特性変換関数（目標特性とも呼ぶ。以下、特性関数と呼ぶ。）に基づいて所望の出力が決定され、第１の係数決定部７−１にて、前記アタックタイムによって相対的に決定されるアタック特性および前記リカバリータイムによって相対的に決定されるリカバリー特性も加味した上で第１の係数が決定され、Ｃチャンネル出力、Ｌチャンネル出力、Ｒチャンネル出力それぞれのための乗算器１１−１、１１−２、１１−３に送出され、従ってＣチャンネル出力、Ｌチャンネル出力、Ｒチャンネル出力は全て共通の音量調整が施される。
【００７２】
また、Ｌsチャンネル入力、Ｒsチャンネル入力それぞれのレベル検波部２−４、２−５の出力のうちの大きいほうの値が第２の選択部５−２で選択され第２の入出力特性変換関数決定部６−２に送出される。ここで第２の特性関数に基づいて所望の出力が決定され、第２の係数決定部７−２にて、アタック特性およびリカバリー特性も加味した上で第２の係数が決定され、Ｌsチャンネル出力、Ｒsチャンネル出力それぞれのための乗算器１１−４、１１−５に渡され、よってＬsチャンネル出力、Ｒsチャンネル出力は共通の音量調整を施される。なお、図３ではフィードフォワード方式の音声信号処理装置を例示しているが、フィードバック方式であってもよい。
【００７３】
以上のような音声信号処理装置によれば、画角外からの音声ないし雑音によって全チャンネルの音量が追従して変動してしまい違和感を生じるという問題は生じない。
【００７４】
また、入出力特性変換関数や時定数をＣチャンネル、Ｌチャンネル、Ｒチャンネルと、Ｌsチャンネル、Ｒsチャンネルとで別々に設定できることを利用して例えば以下のような２つの応用例（第２及び第３のグループ分割態様）も考えられる。
【００７５】
以下、第２のグループ分割態様について説明する。
【００７６】
この第２のグループ分割態様は、サラウンドチャンネルのダイナミックレンジを上下に広げること、すなわち通常音量は小さく、大音量のときには大きくすることを可能とする態様である。
【００７７】
図５に示すように、Ｌsチャンネル、Ｒsチャンネル用の入出力特性変換関数決定部６−２における特性関数は、Ｃチャンネル、Ｌチャンネル、Ｒチャンネル用の入出力特性変換関数決定部６−１における特性関数に比べて、リミッターレベルは持ち上げるが全体的には下にシフトするような入出力特性が得られるように決定される。
【００７８】
すなわち、画角外の音声は、画角内の音声に比べてダイナミックレンジは上下ともに広く取り、基準レベルは下げる。このようにすると、画角内の音声は、カメラが収録目標として狙う一貫した被写体であることが多いので、なるべく一定音量を維持して聴き取りやすくするという従来からの音声用自動利得制御の目的を果たすことができる。画角外の音声は、主にサラウンドの臨場感を高めるための効果音的な意味合いが強いことが多いので、特徴的な大音量は迫力をもって収録し、特徴のない中〜小音量は逆に画角内の音声の妨げにならないよう抑えるといった収録効果が実現できる。
【００７９】
次に第３のグループ分割態様について説明する。
【００８０】
この第３のグループ分割態様は、サラウンドチャンネルのアタックを極端に長く、リミッターを極端に小さくこと、すなわち特徴的な変化が起きた時だけ聴こえ、それ以外の時は聴こえなくすることを可能とする態様である。
【００８１】
図６に示すように、Ｌsチャンネル、Ｒsチャンネル用の入出力特性変換関数決定部６−２におけるリミッターレベルは、Ｃチャンネル、Ｌチャンネル、Ｒチャンネル用の入出力特性変換関数決定部６−１のリミッターレベルに比べて極端に下にシフトすると共に、係数決定部７−２で設定されるＬsチャンネル、Ｒsチャンネル用のアタックタイムを極端に長くするような入出力特性が得られるように決定される。すなわち通常、音声用自動利得制御におけるアタックタイムは通常数ｍ秒〜数十ｍ秒程度が望ましいが、ここでは数秒〜十数秒程度という極めて長い値に設定する。
【００８２】
このような設定にすると、ある程度の大きさ、ここでは、リミッターレベルがかなり低く設定されているため、「静かではない」という程度も含む大きさの音声信号が入力されると、ＡＧＣゲインがゆっくりと絞られる。最初出力信号は大きいまま継続するがその後ゆっくりと音声出力信号の出力レベルが下がっていく。入力音声がリミッターレベルより大きい間ＡＧＣゲインはゆっくりと絞られ続け、リミッターレベル付近の音量まで絞られると、その状態が維持される。入力信号が十分に小さくなるとリカバリー動作に入り、ＡＧＣゲインは復帰し始める。その後再びリミッターレベル以上の大きさの音声信号が入力されると、ＡＧＣゲインが復帰した状態であるため、再び大きい出力信号が現れ、その後ゆっくりとＡＧＣゲインが絞られる。以後、この動作を繰り返す。
【００８３】
図７は、以上の動作をイメージとして横軸を時間、縦軸を出力レベル（電圧振幅）として模式的に示したタイミングチャート図である。図７における電圧振幅レベルの時間に対する変動については、音声信号処理装置に入力された音声入力信号の入力レベルの時間的変化が上段に図示され、上段における音声入力信号が入力されたとき、該入力信号に従来におけるＡＧＣ処理（以下、従来ＡＧＣ処理と呼ぶ。）を施した場合の音声出力信号の出力レベルの時間的変化が中段に図示され、上段における音声入力信号が入力されたとき、図６に示したような入出力特性変換関数を適用してＡＧＣ処理（以下、本ＡＧＣ処理と呼ぶ。）を施した場合の音声出力信号の出力レベルの時間的変化が下段に図示されている。
【００８４】
以下、図７の上段、中段、下段に図示された電圧振幅レベルの時間的変化動作について従来ＡＧＣ処理と本ＡＧＣ処理に分けて説明する。
【００８５】
まず、従来ＡＧＣ処理を施した場合（中段の図参照）を説明する。中音量の入力レベルを有する音声入力信号が入力された後、従来ＡＧＣ処理および本ＡＧＣ処理にて適用されるリミッターレベルよりも大きい入力レベル（以下、過大音量と呼ぶ。）を有する音声入力信号が入力された場合（時刻ｔ１）、中段で図示されるように従来ＡＧＣ処理ではアタックタイムｔａが短い（数ｍ秒〜数十ｍ秒）ので瞬時に音声入力信号、音声出力信号共にリミッターレベルまでＡＧＣゲインが絞り込まれる。その後中音量の入力レベルまで小さくなった場合（時刻ｔ２）、前記ＡＧＣゲインが小さいままであるので音声出力信号の出力レベルは一瞬かぎりなく０に近くなり、音声入力信号がリミッターレベルを下回ったままであるので、その後リカバリータイムの長い（数秒〜数十秒）リカバリー動作が開始され、出力レベルはゆっくり上昇していく。その後時刻ｔ３〜時刻ｔ６までは上記した動作を繰り返す。
【００８６】
次に、本ＡＧＣ処理を施した場合（下段の図参照）を説明する。中音量の入力レベルを有する音声入力信号が入力された後、従来ＡＧＣ処理および本ＡＧＣ処理にて適用されるリミッターレベルよりも大きい入力レベル（以下、過大音量と呼ぶ。）を有する音声入力信号が入力される（時刻ｔ１）。この場合、下段で図示されるように本ＡＧＣ処理ではアタックタイムｔｂが長い（数秒〜数十秒）ので、リミッターレベルを上回っている間は、たとえ時刻ｔ２で中音量の音声入力信号が入力されたとしてもゆっくりと音声入力信号、音声出力信号共にリミッターレベルまでＡＧＣゲインが絞り込まれる。音声入力信号がリミッターレベルを下回った場合には、リミッターレベルが低いので音声出力信号の出力レベルが小さいまま安定する。その後、時刻ｔ３で音声入力信号の入力レベルが急激に大きくなるが、本ＡＧＣ処理におけるＡＧＣゲインがかなり絞られている状態であるので出力レベルの上昇は小幅となり、出力レベルはリミッターレベルまで減少する。その後時刻ｔ４しで入力信号がリミッターレベルを下回った場合、出力レベルの上昇が始まる。この場合時刻ｔ４〜時刻ｔ５の間図示されているようにステップ状に上昇する。時刻ｔ５以降は前述の時刻ｔ１〜時刻ｔ５の間の動作を繰り返す。
【００８７】
上記した本ＡＧＣ処理（図７下段の図参照）では、Ｌsチャンネル、Ｒsチャンネル用の入出力特性変換関数決定部６−２におけるリミッターレベルと、Ｃチャンネル、Ｌチャンネル、Ｒチャンネル用の入出力特性変換関数決定部６−１のリミッターレベルに比べて極端に下にシフトすると共に、係数決定部７−２で設定されるＬsチャンネル、Ｒsチャンネル用のアタックタイムを極端に長くするように入出力特性を決定している。
【００８８】
従って、このような入出力特性をＬsチャンネル、Ｒsチャンネルに適用すると、画角外の音声は、静かな状態から音量が増加に転じた際の数秒間から十数秒間の間だけは聴こえるが、それ以外の期間では僅かにしか聴こえなくなる。つまり、ＬsチャンネルとＲsチャンネルは、特徴的な変化が起きたときだけ聴こえ、それ以外は基本的に無音に近いという上記した従来技術では得られない音声収録の効果が得られる。すなわち、サラウンドチャンネルを効果音と解釈した場合、必要なときにだけ出力信号が得られるというこのような効果が得られる。
【００８９】
次に第４のグループ分割態様について説明する。
【００９０】
この第４のグループ分割態様は、５.１チャンネルサラウンドで、フロントチャンネルとサラウンドチャンネルの２グループに分け、さらにサラウンドチャンネルの乗算係数決定には、フロントチャンネル／サラウンドチャンネル全ての検波結果を利用する態様である。
【００９１】
図８に示す音声処理装置は、入出力系統が上記した第１のグループ分割態様と同じであるが、レベル検波部と選択部の間の構成が異なる。
【００９２】
Ｃチャンネル、Ｌチャンネル出力、Ｒチャンネル出力用の乗算係数を決定するための音声レベルの情報は上記した第１のグループ分割態様の場合と同じくＣチャンネル、Ｌチャンネル、Ｒチャンネル入力それぞれのレベル検波結果の中から最も大きいものを選択部５−１で選択することによって得られるが、Ｌsチャンネル、Ｒsチャンネル出力用の乗算係数を決定するための音声レベルの情報は上記したグループ分割態様１の場合とは異なり、５チャンネル入力全てのレベル検波結果の中から最も大きいものを選択部５−２で選択することによって得られる。
【００９３】
仮に本音声信号処理装置として機能するＡＧＣシステムの２つの特性関数が、図２６、図２８に示すような共に同一のリミッター特性である場合、Ｌsチャンネル、Ｒsチャンネル出力用の乗算係数の値は、必ずＣチャンネル、Ｌチャンネル、Ｒチャンネル出力用乗算係数の値以下となり、Ｃチャンネル、Ｌチャンネル、Ｒチャンネルの音声をＬsチャンネル、Ｒsチャンネルの音声に対して相対的に強調させることができる。この方法によれば、ただ単純にＬsチャンネル、Ｒsチャンネルの入力トータルゲインをＣチャンネル、Ｌチャンネル、Ｒチャンネルの入力トータルゲインよりも一律に小さくしておくこととは似て非なる効果が得られる。
【００９４】
このような制御をすれば、後方（カメラ画角外近傍）から過大音声が到来した場合には後方のチャンネルにリミッターがかかり前方の目的音の収録は妨げず、前方（カメラ画角内近傍）から過大音声が到来した場合には全てのチャンネルにリミッターがかかるので、前方からの音声が後方からの音声より相対的に小さくなることがない。また入力音声レベルがリミッターレベルより小さければ、リミッターは動作しないので、全方向が同レベルで収録される。従って、背後からの音声が目的とする前方からの音声の妨げになるような状況を効果的に避けることができる。
【００９５】
なお、図８ではフィードフォワード方式のＡＧＣシステムを例示しているが、フィードバック方式であっても良い。また、特性関数や時定数をＣチャンネル、Ｌチャンネル、Ｒチャンネルと、Ｌsチャンネル、Ｒsチャンネルとで別々に設定できることを利用した前述のグループ分割態様１−１やグループ分割態様１−２における方法をこのグループ分割態様２に適用しても良い。
【００９６】
次に第５のグループ分割態様について説明する。
【００９７】
この第５のグループ分割態様は、７.１チャンネルサラウンドで、フロントチャンネルとサラウンドチャンネルとリアチャンネルの３グループに分けた場合における態様である。
【００９８】
図９にＣチャンネル（センター）、Ｌチャンネル（フロントレフト）、Ｒチャンネル（フロントライト）、Ｌsチャンネル（サラウンドレフト）、Ｒsチャンネル（サラウンドライト）、ＬRSチャンネル（リアサラウンドレフト）、ＲRSチャンネル（リアサラウンドライト）の７つの入力チャンネルを持つサラウンド音声信号処理装置として機能するＡＧＣシステムにおいて、Ｃチャンネル、Ｌチャンネル、Ｒチャンネルと、Ｌsチャンネル、Ｒsチャンネルと、ＬRSチャンネル、ＲRSチャンネルの３つのグループに分けてＡＧＣ処理を行うシステムの一例を示す。なお各チャンネルの略称はＳＭＰＴＥ（全米映画テレビジョン技術者協会）のＲＰ−２２６文書に記載されている略称に準じている。
【００９９】
いわゆるサラウンドマイクと称されるマイクロフォンシステムの各種特性について、満たすべき明確な規定は存在しないが、一般的にその指向特性（各チャンネルの指向主軸方向）は、再生時のスピーカー配置に準じて設計されている場合が多い。図１０は、ITU勧告（ITU-R BS.775-1）が、図１１は、Dolby Laboratories, Inc.が、それぞれ推奨している７．１チャンネルサラウンド視聴時のスピーカー配置を示した図である。なお、以下の説明では７.1チャンネルサラウンドマイクのＳｕｂｗｏｏｆｅｒチャンネル(ＬＦＥチャンネル)を除く残りの７チャンネルの指向特性は概ねこの図に準拠していると仮定する。
【０１００】
上記したように家庭用カメラ一体型ビデオのカメラ水平画角が概ね５度〜５０度程度であるとするならば、Ｃチャンネル、Ｌチャンネル、Ｒチャンネルはカメラ画角内を、ＬRSチャンネル、ＲRSチャンネルはカメラ画角外を捕らえた音声であるとみなせる。またＬsチャンネルおよびＲsチャンネルではその指向主軸がカメラ画角内から外れてはいるが一般にマイクロフォンの指向特性は総じてブロードであるので、Ｌsチャンネル、Ｒsチャンネルの両チャンネルにも、ＬRSチャンネル、ＲRSチャンネルの両チャンネルよりはカメラ画角内の音源から発せられた音声が多めに含まれていると考えられる。
【０１０１】
従って、Ｃチャンネル、Ｌチャンネル、Ｒチャンネルと、Ｌsチャンネル、Ｒsチャンネルと、ＬRSチャンネル、ＲRSチャンネルの３つのグループに分けてＡＧＣ処理を行えば、カメラ画角内の音声チャンネルとカメラ画角外の音声チャンネルと、その中間の意味合いを持つ音声チャンネルとを分けて音量制御できることになり、画角外からの音声ないし雑音によって全チャンネルの音量が追従して変動してしまい違和感を生じるという問題は生じない。
【０１０２】
次に第６のグループ分割態様について説明する。
【０１０３】
この第６のグループ分割態様は、入出力特性関数をグループごとに別々に設定できることを利用した前記第２のグループ分割態様における方法を、前記第５のグループ分割態様に適用した場合の応用例である。これは、ＡＧＣ制御を全チャンネル共通に行わないとサラウンド定位が崩れるというデメリットを緩和する方法である。
【０１０４】
まずこのデメリットの一例を説明する。図１５に示すように動く音源すなわち音を発する被写体、例えば走行する自動車などが７．１チャンネルサラウンドマイクロフォンに対して前方から右横を通過して後方へ去っていく場合を考える。マイクロフォンの各チャンネルの感度が等しく、かつＡＧＣなどのリミッター処理を行わない場合、Ｒチャンネル、Ｒsチャンネル、ＲRSチャンネルの音声レベルの時間的変化はおよそ図１６に示すようになる。ここでは回路系のダイナミックレンジを越える音声信号が入力され、波形が歪んでしまった様子を模式的にギザギザで表現している。この場合、音源の前後移動は良好に再現されるものの、レベルが適切でないため波形ひずみを生じている。
【０１０５】
これに対して、全チャンネル共通にＡＧＣによるリミッター処理を施した場合におけるＲチャンネル、Ｒsチャンネル、ＲRSチャンネルの音声レベルの時間的変化の例を図１７に示す。この図は説明を容易にするため、ＡＧＣのアタック・リカバリー処理によりゲイン変化に時間遅れが生じることは無視し、瞬時にゲインが目標特性に達するイメージで描かれている。このようにＡＧＣによってリミッターレベル以上の信号が抑えられ波形歪みは生じないが、音源の前後移動の再現性に問題が生じる。
【０１０６】
すなわち音源が移動中であるにも関わらずＲチャンネル、Ｒsチャンネル、ＲRSチャンネルの音声レベルが等しいまま推移する状態が起こり、前方からやってきた音源が途中から定位を失い不明瞭な状態になった後、突然後方へ去っていくように再現され、前後移動の表現力が著しく劣化する。
【０１０７】
上記した問題を改善するために、図１３に示すように、Ｌsチャンネル、Ｒsチャンネル用の入出力特性変換関数６−２Ａを、Ｃチャンネル、Ｌチャンネル、Ｒチャンネル用の入出力特性変換関数６−１ＡおよびＬRSチャンネル、ＲRSチャンネル用の入出力特性関数６−３Ａに比べて、リミッターレベルを上昇させ、しかし全体的には下にシフトさせる。つまり、左右方向の音声は、前方および後方の音声に比べてダイナミックレンジを上下ともに広く取り、基準レベルを下げる。このようにすると、図１８に示すように、移動する音源がＲsチャンネルの方向つまり右方向に来た時にはＲsチャンネルのリミッターレベルがＲチャンネルおよびＲRSチャンネルより相対的に大きくなるので、音源がサラウンドマイクの右側を通過して後方へ去っていく様子を、波形を歪ませることなく音声表現できる。また、入力音声がリミッターレベルより小さく保たれている収録状況ではＲsチャンネルのレベルは低く抑えられ、かつＡＧＣ制御は前方のチャンネルとは独立化されているので、上記した発明が解決しようとする課題で述べた課題も同時に解消できる。
【０１０８】
次に第７のグループ分割態様について説明する。
【０１０９】
この第７のグループ分割態様は、上記した第３のグループ分割態様における方法を、上記した第５のグループ分割態様に適用した場合の態様である。図９における、Ｃチャンネル、Ｌチャンネル、Ｒチャンネル用の入出力特性変換関数６−１Ａと、Ｌsチャンネル、Ｒsチャンネル用の入出力特性変換関数６−２Ａと、ＬRSチャンネル、ＲRSチャンネル用の入出力特性変換関数６−３ＡのリミッターレベルをそれぞれＴＨ_Ｆ、ＴＨ_Ｓ、ＴＨ_Ｒとし、また同じく係数決定部７−１、７−２、７−３が実現するアタックタイムをそれぞれＡＴ_Ｆ、ＡＴ_Ｓ、ＡＴ_Ｒとすると、図１４に示すようにＴＨ_Ｆ＞＞ＴＨ_Ｓ＞ＴＨ_Ｒとし、またＡＴ_Ｆ＜＜ＡＴ_Ｒ＜ＡＴ_Ｓとする。
【０１１０】
具体的にはＡＴ_Ｆは数ｍ〜数十ｍ秒程度とし、ＡＴ_ＳとＡＴ_Ｒは数秒〜数十秒かつＡＴ_Ｒ＜ＡＴ_Ｓとする。このように設定すると、前述のグループ分割態様１−２での説明と同様の考え方で、Ｌsチャンネル、Ｒsチャンネル、ＬRSチャンネル、ＲRSチャンネルの音声は静かな状態から音量が増加に転じた際の数秒間から十数秒間の間だけは聴こえるが、それ以外の期間ではＬチャンネル、Ｒチャンネルに比べ遥かに小さくなってしまう。また、音量が増加に転じてから小さくなるまでの時間はＬsチャンネル、ＲsチャンネルよりもＬRSチャンネル、ＲRSチャンネルのほうが短く、かつその大きさもＬRSチャンネル、ＲRSチャンネルの方がより小さい。結果として、Ｌsチャンネル、Ｒsチャンネル、ＬRSチャンネル、ＲRSチャンネルは特徴的な変化が起きたときだけ聴こえ、それ以外は極めて小さい音量となり、さらにＬRSチャンネル、ＲRSチャンネルの方がより出力信号が現れる頻度が低いという音声収録効果が得られる。サラウンドチャンネルを「効果音」と解釈すれば、必要なときにだけ出力信号が得られるというこのような効果も得られる。
【０１１１】
次に第８のグループ分割態様について説明する。
【０１１２】
この第８のグループ分割態様は、７.１チャンネルサラウンドで、フロントチャンネルとサラウンドチャンネルとリアチャンネルの３グループに分け、さらにサラウンドチャンネルの乗算係数決定にはフロントチャンネル／サラウンドチャンネルの検波結果を利用し、リアの乗算係数決定にはフロントチャンネル／サラウンドチャンネル／リアチャンネル全ての検波結果を利用する態様である。
【０１１３】
また、レベル検波部と選択部の間の構成を変える態様、すなわち上記した第４のグループ分割態様の方法を、上記した第５のグループ分割態様に組み合わせて適用してもよい。この第８のグループ分割態様を図１２に示す。ここでは、Ｃチャンネル、Ｌチャンネル、Ｒチャンネル出力用の乗算係数を決定するための音声レベルの情報は、Ｃチャンネル、Ｌチャンネル、Ｒチャンネル入力のレベル検波結果の中から最も大きいものを利用し、Ｌsチャンネル、Ｒsチャンネル出力用の乗算係数を決定するための音声レベルの情報は、Ｃチャンネル、Ｌチャンネル、Ｒチャンネル、Ｌsチャンネル、Ｒsチャンネル入力のレベル検波結果の中から最も大きいものを利用し、ＬRSチャンネル、ＲRSチャンネル出力用の乗算係数を決定するための音声レベルの情報は、Ｃチャンネル、Ｌチャンネル、Ｒチャンネル、Ｌsチャンネル、Ｒsチャンネル、ＬRSチャンネル、ＲRSチャンネルへの音声入力のレベル検波結果の中から最も大きいものを利用している。仮に本ＡＧＣシステムの３つの入出力特性変換関数が共に同一のリミッター特性（図２６および図２８参照）であるとすると、Ｌsチャンネル、Ｒsチャンネル出力用乗算係数の値は、必ずＣチャンネル、Ｌチャンネル、Ｒチャンネル出力用乗算係数の値以下となり、さらにＬRSチャンネル、ＲRSチャンネル出力用乗算係数の値は、必ずＬsチャンネル、Ｒsチャンネル出力用乗算係数の値以下となり、その結果、前方の音声ほど、後方の音声よりも相対的に強調させることができる。
【０１１４】
この方法によれば、上記第４のグループ分割態様で前述した通り、単純に後方チャンネルの入力トータルゲインを前方チャンネルの入力トータルゲインよりも一律に小さくしておく手法よりも一層効果的に背後からの音声が目的とする前方からの音声の妨げになるような状況を避けることができる。
【０１１５】
なお、図１２はフィードフォワード方式のＡＧＣシステムを例示しているが、フィードバック方式であってもよい。また、入出力特性関数や時定数をＣチャンネル、Ｌチャンネル、Ｒチャンネルと、Ｌsチャンネル、Ｒsチャンネルと、ＬRSチャンネル、ＲRSチャンネルとで別々に設定できることを利用した上記第６のグループ分割態様、上記第７のグループ分割態様における方法を、この第８のグループ分割態様に適用してもよい。
【０１１６】
次に、外部からの制御によってどのチャンネル同士を組み合わせてグループ化して各チャンネルグループ共通の処理を施すのかについて図２を参照して説明する。図２の制御部１３を除いて図１と同様であるのでここでは制御部１３の制御内容についてのみ説明する。
【０１１７】
制御部１３は、
（１）チャンネルグループ分割部４−１〜４−ｎにおける分割方法の変更、
（２）入出力特性変換関数決定部６における目標特性の選択・変更、
（３）係数決定部７におけるアタック時定数、リカバリー時定数の選択・変更、（４）選択部８における前記選択された係数の組み合わせの変更の以上４つの制御・変更対象を、
（Ａ）ユーザーの操作による直接指示による制御、すなわちユーザーがその制御・選択内容を理解した上で意思を持って行う指示による制御、
（Ｂ）ユーザーの操作による間接指示による制御、すなわちユーザーは具体的な制御・選択内容を理解(意識)してはいないが、別の意味合いを持つ操作に連動して間接的に行われる指示による制御、
（Ｃ）ユーザーの操作によらない制御、すなわち音声信号入力装置の各種動作状態や、入力映像信号または入力音声信号の内容・特徴そのものを手がかりにして行われる制御の以上３つの指示、制御を実行する。
【０１１８】
以下、ユーザーの操作による間接指示による制御について説明する。
【０１１９】
主に家庭用ビデオカメラに搭載されている、カメラ画像・画質に関するユーザー設定に連動して、前述の（１）（２）（３）（４）の選択・変更を実施する例をいくつか例示する。
【０１２０】
[１：テレマクロモード]
接近して小さい被写体を撮る時に、背景をボカしてより被写体をより際立たせるための設定をテレマクロ設定という。この場合被写体に無関係な周囲の音声は映像の妨げになるので、前述の第４のグループ分割態様または第８のグループ分割態様の手法を用いて前方以外の音声の優先度を弱め、かつ後方の音声は全体レベル、リミッターレベル共に下げる。
【０１２１】
[２：手振れ補正オンモード]
ビデオカメラの手持ち撮影が想定されるので、カメラに近接した撮影者の声が被写体の音声より大きく収録されてしまうことの防止と、撮影者の声でＡＧＣがかかり全体の音量が振られることの防止のために、後方チャンネルだけグループを分け、かつリミッターレベルも他のチャンネルより低めにする。
【０１２２】
[３：手振れ補正オフモード]
ビデオカメラの三脚撮影が想定されるので、撮影者の体がビデオカメラの後方に近接して指向性の妨げになったり、撮影者の声が入ることが少ないと考えられ、効果的なサラウンド収録が期待できる状況にある。よって全チャンネルを同一グループ、同一制御とする。
【０１２３】
[４：マニュアルズーム操作モード]
カメラのズームをテレ側（望遠側）にしている時は、前述の第４のグループ分割態様または第８のグループ分割態様を用いると同時に、後方チャンネルのリミッターレベルを下げ、前方方向の音声の優先度を高める。ズームをワイド側（広角側）にしている時は、全チャンネル同一グループ同一制御か、または前述の第１のグループ分割態様または第５のグループ分割態様を用い、全チャンネルの優先度を等しくする。また、ズームをテレ側からワイド側まで連続的に変化させる際は、優先度を上げたいグループの範囲を、ズーム動作に連動して伸縮させる。ただしこの場合、分割数が少ないと、例えば５チャンネル入力から５チャンネル出力を行うシステムの場合グループ分けの変化が荒くなってしまい、特性変化の段差が聴感上気になってしまう。それを防ぐには、図２において出力チャンネル数Ｎに対して入力チャンネル数Ｍを十分多く用意し、グループ分けを細かく変化させることができれば、聴感上なめらかな特性変化が行える。
【０１２４】
[５：夜景モード]
夜景モードとは、夜景を不自然に明るくせず暗い雰囲気を損なわないようにするため、カメラ画のゲインアップを控えめにする設定をいう。この場合、ビデオカメラの近くに音声的な優先度の高い被写体が位置する可能性が低いので、その場の雰囲気を最大限に生かして収録するために、全チャンネル同一グループか、または前述の第１のグループ分割態様または第５のグループ分割態様を用い、全チャンネルの優先度を等しくすると共に、全チャンネルともに入出力特性関数をダイナミックレンジの広い設定にする。
【０１２５】
[６：キャンドルモード]
誕生日パーティーのケーキを家族が囲んでいるシーンなどが想定され、音声的な優先度は全チャンネル等しく、音源移動の再現を重視することより、各チャンネルを聴き取りやすいレベルで収録することが求められるので、全チャンネル独立のグループ分けとし、各チャンネルの入出力特性関数は標準的かまたは若干ダイナミックレンジを狭めたものを採用する。
【０１２６】
[７：日の出、夕焼けモード]
日の出、夕焼けモードの場合には前述の夜景モードと同様の設定にする。
【０１２７】
[８：打ち上げ花火モード]
花火の音は極めてダイナミックレンジが広いので、入出力特性関数は全て基準レベルを低めに、リミッターレベルを高めにする。またチャンネルバランスが崩れると聴き苦しくなるので、全チャンネル同一グループとする。
【０１２８】
[９：風景モード]
風景モードの場合には前述の「５：夜景モード」と同様の設定にする。
【０１２９】
[１０：ポートレートモード]
ポートレートモードとは絞りを開放側にし、被写界深度を浅くして、正面の人物を美しく引き立てるモードをいう。正面の被写体を重視し、印象的な効果をもたらすために、前述の第３のグループ分割態様または第７のグループ分割態様の方法を用いて前方の音声の優先度を強め、かつ後方の音声は特徴的な変化点のみで聴こえ、それ以外はフェードアウトしていくような効果を得る。
【０１３０】
[１１：スポットライトモード]
正面の被写体の優先度を上げ、かつサラウンド効果も適度に得たいので、前述の第４のグループ分割態様または第８のグループ分割態様の方法を用いて、前方の優先度を適度に上げる。
【０１３１】
[１２：スキントーンモード]
スキントーン機能とは肌を綺麗に見せるため、肌色の部分の強調をしない機能をいう。この場合、前述のテレマクロモードと同様の設定にする。
【０１３２】
次に、家庭用ビデオカメラでの実施例は現状あまり見られないが、以下のような音質に関するユーザー設定を用意して、それに連動して、前述の（１）（２）（３）（４）の選択・変更を実施する例をいくつか例示する。
【０１３３】
[１３：スタジアムモード]
あらゆる方向から様々なレベルの音声が到来し、それらは互いにあまり相関を持たないことが多いため、他チャンネルのＡＧＣ制御に不必要に引っ張られることがないよう、全チャンネル独立のグループ分けとし、臨場感重視でダイナミックレンジを広めに設定する。
【０１３４】
[１４：音楽、ホールモード]
観客が比較的静かで、音楽が支配的な状況である場合には、正確なサラウンド定位を得るため、グループ分割は全チャンネル共通とし、後方チャンネルの基準レベルは若干低めにする。
【０１３５】
[１５：スピーチモード]
被写体の声を優先的に収録し、かつ周囲の音声によってＡＧＣ制御が引っ張られないようにするため、前述の第４のグループ分割態様または第８のグループ分割態様の方法を用いて前方の音声の優先度を強め、かつ後方チャンネルは基準レベル、リミッターレベル共に低めにする。
【０１３６】
[１６：ナレーションモード]
ナレーションモードとは、ビデオカメラの撮影者自身の音声を積極的に収録したい場合のモードをいう。撮影者の顔はビデオカメラの左後方に位置するため。すなわち家庭用ビデオカメラは右手で持つよう設計されているため、５.１チャンネルサラウンドであれば、Ｌsチャンネルのみ、他のチャンネルとグループを分け、Ｌsチャンネルの入出力特性関数は声の聴き取りやすさ重視のため若干ダイナミックレンジ圧縮を強めにする。
【０１３７】
次に、その他のユーザー操作に起因するビデオカメラの状態変化に応じて、前述の（１）（２）（３）（４）の選択・変更を実施する例をいくつか例示する。
【０１３８】
[１７：ワイヤレスマイク接続時モード]
ワイヤレスマイク接続時とはビデオカメラの本体付属マイクロフォン以外のマイクを別途接続して、その収録音声をサラウンドチャンネルにミックスする状態をいう。この場合ワイヤレスマイクの音声のみ、他のチャンネルとグループを分け、入出力特性関数は声の聴き取りやすさ重視のため若干ダイナミックレンジ圧縮を強めにする。
【０１３９】
[１８：対面撮影時モード]
対面撮影とは、回転型の液晶表示装置（ＬＣＤ：Liquid Crystal Display）と、接眼型のビューファインダーの両方を装備するビデオカメラなどで、被写体の人物に撮影中のカメラ画像を見せる目的で、前記ＬＣＤを１８０度回転させて被写体側に向けての撮影をいう。このとき前記ＬＣＤとビューファインダーの両方にカメラ画像が表示される。
【０１４０】
音源移動の再現を重視することより、各チャンネルを聴き取りやすいレベルで収録することが求められ、かつ正面方向の優先順位が高い撮影状況が想定されるので、全チャンネル独立のグループ分けで、Ｃチャンネル以外のチャンネルの基準レベルおよびリミッターレベルを下げるか、または前述の第４のグループ分割態様または第８のグループ分割態様を適用する。
【０１４１】
[１９：三脚使用時モード]
三脚使用時とは、ビデオカメラに、三脚が装着されたことを認識する機能が装備されている場合をいう。三脚使用時は、撮影者の体がビデオカメラの後方に近接して指向性の妨げになったり、撮影者の声が入ることが少ないと考えられ、効果的なサラウンド収録が期待できる状況にある。よって全チャンネルを同一グループ、同一制御とする。
【０１４２】
次に、ユーザーの操作によらない自動音量制御の一例について説明する。ビデオカメラ撮影者の意思・操作によらず、入力された入力映像信号そのものを手がかりにして、前述の（１）（２）（３）（４）の選択・変更を実施する。例をいくつか例示する。
【０１４３】
[１：顔判別による自動音量制御]
入力映像信号の中から、人間の顔の情報を抽出する技術が数多く知られている。例えば、動画像の中の輝度情報を元に人間の目が存在する位置を高速で検出することによって画面中の人数を特定することができる。
【０１４４】
このような顔検出技術を用いて、カメラ画の中に映っている人数が１人若しくは非常に少ない場合は、上記したスピーチモードに相当するＡＧＣ処理を実施する。また、カメラ画の中に映っている人数が非常に多い場合は、前述のスタジアムモードに相当するＡＧＣ処理を実施する。なお、人数の判定には、瞬時判定ではなく、ある一定時間内の判定結果を総合してから判断する方法が好適である。
【０１４５】
[２：撮影シーン判別による自動音量制御]
入力映像信号に基づいて自動的に撮影シーンの判別を行う技術が数多く知られている。例えば、撮影レンズの焦点距離（ズームレンズの位置情報から推定）、撮影倍率、輝度、色バランス、被写体動作静止情報（オートフォーカスレンズの位置情報から推定）の各情報に基づいて予め用意されたメンバシップ関数と比較し、ファジイ推論によって各撮影モード、例えばポートレートモード、標準モード、スポーツモード、風景モード、夕景モード、夜景モード等の撮影シーンに対応した撮影モードと推定できる確からしさを判定する。
【０１４６】
このような撮影シーン判別技術を用いて、シーン判別結果が例えばポートレートモードであった場合には、上記したポートレートモードに相当するＡＧＣ処理を実施する。また、シーン判別結果が風景モード、夕景モード、夜景モードであった場合には、上記した夜景モードに相当するＡＧＣ処理を実施する。
【０１４７】
また、シーン判別結果が、焦点距離が遠く、被写体の動きが速いスポーツモードであった場合には、上記したスタジアムモードに相当するＡＧＣ処理を実施する。
【０１４８】
次に、本発明に係る音声信号処理装置の第２の実施の形態について図１９〜図２２を参照して説明する。
【０１４９】
本実施の形態はユーザーの操作によらない自動音量制御として入力音声の特徴を音場解析により抽出し、抽出された入力音声の特徴に応じて自動音量制御をするというものである。
【０１５０】
多数ベクトル、例えば３２方向や４８方向、ないしそれ以上といった、多数の方向の指向性を生成可能な多チャンネルマイクロホンで収録した多数方向の音声ベクトルを解析して周辺の音場環境を類推し、その結果を後段の信号処理に反映させる技術をＡＧＣシステムに適用した場合の実施例について説明する。ここでは、出力チャンネル数が５個で、それに対して十分に多い数Ｍ個の入力チャンネルを装備するシステムを例示している。
【０１５１】
ある時刻におけるＭチャンネルの入力信号を図２０のようにベクトル的に表す。中心がサラウンドマイクロホンの位置で、矢印の方向が各入力チャンネルの指向方向、矢印の長さが音量の絶対値を表す。
【０１５２】
同一時刻の音場ベクトルをＳ１からＳＭまで角度方向に微分して得られる微分係数と、各ベクトルの大きさとから、主な音源の存在する方向とそのレベルを推定できる。また、各音場ベクトルを時間方向に微分して得られる微分係数と前述の音源存在方向とから、音源の動きが推定できる。
【０１５３】
例えば図２１では、右前方のみに特徴的な大レベルの音源が存在することが分かるが、このように主要な音源方向が限られている場合には、各チャンネルの音量バランスを一定に保ち音源の定位を正しく再現する狙いから、グループ分割を全チャンネル共通グループにすると良い。
【０１５４】
また図２２のように、大レベルの音源が様々な方向に存在し、かつそれぞれの音源の動きも激しい場合は、音量バランスの再現性よりも、各チャンネル毎の聴き取りやすさを優先するために、グループ分割を各チャンネル独立にすると良い。
【０１５５】
以上のような音場ベクトルは特徴抽出（音場解析）を行う特徴抽出部１５を入力部１−１〜１−Ｍとダウンミックス部９の間に設け、特徴抽出部１５はチャンネルグループ分割部３、入出力特性変換関数決定部６、係数決定部７、選択部８の入力側に設け、特徴抽出の結果に応じて、チャンネルグループ分割の仕方を変化させたり、ＡＧＣシステムの入出力特性変換関数、係数決定部で決定されるアタック処理、リカバリー処理に必要な時定数などの係数や、決定された係数の乗算器への分配の仕方を変えることができる。
【０１５６】
次に、本発明に係る音声信号処理装置の第３の実施の形態について図２３を参照して説明する。
【０１５７】
本実施の形態はユーザーの操作によらない自動音量制御として相互相関係数を算出し、算出された相互相関係数に応じて自動音量制御をするというものである。
【０１５８】
サラウンドマイクロホンの前方チャンネルで収録された音声と、後方チャンネルで収録された音声との相互相関係数を算出し、これに応じて後方チャンネルの音量を制御する先行技術が開示されている。具体的には、前方チャンネル音声と後方チャンネル音声の相互相関係数が大きい場合ほど、後方チャンネルの音声はカメラ画像の内容により強い関連を持つ音声であるとみなし、後方チャンネルの音量を上げ、相互相関係数が低い場合には、カメラ画像との関連が弱い音声とみなし、後方チャンネルの音量を下げるというものである。
【０１５９】
図２３には５チャンネル入出力の例が示されている。Ｃチャンネル、Ｌチャンネル、Ｒチャンネル、Ｌsチャンネル、Ｒsチャンネルの各入力信号同士の相互相関係数を検出する相互相関係数検出部１７をチャンネルグループ分割部３、入出力特性変換関数決定部６、係数決定部７、選択部８の入力側に設け、相互相関係数の検出結果に応じて、チャンネルグループ分割の仕方を変化させたり、ＡＧＣシステムの入出力特性変換関数、係数決定部で決定されるアタック処理、リカバリー処理に必要な時定数などの係数や、決定された係数の乗算器への分配の仕方を変えることができる。
【０１６０】
以下、上記した相互相関係数に応じた自動音量制御についてより具体的に説明する。
【０１６１】
まず、Ｃチャンネルへの入力信号とＬsチャンネルへの入力信号の相互相関係数、Ｌチャンネル入力信号とＬsチャンネル入力信号の相互相関係数、Ｒチャンネル入力信号とＬsチャンネル入力信号の相互相関係数の中で最も音声レベルが大きいものを、ρLsとする。Ｃチャンネルへの入力信号とＲsチャンネルへの入力信号の相互相関係数、Ｌチャンネル入力信号とＲsチャンネル入力信号の相互相関係数、Ｒチャンネル入力信号とＲsチャンネル入力信号の相互相関係数の中で最も音声レベルが大きいものを、ρＲsとする。
【０１６２】
ここで、ρＬsの音声レベルが大きい時、すなわちＬsチャンネルの入力音声とカメラ画像の相関が高いと推定される場合には、ＬsチャンネルとＣチャンネル、Ｌチャンネル、Ｒチャンネルの相互の音量バランスを正しく再現する必要性が高い状況と考えられる。従って、ＬsチャンネルとＣチャンネル、Ｌチャンネル、Ｒチャンネルとを同一グループに割り当て、さらにＬsチャンネル用の基準レベルやリミッターレベル、リカバリー時定数をＣチャンネル、Ｌチャンネル、Ｒチャンネルと同等にする。
【０１６３】
ρＬsの音声レベルが小さい時、すなわちＬsチャンネルの入力音声とカメラ画像の相関が低いと推定される場合には、ＬsチャンネルとＣチャンネル、Ｌチャンネル、Ｒチャンネルとを別グループに割り当て、さらにＬsチャンネル用の基準レベルやリミッターレベルを下げ、リカバリー時定数を短くする。
【０１６４】
同様に、ρＲsの音声レベルが大きい時、すなわちＲsチャンネルの入力音声とカメラ画像の相関が高いと推定される場合には、ＲsチャンネルとＣチャンネル、Ｌチャンネル、Ｒチャンネルとを同一グループに割り当て、Ｒsチャンネル用の基準レベルやリミッターレベル、リカバリー時定数をＣチャンネル、Ｌチャンネル、Ｒチャンネルと同等にする。ρＲsの音声レベルが小さい時、すなわちＲsチャンネルの入力音声とカメラ画像の相関が低いと推定される場合には、ＲsチャンネルとＣチャンネル、Ｌチャンネル、Ｒチャンネルとを別グループに割り当て、Ｒsチャンネル用の基準レベルやリミッターレベルを下げ、リカバリー時定数を短くする。
【０１６５】
以上のようなチャンネルグループ分割の変更等をユーザーの操作によらない制御で行えば、上記した従来技術による前後チャンネルの相関に応じて後方チャンネルの音量を単純に上下させる制御処理における課題を解消することができる。
【０１６６】
次に、ユーザーの操作によらない自動音量制御の他の例として手振れセンサーの出力波形に応じた自動音量制御について説明する。
【０１６７】
手振れ補正機能を装備したカメラ一体型ビデオや動画撮影機能つきディジタルスチルカメラの多くには、低い周波数の揺れを検出するための角速度センサーが搭載されている。この角速度センサーの出力波形がある一定値より安定的に小さい場合には、カメラやビデオをユーザーが手で持っているのではなく、三脚その他の安定した手段で保持していることが推定できる。このような場合は、撮影者の体がビデオカメラの後方に近接して指向性の妨げになったり、撮影者の声が入ることが少ないと考えられ、効果的なサラウンド収録が期待できる状況にある。よって全チャンネルを同一グループ、同一制御とする。
【０１６８】
また、角速度センサーの出力波形がある一定値より大きい場合はビデオカメラの手持ち撮影が想定されるので、カメラに近接した撮影者の声が被写体の音声より大きく収録されてしまうことの防止と、撮影者の声でＡＧＣがかかり全体の音量が振られることの防止のために、後方チャンネルだけグループを分け、かつリミッターレベルも他のチャンネルより低めにすることが望ましい。
【０１６９】
本発明に係る音声信号処理装置は、上記したビデオカメラに適用するだけでなく、デジタルカメラ、携帯電話器のように種々の音声を記録する電子機器に適用できる。図２４は本発明に係る音声信号処理装置を撮像装置に適用した場合における撮像装置の構成を示している。
【０１７０】
図２４に示されるように、この撮像装置には、撮影レンズ、絞り、フォーカスレンズ等を概念上含むレンズ部３１が配設されている。そして、このレンズ部３１を介して入射する被写体光の光路上には、ＣＣＤ(Charge Coupled Device)等の撮像素子３２が配置されている。この撮像素子３２の出力は、アナログ信号処理部３３、アナログ／ディジタル(A/D; Analog/Digital)変換部３４を介してディジタル信号処理部３５の入力に接続されている。そして、このディジタル信号処理部３５の出力は、液晶パネル３７、記録デバイス３９の入力に電気的に接続されている。
【０１７１】
さらに、この撮像装置には、全体の制御を司るＣＰＵ(Central Processing Unit)４３が配設されており、該ＣＰＵ４３は、モータドライバ４１、タイミングジェネレータ(TG; Timing Generator)４２、操作部４４、ＥＥＰＲＯＭ(Electrically Erasable Programmable ROM)４５、プログラムＲＯＭ(Read Only Memory)４６、ＲＡＭ(Random Access Memory)４７、タッチパネル４６、音声信号処理装置２０と接続されている。
【０１７２】
尚、ＣＰＵ４３がプログラムＲＯＭ４６に格納された制御プログラムを読み出し、実行することで、撮影モード設定手段、主制御手段等として機能する。プログラムＲＯＭ４６は、ＣＰＵ４３が実行するプログラム、該プログラムを実行する上で必要なデータを記憶する為のものである。本実施の形態では例えば上記したユーザーの操作による間接指示を撮影モードと考えた場合この種々の撮影モードは音声信号処理プログラムとしてプログラムＲＯＭ４６に格納される。
【０１７３】
音声信号処理装置２０はスピーカー２１とマイクロフォン２２に電気的に接続されている。上記した入力部は具体的にはこのマイクロフォンを指し、出力部は具体的にはこのスピーカーを指す。
【０１７４】
このような構成を有する電子機器は上記したユーザーの操作による間接指示により行われる制御、ユーザーの操作によらない制御をＣＰＵ４３が行う。
【０１７５】
また、上記した各実施の形態は、本発明を好適に実施した形態の一例に過ぎず、本発明は、その主旨を逸脱しない限り、種々変形して実施することが可能なものである。
【図面の簡単な説明】
【０１７６】
【図１】本発明の第１の実施の形態に係る音声信号処理装置の構成を示した図である。
【図２】外部からの指示、音声信号の特徴に基づく自動音量制御を模式的に示した図である。
【図３】５つの入力チャンネルを持つサラウンド音声信号を入力とする音声信号処理装置の一例を示した図である。
【図４】５.１チャンネルサラウンド視聴時のスピーカー配置を示した図である。
【図５】図３における入出力特性変換関数決定部で決定される入出力特性関数の一例を示した図である。
【図６】図３における入出力特性変換関数決定部で決定される入出力特性関数の他の例を示した図である。
【図７】アタックタイムが極端に長い場合におけるＡＧＣの動作を、アタックタイムが短くリカバリータイムが長い場合におけるＡＧＣの動作と比較して説明するための図である。
【図８】５系統の入力チャンネルを持つサラウンド音声信号を入力とする音声信号処理装置の他の例を示した図である。
【図９】７系統の入力チャンネルを持つサラウンド音声信号を入力とする音声信号処理装置の他の例を示した図である。
【図１０】７．１チャンネルサラウンド視聴時のスピーカー配置の一例を示した図である。
【図１１】７．１チャンネルサラウンド視聴時のスピーカー配置の他の例を示した図である。
【図１２】７系統の入力チャンネルを持つサラウンド音声信号を入力とする音声信号処理装置のさらに他の例を示した図である。
【図１３】図９における入出力特性変換関数決定部で決定される入出力特性関数の一例を示した図である。
【図１４】図９における入出力特性変換関数決定部で決定される入出力特性関数の他の例を示した図である。
【図１５】７．１チャンネルサラウンドマイクロフォンに対して音源が前方から右横を通過して後方へ去っていく場合のサラウンド定位を説明するための図である。
【図１６】マイクロフォンの各チャンネルの感度が等しく、かつＡＧＣによるリミッター処理を行わない場合におけるＲチャンネル、Ｒsチャンネル、ＲRSチャンネルの音声レベルの時間的変化を示した図である。
【図１７】３チャンネル共通にＡＧＣによるリミッター処理を施した場合におけるＲチャンネル、Ｒsチャンネル、ＲRSチャンネルの音声レベルの時間的変化を示した図である。
【図１８】Ｒsチャンネルのみリミッターレベルを高く、かつトータルゲインを小さくした場合におけるＲチャンネル、Ｒsチャンネル、ＲRSチャンネルの音声レベルの時間的変化を示した図である。
【図１９】本発明の第２の実施の形態に係る音声信号処理装置の構成を示した図である。
【図２０】ある時刻におけるＭチャンネルの入力信号の一例をベクトル的に示した図である。
【図２１】ある時刻におけるＭチャンネルの入力信号の他の例をベクトル的に示した図である。
【図２２】ある時刻におけるＭチャンネルの入力信号のさらに他の例をベクトル的に示した図である。
【図２３】本発明の第３の実施の形態に係る音声信号処理装置の構成を示した図である。
【図２４】本発明に係る音声信号処理装置を電子機器に適用した場合の構成を示した図である。
【図２５】従来のフィードバック方式の音声信号用ＡＧＣシステムの一構成例を示した図である。
【図２６】図２５に示すＡＧＣシステム全体の入出力特性を示した図である。
【図２７】従来のフィードバック方式の音声信号用ＡＧＣシステムの他の構成例を示した図である。
【図２８】ベースノイズクリップ処理を行う場合における図２７に示すＡＧＣシステムの入出力特性を示した図である。
【符号の説明】
【０１７７】
１−１〜１−Ｍ…入力部、２−１〜２−Ｍ…レベル検波部、３…グループ分割決定部、４−１〜４−ｎ…チャンネルグループ分割部、５，８…選択部、６…入出力特性変換関数決定部、７…係数決定部、９…ダウンミックス部（あるいはアップミックス部）、１０−１〜１０−Ｎ…遅延器、１１−１〜１１−Ｎ…乗算器、１２−１〜１２−Ｎ…出力部、１３…制御部
【図１】
2009111519.tif 000003
【図２】
2009111519.tif 000004
【図３】
2009111519.tif 000005
【図４】
2009111519.tif 000006
【図５】
2009111519.tif 000007
【図６】
2009111519.tif 000008
【図７】
2009111519.tif 000009
【図８】
2009111519.tif 000010
【図９】
2009111519.tif 000011
【図１０】
2009111519.tif 000012
【図１１】
2009111519.tif 000013
【図１２】
2009111519.tif 000014
【図１３】
2009111519.tif 000015
【図１４】
2009111519.tif 000016
【図１５】
2009111519.tif 000017
【図１６】
2009111519.tif 000018
【図１７】
2009111519.tif 000019
【図１８】
2009111519.tif 000020
【図１９】
2009111519.tif 000021
【図２０】
2009111519.tif 000022
【図２１】
2009111519.tif 000023
【図２２】
2009111519.tif 000024
【図２３】
2009111519.tif 000025
【図２４】
2009111519.tif 000026
【図２５】
2009111519.tif 000027
【図２６】
2009111519.tif 000028
【図２７】
2009111519.tif 000029
【図２８】
2009111519.tif 000030