(57)【要約】【課題】雑音が少なく、録音レベルの安定した高品位な録音を行う。【解決手段】撮影方向の被写体を録音する録音手段と、指定方向を録音する録音手段と、撮影方向が変化しても指定方向は常に一定になる様に制御する方向制御手段と、撮影方向と指定方向の関係に基づいて録音条件を制御する録音制御手段とで録音装置を構成する。【選択図】図１
2015088887.tif 000002
【特許請求の範囲】
【請求項１】
撮影方向の被写体を録音する録音手段と、
指定方向を録音する録音手段と、
前記撮影方向が変化しても前記指定方向は常に一定になる様に制御する方向制御手段と、
前記撮影方向と前記指定方向の関係に基づいて録音条件を制御する録音制御手段とで構成された録音装置。
【請求項２】
撮影方向の被写体を録音する録音手段と、
指定方向を録音する録音手段と、
前記撮影方向が変化しても前記指定方向は常に一定になる様に制御する方向制御手段と、
前記指定方向の録音信号をネットワークに送信する送信手段と、
ネットワークで加工された前記指定方向の録音信号を受信する受信手段と
前記受信手段で受信した録音信号と前記撮影方向の被写体を録音した録音信号を合成した合成信号を記録する記録手段で構成される録音装置。
【請求項３】
前記撮影方向の被写体を録音した録音信号と前記指定方向を録音した録音信号の合成信号および前記受信手段で受信した録音信号と前記撮影方向の被写体を録音した録音信号を合成した合成信号の２つの信号を記録する記録手段で構成される請求項２に記載の録音装置。
【請求項４】
前記方向制御手段はジャイロである請求項１又は請求項２に記載の録音装置。
【請求項５】
前記方向制御手段はマイクである請求項１又は請求項２に記載の録音装置。
【請求項６】
前記マイクによる録音方向を交番的に変化させるウォブリング手段と、
前記交番的に変化させられた録音音量により音源の方向を判定する音量判定手段と、
前記音量判定手段の出力に基づいて録音方向を指示する録音方向指示手段を有する
請求項５記載の録音装置。
【請求項７】
前記音量判定手段は前記交番的に変化させられた録音の音量の方向毎の比較を行う請求項６に記載の録音装置。
【請求項８】
前記音量判定手段は前記録音音量の方向毎の平均値の比較を行う請求項７に記載の録音装置。
【請求項９】
前記音量判定手段は前記方向毎の平均値の差を録音音量で正規化した結果に基づいて音源方向を検出する請求項８に記載の録音装置。
【請求項１０】
前記音量判定手段は前記正規化した今回の比較値と前回の比較値の変化に基づいての音源の方向を検出する請求項に９記載の録音装置。
【請求項１１】
前記方向制御手段は前記ジャイロと前記マイクの信号に基づいて録音方向を制御する請求項４又は請求項５に記載の録音装置。
【請求項１２】
前記方向制御手段は前記ジャイロの信号に基づいて録音方向を定め、その後前記マイクの信号に基づいて音源の方向を検出する請求項１１に記載の録音装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を録音可能な装置に関する。特に撮影とともに複数音の録音を行う録音装置に関する。
【背景技術】
【０００２】
音声処理装置は様々な環境下で、忠実な音声を取得／記録されることが望まれている。しかしながら実際には主要被写体以外の音も雑音として録音されてしまう。
【０００３】
この問題を軽減する為に機械的な装置／電気的な処理が数多く提案されている。
【０００４】
特許文献１では、複数の被写体に、その方向に指向性を設けた複数マイクを対応させてそれら音声信号を合成して録音を行なう技術が開示されている。その様な構成においては背景の雑音の混入を軽減できる事が予想できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２２２６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献に開示された従来技術では、被写体が移動する事が考慮されておらず、例えば二つの被写体が隣り合った場合、重なった場合などでは録音のレベルに変化が生ずる問題があった。
【０００７】
そこで本発明の目的は被写体が移動する場合にでも常に安定した録音レベルを維持する事を目的としている。
【課題を解決するための手段】
【０００８】
撮影方向の被写体を録音する録音手段と、指定方向を録音する録音手段と、
撮影方向が変化しても指定方向は常に一定になる様に制御する方向制御手段と、
録音方向と指定方向の関係に基づいて録音条件を制御する録音制御手段で録音装置を構成する。
【発明の効果】
【０００９】
本発明によれば、簡単なマイク構造と信号処理およびカメラの方向検出手段を組み合わせることで、常に安定した録音レベルを維持する事が出来る。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施例ブロック図
【図２】本発明の第1実施例動作説明図
【図３】本発明の第1実施例フローチャート
【図４】本発明の第1実施例光軸変更動作説明図
【図５】本発明の第1実施例利得調整説明図
【図６】本発明の第1実施例利用環境説明図
【図７】本発明の第1実施例利用法説明図
【図８】本発明の第1実施例送受信ブロック図
【図９】本発明の第２実施例ブロック図
【図１０】本発明の第２実施例フローチャート
【図１１】本発明の第２実施例光軸方向変化検出手段の詳細ブロック図
【図１２】本発明の第２実施例音追尾のフローチャート
【図１３】本発明の第２実施例音ウォブリングの状態を説明する図
【図１４】本発明の第２実施例音量比較方法を説明する図
【図１５】本発明の第３実施例ブロック図
【図１６】本発明の第３実施例動作説明図
【図１７】本発明の第３実施例光軸方向変化検出手段の詳細ブロック図
【図１８】本発明の第３実施例録音方向設定のフローチャート
【発明を実施するための形態】
【００１１】
［実施例１］
図１は本発明の第１実施例の構成を説明する図であり、１１はカメラ本体、１２はカメラ本体に着脱可能なレンズ鏡筒、１３はカメラ本体が撮影している主被写体、１４は主被写体から離れたところに配置された背景音源であり、ＢＧＭを流すスピーカーや楽団である。
【００１２】
１５は主被写体音を録音するマイクの指向性の領域（領域の制御は後述する）、１６は背景音源を録音するマイクの指向性の領域（領域の制御は後述する）である。
【００１３】
マイク１７ａ、１７ｂ、１７ｃ、１７ｄはカメラ本体１１の全周囲にわたって配置され、それらマイクの信号を適宜処理、合成することで任意の方向、幅の指向性を作り出す。
【００１４】
１８はカメラ本体１１に内蔵される信号処理を説明するブロック図であり１９は磁気コンパスやジャイロ等の様にカメラの向き変化を検出する光軸方向変化検出手段、１１５は光軸方向変化検出手段の作動を制御するロックボタン、１１０ａはマイク１７ａの利得を調整する第１の利得調整手段、１１０ｂは後述する第２の合成手段の利得を調整する第２の利得調整手段、１１１ａ、１１１ｂ、１１１ｃ、１１１ｄは前述した指向性を作り出す為に各マイク１７ａ、１７ｂ、１７ｃ、１７ｄ信号を遅延、利得処理をする利得遅延調整手段、１１２ａは第１、第２の利得調整手段の出力を合成する第１の合成手段。１１２ｂは利得、遅延調整手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄの信号を合成する第２の合成手段、１１３は第１の合成手段１１２ａが出力する音声信号を記録する記録手段、１１４は第２の合成手段が出力する音声信号を送受信する送受信手段である。
【００１５】
図１で示される様に本発明の録音装置では主被写体および背景音源１４に向けた狭い指向性の録音を行っている。その為この範囲以外の雑音、例えば空調の音や観客の咳払いは録音されず高品位な録音が行える。
【００１６】
ここで背景音源１４の方向特定の方法について説明する。
【００１７】
先ず録音者は背景音源１４にカメラ（カメラ本体１１およびレンズ鏡筒１２）を向ける。これはカメラのファインダーや背面液晶モニターなどを利用して背景音源を認識することで正確に行える。
【００１８】
その状態でロックボタン１１５を押して背景音源１４をロックし、次に主被写体１３にカメラを向けてロックボタン１１５を離し、その後に録音録画を開始する。
【００１９】
ロックボタン１１５を押してから離すまでの期間の「主被写体にカメラを向ける」行為を光軸方向変化検出手段で検出している。例えばロックボタン１１５を押した状態からジャイロの角速度出力の積分を開始しロックボタン１１５を離す迄の積分角度を主被写体１３と背景音源１４のなす角度として背景音源の方向を特定する。
【００２０】
利得、遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄはマイク１７ａ、１７ｂ、１７ｃ、１７ｄの信号遅延および利得調整を行い指向領域１６を設定する事が出来る。
【００２１】
主被写体１３はカメラ光軸の延長上にあるとみなし、マイク１７ａのみで録音を行う。
【００２２】
このようにして録音した主被写体１３の音声および背景音源１４の音は第１の合成手段で合成されて記録手段１１３に記録される。
【００２３】
そのため主被写体音声および背景音源だけが記録され高品位な録音を行う事が出来る。
【００２４】
図２は図１の構成において主被写体１３が移動した場合を示す簡略図である。
【００２５】
図２において２１は主被写体１３および背景音源１４がある舞台である。
【００２６】
先ず図２（ａ）の状態で図１を用いて説明した様に撮影者は背景音源１４および主被写体１３に録音の指向方向を設定すると共に録音録画を開始する。
【００２７】
図２（ｂ）は主被写体１３が背景音源側に移動した状態を示しており、この時カメラが主被写体１３を追ってパンニングすると領域１６は背景音源１４の指向方向とズレてしまい良好な録音ができなくなる。
【００２８】
そこで図２（ｃ）に示すように図２（ａ）の状態から主被写体１３を追ってパンニングした角度２２を光軸方向変化検出手段１９が検出し、その角度分だけ角度２４として図２（ｂ）で示した領域１６の方向２３を図２（ｃ）の方向２５に変更する様に利得、遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄを調整する。
【００２９】
これにより背景音源の方向に指向方向を一致させる事が出来る。
【００３０】
しかしこのままでは領域１５と１６が一部重複する事になる。その為背景音源１４を録音する領域１６にも主被写体１３の音声が録音され、主被写体１３を録音する領域１５にも背景音源１４の音が録音される。これにより第１の合成手段１１２ａの出力はその分だけ大きな音量になってしまう。
【００３１】
そこで各領域１５、１６の重なる量をその時の領域１５，１６のなす角度２６から求めて利得調整手段１１０ａ、１１０ｂの利得を再調整する。
【００３２】
すなわち領域１５、１６の重複量が多いとその分だけ利得調整手段１１０ａ、１１０ｂの利得を下げて重複による音量の増加を防いでいる。
【００３３】
図３は上記動作を説明するフローチャートでありこのフローはカメラの主電源オンでスタートする。
【００３４】
ステップ＃３００１ではロックボタン１１５がオンされたか否かを判定しておりオンされた場合にはステップ＃３００２に進みそうでない場合にはステップ＃３０１４に進む。
ロックボタン１１５がオンされない場合については後述する。
【００３５】
ステップ＃３００２ではカメラ本体１１或いはレンズ鏡筒１２に内蔵されている光軸方向変化検出手段１９である振動ジャイロ等の角速度計を起動すると共にそのジャイロ出力を積分して角度への換算を始める。尚、ジャイロを手ぶれ補正など別の用途でも用いている場合には既にジャイロは起動し手ぶれ補正に対応した積分を開始している事になるが、その場合には指向方向に適した積分特性（例えば演算周波数特性をより低周波側に精度を求める特性、手ぶれ補正の精度を求めず広い角度の演算が行える特性）の積分演算を始める。
【００３６】
ステップ＃３００３ではロックボタン１１５がオフ操作されるまで待機する。すなわちこの間はジャイロの出力を積分し続ける事になる。そしてロックボタン１１５がオフされるとステップ＃３００４に進む。
【００３７】
ステップ＃３００４ではジャイロのそれまでの積分結果より背景音源１５と主被写体１４のなす角度を出力する。
【００３８】
図４はカメラの光軸方向をジャイロで検出した積分結果（角度）であり横軸は経過時間、縦軸は光軸の変化角度を示している。波形４１はジャイロで検出したカメラのパンニング角速度を積分して角度に換算した波形である。ステップ＃３００４は時刻ｔ１のタイミングであり、その時の角度θ１を出力する。
【００３９】
ステップ＃３００５では利得、遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄの利得、遅延量を調整して図２(ａ)に示すように背景音源１４に向けたマイクの指向性領域１６を設定する（主被写体１３に向けたマイクの指向性領域１５に対して指向性領域１６はステップ＃３００４で求めた角度だけずらした方向になる。）。
【００４０】
ステップ＃３００６では録音、録画の開始操作が行われるまでステップ＃３００４、＃３００５を循環して待機する。すなわち録音、録画の開始が行われるまでジャイロから求まる最新の角度で指向性の領域１６の方向を設定しなおす。
【００４１】
録音、録画開始操作が行われ、ステップ＃３００７では録音と録画が開始される。これにより主被写体１３と背景音源１４の音が個別に録音され第１の合成手段１１２ａで合成されて記録手段１１３に記録される。
【００４２】
ステップ＃３００８ではジャイロを用いて主被写体１３の方向変化を検出し続ける。これは図２（ｃ）における角度２２を検出する事に相当する。（ステップ＃３００８は図４の時刻ｔ２に相当し角度θ２を出力する。）
ステップ＃３００９では求めた角度２２に対応して図２（ｃ）の角度２４を算出（角度２２と同じ角度）し、その分だけ主被写体１３の方向と背景音源１４方向のなす角度を求め直す。（図２（ｃ）の角度２６）そして利得、遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄの利得、遅延量を調整して光軸方向に対して背景音源１４に向けたマイクの指向性領域１６を再設定する。
【００４３】
ステップ＃３０１０ではステップ＃３００９で求めた２つの指向性方向１５、１６のなす角度を求める。
【００４４】
ステップ＃３０１１ではその角度に応じて第１、第２の利得調整手段１１０ａ、１１０ｂの出力を調整する。
【００４５】
図５は調整する利得量を示しており横軸は指向性方向１５、１６のなす角度、縦軸は利得調整手段１１０ａ、１１０ｂの利得を示している。
【００４６】
図５から分かる様になす角度が所定（２つの指向性領域１５、１６が重ならない角度）より大きい場合は利得調整手段１１０ａ、１１０ｂ各々の利得は１である。しかしながらなす角度が小さくなってゆく（２つの指向性領域１５、１６の重なりが大きくなってゆく）に従って利得調整手段１１０ａ、１１０ｂ各々の利得は小さくなり、２つの指向性領域１５、１６が重った場合には各々の利得は０．５にする。
【００４７】
ステップ＃３０１２では録音、録画終了の操作が行われるまでステップ＃３００８、＃３００９、＃３０１０、＃３０１１を循環して待機する。
【００４８】
すなわちステップ＃３００８では図４における時刻ｔ３、ｔ４などにおける角度θ３、θ４を求め、ステップ＃３００９ではそれに基づいて指向性領域１６の方向を変更し、ステップ＃３０１０、＃３０１１では利得調整手段１１０ａ、１１０ｂの利得を調整し続ける。
【００４９】
録音、録画終了操作が行われるとステップ＃３０１３に進み録音、録画を終了してステップ＃３００１に戻る。
【００５０】
ステップ＃３００１でロックボタンオン１１５操作が行われない場合にはステップ＃３０１４に進み録音、録画開始操作が行われるまでステップ＃３００１を循環して待機する。
【００５１】
そしてステップ＃３０１４で録音、録画開始操作が行われた場合にはステップ＃３０１５に進む。
【００５２】
ステップ＃３０１５では第２の利得調整手段１１０ｂの利得をゼロにして背景音源１４の録音は行わない。
【００５３】
ステップ＃３０１６では録音、録画を開始する。すなわちロックボタン１１５の操作が行われない状態で録音、録画が開始された場合には主被写体１３の録音のみを行い、背景音源録音の為の指向領域１６の制御は行わない。
【００５４】
ステップ＃３０１７では録音、録画終了操作までステップ＃３０１６を循環して待機し、録音、録画終了操作が行われるとステップ＃３０１８に進む。
【００５５】
ステップ＃３０１８では録音、録画を終了しステップ＃３００１に戻る。
【００５６】
ここまでは本発明の録音装置内で閉じた録音制御を説明してきた。
【００５７】
本装置は背景音源１４の録音結果を送受信手段１１４で外部に送信する機能も有している。この機能の説明を以下に述べる。
【００５８】
図１で説明した様に指向性領域１６は背景音源１４の録音を目的に形成されているが、もしも背景音源が複数離れて配置してあった場合には対応できなくなってしまう。
【００５９】
そこで複数台のカメラで背景音源の録音を役割分担し、それを例えばクラウド上で合成して対応してゆく事ができる。
【００６０】
すなわち図６に示すようにカメラ６１ａ、６１ｂ、６１ｃ、６１ｄで各々異なる録音ポイントを狭指向性で雑音なく録音し、それをネットワーク６２に送信し、ネットワーク６２はそれらの信号を同期しつつ合成する。
【００６１】
図７は上記を説明する図であり、その操作方法を順に説明する。
【００６２】
先ずカメラ６１ａ、６１ｂ、６１ｃをそれぞれの撮影者が用意し、予め打ち合わせて背景音源の方向を決める。例えばカメラ６１ａは背景音源１４ａの録音を担当、カメラ６１ｂは背景として舞台２１のセンターを担当。カメラ６１ｃは背景音源１４ｃを担当する。
【００６３】
各々の撮影者はそれぞれ自分の狙う主被写体１３ａ、１３ｂ、１３ｃを今まで説明した様に主被写体と背景音源に分けて録音し、その合成結果を自分のカメラの記録手段１１３に記録する。
【００６４】
またそれと同時に図各々の背景音源は図８に示すように送受信手段１１４ａ、１１４ｂ、１１４ｃを通して、ネットワーク上に送信され、そこで音声合成手段８１により同期音声合成されて記録手段８２に記録される。
【００６５】
これにより背景音源１４ａ、１４ｃおよび舞台センターの音が記録され、周囲の雑音が無い理想的な環境下での録音及びその記録が行われる。
【００６６】
音声合成手段８２の合成結果は各々のカメラ６１ａ、６１ｂ、６１ｃに設けられた送受信手段１１４ａ、１１４ｂ、１１４ｃ（図８では送信と受信を分けて図示）に送信されて記録手段１１３に自分が録音した結果（第１の合成信号）とは別に主被写体方向の録音結果と合成されて（第２の合成信号）保存される。
【００６７】
記録手段８２に記録された結果は例えば一定期間サーバー上に保管され、撮影者がネット回線を通じてその結果を確認できると共に、カメラを保有していない個人に対しても公開される。
【００６８】
この様なシステムの為に自分が目的とする主被写体および背景音源を録音した結果と、理想的な環境下における録音結果を同時に取得する事が出来る。
【００６９】
以上説明した様に主被写体１３と背景音源１４を個別に狭い指向性で録音して合成することで雑音の少ない高品位の録音が可能になる。
【００７０】
更に主被写体を追うカメラのパンニング動作に基づいて背景音源１４の指向方向を制御しているので録音方向を常に安定させる事が出来る。
【００７１】
また、主被写体１３の方向と背景音源１４の角度に応じて録音利得を調整している為に安定した音量で録音が可能になる。
【００７２】
また複数の背景音源がある場合でもネットワークを利用して高い品質の録音を行う事が出来る。
【００７３】
この様に撮影方向の被写体（主被写体１３）を録音する録音手段（マイク１７ａ）と指定方向（背景音源１４）を録音する録音手段（マイク１７ａ、１７ｂ、１７ｃ、１７ｄ）と撮影方向が変化しても指定方向は常に一定になる様に制御する方向制御手段（利得遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄ、第２の合成手段１１２ｂ）と撮影方向と指定方向の関係に基づいて録音条件を制御する録音制御手段（利得調整手段１１０ａ、１１０ｂ）で録音装置を構成することで高品位な録音が実現できた。
【００７４】
また撮影方向の被写体（主被写体１３）を録音する録音手段（マイク１７ａ）と指定方向（背景音源１４）を録音する録音手段（マイク１７ａ、１７ｂ、１７ｃ、１７ｄ）と撮影方向が変化しても指定方向は常に一定になる様に制御する方向制御手段（利得遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄ、第２の合成手段１１２ｂ）と指定方向の録音結果を送信する送信手段（送受信手段１１４）と、送信手段の複数の送信結果を受信して合成する音声合成手段８１で録音システムを構成することで高品位な録音が実現できた。
【００７５】
また撮影方向の被写体（主被写体１３）を録音する録音手段（マイク１７ａ）と指定方向（背景音源１４）を録音する録音手段（マイク１７ａ、１７ｂ、１７ｃ、１７ｄ）と、撮影方向が変化しても指定方向は常に一定になる様に制御する方向制御手段（利得遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄ、第２の合成手段１１２ｂ）と、指定方向の録音信号をネットワーク６２に送信する送信手段（送受信手段１１４）と、ネットワーク６２で加工（音声合成手段８１）された指定方向の録音信号を受信する受信手段（送受信手段１１４）と、受信手段で受信した録音信号と前記撮影方向の被写体を録音した録音信号を合成した合成信号（第２の合成信号）を記録する記録手段１１３で録音装置を構成した。
【００７６】
更に上記記録手段１１３には撮影方向の被写体を録音した録音信号と前記指定方向を録音した録音信号の合成信号（第１の合成信号）も記録手段１１３に記録する構成にした。
【００７７】
［実施例２］
図９は本発明の第２実施例であり、第１実施例とは以下の点で異なる。
・主被写体の録音指向性も制御可能にしている。
・背景音源を録音しない場合には主被写体の指向性領域を広くする。
・光軸方向の変化を背景音源の音の変化で検出する。
【００７８】
図９においては図１に対して利得遅延調整手段９１ａ、９１ｂ、９１ｃ、９１ｄ及び第３の合成手段９２が追加されている。
【００７９】
利得遅延調整手段９１ａ、９１ｂ、９１ｃ、９１ｄは背景音源を録音する場合には第１の実施例と同様に指向性領域１５を狭くして主被写体１３のみ録音して雑音の混入を防いでいるが、背景音源を録音しない場合には利得と遅延を調整する事でその指向性領域を指向性領域９１の様に広くして背景音源も同時に記録できるようにしている。
【００８０】
図１０は本発明の第２実施例のフローチャートであり図４のフローに対してステップ＃３０１９が追記されただけである為そのステップのみ説明する。
【００８１】
ステップ♯３０１９にはロックボタン１１５を操作しない状態で録音、録画を開始するフローで流れてくるステップである。その為ステップ♯３０１５では第２の利得調整手段１１０ｂの利得をゼロにして背景音源の録音を中止する。そしてステップ♯３０１９では利得遅延手段９１ａ、９１ｂ、９１ｃ、９１ｄを調整する事で主被写体１３に向けた指向性領域を狭い領域１５から広い領域９１に変更する。
【００８２】
図９における光軸方向変化検出手段１９は第１の実施例とは異なる方法を用いている。
【００８３】
第１の実施例ではジャイロを用いて光軸方向の変化を検出していたが、ジャイロ自身の温度ドリフトなどにより積分結果に誤差が生じ長時間の使用において次第に背景音源１４と指向性領域１６の方向にずれが生じる恐れがある。
【００８４】
そこで第２の実施例では録音方向を走査して、もっとも背景音源の音量が大きく録音できる方向を検出し、その変化を光軸方向変化としている。
【００８５】
図１１は第２の実施例における光軸方向変化検出のブロック図であり図９の光軸方向変化手段１９の詳細を示している。
【００８６】
光軸方向変化検出手段１９の内部には録音方向を交番的に変化させるウォブリング手段１１０２が設けられており、図１の利得遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄと同様な利得遅延手段１１０３ａ、１１０３ｂ、１１０３ｃ、１１０３ｄを制御して指向性領域１１０１の方向を例えば６０Ｈｚで角度プラスマイナス３度の範囲で矢印１１０４に示すように交番的に変更する。尚、指向性領域１１０１の指向角度は利得遅延手段１１０３ａ、１１０３ｂ、１１０３ｃ、１１０３ｄを調整して図１、図９の指向性領域１６よりも狭い角度に設定されており、交番的に指向方向を変化したときに背景音源１４の音量の変化が検出しやすくなっている。
【００８７】
利得遅延手段１１０３ａ、１１０３ｂ、１１０３ｃ、１１０３ｄの出力は第３の合成手段１１０５により合成され、指向性を持つ録音領域１１０１を形成する。音量判定手段１１０６は交番的に変更される録音方向の音量を比較し、音量の大きな方向を検出する。具体的な方法は後述する。録音方向指示手段１１０７は音量判定手段１１０６の出力を受けて録音方向を定めウォブリング手段１１０２に送る。この出力によりウォブリング手段１１０２は交番的に録音方向を行うときの基準の位置（図１１の軸１１０８）を定める。録音方向指示手段１１０７の信号は光軸方向変化検出手段１９より外部に出力され、図９の得遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄを調整して指向性領域１６の方向を変化させる。これにより記録される背景音源の録音方向が定まる。
【００８８】
図１２は上記を説明するフローチャートであり、図１０のステップ♯３００８の詳細に相当する。
【００８９】
図１０のステップ＃３００８からフローはステップ＃１２００１に流れ利得、遅延手段１１０３ａ、１１０３ｂ、１１０３ｃ、１１０３ｄを調整して２４０Ｈｚで録音方向をプラスマイナス３度の範囲で変更を始める。
【００９０】
このステップでは例えば録音方向を左右に変更したときに、その時の各々の音を録音し、左右毎にその音量を４回平均して６０Ｈｚ毎の左右の平均音量を求める。
【００９１】
ステップ＃１２００２では左右の音量がほぼ同一であるか否か判定し、ほぼ同一である図１２のステップを抜けてステップ＃３００９に戻る。
【００９２】
但しこの場合には左右の音が同一であるのでステップ＃３００９で利得、遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄの再調整は行わず録音方向は変更されない。
【００９３】
ステップ＃１２００２で左右の音に所定以上の差がある場合にはステップ＃１２００３に進む。
【００９４】
ステップ＃１２００３では右方向にウォブリングした時の音が大きければステップ＃１２００４に進み、そうでないときにはステップ＃１２００５に進む。
【００９５】
ステップ＃１２００４では利得、遅延手段１１０３ａ、１１０３ｂ、１１０３ｃ、１１０３ｄを調整して録音方向を３度右に変更する。すなわち次にウォブリングを行うときには録音方向が３度右に向いた状態でプラスマイナス３度のウォブリングを行う事になる。
【００９６】
その後図１２のフローは抜けて図９のフローでステップ＃３００９で利得、遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄの再調整は行ない録音方向を３度右に変更する。
【００９７】
ステップ＃１２００５では利得、遅延手段１１０３ａ、１１０３ｂ、１１０３ｃ、１１０３ｄを調整して録音方向を３度左に変更する。すなわち次にウォブリングを行うときには録音方向が３度左に向いた状態でプラスマイナス３度のウォブリングを行う事になる。
【００９８】
その後図１２のフローは抜けて図９のフローでステップ＃３００９で利得、遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄの再調整は行ない録音方向を３度左に変更する。
【００９９】
図１３、１４は音のウォブリングによる追尾を説明する図である。
【０１００】
図１３において横軸は時間、縦軸は光軸方向変化検出手段１９が録音する方向である。
【０１０１】
ここで波形１３０１はある方向θ１に対してプラスマイナス３度の範囲で２４０Ｈｚで交番的に録音する方向を変更していることを示す。
【０１０２】
ここで右方向（θ１+３）にウィオブリングした時に録音した音量を図１４（ａ）、左方向（θ１−３）にウィオブリングした時に録音した音量を図１４（ｂ）に示す。
【０１０３】
尚、図１４は横軸は時間、縦軸は音量を示し、高くなるほど大きな音量である。
【０１０４】
そして各々の４回録音した音量の平均値を図１４（ｃ）に示す。
【０１０５】
図１４（Ｃ）では左右方向の平均音量において左音量を濃い色で並べて示している。
【０１０６】
ここで平均を求めるのは音がサンプリングタイミングにより変化するので、それを安定させる為である。
【０１０７】
図１４（ｄ）は左右の音量の差を正規化して求めた結果であり（左音量−右音量）/（左音量+右音量）を演算した結果である。
【０１０８】
図１４（ｄ）では時刻ｔ１で右音量の方が大きい（差がプラス）為図１２のステップ＃１２００４で音量を右方向に変更する。
【０１０９】
そして波形１３０２となり図１２のフローを通るときには引き続きウォブリングを行う。
【０１１０】
その結果時刻ｔ２で求まる図１４（ｄ）の正規化音量差はまだ右音量の方が大きい（差がプラス）為図１２のステップ＃１２００４で音量を右方向に変更する。
【０１１１】
同様にして時刻ｔ３における正規化音量差をみると前回の時刻ｔ２に比較して半分以下の音量差になっている。
【０１１２】
この様に音量の差が大きく変化する時は録音の方向が背景音源を超える恐れがある為に録音方向の変更は行わない。
【０１１３】
具体的には前回の音量差との変化が大きく且つ前回の音量差が所定以上の大きさの時は録音方向の変更は行わない。
【０１１４】
ここで「且つ前回の音量差が所定以上の大きさの時」という条件を加えたのは、音量差が小さい時は録音方向の追尾が不要である事とともに図１４（ｄ）における時刻ｔ４の問題の対策である。
【０１１５】
図１４（ｄ）では時刻ｔ４における音量差は時刻ｔ３と同じ音量差となっている。
【０１１６】
その為上記条件を加えないと「前回の音量差が所定以上」ではない為に録音方向の変更動作を行ってしまう為である。
【０１１７】
図１３、図１４で説明した様に録音方向を交番的に変更し、その時の音量を比較して音の方向を追尾する事でジャイロによる光軸方向変化検出以上に安定性の高い録音を行う事ができる。
【０１１８】
この様に撮影方向の被写体（主被写体１３）を録音する録音手段（マイク１７ａ）と指定方向（背景音源１４）を録音する録音手段（マイク１７ａ、１７ｂ、１７ｃ、１７ｄ）と撮影方向が変化しても指定方向は常に一定になる様に制御する方向制御手段（利得遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄ、第２の合成手段１１２ｂ）と撮影方向と指定方向の関係に基づいて録音条件を制御する録音制御手段（利得調整手段１１０ａ、１１０ｂ）で録音装置を構成することで高品位な録音が実現できた。
【０１１９】
そしてマイク１７ａ、１７ｂ、１７ｃ、１７ｄによる録音方向を交番的に変化させるウォブリング手段１１０２と、交番的に変化させられた録音音量により音源の方向を判定する音量判定手段１１０６と、音量判定手段の出力に基づいて録音方向を指示する録音方向指示手段１１０７を有しする。
【０１２０】
そして音量判定手段１１０６は前記交番的に変化させられた録音の音量の方向毎の比較（図１４（ｄ））を行う。
【０１２１】
そして音量判定手段は録音音量の方向毎の平均値（図１４（ｃ））の比較を行う。
【０１２２】
そして音量判定手段は前記方向毎の平均値の差を録音音量で正規化した（音量差を音量和で除算する）結果に基づいて音源方向を検出する。
【０１２３】
そして音量判定手段は正規化した今回の比較値と前回の比較値の変化（図１４（ｄ）の時刻ｔ２とｔ３の比較）に基づいての音源の方向を検出する。
【０１２４】
［実施例３］
図１５は本発明の第３実施例であり、第２実施例とは以下の点で異なる。
・背景音源の録音は広い指向性を持たせる。
・主被写体と背景音源が重なっても背景音源の利得調整は行わない。
・光軸方向の変化をジャイロと背景音源の音の変化で検出する。
【０１２５】
図１５においては図１、図９に対して指向性の領域１６の角度が広がっている。その為背景音源１４ばかりではなく、そのほかの音源も録音可能になる。（例えば図７の背景音源１４ａ、１４ｃが同時に録音できる。）雑音も拾いやすくなる点はあるが、主被写体１３の音は指向性領域１５を有するマイクで録音され合成されるのでその影響は小さい。
【０１２６】
但し主被写体１３の動きをカメラが追うと指向性領域１６の指向性が広くても、背景音源が指向性領域１６から外れる恐れがある。その為第１、第２の実施例と同様に指向性領域１６もカメラの光軸変化に合わせてその方向が制御される。
【０１２７】
その為カメラのパンニング動作が行われても録音開始時に定めた背景音源の録音方向は常に一定になり安定した背景音源の録音が可能になる。
【０１２８】
尚指向性を広げる事、狭くすることは利得遅延調整手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄを調整する事で公知の技術で可能になる。
【０１２９】
図１６は以上を説明する図である。図１６において２１は主被写体１３および背景音源１４がある舞台である。
【０１３０】
先ず図１６（ａ）の状態で第１実施例と同様に撮影者は背景音源１４および主被写体１３に録音の指向方向を設定すると共に録音録画を開始する。
【０１３１】
この時指向性領域１６は広いので舞台２１における背景音源１４ａ、１４ｂ共に録音する事が出来る。
【０１３２】
図１６（ｂ）は主被写体１３が背景音源１４ｃ側に移動した状態を示しており、この時カメラが主被写体１３を追ってパンニングすると背景音源１４ａは指向性領域１６から外れてしまい良好な録音ができなくなる。
【０１３３】
そこで図１６（ｃ）に示すように図１６（ａ）の状態から主被写体１３を追ってパンニングした角度２２を光軸方向変化検出手段１９が検出し、その角度分だけ角度２４として図１６（ｂ）で示した領域１６の方向２３を図１６（ｃ）の方向２５に変更する様に利得、遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄを調整する。
【０１３４】
これにより背景音源の方向に指向方向を一致させる事が出来る。
【０１３５】
しかしこのままでは領域１５と１６が一部重複する事になる。その為背景音源１４を録音する領域１６にも主被写体１３の音声が録音され、主被写体１３を録音する領域１５にも背景音源１４の音が録音される。これにより第１の合成手段１１２ａの出力はその分だけ大きな音量になってしまう。
【０１３６】
そこで各領域１５、１６の重なる量をその時の領域１５，１６のなす角度２６から求めて利得調整手段１１０ａの利得を再調整する。
【０１３７】
ここで第１実施例と異なるのは利得調整手段１１０ｂが設けられておらず、背景音源の録音利得は調整しない事にある。
【０１３８】
これは図１６（ａ）〜図１６（ｃ）の指向性領域１５、１６の関係を見ればわかる様に指向性領域１５は指向性領域１６に含まれている為に主被写体１３と背景音源１４の位置関係によらずその時の主被写体の音量に変化が無い為である。
【０１３９】
但し主被写体１３を録音する指向性領域１５はその指向性が狭い為にその領域が背景音源１４に近づくとその音も録音する事になる。
【０１４０】
その為主被写体１３が背景音源１４に近づくと第１の合成手段１１２ａで合成された音声の中で背景音源の音量のみ大きくなってゆく。
【０１４１】
そこで利得調整手段１１０ａはその音量を指向性領域１５、１６のなす角度に応じて調整している。
【０１４２】
光軸方向の変化検出は第１の実施例ではジャイロ、第２の実施例では音量追尾で行ったがどちらも一長一短がある。ジャイロでは前述したように信号のドリフト、音量では背景音源と主被写体音源が近づいたときや突発的な音量変化があった時に精度が低下する。
【０１４３】
そこで第３の実施例ではその両者を組み合わせて精度の向上を図っている。
【０１４４】
図１７は第３実施例における光軸方向変化検出手段１９の内部詳細を図示しており図１１の第２の実施例と異なるのはジャイロ１７０１とその出力を積分する積分手段１７０２が設けられている点である。
【０１４５】
積分手段１７０２の出力は音量判定手段１１０６の出力とともに録音方向指示手段１１０７に入力しており、双方の信号で録音方向を設定する。
【０１４６】
録音方向の変更は基本的にはジャイロ１７０１信号の積分手段１７０２による積分結果で求めた角度だけ行う。そしてその角度変更後にウォブリング手段１１０２は録音方向のウォブリングを行い、その方向の修正を行う事になる。
【０１４７】
図１８は上記を説明するフローチャートであり図３のステップ＃３００８、＃３００９に相当する。そして図３及び図１２と同じ機能のステップは同じ番号で表す。
【０１４８】
図３或いは図１０のステップ＃３００７で録音録画を開始すると図１８のステップ＃３００７に進む。
【０１４９】
ステップ＃３００８ではジャイロ１７０１の信号を積分手段１７０２で積分して録音方向（光軸変化）を検出する。
【０１５０】
ステップ＃３００９ではステップ＃３００８で求めた録音方向の変化に基づいて利得、遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄの利得、遅延を調整する。これにより撮影光軸に対する背景音源の録音方向が変更される（背景音源から見ると録音方向が追尾される事になる。）。
【０１５１】
ステップ＃１２００１ではウォブリングを開始する。第２の実施例の図１３、１４で説明した様に左右ウォブリング時に録音した音量４回の平均値の差に基づきステップ＃１２００２からステップ＃１２００４、＃１２００５を通って最大の録音ができる方向を求める。
【０１５２】
ステップ＃１２００６では左右の音量の変化を検出し、その変化が無くなるまでステップ＃１２００３から＃１２００６を循環する。これにより最大に録音ができる方向が設定され、背景音源の録音方向が更新される。
【０１５３】
そして図３或いは図１０のステップ＃３０１０に戻る。
【０１５４】
この様に租調をジャイロで行い、微調整を音のウォブリングで行う構成にすることでジャイロのドリフト誤差や露光音方向変更過程における外部雑音で音の追尾誤差が生ずる事を防いでいる。
【０１５５】
この様に撮影方向の被写体（主被写体１３）を録音する録音手段（マイク１７ａ）と指定方向（背景音源１４）を録音する録音手段（マイク１７ａ、１７ｂ、１７ｃ、１７ｄ）と撮影方向が変化しても指定方向は常に一定になる様に制御する方向制御手段（利得遅延手段１１１ａ、１１１ｂ、１１１ｃ、１１１ｄ、第２の合成手段１１２ｂ）と撮影方向と指定方向の関係に基づいて録音条件を制御する録音制御手段（利得調整手段１１０ａ、１１０ｂ）で録音装置を構成することで高品位な録音が実現できた。
【０１５６】
そして方向制御手段はジャイロとマイクの信号に基づいて録音方向を制御しており、ジャイロの信号に基づいて録音方向を定め、（図１８のステップ♯３００８）その後マイクの信号に基づいて音源の方向を検出する（図１８のステップ♯１２００１から＃１２００６）。
【０１５７】
本発明は動画撮影が行える機器の録音制御技術であり、デジタルカメラ、デジタルビデオ、携帯電話などを用いて複数の音源を高品位に録音する条件に好適に用いる事ができる。
【符号の説明】
【０１５８】
１３．主被写体（被写体）
１４、背景音源（指定方向）
１７．マイク
１９．光軸方向変化検出手段
１１０．利得調整手段（録音制御手段）
１１１．利得遅延調整手段（方向制御手段）
１１３．記録手段
１１４．送受信手段
【図１】
2015088887.tif 000003
【図２】
2015088887.tif 000004
【図３】
2015088887.tif 000005
【図４】
2015088887.tif 000006
【図５】
2015088887.tif 000007
【図６】
2015088887.tif 000008
【図７】
2015088887.tif 000009
【図８】
2015088887.tif 000010
【図９】
2015088887.tif 000011
【図１０】
2015088887.tif 000012
【図１１】
2015088887.tif 000013
【図１２】
2015088887.tif 000014
【図１３】
2015088887.tif 000015
【図１４】
2015088887.tif 000016
【図１５】
2015088887.tif 000017
【図１６】
2015088887.tif 000018
【図１７】
2015088887.tif 000019
【図１８】
2015088887.tif 000020