(57)【要約】【課題】  ズーム変動に応じて、内蔵マイクとワイヤレスマイクの音声合成比率を簡易な構成で調整する。【解決手段】  音声合成比率演算部（４０６）は、撮像部（１０１）のレンズ位置に応じて、内蔵マイクの音声データとワイヤレスマイク（１５０）からの音声データのビットシフト量で合成比率を決定する。音声合成比率演算部（４０７）は、内蔵マイクの音声データとワイヤレスマイク（１５０）からの音声データの合成比率をゲインテーブルに従い決定する。音声信号合成部（４０８）は、音声合成比率演算部（４０６、４０７）により決定される合成比率で、内蔵マイクの音声データとワイヤレスマイク（１５０）からの音声データを合成する。【選択図】  図２
2013172175.tif 000002
【特許請求の範囲】
【請求項１】
第１の音声データを入力する第１の音声入力手段と、
第２の音声データを入力する第２の音声入力手段と、
前記第１の音声データと前記第２の音声データを合成する合成手段
とを有し、
前記合成手段は、前記第１の音声データと前記第２の音声データの合成比率を所定時間ごとにビットシフトにより調整するとともに、前記所定時間内における前記第１の音声データと前記第２の音声データのそれぞれに対するゲインを変化させることで前記合成比率を調整する
ことを特徴とする音声信号処理装置。
【請求項２】
ズーム倍率を変更できる撮像手段と、前記撮像手段により得られた画像信号を記録媒体に記録する記録手段とを有する撮像装置に組み込まれ、
前記記録手段は、前記合成手段から出力される音声データを前記記録媒体に記録し、
前記合成手段は、前記ズーム倍率に応じて前記合成比率を変化させる
ことを特徴とする請求項１に記載の音声信号処理装置。
【請求項３】
第１の音声データを入力する第１の音声入力ステップと、
第２の音声データを入力する第２の音声入力ステップと、
前記第１の音声データと前記第２の音声データを合成する合成ステップ
とを有し、
前記合成ステップでは、前記第１の音声データと前記第２の音声データの合成比率を所定時間ごとにビットシフトにより調整するとともに、前記所定時間内における前記第１の音声データと前記第２の音声データのそれぞれに対するゲインを変化させることで前記合成比率を調整する
ことを特徴とする音声信号処理方法。
【請求項４】
第１の音声データを入力する第１の音声入力手段と、第２の音声データを入力する第２の音声入力手段とを具備する音声処理装置の演算装置に、
前記第１の音声データと前記第２の音声データの合成比率を所定時間ごとにビットシフトにより調整するとともに、前記所定時間内における前記第１の音声データと前記第２の音声データのそれぞれに対するゲインを変化させることで前記合成比率を調整する機能と、
前記合成比率に従い前記第１の音声データと前記第２の音声データを合成する機能
を実現させることを特徴とする音声信号処理プログラム。
【請求項５】
前記合成手段は、前記ビットシフトによる前記第１の音声データの音声レベルの変化量および前記第２の音声データの音声レベルの変化量が小さくなるように前記ゲインを変化させることを特徴とする請求項１または２に記載の音声信号処理装置。
【請求項６】
前記合成手段は、前記ビットシフトしない区間においては、一定の割合で前記ゲインを変化させることを特徴とする請求項１または２に記載の音声信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号処理装置に関し、特に複数の音声を合成する音声信号処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
ビデオカメラと称される撮像装置は、動画以外に音声も同時に記録することができるのが普通であり、そのための音声記録系を具備する。音声入力手段として、カメラ本体に内蔵又は固定されるマイクの他に、本体に無線接続するワイヤレスマイクも、利用されるようになってきている。
【０００３】
特許文献１には、記録中のズーム動作に対し、ワイヤレスマイクから受信した音声信号のレベルをズーム倍率に応じて変更する撮像装置が記載されている。すなわち、
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３１４０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１には、ワイヤレスマイクからの音声信号の合成比をズーム倍率に応じて制御するとの記載はあるものの、具体的な構成は記載されていない。
【０００６】
例えば、ズーム倍率とゲインとの対応を記述するゲインテーブルを用意し、ゲイン制御のみで合成比率を制御する場合、音声データのビット数への対応が難しい。すなわち、音声データのビット数が増加していくと、１サンプルのデータ量も増加するので、合成する上での減算加算の演算量が増加し、より大規模な演算回路、加算器及び減算器が必要となってしまう。
【０００７】
本発明は、大規模な演算回路を必要とせずに、音声信号の合成比をズーム倍率に従い制御できる音声信号処理装置、方法及びプログラムを提示する事を目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る音声信号処理装置は、第１の音声データを入力する第１の音声入力手段と、第２の音声データを入力する第２の音声入力手段と、前記第１の音声データと前記第２の音声データを合成する合成手段とを有し、前記合成手段は、前記第１の音声データと前記第２の音声データの合成比率を所定時間ごとにビットシフトにより調整するとともに、前記所定時間内における前記第１の音声データと前記第２の音声データのそれぞれに対するゲインを変化させることで前記合成比率を調整することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、音声信号の合成比率を音声データのビットシフトとゲインパラメータで調整する。これにより、大規模な演算回路を必要とせずに、状況に応じたズーム比率の調整が可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】本実施例の一部を詳細に示す構成ブロック図である。
【図３】音声データの合成比率をビットシフト量で演算する例を示す模式図である。
【図４】音声データの合成比率を示すゲイン変化例である。
【図５】レンズ駆動量とその間のフレーム数との関係、ビットシフト量との関係を示す模式図である。
【図６】音声データの合成比率をビットシフト量で演算する例を示す模式図である。
【図７】音声データの合成比率を示すゲイン変化例である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１２】
図１は、本発明に係る音声信号処理装置を組み込んだ撮像装置の一実施例の概略構成ブロック図を示す。本実施例では、内蔵マイクにより得られる撮像装置周辺の音声を示す音声信号と、ワイヤレスマイク１５０により得られる音声信号とを合成し、その合成比率をズーム比率に応じて制御する。ワイヤレスマイク１５０は、外部マイク又は外付けマイクの一例である。
【００１３】
ワイヤレスマイク１５０は、集音された周囲の音声をアナログデジタル変換し、音声処理などを行って音声データを生成する。生成された音声データは、無線通信（ワイヤレス通信）で撮像装置１００に送信され、撮像装置１００により受信される。
【００１４】
撮像装置１００の基本構成を説明する。撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換及び画像調整処理などを行い、画像データを出力する。撮影レンズは、内蔵型のレンズであっても、着脱式のレンズであっても良い。また、撮像素子は、ＣＣＤ、ＣＭＯＳ等に代表される光電変換素子であればよい。
【００１５】
音声入力部１０２は、内蔵マイク（「音声端子を介して有線接続されたマイク」を含む。）により撮像装置１００の周辺の音声（音響信号）を電気音声信号に変換し、アナログデジタル変換及び音声処理などを行い、音声データを出力する。撮像装置１００は、ワイヤレスマイク１５０から送信された音声データを通信部１１６で受信する。音声入力部１０２は、通信部１１６で受信した音声信号レベルの調整処理を行い、内蔵マイクからの音声データと通信部１１６からの音声データとを合成する。内蔵マイク及びワイヤレスマイクは何れも、指向性か無指向性を問わないが、本実施例では無指向性のマイクを使用するものとする。
【００１６】
メモリ１０３は、撮像部１０１により得られた画像データと、音声入力部１０２により得られた音声データを一時的に記憶する。表示制御部１０４は、撮像部１０１により得られた画像データに係る画像、撮像装置１００の操作画面及びメニュー画面等を表示部１０５に表示する。表示制御部１０４はまた、不図示の映像端子を介して、表示部１０５に表示する画像の映像信号を外部に出力する。
【００１７】
符号化処理部１０６は、メモリ１０３に一時的に記憶された画像データ及び音声データを読み出し、所定の符号化を行い、それぞれ圧縮画像データ及び圧縮音声データを生成する。音声データは、圧縮しないようにしてもよい。圧縮画像データは、例えば、ＭＰＥＧ２及びＨ．２６４／ＭＰＥＧ４−ＡＶＣなど、どのような圧縮方式で圧縮されたものであってもよい。また、圧縮音声データも、ＡＣ３、ＡＡＣ、ＡＴＲＡＣ、ＡＤＰＣＭ等、どのような圧縮方式で圧縮されたものであってもよい。
【００１８】
記録再生部１０７は、符号化処理部１０６で生成された圧縮画像データ、圧縮音声データ（または非圧縮音声データ）及び各種データを記録媒体１０８に記録再生する。記録媒体１０８は、画像及び音声等の種々のデータを記録できる、磁気ディスク、光学式ディスク及び半導体メモリなどのあらゆる方式の記録媒体を含む。
【００１９】
通信部１１６は、撮像装置１００と外部装置との間で無線通信を行うもので、例えば、音声信号、画像信号、圧縮音声データ及び圧縮画像データ等の種々の信号を送受信できる。通信部１１６はまた、撮影開始終了コマンド等の撮影に係る制御信号、レンズ等の駆動部駆動時の制御信号及び時刻情報等の情報を送受信できる。通信部１１６は、例えば赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール又はＷｉｒeｌｅｓｓＵＳＢ等の無線通信モジュールを含む。また、通信部１１６は、ワイヤレスマイク１５０に備えられた通信部１５２から送信された電波の受信信号強度及び通信用光波の強度を測定し、制御部１０９に送信する。電波の受信信号の強度や通信用光波の強度などを測定する方法自体は、公知であり、詳細な説明を省略する。
【００２０】
計時部１１５は、時刻を計時する。撮像装置１００は、ワイヤレスマイク１５０の計時部１５４と計時部１１５とを互いの通信部を介して計時合わせを行う。
【００２１】
制御部１０９は、撮像装置１００の各ブロックに制御信号を送信することで撮像装置１００の各ブロックを制御する。制御部１０９は、各種制御を実行するためのＣＰＵ及びメモリなどからなる。制御部１０９で使用するメモリは、各種制御プログラムを格納するＲＯＭ、及び演算処理のためのＲＡＭ等からなり、制御部１０９に外付けするメモリを含んでもよい。
【００２２】
操作部１１０はボタンやダイヤルなどからなり、ユーザの操作に応じて、指示信号を制御部１０９に送信する。操作部１１０は、動画記録の開始と終了を指示するための撮影ボタン、光学的電子的に画像を拡大縮小するズームを指示するズームレバー、各種調整をするための十字キー及び決定キーなどからなる。
【００２３】
音声出力部１１１は、記録再生部１０７により再生された音声データ、圧縮音声データ及び制御部１０９により出力される音声データをスピーカ１１２及び／又は音声端子などに出力する。
【００２４】
外部出力部１１３は、記録再生部１０７により再生された圧縮映像データ、圧縮音声データ及び音声データなどを外部機器に出力する。
【００２５】
データバス１１４は、音声データ及び画像データ等の各種データ並びに各種制御信号を撮像装置１００の各ブロックに供給する。
【００２６】
ワイヤレスマイク１５０は、音声入力部１５３、計時部１５４、通信部１５２及び制御部１５１からなる。音声入力部１５３は、音声入力部１０２と同様に、音声入力部１５３の周囲の音声（音響信号）を電気音声信号に変換し、アナログデジタル変換及び音声処理などを行い、音声データを通信部１５２に出力する。
【００２７】
通信部１５２は、通信部１１６と間で種々のデータを通信する。具体的には、通信部１５２は、音声入力部１５３により得られた音声データを撮像装置１００に送信し、撮像装置１００との間で時刻情報及び各種制御信号を送受信する。通信部１５２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール又はＷｉｒeｌｅｓｓＵＳＢ等の無線通信モジュールからなる。計時部１５４は、計時部１１５と同様に時刻を計時する。
【００２８】
制御部１５１は、ワイヤレスマイク１５０の各ブロックに制御信号を送信することでワイヤレスマイク１５０の各ブロックを制御する。
【００２９】
撮像装置１００の基本的な動作を説明する。撮像装置１００は、ユーザが操作部１１０を操作して電源を投入する指示を出したことに応じて、不図示の電源供給部から撮像装置の各ブロックに電源を供給する。
【００３０】
電源が供給されると、制御部１０９は、操作部１１０のモード切り換えスイッチが、例えば、撮影モード及び再生モード等のどのモードであるかを操作部１１０からの指示信号により確認する。撮影モードの動画記録モードでは、撮像装置１００は、撮像部１０１により得られた画像データと音声入力部１０２により得られた音声データとを１つの動画ファイルとして保存する。再生モードでは、記録媒体１０８に記録された圧縮画像データを記録再生部１０７により再生して表示部１０５に表示させる。
【００３１】
撮像装置１００は、起動後の任意のタイミングでワイヤレスマイク１５０との通信許可を設定できる。通信を許可する事で、ワイヤレスマイク１５０は撮像装置１００に音声データを送信でき、撮像装置１００はワイヤレスマイク１５０に、撮影の開始終了等の制御信号及びレンズ駆動の制御信号を送信でき、相互に時刻情報その他の情報を送受信できる。
【００３２】
例えば、撮像装置１００の操作部１１０のワイヤレス設定ボタンが操作されてから所定時間内にワイヤレスマイク１５０の不図示の設定ボタンが操作されることで、通信許可設定が完了する。また、通信許可設定が完了すると、撮像装置１００はワイヤレスマイク１５０に時計設定を要求する。撮像装置１００は、計時部１１５の時刻情報をワイヤレスマイク１５０に送信する。ワイヤレスマイク１５０は、時計設定要求を受けて、計時部１５４を撮像装置１００の計時部１１５の時刻情報と合わせるように設定する。終了後、ワイヤレスマイク１５０は、時計設定終了通知を撮像装置１００に送信する。
【００３３】
撮像装置１００は、撮影の開始と終了の時間情報、レンズ駆動の開始と終了の時間情報及びレンズ駆動時のレンズ位置に対応した時間情報をワイヤレスマイク１５０に送信する。ワイヤレスマイク１５０は、計時部１５４の時間情報が、受信した撮影の開始と終了の時間情報と合致した時点で録音開始と終了を実行し、撮像装置１００に音声データを送信する。また、ワイヤレスマイク１５０は、計時部１５４の時間情報が、撮像装置１００から受信したレンズ駆動の開始と終了の時間情報と合致した時点で、音声データと共にレンズ駆動情報を撮像装置１００に送信する。ワイヤレスマイク１５０は、計時部１５４の時間情報が、撮像装置１００から受信したレンズ駆動時のレンズ位置に対応した時間情報と合致した時点で、音声データ共にレンズ位置情報を撮像装置１００に送信する。
【００３４】
撮像装置１００は通信部１１６により、ワイヤレスマイク１５０からのレンズ駆動情報及びレンズ位置情報と共に送信された音声データを受信し、音声入力部１０２に供給する。音声入力部１０２は、レンズ駆動情報及びレンズ位置情報に対応する音声データごとに、通信部１１６から入力されたデジタル音声データのレベルを調整し、メモリ１０３及び音声出力部１１１に送信する。
【００３５】
撮影モードの動作を説明する。撮影モードの動画記録モードでは、制御部１０９は、まず、撮影待機状態に移行させる制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。すなわち、撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。撮像部１０１は、得られた画像データを表示制御部１０４に送信し、表示部１０５に表示させる。ユーザは、この様にして表示された画面を見ながら撮影すべきシーン又は場面を待機する。
【００３６】
ユーザが操作部１１０の記録ボタンを操作することにより撮影開始の指示信号が制御部１０９に入力する。制御部１０９は、この記録開始指示信号に応じて、撮像装置１００の各ブロックに以下の記録動作を実行させる。
【００３７】
撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。撮像部１０１で生成された画像データは、表示制御部１０４とメモリ１０３に供給される。表示制御部１０４は、撮像部１０１からの画像データの画像を表示部１０５に表示させる。撮像部１０１は、ズーム倍率を変更可能である。
【００３８】
音声入力部１０２は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。生成された音声データは、音声出力部１１１とメモリ１０３に供給される。音声出力部１１１は、音声入力部１０２からの音声データをスピーカ１１２又は不図示のイヤホンから音声として出力する。ユーザは、出力された音声を聞きながら記録音量を決定するマニュアルボリュームを調整できる。
【００３９】
マイクが一つの場合、音声入力部１０２は、得られたアナログ音声信号をデジタル変換し音声データを生成し、音声データをメモリ１０３に供給する。このとき、ワイヤレスマイク１５０から送信された音声データを通信部１１６が受信していれば、通信部１１６から音声入力部１０２にその音声データが供給される。音声入力部１０２は、通信部１１６から入力された音声データと撮像装置１００のマイクから得られた音声データの夫々のレベルを調整した後、合成処理し、音声出力部１１１及びメモリ１０３に送信する。
【００４０】
符号化処理部１０６は、メモリ１０３に一時記憶された画像データ及び音声データを読み出して所定の符号化を行い、圧縮画像データ及び圧縮音声データを生成する。制御部１０９は、生成された圧縮画像データ及び圧縮音声データを合成してデータストリームを形成し、記録再生部１０７に供給する。音声データを圧縮しない場合、制御部１０９は、メモリ１０３に格納された音声データと圧縮画像データとを合成してデータストリームを形成し、記録再生部１０７に供給する。
【００４１】
記録再生部１０７は、ＵＤＦ又はＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１０８に書き込む。
【００４２】
制御部１０９は、以上の動作を撮影中、継続する。
【００４３】
ユーザが操作部１１０の記録ボタンを操作することにより撮影終了の指示信号が制御部１０９に入力すると、制御部１０９は、撮像装置１００の各ブロックに撮影終了を指示し、以下のような動作をさせる。撮像部１０１及び音声入力部１０２は、それぞれ画像データ及び音声データの生成を停止する。符号化処理部１０６は、メモリ１０３に記憶されている残りの画像データと音声データとを符号化して、圧縮画像データ及び圧縮音声データ等を生成し終えたら、動作を停止する。音声データを圧縮しない場合、符号化処理部１０６は、圧縮画像データの生成が終わったら動作を停止する。制御部１０９は、これら最後の圧縮画像データと圧縮音声データ（又は音声データ）とからデータストリームを形成し、記録再生部１０７に出力する。記録再生部１０７は、制御部１０９からのデータストリームを一つの動画ファイルとして記録媒体１０８に書き込む。このデータストリームの記録媒体１０８への書き込みが終了すると、記録再生部１０７は、動画ファイルをクローズし、記録動作を停止する。
【００４４】
各部の記録動作が停止すると、制御部１０９は、記録動作を停止した各ブロックを撮影待機状態に移行させる。これにより、撮影待機状態に戻る。
【００４５】
再生モードの動作を説明する。制御部１０９は、再生モードを指示されると、撮像装置１００の各ブロックに、以下に説明するように再生モードに応じた動作をさせる。
【００４６】
記録再生部１０７は、指定された動画ファイルを記録媒体１０８から読み出して、動画ファイルに含まれる圧縮画像データと圧縮音声データを符号化処理部１０６に供給する。符号化処理部１０６は、圧縮画像データと圧縮音声データをそれぞれ復号化し、得られた再生画像データ及び再生音声データをそれぞれ表示制御部１０４と音声出力部１１１に供給する。表示制御部１０４は、再生画像データに応じた画像を表示部１０５に表示させる。音声出力部１１１は、再生音声データに応じた音声を内蔵スピーカ又は外部スピーカから音響出力させる。
【００４７】
音声入力部１０２は、ワイヤレスマイク１５０で取り込まれた音声データと撮像装置１００のマイクで取り込まれた音声データを夫々、レベル調整した後に合成する。この処理は、撮像装置１００が起動してから常に行われてもよいし、撮影モードが選択されてから行われてもよい。または、音声の記録に関連するモードが選択されてから行われても良い。また、音声の記録に関連するモードにおいて、音声記録の開始に応じて上記の処理を行ってもよい。本実施例では、動画像撮影の間において上記の処理を行う。
【００４８】
図２は、撮像部１０１、音声入力部１０２及び音声入力部１５３の内部構成をより詳細に示すブロック図である。
【００４９】
撮像部１０１は、被写体の光学像を取り込むレンズ３０１等の光学系と、レンズ３０１により取り込まれた被写体の光学像を電気信号（画像信号）に変換する撮像素子３０４を有する。撮像部１０１はさらに、撮像素子３０４により得られたアナログ画像信号をデジタル画像信号に変換し、画質調整処理をして画像データを形成し、メモリに送信する画像処理部３０５を有する。撮像部１０１はさらに、レンズ３０１の現在位置を検知する位置検知部３０３と、モータ等の公知の駆動メカニズムを有するレンズ制御部３０２を有する。撮像部１０１にレンズ３０１とレンズ制御部３０２が内蔵されているように記載しているが、これらは着脱可能な交換レンズであっても良い。
【００５０】
例えば、ズーム動作及びフォーカス調整などの指示をユーザが操作部１１０を操作して入力すると、制御部１０９は、レンズ制御部３０２にレンズを移動させるレンズ駆動制御信号を送信する。レンズ制御部３０２は、このレンズ駆動制御信号に応じて、位置検知部３０３でレンズ３０１の位置を確認し、モータ等の駆動部でレンズ３０１の移動を行う。また、画像処理部３０５により得られた画像や被写体との距離を制御部１０９が確認し、自動的に調整する場合、制御部１０９は、レンズ駆動制御信号を送信する。また、画像のブレを防止する、いわゆる防振機能を備えている場合、制御部１０９は、不図示の振動センサにより検出された振動に基づいて、レンズ駆動制御信号をレンズ制御部３０２に送信する。
【００５１】
制御部１０９からのレンズ駆動制御信号に応じて、レンズ制御部３０２は、レンズ３０１を駆動する。位置検知部３０３は、レンズ３０１の位置を検知する。すなわち、制御部１０９は、レンズを駆動させるタイミングとレンズの現在位置を知る（検出又は決定する）ことができる。
【００５２】
レンズ３０１は、例えば最大で１０倍、最小で１倍の拡大縮小を光学的に行うことができ、また間に３段階の倍率をもつ。すなわち、光学ズームの機能を具備する。レンズ制御部３０２が、制御部１０９からの指示に従いレンズ３０１のズーミングレンズを移動させることで、被写体の光学像を変倍する。
【００５３】
音声入力部１０２は、周囲の音響信号を電気信号に変換するマイク４０１と、マイク４０１により得られたアナログ音声信号をデジタル音声信号に変換するＡＤ変換部４０２を有する。音声入力部１０２はさらに、オートレベルコントローラ（ＡＬＣ）４０３、音声処理部４０４、情報付加部４０５、音声合成比率演算部４０６、音声合成比率演算部４０７及び音声信号合成部４０８を有する。
【００５４】
ＡＬＣ４０３は、音声信号の振幅を所定レベルに抑える装置である。音声処理部４０４は、音声信号に所定の処理を行い、音声データを出力する。情報付加部４０５は、音声処理部４０４から送られた音声データに対しレンズを駆動させるタイミング（駆動情報）とレンズの現在位置情報を付加する。音声合成比率演算部４０６は、通信部１１６を経由したワイヤレスマイク１５０からの音声データと情報付加部４０５からの音声データの合成比率を夫々のビットシフト量で演算する。音声合成比率演算部４０７は、通信部１１６を経由したワイヤレスマイク１５０からの音声データと情報付加部４０５からの音声データの合成比率を所定のゲインテーブルに従い演算又は決定する。音声信号合成部４０８は、音声合成比率演算部４０６，４０７で演算又は決定された合成比率で、通信部１１６を経由したワイヤレスマイク１５０からの音声データと情報付加部４０５からの音声データを合成する。具体的には、音声信号合成部４０８は、所定時間ごとに音声合成比率演算部４０６による合成比率を採用しつつ、この合成比率による音声レベル変化が緩和されるように前記所定時間内で両音声データのゲインを変化させる合成比率を採用する。音声信号の合成比率は、レンズの現在位置によって異なり、レンズの移動速度によって合成比率の変化量も異なる。詳細は後述する。
【００５５】
ワイヤレスマイク１５０の音声入力部１５３は、音声振動を電気音声信号に変換するマイク６０１と、マイク６０１により得られたアナログ音声信号をデジタル音声信号に変換するＡＤ変換部６０２を有する。音声入力部１５３はさらに、音声信号の振幅を所定のレベルに抑えるＡＬＣ６０３と、音声信号に所定の処理を行い、音声データを形成する音声処理部６０４を有する。
【００５６】
撮像装置１００は、撮影の開始時間情報と終了時間情報、レンズ駆動の開始時間情報と終了時間情報、及び、駆動時のレンズ位置に対応する時間情報をワイヤレスマイク１５０に送信する。ワイヤレスマイク１５０は、計時部１５４の時間情報が撮像装置１００からの撮影の開始時間情報と合致した時点で撮像装置１００に音声データを送信し、撮影の終了時間情報と合致した時点で音声データの送信を停止する。ワイヤレスマイク１５０はまた、計時部１５４の時間情報が撮像装置１００からのレンズの駆動開始時間、終了時間又は駆動時のレンズ位置に対応した時間情報と合致した時点で、音声データと共にレンズ駆動情報及びレンズ位置情報を撮像装置１００に送信する。
【００５７】
撮像装置１００の通信部１１６は、ワイヤレスマイク１５０からの、レンズ駆動情報及びレンズ位置情報を付加された音声データを受信し、音声信号合成部４０８に供給する。
【００５８】
図３乃至図７を参照して、内蔵マイク等による音声データとワイヤレスマイク１５０による音声データの合成処理を説明する。説明の都合上、撮像装置１００の動画録画のフレームレートを６０ｆｐｓ（フレーム／秒）、内蔵マイク等とワイヤレスマイク１５０の音声データは１６ｂｉｔであるとする。光学ズーム倍率が１倍であるときのレンズ位置（ワイド端）から光学ズーム倍率最大時のレンズ位置（テレ端）までの駆動時間が８秒であり、ワイド端とテレ端との間に等間隔で３つの停止位置、つまり３つの光学倍率を持つとする。各停止位置間の駆動時間は同一である。
【００５９】
図３は、音声合成比率演算部４０６が内蔵マイク等の音声データとワイヤレスマイク１５０の音声データの合成比率をビットシフトで演算する例を示す。図３（ａ）は、レンズ３０１をワイド端からテレ端まで駆動した時の、内蔵マイク等の音声データに対する音声合成比率演算部４０６の合成比率演算例を示す。図３（ｂ）は、レンズ３０１をワイド端からテレ端まで駆動した時の、ワイヤレスマイク１５０の音声データに対する音声合成比率演算部４０６の合成比率演算例を示す。
【００６０】
情報付加部４０５は、音声データにレンズ３０１の駆動タイミングと位置情報を付加する。その付加処理を説明する。
【００６１】
ユーザが、操作部１１０を操作してズーム動作を指示すると、制御部１０９は、レンズ制御部３０２にレンズ３０１を移動させる制御信号（駆動信号）を送信する。レンズ制御部３０２は、この制御信号に応じて、位置検知部３０３でレンズ３０１の位置を確認し、モータ等の駆動部でレンズ３０１を移動させる。制御部１０９は、レンズ３０１を駆動させるレンズ駆動タイミングと、位置検知部３０３からのレンズ位置情報を情報付加部４０５に送信する。情報付加部４０５は、音声処理部４０４からの音声データにレンズ駆動タイミングとレンズ位置情報を付加し、音声信号合成部４０８に供給する。
【００６２】
また、制御部１０９は、レンズ駆動タイミングと位置検知部３０３からのレンズ位置情報に、計時部１１５の計時情報から対応した時間情報を付加し、通信部１１６を介してワイヤレスマイク１５０に送信する。
【００６３】
ワイヤレスマイク１５０の制御部１５１は、撮像装置１００から送信された、レンズ駆動位置とレンズ位置情報に対応する時間情報と計時部１５４の計時情報とを対比する。そして、制御部１５１は、両者が一致したタイミングで音声処理部６０４からの音声データにレンズ駆動タイミング情報とレンズ位置情報を付加し、通信部１５２を介して撮像装置１００に送信する。撮像装置１００の通信部１１６は、ワイヤレスマイク１５０からのレンズ駆動タイミング情報及びレンズ位置情報と共に送信された音声データを受信し、音声信号合成部４０８に供給する。
【００６４】
動画録画のフレームレートを６０ｆｐｓ、レンズ３０１がワイド端からテレ端まで移動するのに８秒であるので、レンズ３０１がワイド端からテレ端まで移動する間の動画フレーム数は４８０フレームとなる。音声合成比率演算部４０６は、レンズ３０１がワイド端からテレ端まで移動した場合の動画フレーム数を音声データのｂｉｔ数で割ったフレーム数単位でビットシフトする。すなわち、
４８０（フレーム）／１６＝３０（フレーム）
となり、音声合成比率演算部４０６は、３０フレーム単位で１ｂｉｔシフトする。
【００６５】
例えば、ワイド端からテレ端の間のズーム位置を夫々Ｍ１、Ｍ２、Ｍ３とする。内蔵マイクの音声データは、ワイド端の位置で１６ｂｉｔ、Ｍ１位置で１２ｂｉｔ、Ｍ２位置で８ｂｉｔ、Ｍ３位置で４ｂｉｔ、テレ端の位置で０ｂｉｔとなる。逆に、ワイヤレスマイク１５０の音声データは、ワイド端の位置で０ｂｉｔ、Ｍ１位置で４ｂｉｔ、Ｍ２位置で８ｂｉｔ、Ｍ３位置で１２ｂｉｔ、テレ端の位置で１６ｂｉｔとなる。なお、ビットシフトはビット演算子を用いて実行されるため、通常の算術演算子を使用して１／２倍したり、２倍したりするのに比べて、早い処理が行えるという利点がある。
【００６６】
前述のように、ワイド端からＭ１、Ｍ１からＭ２、Ｍ２からＭ３、Ｍ３からＴｅｌｅ端へのレンズ３０１の移動時間は同一としているので、音声データのビットシフト量は、各期間で４ｂｉｔとなる。
【００６７】
図４は、音声合成比率演算部４０７における内蔵マイクの音声データとワイヤレスマイク１５０の音声データの合成比率のゲイン変化例を表す。このようなゲイン変化をもたらすゲインテーブルの内容は、予め決められていてもよいし、制御部１０９により複数のゲインテーブルのうち、いずれかを選択してもよいし、ビットシフトを行うまでの時間に応じて算出されてもよい。音声合成比率演算部４０６でのビットシフトのみでの合成比率の変化では、音声レベルの変化が大きく違和感が生じる。よって１ビット、つまり３０フレームの間でゲイン量を変化させるように、音声合成比率演算部４０７のテーブルで合成比率を決定する。図４の特性（Ａ）は、音声合成比率演算部４０６で下位側（ＬＳＢ側）にビットシフトしている場合の音声合成比率演算部４０７でのゲインテーブルである。３０フレーム進む間にゲイン量が６ｄＢダウンする。なお、６ｄＢダウンするということは、１／２倍されることになる。このゲインダウンの傾き又は変化率は一定であるとする。ＧＡをゲインダウン量、ＴＡを進んだフレーム数としたとき、下記演算式によりゲインダウン量ＧＡを決定する。すなわち、
ＧＡ＝−０．２ＴＡ
ただし、ＴＡ≦３０（フレーム）、−６≦ＧＡ≦０（ｄＢ）である。
【００６８】
図４の特性（Ｂ）は、逆に音声合成比率演算部４０６で上位側（ＭＳＢ側）にビットシフトしている場合の音声合成比率演算部４０７でのゲインテーブルを示す。３０フレーム進む間にゲイン量が６ｄＢアップする。なお、６ｄＢアップするということは、２倍されることになる。このゲインアップの傾き又は変化率は一定であるとする。ＧＢをゲインアップ量、ＴＢを進んだフレーム数としたとき、下記演算式によりゲインアップ量ＧＢを決定する。すなわち、
ＧＢ＝０．２ＴＢ
ただし、ＸＢ≦３０（フレーム）、０≦ＹＡ≦６（ｄＢ）である。
【００６９】
このように、ビットシフトにより１ｂｉｔを下げるときには、ゲインを徐々に６ｄＢまで下げていき、ビットシフトにより１ｂｉｔ上げるときには、ゲインを徐々に６ｄＢまであげていく。そして、さらに１ｂｉｔ変化させるときには、ゲインを０ｄＢに戻し、ビットシフト前とビットシフト後の音声信号の音声レベルの変化低減させるようにしている。以上の説明では、レンズ３０１の駆動速度は、その駆動量に依らずに一定であるとしたが、レンズ３０１の駆動速度は、駆動量に応じて加速しても良い。その場合の撮像装置１００の音声データとワイヤレスマイク１５０の音声データの合成処理を図５ないし図７を参照して説明する。
【００７０】
図５は、レンズ３０１がワイド端からテレ端まで駆動される時の駆動量と、その所要フレーム数とのの関係、及び、ビットシフト量との関係を示す。非線形の破線Ｘ１は、レンズ３０１のワイド端からテレ端まで駆動するスピードを示す。音声信号合成部４０８に供給される音声データには、情報付加部４０５が、レンズ３０１を駆動するタイミング（駆動情報）とレンズの現在位置情報を付加している。この付加情報により、音声信号合成部４０８は、ワイド端、Ｍ１位置，Ｍ２位置，Ｍ３位置及びテレ端のタイミングを検出可能である。音声合成比率演算部４０６は、ワイド端からＭ１位置、Ｍ１位置からＭ２位置、Ｍ２位置からＭ３位置、Ｍ３位置からテレ端までの夫々の１ビットシフトあたりのフレーム数を、Ｙ１，Ｙ２，Ｙ３，Ｙ４の様に直線補完で算出する。
【００７１】
図６は、上記条件において、内蔵マイクの音声データとワイヤレスマイク１５０の音声データの合成比率の、夫々のビットシフト例を示す。ここでは、図５で説明したように、ワイド端からＭ１位置まで２００フレーム、Ｍ１位置からＭ２位置まで３６０フレーム、Ｍ２位置からＭ３位置まで４４０フレーム、Ｍ３位置からテレ端まで４８０フレーム必要であったとする。このとき、各範囲での駆動時の１ビットシフトあたりのフレーム数は、
ワイド端→Ｍ１位置：５０フレーム
Ｍ１位置→Ｍ２位置：４０フレーム
Ｍ２位置→Ｍ３位置：２０フレーム
Ｍ３位置→テレ端：１０フレーム
というようになる。
【００７２】
図７は、上記条件において、音声合成比率演算部４０７における内蔵マイクの音声データとワイヤレスマイク１５０の音声データの合成比率のゲインテーブルを表す。図７（１）は、レンズ３０１がワイド端からＭ１位置に駆動されるときのゲインテーブルを示す。図７（２）は、レンズ３０１がＭ１位置からＭ２位置に駆動されるときのゲインテーブルを示す。図７（３）は、レンズ３０１がＭ２位置からＭ３位置に駆動されるときのゲインテーブルを示す。図７（４）は、レンズ３０１がＭ３位置からテレ端まで駆動されるときのゲインテーブルを示す。
【００７３】
図７（１）において、Ａ１は、音声合成比率演算部４０６で下位側にビットシフトしている場合の音声合成比率演算部４０７でのゲインテーブルである。５０フレーム進む間にゲイン量が６ｄＢダウンする。このゲインダウンの傾き又は変化率は一定であるとする。ＧＡ１をゲインダウン量、ＴＡ１を進んだフレーム数としたとき、下記演算式によりゲインダウン量ＧＡ１を決定する。すなわち、
ＧＡ１＝−０．１２ＴＡ１
ただし、ＴＡ１≦５０（フレーム）、−６≦ＧＡ１≦０（ｄＢ）である。
【００７４】
図７（１）において、Ｂ１は、逆に音声合成比率演算部４０６で上位側にビットシフトしている場合の音声合成比率演算部４０７でのゲインテーブルである。５０フレーム進む間にゲイン量が６ｄＢアップする。このゲインアップの傾き又は変化率は一定であるとする。ＧＢをゲインアップ量、ＴＢを進んだフレーム数としたとき、下記演算式によりゲインアップ量ＧＢを決定する。すなわち、
ＧＢ＝０．１２ＴＢ
但し、ＸＢ≦５０（フレーム）、０≦ＹＡ≦６（ｄＢ）である。
【００７５】
図７（２）、（３）、（４）に示す場合も、同様に１ビットシフトあたりのフレーム数から夫々のテーブルによりゲインアップ量とゲインダウン量を演算する。
【００７６】
このように、ビットシフトにより１ｂｉｔを下げるときには、ゲインを徐々に６ｄＢまで下げていき、ビットシフトにより１ｂｉｔ上げるときには、ゲインを徐々に６ｄＢまであげていく。そして、さらに１ｂｉｔ変化させるときには、ゲインを０ｄＢに戻し、ビットシフト前とビットシフト後の音声信号の音声レベルの変化小さくするようにしている。以上の説明では、レンズ３０１がワイド端からテレ端に駆動されるときの音声合成比率演算部４０６と音声合成比率演算部４０７の合成比率演算例を説明した。なお、テレ端からワイド端への駆動は逆方向の駆動となるので、内蔵マイクとワイヤレスマイク１５０の音声データの合成比率を入れ替えればよい。
【００７７】
本実施例では、情報付加部４０５から音声信号合成部４０８には、レンズ駆動タイミング情報とレンズの現在位置情報が付加された音声データが供給される。従って、音声信号合成部４０８は、ワイド端からＭ１、Ｍ２又はＭ３位置に連続移動する場合や、その他のレンズ位置から移動開始する場合等、レンズ３０１の駆動スピードが異なる場合にも、レンズ位置と駆動に必要なフレーム数を検出できる。音声合成比率演算部４０６，４０７は、この検出結果により、撮像装置１００とワイヤレスマイク１５０の音声データの合成比率を演算すればよい。
【００７８】
音声入力部１０２により入力した音声データとワイヤレスマイク１５０により入力した音声データを第１の音声データ、第２の音声データとして特定しているが、３つ以上の音声データを入力する場合にも適用される。また、音声入力部１０２とワイヤレスマイク１５０は、第１の音声入力手段、第２の音声入力手段の一例である。また、本実施例では、ゲインの変化率が一定である場合について説明したが、変化量は必ずしも一定である必要はない。
【００７９】
上述した機能の一部は、撮像装置１００の制御に使用される演算装置上で動作する音声信号処理プログラムとしても実現することができる。
【００８０】
撮像装置のズーム比率に応じて音声信号の合成比率を調整する実施例を説明したが、本発明は、複数のデジタル音声信号を合成する際の合成比率を調整するその他の場合にも適用できる。
【００８１】
撮像装置に適用した実施例を説明したが、音声入力部１０２の音声処理は、外部の音声を記録または入力する如何なる装置にも適用できる。例えば、ＩＣレコーダや携帯電話等にも適用できる。
【図１】
2013172175.tif 000003
【図２】
2013172175.tif 000004
【図３】
2013172175.tif 000005
【図４】
2013172175.tif 000006
【図５】
2013172175.tif 000007
【図６】
2013172175.tif 000008
【図７】
2013172175.tif 000009