(57)【要約】【課題】無線通信を介して音声を受信する音声処理装置において無音の音声信号が長期間記録されることを抑制する。【解決手段】音声処理装置は、装置本体に備え付けられたマイクロフォンと、無線通信を介した音声の入力を受付可能な音声入力手段と、前記音声入力手段の入力レベルが無音であることを検出する無音検出手段と、前記無音検出手段による検出結果に基づいて、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックス比を決定するミックス比決定手段と、前記ミックス比決定手段によって決定されたミックス比で、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックス手段と、を備える。【選択図】図２
2016051917.tif 000002
【特許請求の範囲】
【請求項１】
装置本体に備え付けられたマイクロフォンと、
無線通信を介した音声の入力を受付可能な音声入力手段と、
前記音声入力手段の入力レベルが無音であることを検出する無音検出手段と、
前記無音検出手段による検出結果に基づいて、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックス比を決定するミックス比決定手段と、
前記ミックス比決定手段によって決定されたミックス比で、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックス手段と、
を備える、音声処理装置。
【請求項２】
前記無音検出手段は、前記音声入力手段の入力レベルが所定の閾値以下である状態が所定の期間継続した場合に無音であると判定する、
請求項１に記載の音声処理装置。
【請求項３】
前記ミックス比決定手段は、前記音声入力手段が無音である期間の長さに応じて、前記ミックス比を決定する、
請求項１または２に記載の音声処理装置。
【請求項４】
前記ミックス比決定手段は、前記音声入力手段が無音である期間が長いほど、前記マイクロフォンのミックス比を大きくする、
請求項３に記載の音声処理装置。
【請求項５】
前記ミックス手段によるミックス後の音声を記録する記録手段を更に備える、
請求項１〜４のいずれか１項に記載の音声処理装置。
【請求項６】
前記音声入力手段には、音声を取得して無線送信するマイク本体と前記マイク本体から送信される音声信号を受信する受信機とからなる外部マイクロフォンの前記受信機が接続可能であり、
前記音声入力手段に前記受信機が接続されたことを検出する検出手段を更に備え、
前記検出手段によって前記受信機の接続を検出した場合に、前記無音検出手段の検出結果に基づくミックス比の決定を有効にする、
請求項１〜５のいずれか１項に記載の音声処理装置。
【請求項７】
前記音声入力手段は、無線通信によって音声信号を受信する無線通信手段を有し、
前記無線通信による音声信号の受信が有効な場合に、前記無音検出手段の検出結果に基づくミックス比の決定を有効にする、
請求項１〜５のいずれか１項に記載の音声処理装置。
【請求項８】
装置本体に備え付けられたマイクロフォンと、
無線通信を介した音声の入力を受付可能な音声入力手段と、
前記無線通信の受信状況を取得する受信状況取得手段と、
前記受信状況取得手段が取得した受信状況に基づいて、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックス比を決定するミックス比決定手段と、
前記ミックス比決定手段によって決定されたミックス比で、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックス手段と、
を備える、音声処理装置。
【請求項９】
前記ミックス比決定手段は、前記受信状況が悪いほど、前記マイクロフォンのミックス比を大きくする、
請求項８に記載の音声処理装置。
【請求項１０】
前記音声入力手段は、無線通信によって音声信号を受信する無線通信手段を有し、
前記受信状況取得手段は、前記無線通信手段の受信状況を取得する、
請求項８または９に記載の音声処理装置。
【請求項１１】
前記受信状況取得手段は、ビットエラーレートを取得し、
前記ミックス比決定手段は、前記ビットエラーレートが高いほど前記マイクロフォンのミックス比を大きくする、
請求項１０に記載の音声処理装置。
【請求項１２】
前記受信状況取得手段は、ＳＮＲを取得し、
前記ミックス比決定手段は、前記ＳＮＲが低いほど前記マイクロフォンのミックス比を大きくする、
請求項１０または１１に記載の音声処理装置。
【請求項１３】
前記受信状況取得手段は、ビットエラーレートおよびＳＮＲを取得し、
前記ミックス比決定手段は、前記ビットエラーレートが高いほど前記マイクロフォンのミックス比が大きい第１暫定ミックス比を算出し、前記ＳＮＲが低いほど前記マイクロフォンのミックス比が大きい第２暫定ミックス比を算出し、前記第１暫定ミックス比と前記第２暫定ミックス比のうち前記マイクロフォンのミックス比が大きい方を、前記ミックス比として決定する、
請求項１０に記載の音声処理装置。
【請求項１４】
前記ミックス手段によるミックス後の音声を記録する記録手段を更に備える、
請求項８〜１３のいずれか１項に記載の音声処理装置。
【請求項１５】
動画像を撮影する撮像手段と、
請求項１〜１４のいずれか１項に記載の音声処理装置と、
前記撮像手段によって撮影される動画像と、前記音声処理装置の前記ミックス手段によってミックスされる音声とを、関連付けて記録する記録手段と、
を備える撮像装置。
【請求項１６】
装置本体に備え付けられたマイクロフォンと、無線通信を介した音声の入力を受付可能な音声入力手段と、を備える音声処理装置の制御方法であって、
前記音声入力手段から取得した音声の入力レベルが無音であることを検出する無音検出ステップと、
前記無音検出ステップにおける検出結果に基づいて、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックス比を決定するミックス比決定ステップと、
前記ミックス比決定ステップにおいて決定されたミックス比で、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックスステップと、
を含む、音声処理装置の制御方法。
【請求項１７】
装置本体に備え付けられたマイクロフォンと、無線通信を介した音声の入力を受付可能な音声入力手段と、を備える音声処理装置の制御方法であって、
前記無線通信の受信状況を取得する受信状況取得ステップと、
前記受信状況取得ステップにおいて取得した受信状況に基づいて、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックス比を決定するミックス比決定ステップと、
前記ミックス比決定ステップにおいて決定されたミックス比で、前記音声入力手段の音
声と前記マイクロフォンの音声とをミックスするミックスステップと、
を含む、音声処理装置の制御方法。
【請求項１８】
請求項１６または１７に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置、撮像装置、および音声処理装置の制御方法に関する。
【背景技術】
【０００２】
従来、音声信号を処理する装置として、画像信号を記録すると共に音声信号を記録する撮像装置が知られている。このような撮像装置では、撮像装置に備え付けられている内蔵マイクロフォンとは別に、無線通信によって音声信号を取得する外部マイクロフォンを使用可能なものがある。外部マイクロフォンを使用する場合は、内蔵マイクロフォンの音声を遮断して記録する装置が一般的である。無線通信によって音声信号を取得する外部マイクロフォンを使用する場合には、電波環境の悪化により無線通信が途切れてしまい音声データが途切れ無音が記録されてしまうことが、しばしば発生してしまっていた。
【０００３】
このような問題に対して、極力無線通信上の音声が途切れないように補完する手法が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２９８５４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、途切れる時間が長くなった場合や妨害波が多く入ってきた場合には、音声の途切れを補完し続けることは難しい。そのため、音声信号が長期間無音になってしまい、ユーザーに対し不快感を与えてしまう問題がある。
【０００６】
そこで、本発明は、無線通信を介して音声を受信する音声処理装置において無音の音声信号が長期間記録されることのないようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第一態様は、装置本体に備え付けられたマイクロフォンと、無線通信を介した音声の入力を受付可能な音声入力手段と、前記音声入力手段の入力レベルが無音であることを検出する無音検出手段と、前記無音検出手段による検出結果に基づいて、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックス比を決定するミックス比決定手段と、前記ミックス比決定手段によって決定されたミックス比で、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックス手段と、を備える、音声処理装置である。
【０００８】
本発明の第二態様は、装置本体に備え付けられたマイクロフォンと、無線通信を介した音声の入力を受付可能な音声入力手段と、前記無線通信の受信状況を取得する受信状況取得手段と、前記受信状況取得手段が取得した受信状況に基づいて、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックス比を決定するミックス比決定手段と、前記ミックス比決定手段によって決定されたミックス比で、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックス手段と、を備える、音声処理装置である。
【０００９】
本発明の第三態様は、装置本体に備え付けられたマイクロフォンと、無線通信を介した音声の入力を受付可能な音声入力手段と、を備える音声処理装置の制御方法であって、前
記音声入力手段から取得した音声の入力レベルが無音であることを検出する無音検出ステップと、前記無音検出ステップにおける検出結果に基づいて、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックス比を決定するミックス比決定ステップと、前記ミックス比決定ステップにおいて決定されたミックス比で、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックスステップと、を含む、音声処理装置の制御方法である。
【００１０】
本発明の第四態様は、装置本体に備え付けられたマイクロフォンと、無線通信を介した音声の入力を受付可能な音声入力手段と、を備える音声処理装置の制御方法であって、前記無線通信の受信状況を取得する受信状況取得ステップと、前記受信状況取得ステップにおいて取得した受信状況に基づいて、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックス比を決定するミックス比決定ステップと、前記ミックス比決定ステップにおいて決定されたミックス比で、前記音声入力手段の音声と前記マイクロフォンの音声とをミックスするミックスステップと、を含む、音声処理装置の制御方法である。
【発明の効果】
【００１１】
本発明によれば、無線通信を介して音声を受信する音声処理装置において無音の音声信号が長期間記録されることを抑制できる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る撮像装置の全体ブロック図。
【図２】第１の実施形態における音声処理部のブロック図。
【図３】第１の実施形態における音声ミックス処理のフローチャート。
【図４】第１の実施形態におけるミックス比決定処理の例を示す図。
【図５】第２の実施形態に係る撮像装置の全体ブロック図。
【図６】第２の実施形態における音声処理部のブロック図。
【図７】第２の実施形態における音声ミックス処理のフローチャート。
【図８】第１の実施形態における暫定ミックス比決定処理の例を示す図。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。
【００１４】
＜第１の実施形態＞
［構成］
図１、図２、図３、図４を用いて、本実施形態に係る撮像装置１００について説明する。撮像装置１００は、動画像と音声を取得して関連付けて記憶するデジタルビデオカメラである。撮像装置１００は、後述するように内蔵マイクロフォンとオプションの外部マイクロフォンを利用可能であり、録音される音声は音声処理装置によるミックス処理が施された後の音声信号である。
【００１５】
図１は、第１の実施形態の撮像装置１００の全体構成を示すブロック図である。撮像部１０１は、撮影レンズ（撮像光学系）、およびＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を備える。撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換をして、画像処理部１０２に送信する。
画像処理部１０２は、撮像部１０１から入力されたデジタル画像信号に対して、設定値に基づいてホワイトバランスや色、明るさなどを調整する画質調整処理を施し、メモリ１０５や後述の表示制御部１０９、制御部１１１に送信する。
【００１６】
音声入力部１０３は、装置本体に内蔵された内蔵マイク部１１４と、外部マイク１１５との接続インタフェースである外部音声入力部１１６とからなる。
内蔵マイク部１１４は、撮像装置１００本体に内蔵され、周辺の音声を集音してアナログデジタル変換をして音声処理部１０４へ出力する。
外部音声入力部１１６は、音声入力端子、電気的接点を有するアクセサリーシュー、ＵＳＢコネクタなどを介して外部マイク（外部マイクロフォン）１１５と接続可能であり、外部マイク１１５から音声信号を取得して、音声処理部１０４へ出力する。外部音声入力部１１６は、種々の外部マイクからの音声の入力を受付可能であり、例えば、無線通信を介して音声を取得するワイヤレスマイク（無線マイク）からの音声入力も受付可能である。外部音声入力部１１６は、また、外部マイク１１５が接続されているか否か、および接続された外部マイク１１５が無線通信を介して音声信号を取得するものであるか否かを示す外部マイク情報信号も音声処理部１０４へ出力する。
【００１７】
外部マイク１１５は、周囲の音声を集音して電気信号として出力するマイクであれば任意のマイクであってよい。例えば、外部マイク１１５は、音声を取得して無線通信によって音声信号を送信するマイク本体と、マイク本体から無線通信によって音声信号を受信し外部音声入力部１１６に出力するレシーバ（無線機）とからなるワイヤレスマイクロフォンである。ワイヤレスマイクロフォンにおける無線通信方式は任意であってよく、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、Ｗｉｒｅｌｅｓｓ  ＵＳＢなどが利用可能である。外部マイク１１５は、集音した音声信号に加えて、外部マイク１１５の種類に関する情報（ワイヤレスマイクであるか否かなど）も外部音声入力部１１６に出力する。
【００１８】
音声処理部１０４は、入力されたデジタル音声信号のレベルの適正化処理、特定周波数の低減処理等の音声に関する処理を行い、メモリ１０５に送信する。
メモリ１０５は、画像処理部１０２、音声処理部１０４により得られた画像信号及び音声信号を一時的に記憶する。
符号化処理部１０６は、メモリ１０５に一時的に記憶された画像信号や音声信号を読み出して画像信号の符号化や音声信号の符号化などを行い、圧縮画像データ、圧縮音声データ等を生成し、記録再生部１０７に送信する。
記録再生部１０７は、符号化処理部１０６で生成された圧縮画像データ、圧縮音声データ、その他撮影に関する制御データ等を記録媒体１０８に転送し記録制御を行う。記録再生部１０７は、圧縮画像データや圧縮音声データを動画像ファイルとして関連付けて記録媒体１０８に記録するように記録制御を行う。記録再生部１０７は、また、記録媒体１０８に記録された圧縮画像データ、圧縮音声データ、各種データ、プログラムを読み出す再生制御も行う。
記録媒体１０８は、記録再生部１０７から転送されるデータを記録保存する記録媒体である。圧縮画像データ、圧縮音声データ、等を記録することができれば、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体であってよく、また複数の記録媒体であってもよい。
【００１９】
表示制御部１０９は、符号化処理部１０６から送信された画像信号や画像処理部１０２から送信された画像信号にかかる映像や、撮像装置１００の操作をするための操作画面（メニュー画面）等を表示部１１０に表示させる制御を行う。
表示部１１０は、表示制御部１０９からのデータを表示する表示部である。表示部１１０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスなどである。操作部１１２は、ボタンやダイヤルなどからなり、ユーザの操作に応じて、指示信号を制御部１１１に送信する。
操作部１１２は、例えば、電源ボタン、記録開始ボタン、メニュー表示ボタン、決定ボタン、カーソルキー、表示部１１０の任意の点を指定するためのポインティングデバイス
、タッチパネル等からなる。
【００２０】
制御部１１１は、操作部１１２から送信された指示信号に基づいて、撮像装置１００の各ブロックに制御信号を送信することで、各ブロックを制御する。制御部１１１は、各種処理（プログラム）を実行するための例えば、プロセッサ（ＣＰＵ、ＭＰＵ）、メモリ（ＤＲＡＭ、ＳＲＡＭ）などからなる。バス１１３は、各種データ、制御信号などを撮像装置１００の各ブロックに送る通信経路である。
【００２１】
制御部１１１、画像処理部１０２、音声処理部１０４、符号化処理部１０６、表示制御部１０９は、プロセッサやメモリなどを有するコンピュータがプログラムを実行することでによってソフトウェア的に実現されてもよい。また、これらの処理部は、専用のハードウェア回路によって実現されてもよい。これらの処理部をソフトウェアにより実現する場合は、１つのプロセッサが複数の処理部の機能を提供してもよいし、１つの処理部の機能を複数のプロセッサによって提供してもよい。これらの実装手法は任意に組み合わせてよい。
【００２２】
［全体処理］
ここで、本実施形態に係る撮像装置１００の動画撮影時の全体動作について説明する。
本実施形態に係る撮像装置１００は、ユーザが操作部１１２の電源ボタンを操作すると、操作部１１２から制御部１１１に起動の指示が出される。この指示を受けて、制御部１１１は、不図示の電源供給部を制御して、撮像装置１００の各ブロックに対して電源を供給させる。
電源が供給されると、制御部１１１は、例えば、操作部１１２のモード切り換えスイッチが、例えば、撮影モード、再生モード等のどのモードであるかを操作部１１２からの指示信号により確認する。撮影モード開始時には撮像装置１００は撮影待機状態であり、ユーザが操作部１１２の記録開始ボタンを操作することで、撮影を開始し、その間、圧縮画像データと圧縮音声データが、記録媒体１０８に記録される。そしてユーザが操作部１１２の撮影終了ボタンを操作することで、撮影を終了し、再び撮影待機状態になる。再生モードでは、ユーザが選択したファイルに関する圧縮画像データと圧縮音声データを記録媒体１０８から再生して表示部１１０に映像を表示させる。
【００２３】
まず、撮影モードについて説明する。撮影モードが設定されると前述のようにまず、撮影待機状態に設定される。撮影待機状態で、ユーザが操作部１１２の記録開始ボタンを操作することにより撮影開始の指示信号が送信されると、制御部１１１は、撮影開始の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。
撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換し、画像処理部１０２に送信する。画像処理部１０２は、入力されたデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさなど）を設定値に基づいて処理し、表示制御部１０９に送信する。表示制御部１０９は、受信した画像信号に関する映像を表示部１１０に表示させる。また、画像信号はメモリ１０５にも出力され、メモリ１０５に一時的に記憶される。
音声入力部１０３は、内蔵マイク部１１４または外部マイク１１５から得られたデジタル音声信号を音声処理部１０４に送信する。音声処理部１０４は、入力されたデジタル音声信号のレベルの適正化処理、特定周波数の低減処理等をして音声信号を生成して、メモリ１０５に一時的に記憶される。
そして、符号化処理部１０６は、メモリ１０５に一時的に記憶された画像信号や音声信号を読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。そして、制御部１１１は、これらの圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部１０７に出力する。記録再生部１０７は、ＵＤＦ、ＦＡＴ等
のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１０８に書き込んでいく。
以上の動作を撮影中は継続する。
【００２４】
そして、ユーザが操作部１１２の記録ボタンを操作することにより撮影終了の指示信号が制御部１１１に送信されると、制御部１１１は、撮影終了の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。
画像処理部１０２、音声処理部１０４は、それぞれ画像信号、音声信号をメモリ１０５に送信するのを停止する。そして、符号化処理部１０６は、メモリ１０５に記憶されている残りの画像信号と音声信号とを読出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成し、それが終わると動作を停止する。
制御部１１１は、これらの最後の圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部１０７に出力する。
記録再生部１０７は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１０８に書き込んでいく。そして、データストリームの供給が停止したら、動画ファイルを完成させて、記録動作を停止させる。
制御部１１１は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻る。
また、撮影待機状態では、制御部１１１は、撮像装置１００の各ブロックを以下のような動作をさせるように制御する。画像処理部１０２は、画像信号を表示制御部１０９に送信し表示部１１０に画像信号に関する映像を表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。
【００２５】
次に、再生モードでは、制御部１１１は、再生状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。記録媒体１０８に記録された圧縮画像データと圧縮音声データとからなる動画ファイルを記録再生部１０７が読出して、読出された圧縮画像データ、圧縮音声データを、符号化処理部１０６に送る。符号化処理部１０６は、圧縮画像データ、圧縮音声データを一時的にメモリ１０５に記憶させ、所定の手順で復号し、復号化した画像信号を表示制御部１０９に送信する。表示制御部１０９は、入力された画像信号にかかる映像を表示部１１０に表示させる。
【００２６】
［音声ミックス処理］
ここで、本実施形態にかかる撮像装置１００の動作のうち、音声処理動作についてより詳細に説明する。本実施形態に係る撮像装置１００は、内蔵マイクと外部マイクを使用可能であり、外部マイクが接続された場合に内蔵マイクと外部マイクの音声をミックス（混合）して記録する。
【００２７】
図２は、図１の音声処理部１０４のうち、内蔵マイクと外部マイクの音声をミックスする処理に係る制御ブロックを示す図である。すなわち、図２においては音質調整処理などに係る制御ブロックは省略している。
【００２８】
無線マイク接続検出部２０１は、外部音声入力部１１６から出力される外部マイク情報信号Ｓ３に基づいて、音声入力部１０３の外部音声入力部１１６に挿入された外部マイクロフォンが無線通信を介して音声を取得するものであるか否かを判断する。すなわち、無線マイク接続検出部２０１は、音声処理部１０４に外部音声入力部１１６から入力される音声信号Ｓ２が、無線マイクの無線受信機からの信号であるか否かを判断する。
【００２９】
無音検出部２０２は、外部音声入力部１１６から入力される音声信号Ｓ２（以下、外部音声信号と称する）が、無音か否かを検出する。無音検出部２０２は、音声信号Ｓ２の入力レベルが所定の閾値以下の状態である状態が所定の期間継続した場合に、音声信号Ｓ２
が無音であると判定する。
【００３０】
ミックス比決定部２０３は、無線マイク接続検出部２０１からの検出結果を元に、図３のフローチャートに示す処理にしたがって、ミックス部２０４が外部音声信号と内蔵マイク信号とをミックスする際のミックス比を決定する。ミックス比決定部２０３は、外部マイクが接続されていない場合は、内蔵マイク信号のミックス比を１に設定し、無線通信を用いない外部マイク（有線マイク）が接続されている場合は、内蔵マイク信号のミックス比を０に設定する。一方、ミックス比決定部２０３は、無線マイク接続検出部２０１から無線通信を用いる外部マイクが接続されていることを通知された場合は、無音検出部２０２の無音検出結果に基づくミックス比の決定を有効にする。
【００３１】
ミックス部２０４は、外部音声入力部１１６からの音声信号Ｓ２と、音声信号Ｓ２と時間的な同期をとった内蔵マイク部１１４からの音声信号Ｓ１’（以下、内蔵マイク遅延信号Ｓ１’と称する）を上記のミックス比でミックスする。ミックス後の音声信号はバスを介して記録再生部１０７に送られ、記録媒体１０８に動画データとともに動画ファイルとして記録される。切替スイッチ２０５は、ミックス部２０４のミックス対象の音声信号として、内蔵マイクから入力された音声信号Ｓ１を使用するか、内蔵マイク遅延信号Ｓ１’を使用するか切り替えるスイッチである。なお、切替スイッチ２０５からミックス部２０４へ入力される音声信号のことを、遅延の有無にかかわらず単に内蔵マイク音声信号とも称する。
【００３２】
図２では、外部マイクからの音声信号Ｓ２と内蔵マイクからの音声信号Ｓ１の時間的な同期をとる方法の一例の流れを示している。外部マイクからの音声信号Ｓ２より内蔵マイク部１１４の音声信号Ｓ１の方が速い場合、内蔵マイク部１１４の信号をバス１１３を経由してメモリ１０５に同期遅延時間だけ蓄えた後、内蔵マイク遅延信号Ｓ１’としてメモリ１０５から取得する。これにより、外部マイクからの音声信号と内蔵マイクからの音声信号の時間的な同期がとられる。
【００３３】
以下、図３，図４を参照して音声処理部１０４における音声のミックス処理の詳細について説明する。図３は、本実施形態における音声ミックス処理の制御フローチャートである。図４は、本実施形態における、ミックス比決定部２０３のミックスゲイン制御動作の特徴を表すグラフである。
【００３４】
以下、図３の制御フローチャートを中心に説明を行う。
ステップＳ１０１にて本信号処理をスタートさせる。ステップＳ１０２にて、外部音声入力部１１６にケーブル等を介して外部マイクが接続されたか否か確認する。外部マイク挿入されていない場合（Ｓ１０２−ＮＯ）は、ステップＳ１１５で、切替スイッチ２０５が内蔵マイク部１１４からの音声信号Ｓ１（遅延無し信号）を選択する。そして、ステップＳ１１３にて、ミックス比決定部２０３は内蔵マイク信号のミックス比率を１（外部音声信号のミックス比率を０）に設定する。すなわち、ミックス部２０４は、内蔵マイク部１１４の遅延無しの音声信号Ｓ１をバス１１３にそのまま出力させる。
【００３５】
ステップＳ１０２において外部マイクが接続されていると判定した場合（Ｓ１０２−ＹＥＳ）、ステップＳ１１４で、切替スイッチ２０５が内蔵マイク遅延信号Ｓ１’を選択する。次にステップＳ１０３にて、外部音声入力部１１６に接続された外部マイクが無線通信を介して音声を取得するものである否かを、無線マイク接続検出部２０１が判断する。この判断は、外部音声入力部１１６から無線マイク接続検出部２０１に入力される外部マイク情報信号Ｓ３に基づいて行われる。
【００３６】
ステップＳ１０３において、無線マイクの接続が検出されなかった場合（Ｓ１０３−Ｎ
Ｏ）は、ステップＳ１１２にて内蔵マイク信号のミックス比率を０（外部音声信号のミックス比率を１）に設定する。すなわち、ミックス部２０４は、外部音声入力部１１６から入力された外部音声信号Ｓ２をバス１１３にそのまま出力させる。
【００３７】
ステップＳ１０３において、無線マイクの接続が検出された場合（Ｓ１０３−ＹＥＳ）は、ステップＳ１０４にて無音検出部２０２が動作する。無音検出部２０２は、外部音声入力部１１６からの音声信号Ｓ２のレベルがある閾値（図４（Ａ）の閾値±Ｊ）以下の期間が時間ｔの間継続した場合（図４（Ｃ）のＧ期間継続した場合）に無音と判断する。
ステップＳ１０５にて無音検出部２０２が無音と判断した場合（Ｓ１０５−ＹＥＳ）、ミックス比決定部２０３は、ステップＳ１０６にて現在のミックス比設定を調査する。ステップＳ１０６にて、現在のミックス比設定で内蔵マイク信号の比率が１でない（１より小さい）場合、ミックス比決定部２０３は、ステップＳ１０７にて内蔵マイク信号のミックス比を上げる（図４（Ｃ）のＡ期間）。ミックス比率の増加量は、あらかじめ定められた固定値であってもよいし、無音期間の長さや現在のミックス比率などに基づいて定められる値であってもよい。内蔵マイク信号の比率が１の場合は、それ以上内蔵マイク信号の比率を上げることができないのでミックス比決定部２０３は、ステップＳ１０８にて内蔵マイク信号の比率を１のまま保持しておく（図４（Ｃ）のＥ期間）。
一方、ステップＳ１０５にて無音ではないと判断した場合（Ｓ１０５−ＮＯ）、ミックス比決定部２０３は、ステップＳ１０９にて現在のミックス比設定を調査する。ステップＳ１０９にて、現在のミックス比設定で内蔵マイク信号の比率が０より大きい場合、ミックス比決定部２０３は、ステップＳ１１０にて内蔵マイク信号のミックス比を下げる（図４（Ｃ）のＢ期間）。ミックス比率の減少量は、あらかじめ定められた固定値であってもよいし、非無音期間の長さや現在のミックス比率などに基づいて定められる値であってもよい。内蔵マイク信号の比率が０である場合は、それ以上内蔵マイク信号の比率を下げることができないのでミックス比決定部２０３は、ステップＳ１１１にて内蔵マイク信号の比率を０のまま保持しておく（図４（Ｃ）のＣ期間）。
【００３８】
ミックス部２０４による処理後の音声信号はバスを介して記録再生部１０７に送られ、記録媒体１０８に動画データとともに動画ファイルとして記録される。
【００３９】
［本実施形態の有利な効果］
本実施形態による撮像装置１００によれば、外部マイクロフォンとしてワイヤレスマイクを使用した場合に、無線通信が切断した際には内蔵マイクからの音声信号を記録できる。したがって、ワイヤレスマイクの無線通信が途切れても、無音が録音されてしまうことを回避できる。無音期間の継続に応じて内部マイク信号の比率を徐々に増加させているので、突然の音声の切替に伴う違和感を抑制できる。
【００４０】
［変形例］
上記の説明ではデジタル変換した後の音声信号を対象として信号処理を行っているが、デジタル変換せずにアナログ信号で処理を行ってもかまわない。
【００４１】
また、上記の説明では、外部音声入力部１１６から外部マイク情報信号を音声処理部１０４に出力して、この外部マイク情報信号に基づいて外部マイクがワイヤレスマイクであるか否かを判定している。しかしながら、外部マイクがワイヤレスマイクであるかどうかをユーザが操作部１１２を介して入力してもよいし、無音検出に基づく外部マイクと内蔵マイクのミックス処理の有効／無効をユーザが操作部１１２を介して入力してもよい。また、外部マイクがワイヤレスマイクであるか否かの判断（図３のフローチャートのステップＳ１０３）の処理を行わずに、内蔵マイク音声とのミックス処理を実施してもよい。
【００４２】
また、上記の説明では、外部音声入力部１１６にワイヤレスマイクの無線受信機を接続
することを想定している。しかしながら、外部音声入力部１１６自体が無線通信によって音声を取得する無線機であってもよい。例えば、外部音声入力部１１６がＢｌｕｅｔｏｏｔｈ規格に準拠した無線通信機能を有し、外部マイクから無線送信される音声信号を受信してもよい。外部音声入力部１１６が外部マイクから無線通信を介して音声信号を取得するというのは、外部マイクが音声を電気信号に変換してからその電気信号が外部音声入力部１１６に入力されるまでの通信経路の一部が無線通信であることを意味する。
【００４３】
また、本実施形態では撮像装置（デジタルビデオカメラ）を例にとって説明したが、本発明に係る音声処理装置の応用は撮像装置に限られるものではない。本発明に係る音声処理装置は、上記で説明した、音声入力部１０３（内蔵マイク部１１４および外部音声入力部１１６）と音声処理部１０４を少なくとも有し、音声を集音するものであれば、その他の構成は任意である。すなわち、本発明に係る音声処理装置は、たとえば、ボイスレコーダーや携帯電話、スマートフォン、パソコン（タブレット型、ノート型、デスクトップ型）などとして実施することもできる。
【００４４】
＜第２の実施形態＞
［構成］
図５、図６、図７、図８を用いて、本実施形態に係る撮像装置１００について説明する。第１の実施形態と共通する構成については同一の符号を付してその説明を省略し、第１の実施形態と異なる部分について主に説明する。
【００４５】
図５は、本実施形態に係る撮像装置５００の全体構成を示すブロック図である。本実施形態においては、第１の実施形態における外部音声入力部１１６の代わりに、無線受信機３０１が設けられる。無線受信機３０１は、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ、Ｗｉｒｅｌｅｓｓ  ＵＳＢなどの無線通信により、外部マイク（ワイヤレスマイク）から音声データを電波を通して受信し、受信した音声データと受信電波状況を表すデータを音声処理部１０４に渡す。
【００４６】
［処理］
本実施形態においては、音声処理部の構成が第１の実施形態と異なる。本実施形態における音声処理部５０４のうち内蔵マイクと外部マイクのミックス処理に係る制御ブロックを、図６に示す。
【００４７】
図６において、受信ＢＥＲ判定部３０２は、無線受信機３０１のデータから、受信ビットエラーレート（ＢＥＲ： Bit Error Rate）情報を取得する機能部である。受信感度検
出部３０３は、無線受信機３０１のデータから、受信感度情報を取得する機能部である。妨害波検出部３０４は、無線受信機３０１で受信している無線方式に対して受信品位を劣化させる可能性のある外来電波を受信し、その感度データを取得する機能部である。ＳＮＲ判定部３０５は、受信感度検出部３０３のデータをＳ（信号）として、妨害波検出部３０４のデータをＮ（雑音）として、ＳＮＲ（Signal to Noise Ratio: 信号対雑音比）を
計算する機能部である。
【００４８】
ミックス比Ｋ演算部３０６は、受信ＢＥＲ判定部３０２のデータに基づいて、内蔵マイク信号の第１暫定ミックス比（暫定ミックス比Ｋと称する）を演算する機能部である。暫定ミックス比Ｋ演算部３０６は、受信ＢＥＲが高いほど暫定ミックス比Ｋが大きくなる（広義単調増加）ように暫定ミックス比Ｋを演算する。ミックス比Ｋ演算部３０６は、例えば、図８（Ａ）の例のように広義単調増加関数にしたがって受信ＢＥＲから暫定ミックス比Ｋを演算する。すなわち、受信ＢＥＲが閾値Ｒ１以下であれば暫定ミックス比Ｋを０とし、受信ＢＥＲが閾値Ｒ１以上閾値Ｒ２以下の間は暫定ミックス比Ｋが０から１の間の値をとるようにし、受信ＢＥＲが閾値Ｒ２以上では暫定ミックス比Ｋを１とする。
【００４９】
ミックス比Ｍ演算部３０７は、ＳＮＲ判定部３０５のデータに基づいて、内蔵マイク信号の第２暫定ミックス比（暫定ミックス比Ｍと称する）を演算する機能部である。ミックス比Ｍ演算部３０７は、ＳＮＲが高いほど暫定ミックス比Ｍが小さくなる（広義単調減少）ように暫定ミックス比Ｍを演算する。ミックス比Ｍ演算部３０７は、例えば、図８（Ｂ）の例のように広義単調減少関数にしたがって暫定ミックス比Ｍを演算する。すなわち、ＳＮＲが閾値Ｒ３以下であれば暫定ミックス比Ｍを１として、ＳＮＲが閾値Ｒ３以上閾値Ｒ４以下の間は暫定ミックス比Ｍが１から０の間の値をとるようにし、ＳＮＲが閾値Ｒ４以上では暫定ミックス比Ｍを０とする。
【００５０】
なお、ミックス比Ｋ演算部３０６およびミックス比Ｍ演算部３０７のいずれかまたは両方は、関数に基づいて暫定ミックス比を演算する代わりに、ルックアップテーブルを参照して受信ＢＥＲやＳＮＲから暫定ミックス比を決定してもよい。
【００５１】
ミックス比決定部３０８は、ミックス部２０４が外部音声信号と内蔵マイク信号とをミックスする際のミックス比を決定する。本実施形態では、ミックス比決定部３０８は、ミックス比Ｋ演算部３０６により求められる暫定ミックス比Ｋとミックス比Ｍ演算部３０７により求められる暫定ミックス比Ｍのうち、値の大きい方の暫定ミックス比を選択する。ミックス比決定部３０８が決定するミックス比は内蔵マイク信号のミックス比率であるので、ミックス比決定部３０８は暫定ミックス比Ｋと暫定ミックス比Ｍのうち内蔵マイク信号のミックス比率が高い方を選択する、と表現することもできる。
【００５２】
以下、図７，図８を参照して音声処理部５０４における音声のミックス処理の詳細について説明する。図７は、本実施形態における音声ミックス処理の制御フローチャートである。図８は、本実施形態における、ミックス比Ｋ演算部３０６およびミックス比Ｍ演算部３０７の暫定ミックス比の演算例を示した図である。
【００５３】
以下、図７の制御フローチャートを中心に説明を行う。
ステップＳ２０１にて本信号処理をスタートさせる。ステップＳ２０２において、音声の無線通信が確立しているのか否かを判定する。無線通信が確立していない場合（Ｓ２０２−ＮＯ）は、ステップＳ２１２にて、切替スイッチ２０５が内蔵マイク部１１４からの音声信号Ｓ１（遅延無し信号）を選択する。そして、ステップＳ２１０にて、ミックス比決定部３０８は、内蔵マイク信号の比率を１（外部音声信号のミックス比率を０）に設定する。すなわち、ミックス部２０４は、内蔵マイク部１１４の音声信号Ｓ１をバス１１３にそのまま出力させる。
【００５４】
ステップＳ２０２において音声の無線通信が確立している場合（Ｓ２０２−ＹＥＳ）、ステップＳ２１１にて、切替スイッチ２０５が内蔵マイク遅延信号Ｓ１’を選択する。次にステップＳ２０３に移行し、受信ＢＥＲ判定部３０２が、無線受信機３０１のデータから、受信ビットエラーレート情報を取得する。ステップＳ２０４では、ミックス比Ｋ演算部３０６が、受信したビットエラー情報を元に図８（Ａ）のグラフの通り暫定ミックス比Ｋを算出する。またステップＳ２０５では、ＳＮＲ判定部３０５がＳＮＲを検出する。具体的には、受信感度検出部３０３が無線受信機３０１のデータから取得する受信感度情報（Ｓ）と、妨害波検出部３０４が取得する外来電波の電界強度（Ｎ）からＳＮＲ値を算出する。そして、ステップＳ２０６で、ミックス比Ｍ演算部３０７が、ＳＮＲ値を元に図８（Ｂ）のグラフの通り暫定ミックス比Ｍを算出する。ステップＳ２０７にて、ミックス比決定部３０８が、ＭとＫの大小判定を行い、Ｍが大きい場合（Ｓ２０７−ＹＥＳ）はステップＳ２０８へ移行しミックス比をＭとして決定し、ミックス部２０４へミックス比情報を伝送する。Ｍが小さい場合（Ｓ２０７−ＮＯ）はステップＳ２０９へ移行しミックス比をＫとして決定し、ミックス部２０４へミックス比情報を伝送する。ミックス部２０４は
、このようにして決定されたミックス比情報にしたがって無線機の音声データ（外部音声）と内蔵マイク信号の音声データをミックスする。
【００５５】
［本実施形態の有利な効果］
本実施形態によれば、外部マイクによる無線通信の受信状況に応じて、外部マイクと内蔵マイクのミックス比を変更することができる。無線通信の受信状況が悪い場合には、外部マイクによる音声の無線通信が途切れるあることがあるが、本実施形態によればこのような状況の際に内部マイクのミックス比を上げることで、無音が録音されることを防止できる。
【００５６】
［変形例］
上記の説明では、無線受信機３０１が、外部マイクからの音声信号と無線信号の受信状況情報を音声処理部５０４へ出力しているが、外部マイクの音声信号を受信する無線機と、受信状況を取得する無線機は異なるものであってもよい。このような構成によっても同様の効果が得られる。例えば、記録した動画ファイルを外部に送信する無線機が、外部マイクからの音声信号の無線受信機とは別に撮像装置に備えられている場合、無線通信の受信状況をこの無線機から取得してもよい。
また、このように音声受信用と受信状況取得用に異なる無線機を採用する場合に、２つの無線機の無線通信方式は同一であることが好ましいが、異なる無線通信方式であっても構わない。例えば、無線ＬＡＮとＢｌｕｅｔｏｏｔｈはいずれも２．４ＧＨｚ帯を利用しているので、Ｂｌｕｅｔｏｏｔｈ無線機によって音声信号の無線通信を行いつつ、無線ＬＡＮ無線機によって受信状況情報を取得しても構わない。無線ＬＡＮによる受信状況が悪い場合には、Ｂｌｕｅｔｏｏｔｈによる無線通信の受信状況も悪いと想定できるためである。
【００５７】
本実施形態においては、外部マイク（ワイヤレスマイク）の受信機が撮像装置本体に内蔵されているが、第１の実施形態のようにワイヤレスマイクの受信機がアクセサリーシューやＵＳＢコネクタや音声入力端子などによって撮像装置に接続されてもよい。すなわち、撮像装置に内蔵される無線機は無線通信の受信状況を音声処理部に通知するために用いられ、音声信号の受信には用いられなくてもよい。無線機による受信状況情報から、ワイヤレスマイクの送信機および受信機間の無線通信品質が分かるため、上記と同様の効果が得られる。
【００５８】
また、上記の説明は、無線通信の受信状況に基づくミックス比決定の一例であり、受信状況に基づくミックス比の具体的な決定方法はその他に種々の方法が考えられる。例えば、暫定ミックス比Ｋと暫定ミックス比Ｍの平均（単純平均や重み付き平均など）を用いることが考えられる。あるいは、ＢＥＲとＳＮＲの両方を変数とする関数やルックアップテーブルに基づいて、最終的なミックス比を直接決定してもよい。また、ＢＥＲとＳＮＲのいずれか一方のみに基づいてミックス比を決定してもよいし、ＢＥＲやＳＮＲ以外の受信状況を表すパラメータを用いてミックス比を決定してもよい。いずれの場合も、無線通信の受信状況が悪化した場合に、内蔵マイクのミックス比を上げるようにすればよい。
【００５９】
本実施形態を、第１の実施形態と組み合わせて実施してもよい。すなわち、外部マイクの入力レベルと、無線通信の受信状況の両方に基づいてミックス比を決定してもよい。具体的な方法は、例えば、無音期間の長さに基づいてミックス比を決定し、受信状況情報に基づいてミックス比を決定し、これらのミックス比に基づいて、最終的なミックス比を決定することが考えられる。２つのミックス比のうち、内蔵マイク信号のミックス比率が高いミックス比を用いたり、これら２つのミックス比の平均（単純平均や重み付き平均など）を用いることが考えられる。
【００６０】
また、本実施形態では撮像装置（デジタルビデオカメラ）を例にとって説明したが、本発明に係る音声処理装置の応用は撮像装置に限られるものではない。本発明に係る音声処理装置は、上記で説明した、音声入力部１０３（内蔵マイク部１１４および無線受信機３０１）と音声処理部５０４を少なくとも有し、音声を集音するものであれば、その他の構成は任意である。すなわち、本発明に係る音声処理装置は、たとえば、ボイスレコーダーや携帯電話、スマートフォン、パソコン（タブレット型、ノート型、デスクトップ型）などとして実施することもできる。
【００６１】
＜その他の実施形態＞
記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータ（又はＣＰＵ、ＭＰＵ等のデバイス）によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。
【符号の説明】
【００６２】
１００  撮像装置
１１４  内蔵マイク部
１１６  外部音声入力部
２０２  無音検出部
２０３  ミックス比決定部
２０４  ミックス部
【図１】
2016051917.tif 000003
【図２】
2016051917.tif 000004
【図３】
2016051917.tif 000005
【図４】
2016051917.tif 000006
【図５】
2016051917.tif 000007
【図６】
2016051917.tif 000008
【図７】
2016051917.tif 000009
【図８】
2016051917.tif 000010