(57)【要約】【課題】マイクロホンが撮像装置に備えられていれば、当該マイクロホンが超指向性を有したとしても、レンズ駆動音等をノイズ音として取り込む場合がある。【解決手段】マイクロホンと、動画の撮影が可能な撮像部と、撮像部による動画の撮影中に、マイクロホンによって取り込まれる音声に対して、外部録音機器による録音支援が必要であるかを判断する判断部と、録音支援が必要と判断された場合に、録音に関する制御信号を外部録音機器に送信する送信部とを備える撮像装置。【選択図】図２
2015142203.tif 000002
【特許請求の範囲】
【請求項１】
マイクロホンと、
動画の撮影が可能な撮像部と、
前記撮像部による前記動画の撮影中に、前記マイクロホンによって取り込まれる音声に対して、外部録音機器による録音支援が必要であるかを判断する判断部と、
前記録音支援が必要と判断された場合に、録音に関する制御信号を前記外部録音機器に送信する送信部と
を備える撮像装置。
【請求項２】
前記外部録音機器により録音された外部音声データを受信する受信部と、
前記マイクロホンによって取り込まれた前記音声から生成された内部音声データと前記外部音声データとを処理して、前記動画から生成された動画像データに関連付けられる合成音声データを生成する生成部と
を備える請求項１に記載の撮像装置。
【請求項３】
前記生成部は、前記内部音声データのうちノイズを含むノイズ区間の部分データに、前記外部音声データのうち前記ノイズ区間に対応するデータを予め定められた合成比率により合成する請求項２に記載の撮像装置。
【請求項４】
前記生成部は、前記ノイズ区間の前および後の少なくともいずれかに、ノイズを含まない非ノイズ区間を含めて前記部分データを定め、前記非ノイズ区間において前記合成比率を段階的に変化させる請求項３に記載の撮像装置。
【請求項５】
前記判断部は、前記音声にノイズが含まれる場合に、前記録音支援が必要と判断する請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記判断部は、撮影レンズが駆動される場合に、前記撮影レンズの駆動に先立って前記録音支援が必要と判断する請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記マイクロホンは、第１マイクロホンと前記第１マイクロホンよりも指向性の高い第２マイクロホンとを含み、
前記録音支援が必要と判断された場合に、前記第２マイクロホンに切り替えて録音を実行する録音制御部
を備える請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
前記送信部は、前記制御信号として前記録音の開始を指示する信号を送信する請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記送信部は、前記制御信号として前記外部録音機器が備えるマイクロホンが向けられるべき推奨方向に関する信号を送信する請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記判断部は、装着されるレンズに基づいて、前記録音支援が必要であるかを判断する請求項１から９のいずれか１項に記載の撮像装置。
【請求項１１】
マイクロホンと、
外部撮像装置が生成する動画像データに関する同期情報と、前記マイクロホンによる録音に関する制御信号とを前記外部撮像装置から受信する受信部と、
前記制御信号に基づいて前記録音に関する制御を行うと共に、前記マイクロホンによって取り込まれた音声から前記同期情報を用いて内部音声データを生成する制御部と
を備える録音機器。
【請求項１２】
前記受信部は、前記外部撮像装置が備えるマイクロホンによって取り込まれた音声から生成された外部音声データを受信し、
前記制御部は、前記外部音声データと前記内部音声データとを処理して、前記動画像データに関連付けられる合成音声データを生成する請求項１１に記載の録音機器。
【請求項１３】
前記制御部は、使用者の操作に基づいて前記内部音声データと前記外部音声データの合成比率を決定する請求項１２に記載の録音機器。
【請求項１４】
前記受信部が前記制御信号として前記マイクロホンが向けられるべき推奨方向に関する信号を受信した場合に、前記推奨方向を報知する報知部を備える請求項１１から１３のいずれか１項に記載の録音機器。
【請求項１５】
外部撮像装置が生成する動画像データに関する同期情報と、録音機器のマイクロホンによる録音に関する制御信号とを前記外部撮像装置から受信する受信ステップと、
前記制御信号に基づいて前記録音に関する制御を行うと共に、前記マイクロホンによって取り込まれた音声から前記同期情報を用いて内部音声データを生成する制御ステップと
をコンピュータに実行させる制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、録音機器、および制御プログラムに関する。
【背景技術】
【０００２】
メカニカルなノイズを拾い難くすべく、本体の上方外側に超指向性を有するマイクロホンを備えたカメラ装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］  特開平０９−２４７５１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
マイクロホンが撮像装置に備えられていれば、当該マイクロホンが超指向性を有したとしても、レンズ駆動音等をノイズとして取り込む場合がある。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における撮像装置は、マイクロホンと、動画の撮影が可能な撮像部と、撮像部による動画の撮影中に、マイクロホンによって取り込まれる音声に対して、外部録音機器による録音支援が必要であるかを判断する判断部と、録音支援が必要と判断された場合に、録音に関する制御信号を外部録音機器に送信する送信部とを備える。
【０００５】
本発明の第２の態様における録音機器は、マイクロホンと、外部撮像装置が生成する動画像データに関する同期情報と、マイクロホンによる録音に関する制御信号とを外部撮像装置から受信する受信部と、制御信号に基づいて録音に関する制御を行うと共に、マイクロホンによって取り込まれた音声から同期情報を用いて内部音声データを生成する制御部とを備える。
【０００６】
本発明の第３の態様における制御プログラムは、外部撮像装置が生成する動画像データに関する同期情報と、録音機器のマイクロホンによる録音に関する制御信号とを外部撮像装置から受信する受信ステップと、制御信号に基づいて録音に関する制御を行うと共に、マイクロホンによって取り込まれた音声から同期情報を用いて内部音声データを生成する制御ステップとをコンピュータに実行させる。
【０００７】
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置および録音機器の使用環境を示す図である。
【図２】撮像装置の構成を説明する図である。
【図３】録音機器の構成を説明する図である。
【図４】撮像装置による録音支援要求に関する処理を示すフロー図である。
【図５】ノイズ検知処理を説明する図である。
【図６】録音機器による録音支援に関する処理を示すフロー図である。
【図７】録音機器による録音支援に関する処理の他の例を示すフロー図である。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
図１は、撮像装置および録音機器の使用環境を示す図である。撮像装置１０は、動画撮影可能な撮像部を備えたデジタルスチルカメラである。撮像装置１０は、マイクロホンを備えており、当該マイクロホンにより取り込まれた音声から生成された音声データと撮像部により撮影された動画像データとを対応付けて記録媒体に記録することができる。ここで、音声とは、特に断る場合を除き、人物の声に限らず、環境音等も含む概念である。撮像装置１０が動画像を撮影する場合には、撮像装置１０のマイクロホンによって取り込まれた音声に、レンズ駆動音、風切音等のノイズが含まれる場合がある。そこで、撮像装置１０は、ノイズが低減された音声を取得すべく、録音機器２０を撮像装置１０の録音を支援する機器として利用する。詳しくは後述するが、撮像装置１０は、録音機器２０により取得された音声から生成された音声データを利用することにより、撮像装置１０のマイクロホンによって取り込まれた音声から生成された音声データの品質を向上させる。なお、動画像データのみならず、音声データと撮像部により撮影された静止画像データとを対応付けて記録媒体に記録する場合にも適用可能である。
【００１１】
録音機器２０は、マイクロホンを備えており、当該マイクロホンにより取り込まれた音声を録音することができるスマートフォンである。録音機器２０は、撮像装置１０の録音を支援する機器として機能する。このため、録音機器２０は、撮像装置１０により撮影される被写体の音声を取得できる程度に、撮像装置１０に対して近距離で利用される。
【００１２】
撮像装置１０と録音機器２０とは、互いに協働して動作する。撮像装置１０と録音機器２０とは、例えばインターネット等のネットワーク３０を介して、音声データ等をやり取りする。なお、ネットワーク３０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線ネットワークであってもよい。
【００１３】
図２は、撮像装置１０の構成を説明する図である。撮像装置１０は、交換レンズ３００がカメラ本体２００に装着されて構成される。交換レンズ３００には、焦点距離等が異なる複数の種類がある。使用者は、撮影目的に応じて任意の一つをカメラ本体２００へ装着することができる。
【００１４】
カメラ本体２００は、撮像部としての撮像素子１００と、マイクロホン２１４とに加えて、カメラ本体制御部２０１、Ａ／Ｄ変換回路２０２、ワークメモリ２０３、駆動部２０４、および画像処理部２０５を備える。さらに、カメラメモリ２０６、メモリカードＩＦ２０７、操作部２０８、表示部２０９、表示制御部２１０、通信部２１１、ＧＰＳモジュール２１２、および電子コンパス２１３を備える。交換レンズ３００は、撮影光学系としての撮影レンズ３０５、交換レンズ制御部３０１、レンズメモリ３０２、およびレンズ駆動部３０４を備える。
【００１５】
また、カメラ本体２００は、カメラマウント２１５を備え、交換レンズ３００は、レンズマウント３０３を備える。カメラマウント２１５とレンズマウント３０３とが係合すると、カメラ本体２００側の通信端子と交換レンズ３００側の通信端子との接続が確立され、互いに制御信号等の通信を行うことができる。カメラ本体制御部２０１および交換レンズ制御部３０１は、相互に通信を実行しつつ協働してカメラ本体２００と交換レンズ３００とを制御する。
【００１６】
撮影レンズ３０５は、複数の光学レンズ群から構成され、光軸２１に沿って入射する被写体光束をカメラ本体２００内に配置された撮像素子１００へ導く。なお、図１では、撮影レンズ３０５を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。
【００１７】
撮像素子１００は、撮影レンズ３０５の焦点面近傍に配置されている。撮像素子１００は、複数の画素が二次元的に配列された、ＣＣＤセンサ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画素信号に変換してＡ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画素信号をデジタル信号に変換してワークメモリ２０３へ出力する。
【００１８】
画像処理部２０５は、ワークメモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。そして、生成した画像データを画像ファイルとして、メモリカードＩＦ２０７に装着されている記録媒体としてのメモリカード２２０に記憶する。画像処理部２０５は、選択された画像フォーマットにしたがって画像データを調整する等の画像処理一般の機能も担う。例えば、動画像としてＭＰＥＧファイル等を生成する場合には、所定の画素数に縮小して生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化を施して圧縮処理をする。
【００１９】
表示制御部２１０は、画像処理部２０５により生成された画像データを表示信号に変換し、表示部２０９に表示する。表示部２０９は、画像データの他にメニュー画面を表示する。使用者は、操作部２０８を介してメニュー画面の各項目を選択することができる。撮像装置１０は、動画撮影モードとして通常モードの他に、録音機器２０と連携する連携モードを備える。使用者は、これらのいずれかのモードを、メニュー画面が表示された表示部２０９を視認しながら、操作部２０８を操作することにより選択することができる。
【００２０】
通信部２１１は、録音に関する制御信号を録音機器２０に送信する送信部として機能する。録音に関する制御信号として、録音機器２０による録音の開始を指示する信号、録音機器２０が備えるマイクロホンが向けられるべき推奨方向に関する信号、特定のフィルタが施された音声データの生成を指示する信号等が挙げられる。通信部２１１は、録音機器２０により録音された音声データを受信する受信部としても機能する。
【００２１】
ＧＰＳモジュール２１２は、撮像装置１０の現在地を検出する。電子コンパス２１３は、撮像装置１０が撮影している被写体の方向である方位を検出する。マイクロホン２１４は、撮像装置１０の周辺の音声を取り込んで音声信号に変換する。マイクロホン２１４は、後述する録音機器２０のマイクロホンの指向性よりも高い指向性を有する。
【００２２】
カメラメモリ２０６は、例えばフラッシュメモリなどの不揮発性メモリであり、撮像装置１０を制御するプログラム、各種パラメータ等を記憶する役割を担う。カメラメモリ２０６は、後述するノイズ検知処理に用いられる閾値を記憶している。本実施形態においては、レンズ駆動音に対応する特定の周波数帯に対する閾値を記憶している。この閾値は、予め実験等を通じて決定される。
【００２３】
撮像装置１０は、上記の画像処理における各々の要素も含めて、カメラ本体制御部２０１により直接的または間接的に制御される。カメラ本体制御部２０１は、定数、変数、プログラム等を適宜ワークメモリ２０３に展開して、撮像装置１０の制御に利用する。
【００２４】
カメラ本体制御部２０１は、動画撮影モードが連携モードに設定されている場合には、動画撮影中に、マイクロホン２１４によって取り込まれる音声に対して、録音機器２０による録音支援が必要であるかを判断する判断部として機能する。また、マイクロホン２１４によって取り込まれた音声から生成された音声データと、録音機器２０から取得した音声データとを処理して、動画から生成された動画像データに関連付けられる合成音声データを生成する生成部としても機能する。
【００２５】
交換レンズ制御部３０１は、レンズ駆動部３０４を介して撮影レンズ３０５を移動させる。レンズメモリ３０２は、撮影レンズ３０５のレンズ情報として当該撮影レンズ３０５を識別するための識別情報を記憶している。
【００２６】
なお、一連の撮影シーケンスは、操作部２０８が使用者の操作を受け付けて、カメラ本体制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ、ＡＥ等の各種動作は、カメラ本体制御部２０１に制御されて実行される。
【００２７】
図３は、録音機器２０の構成を説明する図である。録音機器２０は、マイクロホン４０９に加えて、システム制御部４０１、メインメモリ４０２、操作部４０３、表示部４０４、通信部４０５、メモリカードＩＦ４０６、ＧＰＳモジュール４０７、スピーカ４０８、および電子コンパス４１０を備える。
【００２８】
表示部４０４は、メニュー画面を表示する。使用者は、操作部４０３を介してメニュー画面の各項目を選択することができる。使用者は、メニュー画面が表示された表示部４０４を視認しながら、操作部４０３を操作することにより、後述する撮像装置１０の録音支援用のアプリケーションを起動することができる。
【００２９】
通信部４０５は、撮像装置１０が生成する動画像データに関する同期情報と、マイクロホン４０９による録音に関する制御信号とを撮像装置１０から受信する受信部として機能する。また、撮像装置１０が備えるマイクロホン２１４によって取り込まれた音声から生成された音声データを受信する受信部としても機能する。
【００３０】
ＧＰＳモジュール４０７は、録音機器２０の現在地を検出する。マイクロホン４０９は、録音機器２０の周辺の音声を取り込んで音声信号に変換する。マイクロホン４０９は、撮像装置１０のマイクロホン２１４の指向性よりも低い指向性を有する。スピーカ４０８は、音声を出力する。電子コンパス４１０は、マイクロホン４０９の方向を検出する。
【００３１】
メインメモリ４０２は、例えばフラッシュメモリなどの不揮発性メモリであり、録音機器２０を制御するプログラム、各種パラメータ等を記憶する役割を担う。例えば、撮像装置１０の録音支援用のアプリケーションを記憶している。
【００３２】
録音機器２０は、システム制御部４０１により直接的または間接的に制御される。システム制御部４０１は、マイクロホン４０９によって取り込まれた音声から生成された音声データを、メモリカードＩＦ４０６に装着されているメモリカード４２０に記憶する。詳しくは後述するが、システム制御部４０１は、制御信号に基づいて録音に関する制御を行うと共に、マイクロホン４０９によって取り込まれた音声から同期情報を用いて音声データを生成する制御部としても機能する。
【００３３】
図４は、撮像装置１０による録音支援要求に関する処理を示すフロー図である。本フローは、動画撮影モードが連携モードに設定されている場合に、使用者により動画撮影操作がなされた場合に開始される。動画撮影操作がなされると、カメラ本体制御部２０１は、マイクロホン２１４によって取り込まれた音声から生成された音声データを随時取得する。なお、本フローにおいては、制御信号が録音の開始を指示する信号である場合について説明する。
【００３４】
カメラ本体制御部２０１は、動画撮影の終了指示を受け付けたか否かを判定する（ステップＳ１０１）。動画撮影の終了指示を受け付けていない場合には（ステップＳ１０１でＮＯ）、予め設定された期間が経過したか否かを判定する（ステップＳ１０２）。予め設定された期間が経過していない場合には（ステップＳ１０２でＮＯ）、当該期間が経過するまで待機する。予め設定された期間が経過した場合には（ステップＳ１０２でＹＥＳ）、その間に取得された音声データに対してノイズ検知処理を行う（ステップＳ１０３）。そして、ノイズが含まれるか否かを判定する（ステップ１０４）。具体的には、カメラ本体制御部２０１は、音声データにおける特定の周波数帯の信号レベルがカメラメモリ２０６に記憶されている閾値を超えているか否かを判定する。
【００３５】
特定の周波数帯の信号レベルが閾値以下の場合には、ノイズが含まれていないと判定する（ステップＳ１０４でＮＯ）。この場合には、ステップＳ１０１に移行する。特定の周波数帯の信号レベルが閾値を超えた場合には、ノイズが含まれると判定する（ステップ１０４でＹＥＳ）。この場合には、マイクロホン２１４による録音品質に対して、録音機器２０による録音支援が必要と判定する。そこで、録音に関する制御信号を録音機器２０に送信するように通信部２１１を制御して（ステップＳ１０５）、一連の処理を終了する。
【００３６】
録音機器２０は、制御信号を受信すると、当該制御信号に従って録音を開始する。撮像装置１０にとって外部の機器である録音機器２０により音声を取得するので、当該音声には、レンズ駆動音が含まれていない。なお、録音機器２０は、撮像装置１０が動画撮影を開始したタイミングや、録音支援用のアプリケーションが起動したタイミングで録音を開始するようにしてもよい。その場合、動画撮影の全ての期間において録音支援を行うことが可能である。
【００３７】
カメラ本体制御部２０１は、撮像装置１０の音声データと録音機器２０の音声データとの両方を利用することにより、動画像データに関連付けられる音声データとして、レンズ駆動音が除かれた合成音声データを生成することができる。より詳細には、まず、カメラ本体制御部２０１は、録音機器２０の音声データを取得すると、公知の同期技術を利用して、撮像装置１０の音声データと録音機器２０の音声データとの同期を取る。その後、撮像装置１０の音声データのうちノイズを含む区間の部分データを、録音機器２０の音声データにおける、当該区間に相当する区間の部分データに置き換えることにより、ノイズが除かれた合成音声データを生成する。
【００３８】
ところで、撮像装置１０のマイクロホン２１４の特性と録音機器２０のマイクロホン４０９の特性とは、互いに異なる。したがって、撮像装置１０により取得された音声から録音機器２０により取得された音声に突然切り替わると、使用者に違和感を与える場合がある。そこで、カメラ本体制御部２０１は、撮像装置１０の音声データのうちノイズを含むノイズ区間の部分データに、録音機器２０の音声データのうちノイズ区間に対応するデータを予め定められた合成比率により合成してもよい。合成音声データをｄａｔａｃｏｎ、撮像装置１０の音声データをｄａｔａｉｍａ、録音機器２０の音声データをｄａｔａｒｅｃで表した場合に、これらの関係は、ｄａｔａｃｏｎ＝（ｄａｔａｉｍａ×ｒ）＋（ｄａｔａｒｅｃ×（１−ｒ））で表すことができる。ここで、ｒは、重み係数であり、０≦ｒ≦１である。ｒが１であれば、撮像装置１０の音声データのみが利用され、ｒが０であれば、録音機器２０の音声データのみが利用されることになる。したがって、ｒを０から１の間に設定することにより、撮像装置１０の音声データと録音機器２０の音声データとが加算処理された合成音声データを得ることができる。
【００３９】
カメラ本体制御部２０１は、ノイズ検知処理の結果に応じて、合成比率を変えてもよい。より詳細には、ノイズ区間においては、撮像装置１０の音声データの割合を下げて、録音機器２０の音声データの割合を上げる。一方で、ノイズを含まない非ノイズ区間においては、撮像装置１０の音声データのみを用いる。
【００４０】
さらに、撮像装置１０の音声データと録音機器２０の音声データとを合成するにあたって、使用者に与える違和感を低減すべく、録音機器２０の音声データの割合を段階的に変化させてもよい。より詳細には、ノイズ区間の前および後の少なくともいずれかに、非ノイズ区間を含めて部分データを定め、非ノイズ区間において合成比率を段階的に変化させる。例えば、撮像装置１０の音声データのうちノイズ区間において、ｒが０．１に設定されているとする。そうすると、カメラ本体制御部２０１は、撮像装置１０の音声データを１割、録音機器２０の音声データを９割として合成音声データを生成する。この場合に、ノイズ区間の直近の区間において、撮像装置１０の音声データのみが利用されていれば、合成比率が急激に変化することにより、使用者に違和感を与える場合がある。そこで、当該直近の区間において、例えば、撮像装置１０の音声データを３割、録音機器２０の音声データを７割として合成音声データを生成することにより、録音機器２０の音声データの割合を段階的に増加させるとよい。これにより、より違和感のない音声データを得ることができる。
【００４１】
なお、カメラ本体制御部２０１は、合成音声データを生成する処理を動画撮影終了後に後処理として実行してもよいし、動画を撮影しながらリアルタイム処理として実行してもよい。リアルタイム処置として実行する場合には、カメラ本体制御部２０１は、制御信号を録音機器２０に送信した後に、録音機器２０により取得された音声データを随時受信する。
【００４２】
カメラ本体制御部２０１は、撮像装置１０と録音機器２０との間の距離に応じて合成比率を変更してもよい。より詳細には、カメラ本体制御部２０１は、ＧＰＳモジュール２１２から撮像装置１０の現在地を示す位置情報を取得し、録音機器２０から録音機器２０の現在地を示す位置情報を取得する。撮像装置１０の位置情報と録音機器２０の位置情報とから、撮像装置１０と録音機器２０との間の距離を算出する。そして、距離に応じて、録音機器２０の音声データの割合を変更する。例えば、合成による情報量の増加を重視する場合には、距離が予め設定された値よりも小さい場合には、録音機器２０の音声データの割合を低くするとよい。撮像装置１０と録音機器２０とで共通の音声が取得されていると考えられるからである。距離が予め設定された値以上の場合には、録音機器２０の音声データの割合を高くするとよい。撮像装置１０と録音機器２０とで異なる音声が取得されていると考えられるからである。
【００４３】
一方で、合成による情報量の増加を重視しない、換言すると、撮像装置１０近辺の情報量を重視する場合には、距離が予め設定された値よりも小さい場合に、録音機器２０の音声データの割合を高くし、距離が予め設定された値以上の場合に、録音機器２０の音声データの割合を低くするとよい。
【００４４】
以上の説明では、カメラ本体制御部２０１は、ノイズとしてレンズ駆動音を検知したが、カメラメモリ２０６が風切音に対応する特定の周波数帯に対する閾値を記憶していれば、当該閾値により風切音を検知することもできる。なお、撮像装置１０が風速計を備えていれば、当該風速計により風切音を検知することもできる。このように風切音を検知する場合には、カメラ本体制御部２０１は、制御信号として、録音機器２０が備えるマイクロホン４０９が向けられるべき推奨方向に関する信号を送信するように、通信部２１１を制御してもよい。
【００４５】
より詳細には、カメラ本体制御部２０１は、風切音に対応する特定の周波数帯の信号レベルが、風切音検知用の閾値を超えた場合には、電子コンパス２１３から方位を示す情報を取得する。そして、推奨方向として、取得した情報により示される方位とは異なる方向、例えば反対方向を示す信号を録音機器２０に送信する。
【００４６】
録音機器２０は、制御信号を受信すると、当該制御信号に従って推奨方向を使用者に報知する。具体的には、推奨方向を表示部４０４に表示する。なお、推奨方向をスピーカ４０８により報知してもよい。使用者が報知される内容に従って録音機器２０の向きを調整することにより、録音機器２０は、撮像装置１０により取得される音声に比べて、風切音が抑制された音声を取得することができる。
【００４７】
また、カメラ本体制御部２０１は、風切音に対応する特定の周波数帯の信号レベルが、風切音検知用の閾値を超えた場合には、特定のフィルタが施された音声データの生成を指示する信号を録音機器２０に送信してもよい。風切音の周波数帯は、概ね低周波数帯に制限されるので、低周波数帯の成分を抑制するようなフィルタを施すことにより、風切音が抑制された音声を得ることができる。なお、撮像装置１０の音声と録音機器２０の音声との両方に風切音が含まれる場合にも、低周波数帯の成分を抑制するとよい。
【００４８】
また、風切音の周波数帯と、音声に残留させたい環境音の周波数帯とが重複する場合がある。この場合には、風速計により予め設定された値以下の風速しか計測されなければ、ノイズ除去処理をしなくてもよい。これにより、環境音を除去せずに音声に残留させることができる。
【００４９】
以上の説明では、撮像装置１０がノイズ検知処理を行ったが、録音機器２０が行ってもよい。この場合には、撮像装置１０により生成された音声データと録音機器２０により生成された音声データとを用いてノイズ検知を行ってもよい。
【００５０】
図５は、ノイズ検知処理を説明する図である。図５（ａ）は、撮像装置１０の音声データの波形（周波数スペクトル）を示し、図５（ｂ）は、録音機器２０の音声データの波形を示す。図５（ａ）、（ｂ）において、横軸は、周波数を示し、縦軸は信号レベルを示す。
【００５１】
システム制御部４０１は、撮像装置１０の音声データと録音機器２０の音声データとをモニタリングする。撮像装置１０の音声データの波形と、録音機器２０の音声データの波形とを比較すると、図中の破線部分に示すように、撮像装置１０の音声データに多く含まれ、かつ、録音機器２０の音声データにほとんど含まれていない周波数成分が存在する。このような周波数成分は、レンズ駆動音である可能性が高い。また、レンズ駆動音に限らず、撮像装置１０の音声データには含まれるが、録音機器２０の音声データには含まれない周波数成分は、ノイズである可能性が高い。したがって、システム制御部４０１は、このような成分を検知した場合には、ノイズが含まれると判定する。
【００５２】
図６は、録音機器２０による録音支援に関する処理を示すフロー図である。本フローは、録音支援用のアプリケーションが起動されることにより開始される。本フローにおいては、制御信号が録音の開始を指示する信号である場合について説明する。
【００５３】
システム制御部４０１は、撮像装置１０から同期情報および制御信号を受信したか否かを判定する（ステップＳ２０１）。同期情報および制御信号を受信していないと判定した場合には（ステップＳ２０１でＮＯ）、受信するまで待機する。同期情報および制御信号を受信したと判定した場合には（ステップＳ２０１でＹＥＳ）、マイクロホン４０９による録音を開始する。システム制御部４０１は、マイクロホン４０９によって取り込まれた音声の音声信号を随時取得する。そして、システム制御部４０１は、同期情報を用いて音声信号から音声データを生成する。
【００５４】
システム制御部４０１は、撮像装置１０から予め設定された量の音声データを受信したか否かを判定する（ステップＳ２０３）。予め設定された量の音声データが受信されていない場合には（ステップＳ２０３でＮＯ）、待機する。予め設定された量の音声データが受信された場合には（ステップＳ２０３でＹＥＳ）、受信された音声データに対してノイズ検知処理を行う（ステップＳ２０４）。システム制御部４０１は、ノイズ検知処理を行うにあたり、まず、同期情報を用いて、公知の同期技術により、撮像装置１０から受信した音声データと、生成した音声データとの同期を取る。
【００５５】
そして、システム制御部４０１は、撮像装置１０の音声データにノイズが含まれるか否かを判定する。具体的には、図５で説明したように、撮像装置１０の音声データに含まれ、かつ、録音機器２０の音声データに含まれていない周波数成分が存在するか否かを判定する。このような成分が存在しない場合には、ノイズが含まれていないと判定する（ステップＳ２０５でＮＯ）。この場合には、後述するステップＳ２０７に移行する。このような成分が存在する場合には、ノイズが含まれると判定する（ステップＳ２０５でＹＥＳ）。この場合には、ノイズ除去処理を行う（ステップＳ２０６）。例えば、すでに説明したように、撮像装置１０の音声データと録音機器２０の音声データとを合成するにあたり、撮像装置１０の音声データの割合よりも録音機器２０の音声データの割合を高くする。なお、ノイズレベルが予め定められた閾値を超えた場合には、録音機器２０の音声データのみを用いてもよい。
【００５６】
システム制御部４０１は、動画撮影の終了を示す信号を撮像装置１０から受け付けたか否かを判定する（ステップＳ２０７）。動画撮影の終了を示す信号を受け付けていない場合には（ステップＳ２０７でＮＯ）、ステップＳ２０３に移行する。動画撮影の終了を示す信号を受け付けた場合には（ステップＳ２０７でＹＥＳ）、一連の処理を終了する。
【００５７】
以上の説明では、システム制御部４０１がノイズ除去処理を行ったが、カメラ本体制御部２０１がノイズ除去処理を行ってもよい。この場合には、システム制御部４０１は、ノイズ検知処理までを行い、撮像装置１０の音声にノイズが検知された区間を示す情報を付加するとよい。
【００５８】
さらに、録音機器２０は、マイクロホン４０９によって取り込まれた音声の音声データに、録音機器２０のマイクロホン４０９の向きを示す方位情報、および位置情報を関連付けてもよい。カメラ本体制御部２０１は、録音機器２０から音声データを取得すると、当該音声データに関連付けられた方位情報および位置情報を用いて合成処理を行ってもよい。例えば、マイクロホン４０９が被写体とは反対方向に向いていれば、撮像装置１０の音声データの割合を高くする。
【００５９】
以上の説明では、システム制御部４０１がノイズ検知結果に応じて自動的にノイズ除去処理を行ったが、使用者の操作に応じて行ってもよい。
【００６０】
図７は、録音機器２０による録音支援に関する処理の他の例を示すフロー図である。本フローは、録音支援用のアプリケーションが起動されることにより開始される。本フローにおいては、制御信号が録音の開始を指示する信号である場合について説明する。
【００６１】
ステップＳ３０１からステップＳ３０５までの処理は、図６で説明したステップＳ２０１からステップＳ２０５までの処理と同一である。ステップＳ３０５において、ノイズが含まれると判定された場合には（ステップＳ３０５でＹＥＳ）、システム制御部４０１は、撮像装置１０の音声と録音機器２０の音声とを同時に出力するようにスピーカ４０８を制御する（ステップＳ３０６）。また、使用者の操作を受け付けるための操作画面を表示部４０４に表示する（ステップＳ３０７）。
【００６２】
システム制御部４０１は、使用者の操作を受け付けたか否かを判定する（ステップＳ３０８）。使用者の操作を受け付けたと判定した場合には（ステップＳ３０８でＹＥＳ）、使用者の操作に基づいて、撮像装置１０の音声データと録音機器２０の音声データとの合成比率を調整しながら合成する（ステップＳ３０９）。以上のように構成することにより、使用者は、両方の音声を聞いて違和感があるかを実際に確認しながら、合成比率を調整することができる。
【００６３】
システム制御部４０１は、動画撮影の終了を示す信号を撮像装置１０から受け付けたか否かを判定する（ステップＳ３１０）。動画撮影の終了を示す信号を受け付けていない場合には（ステップＳ３１０でＮＯ）、ステップＳ３０３に移行する。動画撮影の終了を示す信号を受け付けた場合には（ステップＳ３１０でＹＥＳ）、一連の処理を終了する。
【００６４】
以上の説明では、システム制御部４０１は、制御信号を受信すると、録音を開始したが、録音支援用のアプリケーションが起動されると、録音を開始してもよい。
【００６５】
撮像装置１０は、三脚に固定されてもよい。使用者は、録音機器２０をリモートコントローラとして用いることにより、撮像装置１０を遠隔操作してもよい。この場合には、通信部２１１が録音機器２０からの制御信号を受け付けて、カメラ本体制御部２０１へ当該制御信号を出力することにより動画撮影が開始される。
【００６６】
以上の説明では、カメラ本体制御部２０１は、ノイズが含まれるか否かを閾値により判定したが、他の手段により判定してもよい。カメラメモリ２０６が、撮像装置１０に装着可能な交換レンズの識別情報毎に、レンズ駆動音の波形や周波数情報を記憶していれば、当該情報により判定することもできる。より詳細には、まず、カメラ本体制御部２０１は、交換レンズ３００がカメラ本体２００に装着されると、交換レンズ制御部３０１を介して撮影レンズ３０５のレンズ情報を取得する。本実施形態においては、レンズ情報として交換レンズ３００を識別する識別情報を取得する。次に、カメラ本体制御部２０１は、取得した識別情報に対応するレンズ駆動音の情報をカメラメモリ２０６から取得する。カメラ本体制御部２０１は、マイクロホン２１４によって取り込まれた音声から生成された音声データのうち特定の周波数帯の情報と、カメラメモリ２０６から取得したレンズ駆動音の情報との類似度からノイズが含まれているか否かを判断する。この場合には、カメラ本体制御部２０１は、類似度が予め設定されている閾値を超えた場合に、ノイズが含まれると判断する。以上のように、装着可能な交換レンズに応じたレンズ駆動音の情報を用いることにより、ノイズ検知の精度を高めることができる。なお、ノイズが含まれるか否かを閾値により判定する場合において、装着可能な交換レンズ毎に異なる閾値を用いてもよい。なお、波形とは図５に示す周波数スペクトルの波形のみならず、例えば音圧レベルの波形を用いることもできる。また、周波数情報には、例えば周波数帯域を示す情報が含まれる。
【００６７】
録音機器２０がノイズ検知処理を行う場合においては、メインメモリ４０２は、カメラ本体２００の識別情報毎に交換レンズ３００のレンズ情報を保持してもよい。すなわち、カメラ本体２００の識別情報と交換レンズ３００のレンズ情報とを関連付けたデータを保持してもよい。このようなデータがレンズ駆動音の波形や周波数情報に関連付けて保持されていれば、システム制御部４０１は、カメラ本体２００と交換レンズ３００との組み合わせにかかわらず、精度良くノイズを検知することができる。なお、システム制御部４０１は、撮像装置１０から取得した、カメラ本体２００の識別情報と交換レンズ３００のレンズ情報とに対応するレンズ駆動音の波形や周波数情報を、ネットワーク３０を介してサーバから取得してもよい。
【００６８】
以上の説明では、録音機器２０により録音された音声データをノイズ除去処理に用いたが、他の処理に用いることもできる。撮像装置１０のマイクロホン２１４の指向性が高いと、被写体周辺の環境音が十分に取得できない場合がある。そこで、環境音を補うべく、録音機器２０の音声データを撮像装置１０の音声データに合成してもよい。これにより、臨場感のある音声を生成することができる。
【００６９】
以上の説明では、撮像装置１０は、一つのマイクロホン２１４を備える構成であったが、複数のマイクロホン２１４を備える構成であってもよい。マイクロホン２１４の指向性が高いほど、レンズ駆動音は混入し難い。したがって、撮像装置１０が例えば互いに指向性が異なる二つのマイクロホンを備えていれば、指向性の高いマイクロホン２１４を使用するとよい。すなわち、カメラ本体制御部２０１は、録音支援が必要と判断された場合に、指向性の高いマイクロホン２１４に切り替えて録音を実行する録音制御部として機能する。マイクロホンの指向性を変更できる構成であれば、録音機器２０と連携して処理を行う場合には、指向性を高めてもよい。
【００７０】
カメラ本体制御部２０１は、装着されているレンズの種類によって合成比率を変えてもよい。例えば、動画対応のレンズが装着されていれば、レンズ駆動音は集音され難い。したがって、この場合には、動画非対応のレンズが装着されている場合に比べて、撮像装置１０の音声データの割合を高めてもよい。
【００７１】
以上の説明では、ノイズとしてレンズ駆動音および風切音を例に挙げたが、他の音をノイズとして検知してもよい。予め実験等を通じて、ノイズとして除去対象となる周波数帯に対応する閾値を決定しておけば、種々のノイズを検知することができる。
【００７２】
以上の説明では、カメラ本体制御部２０１は、撮像装置１０の音声にノイズが含まれる場合に、録音支援が必要であると判断したが、当該音声にノイズが含まれると推測した場合に、録音支援が必要であると判断してもよい。例えば、被写体が移動する場合において、カメラ本体制御部２０１は、被写体にフォーカスを追従させる制御を行う場合がある。この場合には、カメラ本体制御部２０１は、被写体の移動量を検出して、当該移動量に応じて撮影レンズ３０５を駆動させる。したがって、カメラ本体制御部２０１は、被写体の移動の有無によって、音声にノイズが含まれるかを推測することができる。つまり、撮影レンズの駆動に先立って録音支援が必要と判断することができる。また、フォーカスモードがマニュアルモードに設定されていれば、使用者の操作の有無によって、音声にノイズが含まれるかを推測することができる。
【００７３】
以上の説明では、録音機器としてスマートフォンを例に挙げたが、タブレット端末、携帯電話、ウェアラブル端末等を用いることもできる。また、以上の説明では、撮像装置１０の音声データと録音機器２０の音声データとを合成して合成音声データしたが、合成音声データを生成する処理は、アナログ段階でなされてもよい。
【００７４】
なお、マイクロホン２１４が超指向性を有したとしても、被写体の音声以外の音声が環境音として混入される場合がある。そこで、以上の説明では、撮像装置１０の音声からレンズ駆動音をノイズとして除去したが、さらに環境音を除去してもよい。より詳細には、まず、撮像装置１０は、制御信号として、撮像装置１０の向きとは異なる方向、例えば反対方向を示す信号を録音機器２０に送信する。録音機器２０は、制御信号を受信すると、当該制御信号により示される方向を使用者に報知する。使用者が報知される内容に従って録音機器２０の向きを調整することにより、録音機器２０は、主として環境音を取得することができる。カメラ本体制御部２０１は、撮像装置１０の音声データと録音機器２０の音声データとに共通して存在する部分信号を環境音に関するデータであると判定する。そして、撮像装置１０の音声データから部分データを除去することにより、環境音に関するデータを除去することができる。これにより、よりクリアな被写体の音声を得ることができる。なお、システム制御部４０１が環境音を除去する処理を行ってもよい。
【００７５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００７６】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の撮影動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００７７】
１０  撮像装置、２０  録音機器、２１  光軸、３０  ネットワーク、１００  撮像素子、２１４  マイクロホン、２００  カメラ本体、２０１  カメラ本体制御部、２０２  Ａ／Ｄ変換回路、２０３  ワークメモリ、２０４  駆動部、２０５  画像処理部、２０６  カメラメモリ、２０７  メモリカードＩＦ、２０８  操作部、２０９  表示部、２１０  表示制御部、２１１  通信部、２１２  ＧＰＳモジュール、２１３  電子コンパス、２１５  カメラマウント、２２０  メモリカード、３００  交換レンズ、３０１  交換レンズ制御部、３０２  レンズメモリ、３０３  レンズマウント、３０４  レンズ駆動部、３０５  撮影レンズ、４０１  システム制御部、４０２  メインメモリ、４０３  操作部、４０４  表示部、４０５  通信部、４０６  メモリカードＩＦ、４０７  ＧＰＳモジュール、４０８  スピーカ、４０９  マイクロホン、４１０  電子コンパス、４２０  メモリカード
【図１】
2015142203.tif 000003
【図２】
2015142203.tif 000004
【図３】
2015142203.tif 000005
【図４】
2015142203.tif 000006
【図５】
2015142203.tif 000007
【図６】
2015142203.tif 000008
【図７】
2015142203.tif 000009