(57)【要約】【課題】第１及び第２のマイクロホンを利用することで、所定距離に位置する収音対象が発した音声を強調する。【解決手段】  音声取得装置は、収音対象から第１の距離だけ離れて配置され上記収音対象から発せられた音声を収音して第１音声を取得する第１のマイクロホンと、上記収音対象から上記第１の距離と異なる第２の距離だけ離れて配置され上記収音対象から発せられた音声を収音して第２音声を取得する第２のマイクロホンと、上記第１及び第２音声のうち上記第１の距離と第２の距離との距離差に基づく成分を強調する強調処理を行う音声強調部とを具備する。【選択図】図１
2020092381.tif 000002
【特許請求の範囲】
【請求項１】
収音対象から第１の距離だけ離れて配置され上記収音対象から発せられた音声を収音して第１音声を取得する第１のマイクロホンと、
上記収音対象から上記第１の距離と異なる第２の距離だけ離れて配置され上記収音対象から発せられた音声を収音して第２音声を取得する第２のマイクロホンと、
上記第１及び第２音声のうち上記第１の距離と第２の距離との距離差に基づく成分を強調する強調処理を行う音声強調部と
を具備したことを特徴とする音声取得装置。
【請求項２】
上記収音対象の画像を取得する画像取得部と、
取得された上記画像の画像解析により、上記収音対象から発せられた音の発生タイミングを推測する発生タイミング推測部と、を具備し、
上記音声強調部は、上記音の発生タイミングの推測結果に基づいて上記強調処理を調整する
ことを特徴とする請求項１に記載の音声取得装置。
【請求項３】
上記音声強調部は、上記収音対象から発せられた音声が上記第１の距離と第２の距離との距離差に応じて上記第１のマイクロホンと第２のマイクロホンとに到達する時間差を求め、求めた到達時間差に基づく遅延時間で上記第１音声及び上記第２音声のうちの少なくとも一方を遅延させて加算することにより上記強調処理を行う
ことを特徴とする請求項１に記載の音声取得装置。
【請求項４】
上記音声強調部は、上記第１のマイクロホンと第２のマイクロホンとの距離に基づいて上記到達時間差を求める
ことを特徴とする請求項３に記載の音声取得装置。
【請求項５】
上記第１の距離と第２の距離との距離差を求めて上記到達時間差を求める距離及び到達時間差判定部
を更に具備したことを特徴とする請求項３に記載の音声取得装置。
【請求項６】
上記音声強調部は、上記到達時間差に基づく遅延時間で上記第１音声及び上記第２音声のうちの少なくとも一方を遅延させて加算する時間軸シフト加算処理により得た合成音から、上記第１及び第２音声に対する上記時間軸シフト加算処理により強調し合う成分を抽出する対象音声抽出部
を更に具備したことを特徴とする請求項３に記載の音声取得装置。
【請求項７】
上記第１のマイクロホンは、左第１音声及び右第１音声を収音するステレオマイクロホンであり、
上記第１のマイクロホンが収音した左右の第１音声の位相が同一となる成分を第３音声として抽出する同一位相成分抽出処理部を更に具備し、
上記音声強調部は、上記第１音声に代えて上記第３音声と第２音声のうち上記第１の距離と第２の距離との距離差に基づく成分を強調する強調処理を行う
ことを特徴とする請求項１に記載の音声取得装置。
【請求項８】
上記収音対象の撮像画像を取得する画像取得部を具備し、
上記同一位相成分抽出処理部は、上記画像取得部が上記収音対象を上記撮像画像の中央に位置させた状態で上記第３音声を抽出する
ことを特徴とする請求項７に記載の音声取得装置。
【請求項９】
上記音声強調部は、上記収音対象から発せられた音声が上記第１の距離と第２の距離との距離差に応じて上記第１のマイクロホンと第２のマイクロホンとに到達する時間差に基づく遅延時間で上記第１音声及び上記第２音声のうちの少なくとも一方を遅延させて加算して合成音を得る時間軸シフト加算処理部と、
上記合成音を再生する再生部と、
ユーザ操作に基づく操作信号により上記遅延時間を調整するシフト量調整部と
を具備したことを特徴とする請求項１に記載の音声取得装置。
【請求項１０】
収音対象から第１の距離だけ離れて配置された第１のマイクロホンによって上記収音対象から発せられた音声を収音して第１音声を取得し、
上記収音対象から上記第１の距離と異なる第２の距離だけ離れて配置された第２のマイクロホンによって上記収音対象から発せられた音声を収音して第２音声を取得し、
上記第１及び第２音声のうち上記第１の距離と第２の距離との距離差に基づく成分を強調する強調処理を行う
ことを特徴とする音声取得方法。
【請求項１１】
上記収音対象から発せられた音声が上記第１の距離と第２の距離との距離差に応じて上記第１のマイクロホンと第２のマイクロホンとに到達する時間差を求め、求めた到達時間差に基づく遅延時間で上記第１音声及び上記第２音声のうちの少なくとも一方を遅延させて加算することにより上記強調処理を行う
ことを特徴とする請求項１０に記載の音声取得方法。
【請求項１２】
上記第１のマイクロホンは、左第１音声及び右第１音声を収音し、
上記第１のマイクロホンが収音した左右の第１音声の位相が同一となる成分を第３音声として抽出し、
上記第１音声に代えて上記第３音声と第２音声のうち上記第１の距離と第２の距離との距離差に基づく成分を強調する強調処理を行う
ことを特徴とする請求項１０に記載の音声取得方法。
【請求項１３】
上記収音対象から発せられた音声が上記第１の距離と第２の距離との距離差に応じて上記第１のマイクロホンと第２のマイクロホンとに到達する時間差に基づく遅延時間で上記第１音声及び上記第２音声のうちの少なくとも一方を遅延させて加算して合成音を得、
上記合成音を再生し、
ユーザ操作に基づく操作信号により上記遅延時間を調整する
ことを特徴とする請求項１０に記載の音声取得方法。
【請求項１４】
コンピュータに、
収音対象から第１の距離だけ離れて配置された第１のマイクロホンによって上記収音対象から発せられた音声を収音して第１音声を取得し、
上記収音対象から上記第１の距離と異なる第２の距離だけ離れて配置された第２のマイクロホンによって上記収音対象から発せられた音声を収音して第２音声を取得し、
上記第１及び第２音声のうち上記第１の距離と第２の距離との距離差に基づく成分を強調する強調処理を行う
手順を実行させるための音声取得プログラム。
【請求項１５】
上記収音対象から発せられた音声が上記第１の距離と第２の距離との距離差に応じて上記第１のマイクロホンと第２のマイクロホンとに到達する時間差を求め、求めた到達時間差に基づく遅延時間で上記第１音声及び上記第２音声のうちの少なくとも一方を遅延させて加算することにより上記強調処理を行う
手順を実行させるための請求項１４に記載の音声取得プログラム。
【請求項１６】
上記第１のマイクロホンは、左第１音声及び右第１音声を収音し、
上記第１のマイクロホンが収音した左右の第１音声の位相が同一となる成分を第３音声として抽出し、
上記第１音声に代えて上記第３音声と第２音声のうち上記第１の距離と第２の距離との距離差に基づく成分を強調する強調処理を行う
手順を実行させるための請求項１４に記載の音声取得プログラム。
【請求項１７】
上記収音対象から発せられた音声が上記第１の距離と第２の距離との距離差に応じて上記第１のマイクロホンと第２のマイクロホンとに到達する時間差に基づく遅延時間で上記第１音声及び上記第２音声のうちの少なくとも一方を遅延させて加算して合成音を得、
上記合成音を再生し、
ユーザ操作に基づく操作信号により上記遅延時間を調整する
手順を実行させるための請求項１４に記載の音声取得プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、 第１及び第２のマイクロホンを利用して音声を取得する音声取得装置、音声取得方法及び音声取得プログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラやスマートフォン等の携帯機器においては、録音機能及び録画機能を有するものが多い。この種の携帯機器は、被写体を撮像する撮像部と周囲の音声を収音する内蔵マイクロホンを備えており、動画撮影に際して、映像及び音声を含むＡＶデータを記録可能なものもある。
【０００３】
更に、携帯機器においては、外部マイクロホンが収音した録音データを、ケーブルや無線通信により取得可能なものもあり、外部マイクロホンによって取得された音声と内蔵された撮像部による画像とを記録可能な装置も商品化されている。例えば、被写体を撮像する携帯機器から離間した位置に外部マイクロホンを配置可能な場合には、外部マイクロホンをその収音対象である被写体の近傍に配置しておくことで、Ｓ／Ｎの良好な音声を外部マイクロホンから取得することも可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１５１４７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば、野鳥の鳴き声を収音する場合等においては、収音対象である野鳥の極近傍にマイクロホンを設置することができるとは限らず、収音対象から比較的離れた位置にマイクロホンを設置する必要がある場合がある。そうすると、マイクロホンには、収音対象からの音声だけでなく、マイクロホンの近くの音や、収音対象以外から発せられる音が雑音として収音されてしまう。
【０００６】
なお、特許文献１においては、複数のマイクやカメラを用いたＴＶ会議システムにおいて、発言者の選択を正確に行うものが知られている。しかしながら、このシステムは、声紋登録された会議参加者を認証する声紋認証部や話者を最適に撮影するようにテレビカメラ装置を制御する撮像調整部等を有しており、装置規模が大きく、また、任意の収音対象の音声を選択して録音できるものでもない。
【０００７】
本発明は、第１及び第２のマイクロホンを利用することで、所定距離に位置する収音対象が発した音声を強調することができる音声取得装置、音声取得方法及び音声取得プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様による音声取得装置は、収音対象から第１の距離だけ離れて配置され上記収音対象から発せられた音声を収音して第１音声を取得する第１のマイクロホンと、上記収音対象から上記第１の距離と異なる第２の距離だけ離れて配置され上記収音対象から発せられた音声を収音して第２音声を取得する第２のマイクロホンと、上記第１及び第２音声のうち上記第１の距離と第２の距離との距離差に基づく成分を強調する強調処理を行う音声強調部とを具備する。
【０００９】
本発明の一態様による音声取得方法は、収音対象から第１の距離だけ離れて配置された第１のマイクロホンによって上記収音対象から発せられた音声を収音して第１音声を取得し、上記収音対象から上記第１の距離と異なる第２の距離だけ離れて配置された第２のマイクロホンによって上記収音対象から発せられた音声を収音して第２音声を取得し、上記第１及び第２音声のうち上記第１の距離と第２の距離との距離差に基づく成分を強調する強調処理を行う。
【００１０】
本発明の一態様による音声取得プログラムは、コンピュータに、収音対象から第１の距離だけ離れて配置された第１のマイクロホンによって上記収音対象から発せられた音声を収音して第１音声を取得し、上記収音対象から上記第１の距離と異なる第２の距離だけ離れて配置された第２のマイクロホンによって上記収音対象から発せられた音声を収音して第２音声を取得し、上記第１及び第２音声のうち上記第１の距離と第２の距離との距離差に基づく成分を強調する強調処理を行う手順を実行させる。
【発明の効果】
【００１１】
本発明によれば、第１及び第２のマイクロホンを利用することで、所定距離に位置する収音対象が発した音声を強調することができる音声取得装置、音声取得方法、音声取得プログラム及び音声取得システムを提供することを目的とする。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施の形態に係る音声取得装置を示すブロック図。
【図２】収音の様子を示す説明図。
【図３Ａ】横軸に時間をとり縦軸に振幅を取って、収音された音声の時間ずれを説明するための説明図。
【図３Ｂ】横軸に時間をとり縦軸に振幅を取って、収音された音声の時間ずれを説明するための説明図。
【図４】対象音声の選択方法の一例を説明するための説明図。
【図５】カメラ１の動作を説明するためのフローチャート。
【図６】レコーダ２の動作を説明するためのフローチャート。
【図７】再生装置３の動作を説明するためのフローチャート。
【図８】カメラ１の撮影時の状態を説明するための説明図。
【図９】再生装置３の再生時の状態を示す説明図。
【図１０】本発明の第２の実施の形態を示すブロック図。
【図１１】鳥４１、草４２、レコーダ２及びカメラ１の位置関係をＸＹ座標上で示す説明図。
【図１２】横軸に時間をとり縦軸に振幅を取って、収音された音声の時間ずれを説明するための説明図。
【図１３】横軸に時間をとり縦軸に振幅を取って、収音された音声の時間ずれを説明するための説明図。
【図１４】再生装置の制御を示すフローチャート。
【図１５】本発明の第３の実施の形態に係る音声取得装置を示すブロック図。
【図１６】収音及び録音時の様子を示す説明図。
【図１７】カメラの制御を示すフローチャート。
【図１８】レコーダの制御を示すフローチャート。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１４】
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る音声取得装置を示すブロック図である。本実施の形態は、収音対象からの収音の対象となる音声（以下、対象音声という）を収音する第１及び第２のマイクロホンを採用し、収音対象から第１のマイクロホンまでの距離と第２のマイクロホンまでの距離との距離差に基づいて、収音音声を遅延させることにより、第１及び第２のマイクロホンからそれぞれ所定の距離に位置する収音対象の音声を強調する強調処理を実現するものである。また、第１のマイクロホンから所定距離に位置する収音対象から発せられた対象音声を、他の位置から発生する雑音と分離して抽出し、選択的に収音することを可能にする。
【００１５】
図１の例は、第１及び第２のマイクロホンの一方を収音機能を有する撮像装置としてのカメラに構成し、他方をレコーダに構成する例について説明する。第１及び第２のマイクロホンは、どのような構成の装置であってもよい。なお、本実施の形態における音声取得装置は、カメラ内に構成してもよく、レコーダ内に構成してもよく、カメラ及びレコーダに分散して構成してもよく、更に、これらの装置とは独立した装置として構成してもよい。なお、図１では、音声取得装置をカメラ、レコーダ及び再生装置に分散して構成する例を示している。
【００１６】
先ず、図２、図３Ａ、図３Ｂ及び図４を参照して第１の実施の形態における収音の仕方について説明する。図２は収音の様子を示す説明図であり、図３Ａ及び図３Ｂは、横軸に時間をとり縦軸に振幅を取って、収音された音声の時間ずれを説明するための説明図である。また、図４は対象音声の選択方法の一例を説明するための説明図である。
【００１７】
図２に示すカメラ１は図１の各回路が収納された筐体１ａを有する。筐体１ａの上面には、後述する操作部１５を構成するシャッタボタン１５ａが設けられている。また、図２に示すレコーダ２は、図１の各回路が収納された筐体２ａを有している。
【００１８】
図２の例では、鳥４１は樹木４３ａの枝に留まっている。例えば、野鳥の撮影及び収音を行う場合には、野鳥が留まりやすいであろう樹木の近くに、事前にレコーダ２を設置しておくことが考えられる。一方、カメラ１を携帯するユーザは、野鳥が逃げ出さないように、また、障害物を避けるために、野鳥から比較的離れた位置で撮影を行う。
【００１９】
映像については、望遠レンズ等を採用することで被写体から比較的離れた位置からも十分に高画質の画像を取得することができるが、音声については、被写体からの距離が大きくなるとノイズが増加し、対象音声の収音品質が劣化してしまう。この理由から、レコーダ２については、収音対象により近い位置に設置される。
【００２０】
図２の例では、カメラ１を保持するユーザは、樹木４３ａと樹木４３ｂとの隙間を利用し、被写体である鳥４１から比較的離れた位置に位置して鳥４１の撮影及び収音を試みる。一方、レコーダ２は、樹木４３ａに比較的近い位置に設置された三脚上に配置され、鳥４１に比較的近い位置にて鳥４１の鳴き声を対象音声として収音する。なお、図２中の鳥４１を囲った枠はカメラ１の撮影範囲を示しており、カメラ１の後述する表示部１６の表示画面１６ａ上には、撮影された鳥４１の画像４１ａが表示されている。
【００２１】
カメラ１と鳥４１との間の地面には草４２が生えている。従って、カメラ１の後述するＳＴ収音部１２には、対象音声である鳥４１の鳴き声以外に、草４２が風でなびくザワザワという音やその他の音（以下、対象音声以外の音を雑音という）が収音される。レコーダ２においても、対象音声である鳥４１の鳴き声だけでなくその他の周囲の雑音も収音される。なお、以下、説明を簡略化するために、カメラ１及びレコーダ２において収音可能な範囲において、音は対象音声と草４２による雑音のみが発生しているものとする。
【００２２】
鳥４１から発せられた対象音声はカメラ１及びレコーダ２において収音される。対象音声のうち主にカメラ１に到達する直接音である対象音声Ａ１及びレコーダ２に到達する直接音である対象音声Ａ２について考慮すると、これらの対象音声Ａ１，Ａ２は、振幅は異なるが相互に同一周波数であって略同一の周波数特性を有するものと考えられる。即ち、対象音声Ａ１，Ａ２は、振幅を無視すると、伝搬される距離の相違による到達時間のずれのみを相違点とするものと考えられる。
【００２３】
図３Ａ及び図３Ｂはそれぞれ対象音声である鳥４１の鳴き声と草４２のなびく音等の雑音とが分離されているとして、これらの音がカメラ１及びレコーダ２に到達する時点での波形を説明するものである。図３Ａは対象音声について示すものであり、レコーダ２の位置における対象音声に対してカメラ１の位置における対象音声は、距離の相違に基づく到達時間遅れ及び振幅の減少のみを有する。図３Ａの例では到達時間差はＴａであり、レコーダ２及びカメラ１に到達する対象音声は、到達時間差Ｔａに相当する分だけ位相がずれている。
【００２４】
また、図３Ｂは草４２による雑音について示すものである。レコーダ２の位置における雑音とカメラ１の位置における雑音とは、距離の相違に基づく到達時間遅れ及び振幅の変化を有する。図３Ｂの例では到達時間差はＴｂであり、レコーダ２及びカメラ１に到達する雑音は、到達時間差Ｔｂに相当する分だけ波形がずれている。
【００２５】
そこで、本実施の形態においては、レコーダ２が収音して得た音声を到達時間差Ｔａ分だけ遅延させてカメラ１が収音して得た音声と加算する。これにより、カメラ１及びレコーダ２が収音した音声に含まれる成分のうち到達時間差Ｔａの対象音声については、位相が一致した状態で加算されて強めあう（振幅が大きくなる）ことになる。なお、カメラ１及びレコーダ２において収音された音声を記録する場合には、記録された音声の再生タイミングを到達時間差Ｔａだけずらして再生することで、対象音声については位相を一致させた再生が可能である。以下の説明では、カメラ１により収音された音声とレコーダ２により収音させた音声との少なくとも一方を遅延させて到達時間差を相殺し、対象音声の位相を一致させる処理を、音声を時間軸上でシフトさせる処理（時間軸シフト処理）というものとする。
【００２６】
図４はこの処理を説明するものであり、レコーダ２によって収音された音声の波形とこの音声から到達時間差Ｔａでカメラ１において収音された音声の波形を示すと共に、これらの波形を到達時間差Ｔａだけ時間軸上でシフトさせて加算して得られる波形を示している。カメラ１及びレコーダ２において、到達時間差Ｔａで収音された対象音声については、時間軸上でシフトして合成（加算）することにより、合成音は比較的大きなピーク値が得られる。
【００２７】
到達時間差は距離と音速とに基づいて算出可能である。例えば、収音対象、レコーダ２及びカメラ１が一直線上に位置するものとすると、カメラ１とレコーダ２との間の距離を求めることで、求めた距離と音速とから到達時間差を算出することができる。カメラ１をデジタルカメラ等によって構成した場合には、カメラ１は測距が可能である場合が多く、カメラ１によってレコーダ２までの距離を求めることで、到達時間差を算出することができる。図２の例では、こうして求めたカメラ１とレコーダ２との間の距離が８ｍであることを示している。
【００２８】
なお、例えば、レコーダ２を収音対象近傍の数ｍの位置に配置し、カメラ１が例えば１００ｍくらい収音対象から離れている場合には、収音対象、レコーダ２及びカメラ１が略一直線上に位置していれば、到達時間差の算出誤差は比較的小さいものと考えられる。
【００２９】
本実施の形態においては、カメラ１及びレコーダ２により収音した音声の少なくとも一方を時間軸上でシフトさせて到達時間差を相殺する時間軸シフト処理を行った後加算する処理（以下、時間軸シフト加算処理という）を行うことにより、対象音声の振幅を増大させる処理（強調処理）を行って出力するようになっていてもよい。
【００３０】
更に、本実施の形態においては、このような時間軸シフト加算処理によって強めあう成分のみを抽出することで、時間軸シフト加算処理によって得た合成音から対象音声の成分を抽出して対象音声の強調処理を行うようになっていてもよい。
【００３１】
例えば、所定の短い期間において対象音声の周波数に変化がないものとすると、この期間において時間軸シフト加算処理により所定周期で強めあう周波数成分は対象音声の成分であると考えてもよく、当該周波数成分を抽出することで、収音した音声から対象音声のみの合成音を抽出することが可能である。
【００３２】
また、例えば、対象音声がチュンチュンと不連続に発する鳥の鳴き声である場合には、時間軸シフト加算処理により強めあう成分のピーク期間を含む所定期間のみを取り出すことで、主に対象音声が含まれる合成音の抽出を行う強調処理を行うようになっていてもよい。例えば、図４の合成した波形のピーク位置を含む所定期間を対象音声の抽出結果として出力するのである。
【００３３】
図１において、撮像装置を構成するカメラ１には制御部１０が設けられている。制御部１０は、ＣＰＵやＦＰＧＡ等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【００３４】
カメラ１は、撮像部１１及びＳＴ収音部１２を備えている。画像取得部としての撮像部１１は、光学系１１ａ及び図示しない撮像素子を有している。光学系１１ａは、ズームやフォーカシングのための図示しないレンズや絞り等を備えている。光学系１１ａは、これらのレンズを駆動する図示しないズーム（変倍）機構、ピント及び絞り機構を備えている。撮像素子は、ＣＣＤやＣＭＯＳセンサ等によって構成されており、光学系１１ａによって被写体光学像が撮像素子の撮像面に導かれるようになっている。撮像素子は、被写体光学像を光電変換して被写体の撮像画像（撮像信号）を取得する。
【００３５】
制御部１０に構成された撮影制御部１０ａは、光学系１１ａのズーム機構、ピント機構及び絞り機構を駆動制御して、ズーム、絞り及びピントを調節することができるようになっている。ピント及び画角情報部１０ｃは、光学系１１ａからズーム、絞り及びピントに関する情報を取得して撮影制御部１０ａに出力するようになっている。このフィードバックによって、撮影制御部１０ａはズーム、絞り及びピントを所望の設定値に設定することができるようになっている。撮像部１１は、撮影制御部１０ａに制御されて撮像を行い、撮像画像（動画像及び静止画像）の撮像信号を制御部１０に出力する。
【００３６】
制御部１０には収音制御及び処理部１０ｄが構成されており、収音制御及び処理部１０ｄは、ＳＴ収音部１２を制御する。ＳＴ収音部１２は、ステレオマイクロホン等により構成されており、収音制御及び処理部１０ｄに制御されて、カメラ１の周囲の音声を収音して音声信号を取得し、取得した音声（以下、第１音声ともいう）を入力部としても機能する収音制御及び処理部１０ｄに出力することができるようになっている。ＳＴ収音部１２は、カメラ１の撮影方向、即ち、光学系１１ａの光軸方向に感度のピークを有していた方がよい。なお、ＳＴ収音部１２に代えて、モノラルマイクロホンを採用してもよい。
【００３７】
カメラ１には操作部１５が設けられている。操作部１５は、レリーズボタン、ファンクションボタン、撮影モード設定、パラメータ操作等の各種スイッチ、ダイヤル、リング部材等（図示省略）を含み、ユーザ操作に基づく操作信号を制御部１０に出力する。制御部１０は、操作部１５からの操作信号に基づいて、各部を制御するようになっている。
【００３８】
制御部１０は、撮像部１１からの撮像画像（動画像及び静止画像）を取込む。制御部１０の画像処理部１０ｂは、取込んだ撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。また、収音制御及び処理部１０ｄは、ＳＴ収音部１２からの音声を取り込み、取り込んだ音声に対して所定の信号処理を施すことができる。
【００３９】
カメラ１には表示部１６が設けられており、表示部１６は、例えば、ＬＣＤ（液晶表示装置）等により構成された表示画面を有している。この表示画面は例えばカメラ１の筐体背面等に設けられる。制御部１０は、画像処理部１０ｂによって信号処理された撮像画像を表示部１６に表示させるようになっている。また、制御部１０は、カメラ１の各種メニュー表示や警告表示等を表示部１６に表示させることもできるようになっている。
【００４０】
カメラ１には通信部１８ａ，１８ｂが設けられている。通信部１８ａ，１８ｂは、所定の通信規格に対応した通信デバイスであり、制御部１０に制御されて、レコーダ２との間で情報を送受することができるようになっている。通信部１８ａは、例えば、ブルートゥース（登録商標）等の近距離無線による通信が可能であり、通信部１８ｂは、例えば、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮによる通信が可能である。なお、通信部１８ａ，１８ｂは、ブルートゥースやＷｉ−Ｆｉに限らず、各種通信方式での通信を採用することが可能である。制御部１０は、通信部１８ａ又は１８ｂを介して、記録部１４に記録されている情報を再生装置３に送信することができる。
【００４１】
カメラ１には、記録部１４が設けられている。記録部１４は、ハードディスクやメモリ媒体等の所定の記録媒体によって構成されて、制御部１０から与えられた情報を記録すると共に、記録されている情報を制御部１０に出力することができる。記録部１４としては、例えばカードインターフェースを採用することができ、記録部１４はメモリカード等の記録媒体に画像データを記録可能である。
【００４２】
制御部１０は、信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部１４に与えて記録させることができる。また、制御部１０は、収音制御及び処理部１０ｄによる信号処理後の音声を圧縮処理し、圧縮後の音声又は未圧縮の音声を記録部１４に与えて記録させることができる。カメラ１には時計部１９が設けられており、制御部１０は、時計部１９からの時間情報を用いて、ＳＴ収音部１２によって取得した音声に時間情報を付加すると共に、時間情報を付した画像に関連付けて記録部１４に記録することができる。
【００４３】
また、カメラ１には画像特徴抽出部１３が設けられている。画像特徴抽出部１３は、ＣＰＵ等を用いたプロセッサにより構成されていてもよく、撮像部１１によって撮像された被写体の撮像画像に対する画像解析を行って、その画像特徴を抽出して抽出結果を制御部１０に出力するようになっている。また、カメラ１には、位置及び方位センサ部１７が設けられている。位置及び方位センサ部１７は、位置センサ、ジャイロセンサ、磁気センサ等により構成されており、カメラ１の位置及び方位を検出して検出結果を制御部１０に出力するようになっている。
【００４４】
本実施の形態においては、記録部１４は、連携情報部１４ａを有している。連携情報部１４ａには、レコーダ２及び再生装置３との間の通信に関する情報が記録されており、制御部１０は、連携情報部１４ａから読み出した情報に基づいて通信部１８ａ，１８ｂを制御することで、レコーダ２及び再生装置３との間で通信により情報の授受が可能である。制御部１０は、ＳＴ収音部１２が収音して得た第１音声及び撮像部１１により撮像して得た画像を再生装置３に送信することができるようになっている。
【００４５】
本実施の形態においては、制御部１０には距離及び到達時間差判定部１０ｅが構成されている。距離及び到達時間差判定部１０ｅは、各種測距方法を採用して、カメラ１からレコーダ２までの距離を求め、求めた距離と音速との演算によって、到達時間差を判定する。なお、制御部１０は、例えば、レコーダ２を撮像することで像面位相差法による測距を実行してもよく、撮像画像からコントラストを判定する山登り方式のフォーカス処理を利用した測距を行ってもよい。また、制御部１０は、位置及び方位センサ部１７の検出結果を用いてレコーダ２までの距離を求めてもよい。
【００４６】
制御部１０は、収音対象を、ピント及び画角情報部１０ｃによって合焦状態の被写体に設定してもよく、また、撮像画像の中央に位置する被写体に設定してもよく、また、ユーザ操作によって指定された被写体に設定してもよい。収音対象、レコーダ２及びカメラ１が略直線上に位置しない場合には、制御部１０は、カメラ１の位置とレコーダ２及び収音対象までの距離とその方向とを求めて、収音対象からカメラ１までの距離、収音対象からレコーダ２までの距離及びカメラ１からレコーダ２までの距離を求めてもよい。
【００４７】
制御部１０は、ＳＴ収音部１２からの音声に、距離及び到達時間差判定部１０ｅが求めた到達時間差の情報（到達時間差情報）を関連付けて記録部１４に記録するようになっている。
【００４８】
また、制御部１０には、発生タイミング推測部１０ｆが設けられている。発生タイミング推測部１０ｆは、撮像部１１からの撮像画像及び画像特徴抽出部１３から画像特徴の情報が与えられ、画像解析によって、収音対象が発する音の発生タイミングを推測する。例えば、収音対象が鳥であり鳥の鳴き声を対象音声として収音する場合には、発生タイミング推測部１０ｆは、鳥のくちばしが開閉するタイミング及び開閉の度合いに応じて鳥が鳴き声を発するタイミングを推測して推測結果を出力する。
【００４９】
制御部１０は、ＳＴ収音部１２からの音声に、発生タイミング推測部１０ｆが求めた音の発生タイミングの推測結果の情報（発生タイミングの時間情報）を関連付けて記録部１４に記録するようになっている。
【００５０】
レコーダ２には、制御部２０が設けられている。制御部２０は、ＣＰＵ等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。レコーダ２は、通信部２１ａ，２１ｂを有している。通信部２１ａ，２１ｂは、所定の通信規格に対応した通信デバイスであり、制御部２０に制御されて、カメラ１及び再生装置３との間で情報を送受することができるようになっている。通信部２１ａは、例えば、ブルートゥース（登録商標）等の近距離無線による通信が可能であり、通信部２１ｂは、例えば、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮによる通信が可能である。なお、通信部２１ａ，２１ｂは、ブルートゥースやＷｉ−Ｆｉに限らず、各種通信方式での通信を採用することが可能である。
【００５１】
レコーダ２にはＳＴ収音部２２が設けられており、ＳＴ収音部２２は、例えば図示しないステレオマイクロホンにより構成することができる。なお、ＳＴ収音部２２に代えて、モノラルマイクロホンを採用してもよい。ＳＴ収音部２２は、ステレオマイクロホンによって音声（以下、第２音声ともいう）を取得するようになっている。制御部２０には、収音制御部２０ａが構成されており、収音制御部２０ａは、ＳＴ収音部２２の収音を制御する。入力部として機能する収音制御部２０ａは、ＳＴ収音部２２からの第２音声を取り込むようになっている。
【００５２】
レコーダ２には操作部２３が設けられている。操作部２３は、録音モード設定、パラメータ操作等のための図示しない各種スイッチ、ダイヤル、リング部材等を含み、ユーザ操作に基づく操作信号を制御部２０に出力する。制御部２０は、操作部２３からの操作信号に基づいて、各部を制御するようになっている。また、制御部２０は、通信部２１ａ，２１ｂを介してカメラ１の制御部１０から制御情報が与えられた場合には、この制御情報に基づいて各部を制御するようになっていてもよい。この場合には、カメラ１の制御部１０によって、レコーダ２における録音制御が可能である。
【００５３】
レコーダ２には、記録部２５が設けられている。記録部２５は、ハードディスクやメモリ媒体等の所定の記録媒体によって構成されて、制御部２０から与えられた情報を記録すると共に、記録されている情報を制御部２０に出力することができる。記録部２５としては、例えばカードインターフェースを採用することができ、記録部２５はメモリカード等の記録媒体に音声データを記録可能である。制御部２０は、信号処理後の第２音声を音声記録部２５に与えて記録させることができる。レコーダ２には時計部２４が設けられており、制御部２０は、時計部２４からの時間情報を用いて、ＳＴ収音部２２によって取得した第２音声に時間情報を付加して記録部２５に記録することができる。
【００５４】
また、記録部２５は、連携情報部２５ａを有している。連携情報部２５ａには、カメラ１及び再生装置３との間の通信に関する情報が記録されており、制御部２０は、連携情報部２５ａから読み出した情報に基づいて通信部２１ａ，２１ｂを制御することで、カメラ１及び再生装置３との間で通信により情報の授受が可能である。制御部２０は、ＳＴ収音部２２が収音して得た第２音声を再生装置３に送信することができるようになっている。
【００５５】
再生装置３は、コンピュータや、スマートフォンやタブレット端末等によって構成されていてもよい。再生装置３には、制御部３０が構成されている。音声強調部として機能する制御部３０は、ＣＰＵやＦＰＧＡ等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【００５６】
再生装置３には、操作部３２が設けられている。操作部３２は、再生モード設定、パラメータ操作等のための図示しない各種スイッチ、ダイヤル、リング部材等を含み、ユーザ操作に基づく操作信号を制御部３０に出力する。制御部３０は、操作部３２からの操作信号に基づいて、各部を制御するようになっている。通信部３１は、所定の通信規格に対応した通信デバイスであり、制御部３０に制御されて、カメラ１及びレコーダ２との間で通信を行って情報を授受することができるようになっている。再生装置３には、記録部３４が設けられている。記録部３４は、ハードディスクやメモリ媒体等の所定の記録媒体により構成されており、制御部３０から与えられた情報を記録するようになっている。
【００５７】
制御部３０は、通信部３１を介して、カメラ１からの画像及び第１音声を受信すると共に、レコーダ２からの第２音声を受信する。なお、上述したように、画像、第１音声及び第２音声には時間情報が付加されている。また、第１音声に対応付けられた到達時間差情報及び音の発生タイミングの推測結果の情報も通信部３１によって受信されるようになっている。第１及び第２音声に付加されたこれらの情報を連携情報というものとする。制御部３０は、カメラ１及びレコーダ２から受信した情報を記録部３４に与えて記録するようになっている。
【００５８】
制御部３０には、時間軸シフト加算処理部３０ａが設けられている。時間軸シフト加算処理部３０ａは、記録部３４に記録された情報を読み出し、受信された第１音声及び第２音声の少なくとも一方に対して時間軸シフト処理を施すことで、対象音声が収音対象からレコーダ２に到達する時間とカメラ１に到達するまでの到達時間差を相殺し、対象音声については位相を一致させるようになっている。時間軸シフト加算処理部３０ａは時間軸シフト処理後の第１及び第２音声を合成して合成音を得る時間軸シフト加算処理を行う。
【００５９】
時間軸シフト加算処理部３０ａは、時間軸シフト処理における音声の遅延時間を、画像に基づく音の発生タイミングの推測結果に応じて調整してもよい。カメラ１によって取得された画像と音声は同期して記録されており、画像に基づく音の発生タイミングの推測結果と、第１音声の波形の立ち上がりタイミングとは一致していると考えられる。従って、時間軸シフト加算処理部３０ａは、音の発生タイミングの推測結果に応じて、音声の遅延時間を調整することで、到達時間差を確実に相殺した時間軸シフト処理が可能となる。
【００６０】
制御部３０には、対象音声抽出部３０ｂが設けられている。対象音声抽出部３０ｂは、時間軸シフト加算処理により得られた合成音の周波数成分のうち所定周期で強めあう周波数成分（対象音声の成分）を検出して、当該周波数成分を抽出するフィルタ処理を行う。対象音声抽出部３０ｂは、フィルタ処理後の音声（合成音）を再生部３３及び記録部３４に出力する。
【００６１】
また、対象音声抽出部３０ｂは、時間軸シフト加算処理により所定周期で強めあう成分のピーク期間を含む所定期間のみの合成音を抽出するフィルタ処理を行って、このフィルタ処理後の音声（合成音）を再生部３３及び記録部３４に出力するようになっていてもよい。
【００６２】
記録部３４は、対象音声抽出部３０ｂからの音声が与えられて、記録するようになっている。再生部３３は、図示しないスピーカを備えており、制御部３０に制御されて、対象音声抽出部３０ｂからの音声を再生出力するようになっている。
【００６３】
なお、再生装置３は、対象音声抽出部３０ｂを省略し、時間軸シフト加算処理部３０ａによる時間軸シフト加算処理後の合成音を再生部３３及び記録部３４に出力するようになっていてもよい。
【００６４】
次に、このように構成された実施の形態の動作について図５から図９を参照して説明する。図５はカメラ１の動作を説明するためのフローチャートであり、図６はレコーダ２の動作を説明するためのフローチャートであり、図７は再生装置３の動作を説明するためのフローチャートである。また、図８はカメラ１の撮影時の状態を説明するための説明図であり、図９は再生装置３の再生時の状態を示す説明図である。
【００６５】
（録音）
先ず、収音及び録音の動作を説明する。図２の例に示すように、鳥４１が樹木４３ａの枝に留まっており、樹木４３ａの比較的近くにレコーダ２が設置されているものとする。また、樹木４３ａから比較的離れた位置において、ユーザがカメラ１を携帯して、鳥４１の撮影を行う。カメラ１のＳＴ収音部１２及びレコーダ２のＳＴ収音部２２のいずれにも、収音の対象である鳥４１の鳴き声（対象音声）とそれ以外の周囲の雑音（草４２から発する音）とが収音される。
【００６６】
カメラ１の筐体１ａの背面には、表示部１６の表示画面１６ａが設けられている。ユーザは、例えば、筐体１ａを手で把持して、表示画面１６ａを見ながら被写体である鳥４１を視野範囲に捉えた状態で、シャッタボタン１５ａを押下操作することで撮影を行う。
【００６７】
カメラ１の制御部１０は、電源が投入されると、図５のステップＳ１において、撮像モードが指示されたか否かを判定する。撮像モードが指示されていない場合には、制御部１０は、指定されたモード、例えば、レコーダ２との連携のための設定や送受信を行う連携モードや記録画像の再生を行う再生モードに移行する。
【００６８】
例えば、連携モードでは、制御部１０は、カメラ１とレコーダ２との間の距離の測定を行う。これにより、制御部１０は、収音対象である鳥４１とレコーダ２との間の距離と鳥４１とカメラ１との間の距離との距離差を求める。例えば、カメラ１により鳥４１だけでなくレコーダ２も撮影可能な場合には、制御部１０は撮影時のピント合わせ操作において、測距が可能であり距離差を求めることができる。また、制御部１０は、位置及び方位センサ部１７からの位置及び撮影方位の情報を用いることで、距離差を求めることが可能である。また、レコーダ２が測位機能を有している場合には、制御部３０はレコーダ２から位置情報を取得することで、距離差を算出してもよい。
【００６９】
制御部１０は、表示部１６に距離差の情報を表示するようにしてもよい。例えば、制御部１０は、鳥４１とレコーダ２とカメラ１とが略直線状に配置されているものとして、カメラ１からレコーダ２までの距離を、第１音声と第２音声との伝達距離の距離差として表示してもよい。図８はカメラ１からレコーダ２までの距離が８ｍであることを示す表示４１ｂが表示画面１６ａ上に表示されていることを示している。
【００７０】
撮像モードが指示されると、制御部１０は、次のステップＳ２において動画記録を開始し、ステップＳ３においてＳＴ収音部１２による収音を開始する。なお、動画及び音声の取得時においては、時計部１９は計時を開始し、制御部１０は時計部１９からの時間情報も同時に記録する。
【００７１】
制御部１０は、次のステップＳ４において、レコーダ２との連携が指定されているか否かを判定する。制御部１０は、連携が指定されていない場合には、処理をステップＳ８に移行して、記録終了操作が行われたか否かを判定する。また、制御部１０は、連携が指定されている場合には、ステップＳ５において、レコーダ２と連携して収音するために、レコーダ２に連携を依頼する情報を送信して、ステップＳ６に進む。
【００７２】
レコーダ２の制御部２０は、電源が投入されると、図６のステップＳ２１において、録音モードが指定されているか否かを判定する。録音モードが指定されていない場合には、制御部２０は、指定されたモード、例えば、レコーダ１との連携のための設定や送受信を行う連携モードや記録音声の再生を行う再生モードに移行する。なお、制御部２０は、カメラ１から記録開始を示す情報が送信されることで、録音が指示されたものと判定するようになっていてもよい。
【００７３】
録音モードが指定されると、制御部２０は、次のステップＳ２２において、音声の記録を開始する。即ち、制御部２０は、ＳＴ収音部２２に収音を開始させ、収音された音声を第２音声として記録部２５に与えて記録を開始する。なお、制御部２０は、音声の取得時には、時計部２４に計時を開始させ、時計部２４からの時間情報も同時に記録する。
【００７４】
制御部２０は、次のステップＳ２３において、カメラ１との連携が指定されている否かを判定する。連携が指定されていない場合には、制御部２０は、処理をステップＳ２７に移行して録音の終了が指定された否かを判定する。
【００７５】
連携が指定されると、制御部２０は、ステップＳ２４において連携情報を第２音声に付加して記録部２５に記録する。また、制御部２０は、収音制御部２０ａを制御して、カメラ１の制御部１０から指定された感度設定に従った録音を行わせる。これにより、収音制御部２０ａは、例えば、録音レベルが適切となるようにマイク感度を自動設定したり、収音対象からレコーダ２までの距離が長い程感度を高くする等の感度設定を行う。
【００７６】
次に、制御部２０は、カメラ１の制御部１０に対して連携応答の送信を行う。カメラ１の制御部１０は、ステップＳ６において、レコーダ２の制御部２０から連携応答を受信し、連携情報を第１音声に付加して記録部１４に記録する。なお、ステップＳ６，Ｓ２６においては、カメラ１の制御部１０とレコーダ２の制御部２０との間で互いに連携応答の送信及び受信が行われて、記録する音声の同期を確立させる。例えば、カメラ１の時間情報とレコーダ２の時間情報とを所定の時間基準に一致させる処理を行う。これにより、時間軸シフト処理によって到達時間差を確実に相殺することが可能となる。
【００７７】
なお、図５から図７の例は、カメラ１及びレコーダ２において相互に独立して録音を行い、記録された音声データを再生装置３に送信して再生を行う例を示しているが、例えば、レコーダ２において収音した第２音声をそのままカメラ１に送信する場合等においては、通信による遅延を無視すると、第１音声と第２音声との同期は確立しているので、カメラ１の時間情報とレコーダ２の時間情報とを所定の時間基準に一致させる処理は省略可能である。また、再生装置３において、第１音声と第２音声との波形の形状を利用した時間軸シフト処理を行うことで、カメラ１の時間情報とレコーダ２の時間情報とに多少の誤差があったとしても、到達時間差を確実に相殺することが可能である。
【００７８】
制御部１０の距離及び到達時間差判定部１０ｅは、ステップＳ６の次のステップＳ７において、収音対象までの距離及びマイク距離等の情報に基づいて、到達時間差を判定する。制御部１０は、到達時間差の情報を記録部１４に与えて第１音声に関連付けて記録する。これにより、カメラ１を移動させながら撮影を行ってカメラ１とレコーダ２との間の距離が変化する場合でも逐次到達時間差が求められるので、時間軸シフト処理によって到達時間差を確実に相殺することが可能となる。また、ステップＳ７においては、発生タイミング推測部１０ｆによって対象音声の発生タイミングの推測が行われ、推測結果が第１音声に関連付けて記録される。
【００７９】
制御部１０は、ステップＳ８において、録画、録音の終了操作が行われたか否かを判定する。終了操作が行われていない場合には、制御部１０は、処理をステップＳ１に戻し、終了操作が行われると、次のステップＳ９においてレコーダ連携の有無を判定する。制御部１０は、レコーダ２との連携が行われている場合には、ステップＳ９からステップＳ１０に移行して、レコーダ２に対して連携終了を示す送信を行った後処理をステップＳ１１に移行する。
【００８０】
レコーダ２の制御部２０は、ステップＳ２６の次のステップＳ２７において、録音終了が指示されたか否かを判定する。制御部２０は、制御部１０から連携終了が通知された場合、又はユーザの操作によって録音の終了が指示された場合には、録音の終了が指示されたものと判定して、次のステップＳ２８に移行して第２音声のファイル化を行う。なお、第２音声には時間情報がメタデータとして付加されるか又は独立したファイルとして第２音声に関連付けられてファイル化される。なお、制御部２０は、録音の終了が指示されていないものと判定した場合には、処理をステップＳ２１に戻す。
【００８１】
カメラ１の制御部１０は、ステップＳ９において、レコーダ２との連携が行われていないと判定した場合又はステップＳ９の終了後にステップＳ１１に移行して、記録されている画像及び第１音声をファイル化し、処理をステップＳ１に戻す。なお、この場合には、時間情報、到達時間差の情報及び発生タイミングの推測結果の情報も第１音声に関連付けられ、第１音声のメタデータとしてあるいは独立したファイルとしてファイル化される。
【００８２】
（再生）
次に、カメラ１及びレコーダ２によって収音した第１音声及び第２音声を再生するものとする。例えば、再生装置３によってカメラ１により取得された動画像の再生を行うものとする。再生装置３の制御部３０は、ステップＳ３１において、連携動画再生モードが指定されているか否かを判定する。連携動画再生モードは、動画の再生に際して、当該動画に対応する第１音声の再生時に第２音声を利用して、第１音声及び第２音声により連携して音声を再生するモードである。
【００８３】
制御部３０は、連携動画再生モードが指定されていない場合には、通常の再生モード等の指定されたモードに移行する。連携動画再生モードが指定されている場合には、再生装置３の制御部３０は通信部３１を介してカメラ１からの画像及び第１音声を受信すると共に、レコーダ２からの第２音声を受信する。なお、画像、第１音声及び第２音声には時間情報が付加され、第１音声には到達時間差情報及び音の発生タイミングの推測結果の情報も付加されて、制御部３０にはこれらの連携情報も受信される（ステップＳ３１）。制御部３０は、受信した情報を記録部３４に与えて記録する。
【００８４】
制御部３０の時間軸シフト加算処理部３０ａは、記録部３４に記録された情報を読み出す。時間軸シフト加算処理部３０ａは、記録部３４に記録されている情報に基づいて、到達時間差（時間軸シフト量）を算出する（ステップＳ３３）。時間軸シフト加算処理部３０ａは、算出した時間軸シフト量を用いて、受信された第１音声及び第２音声の少なくとも一方に対して時間軸シフト処理を施すことで、対象音声が収音対象からレコーダ２に到達する時間とカメラ１に到達するまでの到達時間差を相殺し、対象音声については位相を一致させる。更に、時間軸シフト加算処理部３０ａは時間軸シフト処理後の第１及び第２音声を合成して合成音を得る（ステップＳ３４）。この合成音は、対象音声については第１音声と第２音声同士で位相が一致しており、相互に強めあう（合成音の振幅が大きくなる）ものとなる。時間軸シフト加算処理部３０ａは、時間情報を用いて合成音と動画像とを同期させる。
【００８５】
制御部３０は、時間軸シフト加算処理部３０ａにより合成された動画像を再生部３３に与えて再生してもよい。この場合には、対象音声が強調されて再生されることになり、ユーザは、再生音から鳥４１の鳴き声を明瞭に聞き取ることができる。
【００８６】
なお、時間軸シフト加算処理部３０ａは、画像に基づく音の発生タイミングの推測結果に応じて時間軸シフト処理において音声を遅延させる時間を調整してもよい。カメラ１によって取得された画像と音声は同期して記録されており、音の発生タイミングの推測結果に応じて、音声の遅延時間を調整することで、到達時間差を確実に相殺した時間軸シフト処理が可能となる。
【００８７】
図９は表示画面１６ａ上に表示された撮像画像を示している。図９の例は再生装置３をタブレット端末３ａによって構成した例を示しており、再生部３３を構成する表示画面３３ａ上には、カメラ１によって撮像された撮像画像を表示する領域３５が設けられており、領域３５には鳥４１の画像３５ａが表示されている。また、表示画面３３ａ上には、マイク距離表示３６によってマイクまでの距離が８ｍであること、収音対象距離表示３７によって、収音対象である鳥４１までの距離が１０ｍであることが示されている。
【００８８】
制御部３０は、時間軸シフト加算処理部３０ａからの合成音を再生部３３のスピーカに与えて、表示画面３３ａ上の画像に同期させて音声を再生出力してもよい。
【００８９】
更に、制御部３０は、ステップＳ３４において、対象音声抽出部３０ｂにより、時間軸シフト加算処理部３０ａからの合成音から対象音声を抽出した後、撮像画像と同期させて再生部３３に出力してもよい。対象音声抽出部３０ｂは、例えば、時間軸シフト加算処理により得られた合成音の周波数成分のうち所定周期で強めあう周波数成分を検出して、当該周波数成分を抽出するフィルタ処理を行う。このフィルタ処理によって、対象音声のみが抽出されることになり、対象音声は更に一層強調される。これにより、ユーザは、再生部３３のスピーカから音響として出力される再生音により、鳥４１の鳴き声を極めて明瞭に聞き取ることが可能となる。
【００９０】
制御部３０は、時間軸シフト加算処理部３０ａからの合成音及び画像を関連付けて記録部３４に記録する。また、制御部３０は、対象音声抽出部３０ｂからの合成音及び画像を関連付けて記録部３４に記録してもよい。
【００９１】
このように本実施の形態においては、収音対象から第１の距離だけ離れて配置され上記収音対象から発せられた音声を収音して第１音声を取得する第１のマイクロホンから上記第１音声を取り込み、上記収音対象から上記第１の距離と異なる第２の距離だけ離れて配置され上記収音対象から発せられた音声を収音して第２音声を取得する第２のマイクロホンから上記第２音声を取り込む入力部と、上記第１及び第２音声のうち上記第１の距離と第２の距離との距離差に基づく成分を強調する強調処理を行う音声強調部とを具備したことを特徴とする音声取得装置を得ることができる。
【００９２】
即ち、本実施の形態においては、対象音声を第１及び第２のマイクロホンにより収音すると共に、収音対象から第１のマイクロホンまでの距離と第２のマイクロホンまでの距離との距離差に基づいて到達時間差を求め、この到達時間差に応じたシフト量で収音した第１音声及び第２音声の少なくとも一方を時間軸シフトさせて合成することにより、対象音声を強調することを可能にしている。これにより、収音対象以外の位置から発せられる雑音に対して対象音声を強調することができ、収音対象を明瞭に高音質で聞き取ることが可能となる。更に、時間軸シフト加算処理後の合成音の周波数成分のうち所定周期で強めあう周波数成分を検出して、当該周波数成分を抽出するフィルタ処理を行うことで、対象音声のみを抽出することができ、対象音声を更に一層強調することも可能である。また、収音対象、第１及び第２のマイクロホンが略直線上に配置されている場合には、到達時間差は、第１のマイクロホンと第２のマイクロホンとの間の距離から算出しており、測距等を簡単にすることができる。
【００９３】
（第２の実施の形態）
図１０は本発明の第２の実施の形態を示すブロック図である。図１０において図１と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は再生装置における強調処理が第１の実施の形態と異なる。
【００９４】
なお、図１０においても音声取得装置を撮像装置としてのカメラ、レコーダび再生装置に分散して構成する例を示しているが、本実施の形態においても、音声取得装置は、カメラ内に構成してもよく、レコーダに構成してもよく、カメラ及びレコーダに分散して構成してもよく、更に、これらの装置とは独立した装置として構成してもよい。
【００９５】
第１の実施の形態においては、説明を簡略化するために、カメラ１及びレコーダ２において収音可能な範囲において、音は対象音声と草４２による雑音のみが発生しているものと仮定した。しかし、第１の実施の形態においては、収音対象からカメラ１までの距離とレコーダ２までの距離との距離差に基づく到達時間差を求めて時間軸シフト加算処理を実行しており、カメラ１とレコーダ２の連携により収音可能な音声としては、到達時間差だけずれて到達する全ての音が対象となる。例えば、カメラ１とレコーダ２を結ぶ直線上の全ての位置から発せられた音が対象音声として強調されるだけでなく、音が到達時間差だけずれて収音される全ての位置からの音が対象音声として強調されることになる。
【００９６】
そこで、本実施の形態においては、カメラ１と収音対象とを結ぶ直線上の所定の１箇所の位置から発せられる音のみを対象音声として取得することを可能にしたものである。更に、本実施の形態においては、レコーダ２の位置を規定することで、カメラ１と収音対象とを結ぶ直線上の既知の１箇所から発せられる音のみを対象音声として取得することも可能である。
【００９７】
なお、第１の実施の形態においては、カメラ１のＳＴ収音部１２としては、モノラルマイクロホンを採用可能であったが、本実施の形態においては、ＳＴ収音部１２はステレオマイクロホンである必要がある。
【００９８】
先ず、図１１から図１３を参照して第２の実施の形態における収音の仕方について説明する。図１１は鳥４１、草４２、レコーダ２及びカメラ１の位置関係をＸＹ座標上で示す説明図である。図１２及び図１３は、横軸に時間をとり縦軸に振幅を取って、収音された音声の時間ずれを説明するための説明図である。
【００９９】
図１１の例は、鳥４１とレコーダ２とカメラ１とは、一直線上に配置されていない。ＳＴ収音部１２は右マイクロホン１２Ｒと左マイクロホン１２Ｌとを有するステレオマイクロホンである。一般的なデジタルカメラ等に採用されるステレオマイクロホンと同様に、ＳＴ収音部１２のマイクロホン１２Ｒ，１２Ｌは、撮像部１１の光軸ＶＣに沿って相互に同一の指向特性を有し、感度も共通である。従って、マイクロホン１２Ｒ，１２Ｌによってそれぞれ収音されて得られた右第１音声及び左第１音声のうち、撮像部１１の光軸ＶＣ上の位置から発せられる音声の成分同士は相互に同一となる。
【０１００】
従って、カメラ１の撮像時に、鳥４１が光軸ＶＣ上に位置するように、即ち、鳥４１を画面中央に捉えた状態においては、鳥４１からの対象音声については、マイクロホン１２Ｒ，１２Ｌにより取得される成分Ａ１Ｒ，Ａ１Ｌは同一波形となる。例えば、所定の短い期間において対象音声の周波数に変化がないものとすると、この期間において波形同一（同一位相）となる周波数成分は対象音声の成分であると考えてもよく、当該周波数成分を抽出する処理（以下、同一位相成分抽出処理という）を行うことで、収音した左右の第１音声（左第１音声及び右第１音声）から対象音声のみを抽出することが可能である。なお、撮像部１１の光軸ＶＣ上の全ての位置から発せられる音については、右第１音声と左第１音声が同一位相となる。換言すると、同一位相成分抽出処理によって得られる音（以下、第３音声という）は、撮像部１１の光軸ＶＣ上から発せられた音と考えることができる。
【０１０１】
図１２及び図１３はそれぞれ対象音声である鳥４１の鳴き声と草４２のなびく音等の雑音とが分離されているとして、カメラ１が収音した音声に基づく第３音声とレコーダ２が収音する音声の波形を説明するものである。図１２は対象音声について示すものであり、レコーダ２の位置における対象音声Ａ２に対してカメラ１の位置における第３音声の対象音声の成分Ａ１Ｒ，Ａ１Ｌは、距離の相違に基づく到達時間遅れ及び振幅の減少のみを有する。図１２の例では到達時間差はＴｏであり、レコーダ２に到達する対象音声と第３音声中の対象音声成分とは、到達時間差Ｔｏに相当する分だけ位相がずれている。
【０１０２】
また、図１３は草４２による雑音について示すものである。レコーダ２の位置における雑音ＡＮ２とカメラ１が収音した音声に基づく第３音声中の雑音成分ＡＮＬ，ＡＮＲは、距離の相違に基づく到達時間遅れ及び振幅の変化を有する。図１３の例では到達時間差はＴｂであり、レコーダ２に到達する雑音ＡＮ２と第３音声中の雑音ＡＮＬ，ＡＮＲとは、到達時間差Ｔｂに相当する分だけ位相がずれている。
【０１０３】
そこで、本実施の形態においても、レコーダ２が収音して得た音声を到達時間差Ｔｏ分だけ遅延させてカメラ１が収音して得た音声と加算する。これにより、カメラ１及びレコーダ２が収音した音声に含まれる成分のうち到達時間差Ｔｏの対象音声については、位相が一致した状態で加算されて強めあう（振幅が大きくなる）ことになる。
【０１０４】
ところで、レコーダ２は、任意の位置に配置される。本実施の形態では、レコーダ２は、光軸ＶＣ上に配置されていてもいなくてもよい。収音対象である鳥４１とレコーダ２との間の距離をＬＡとし、鳥４１とカメラ１との間の距離をＬＣとすると、距離差（ＬＣ−ＬＡ）から対象音声の到達時間差を算出することができる。レコーダ２が所定の位置に固定されているものとすると、レコーダ２からの距離がＬＡで、カメラ１から離間する方向の光軸ＶＣ上の位置は、鳥４１の位置に一義的に決定される。
【０１０５】
従って、カメラ１とレコーダ２における対象音声の到達時間差に対応した遅延時間で、レコーダ２が収音した第２音声とカメラ１によって得られる第３音声の少なくとも一方を遅延させて加算する時間軸シフト加算処理を行うことで、鳥４１の位置から発せられた音、即ち、収音対象から発せられた対象音声を強調することが可能である。
【０１０６】
また、レコーダ２を設置する位置を指定することで、カメラ１に対してある距離の位置から発せられた音のみを対象音声として強調することも可能である。
【０１０７】
図１０の音声取得装置は、再生装置３に代えて再生装置５０を採用する。再生装置５０は、制御部３０に代えて、制御部３０に同一位相成分抽出処理部３０ｃを付加した制御部５１を採用する。なお、制御部５１は、ＣＰＵやＦＰＧＡ等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【０１０８】
上述したように、カメラ１は、収音対象を画面中央に捉えた状態で撮像を行うと共に収音を行う。こうして取得されたカメラ１からの撮像画像、第１音声及び第１音声に付加される時間情報、到達時間差情報及び音の発生タイミングの推測結果の情報は再生装置５０に与えられて記録部３４に記録される。また、レコーダ２からの第２音声及び第２音声に付加される時間情報も再生装置５０に与えられて記録部３４に記録される。
【０１０９】
再生時には、制御部５１の同一位相成分抽出処理部３０ｃは、記録部３４から第１音声に含まれる左音声及び右音声に対して同一位相成分抽出処理を行って第３音声を取得する。同一位相成分抽出処理部３０ｃは、第３音声を時間軸シフト加算処理部３０ａに与える。時間軸シフト加算処理部３０ａは、第１音声に代えて第３音声を用いて時間軸シフト加算処理を行うようになっている。
【０１１０】
次に、このように構成された実施の形態の動作について図１４を参照して説明する。図１４は再生装置の制御を示すフローチャートである。図１４において図７と同一の手順には同一符号を付して説明を省略する。
【０１１１】
カメラ１及びレコーダ２の作用は、図５及び図６と同様である。本実施の形態においては、ユーザは、レコーダ連携時に撮像を行う場合には、収音対象を画面中央に捉えた状態で撮像を行う。これにより、ＳＴ収音部１２のマイクロホン１２Ｒ，１２Ｌによって収音される音声のうち、撮像部１１の光軸上の位置から発せられた音声の成分については、左音声及び右音声の波形は同一となる。
【０１１２】
再生装置５０は、図１４のステップＳ４１において、記録部３４に記録された左右の第１音声に対する同一位相成分抽出処理によって、第３音声を取得する。この第３音声は、撮像部１１の光軸上の位置から発せられた音に対応する。
【０１１３】
時間軸シフト加算処理部３０ａは、第３音声及び第２音声の少なくとも一方を到達時間差に基づくシフト量で時間軸シフト処理を行って加算することで、対象音声を強調する。更に、対象音声抽出部３０ｂは、強調された対象音声を抽出する処理を行う。
【０１１４】
時間軸シフト加算処理部３０ａ又は対象音声抽出部３０ｂからの合成音が再生部３３に与えられて音響として出力される。
【０１１５】
他の作用は第１の実施の形態と同様である。
【０１１６】
このように本実施の形態においては、対象音声をステレオのマイクロホンにより収音して第１音声を得る。そして、左右の第１音声のうち同一位相となる周波数成分を抽出して第３音声を取得する。第３音声は、直線上の位置から発せられた音に対応する。そして、収音対象からステレオのマイクロホンまでの距離と第２のマイクロホンまでの距離との距離差に基づいて到達時間差を求め、この到達時間差に応じたシフト量で取得した第３音声及び第２音声の少なくとも一方を時間軸シフトさせて合成することにより、対象音声を強調する。これにより、ステレオのマイクロホンから所定の距離に位置する収音対象以外の位置から発せられる雑音に対して対象音声を確実に強調することができ、収音対象を明瞭に高音質で聞き取ることが可能となる。
【０１１７】
なお、上記実施の形態においては、収音対象を画面中央に捉えた状態で収音を行うものと説明した。しかし、例えば、収音対象の画面上の位置や、位置及び方位センサ部１７によって取得した収音対象の位置に基づいて左右の第１音声の到達時間差を算出することも可能である。この場合には、収音対象を画面中央に捉えた状態で収音を行わない場合でも、この到達時間差に応じて左右の第１音声の少なくとも一方を遅延させたのち同一位相成分抽出処理を行うことで、撮像部１１の光軸上の所定位置から発せられた音に基づく第３音声を取得可能である。また、逆に、左右の第１音声の少なくとも一方を所定の到達時間差だけ遅延させて同一位相成分抽出処理を行うことで、撮像部１１の光軸に対して所定の角度方向から発せられた音に基づく第３音声を取得可能である。
【０１１８】
（第３の実施の形態）
図１５は本発明の第３の実施の形態に係る音声取得装置を示すブロック図である。図１５において図１と同一の構成要素には同一符号を付して説明を省略する。
【０１１９】
上記各実施の形態においては、カメラ１及びレコーダ２において第１及び第２音声を取得すると共に連携情報を取得し、再生装置３において、取得された情報を用いて自動的に対象音声を強調処理するものであった。しかし、この場合には、連携情報として到達時間差の情報が必要であり、カメラ１とレコーダ２との間の距離を求める必要があったり、収音対象、カメラ１及びレコーダ２の位置関係によっては、収音対象の位置についても取得する必要があった。このため、上記各実施の形態においては、カメラ１によりレコーダ２までの距離や収音対象までの距離及び方位を求めたり、レコーダ２の測位機能を利用したりすることで、収音対象、カメラ１及びレコーダ２の位置関係を求めた。
【０１２０】
これに対し、本実施の形態は、到達時間差の算出を省略可能にしたものである。本実施の形態は強調処理のための時間軸シフト処理におけるシフト量を人間の聴覚を利用して取得するものである。なお、図１５は第１の実施の形態に適用する例を示しているが、本実施の形態は図１０の第２の実施の形態にも同様に適用可能である。
【０１２１】
本実施の形態はカメラ１に代えてカメラ６０を採用すると共に再生装置３を省略したものであり、カメラ６０は再生装置３の機能を内蔵するものである。カメラ６０は、制御部６１を備える。制御部６１は、ＣＰＵやＦＰＧＡ等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【０１２２】
制御部６１は、図１の制御部１０から距離及び到達時間差判定部１０ｅと発生タイミング推測部１０ｆとを省略すると共に、図１の制御部３０の時間軸シフト加算処理部３０ａ及び対象音声抽出部３０ｂの構成を追加したものである。更に、制御部６１は、シフト量調整部６１ａを備える。なお、カメラ６０は、図１のカメラ１から画像特徴抽出部１３と位置及び方位センサ部１７とを省略すると共に、表示部１６に代えて再生部３３を採用し、記録部１４に代えて記録部６２を採用している。
【０１２３】
記録部６２は、ハードディスクやメモリ媒体等の図示しない記録媒体により構成されており、制御部６１から与えられた情報を記録すると共に、記録された情報を読み出して制御部６１に出力する。記録部６２にはレコーダ２との通信に関する情報が記録される連携情報部１４ａの他に、第２音声情報部１４ｂを有している。第２音声情報部１４ｂは、レコーダ２から与えられた第２音声が記録されるようになっている。
【０１２４】
制御部６１のシフト量調整部６１ａは、操作部１５のユーザ操作に基づく操作信号が与えられる。シフト量調整部６１ａは、操作信号に応じて、時間軸シフト加算処理部３０ａにおける時間軸シフト処理のシフト量を変化させるようになっている。
【０１２５】
次に、このように構成された実施の形態の動作について図１６から図１８を参照して説明する。図１６は収音及び録音時の様子を示す説明図である。また、図１７はカメラの制御を示すフローチャートであり、図１８はレコーダの制御を示すフローチャートである。なお、図１７及び図１８においてそれぞれ図５又は図６と同一の手順には同一符号を付して説明を省略する。
【０１２６】
本実施の形態においては、カメラ６０は、レコーダ２と連携して収音する場合には、レコーダ２が収音した音声をカメラ６０に転送させるようになっている。即ち、カメラ６０の制御部６１は、図１７のステップＳ４においてレコーダ連携が指定されていると判定した場合には、ステップＳ５において連携依頼通信を行う。レコーダ２の制御部２０は、図１８のステップＳ２３においてカメラ連携が指定されると、ステップＳ６１に処理を移行して音声信号の送信を行う。即ち、収音制御部２０ａに制御されてＳＴ収音部２２により収音された第２音声は、通信部２１ａ又は２１ｂを介してカメラ６０に送信される。なお、この第２音声は、記録部２５に供給されて記録されるようになっていてもよい。カメラ６０の制御部６１は、ステップＳ５の次のステップＳ５１において、レコーダ２からの第２音声を通信部１８ａ又は１８ｂを介して受信する。
【０１２７】
本実施の形態においては、制御部６１は、受信した第２音声を記録部６２の第２音声情報部１４ｂに与えて記録させると共に、記録部６２に記録中の第１音声と、第２音声情報部１４ｂに記録中の第２音声とを時間軸シフト加算処理部３０ａに与えて時間軸シフト加算処理を実行させる。例えば、初期状態では時間軸シフト処理のシフト量は０であるものとしてもよい。この場合には、記録時の遅延及び第２音声の伝送遅延を無視するものとすると、収音中の第１音声と第２音声とが時間軸シフト加算処理部３０ａにおいて時間軸シフト処理されることなくそのまま合成されることになる。時間軸シフト加算処理部３０ａからの合成音はそのまま再生部３３に供給されるか又は対象音声抽出部３０ｂを介して再生部３３に供給される。なお、時間軸シフト加算処理部３０ａ又は対象音声抽出部３０ｂからの合成音は記録部１４に供給されて記録される。
【０１２８】
図１６はこの収音及び録音時における様子を示している。カメラ６０の筐体６０ａの背面には、再生部３３を構成する表示部３３ｂが設けられている。ユーザは、例えば、筐体３０ａを手で把持して、表示部３３ｂ上の表示を見ながら被写体である鳥４１を視野範囲に捉えた状態で、シャッタボタン１５ａを押下操作することで撮影を行う。図１６では表示部３３ｂ上に鳥４１の画像４１ａが表示されていることを示している。また、筐体６０ａの上面には、操作部１５を構成するモード切り替え用のボタン１５ｃ及びシフト量調整用のボタン１５ｂが配設されている。
【０１２９】
本実施の形態においては、再生部３３は合成音を音響として出力するヘッドホン３３ｃを有している。なお、再生部３３は、ヘッドホン３３ｃに限らず筐体６０ａに内蔵された図示しないスピーカを有して、このスピーカから合成音を音響として出力するようになっていてもよい。ユーザはヘッドホン３３ｃからの合成音を聞きながらボタン１５ｂを操作する。ボタン１５ｂの操作に基づく操作信号はシフト量調整部６１ａに供給される。
【０１３０】
シフト量調整部６１ａは、ユーザのボタン１５ｂの操作に応じて時間軸シフト処理のシフト量を変化させる指示を時間軸シフト加算処理部３０ａに出力する（ステップＳ５２）。時間軸シフト加算処理部３０ａは、シフト量調整部６１ａの指示に従ったシフト量だけ、記録部１４から読み出した第１音声及び第２音声のうちの少なくとも一方に対して時間軸シフト処理を行った後、第１音声及び第２音声を加算する。
【０１３１】
ユーザのボタン１５ｂの操作量に応じて、時間軸シフト処理のシフト量が変化する。ユーザは、ヘッドホン３３ｃから聞こえる音声が対象音声と考えられる音声として最もよく聞こえるように、ボタン１５ｂを操作する。ユーザがヘッドホン３３ｃから対象音声が最もよく聞こえる、即ち、対象音声が最も適切に強調処理されたと判断すると、ボタン１５ｂの操作を停止する。このボタン１５ｂの操作に対応するシフト量は、対象音声がレコーダ２に到達する時間とカメラ６０に到達する時間との到達時間差に相当する。即ち、本実施の形態においては、ユーザの聴覚を利用することで、測距等を行うことなく、到達時間差の情報を取得することができることになる。
【０１３２】
カメラ６０は、第１及び第２音声だけでなく、合成音についても記録部６２に与えて記録する（ステップＳ５３）。なお、この場合には、カメラ６０は、到達時間差に関する情報についても合成音に関連付けて記録するようになっていてもよい。
【０１３３】
他の作用は第１及び第２の実施の形態と同様である。
【０１３４】
このように本実施の形態においては、第１及び第２の実施の形態と同様の効果が得られると共に、対象音声の強調処理のための時間軸シフト処理におけるシフト量を、人間の聴覚を利用して取得するようになっており、到達時間差の算出及びこの算出に必要な測距等の処理を省略することが可能である。
【０１３５】
なお、上記実施の形態においては、収音中の第２音声について伝送遅延を無視してカメラの記録部に記録されるものとして説明したが、ユーザの聴覚に従って、時間軸シフト処理のシフト量を調整するものであるので、伝送遅延があったとしても、特に問題はない。
【０１３６】
また、カメラによって収音した第１音声とレコーダによって収音した第２音声との同期がある程度とれるならば、カメラの記録部に記録された第１及び第２音声を、あるいはカメラの記録部に記録された第１音声とレコーダの記録部に記録された第２音声とを記録後に読み出し、再生時にユーザの聴覚を利用して時間軸シフト処理のシフト量を調整することにより、適切に強調された対象音声を聞くことも可能である。
【０１３７】
上記実施の形態においては、撮像のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【０１３８】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１３９】
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
【０１４０】
なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１４１】
なお、実施例中で、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵなどのプロセッサ、あるいはＦＰＧＡなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥースやＷｉＦｉ、電話回線などで行えばよく、ＵＳＢなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。
【符号の説明】
【０１４２】
１…カメラ、１０…制御部、１０ａ…撮影制御部、１０ｂ…画像処理部、１０ｃ…画角情報部、１０ｄ…収音制御及び処理部、１０ｅ…距離及び到達時間差判定部、１０ｆ…発生タイミング推測部、１１…撮像部、１１ａ…光学系、１２…ＳＴ収音部、１３…画像特徴抽出部、１４…記録部、１４ａ…連携情報部、１６…表示部、１７…位置及び方位センサ部、１８…通信部、２…レコーダ、２０…制御部、２０ａ…収音制御部、２２…ＳＴ収音部、２５…記録部、２５ａ…連携情報部、３…再生装置、３０…制御部、３０ａ…時間軸シフト加算処理部、３０ｂ…対象音声抽出部、３０ｃ…同一位相成分抽出処理部。
【図１】
2020092381.tif 000003
【図２】
2020092381.tif 000004
【図３Ａ】
2020092381.tif 000005
【図３Ｂ】
2020092381.tif 000006
【図４】
2020092381.tif 000007
【図５】
2020092381.tif 000008
【図６】
2020092381.tif 000009
【図７】
2020092381.tif 000010
【図８】
2020092381.tif 000011
【図９】
2020092381.tif 000012
【図１０】
2020092381.tif 000013
【図１１】
2020092381.tif 000014
【図１２】
2020092381.tif 000015
【図１３】
2020092381.tif 000016
【図１４】
2020092381.tif 000017
【図１５】
2020092381.tif 000018
【図１６】
2020092381.tif 000019
【図１７】
2020092381.tif 000020
【図１８】
2020092381.tif 000021