(57)【要約】【課題】特定の音源からの音質を維持しつつ、音源の位置に応じた音信号の定位を得ることができる撮像装置を提供する。【解決手段】撮像装置（１）は、画像を撮像する撮像部（１０）と、撮像部（１０）によって撮像された画像と、指向性を有して音を収音するマイクロホン装置（２）から出力された音信号と、自装置に対するマイクロホン装置（２）によって収音された音源の方向を示す音源の角度とを関連付けて記憶部（３０）に記憶させる制御部（９１）を備える。【選択図】図１
2012169811.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像部と、
前記撮像部によって撮像された画像と、指向性を有して音を収音するマイクロホン装置から出力された音信号と、自装置に対する前記マイクロホン装置によって収音された音源の方向を示す音源の角度とを関連付けて記憶部に記憶させる制御部
を備えることを特徴とする撮像装置。
【請求項２】
前記音源の角度に基づいて、前記マイクロホン装置から出力された音信号の定位を変更する処理部
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像部と撮像される被写体との間の距離情報と、前記撮像部の撮像方向を示す撮像方位情報と、前記マイクロホン装置の収音方向を示す収音方位情報と、前記撮像装置に対する前記マイクロホン装置の相対位置情報とに基づいて、前記音源の角度を算出する算出部を備え、
前記制御部は、
さらに、前記距離情報と、前記撮像方位情報と、前記収音方位情報と、前記相対位置情報と、前記音信号とを関連付けて前記記憶部に記憶させる
ことを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記撮像装置の位置情報を検出する撮像位置検出部と、
前記撮像方位情報を検出する撮像方位検出部と
を備え、
前記制御部は、
前記マイクロホン装置の位置情報及び前記撮像装置の位置情報に基づいて、前記相対位置情報を生成する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記撮像部は、
撮像する際に、前記距離情報を検出する距離検出部を備える
ことを特徴とする請求項３又は請求項４に記載の撮像装置。
【請求項６】
前記制御部は、
前記相対位置情報と前記撮像部によって撮像される画角とに基づいて、前記マイクロホン装置が前記画角の範囲から予め定められた角度以内に近づいたか否かを判定し、前記予め定められた角度以内に近づいたと判定した場合に、前記マイクロホン装置が備えている警告出力部に、警告を出力させる
ことを特徴とする請求項３から請求項５のいずれか１項に記載の撮像装置。
【請求項７】
前記処理部は、
前記相対位置情報に応じて、前記マイクロホン装置によって収音された音信号の信号レベルを補正する
ことを特徴とする請求項３から請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記処理部は、
複数の前記マイクロホン装置からそれぞれ出力された複数の音信号のうち、画像の焦点が合っている音源に対応する音信号の信号レベルを高め、前記焦点が合っていない音源に対応する音信号の信号レベルを低める
ことを特徴とする請求項３から請求項７のいずれか１項に記載の撮像装置。
【請求項９】
前記撮像部によって撮像されている画像を表示する表示部を備え、
前記制御部は、
前記音源の角度に基づいて、前記音源の位置情報を前記表示部に表示させる
ことを特徴とする請求項３から請求項８のいずれか１項に記載の撮像装置。
【請求項１０】
前記制御部は、
前記相対位置情報と前記撮像部によって撮像される画角とに基づいて、前記マイクロホン装置が前記画角の範囲から予め定められた角度以内に近づいたか否かを判定し、前記予め定められた角度以内に近づいたと判定した場合に、前記マイクロホン装置の位置情報を前記表示部に出力させる
ことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記制御部は、
複数の前記マイクロホン装置からそれぞれ出力された複数の音信号のうち、最も信号レベルの高い前記マイクロホン装置に対応する音源に焦点を合わせる制御を前記撮像部に実行させる
ことを特徴とする請求項３から請求項１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記制御部は、
複数の前記マイクロホン装置によって収音されている場合に、前記複数の前記マイクロホン装置に対応する音源が被写界深度内に入るように、前記撮像部に絞りを制御させる
ことを特徴とする請求項３から請求項１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記制御部は、
前記距離情報に応じて、前記マイクロホン装置から出力された音信号の信号レベルを補正する
ことを特徴とする請求項３から請求項１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記処理部は、
１つの音源を複数の前記マイクロホン装置によって収音している場合に、複数の前記マイクロホン装置からそれぞれ出力された複数の音信号のうち、ノイズレベルが最低の音信号に基づいて、音信号の定位を変更する
ことを特徴とする請求項２から請求項１３のいずれか１項に記載の撮像装置。
【請求項１５】
指向性を有するマイクロホン装置であって、
音を収音する収音部と、
前記マイクロホン装置の収音方向を示す収音方位情報を検出する収音方位検出部と、
収音された音信号と前記収音方位情報とを関連付けて出力する出力部と
を備えることを特徴とするマイクロホン装置。
【請求項１６】
前記マイクロホン装置の位置情報を検出するマイク位置検出部を備え、
前記出力部は、
収音された音信号と、前記収音方位情報と、前記マイクロホン装置の位置情報とを関連付けて出力する
ことを特徴とする請求項１５に記載のマイクロホン装置。
【請求項１７】
指向性を有して音を収音するマイクロホン装置と画像を撮像する撮像装置とを備える撮像システムであって、
指向性を有して音を収音するマイクロホン装置の収音方向を示す収音方位情報と、前記撮像部と撮像される被写体との間の距離情報と、前記撮像部の撮像方向を示す撮像方位情報と、前記撮像装置に対する前記マイクロホン装置の相対位置情報とに基づいて、前記音源の角度を算出する算出部と、
前記音源の角度に基づいて、前記マイクロホン装置から出力された音信号の定位を変更する処理部と
を備え、
前記マイクロホン装置は、
音を収音する収音部と、
前記収音方位情報を検出する収音方位検出部と、
収音された音信号と前記収音方位情報とを関連付けて出力する出力部と
を備え、
前記撮像装置は、
画像を撮像する撮像部と、
前記撮像方位情報を検出する撮像方位検出部と、
前記撮像部によって撮像された画像と前記撮像方位情報とを関連付けて記憶部に記憶させる制御部と
を備えることを特徴とする撮像システム。
【請求項１８】
コンピュータに、
指向性を有して音を収音するマイクロホン装置の収音方向を示す収音方位情報と、画像を撮像する撮像装置が備える撮像部と撮像される被写体との間の距離情報と、前記撮像部の撮像方向を示す撮像方位情報と、前記撮像装置に対する前記マイクロホン装置の相対位置情報とに基づいて、前記撮像装置に対する前記マイクロホン装置によって収音された音源の方向を示す音源の角度を算出する算出手順と、
前記音源の角度に基づいて、前記マイクロホン装置から出力された音信号の定位を変更する処理手順と
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、マイクロホン装置、撮像システム及びプログラムに関する。
【背景技術】
【０００２】
撮像装置（例えば、カメラ）とマイクロホン装置（以下、マイクという）とを用いて、映像及び音を記録（記憶）する撮像システムが知られている。このような撮像システムでは、カメラに内蔵されたマイクから音を収音する場合（例えば、特許文献１を参照）と外部マイクから音を収音する場合とが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１８９８８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような撮像システムでは、カメラに内蔵されたマイクの指向性、又はカメラに取り付けられる外部マイクの指向性は、カメラの撮像方向と等しい方向で使用される。このような場合、マイクによって収音される音は、中央から外部に行くに従って音信号レベルが低下して、ノイズが増大する。そのため、上述したような撮像システムでは、画像の中央部以外に位置する特定の音源からの音を音質よく記録できない場合がある。
また、上述したような撮像システムにおいて、外部マイクを特定の音源の方向に向けて収音した場合には、特定の音源からの音を音質よく記録できるが、音信号の定位は、中央に来てしまい、音源（映像における被写体）の位置関係と異なる場合がある（図１０参照）。
つまり、上述したような撮像システムでは、特定の音源からの音質を維持しつつ、音源の位置に応じた音信号の定位を得ることができないという課題があった。
【０００５】
本発明は、上記問題を解決すべくなされたもので、その目的は、特定の音源からの音質を維持しつつ、音源の位置に応じた音信号の定位を得ることができる撮像装置、マイクロホン装置、撮像システム及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明は、画像を撮像する撮像部と、前記撮像部によって撮像された画像と、指向性を有して音を収音するマイクロホン装置から出力された音信号と、自装置に対する前記マイクロホン装置によって収音された音源の方向を示す音源の角度とを関連付けて記憶部に記憶させる制御部を備えることを特徴とする撮像装置である。
【０００７】
また、本発明は、指向性を有するマイクロホン装置であって、音を収音する収音部と、前記マイクロホン装置の収音方向を示す収音方位情報を検出する収音方位検出部と、収音された音信号と前記収音方位情報とを関連付けて出力する出力部とを備えることを特徴とするマイクロホン装置である。
【０００８】
また、本発明は、指向性を有して音を収音するマイクロホン装置と画像を撮像する撮像装置とを備える撮像システムであって、指向性を有して音を収音するマイクロホン装置の収音方向を示す収音方位情報と、前記撮像部と撮像される被写体との間の距離情報と、前記撮像部の撮像方向を示す撮像方位情報と、前記撮像装置に対する前記マイクロホン装置の相対位置情報とに基づいて、前記音源の角度を算出する算出部と、前記音源の角度に基づいて、前記マイクロホン装置から出力された音信号の定位を変更する処理部とを備え、前記マイクロホン装置は、音を収音する収音部と、前記収音方位情報を検出する収音方位検出部と、収音された音信号と前記収音方位情報とを関連付けて出力する出力部とを備え、前記撮像装置は、画像を撮像する撮像部と、前記撮像方位情報を検出する撮像方位検出部と、前記撮像部によって撮像された画像と前記撮像方位情報とを関連付けて記憶部に記憶させる制御部とを備えることを特徴とする撮像システムである。
【０００９】
また、本発明は、コンピュータに、指向性を有して音を収音するマイクロホン装置の収音方向を示す収音方位情報と、画像を撮像する撮像装置が備える撮像部と撮像される被写体との間の距離情報と、前記撮像部の撮像方向を示す撮像方位情報と、前記撮像装置に対する前記マイクロホン装置の相対位置情報とに基づいて、前記撮像装置に対する前記マイクロホン装置によって収音された音源の方向を示す音源の角度を算出する算出手順と、前記音源の角度に基づいて、前記マイクロホン装置から出力された音信号の定位を変更する処理手順とを実行させるためのプログラムである。
【発明の効果】
【００１０】
本発明によれば、特定の音源からの音質を維持しつつ、音源の位置に応じた音信号の定位を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態による撮像システムを示す概略ブロック図である。
【図２】第１の実施形態による撮像システムの撮像概念を示す俯瞰図である。
【図３】第１の実施形態による撮像システムの音信号の定位を示す概念図である。
【図４】第１の実施形態による撮像システムの音信号レベルを示す概念図である。
【図５】第２の実施形態による撮像システムを示す概略ブロック図である。
【図６】第２の実施形態による撮像システムの撮像概念を示す俯瞰図である。
【図７】第２の実施形態による撮像システムの音信号の定位を示す概念図である。
【図８】第２の実施形態による撮像システムの音信号レベルを示す概念図である。
【図９】本実施形態における撮像システムを３Ｄ音場に提供した場合の音信号の定位を示す概念図である。
【図１０】従来の撮像システムの音信号レベルを示す概念図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態による撮像装置、マイクロホン装置、及び撮像システムについて、図面を参照して説明する。
【００１３】
＜第１の実施形態＞
本実施形態では、撮像装置に１台のマイクロホン装置（以下、マイクという）が取り付けられている場合における撮像システムの例を説明する。
図１は、本実施形態による撮像システム１００を示す概略ブロック図である。
この図において、撮像システム１００は、撮像装置１と、マイクロホン装置（マイク）２とを備える。
【００１４】
この図において、撮像装置１は、撮像部１０、音信号入力部２０、位置検出部２６、方位検出部２７、バッファメモリ部３０、画像処理部４０、表示部５０、記憶部６０、通信部７０、操作部８０、及び制御部９０を備える。
【００１５】
撮像部１０は、設定された撮像条件（例えば、絞り値、露出値など）に基づいて制御部９０によって制御される。撮像部１０は、光学系１１を介した光学像を撮像素子１２に結像させ、Ａ／Ｄ変換部（アナログ／デジタル）１３によって変換された当該光学像に基づく画像データを生成する。なお、画像データは、静止画像及び動画像（映像）に使用される。つまり、撮像部１０は、映像を撮像する。
また、撮像部１０は、複数のレンズを備える光学系１１、撮像素子１２、Ａ／Ｄ変換部１３及びＡＦ（Auto Focus）部１４を備える。
なお、上述した光学系１１は、撮像装置１に取り付けられて一体とされていてもよいし、撮像装置１に着脱可能に取り付けられてもよい。
【００１６】
撮像素子１２は、例えば、受光面に結像した光学像を電気信号（電圧信号）に変換して、Ａ／Ｄ変換部１３に供給する。撮像素子１２の受光面は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサなどの格子状に配置されている複数のイメージセンサで構成され、それぞれのイメージセンサは、結像された光学像を電圧値に変換する。
Ａ／Ｄ変換部１３は、撮像素子１２によって変換された電圧値をアナログ−デジタル変換し、この変換したデジタル信号である画像データを出力する。
ＡＦ部１４は、撮像する際に、被写体にピント（焦点）を合わせる操作を自動化する。ＡＦ部１４は、被写体との距離を検出する検出部（距離検出部）を備えており、検出部によって検出した被写体との距離に基づいて、光学系１１の駆動を制御する。なお、ＡＦ部１４は、撮像部１０と撮像される被写体との間の距離情報を検出して出力する。
【００１７】
バッファメモリ部３０（記憶部）は、撮像部１０によって撮像された画像データや、マイク２から出力された音信号などを、一時的に記憶する。
画像処理部４０は、記憶部６０に記憶されている画像処理条件に基づいて、バッファメモリ部３０に記憶されている画像データに対して画像処理を実行する。ここでいうバッファメモリ部３０に記憶されている画像データとは、画像処理部４０に入力される画像データ（入力画像）のことであり、例えば、撮像画像データ、スルー画像データ、又は、記憶媒体２００から読み出された撮像画像データのことである。また、撮像画像データには、動画像データが含まれ、ここでは、動画像データ（動画）のことを映像という。
【００１８】
表示部５０は、例えば、液晶ディスプレイであり、撮像部１０によって得られた画像データや、操作画面等を表示する。なお、表示部５０は、ファインダ内の表示部でもよい。
記憶部６０は、制御部９０の処理に使用する各種情報、撮像部１０による撮像条件、等を記憶する。
【００１９】
通信部７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への映像及び音信号の書込み、読み出し、又は消去を行う。
記憶媒体２００は、撮像装置１に対して着脱可能に接続される記憶部であり、例えば、撮像部１０によって生成された映像、音信号などを記憶する。
【００２０】
操作部８０は、例えば、電源スイッチ、シャッターボタン、十字キー、確定ボタン、削除ボタン、及び、その他の操作キーを含み、使用者によって操作されることで、使用者の操作入力を受け付けて、制御部９０に供給する。
【００２１】
音信号入力部２０は、外部のマイク２から出力される音信号（アナログ信号）を受信して、デジタル信号に変換する。音信号入力部２０は、外部のマイク２から出力されるマイク２の位置情報及び収音方位情報を受信する。また、音信号入力部２０は、制御部９０の指示に基づいて、マイク２に警告ランプの点灯などの警告を出力させる。
【００２２】
位置検出部２６（撮像位置検出部）は、例えば、ＧＰＳ（Global Positioning System）を備えて撮像装置１の位置情報を検出する。
方位検出部２７（撮像方位検出部）は、例えば、角速度センサなどを備えて、撮像方位情報を検出する。ここで、撮像方位情報とは、撮像部１０の撮像方向を示す方位情報である。
【００２３】
バス３００は、撮像部１０と、音信号入力部２０と、位置検出部２６と、方位検出部２７と、バッファメモリ部３０と、画像処理部４０と、表示部５０と、記憶部６０と、通信部７０、操作部８０と、制御部９０とに接続され、各部から出力された画像データや制御信号等を転送する。
【００２４】
制御部９０は、例えば、ＣＰＵ（Central processing unit）などを含み、撮像装置１が備える各構成を制御する。制御部９０は、例えば、操作部８０を介して撮像指示を受け付けた際に、撮像素子１２とＡ／Ｄ変換部１３とを介して得られる動画像データを、撮像された映像として、記憶媒体２００に記憶させる。また、制御部９０は、例えば、音信号入力部２０を介して外部のマイク２から出力される音信号を記憶媒体２００に記憶させる。制御部９０の機能の詳細は、後述する。
また、制御部９０は、撮像制御部９１、算出部９２及び音信号処理部９３を備える。
【００２５】
撮像制御部９１は、映像の撮像に関する制御を行う。撮像制御部９１は、撮像部１０によって撮像された映像と、マイク２から出力された音信号と、音源の角度とを関連付けてバッファメモリ部３０に記憶させる。ここで、音源の角度とは、撮像装置１に対するマイク２によって収音された音源の方向を示す。また、音源とは、音を発して映像に撮像されている被写体であり、マイク２に収音された音信号の源である。そして、撮像制御部９１は、音信号処理部９３によって音信号の定位を変更されて合成された音信号と映像とを記憶媒体２００に記憶させる。
また、撮像制御部９１は、音源の角度に基づいて、音源の位置情報を表示部５０に表示させる。
【００２６】
算出部９２は、音源の角度を算出する。本実施形態において、算出部９２は、撮像部１０の撮像方向を示す撮像方位情報と、マイク２の収音方向を示す収音方位情報とに基づいて、音源の角度を算出する。なお、本実施形態では、マイク２は、撮像措置１に取り付けられており、マイク２の位置と撮像措置１の位置とが等しい場合の例である。そのため、算出部９２は、収音方位情報と撮像方位情報との差を示す角度として音源の角度を算出することができる。
【００２７】
音信号処理部９３（処理部）は、音源の角度に基づいて、マイク２から出力された音信号の定位を変更する。つまり、音信号処理部９３は、音源の角度に基づいて、マイク２から出力された音信号の定位を変更して、映像と音信号とを合成する。
【００２８】
次に、マイク２（マイクロホン装置２）の構成について説明する。
マイク２は、指向性を有して音を収音する指向性マイクロホン装置である。マイク２は、収音した音をアナログ信号の音信号に変換して、撮像装置１に出力する。
マイク２は、収音部２１、位置検出部２２、方位検出部２３、出力部２４、及び警告出力部２５を備える。
【００２９】
収音部２１は、指向性を有して音を収音する。収音部２１は、収音した音をアナログ信号の音信号に変換して、出力部２４に出力する。
位置検出部２２（収音位置検出部）は、例えば、ＧＰＳを備えてマイク２の位置情報を検出する。位置検出部２２は、検出したマイク２の位置情報を出力部２４に出力する。
方位検出部２３（収音方位検出部）は、例えば、角速度センサなどを備えて、収音方位情報を検出する。ここで、収音方位情報とは、マイク２の収音方向を示す方位情報である。
【００３０】
警告出力部２５は、例えば、警告灯であり、出力部２４を介して撮像装置１から供給される指示に基づいて、マイク２の使用者に警告を出力する。
出力部２４は、収音部２１によって収音された音信号、位置検出部２２によって検出されたマイク２の位置情報、及び方位検出部２３によって検出された収音方位情報を撮像装置１に出力する。つまり、出力部２４は、収音された音信号と、収音方位情報と、マイク２の位置情報とを関連付けて出力する。また、出力部２４は、撮像装置１から供給される指示に基づいて、マイク２の使用者に警告を出力させる。
【００３１】
次に、本実施形態における撮像システム１００の動作について、図２、図３、及び図４を参照して説明する。
図２は、本実施形態による撮像システム１００の撮像概念を示す俯瞰図である。
この図において、撮像システム１００では、マイク２が撮像措置１に取り付けられており、マイク２の位置と撮像措置１の位置とが等しい場合の例である。
【００３２】
この図において、撮像装置１は、撮像装置１の右前方の被写体ＯＢ１を撮像している。被写体ＯＢ１は、画角（Ｇ１ａからＧ１ｂの間）内に位置する。また、マイク２は、被写体ＯＢ１の方向に向けられており、被写体ＯＢ１が発する音を収音している。ここでは、撮像装置１の撮像方位情報Ｖ１は、撮像の方向を示し、マイク２の収音方位情報Ｖ２は、被写体ＯＢ１の方向を示す。
【００３３】
また、図３は、本実施形態による撮像システム１００の音信号の定位を示す概念図である。
この図は、表示部５０に表示されている撮像画像Ｇ１を示している。また、表示部５０には、被写体ＯＢ１を囲うようにＡＦフレームＡＦ１が表示されている。
この図において、音信号の定位のイメージ２０１は、撮像画像Ｇ１の横方向の位置と被写体ＯＢ１を音源とする音信号の定位との関係を示している。音信号の定位ＳＰ１は、被写体ＯＢ１に対応する音信号の定位を示している。
【００３４】
また、図４は、本実施形態による撮像システム１００の音信号レベルを示す概念図である。
この図において、グラフ２０２は、撮像画像Ｇ１の横方向の位置と音信号レベルの関係を示している。波形Ｗ１は、被写体ＯＢ１をマイク２によって収音した音信号の定位を変更した後の音信号レベルを示している。
【００３５】
図２のような配置条件において、撮像システム１００が撮像及び収音する場合、まず、撮像装置１では、撮像制御部９１が、撮像部１０によって撮像された映像をバッファメモリ部３０に記憶させる。また、撮像制御部９１は、ＡＦ部１４によって検出された撮像部１０と撮像される被写体ＯＢ１との間の距離情報と、位置検出部２６によって検出された撮像装置１の位置情報と、方位検出部２７によって検出された撮像方位情報と映像とを関連付けてバッファメモリ部３０に記憶させる。
【００３６】
一方、マイク２では、収音部２１が、被写体ＯＢ１を音源とする音を収音し、出力部２４を介して撮像装置１の音信号入力部２０に出力する。また、収音部２１は、位置検出部２２によって検出したマイク２の位置情報と、方位検出部２３によって検出された収音方位情報とを出力部２４を介して撮像装置１の音信号入力部２０に出力する。
【００３７】
音信号入力部２０は、受信したアナログ信号の音信号をデジタル信号の音信号に変換して、変換した音信号をバス３００に出力する。また、音信号入力部２０は、受信したマイク２の位置情報と収音方位情報とを、バス３００に出力する。
次に、撮像制御部９１は、音信号入力部２０から出力された音信号、マイク２の位置情報及び収音方位情報を関連付けてバッファメモリ部３０に記憶させる。なお、撮像制御部９１は、撮像部１０によって撮像された映像と、マイク２によって収音された音信号とを関連付けてバッファメモリ部３０に記憶させる。
【００３８】
次に、算出部９２は、撮像方位情報Ｖ１と、収音方位情報Ｖ２とに基づいて、音源の角度θ１を算出する。撮像制御部９１は、算出した音源の角度θ１を、撮像部１０によって撮像された映像と、マイク２によって収音された音信号とに関連付けて、バッファメモリ部３０に記憶させる。つまり、撮像制御部９１は、撮像部１０によって撮像された映像と、マイク２によって収音された音信号と、音源の角度θ１とを関連付けて、バッファメモリ部３０に記憶させる。
【００３９】
次に、撮像制御部９１は、音源の角度θ１に基づいて、音源の位置情報を表示部５０に表示させる。表示させる音源の位置情報は、例えば、撮像画像Ｇ１内の音源の位置を示すマークを表示させる。例えば、このマークは、音源の位置である被写体ＯＢ１を示すＡＦフレームＡＦ１の表示を点滅させるものでもよい。
これにより、撮像装置１の使用者は、音源となっている被写体ＯＢ１を撮像画面上で認識することができる。
【００４０】
次に、撮像制御部９１は、音信号処理部９３に、音信号の定位を変更させる。つまり、音信号処理部９３は、音源の角度θ１に基づいて、マイク２から出力された音信号の定位を変更して、映像と音信号とを合成する。ここでは、図３に示されるように、音信号処理部９３は、音信号の定位ＳＰ１の位置に変更する。つまり、図４に示されるように、音信号の定位が変更された音信号レベルは、波形Ｗ１のように、被写体ＯＢ１に対応する位置が最大になるように変更される。
次に撮像制御部９１は、音信号の定位を変更した音信号と映像を記憶媒体２００に記憶させる。
【００４１】
なお、比較のために、上述した従来の撮像装置における音信号レベルを図１０に示す。
図１０に示されるように、波形Ｗ４は、撮像画像Ｇ３の中央部分が高くなっており、音源である被写体ＯＢ４の位置と異なっている。
一方、図４に示される本実施形態による波形Ｗ１は、音源である被写体ＯＢ１の位置と音信号の定位とが一致するように、音信号レベルが変更される。
【００４２】
以上のように、本実施形態における撮像装置１は、撮像制御部９１が撮像部１０によって撮像された映像と、指向性を有して音を収音するマイク２（マイクロホン装置）から出力された音信号と、撮像装置１に対するマイク２によって収音された音源の方向を示す音源の角度θ１とを関連付けてバッファメモリ部３０（記憶部）に記憶させる。
これにより、撮像装置１は、撮像画像上における音源となっている被写体ＯＢ１の位置を判定することができる。また、マイク２は、指向性を有し、被写体ＯＢ１の方向を向いて収音するため、ノイズを低減して被写体ＯＢ１が発する音を強調して音信号に変換することができる。そのため、撮像システム１００（撮像装置１及びマイク２）は、特定の音源からの音質を維持しつつ、音源の位置に応じた音信号の定位を得ることができる。
【００４３】
また、音信号処理部９３は、音源の角度θ１に基づいて、マイク２から出力された音信号の定位を変更する。
これにより、撮像システム１００（撮像装置１及びマイク２）は、ミキシングを行うエンジニアの技術によらずに、正しく音信号の定位を変更することができる。
【００４４】
なお、本実施形態において、マイク２が、方位検出部２３を備える形態を説明したが、撮像装置１におけるマイク２の取り付け部分に、例えば、エンコーダなどの検出部を備える形態でもよい。この場合、撮像装置１の撮像方向に対する角度として、エンコーダが検出した収音方位情報を得ることができる。このため、音源の角度θ１は、収音方位情報と等しくなり、算出部９２による算出を省略することができる。
【００４５】
＜第２の実施形態＞
次に、本発明の第２の実施形態による撮像装置、マイクロホン装置、及び撮像システムについて、図面を参照して説明する。
本実施形態では、撮像装置１と、２台のマイク（２Ａ、２Ｂ）とを備える場合における撮像システムの例を説明する。
図５は、本実施形態による撮像システム１００ａを示す概略ブロック図である。
この図において、撮像システム１００ａは、撮像装置１と、マイク２（２Ａ、２Ｂ）とを備える。この図において、図１と同じ構成には同一の符号を付す。なお、マイク２Ａ及びマイク２Ｂの構成は、図１に示されるマイク２と同一である。また、この図に撮像装置１の構成は、音信号入力部２０にマイク２Ａ及びマイク２Ｂから２系統の供給を受信する点を除いて同一である。
【００４６】
また、本実施形態における撮像システム１００ａは、マイク２が複数（マイク２Ａ及びマイク２Ｂ）備え、撮像装置１の位置とマイク（２Ａ及び２Ｂ）の位置とが異なる場合の例である。そのため、制御部９０における処理が、第１の実施形態における撮像システム１００と異なる。以下、第１の実施形態における撮像システム１００と異なる部分を詳細に説明する。
【００４７】
制御部９０の撮像制御部９１は、マイク２Ａ（又は２Ｂ）の位置情報と撮像装置１の位置情報とに基づいて、マイク２Ａ（又は２Ｂ）の相対位置情報を生成する。
また、撮像制御部９１は、マイク２Ａ（又は２Ｂ）に対応する各情報（距離情報と、撮像方位情報と、収音方位情報と、生成した相対位置情報と、音信号と）を関連付けてバッファメモリ部３０に記憶させる。ここで、距離情報は、撮像部１０と撮像される被写体との間の距離情報であり、撮像部１０のＡＦ部１４によって検出される。
【００４８】
また、撮像制御部９１は、算出部９２に、マイク２Ａ（又は２Ｂ）に対応する音源の角度を算出させる。撮像制御部９１は、撮像部１０によって撮像された映像と、マイク２Ａ（又は２Ｂ）から出力された音信号と、算出部９２によって算出させた音源の角度とを関連付けてバッファメモリ部３０に記憶させる。そして、撮像制御部９１は、音信号処理部９３によって音信号の定位を変更されて合成された音信号と映像とを記憶媒体２００に記憶させる。
また、撮像制御部９１は、音源の角度に基づいて、音源の位置情報を表示部５０に表示させる。
また、撮像制御部９１は、相対位置情報と撮像部１０によって撮像される画角とに基づいて、マイク２Ａ（又は２Ｂ）が画角の範囲から予め定められた角度以内に近づいたか否かを判定する。そして、撮像制御部９１は、予め定められた角度以内に近づいたと判定した場合に、マイク２Ａ（又は２Ｂ）が備えている警告出力部２５に、警告を出力させる。
【００４９】
算出部９２は、バッファメモリ部３０に関連付けて記憶された、距離情報と、撮像方位情報と、収音方位情報と、マイク２Ａ（又は２Ｂ）の相対位置情報とに基づいて、マイク２Ａ（又は２Ｂ）に対応する音源の角度を算出する。
【００５０】
音信号処理部９３（処理部）は、算出部９２によって算出された音源の角度に基づいて、マイク２Ａ（又は２Ｂ）から出力された音信号の定位を変更して合成（ミキシング）する。つまり、音信号処理部９３は、音源の角度に基づいて、マイク２Ａ（又は２Ｂ）から出力された音信号の定位を変更して、映像と音信号とを合成する。
【００５１】
次に、本実施形態における撮像システム１００ａの動作について、図６、図７、及び図８を参照して説明する。
図６は、本実施形態による撮像システム１００ａの撮像概念を示す俯瞰図である。
この図において、撮像システム１００ａは、マイク２Ａ及びマイク２Ｂの２つの外部マイクと撮像措置１とを備える場合の例である。なお、マイク２Ａ及びマイク２Ｂは、撮像装置１の上部ではなく、撮像装置１から離れた場所に配置されている。
【００５２】
この図において、撮像装置１は、撮像装置１の右前方の被写体ＯＢ２と、撮像装置１の左前方の被写体ＯＢ３とを撮像している。被写体ＯＢ２及び被写体ＯＢ３は、画角（Ｇ１ａからＧ１ｂの間）内に位置する。また、マイク２Ａは、被写体ＯＢ２の方向に向けられており、被写体ＯＢ２が発する音を収音している。マイク２Ｂは、被写体ＯＢ３の方向に向けられており、被写体ＯＢ３が発する音を収音している。ここでは、撮像装置１の撮像方位情報Ｖ１は、撮像の方向を示している。また、マイク２Ａの収音方位情報Ｖ３は、被写体ＯＢ２の方向を示し、マイク２Ｂの収音方位情報Ｖ４は、被写体ＯＢ３の方向を示している。
【００５３】
また、図７は、本実施形態による撮像システム１００ａの音信号の定位を示す概念図である。
この図は、表示部５０に表示されている撮像画像Ｇ２を示している。また、表示部５０には、被写体ＯＢ２を囲うようにＡＦフレームＡＦ２が表示されているとともに、被写体ＯＢ３を囲うようにＡＦフレームＡＦ３が表示されている。
この図において、音信号の定位のイメージ２０３は、撮像画像Ｇ２の横方向の位置と被写体ＯＢ２及びＯＢ３を音源とする音信号の定位との関係を示している。音信号の定位ＳＰ２は、被写体ＯＢ２に対応する音信号の定位を示している。また、音信号の定位ＳＰ３は、被写体ＯＢ３に対応する音信号の定位を示している。
【００５４】
また、図８は、本実施形態による撮像システム１００ａの音信号レベルを示す概念図である。
この図において、グラフ２０４は、撮像画像Ｇ２の横方向の位置と音信号レベルの関係を示している。波形Ｗ２は、被写体ＯＢ２をマイク２Ａによって収音した音信号の定位を変更した後の音信号レベルを示している。また、波形Ｗ３は、被写体ＯＢ３をマイク２Ｂによって収音した音信号の定位を変更した後の音信号レベルを示している。
【００５５】
図６のような配置条件において、撮像システム１００ａが撮像及び収音する場合、まず、撮像装置１では、撮像制御部９１が、撮像部１０によって撮像された映像をバッファメモリ部３０に記憶させる。また、撮像制御部９１は、ＡＦ部１４によって検出された撮像部１０と撮像される被写体ＯＢ２（及びＯＢ３）との間の距離情報Ｌ１（又はＬ２）と、位置検出部２６によって検出された撮像装置１の位置情報と、方位検出部２７によって検出された撮像方位情報と映像とを関連付けてバッファメモリ部３０に記憶させる。
【００５６】
一方、マイク２Ａでは、収音部２１が、被写体ＯＢ２を音源とする音を収音し、出力部２４を介して撮像装置１の音信号入力部２０に出力する。また、収音部２１は、位置検出部２２によって検出したマイク２Ａの位置情報と、方位検出部２３によって検出された収音方位情報とを出力部２４を介して撮像装置１の音信号入力部２０に出力する。
【００５７】
また、マイク２Ｂでは、収音部２１が、被写体ＯＢ３を音源とする音を収音し、出力部２４を介して撮像装置１の音信号入力部２０に出力する。また、収音部２１は、位置検出部２２によって検出したマイク２Ｂの位置情報と、方位検出部２３によって検出された収音方位情報とを出力部２４を介して撮像装置１の音信号入力部２０に出力する。
【００５８】
音信号入力部２０は、マイク２Ａ（及び２Ｂ）から受信したアナログ信号の音信号をデジタル信号の音信号に変換して、変換した音信号をバス３００に出力する。また、音信号入力部２０は、受信したマイク２（及び２Ｂ）の位置情報と収音方位情報とを、バス３００に出力する
次に、撮像制御部９１は、音信号入力部２０から出力されたマイク２Ａから出力された音信号、マイク２Ａの位置情報及び収音方位情報を関連付けてバッファメモリ部３０に記憶させる。また、撮像制御部９１は、音信号入力部２０から出力されたマイク２Ｂから出力された音信号、マイク２Ｂの位置情報及び収音方位情報を関連付けてバッファメモリ部３０に記憶させる。なお、撮像制御部９１は、撮像部１０によって撮像された映像と、マイク２Ａ及びマイク２ｂによって収音された音信号とを関連付けてバッファメモリ部３０に記憶させる。
【００５９】
次に、算出部９２は、撮像方位情報Ｖ１と、マイク２Ａに対応する収音方位情報Ｖ３と、距離情報Ｌ１とに基づいて、マイク２Ａに対応する音源の角度θ２を算出する。なお、音源の角度θ２は、収音方位情報Ｖ３において、距離情報Ｌ１と一致する位置から算出することができる。また、算出部９２は、撮像方位情報Ｖ１と、マイク２Ｂに対応する収音方位情報Ｖ４と、距離情報Ｌ２とに基づいて、マイク２Ｂに対応する音源の角度θ３を算出する。なお、音源の角度θ３は、収音方位情報Ｖ４において、距離情報Ｌ２と一致する位置から算出することができる。
撮像制御部９１は、算出した音源の角度θ２及びθ３を、撮像部１０によって撮像された映像と、マイク２Ａ及びマイク２Ｂによって収音された音信号とに関連付けて、バッファメモリ部３０に記憶させる。つまり、撮像制御部９１は、撮像部１０によって撮像された映像と、マイク２Ａ及びマイク２Ｂによって収音された音信号と、音源の角度θ２及びθ３とを関連付けて、バッファメモリ部３０に記憶させる。
【００６０】
次に、撮像制御部９１は、音源の角度θ２及びθ３に基づいて、音源の位置情報を表示部５０に表示させる。表示させる音源の位置情報は、例えば、撮像画像Ｇ２内の音源の位置を示すマークを表示させる。例えば、このマークは、音源の位置である被写体ＯＢ２を示すＡＦフレームＡＦ２の表示、及び音源の位置である被写体ＯＢ３を示すＡＦフレームＡＦ３の表示を点滅させるものでもよい。また、撮像制御部９１は、図７の音信号の定位のイメージ２０３のような表示を表示部５０に表示させてもよい。
これにより、撮像装置１の使用者は、音源となっている被写体ＯＢ２及びＯＢ３を撮像画面上で認識することができる。
【００６１】
また、撮像制御部９１は、相対位置情報と撮像部１０によって撮像される画角とに基づいて、マイク２Ａ（又は２Ｂ）が画角の範囲から予め定められた角度以内に近づいたか否かを判定する。そして、撮像制御部９１は、予め定められた角度以内に近づいたと判定した場合に、マイク２Ａ（又は２Ｂ）が備えている警告出力部２５に、警告を出力させる。ここで、「警告を出力させる」とは、例えば、マイク２Ａ（又は２Ｂ）が備える警告灯を点灯させることでもよい。
これにより、マイク２Ａ（又は２Ｂ）が撮像画面に写り込みそうになった場合に、警告を出力することができる。そのため、マイク２Ａ（又は２Ｂ）を人が持って収音する場合に、撮像画面に写り込みを防止することができる。
【００６２】
次に、撮像制御部９１は、音信号処理部９３に、マイク２Ａ及びマイク２Ｂから出力された音信号の定位を変更させる。つまり、音信号処理部９３は、音源の角度θ２（及ぶθ３）に基づいて、マイク２Ａ（及び２Ｂ）から出力された音信号の定位を変更して、映像と音信号とを合成する。ここでは、図７に示されるように、音信号処理部９３は、マイク２Ａによって収音した音信号をマイク２Ａから出力された音信号の定位ＳＰ２の位置に変更する。また、音信号処理部９３は、マイク２Ｂによって収音した音信号をマイク２Ｂから出力された音信号の定位ＳＰ３の位置に変更する。つまり、図８に示されるように、音信号の定位が変更された音信号レベルは、波形Ｗ２（又は波形Ｗ３）のように、被写体ＯＢ２（又は被写体ＯＢ３）に対応する位置が最大になるように変更される。
次に撮像制御部９１は、音信号の定位を変更した音信号と映像を記憶媒体２００に記憶させる。
【００６３】
以上のように、本実施形態における撮像装置１は、撮像制御部９１が、撮像部１０と撮像される被写体ＯＢ２（又はＯＢ３）との間の距離情報Ｌ１（又はＬ２）と、撮像方位情報と、マイク２Ａ（又は２Ｂ）の収音方位情報と、マイク２Ａ（又は２Ｂ）の相対位置情報と、マイク２Ａ（又は２Ｂ）によって収音した音信号とを関連付けてバッファメモリ部３０（記憶部）に記憶させる。算出部９２は、撮像部１０と撮像される被写体ＯＢ２との間の距離情報Ｌ１と、撮像方位情報Ｖ１と、マイク２Ａの収音方位情報Ｖ３と、マイク２Ａの相対位置情報とに基づいて、音源の角度θ２を算出する。また、算出部９２は、撮像部１０と撮像される被写体ＯＢ３との間の距離情報Ｌ２と、撮像方位情報Ｖ１と、マイク２Ｂの収音方位情報Ｖ４と、マイク２Ｂの相対位置情報とに基づいて、音源の角度θ３を算出する。撮像制御部９１は、撮像部１０によって撮像された映像と、指向性を有して音を収音するマイク２Ａ（及び２Ｂ）から出力された音信号と、音源の角度θ２（及びθ３）とを関連付けてバッファメモリ部３０（記憶部）に記憶させる。
【００６４】
これにより、撮像装置１は、マイク２Ａ（及び２Ｂ）が撮像装置１と異なる場所にあっても、撮像画像上における音源となっている被写体ＯＢ２（及びＯＢ３）の位置を判定することができる。また、マイク２Ａ（又は２Ｂ）は、指向性を有し、被写体ＯＢ２（又はＯＢ３）の方向を向いて収音するため、ノイズを低減して被写体ＯＢ２（又はＯＢ３）が発する音を強調して音信号に変換することができる。そのため、撮像システム１００ａ（撮像装置１及びマイク２Ａ及び２Ｂ）は、マイク２Ａ（及び２Ｂ）が撮像装置１と異なる場所にあっても、特定の音源からの音質を維持しつつ、音源の位置に応じた音信号の定位を得ることができる。
【００６５】
また、音信号処理部９３は、音源の角度θ１に基づいて、マイク２から出力された音信号の定位を変更する。
これにより、撮像システム１００ａ（撮像装置１及びマイク２Ａ及び２Ｂ）は、ミキシングを行うエンジニアの技術によらずに、正しい音信号の定位に変更することができる。したがって、撮像システム１００ａの使用者は、特別なミキシング技術を持たない場合にあっても、映像における正しい音信号の定位に変更された音信号を得ることができる。
【００６６】
また、撮像制御部９１は、位置検出部２２によって検出されたマイク２Ａ（又は２Ｂ）の位置情報及び位置検出部２６によって検出された撮像装置１の位置情報に基づいて、マイク２Ａ（又は２Ｂ）に対応する相対位置情報を生成する。
これにより、撮像装置１に予め測定しておいた相対位置情報を入力する必要がなく、相対位置情報を得ることができる。
【００６７】
また、撮像部１０は、撮像する際に、距離情報Ｌ１（又はＬ２）を検出するＡＦ部１４（距離検出部）を備える。
ＡＦ部１４の機能を使用して距離情報Ｌ１（又はＬ２）を得ることができるため、新たに距離検出部を設ける必要がない。つまり、撮像システム１００ａ（撮像装置１及びマイク２Ａ及び２Ｂ）は、簡易な構成によって、音源の角度θ２（及びθ３）を得ることができる。
【００６８】
また、撮像制御部９１は、相対位置情報と撮像部１０によって撮像される画角とに基づいて、マイク２Ａ（又は２Ｂ）が画角の範囲から予め定められた角度以内に近づいたか否かを判定する。そして、撮像制御部９１は、予め定められた角度以内に近づいたと判定した場合に、マイク２Ａ（又は２Ｂ）が備えている警告出力部２５に、警告を出力させる。
これにより、マイク２Ａ（又は２Ｂ）が撮像画面に写り込みそうになった場合に、警告を出力することができる。そのため、マイク２Ａ（又は２Ｂ）を人が持って収音する場合に、撮像画面に写り込みを防止することができる。
【００６９】
なお、本実施形態は、上記に限定されるものではなく、以下のように、変更可能である。
本実施形態において、撮像制御部９１は、相対位置情報と撮像部１０によって撮像される画角とに基づいて、マイク２Ａ（又は２Ｂ）が画角の範囲から予め定められた角度以内に近づいたか否かを判定する。そして、撮像制御部９１は、予め定められた角度以内に近づいたと判定した場合に、マイクロホン装置の位置情報を表示部５０に出力させてもよい。例えば、撮像装置１のズーム操作やフレーム操作によって、マイク２Ａ（又は２Ｂ）が映像に写り込みそうになった場合に、撮像制御部９１は、マイク２Ａ（又は２Ｂ）がある方向と距離などの情報を表示部５０に表示させる。
これにより、撮像装置１は、使用者（撮像者）に、注意を促すことができる。つまり、撮像装置１は、マイク２Ａ（又は２Ｂ）が撮像している映像に移り込むことを防止することができる。
さらに、撮像装置１が可動三脚などに固定されている場合に、撮像制御部９１は、マイク２Ａ（又は２Ｂ）が撮像している映像に移り込まないように、撮像部１０にズーム操作を禁止させてもよいし、マイク２Ａ（又は２Ｂ）の方向へのパン操作を可動三脚に制限させてもよい。
【００７０】
また、本実施形態において、撮像制御部９１は、相対位置情報に応じて、マイク２Ａ（又は２Ｂ）によって収音された音信号の信号レベルを補正してもよい。撮像制御部９１は、例えば、撮像装置１から遠い位置にあるマイクから出力された音信号の信号レベルを相対的に低めて、撮像装置１から近い位置にあるマイクから出力された音信号の信号レベルを相対的に高めてもよい。
これにより、相対位置情報に応じて音信号の信号レベルが補正されるため、撮像装置１は、撮像装置１の位置における自然な音信号を得ることができる。
なお、この相対位置情報に応じて、マイク２Ａ（又は２Ｂ）によって収音された音信号の信号レベルを補正する処理は、音信号処理部９３によって実行されてもよい。
【００７１】
また、本実施形態において、音信号処理部９３は、複数のマイク（２Ａ及び２Ｂ）からそれぞれ出力された複数の音信号のうち、映像のピント（焦点）が合っている音源に対応する音信号の信号レベルを高め、焦点が合っていない音源に対応する音信号の信号レベルを低めてミキシング処理してもよい。例えば、音信号処理部９３は、撮像部１０から供給されるピント（焦点）情報に基づいて、焦点の合っている被写体を音源とするマイクの音信号を優先して、信号レベルを高める。また、音信号処理部９３は、焦点の合っていない被写体を音源とする他のマイクの音信号レベルを低める。
これにより、撮像システム１００ａは、焦点の合っている被写体に対応する音を強調して、ミキシングすることができる。
なお、撮像制御部９１は、焦点の合っている音源の情報と音信号を関連付けてバッファメモリ部３０に記憶させてもよい。これにより、音信号処理部９３は、過去に記憶された音信号についても、同様に処理することができる。
【００７２】
また、本実施形態において、撮像制御部９１は、複数のマイク（２Ａ及び２Ｂ）からそれぞれ出力された複数の音信号のうち、最も信号レベルの高いマイクに対応する音源に焦点を合わせる制御を撮像部１０に実行させてもよい。撮像制御部９１は、例えば、最も信号レベルの高いマイクを判定し、このマイクに対応する音源の距離情報に基づいて、撮像部１０に焦点を優先的に合わせさえる。
これにより、最も大きい音を発している音源となっている被写体に、焦点が合うように制御されるため、撮像システム１００ａは、常に音源に焦点の合った映像を得ることができる。
【００７３】
また、本実施形態において、撮像制御部９１は、複数のマイク（２Ａ及び２Ｂ）によって収音されている場合に、複数のマイク（２Ａ及び２Ｂ）に対応する音源が被写界深度内に入るように、撮像部１０に絞りを制御させてもよい。撮像制御部９１は、例えば、音信号に基づいて、音信号が出力されているマイクを判定する。そして、撮像制御部９１は、音信号が出力されているマイクに対応する音源（被写体）が被写界深度内に入るように、撮像部１０に絞りを制御させる。
これにより、音源となっている被写体に全て焦点を合わせることができるため、撮像システム１００ａは、常に音源に焦点の合った映像を得ることができる。
【００７４】
また、本実施形態において、撮像制御部９１は、撮像部１０と撮像される被写体との間の距離情報に応じて、マイク（２Ａ及び２Ｂ）から出力された音信号の信号レベルを補正してもよい。撮像制御部９１は、例えば、ＡＦ部１４によって検出された距離情報（Ｌ１及びＬ２）と、マイク（２Ａ及び２Ｂ）の相対位置情報とに基づいて、距離が遠い場合には、音信号レベルを低め、距離が近い場合には音信号レベルを高める。
これにより、音源の位置がマイク（２Ａ及び２Ｂ）に近いが、撮像装置１から遠い場合などに、音源と撮像装置１との距離に対応しない音信号レベルになることを防止することができる。したがって、撮像システム１００ａは、音源との位置関係に応じた自然な音信号を得ることができる。
なお、上述の距離情報に応じて、マイク２Ａ（又は２Ｂ）によって収音された音信号の信号レベルを補正する処理は、音信号処理部９３によって実行されてもよい。
【００７５】
また、本実施形態において、音信号処理部９３は、１つの音源を複数のマイク（２Ａ及び２Ｂ）によって収音している場合に、複数のマイク（２Ａ及び２Ｂ）からそれぞれ出力された複数の音信号のうち、ノイズレベルが最低の音信号に基づいて、音信号の定位を変更してもよい。
これにより、撮像システム１００ａは、特定の音源からの音質をさらに維持しつつ、音源の位置に応じた音信号の定位を得ることができる。
【００７６】
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
上記の各実施形態において、動画像である映像に対して適用する形態を説明したが、静止画像に対して適用する形態でもよい。
【００７７】
また、上記の各実施形態において、撮像装置１が音信号処理部９３を備え、音信号処理部９３が音信号の定位を変更する形態を説明したが、他の形態でもよい。例えば、撮像システムが、撮像装置１の外部にミキシング装置を備え、音信号処理部９３の処理をミキシング装置に実行させる形態でもよい。この場合、撮像制御部９１は、バッファメモリ部３０の代わりに記憶媒体２００に、映像と、音信号と、音源の角度とを関連付けて記憶させてもよい。なお、ミキシング装置は、記憶媒体２００に記憶されたこれらの情報に基づいて、音信号の定位を変更するミキシング処理を実行する。また、ミキシング装置は、算出部９２の処理を含む形態でもよい。
また、撮像装置１は、ハードディスクなどの大容量の記憶部を備えて、バッファメモリ部３０の代わりにハードディスクなどの大容量の記憶部に、映像と、音信号と、音源の角度とを関連付けて記憶させてもよい。
【００７８】
また、上記の各実施形態において、１つのマイク２又は２つのマイク（２Ａ及び２Ｂ）を備える撮像システム１００（又は１００ａ）を説明したが、３つ以上のマイクを備える撮像システムに適用してもよい。
【００７９】
また、上記の各実施形態において、音信号の定位は、２次元の位置に対応する形態を説明したが、図９に示されるように、３次元の位置に適用してもよい。
図９は、様々な方向に向けた複数のマイクを備える撮像システムにおいて、３次元の音場空間に適用した一例である。この図において、「前」は前方を示し、「後」は後方を示す。また、「Ｌ」は、左方向を示し、「Ｒ」は、右方向を示す。また、３箇所の音源がある場合の例である。音信号処理部９３は、例えば、音源の角度に基づいて、各音源に対応する音信号の定位ＳＰ４、ＳＰ５及びＳＰ６に変更する処理を行う。また、さらに、上下方向における音信号の定位に対応する形態でもよい。
【００８０】
また、上記の各実施形態において、撮像装置１が音信号を記憶する形態を説明したが、マイク２（２Ａ、又は２Ｂ）が、記憶部を備えて、音信号と、マイク２（２Ａ、又は２Ｂ）の位置情報と、マイク２（２Ａ、又は２Ｂ）の収音方位情報とを関連付けて記憶させる形態でもよい。
また、上記の各実施形態において、相対位置情報、撮像装置１の位置情報、及びマイク２（２Ａ、又は２Ｂ）の位置情報は、予め測定されていた情報を手入力によって撮像装置１が得る形態でもよい。また、相対位置情報が得られる形態であれば、他の形態でもよい。
【００８１】
また、上記の各実施形態において、位置検出部２２及び２６は、ＧＰＳを用いる形態を説明したが、他の位置検出システムを用いる形態でもよい。また、ＧＰＳにおいて、正確な時刻情報を得ることができるが、音信号処理部９３は、この時刻情報に基づいて、音信号の定位を変更し、音信号と映像を合成してもよい。
また、上記の各実施形態において、マイク２（２Ａ、又は２Ｂ）は、音信号としてアナログ信号を出力する形態を説明したが、デジタル信号を出力する形態でもよい。また、マイク２（２Ａ、又は２Ｂ）と撮像装置１との間の通信は、有線によって行ってもよいし、無線によって行ってもよい。
【００８２】
また、上記の各実施形態において、マイク２（２Ａ、又は２Ｂ）が、位置検出部２２及び方位検出部２３を備える形態を説明したが、マイクスタンドにこれらを備える形態でもよい。
また、上記の各実施形態において、撮像制御部９１、算出部９２、及び音信号処理部９３の各部は、専用のハードウェアによって実現されてもよい。また、撮像制御部９１、算出部９２、及び音信号処理部９３の各部は、メモリ及びＣＰＵにより構成され、撮像制御部９１、算出部９２、及び音信号処理部９３の各機能は、プログラムによって実現されてもよい。
【００８３】
上述の撮像装置１は内部に、コンピュータシステムを有している。そして、上述した算出部９２及び音信号処理部９３の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
【符号の説明】
【００８４】
１…撮像装置、２，２Ａ，２Ｂ…マイクロホン装置、１０…撮像部、２１…収音部、２２，２６…位置検出部、２３，２７…方位検出部、３０…バッファメモリ部、５０…表示部、９１…撮像制御部、９２…算出部、９３…音信号処理部、１００，１００ａ…撮像システム、２００…記憶媒体
【図１】
2012169811.tif 000003
【図２】
2012169811.tif 000004
【図３】
2012169811.tif 000005
【図４】
2012169811.tif 000006
【図５】
2012169811.tif 000007
【図６】
2012169811.tif 000008
【図７】
2012169811.tif 000009
【図８】
2012169811.tif 000010
【図９】
2012169811.tif 000011
【図１０】
2012169811.tif 000012