(57)【要約】【課題】ぶれ量が大きいカメラでも、撮影画像の被写体音声を適正な音圧で収音することができる撮像装置を提供すること。【解決手段】２つ以上のマイクを含む収音手段と、マイクで収音された音声の指向性を制御する指向性制御手段と、レンズの焦点距離を検出する焦点距離検出手段と、ぶれ検出手段と、を有し、前記指向性制御手段は、レンズ焦点距離が長いほどマイクの指向性方向をレンズ正面方向から前記ぶれ検出量に基づいた方向に一致するように変更することを特徴とする。【選択図】図１
2020010171.tif 000002
【特許請求の範囲】
【請求項１】
２つ以上のマイクを含む収音手段と、
マイクで収音された音声の指向性を制御する指向性制御手段と、
レンズの焦点距離を検出する焦点距離検出手段と、
ぶれ検出手段と、
を有し、前記指向性制御手段は、レンズ焦点距離が長いほどマイクの指向性方向をレンズ正面方向から前記ぶれ検出量に基づいた方向に一致するように変更する
ことを特徴とする撮像装置。
【請求項２】
前記ぶれ検出量を基にぶれ補正量を算出しぶれ補正するぶれ補正手段を更に有し、前記指向性制御手段は、前記ぶれ補正量が大きいほど収音手段の指向性の方向を前記ぶれ補正量に応じた方向に一致するように変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記指向性制御手段は、前記２つのマイクを結ぶ線分と、撮像装置の正面方向軸とに直交する軸回り回転のぶれ検出量が多いほど、前記収音手段の指向性の方向をぶれ補正量に応じた方向に一致するように変更することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記指向性制御手段は、前記ぶれ検出手段により検出されたぶれ量の成分が、前記２つのマイクを結ぶ線分に平行な軸方向、または撮像装置の正面方向軸回りの回転である場合には、前記収音手段の指向性の方向の変化量を小さくすることを特徴とする請求項１記載の撮像装置。
【請求項５】
撮像装置と被写体の距離を算出する被写体距離算出手段を更に有し、前記指向性制御手段は、前記ぶれ検出手段が検出したぶれ量の成分が、前記前記２つのマイクを結ぶ線分に平行な方向、または前記線分と撮像装置の正面方向軸とに直交する方向である場合には、前記被写体距離が近いほど指向性の方向を前記ぶれ補正量に応じた方向に一致するように変更することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記ぶれ補正手段は、前記検出したぶれを抑制するようにレンズを駆動すること、または前記検出したぶれを抑制するように撮像素子を駆動すること、または前記検出したぶれを抑制するように記録画像を幾何変形することのいずれか１つ以上の処理を実施することを特徴とする請求項１に記載の撮像装置。
【請求項７】
撮影画像から被写体の撮像面上の位置を検出する被写体検出手段を更に有し、前記指向性制御手段は、前記検出された被写体の位置と前記収音装置の向く方向とのずれが大きいほど前記収音装置の指向性の方向を前記ぶれ補正量に応じた方向に一致するように変更することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特にぶれ量が大きい場合においても、撮影画像の被写体音声を適正な音圧で収音する撮像装置に関する。
【背景技術】
【０００２】
従来より、望遠撮影時は狭い撮影画角に合わせてカメラのマイクの指向性を狭め、ステレオ感を弱める方法が提案されていた。
【０００３】
特許文献１には、マイクの指向特性と、ビデオカメラの振れ角、ズーム角を連動させ、収音性能を向上させる方法が開示されている。特許文献２には、ゆれを検出して、ゆれが小さきときはマイクを指向性にし、ゆれが大きいときはノイズの影響を受けにくい無指向性にする方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−１５５１０７号公報
【特許文献２】国際公開０７／０９９９０８号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１に開示された従来技術は、電動パンチルトズームを備えた備え付けのビデオカメラを対象にしており、ぶれ検出量やぶれ補正量に応じたマイクの指向特性の制御は実施していないため、手持ち撮影で手ぶれ量や手ぶれ補正量が大きいときには収音音圧に変動が生じてしまう。
【０００６】
また、上記の特許文献２に開示された従来技術は、検出した揺れの大きさに応じて、マイクの指向性を切り替えるが、焦点距離の変化に伴い画角が変化することを考慮していない。そのため、手持ち撮影で手ぶれ量や手ぶれ補正量が大きいときには、撮影画像画角とマイクの指向性に差異が生じてしまう。
【０００７】
そこで、本発明の目的は、撮像装置の焦点距離を変更したり、ぶれが発生している際にも、被写体音声を適切な音圧で収音することを可能にした撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る撮像装置は、
２つ以上のマイクを含む収音手段と、
マイクで収音された音声の指向性の方向を制御する指向性制御手段と、
レンズの焦点距離を検出する焦点距離検出手段と、
ぶれ検出手段と、
を有し、前記指向性制御手段は、レンズ焦点距離が長いほどマイクの指向性方向をレンズ正面方向から前記ぶれ検出量に基づいた方向に一致するように変更することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、焦点距離が長く、ぶれ量が大きいカメラでも、撮影画像の被写体音声を適正な音圧で収音することができる撮像装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態の撮像装置１００を構成するブロック図である。
【図２】本発明の第１の実施の形態の全体処理フローを説明する図である。
【図３】本発明の第２の実施の形態の全体処理フローを説明する図である。
【図４】本発明の実施の形態の撮像装置１００と収音手段１２６の位置関係を示す図である。
【図５】本発明の実施の形態のレンズの焦点距離と撮像装置１００のぶれ量と、制御される収音の指向性の方向の関係を示した図である。
【図６】本発明の実施の形態の動きベクトル算出を説明する為の図である。
【図７】本発明の実施の形態の位置合わせ変換係数算出を説明する為の図である。
【図８】本発明の実施の形態の指向性の方向の制御方法を示す図である。
【図９】本発明の実施の形態のぶれ補正時の収音の指向性と音源の関係を示す図である。
【図１０】本発明の実施の形態の被写体位置に応じた画角切り出し記録時の指向性制御を説明する図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【実施例１】
【００１２】
本発明の第１の実施の形態では、撮像装置１００は、ぶれ検出手段１２２で検出したぶれ量と撮像レンズ１０２の焦点距離に基づき、収音手段１２４において収音された入力音声を、指向性制御手段１３０で音声の指向性の方向を制御することで、撮像装置１００にぶれが発生している場合においても、入力音声を適正な音圧で記録できる構成を有する。
【００１３】
以下、図１を参照して、本発明の第１の実施の形態による音声信号処理の構成について説明する。図１は、本発明の第１の実施の形態にかかわる構成図である。
【００１４】
撮像レンズ１０２は、撮影像を光学的に撮像素子１０４上に結像させる。撮像素子１０４は、その撮影像をアナログの電気信号に変換する。また、撮像素子１０４は複数の色フィルタを有する。また、撮像素子１０４は、後述するぶれ補正手段１２４により駆動され、ブレを抑制するよう移動できる。Ａ／Ｄ変換器１０６は、この撮像素子１０４から出力されるアナログ信号をデジタル信号に変換する。
【００１５】
制御手段１０８は、画像信号処理手段１１０、記憶手段１１２、焦点距離検出手段１２０、ぶれ検出手段１２２、ぶれ補正手段１２４、収音手段１２６、音声信号処理手段１２８、指向性制御手段１３０の間の処理フロー制御を行う。
【００１６】
画像信号処理手段１１０は、フレーム画像に対して、同時化処理、ホワイトバランス処理、γ処理、ＮＲ処理等の画像信号処理や被写体検出処理を行う。
【００１７】
記憶手段１１２は、フレーム画像を記憶したり、音声信号処理手段１２８で処理された音声信号を記憶したりする。
【００１８】
焦点距離検出制御手段１２０は、撮像レンズ１０２の位置から現在の焦点距離を検出したり、制御手段１０８からの制御信号に基づき撮像レンズ１０２を駆動し焦点距離を変更したりする。
【００１９】
ぶれ検出手段１２２は、角速度を検出するジャイロセンサ、加速度センサ、地磁気センサのいずれか１つ以上を有し、撮像装置１００のぶれを検出する。また、撮影した画像の動きベクトルを検出し、その動きベクトルから画像間のぶれを検出する。
【００２０】
ぶれ補正手段１２４は、ぶれ検出手段１２２で検出したぶれ量、ぶれ成分に基づき、撮像装置１００のぶれを抑制するようなぶれ補正量を算出する。算出したぶれ補正量に基づき、撮像レンズ１０２や撮像素子１０４を駆動する。あるいは、算出したぶれ補正量に基づき、画像を幾何変形する。
【００２１】
収音手段１２６は、例えばコンデンサマイクのように音圧を電荷に変換する素子と、電荷に対応したアナログ電圧をデジタル値に変換するＡ／Ｄ変換器からなり、撮像装置１００の外部から入力される音声を収音する。また、収音手段１２６は、マイクを２つ以上有する。
【００２２】
音声信号処理手段１２８は、収音手段１２６経由で収音された音声に対し、ノイズキャンセル処理や風雑音低減処理等の音声信号処理を行う。
【００２３】
指向性制御手段１３０は、収音装置１２６の指向性の方向を、撮像レンズ１０２の焦点距離と、ぶれ検出手段１２２で検出したぶれ成分毎のぶれ量に基づいて制御する。
【００２４】
続いて、図２の処理フロー図を用いて、本実施例の処理フローについて説明する。
【００２５】
まず、画像と音声の取り込みを行う（Ｓ２００）。
【００２６】
画像取り込みは、Ａ／Ｄ変換器１０６から出力されるデジタル画像信号を記憶手段１１２に記憶することで行われる。記憶した画像に対し画像信号処理手段１１０で同時化処理、ホワイトバランス処理、γ処理、ＮＲ処理等の処理を施し、記憶手段１１２に再度記憶する一連の処理を行うことで実施される。音声取り込みは画像取り込みと同時に実施され、収音手段１２６で収音した音声を記憶手段１１２に記憶することで行われる。
【００２７】
次に、焦点距離検出手段１２０が撮像レンズ１０２の焦点距離を検出する（Ｓ２０２）。
【００２８】
画像取り込み中かつ音声取り込み中の期間に、撮像装置１００に付属する撮像レンズ１０２の焦点距離を検出する（ステップＳ２０２）。コンパクトデジタルカメラのように撮像装置１００に撮像レンズ１０２がくくり付けられている場合は、撮影者の操作に応じて、制御手段１０８からの制御信号を生成し、焦点距離検出制御手段１２０を用いて撮像レンズ１０２を駆動して焦点距離を制御することが一般的である。その場合には、撮像レンズ１０２の焦点距離は制御手段１０８にとって既知であるため、この処理ステップＳ２０２は必須ではない。
【００２９】
次に、ぶれ検出手段１２２において撮像装置１００の撮影時のぶれを検出する。ぶれ検出手段１２２は、少なくともジャイロセンサに代表されるの図示しない慣性センサを内部に含み、撮像装置１００のぶれを検出する。なお、ジャイロセンサ以外に加速度センサ、地磁気センサなどの他のセンサを含んでいてもよい。または、ぶれ検出手段１２２において、撮影画像フレーム間の動きベクトルを検出して、フレーム間のぶれを検出してもよい。
【００３０】
ここで、動きベクトルの検出手段と、検出した動きベクトルからブレを抑制するような幾何変形係数を算出する方法ついて説明する。
【００３１】
動きベクトルの算出方法は種々あるが、本実施例では画像のテンプレートマッチングを用いる。テンプレートマッチングの方法について図６を用いて以下に説明する。
【００３２】
基準画像である画像６００の所定位置をテンプレート領域６０１として設定し、テンプレート領域毎に動きベクトル算出手段１１０を用い、画像６００と画像６１０の位置ずれ量を表す動きベクトルを算出する。テンプレートマッチングでは、テンプレート領域６０１を画像６１０上で走査し、類似度が最も高い走査位置を動きベクトルとして算出する。類似度の評価としては、ＳＡＤ（差分絶対値和。Ｓｕｍ  ｏｆ  Ａｂｕｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を用いる。テンプレート領域内の画素値の差分絶対値和が最も小さくなる位置をそのテンプレート領域における動きベクトルとする。
【００３３】
基準画像である画像６００のテンプレート領域はテンプレート領域６０１だけではなく、点線で囲まれた合計１２領域存在し、それぞれの領域毎に上記動きベクトル算出処理を行い動きベクトルをテンプレート領域毎に算出する。ただし、テンプレート領域６０２のように低コントラストの領域は、精度の高い動きベクトルが算出できないため動きベクトル算出の対象から除外する。結果として、画像６００上に図示した通り、画像６００と画像６１０の間では７つの動きベクトルが算出される。
【００３４】
ここで、動きベクトルを用いたフレーム間のぶれ量検出の方法について以下に述べる。本実施例では、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ  ）アルゴリズムに基づく方法を用いて算出する。その方法を図７のフローチャートを用いて説明する。
【００３５】
まず、算出されたＮ個の動きベクトルからｕ個をランダムに選択する（Ｓ７００）。次に最小二乗法で位置合わせ変換係数Ｈを算出する（Ｓ７０２）。位置合わせ変換係数としては、例えば射影変換係数を用いる。ただし、位置合わせ変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した位置合わせ変換係数を用いてもよい。
【００３６】
算出された位置合わせ変換係数Ｈを用いて、最初に選択されなかったＮ−ｕ個の動きベクトルに対応するテンプレートの中心座標位置の画素を座標変換し、その座標と算出された動きベクトルとの距離差分をＮ−ｕ個分だけ積算し、その位置合わせ変換係数Ｈにおける誤差として算出する（Ｓ７０４）。なお、距離差分としてマンハッタン距離やユークリッド距離を用いる。
【００３７】
Ｓ７００からＳ７０４までの処理を所定回数繰り返し（Ｓ７０６）、誤差が最も小さい位置合わせ変換係数Ｈを仮の位置合わせ変換係数Ｈとして設定する（Ｓ７０８）。
【００３８】
仮の位置合わせ変換係数Ｈを用いて、Ｎ個の動きベクトルに対応するテンプレートの中心座標位置の画素を座標変換し、その座標と算出された動きベクトルとの距離差分が閾値以下の動きベクトルを選択する。また、距離差分が閾値以下である距離差分の和も最終誤差値として保持しておく。
【００３９】
最後に、選択された動きベクトルを用いて、最小二乗法を用いて最終的な位置合わせ変換係数Ｈを決定する（Ｓ７１２）。
【００４０】
次に、ぶれ補正手段１２４は、ぶれ検出手段１２２で検出したぶれ量、ぶれ成分に基づき、ぶれ補正量を決定し、撮像装置１００のぶれを抑制するようなぶれ補正を行う。ぶれ補正手段１２４は、撮像レンズ１０２や撮像素子１０４を駆動する。あるいは、算出したぶれ補正量に基づき、位置合わせ変換係数Ｈを用いて、画像を幾何変形する。
【００４１】
本実施例では、ぶれ成分とは、回転３軸の回転角度と、平行移動３方向の移動距離を表す。
【００４２】
ぶれ補正は、ぶれ成分毎に撮像レンズ１０２、撮像素子１０４、画像の幾何変形のいずれか１つ以上で実施する。例えば、撮像レンズ１０２の光軸周りの回転ぶれは、撮像レンズ１０２ではぶれ補正できないため、撮像素子１０４を駆動したり、画像の幾何変形でぶれ補正を実施する。
【００４３】
次に、検出したぶれ量に基づき収音手段１２６の指向性の方向を制御する（Ｓ２１０）。
【００４４】
指向性制御手段１３０は、収音装置１２６の指向性の方向を、撮像レンズ１０２の焦点距離と、ぶれ検出手段１２２で検出したぶれ成分毎のぶれ量に基づいて制御する。ぶれ量と指向性の方向の関係は、図９に示したようにぶれ量が大きいほど、ぶれ補正して記録された画像の正面方向と、撮像装置１００の正面方向、つまり収音手段１２６の正面方向の向きがずれる。従って、指向性制御手段１３０が、収音装置１２６の指向性の方向を音源９０１の方向に合わせるように制御することで音源９０１の音圧を低下させることなく記録する。
【００４５】
焦点距離とぶれ量に対する指向性の方向の関係は、図５に示したように望遠であるほど画角が狭いため、撮影方向と収音の指向性の方向がずれないように、指向性の方向を記録画像の正面方向に一致させる敏感度を高くする。また、ぶれ量が大きいときに、撮影方向と収音の指向性の方向がずれないように、指向性の方向を記録画像の正面方向に一致させる敏感度を高くする。
【００４６】
例えば、ぶれ量をｂ、想定する最大ぶれ量をｂ＿ｍａｘ、焦点距離をｆ、望遠側の焦点距離をｆ＿ｔｅｌｅ、敏感度をｓ、指向性の方向の補正量をｑと置き、下記式１，２に基づき、指向性の方向の補正量  ｑを算出する。
【００４７】
敏感度ｓ＝α・ｆ÷ｆ＿ｔｅｌｅ  ＋  β・ｂ÷ｂ＿ｍａｘ     （式１）
指向性の方向の補正量  ｑ＝ｒ・ｓ                           （式２）
ただし、αは焦点距離が敏感度へ与える影響度合いを調整するパラメータ、βはぶれ量が敏感度へ与える影響度合いを調整するパラメータである。
【００４８】
次に指向性の方向制御の方法について図８を用いて説明する。
【００４９】
撮像装置１００に搭載された左側のマイク（図４の収音マイク４０２）と右側のマイク（図４の収音マイク４０４）が距離ｙ［ｍ］離れているとする。さらに撮像装置１００の正面方向から角度θ右に傾いた方向に音源８１０が位置しているとする。このとき、音源８１０からの音声は、右側のマイク（図４の収音マイク４０４）に比べて、左側のマイク（図４の収音マイク４０２）には式３で示される時間ｄ［秒］だけ遅れて到達する。
【００５０】
ｄ＝ｙ・ｃｏｓ（θ）÷ｃ                            （式３）
ただし、ｃは音速［ｍ／ｓ］とする。
【００５１】
音源８１０の音声を強調するため式４，５，６で示す音声信号処理を行う。
【００５２】
Ｍ  ＝  Ｌ  −  Ｒ＿ｄ                       （式４）
Ｌ１  ＝  Ｌ  −  Ｍ                         （式５）
Ｒ１  ＝  Ｒ  −  Ｍ                         （式６）
式中の変数の意味は下記のとおりである。
【００５３】
Ｌは収音装置１２６の左側のマイク（図４の収音マイク４０２）で収音された音声、Ｒは収音装置１２６の右側のマイク（図４の収音マイク４０４）で収音された音声である。
【００５４】
Ｒ＿ｄは、右側のマイク（図４の収音マイク４０４）で収音された音声Ｒを時間ｄ［秒］だけ遅延素子８０２で遅延させた信号であり、Ｌと同位相の音声になる。
【００５５】
Ｍは、ＬからＬに位相を合わせたＲ＿ｄを減算することで、音源８１０の方向の音声を低減させた音声信号である。
【００５６】
Ｌ１は、左側のマイクの指向性の方向を制御した記録音声である。具体的には、Ｌ１は、Ｌから音源８１０の方向の音声を低減させた音声信号Ｍを引くことで、音源８１０の方向の音声を抽出した信号である。
【００５７】
Ｒ１は、右側のマイクの指向性の方向を制御した記録音声である。具体的には、Ｒ１は、Ｒから音源８１０の方向の音声を低減させた音声信号Ｍを引くことで、音源８１０の方向の音声を抽出した信号である。
【００５８】
また、ぶれ成分に応じた指向性制御について以下に説明する。
【００５９】
図４に示すように撮像レンズ１０２の光軸と平行に収音装置１２６の２つのマイクを設置した撮像装置１００を例に説明する。撮像装置１００がピッチ方向回転、ロール方向回転した場合は、正面にいる音源である被写体は、実際に撮像装置１００の正面に居て、かつ記録される画像の中央に記録されるので、収音装置１２６の指向性の方向を変更する必要がない。しかし、撮像装置１００がヨー方向回転した場合には、正面にいる音源である被写体は、撮像装置１００の正面に居ないにもかかわらず、ぶれ補正されて記録される画像の中央に記録される。従って、指向性の方向を制御し、被写体の方向に向けることで、撮像装置１００の正面に居ない被写体の音声レベルが、正面に居たときの音声レベルと差異が小さくなるようにする。
【００６０】
さらに、撮像装置１００と被写体１００２の間の距離を検出し、距離に応じて収音手段１２６の指向性の方向を制御してもよい。撮像装置１００を手で保持し、マクロ撮影のように被写体に近接して撮影する場合、手ぶれの成分は回転成分よりも平行移動成分が支配的になる。そのため、被写体距離が近く、検出したぶれ量の平行移動成分（図４のＸ成分、Ｙ成分）が多いほど、収音手段の方向制御の敏感度をより高くしてもよい。
【００６１】
焦点距離とぶれ量に対する、指向性の方向制御の関係をまとめて図５に示す。
【００６２】
なお、撮像装置１００と被写体１００２の間の距離の算出方法は、例えば撮像系を２つ有し、２つの撮影画像の視差と撮像系の光軸のずれの量を用い、三角測量の原理に基づき距離を検出するステレオ測距を用い距離を検出する。また、被写体距離の検出方法は上記方法に限定されず、撮像装置１００は図示しない光源を有し、その光源から出た光が対象物で反射しセンサに届くまでの光の飛行時間（遅れ時間）と光の速度から被写体距離を算出するＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈ）法や、複数枚のデフォーカス画像のボケ量から領域毎に距離を算出するＤＦＤ（Ｄｅｐｔｈ  Ｆｒｏｍ  Ｄｅｆｏｃｕｓ）法などの方法を用いてもよい。あるいは、撮像素子１０４上の各画素を、マイクロレンズ下で左右２つの画素に分割し、左画素と右画素の被写体像の位相差を基に距離を算出する方法を用いてもよい。
【００６３】
最後に、音声信号処理手段１２８で、ノイズキャンセル処理や風雑音低減処理等の音声信号処理を行い、記憶手段１１２に適正な音圧の音声信号を記憶する（ステップＳ２１２）。
【００６４】
上記、Ｓ２００からＳ２１２の処理を取得された画像と音声毎に繰り返し処理し記録し、動画を生成する。
【００６５】
上記説明してきたとおり、本発明の第１の実施の形態では、焦点距離が長く、ぶれ量が大きいカメラでも、撮影画像の被写体音声を適正な音圧で収音することができる機能を提供することができる。
【００６６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【実施例２】
【００６７】
本発明の第２の実施の形態では、音源である主被写体の撮像面上の位置を検出し追尾し、主被写体を画像中心付近に捉えた画角に切り出して記録する。つまり、第１の実施の形態は撮像装置１００のぶれを検出していたが、第２の実施の形態では、ぶれの代わりに画面上の主被写体の位置を使用する。画面上の主被写体の位置と、撮像レンズ１０２の焦点距離に基づき、指向性制御手段１３０で音声の指向性の方向を制御することで、記録画像上で正面に音源である主被写体がいない場合においても、入力音声を適正な音圧で記録できる構成を有する。
【００６８】
ここで、図１で示される構成は実施例１と同様なので説明を省略する。処理についても実施例１と同様の処理は説明を省略する。
【００６９】
図３は、本発明の第２の実施の形態に関わる画像処理装置の全体処理を示すフローチャートである。以下、図１、３を参照して、本発明の第２の実施の形態における音声信号処理について説明する。
【００７０】
処理Ｓ２００、Ｓ２０２については実施の形態１と同じであるので、説明を省略する。
【００７１】
次に、撮影された画像から被写体の位置を検出する（Ｓ３０４）。図１０（ａ）は１フレーム前の撮影画像であり、図１０（ｂ）は現在のフレームの撮影画像である。図１０（ａ）から図１０（ｂ）に時間が経過した間に被写体１００２が、撮像装置１００から見て左に移動している。被写体１００２の移動量は、例えば領域内の差分絶対値和を用いたテンプレートマッチングで算出する。具体的には、領域１００６をテンプレートとし、現在の撮影画像１０１０上でテンプレートを走査し、領域内の差分絶対値和が最も小さくなる領域１０１６を被写体１００２の位置として算出する。
【００７２】
処理Ｓ３０４で算出された被写体１００２の領域１０１６を中心に現在のフレームの記録画角１０１４を決定する。本実施例では、記録画像は、撮影画角から被写体を中心に切り出した記録画像１０１４とする。
【００７３】
次に、撮像装置１００の正面方向からの被写体１００２の位置のずれ量に応じて、収音装置１２６の指向性の方向を下記の通り制御する（Ｓ３１０）。
【００７４】
図１０（ｃ）のように収音装置１２６の指向性の方向を音源である被写体１００２の方向に向けることで、被写体１００２の音圧を低下させることなく収音する。。
【００７５】
処理Ｓ２０８、Ｓ２１０、Ｓ２１２については実施の形態１と同じであるので、説明を省略する。
【００７６】
上記、Ｓ２００からＳ２１２の処理を取得された画像と音声毎に繰り返し処理し記録し、動画を生成する。
【００７７】
上記説明してきたとおり、本発明の第２の実施の形態では、画面上の主被写体の位置と、撮像レンズ１０２の焦点距離に基づき、指向性制御手段１３０で音声の指向性の方向を制御することで、記録画像上で正面に音源である主被写体がいない場合においても、入力音声を適正な音圧で記録できる。
【００７８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００７９】
１００  撮像装置、１０２  撮像レンズ、１２０  焦点距離検出手段、
１２２  ぶれ検出手段、１２６  収音手段、１２８  音声信号処理手段、
１３０  指向性制御手段
【図１】
2020010171.tif 000003
【図２】
2020010171.tif 000004
【図３】
2020010171.tif 000005
【図４】
2020010171.tif 000006
【図５】
2020010171.tif 000007
【図６】
2020010171.tif 000008
【図７】
2020010171.tif 000009
【図８】
2020010171.tif 000010
【図９】
2020010171.tif 000011
【図１０】
2020010171.tif 000012