(57)【要約】      （修正有）【課題】ぶれ量が大きいカメラでも、撮影画像の被写体音声を適正な音圧で収音することができる撮像装置を提供する。【解決手段】撮像装置は、２つ以上のマイクを含む収音手段と、マイクで収音された音声の指向性を制御する指向性制御手段と、レンズの焦点距離を検出する焦点距離検出手段と、ぶれ検出手段とを有する。指向性制御手段は、レンズ焦点距離が長いほどマイクの指向性を狭め、かつ、ぶれ検出量が大きいほど指向性を広げる。【選択図】図１
2019201273.tif 000002
【特許請求の範囲】
【請求項１】
２つ以上のマイクを含む収音手段と、
マイクで収音された音声の指向性を制御する指向性制御手段と、
レンズの焦点距離を検出する焦点距離検出手段と、
ぶれ検出手段とを有し、
前記指向性制御手段は、レンズ焦点距離が長いほどマイクの指向性の幅を狭めかつ、
ぶれ検出量が大きいほど指向性の幅を広げる
ことを特徴とする撮像装置。
【請求項２】
前記ぶれ検出量を基にぶれ補正量を算出しぶれ補正するぶれ補正手段を更に有し、
前記指向性制御手段は、前記ぶれ補正量が大きいほど収音手段の指向性の幅を広げる
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記指向性制御手段は、
前記２つのマイクを結ぶ線分と、撮像装置の正面方向軸とに直交する軸回り回転のぶれ検出量が多いほど、前記収音手段の指向性をより広げる
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記指向性制御手段は、
前記ぶれ検出手段により検出されたぶれ量の成分が、前記２つのマイクを結ぶ線分に平行な軸方向、または撮像装置の正面方向軸回りの回転である場合には、前記収音手段の指向性の変化量を小さくする
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
撮像装置と被写体の距離を算出する被写体距離算出手段を更に有し、
前記指向性制御手段は、
前記ぶれ検出手段が検出したぶれ量の成分が、前記２つのマイクを結ぶ線分に平行な方向、または前記線分と撮像装置の正面方向軸とに直交する方向である場合には、前記被写体距離が近いほど指向性を広げる
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記ぶれ補正手段は、
前記検出したぶれを抑制するようにレンズを駆動すること、または前記検出したぶれを抑制するように撮像素子を駆動すること、または前記検出したぶれを抑制するように記録画像を幾何変形することのいずれか１つ以上の処理を実施する
ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
撮影画像から被写体の撮像面上の位置を検出する被写体検出手段を更に有し、
前記指向性制御手段は、前記検出された被写体の位置と前記収音装置の向く方向とのずれが大きいほど前記収音装置の指向性を広げる
ことを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特にぶれ量が大きい場合においても、撮影画像の被写体音声を適正な音圧で収音する撮像装置に関するものである。
【背景技術】
【０００２】
従来より、望遠撮影時は狭い撮影画角に合わせてカメラのマイクの指向性を狭め、ステレオ感を弱める方法が提案されていた。
【０００３】
例えば、特許文献１では、マイクの指向特性と、ビデオカメラの振れ角、ズーム角を連動させ、収音性能を向上させる方法が開示されている。また、特許文献2では、ゆれを検出して、ゆれが小さきときはマイクを指向性にし、ゆれが大きいときはノイズの影響を受けにくい無指向性にする方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平10-155107号公報
【特許文献２】WO07/099908号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された従来技術は、電動パンチルトズームを備えた備え付けのビデオカメラを対象にしており、ぶれ検出量やぶれ補正量に応じたマイクの指向特性の制御は実施していないため、手持ち撮影で手ぶれ量や手ぶれ補正量が大きいときには収音音圧に変動が生じてしまう。
【０００６】
また、上述の特許文献２に開示された従来技術は、検出した揺れの大きさに応じて、マイクの指向性を切り替えるが、焦点距離の変化に伴い画角が変化することを考慮していない。そのため、手持ち撮影で手ぶれ量や手ぶれ補正量が大きいときには、撮影画像画角とマイクの指向性に差異が生じてしまう。
【０００７】
そこで、本発明の目的は、撮像装置の焦点距離を変更したり、ぶれが発生している際にも、被写体音声を適切な音圧で収音することを可能にした撮像装置を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、
２つ以上のマイクを含む収音手段と、
マイクで収音された音声の指向性の幅を制御する指向性制御手段と、
レンズの焦点距離を検出する焦点距離検出手段と、
ぶれ検出手段とを有し、
前記指向性制御手段は、レンズ焦点距離が長いほどマイクの指向性の幅を狭めかつ、
ぶれ検出量が大きいほど指向性の幅を広げる
ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、焦点距離が長く、ぶれ量が大きいカメラでも、撮影画像の被写体音声を適正な音圧で収音することができる機能を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態の撮像装置１００を構成するブロック図である。
【図２】本発明の第１の実施の形態の全体処理フローを説明する図である。
【図３】本発明の第２の実施の形態の全体処理フローを説明する図である。
【図４】本発明の実施の形態の撮像装置１００と収音手段１２６の位置関係を示す図である。
【図５】本発明の実施の形態のレンズの焦点距離と撮像装置１００のぶれ量と、制御される収音の指向性の幅の関係を示した図である
【図６】本発明の実施の形態の動きベクトル算出を説明する為の図である。
【図７】本発明の実施の形態の位置合わせ変換係数算出を説明する為の図である。
【図８】本発明の実施の形態の焦点距離と収音の指向性の関係を示す図である。
【図９】本発明の実施の形態のぶれ補正時の収音の指向性と音源の関係を示す図である。
【図１０】本発明の実施の形態の被写体位置に応じた画角切り出し記録時の指向性制御を説明する図である。
【発明を実施するための形態】
【００１１】
［実施例１］
本発明の第１の実施の形態では、撮像装置１００は、ぶれ検出手段１２２で検出したぶれ量と撮像レンズ１０２の焦点距離に基づき、収音手段１２４において収音された入力音声を、指向性制御手段１３０で音声の指向性の幅を制御することで、撮像装置１００にぶれが発生している場合においても、入力音声を適正な音圧で記録できる構成を有する。
【００１２】
以下、図１を参照して、本発明の第１の実施の形態による音声信号処理の構成について説明する。図１は、本発明の第１の実施の形態にかかわる構成図である。
【００１３】
撮像レンズ１０２は、撮影像を光学的に撮像素子１０４上に結像させる。撮像素子１０４は、その撮影像をアナログの電気信号に変換する。また、撮像素子１０４は複数の色フィルタを有する。また、撮像素子１０４は、後述するぶれ補正手段１２４により駆動され、ブレを抑制するよう移動できる。Ａ／Ｄ変換器１０６は、この撮像素子１０４から出力されるアナログ信号をデジタル信号に変換する。
【００１４】
制御手段１０８は、画像信号処理手段１１０、記憶手段１１２、焦点距離検出手段１２０、ぶれ検出手段１２２、ぶれ補正手段１２４、収音手段１２６、音声信号処理手段１２８、指向性制御手段１３０の間の処理フロー制御を行う。画像信号処理手段１１０は、フレーム画像に対して、同時化処理、ホワイトバランス処理、γ処理、ＮＲ処理等の画像信号処理や被写体検出処理を行う。記憶手段１１２は、フレーム画像を記憶したり、音声信号処理手段１２８で処理された音声信号を記憶したりする。
【００１５】
焦点距離検出制御手段１２０は、撮像レンズ１０２の位置から現在の焦点距離を検出したり、制御手段１０８からの制御信号に基づき撮像レンズ１０２を駆動し焦点距離を変更したりする。ぶれ検出手段１２２は、角速度を検出するジャイロセンサ、加速度センサ、地磁気センサのいずれか1つ以上を有し、撮像装置１００のぶれを検出する。また、撮影した画像の動きベクトルを検出し、その動きベクトルから画像間のぶれを検出する。
【００１６】
ぶれ補正手段１２４は、ぶれ検出手段１２２で検出したぶれ量、ぶれ成分に基づき、撮像装置１００のぶれを抑制するようなぶれ補正量を算出する。算出したぶれ補正量に基づき、撮像レンズ１０２や撮像素子１０４を駆動する。あるいは、算出したぶれ補正量に基づき、画像を幾何変形する。
【００１７】
収音手段１２６は、例えばコンデンサマイクのように音圧を電荷に変換する素子と、電荷に対応したアナログ電圧をデジタル値に変換するＡ／Ｄ変換器からなり、撮像装置１００の外部から入力される音声を収音する。また、収音手段１２６は、マイクを２つ以上有する。
【００１８】
続いて、図２の処理フロー図を用いて、本実施例の処理フローについて説明する。まず、画像と音声の取り込みを行う（Ｓ２００）。
【００１９】
画像取り込みは、Ａ／Ｄ変換器１０６から出力されるデジタル画像信号を記憶手段１１２に記憶することで行われる。記憶した画像に対し画像信号処理手段１１０で同時化処理、ホワイトバランス処理、γ処理、ＮＲ処理等の処理を施し、記憶手段１１２に再度記憶する一連の処理を行うことで実施される。音声取り込みは画像取り込みと同時に実施され、収音手段１２６で収音した音声を記憶手段１１２に記憶することで行われる。
【００２０】
次に、焦点距離検出手段１２０が撮像レンズ１０２の焦点距離を検出する（Ｓ２０２）。画像取り込み中かつ音声取り込み中の期間に、撮像装置１００に付属する撮像レンズ１０２の焦点距離を検出する（ステップＳ２０２）。コンパクトデジタルカメラのように撮像装置１００に撮像レンズ１０２がくくり付けられている場合は、撮影者の操作に応じて、制御手段１０８からの制御信号を生成し、焦点距離検出制御手段１２０を用いて撮像レンズ１０２を駆動して焦点距離を制御することが一般的である。その場合には、撮像レンズ１０２の焦点距離は制御手段１０８にとって既知であるため、この処理ステップＳ２０２は必須ではない。
【００２１】
次に、ぶれ検出手段１２２において撮像装置１００の撮影時のぶれを検出する。ぶれ検出手段１２２は、少なくともジャイロセンサに代表される図示しない慣性センサを内部に含み、撮像装置１００のぶれを検出する。なお、ジャイロセンサ以外に加速度センサ、地磁気センサなどの他のセンサを含んでいてもよい。または、ぶれ検出手段１２２において、撮影画像フレーム間の動きベクトルを検出して、フレーム間のぶれを検出してもよい。
【００２２】
ここで、動きベクトルの検出手段と、検出した動きベクトルからブレを抑制するような幾何変形係数を算出する方法ついて説明する。動きベクトルの算出方法は種々あるが、本実施例では画像のテンプレートマッチングを用いる。テンプレートマッチングの方法について図６を用いて以下に説明する。
【００２３】
基準画像である画像６００の所定位置をテンプレート領域６０１として設定し、テンプレート領域毎に動きベクトル算出手段１１０を用い、画像６００と画像６１０の位置ずれ量を表す動きベクトルを算出する。テンプレートマッチングでは、テンプレート領域６０１を画像６１０上で走査し、類似度が最も高い走査位置を動きベクトルとして算出する。類似度の評価としては、ＳＡＤ（差分絶対値和。Ｓｕｍ Ｏｆ Ｄｉｆｆｅｒｅｎｃｅ）を用いる。テンプレート領域内の画素値の差分絶対値和が最も小さくなる位置をそのテンプレート領域における動きベクトルとする。
【００２４】
基準画像である画像６００のテンプレート領域はテンプレート領域６０１だけではなく、点線で囲まれた合計１２領域存在し、それぞれの領域毎に上記動きベクトル算出処理を行い動きベクトルをテンプレート領域毎に算出する。ただし、テンプレート領域６０２のように低コントラストの領域は、精度の高い動きベクトルが算出できないため動きベクトル算出の対象から除外する。結果として、画像６００上に図示した通り、画像６００と画像６１０の間では７つの動きベクトルが算出される。
【００２５】
ここで、動きベクトルを用いたフレーム間のぶれ量検出の方法について以下に述べる。本実施例では、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ ）アルゴリズムに基づく方法を用いて算出する。その方法を図７のフローチャートを用いて説明する。
【００２６】
まず、算出されたＮ個の動きベクトルからｕ個をランダムに選択する（Ｓ７００）。次に最小二乗法で位置合わせ変換係数Ｈを算出する（Ｓ７０２）。位置合わせ変換係数としては、例えば射影変換係数を用いる。ただし、位置合わせ変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した位置合わせ変換係数を用いてもよい。
【００２７】
算出された位置合わせ変換係数Ｈを用いて、最初に選択されなかったＮ−ｕ個の動きベクトルに対応するテンプレートの中心座標位置の画素を座標変換し、その座標と算出された動きベクトルとの距離差分をＮ−ｕ個分だけ積算し、その位置合わせ変換係数Ｈにおける誤差として算出する（Ｓ７０４）。なお、距離差分としてマンハッタン距離やユークリッド距離を用いる。Ｓ７００からＳ７０４までの処理を所定回数繰り返し（Ｓ７０６）、誤差が最も小さい位置合わせ変換係数Ｈを仮の位置合わせ変換係数Ｈとして設定する（Ｓ７０８）。
【００２８】
仮の位置合わせ変換係数Ｈを用いて、Ｎ個の動きベクトルに対応するテンプレートの中心座標位置の画素を座標変換し、その座標と算出された動きベクトルとの距離差分が閾値以下の動きベクトルを選択する。また、距離差分が閾値以下である距離差分の和も最終誤差値として保持しておく。最後に、選択された動きベクトルを用いて、最小二乗法を用いて最終的な位置合わせ変換係数Ｈを決定する（Ｓ７１２）。
【００２９】
次に、ぶれ補正手段１２４は、ぶれ検出手段１２２で検出したぶれ量、ぶれ成分に基づき、ぶれ補正量を決定し、撮像装置１００のぶれを抑制するようなぶれ補正を行う。ぶれ補正手段１２４は、撮像レンズ１０２や撮像素子１０４を駆動する。あるいは、算出したぶれ補正量に基づき、位置合わせ変換係数Ｈを用いて、画像を幾何変形する。
【００３０】
本実施例では、ぶれ成分とは、回転3軸の回転角度と、平行移動3方向の移動距離を表す。
【００３１】
ぶれ補正は、ぶれ成分毎に撮像レンズ１０２、撮像素子１０４、画像の幾何変形のいずれか１つ以上で実施する。例えば、撮像レンズ１０２の光軸周りの回転ぶれは、撮像レンズ１０２ではぶれ補正できないため、撮像素子１０４を駆動したり、画像の幾何変形でぶれ補正を実施する。
【００３２】
次に、検出したぶれ量に基づき収音手段１２６の指向性の幅を制御する（Ｓ２１０）。指向性の幅は、下記式１、２で制御する。Ｌは収音装置１２６の左側のマイク（図４の収音マイク４０２）で収音された音声、Ｒは収音装置１２６の右側のマイク（図４の収音マイク４０４）で収音された音声である。Ｌ１は左側のマイクの指向性の幅を制御した記録音声、Ｒ１は右側のマイクの指向性の幅を制御した記録音声である。αは指向性の幅を制御するパラメータで、１に近いほど指向性の幅が広く、値が１から大きくなるほど指向性の幅が狭くなる。
Ｌ１ = （（Ｌ＋Ｒ） ＋ α(Ｌ−Ｒ)）÷２          （式１）
Ｒ１ = （（Ｌ＋Ｒ） − α(Ｌ−Ｒ)）÷２          （式２）
ただし、１≦α
【００３３】
指向性制御手段１３０は、収音装置１２６の指向性の幅を、撮像レンズ１０２の焦点距離と、ぶれ検出手段１２２で検出したぶれ成分毎のぶれ量に基づいて制御する。焦点距離と指向性の幅の関係は、図8に示したように望遠であるほど指向性の幅を狭くして、記録される画像の画角外の音圧を弱める。また、ぶれ量と指向性幅の関係は、図９に示したようにぶれ量が大きいほど、ぶれ補正して記録された画像の正面方向と、撮像装置１００の正面方向、つまり収音手段１２６の正面方向の向きがずれるので、収音の指向性の幅を広くして収音手段の正面以外の方向の音も記録するように制御する。
【００３４】
次にぶれ成分と指向性制御について以下に説明する。図4に示すように撮像レンズ１０２の光軸と平行に収音装置１２６の２つのマイクを設置した撮像装置１００を例に説明する。撮像装置１００がピッチ方向回転、ロール方向回転した場合は、正面にいる音源である被写体は、実際に撮像装置100の正面に居て、かつ記録される画像の中央に記録されるので、収音装置１２６の指向性の幅を変更する必要がない。しかし、撮像装置１００がヨー方向回転した場合には、正面にいる音源である被写体は、撮像装置１００の正面に居ないにもかかわらず、ぶれ補正されて記録される画像の中央に記録される。従って、指向性の幅を広げて、撮像装置１００の正面に居ない被写体の音声レベルが、正面に居たときの音声レベルと差異が小さくなるようにする。
【００３５】
さらに、撮像装置１００と被写体１００２の間の距離を検出し、距離に応じて収音手段１２６の指向性の幅を制御してもよい。撮像装置１００を手で保持し、マクロ撮影のように被写体に近接して撮影する場合、手ぶれの成分は回転成分よりも平行移動成分が支配的になる。そのため、被写体距離が近く、検出したぶれ量の平行移動成分（図４のＸ成分、Ｙ成分）が多いほど、収音手段の指向性をより広げてもよい。焦点距離とぶれ量に対する、指向性の幅の関係をまとめて図５に示す。
【００３６】
なお、撮像装置１００と被写体１００２の間の距離の算出方法は、例えば撮像系を２つ有し、２つの撮影画像の視差と撮像系の光軸のずれの量を用い、三角測量の原理に基づき距離を検出するステレオ測距を用い距離を検出する。また、被写体距離の検出方法は上記方法に限定されず、撮像装置１００は図示しない光源を有し、その光源から出た光が対象物で反射しセンサに届くまでの光の飛行時間(遅れ時間)と光の速度から被写体距離を算出するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈ）法や、複数枚のデフォーカス画像のボケ量から領域毎に距離を算出するＤＦＤ（Ｄｅｐｔｈ  Ｆｒｏｍ  Ｄｅｆｏｃｕｓ）法などの方法を用いてもよい。あるいは、撮像素子１０４上の各画素を、マイクロレンズ下で左右２つの画素に分割し、左画素と右画素の被写体像の位相差を基に距離を算出する方法を用いてもよい。
【００３７】
最後に、音声信号処理手段１２８で、ノイズキャンセル処理や風雑音低減処理等の音声信号処理を行い、記憶手段１１２に適正な音圧の音声信号を記憶する (ステップＳ２１２)。
【００３８】
上記、Ｓ２００からＳ２１２の処理を取得された画像と音声毎に繰り返し処理し記録し、動画を生成する。上記説明してきたとおり、本発明の第１の実施の形態では、焦点距離が長く、ぶれ量が大きいカメラでも、撮影画像の被写体音声を適正な音圧で収音することができる機能を提供することができる。
【００３９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００４０】
［実施例２］
本発明の第２の実施の形態では、音源である主被写体の撮像面上の位置を検出し追尾し、主被写体を画像中心付近に捉えた画角に切り出して記録する。つまり、第１の実施の形態は撮像装置１００のぶれを検出していたが、第２の実施の形態では、ぶれの代わりに画面上の主被写体の位置を使用する。画面上の主被写体の位置と、撮像レンズ１０２の焦点距離に基づき、指向性制御手段１３０で音声の指向性の幅を制御することで、記録画像上で正面に音源である主被写体がいない場合においても、入力音声を適正な音圧で記録できる構成を有する。
【００４１】
ここで、図１で示される構成は実施例１と同様なので説明を省略する。処理についても実施例１と同様の処理は説明を省略する。
【００４２】
図３は、本発明の第２の実施の形態に関わる画像処理装置の全体処理を示すフローチャートである。以下、図１、３を参照して、本発明の第２の実施の形態における音声信号処理について説明する。処理Ｓ２００、Ｓ２０２については実施の形態１と同じであるので、説明を省略する。
【００４３】
次に、撮影された画像から被写体の位置を検出する（Ｓ３０４）。図１０（ａ）は１フレーム前の撮影画像であり、図１０（ｂ）は現在のフレームの撮影画像である。図１０（ａ）から図１０（ｂ）に時間が経過した間に被写体１００２が、撮像装置１００から見て左に移動している。被写体１００２の移動量は、例えば領域内の差分絶対値和を用いたテンプレートマッチングで算出する。具体的には、領域１００６をテンプレートとし、現在の撮影画像１０１０上でテンプレートを走査し、領域内の差分絶対値和が最も小さくなる領域１０１６を被写体１００２の位置として算出する。
【００４４】
処理Ｓ３０４で算出された被写体１００２の領域１０１６を中心に現在のフレームの記録画角１０１４を決定する。本実施例では、記録画像は、撮影画角から被写体を中心に切り出した記録画像１０１４とする。
【００４５】
次に、撮像装置１００の正面方向からの被写体１００２の位置のずれ量に応じて、収音装置１２６の指向性の幅を下記の通り制御する（Ｓ３１０）。
【００４６】
図１０（ｃ）のように収音装置１２６の指向性の幅が狭く制御している場合には、音源である被写体１００２に対する指向性は、撮像装置１００の正面の感度１０２４に対して、感度１０２２になり弱まるため、被写体を撮像装置１００の正面で捉えた場合に対して、音圧が低下してしまう。これに対し、図１０（ｄ）のように収音装置１２６の指向性の幅を広く制御している場合には、音源である被写体１００２に対する指向性は、撮像装置１００の正面の感度１０３４に対して、感度１０３２の差は小さいため、被写体を撮像装置１００の正面で捉えた場合と同等の音圧で記録できる。処理Ｓ２０８、Ｓ２１０、Ｓ２１２については実施の形態１と同じであるので、説明を省略する。
【００４７】
上記、Ｓ２００からＳ２１２の処理を取得された画像と音声毎に繰り返し処理し記録し、動画を生成する。
【００４８】
上記説明してきたとおり、本発明の第２の実施の形態では、画面上の主被写体の位置と、撮像レンズ１０２の焦点距離に基づき、指向性制御手段１３０で音声の指向性の幅を制御することで、記録画像上で正面に音源である主被写体がいない場合においても、入力音声を適正な音圧で記録できる。
【００４９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５０】
１００・・・撮像装置
１０２・・・撮像レンズ
１２０・・・焦点距離検出手段
１２２・・・ぶれ検出手段
１２６・・・収音手段
１２８・・・音声信号処理手段
１３０・・・指向性制御手段
【図１】
2019201273.tif 000003
【図２】
2019201273.tif 000004
【図３】
2019201273.tif 000005
【図４】
2019201273.tif 000006
【図５】
2019201273.tif 000007
【図６】
2019201273.tif 000008
【図７】
2019201273.tif 000009
【図８】
2019201273.tif 000010
【図９】
2019201273.tif 000011
【図１０】
2019201273.tif 000012