(57)【要約】【課題】画面が描画されにくい暗闇においても、簡便かつ迅速に特定の被写体の音声のみを強調して録音する撮像装置を提供する。【解決手段】光センサ５００である赤外線センサが、被写体のそれ自身の温度に応じて異なる周波数の赤外線が放射される遠赤外線を検知し電気信号に変換して中央制御部４００に出力する。中央制御部４００は、光センサ５００である赤外線センサの出力と、顔検出結果と、操作部３０６である光透過部材で構成されたタッチパネルでのユーザ入力と、により音声入力の方向を検出し、その方向に基づきマイクロホン１０９１，１０９２の指向性の重み付け処理を行う。【選択図】図２
2015032853.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも撮像素子と撮像光学系からなる撮像手段と、
前記撮像手段により撮像される画像の方向の赤外光を検出する光センサと、
前記撮像手段により撮像された画像を表示する表示手段と、
前記表示手段に表示された画像の目的とする位置を指示する指示入力手段と、
前記光センサにより検出された位置と前記指示入力手段により指示した位置とから実際の画像の方向を判別する判別手段と、
前記撮像手段により撮像される画像の方向の音響を複数のマイクロホンにより取得する収音手段と、
前記判別手段により判別された方向の音声を前記収音手段により生成する指向性音声生成手段
を有することを特徴とする撮像装置。
【請求項２】
前記指示入力手段は光透過部材で構成されていて、前記表示手段の表示面に重ねて配設されていることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記指向性音声生成手段は前記収音手段の複数のマイクロホンよりの出力に夫々可変遅延手段と、前記可変遅延手段の出力を加算する演算手段を設け、前記演算手段の出力は前記判別手段よりの方向にレベルが最大化するように前記可変遅延手段の遅延量を可変することを特徴とする請求項１または請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像の表示及び収音された音響の処理を行う撮像装置に関する。
【背景技術】
【０００２】
近年のビデオカメラやデジタルカメラのような携帯型の画像／音声記録再生装置では、撮像モニタ用途としてパネル型のファインダーを備える場合がほとんどである。これは従来型の機器内蔵型ファインダー（いわゆる接眼レンズを通して覗く、ビューファインダー）と比較して、離れていても容易に画像が確認できるため視認性がよく、ユーザに受け入れられているためである。
【０００３】
ところで上記画像／音声記録再生装置においてこのパネル型ファインダーが、各種操作キーの入力デバイスを兼ねている機器があり、特にパネルのディスプレイ面上を直接に指やペンで触れることにより、表示された画像や、アイコンなどを選択することで情報を入力することができ、これらは例えばタッチパネルとよばれている。
【０００４】
このようなビデオカメラにおいて、撮像中の画像のうち、タッチパネルで指定した、あるいは画像中の人物の顔を検出して、その指定あるいは検出した特定の画像について、簡便かつ迅速に指定された特定の被写体の音声のみを強調して録音することができる撮像装置が提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１９３１９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、画面が描画されにくい暗闇などでは、顔検出機能がうまく動作できず、またユーザにおいても方向を特定することができないため、画像を特定することが困難となり、簡便かつ迅速に特定の被写体の音声のみを強調して録音することができないという問題があった。
【０００７】
そこで本発明は、このような課題に鑑み、画面が描画されにくい暗闇においても、簡便かつ迅速に特定の被写体の音声のみを強調して録音することが可能な撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
少なくとも撮像素子と撮像光学系からなる撮像手段と、
前記撮像手段により撮像される画像の方向の赤外光を検出する光センサと、
前記撮像手段により撮像された画像を表示する表示手段と、
前記表示手段に表示された画像の目的とする位置を指示する指示入力手段と、
前記光センサにより検出された位置と前記指示入力手段により指示した位置とから実際の画像の方向を判別する判別手段と、
前記撮像手段により撮像される画像の方向の音響を複数のマイクロホンにより取得する収音手段と、
前記判別手段により判別された方向の音声を前記収音手段により生成する指向性音声生成手段
を有することを特徴とする撮像装置。
【発明の効果】
【０００９】
本発明によれば、画面が描画されにくい暗闇においても、簡便かつ迅速に特定の被写体の音声のみを強調して録音することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１にかかる撮像装置１の外観図である。
【図２】実施の形態１にかかる撮像装置１の内部構成を示すブロック図である。
【図３】ステレオマイクロホンの指向性について示す説明図である。
【図４】モノラルマイクロホンの指向性について示す説明図である。
【図５】外部超指向性マイクロホンの指向性について示す説明図である。
【図６】実施の形態１にかかる撮像装置１のマイクロホンの指向性について示す説明図である。
【図７】実施の形態１にかかる撮像装置１の指向性選択画面について示す説明図である。
【図８】実施の形態１にかかる撮像装置１の指向性選択画面について示す説明図である。
【図９】複数のマイクロホンによる処理について示す説明図である。
【発明を実施するための形態】
【００１１】
＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。本実施の形態にかかる撮像装置１は、動画像及び静止画像を撮像することができる。撮像装置１の外観斜視図を図１に示す。
【００１２】
図１は、本実施の形態に係る撮像装置１の全体的な構成を示す外観図である。以下、説明の明確化のため、図に示すようなｘｙｚ直交座標系を用いて説明を行う。
【００１３】
ここでは、ｘ軸が、撮像装置１の前後方向を示し、ｙ軸が撮像装置１の上下方向（鉛直方向）を示し、ｚ軸が撮像装置１の左右方向（横方向、幅方向）を示している。すなわち、ｘ方向が、撮像装置１に設けられたレンズの光軸に平行な方向であり、ｙ方向、及びｚ方向が撮像装置１に設けられたレンズの光軸と垂直な方向である。さらに、撮像装置１を把持するユーザを基準に方向を特定する。すなわち、＋ｘ側が後方側（レンズ鏡筒の開口部側の反対側）、−ｘ側が前方側（レンズ鏡筒の開口部側）、＋ｙ側が上方側、−ｙ側が下方側、＋ｚ側が左側、−ｚ側が右側とする。もちろん、上記の方向は、相対的なものであり、撮像装置１の向きに応じて変化する。
【００１４】
図１では、人間の手で把持可能なハンディタイプの撮像装置１を図示しているが、当該撮像装置１は建物や住居の壁面に固定することも可能である。撮像装置１のレンズ鏡筒の開口部側下部には、Ｌｃｈ用マイクロホン１０９２、Ｒｃｈ用マイクロホン１０９１が備えられている構成を例にとり説明する
【００１５】
次に撮像装置１の内部構成について説明する。図２は、本実施の形態にかかる撮像装置１の内部構成を示すブロック図である。撮像装置１は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４で構成される撮像部１００を有する。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。同様に、フォーカスレンズ１０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り１０３は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子１０４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成される。
【００１６】
撮像装置１を用いた撮像は以下の手順で行われる。撮像素子１０４は、ズームレンズ１０１、フォーカスレンズ１０２、及び絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。アナログ画像信号処理部１０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部１０６が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ１０７は、画像Ａ／Ｄ変換部１０６から出力されたデジタル画像データを撮像データとして取り込んで、バス２００を介してメインメモリ２０５に格納する。
【００１７】
デジタル信号処理部１０８は、バス２００を介して中央制御部４００からの指令に基づき、メインメモリ２０５に格納された撮像データを取り込み、ＲＧＢ信号に対して、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、歪み補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
【００１８】
音声信号の処理について説明するが、説明を簡素化するため、複数のマイクロホンはブロック図として、マイクロホン１０９を備えたものとして説明する。マイクロホン１０９は撮像時の周囲の音声を収音し、アナログ音声信号を生成する。アナログ音声信号処理部１１０がそのアナログ音声信号を増幅した後、音声Ａ／Ｄ変換部１１１が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ１１２は、音声Ａ／Ｄ変換部１１１から出力されたデジタル音声データを撮像データと併せてメインメモリ２０５に格納する。アナログ音声信号処理部１１０の詳細な動作については後述する。
【００１９】
多重化部１１３は、メインメモリ２０５に格納された撮像データ及びデジタル音声データの圧縮データを多重化しストリームデータを生成する。また、多重化部１１３は、カード型記録媒体３０２に格納されたストリームデータに逆多重化処理を施し、映像の圧縮データと音声の圧縮データをそれぞれ分離して生成する。
【００２０】
圧縮・伸長処理部２０１は、バス２００を介して中央制御部４００からの指示に従い、メインメモリ２０５に格納された撮像データ及びデジタル音声データに所定の圧縮処理を施し、圧縮データを生成する。また、圧縮・伸長処理部２０１は、中央制御部４００からの指令に従い、カード型記録媒体３０２等に格納された映像の圧縮データ及び音声の圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。なお、本実施の形態の撮像装置１では、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画像に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。
【００２１】
音声・画像処理部２０２は、バス２００を介して中央制御部４００の指示に従い、メインメモリ２０５から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やＯＳＤ画像等、各種処理のための画像データを生成し、その画像データをメインメモリ２０５から読み出されたオリジナルの撮像データに重畳させて液晶モニタ３０４に出力する。この出力によって、液晶モニタ３０４に表示される画像は各種画像データが合成されたものとなる。なお、液晶モニタ３０４の代わりに有機ＥＬ（Electro-Luminescence）モニタ等の他のモニタを用いることも可能である。
【００２２】
ＲＯＭ２０３は、バス２００を介して中央制御部４００に接続されており、中央制御部４００が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ２０４は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。例えば、撮像装置１は、様々な撮像のシチュエーションに応じて、いくつかの撮像モードと、各モードにあわせた撮像条件の設定を予めフラッシュＲＯＭ２０４に記憶している。そして、ユーザは撮像を開始する前に、各モードの中から最適なモードを選択することにより、最適な撮像条件で撮像を実施することができる。例えば、特定の人物の撮像に適した「ポートレートモード」、運動会等の撮像に適した「スポーツモード」、又は夜景等の暗い場所の撮像に適した「夜景モード」等である。
【００２３】
メインメモリ２０５は、撮像データ（動画像及び静止画）の一時記憶領域として使用される。メインメモリ２０５は、中央制御部４００の指令に応じて、保持している多重化されたストリームデータをカード型記録媒体３０２に格納する。また、メインメモリ２０５は、中央制御部４００が参照する各種データを保持する。
【００２４】
メディア制御部２０６は、中央制御部４００の指令に従い、カードＩ／Ｆ３０１を通じてカード型記録媒体３０２へのデータの書き込みやデータの読み出しを制御する。カード型記録媒体３０２はＳＤカードやコンパクトフラッシュ（登録商標）等の外部メモリであり、撮像装置１に対して脱着可能に設けられている。
【００２５】
ジャイロセンサ２０７は、３軸の加速度及び角速度の変化を検出し、撮像装置１のパンチルト量や上下及び左右の手ぶれ量を検出する。時計２０８は、撮像データの生成日時の情報を生成する。
【００２６】
液晶モニタ３０４、スピーカ３０５、操作部３０６及び入出力端子３０７は入出力Ｉ／Ｆ３０３に接続されている。液晶モニタ３０４は、例えばメインメモリ２０５に一時記録された撮像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。スピーカ３０５は、例えばメインメモリ２０５に一時記録された音声を出力する。操作部３０６は、上記のように、レリーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ３０４上に重畳された光透過部材からなるタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。入出力端子３０７は、パンチルト動作が可能な雲台やテレビモニタ、ＰＣ（Personal  Computer）等に接続される。
【００２７】
無線モジュール３０９は、バス２００及び無線Ｉ／Ｆ３０８を介して、操作端末との間で信号の送受信を行う。具体的には、無線モジュール３０９は、Ｗｉ−Ｆｉ等の無線ＬＡＮ規格に準拠した通信処理を行う。これにより、操作端末との通信が可能になる。
【００２８】
中央制御部４００は、ＣＰＵ、各種プログラムが格納されたＲＯＭ、及びワークエリアとしてのＲＡＭ等を含む半導体集積回路により構成され、撮像、各種画像の表示、及び連携撮像に関する情報の送受信等の撮像装置１全体の処理を統括的に制御する。
【００２９】
光センサ５００は、撮像装置１の例えば、レンズ鏡筒の開口部近傍等撮像環境の光を検出できる場所に設けられている。光センサは、赤外領域の光を受光し電気信号に変換して、必要な情報を取り出して応用するいわゆる赤外線センサである。光センサ５００の検出域は、撮像装置１の撮像可能範囲すなわち、ズームレンズ１０１のワイド端と同じ画角かそれより広い範囲であるものとする。
【００３０】
光センサ５００である赤外線センサが、赤外領域の光を受光し（熱を感知して）電気信号に変換して中央制御部４００に出力する。中央制御部４００は、光センサ５００である赤外線センサの出力と、後述する顔検出結果と、操作部３０６である光透過部材で構成されたタッチパネルでのユーザ入力と、により音声入力の方向を検出し、その方向に基づきマイクロホン１０９１，１０９２の指向性の重み付け処理を行う。
【００３１】
あらゆる物体はそれ自身の温度によった遠赤外線を出している、いわゆる HYPERLINK "http://ja.wikipedia.org/wiki/%E9%BB%92%E4%BD%93%E6%94%BE%E5%B0%84" \o "黒体放射" 、黒体放射である温度に応じて異なる周波数の赤外線が放射される行うため、赤外線センサは、光源がない場所でも目標を検出することが可能となる。
【００３２】
中央制御部４００は、撮像された画像より顔を検出する顔検出機能を備えている。これは、人の顔の特徴を検出することにより、撮像した画像の中に顔を検出する回路であり、周知の方法を用いるものとする。顔の特徴に限らず、特定物、たとえばペットの様態や建物の特徴等、検出できる特徴があれば、特定のもの、あるいは、登録した画像と特徴量が似たものを検出できる機能をもたせてもよい。この、顔検出回路は、本実施の形態の中央制御部４００であるＣＰＵに内蔵させてもよいし、別の回路ブロックとして独立したブロックをもたせてもよい。
【００３３】
図３を用いて、ステレオマイクロホンの指向性について説明する。同図に示すように、通常ステレオマイクロホンによる録音は、平均化した指向性パターンが主であり、遠くも近くも平均して音声が収録される。上述のように、撮像装置の筐体内にＲｃｈ用マイクロホン１０９１、Ｌｃｈ用マイクロホン１０９２の２つのマイクロホンを配置しステレオ音声を記録する場合には、マイクロホン間の距離が近くなる。そのため、収録する音声信号のうち、特に低周波数分については、両ｃｈの差はほとんどなく、高周波数になるにつれて、音源と２つのマイクロホンとの位置に応じた、本来のステレオ成分の差が存在する。
【００３４】
図４を用いて、モノラルマイクロホンの指向性について説明する。同図に示すように、通常モノラルマイクロホンによる録音は、指向性がある特定方向に固定（正面）され変化は強弱のみになる。
【００３５】
そこで、指向性を確保し、特定の被写体の音声を録音するためには、図５に示すように、を使用すること行われている。しかしながら、外部超指向性マイクロホンを使用した場合、指向性は狭くなり特定の対象物の音声が録音可能となるが、常に外部超指向性マイクロホンを操作するのは経験が必要となり、選任のオペレータ等の確保が必要である。そのため、放送用の撮像などではよく用いられる手段となっている。
【００３６】
図６は、実施の形態１にかかる撮像装置１のマイクロホンの指向性について示す説明図である。Ｒｃｈ用マイクロホン１０９１、Ｌｃｈ用マイクロホン１０９２の２つのマイクロホンを配置しステレオ音声を記録する。さらに、Ｒｃｈ用マイク１０９１、Ｌｃｈ用マイクロホン１０９２の２つのマイクロホンの音声信号の遅延量を調整して、各音声信号の位相を合わせ、合成（加算）して被写体方向の音声信号を強調するようにする。
【００３７】
図７，８は、実施の形態１にかかる撮像装置１の指向性選択画面について示す説明図である。液晶モニタ３０４上に重畳された光透過部材からなるタッチパネルから構成されたユーザ操作部３０６で図７に示すように、任意の方向を指定する。あるいは、図８に示すように、中央制御部４００の顔検出機能により、人の顔を検出し、その顔を指定するようにしてもよい。この場合、複数の顔を検出した場合、候補を表示させ、ユーザが選択するようにする。
【００３８】
このとき、中央制御部４００からの光センサ５００である赤外線センサの出力から熱源の位置を検出し、顔検出結果と加味して、図７，８で例示したタッチパネルでのユーザ入力と、により音声入力の方向を検出し、その方向に基づきマイクロホン１０９１，１０９２の指向性の重み付け処理を行う。マイクロホン１０９１，１０９２の出力に夫々可変遅延回路と、この可変遅延回路の出力を加算する演算回路を設け、演算回路の出力を検出した方向にレベルが最大化するように音声入力コントローラ１１２で調整する。
【００３９】
また、一度選択されると、その顔を追尾するように指向性を追従させ変化させる。画面が描画されにくい暗闇においては、中央制御部４００からの光センサ５００である赤外線センサの出力から熱源の位置を検出し、その方向に基づきマイクロホン１０９１，１０９２の指向性の重み付け処理を行う。マイクロホン１０９１，１０９２の出力に夫々可変遅延回路と、この可変遅延回路の出力を加算する演算回路を設け、演算回路の出力を検出した方向にレベルが最大化するように音声入力コントローラ１１２で調整する。
【００４０】
このように構成することで、ステレオマイクロホンとしての音声信号の記録をベースに指向性の向き可変可能な仮想位置での音声信号の記録が、撮像装置の向きを変えることなく行うことができる。
【００４１】
また、Ｒｃｈ用マイクロホン１０９１、Ｌｃｈ用マイクロホン１０９２の２つのマイクロホンの音声のみによる指向性制御も可能であるが、この場合音声信号処理に遅延が発生することが考えられる。実施の形態１にかかる撮像装置１のように構成することでこのような遅延も防ぐことが可能となる。
【００４２】
超指向性マイクロホンは、これまで専任オペレータでの運用が必要であったが、このように構成することで、容易にユーザ一人で運用実現することが可能となる。
【００４３】
さらに、光センサ５００である赤外線センサを付加しその検知範囲を撮像装置１のＷｉｄｅ端の画角より広く設定させることで、撮像範囲外からの被写体の動きが検出予想可能となるので、被写体が画面に入る前から指向性制御が可能となり、その後の動きを考慮し予測した音声指向性制御可能となる。ユーザ設定によるタッチパネル制御に加えてより的確な制御を可能とする。
【００４４】
光センサ５００である赤外線センサを付加していることで、温度を持つ物体、人間（顔を有する）ではない生き物等を対象とすることが可能であり、暗闇においてカメラ画角にフレームインしてきた動物や車等など描画されないような場合でも即座に検出が可能で音声の指向性を的確に制御可能となる。
【００４５】
上述の説明では、Ｒｃｈ用マイクロホン１０９１、Ｌｃｈ用マイクロホン１０９２の２つのマイクロホンを配置しステレオ音声を記録する場合について述べたが、図９に示すように例えば、上下方向にさらにマイクロホンを配置してもよい。また、個別のマイクロホンではなく、複数のマイクロホンユニットを直線状に配置したマイクロホンアレイを用いてもよい。この場合においても、水平ｚ方向のみ配置しても、水平ｚ方向垂直ｙ方向に配置してももちろんよい。選択された指向性を得るため、複数のマイクロホンユニットよりの出力に夫々可変遅延手段と、可変遅延手段の出力を加算する演算手段を設ける回路構成は同様である。
【符号の説明】
【００４６】
１        撮像装置
１００    撮像部
１０１    ズームレンズ
１０２    フォーカスレンズ
１０３    絞り
１０４    撮像素子
１０５    アナログ画像信号処理部
１０６    画像Ａ／Ｄ変換部
１０７    画像入力コントローラ
１０８    デジタル信号処理部
１０９    マイクロホン
１０９１  Ｒｃｈ用マイクロホン
１０９２  Ｌｃｈ用マイクロホン
１１０    アナログ音声信号処理部
１１１    音声Ａ／Ｄ変換部
１１２    音声入力コントローラ
１１３    多重化部
２０１    圧縮・伸張処理部
２０２    音声・画像処理部
２０３    ＲＯＭ
２０４    フラッシュＲＯＭ
２０５    メインメモリ
２０６    メディア制御部
２０７    ジャイロセンサ
２１０    画像保持部
２１１    ユーザテーブル
３０１    カードＩ／Ｆ
３０２    カード型記録媒体
３０３    入出力Ｉ／Ｆ
３０４    液晶モニタ
３０５    スピーカ
３０６    操作部
３０７    入出力端子
３０８    無線Ｉ／Ｆ
３０９    無線モジュール
４００    中央制御部
５００    光センサ
【図１】
2015032853.tif 000003
【図２】
2015032853.tif 000004
【図３】
2015032853.tif 000005
【図４】
2015032853.tif 000006
【図５】
2015032853.tif 000007
【図６】
2015032853.tif 000008
【図７】
2015032853.tif 000009
【図８】
2015032853.tif 000010
【図９】
2015032853.tif 000011