(57)【要約】【課題】例えば動画撮影時の被写体の周囲の状況を音声だけでなく画像でも確認可能な撮像装置を提供すること。【解決手段】例えば、スルー画表示中において、撮影レンズ１０２ａの画角が望遠側の状態でマイク１０４Ｒ及び１０４Ｌを介して得られる音声データを分析し、音声データから分析される主要被写体の周囲の状況に応じて撮影レンズ１０２ａの画角を望遠側から広角側に変更する。【選択図】図１
2014102342.tif 000002
【特許請求の範囲】
【請求項１】
画角が変更自在な撮影レンズを有し、該撮影レンズを介して被写体を撮像して被写体に係る画像データを取得する撮像部と、
音声を取得して該音声に係る音声データを取得する音声取得部と、
前記音声データの分析により、前記被写体の周囲の状況を分析する音声処理部と、
前記画角が望遠側であるときに分析された前記被写体の周囲の状況に応じて、前記画角を望遠側から広角側に変更する画角制御部と、
を具備することを特徴とする撮像装置。
【請求項２】
前記音声処理部は、前記音声データに基づいて、前記被写体の周囲の音声レベルの変化を識別するとともに前記被写体の周囲の音声を周波数分離し、
前記画角制御部は、前記音声レベルの変化が所定レベル以上であって前記周波数分離した音声の中に特定の周波数帯域の音声がある場合に、前記画角を望遠側から広角側に変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記特定の周波数帯域は、人物の音声の周波数帯域であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画像データから人物の顔部を検出する顔検出部をさらに具備し、
前記画角制御部は、前記音声レベルの変化が所定レベル以上であって前記周波数分離した音声の中に人物の音声の周波数帯域の音声があり、さらに、前記画像データにおいて複数の人物の顔部が存在していることが検出された場合に、前記画角を望遠側から広角側に変更することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記画角制御部は、前記顔検出部による顔部の検出に先立って、前記画角を広角側に変更することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記特定の周波数帯域は、特定の背景音の周波数帯域であることを特徴とする請求項２に記載の撮像装置。
【請求項７】
前記特定の背景音の周波数帯域は、花火の炸裂音の周波数帯域であることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記画像データの一部を拡大する画像処理部をさらに具備し、
前記画角制御部は、前記被写体の周囲の状況に応じて、前記画角を望遠側から広角側に変更した後で前記撮像部から取得された前記画像データの一部を拡大するように前記画像処理部を制御することを特徴とする請求項１乃至７の何れか１項に記載の撮像装置。
【請求項９】
前記音声取得部は、ステレオ音声を取得し、
前記画角制御部は、前記音声取得部で取得された音声データの音声レベルに応じて拡大する前記画像データの一部を決定することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記画角制御部によって前記画角を望遠側から広角側に変更するに先立ってユーザに確認をする確認部をさらに具備することを特徴とする請求項１乃至９の何れか１項に記載の撮像装置。
【請求項１１】
前記画角制御部によって前記画角が望遠側から広角側に変更された後で前記撮像部から取得される画像データを記録する記録部をさらに具備することを特徴とする請求項１乃至１０の何れか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声記録機能を有する撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置は、静止画の撮影に加えて動画の撮影も可能なものが増えてきている。このような動画の撮影も可能な撮像装置は、通常、動画とともに音声も記録するために、モノラルマイクやステレオマイクが内蔵されている。また、近年、撮像装置のズーム機能は高機能化しており、ユーザは様々な画角で撮影を行うことができるようになっている。そして、ズーム機能と音声の記録機能とを連携させる技術として、例えば動画撮影時の画角に応じてマイクの指向範囲を制御する技術が知られている。また、例えば特許文献１では、動画撮影時の画角に応じてマイクの指向範囲を制御する前に、画角に応じた範囲よりも広い指向範囲にしている。これにより、特許文献１では、画角外の音声を取得し、この画角外の音声から被写体の周囲の状況を認識できるようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１１９７９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、音声だけでは周囲の状況を正確に認識することが困難な状況も考えられる。このような場合に、ユーザは音声だけでなく画像による確認もしたいと考えることが想定される。周囲の状況の画像を得るには画角を広げれば良いが、撮影中に瞬時にユーザがそのような判断をするのは困難であると考えられる。
【０００５】
本発明は、前記の事情に鑑みてなされたもので、例えば動画撮影時の被写体の周囲の状況を音声だけでなく画像でも確認可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記の目的を達成するために、本発明の一態様の撮像装置は、画角が変更自在な撮影レンズを有し、該撮影レンズを介して被写体を撮像して被写体に係る画像データを取得する撮像部と、音声を取得して該音声に係る音声データを取得する音声取得部と、前記音声データの分析により、前記被写体の周囲の状況を分析する音声処理部と、前記画角が望遠側であるときに分析された前記被写体の周囲の状況に応じて、前記画角を望遠側から広角側に変更する画角制御部と、を具備することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、例えば動画撮影時の被写体の周囲の状況を音声だけでなく画像でも確認可能な撮像装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置の構成を示すブロック図である。
【図２】図２（ａ）は本発明の一実施形態に係る撮像装置の構成を示す正面外観図であり、図２（ｂ）は本発明の一実施形態に係る撮像装置の背面外観図である。
【図３】音声処理部の構成を示すブロック図である。
【図４】本発明の一実施形態に係る撮像装置のメイン動作を示すフローチャートである。
【図５】図５（ａ）は自動広角ズームを行うのに先立つ確認表示の例であり、図５（ｂ）は自動広角ズーム後の画像の例である。
【図６】音声分析の処理を示すフローチャートである。
【図７】自動広角ズームの実行のタイミングを示す図である。
【図８】動画撮影時の処理を示すフローチャートである。
【図９】本発明の一実施形態の変形例に係る自動広角ズームの処理を示すフローチャートである。
【図１０】本発明の一実施形態の変形例に係る自動広角ズームの処理について説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。  
図１は、本発明の一実施形態に係る撮像装置の構成を示すブロック図である。また、図２は、撮像装置の外観図である。ここで、図２（ａ）は正面外観図であり、図２（ｂ）は背面外観図である。
【００１０】
図１に示す撮像装置１００は、撮像部１０２と、マイクロホン（マイク）１０４Ｒ、１０４Ｌ、１０４Ｂと、顔検出部１０６と、仮記憶部１０８と、表示部１１０と、記録部１１２と、操作部１１４と、タッチパネル１１６と、通信部１１８と、制御部１２０とを有している。
【００１１】
撮像部１０２は、撮影レンズ１０２ａ、撮像素子１０２ｂ、Ａ/Ｄ変換部１０２ｃを有している。撮像部１０２の撮像動作は、制御部１２０によって制御される。  
撮影レンズ１０２ａは、図示しない被写体の光像を生成し、生成した光像を撮像素子１０２ｂに結像させる。撮影レンズ１０２ａは、画角を変更自在に構成されたレンズ（ズームレンズ）である。画角変更のためのレンズ駆動は、画角制御部１２０ａとしての機能を有する制御部１２０によって制御される。ここで、撮影レンズ１０２ａは、撮像装置１００の本体に対して着脱自在に構成された交換レンズであっても良いし、撮像装置１００に搭載されていても良い。
【００１２】
撮像素子１０２ｂは、画素としての光電変換素子が２次元状に配置された受光面を有して構成されている。それぞれの画素は、撮影レンズ１０２ａを介して結像された被写体の像を電気信号（画像信号）に変換する。ここで、撮像素子としては、例えばＣＣＤ素子及びＣＭＯＳ素子が知られているが、本実施形態では特定の構造の撮像素子を用いる必要はない。
【００１３】
Ａ/Ｄ変換部１０２ｃは、撮像素子１０２ｂで得られた画像信号を、デジタル信号としての画像データに変換する。
【００１４】
マイク１０４Ｒ、１０４Ｌ、１０４Ｂは、入力された音声を電気信号（音声信号）に変換する。マイク１０４Ｒは、図２（ａ）に示すように、撮像装置１００の正面左側に設けられており、撮像装置１００が横位置で構えられた際に、撮像装置１００の右側から入力される音声を取得する。マイク１０４Ｌは、図２（ａ）に示すように、撮像装置１００の正面右側に設けられており、撮像装置１００が横位置で構えられた際に、撮像装置１００の左側から入力される音声を取得する。マイク１０４Ｂは、図２（ｂ）に示すように、撮像装置１００の背面側に設けられており、撮像装置１００が横位置で構えられた際に、撮像装置１００の背面側から入力される音声を取得する。
【００１５】
顔検出部１０６は、撮像部１０２で得られた画像データにおける顔部を検出する。顔部の検出手法は、特徴量マッチング等の周知の手法を用いることができる。また、顔検出部１０６に個人別の顔部の特徴量を予め記憶させておくことにより、特定の個人の顔部を検出するようにしても良い。
【００１６】
仮記憶部１０８は、画像データ及び音声データ等の種々のデータを一時的に記憶する。また、仮記憶部１０８は、顔検出部１０６で検出された顔部の位置（座標）情報も記憶する。
【００１７】
確認部の一例として機能する表示部１１０は、制御部１２０の画像処理部１２０ｂによって処理された画像データに基づく画像等の各種の画像を表示する。表示部１１０は、例えば液晶ディスプレイで構成されている。
【００１８】
記録部１１２は、制御部１２０の画像処理部１２０ｂによって処理された画像データから生成される画像ファイル（静止画ファイル又は動画ファイル）を記録する。記録部１１２は、例えば撮像装置１００の本体に対して着脱自在なメモリカードで構成されている。記録部１１２を撮像装置１００に内蔵させるようにしても良い。
【００１９】
操作部１１４は、ユーザが撮像装置１００の各種の操作を行うための複数の操作部材を有して構成されている。操作部材としては、図２（ａ）又は図２（ｂ）に示すレリーズボタン１１４ａ、動画ボタン１１４ｂ、ズームスイッチ１１４ｃ、電源スイッチ１１４ｄ等が含まれる。レリーズボタン１１４ａは、ユーザが撮像装置１００に対して静止画撮影開始の指示をするための操作部材である。動画ボタン１１４ｂは、ユーザが撮像装置１００に対して動画撮影開始及び終了の指示をするための操作部材である。動画ボタン１１４ｂは、押される毎に動画撮影開始の指示と動画撮影終了の指示とを交互に与える。ズームスイッチ１１４ｃは、ユーザが撮像装置１００に対してズーム駆動を指示するための操作部材である。ズームスイッチ１１４ｃは、例えばシーソースイッチとして構成されている。ズームスイッチ１１４ｃのＷ側が押されている間はワイド（広角）側へのズーム駆動の指示を与える。ズームスイッチ１１４ｃのＴ側が押されている間はテレ（望遠）側へのズーム駆動の指示を与える。電源スイッチ１１４ｄは、ユーザが撮像装置１００に対して電源のオン又はオフを指示するための操作部材である。
【００２０】
タッチパネル１１６は、表示部１１０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等の情報を制御部１２０に対して与える。
【００２１】
通信部１１８は、例えばＵＳＢインターフェイスであり、撮像装置１００がパーソナルコンピュータ（ＰＣ）等の外部機器と通信するための撮像装置１００側のインターフェイスである。
【００２２】
制御部１２０は、操作部１１４やタッチパネル１１６の操作等に応じて、撮像装置１００の各ブロックの動作を制御する。
【００２３】
制御部１２０は、画角制御部１２０ａを有し、撮像部１０２の撮影レンズ１０２ａの画角調節の際のレンズ駆動等を制御する。また、画角制御部１２０ａは、画像処理部１２０ｂによる電子ズーム処理も制御する。
【００２４】
また、制御部１２０は、画像処理部１２０ｂを有し、画像データに対して画像処理を施す。画像処理部１２０ｂが施す画像処理は、ホワイトバランス補正処理及びγ補正処理等の画像データに対応した画像を表示部１１０に表示させたり記録部１１２に記録したりするために必要な各種の処理、並びに圧縮処理、伸張処理等が含まれる。さらに、画像処理部１２０ｂは、電子ズームのために、画像データの所定領域を拡大又は縮小する処理も行う。
【００２５】
また、制御部１２０は、音声処理部１２０ｃと、自動ズーム駆動判定部１２０ｄとを有している。音声処理部１２０ｃは、マイク１０４Ｒ、１０４Ｌ、１０４Ｂから入力されてくる音声信号に基づいて音声分析を行う。自動ズーム駆動判定部１２０ｄは、音声処理部１２０ｃの音声分析の結果に従って画角制御部１２０ａによる自動ズーム駆動を実行するか否かを判定する。
【００２６】
図３は、音声処理部１２０ｃの構成を示すブロック図である。図３に示すように、音声処理部１２０ｃは、Ａ/Ｄ変換部２０２Ｒ、２０２Ｌ、２０２Ｂと、周波数分離部２０４Ｒ、２０４Ｌ、２０４Ｂと、音声レベル取得部２０６Ｒ、２０６Ｌとを有している。
【００２７】
Ａ/Ｄ変換部２０２Ｒ、２０２Ｌ、２０２Ｂは、マイクで得られた音声信号を、デジタル信号としての音声データに変換する。Ａ/Ｄ変換部２０２Ｒは、マイク１０４Ｒで得られた音声信号を変換するものである。Ａ/Ｄ変換部２０２Ｌは、マイク１０４Ｌで得られた音声信号を変換するものである。Ａ/Ｄ変換部２０２Ｂは、マイク１０４Ｂで得られた音声信号を変換するものである。なお、マイク１０４Ｒ、１０４Ｌ、１０４ＢとＡ/Ｄ変換部２０２Ｒ、２０２Ｌ、２０２Ｂとが音声取得部として機能する。
【００２８】
周波数分離部２０４Ｒ、２０４Ｌ、２０４Ｂは、入力された音声データを周波数データに分離する。周波数分離部２０４Ｒは、Ａ/Ｄ変換部２０２Ｒからの音声データを周波数データに分離する。周波数分離部２０４Ｌは、Ａ/Ｄ変換部２０２Ｌからの音声データを周波数データに分離する。周波数分離部２０４Ｂは、Ａ/Ｄ変換部２０２Ｂからの音声データを周波数データに分離する。
【００２９】
音声レベル取得部２０６Ｒ、２０６Ｌは、入力された音声データの音声レベルを識別する。音声レベル取得部２０６Ｒは、Ａ/Ｄ変換部２０２Ｒからの音声データの音声レベルを識別する。音声レベル取得部２０６Ｒは、Ａ/Ｄ変換部２０２Ｌからの音声データの音声レベルを識別する。
【００３０】
以下、本実施形態に係る撮像装置１００のメイン動作について図４を参照して説明する。図４の動作は、制御部１２０が主体となって制御される。
【００３１】
制御部１２０は、操作部１１４の電源スイッチ１１４ｄの状態から、撮像装置１００の電源がオンされているか否かを判定している（ステップＳ１０１）。ステップＳ１０１において、電源がオンされていないと判定した場合に、制御部１２０は、図４の処理を終了させる。
【００３２】
ステップＳ１０１において、電源がオンされていると判定した場合に、制御部１２０は、撮像装置１００の動作モードが撮影モードか否かを判定する（ステップＳ１０２）。撮像装置１００は、動作モードとして撮影モードと再生モードとを有している。動作モードは、例えばユーザによる操作部１１４又はタッチパネル１１６の操作に従って設定される。
【００３３】
ステップＳ１０２において、動作モードが撮影モードであると判定した場合に、制御部１２０は、画角制御部１２０ａを制御して広角ズーム駆動行う。即ち、制御部１２０は、撮影レンズ１０２ａの焦点距離を短焦点側にする（ステップＳ１０３）。本実施形態では、撮像装置１００の電源の起動時等のタイミングで撮影レンズ１０２ａの画角が広角側に設定される。なお、ここでのズーム駆動は、例えば広角端までのズーム駆動とする。
【００３４】
レンズ駆動の後、制御部１２０は、撮像部１０２を起動してスルー画表示用の画像データを取得する（ステップＳ１０４）。画像データの取得後、制御部１２０の画像処理部１２０ｂは、ホワイトバランス補正やガンマ補正等の一般的なスルー画表示用の画像処理を行う（ステップＳ１０５）。スルー画表示用の画像処理の後、制御部１２０は、画像処理部１２０ｂによって処理された画像データに基づいて表示部１１０にスルー画表示を行わせる（ステップＳ１０６）。
【００３５】
スルー画表示の後、制御部１２０は、顔検出部１０６に顔検出を実行させる（ステップＳ１０７）。顔検出部１０６は、撮像部１０２を介して出力される画像データにおける顔部を、例えば特徴量マッチングといった手法を用いて検出する。顔検出の後、制御部１２０は、顔検出部１０６により検出された顔の数を、撮影時の人数であるとして、仮記憶部１０８に記憶させる（ステップＳ１０８）。本実施形態では、人数の検出をするのに先立って、画角を広角に設定している。これにより、撮影時の人数を正しく検出することが可能である。
【００３６】
人数情報の記憶後、制御部１２０は、撮影レンズ１０２ａのズーム駆動をするか否かを判定する（ステップＳ１０９）。例えば、ユーザによる操作部１１４のズームスイッチ１１４ｃの操作がなされたことが検出された場合に、ズーム駆動をすると判定される。ステップＳ１０９において、ズーム駆動をしないと判定した場合に、制御部１２０は、処理をステップＳ１１１に移行させる。また、ステップＳ１０９において、ズーム駆動をすると判定した場合に、制御部１２０は、画角制御部１２０ａを制御して、ユーザのズームスイッチ１１４ｃの操作に応じたズーム駆動を行う（ステップＳ１１０）。
【００３７】
続いて、制御部１２０は、音声処理部１２０ｃ及び自動ズーム駆動判定部１２０ｄによる音声分析を行う（ステップＳ１１１）。音声分析の処理については後で詳しく説明する。音声分析の後、制御部１２０は、音声分析の結果から、自動広角ズームを行うか否かを判定する（ステップＳ１１２）。詳しくは後で説明するが、音声分析の処理においては、自動広角ズームを行うか否かを示す自動広角ズームフラグのオン又はオフが設定される。ステップＳ１１２において、自動広角ズームフラグがオンに設定されているときには、自動広角ズームを行うと判定される。
【００３８】
ステップＳ１１２において、自動広角ズームを行わないと判定した場合に、制御部１２０は、処理をステップＳ１１８に移行させる。ステップＳ１１２において、自動広角ズームを行うと判定した場合に、制御部１２０は、自動広角ズームを実際に実行するか否かをユーザに確認するための確認表示を表示部１１０に対して行う（ステップＳ１１３）。図５（ａ）は、確認表示の例である。詳細は後で説明するが、自動広角ズームを行うと判定される状況は、現在の画角が望遠側（広角側へのズーム駆動が可能な状態）で且つ被写体の周囲で例えば人物の音声（笑い声等）が聞こえる状況である。このような状況であると判定された場合に、確認表示として例えば図５（ａ）で示すような確認ボタン１１０ａを表示させる。確認ボタン１１０ａは、ソフトウェアボタンであり、タッチパネル１１６で操作可能である。勿論、確認ボタン１１０ａと同様の機能をハードウェアボタンで実現しても良い。
【００３９】
確認表示の後、制御部１２０は、ユーザの操作により、自動広角ズームの実行が許可されたか否かを判定する（ステップＳ１１４）。例えば、所定時間の間に確認ボタン１１０ａの位置へのタッチが検出された場合に、自動広角ズームの実行が許可されたと判定する。ステップＳ１１４において、自動広角ズームの実行が許可されていないと判定した場合に、制御部１２０は、処理をステップＳ１１８に移行させる。
【００４０】
ステップＳ１１４において、自動広角ズームの実行が許可されたと判定した場合に、制御部１２０は、画角制御部１２０ａを制御して広角ズーム駆動行う。即ち、制御部１２０は、撮影レンズ１０２ａの焦点距離を短焦点側にする（ステップＳ１１５）。ここでのズーム駆動は、例えば広角端までのズーム駆動とする。ズーム駆動量をユーザが設定できるようにしても良い。
【００４１】
自動広角ズームの実行後、制御部１２０は、静止画撮影を実行する（ステップＳ１１６）。静止画撮影時において、制御部１２０は、ＡＦ制御を行って撮影レンズ１０２ａのピント合わせをするとともに、ＡＥ制御を行って静止画撮影時の露出条件を決定する。続いて、制御部１２０は、ＡＥ制御によって決定された露出条件に従って撮像部１０２に静止画記録用の撮像動作を行わせる。静止画記録用の撮像動作の後、画像処理部１２０ｂは、撮像部１０２の撮像動作の結果として得られた画像データに対し、ホワイトバランス補正やガンマ補正、静止画用圧縮処理等の一般的な静止画記録用の画像処理を行う。静止画記録用の画像処理の後、制御部１２０は、圧縮処理された画像データに基づいて静止画ファイルを生成し、生成した静止画ファイルを記録部１１２に記録させる。このような静止画ファイルを記録することにより、ユーザは、主要被写体を望遠撮影している際の周囲の状況を静止画として確認することが可能である。
【００４２】
静止画撮影の後、制御部１２０は、画角制御部１２０ａを制御して、自動広角ズームによって変更された画角をもとの画角に戻す。即ち、制御部１２０は、自動広角ズーム前のズーム位置に撮影レンズ１０２ａのズーム位置を戻す（ステップＳ１１７）。
【００４３】
続いて、制御部１２０は、静止画撮影を実行するか否かを判定する（ステップＳ１１８）。ステップＳ１１８においては、ユーザによって操作部１１４のレリーズボタン１１４ａが押された場合に、静止画撮影を実行すると判定する。ステップＳ１１８において、静止画撮影を実行すると判定した場合に、制御部１２０は、静止画撮影を実行する（ステップＳ１１９）。その後、制御部１２０は、処理をステップＳ１０１に戻す。ここで、ステップＳ１１９の静止画撮影は、ステップＳ１１６の静止画撮影と同様である。ただし、ステップＳ１１９の静止画撮影は、ユーザによるズーム操作を反映した画角での静止画撮影が行われる。
【００４４】
ステップＳ１１８において、静止画撮影を実行しないと判定した場合に、制御部１２０は、動画撮影を実行するか否かを判定する（ステップＳ１２０）。ステップＳ１２０においては、ユーザによって操作部１１４の動画ボタン１１４ｂが押された場合に、動画撮影を実行すると判定する。ステップＳ１２０において、動画撮影を実行すると判定した場合に、制御部１２０は、動画撮影を実行する（ステップＳ１２１）。その後、制御部１２０は、処理をステップＳ１０１に戻す。また、ステップＳ１２０において、動画撮影を実行しないと判定した場合に、制御部１２０は、処理をステップＳ１０１に戻す。本実施形態では、動画撮影中にもステップＳ１１５と同様の自動広角ズームを行う。ステップＳ１２１の動画撮影については後で詳しく説明する。
【００４５】
ステップＳ１０２において、動作モードが撮影モードでないと判定した場合に、制御部１２０は、動作モードが再生モードであるか否かを判定する（ステップＳ１２２）。ステップＳ１２２において、動作モードが再生モードでないと判定したとき、制御部１２０は、処理をステップＳ１０１に戻す。
【００４６】
ステップＳ１２２の判定において、動作モードが再生モードであると判定した場合に、制御部１２０は、記録部１１２に記録されている画像ファイルの一覧を表示部１１０に表示させる（ステップＳ１２３）。続いて、制御部１２０は、ユーザによって画像ファイルの選択がなされたか否かを判定する（ステップＳ１２４）。ステップＳ１２４において、画像ファイルの選択がなされていないと判定した場合に、制御部１２０は、処理をステップＳ１２３に戻す。この場合、一覧表示が継続される。
【００４７】
ステップＳ１２４において、画像ファイルの選択がなされたと判定した場合に、制御部１２０は、ユーザにより選択された画像ファイルを再生する（ステップＳ１２５）。再生処理において、制御部１２０は、ユーザにより選択された画像ファイルを記録部１１２から読み出し、読みだした画像ファイルを画像処理部１２０ｂに入力する。画像処理部１２０ｂは、入力された圧縮画像データを伸長する。制御部１２０は、伸長された画像データを表示部１１０に入力して画像の表示を行う。
【００４８】
画像ファイルの再生後、制御部１２０は、ユーザにより画像ファイルの再生終了が指示されたか否かを判定する（ステップＳ１２６）。ステップＳ１２６において、画像ファイルの再生終了が指示されていないと判定した場合に、制御部１２０は、処理をステップＳ１２５に戻す。この場合、画像ファイルの再生が継続される。また、ステップＳ１２６において、画像ファイルの再生終了が指示されたと判定した場合に、制御部１２０は、処理をステップＳ１２２に戻す。
【００４９】
図６は、音声分析の処理を示すフローチャートである。音声分析の処理の開始後、制御部１２０は、マイク１０４Ｒ、１０４Ｌ、１０４を用いての録音を開始させる（ステップＳ２０１）。図３に示すように、マイク１０４Ｒを介して取得された音声信号は、音声処理部１２０ｃのＡ/Ｄ変換部２０２Ｒでデジタル信号としての音声データに変換され、この音声データは、周波数分離部２０４Ｒ及び音声レベル取得部２０６Ｒに入力される。同様に、マイク１０４Ｌを介して取得された音声信号は、音声処理部１２０ｃのＡ/Ｄ変換部２０２Ｌでデジタル信号としての音声データに変換され、この音声データは、周波数分離部２０４Ｌ及び音声レベル取得部２０６Ｌに入力される。さらに、マイク１０４Ｂを介して取得された音声信号は、音声処理部１２０ｃのＡ/Ｄ変換部２０２Ｂでデジタル信号としての音声データに変換され、この音声データは、周波数分離部２０４Ｂに入力される。
【００５０】
周波数分離部２０４Ｒ、２０４Ｌ、２０４Ｂは、入力された音声データを例えばフーリエ変換して周波数データを生成し、生成した周波数データを自動ズーム駆動判定部１２０ｄに入力する（ステップＳ２０２）。
【００５１】
音声レベル取得部２０６Ｒ及び２０６Ｌは、入力された音声データの音声レベルを取得し、取得した音声レベルを自動ズーム駆動判定部１２０ｄに入力する（ステップＳ２０３）。例えば、通常の人の耳に聞こえる最小音の音圧ｐ０＝２×１０−５（Ｎ／ｍ２）を基準にした音声レベルＬｐ（ｄＢ）は、以下の（式１）で表される。  
【数１】
2014102342.tif 000003
ここで、（式１）のｐは入力された音声データの音圧である。音声レベル取得部２０６Ｒ及び２０６Ｌは、入力された音声データの音圧（入力された音声データの値に対応）と基準の音圧とを（式１）に従って比較して音声レベルを取得する。
【００５２】
ここで、図６のフローチャートでは、周波数分離と音声レベル取得とを順次行うように図示しているが、これらの処理を並列で実行しても良い。
【００５３】
自動ズーム駆動判定部１２０ｄは、入力されたデータをもとに自動広角ズームを行うか否かを判定する。このために、自動ズーム駆動判定部１２０ｄは、入力された音声レベルＬｐが所定の音声レベルＬｐｔｈ（例えば６０ｄＢ）よりも大きいか否かを判定する（ステップＳ２０４）。この判定においては、マイク１０４Ｒを介して取得された音声レベルとマイク１０４Ｌを介して取得された音声レベルの何れかが所定の音声レベルＬｐｔｈよりも大きい場合には、入力された音声レベルが所定の音声レベルよりも大きいと判定される。
【００５４】
ステップＳ２０４において、入力された音声レベルが所定の音声レベルよりも大きいと判定した場合に、自動ズーム駆動判定部１２０ｄは、入力された周波数データの中に人物の音声の周波数帯域（１５０Ｈｚ〜６００Ｈｚ）の周波数データが含まれているか否かを判定する（ステップＳ２０５）。この判定においては、マイク１０４Ｒを介して取得された周波数データとマイク１０４Ｌを介して取得された周波数データの何れかに人物の音声の周波数帯域の周波数データが含まれている場合には、入力された周波数データの中に人物の音声の周波数帯域の周波数データが含まれていると判定される。
【００５５】
なお、ステップＳ２０５で判定する人物には、撮影者であるユーザの音声は含めないようにすることが望ましい。これは、自動広角ズームが、主要被写体の周囲の状況を確認するために行われるものであるからである。人物の音声がユーザの音声であるか否かを識別する手法としては、例えば、予め登録しておいたユーザの音声の周波数データとマイク１０４Ｒ及びマイク１０４Ｌを介して取得された周波数データとを比較したり、撮像装置１００の背面から入力される音声をユーザの音声とみなす、即ちマイク１０４Ｂを介して取得された周波数データとマイク１０４Ｒ及びマイク１０４Ｌを介して取得された周波数データとを比較したりすることが考えられる。
【００５６】
ステップＳ２０５において、入力された周波数データの中に人物の音声の周波数帯域の周波数データが含まれていると判定した場合に、自動ズーム駆動判定部１２０ｄは、仮記憶部１０８に記憶させた人数情報から、撮影時の人数が複数であるか否かを判定する（ステップＳ２０６）。これは、主要被写体の人物以外の人物を判定するための処理である。
【００５７】
ステップＳ２０６において、撮影時の人数が複数であると判定した場合に、自動ズーム駆動判定部１２０ｄは、現在の状態から広角側のズームがさらに可能であるか否かを判定する（ステップＳ２０７）。例えば、撮影レンズ１０２ａのズーム位置が広角端にない場合には、広角側のズーム駆動が可能であると判定される。
【００５８】
ステップＳ２０７において、広角側のズーム駆動が可能であると判定した場合に、自動ズーム駆動判定部１２０ｄは、自動広角ズームフラグをオンに設定する（ステップＳ２０８）。その後に、制御部１２０は、図６のフローチャートの処理を終了させて図４のステップＳ１１２の処理を実行する。この場合、自動広角ズームをすると判定されることとなる。
【００５９】
ステップＳ２０５において入力された周波数データの中に人物の音声の周波数帯域の周波数データが含まれていないと判定した場合又はステップＳ２０６において撮影時の人数が複数でないと判定した場合に、自動ズーム駆動判定部１２０ｄは、入力された周波数データの中に特定の背景音の周波数帯域（例えば１Ｈｚ−８０Ｈｚ）の周波数データが含まれているか否かを判定する（ステップＳ２０９）。この判定においては、マイク１０４Ｒを介して取得された周波数データとマイク１０４Ｌを介して取得された周波数データの何れかに特定の背景音の周波数帯域の周波数データが含まれている場合には、入力された周波数データの中に特定の背景音の周波数帯域の周波数データが含まれていると判定される。この特定の背景音の周波数帯域の周波数データとは、例えば花火の炸裂音の周波数データが含まれる。
【００６０】
ステップＳ２０５において、特定の背景音の周波数データが含まれていると判定した場合に、自動ズーム駆動判定部１２０ｄは、処理をステップＳ２０７に移行させる。この場合には、広角側のズーム駆動が可能であるときに、自動広角ズームフラグがオンに設定される。
【００６１】
ステップＳ２０７において広角側のズーム駆動が可能でないと判定した場合又はステップＳ２０９において特定の背景音の周波数データが含まれていないと判定した場合に、自動ズーム駆動判定部１２０ｄは、自動広角ズームフラグをオフに設定する（ステップＳ２１０）。その後に、制御部１２０は、図６のフローチャートの処理を終了させて図４のステップＳ１１２の処理を実行する。この場合、自動広角ズームをしないと判定されることとなる。
【００６２】
図７は、自動広角ズームの実行のタイミングを示す図である。図７に示すように、マイクを介して入力される音声データに例えば所定の音声レベル（例えば６０ｄＢ）を超える人物の音声データが含まれている期間中に、図５（ａ）に示すような確認ボタン１１０ａが表示される。そして、確認ボタン１１０ａが選択された後は、図５（ｂ）に示すような広角ズームが行われ、この画角での静止画撮影が行われる。このような一連の処理により、ユーザは、主要被写体の周囲の状況を音声だけでなく画像からも確認することが可能である。
【００６３】
図８は、動画撮影時の処理を示すフローチャートである。動画撮影時において、制御部１２０は、音声処理部１２０ｃ及び自動ズーム駆動判定部１２０ｄによる音声分析を行う（ステップＳ３０１）。ここでの音声分析は、図６で示したのと同様の処理で良い。音声分析の後、制御部１２０は、音声分析の結果から、自動広角ズームを行うか否かを判定する（ステップＳ３０２）。
【００６４】
ステップＳ３０２において、自動広角ズームを行わないと判定した場合に、制御部１２０は、処理をステップＳ３０６に移行させる。ステップＳ３０２において、自動広角ズームを行うと判定した場合に、制御部１２０は、自動広角ズームを実際に実行するか否かをユーザに確認するための確認表示を表示部１１０に対して行う（ステップＳ３０３）。確認表示は、図５（ａ）と同様で良い。
【００６５】
確認表示の後、制御部１２０は、ユーザの操作により、自動広角ズームの実行が許可されたか否かを判定する（ステップＳ３０４）。ステップＳ３０４において、自動広角ズームの実行が許可されていないと判定した場合に、制御部１２０は、処理をステップＳ３０６に移行させる。
【００６６】
ステップＳ３０４において、自動広角ズームの実行が許可されたと判定した場合に、制御部１２０は、画角制御部１２０ａを制御して広角ズーム駆動行う。即ち、制御部１２０は、撮影レンズ１０２ａの焦点距離を短焦点側にする（ステップＳ３０５）。
【００６７】
続いて、制御部１２０は、静止画撮影を実行するか否かを判定する（ステップＳ３０６）。ステップＳ３０６においては、ユーザによって操作部１１４のレリーズボタン１１４ａが押された場合に、静止画撮影を実行すると判定する。ステップＳ３０６において、静止画撮影を実行すると判定した場合に、制御部１２０は、静止画記録を実行する（ステップＳ３０７）。動画撮影中の静止画記録は、例えば、撮像部１０２から動画像として取り込まれる画像データに対し、静止画記録用の画像処理を施して仮記憶部１０８に記憶させる処理である。
【００６８】
続いて、制御部１２０は、動画記録を実行する（ステップＳ３０８）。動画記録時においては、撮像部１０２から動画像として取り込まれる画像データに対し、ホワイトバランス補正やガンマ補正、動画圧縮処理等の一般的な動画記録用の画像処理を行う。動画記録用の画像処理の後、制御部１２０は、圧縮処理された画像データに基づいて動画ファイルを生成し、生成した動画ファイルを記録部１１２に記録させる。なお、一旦、動画ファイルが生成された後は、動画撮影が終了されたと判定されるまで、生成された動画ファイルに圧縮処理された画像データを追記する。また、動画記録の際には、マイク１０４Ｒ及び１０４Ｌを介して取得される音声データも併せて動画ファイルに記録する。
【００６９】
さらに、ステップＳ３０６において静止画記録が実行されている場合には、仮記憶部１０８に記憶された静止画像データを動画ファイルに追記する。勿論、別個の静止画ファイルを生成しても良い。
【００７０】
ここで、図８では、静止画記録の後に動画記録を行うように図示しているが、実際にはステップＳ３０７の静止画記録とステップＳ３０８の動画記録とは並列で行うことが望ましい。
【００７１】
静止画撮影の後、制御部１２０は、自動広角ズームを行ったか否かを判定する（ステップＳ３０９）。ステップＳ３０９において、自動広角ズームを行っていないと判定した場合に、制御部１２０は、処理をステップＳ３１１に移行させる。また、ステップＳ３０９において、自動広角ズームを行ったと判定した場合に、制御部１２０は、画角制御部１２０ａを制御して、自動広角ズームによって変更された画角をもとの画角に戻す。即ち、制御部１２０は、自動広角ズーム前のズーム位置に撮影レンズ１０２ａのズーム位置を戻す（ステップＳ３１０）。
【００７２】
続いて、制御部１２０は、動画撮影を終了するか否かを判定する（ステップＳ３１１）。この判定において、例えば動画ボタン１１４ｂが再び押された場合に、動画撮影を終了すると判定する。ステップＳ３１１において、動画撮影を終了しないと判定した場合に、制御部１２０は、処理をステップＳ３０１に戻す。また、ステップＳ３１１において、動画撮影を終了すると判定した場合に、制御部１２０は、図８の処理を終了させる。
【００７３】
以上説明したように、本実施形態によれば、静止画撮影前のスルー画表示時や動画撮影中に主要被写体の周囲の音声を取得し、取得した音声に人物の音声が含まれている場合等の、主要被写体の周囲の状況が変化したと考えられるタイミングで広角ズームを実行するようにしている。これにより、ユーザは、主要被写体の撮影に注力しつつ、その周囲の状況を画像として確認することが可能である。
【００７４】
［変形例］  
以下、本実施形態の変形例を説明する。この変形例は、自動広角ズームの際に撮影レンズ１０２ａのズーム位置を広角側にする光学ズームだけでなく、電子ズームを併用することにより、実際に音声を発している人物の付近を拡大する例である。ここで、撮像装置１００の構成は、図１と同様で良い。また、撮像装置１００の動作も自動広角ズームの処理の内容以外は前述の実施形態の処理と同様の処理が適用される。
【００７５】
図９は、変形例に係る自動広角ズームの処理を示すフローチャートである。この処理において、制御部１２０は、画角制御部１２０ａを制御して広角ズーム駆動行う。即ち、制御部１２０は、撮影レンズ１０２ａの焦点距離を短焦点側にする（ステップＳ４０１）。この処理は、前述した実施形態における自動広角ズームと同様である。
【００７６】
広角ズーム駆動の後、制御部１２０は、マイク１０４Ｒ及び１０４Ｌを介して取得される音声データの音声レベルを比較する（ステップＳ４０２）。そして、制御部１２０は、音声レベルの比較結果に応じて画像処理部１２０ｂによる画像データの切り出し範囲を決定する（ステップＳ４０３）。この決定を受けて画像処理部１２０ｂは、撮像部１０２を介して得られる画像データの切り出しを行い、切り出した範囲の画像データを拡大（電子ズーム処理）する（ステップＳ４０４）。その後、拡大した画像データの仮記憶部１０８への記憶を開始する（ステップＳ４０５）。スルー画表示時には、この拡大した画像データをスルー画表示されている動画像に合成して再生しても良い。また、動画撮影時には、この拡大した画像データを動画像データとともに記録しても良い。
【００７７】
図１０は、図９の変形例について説明するための図である。前述した実施形態と同様、本変形例においても、撮影レンズ１０２ａの広角ズーム駆動が可能な状態で処理が行われる。自動広角ズーム処理前の画像データの範囲が、図１０（ａ）の参照符号３０１で示す範囲であるとする。範囲３０１よりも広い範囲の画像データを取得するためには、撮影レンズ１０２ａを広角側に駆動する光学ズームを行う必要がある。光学ズームを行うことにより、範囲３０１よりも広い範囲３０２の画像データを取得することができる。
【００７８】
範囲３０２の画像データにおける顔の位置は、顔検出部１０６によって検出することが可能である。また、主要被写体の周囲のどの人物が大きな（所定レベルを超える）音声を発したかは、マイク１０４Ｒ及び１０４Ｌを介して取得される音声データの音声レベルを比較することによって判別することが可能である。これにより、主要被写体の周囲の人物のうち、より大きな音声を発した人物を含むように切り出し範囲を決定することができる。
【００７９】
例えば、図１０（ａ）に示す主要被写体の右側の人物のほうが大きな音声を発している、即ちマイク１０４Ｒを介して得られる音声データの音声レベルのほうが大きい場合には、図１０（ａ）の範囲３０３の画像データを切り出す。範囲３０３は、例えば主要被写体を中心とし、主要被写体の右隣の人物を含む範囲である。このような範囲３０３の画像データを拡大することにより、図１０（ｂ）に示す画像データ３０３ａが生成される。
【００８０】
また、図１０（ａ）に示す主要被写体の両隣の人物がほぼ同じ音量で音声を発している、即ちマイク１０４Ｒを介して得られる音声データの音声レベルとマイク１０４Ｌを介して得られる音声データの音声レベルとがほぼ等しい場合には、例えば図１０（ａ）の範囲３０４の画像データを切り出す。範囲３０４は、例えば主要被写体を中心とし、主要被写体の両隣の人物を含む範囲である。このような範囲３０４の画像データを拡大することにより、図１０（ｃ）に示す画像データ３０４ａが生成される。
【００８１】
以上説明した変形例によれば、光学ズームと電子ズームとを併用することにより、実際に音声を発した人物の付近を拡大した画像を得ることが可能である。
【００８２】
ここで、図９で示した変形例では、より大きな音声レベルの音声を発した人物を含むように切り出し範囲を設定している。これに対し、例えば音声レベルの比に従って切り出し範囲を設定するようにしても良い。
【００８３】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【００８４】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００８５】
１００…撮像装置、１０２…撮像部、１０２ａ…撮影レンズ、１０２ｂ…撮像素子、１０２ｃ…Ａ/Ｄ変換部、１０４Ｒ，１０４Ｌ，１０４Ｂ…マイクロホン（マイク）、１０６…顔検出部、１０８…仮記憶部、１１０…表示部、１１２…記録部、１１４…操作部、１１４ａ…レリーズボタン、１１４ｂ…動画ボタン、１１４ｃ…ズームスイッチ、１１４ｄ…電源スイッチ、１１６…タッチパネル、１１８…通信部、１２０…制御部、１２０ａ…画角制御部、１２０ｂ…画像処理部、１２０ｃ…音声処理部、１２０ｄ…自動ズーム駆動判定部、２０２Ｒ，２０２Ｌ，２０２Ｂ…Ａ/Ｄ変換部、２０４Ｒ，２０４Ｌ，２０４Ｂ…周波数分離部、２０６Ｒ，２０６Ｌ…音声レベル取得部
【図１】
2014102342.tif 000004
【図２】
2014102342.tif 000005
【図３】
2014102342.tif 000006
【図４】
2014102342.tif 000007
【図５】
2014102342.tif 000008
【図６】
2014102342.tif 000009
【図７】
2014102342.tif 000010
【図８】
2014102342.tif 000011
【図９】
2014102342.tif 000012
【図１０】
2014102342.tif 000013