(57)【要約】【課題】  主要被写体を確度高く特定することができる技術を提供することを目的とする。【解決手段】  時系列に連続して撮像された複数の画像を取得する画像取得部と、複数の画像の撮像時に録音され複数の画像に対応付けられた音声を取得する音声取得部と、音声から音声情報を抽出し、音声情報より画像の主要被写体を推定する被写体推定部と、推定された主要被写体を画像から特定する被写体特定部と、を備える。【選択図】    図１
2014236276.tif 000002
【特許請求の範囲】
【請求項１】
時系列に連続して撮像された複数の画像を取得する画像取得部と、
前記複数の画像の撮像時に録音され前記複数の画像に対応付けられた音声を取得する音声取得部と、
前記音声から音声情報を抽出し、前記音声情報より前記画像の主要被写体を推定する被写体推定部と、
推定された前記主要被写体を前記画像から特定する被写体特定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記被写体特定部は、前記音声情報が抽出された時点より後に撮像された画像から前記主要被写体を特定する
ことを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記音声を発話する人物を前記画像から特定する発話者特定部を備えることを特徴とする画像処理装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載された画像処理装置において、
前記被写体特定部により前記主要被写体が特定された前記画像に対し前記主要被写体の情報を付加する情報付加部を備えることを特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載された画像処理装置において、
前記音声情報と前記主要被写体とを予め対応付けた情報を記憶する記憶部を備えることを特徴とする画像処理装置。
【請求項６】
時系列に連続して被写界を撮像し複数の画像を生成する撮像部と、
前記被写界の合焦状態を調整する合焦調整部と、
請求項１に記載の画像処理装置と、
前記被写体推定部により推定された主要被写体に合焦させるように、前記合焦調整部を制御する制御部と、
を備えることを特徴とする撮像装置。
【請求項７】
時系列に連続して撮像された複数の画像を取得する画像取得手順、
前記複数の画像の撮像時に録音され前記複数の画像に対応付けられた音声を取得する音声取得手順、
前記音声から音声情報を抽出し、前記音声情報より前記画像の主要被写体を推定する被写体推定手順、
推定された前記主要被写体を前記画像から特定する被写体特定手順、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
撮像された画像から主要被写体を検出する様々な技術が開発されている。
【０００３】
例えば、画像から複数の特徴量を統合して顕著性マップを求め、その顕著性マップにおいて、人間の視覚的注意を引く可能性の高い、所定の閾値以上の顕著性を有する画像領域を主要被写体のコア領域の種と設定し、領域分割処理を施すことにより、画像から主要被写体の領域を抽出する技術がある（特許文献１など参照）
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−３５６３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、顕著性などの特徴量に基づいて主要被写体を検出することから、画像を撮像したユーザが意図した主要被写体と異なる場合がある。
【０００６】
上記従来技術が有する問題に鑑み、本発明の目的は、主要被写体を確度高く特定することができる技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明を例示する画像処理装置の一態様は、時系列に連続して撮像された複数の画像を取得する画像取得部と、複数の画像の撮像時に録音され複数の画像に対応付けられた音声を取得する音声取得部と、音声から音声情報を抽出し、音声情報より画像の主要被写体を推定する被写体推定部と、推定された主要被写体を画像から特定する被写体特定部と、を備える。
【０００８】
また、被写体特定部は、音声情報が抽出された時点より後に撮像された画像から主要被写体を特定してもよい。
【０００９】
また、音声を発話する人物を画像から特定する発話者特定部を備えてもよい。
【００１０】
また、被写体特定部により主要被写体が特定された画像に対し主要被写体の情報を付加する情報付加部を備えてもよい。
【００１１】
また、音声情報と主要被写体とを予め対応付けた情報を記憶する記憶部を備えてもよい。
【００１２】
本発明を例示する撮像装置の一態様は、時系列に連続して被写界を撮像し複数の画像を生成する撮像部と、被写界の合焦状態を調整する合焦調整部と、本発明の画像処理装置と、被写体推定部により推定された主要被写体に合焦させるように、合焦調整部を制御する制御部と、を備える。
【００１３】
本発明を例示する画像処理プログラムの一態様は、時系列に連続して撮像された複数の画像を取得する画像取得手順、複数の画像の撮像時に録音され複数の画像に対応付けられた音声を取得する音声取得手順、音声から音声情報を抽出し、音声情報より画像の主要被写体を推定する被写体推定手順、推定された主要被写体を画像から特定する被写体特定手順、をコンピュータに実行させる。
【発明の効果】
【００１４】
本発明によれば、主要被写体を確度高く特定することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一の実施形態に係るデジタルカメラの構成を示す図
【図２】本発明の一の実施形態に係るデジタルカメラによる撮像処理を示すフローチャート
【図３】撮像開始時の被写界の構図の一例を示す図
【図４】主要被写体推定後の被写界の構図の一例を示す図（その１）
【図５】主要被写体推定後の被写界の構図の一例を示す図（その２）
【図６】主要被写体推定後の被写界の構図の一例を示す図（その３）
【図７】主要被写体推定後の被写界の構図の一例を示す図（その４）
【図８】主要被写体推定後の被写界の構図の一例を示す図（その５）
【図９】撮像開始時および主要被写体推定後の被写界の構図の別例を示す図
【発明を実施するための形態】
【００１６】
以下、本発明の一の実施形態について、図面に基づいて説明する。
【００１７】
図１は、本発明の一の実施形態に係るデジタルカメラ１００の構成を示す図である。
【００１８】
本実施形態のデジタルカメラ１００は、撮像レンズ１１、撮像素子１２、ＡＦＥ１３、画像処理部１４、マイクロホン１５ａ、１５ｂ、表示制御部１６ａ、モニタ１６ｂ、ＳＤＲＡＭ１７、レンズ駆動部１８、撮像素子駆動回路１９、ＣＰＵ２０、操作部材２４、不揮発性メモリ２５、動きセンサ２６、記録Ｉ／Ｆ２７およびバス２９から構成される。画像処理部１４、マイクロホン１５ａ、１５ｂ、表示制御部１６ａ、ＳＤＲＡＭ１７、ＣＰＵ２０および記録Ｉ／Ｆ２７は、バス２９を介して情報伝達可能にそれぞれ接続される。また、レンズ駆動部１８、撮像素子駆動回路１９、操作部材２４、不揮発性メモリ２５および動きセンサ２６は、ＣＰＵ２０に接続される。
【００１９】
撮像レンズ１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像レンズ１１のレンズ位置は、ＣＰＵ２０の制御指示に基づきレンズ駆動部１８によって光軸方向に調整される。なお、簡単のため、図１では撮像レンズ１１を１枚のレンズとして図示する。
【００２０】
撮像素子１２は、撮像素子駆動回路１９によって駆動され、ＣＰＵ２０からの制御信号に基づいて、撮像レンズ１１を通過した光束によって結像される被写界を撮像するデバイスである。撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。また、撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列に従って配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応するアナログの画像信号を出力する。この撮像素子１２の出力はＡＦＥ１３に入力される。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤ等）であっても、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳ等）であってもよい。
【００２１】
ＡＦＥ１３は、撮像素子１２の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１３は、相関二重サンプリング、画像信号のゲインの調整、画像信号のＡ／Ｄ変換を行う。ＡＦＥ１３の出力は、画像処理部１４に送られる。なお、本実施形態では、撮像素子１２およびＡＦＥ１３で撮像部を構成する。
【００２２】
画像処理部１４は、ホワイトバランス処理回路、画素補間（デモザイキング）回路、マトリクス処理回路、非線形変換（γ補正）処理回路、および輪郭強調処理回路などを備え、デジタルの画像信号に対して、ホワイトバランス、画素補間、マトリクス、非線形変換（γ補正）、および輪郭強調などの処理を施す。なお、画素補間回路は、１画素当たり１色のベイヤ配列信号を、１画素当たり３色からなる通常のカラー画像信号に変換する。
【００２３】
画像処理部１４から出力される３色の画像信号は、バス２９を通じてＳＤＲＡＭ１７に格納される。ＳＤＲＡＭ１７に格納された画像データは、ＣＰＵ２０の制御により読み出されて表示制御部１６ａに送られる。表示制御部１６ａは、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換してモニタ１６ｂに表示する（スルー）画像として出力する。
【００２４】
また、後述する操作部材２４のレリーズ釦操作に応答して取得された画像データは、ＳＤＲＡＭ１７から読み出され不図示の圧縮伸長処理部に送られる。圧縮伸長処理部（不図示）は、その画像データに圧縮処理を施して画像ファイルを生成し、記録Ｉ／Ｆ２７を介して記録媒体であるメモリカード２８に記録する。
【００２５】
マイクロホン１５ａ、１５ｂは、ユーザや被写界の人物、または周囲から発せられる音声を受信して電気信号のアナログの音声信号に変換する。そのアナログの音声信号は、不図示のＡ／Ｄ変換回路でデジタル信号に変換された後、ステレオ形式で音声データとしてＳＤＲＡＭ１７に格納される。マイクロホン１５ａ、１５ｂには、一般的なマイクロホンを用いることができる。また、動画などの再生時には、記録された音声信号は、不図示のスピーカで再生することも可能な構成とされている。
【００２６】
ＣＰＵ２０は、不揮発性メモリ２５に格納されている制御プログラムに従い、デジタルカメラ１００の各部を統括的に制御するプロセッサである。例えば、ＣＰＵ２０は、撮像素子１２に撮像された画像データに基づいて、公知のコントラスト検出や位相差検出による自動焦点（ＡＦ）制御や公知の自動露出（ＡＥ）演算などをそれぞれ実行する。また、本実施形態のＣＰＵ２０は、不揮発性メモリ２５に格納されている画像処理プログラムに従い、発話者特定部２１、被写体推定部２２および被写体特定部２３として動作する。
【００２７】
発話者特定部２１は、後述する被写体推定部２２が主要被写体を推定するために用いる音声データを発話する発話者を、撮像素子１２により撮像された画像データを用いて検出し特定する。本実施形態の発話者特定部２１は、画像データに公知の被写体検出処理のアルゴリズムを適用して発話者を特定する。例えば、発話者特定部２１は、予め不揮発性メモリ２５に格納された人物の形状を示すテンプレートを読み込み、画像データに対しパターンマッチング処理などを施すことにより、人物の顔領域を検出し発話者として特定する。例えば、ＣＰＵ２０は、その結果に基づいて、マイクロホン１５ａ、１５ｂを特定された発話者からの音声が明瞭に取得できるように設定するのが好ましい。なお、複数の人物の顔領域が検出された場合、発話者特定部２１は、複数の人物全てを発話者と特定してもよいし、ＣＰＵ２０やユーザによって選択された人物を発話者と特定してもよい。また、発話者特定部２１は、画像データから人物が検出されなかった場合、ユーザや画像データの画角外の人物を発話者と特定することが好ましい。なお、発話者特定部２１は、マイクロホン１５ａ，１５ｂで取得された音声信号に対して声紋分析を行うことで、発話者を特定（推定）する構成としてもよい。
【００２８】
被写体推定部２２は、ＳＤＲＡＭ１７に格納されている音声データを読み込み、公知の音声認識のアルゴリズムに基づいて、音声データから発話者特定部２１により特定された発話者の発話内容を音声情報として抽出し取得する。被写体推定部２２は、不揮発性メモリ２５に格納される辞書データに基づいて、取得した音声情報から撮像素子１２により次に撮像される主要被写体を推定する。なお、辞書データは、音声情報と主要被写体とが対応付けられた一覧のデータである。つまり、本実施形態の辞書データは、人物や動物、花、乗り物、建物および山などのそれぞれの主要被写体を表す名詞の音声情報の一覧とともに、例えば、花や虹などの主要被写体に対応する「きれい」などの形容詞などの音声情報の一覧とからなる。
【００２９】
被写体特定部２３は、被写体推定部２２の推定後に、撮像素子１２により撮像される画像データに対して、例えば、被写体検出処理を施し、被写体推定部２２により推定された主要被写体の画像領域を検出し特定する。例えば、被写体特定部２３は、被写体推定部２２により推定された主要被写体の形状を示すテンプレートを不揮発性メモリ２５より読み込み、画像データに対しパターンマッチング処理などを施して主要被写体の画像領域を検出し特定する。ＣＰＵ２０は、特定された主要被写体の画像領域を合焦領域として、レンズ駆動部１８を駆動して撮影レンズ１１を光軸方向で進退させて焦点調整を行う。なお、不揮発性メモリ２５は、辞書データに登録される主要被写体のテンプレートを格納しているものとする。
【００３０】
操作部材２４は、例えば、レリーズ釦、電源釦、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部材２４はデジタルカメラ１００の各種入力をユーザから受け付ける。また、本実施形態では、モニタ１６ｂと同形状の透明のパネルで構成されモニタ１６ｂの表面全体に積層配置されるタッチパネルを、操作部材２４として用いてもよい。すなわち、タッチパネルが、パネル表面に接触したスタイラス（または指先等）の位置を検出し、検出した位置情報をＣＰＵ２０に出力することでユーザからの指示入力を受け付けるようにしてもよい。
【００３１】
動きセンサ２６は、加速度センサや電子ジャイロなどデジタルカメラ１００の姿勢や動きを検出し、ＣＰＵ２０に検出信号を出力する。
【００３２】
次に、図２のフローチャートを参照しつつ、本実施形態のデジタルカメラ１００による撮像動作について説明する。なお、本実施形態では、撮影モードとして動画モードに設定され動画を撮像する場合について説明するが、連写モードで静止画像を撮像する場合や撮像待機時のスルー画像を撮像する場合についても同様である。
【００３３】
ＣＰＵ２０は、ユーザによる操作部材２３の電源釦操作により、電源投入指示を受け付け、デジタルカメラ１００の電源を投入する。ＣＰＵ２０は、不揮発性メモリ２５に格納された制御プログラムおよび画像処理プログラムを読み込んで実行し、デジタルカメラ１００を初期化する。ＣＰＵ２０は、ユーザによる操作部材２４のレリーズ釦全押し操作の撮像指示を受け付けると、撮像素子１２に動画の撮像を開始させる。同時に、ＣＰＵ２０は、マイクロホン１５ａ、１５ｂに音声を受信して音声データの取得を開始させる。なお、撮像開始時において動画撮像される被写界は、図３に示すような人物３１だけの構図の被写界３０であるとする。
【００３４】
ステップＳ１０１において、発話者特定部２１は、撮像素子１２により撮像された動画のフレームに対して被写体検出処理を施し、人物３１の顔領域を検出し、マイクロホン１５ａ，１５ｂによって取得された音声信号と同期して、検出された顔領域の一部（口）が動いていると判断し、人物３１を発話者と特定する。
【００３５】
ステップＳ１０２において、被写体推定部２２は、ＳＤＲＡＭ１７に記録されている音声データを読み込んで音声認識処理を施し、人物３１の発話内容を音声情報として抽出し取得する。被写体推定部２２は、その音声情報と不揮発性メモリ２５に格納されている辞書データとに基づいて、撮像素子１２により次に撮像される主要被写体を推定する。
【００３６】
ここで、被写体推定部２２および被写体特定部２３の具体的な動作について、次の５つのケースそれぞれの場合を例にして説明する。
［ケース１］
図４（ａ）に示すように、被写界３０の人物３１が、例えば、「きれいなお花」と発話した場合、ステップＳ１０２において、被写体推定部２２は、撮像素子１２によって次に撮像される主要被写体は「花」であると推定する。
【００３７】
ステップＳ１０３において、被写体特定部２３は、被写体推定部２２の推定結果に基づいて、ＳＤＲＡＭ１７から「花」のテンプレートを読み込む。被写体特定部２３は、撮像素子１２によって次に撮像されるフレームから主要被写体である「花」の検出を開始する。そして、ユーザによるデジタルカメラ１００のパンニングやズーミングなどの結果、撮像素子１２が、図４（ｂ）に示す被写界４０を撮像すると、被写体特定部２３は、そのフレームから後ろの山ではなく手前の花４１の画像領域４２を主要被写体として検出し特定する。
【００３８】
ステップＳ１０４において、ＣＰＵ２０は、特定された花４１の画像領域４２を合焦領域として、レンズ駆動部１８を駆動して撮影レンズ１１を光軸方向で進退させて焦点調整を行う。同時に、ＣＰＵ２０は、フレームのスルー画像をモニタ１６ｂに表示するとともに、花４１の画像領域４２が合焦領域であることを示すＡＦ枠を重畳表示する。
［ケース２］
図５（ａ）に示すように、会議などにおいて、被写界３０の人物３１が、例えば、「次の図をご覧下さい」と発話した場合、ステップＳ１０２において、被写体推定部２２は、撮像素子１２によって次に撮像される主要被写体は「図」であると推定する。
【００３９】
ステップＳ１０３において、被写体特定部２３は、被写体推定部２２の推定結果に基づいて、ＳＤＲＡＭ１７からグラフなどのテンプレートを読み込む。被写体特定部２３は、撮像素子１２によって次に撮像されるフレームから主要被写体である「図」の検出を開始する。そして、撮像素子１２が、図５（ｂ）に示すようなプロジェクタなどに映し出されたグラフ５１を含む被写界５０を撮像すると、被写体特定部２３は、フレームからグラフ５１の画像領域５２を主要被写体として特定する。
【００４０】
ステップＳ１０４において、ＣＰＵ２０は、特定されたグラフ５１の画像領域５２を合焦領域として、レンズ駆動部１８を駆動して撮影レンズ１１を光軸方向で進退させて焦点調整を行う。同時に、ＣＰＵ２０は、フレームのスルー画像をモニタ１６ｂに表示するとともに、グラフ５１の画像領域５２が合焦領域であることを示すＡＦ枠を重畳表示する。
【００４１】
なお、「図」を特定するにあたり、被写体特定部２３は、グラフなどのテンプレートの代わりに、例えば、公知の文字認識またはグラフ認識技術を用いて、「図」の画像領域を特定してもよい。
［ケース３］
図６（ａ）に示すように、被写界３０の人物３１が、例えば、「わあ、きれい」と発話した場合、ステップＳ１０２において、被写体推定部２２は、撮像素子１２によって次に撮像される主要被写体は「きれなもの」と推定する。
【００４２】
ステップＳ１０３において、被写体特定部２３は、被写体推定部２２の推定結果に基づいて、ＳＤＲＡＭ１７から「きれなもの」として対応付けられた「花」や「虹」などのテンプレートを読み込む。被写体特定部２３は、撮像素子１２によって次に撮像されるフレームから主要被写体である「きれいなもの」の検出を開始する。そして、ユーザによるデジタルカメラ１００のパンニングやズーミングなどの結果、撮像素子１２が、図４（ｂ）に示す花４１や図６（ｂ）に示す虹６１を撮像すると、被写体特定部２３は、花４１の画像領域４２や虹６１の画像領域６２を主要被写体として特定する。
【００４３】
ステップＳ１０４において、ＣＰＵ２０は、特定された花４１の画像領域４２や虹６１の画像領域６２を合焦領域として、レンズ駆動部１８を駆動して撮影レンズ１１を光軸方向で進退させて焦点調整を行う。同時に、ＣＰＵ２０は、フレームのスルー画像をモニタ１６ｂに表示するとともに、花４１の画像領域４２や虹６１の画像領域６２が合焦領域であることを示すＡＦ枠を重畳表示する。
【００４４】
なお、「きれいなもの」を特定するにあたり、被写体特定部２３は、「花」や「虹」などのテンプレートを用いる代わりに、例えば、顕著性マップに基づいて、高彩度領域で明るい領域を「きれいなもの」の画像領域として特定してもよい。その際、顕著性マップにおいて、色、明るさの重みを高くして、方向性エッジの重みを低くすることが好ましい。また、ＣＰＵ２０は、特定された高彩度領域で明るい領域を合焦領域とするが、高彩度領域で明るい領域が複数ある場合には、最至近の領域または最も大きな画像領域などを合焦領域とすることが好ましい。本実施形態によれば、発話内容が、次のシーンの主要被写体を直接的に示しておらず、例えば、形容詞、形容動詞のような形で表現されている場合であっても、主要被写体を特定することができる。
［ケース４］
図７（ａ）に示すように、被写界３０の人物３１が、例えば、「わあ、早い」と発話した場合、ステップＳ１０２において、被写体推定部２２は、撮像素子１２によって次に撮像される主要被写体が「早いもの」と推定する。
【００４５】
ステップＳ１０３において、被写体特定部２３は、被写体推定部２２の推定結果に基づいて、ＳＤＲＡＭ１７から「早いもの」として対応付けられた「自動車」、「電車」あるいは「飛行機」などのテンプレートを読み込む。被写体特定部２３は、撮像素子１２によって次に撮像されるフレームから主要被写体である「早いもの」の検出を開始する。そして、ユーザによるデジタルカメラ１００のパンニングまたはズーミングなどの結果、撮像素子１２が、図７（ｂ）に示す電車７１を撮像すると、被写体特定部２３は、後ろの山ではなくその麓を走る電車７１の画像領域７２を主要被写体として特定する。
【００４６】
ステップＳ１０４において、ＣＰＵ２０は、特定された電車７１の画像領域７２を合焦領域として、レンズ駆動部１８を駆動して撮影レンズ１１を光軸方向で進退させて焦点調整を行う。同時に、ＣＰＵ２０は、フレームのスルー画像をモニタ１６ｂに表示するとともに電車７１の画像領域７２が合焦領域であることを示すＡＦ枠を重畳表示する。
【００４７】
なお、「早いもの」を特定するにあたり、被写体特定部２３は、「電車」などのテンプレートを用いる代わりに、例えば、フレームと１フレーム前のフレームとの間で相関処理を施して、フレーム間差分または動きベクトルを算出し、フレーム間差分または動きベクトルに基づいて「早いもの」の画像領域を特定してもよい。ただし、ユーザがデジタルカメラ１００をパンニングしながら「早いもの」を撮像する場合、「早いもの」および背景におけるフレーム間差分または動きベクトルの関係は逆となる。この場合、被写体特定部２３は、例えば、動きセンサ２６の検出信号に基づいて、デジタルカメラ１００自身の動きを判定し、「早いもの」の画像領域を特定することが好ましい。また、ＣＰＵ２０は、「早いもの」の主要被写体に対しコンティニュアスＡＦを行うことが好ましい。
［ケース５］
図８（ａ）に示すように、被写界３０の人物３１が、例えば、「わあ、広い」と発話した場合、ステップＳ１０２において、被写体推定部２２は、撮像素子１２によって次に撮像される主要被写体が「広いもの」と推定する。
【００４８】
ステップＳ１０３において、被写体特定部２３は、被写体推定部２２の推定結果に基づいて、ＳＤＲＡＭ１７から「広いもの」として対応付けられた「空」や「海」などのテンプレートを読み込む。被写体特定部２３は、撮像素子１２によって次に撮像されるフレームから主要被写体である「広いもの」の検出を開始する。そして、ユーザによるデジタルカメラ１００のパンニングなどの結果、撮像素子１２が、図８（ｂ）に示す被写界８０を撮像すると、被写体特定部２３は、手前の「花」ではなく「空」を主要被写体として特定する。
【００４９】
ステップＳ１０４において、ＣＰＵ２０は、「空」に合焦するように、無限遠にシングルＡＦ制御して、駆動部１８を駆動し撮影レンズ１１を光軸方向で進退させて焦点調整を行う。
【００５０】
ステップＳ１０５において、ＣＰＵ２０は、ユーザによる操作部材２４の操作から撮像終了の指示を受け付けたか否かを判定する。ＣＰＵ２０は、撮像終了の指示を受け付けた場合、ステップＳ１０６（ＹＥＳ側）へ移行する。一方、ＣＰＵ２０は、撮像終了の指示を受け付けていない場合、ステップＳ１０１（ＮＯ側）へ移行し、撮像終了の指示を受け付けるまでステップＳ１０１〜ステップＳ１０４の処理を行う。
【００５１】
ステップＳ１０６において、ＣＰＵ２０は、ＳＤＲＡＭ１７に格納され画像処理部１４によって画像処理された動画データを読み出して、不図示の圧縮伸長処理部に送る。圧縮伸長処理部（不図示）は、動画データに対し圧縮処理を施して動画ファイルを生成し、記録Ｉ／Ｆ２７を介して記録媒体であるメモリカード２８に記録する。ＣＰＵ２０は、一連の処理を終了する。
【００５２】
このように、本実施形態では、次の主要被写体が画像内にいないにもかかわらず、取得した音声データに基づいて、次の主要被写体を予め推定することにより、撮像素子１２により撮像された画像から、その主要被写体を確度高く且つ迅速に特定することができる。
【００５３】
また、次の主要被写体を予め推定し特定することにより、デジタルカメラ１００は、確実にその主要被写体に合焦させることができ、最適な状態で撮像することができる。
《実施形態の補足事項》
（１）本発明の再生処理装置は、画像処理プログラムをデジタルカメラ１００のＣＰＵ２０に実行させることにより実現させたが、本発明はこれに限定されない。例えば、本発明に係る再生処理装置における処理を、コンピュータや撮像部を有するスマートフォンなどの電子機器で実現するための処理プログラムおよびそれを記録した媒体に対しても適用可能である。
【００５４】
なお、コンピュータを本発明の画像処理装置として動作させる場合、コンピュータが、例えば、デジタルカメラ１００などから読み込んだ動画ファイルを再生すると、被写体推定部２２は、動画ファイルに付加された音声データまたはユーザからの音声に基づいて主要被写体を推定し、被写体特定部２３は、被写体推定部２２の推定後に再生されるフレームから推定された主要被写体を特定する。そして、コンピュータのＣＰＵは、情報付加部として、特定された主要被写体および画像領域の大きさや位置などの情報をフレームに対応付けて、動画ファイルのヘッダ領域に付加する。これにより、動画の各フレームに何が主要被写体として写っているかを容易に確認することでき、動画ファイルの編集などが容易にできる。
【００５５】
（２）上記実施形態では、発話者特定部２１、被写体推定部２２および被写体特定部２３の処理を、ＣＰＵ２０がソフトウエア的に実現する例を説明したが、ＡＳＩＣ等を用いてハードウエア的に実現してもよい。
【００５６】
（３）上記実施形態では、不揮発性メモリ２５に格納される辞書データは、名詞や形容詞などの音声情報と主要被写体とを対応付けたデータとしたが、本発明はこれに限定されない。例えば、辞書データは、自動車や電車などが発する音声データ自身を音声情報として、自動車や電車などの主要被写体と対応付けしてもよい。
【００５７】
例えば、デジタルカメラ１００が、最初、図９（ａ）に示す被写界９０の山に合焦して撮像している場合を例に考える。その撮像中に、デジタルカメラ１００のマイクロホン１５ａ、１５ｂが、被写界９０に接近する電車の音声を受信し、その信号レベルが大きくなっている場合、あるいはその周波数成分が（ドップラー効果により）高く変化している場合、被写体推定部２２は、受信した電車の音声情報に基づいて、撮像素子１２によって次に撮像される主要被写体が電車であると推定する。被写体特定部２３は、ＳＤＲＡＭ１７から電車のテンプレートを読み込み、撮像素子１２によって次に撮像されるフレームから電車の検出を開始する。そして、デジタルカメラ１００をパンニングやズーミングなどすることなく、図９（ｂ）に示す被写界９０に電車が入ってきた場合、被写体特定部２３は、手前を走る電車９１の画像領域を主要被写体として特定し、ＣＰＵ２０は、山から電車９１の画像領域９２を合焦領域として、レンズ駆動部１８を駆動して撮影レンズ１１を光軸方向で進退させて焦点調整を行う。
【００５８】
なお、被写体特定部２３は、マイクロホン１５ａ、１５ｂによるステレオ形式の音声データに基づいて、音声の近づいてくる方向から被写界内に入ってくる主要被写体を検出するようにしてもよい。
【００５９】
（４）上記実施形態では、マイクロホン１５ａ、１５ｂは、被写界内外の音声だけでなく、マイクロホン１５ａ、１５ｂとは別に、ユーザの音声を受信するマイクロホンが配置されてもよい。
【００６０】
（５）上記実施形態では、マイクロホン１５ａ，１５ｂで取得した音声情報をもとに、次に撮影される画面の主要被写体を特定する例について説明したが、例えば、図５（ｂ）に示す画面が撮影されている状態で、人物３１の「この図を見て下さい」との発話を認識した場合には、主要被写体を、人物３１から、同じ撮影画面内のグラフ５２に変更する構成としてもよい。
【００６１】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００６２】
１１…撮像レンズ、１２…撮像素子、１３…ＡＦＥ、１４…画像処理部、１５ａ、１５ｂ…マイクロホン、２０…ＣＰＵ、２１…発話者特定部、２２…被写体推定部、２３…被写体特定部、１００…デジタルカメラ
【図１】
2014236276.tif 000003
【図２】
2014236276.tif 000004
【図３】
2014236276.tif 000005
【図４】
2014236276.tif 000006
【図５】
2014236276.tif 000007
【図６】
2014236276.tif 000008
【図７】
2014236276.tif 000009
【図８】
2014236276.tif 000010
【図９】
2014236276.tif 000011