(57)【要約】【課題】撮影した画像に適した音声の記録が可能な撮影装置を提供すること。【解決手段】画像を取得する画像取得部（７１）と、前記画像に対応させて音声を取得する音声取得部（７４）と、前記画像が取得された状態を認識する認識部（５８）と、前記音声取得部で取得された前記音声を加工する加工部（７６）と、前記認識部の認識結果に応じて前記加工部を制御する制御部（６４）と、前記画像と前記加工部により加工された前記音声とを対応させて記憶媒体に記憶する記憶部（７９）と、を含むことを特徴とする撮影装置。【選択図】図３
2010245695.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
前記画像に対応させて音声を取得する音声取得部と、
前記画像が取得された状態を認識する認識部と、
前記音声取得部で取得された前記音声を加工する加工部と、
前記認識部の認識結果に応じて前記加工部を制御する制御部と、
前記画像と前記加工部により加工された前記音声とを対応させて記憶媒体に記憶する記憶部と、を含むことを特徴とする撮影装置。
【請求項２】
請求項１に記載された撮影装置であって、
前記認識部は、前記画像を用いてシーン解析をすることにより前記画像が取得された状態を認識することを特徴とする撮影装置。
【請求項３】
請求項１に記載された撮影装置であって、
撮影シーンに応じて撮影者が操作可能なシーン操作部を含み、
前記認識部は、前記シーン操作部で操作されたシーンよりも、前記シーン解析で解析されたシーンに重みをもたせて、前記画像が取得された状態を認識することを特徴とする撮影装置。
【請求項４】
請求項１に記載された撮影装置であって、
前記画像の像振れを補正するための特性を変更するために撮影者が操作可能な操作部を含み、
前記認識部は前記操作部の操作状態に応じて前記画像が取得された状態を認識することを特徴とする撮影装置。
【請求項５】
請求項３または請求項４に記載された撮影装置であって、
装置のブレを検出する検出部を有し、
前記制御部は、前記検出部により検出された前記装置のブレに応じて前記音声を加工するように前記加工部を制御することを特徴とする撮影装置。
【請求項６】
請求項１から請求項５までの何れか一項に記載された撮影装置であって、
前記加工部は、前記音声取得部で取得された前記音声の周波数に応じてゲインを変化させるフィルタであり、
前記制御部は、前記認識部の認識結果に応じて前記フィルタの特性を制御することを特徴とする撮影装置。
【請求項７】
画像を取得する画像取得部と、
前記画像に対応させて音声を取得する音声取得部と、
前記画像が取得された状態を認識する認識部と、
前記画像と前記音声と前記認識部の認識結果とを対応させて記憶媒体に記憶する記憶部とを含むことを特徴とする撮影装置。
【請求項８】
請求項７に記載された撮影装置であって、
前記認識部は、前記画像を用いてシーン解析をすることにより前記画像が取得された状態を認識することを特徴とする撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮影装置に関する。
【背景技術】
【０００２】
従来、音声付動画を記録する機能を備えたビデオカメラやスチルカメラにおいて、撮影時に選択された任意の撮影モードに対応して、当該選択された撮影モードに最も相応しい状態で音声の記録を行なうものがある（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３５４１９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の撮影装置においては、撮影者が撮影前にカメラに装備されている、例えばポートレート、風景などの撮影モードの選択により被写体の撮影シーンを設定しておかなければならなかった。このため、設定時に設定間違いが生じたり、設定作業が煩わしかったりするという問題がある。
【０００５】
本発明はこのような問題に鑑みてなされたものであり、設定の間違いや設定作業の煩わしさを解消し、撮影した画像に適した音声の記録が可能な撮影装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。すなわち、請求項１の発明は、画像を取得する画像取得部（７１）と、前記画像に対応させて音声を取得する音声取得部（７４）と、前記画像が取得された状態を認識する認識部（５８）と、前記音声取得部で取得された前記音声を加工する加工部（７６）と、前記認識部の認識結果に応じて前記加工部を制御する制御部（６４）と、前記画像と前記加工部により加工された前記音声とを対応させて記憶媒体に記憶する記憶部（７９）と、を含むことを特徴とする撮影装置である。
【０００７】
請求項２の発明は、請求項１に記載された撮影装置であって、前記認識部（５８）は、前記画像を用いてシーン解析をすることにより前記画像が取得された状態を認識することを特徴とする撮影装置である。
【０００８】
請求項３の発明は、請求項１に記載された撮影装置であって、撮影シーンに応じて撮影者が操作可能なシーン操作部（２５）を含み、前記認識部（５８）は、前記シーン操作部（２５）で操作されたシーンよりも、前記シーン解析で解析されたシーンに重みをもたせて、前記画像が取得された状態を認識することを特徴とする撮影装置である。
【０００９】
請求項４の発明は、請求項１に記載された撮影装置であって、前記画像の像振れを補正するための特性を変更するために撮影者が操作可能な操作部（３１）を含み、前記認識部（５８）は前記操作部（３１）の操作状態に応じて前記画像が取得された状態を認識することを特徴とする撮影装置である。
【００１０】
請求項５の発明は、請求項３または請求項４に記載された撮影装置であって、装置のブレを検出する検出部（６１、６１ａ）を有し、前記制御部（６４）は、前記検出部により検出された前記装置のブレに応じて前記音声を加工するように前記加工部（７６）を制御することを特徴とする撮影装置である。
【００１１】
請求項６の発明は、請求項１から請求項５までの何れか一項に記載された撮影装置であって、前記加工部（７６）は、前記音声取得部（７４）で取得された前記音声の周波数に応じてゲインを変化させるフィルタ（７６）であり、前記制御部（６４）は、前記認識部（５８）の認識結果に応じて前記フィルタ（７６）の特性を制御することを特徴とする撮影装置である。
【００１２】
請求項７の発明は、画像を取得する画像取得部（７１）と、前記画像に対応させて音声を取得する音声取得部（７４）と、前記画像が取得された状態を認識する認識部（５８）と、前記画像と前記音声と前記認識部の認識結果とを対応させて記憶媒体に記憶する記憶部（７９）とを含むことを特徴とする撮影装置である。
【００１３】
請求項８の発明は、請求項７に記載された撮影装置であって、前記認識部（５８）は、前記画像を用いてシーン解析をすることにより前記画像が取得された状態を認識することを特徴とする撮影装置である。
【発明の効果】
【００１４】
本発明によれば、撮影した画像に適した音声の記録が可能な撮影装置を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態に係る撮影装置の外観を模式的に示す斜視図である。
【図２】第１実施形態に係る撮影装置の構成を示す図である。
【図３】第１実施形態に係る撮影装置の機能を示すブロック図である。
【図４】シーン認識部のシーン解析の例を示すフロー図である。
【図５】平均的なマイクが集音する音の周波数特性の例を示す図である。
【図６】フィルタの特性の例を示す図である。
【図７】第２実施形態に係る撮影装置の機能を示すブロック図である。
【図８】第２実施形態に係る撮影装置において、制御部に入力され、記憶部に記憶される各信号の入力状態と時間との関係をそれぞれグラフに示した図であり、（ａ）は画像信号の入力状態、（ｂ）は右側マイクの音声信号の入力状態、（ｃ）は左側マイクの音声信号の入力状態、（ｄ）は角速度信号の入力状態、（ｅ）はアクティブモードのオン信号の入力状態を示している。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について図面を参照しつつ説明する。
【００１７】
（第１実施形態）
図１は第１実施形態に係る撮影装置の外観を模式的に示す斜視図である。また、図２は第１実施形態に係る撮影装置の構成を示す図である。
【００１８】
第１実施形態に係る撮影装置は、デジタル一眼レフカメラ１（以下、カメラ１と略記する。）であり、静止画および動画の撮影が可能である。カメラ１はボディ部４と、ボディ部４の上部に備えられたファインダ装置部７と、ボディ部４の前面部に設けられたレンズ部１０とから構成されている。レンズ部１０は複数のレンズ群からなる撮影レンズ１１を内蔵している。撮影レンズ１１は撮影光学系を構成している。レンズ部１０には、被写体距離検出部１３と焦点距離検出１６部が設けられている。
【００１９】
ボディ部４の外部には、静止画／動画切替えスイッチ１９、レリーズボタン２２、シーン操作部２５、手ブレ補正機構を作動させるための手ブレ補正スイッチ２８、手ブレを補正する特性を変更できる補正モード切替えスイッチ３１が設けられている。また、ボディ部４の前面、すなわち被写体側の面の下方には、動画の撮影時に音声を記録するためのマイク３４が設けられている。マイク３４は図示しない被写体に向かって右側に設けてある右側マイク３４Ｒおよび左側に設けてある左側マイク３４Ｌの２つを備えている。ボディ部４の背面には、動画撮影中における撮影中の画像および撮影待機中に撮影光学系が捉えている画像が表示される液晶表示部３７が設けられている。液晶表示部３７には、カメラ１の設定状態や操作時の各種メニューが表示される。ボディ部４の両側面には、撮影した動画を再生したときに音声が出力されるスピーカ４０が設けられている。スピーカ４０は被写体に向かって右側面に設けてある右側スピーカ４０Ｒおよび左側面に設けてある左側スピーカ４０Ｌの２つを備えている。
【００２０】
ボディ部４の内部には、被写体を撮影するための撮像素子４３が設けられている。撮像素子４３はＣＣＤあるいはＣＭＯＳが用いられている。撮影レンズ１１と撮像素子４３との間の撮影光路中には、撮影レンズ１１を通過した被写体からの光をファインダ装置部７へ反射するためのクイックリターンミラー４６が設けられている。
【００２１】
静止画を撮影する場合、レリーズ前における被写体からの光は、撮影レンズ１１を通過してボディ部４に入り、クイックリターンミラー４６で反射され、撮像素子４３と共役な位置に設けられているファインダスクリーン４９に結像する。ファインダスクリーン４９に結像した被写体像はファインダ装置部７に設けられたペンタプリズム５２を介して接眼レンズ５５に導かれ、撮影者に観察される。レリーズ後においては、クイックリターンミラー４６が跳ね上がり、撮影レンズ１１を通過した被写体からの光は撮像素子４３に結像する。
【００２２】
図３は、第１実施形態に係るカメラ１の機能を示すブロック図である。
【００２３】
以下、カメラ１で被写体（図示省略）の動画を撮影する場合を例としてカメラ１の機能を説明する。
【００２４】
静止画／動画切替えスイッチ１９を操作してカメラ１を動画撮影モードに切替えると、クイックリターンミラー４６が跳ね上がって撮影光路から退避した状態で保持され、動画撮影の待機状態となる。カメラ１は、撮影者が撮影状態に適した撮影モードを選択することができるようになっている。撮影モードの選択はシーン操作部２５を操作することで行なう。シーン操作部２５は、例えばポートレート撮影モード、運動会等で使用する子供撮影モード、夜景撮影モード、マクロ撮影モード等の撮影モードが設定された撮影シーン選択ダイヤルである。撮影者が撮影シーンを選択すると、選択された撮影モードに適した画像が撮影できるように撮影レンズ１１、絞り（図示省略）等の設定状態が自動的に調節される。シーン操作部２５の設定状態はシーン認識部５８に出力される。
【００２５】
カメラ１には、撮影している画像の像ブレを低減するための手ブレ補正機構が備えられている。手ブレ補正機構を作動させるときは、手ブレ補正スイッチ２８（以下、ＶＲスイッチ２８という。）をオンにする。すると、シーン認識部５８に備えられたブレ検出部６１またはレンズ部１０に設けられたブレ検出部６１ａが作動する。ブレ検出部６１は、後述するシーン認識部５８に入力される画像信号を用いて画像処理によりカメラ１のブレを検出する。ブレ検出部６１ａはジャイロセンサである（以下、ジャイロセンサ６１ａともいう。）。ブレ検出部６１、６１ａはカメラ１のブレ、すなわちボディ部４が傾いた際の角速度を検出する。撮影レンズ１１には補正レンズ（図示省略）が組み込まれており、ブレ検出部６１、６１ａが検出した角速度に対応して、ボディ部４の傾きを打ち消す方向に補正レンズを動かすことで光軸を補正する。図示実施例においては、ブレ検出部６１およびブレ検出部６１ａを両方用いても良いし、少なくとも一方を用いても良い。これにより撮像素子４３の受光面に到達する光の動きを抑制し、手ブレを低減している。
【００２６】
また、本実施形態に係るカメラ１は、手ブレ補正機構の補正特性を変更できるようになっている。補正特性の変更は補正モード切替えスイッチ３１（以下、ＶＲモード切替えスイッチ３１という。）を操作することで行なう。ＶＲモード切替えスイッチ３１は、例えば、アクティブモードとノーマルモードとが切替えられるようになっている（以下、アクティブモードをＶＲアクティブモードと、ノーマルモードをＶＲノーマルモードという。）。ＶＲアクティブモードは、撮影者が自動車や電車等の乗り物に乗って撮影する時に使用するモードである。ＶＲアクティブモードは、自動車や電車等の乗り物特有の振動によるカメラ１のブレを検知し、これを補正する。ＶＲノーマルモードは、撮影者が乗り物に乗っていないときの手ブレを補正するために使用するモードである。ＶＲモードを選択することで、撮影状態に適した補正特性で像ブレを低減することができる。なお、ＶＲモード切替えスイッチ３１は、三脚使用時／三脚不使用時切替えスイッチであっても良い。ＶＲモード切替えスイッチ３１の設定状態は、ＶＲモード切替えスイッチ３１がＶＲアクティブモードに設定されている時にＶＲアクティブオン信号が出力され、ＶＲノーマルモードに設定されている時にはＶＲアクティブオン信号が出力されない。ＶＲアクティブオン信号はシーン認識部５８と制御部６４とにそれぞれ出力される。
【００２７】
動画撮影の待機状態においては、撮影光学系を通過した被写体からの光が撮像素子４３に結像している。ボディ部４の背面の液晶表示部３７には、撮影光学系が捉えている被写体の画像が表示されている。撮影者がレリーズボタン２２を半押し操作すると、被写体距離検出部１３と焦点距離検出部１６とが作動して被写体までの距離および被写体の焦点距離を演算し、被写体に焦点が合うように自動的に撮影レンズ１１を駆動する。こうして撮影者は被写体にピントが合った状態で画像を撮影できる。被写体距離検出部１３および焦点距離検出部１６が演算した被写体までの距離および被写体の焦点距離は、シーン認識部５８に出力される。
【００２８】
撮影者がレリーズボタン２２を全押し操作して全押しスイッチが入ると動画の撮影が開始される。動画の撮影が開始されると、液晶表示部３７には記録中の画像が表示される。撮像素子４３に結像した被写体からの光は撮像素子４３で光電変換され電気信号に変換される。電気信号はアナログ処理回路６７でアナログ処理が施された後、Ａ／Ｄ変換回路６８によってデジタル信号に変換され、画像信号が生成される。画像信号は画像処理回路６９でホワイトバランス調整、彩度調整、輪郭調整、階調調整等の画像処理が施される。撮影光学系と撮像素子４３とアナログ処理回路６７とＡ／Ｄ変換回路６８と画像処理回路６９とで画像取得部７１が構成されている。画像処理が施された画像信号は、シーン認識部５８と制御部６４とにそれぞれ出力される。
【００２９】
画像処理回路６９には、画角内の人物の顔を認識する顔認識部７０が設けられている。顔認識部７０は画角内に存在する顔の面積と個数、位置などを演算し、演算結果を顔認識情報としてシーン認識部５８に出力する。
【００３０】
動画を撮影するときは上述した信号および情報、すなわち画像処理回路６９からの画像信号、顔認識部７０からの顔認識情報、シーン操作部２５の設定状態、ＶＲモード切替えスイッチ３１の設定状態すなわちＶＲアクティブオン信号、被写体までの距離情報および被写体の焦点距離情報（以下、画像信号等の情報という。）が連続して出力され、画像信号等の情報はシーン認識部５８に入力される。
【００３１】
シーン認識部５８は入力された画像信号等の情報に基づいて被写体の明るさ、被写体までの距離等を演算し、シーン解析する。シーン認識部５８はシーン解析結果により当該画像が撮影された状態を認識する。例えば、顔認識部５８からの情報に基づいて人物を主要被写体とするものであると認識したり、画角の天上部に青色の情報が多ければ晴天の日に屋外で撮影していると認識したりする。また、シーン認識部５８は入力された画像信号等の情報にＶＲアクティブオン信号が含まれている場合、当該画像は自動車等の乗り物に乗って撮影している画像であると認識する。シーン認識部５８が認識した撮影状態は、撮影者がシーン操作部２５で選択した撮影モードと必ずしも一致するとは限らない。この場合、シーン認識部５８はシーン解析結果に重みを持たせて画像が取得された状態を認識する。シーン認識部５８のシーン解析結果、すなわちシーン認識結果は制御部６４に出力される。
【００３２】
図４は、シーン認識部５８のシーン解析の例であり、シーン解析を実行した結果、子供を撮影しているシーンであると認識する場合のフロー図である。この例においてシーン認識部５８に入力されている信号および情報は上述した画像信号等の情報、すなわち、画像処理回路６９からの画像信号、顔認識部７０からの顔認識情報、シーン操作部２５の設定状態、ＶＲモード設定スイッチ３１の状態（この例の場合ＶＲモード設定スイッチ３１はＶＲノーマルモードに設定されているとする。）、被写体までの距離情報および被写体の焦点距離情報である。
【００３３】
シーン認識部５８は、入力された画像信号等の情報のうち、顔認識情報、焦点距離情報、被写体距離情報を用いてシーン解析を実行している。シーン認識部５８は、顔認識情報、焦点距離情報、被写体距離情報を取得し（ステップ１−ステップ３）、被写体距離情報および焦点距離情報を勘案して、顔認識情報から被写体の顔の絶対サイズを演算する（ステップ４）。シーン認識部５８が演算した顔の絶対サイズを示す指標を顔の面積Ｓとし、また、顔の面積Ｓの大きさを判断するパラメータを、大人の顔の面積Ｓadultとする。シーン認識部５８は予め面積Ｓadultを記憶している。そしてＳadultを閾値とすると、シーン認識部５８が演算した顔の絶対サイズＳがＳadultよりも小さければ（ステップ５）、シーン認識部５８は被写体が子供であると認識する（ステップ６）。また、シーン認識部５８はＶＲモード設定スイッチ３１のＶＲアクティブオン信号が出力されていないので、乗り物には乗っていない状態で撮影された画像であると認識する。また、シーン操作部２５の設定状態が子供撮影モード以外のモードに設定されていても、シーン認識部５８は実際に撮影された画像の画像信号等の情報から、被写体は子供であると認識する。つまり、シーン認識部５８は実際に撮影された画像の画像信号等の情報を優先してシーンを認識する。そしてシーン認識部５８の認識結果は制御部６４に出力される（ステップ７）。
【００３４】
上述したシーン解析の例の場合において、例えば画角内に顔が複数あり、そのそれぞれの大きさがＳadultよりも小さい場合も、シーン認識部５８は被写体が子供であると認識する。また、例えば顔が複数あり、そのそれぞれの大きさがＳadultよりも大きいものと小さいものとが混在している場合は、シーン認識部５８は被写体には子供が含まれていると判断する。また、例えばＳadultよりも小さいサイズの顔が縦横無尽に動き回っていれば、シーン認識部５８は、子供が遊んでいるシーンを撮影していると判断する。
【００３５】
次に、動画の撮影において画像とともに記録される音声の処理機能について説明する。
【００３６】
動画の撮影では画像とともに音声も同時に記録される。通常、人間の耳の可聴域は２０Ｈｚ〜２ｋＨｚといわれている（ただし、諸説存在する）。このため、音声を集音するマイクは可聴域を大きくカバーして集音するものが多い。図５に平均的なマイクが集音する音の周波数特性の例を示す。第１実施形態におけるマイク３４（以下、単に「マイク３４」というときは、右側マイク３４Ｒおよび左側マイク３４Ｌのことをいう。）も図５に示す周波数特性を有し、人間の耳の可聴域を大きくカバーするものである。可聴域には様々な種類の音が含まれている。例えば、図５に示すように自動車の音の周波数特性は比較的低域であり、セミや鈴虫等の虫の鳴き声は高域である。また、図５に示すように人間の声は中域を含む広範囲となっている。マイク３４はこれらの様々な種類の音を集音する。例えば子供が遊ぶシーンを撮影した場合、マイク３４は子供の声だけではなく、近くにいる大人の声や、通りかかった自動車の音なども同時に集音する。
【００３７】
撮影した画像とともに右側マイク３４Ｒおよび左側マイク３４Ｌで集音されたこのような様々な種類の音声は、それぞれ信号処理回路７３で処理される。信号処理回路７３はＡ／Ｄ変換回路（図示省略）、デジタルアンプ（図示省略）で構成されている。マイク３４と信号処理回路７３とで音声取得部７４を構成している。信号処理回路７３で処理された音声は、デジタルの音声信号として出力される。音声信号は右側マイク３４Ｒで集音された音声の音声信号と左側マイク３４Ｌで集音された音声の音声信号とがそれぞれ出力される（以下、単に「音声信号」というときは、右側マイク３４Ｒの音声から生成された音声信号および左側マイク３４Ｌの音声から生成された音声信号のことをいう。）。なお、信号処理回路７３で処理された音声信号はアナログの音声信号で出力しても良い。アナログの音声信号を出力する場合は、信号処理回路７３の構成はＡ／Ｄ変換回路（図示省略）、デジタルアンプ（図示省略）、Ｄ／Ａ変換回路（図示省略）となる。
【００３８】
第１実施形態に係るカメラ１では、信号処理回路７３で処理された音声信号は加工部７６で加工される。加工部７６は音声信号の周波数に応じてゲインを変化させるフィルタである(以下、フィルタ７６という。)。音声信号はこのようなフィルタ７６によって、当該画像が撮影された状態に相応しい音声に加工される。例えば、子供を主要被写体として撮影した場合であれば、側にいる大人の声や、近くを通りかかった自動車の音などを減衰するように処理特性が変更されたフィルタ７６によって音声信号を処理する。そうすると、子供の声が重視された音声とともに画像を記録することができる。一般に成人男性の声の基本周波数は１００Ｈｚ前後であり、子供の声の基本周波数は２００Ｈｚ以上である。そこで、図６に示すような周波数特性のフィルタを用いて音声信号を処理すると、成人男性の声は減衰され、子供の声の帯域だけ取り出すことができる。その結果、子供の声を重視した音声信号となる。このように、第１実施形態のカメラ１は入力された音声信号を所望の音声の帯域が重視されるように、言い換えれば、不要な音声が記録されないようにフィルタ７６を用いて調節している。なお、第１実施形態においては、音声信号はデジタルなのでフィルタ７６もデジタルフィルタである。音声信号をアナログで出力する場合はアナログフィルタを用いれば良い。
【００３９】
信号処理回路７３で生成された音声信号に対してフィルタ７６の特性をどのように設定するかは制御部６４が制御している。制御部６４には、シーン認識部５８が画像信号等の情報を用いてシーン解析を行なった解析結果、すなわち画像が撮影された状態についてのシーン認識結果が入力される。制御部６４は入力されたシーン認識結果に基づいて、画像が撮影された状態に最も相応しい音声が記録されるようにフィルタ７６の処理特性を変化させる。つまりフィルタ７６のゲインを変化させる。例えば、シーン認識部５８が、子供が遊んでいるシーンを撮影した画像であると認識した場合、制御部６４は当該認識結果に基づいて、図６に示すような処理特性で処理するのが当該画像に最も相応しいものと判断する。そしてフィルタ７６のゲインを図６に示す処理特性となるように変化させる。そして音声信号は図６に示す処理特性のフィルタ７６で処理される。その結果、成人男性の声の帯域は音声信号からカットされ、子供の声の帯域が重視された音声信号が生成される。また、例えばシーン認識部５８は入力された画像信号等の情報にＶＲアクティブオン信号が含まれている場合、当該画像は自動車等の乗り物に乗って撮影している画像であると認識する。制御部６４はシーン認識部５８のこの認識結果に基づいてフィルタ７６の処理特性を変化させる。すなわち、フィルタ７６の処理特性を自動車等の車内に響くエンジン音やタイヤの走行音、あるいは風切り音等を低減させるように変化させる。このような特性のフィルタ７６で音声信号を加工すれば、自動車のエンジン音等は低減されて、車内での会話等が強調された画像を記録することができる。
【００４０】
そして、撮影された画像の画像信号は、フィルタ７６で処理された音声信号と関連付けられて記憶部７９に記憶される。なお、記憶部７９はメモリカード等の外付けの記憶媒体であっても良い。
【００４１】
第１実施形態においては、制御部６４は、シーン認識部５８のシーン認識結果が人物を主要被写体とするものであるか否かにより、フィルタ７６の処理特性を変更する。例えば、人物を主要被写体とする画像であるというシーン認識結果が入力されれば、自動車の音や虫の鳴き声を低減するような処理特性に変更する。また、制御部６４は、シーン認識結果が主要被写体に子供が含まれているか否かにより、フィルタ７６の処理特性を変更する。主要被写体に子供が含まれていれば、図６に示すような処理特性に変更する。
【００４２】
このように、第１実施形態に係るカメラ１は、撮影された画像を解析して当該画像が撮影された状態を認識し、撮影された画像に最も相応しい音声が記録されるようにフィルタ７６のゲインを調節する。フィルタ７６のゲインを調節する制御部６４は、シーン認識部５８のシーン認識結果により、フィルタ７６をハイパスフィルタ、ローパスフィルタ、あるいはバンドパスフィルタなどの特性を有するように変化させて音声信号を処理する。その結果、撮影された画像に最も相応しい状態の音声が記録される。
【００４３】
ここで、例えば、撮影者がシーン操作部２５の設定をポートレート撮影モードに設定した状態で子供が遊んでいるシーンを撮影していたとしても、シーン認識部５８は、顔認識部７０からの顔認識情報より被写体は子供であると判断し、かつ認識した顔が動き回っていれば、シーン解析の結果、当該画像が撮影された状態は子供が遊んでいるシーンを撮影した画像であると認識する。そして、制御部６４はシーン認識部５８の認識結果に基づいて、子供の声の帯域を重視する処理ができるようにフィルタ７６の処理特性を変化させる。つまり、シーン認識部５８は実際に撮影された画像を重視してシーンを認識する。その結果、撮影者がシーン操作部２５の設定間違いあるいは設定忘れをしたとしても、撮影された画像に最も相応しい音声信号処理を施すことができる。
【００４４】
なお、画像の撮影中にシーン認識部５８がシーン解析を実行し、解析結果がシーン操作部２５の設定状態と異なっている場合、撮影者にシーン操作部２５の設定が適していないことを通知するようにしても良い。通知はシーン操作部２５の設定の変更を促す表示を液晶表示部３７に表示させても良いし、警報ランプが点灯あるいは点滅するようにしても良い。また、強制的に撮影している状態に適した撮影モードに切替わるように制御しても良い。
【００４５】
また、制御部６４は、音声信号の周波数に応じてフィルタ７６のゲインを変化させる際、左右のマイク３４Ｒ、３４Ｌで集音した音声について一様にフィルタ７６のゲインを変えるように制御しても良いし、右側のマイク３４Ｒが集音した音声と左側のマイク３４Ｌが集音した音声との音量を異なるように制御しても良い。例えば、主要被写体の子供が画角内を右から左に移動し、さらに左から右に移動した場合に、子供が写っている方のマイクの音量が大きくなるようにフィルタ７６のゲインを変化させる。このように制御すれば、画角内を動き回る子供の動きが強調された音声とともに画像が記録される。このように記録された画像および音声を再生すると臨場感が増す。
【００４６】
また、第１実施形態に係るカメラ１は、ＶＲスイッチ２８がオンの時は、ＶＲモード切替えスイッチ３１の設定状態に拘らず、ブレ検出部６１、６１ａが検出するボディ部４のブレ、すなわち角速度が制御部６４に入力される。制御部６４は、入力されるボディ部４のブレの周期に基づいて音声信号を処理するようにフィルタ７６の特性を制御している。
【００４７】
例えば、ブレ検出部６１、６１ａからＡという角速度が検出された場合、制御部６４はフィルタ７６のゲインがｋＡ（ｋは任意の定数）倍になるようにフィルタ７６の特性を変化させる。また、ブレ検出部６１、６１ａからＢという角速度が検出された場合、制御部６４はフィルタ７６のゲインがｋＢ（ｋは任意の定数）倍になるようにフィルタ７６の特性を変化させる。このようにブレ検出部６１、６１ａが検出する角速度に応じてフィルタ７６の特性を変化させることにより、撮影者が被写体の動きに合わせてパンニングすると、パンニング速度に合わせて音を変化させて記録することができる。この機能を生かせば、例えばモータスポーツにおいてカメラ１を自動車に積んで撮影した場合には、自動車がカーブを曲がる時にブレ検出部６１、６１ａで検出される角速度が変化するから、自動車が向きを変える（カーブを曲がる）ごとに角速度の変化に応じてフィルタ７６のゲインがｋＡ倍またはｋＢ倍になるようにすることで音を変化させて記録することができる。このように記録された画像および音声を再生すると、自動車の動きに応じて音が変化し、臨場感を出すことができる。また、別の例として、撮影者が右から左へパンニングをした場合に、右側マイク３４Ｒが集音した音声の音量が徐々に小さくなり、左側マイク３４Ｌが集音した音声の音量が徐々に大きくなって記録されるようにフィルタ７６の特性を制御し、音声を記録しても良い。このように記録された画像および音声を再生すると、画面が右から左へパンニングするに従い、右のスピーカ４０Ｒの音量は徐々に小さくなり、左のスピーカ４０Ｌの音量は徐々に大きくなる。再生時に画面のパンニング方向に合わせて音が変化すれば臨場感を増すことができる。
【００４８】
このように、第１実施形態のカメラ１によれば、撮影された画像のシーン解析に基づいて当該画像が撮影された状態に最も相応しい音声を記録することができ、さらにカメラ１の動きと左右のマイク３４Ｒ、３４Ｌがそれぞれ集音した音声の音声信号とをリンクさせることで臨場感のある音声を記録することができる。
【００４９】
（第２実施形態）
次に第２実施形態に係る撮影装置について説明する。第２実施形態に係る撮影装置もデジタル一眼レフカメラ１００（以下、カメラ１００と略記する。）であり、静止画および動画の撮影が可能である。なお、第１実施形態と同様の構成については、同じ符号を用いて説明する（図１および図２参照）。
【００５０】
図７は、第２実施形態に係るカメラ１００の機能構成を示すブロック図である。
【００５１】
第２実施形態のカメラ１００の構成は第１実施形態のカメラ１と略同様であるが、着脱式の交換レンズ部８２を備え、交換レンズ部８２に画像の像ブレを低減するための手ブレ補正機構と手ブレ補正機構を作動させるためのＶＲスイッチ２８およびＶＲモード切替えスイッチ３１が設けられている。ＶＲモードは第１実施形態と同様に、ＶＲアクティブモードとＶＲノーマルモードである。交換レンズ部８２には被写体距離検出部１３および焦点距離検出部１６が設けられている。交換レンズ部８２にはレンズ側制御部８５が備えられ、被写体距離検出部１３からの被写体距離情報、焦点距離検出部１６からの焦点距離情報、ＶＲスイッチ２８のオン／オフ情報およびＶＲモード切替えスイッチ３１の設定状態の情報とが入力されている。
【００５２】
ボディ部４の外部には、静止画／動画切替えスイッチ１９、レリーズボタン２２、シーン操作部２５が設けられている。また、ボディ部４にはボディ側通信部８８が設けられており、レンズ側通信部８５と常時通信している。被写体距離検出部１３からの被写体距離情報、焦点距離検出部１６からの焦点距離情報、ＶＲスイッチ２８のオン／オフ情報およびＶＲモード切替えスイッチ３１の設定状態の情報は、この通信によってボディ部４側に送られている。他の構成、すなわち撮像素子、クイックリターンミラー４６、マイク３４、ボディ部４の背面の液晶表示部３７等は第１実施形態と同様である。
【００５３】
以下、第２実施形態に係るカメラ１００の機能を被写体の動画を撮影する場合を例に説明する。
【００５４】
撮影者がレリーズボタン２２の半押し状態、すなわち動画撮影の待機状態から、レリーズボタン２２を全押しし、シーン操作部２５を操作して動画の撮影を開始すると、第１実施形態と同様に、撮像素子４３に結像した被写体からの光は撮像素子４３で光電変換され電気信号に変換される。電気信号はアナログ処理回路６７でアナログ処理が施された後、Ａ／Ｄ変換回路６８によってデジタル信号に変換され、画像信号が生成される。画像信号は画像処理回路６９でホワイトバランス調整等の画像処理が施され、シーン認識部５８と制御部６４とにそれぞれ出力される。
【００５５】
ＶＲスイッチ２８がオンの時は、ブレ検出部６１、６１ａが作動し、ブレ検出部６１、６１ａが検出するボディ部４のブレ、すなわちボディ部４の角速度が制御部６４に入力される。ただし、以下の説明では、ブレ検出部６１ａのみを用いる場合について詳細に説明する。
【００５６】
ＶＲモード切替えスイッチ３１の設定状態の情報はシーン認識部５８と制御部６４とに入力される。ＶＲモード切替えスイッチ３１の設定状態の情報は、ＶＲモード切替えスイッチ３１がＶＲアクティブモードに設定されている時に出力されるＶＲアクティブオン信号であり、ＶＲノーマルモードに設定されている時には出力されない。
【００５７】
また、画像処理回路６９に備えられた顔認識部７０が第１実施形態と同様に画角内の顔の面積、個数、位置等を演算した演算結果は、顔認識情報としてシーン認識部５８に出力される。
【００５８】
シーン認識部５８には、第１実施形態と同様に画像信号等の情報、すなわち画像処理回路６９からの画像信号、顔認識部７０からの顔認識情報、シーン操作部２５の設定状態、ＶＲモード切替えスイッチ３１の設定状態の情報すなわちＶＲアクティブオン信号、被写体までの距離情報および被写体の焦点距離情報が入力される。そしてシーン認識部５８は入力された画像信号等の情報に基づいてシーン解析を実行し、シーン解析結果により当該画像が撮影された状態を認識する。シーン認識部５８のシーン認識結果は制御部６４に出力される。
【００５９】
第２実施形態に係るカメラ１００おいては、右側マイク３４Ｒおよび左側マイク３４Ｌで集音された音声は、それぞれ信号処理回路７３で音声信号に変換されて制御部６４に入力される。制御部６４に入力される音声信号は、それぞれのマイク３４Ｒ、３４Ｌが集音した様々な音声の全帯域を含む音声信号である（以下、単に「マイク３４」というときは、右側マイク３４Ｒおよび左側マイク３４Ｌのことをいい、単に「音声信号」というときは、右側マイク３４Ｒの音声から生成された音声信号および左側マイク３４Ｌの音声から生成された音声信号のことをいう。）。
【００６０】
制御部６４には、上述したように、画像処理回路６９からの画像信号、シーン認識部５８のシーン認識結果、音声信号、ＶＲアクティブオン信号、およびブレ検出部６１ａが検出するボディ部４の角速度が入力される。画像信号は、撮影者がレリーズボタン２２を全押しして全押しスイッチがオンになると画像処理回路６９から出力されて制御部６４に入力され、画像の撮影が開始される。そしてレリーズボタン２２が再度全押しされて全押しスイッチがオフになると、画像処理回路６９から画像信号は出力されなくなり、したがって画像信号は制御部６４に入力されなくなり、画像の撮影が終了する。
【００６１】
制御部６４は、撮影開始から撮影終了まで、すなわち動画撮影モードでレリーズボタン２２が全押しされた時から再度レリーズボタン２２が全押しされて全押しスイッチがオフとなるまでの経過時間を計測している。つまり画像信号と、画像信号が入力されている間の経過時間とをリンクさせている。制御部６４はさらに、入力されたシーン認識結果、音声信号、ＶＲアクティブオン信号、およびボディ部４の角速度についても、それぞれ撮影開始から撮影終了までの経過時間と関連付けを行なっている。つまり、シーン認識結果、音声信号、ＶＲアクティブオン信号、およびボディ部４の角速度は、それぞれ画像信号入力の経過時間と関連付けられる。その結果、画像信号、シーン認識結果、音声信号、ＶＲアクティブオン信号、およびボディ部４の角速度は、互いに画像信号入力の経過時間によって関連付けられることとなる。このように、入力される信号および情報を画像信号入力の経過時間に関連付けることにより、制御部６４は、例えば、画像の撮影開始から撮影終了までの間でどの時点からどの時点までＶＲアクティブモードに設定されていたのか、あるいはＶＲアクティブモードに設定されなかったのか、ということを把握することができる。
【００６２】
そして、互いに関連付けられたこれらの信号および情報は記憶部７９に記憶される。このとき、画像信号入力の経過時間と関連付けられた音声信号は記憶部７９の音声ファイル９１に記憶される。音声ファイル９１に記憶される音声信号は、マイク３４が集音した様々な音声の全帯域を含む音声信号である。また、画像信号入力の経過時間と関連付けられたＶＲアクティブオン信号は記憶部の補正モード記憶ファイル９４（以下、ＶＲモード記憶ファイル９４という。）に記憶される。画像信号入力の経過時間と関連付けられた画像信号、シーン認識結果およびボディ部４の角速度は、記憶部の他のファイル９７に記憶される。他のファイル９７は１つでも複数でも良い。また、音声信号およびＶＲアクティブオン信号を同一のファイルに記憶しても良い。また、記憶部７９はメモリーカード等の外付けの記憶媒体であっても良い。
【００６３】
図８（ａ）−（ｅ）は、制御部６４に入力され、記憶部７９に記憶される各信号について、各信号の入力状態と時間との関係をそれぞれグラフに示した図である。ただしシーン認識結果については示していない。
【００６４】
図８の各図に示す信号は、（ａ）のＳ１が画像処理回路６９からの画像信号、（ｂ）のＳ２が右側マイク３４Ｒの音声信号、（ｃ）のＳ３が左側マイク３４Ｌの音声信号、（ｄ）のＳ４がジャイロセンサ６１ａからの角速度の信号、（ｅ）のＳ５がＶＲアクティブオン信号を示している。ＶＲアクティブオン信号Ｓ５は、ＶＲアクティブモードに設定されている時にオン信号が発信される。
【００６５】
図８の各図に示すように、画像信号Ｓ１は、時刻ｔ１でオンになっている。つまり、時刻ｔ１でレリーズボタン２２が全押しされ、画像の撮影が開始されている。画像の撮影開始後は、右側マイク３４Ｒの音声信号Ｓ２、左側マイク３４Ｌの音声信号Ｓ３および角速度信号Ｓ４は、時間の経過（時刻ｔ２、ｔ３、ｔ４）とともに信号の強弱が変化している。撮影開始当初は、ＶＲモード切替えスイッチ３１はＶＲノーマルモードに設定されており、ジャイロセンサ６１ａは手ブレによるボディ部の角速度を検知している。ＶＲアクティブオン信号は出力されていない。ここで例えば、撮影者が撮影を継続した状態で自動車に乗り込み、時刻ｔ５の時点でＶＲモード切替えスイッチ３１をＶＲノーマルモードからＶＲアクティブモードに切替えたとする。すると、ＶＲアクティブオン信号Ｓ５が制御部６４に入力される。走行する自動車の車内で撮影をすると、走行する自動車特有の振動によるカメラ１００のブレをジャイロセンサ６１ａが検知し、ブレの角速度の信号Ｓ４が制御部６４に入力される。また、自動車のエンジン音や風切り音等が右側マイク３４Ｒおよび左側マイク３４Ｌで集音されている。その後、撮影者は撮影を継続した状態で自動車から降りて、時刻ｔ６の時点でＶＲモード切替えスイッチ３１をＶＲアクティブモードからＶＲノーマルモードに切替えたとする。すると、ＶＲアクティブオン信号Ｓ５はオフになる。自動車特有の振動によるカメラ１００のブレは検知されず、自動車のエンジン音等も集音されていない。そして撮影者は時刻ｔ７で再度レリーズボタン２２を全押しし、撮影を終了する。
【００６６】
以上のような状態の撮影を行なった場合、時刻ｔ１からｔ７までに至る画像は、Ｓ１からＳ５までの信号と、さらにシーン認識部５８からのシーン認識結果とが全て画像信号Ｓ１の入力の経過時間に関連付けられて、１つの画像データとして記憶部７９に記憶される。
【００６７】
次に、記憶部７９に記憶された画像データを再生する場合を説明する。
【００６８】
記憶部７９に記憶された画像データの再生画像は、ボディ部４背面の液晶表示部３７に表示させて見ることができ、再生音声はボディ部４側面のスピーカ４０で聞くことができる。また、ボディ部４に設けられた図示しない外部出力端子にパーソナルコンピュータを接続して、パーソナルコンピュータのモニタで見ることもできる。
【００６９】
操作者は、図示しない操作ボタン等を操作して再生したい画像データを選択し、再生の指示をする。このとき操作者は、図示しない操作ボタン等を操作して音声の再生について加工して再生するか、あるいは加工しないで再生するかを選択できる。
【００７０】
まず、操作者が音声を加工しないで再生する方を選択した場合について説明する。
【００７１】
操作者が音声を加工しないで再生する方を選択すると、制御部６４は記憶部７９の音声ファイル９１、ＶＲモード記憶ファイル９４および他のファイル９７からそれぞれ音声信号、ＶＲアクティブオン信号、画像信号、シーン認識結果、およびボディ部４の角速度等の信号および情報を呼び出す。記憶部７９から呼び出されたこれらの信号および情報は、制御部６４に備えられた再生信号処理部９９に入力される。再生信号処理部９９は入力されたこれらの信号および情報から画像および音声の再生信号を生成する。
【００７２】
例えば、上述した図８における時間ｔ１からｔ７に至る画像データを再生する場合であれば、再生信号処理部９９は画像信号Ｓ１から画像の再生信号を生成し、音声信号、すなわち右側マイク３４Ｒの音声信号Ｓ２および左側マイク３４Ｌの音声信号Ｓ３から音声再生信号を生成する。このとき、制御部６４はＶＲアクティブオン信号、シーン認識結果、およびボディ部４の角速度を考慮しない。すると再生信号処理部９９は音声信号に加工を施さずに音声再生信号を生成する。つまり、音声信号に、第１実施形態のようなフィルタ７６による処理を施さずに音声再生信号を生成する。このように生成された画像および音声の再生信号を再生すると、自動車に乗っている間に撮影された部分は、画像とともに車内に響く自動車のエンジン音やタイヤの走行音、風切り音等が減衰されることなく再生される。このように音声信号に加工を施さずに再生をすると、自動車に乗って画像を撮影していることが強調され、撮影時の雰囲気を損なうことがない。自動車に限らず、列車に乗って列車からの車窓を撮影した場合も同様に撮影時の雰囲気を損なうことなく再生することができる。
【００７３】
次に、操作者が音声の再生について加工を施して再生する方を選択した場合について説明する。
【００７４】
操作者が音声を加工して再生する方を選択して再生の指示をすると、制御部６４は記憶部７９の音声ファイル９１、ＶＲモード記憶ファイル９４および他のファイル９７からそれぞれ音声信号、ＶＲアクティブオン信号、画像信号、シーン認識結果、およびボディ部４の角速度等の信号および情報を呼び出す。記憶部７９から呼び出されたこれらの信号および情報は、制御部６４に備えられた再生信号処理部９９に入力される。再生信号処理部９９は入力されたこれらの信号および情報から画像および音声の再生信号を生成する。再生信号処理部９９は画像信号Ｓ１から画像再生信号を生成する。また、再生信号処理部９９は入力された音声信号から音声再生信号を生成し、加工部７６に出力する。加工部７６は第１実施形態と同様に音声信号の周波数に応じてゲインを変化させるフィルタである。ここで制御部６４は、画像データに含まれる他の信号を参照する。具体的には、シーン認識部５８からのシーン認識結果、ジャイロセンサ６１ａからの角速度信号Ｓ４、ＶＲアクティブモードのオン信号Ｓ５である。制御部６４はシーン認識結果に基づいて第１実施形態と同様にフィルタ７６の特性を変化させる。フィルタ７６に入力された音声再生信号は撮影された画像に最も適した音声で再生されるように加工されて出力される。
【００７５】
例えば、画像データに子供を被写体とするシーン認識結果が含まれているとする。すると、制御部６４は画像信号Ｓ１の経過時間のうち、子供を被写体とするシーンに対応する部分について、子供の声が強調されるようにフィルタ７６の特性を変化させる。そうすると、再生画像のうち、子供を被写体とするシーンについては子供の声が強調された画像が再生される。また、画像データにＶＲアクティブオン信号Ｓ５が記憶されていれば、制御部６４は画像信号Ｓ１の経過時間のうち、ＶＲアクティブオン信号Ｓ５が記憶されている部分に対応する部分について、自動車の音を低減させるようにフィルタ７６の特性を変化させる。そうすると、再生画像のうち、ＶＲアクティブオン信号Ｓ５が入力されている部分については自動車のエンジン音や風切り音は低減され、車内での会話等が強調された画像が再生される。制御部６４は、画像信号Ｓ１の経過時間のうち、他の部分についてもシーン認識結果に基づいて適宜フィルタ７６の特性を変化させる。
【００７６】
また、画像データに含まれるジャイロセンサ６１ａからの角速度信号Ｓ４に基づき、左右のマイク３４Ｒ、３４Ｌの音声信号Ｓ２、Ｓ３から生成する音声再生信号の音量を変化させても良い。そうすると、画面のパンニングに合わせて左右の音が変化し、臨場感を出して再生することができる。
【００７７】
このように第２実施形態にかかるカメラ１００は、音声については、画像の撮影時に集音された音声の全帯域を記憶する。そして取得した画像を再生する時に、加工を施さずに再生するパターンと、シーン認識部５８のシーン認識結果、ＶＲアクティブオン信号、およびに角速度信号等に基づいて加工を施した音声で再生するパターンとを選択して再生することができる。このような構成とすることで、画像の再生時に画像を見る者の好みに応じて音声の再生状態を変化させることができる。
【００７８】
以上、第１実施形態および第２実施形態について、デジタル一眼レフカメラを例に説明したが、これらの実施形態はデジタル一眼レフカメラに限らず、音声を記録する機能を有する撮影装置に適用できる。例えば、スチルカメラ、ビデオカメラ、カメラが内蔵された携帯電話等に適用できる。
【００７９】
また、本発明の構成は上記第１および第２実施形態に限定されるものではなく、適宜変更が可能である。
【符号の説明】
【００８０】
１、１００  カメラ
４  ボディ部
７  ファインダ装置部
１０  レンズ部
１１  撮影レンズ
１３  被写体距離検出部
１６  焦点距離検出部
１９  静止画／動画切替えスイッチ
２２  レリーズボタン
２５  シーン操作部
２８  手ブレ補正スイッチ
３１  補正モード切替えスイッチ
３４  マイク
３７  液晶表示部
４０  スピーカ
４３  撮像素子
４６  クイックリターンミラー
４９  ファインダスクリーン
５２  ペンタプリズム
５５  接眼レンズ
５８  シーン認識部
６１、６１ａ  ブレ検出部
６４  制御部
６７  アナログ処理回路
７０  顔認識部
７１  画像取得部
７３  信号処理回路
７４  音声取得部
７６  加工部（フィルタ）
７９  記憶部
８２  交換レンズ部
８５  レンズ側制御部
８８  ボディ側通信部
９１  音声ファイル
９４  補正モード記憶ファイル（ＶＲモード記憶ファイル）
９７  他のファイル
９９  再生信号処理部
【図１】
2010245695.tif 000003
【図２】
2010245695.tif 000004
【図３】
2010245695.tif 000005
【図４】
2010245695.tif 000006
【図５】
2010245695.tif 000007
【図６】
2010245695.tif 000008
【図７】
2010245695.tif 000009
【図８】
2010245695.tif 000010