(57)【要約】  本発明は、撮像装置が取得した音声信号を補正することを目的とし、撮像装置は、複数の撮影シーンごとに、撮影シーンの識別情報と撮影シーンの画像の補正処理を示す画像処理情報と撮影シーンの音声の補正処理を示す音声処理情報とを対応付けて保持する情報保持部と、画像を撮像して画像を示す画像信号を生成するカメラ部と、カメラ部による撮像に伴い、音声を取得して音声信号を生成するマイク部と、複数の撮影シーンの中から画像信号が示す画像に基づいてその画像の撮影シーンを選択し、選択した撮影シーンの識別情報に対応付けられた画像処理情報が示す補正処理を画像信号に行い、かつ、選択した撮影シーンの識別情報に対応付けられた音声処理情報が示す補正処理を音声信号に行う補正部と、補正処理後の画像信号と音声信号とを記録する記録部と、を含む。
2012023436.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像装置であって、
複数の撮影シーンごとに、前記撮影シーンを識別するための識別情報と、当該撮影シーンについての画像の補正処理を示す画像処理情報と、当該撮影シーンについての音声の補正処理を示す音声処理情報と、を互いに対応付けて保持する保持手段と、
前記画像を撮像して当該画像を示す画像信号を生成する撮像手段と、
前記撮像手段による撮像に伴い、音声を取得して音声信号を生成する取得手段と、
前記複数の撮影シーンの中から、前記画像信号に示された画像に基づいて当該画像の撮影シーンを選択し、当該画像の撮影シーンの識別情報に対応付けられた画像処理情報が示す補正処理を前記画像信号に行うとともに、当該画像の撮影シーンの識別情報に対応付けられた音声処理情報が示す補正処理を前記音声信号に行う補正手段と、
前記補正処理後の画像信号と、前記補正処理後の音声信号と、を記録する記録手段と、を含む撮像装置。
【請求項２】
前記保持手段は、前記複数の撮影シーンのうち人物を含む撮影シーンを識別するための所定識別情報と、所定人物を特定するための人物画像情報と、当該所定人物についての画像の補正処理を示す人物画像処理情報と、当該所定人物についての音声の補正処理を示す人物音声処理情報と、を互いに関連付けてさらに保持し、
前記補正手段は、前記複数の撮影シーンの中から、前記画像信号に示された画像に基づいて選択した当該画像の撮影シーンの識別情報が前記所定識別情報と一致すると、前記画像信号に示される画像内の人物が、前記人物画像情報にて特定される所定人物であるか否かを、当該画像信号に示される画像に基づいて判定し、当該画像内の人物が前記所定人物であると判定すると、前記人物画像情報に関連付けられた人物画像処理情報が示す補正処理を前記画像信号に行うとともに、前記人物画像情報に関連付けられた人物音声処理情報が示す補正処理を前記音声信号に行う、請求項１に記載の撮像装置。
【請求項３】
前記保持手段は、前記複数の撮影シーンのうち動物を含む撮影シーンを識別するための特定識別情報と、所定動物を特定するための動物画像情報と、当該所定動物についての画像の補正処理を示す動物画像処理情報と、当該所定動物についての音声の補正処理を示す動物音声処理情報と、を互いに関連付けてさらに保持し、
前記補正手段は、前記複数の撮影シーンの中から、前記画像信号に示された画像に基づいて選択した当該画像の撮影シーンの識別情報が前記特定識別情報と一致すると、前記画像信号に示される画像内の動物が、前記動物画像情報にて特定される所定動物であるか否かを、当該画像信号に示される画像に基づいて判定し、当該画像内の動物が前記所定動物であると判定すると、前記動物画像情報に関連付けられた動物画像処理情報が示す補正処理を前記画像信号に行うとともに、前記動物画像情報に関連付けられた動物音声処理情報が示す補正処理を前記音声信号に行う、請求項１に記載の撮像装置。
【請求項４】
画像を撮像する撮像装置における画像と音声の補正方法であって、
複数の撮影シーンごとに、前記撮影シーンを識別するための識別情報と、当該撮影シーンについての画像の補正処理を示す画像処理情報と、当該撮影シーンについての音声の補正処理を示す音声処理情報と、を互いに対応付けて保持手段に保持し、
前記画像を撮像して当該画像を示す画像信号を生成し、
前記画像の撮像に伴い、音声を取得して音声信号を生成し、
前記複数の撮影シーンの中から、前記画像信号に示された画像に基づいて当該画像の撮影シーンを選択し、当該画像の撮影シーンの識別情報に対応付けられた画像処理情報が示す補正処理を前記画像信号に行うとともに、当該画像の撮影シーンの識別情報に対応付けられた音声処理情報が示す補正処理を前記音声信号に行い、
前記補正処理後の画像信号と、前記補正処理後の音声信号と、を記録する、画像と音声の補正方法。
【請求項５】
前記保持手段に保持することは、
前記複数の撮影シーンのうち人物を含む撮影シーンを識別するための所定識別情報と、所定人物を特定するための人物画像情報と、当該所定人物についての画像の補正処理を示す人物画像処理情報と、当該所定人物についての音声の補正処理を示す人物音声処理情報と、を互いに関連付けて前記保持手段にさらに保持することを含み、
前記補正処理を前記音声信号に行うことは、
前記複数の撮影シーンの中から、前記画像信号に示された画像に基づいて選択した当該画像の撮影シーンの識別情報が前記所定識別情報と一致すると、前記画像信号に示される画像内の人物が、前記人物画像情報にて特定される所定人物であるか否かを、当該画像信号に示される画像に基づいて判定し、当該画像内の人物が前記所定人物であると判定すると、前記人物画像情報に関連付けられた人物画像処理情報が示す補正処理を前記画像信号に行うとともに、前記人物画像情報に関連付けられた人物音声処理情報が示す補正処理を前記音声信号に行うことを含む、請求項４に記載の画像と音声の補正方法。
【請求項６】
前記保持手段に保持することは、
前記複数の撮影シーンのうち動物を含む撮影シーンを識別するための特定識別情報と、所定動物を特定するための動物画像情報と、当該所定動物についての画像の補正処理を示す動物画像処理情報と、当該所定動物についての音声の補正処理を示す動物音声処理情報と、を互いに関連付けて前記保持手段にさらに保持することを含み、
前記補正処理を前記音声信号に行うことは、
前記複数の撮影シーンの中から、前記画像信号に示された画像に基づいて選択した当該画像の撮影シーンの識別情報が前記特定識別情報と一致すると、前記画像信号に示される画像内の動物が、前記動物画像情報にて特定される所定動物であるか否かを、当該画像信号に示される画像に基づいて判定し、当該画像内の動物が前記所定動物であると判定すると、前記動物画像情報に関連付けられた動物画像処理情報が示す補正処理を前記画像信号に行うとともに、前記動物画像情報に関連付けられた動物音声処理情報が示す補正処理を前記音声信号に行うことを含む、請求項４に記載の画像と音声の補正方法。
【請求項７】
画像を撮像する撮像装置内のコンピュータに、
複数の撮影シーンごとに、前記撮影シーンを識別するための識別情報と、当該撮影シーンについての画像の補正処理を示す画像処理情報と、当該撮影シーンについての音声の補正処理を示す音声処理情報と、を互いに対応付けて保持手段に保持する保持手順と、
前記画像を撮像して当該画像を示す画像信号を生成する撮像手順と、
前記撮像手順での撮像に伴い、音声を取得して音声信号を生成する取得手順と、
前記複数の撮影シーンの中から、前記画像信号に示された画像に基づいて当該画像の撮影シーンを選択し、当該画像の撮影シーンの識別情報に対応付けられた画像処理情報が示す補正処理を前記画像信号に行うとともに、当該画像の撮影シーンの識別情報に対応付けられた音声処理情報が示す補正処理を前記音声信号に行う補正手順と、
前記補正処理後の画像信号と、前記補正処理後の音声信号と、を記録する記録手順と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像と音声の補正方法および記録媒体に関する。
【背景技術】
【０００２】
特許文献１には、再生される音声の音声シーンを判定する技術が記載されている。【０００３】
特許文献１に記載の技術では、映像に表示される字幕テキストと音声信号とを含むコンテンツが取得されると、コンテンツに含まれる字幕テキストに基づいて、音声シーンの判定が行われる。そして、コンテンツに含まれる音声信号が復調されると、その音声信号が、音声シーンの判定結果に基づいて調整される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１７７７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、コンテンツに含まれる字幕テキストに基づいて音声シーンの判定が行われ、その判定結果に基づいて音声信号の調整が行われる。よって、音声信号の調整を行うには、コンテンツに含まれる字幕テキストが必要となる。【０００６】
一方、音声を録音すると共に動画を撮像する撮像装置では、字幕テキストは生成されない。【０００７】
このため、音声を録音すると共に動画を撮像する撮像装置では、特許文献１に記載の技術を適用して、撮像装置が取得した音声信号を調整または補正することは困難であった。【０００８】
本発明の目的は、上記した課題を解決する撮像装置、画像と音声の補正方法および記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の撮像装置は、画像を撮像する撮像装置であって、複数の撮影シーンごとに、前記撮影シーンを識別するための識別情報と、当該撮影シーンについての画像の補正処理を示す画像処理情報と、当該撮影シーンについての音声の補正処理を示す音声処理情報と、を互いに対応付けて保持する保持手段と、前記画像を撮像して当該画像を示す画像信号を生成する撮像手段と、前記撮像手段による撮像に伴い、音声を取得して音声信号を生成する取得手段と、前記複数の撮影シーンの中から、前記画像信号に示された画像に基づいて当該画像の撮影シーンを選択し、当該画像の撮影シーンの識別情報に対応付けられた画像処理情報が示す補正処理を前記画像信号に行うとともに、当該画像の撮影シーンの識別情報に対応付けられた音声処理情報が示す補正処理を前記音声信号に行う補正手段と、前記補正処理後の画像信号と、前記補正処理後の音声信号と、を記録する記録手段と、を含む。【００１０】
本発明の画像と音声の補正方法は、画像を撮像する撮像装置における画像と音声の補正方法であって、複数の撮影シーンごとに、前記撮影シーンを識別するための識別情報と、当該撮影シーンについての画像の補正処理を示す画像処理情報と、当該撮影シーンについての音声の補正処理を示す音声処理情報と、を互いに対応付けて保持手段に保持し、前記画像を撮像して当該画像を示す画像信号を生成し、前記画像の撮像に伴い、音声を取得して音声信号を生成し、前記複数の撮影シーンの中から、前記画像信号に示された画像に基づいて当該画像の撮影シーンを選択し、当該画像の撮影シーンの識別情報に対応付けられた画像処理情報が示す補正処理を前記画像信号に行うとともに、当該画像の撮影シーンの識別情報に対応付けられた音声処理情報が示す補正処理を前記音声信号に行い、前記補正処理後の画像信号と、前記補正処理後の音声信号と、を記録する。【００１１】
本発明の記録媒体は、画像を撮像する撮像装置内のコンピュータに、複数の撮影シーンごとに、前記撮影シーンを識別するための識別情報と、当該撮影シーンについての画像の補正処理を示す画像処理情報と、当該撮影シーンについての音声の補正処理を示す音声処理情報と、を互いに対応付けて保持手段に保持する保持手順と、前記画像を撮像して当該画像を示す画像信号を生成する撮像手順と、前記撮像手順での撮像に伴い、音声を取得して音声信号を生成する取得手順と、前記複数の撮影シーンの中から、前記画像信号に示された画像に基づいて当該画像の撮影シーンを選択し、当該画像の撮影シーンの識別情報に対応付けられた画像処理情報が示す補正処理を前記画像信号に行うとともに、当該画像の撮影シーンの識別情報に対応付けられた音声処理情報が示す補正処理を前記音声信号に行う補正手順と、前記補正処理後の画像信号と、前記補正処理後の音声信号と、を記録する記録手順と、を実行させるプログラムを記録する記録媒体である。
【発明の効果】
【００１２】
本発明によれば、撮像装置が取得した音声信号を補正することが可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態における撮像装置の構成例を示すブロック図である。
【図２】シーン認識部２１の動作例を示すフローチャートである。
【図３】画像調整部２２の動作例を示すフローチャートである。
【図４】音声調整部２３の動作例を示すフローチャートである。
【図５】花火を撮影するときの撮像装置１の動作を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を参照して説明する。  
【００１５】
図１は、本実施形態における撮像装置の構成例を示すブロック図である。
【００１６】
撮像装置１は、動画撮影機能を有する記録装置である。撮像装置１は、例えば、デジタルカムコーダ、デジタルカメラ、携帯電話機、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistants）などにより実現される。
【００１７】
撮像装置１は、情報保持部１１と、カメラ部１２と、マイク部１３と、補正部２０と、記録部３０と、を備える。補正部２０は、シーン認識部２１と、画像調整部２２と、音声調整部２３と、合成部２４と、を備える。
【００１８】
情報保持部１１は、一般的に保持手段と呼ぶことができる。
【００１９】
情報保持部１１は、複数の撮影シーンごとに、撮影シーンを識別するための識別情報と、その撮影シーンについての画像の補正処理を示す画像処理情報と、その撮影シーンについての音声の補正処理を示す音声処理情報と、を互いに対応付けて保持する。複数の撮影シーンは、例えば、花火、人、犬、海、山、夜景である。撮影シーンの識別情報には、例えば、その撮影シーンを代表するサンプル画像の特徴点が含まれる。また、画像処理情報および音声処理情報には、例えば、補正処理を特定するための補正パラメータがそれぞれ示されている。
【００２０】
情報保持部１１は、例えば、花火の撮影シーンの識別情報と、花火の撮影シーンについての画像の補正処理を示す画像処理情報と、花火の撮影シーンについての音声の補正処理を示す音声処理情報と、を互いに対応付けて保持する。
【００２１】
カメラ部１２は、一般的に撮像手段と呼ぶことができる。
【００２２】
カメラ部１２は、画像を撮像してその画像を示す画像信号を生成する。カメラ部１２は、例えば、動画を撮像して画像を示す画像信号を生成する。カメラ部１２は、画像信号を生成すると、その画像信号をシーン認識部２１と画像調整部２２とにそれぞれ供給する。
【００２３】
マイク部１３は、一般的に取得手段と呼ぶことができる。
【００２４】
マイク部１３は、カメラ部１２による撮像に伴い、音声を取得して音声信号を生成する。マイク部１３は、音声信号を生成すると、その音声信号を音声調整部２３に供給する。
【００２５】
補正部２０は、一般的に補正手段と呼ぶことができる。
【００２６】
補正部２０は、複数の撮影シーンの中から、画像信号に示された画像に基づいて、その画像の撮影シーンを選択する。補正部２０は、その選択した画像の撮影シーンについての識別情報に対応付けられた画像処理情報が示す補正処理を画像信号に行い、かつ、その選択した画像の撮影シーンについての識別情報に対応付けられた音声処理情報が示す補正処理を音声信号に行う。
【００２７】
シーン認識部２１は、シーン認識機能を実行する。シーン認識部２１は、シーン認識機能の実行中に、カメラ部１２から画像信号を受け付けると、複数の撮影シーンの中から、画像信号に示された画像に基づいて、その画像の撮影シーンを選択する。
【００２８】
シーン認識部２１は、例えば、画像信号に示された画像の特徴点を抽出し、情報保持部１１内の撮影シーンの識別情報のうち、抽出された特徴点との相関度が所定閾値を超える識別情報を選択する。複数の識別情報が選択された場合にはシーン認識部２１は、相関度の最も高い識別情報を１つ選択する。なお、撮影シーンを選択することが可能な技術であれば、撮影シーンの選択手法は、これに限定されるものではない。
【００２９】
シーン認識部２１は、複数の撮影シーンの中から、画像信号に示された画像に基づいてその画像の撮影シーンの識別情報を選択すると、情報保持部１１を参照し、その選択した撮影シーンの識別情報に対応付けられた画像処理情報と、選択した撮影シーンの識別情報に対応付けられた音声処理情報と、を抽出する。シーン認識部２１は、画像処理情報と音声処理情報とを抽出すると、その画像処理情報を画像調整部２２に供給するとともに、音声処理情報を音声調整部２３に供給する。
【００３０】
なお、シーン認識部２１は、例えば、選択した撮影シーンの識別情報を画像調整部２２と音声調整部２３とにそれぞれ供給してもよい。この場合、画像調整部２２は、撮影シーンごとに撮影シーンの識別情報と画像処理情報とを関連付けて予め保持しておき、シーン認識部２１にて選択された撮影シーンの識別情報を受け付けると、その撮影シーンの識別情報に関連付けられた画像処理情報を取得する。また、音声調整部２３は、撮影シーンごとに撮影シーンの識別情報と音声処理情報とを関連付けて予め保持しておき、シーン認識部２１にて選択された撮影シーンの識別情報を受け付けると、その撮影シーンの識別情報に関連付けられた音声処理情報を取得する。
【００３１】
シーン認識部２１は、例えば、選択した撮影シーンと、画像信号に示された画像と、の相関度（シーン確率）を示す相関度情報を、画像調整部２２と音声調整部２３とにそれぞれ供給してもよい。相関度は、選択した識別情報にて識別される撮影シーンと、画像信号に示された画像と、の相関性が高くなるほど高くなる。
【００３２】
画像調整部２２は、カメラ部１２から画像信号を受け付ける。また、画像調整部２２は、シーン認識部２１から画像処理情報を受け付ける。
【００３３】
画像調整部２２は、画像信号と画像処理情報とを受け付けると、その画像処理情報が示す補正処理を画像信号に行う。画像調整部２２は、例えば、花火を示す画像信号と、花火の撮影シーンについての画像処理情報とを受け付けると、花火の撮影シーンについての画像の補正処理を実行して、花火を示す画像信号を補正する。
【００３４】
画像調整部２２は、例えば、画像信号と相関度情報とを受け付け、その相関度情報が示す相関度に応じて、その画像信号を補正してもよい。例えば、画像調整部２２は、相関度情報が示す相関度が、予め定められた画像補正閾値を超える場合には、画像信号に補正処理を行い、相関度が画像補正閾値以下である場合には、画像信号に補正処理を行わない。画像調整部２２は、補正処理後の画像信号を合成部２４に供給する。
【００３５】
音声調整部２３は、マイク部１３から音声信号を受け付ける。また、音声調整部２３は、シーン認識部２１から音声処理情報を受け付ける。
【００３６】
音声調整部２３は、音声信号と音声処理情報とを受け付けると、その音声処理情報が示す補正処理を音声信号に行う。音声調整部２３は、例えば、花火の音を示す音声信号と、花火の撮影シーンについての音声処理情報と、を受け付けると、花火の撮影シーンについての音声の補正処理を実行して、花火の音を示す音声信号を補正する。音声調整部２３は、花火の音を示す音声信号を、例えば、花火の音が割れないように音声レベルを低くし、または、音声信号が有する周波数特性を、重低音が響くように補正する。
【００３７】
また、音声調整部２３は、例えば、音声信号と相関度情報とを受け付け、その相関度情報が示す相関度に応じて、その音声信号を補正してもよい。例えば、音声調整部２３は、相関度情報が示す相関度が、予め定められた音声補正閾値を超える場合には、音声信号に補正処理を行い、相関度が画像補正閾値以下である場合には、音声信号に補正処理を行わない。
【００３８】
なお、音声調整部２３は、例えば、画像信号のフレームを取得してから、その後フレームを新たに取得するまでの１フレーム期間ごと、または、数フレーム期間ごとに、音声信号に行う補正処理を切り替えることが可能である。音声調整部２３による音声信号の補正時間間隔は、撮像装置１の使用者によって設定可能である。また、音声調整部２３は、補正処理後の音声信号を合成部２４に供給する。
【００３９】
合成部２４は、画像調整部２２から、補正処理後の画像信号を受け付ける。合成部２４は、音声調整部２３から、補正処理後の音声信号を受け付ける。
【００４０】
合成部２４は、補正処理後の画像信号と補正処理後の音声信号とを受け付けると、補正処理後の画像信号と補正処理後の音声信号とを関連付け、その関連付けられた、補正処理後の画像信号と補正処理後の音声信号とによって構成される動画データを生成する。合成部２４は、動画データを生成すると、その動画データを記録部３０に供給する。また、合成部２４は、カメラ部１２にて生成された画像信号と、マイク部１３にて生成された音声信号と、を関連付け、その関連付けられた、画像信号と映像信号とによって構成される原動画データを生成し、その原動画データを記録部３０に供給するようにしてもよい。
【００４１】
記録部３０は、一般的に記録手段と呼ぶことができる。
【００４２】
記録部３０は、補正処理後の画像信号と補正処理後の音声信号とを記録する。
【００４３】
本実施形態では、記録部３０は、合成部２４から動画データを受け付けると、その動画データを所定のデータ形式に変換し、変換後の動画データを記録部３０内に記録する。データ形式とは、例えば、録画形式、画像サイズまたは圧縮方式のことである。
【００４４】
また、記録部３０は、例えば、合成部２４から供給された原動画データと、シーン認識部２１にて抽出された、画像処理情報および音声処理情報と、を受け付け、原動画データと画像処理情報および音声処理情報とを関連付けて記録部３０内に記録してもよい。これにより、シーン認識部２１が、実際の撮影シーンと異なる撮影シーンを選択したときでも、撮像装置１の使用者は、原動画データを再生して動画を楽しむことができる。
【００４５】
撮像装置１は、コンピュータにて実現されてもよい。この場合、コンピュータは、コンピュータにて読み取り可能なＣＤ−ＲＯＭ（Compact Disk Read Only Memory）のような記録媒体に記録されたプログラムを読込み実行することによって、情報保持部１１、カメラ部１２、マイク部１３、補正部２０および記録部３０として機能する。記録媒体は、ＣＤ−ＲＯＭに限らず適宜変更可能である。
【００４６】
次に、撮像装置１における画像と音声の補正方法について説明する。
【００４７】
図２は、シーン認識部２１の動作を示すフローチャートである。
【００４８】
まず、シーン認識部２１は、カメラ部１２から画像信号を受け付けると、その画像信号を読み込む（ステップＳ２１）。
【００４９】
シーン認識部２１は、画像信号を読み込むと、撮影シーンの中から、画像信号に示された画像に基づいてその画像の撮影シーンを選択する。具体的には、シーン認識部２１は、画像信号に画像処理を行い、その画像処理の結果に基づいて、情報保持部１１内の複数の識別情報にて識別される撮影シーンの中から、画像信号に示された画像の撮影シーンを選択する（ステップＳ２２）。
【００５０】
シーン認識部２１は、複数の撮影シーンの中から、画像信号に示された画像に基づいてその画像の撮影シーンを選択すると、情報保持部１１を参照し、選択した撮影シーンの識別情報に対応付けられた画像処理情報を画像調整部２２に出力し、かつ、選択した撮影シーンの識別情報に対応付けられた音声処理情報を音声調整部２３に出力する（ステップＳ２３）。
【００５１】
図３は、画像調整部２２の動作を示すフローチャートである。
【００５２】
まず、画像調整部２２は、カメラ部１２から画像信号を受け付けると、その画像信号を読み込む（ステップＳ３１）。
【００５３】
画像調整部２２は、画像信号を読み込むと、シーン認識部２１から画像処理情報を受け付け、その画像処理情報を読み込む（ステップＳ３２）。
【００５４】
画像調整部２２は、画像信号と画像処理情報とを読み込むと、その画像処理情報が示す補正処理を画像信号に行う（ステップＳ３３）。
【００５５】
画像調整部２２は、画像信号に補正処理を行うと、補正処理後の画像信号を合成部２４に出力する（ステップＳ３４）。
【００５６】
図４は、音声調整部２３の動作を示すフローチャートである。
【００５７】
まず、音声調整部２３は、マイク部１３から音声信号を受け付けると、その音声信号を読み込む（ステップＳ４１）。
【００５８】
音声調整部２３は、音声信号を読み込むと、シーン認識部２１から音声処理情報を受け付け、その音声処理情報を読み込む（ステップＳ４２）。
【００５９】
音声調整部２３は、音声信号と音声処理情報とを読み込むと、その音声処理情報が示す補正処理を音声信号に行う（ステップＳ４３）。
【００６０】
音声調整部２３は、音声信号に補正処理を行うと、補正処理後の音声信号を合成部２４に出力する（ステップＳ４４）。
【００６１】
図５は、花火を撮影するときの撮像装置１の動作について説明するための図である。
【００６２】
図５では、情報保持部１１に、桜、海、山、人、犬、猫、料理、花火、夜景の撮影シーンの識別情報のそれぞれが、予め定められた、画像処理情報および音声処理情報に対応付けられて保持されている。また、調整部２９は、図１に示した画像調整部２２、音声調整部２３および合成部２４で構成される。
【００６３】
カメラ部１２は、花火を撮影して花火を示す画像信号を生成し、その画像信号をシーン認識部２１と調整部２９とに供給する。また、カメラ部１２による花火の撮影に伴い、マイク部１３は、花火の音を取得して花火の音を示す音声信号を生成し、その音声信号を調整部２９に供給する。
【００６４】
シーン認識部２１は、カメラ部１２から、花火を示す画像信号を受け付けると、情報保持部１１内の識別情報から、画像信号に示される花火の撮影シーンを識別する該当識別情報を特定する。シーン認識部２１は、花火の撮影シーンを識別する該当識別情報を特定すると、情報保持部１１を参照して、該当識別情報に対応付けられた画像処理情報と、該当識別情報に対応付けられた音声処理情報と、を調整部２９に供給する。
【００６５】
調整部２９は、花火を示す画像信号と、花火の音を示す音声信号と、花火の撮影シーンに適した画像処理情報および音声処理情報と、を受け付けると、その画像処理情報に基づいて、花火を示す画像信号に補正処理を行い、かつ、音声処理情報に基づいて、花火の音を示す音声信号に補正処理を行う。調整部２９は、例えば、花火の音を示す音声信号を、花火の音が割れないように音声のレベルを低くし、または、音声信号が有する周波数特性を、重低音が響くように調整する。なお、調整部２９は、人の音声を示す音声信号を補正する場合には、例えば、音声信号の周波数成分を、人の声が有する周波数のみに制限する。
【００６６】
調整部２９は、補正処理後の画像信号と補正処理後の音声信号とを合成し、花火の撮影シーンに適した補正処理が施された動画データを、補正後の動画データ９として記録部３０へ出力する。
【００６７】
本実施形態によれば、撮像装置１は、複数の撮影シーンごとに、撮影シーンを識別するための識別情報と、撮影シーンについての画像の補正処理を示す画像処理情報と、撮影シーンについての音声の補正処理を示す音声処理情報と、を互いに対応付けて保持する情報保持部１１を有する。また、撮像装置１では、カメラ部１２が、画像を撮像して画像を示す画像信号を生成するとともに、マイク部１３が音声を取得して音声信号を生成する。そして補正部２０は、情報保持部１１内の複数の識別情報にて識別される撮影シーンの中から、画像信号に示される画像に基づいて、その画像の撮影シーンを選択する。補正部２０は、その選択した撮影シーンの識別情報に対応付けられた画像処理情報が示す補正処理を画像信号に行うとともに、選択した撮影シーンの識別情報に対応付けられた音声処理情報が示す補正処理を音声信号に行う。
【００６８】
よって、撮像装置１は、カメラ部１２にて生成された画像信号に基づいて、複数の撮影シーンの中から画像信号に示される画像の撮影シーンを選択し、情報保持部１１を参照して、その選択された撮影シーンについての画像処理情報および音声処理情報を特定する。このため、撮像装置１は、その特定した画像処理情報および音声処理情報に基づいて、撮像装置１の撮影シーンに適した補正処理を画像信号および音声信号の両者に行うことができる。
【００６９】
したがって、撮像装置１は、マイク部１３にて取得された音声信号に対し、撮影シーンに適した補正を行うことができる。
【００７０】
また、撮像装置１は、画像信号を補正するために使用している撮影シーンの識別情報を、音声信号の補正用として利用しているので、音声信号を補正するために撮影シーンを新たに特定することなく、音声信号に施す補正処理を適切に決定することができる。
【００７１】
例えば、音声信号を補正する撮像装置として、音声認識機能を実行して音声の撮影シーンを識別する撮像装置があるが、この場合、画像信号の補正用に撮影シーンを識別するとともに、音声認識機能による複雑な処理を実行して音声信号の補正用に撮影シーンを識別することになる。このため、撮像装置の処理の負荷は大きなものとなり、処理能力が高くない携帯端末装置などでは、音声認識機能を実行して音声信号の補正を行うことが困難であった。
【００７２】
これに対し、撮像装置１は、音声信号を補正するために、音声認識機能を実行して音声の撮影シーンを識別する必要がないため、音声認識機能による複雑な処理を省略することができ、撮像装置１の処理量を低減することができる。よって、撮像装置１は、簡易な処理により、撮影シーンに適した音声信号の補正を行うことができる。
【００７３】
さらに、撮像装置１は、画像信号および音声信号の両者に、同時に補正処理を行うため、最適化された自然な動画を撮影することができるようになる。
【００７４】
また、撮影シーンが「花火」から「人」に変わる状況では、撮像装置１は、画像信号と音声信号とのそれぞれについて、「花火」の撮影シーンに施す補正処理から、「人」の撮影シーンに施す補正処理へ同時に変更する。このため、撮像装置１では、画像信号および音声信号のそれぞれに対し、互いに異なる撮影シーンの補正処理が行われることがない。よって、撮像装置１は、撮影シーンが急に切り替わっても、自然な動画を撮影することができる。
【００７５】
また、本実施形態では、撮影シーンの識別結果だけでなく、画像に含まれる人の顔やペットの顔などの人物または動物の識別結果を用いることも可能である。例えば、情報保持部１１内の複数の識別情報にて識別される撮影シーンのうち、人物を含む撮影シーンを識別するための所定識別情報と、所定人物を特定するための人物画像情報と、所定人物についての画像の補正処理を示す人物画像処理情報と、所定人物についての音声の補正処理を示す人物音声処理情報と、を関連付けて情報保持部１１にさらに保持しておく。この場合、補正部２０は、複数の撮影シーンの中から、画像信号に示される画像に基づいて選択した画像の撮影シーンの識別情報と所定識別情報が一致すると、画像信号に示される画像内の人物が、画像情報にて特定される所定人物であるか否かを判定し、画像内の人物が所定人物であると判定すると、人物画像情報に関連付けられた人物画像処理情報が示す補正処理を画像信号に行うとともに、人物画像情報に関連付けられた人物音声処理情報が示す補正処理を音声信号に行う。
【００７６】
例えば、「人」（人物）の撮影シーンの特定識別情報と、特定の「個人」（所定人物）を特定するための人物画像情報と、「個人」の顔についての画像の補正処理を示す人物画像処理情報と、「個人」の声についての音声の補正処理を示す人物音声処理情報と、が情報保持部１１に予め登録されている状況で、「人」の撮影シーンで、特定の「個人」を撮影することを想定する。この場合、補正部２０は、画像信号に基づいて「人」の撮影シーンを選択すると、さらに、画像信号に示される画像内の「人」が「個人」であるか否かを判定し、画像内の「人」が「個人」であると判定する。画像内の「人」が「個人」であると判定すると、補正部２０は、人物画像処理情報と人物音声処理情報とに基づいて、画像信号と音声信号とを補正する。
【００７７】
これにより、「人」の撮影シーンに適した画像信号と音声信号との補正処理を行うとともに、特定した「個人」の顔と「個人」の音声とを特徴付けるように、画像信号と音声信号との補正を行うことができる。例えば、「個人」の顔と「個人」の音声とを特徴付ける補正処理として、「個人」の顔の肌色を補正するとともに、音声信号に含まれる音のうち、特定した「個人」の音声のみをフィルタリングして強調する。
【００７８】
なお、撮像装置１は、画像に含まれる人物の識別結果に代えて、画像に含まれる動物の識別結果を用いることも可能である。この場合、撮像装置１は、情報保持部１１内の複数の識別情報にて識別される撮影シーンのうち、動物を含む撮影シーンを識別するための特定識別情報と、所定動物を特定するための動物画像情報と、所定動物についての画像の補正処理を示す動物画像処理情報と、所定動物についての音声の補正処理を示す動物音声処理情報と、を関連付けて情報保持部１１にさらに保持しておく。この状況で、補正部２０は、複数の撮影シーンの中から、画像信号に示される画像に基づいて選択した画像の撮影シーンの識別情報と特定識別情報が一致すると、画像信号に示される画像内の動物が、画像情報にて特定される所定動物であるか否かを判定し、画像内の動物が所定動物であると判定すると、動物画像情報に関連付けられた動物画像処理情報が示す補正処理を画像信号に行うとともに、動物画像情報に関連付けられた動物音声処理情報が示す補正処理を音声信号に行う。
【００７９】
このため、所定動物を撮像する場合、撮像装置１は、動物の撮影シーンに使用される補正処理に加えて、所定動物に適用する補正処理を、画像信号と音声信号とに行うことができるようになる。よって、撮像装置１は、所定動物を強調しつつ、違和感のない動画データを記録することができる。
【００８０】
なお、本実施形態では、シーン認識部２１が画像信号を用いて撮影シーンを選択する例について説明したが、ＧＰＳ（Global Positioning System）、温度センサ、または圧力センサから出力される検出情報を用いて、選択した撮影シーンの撮影場所または撮影環境を特定し、その撮影場所または撮影環境ごとに音声信号を補正するようにしてもよい。これにより、撮像装置１は、さらに自然な動画データを記録することができる。
【００８１】
以上説明した実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。
【００８２】
この出願は、２０１０年８月１８日に出願された日本出願特願２０１０−１８３１４３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００８３】
１  撮像装置
１１  情報保持部
１２  カメラ部
１３  マイク部
２１  シーン認識部
２２  画像調整部
２３  音声調整部
２４  合成部
２９  調整部
３０  記録部
【図１】
2012023436.tif 000003
【図２】
2012023436.tif 000004
【図３】
2012023436.tif 000005
【図４】
2012023436.tif 000006
【図５】
2012023436.tif 000007
【国際調査報告】
2012023436.tif 000008
2012023436.tif 000009