(57)【要約】【課題】撮影対象のシーンをより細かく特定することを可能にした撮影装置を提供する。【解決手段】画像データに基づいてシーンを検出する画像検出手段と、音声データに基づいてシーンを検出する音声検出手段と、画像検出手段で検出されたシーンと音声検出手段で検出されたシーンとに基づいてシーンを特定するシーン検出手段と、を有する。【選択図】図１
2013046217.tif 000002
【特許請求の範囲】
【請求項１】
画像データに基づいてシーンを検出する画像検出手段と、
音声データに基づいてシーンを検出する音声検出手段と、
前記画像検出手段で検出されたシーンと前記音声検出手段で検出されたシーンとに基づいてシーンを特定するシーン検出手段と、
を有する撮影装置。
【請求項２】
請求項１記載の撮影装置において、
前記画像検出手段は、前記画像データに基づいてシーンを検出した後、前記画像データに対して所定の設定に基づいて画像処理を行うものであり、
前記シーン検出手段は、特定したシーンに対応して、前記画像処理の設定を前記画像検出手段に変更させる、撮影装置。
【請求項３】
請求項２記載の撮影装置において、
前記シーン検出手段は、
前記画像データに基づいて検出されるシーンと前記音声データに基づいて検出されるシーンとの組み合わせで特定されるシーン毎に、前記画像処理に関する設定情報が記述されたテーブルを予め保持し、該テーブルを参照して、前記特定したシーンに対応する前記設定情報を前記テーブルから読み出して前記画像検出手段に通知することで、前記画像処理の設定を該画像検出手段に変更させる、撮影装置。
【請求項４】
請求項２または３記載の撮影装置において、
前記シーン検出手段は、
前記音声データに基づいて検出されたシーンから被写体を特定し、特定した被写体に対応して、該被写体に対する前記画像処理の設定を前記画像検出手段に変更させる、撮影装置。
【請求項５】
画像データに基づいてシーンを検出し、
音声データに基づいてシーンを検出し、
前記画像データで検出されたシーンと前記音声データで検出されたシーンとに基づいてシーンを特定する、撮影画像処理方法。
【請求項６】
コンピュータに実行させるためのプログラムであって、
画像データに基づいてシーンを検出し、
音声データに基づいてシーンを検出し、
前記画像データで検出されたシーンと前記音声データで検出されたシーンとに基づいてシーンを特定する処理を前記コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、撮影画像処理方法、およびコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラおよびデジタルビデオカメラ等の撮影装置には、画像処理情報から撮影シーンを判定し、判定した撮影シーンに最適な露出値を算出する機能を有しているものがある（特許文献１参照）。特許文献１に開示されたカメラは、主被写体が画面上に占める主被写体領域と背景が画面上に占める背景領域との占有比率にしたがって、判別対象の撮影シーンが接写シーン、ポートレートシーンおよび風景シーンのうち、いずれの撮影シーンに該当するかを判別している。
【０００３】
なお、話者の音声情報から話者の性別および年齢を判定する音声認識装置が特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−７５３５１号公報
【特許文献２】特開２００１−５４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されたカメラでは、撮影シーンの判別が正しく行われたとしても、撮影シーンが大まかにしか分類されていないため、より細かく撮影条件を設定することができないという問題があった。
【０００６】
本発明は上述したような技術が有する問題点を解決するためになされたものであり、撮影対象のシーンをより細かく特定することを可能にした撮影装置、撮影画像処理方法、およびコンピュータに実行させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明の撮影装置は、
画像データに基づいてシーンを検出する画像検出手段と、
音声データに基づいてシーンを検出する音声検出手段と、
前記画像検出手段で検出されたシーンと前記音声検出手段で検出されたシーンとに基づいてシーンを特定するシーン検出手段と、
を有する構成である。
【０００８】
また、本発明の撮影画像処理方法は、
画像データに基づいてシーンを検出し、
音声データに基づいてシーンを検出し、
前記画像データで検出されたシーンと前記音声データで検出されたシーンとに基づいてシーンを特定するものである。
【０００９】
さらに、本発明のプログラムは、コンピュータに実行させるためのプログラムであって、
画像データに基づいてシーンを検出し、
音声データに基づいてシーンを検出し、
前記画像データで検出されたシーンと前記音声データで検出されたシーンとに基づいてシーンを特定する処理を前記コンピュータに実行させるものである。
【発明の効果】
【００１０】
本発明によれば、シーンがより細かく特定されるので、シーンに特化した効果を画像に対してかけることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態の撮影装置の一構成例を示すブロック図である。
【図２】図１に示した撮影装置の動作を説明するためのフローチャートである。
【図３】本実施形態のデジタルカメラの一構成例を示すブロック図である。
【図４】本実施形態のデジタルカメラの動作の一例を示すシーケンス図である。
【図５】画像データに基づくシーン検出条件の例を示す表である。
【図６】画像信号処理部が実行するシーン検出動作の手順を示すフローチャートである。
【図７】サウンドデータに基づくシーン検出の例を示す図である。
【図８】シーン判定画像データとシーン判定音声データを組み合わせることで特定されるシーンの例を示す表である。
【図９】特定されたシーンに対応する、画像処理の設定情報の例を示す表である。
【発明を実施するための形態】
【００１２】
本発明の一実施形態の撮影装置の構成を説明する。図１は本発明の一実施形態の撮影装置の一構成例を示すブロック図である。
【００１３】
図１に示すように、撮影装置１１は、画像データに基づいてシーンを検出する画像検出手段１２と、音声データに基づいてシーンを検出する音声検出手段１３と、画像検出手段１２で検出されたシーンと音声検出手段１３で検出されたシーンとに基づいてシーンを特定するシーン検出手段１４と、を有する。
【００１４】
図１に示した撮影装置１１が実行する撮影画像処理方法を説明する。図２は図１に示した撮影装置の動作を説明するためのフローチャートである。
【００１５】
図２に示すように、画像検出手段１２が画像データに基づいてシーンを検出し（ステップ１０１）、音声検出手段１３が音声データに基づいてシーンを検出する（ステップ１０２）。さらに、シーン検出手段１４が画像データで検出されたシーンと音声データで検出されたシーンとに基づいてシーンを特定する（ステップ１０３）。
【００１６】
なお、本発明の撮影装置を、スマートフォンを含むカメラ付き携帯電話のカメラに適用することも可能である。また、本発明の撮影装置の機能を、例えば、ゲーム機、タブレットＰＣ（Personal Computer）、ノートＰＣ、ＤＶＤ（Digital Versatile Disk）レコーダおよびブルーレイディスク（登録商標）レコーダなどの情報処理装置に設けてもよい。以下では、本発明の撮影装置の機能を備えたデジタルカメラの場合についての実施形態を説明する。
【００１７】
本実施形態のデジタルカメラの構成を説明する。図３は本実施形態のデジタルカメラの一構成例を示すブロック図である。
【００１８】
図３に示すように、本実施形態のデジタルカメラは、レンズ１および撮像素子２を含むモジュール２１と、撮像素子２から受信する信号を処理する画像信号処理部３と、撮像素子２で取り込まれた画像を表示する表示デバイス５と、画像データを保存する記憶部６と、装置の向きを検出する方位センサ７と、録音用のマイク８と、各部を構成するＭＰＵ（Micro Processing Unit）４とを有する。
【００１９】
太陽光などの光が被写体で反射した光がレンズ１を介して撮像素子２の受光部（不図示）に入力される。モジュール２１には、位置制御に関する制御信号を画像信号処理部３から受信すると、レンズ１を光軸方向に移動させる駆動機構（不図示）が設けられ、駆動機構は撮像素子２の受光部で被写体の像のピントが合うようにレンズ１の位置を調節する。撮像素子２は、レンズ１を介して受光部に入力される光を電気信号に変換して画像信号処理部３に送信する。表示デバイス５は、例えば、液晶ディスプレイである。記憶部６は、例えば、不揮発性メモリおよびハードディスクドライブなどの記憶装置である。方位センサ７は、デジタルカメラの向きを検出し、撮影方向の方位の情報を含む方位データをＭＰＵ４に送信する。
【００２０】
画像信号処理部３は、静止画／動画のライブビューモードの動作開始の指示を含む制御信号をＭＰＵ４から受信すると、撮像素子２およびレンズ１を起動する。画像信号処理部３は、撮像素子２からＢａｙｅｒ画像データを受信すると、Ｂａｙｅｒ画像データを用いてＡＥ（Auto Exposure：自動露出）／ＡＦ（Auto Focus）の検波を行い、ピントが合うようにレンズ１の位置制御を行い、適切な光量になるように撮像素子２の露光制御を行う。また、画像信号処理部３は、静止画のライブビュー、動画のライブビュー／録画のいずれのモードでも、Ｂａｙｅｒ画像データに対して、ＷＢ（ホワイトバランス）、ガンマ補正、エッジ強調、ノイズリダクションおよび色処理等の処理を行った後、最終的に映像データであるＹＵＶ画像データに変換してＭＰＵ４に送信する。ＹＵＶは、画像の色情報を表す形式の一種であり、輝度信号（Ｙ）と、輝度信号と青色成分の差（Ｕ）、および輝度信号と赤色成分の差（Ｖ）の３つの情報を意味する。画像信号処理部３は、ＭＰＵ４から静止画のライブビューのモードで静止画キャプチャの指示を受け取ると、表示デバイス５で表示される１画像分のＹＵＶ画像データを最終的にＪＰＥＧ（Joint Photograph Experts Group）データに変換してＭＰＵ４に送信する。
【００２１】
また、画像信号処理部３は、一定の周期でＢａｙｅｒ画像データを受信すると、被写体までの距離および画像データの明るさ等の情報から利用者が撮影しようとしているシーンを検出し、被写体に人物を含むか否か等の情報を含む検出結果をＭＰＵ４に送信する。以下では、この検出結果の情報を「シーン判定画像データ」と称する。また、画像信号処理部３は、ＭＰＵ４から画像処理に関する設定情報を受け取ると、その設定情報を反映させたＹＵＶ画像データをＭＰＵ４に送信する。画像信号処理部３のシーン検出動作およびシーン判定画像データについては、図５および図６を参照して詳しく説明する。
【００２２】
ＭＰＵ４は、プログラムを格納するメモリ４１を有し、プログラムにしたがって処理を実行することで、図３に示す制御部４２、シーン検出部４３およびシーン判定部４４が仮想的に構成される。
【００２３】
制御部４２は、利用者から操作部（不図示）を介して静止画／動画のライブビューモードを起動する旨の指示が入力されると、動作開始の指示を含む制御信号を画像信号処理部３に送信し、画像信号処理部３からＹＵＶ画像データを受信すると、ＹＵＶ画像データを表示デバイス５に送信し、画像を表示デバイス５に表示させる。利用者から操作部（不図示）を介して静止画キャプチャの指示が入力されると、制御部４２は、画像信号処理部３から受信するＪＰＥＧデータを記憶部６に格納する。動画録画時、制御部４２は、画像信号処理部３から受信するＹＵＶ画像データと、マイク８を介して入力される音のデータであるサウンドデータとを結合して動画データを作成し、動画データを記憶部６に格納する。なお、制御部４２は、画像を表示デバイス５に表示させる際、方位センサ７から受信する方位データから方位の情報を読み出し、撮影方向の方位を表示デバイス５に表示させてもよい。
【００２４】
続いて、シーン検出部４３とシーン判定部４４について説明する。サウンドデータに基づくシーン検出処理、および２種類のデータに基づくシーン特定処理は、静止画のライブビュー／キャプチャ時、動画のライブビュー／録画時のいずれでの場合でも行うことが可能であるが、ここでは、静止画ライブビューの場合で説明する。
【００２５】
シーン検出部４３は、マイク８から受信するサウンドデータに対して、一定の周期で、周波数解析を行ってシーンを検出し、シーンの検出結果を保持する。以下では、この検出結果の情報を「シーン判定音声データ」と称する。シーン検出部４３は、シーン判定音声データを保持している状態で、シーン判定部４４からシーン判定音声データの要求があると、保持していたシーン判定音声データをシーン判定部４４に渡す。本実施形態では、通常、静止画ライブビュー時に画像と一緒に記録されるサウンドデータを、シーンを特定するためのデータの１つとして利用することに特徴がある。
【００２６】
なお、本実施形態におけるシーン検出部４３として、特許文献２に開示された音声認識装置を適用することが可能であり、その詳細な説明を省略する。また、本実施形態では、赤ちゃん、子供、成人女性および成人男性の一般的な声の各音声パターンが予めメモリ４１に格納されている。また、動物の鳴き声、昆虫の鳴き声、乗り物の音、風景の音および自然の音のそれぞれについて、複数の音声パターンが予めメモリ４１に格納されている。風景または自然の音には、例えば、海辺のビーチの「波の音」、川辺の「水の流れる音」、滝の「水しぶきのあがる音」、打ち上げ花火の音などがある。
【００２７】
シーン判定部４４は、画像信号処理部３からシーン判定画像データを受信すると、シーン検出部４３にシーン判定音声データを要求し、シーン検出部４３から受信するシーン判定音声データと画像信号処理部３から受信したシーン判定画像データとを用いてシーンを特定する。つまり、シーン判定部４４は、画像信号処理部３がＢａｙｅｒ画像データから検出したシーンと、シーン検出部４３がマイク８を介して受信したサウンドデータから検出したシーンとの２種類のデータに基づいて、シーンを特定する。そして、シーン判定部４４は、特定したシーンに対応する設定情報を画像信号処理部３に送信する。
【００２８】
画像処理に関する設定情報として、シーン毎に最適な設定情報を記述したテーブルをメモリ４１に予め保存しておいてもよい。この場合、シーン判定部４４は、シーンを特定すると、テーブルを参照し、特定したシーンに応じた設定情報を読み出して画像信号処理部３に送信し、画像信号処理部３に対して設定変更を実行させる。
【００２９】
シーン判定部４４が特定したシーンに対応して、画像処理の設定変更を行うことで、レンズ１の位置、撮像素子２の露光、および画像信号処理部３の画像処理が、シーンに応じて変更される。その結果、設定変更が反映されたＹＵＶ画像データがＭＰＵ４を介して表示デバイス５に送られ、そのデータの画像が表示デバイス５に表示される。また、設定変更は静止画キャプチャモードのキャプチャ画像にも反映されるため、キャプチャした場合は、設定変更が反映されたＪＰＥＧデータが記憶部６に保存される。
【００３０】
なお、本実施形態では、デジタルカメラに方位センサ７が設けられている場合で説明したが、方位センサ７が設けられていなくてもよい。
【００３１】
次に、本実施形態のデジタルカメラの動作を説明する。図４は本実施形態のデジタルカメラの動作の一例を示すシーケンス図であり、本実施形態のデジタルカメラがシーンの特定を一定の周期で繰り返し行う場合を示す。ここでは、静止画ライブビューモードの場合で説明する。
【００３２】
利用者が本実施形態のデジタルカメラに静止画ライブビューモードを起動する旨の指示を入力すると、画像信号処理部３およびＭＰＵ４のシーン検出部４３のそれぞれはシーンの検出を開始する。画像信号処理部３およびシーン検出部４３は一定の周期でシーンの検出を繰り返す。図４に示す例では、シーン検出にかかる時間が画像信号処理部３よりもシーン検出部４３の方が短いため、シーン検出部４３は、サウンドデータからシーンを検出すると、検出したシーンの情報を含むシーン判定音声データを保持する（図４に示す番号２０１）。シーン検出にかかる時間は、画像信号処理部３の方がシーン検出部４３よりも短くてもよい。
【００３３】
続いて、画像信号処理部３がＢａｙｅｒ画像データからシーンを検出すると、検出したシーンの情報を含むシーン判定画像データをＭＰＵ４のシーン判定部４４に送信する（図４に示す番号２０２）。シーン判定部４４は、シーン判定画像データを画像信号処理部３から受信すると、シーン判定音声データをシーン検出部４３に要求し、シーン判定音声データをシーン検出部４３から受け取る（図４に示す番号２０３）。
【００３４】
シーン判定部４４は、シーン判定画像データおよびシーン判定音声データの２種類のデータに基づいてシーンを特定する（図４に示す番号２０４）。その後、シーン判定部４４は、特定したシーンに対応する設定情報を画像信号処理部３に送信する（図４に示す番号２０５）。その結果、画像処理に関する設定情報の最適値が画像信号処理部３に通知される。さらに、シーン判定部４４は、シーンの特定が終了したことを画像信号処理部３に通知する（図４に示す番号２０６）。画像信号処理部３は、シーンの特定が終了した旨の情報をシーン判定部４４から受信すると、撮像素子２から受信するＢａｙｅｒ画像データを用いて、次のシーンの検出を行う。
【００３５】
このようにして、利用者が本実施形態のデジタルカメラに静止画ライブビューモード停止の指示を入力するまで、画像信号処理部３およびシーン検出部４３のそれぞれが同じ周期であるが、非同期でシーンの検出を繰り返し、シーン判定部４４が２種類のデータに基づいてシーンを特定し、特定したシーンに対応して画像処理の設定を行う。
【００３６】
次に、図４に示したフロー図において、画像信号処理部３がＢａｙｅｒ画像データからシーンを検出する際の動作を説明する。図５は画像データに基づくシーン検出条件の例を示す表であり、図６は画像信号処理部が実行するシーン検出動作の手順を示すフローチャートである。
【００３７】
図５に示す表には、検出シーンがＮｏ．１〜７に分類され、各検出シーンに対応して、検出条件が記述されている。Ｎｏ．１〜７のいずれにも該当しない場合、シーン検出対象外（Ｎｏ．８）として判定される。図５に示す表がメモリ４１に予め格納されている。
【００３８】
図５に示す表において、Ｄは本実施形態のデジタルカメラから被写体までの距離がマクロ距離であるか否かの閾値である。Ｂｖ１、Ｂｖ２、Ｂｖ３およびＢｖ４のそれぞれは、明るさ（ブライトバリュー）を判定するための閾値であり、画像に風景、トワイライトおよび夜景のうち、いずれが含まれているかを判定するための基準値となる。大きさの関係は、Ｂｖ４＜Ｂｖ３＜Ｂｖ２＜Ｂｖ１である。Ｔ１およびＴ２は色温度を判定するための閾値である。大きさの関係は、Ｔ２＜Ｔ１である。
【００３９】
表５のＮｏ．５〜Ｎｏ．７の検出シーンの検出条件を比較すると、夜間の風景である夜景よりも昼間の風景の方が明るいので、明るさについて、Ｎｏ．５の検出条件はＢｖ１以上になっており、Ｎｏ．７の検出条件はＢｖ４より小さい。このことは、表５のＮｏ．２とＮｏ．３の検出条件についても同様である。
【００４０】
また、Ｎｏ．トワイライト（Ｎｏ．６の検出シーン）の撮影では、明るさが昼間の風景の場合よりも暗く、夜景の場合よりも明るいので、明るさの検出条件はＢｖ３以上、Ｂｖ２未満となっている。このことは、色温度にも反映され、色温度での検出条件は、昼間の風景の場合がＴ１以上であるのに対し、トワイライトの場合はＴ２（＜Ｔ１）以上になっている。色情報での検出条件では、トワイライトの撮影では空が赤みを帯びているので、画像に「赤色」が含まれるのに対し、昼間の風景では「緑色」や「青色」が画像に含まれている。
【００４１】
図６に示すように、画像信号処理部３は、自装置から被写体までの距離がＤ以下か否かを調べることで、その距離がマクロ距離か否かを判定する（ステップ３０１）。画像信号処理部３は、ステップ３０１において、自装置から被写体までの距離がＤ以下で、マクロ距離と判定すると、画像から人物の顔を検出できるか否かを調べる（ステップ３０２）。画像信号処理部３は、画像から顔を検出した場合、人物を接写するシーンと判定し（ステップ３０３）、画像から顔を検出できない場合、利用者がマクロで人物以外の被写体を撮影するシーンと判定する（ステップ３０４）。なお、ステップ３０３の場合は、図５に示すＮｏ．４の検出シーンに含まれる。
【００４２】
ステップ３０１において、画像信号処理部３は、自装置から被写体までの距離がＤより小さく、マクロ距離でないと判定すると、画像から人物の顔を検出できるか否かを調べる（ステップ３０５）。画像信号処理部３は、画像から顔を検出すると、画像データから明るさ、色温度および色情報を参照し、画像から風景を検出できるか否かを調べる（ステップ３０６）。画像信号処理部３は、画像データから明るさ≧Ｂｖ１、および色温度≧Ｔ１を検出し、色情報として青色および緑色を検出すると、利用者が人物と風景を撮影するシーンと判定する（ステップ３０７）。ステップ３０６で風景を検出できなければ、画像信号処理部３は、明るさ、色温度および色情報を参照し、画像から夜景を検出できるか否かを調べる（ステップ３０８）。画像信号処理部３は、画像データから明るさ＜Ｂｖ４を検出すると、利用者が人物と夜景を撮影するシーンと判定する（ステップ３０９）。画像から風景も夜景も検出できない場合、画像信号処理部３は、利用者が人物を主にして撮影するシーンと判定する（ステップ３１０）。
【００４３】
一方、ステップ３０５において、画像信号処理部３は、画像から人物の顔を検出できない場合、画像データから明るさ、色温度および色情報を参照し、画像から風景、トワイライトおよび夜景のいずれかが検出できるか判定する（ステップ３１１、３１３、３１５）。画像信号処理部３は、画像データから明るさ≧Ｂｖ１、および色温度≧Ｔ１を検出し、色情報として青色および緑色を検出すると、利用者が風景を撮影するシーンと判定する（ステップ３１２）。画像信号処理部３は、画像データからＢｖ３≦明るさ＜Ｂｖ２、および色温度≧Ｔ２を検出し、色情報として赤色を検出すると、利用者がトワイライトを撮影するシーンと判定する（ステップ３１４）。画像信号処理部３は、画像データから明るさ＜Ｂｖ４を検出すると、利用者が夜景を撮影するシーンと判定する（ステップ３１６）。画像信号処理部３は、画像から風景、トワイライトおよび夜景のいずれも検出できない場合、シーン検出の対象外であると判定する（ステップ３１７）。
【００４４】
画像信号処理部３は、図５に示す表を参照しながら、図６に示す手順にしたがって利用者の撮影シーンを検出すると、図５に示す表における検出シーンの項目の「マクロ」、「人物＋風景」、・・・、「夜景」のうちのいずれかのシーンまたは「シーン外」を、検出したシーンの情報として、シーン判定画像データに含める。
【００４５】
次に、図４に示したフロー図において、シーン検出部４３がサウンドデータからシーンを検出する際の動作を、図７を参照して説明する。図７はサウンドデータに基づくシーン検出の例を示す図である。図７の表の小項目の各要素に対応して音声パターンがメモリ４１に予め格納されている。
【００４６】
図７に示すように、人の声に関して、シーン検出部４３は、サウンドデータから、赤ちゃん、子供、成人女性、および成人男性のうち、いずれかの人物の声であると分析すると、その人物が被写体に含まれていると判定する。また、シーン検出部４３は、サウンドデータから、複数の人の声であって、大きさの異なる声が混在していると分析すると、利用者が「雑踏」を撮影するシーンと判定する。
【００４７】
動物の鳴き声に関して、シーン検出部４３は、サウンドデータから、ほ乳類／鳥、および昆虫のうち、いずれかの動物または昆虫の鳴き声であると分析すると、その動物または昆虫が被写体に含まれていると判定する。乗り物の音に関して、シーン検出部４３は、サウンドデータから、自動車／電車／飛行機のうち、いずれかの乗り物の音であると分析すると、その乗り物が被写体に含まれていると判定する。風景・自然の音に関して、シーン検出部４３は、ビーチ、滝および花火のうち、いずれかの音であると分析すると、その音の発生源が被写体に含まれていると判定する。
【００４８】
シーン検出部４３は、サウンドデータからシーンを検出すると、図７に示す表における検出シーンの小項目の「赤ちゃん」、「子供」、・・・、「花火」のうち、１以上の要素を、検出したシーンの情報として、シーン判定音声データに含める。シーン判定音声データには、被写体の情報が含まれることになる。ただし、シーン検出部４３は、大項目が「動物の鳴き声」の場合、「ほ乳類」、「鳥」および「昆虫」の要素まで分析し、大項目が「乗り物の音」の場合、「自動車」、「電車」および「飛行機」の要素まで分析し、分析した要素をシーンの情報に含める。また、シーン検出部４３がサウンドデータから複数の要素を検出した場合、シーン判定音声データに２以上の要素が含まれることになる。
【００４９】
なお、本実施形態では、シーン検出部４３がサウンドデータから複数の要素を検出すると、検出した要素を全てシーン判定音声データに含める場合で説明しているが、予め決められた優先順位にしたがって、シーン判定音声データに含める要素の数を絞ってもよい。例えば、優先度が大きいほど優先順位が高いとすると、優先度を「人の声＞動物の鳴き声＞乗り物の音＞風景・自然音」のように予め決めておき、優先度の最も大きい２つの要素をシーン判定音声データに含めるようにしてもよい。優先度の順位はこの場合に限らない。ただし、検出シーンが図５に示した「人物＋風景」および「風景」の場合には、シーン特定の際、「風景・自然音」の要素が必要になるため、シーン検出部４３は、「風景・自然音」の要素を検出した場合、その要素を常にシーン判定音声データに含めるようにしてもよい。
【００５０】
次に、シーン判定部４４が２種類のデータに基づいてシーンを特定する際の動作を説明する。図８はシーン判定画像データとシーン判定音声データを組み合わせることで特定されるシーンの例を示す表である。図８に示す表がメモリ４１に予め格納されている。
【００５１】
図８に示すように、シーン判定画像データのシーンの情報に対応して、大項目が「マクロ」〜「夜景」および「シーン外」に分類されている。また、シーン判定音声データのシーンの情報に対応して、「動物」および「乗り物」が大項目に追加されている。
【００５２】
図８に示す表の中項目および小項目は、シーン判定音声データのシーンの情報に対応して分類されている。具体的には、大項目「マクロ」は、中項目で昆虫／昆虫以外に細分化されている。また、大項目に人物が含まれるシーンでは、人物が赤ちゃん／子供／成人女性／成人男性に細分化されている。また、大項目「風景」は中項目がビーチ／滝／花火／それ以外に細分化され、大項目「夜景」は中項目が雑踏／雑踏以外に細分化されている。大項目が「夜景」で、中項目が「雑踏」のシーンでは、シーン判定部４４は、街のネオンが被写体と判定する。
【００５３】
シーン判定部４４は、図８の表に示す大項目、中項目および小項目において、シーン判定画像データの情報で大項目の要素を選択し、シーン判定音声データの情報で中項目を選択し、大項目が「人物＋風景」の場合には小項目の要素も選択することで、シーンを特定する。例えば、シーン判定画像データに「人物＋風景」の情報が含まれており、シーン判定音声データに「滝」および「子供」の情報が含まれている場合、シーン判定部４４は、図８の表に示すＮｏ．８のシーンと特定する。
【００５４】
次に、シーン判定部４４が特定したシーンに対応して、画像信号処理部３に通知する設定情報の具体例を説明する。図９は、シーン判定部が特定したシーンに対応する、画像処理の設定情報の例を示す表である。図９に示す表がメモリ４１に予め格納されている。
【００５５】
シーン判定部４４は、特定したシーンに応じて、画像のコントラスト、明るさ、シャープネス、および色合いなどを、シーン判定音声データで特定される被写体に応じて最適化する設定情報を画像信号処理部３に通知する。また、シーン判定部４４は、被写体に応じて、画像信号処理部３に対して画像変換の処理を指示してもよい。画像変換の処理とは、例えば、被写体が成人女性であれば、検出した顔の小じわ、シミおよびくすみなどを消去したり、顔の中で目や口などのパーツを大きくしたりすることである。小じわ、シミおよびくすみなどを消去することで、透明感のある肌にする効果が得られ、目や口を大きくすることで、目や口元の存在感がアップする効果が得られる。
【００５６】
図９の小項目が「赤ちゃん」の場合の設定に示すように、シーン判定部４４は、被写体の人物が笑顔になったことを検出したときの画像をキャプチャする「スマイルシャッター」をＯＮにする旨の設定を、画像信号処理部３に対して行ってもよい。また、図９の小項目が「滝」の場合の設定に示すように、シーン判定部４４は、シャッタースピードについてハイスピードシャッターとスローシャッターの２種類のスピードから、いずれかを利用者が選択できるようにしてもよい。
【００５７】
本実施形態によれば、シーン特定のための情報として、画像データだけでなく、画像とは情報の種類が異なる音声データも使用しているため、シーンをより細かく特定することが可能になる。シーンを細かく特定することで、シーンに特化した効果を画像に対してかけることができる。また、シーン特定に使用する音声データに被写体の情報が反映されているので、画像データの被写体に対して画像処理を設定することが可能である。よって、本実施形態では、画像処理が間違って設定されてしまうことを抑制でき、利用者は自分が想定するシーンにより合致したシーンの画像を取得できる。
【００５８】
なお、本実施形態では、Ｂａｙｅｒ画像データからのシーン検出およびサウンドデータからのシーン検出を、画像信号処理部３およびＭＰＵ４で別々に実行させる場合で説明したが、これらのシーン検出の両方をＭＰＵ４に実行させてもよい。この場合、ＭＰＵ４は、画像信号処理部３からシーン検出に使用するＢａｙｅｒ画像データを受け取り、図５および図６を参照して説明したように、画像データからシーンの検出を行う。
【００５９】
また、音声データでは人物の声が検出されているが、画像データでは人物の顔が検出されていない場合や、音声データから波の音が検出されているが、画像データでは風景が検出されていない場合など、音声データで検出されたシーンと画像データで検出されたシーンとが合致しない場合も起こり得る。このような場合に、画像処理をどのように設定するかを決めておいてもよい。シーンをより細かく特定できるようになるため、シーンの細分化およびシーン検出精度の向上を図ることができる。
【００６０】
また、画像データの圧縮形式はＪＰＥＧに限らず、画像データの形式はＢａｙｅｒ画像データおよびＹＵＶ画像データに限らない。例えば、表示部デバイス５に画像を表示させる際、制御部４２がＹＵＶ画像データをＲＧＢ画像データに変換して表示デバイス５に送信してもよい。
【００６１】
また、本実施形態では、画像データと音声データに基づいてシーンを特定する場合を説明したが、方位センサ７から出力される方位データが示す情報も考慮してシーンの特定を行ってもよい。さらに、本実施形態では、説明を簡単にするために、被写体が動いている場合や撮影が逆光の場合を除外し、検出対象のシーンが一般的なシーンの場合で説明したが、本実施形態のデジタルカメラに加速度センサを設け、加速度センサが行う手ブレ検出、ならびに画像信号処理部３が行う動体検出および逆光判定のうち、少なくともいずれかの要素を、画像データおよび音声データのそれぞれから検出されるシーンに組み合わせることで、特定するシーンをより細分化してもよい。
【符号の説明】
【００６２】
１    レンズ
２    撮像素子
３    画像信号処理部
４    ＭＰＵ
５    表示デバイス
６    記憶部
７    方位センサ
８    マイク
１１    撮影装置
１２    画像検出手段
１３    音声検出手段
１４    シーン検出手段
【図１】
2013046217.tif 000003
【図２】
2013046217.tif 000004
【図３】
2013046217.tif 000005
【図４】
2013046217.tif 000006
【図５】
2013046217.tif 000007
【図６】
2013046217.tif 000008
【図７】
2013046217.tif 000009
【図８】
2013046217.tif 000010
【図９】
2013046217.tif 000011