(57)【要約】【課題】モノラルマイクしか搭載することができない場合であっても、音声の臨場感を高めて雰囲気豊かな音響効果を実現できるようにする。【解決手段】顔検出部７は、撮像部６により撮影された画像内から被写体の顔を検出する。制御部１は、この被写体の顔の撮影画像内での位置を音源位置として特定した後、モノラルマイク８を介して集音部９により集音されたモノラル音声を特定音源位置に応じて疑似ステレオ化する。疑似ステレオ化する場合に、音源位置の画面左右端からの比率に合わせて左右チャンネルの音量差を調整することにより疑似ステレオ化する。【選択図】  図１
2012151544.tif 000002
【特許請求の範囲】
【請求項１】
動画像を撮影する撮像手段を備えた撮像装置であって、
モノラル音声を集音する集音手段と、
前記撮像手段により撮影された画像内から被写体の顔を検出する検出手段と、
前記集音手段によりモノラル音声が集音されている状態において、前記検出手段により検出された被写体の顔の前記撮影画像内での位置を音源位置として特定する位置特定手段と、
前記集音手段により集音されたモノラル音声を、前記位置特定手段により特定された前記撮影画像内の音源位置に応じて、疑似ステレオ化する音声制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記位置特定手段により特定された前記撮影画像内の左右端からの音源位置の比率を算出する算出手段を更に備え、
前記音声制御手段は、前記集音手段により集音された音声を、前記算出手段により算出された比率に合わせて左右チャンネルの音量差を調整することにより疑似ステレオ化する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記位置特定手段により特定された前記撮影画像内の左右端からの音源位置の比率を算出する算出手段を更に備え、
前記音声制御手段は、前記集音手段により集音された音声を、前記算出手段により算出された比率に合わせて左右チャンネルの位相差を調整することにより疑似ステレオ化する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項４】
前記検出手段は、被写体の顔を検出した場合に更にその口部分を検出し、
前記位置特定手段は、前記検出手段により検出された口部分が動いている場合にその被写体の位置を音源位置として特定する、
ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
【請求項５】
前記検出手段は、被写体の顔を検出した場合に更にその口部分を検出し、
前記位置特定手段は、前記検出手段により複数の被写体の顔が検出された場合に、その中から口部分が動いている被写体の位置を音源位置として特定する、
ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
【請求項６】
前記検出手段は、被写体の顔を検出した場合に更にその口部分を検出し、
前記位置特定手段は、前記検出手段により複数の被写体の顔が検出され、かつその中から口部分が動いている被写体が複数である場合に、口部分が動いている複数の被写体の中間位置を音源位置として特定する、
ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
【請求項７】
前記位置特定手段は、前記検出手段により被写体の顔の検出ができなくなった場合に、その被写体の顔の検出ができなくなる直前の位置を音源位置として特定する、
ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
【請求項８】
前記検出手段は、被写体の顔を検出した場合に更にその口部分を検出し、
前記位置特定手段は、前記検出手段により被写体の顔が検出され、かつ撮影の途中でその口部分が動かなくなったことが検出された場合には、口部分が動いていた直前の位置を音源位置として特定する、
ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
【請求項９】
前記集音手段により集音された音声から被写体の声のみを抽出する音声抽出手段を更に備え、
前記音声制御手段は、前記音声抽出手段により抽出された被写体の声のみを疑似ステレオ化する、
ようにしたことを特徴とする請求項１〜請求項８のいずれかに記載の撮像装置。
【請求項１０】
コンピュータに対して、
動画像を撮影する機能と、
モノラル音声を集音する機能と、
撮影された画像内から被写体の顔を検出する機能と、
前記モノラル音声が集音されている状態において、前記検出された被写体の顔の前記撮影画像内での位置を音源位置として特定する機能と、
前記集音されたモノラル音声を、前記特定された前記撮影画像内の音源位置に応じて、疑似ステレオ化する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を撮影する撮像手段を備えた撮像装置及びプログラムに関する。
【背景技術】
【０００２】
従来、コストなどの観点から簡易な動画録画及び音声録音が可能なデジタルカメラ（コンパクトカメラ）においては、モノラルマイクが採用されていることが多いが、モノラルマイクでの録音では臨場感が得られ難いといった問題があった。
そこで、従来では、雰囲気豊かな音響効果を持たせるために、例えば、撮影画像を解析する顔検出部によって、所定時間にわたって撮影画像内に被写体（人物）が存在していると判定した場合には収音範囲を狭くするようにし、所定時間にわたって画像内に人物が存在していないと判定した場合には収音範囲を広くするようにした技術（カメラ、再生装置、および再生方法）が開示されている（特許文献１参照）。また、撮影画像を解析することにより人物の顔の輪郭を抽出し、その顔の大きさが小さくなるほど音声の増幅率を大きくするようにした技術（テレビ電話機）が開示されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−９３６０３号公報
【特許文献２】特開平０５−６４１８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１の技術にあっては、人物の有無に応じてマイクの指向性を制御することにより収音範囲を調整するようにしたものであるが、収音範囲を調整するだけでは音声の臨場感を高めることはできない。同様に、特許文献２の技術にあっては、人物との距離に応じて音声の増幅率を調整するようにしたものであるが、音声の増幅率を調整するだけでは音声の臨場感を高めることはできない。
【０００５】
本発明の課題は、モノラルマイクしか搭載することができない場合であっても、音声の臨場感を高めて雰囲気豊かな音響効果を実現できるようにすることである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明の一つの態様は、
動画像を撮影する撮像手段を備えた撮像装置であって、
モノラル音声を集音する集音手段と、
前記撮像手段により撮影された画像内から被写体の顔を検出する検出手段と、
前記集音手段によりモノラル音声が集音されている状態において、前記検出手段により検出された被写体の顔の前記撮影画像内での位置を音源位置として特定する位置特定手段と、
前記集音手段により集音されたモノラル音声を、前記位置特定手段により特定された前記撮影画像内の音源位置に応じて、疑似ステレオ化する音声制御手段と、
を備えることを特徴とする。
【０００７】
上述した課題を解決するために本発明の他の態様は、
コンピュータに対して、
動画像を撮影する機能と、
モノラル音声を集音する機能と、
撮影された画像内から被写体の顔を検出する機能と、
前記モノラル音声が集音されている状態において、前記検出された被写体の顔の前記撮影画像内での位置を音源位置として特定する機能と、
前記集音されたモノラル音声を、前記特定された前記撮影画像内の音源位置に応じて、疑似ステレオ化する機能と、を実現させるためのプログラム、を特徴とする。
【発明の効果】
【０００８】
本発明によれば、モノラルマイクしか搭載することができない場合であっても、音声の臨場感を高めて雰囲気豊かな音響効果を実現することができ、コスト面や電力消費の点でも有利なものとなる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図。
【図２】カメラの全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャート。
【図３】図２に続く動作を示したフローチャート。
【図４】擬似ステレオ化処理（図３のステップＡ２１）を詳述するためのフローチャート。
【図５】（１）〜（５）は、本実施形態の特徴を具体的に示した図で、被写体（例えば、人物）の顔の数や口部分の動きに応じて音源位置が特定される様子を例示した図。
【図６】（１）〜（４）は、本実施形態の特徴を具体的に示した図で、被写体（例えば、人物）の顔の数や口部分の動きに応じて音源位置が特定される様子を例示した図。
【発明を実施するための形態】
【００１０】
以下、図１〜図６を参照して本発明の実施形態を説明する。
図１は、撮像装置として適用したデジタルカメラの基本的な構成要素を示したブロック図である。
このデジタルカメラ（撮像装置）は、例えば、静止画像のほかに動画像の撮影も可能なコンパクトカメラで、動画撮影中に周囲の音声をモノラルにより集音する集音機能と、この集音機能により集音されたモノラル音声を擬似ステレオ化してから録音する録音機能を有し、制御部１を中核としている。この実施形態において“擬似ステレオ化”とは、後で詳細に説明するが、モノラル音声をその音源位置の画面左右端からの比率に合わせて左右チャンネルの音量差を調整することによって擬似的にステレオ化することを意味しているが、これに限らないことは勿論である。制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルカメラ（以下、カメラと略称する）の全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。
【００１１】
記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図２〜図４に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラム記憶部Ｍ１と、撮像済み画像（静止画像、動画像）をフォルダ単位などに分類して記憶保存する画像記憶部Ｍ２と、撮影された動画像に対応付けてその動画撮影中に集音されたカメラの周囲音（被写体からの音声など）を記憶保存する音声記憶部Ｍ３を有するほか、このカメラが動作するために必要となる各種の情報（例えば、後述する音源有りフラグ、タイマなど）を一時的に記憶するワーク領域を有する構成となっている。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続された状態においては所定の外部サーバ側の記憶領域を含むものであってもよい。
【００１２】
表示部４は、例えば、高精細液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、電気泳動型ディスプレイ（電子ペーパ）のいずれかを使用し、画像を高精細に表示するもので、撮像された画像（スルー画像：ライブビュー画像）を表示するファインダ画面（モニタ画面）として機能したり、保存済み画像を表示する再生画面として機能したりする。なお、この表示部４の表面に指の接触を検出する透明なタッチパネルを積層配設することにより、例えば、静電容量方式のタッチスクリーン（タッチ画面）を構成するようにしてもよい。操作部５は、図示省略したが、シャッタ操作、動画撮影操作、露出やシャッタスピードなどの撮影条件の設定操作、撮影済み画像の再生を指示する再生操作などを行う押しボタン式の各種のキーを備えたもので、制御部１は、この操作部５からの入力操作信号に応じた処理として、例えば、撮影処理、撮影条件の設定、再生処理、データ入力処理などを行う。
【００１３】
撮像部６は、図示省略したが、光学レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮影可能なカメラ部を構成するもので、静止画像のほかに動画像の撮影も可能となっている。この撮像部６と制御部１とは、オートフォーカス処理（ＡＦ処理）、ズーム処理、露出調整処理（ＡＥ処理）を実行したり、撮像部６からの画像データに対して各種の画像処理としてホワイトバランス調整・色補間処理を実行したり、画像処理として収差補正処理を行ったり、画像をＪＰＥＧ形式などの画像形式に圧縮する圧縮処理を実行したり、この圧縮データを伸長復元する復元処理などを実行したりする。
【００１４】
顔検出部７は、撮影画像中の被写体を追尾して認識する被写体認識機能を構成するもので、最大フレームレート（例えば、３００ｆｐｓ）で撮像部６から撮像画像を取り込み、フレーム単位毎に撮影画像を解析しながら被写体（例えば、人物やペットなど）の顔の輪郭や顔を形成するバーツ（目、口、鼻、額など）の形や位置関係などを総合的に判断して、被写体の顔を検出するようにしている。この場合、撮影画像内に複数の被写体が含まれているときには、被写体毎に顔をそれぞれ検出するようにしている。なお、顔検出の機能は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。
【００１５】
また、顔検出部７は、複数フレームにわたって連続的に登場する同一被写体の顔を追尾しながら顔の口部分が動いているかを検出するようにしている。すなわち、口部分が動いている被写体の顔を音源として特定するために顔の口部分が動いているかを検出するが、その際、撮影画像内に複数の被写体が含まれていれば、各被写体の顔をそれぞれ検出すると共に、各顔毎にその口部分が動いているかを検出するようにしている。その結果、制御部１は、口部分が動いている被写体が単数であれば、その被写体の顔の撮影画像内での位置を音源位置として特定するようにしている。この場合、撮影画像内の左右方向（例えば、平面座標系のＸ軸方向）において、その被写体の口部分の中心位置（Ｘ座標値）を音源位置として特定するようにしているが、口部分が動いている被写体が複数であれば、複数の顔において各口部分の中間位置（Ｘ座標値）を音源位置として特定するようにしている。
【００１６】
モノラルマイク８は、例えば、動画撮影中にカメラ周囲の音声（被写体やその周囲からの音声）を録音するための無指向性（全指向性）のモノラルマイクロフォンである。このモノラルマイク８から同一の感度で均等に集音された音声信号は、集音部９に与えられる。この集音部９は、モノラルマイク８により集音した音声を処理するもので、図示省略したが、Ａ／Ｄ（アナログ／デジタル）変換部、音声バッファ、音声信号処理回路部などを有する構成で、制御部１は、動画撮影中において集音部９からの音声（モノラル音声）を、音源位置（口部分が動いている被写体の顔の位置）に応じて疑似ステレオ化する音声制御を行うと共に、ステレオ化した音声を撮影動画に対応付けて記録するようにしている。この場合、本実施形態においては、撮影画像内の左右方向において、音源位置の画面左右端からの比率を算出し、集音したモノクロ音声を、この算出した比率に合わせて左右チャンネルの音量差を調整することにより疑似ステレオ化する音声制御を行うようにしている。なお、左右端とは、画面（撮影範囲）の左右方向における両端の位置を意味している。
【００１７】
次に、本実施形態におけるカメラの動作概念を図２〜図４に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードに従った動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。
【００１８】
図２及び図３は、カメラの全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、電源投入に応じて実行開始される。以下、本実施形態の特徴部分を図５及び図６を参照して具体的に説明するものとする。なお、図５及び図６は、撮影画像内の被写体（人物）の顔の数や口部分の動きに応じて音源位置が特定される様子を例示した図である。
先ず、制御部１は、所定メモリの内容をクリアしたり、記憶部３のワーク領域内の音源位置（図示省略）をクリアしたりするなどの初期化処理を行う（図２のステップＡ１）。なお、音源位置は、前回の動画撮影時において後述の擬似ステレオ化処理（図４のステップＢ６）によって記憶されたもので、電源投入時の初期化処理により音源位置を全てクリアするようにしている。次に、動画撮影操作が行われたかを調べたり（ステップＡ２）、その他の操作が行われたかを調べたりしながら（ステップＡ３）、操作待ち状態となる。
【００１９】
動画撮影操作以外のその他の操作が行われたとき（ステップＡ３でＹＥＳ）、例えば、静止画撮影操作（シャッタ操作）、撮影済み画像の再生を指示する再生操作などが行われたときには、その操作に応じた処理として、例えば、静止画撮影処理、画像再生処理などを行い（ステップＡ４）、その後、上述のステップＡ２に戻る。なお、その他の操作として、電源オフ操作が行われたときには、図示しないが、電源オフ処理を行った後に、このフローの終了となる。
【００２０】
動画撮影操作が行われたときには（ステップＡ２でＹＥＳ）、後述する音源有りフラグをオフにしてその値を“０”とした後（ステップＡ５）、撮像部６を起動させて動画撮影動作を開始させると共に撮像部６から動画像を取得し、この動画像を所定の圧縮処理によって圧縮しながら画像記憶部Ｍ２に記憶保存させる動画撮影処理を行う（ステップＡ６）。このようにして動画撮影を開始させた後は、モノラルマイク８から集音部９を介して所定音圧以上の音声（録音可能な最小音以上の音声）を集音したかを調べたり（ステップＡ７）、動画撮影終了操作が行われたかを調べたり（ステップＡ１１）、その他の撮影操作が行われたかを調べたりする（ステップＡ１３）。
【００２１】
いま、動画撮影中に所定音圧以上の音声を集音しない場合に（ステップＡ７でＮＯ）、いずれの操作も行われなければ（ステップＡ１１でＮＯ、ステップＡ１３でＮＯ）、上述のステップＡ６に戻り、以下、動画撮影を継続する。また、その他の操作として、例えば、ズームや露出などの調整操作などが行われたときには（ステップＡ１３でＹＥＳ）、操作に応じた処理として、ズームや露出などの調整処理などを行った後（ステップＡ１４）、上述のステップＡ６に戻り、動画撮影を継続する。また、動画撮影終了操作が行われたときには（ステップＡ１１でＹＥＳ）、動画撮影終了処理（ステップＡ１２）を実行した後、上述のステップＡ２に戻り、操作待ち状態となる。
【００２２】
また、動画撮影中において所定音圧以上の音声を集音したときには（ステップＡ７でＹＥＳ）、集音した音声の中から被写体（人物、ペットなど）の声を抽出して（ステップＡ８）、被写体の声が含まれているかを調べる（ステップＡ９）。この場合、人物、ペットなどの声の周波数特性などを考慮して総合的な判断を行い、被写体の声のみを抽出するようにしているが、被写体の声をだけを完全に抽出しなくても被写体の声を集中的に抽出することができればよい。なお、この抽出技術は周知であるため、その具体的な説明については省略するものとする。ここで、集音した音声の中に被写体の声が含まれていなければ（ステップＡ９でＮＯ）、集音した音声をそのままモノラル音声として音声記憶部Ｍ３に記録させる録音処理を行う（ステップＡ１０）。この場合、画像記憶部Ｍ２に録画した動画に対応付けてモノラル音声を録音する処理が行われる。その後、操作に応じた処理に移る（ステップＡ１１〜Ａ１４）。
【００２３】
集音した音声の中に被写体の声が含まれている場合には（ステップＡ９でＹＥＳ）、図３のフローに移り、顔検出部７を動作させて顔検出処理を行わせる（ステップＡ１５）。この場合、顔検出部７は、撮像部６から取得した撮影画像を解析することにより撮影画像内の被写体の顔を検出する。その結果、顔検出部７により被写体の顔が検出されたかを調べ（ステップＡ１６）、顔が検出されなければ（ステップＡ１６でＮＯ）、後述するステップＡ２４に移るが、顔が検出されたときには（ステップＡ１６でＹＥＳ）、検出された顔は複数であるか、つまり、撮影画像内に複数の被写体が含まれている場合に複数の被写体の顔が検出されたかを調べる（ステップＡ１７）。
【００２４】
いま、検出された顔が複数ではなく単数であれば（ステップＡ１７でＮＯ）、口部分が動いている顔は単数か、つまり、検出された顔の口部分は動いているかを調べる（ステップＡ２２）。ここで、検出された顔の口部分が動いていなければ（ステップＡ２２でＮＯ）、つまり、撮影の途中で音声を発しているにも関わらず、撮影画像を解析した結果、口部分の動きが小さかったなどの理由により口部分が動かないことが検出された場合には、後述するステップＡ２４に移る。また、検出された顔の口部分が動いていれば（ステップＡ２２でＹＥＳ）、撮影画像内に音源となる被写体が存在しているものとして、その口部分の位置を音源位置として特定する（ステップＡ２３）。この場合、口部分の左右方向の中心位置を音源位置として特定するようにしている。
【００２５】
ここで、音源位置の特定の仕方を図５（１）〜（４）を参照して更に具体的に説明する。図５（１）は、検出した人物の顔が単数でその口部分が動いている状態において、口部分の画面左右端からの比率が“１：０．３３”の場合を例示したものである。この場合、口部分が動いている被写体が単数であるので、その口部分の位置が音源位置として特定される。なお、図中、画面（撮影範囲）の右端からの音源位置までの距離比率を“１”とすると、画面の左端から音源位置までの距離比率は“０．３３”となる。図５（２）は、検出した人物の顔が単数でその口部分が動いている状態において、口部分の画面左右端からの比率が“１：１”の場合を例示したものである。この場合、音源位置（口部分）は、図中、破線（縦線）で示すように、画面の中央位置に特定され、その比率は“１：１”となる。
【００２６】
図５（３）は、検出した人物の顔が単数でその口部分が動いている状態において、口部分の画面左右端からの比率が“０．１４：１”の場合を例示したものである。この場合、音源位置（口部分）は、図中、破線（縦線）で示すように、画面の右側に寄った位置に特定され、画面の左端からの音源位置までの距離比率を“１”とすると、画面の右端から音源位置までの距離比率は“０．１４”となる。図５（４）は、検出した人物の顔が単数でその口部分が動いている状態において、口部分の画面左右端からの比率が“０：１”の場合を例示したものである。この場合、音源位置（口部分）は、図中、破線（縦線）で示すように、画面の右端の位置に特定され、画面の左端からの音源位置までの距離比率を“１”とすると、右端から音源位置までの距離比率は“０”となる。
【００２７】
次に、上述の音源有りフラグをオンにしてその値を“１”とした後（図３のステップＡ２０）、擬似ステレオ化処理を行う（ステップＡ２１）。音源有りフラグは、撮影画像内に音源としての被写体が存在していることを示すもので、撮影画像内に口部分が動いている顔を検出した時点でその値は“１”となる。擬似ステレオ化処理は、後で詳述するが、この特定した音源位置を記憶させたり、集音したモノラル音声を擬似ステレオ化して記憶させたりする処理で、この擬似ステレオ化処理を実行した後は、図２のステップＡ１１に移る。
【００２８】
図４は、擬似ステレオ化処理（図３のステップＡ２１）を詳述するためのフローチャートである。
先ず、制御部１は、上述のように集音した被写体の声（例えば、人の声）を疑似ステレオ化する場合に、被写体の声を左右チャンネルに同等に分割してステレオ化する（ステップＢ１）。そして、撮影画像内の左右方向において、特定音源位置の画面左右端からの比率を算出し（ステップＢ２）、この算出した比率に合わせて左右チャンネルの音量差を調整する（ステップＢ３）。例えば、特定音源位置の画面左右端からの比率として、図５（１）の場合には、“１：０．３３”が算出され、図５（２）の場合には、“１：１”が算出されてその比率に合わせて左右チャンネルの音量差が調整される。同様に、図５（３）の場合には、“０．１４：１”が算出され、図５（４）の場合には、“０：１”が算出されて、その比率に合わせて左右チャンネルの音量差が調整される。
【００２９】
このようにして擬似ステレオ化した被写体の声（左右チャンネルの音声）に、この被写体の声以外の音声（モノクロの周囲音）をそれぞれ合成する（ステップＢ４）。これによって生成した左右チャンネルの合成音声を画像記憶部Ｍ２内の動画に対応付けて音声記憶部Ｍ３に記録させると共に（ステップＢ５）、特定した音源位置をこの合成音声に対応付けて記憶部３のワーク領域に記憶させる処理を行う（ステップＢ６）。その後、図４のフローから抜けて図２のステップＡ１１に戻る。
【００３０】
一方、被写体の顔を検出しなかった場合、つまり音源としての被写体が存在しない場合には（図３のステップＡ１６でＮＯ）、次のステップＡ２４に移り、音源有りフラグの値が“１”であるか、つまり、撮影画像内に音源としての被写体の顔を検出済みであったかを調べ、音源有りフラグの値が“１”であれば（ステップＡ２４でＹＥＳ）、つまり、動画撮影中に被写体の顔を検出していたが、撮影の途中でその被写体が画面（撮影範囲）から外れた場合には、上述の擬似ステレオ化処理（ステップＡ２１）で前回記憶した音源位置をそのまま今回の音源位置として特定する（ステップＡ２５）。図５（５）は、人物の顔が画面（撮影範囲）の右端から外れた場合を例示したもので、この場合の音源位置は、図中、破線（縦線）で示すように、画面（撮影範囲）の右端から外れる直前の位置（前回の音源位置）に保持される。
【００３１】
また、被写体の顔を検出しなかった場合に（ステップＡ１６でＮＯ）、音源有りフラグの値が“０”であれば（ステップＡ２４でＮＯ）、つまり、動画撮影中に被写体の顔を検出していなかった場合、例えば、風景や建物など撮影を行っている場合で画面外から声が集音されているような場合には、表示部４の画面の中央位置（撮影範囲の中央位置）を音源位置として特定する（ステップＡ２６）。また、今回の動画撮影中に被写体の顔を検出したが（ステップＡ１６でＹＥＳ）、撮影の始めから口部分が動いている顔が存在しなかった場合には（ステップＡ２２でＮＯ）、音源有りフラグの値は“０”のままであるから（ステップＡ２４でＮＯ）、上述のステップＡ２６に移り、画面の中央位置を音源位置として特定する。図６（１）は、検出した人物の顔が単数でその口部分が撮影の始めから動いていなかった場合を例示したもので、音源位置は、図中、破線（縦線）で示すように、画面の中央位置に特定される。この場合、音源位置の画面左右端からの比率は、“１：１”となり、この比率に合わせて左右チャンネルの音量差が調整されるため、左右チャンネルの音量は同等に割り当てられる。
【００３２】
また、動画撮影中に被写体の顔を検出していたが（ステップＡ１６でＹＥＳ）、撮影の途中で口部分が動いている顔が存在しなくなったことを検出した場合（ステップＡ２２でＮＯ）、つまり、撮影の途中で音声を発しているにも関わらず、撮影画像を解析した結果、口部分の動きが小さかったなど理由により口部分が動かないことが検出された場合には、音源有りフラグの値は“１”のままであるから（ステップＡ２４でＹＥＳ）、上述のステップＡ２５に移り、上述の擬似ステレオ化処理（ステップＡ２１）で前回記憶した音源位置をそのまま今回の音源位置として特定する。図６（２）は、検出した人物の顔が単数でその口部分が撮影の途中から動かなくなった場合を例示したもので、音源位置は、口部分が動いていた前回の音源位置に特定される。図示の例は、被写体が移動せずに口部分の動きを止めた場合である。
【００３３】
他方、撮影画像内から検出された被写体の顔が複数であれば（ステップＡ１７でＹＥＳ）、口部分の動いている顔は複数であるかを調べ（ステップＡ１８）、口部分の動いている顔が複数でなければ（ステップＡ１８でＮＯ）、上述のステップＡ２２に移って、口部分が動いている顔は単数であるかを調べ、検出された顔の全ての口部分が動いていなければ（ステップＡ２２でＮＯ）、上述のステップＡ２４に移り、以下、上述と同様の処理を行う（ステップＡ２４〜Ａ２６）。
【００３４】
また、被写体の顔のいずれか一つの顔の口部分が動いていれば（ステップＡ２２でＹＥＳ）、上述と同様にその口部分の中心位置を音源位置として特定した後（ステップＡ２３）、上述の音源有りフラグをオンにしてその値を“１”とする（ステップＡ２０）。図６（３）は、検出した人物の顔が複数であるが、口部分が動いている顔が単数の場合を例示したもので、音源位置は、動いている口部分の位置が音源位置として特定される。
【００３５】
また、被写体の顔が複数で（ステップＡ１７でＹＥＳ）、口部分の動いている顔も複数の場合には（ステップＡ１８でＹＥＳ）、複数の口部分の中間位置を音源位置として特定する（ステップＡ１９）。すなわち、撮影画像内に口部分の動いている複数の被写体が存在する場合には、被写体毎にその口部分の位置を求めると共に、各口部分の位置の中心位置を音源位置として特定する。次に、上述の音源有りフラグをオンにしてその値を“１”とする（ステップＡ２０）。そして、擬似ステレオ化処理を実行した後（ステップＡ２１）、図２のステップＡ１１に移る。図６（４）は、複数の人物の顔を検出した場合で、口部分が動いている顔が複数の場合を例示したもので、図中、破線（縦線）で示すように、複数の口部分の中間位置が音源位置として特定される。
【００３６】
以上のように、本実施形態においては、撮像部６により撮影された画像内から被写体の顔を検出すると共に、この被写体の顔の撮影画像内での位置を音源位置として特定した後、マイク８を介して集音部９により集音されたモノラル音声を特定音源位置に応じて疑似ステレオ化するようにしたので、モノラルマイクしか搭載することができない場合であっても、音声の臨場感を高めて雰囲気豊かな音響効果を実現することができ、コスト面や電力消費の点でも有利なものとなる。
【００３７】
疑似ステレオ化する場合に、音源位置の画面左右端からの比率に合わせて左右チャンネルの音量差を調整することにより疑似ステレオ化するようにしたので、容易な処理で音量差による適切なステレオ化が可能となる。
【００３８】
被写体の顔を検出した場合にその口部分を検出し、この口部分が動いていれば、その被写体の位置を音源位置として特定するようにしたので、例えば、被写体の顔は撮影されているが音声を発している被写体は画面外といった不整合を回避でき、音源を適切に特定することができる。
【００３９】
複数の被写体の顔を検出した場合に、その中から口部分が動いている被写体の位置を音源位置として特定するようにしたので、複数の被写体の顔を検出した場合でも撮影されている被写体の方向と音声が聞こえてくる方向を略一致させることができる。
【００４０】
複数の被写体の顔を検出した場合に、その中から口部分が動いている被写体が複数であれば、口部分が動いている複数の被写体の中間位置を音源位置として特定するようにしたので、撮影されている複数の被写体が同時に音声を発している場合でも、適切な位置を音源として特定することができる。
【００４１】
被写体の顔を検出することができなくなった場合に、その被写体の顔の検出ができなくなる直前の位置を音源位置として特定するようにしたので、一時的に音声を発している被写体が撮影画面から外れたような場合でも、適切な位置を音源として特定することができる。
【００４２】
被写体の顔を検出した場合に、撮影の途中でその口部分が動かなくなったことが検出されさたときには、口部分が動いていた直前の位置を音源位置として特定するようにしたので、撮影の途中で音声を発しているにも関わらず、撮影画像を解析した結果、口部分の動きが小さかったなど理由により口部分が動かないことが検出されたとしても適切な位置を音源として特定することができる。
【００４３】
集音された音声から被写体の声のみを抽出して疑似ステレオ化するようにしたので、周囲の騒音などをできるだけ回避して被写体の音声をステレオ化することが可能となる。
【００４４】
なお、上述した実施形態においては、疑似ステレオ化する場合に、音源位置の画面左右端からの比率に合わせて左右チャンネルの音量差を調整することにより疑似ステレオ化するようにしたが、疑似ステレオ化する場合に、音源位置の画面左右端からの比率に合わせて左右チャンネルの位相差を調整することにより疑似ステレオ化するようにしてもよい。また、左右チャンネルの音量差及び位相差を調整することにより疑似ステレオ化するようにしてもよい。これによって本格的なステレオ化が可能となり、臨場感を高めることができる。
【００４５】
また、上述した実施形態においては、コンパクトカメラに適用したが、カメラ機能付きの携帯電話機・ＰＤＡ・音楽プレイヤーなどであってもよい。
【００４６】
その他、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【００４７】
以上、この発明の実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
【００４８】
（付記）
請求項１に記載の発明は、
動画像を撮影する撮像手段を備えた撮像装置であって、
モノラル音声を集音する集音手段と、
前記撮像手段により撮影された画像内から被写体の顔を検出する検出手段と、
前記集音手段によりモノラル音声が集音されている状態において、前記検出手段により検出された被写体の顔の前記撮影画像内での位置を音源位置として特定する位置特定手段と、
前記集音手段により集音されたモノラル音声を、前記位置特定手段により特定された前記撮影画像内の音源位置に応じて、疑似ステレオ化する音声制御手段と、
を備えることを特徴とする撮像装置。
【００４９】
請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記位置特定手段により特定された前記撮影画像内の左右端からの音源位置の比率を算出する算出手段を更に備え、
前記音声制御手段は、前記集音手段により集音された音声を、前記算出手段により算出された比率に合わせて左右チャンネルの音量差を調整することにより疑似ステレオ化する、
ようにしたことを特徴とする撮像装置。
【００５０】
請求項３に記載の発明は、請求項１に記載の撮像装置において、
前記位置特定手段により特定された前記撮影画像内の左右端からの音源位置の比率を算出する算出手段を更に備え、
前記音声制御手段は、前記集音手段により集音された音声を、前記算出手段により算出された比率に合わせて左右チャンネルの位相差を調整することにより疑似ステレオ化する、
ようにしたことを特徴とする撮像装置。
【００５１】
請求項４に記載の発明は、請求項１〜請求項３のいずれかに記載の撮像装置において、
前記検出手段は、被写体の顔を検出した場合に更にその口部分を検出し、
前記位置特定手段は、前記検出手段により検出された口部分が動いている場合にその被写体の位置を音源位置として特定する、
ようにしたことを特徴とする撮像装置。
【００５２】
請求項５に記載の発明は、請求項１〜請求項３のいずれかに記載の撮像装置において、
前記検出手段は、被写体の顔を検出した場合に更にその口部分を検出し、
前記位置特定手段は、前記検出手段により複数の被写体の顔が検出された場合に、その中から口部分が動いている被写体の位置を音源位置として特定する、
ようにしたことを特徴とする撮像装置。
【００５３】
請求項６に記載の発明は、請求項１〜請求項３のいずれかに記載の撮像装置において、
前記検出手段は、被写体の顔を検出した場合に更にその口部分を検出し、
前記位置特定手段は、前記検出手段により複数の被写体の顔が検出され、かつその中から口部分が動いている被写体が複数である場合に、口部分が動いている複数の被写体の中間位置を音源位置として特定する、
ようにしたことを特徴とする撮像装置。
【００５４】
請求項７に記載の発明は、請求項１〜請求項３のいずれかに記載の撮像装置において、
前記位置特定手段は、前記検出手段により被写体の顔の検出ができなくなった場合に、その被写体の顔の検出ができなくなる直前の位置を音源位置として特定する、
ようにしたことを特徴とする撮像装置。
【００５５】
請求項８に記載の発明は、請求項１〜請求項３のいずれかに記載の撮像装置において、
前記検出手段は、被写体の顔を検出した場合に更にその口部分を検出し、
前記位置特定手段は、前記検出手段により被写体の顔が検出され、かつ撮影の途中でその口部分が動かなくなったことが検出された場合には、口部分が動いていた直前の位置を音源位置として特定する、
ようにしたことを特徴とする記載の撮像装置。
【００５６】
請求項９に記載の発明は、請求項１〜請求項８のいずれかに記載の撮像装置において、
前記集音手段により集音された音声から被写体の声のみを抽出する音声抽出手段を更に備え、
前記音声制御手段は、前記音声抽出手段により抽出された被写体の声のみを疑似ステレオ化する、
ようにしたことを特徴とする撮像装置。
【００５７】
請求項１０に記載の発明は、
コンピュータに対して、
動画像を撮影する機能と、
モノラル音声を集音する機能と、
撮影された画像内から被写体の顔を検出する機能と、
前記モノラル音声が集音されている状態において、前記検出された被写体の顔の前記撮影画像内での位置を音源位置として特定する機能と、
前記集音されたモノラル音声を、前記特定された前記撮影画像内の音源位置に応じて、疑似ステレオ化する機能と、
を実現させるためのプログラム。
【符号の説明】
【００５８】
１  制御部
３  記憶部
４  表示部
５  操作部
６  撮像部
７  顔検出部
８  モノラルマイク
９  集音部
Ｍ１  プログラム記憶部
Ｍ２  画像記憶部
Ｍ３  音声記憶部
【図１】
2012151544.tif 000003
【図２】
2012151544.tif 000004
【図３】
2012151544.tif 000005
【図４】
2012151544.tif 000006
【図５】
2012151544.tif 000007
【図６】
2012151544.tif 000008