(57)【要約】【課題】マイクが１つしかない、若しくは、２つあっても隣り合ってしまっているなど、マイクについての条件が悪い場合においても音声に好適なステレオ効果を持たせることができる撮像装置を提供する。【解決手段】被写体像を撮像するための撮像手段２０２と、前記撮像手段２０２により撮像された画像の中から顔を検出する顔検出手段２０５と、音声を集音し記録する音声記録手段２０３と、音声を記録する際に補正する音声補正手段２０５と、を有し、検出した顔が単数であれば中心位置からの水平方向の距離に応じて前記音声補正手段２０５の補正方法を変更することを特徴とする。【選択図】図５
2014050059.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像するための撮像手段と、
前記撮像手段により撮像された画像の中から顔を検出する顔検出手段と、
音声を集音し記録する音声記録手段と、
音声を記録する際に補正する音声補正手段と、を有し、
検出した顔が単数であれば中心位置からの水平方向の距離に応じて前記音声補正手段の補正方法を変更することを特徴とする撮像装置。
【請求項２】
被写体と撮像装置の距離を測定する測距手段を有し、
検出した顔が単数であれば中心位置からの水平方向の距離と被写体と撮像装置の距離に応じて前記音声補正手段の補正方法を変更することを特徴とする請求項１記載の撮像装置。
【請求項３】
被写体像を撮像するための撮像手段と、
前記撮像手段により撮像された画像の中から顔を検出する顔検出手段と、
音声を集音し記録する音声記録手段と、
音声を記録する際に補正する音声補正手段と、を有し、
検出した顔が複数であれば、複数の顔の平均位置を算出し、算出した平均位置から前記音声補正手段の補正を行うことを特徴とする撮像装置。
【請求項４】
被写体と撮像装置の距離を測定できる測距手段を有し
検出した顔が複数である場合、被写体と撮像装置の距離から閾値以内の複数の顔の平均位置を算出し、算出した平均位置から前記音声補正手段の補正を行うことを特徴とする請求項３記載の撮像装置。
【請求項５】
被写体像を撮像するための撮像手段と、
前記撮像手段により撮像された画像の中から顔を検出する顔検出手段と、
検出した顔の口の動きを検出する手段と、
音声を集音し記録する音声記録手段と、
音声を記録する際に補正する音声補正手段と、を有し、
口の動きがあったものに対して中心位置からの水平方向の距離に応じて前記音声補正手段の補正を行うことを特徴とする撮像装置。
【請求項６】
被写体と撮像装置の距離を測定できる測距手段を有し、
口の動きがあったものに対して、中心位置からの水平方向の距離・被写体と撮像装置の距離に応じて前記音声補正手段の補正を行うことを特徴とする請求項５記載の撮像装置。
【請求項７】
被写体像を撮像するための撮像手段と、
前記撮像手段により撮像された画像の中から顔を検出する顔検出手段と、
検出した顔の口の動きを検出する手段と、
音声を集音し記録する音声記録手段と、
音声を記録する際に補正する音声補正手段と、を有し、
口の動きが複数あった場合、複数の口の動きの平均位置を算出し、算出した平均位置から前記音声補正手段の補正を行うことを特徴とする撮像装置。
【請求項８】
被写体像を撮像するための撮像手段と、
前記撮像手段により撮像された画像の中から顔を検出する顔検出手段と、
撮像装置の傾きを検出する傾き検出手段と、
音声を集音し記録する音声記録手段と、
音声を記録する際に補正する音声補正手段と、を有し、
前記傾き検出手段の検出した傾きの値によって、前記音声補正手段の補正を変更することを特徴とする撮像装置。
【請求項９】
被写体像を撮像するための撮像手段と、
撮像した画像を表示する表示手段と、
表示した画像に指で触れると検出する検出手段と、
音声を集音し記録する音声記録手段と、
音声を記録する際に補正する音声補正手段と、
被写体と撮像装置の距離を測定できる測距手段と、を有し、
ユーザが指で触った水平方向の位置と被写体と撮像装置の距離に応じて前記音声補正手段の補正を行うことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、音声を集音し記録する音声記録手段を備えるものに関する。
【背景技術】
【０００２】
特許文献１には、映像と対になって記録される音声を補正する音声補正装置に関する先行技術が記載されている。特許文献１においては、画角内の人数の情報に応じて音声補正処理を変えている。特許文献２は、撮像装置と被写体の間の距離を測る測距方法について記載がある。非特許文献１ないし３は、画像の中から人物の顔を検出する、いわゆる顔認識の背景技術である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
いわゆるデジタルスチルカメラやデジタルビデオカメラの技術分野においては、カメラの小型化・薄型化が進み、マイクの配置できる位置が限られてしまっている。ステレオの場合、マイクを離して配置することが望ましいが、レイアウトの都合上隣り合わせに配置しなければならないことも多い。その場合、せっかくステレオにしているのに効果が薄い。
【０００４】
一方で、ステレオの効果を出すのにマイクのＬ（左）とＲ（右）に遅延差を持たすことが知られている（ハース効果）。モニタリングの画面から人の距離に応じて最適な遅延差を持たせ、マイクの位置が近くてもステレオの効果を出すことが可能となる。また、コスト削減のためマイクをモノラルにしなければならない場合は、同じ音をＬＲに保存するのに対して遅延差をつけて保存すれば擬似的にステレオ効果を持たせることができる。
【０００５】
本発明は、上記実情に鑑みてなされたものであって、マイクについての条件が悪い場合においても音声に好適なステレオ効果を持たせることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明は、被写体像を撮像するための撮像手段と、前記撮像手段により撮像された画像の中から顔を検出する顔検出手段と、音声を集音し記録する音声記録手段と、音声を記録する際に補正する音声補正手段と、を有し、検出した顔が単数であれば中心位置からの水平方向の距離に応じて前記音声補正手段の補正方法を変更することを特徴とする撮像装置を提供する。
【発明の効果】
【０００７】
本発明によれば、マイクについての条件が悪い場合においても音声に好適なステレオ効果を持たせることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明による実施形態に係るデジタルカメラの外観図（上面）である。
【図２】本発明による実施形態に係るデジタルカメラの外観図（正面）である。
【図３】本発明による実施形態に係るデジタルカメラの外観図（背面）である。
【図４】本発明による実施形態に係るデジタルカメラの構成を示すブロック図である。
【図５】本実施形態の要部の構成を示すブロック図である。
【図６】本実施形態における音声補正処理の手順を示すフローチャートである。
【図７】本実施形態において撮像された画像の一例を示す図である。
【図８】本実施形態において撮像された画像の別の一例を示す図である。
【図９】本実施形態において撮像された画像の別の一例を示す図である。
【図１０】本実施形態において撮像された画像の別の一例を示す図である。
【図１１】本実施形態において撮像された画像の別の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図を参照して本発明の実施の形態につき説明する。なお、各図の番号は、同じ部材や同じ処理に関しては、極力、同じ番号を付けている。
【００１０】
図１ないし図３は、本実施形態に係るデジタルカメラの外観図である。図４は、このデジタルカメラの内部構成を示すブロック図である。
【００１１】
ＣＣＤ（１０１）は、光学画像を光電変換するための固体撮像素子であり、Ｆ／Ｅ（フロントエンド）−ＩＣ（１０２）は、画像ノイズ除去用相関二重サンプリングを行うＣＤＳ（１０２−１）、利得調整を行うＡＧＣ（１０２−２）、ディジタル信号変換を行うＡ／Ｄ（１０２−３）、ＣＣＤ１制御ブロック（１０４−１）より、垂直同期信号、水平同期信号を供給され、ＣＰＵブロック（１０４−３）によって制御されるＣＣＤ（１０１）、及びＦ／Ｅ−ＩＣ（１０２）の駆動タイミング信号を発生するＴＧ（１０２−４）を有する。
【００１２】
鏡胴ユニット（４）は、被写体の光学画像を取り込むズームレンズ（４−１ａ）、ズーム駆動モータ（４−１ｂ）からなるズーム光学系（４−１）、フォーカスレンズ（４−２ａ）、フォーカス駆動モータ（４−２ｂ）からなるフォーカス光学系（４−２）、絞り（４−３ａ）、絞りモータ（４−３ｂ）からなる絞りユニット（４−３）、メカシャッタ（４−４ａ）、メカシャッタモータ（４−４ｂ）からなるメカシャッタユニット（４−４）、各モータを駆動するモータドライバ（４−５）を有する。
【００１３】
ＲＯＭ（１１３）には、ＣＰＵブロック（１０４−３）にて解読可能なコードで記述された、制御プログラムや制御するためのパラメータが格納されている。このデジタルカメラの電源がオン状態になると、前記プログラムは不図示のメインメモリにロードされ、前記ＣＰＵブロック（１０４−３）はそのプログラムに従って装置各部の動作を制御するとともに、制御に必要なデータ等を、一時的に、ＲＡＭ（１１４）、及び後述するディジタルスチルカメラプロセッサ（１０４）内にあるＬｏｃａｌ ＳＲＡＭ（１０４−４）に保存する。ＲＯＭ（１１３）に書き換え可能なフラッシュＲＯＭを使用することで、制御プログラムや制御するためのパラメータを変更することが可能となり、機能のＶｅｒＵｐが容易に行える。
【００１４】
ディジタルスチルカメラプロセッサ（１０４）は、ＣＣＤ（１０１）よりＦ／Ｅ―ＩＣ（１０２）の出力データにホワイトバランス設定やガンマ設定を行い、又、前述したように、垂直同期信号、水平同期信号を供給するＣＣＤ１制御ブロック（１０４−１）、フィルタリング処理により、輝度データ・色差データへの変換を行うＣＣＤ２制御ブロック（１０４−２）、前述した装置各部の動作を制御するＣＰＵブロック（１０４−３）、前述した制御に必要なデータ等を、一時的に、保存するＬｏｃａｌ ＳＲＡＭ（１０４−４）、パソコンなどの外部機器とＵＳＢ通信を行うＵＳＢブロック（１０４−５）、パソコンなどの外部機器とシリアル通信を行うシリアルブロック（１０４−６）、ＪＰＥＧ圧縮・伸張を行うＪＰＥＧ ＣＯＤＥＣブロック（１０４−７）、画像データのサイズを補間処理により拡大／縮小するＲＥＳＩＺＥブロック（１０４−８）、画像データを液晶モニタやＴＶなどの外部表示機器に表示するためのビデオ信号に変換するＴＶ信号表示ブロック（１０４−９）、撮影された画像データを記録するメモリカードの制御を行うメモリカードブロック（１０４−１０）を有する。
【００１５】
ＳＤＲＡＭ（１０３）は、前述したディジタルスチルカメラプロセッサ（１０４）で画像データに各種処理を施す際に、画像データを一時的に保存する。保存される画像データは、例えば、ＣＣＤ（１０１）から、Ｆ／Ｅ−ＩＣ（１０２）を経由して取りこんで、ＣＣＤ１信号処理ブロック（１０４−１）でホワイトバランス設定、ガンマ設定が行われた状態の「ＲＡＷ−ＲＧＢ画像データ」やＣＣＤ２制御ブロック（１０４−２）で輝度データ・色差データ変換が行われた状態の「ＹＵＶ画像データ」、ＪＰＥＧ ＣＯＤＥＣブロック（１０４−７）で、ＪＰＥＧ圧縮された「ＪＰＥＧ画像データ」などである。
【００１６】
内蔵メモリ（１０７）は、撮影した画像データを記憶できるようにするためのメモリである。
【００１７】
ＬＣＤドライバ（１０８）は、後述するＬＣＤモニタ（５）に駆動するドライブ回路であり、ＴＶ信号表示ブロック（１０４−９）から出力されたビデオ信号を、ＬＣＤモニタ（５）に表示するための信号に変換する機能も有している。ＬＣＤモニタ（５）は、撮影前に被写体の状態を監視する、撮影した画像を確認する、メモリカードや前述した内蔵メモリ（１０７）に記録した画像データを表示する、などを行うためのモニタである。ビデオＡＭＰ（１１８）は、ＴＶ信号表示ブロック（１０４−９）から出力されたビデオ信号を、７５Ωインピーダンス変換するためのアンプであり、ビデオジャック（１１９）は、ＴＶなどの外部表示機器と接続するためのジャックである。操作Ｋｅｙユニット（ＳＷ１〜１５）は、ユーザが操作するＫｅｙ回路であり、ＳＵＢ−ＣＰＵ（１０５）は、操作Ｋｅｙユニット（ＳＷ１〜１５）などの出力信号をユーザの操作情報として、前述したＣＰＵブロック（１０４−３）に出力する。また、時刻をカウントしているＲＴＣ（１１２）と通信し、時間を制御している。
【００１８】
加速度センサ（１１１）はＰＣＢ上に実装され、３軸Ｘ，Ｙ，Ｚのデータを出力する。それをデジタルスチルカメラプロセッサ（１０４）のＩ２Ｃブロック（１０４−１１）とシリアル通信し、そのデータからカメラの傾きを演算し、ＬＣＤモニタ（５）等に表示する。
加速度センサの水平に対するロール角θ・ピッチ角φは以下の式で表される。
θ[deg] = 180 / π * arctan((Y - Y0) / (X - X0))
φ[deg] = 180 / π * arctan((Z - Z0) / (X - X0))
ここでX0、Y0、Z0は各々重力ゼロ時の出力である。
【００１９】
＜要部の構成＞
上述のような、本実施形態のデジタルカメラを構成する各部の協働により、本実施形態の要部が構成される。図５に、本実施形態の要部の構成を示す。本実施形態の要部は、制御手段２０１、撮像手段２０２、音声記録手段２０３、測距手段２０４を含む。制御手段２０１は、例えば図４のＲＯＭ（１１３）に記憶されている制御プログラムが実行されることにより構成され、本実施形態に係る音声補正処理を実行する。また、制御手段２０１は、顔検出手段２０５、音声補正手段２０６を有する。
【００２０】
撮像手段２０２は、動画像を含む画像を本実施形態に入力する。図１ないし図４においては、例えば、ＣＣＤ（１０１）を中心にしたデバイスにより構成される。入力された画像からは、顔検出手段２０５により顔検出が行われる。
【００２１】
測距手段２０４は、デジタルカメラと被写体との間の距離を測る手段である。本実施形態において採用できる測距方法としては、一般的なデジタルカメラに用いられている公知の技術がすべて利用できる。
【００２２】
音声記録手段２０３は、例えば、図４のマイクロフォン（１１５）により具現化できる。マイクロフォン（１１５）は、映像と対になって記録される音声を集音するデバイスである。集音された音声は、音声ブロック（１０４−１１）により記録される。しかしながら、マイクロフォン（１１５）は、レイアウトの都合上、１つしか配置できずモノラルで集音する場合がある。若しくは、２つ配置できるが当該２つの間の距離が非常に狭く、十分にステレオ効果が発揮された集音ができない場合がある。
【００２３】
このように、マイクについての条件が悪い場合に対応して、音声ブロック（１０４−１１）は、音声の記録の際に、ステレオを強調するように音声を補正する。音声ブロック（１０４−１１）は、図５の音声補正手段２０６の一実施例である。音声補正手段２０６は、顔検出手段２０５による顔検出の結果の情報や、測距手段２０４により検出された被写体との距離の情報などを利用して、音声補正処理を実行する。以下では、本実施形態でどのように音声を補正しているかを説明する。
【００２４】
＜実施例１＞
図６に、本実施形態における音声補正処理の手順を示す。
録画開始したら、まず画面の中の顔を検出し、顔の数を把握する（Ｓ１０１、Ｓ１０２）。被写体像の中から人物像を検出する方法は、以下に示す手法が公知となっており、本実施形態では、そのうちのいずれかの方法を用いるものとする。
・非特許文献１（テレビジョン学会誌Ｖｏｌ．４９、Ｎｏ．６、ｐｐ．７８７−７９７（１９９５））の「顔領域抽出に有効な修正ＨＳＶ表色系の提案」に示されるように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法。
・非特許文献２（電子情報通信学会誌Ｖｏｌ．７４−Ｄ−ＩＩ、Ｎｏ．１１、ｐｐ．１６２５−１６２７（１９９１））の「静止濃淡情景画像からの顔領域を抽出する手法」に示されているように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法。
・非特許文献３（画像ラボ１９９１−１１（１９９１））の「テレビ電話用顔領域検出とその効果」に示されるように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法。
【００２５】
次に、測距手段２０４を用いて、検出した顔とカメラの距離を測定する。測距方法については特許文献２に開示されている方法を用いる。
【００２６】
次に、顔の数の中で、測定した距離が閾値以内（例えば５ｍ）である数を確認する（Ｓ１０２）。例えば、図７の場合だと、閾値より遠い距離の領域（２）の２人は無視される。
【００２７】
図７に示すような閾値以内の検出した顔が１人の場合の処理は、次のようになる。この場合は、図６のＳ１０２で単数の場合の処理である。画面内を図７のように４分割する（ここでは領域（１）、（２）、（３）、（４）とする）。閾値以内の検出した顔が領域（１）から領域（４）のどの場所にいるかによって、音声補正手段２０６は、音声効果を変化させる（Ｓ１０３）。
【００２８】
音声効果の補正、すなわち音声の補正処理は、具体的には、例えば、以下のようにする。
人物が領域（１）にいた場合は、Ｌ側の音をステレオ強調したいため、Ｒ側のマイクの信号に遅延を持たせる（例えば０．１５ｍｓ）。モノラルのマイクの場合にはＲ側にＬ側より遅延させた信号を記録させればよい。
領域（２）にいた場合は、領域（１）よりも効果を抑えてステレオ強調する（例えば０．１ｍｓ）。
領域（３）ではＬ側を領域（２）と同等分だけ遅延させる。
領域（４）ではＬ側を領域（１）と同等分だけ遅延させる。
このように閾値以内の検出した顔が１人の場合は、その人の位置によって強調の効果を変化させる。
【００２９】
２人以上の場合（Ｓ１０２で複数）は、図８に示すようにそれぞれの検出した顔の中心からの距離を算出する。算出した距離の平均を取り、全体として左右のどちらに分布しているかを確認する。その分布がＲ側にあれば、Ｌ側の音を遅延させてＲ側の音を強調する（Ｓ１０４）。
【００３０】
本実施例によれば、マイクが１つ若しくは隣り合ってしまっている２つだとしても、撮影している画像に応じて、ステレオを強調した動画を撮影することが可能になる。
【００３１】
＜実施例２＞
口の動きを検出してステレオ効果をつけることも可能である。
図６のフローで顔を検出し（Ｓ１０１）、閾値内の距離の数が複数だった場合（Ｓ１０２で複数）、口が動いている顔の側の音を強調する。図９に示すように口が動いているものが一人の場合は、動いている側（図９ではＬ側）を強調する。また、口が動いているのが複数だとすれば、口が動いている顔の中心からの距離を算出する。算出した距離の平均を取り、全体として左右のどちらに分布しているかを確認する。図１０のようにその分布がＬ側にあれば、Ｒ側の音を遅延させてＬ側の音を強調する。
【００３２】
＜実施例３＞
デジタルカメラを縦にして動画を撮影した場合、左右のマイクの配置を離しているカメラでもマイクの位置が縦になってしまうためステレオ感は損なわれてしまう。
【００３３】
加速度センサ（１１１）でカメラの角度を算出し、縦撮りと判定したら、図１１に示すように領域（１）から（４）までの領域を変更し、その領域で、図６のフローで実施例１のようにステレオ強調制御を行う。本実施例によれば、縦撮りした場合、マイクが１つ若しくは水平位置に２つでも、回転角度に応じてステレオを強調した動画を撮影することが可能になる。
【００３４】
＜実施例４＞
ユーザーが確実にステレオ強調したい場合は、タッチパネルを使用しても良い。
録画中に声を発している被写体をタッチすれば、そこの場所に応じてステレオ強調を行う。声を発している被写体が変われば、その被写体にタッチしてステレオ強調を変更する。タッチした位置の水平方向からの距離によって効果を変えても、タッチした被写体の撮像装置からの距離によって効果を変えても良い。
【００３５】
例えば、タッチした位置が実施例１の領域（１）であったら効果を大きく、領域（２）であったら効果を小さくするといった具合である。また、タッチした被写体が近ければ効果を大きく、遠ければ効果を小さくするのでも良い。本実施例によれば、また、ユーザの意図したステレオを強調した動画を撮影することが可能になる。
【００３６】
以上、実施形態と実施例で開示した本発明に関連する構成は、互いに組み合わせて実施することが可能である。
【符号の説明】
【００３７】
１    ストロボ発光部
２    測距ユニット
３    光学ファインダ
４    銅鏡
５    ＬＣＤモニタ
６    電池蓋
１０１    ＣＣＤ
１０２    Ｆ／Ｅ−ＩＣ
１０３    ＳＤＲＡＭ
１０４    デジタルスチルカメラプロセッサ
１０５    ＳＵＢ−ＣＰＵ
１０６    ストロボ回路
１０７    内蔵メモリ
１０８    ＬＣＤドライバ
１０９    ビデオＡＭＰ
１１０    ビデオジャック
１１１    加速度センサー
１１２    ＲＴＣ（Ｒｅａｌ  Ｔｉｍｅ  Ｃｌｏｃｋ）
１１３    ＲＯＭ
１１４    ＲＡＭ
ＳＷ１    レリーズスイッチ
ＳＷ２    モードダイヤル
ＳＷ３    ジョグダイヤル１
ＳＷ４    ジョグダイヤル２
ＳＷ５    ズームＳＷ［ＴＥＬＥ］
ＳＷ６    ズームＳＷ［ＷＩＤＥ］
ＳＷ７    上ＳＷ
ＳＷ８    右ＳＷ
ＳＷ９    ＯＫ  ＳＷ
ＳＷ１０    左ＳＷ
ＳＷ１１    下ＳＷ  ／  マクロＳＷ
ＳＷ１２    ＤＩＳＰＬＡＹ  ＳＷ
ＳＷ１３    削除ＳＷ
ＳＷ１４    ＭＥＮＵ  ＳＷ
ＳＷ１５    電源ＳＷ
２０１    制御手段
２０２    撮像手段
２０３    音声記録手段
２０４    測距手段
２０５    顔検出手段
２０６    音声補正手段
【先行技術文献】
【特許文献】
【００３８】
【特許文献１】特開２００９−１５６８８８号公報
【特許文献２】特開２０１２−０６５０７９号公報
【非特許文献】
【００３９】
【非特許文献１】テレビジョン学会誌Ｖｏｌ．４９、Ｎｏ．６、ｐｐ．７８７−７９７（１９９５）
【非特許文献２】電子情報通信学会誌Ｖｏｌ．７４−Ｄ−ＩＩ、Ｎｏ．１１、ｐｐ．１６２５−１６２７（１９９１）
【非特許文献３】画像ラボ１９９１−１１（１９９１）
【図１】
2014050059.tif 000003
【図２】
2014050059.tif 000004
【図３】
2014050059.tif 000005
【図４】
2014050059.tif 000006
【図５】
2014050059.tif 000007
【図６】
2014050059.tif 000008
【図７】
2014050059.tif 000009
【図８】
2014050059.tif 000010
【図９】
2014050059.tif 000011
【図１０】
2014050059.tif 000012
【図１１】
2014050059.tif 000013