(57)【要約】【課題】複数の被写体が存在する場合であっても、ユーザが意図する可能性が高い被写体を主被写体として決定することが可能な撮像装置を得る。【解決手段】顔検出処理によって検出された顔が複数存在する場合、いずれの顔に対して露光値を演算すべきかを決定する必要がある。一般的に、人物の撮影を行うときには、被写体となるべき人物と撮影者とが会話を交わしながら撮影を行うものである。そこで、主被写体判定処理は、人間の音声が検出されたときに口元が動いている顔を主被写体として決定する。主被写体判定処理は、ＬＣＤ１１４にスルー画像が表示されているとき、ＤＳＰにより実行される。【選択図】図４
2010124034.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる顔を検出する顔検出手段と、
前記顔検出手段が検出した顔における口の状態を検出する口検出手段と、
周囲の音声を検出する音声検出手段と、
前記音声検出手段が音声を検出したとき口が所定の状態にある顔を主被写体として判断する被写体決定手段とを備える撮像装置。
【請求項２】
前記被写体決定手段は、口が開いている顔を主被写体として判断する請求項１に記載の撮像装置。
【請求項３】
前記被写体決定手段は、口の縦横比が所定値以上である顔を主被写体として判断する請求項１に記載の撮像装置。
【請求項４】
前記被写体決定手段は、口の状態の変化が所定値以上である顔を主被写体として判断する請求項１に記載の撮像装置。
【請求項５】
前記被写体決定手段は、口の輝度情報が所定値以上である顔を主被写体として判断する請求項１に記載の撮像装置。
【請求項６】
前記被写体決定手段は、口の色差情報が所定値以下である顔を主被写体として判断する請求項１に記載の撮像装置。
【請求項７】
被写体に撮影レンズを合焦させる自動合焦手段をさらに備え、
前記自動合焦手段は、前記被写体決定手段が主被写体として判断した顔に前記撮影レンズを合焦する請求項１に記載の撮像装置。
【請求項８】
被写体に対して露出を決定する自動露出手段をさらに備え、
前記自動露出手段は、前記被写体決定手段が主被写体として判断した顔に対して露出を決定する請求項１に記載の撮像装置。
【請求項９】
被写体のホワイトバランスを決定するＡＷＢ手段をさらに備え、
前記ＡＷＢ手段は、前記被写体決定手段が主被写体として判断した顔に対してホワイトバランスを決定する請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に用いられ、主要被写体を決定する撮像装置に関する。
【背景技術】
【０００２】
従来、被写体に対して自動的に合焦動作を行うオートフォーカス装置を備えるカメラが知られている。カメラは顔位置検出回路を備え、画像における顔の位置を自動的に決定する。オートフォーカス装置はこの顔に対して合焦動作を行う（特許文献１）。
【特許文献１】特開２００６−２０８４４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、複数の顔が画像に含まれている場合、どの顔に対して合焦動作を行うかを自動的に決定することが困難であり、ユーザが望まない顔に対して合焦動作が実行されてしまうおそれがある。
【０００４】
本発明は、これらの問題を鑑みてなされたものであり、複数の被写体が存在する場合であっても、ユーザが意図する可能性が高い被写体を主被写体として決定することが可能な撮像装置を得ることを目的とする。
【課題を解決するための手段】
【０００５】
本願第１の発明による撮像装置は、画像に含まれる顔を検出する顔検出手段と、顔検出手段が検出した顔における口の状態を検出する口検出手段と、周囲の音声を検出する音声検出手段と、音声検出手段が音声を検出したとき口が所定の状態にある顔を主被写体として判断する被写体決定手段とを備えることを特徴とする。
【０００６】
被写体決定手段は、口が開いている顔を主被写体として判断することが好ましい。
【０００７】
被写体決定手段は、口の縦横比が所定値以上である顔を主被写体として判断してもよい。
【０００８】
被写体決定手段は、口の状態の変化が所定値以上である顔を主被写体として判断してもよい。
【０００９】
被写体決定手段は、口の輝度情報が所定値以上である顔を主被写体として判断してもよい。
【００１０】
被写体決定手段は、口の色差情報が所定値以下である顔を主被写体として判断してもよい。
【００１１】
撮像装置は、被写体に撮影レンズを合焦させる自動合焦手段をさらに備え、自動合焦手段は、被写体決定手段が主被写体として判断した顔に撮影レンズを合焦してもよい。
【００１２】
撮像装置は、被写体に対して露出を決定する自動露出手段をさらに備え、自動露出手段は、被写体決定手段が主被写体として判断した顔に対して露出を決定してもよい。
【００１３】
撮像装置は、被写体のホワイトバランスを決定するＡＷＢ手段をさらに備え、ＡＷＢ手段は、被写体決定手段が主被写体として判断した顔に対してホワイトバランスを決定してもよい。
【発明の効果】
【００１４】
以上のように本発明によれば、複数の被写体が存在する場合であっても、ユーザが意図する可能性が高い被写体を主被写体として決定することが可能な撮像装置を得る。
【発明を実施するための最良の形態】
【００１５】
以下、本発明による一実施形態について、図を用いて説明する。
【００１６】
まず、本実施形態による撮像装置であるデジタルカメラ１００の構成について図１及び２を用いて説明する。デジタルカメラ１００は、例えばコンパクトカメラである。
【００１７】
デジタルカメラ１００は、デジタルカメラ１００の動作を制御するＤＳＰ１３１と、デジタルカメラ１００を操作するために用いられる操作部材１１０と、被写体像をデジタル画像信号に変換する撮像部１２０と、デジタルカメラ１００外部の音声を電気信号に変換するマイク１１５と、ＤＳＰ１３１から送信されるデータを記憶するメモリ１３２と、撮影された画像を記録するＳＤカード１３３と、撮影のための情報や撮影済みの画像を表示するＬＣＤ１１４とから主に構成される。
【００１８】
撮像部１２０は、撮影レンズ１２１、シャッタ１２３、絞り、ＣＣＤ１２４、ＡＦＥ（アナログ・フロント・エンド）１２５、そして、撮影レンズ１２１、シャッタ１２３、及び絞りを駆動する駆動回路１２６とから主に構成される。
【００１９】
撮影レンズ１２１は、駆動回路１２６が合焦光学系の位置を制御することによりピントが調節され、被写体像をＣＣＤ１２４の撮像面に結像させる。絞りは、撮影レンズ１２１からＣＣＤ１２４に向かう光束を制御して、撮像面に結像する被写体像の光量を制御する。シャッタ１２３は、撮像面に被写体像が照射される期間を制御する。ＣＣＤ１２４は、撮像面に結像した被写体像をアナログ画像信号に変換して、ＡＦＥ１２５に送信する。ＡＦＥ１２５は、アナログ画像信号に対してゲインの調整などを行った後にデジタル画像信号に変換して、ＤＳＰ１３１に送信する。駆動回路１２６は、ＤＳＰ１３１からの信号に応じて、合焦光学系の位置、絞りの開度、及びシャッタスピード値を制御する。
【００２０】
撮像前におけるＤＳＰ１３１は、デジタル画像信号に含まれる被写体像の光量を用いて被写体を測光する。これにより得られた測光値を用いて露光値を演算し、この露光値に基づき撮影に必要となる絞り値及びシャッタスピード値を演算する。そして、演算された絞り値及びシャッタスピード値を駆動回路１２６に送信する。さらに、ＤＳＰ１３１は、受信したデジタル画像信号を用いて合焦光学系の位置を決定し、駆動回路１２６に合焦光学系の位置を送信する。また、ＡＦＥ１２５からデジタル画像信号が送信されると、ＤＳＰ１３１は、デジタル画像信号を用いてホワイトバランスを調整し、得られた画像をスルー画像としてＬＣＤ１１４に送信する。
【００２１】
撮像時におけるＤＳＰ１３１は、デジタル画像信号を受信して画像処理を行い、画像データを作成する。そして、画像データをＳＤカード１３３に保存し、ＬＣＤ１１４に表示する。メモリ１３２は、ＤＳＰ１３１がこれらの演算及び画像処理等を実行するときに、一時的にデータを記録する作業メモリとして使用される。
【００２２】
ＤＳＰ１３１は、顔検出処理を行う。顔検出処理は、デジタル画像信号により形成される撮影画像に含まれる顔の位置及び大きさを検出する処理である。検出された顔の位置及び大きさは、指示枠を用いてスルー画像中に示される。
【００２３】
検出された顔が１つ存在する場合、ＤＳＰ１３１は、検出された顔にピントを合わせ、かつ検出された顔に重点を置いて露光値を決定し、撮像を行う。そして、検出された顔に重点を置いてデジタル画像信号のホワイトバランスを調整して画像データを出力する。これにより、検出された顔に対してピント、露出、及びホワイトバランスが調節された画像データを得る。
【００２４】
検出された顔が複数存在する場合、ＤＳＰ１３１は、後述する主被写体判定処理を実行することにより、指示枠が表示された顔の中から露光値を求めるべき顔を主被写体として選択する。そして前述のように選択された顔を用いてピント、露光値、及びホワイトバランスが調整された画像データを得る。なお、主被写体とは、ユーザが意図する可能性が高い被写体をいう。
【００２５】
ＬＣＤ１１４は、撮影画像と同じ３対４の縦横比を有する長方形である。図１に示すように、デジタルカメラ１００の左右方向に延びるようにデジタルカメラ１００の背面略中央に設けられる。撮像レンズ１２１を介して得られた画像、撮影済みの撮影画像、及びデジタルカメラ１００の各種設定を表示可能である。また、ＬＣＤ１１４は、ＤＳＰ１３１が送信したスルー画像を表示する。
【００２６】
操作部材１１０は、主電源ボタン１１１、レリーズボタン１１２、モード設定ボタン１１３を有する。
【００２７】
主電源ボタン１１１は、デジタルカメラ１００の上面から突出するモーメンタリスイッチである。ユーザが主電源ボタン１１１を押圧すると、デジタルカメラ１００の電源が投入される。デジタルカメラ１００の電源が入れられているときにユーザが主電源ボタン１１１を押圧すると、デジタルカメラ１００の電源が切断される。
【００２８】
レリーズボタン１１２は、二段式のモーメンタリスイッチであり、デジタルカメラ１００の頂面に設けられる。ユーザがレリーズボタン１１２を半押しすると測光や測距及び合焦動作が行われ、全押しすると撮像動作が行われる。
【００２９】
モード設定ボタン１１３は、デジタルカメラ１００の背面に設けられるシーソー式スイッチである。ユーザがモード設定ボタン１１３を押圧すると、デジタルカメラ１００の動作状態が撮影モード設定状態に切り替えられ、ＬＣＤ１１４に撮影モードを設定するための画面が表示される。ユーザはモード設定ボタン１１３を操作して、ＬＣＤ１１４に表示された複数の撮影モードから所望のモードを選択する。
【００３０】
ＳＤカード１３３は、デジタルカメラ１００の側面に設けられるカードスロット１１６に脱着自在に格納される。ユーザは、デジタルカメラ１００の外部からＳＤカード１３３にアクセスして、自由に交換することが可能である。
【００３１】
マイク１１５は、カメラの上面に設けられ、デジタルカメラ１００外部の音声をデジタル音声信号に変換してＤＳＰ１３１に送信する。
【００３２】
次に、主被写体判定処理について図３及び４を用いて説明する。
【００３３】
顔検出処理によって検出された顔が複数存在する場合、いずれの顔に対して露光値を演算すべきかを決定する必要がある。一般的に、人物の撮影を行うときには、被写体となるべき人物と撮影者とが会話を交わしながら撮影を行うものである。そこで、主被写体判定処理は、人間の音声が検出されたときに口元が動いている顔を主被写体として決定する。主被写体判定処理は、ＬＣＤ１１４にスルー画像が表示されているとき、ＤＳＰ１３１により実行される。
【００３４】
ステップＳ４０１では、顔検出処理が実行され、スルー画像に含まれる顔の位置及び大きさが検出される。
【００３５】
ステップＳ４０２では、検出された顔の数が２以上であるか否かが判断される。２以上であるとき、いずれの顔が主被写体であるかを判断するために、ステップＳ４０６以降の処理が実行される。検出された顔の数が２未満であるとき、処理はステップＳ４０３に移行する。
【００３６】
ステップＳ４０３では、顔の数が０であるか否かが判断される。顔の数が０である場合、すなわち被写体に人物が含まれない場合、処理はステップＳ４０４に移行する。顔の数が０でない場合、すなわち顔の数が１つである場合、処理はステップＳ４０５に移行する。
【００３７】
ステップＳ４０４では、被写体に人物が含まれないため、スルー画像の中央に存在する物を主被写体として設定する。
【００３８】
ステップＳ４０５では、１つだけ存在する顔を主被写体に設定する。そして、処理はステップＳ４１１に移行する。
【００３９】
ステップＳ４０６では、マイク１１５から音がＤＳＰ１３１に入力される。そして、ステップＳ４０７において、所定時間内に入力された音から人間の音声が検出されたか否かを判断する。これは、１ｋＨｚから４ｋＨｚの周波数帯の音が所定の閾値を超えているかを判断することにより実行される。人間の音声が検出されない場合、処理はステップＳ４０８に移行する。人間の音声が検出された場合、処理はステップＳ４０９に移行する。
【００４０】
ステップＳ４０８では、スルー画像において最も中央に表示される顔Ａを主被写体として設定する。そして、ステップＳ４１１に移行する。
【００４１】
ステップＳ４０９では、口元判定処理が実行される。口元判定処理は、検出された顔に含まれる口を検出し、この口が開いているか否かを判定する処理である。この判定は、ステップＳ４０７で人間の音声が検出されたと判断された瞬間の口元の画像と、その前の口元の画像とを比較することにより行われる。口元の画像の面積が大きくなった場合、口が開いたと判断する。そして、ステップＳ４１０に移行する。
【００４２】
ステップＳ４１０では、口が開いていると判定された顔Ｂを主被写体として設定する。そして、主被写体である顔Ｂの周囲に指示枠を表示する。その後、処理はステップＳ４１１に移行する。
【００４３】
ステップＳ４０６からＳ４１０の処理により、人間の音声が検出されたと判断された瞬間に口が開いている被写体を主被写体として設定することが可能になる。
【００４４】
ステップＳ４１１では、レリーズボタン１１２が半押しされたか否かが判断される。半押しされた場合、処理は終了する。半押しされない場合、処理はステップＳ４０１に戻る。
【００４５】
この後、ＤＳＰ１３１は、主被写体に対してピントを合わせ、検出された顔に重点を置いて露光値を演算し、この露光値に基づき撮影に必要となる絞り値及びシャッタスピード値を決定し、撮影を行う。そして、検出された顔に重点を置いてデジタル画像信号のホワイトバランスを調整して画像データを出力する。
【００４６】
本実施形態によれば、複数の被写体が存在する場合であっても、ユーザが意図する可能性が高い被写体を主被写体として決定することが可能となる。
【００４７】
なお、デジタルカメラ１００はＬＣＤ１１４にスルー画像を表示しなくてもよく、ファインダに指示枠を表示し、指示枠が表示されたときに主被写体判定処理が実行されてもよい。
【００４８】
なお、口元判定処理は、ステップＳ４０７で人間の音声が検出されたと判断された瞬間の口元の画像における色差情報を用いてもよい。人間が口を開くと白い歯が見えるため、口元の画像の輝度が高くなる傾向がある。この傾向を用いて、口元の画像の輝度が高くなった場合、口が開いたと判断する。
【００４９】
また、口元判定処理は、ステップＳ４０７で人間の音声が検出されたと判断された瞬間の口元の縦横比と、その前の口元の縦横比とを比較することにより行われてもよい。口元の縦横比が変化した場合、口が開いたと判断する。
【００５０】
主被写体に対して調整又は演算されるものは、ホワイトバランス、絞り値、又はシャッタスピード値のいずれか１つ、又は２つであってもよい。
【図面の簡単な説明】
【００５１】
【図１】本発明による撮像装置を有するデジタルカメラの背面斜視図である。
【図２】デジタルカメラのブロック図である。
【図３】主被写体判別処理を示すフローチャートである。
【図４】デジタルカメラの表示部を模式的に示した図である。
【符号の説明】
【００５２】
１００  デジタルカメラ
１１０  操作部材
１１１  主電源ボタン
１１２  レリーズボタン
１１３  モード設定ボタン
１１４  ＬＣＤ
１１５  マイク
１１６  カードスロット
１２０  撮像部
１２１  撮影レンズ
１２３  シャッタ
１２４  ＣＣＤ
１２５  ＡＦＥ
１２６  駆動回路
１３１  ＤＳＰ
１３２  メモリ
１３３  ＳＤカード
【図１】
2010124034.tif 000003
【図２】
2010124034.tif 000004
【図３】
2010124034.tif 000005
【図４】
2010124034.tif 000006