(57)【要約】  【課題】  笑顔を検出して撮影を行う際に、笑顔が速く変化しても笑った瞬間を撮り逃がさない。  【解決手段】  笑顔の変化する速さが速い時は、撮影前のＡＥやＡＦを行わない。【選択図】  図５
2012124556.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を電気信号に変換する光電変換手段と、前記光電変換手段の出力から顔を検出する顔検出手段と、前記顔検出手段の出力から笑顔を検出する笑顔検出手段と、前記笑顔検出手段によって検出された笑顔の笑いの度合を算出する笑顔度算出手段と、前記光電変換手段によって撮影される被写体像の露出を調節する露出調節手段と、被写体像の焦点調節を行うフォーカスレンズと、前記フォーカスレンズが前記光電変換手段に結像する光学像の焦点を合わせるための焦点調節手段と、全体の動作を制御する制御手段とを有し、前記笑顔度が第１の所定値より大きい時に撮影を行う画像記録装置において、前記制御手段は、前記笑顔度算出手段の出力に基づいて、前記笑顔度の変化する速さが第２の所定値より大きい時は、撮影に先立ち、前記露出調節手段による新たな露出調節と前記焦点調節手段による新たな焦点調節を行わないことを特徴とする画像記録装置。
【請求項２】
前記露出調節手段は前記光電変換手段の出力に基づいて露出調節を行うことを特徴とする請求項１に記載の画像記録装置。
【請求項３】
前記焦点調節手段は前記光電変換手段の出力に基づいて焦点調節を行うことを特徴とする請求項１に記載の画像記録装置。
【請求項４】
前記笑顔度の変化する速さが第３の所定値より大きい時は、前記光電変換手段から電気信号を読み出す周期を変更することを特徴とする請求項１に記載の画像記録装置。
【請求項５】
前記第２の所定値は前記第３の所定値より大きいことを特徴とする請求項４に記載の画像記録装置。
【請求項６】
前記露出調節手段は前記変更した周期で読み出した前記光電変換手段の出力に基づいて露出調節を行うことを特徴とする請求項４又は請求項５に記載の画像記録装置。
【請求項７】
前記焦点調節手段は前記変更した周期で読み出した前記光電変換手段の出力に基づいて焦点調節を行うことを特徴とする請求項４又は請求項５に記載の画像記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は焦点調節機能を有する電子スチルカメラなどの画像記録装置に関するものである。
【背景技術】
【０００２】
従来から、撮影される人物の笑顔を検出して撮影のトリガにする方法が考案されている。しかし人物の笑顔持続時間は非常に短いので、笑った瞬間をとらえるには笑顔が検出されてから撮影されるまでの処理時間を短くする必要がある。
【０００３】
通常、電子スチルカメラなどでは撮影に先立ち自動露出制御（以下ＡＥと記す）やオートフォーカス制御（以下ＡＦと記す）を行うが、これらに時間がかかると被写体の笑顔を撮り逃してしまう。
【０００４】
そのため、このような問題の対策が考案されている。特許文献１は、シャッターボタンの半押しに応じてＡＥ／ＡＦを行った後、絞り／フォーカスを固定し、シャッターボタンの深押しに応じて笑顔検出を行い、笑顔が検出されると撮影を行うというものである。つまり笑顔検出後にはＡＥ／ＡＦを行わずに素早く撮影する意図である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２３９９３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の方法はＡＥ／ＡＦした後に笑顔検出するので、ＡＥ／ＡＦした後から笑顔検出するまでの間に被写体の距離や明るさが変わった場合に正確な露出やピントが得られない。また真顔から笑顔に変わる時間もその時々で変わるものであるが、その点も考慮されていない。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明では、被写体像を電気信号に変換する光電変換手段と、前記光電変換手段の出力から顔を検出する顔検出手段と、前記顔検出手段の出力から笑顔を検出する笑顔検出手段と、前記笑顔検出手段によって検出された笑顔の笑いの度合を算出する笑顔度算出手段と、前記光電変換手段によって撮影される被写体像の露出を調節する露出調節手段と、被写体像の焦点調節を行うフォーカスレンズと、前記フォーカスレンズが前記光電変換手段に結像する光学像の焦点を合わせるための焦点調節手段と、全体の動作を制御する制御手段とを有し、前記笑顔度が所定値より大きい時に撮影を行い、前記制御手段は、前記笑顔度算出手段の出力に基づいて、前記笑顔度の変化する速さが所定値より大きい時は、撮影に先立ち、前記露出調節手段による新たな露出調節と前記焦点調節手段による新たな焦点調節を行わないように構成したものである。
【発明の効果】
【０００８】
このように構成することによって、被写体の笑顔変化が速い場合には笑顔検出前のＡＥ／ＡＦの結果を用いて撮影するので笑顔を撮り逃がすことはない。また被写体の笑顔変化が遅い場合は笑顔検出後にＡＥ／ＡＦを行うので正確なピントや露出が得られる。
【図面の簡単な説明】
【０００９】
【図１】は本発明における実施の形態を示す電子カメラのブロック図である。
【図２】は本発明における実施の形態を示す電子カメラの基本的な動作を示すフローチャートである。
【図３】は笑顔変化の速さの算出を説明する図である。
【図４】はフレームレートの変更を説明する図である。
【図５】は図２における本撮影前処理を説明するフローチャートである。
【図６】は図５における本撮影前ＡＥを説明するフローチャートである。
【図７】は図５における本撮影前ＡＦを説明するフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本発明の一実施形態を説明する。図１は本発明を適用した電子カメラのブロック図である。１０１は後述する撮像素子上に焦点を合わせるためのフォーカスレンズである。１０２はフォーカスレンズ１０１を動かすフォーカスレンズ駆動モータである。１０３は後述する撮像素子へ入射する光量を制限する絞りである。１０４は絞り１０３を動かす絞り駆動モータである。１０５は被写体からの反射光を電気信号に変換する撮像素子である。１０６は撮像素子１０５から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。１０７はＡ／Ｄ変換器１０６から入力された画像データに所定の処理を施す画像処理プロセッサである。１０８は画像処理プロセッサ１０７で処理された画像データを一時的に記憶するバッファメモリである。１０９は撮影シーケンスなどシステムを制御するためのマイクロコントローラ（以下ＣＰＵと呼ぶ）である。１１０はＣＰＵ１０９で実行されるプログラムが記憶されているプログラムメモリである。１１１はＣＰＵ１０９がプログラムメモリ１１０に記憶されているプログラムに従って処理を行う際に必要な各種データを書き込み及び読み出しするワークメモリである。１１２は画像を表示する画像表示部である。１１３はＡＥやＡＦ等の撮影準備を指示するためのスイッチ（以下ＳＷ１と呼ぶ）である。１１４は撮影準備指示スイッチ１１３の操作後、本露光及び記録動作等の撮影処理を指示するための撮影処理指示スイッチ（以下ＳＷ２と呼ぶ）である。１１５は画像処理プロセッサ１０７で処理された画像データから人物の顔を検出する顔検出部である。１１６は顔検出部１１５で検出された顔データの笑顔度を算出する笑顔演算部である。１１７は時刻を計測する計時カウンタである。
【００１１】
次に図２のフローチャートを使って本発明の電子カメラについて説明する。なお以下の説明において記憶や判定などの処理は、特に説明しない場合はプログラムメモリ１１０に記憶されたプログラムに基づいてＣＰＵ１０９が行うものとする。また演算結果や各種処理データを記憶する場合、特に説明しない場合はワークメモリ１１１に記憶するものとする。
【００１２】
まずＳ２０１では顔検出部１１５を使って、撮像素子１０５から読み出した画像データから顔を検出し、さらに笑顔演算部１１６を使って、検出された顔の笑顔度を算出する。この笑顔度とは、被写体である人物の笑顔の程度を表すものであり、顔検出部１１５で検出した顔画像の口角や目などの特徴量に基づいて算出する。被写体がより大きく笑っているときほど、この笑顔度が大きくなるものとする。Ｓ２０２ではＳ２０１で算出した笑顔度を記憶する。Ｓ２０３では計時カウンタ１１７から現在の時刻を読み出して記憶する。このときの時刻はＳ２０２で記憶した笑顔度と対応付けて記憶される。Ｓ２０４ではＳ２０２で記憶した笑顔度と、Ｓ２０３で記憶した時刻（Ｓ２０２で記憶した笑顔度に対応した時刻）から、笑顔の変化の速さ（以下、笑顔変化速さと記す）を算出して記憶する。
【００１３】
Ｓ２０５ではＳ２０４で算出した笑顔変化速さが所定値１より大きいか否か判定し、大きければＳ２０６へ、そうでなければＳ２０７へ進む。Ｓ２０６ではＳ２０４で算出した笑顔変化速さに応じて、撮像素子１０５に蓄積された電荷の読み出し周期（以下、フレームレートと記す）を変更する。
【００１４】
Ｓ２０７ではＳ２０２で記憶した笑顔度が所定値よりも大きいか否か判定し、大きければＳ２１２へ、そうでなければＳ２０８へ進む。Ｓ２０８では絞り１０３やシャッタースピードを制御して画像表示部１１２に表示される画像の明るさが適正になるようＡＥを行う。Ｓ２０９では光源の色温度によらず画像表示部１１２に表示される画像が適切な色バランスになるようオートホワイトバランス（ＡＷＢ）処理を行う。Ｓ２１０ではフォーカスレンズ１０１を制御して画像表示部１１２に表示される画像のピントが合うようにＡＦを行う。Ｓ２１１では撮像素子１０５から読み出した画像信号に所定の処理を施して画像表示部１１２へ表示する。
【００１５】
Ｓ２１２では後述する手順に従って本撮影前の準備処理を行う。Ｓ２１３では撮像素子１０５への露光、読み出し、画像処理プロセッサ１０７による画像処理、図示しない記録媒体への記録などの撮影処理を行う。
【００１６】
図３は図２のＳ２０４における笑顔変化速さの算出方法を説明する図である。この図で横軸は時刻、縦軸は笑顔度を表している。このように時刻に対応する笑顔度を時刻の順に並べ、直線近似した時の傾きを笑顔変化速さとする。この直線近似による笑顔変化速さの算出はＳ２０１で笑顔度が算出される度に行い更新する。この更新のための笑顔変化速さの算出には、それまでに算出された笑顔度を全て用いても良いし、新しい方から数回分の笑顔度のみを用いても良い。この図３では（ａ）よりも（ｂ）の方が傾きが大きいので、（ｂ）の方が笑顔度の変化が速い。なお図３では（ａ）と（ｂ）を同じ時間軸上に示しているが、これは笑顔変化速さの違いを説明するために便宜的に示したものであって、同一人物の笑顔度が２種類出力されるものではない。また曲線近似を使って笑顔変化速さを算出しても良い。その場合はある時刻での曲線の傾きが、その時刻の笑顔変化速さとなる。
【００１７】
図４は図２のＳ２０６のフレームレート変更を説明する図である。図４の（ａ）において、図の立下りから次の立下りまでの期間が撮像素子１０５に蓄積された電荷の読み出し周期、すなわち１画面周期である。ここで、Ａのタイミングで笑顔変化速さが所定値より大きいと判定されると、次の画面、すなわちＢ以降のフレームレートがそれまでよりも短くなるように変更される。ここでＡのタイミングで判定された笑顔変化速さがより速い場合には、図４の（ｂ）のように変更後のフレームレートをより短くする。
【００１８】
このようにフレームレートを短くすることによって撮像素子１０５に蓄積された電荷、言い換えれば画像データの読み出し周期を短くすることができる。そのため撮像素子１０５から読み出された画像データを使って処理を行うＡＥやＡＦの処理時間を短くすることができる。
【００１９】
一方、フレームレートを短くするには、撮像素子１０５の制御クロックを速くして読み出し速度を速くする必要がある。そうしないと短くした１画面期間内に画像データを読み終えることができなくなる。しかし撮像素子１０５の制御クロックを速くするとその分消費電力は増大する。そのため、通常は長いフレームレートで消費電力を少なくしておき、笑顔変化速さが所定値より大きくなったときだけフレームレートを短くすることにより、無駄な消費電力の増加を防ぐ。
【００２０】
図５は図２のＳ２１２における本撮影前処理を説明するフローチャートである。まずＳ５０１では図２のＳ２０４で算出した笑顔変化速さが所定値２よりも大きいか判定し、大きければ本処理を終了し、そうでなければＳ５０２に進む。Ｓ５０２では後述する手順に従って本撮影前のＡＥを行う。Ｓ５０３では後述する手順に従って本撮影前のＡＦを行う。
【００２１】
このように、笑顔変化が速い場合には本撮影前のＡＥやＡＦを行わず、図２のＳ２０８でのＡＥやＳ２１０でのＡＦの結果がそのまま使われる。一方、笑顔変化が速くない場合には本撮影前のＡＥやＡＦを行うので、被写体の変化に応じた正確な露出やピントが得られる。
【００２２】
なおＳ５０１で説明した所定値２は図２のＳ２０５で説明した所定値１よりも大きい値に設定されているものとする。従って笑顔変化速さが所定値１より大きくなったらフレームレートを短くし、さらに所定値２より大きくなったら本撮影前のＡＥとＡＦを行わないようにする。
【００２３】
図６は図５のＳ５０２における本撮影前のＡＥを説明するフローチャートである。まずＳ６０１では撮像素子１０５に露光する。Ｓ６０２では撮像素子１０５から画像データを読み出す。これらＳ６０１とＳ６０２の処理にかかる時間は図２のＳ２０６で変更されたフレームレートに依存する。これは図４での説明のとおりである。つまりフレームレートが短ければそれだけ短い時間で処理が行われる。Ｓ６０３ではＳ６０２で読み出した画像データから被写体輝度を算出する。Ｓ６０４ではＳ６０３で算出した被写体輝度に応じて絞り１０３の絞り値を決定し、この絞り値になるように絞り１０３を制御する。Ｓ６０５ではＳ６０３で算出した被写体輝度に応じてシャッタースピードを設定する。Ｓ６０６ではＳ６０３で算出した被写体輝度に応じて画像データの輝度レベルを所定倍にするためのゲインを設定する。
【００２４】
図７は図５のＳ５０３における本撮影前のＡＦを説明するフローチャートである。以下の説明においてスキャンとはＳ７０１からＳ７０５までの処理のことを言う。まずＳ７０１ではスキャン開始位置へフォーカスレンズ１０１を移動する。ここでスキャン開始位置は合焦可能範囲の無限端とする。Ｓ７０２では撮像素子１０５に露光された後読み出されたアナログ映像信号をＡ／Ｄ変換器１０６を使ってデジタル信号に変換し、その出力から画像処理プロセッサ１０７において輝度信号の高周波成分を抽出し記憶する。Ｓ７０２における撮像素子１０５からのアナログ映像信号の読み出し処理にかかる時間は図２のＳ２０６で変更されたフレームレートに依存する。これは図４での説明のとおりである。つまりフレームレートが短ければそれだけ短い時間で処理が行われる。Ｓ７０３ではフォーカスレンズ１０１の現在位置を記憶する。フォーカスレンズ駆動モータ１０２にステッピングモータを使用する場合は、図示しない初期位置からの駆動パルス数をもってフォーカスレンズ１０１の位置とする。Ｓ７０４ではＳ７０３で記憶したフォーカスレンズ１０１の現在位置がスキャン終了位置と同じかどうか調べ、同じならＳ７０６へ、そうでなければＳ７０５へ進む。ここでスキャン終了位置は合焦可能範囲の至近端とする。Ｓ７０５ではフォーカスレンズ１０１をスキャン終了位置へ向かって所定量移動する。
【００２５】
Ｓ７０６ではＳ７０２で記憶した焦点評価値の中から最大のもの、つまり焦点評価値のピークを抽出する。Ｓ７０７ではＳ７０３で記憶したフォーカスレンズ１０１の位置の中からＳ７０６で抽出した焦点評価値のピークに対応するフォーカスレンズ１０１の位置、つまりピークのレンズ位置を抽出する。Ｓ７０８ではＳ７０７で抽出したピーク位置にフォーカスレンズ１０１を移動する。
【００２６】
このように構成することによって、被写体の笑顔変化が速い場合には本撮影に入る前のＡＥ／ＡＦの結果を用いて撮影するので笑顔を撮り逃がすことはない。また被写体の笑顔変化が速くない場合は本撮影前にＡＥ／ＡＦを行うので正確な露出やピントが得られる。
【００２７】
さらに笑顔変化が速い場合にはそれに応じてフレームレートを短くするので、撮影前のＡＥ／ＡＦに要する時間を短くできる。これによって撮影前のＡＥ／ＡＦを行う場合であっても、すばやい笑顔変化に対応できる。
【００２８】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００２９】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００３０】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００３１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００３２】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【００３３】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００３４】
１０１：フォーカスレンズ
１０２：フォーカスレンズ駆動モータ
１０３：絞り
１０４：絞り駆動モータ
１０５：撮像素子
１０６：Ａ／Ｄ変換器
１０７：画像処理プロセッサ
１０８：バッファメモリ
１０９：マイクロコントローラ（ＣＰＵ）
１１０：プログラムメモリ
１１１：ワークメモリ
１１２：画像表示部
１１３：撮影準備指示スイッチ（ＳＷ１）
１１４：撮影処理指示スイッチ（ＳＷ２）
１１５：顔検出部
１１６：笑顔演算部
１１７：計時カウンタ
【図１】
2012124556.tif 000003
【図２】
2012124556.tif 000004
【図３】
2012124556.tif 000005
【図４】
2012124556.tif 000006
【図５】
2012124556.tif 000007
【図６】
2012124556.tif 000008
【図７】
2012124556.tif 000009