(57)【要約】      （修正有）【課題】撮像画像の特定の領域に対して加工処理を行う際に、表示フレームレートの低下を抑制しつつ、加工処理の結果を含むようにライブビュー画像を表示する。【解決手段】撮像装置は撮像画像を順次取得し、取得された撮像画像を順次出力する。取得された特定の画像から部分画像を取得し、部分画像を加工することにより加工画像を生成する。加工画像の生成が完了すると、特定の撮像画像よりも後に取得された撮像画像に基づく次の加工画像が生成されるように部分画像の取得及び生成を制御する。最後に生成された加工画像を、順次出力する撮像画像に重畳する。最後に生成された加工画像の生成元の撮像画像を、加工画像の生成が完了する前に出力する。【選択図】図４
2015139102.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を順次取得する撮像画像取得手段と、
前記撮像画像取得手段により取得された撮像画像を順次出力する出力手段と、
前記撮像画像取得手段により取得された特定の撮像画像から部分画像を取得する部分画像取得手段と、
前記部分画像を加工することにより加工画像を生成する生成手段と、
前記加工画像の生成が完了すると、前記特定の撮像画像よりも後に取得された撮像画像に基づく次の加工画像が生成されるように前記部分画像取得手段及び前記生成手段を制御する制御手段と、
前記生成手段により最後に生成された加工画像を前記出力手段が順次出力する撮像画像に重畳する重畳手段と、
を備え、
前記出力手段は、前記最後に生成された加工画像の生成元の撮像画像を、当該加工画像の生成が完了する前に出力する
ことを特徴とする画像処理装置。
【請求項２】
前記撮像画像取得手段により取得された撮像画像に含まれる特定の種類の画像を検出する検出手段を更に備え、
前記部分画像取得手段は、前記検出された特定の種類の画像を前記部分画像として取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定の種類の画像は、人物の顔画像であり、
前記画像処理装置は、前記検出手段により検出された顔画像に対応する人物を識別する識別手段を更に備え、
前記重畳手段は、前記識別の結果に基づき、前記最後に生成された加工画像に対応する人物が含まれない撮像画像に対しては、当該加工画像の重畳を行わない
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記検出手段により複数の顔画像が検出された場合、前記制御手段は、前記複数の顔画像のうちの１つを選択し、当該選択した顔画像に基づく加工画像が生成されるように前記部分画像取得手段及び前記生成手段を制御し、
前記重畳手段は、前記複数の顔画像に対応する各人物について、前記生成手段により最後に生成された加工画像を前記出力手段が順次出力する撮像画像に重畳する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
人物毎の優先度を定めた情報を格納したメモリを更に備え、
前記制御手段は、前記複数の顔画像に対応する各人物の優先度に基づき、優先度の高い人物に対応する顔画像ほど高い頻度で選択されるように、前記複数の顔画像のうちの１つを選択する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記重畳手段は、前記最後に生成された加工画像に対応する部分画像の取得元の位置とは異なる位置に当該加工画像を重畳する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記重畳手段は、前記最後に生成された加工画像に対応する部分画像の取得元の位置と同じ位置に当該加工画像を重畳する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項８】
請求項１乃至７のいずれか１項に記載の画像処理装置と、
前記撮像画像を生成する撮像手段と、
を備えることを特徴とする撮像装置。
【請求項９】
画像処理装置における画像処理方法であって、
前記画像処理装置の撮像画像取得手段が、撮像画像を順次取得する撮像画像取得工程と、
前記画像処理装置の出力手段が、前記撮像画像取得工程により取得された撮像画像を順次出力する出力工程と、
前記画像処理装置の部分画像取得手段が、前記撮像画像取得工程により取得された特定の撮像画像から部分画像を取得する部分画像取得工程と、
前記画像処理装置の生成手段が、前記部分画像を加工することにより加工画像を生成する生成工程と、
前記画像処理装置の制御手段が、前記加工画像の生成が完了すると、前記特定の撮像画像よりも後に取得された撮像画像に基づく次の加工画像が生成されるように前記部分画像取得工程及び前記生成工程を制御する制御工程と、
前記画像処理装置の重畳手段が、前記生成工程により最後に生成された加工画像を前記出力工程が順次出力する撮像画像に重畳する重畳工程と、
を備え、
前記出力工程では、前記最後に生成された加工画像の生成元の撮像画像を、当該加工画像の生成が完了する前に出力する
ことを特徴とする画像処理方法。
【請求項１０】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置では、撮像素子からの出力をライブビュー画像としてリアルタイムに表示部に表示させることにより、表示部を電子ファインダーとして用いる場合がある。昨今、ライブビュー画像から被写体の特定の顔器官の領域を検出し、検出した領域に対してメイクアップなどの加工処理を施して表示することにより、ユーザが加工効果をライブビュー画像表示中にプレビューできるようにする撮像装置が提案されている。
【０００３】
例えば、特許文献１に記載の撮像装置は、被写体の特定の顔器官領域に対して加工処理を行うモードを備える。この撮像装置は、顔器官領域に対して加工処理を行うモードが有効な場合、顔器官領域に対して加工処理を行わない場合よりもライブビュー画像の表示フレームレートを遅くすることで、ライブビュー画像表示中に加工効果をプレビューする機能を実現している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０２１７９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ライブビュー画像の表示により電子ファインダーを実現する場合、被写体への追従性は撮影者にとって重要な要素である。しかしながら、特許文献１に記載の撮像装置では、顔器官領域に対して加工処理を行う場合の表示フレームレートは、加工処理を行わない場合の表示フレームレートよりも、加工処理に要する時間に応じて遅くなる。そのため、加工処理の時間が長くなると、ライブビュー画像のコマ落ちが発生し、被写体への追従性が悪化するという問題があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、撮像画像の特定の領域に対して加工処理を行う際に、表示フレームレートの低下を抑制しつつ、加工処理の結果を含むようにライブビュー画像を表示する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、撮像画像を順次取得する撮像画像取得手段と、前記撮像画像取得手段により取得された撮像画像を順次出力する出力手段と、前記撮像画像取得手段により取得された特定の撮像画像から部分画像を取得する部分画像取得手段と、前記部分画像を加工することにより加工画像を生成する生成手段と、前記加工画像の生成が完了すると、前記特定の撮像画像よりも後に取得された撮像画像に基づく次の加工画像が生成されるように前記部分画像取得手段及び前記生成手段を制御する制御手段と、前記生成手段により最後に生成された加工画像を前記出力手段が順次出力する撮像画像に重畳する重畳手段と、を備え、前記出力手段は、前記最後に生成された加工画像の生成元の撮像画像を、当該加工画像の生成が完了する前に出力することを特徴とする画像処理装置を提供する。
【０００８】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【０００９】
本発明によれば、撮像画像の特定の領域に対して加工処理を行う際に、表示フレームレートの低下を抑制しつつ、加工処理の結果を含むようにライブビュー画像を表示することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係るデジタルカメラ１００の構成を示すブロック図。
【図２】顔加工処理が行われた場合に表示部１２８に表示される画面のレイアウトを示す図。
【図３】顔加工処理の内容を示す図。
【図４】デジタルカメラ１００の動作を示すタイミングチャート。
【図５】優先度と顔加工処理を行うタイミングとの関係を規定するテーブル情報を示す図。
【図６】システム制御部１５０が制御する顔加工処理のフローチャート。
【図７】顔加工処理ルーチンの処理のフローチャート。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１２】
［第１の実施形態］
画像処理装置をデジタルカメラのような撮像装置に適用した実施形態について説明する。図１は、第１の実施形態に係るデジタルカメラ１００の構成を示すブロック図である。図１において、細い実線はブロック間の結線を示している。太い矢印はメモリ１３２と各ブロックとの間のデータの入出力の方向を示しており、この入出力はメモリ制御部１１５により制御される。細い矢印は、メモリ制御部１１５を介さないデータの入出力の方向を示している。
【００１３】
１０１は、絞り機能を備えるシャッターであり、１０２は、バリアであり、１０３は、フォーカスレンズを含む撮影レンズである。バリア１０２は、撮影レンズ１０３を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部１２２を含む撮像系の汚れや破損を防止する。
【００１４】
１２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。１２３はＡ／Ｄ変換器であり、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器１２３は、撮像部１２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。
【００１５】
１２４は画像処理部であり、メモリ制御部１１５からのデータに対し所定の画素補間、縮小などのリサイズ処理、トリミング処理、色変換処理、合成処理などを行う。また、画像処理部１２４は、Ａ／Ｄ変換器１２３において変換されたデジタル信号（撮像画像）を順次取得する撮像画像取得処理を行い、これに対して現像処理を行い、表示部１２８上に表示する画像データを出力する。以降、この画像データをフレーミング画像と呼ぶ。
【００１６】
１１５は、メモリ１３２へのデータの入出力を制御するメモリ制御部である。１３２は、画像データを格納するメモリである。メモリ１３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。メモリ１３２に対するデータの入出力は、メモリ制御部１１５を介して行われる。
【００１７】
１１３はＤ／Ａ変換器であり、メモリ１３２に格納されている画像表示用のデータをアナログ信号に変換して表示部１２８に供給する。１２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１１３より供給されたアナログ信号に応じた表示を行う表示部である。
【００１８】
１５６は、電気的に消去・記録可能な不揮発性メモリであり、フラッシュロム等が用いられる。不揮発性メモリ１５６には、システム制御部１５０の動作用の定数、プログラム等が記憶される。ここでいうプログラムには、本実施形態にて後述する各種フローチャートを実行するためのプログラムが含まれる。
【００１９】
１５０はシステム制御部であり、デジタルカメラ１００全体を制御する。システム制御部１５０は、前述した不揮発性メモリ１５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。
【００２０】
１５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ１５２には、システム制御部１５０の動作用の定数、変数、不揮発性メモリ１５６から読み出したプログラム等が展開される。
【００２１】
モード切替スイッチ１６０、シャッターボタン１６１、第１シャッタースイッチ１６２、第２シャッタースイッチ１６３、及び操作部１７０は、システム制御部１５０に各種の動作指示を入力するための操作部材である。モード切替スイッチ１６０は、システム制御部１５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。
【００２２】
第１シャッタースイッチ１６２は、デジタルカメラ１００に設けられたシャッターボタン１６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり、第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部１５０は、シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
【００２３】
第２シャッタースイッチ１６３は、シャッターボタン１６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部１５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部１２２からの信号読み出しから記録媒体１０４に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００２４】
操作部１７０の各操作部材は、表示部１２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１２８に表示される。ユーザは、表示部１２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２５】
１８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１８０は、その検出結果及びシステム制御部１５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１０４を含む各部へ供給する。
【００２６】
１３０は電源部であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。１１８は、記録媒体１０４とのインターフェースである。記録媒体１０４は、メモリカードやハードディスク等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。１７２は電源スイッチであり、電源オン、電源オフを切り替える。
【００２７】
１９０は顔検出部であり、画像処理部１２４が出力したフレーミング画像に含まれる被写体の顔の数、位置、及び大きさを検出する。以降、顔の位置及び大きさを顔情報、被写体の顔部分の領域を示す画像を顔画像と呼ぶ。なお、本実施形態においては、加工処理の対象は顔画像であるものとするが、これに限定されず、フレーミング画像に含まれる部分画像であれば、任意の種類の画像を加工処理の対象とすることができる。
【００２８】
１９１は顔認証部であり、不揮発性メモリ１５６に記憶された認証画像と顔検出部１９０で検出された被写体の顔画像のパターンマッチングを行い、被写体を一意に識別する。
【００２９】
１９２は顔器官検出部であり、顔検出部１９０で検出された被写体の顔画像から、目、口等の顔器官のエッジを検出して被写体の顔器官情報を検出する。以降、顔器官の位置、大きさ、顔器官が目の場合は更に黒目の位置や大きさや開閉度といった、顔器官特有の検出情報によって構成される情報を顔器官情報と呼ぶ。
【００３０】
１９３は顔加工部であり、被写体の顔器官に対して色変換などの画像処理を行い、アイラインやルージュといったメイクアップ効果を顔画像に追加する。以降、この画像処理を顔加工処理、顔加工処理が行われた顔画像を顔加工画像と呼ぶ。
【００３１】
なお、図１に示して説明したデジタルカメラ１００の構成は一例であり、以下に説明する動作を実行できるのであれば、デジタルカメラ１００の構成は、図１に示した構成に限定されるものではない。
【００３２】
図２は、顔加工処理が行われた場合に表示部１２８に表示される画面のレイアウトを示す図である。２０１は人物Ａの顔加工画像を示す画面Ａ、２０２は人物Ｂの顔加工画像を示す画面Ｂである。画面Ａ及び画面Ｂには、被写体の顔画像がトリミングされて配置される。２０３は、画像処理部１２４が所定のフレームレートで出力するフレーミング画像を示す画面Ｃである。図２の例では、画面Ｃには、人物Ａ及び人物Ｂの２名の被写体が写っている。
【００３３】
図３は、顔加工処理の内容を示す図である。不揮発性メモリ１５６には、顔加工処理の内容が被写体毎に予め登録されている。３０１は個人情報を示し、被写体を一意に特定する。３０２は優先度を示し、顔加工処理の対象の被写体が、優先度に応じて決定される。数値の小さい被写体ほど優先度は高い。３０３は顔加工内容を示し、被写体毎に、顔加工処理の内容が記述されている。
【００３４】
図４は、デジタルカメラ１００の動作を示すタイミングチャートである。４００は、画像処理部１２４が毎フレーム出力するフレーミング画像の状態を示す。フレーミング画像の出力には１フレーム分の期間を要する。
【００３５】
４０１は、顔加工部１９３が優先度１の被写体である人物Ａに対して行う顔加工処理のタイミングを示し、４０２は、顔加工部１９３が優先度２の被写体である人物Ｂに対して行う顔加工処理のタイミングを示す。本実施形態では、複数の人物がフレーミング画像に含まれる場合もあるが、顔加工部１９３が一度に顔加工処理を行うことのできる人数は１名であるものとする。また、顔加工処理には１名につき２フレーム分の期間を要するものとし、この期間はフレーミング画像の出力に要する処理時間（１フレーム分の期間）よりも長い。
【００３６】
４０３は、表示部１２８に表示される画面の状態を示す。表示部１２８の表示処理には、１フレーム分の期間を要する。被写体に対する顔加工処理が完了してメモリ１３２に顔加工画像が存在するタイミングでは、対応する被写体がフレームング画像に含まれていれば、顔加工画像が重畳表示される。
【００３７】
タイミング４０４において、顔加工処理が開始する。本実施形態では、優先度の高い人物Ａに対して顔加工処理が２回行われた後、優先度の低い人物Ｂに対して顔加工処理が１回行われる。タイミング４０４においては、まだ顔加工画像がメモリ１３２に存在しないため、顔加工画像は重畳表示されていない。タイミング４０５において、人物Ａに対する顔加工処理が完了し、顔加工画像が重畳表示される。タイミング４０６において、人物Ａに対する２回目の顔加工処理が開始する。このタイミングでは、２回目の顔加工処理に対応する顔加工画像はメモリ１３２に存在しないが、１回目の顔加工処理に対応する顔加工画像が存在するので、この顔加工画像（即ち、タイミング４０５と同じ顔加工画像）が重畳表示される。タイミング４０７において、人物Ａに対する２回目の顔加工処理が完了し、２回目の顔加工処理に対応する顔加工画像が重畳表示される。即ち、人物Ａに関して重畳表示される顔加工画像は、人物Ａに関して最後に生成された顔加工画像である。
【００３８】
タイミング４０８において、顔加工処理の対象が人物Ａから人物Ｂに遷移する。このタイミングでは、人物Ｂの顔加工画像はまだメモリ１３２に存在しないため、重畳表示されない。他方、人物Ａについては、２回目の顔加工処理に対応する顔加工画像がメモリ１３２に存在するので、この顔加工画像（即ち、タイミング４０７と同じ顔加工画像）が重畳表示される。タイミング４０９において、人物Ｂに対する顔加工処理が完了し、顔加工画像が重畳表示される。他方、人物Ａについては、フレームアウトしたため、顔加工画像は重畳表示されない。
【００３９】
図５は、優先度と顔加工処理を行うタイミングとの関係を規定するテーブル情報を示す図である。テーブル情報は、不揮発性メモリ１５６に予め登録されている。５０１は、顔加工処理を行う被写体の人数を示す。ここまでの説明では、簡略化のため、人数は２名であるものとしたが、実際には、１名であっても、３名であっても構わない。また、図示は省略するが、人数は４名以上であっても構わない。
【００４０】
５０２は、顔加工処理を行う被写体の優先度を示す。５０３は、各タイミング（タイミングフラグ＝０〜５）における顔加工処理の対象の人物を示す。テーブルにおいて、「１」が処理対象であることを示し、「０」が処理対象でないことを示す。例えば、顔加工人数が２名の場合、タイミングフラグが「０」及び「１」の場合、優先度「１」に対応する部分は「１」であり、優先度「２」に対応する部分は「０」である。また、タイミングフラグが「２」の場合、優先度「１」に対応する部分は「０」であり、優先度「２」に対応する部分は「１」である。従って、タイミングフラグが「０」及び「１」の場合は、優先度「１」の人物が処理対象であり、タイミングフラグが「２」の場合は、優先度「２」の人物が処理対象である。即ち、優先度「１」の人物を人物Ａ、優先度「２」の人物を人物Ｂとすると、図５のテーブル情報は、図４と同様、優先度の高い人物Ａに対して顔加工処理が２回行われた後、優先度の低い人物Ｂに対して顔加工処理が１回行われることを示している。タイミングフラグについては、後で図７を参照して更に詳述する。
【００４１】
なお、図５はあくまでも一例であり、優先度が高い人物ほど高い頻度で顔加工処理の対象として選択されるような制御であれば、いかなる制御を行ってもよい。
【００４２】
図６は、システム制御部１５０が制御する顔加工処理のフローチャートを示す。説明のため、顔加工人数は２名であり、優先度「１」の人物Ａと優先度「２」の人物Ｂが存在するものとする。
【００４３】
Ｓ６０１で、システム制御部１５０は、全員の表示フラグを０に初期化する。表示フラグは、顔加工画像をフレーミング画像に重畳表示するか否かを示すフラグであり、人物毎に設定される。表示フラグが「０」の場合、顔加工画像をフレーミング画像に重畳表示しないことを示し、表示フラグが「１」の場合、顔加工画像をフレーミング画像に重畳表示することを示す。
【００４４】
Ｓ６０２で、画像処理部１２４は、フレーミング画像をメモリ１３２に出力する。Ｓ６０３で、顔検出部１９０は、フレーミング画像に含まれる被写体の顔の数を検出する。Ｓ６０４で、顔認証部１９１は、不揮発性メモリ１５６に記憶された認証画像に基づき、フレーミング画像に含まれる被写体が人物Ａ及び人物Ｂであることを特定する。
【００４５】
Ｓ６０５で、システム制御部１５０は、認証状態に変化があったか否かを判断する。認証状態の変化とは、フレーム間における認証人数あるいは認証人物の変化を意味する。例えば、図４のタイミング４０４（顔加工処理開始のタイミング）では、認証状態に変化があったと判定される。また、図４のタイミング４０９では、人物Ａがフレームアウトしたため、認証状態に変化があったと判定される。認証状態に変化があった場合、処理はＳ６０６に進み、そうでない場合、処理はＳ６０８に進む。
【００４６】
Ｓ６０６で、システム制御部１５０は、フレームアウトした人物の表示フラグを０に設定する。従って、フレームアウトした人物の顔加工画像がメモリ１３２に存在しても、この顔加工画像は重畳表示されない。
【００４７】
Ｓ６０７で、システム制御部１５０は、顔加工処理ルーチンを起動（既に起動している場合、再起動）する。顔加工処理ルーチンは、１度起動すると、図６のフローチャートの処理と並行してバックグラウンドで動作し続ける。顔加工処理ルーチンの詳細は、図７を参照して後述する。なお、Ｓ６０３において検出された顔の数が０である場合、処理対象の人物が存在しないため、Ｓ６０７において、システム制御部１５０は、顔加工処理ルーチンを停止させる。
【００４８】
Ｓ６０８で、画像処理部１２４は、表示フラグが「１」の人物の顔加工画像をフレーミング画像に重畳する。詳細は図７を参照して後述するが、顔加工処理が完了して顔加工画像がメモリ１３２に格納された後に対応する人物の表示フラグが「１」に設定される。従って、表示フラグが「１」の人物の顔加工画像はメモリ１３２に存在するので、画像処理部１２４はＳ６０８において重畳処理を実行可能である。顔加工画像を重畳する位置は、図２に示すように、顔加工画像の生成元の顔画像の取得元の位置とは異なる位置である。このような位置に重畳することで、被写体の顔画像については表示フレームレートを低下させずに、顔加工画像を表示することができる。或いは、顔加工画像を重畳する位置は、顔加工画像の生成元の顔画像の取得元の位置と同じ位置であってもよい。この場合、被写体の顔画像以外の領域（例えば、肩や手足、背景など）について表示フレームレートの低下を防ぎつつ、背景の画像などが顔加工画像によって隠れることを防止できる。
【００４９】
Ｓ６０９で、システム制御部１５０は、フレーミング画像を表示部１２８に出力する。これにより、必要に応じて顔加工画像が重畳されたフレーミング画像が、表示部１２８に対して順次出力され、ライブビュー表示される。
【００５０】
Ｓ６１０で、システム制御部１５０は、ユーザから顔加工処理の終了指示を受け付けたか否かを判定する。終了指示を受け付けていない場合、処理はＳ６０２に戻り、同様の処理が繰り返される。終了指示を受け付けた場合、本フローチャートの処理は終了する。
【００５１】
図７は、顔加工処理ルーチンの処理のフローチャートを示す。Ｓ７０１で、システム制御部１５０は、タイミングフラグを０に初期化する。また、システム制御部１５０は、図６のＳ６０３において検出した顔の数に基づき、タイミング数を決定する。タイミング数は、図５のテーブル情報において有効なタイミングフラグの数に対応する。例えば、顔の数が２の場合、タイミングフラグ「０」「１」「２」が使用されるため、タイミング数は３である。
【００５２】
Ｓ７０２で、システム制御部１５０は、タイミングフラグに基づいて顔加工処理の対象の人物を決定する。図５を参照して説明した通り、例えば、タイミングフラグが０の場合、優先度「１」の人物Ａが顔加工処理の対象となる。
【００５３】
Ｓ７０３で、顔器官検出部１９２は、Ｓ７０２において決定された人物の目、唇、あご等の顔器官を検出する。また、画像処理部１２４は、Ｓ７０２において決定された人物の顔画像をフレーミング画像から切り出す、部分画像取得処理を行う。
【００５４】
Ｓ７０４で、顔加工部１９３は、Ｓ７０３において切り出された顔画像に対して顔加工処理を行う。顔加工処理は、Ｓ７０３において検出された顔器官に対して行われ、その内容は、例えば図３に示されるようなものである。人物Ａの場合、目に対しブルーのカラーコンタクト効果、唇に対しレッドのルージュ効果、あごに対し弱のライン補正が行われる。なお、本実施形態では目、唇、あごの顔器官に対して顔加工処理を行うものとしたが、その他の顔器官に対して顔加工処理を行ってもよい。また、顔加工処理の内容も特に限定しない。また、前述の通り、本実施形態では、顔加工処理には１名につき２フレーム分の期間を要する。顔加工処理が完了すると、顔加工部１９３は顔加工画像をメモリ１３２に格納する。
【００５５】
Ｓ７０５で、システム制御部１５０は、顔加工処理の対象の人物の表示フラグを１に設定する。この処理により、この人物の顔加工画像が、図６のＳ６０８においてフレーミング画像に重畳されるようになる。
【００５６】
Ｓ７０６で、システム制御部１５０は、タイミングフラグに１を加算する。Ｓ７０７で、システム制御部１５０は、
（タイミングフラグ）＝（タイミングフラグ）  ｍｏｄ  （タイミング数）
の演算を行う。Ｓ７０６及びＳ７０７の処理により、例えば顔の数が２の場合、タイミングフラグは０，１，２，０，１，２，．．．のように周期的な値を取るようになる。その後、処理はＳ７０２に戻り、同様の処理が繰り返される。即ち、１回の顔加工画像の生成が完了すると、この顔加工画像に対応するフレーミング画像よりも後に取得されたフレーミング画像に基づき、次の顔加工画像が生成される。
【００５７】
＜第１の実施形態のまとめ＞
以上説明したように、第１の実施形態によれば、デジタルカメラ１００は、フレーミング画像をライブビュー表示している間に顔加工処理を並行して行い、顔加工画像が生成されると、これをライブビュー表示に重畳する。
【００５８】
これにより、撮像画像の特定の領域に対して加工処理を行う際に、表示フレームレートの低下を抑制しつつ、加工処理の結果を含むようにライブビュー画像を表示することが可能となる。
【００５９】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015139102.tif 000003
【図２】
2015139102.tif 000004
【図３】
2015139102.tif 000005
【図４】
2015139102.tif 000006
【図５】
2015139102.tif 000007
【図６】
2015139102.tif 000008
【図７】
2015139102.tif 000009