(57)【要約】【課題】  被撮影者の希望する状態ではない場合、画像の選択や合成により膨大なメモリが必要となり、高画素化により高速化の妨げとなっていた問題を解消する。【解決手段】  一つまたは複数の物体を対象に行う固体撮像装置において、一つまたは複数の物体を含み画像を入力し表示出力するモニタ動作時のステップと、この入力画像に対し、その画像中に存在する抽出したい物体の領域を抽出するステップ３０１〜３０５と、この抽出された物体領域に対し物体の部位の位置情報を算出するステップと、この算出した位置情報をもとに物体を撮影する前に物体のみを高速に撮影し物体の部位の画像を入力とするステップ３０６と、その後に通常の物体を撮影し全画像を入力するステップ３０７，３０８と、全画像の物体領域に対し物体の部位の状態が撮影者の希望とする状態であるか否かを判定するステップ３０９〜３１２とを含む。【選択図】  図３
2006203421.tif 000002
【特許請求の範囲】
【請求項１】
一つまたは複数の物体を対象として画像の撮影を行う固体撮像装置を用いた画像処理方法であって、一画像の対象となる前記一つまたは複数の物体の画像のみを取り込む第１ステップと、前記第１ステップとは異なる時系列において一画像全てを取り込む第２ステップと、前記第２ステップで入力された画像中に存在する物体の部位の画像を抽出する第３ステップと、前記第３ステップで抽出された部位に対し、物体の部位の状態が撮影者の希望とする状態であるか否かを判定する第４ステップと、希望しない状態のとき、物体の画像のみを取り込んだ画像から部位単位で合成し出力する第５ステップとを含む画像処理方法。
【請求項２】
前記第１ステップは、前記一つまたは複数の物体を含む画像を入力し表示出力する動画撮影中に物体を抽出し一画像全体中の物体の位置情報を求める請求項１記載の画像処理方法。
【請求項３】
動画撮影中に求めた物体の位置情報を用いて、静止画撮影時に一つまたは複数の物体の部位のみを取り込む請求項２記載の画像処理方法。
【請求項４】
動画撮影中に求めた物体の位置情報を用いて、一つまたは複数の物体の部位のみを取り込み、その他の部分を空転送する請求項３記載の画像処理方法。
【請求項５】
撮影する画像を取り込む固体撮像素子と、前記固体撮像素子を駆動する固体撮像素子駆動部と、前記固体撮像素子駆動部の駆動タイミングにより光電変換された信号の処理を行う信号処理部と、前記信号処理部から出力されたデータに基づいて画像を表示出力する表示出力部と、前記画像を圧縮して記録するための画像信号圧縮／伸張処理部と、前記信号処理部、表示出力部および画像信号圧縮／伸張処理部を制御するＣＰＵとを備え、一つまたは複数の物体を対象とした画像の撮影を行う固体撮像装置であって、
撮影した画像中の物体や物体の部位の画像を抽出し、物体の状態が撮影者の希望とする状態であるか否かを判定する識別制御部と、前記識別制御部の判定結果が希望しない状態のとき物体画像を補正する画像補正部とを備えた固体撮像装置。
【請求項６】
画像補正部は、撮影者の希望しない状態のとき、予め物体の画像のみを取り込んだ画像から物体の部位単位で合成し最適画像として出力する請求項５記載の固体撮像装置。
【請求項７】
前記最適画像として出力するための画像合成のＯＮ／ＯＦＦのメニューと、前記メニューを撮影者が撮影時に切り替えられる操作部とを有する請求項５記載の固体撮像装置。
【請求項８】
複数ある撮影者の希望画像を撮影者が選択できる希望画像選択メニューを有する請求項５記載の固体撮像装置。
【請求項９】
前記最適画像として出力する情報は、撮影者の希望としない画像と合成で使用した物体部位画像とを記録し、再生時に物体部位画像を合成する請求項６記載の固体撮像装置。
【請求項１０】
前記最適画像として出力したとき、合成前の物体の画像と情報を記録しておき、合成後でも合成前の画像に戻すことを可能とした請求項６記載の固体撮像装置。
【請求項１１】
請求項５，６，７，８，９または１０記載の固体撮像装置を備えたカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一つまたは複数の物体を対象とした撮影を行う電子スチルカメラなどにおいて、物体の部位を処理する画像処理方法、固体撮像装置およびカメラに関する。
【背景技術】
【０００２】
例えば、電子スチルカメラなどで一人または複数の人物の顔が入った写真を撮影した場合において、顔の方向や目や口などの顔部位の一部が被撮影者の希望する状態ではない場合がある。この問題を解決するために、連続的に何枚もの本画像を撮影し、その中から最適な画像を選択や合成を行う方法や最適な画像になるまで随時顔の部位を判別する方法などがとられていた。
【特許文献１】特開２００１−６７４５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
近年のカメラは高画素化が進んでいるため、これまでの方法では連続的に本画像の撮影を行うことは何枚もの画像データを溜め込んでおくための膨大なメモリが必要となり低コスト化の妨げとなる。また高画素化により物体の部位を正確に判別可能となるが随時部位を判別するためには処理する画像データが大きいため高速に画像処理を行うことが困難で高速化の妨げとなる。
【０００４】
したがって、この発明の目的は、上記課題に鑑みてなされたもので、膨大なメモリが不要となり、高速に画像処理を行うことができる画像処理方法、固体撮像装置およびカメラを提供することである。
【課題を解決するための手段】
【０００５】
上記目的を達成するためにこの発明の請求項１記載の画像処理方法は、一つまたは複数の物体を対象として画像の撮影を行う固体撮像装置を用いた画像処理方法であって、一画像の対象となる前記一つまたは複数の物体の画像のみを取り込む第１ステップと、前記第１ステップとは異なる時系列において一画像全てを取り込む第２ステップと、前記第２ステップで入力された画像中に存在する物体の部位の画像を抽出する第３ステップと、前記第３ステップで抽出された部位に対し、物体の部位の状態が撮影者の希望とする状態であるか否かを判定する第４ステップと、希望しない状態のとき、物体の画像のみを取り込んだ画像から部位単位で合成し出力する第５ステップとを含む。
【０００６】
例えば、第１ステップでは、モニタ動作時の入力画像に対し、その画像中に存在する抽出したい物体の領域を抽出するステップと、この抽出された物体領域に対し物体の部位の位置情報を算出するステップと、この算出した位置情報をもとに物体を撮影する前に物体のみを高速に撮影し物体の部位の画像を入力とするステップとを行う。第２ステップでは、その後に通常の物体を撮影し全画像を入力するステップを行う。第３，４ステップでは、全画像の物体領域に対し物体の部位の状態が撮影者の希望とする状態であるか否かを判定するステップを行う。第５ステップでは、前記判定により物体の部位の状態が撮影者の希望とする状態でないと判定された場合、物体のみを撮影しておいた画像より補正を行い希望となる画像にして出力するステップを行う。
【０００７】
請求項２記載の画像処理方法は、請求項１記載の画像処理方法において、前記第１ステップは、前記一つまたは複数の物体を含む画像を入力し表示出力する動画撮影中に物体を抽出し一画像全体中の物体の位置情報を求める。
【０００８】
請求項３記載の画像処理方法は、請求項２記載の画像処理方法において、動画撮影中に求めた物体の位置情報を用いて、静止画撮影時に一つまたは複数の物体の部位のみを取り込む。
【０００９】
請求項４記載の画像処理方法は、請求項３記載の画像処理方法において、動画撮影中に求めた物体の位置情報を用いて、一つまたは複数の物体の部位のみを取り込み、その他の部分を空転送する。
【００１０】
請求項５記載の固体撮像装置は、撮影する画像を取り込む固体撮像素子と、前記固体撮像素子を駆動する固体撮像素子駆動部と、前記固体撮像素子駆動部の駆動タイミングにより光電変換された信号の処理を行う信号処理部と、前記信号処理部から出力されたデータに基づいて画像を表示出力する表示出力部と、前記画像を圧縮して記録するための画像信号圧縮／伸張処理部と、前記信号処理部、表示出力部および画像信号圧縮／伸張処理部を制御するＣＰＵとを備え、一つまたは複数の物体を対象とした画像の撮影を行う固体撮像装置であって、撮影した画像中の物体や物体の部位の画像を抽出し、物体の状態が撮影者の希望とする状態であるか否かを判定する識別制御部と、前記識別制御部の判定結果が希望しない状態のとき物体画像を補正する画像補正部とを備えた。
【００１１】
請求項６記載の固体撮像装置は、請求項５記載の固体撮像装置において、画像補正部は、撮影者の希望しない状態のとき、予め物体の画像のみを取り込んだ画像から部位単位で合成し最適画像として出力する。
【００１２】
請求項７記載の固体撮像装置は、請求項５記載の固体撮像装置において、前記最適画像として出力するための画像合成のＯＮ／ＯＦＦのメニューと、前記メニューを撮影者が撮影時に切り替えられる操作部とを有する。
【００１３】
請求項８記載の固体撮像装置は、請求項５記載の固体撮像装置において、複数ある撮影者の希望画像を撮影者が選択できる希望画像選択メニューを有する。
【００１４】
請求項９記載の固体撮像装置は、請求項６記載の固体撮像装置において、前記最適画像として出力する情報は、撮影者の希望としない画像と合成で使用した物体部位画像とを記録し、再生時に物体部位画像を合成する。
【００１５】
請求項１０記載の固体撮像装置は、請求項６記載の固体撮像装置において、前記最適画像として出力したとき、合成前の物体の画像と情報を記録しておき、合成後でも合成前の画像に戻すことを可能とした。
【００１６】
請求項１１記載のカメラは、請求項５，６，７，８，９または１０記載の固体撮像装置を備えた。
【発明の効果】
【００１７】
この発明の請求項１記載の画像処理方法によれば、一画像の対象となる一つまたは複数の物体の画像のみを取り込む第１ステップと、第１ステップとは異なる時系列において一画像全てを取り込む第２ステップと、第２ステップで入力された画像中に存在する物体の部位の画像を抽出する第３ステップと、第３ステップで抽出された部位に対し、物体の部位の状態が撮影者の希望とする状態であるか否かを判定する第４ステップと、希望しない状態のとき、物体の画像のみを取り込んだ画像から部位単位で合成し出力する第５ステップとを含むので、第１ステップにおいて物体の領域、物体の部位の位置情報を算出しておくことにより、補正用の画像、本画像の物体の部位の状態判定を高速に処理を行うことが実現できる。また、補正用の画像を物体の部位の画像のみ格納することにより、使用するメモリ容量も大幅に削減できコストの削減が可能になる。
【００１８】
請求項２では、第１ステップは、一つまたは複数の物体を含む画像を入力し表示出力する動画撮影中に物体を抽出し一画像全体中の物体の位置情報を求めるので、モニタ動作時に物体の領域、物体の部位の位置情報を算出しておくことができる。
【００１９】
請求項３では、動画撮影中に求めた物体の位置情報を用いて、静止画撮影時に一つまたは複数の物体の部位のみを取り込むので高速に取り込み処理ができる。
【００２０】
請求項４では、動画撮影中に求めた物体の位置情報を用いて、一つまたは複数の物体の部位のみを取り込み、その他の部分を空転送するので高速に取り込み処理ができる。
【００２１】
この発明の請求項５記載の固体撮像装置によれば、撮影した画像中の物体や物体の部位の画像を抽出し、物体の状態が撮影者の希望とする状態であるか否かを判定する識別制御部と、識別制御部の判定結果が希望しない状態のとき物体画像を補正する画像補正部とを備えたので、補正用の画像、本画像の物体の部位の状態判定を高速に処理を行うことが実現できる。
【００２２】
請求項６では、画像補正部は、撮影者の希望しない状態のとき、予め物体の画像のみを取り込んだ画像から部位単位で合成し最適画像として出力するので、補正用の画像を物体の画像のみ格納することにより、使用するメモリ容量も大幅に削減できコストの削減が可能になる。
【００２３】
請求項７では、請求項５記載の固体撮像装置において、最適画像として出力するための画像合成のＯＮ／ＯＦＦのメニューと、メニューを撮影者が撮影時に切り替えられる操作部とを有することが好ましい。補正モード時に設定されていない（画像合成がＯＦＦ）場合は通常の撮影を行うことができる。
【００２４】
請求項８では、請求項５記載の固体撮像装置において、複数ある撮影者の希望画像を撮影者が選択できる希望画像選択メニューを有することが好ましい。
【００２５】
請求項９では、請求項６記載の固体撮像装置において、前記最適画像として出力する情報は、撮影者の希望としない画像と合成で使用した物体部位画像とを記録し、再生時に物体部位画像を合成することが好ましい。
【００２６】
請求項１０では、請求項６記載の固体撮像装置において、最適画像として出力したとき、合成前の物体の画像と情報を記録しておき、合成後でも合成前の画像に戻すことを可能とすることが好ましい。
【００２７】
この発明の請求項１１記載のカメラは、請求項５，６，７，８，９または１０記載の固体撮像装置を備えているので上記の効果が得られる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の第１の実施形態を図１〜図７に基づいて説明する。図１は本発明の実施形態であり顔画像処理を含むカメラシステムの構成を示すブロック図である。
【００２９】
図１に示すように、このカメラシステムは、固体撮像素子１０１、固体撮像素子駆動部１０２、ＬＳＩ部１０３、記録メディア部１０４、外部メモリ部１０５で構成される。被写体の像は固体撮像素子１０１に結像され、固体撮像素子駆動部１０２の駆動タイミングにより光電変換されアナログ信号として出力される。アナログ信号の増幅やノイズ除去等の処理を行い、アナログ信号をデジタル信号に変換しデジタル信号をＬＳＩ部１０３に入力する。ＬＳＩ部１０３は外部メモリ１０５をワーク領域として使用し、入力されたデジタル信号を表示出力データ、記録用に圧縮したデータに変換する。ＬＳＩ部１０３はデジタル信号前処理部１０６、デジタル信号処理部１０７、画像信号圧縮／伸張処理部１０８、表示出力部１１０、ＣＰＵ１１１で構成される。デジタル信号に変換された撮像信号はデジタル信号前処理部１０６に入力されデジタル信号を補正して出力する、補正された信号はデジタル信号処理部１０７により輝度信号と色信号の映像信号を生成して出力する。画像信号圧縮／伸長処理部１０８は画像を圧縮し、画像データ記録部１０９により記録メディア部１０４に記録する。また、デジタル信号処理部１０７から出力されたデータは表示出力部１１０により画像を表示出力する。デジタル信号前処理部１０６、デジタル信号処理部１０７、画像信号圧縮／伸張処理部１０８、表示出力部１１０はＣＰＵ部１１１によって制御される。また、本実施の形態におけるカメラシステムでは、物体や物体の部位を抽出し物体の状態を判定する識別制御部１１２、物体画像を補正する画像補正部１１３、物体の期待する状態をメニューなどより決定する操作部１１４が追加される。この判別制御、画像補正および操作部は必ずしも回路を必要とせずＣＰＵによるソフトウェア制御によって実現することもできる。
【００３０】
図２、図３は図１に示した顔画像処理装置における処理全体の流れを示すものである。以下、図２、図３のフローチャートを参照して処理全体の流れを説明する。
【００３１】
この画像処理方法は、一つまたは複数の物体を対象に行う固体撮像装置において、一つまたは複数の物体を含み画像を入力し表示出力するモニタ動作時のステップと、入力画像に対し、その画像中に存在する抽出したい物体の領域を抽出するステップ３０１〜３０５と、この抽出された物体領域に対し物体の部位の位置情報を算出するステップと、この算出した位置情報をもとに物体を撮影する前に物体のみを高速に撮影し物体の部位の画像を入力とするステップ３０６と、その後に通常の物体を撮影し全画像を入力するステップ３０７，３０８と、全画像の物体領域に対し物体の部位の状態が撮影者の希望とする状態であるか否かを判定するステップ３０９〜３１２と、前記判定により物体の部位の状態が撮影者の希望とする状態でないと判定された場合、物体のみを撮影しておいた画像より補正を行い希望となる画像にして出力するステップ３１３，３１４とを含む。以下、フローチャートについて説明する。
【００３２】
図２は撮影する前に間引かれた画像を入力し表示出力するモニタ動作時のフローチャートである。まずステップ２０１において固体撮像素子１０１より取り込まれた画像信号をデジタル信号前処理部１０６、デジタル信号処理部１０７を通って画像を入力し、ステップ２０２で入力画像を外部メモリ１０５に蓄積し、ステップ２０３で入力画像を識別制御部１１２で色や形状により物体を抽出し、物体画像からステップ２０４で色や形状や位置関係より物体の部位を抽出し、抽出した部位の情報をステップ２０５で物体、物体の部位の位置情報を記録する。これらの一連の処理をシャッターが押されるまで繰り返し、物体、物体の部位の位置情報を常に更新する。
【００３３】
図３はシャッターが押され全画像の撮影を行うときのフローチャートである。まずステップ３０１でモニタ動作時の物体、物体の部位の位置情報を読み出し、物体とその近傍領域の画像のみを入力できるように固体撮像素子駆動部１０２を調整し、ステップ３０２において固体撮像素子１０１より取り込まれた画像信号をデジタル信号前処理部１０６、デジタル信号処理部１０７を通って物体の周辺の画像を入力し、ステップ３０３で入力画像を外部メモリ１０５に蓄積し、ステップ３０４で入力画像を識別制御部１１２で物体を抽出し、物体画像からステップ３０５で物体の部位を抽出し、抽出した部位の情報をステップ３０６で物体の画像と位置情報を記録する。
【００３４】
以下からの処理は全画像の撮影を行うステップ３０７で固体撮像素子駆動部１０２は全画像を取り込むように調整をし、固体撮像素子１０１からデジタル信号処理部１０７までを通って全画像を入力し、ステップ３０８で入力画像を外部メモリ１０５に蓄積し、ステップ３０９で前に記録した物体、物体の部位の位置情報を読み出し、その位置の周辺からステップ３１０で物体を抽出し、ステップ３１１で物体の部位を抽出し、ステップ３１２で物体の部位の状態が希望の状態であるか判別を識別制御部１１２で行う。もし、希望した状態であればステップ３１４で撮影した画像が最適な画像になるため、この画像を出力する。希望しない状態であれば、前に記録した物体の部位の画像を合成し、合成した画像をステップ３１４で最適な画像とし出力する。
【００３５】
以下、各ステップの処理について詳細を説明する。
【００３６】
まずモニタ動作時のステップ２０１の画像入力処理について説明する。一つまたは複数の物体が写るように設置された、動画像入力用のカメラおよび静止画入力用の電子スチルカメラなどを利用して物体を含む画像を入力する。入力画像の階調やサイズは特に限定せず、カメラの入力階調、入力サイズに従うこととする。
【００３７】
次にステップ２０２の入力画像蓄積処理について説明する。カメラから取り込まれた被撮影者の物体画像を含む画像はそのままメモリ領域に記録する。
【００３８】
次にステップ２０３の物体領域抽出処理とステップ２０４の物体の部位を抽出処理について説明する。物体領域抽出の手法や物体の部位の抽出方法はこれまでいくつのも方式が提案されている。本発明の実施形態では、どのような検出方法をとってもよい。
【００３９】
次にステップ２０５の物体領域、物体の部位の位置情報の記録と更新について説明する。ステップ２０３，２０４で検出した物体領域と物体の部位の位置の情報を記録しておく。次に入力される画像の物体画像抽出のときにこの情報を用いることにより容易に物体領域抽出、物体の部位の抽出が可能となる。
【００４０】
次にシャッターが押され全画像の撮影を行うときのステップ３０１の物体領域、物体の部位の位置情報の読み出し、ステップ３０２の物体画像入力処理について説明する。モニタ動作時のステップ２０５の物体領域、物体の部位の位置情報を読み出し、その情報をもとに物体領域のみを高速に撮影し入力画像とする。
【００４１】
次にステップ３０３の入力画像蓄積処理について説明する。ステップ３０２で取り込まれた物体の画像をメモリ領域に格納する。
【００４２】
次にステップ３０４の物体領域抽出処理と、ステップ３０５物体の部位を抽出処理について説明する。ステップ２０３，２０４と同様にいくつかの物体の部位の抽出処理の方式の一つを用いて処理を行う。
【００４３】
次にステップ３０６の物体の部位画像と位置情報の記録について説明する。ステップ２０４で抽出した物体の部位の画像と位置情報をメモリ領域に格納する。
【００４４】
次にステップ３０７の本画像の入力について説明する。物体が写るように設置された、動画像入力用のカメラおよび静止画入力用の電子スチルカメラなどを利用して物体を含む画像を入力する。入力画像の階調やサイズは特に限定せず、カメラの入力階調、入力サイズに従うこととする。
【００４５】
次にステップ３０８の入力画像蓄積処理について説明する。カメラから取り込まれた物体画像を含む画像はそのままメモリ領域に格納する。
【００４６】
次にステップ３０９の物体領域、物体の部位の位置情報の読み出しについて説明する。モニタ動作時のステップ２０５の物体領域、物体の部位の位置情報を読み出し物体領域の抽出を容易にする。
【００４７】
次にステップ３１０の物体領域抽出処理と、ステップ３１１物体の部位を抽出処理について説明する。ステップ３０９の物体の位置情報をもとに、いくつかの物体の部位の抽出処理の方式の一つを用いて処理を行う。
【００４８】
次にステップ３１２の物体の状態識別処理について説明する。撮影した物体の部位の状態が撮影者が希望とする物体の部位の状態であるか判別を行う。希望する状態であれば最適画像として出力する。
【００４９】
希望する状態でなければステップ３１３の補正処理で物体の部位画像をステップ３０６で記録した物体の部位画像を使って補正し、補正した画像を最適画像として出力する。
【００５０】
次に高速に取り込む手段について説明する。ＣＣＤの場合、全画像をＮフィールド(Ｎ＝１，２，３，・・・)取り込みとし、Ｎ＝１の場合について図４に示す。図４（ａ）は、これまでの撮像手法では物体画像抽出用画像取り込みのために全画像を取り込み、その後に本画像を取り込む。しかし図４（ｂ）のように本発明の実施形態の撮像手法としてモニタ時に検出した物体の領域と位置情報により、物体を含むラインのみを取り込みその他のラインを空転送することで高速に取り込み処理を可能とする。
【００５１】
またＮ＝２の場合について図５に示す。露光後にモニタ時に検出した物体の領域と位置情報により、物体を含むラインのみを取り込みその他のラインを空転送すること高速に取り込み処理を可能とする。
【００５２】
Ｎ≧２の場合について図６に示す。露光後にモニタ時に検出した物体の領域と位置情報により、物体を含むラインのみをＮフィールド分取り込みその他のラインを空転送すること高速に取り込み処理を可能とする。
【００５３】
またＣＭＯＳセンサなどの場合、顔の領域とその周辺のアドレスのみ取り込みを行うことで高速に処理ができる。取り込み時の露光時間は特に限定しない。
【００５４】
図７は記録メディア部へ記録する際の記録形態を示した図である。図７（ａ）に示すように通常は、記録するデータは圧縮ヘッダーデータと本画像圧縮データ、サムネイル画像圧縮データなどで構成される。これに物体の部位および位置データを圧縮して記録する。物体の部位および位置データを圧縮し追加したデータフォーマットを図７（ｂ）に示す。物体の部位および位置データを圧縮データは図７（ｂ）に示すようにサムネイル圧縮データ後に記録するとは限定しない。物体の部位および位置データを圧縮データは、図７（ｃ）に示すように圧縮ヘッダー後やサムネイル圧縮データ後や本画像圧縮データ後または、圧縮ヘッダーやサムネイル圧縮データや本画像圧縮データ内に埋め込んで記録してもよい。
再生時には、記録フォーマット内から物体の部位および位置データを圧縮データを読み出し、本画像の圧縮データの伸張画像に対して物体の部位および位置データを圧縮データを伸張し、伸張した物体の部位および位置データを画像補正部１１３によって画像を補正することを可能にする。記録フォーマット内より物体の部位および位置データを圧縮したデータを見つけ出し、物体の部位および位置データを圧縮したデータを伸張し、伸張した物体の部位および位置データをもとに画像を補正する機能と同様な処理をするアプリケーションを作成することで、記録メディアから記録データを読み出しＰＣで物体の状態を補正することが可能である。
【００５５】
記録メディアへ物体の部位を記録するか、また物体の部位を補正を行うかはカメラのメニューに設けることで通常のカメラ撮影も行うことを可能とする。
【００５６】
本発明の第２の実施形態を図８および図９に基づいて説明する。なお、カメラシステムの構成を示すブロック図は図１と同様である。
【００５７】
本発明の第２の実施形態として、カメラで人物を撮影時、フラッシュや赤目防止などを使用すること測光値のずれによりまばたきをしてしまい撮影した画像は目が閉じているか半開きの状態である場合の目つぶり補正処理を行う場合を図８、図９のフローチャートを参照して説明する。この場合、目つぶり補正機能をモード設定やメニューでＯＮ／ＯＦＦの設定切り替えの機構を設け、目つぶり補正モード時に設定されていない場合は通常の撮影を行う。
【００５８】
図８は、一人または複数の被撮影者の顔画像を含む画像をシャッターが押されるまで連続的に取り込み表示出力を行う動作中に処理するフローチャートである。
【００５９】
ステップ８０１の画像入力処理は、固体撮像素子１０１から取り込まれた一人または複数の被撮影者の顔画像を含む画像を入力する。
【００６０】
ステップ８０２の入力画像蓄積処理では、色信号処理部１０７から出力された画像を外部メモリ１０５に記録する。
【００６１】
ステップ８０３の顔領域抽出処理は、外部メモリに記録した画像から顔領域を抽出する処理を行う。顔領域抽出を行う方法はいくつかあるが、ここではエッジ検出による顔領域抽出を用いて説明する。まず顔要素の候補となる顔特徴を抽出するために入力画像の色情報を用いて肌色領域を抽出し、アスペクト比と面積などが顔領域の条件を満たす領域を抽出し、これを顔の探索領域とする。探索領域を二値化しエッジを検出し、たとえば水平に細長いか楕円のような形状をしており色が赤い、もしくは輝度値が肌色領域の輝度値よりも暗い領域を顔特徴として抽出し、この顔特徴から顔要素らしさの計算し、顔領域を抽出する。
【００６２】
ステップ８０４の目の抽出処理は、前工程の顔特徴から目の領域を抽出する。全工程の顔領域を抽出と目の抽出処理は前記特許文献１に詳細は記載されている。
【００６３】
ステップ８０５の顔領域、目の位置情報の記録と更新は、前工程ステップ８０３、ステップ８０４で抽出した顔領域および目の位置情報を記録する。
【００６４】
シャッターが押されるまでステップ８０１からステップ８０５までの処理を繰り返し行い常時顔領域と目の位置情報を更新する。
【００６５】
図９は、一人または複数の被撮影者の顔画像を含む画像を撮影するときのシャッターが押され、画像を取り込むときの一連のフローチャートである。
【００６６】
ステップ９０１の顔領域、目の位置情報読み出し処理は、図８のステップ８０５のフローチャート内の顔領域、目の位置情報の更新と記録の処理の情報を読み出し、シャッターが押される直前の顔領域と目の位置の情報を読み出す。
【００６７】
ステップ９０２の顔画像入力処理では、ステップ９０１の顔領域と目の位置情報をもとに固体撮像素子駆動部１０２を目と目の周辺のみの信号を固体撮像素子１０１が取り込むように制御し、顔の画像のみをたとえば顔の領域のラインのみ取り込み処理を行い、その他のラインを空転送する方法や、ＭＯＳセンサなどの場合、顔の領域とその周辺のアドレスのみ取り込みを行うことで高速に処理ができる。
【００６８】
入力画像とする、ステップ９０３の入力画像蓄積処理では、色信号処理部１０７から出力された目と目の周辺の画像を外部メモリ１０５に記録する。
【００６９】
ステップ９０４の顔画像抽出とステップ９０５の目の抽出処理ではステップ８０３で記録した目と目の周辺の画像から目・眉毛などの顔の部位の画像と顔のサイズや目の位置などをステップ８０３、ステップ８０４と同じ処理で抽出する。
【００７０】
ステップ９０６の目の部位画像、位置情報記録処理は、ステップ９０４、ステップ９０５で抽出した目と目の周辺の画像と目の位置、顔のサイズなどの情報を外部メモリ１０５に記録する。
【００７１】
ステップ９０７の本画像入力処理は、固体撮像素子１０１から取り込まれた一人または複数の被撮影者の顔画像を含む画像を入力する。
【００７２】
ステップ９０８の入力画像蓄積処理では、色信号処理部１０７から出力された画像を外部メモリ１０５に記録する。
【００７３】
ステップ９０９の顔領域、目の位置情報の読み出し処理は、図８のステップ８０５のフローチャート内の顔領域、目の位置情報の更新と記録の処理の情報を読み出す。この情報をもとにすることで、ステップ９１０の顔画像抽出処理、ステップ９１１の目の抽出処理の時間を短くする。
【００７４】
ステップ９１２の顔状態判別処理では、目をつぶっているか判別を行う。目の情報から瞳の状態を検出し、もし瞳が検出できないまたはモニタ動作時の瞳の大きさと比較して瞳領域が狭い場合を目つぶり状態と判定する。
【００７５】
もし、ステップ９１２の顔状態判別処理で、目つぶりでなければステップ９１４の最適画像出力処理で画像を識別制御部１１２から外部メモリ１０５へ出力する。
【００７６】
ステップ９１２の顔状態判別処理で、目つぶり状態ならば画像を識別制御部１１２から画像補正部１１３へ出力し、画像補正部１１３でステップ９１３顔画像補正処理を行う。
ステップ９１３の顔画像補正処理では、できるだけ被撮影者が動かないことが前提であるが、動いてしまったりした場合は、目と目の周辺画像領域に沿ってアンチエイリアス処理を行うことにより、不自然な合成画像でなくなるように処理を行う。合成した画像は画像補正部１１３から外部メモリ１０５、表示出力部１１０へ出力を行う。
【産業上の利用可能性】
【００７７】
本発明にかかる画像処理方法、固体撮像装置およびカメラは、モニタ動作時に物体の領域、物体の部位の位置情報を算出しておくことにより、補正用の画像、本画像の物体のみを高速取り込み処理を行うことが実現できる。また、補正用の画像を物体の部位の画像のみにすることにより、使用するメモリ容量も大幅に削減できコストの削減が可能になる。
【図面の簡単な説明】
【００７８】
【図１】本発明の実施形態の物体合成処理装置を搭載したシステムの構成図である。
【図２】本発明の第１の実施形態におけるモニタ処理シーケンスを示すフローチャートである。
【図３】本発明の第１の実施形態における物体撮影処理シーケンスを示すフローチャートである。
【図４】１フィールドＣＣＤ取り込みを示し、（ａ）は従来例、（ｂ）は本発明の実施形態の説明図である。
【図５】２フィールドＣＣＤ取り込みを示し、（ａ）は従来例、（ｂ）は本発明の実施形態の説明図である。
【図６】ＮフィールドＣＣＤ取り込みを示し、（ａ）は従来例、（ｂ）は本発明の実施形態の説明図である。
【図７】メディア記録データ構成を示し、（ａ）は従来例、（ｂ）（ｃ）は本発明の実施形態の説明図である。
【図８】本発明の第２の実施形態における目つぶり修正モニタ処理シーケンスを示すフローチャートである。
【図９】本発明の第２の実施形態における目つぶり修正撮影処理シーケンスを示すフローチャートである。
【符号の説明】
【００７９】
１０１  固体撮像素子
１０２  固体撮像素子駆動部
１０３  ＬＳＩ
１０４  記録メディア部
１０５  外部メモリ部
１０６  前処理部
１０７  色信号処理部
１０８  画像信号圧縮/伸張部
１０９  画像データ記録部
１１０  表示出力部
１１１  ＣＰＵ
１１２  識別制御部
１１３  画像補正部
１１４  操作部
【図１】
2006203421.tif 000003
【図２】
2006203421.tif 000004
【図３】
2006203421.tif 000005
【図４】
2006203421.tif 000006
【図５】
2006203421.tif 000007
【図６】
2006203421.tif 000008
【図７】
2006203421.tif 000009
【図８】
2006203421.tif 000010
【図９】
2006203421.tif 000011