(57)【特許請求の範囲】
【請求項１】
撮像素子から出力され且つ色配列の周期性を有する複数色の画素からなる原画像から、少なくとも静止画像及び動画像の一方を生成して記録する撮像装置で用いる画像処理装置あって、
前記撮像素子からの原画像に対して複数の縮小画像の生成処理を行う前処理部と、
メモリー制御部を介して、前記前処理部で生成処理された複数の縮小画像を一時的に保持するメモリー部と、
前記メモリー部から読み出した何れか１つの縮小画像について、前記メモリー制御部を介して顔情報を検出する顔情報検出部と、
前記顔情報検出部で検出された顔情報に基づいて、特定エリアのフォーカス制御及び露出制御の少なくとも一方を行う中央演算処理部とを有し、
前記前処理部は、
前記撮像素子からの原画像を入力ライン方向に任意サイズの画像に縮小して前記メモリー部に一時的に格納する第１の水平縮小リサイズ処理部と、
前記第１の水平縮小リサイズ処理部で入力ライン方向に縮小された縮小画像を前記メモリー部から読み出し、この読み出した縮小画像を入力ライン方向と直交する垂直方向に任意サイズに縮小する複数の垂直縮小リサイズ処理部と、
前記垂直縮小リサイズ処理部で得られた水平方向及び垂直方向に縮小リサイズ処理された複数の縮小画像を、再度入力ライン方向に任意のサイズに縮小する複数の第２の水平縮小リサイズ処理部とを有する
ことを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記前処理部がｎ（ｎは４以上の整数）種類の縮小画像を生成するに際して、
前記第１の水平縮小リサイズ処理部は、生成する複数の縮小画像のうち水平画像サイズが一番大きい縮小画像の水平縮小サイズに比率Ｋ１で縮小し、
前記複数の垂直縮小リサイズ処理部のうち１つは、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に前記比率Ｋ１で縮小し、
他の１つの垂直縮小リサイズ処理部は、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に比率Ｋ２で縮小し、
更に他の１つの垂直縮小リサイズ処理部は、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に比率Ｋ３で縮小し、
更に残るｎ−３個の垂直縮小リサイズ処理部は、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に比率Ｋｎで縮小し、
前記複数の第２の水平縮小リサイズ処理部はｎ−１個備えられ、
前記ｎ−１個の第２の水平縮小リサイズ処理部のうち１つは、前記垂直方向に比率Ｋ２で縮小された縮小画像を、入力ライン方向にＫ１＊Ｍ２＝Ｋ２となる係数Ｍ２で縮小し、
他の１つの第２の水平縮小リサイズ処理部は、前記垂直方向に比率Ｋ３で縮小された縮小画像を、入力ライン方向にＫ１＊Ｍ３＝Ｋ３となる係数Ｍ３で縮小し、
更に残るｎ−３個の第２の水平縮小リサイズ処理部は、前記垂直方向に比率Ｋｎで縮小された縮小画像を、入力ライン方向にＫ１＊Ｍｎ＝Ｋｎとなる係数Ｍｎで縮小する
ことを特徴とする画像処理装置。
【請求項３】
請求項１又は２記載の画像処理装置において、
前記前処理部は、
前記原画像から顔検出用の縮小画像を生成するに際し、
入力ライン方向の色キャリア除去処理と、
前記入力ライン方向と直交する垂直方向の色キャリア除去処理とを実施して、
色キャリア成分を持たない輝度信号成分の縮小画像を生成する
ことを特徴とする画像処理装置。
【請求項４】
請求項１〜３の何れか１項に記載の画像処理装置において、
前記前処理部が生成する複数の縮小画像のうち、水平画像サイズが一番大きい画像は、ハイビジョン規格の動画記録用の画像であり、
他の縮小画像は、表示用画像や顔認識などの画像認識用画像である
ことを特徴とする画像処理装置。
【請求項５】
請求項１〜４の何れか１項に記載の画像処理装置において、
前記原画像は、原色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像である
ことを特徴とする画像処理装置。
【請求項６】
請求項１〜５の何れか１項に記載の画像処理装置において、
前記前処理部は、前記原画像が本画像処理装置に入力される第１フレーム期間において、複数の縮小画像の生成処理を行い、
前記顔情報検出部は、前記第１フレーム期間に続く第２フレーム期間において、顔情報を検出する
ことを特徴とする画像処理装置。
【請求項７】
撮像素子から出力され且つ色配列の周期性を有する複数色の画素からなる原画像から、少なくとも静止画像及び動画像の一方を生成して記録する撮像装置で用いる画像処理方法あって、
前記撮像素子からの原画像に対して複数の縮小画像の生成処理を行う前処理工程と、
前記複数の縮小画像のうち何れか１つの縮小画像について顔情報を検出する顔情報検出工程と、
前記顔情報検出工程で検出された顔情報に基づいて、特定エリアのフォーカス制御及び露出制御の少なくとも一方を行う撮像制御工程とを有し、
前記前処理工程では、
前記撮像素子からの原画像を入力ライン方向に任意サイズの画像に縮小する第１の水平縮小リサイズ処理工程と、
前記第１の水平縮小リサイズ処理工程で入力ライン方向に縮小された縮小画像を入力ライン方向と直交する垂直方向に任意のサイズに縮小する複数の垂直縮小リサイズ処理工程と、
前記垂直縮小リサイズ処理工程で得られた水平方向及び垂直方向に縮小リサイズ処理された複数の縮小画像を、再度入力ライン方向に任意のサイズに縮小する複数の第２の水平縮小リサイズ処理工程とを行う
ことを特徴とする画像処理方法。
【請求項８】
請求項７記載の画像処理方法において、
前記前処理工程においてｎ（ｎは４以上の整数）種類の縮小画像を生成するに際して、
前記第１の水平縮小リサイズ処理工程では、生成する複数の縮小画像のうち水平画像サイズが一番大きい縮小画像の水平縮小サイズに比率Ｋ１で縮小し、
前記複数の垂直縮小リサイズ処理工程のうち１つは、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に前記比率Ｋ１で縮小し、
他の１つの垂直縮小リサイズ処理工程は、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に比率Ｋ２で縮小し、
更に他の１つの垂直縮小リサイズ処理工程は、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に比率Ｋ３で縮小し、
更に残るｎ−３個の垂直縮小リサイズ処理工程は、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に比率Ｋｎで縮小し、
前記複数の第２の水平縮小リサイズ処理工程はｎ−１個備えられ、
前記ｎ−１個の第２の水平縮小リサイズ処理工程のうち１つは、前記垂直方向に比率Ｋ２で縮小された縮小画像を、入力ライン方向にＫ１＊Ｍ２＝Ｋ２となる係数Ｍ２で縮小し、
他の１つの第２の水平縮小リサイズ処理工程は、前記垂直方向に比率Ｋ３で縮小された縮小画像を、入力ライン方向にＫ１＊Ｍ３＝Ｋ３となる係数Ｍ３で縮小し、
更に残るｎ−３個の第２の水平縮小リサイズ処理工程は、前記垂直方向に比率Ｋｎで縮小された縮小画像を、入力ライン方向にＫ１＊Ｍｎ＝Ｋｎとなる係数Ｍｎで縮小する
ことを特徴とする画像処理方法。
【請求項９】
請求項７又は８記載の画像処理方法において、
前記前処理工程では、
前記原画像から顔検出用の縮小画像を生成するに際し、
入力ライン方向の縮小リサイズ処理工程で同時に色キャリア除去処理を行い、
前記入力ライン方向と直交する垂直方向の縮小リサイズ処理工程で同時に色キャリア除去処理を行って、
色キャリア成分を持たない輝度信号成分の縮小画像を生成する
ことを特徴とする画像処理方法。
【請求項１０】
請求項７〜９の何れか１項に記載の画像処理方法において、
前記前処理工程で生成する複数の縮小画像のうち、水平画像サイズが一番大きい画像は、ハイビジョン規格の動画記録用の画像であり、
他の縮小画像は、表示用画像や顔認識などの画像認識用画像である
ことを特徴とする画像処理方法。
【請求項１１】
請求項７〜１０の何れか１項に記載の画像処理方法において、
前記原画像は、原色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像である
ことを特徴とする画像処理方法。
【請求項１２】
請求項７〜１１の何れか１項に記載の画像処理方法において、
前記前処理工程では、前記原画像が本前処理工程に入力される第１フレーム期間において、複数の縮小画像の生成処理を行い、
前記顔情報検出工程では、前記第１フレーム期間に続く第２フレーム期間において、顔情報を検出する
ことを特徴とする画像処理方法。
【請求項１３】
請求項１〜６の何れか１項に記載の画像処理装置を備えた
ことを特徴とするデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単板カラー撮像素子から得られる原画像から複数の縮小画像を生成して画像処理するに際し、高速で省電力な画像認識及びフィードバック動作を実現するのに好適な、画像処理装置及び画像処理方法及びデジタルカメラに関するものである。
【背景技術】
【０００２】
近年、大判サイズの撮像素子を搭載した一眼デジタルカメラにおいて、光学ビューファインダーと可動ミラーとを搭載しない一眼デジタルカメラが注目を浴びている。ミラーレスな一眼デジタルカメラの特徴は、撮影被写体を液晶モニターで確認しながら構図決めを実施して、撮像素子の出力データを用いて自動焦点制御や自動露出制御を実施して静止画撮影や動画撮影ができることであり、普及型のデジタルカメラや携帯カメラにおいても標準的な撮影方法となっている。【０００３】
前述のように一般的なデジタルカメラは、専用の液晶モニターを搭載しており、撮影被写体を液晶モニターで確認しながら構図決めを実施し、同時に顔認識や動き認識などを実施して特定エリアの露出やフォーカスを自動で調整して、静止画撮影や動画撮影を行う。【０００４】
このようなデジタルカメラに代表される撮像装置では、カラー画像を撮像するために、撮像素子上に色分解フィルタが設けられている。例えば、ベイヤー方式の色分解フィルタでは、撮像素子の画素に対応して、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の原色フィルタが市松模様に配置されている。つまり、ベイヤー配列では、画素並びにおけるセンサー読み出し方向及び垂直方向の両方向に、同じ色成分のフィルタが１画素おきに並ぶ。このような色分解フィルタを通して撮像された撮像素子出力となる画像データは、画像処理により被写体の色を再現するため、入力前段処理においては、ベイヤー配列が保持されるように扱う必要がある。【０００５】
撮像素子から出力される大サイズ原画像から表示用の小サイズ画像を生成処理して表示する際は、原画像を基にダイナミックレンジ調整やホワイトバランスをとりながら、各画素についてＲ／Ｇ／Ｂの情報を得るような同時化処理を行った後、一般的に扱われるＹ／Ｃｒ／Ｃｂのデータ型に変換するカラー画像処理を経て、液晶モニターの表示サイズに合うように縮小リサイズ処理を実施し、モニター特性に合うような表示処理を実施して、専用モニターに表示する。【０００６】
図９は、一般的なデジタルカメラの内部信号処理ブロックの概念図を示す。【０００７】
同図において、光学レンズ１１を通過した被写体の光学像は、撮像素子面で結像し、撮像素子から出力される。単板式撮像素子の原画像（１面）であるベイヤー配列のＲＡＷ画像データ１０１は、ＤＣレベル調整、ゲイン調整などを前処理部１０２で実施し、メモリー制御部１０７を介してメモリー部１０８に一旦書き込まれた後、次の処理にてメモリー制御部１０７を介してメモリー部１０８から読み出され、画像信号処理部１０９に入力される。画像信号処理部１０９では、ベイヤー配列のＲＡＷ画像からＹ／Ｃｒ／Ｃｂのデータ型に変換する画像信号処理が行われる。画像信号処理部１０９では、Ｙ／Ｃｒ／Ｃｂのデータ型の画像に変換すると共に、表示用画像サイズに縮小するために、縮小リサイズ処理を実施して、所望の表示サイズ画像を生成する。生成された表示サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、メモリー制御部１０７を介して再度メモリー部１０８に書き込まれる。【０００８】
また同時に、画像信号処理部１０９では、Ｙ／Ｃｒ／Ｃｂのデータ型の画像に変換した後、顔検出用画像サイズに縮小するために、輝度信号Ｙに対して縮小リサイズ処理を実施して、所望の顔検出用の輝度画像データを生成する。メモリー制御部１０７を介してメモリー部１０８に書き込まれた顔検出用サイズの輝度信号Ｙのデータ型画像は、顔検出処理部１０６から再度メモリー制御部１０７を介してメモリー部１０８から適宜読み出され、画像内の顔の位置、大きさなどの顔情報を抽出し、その抽出結果情報はメモリー制御部１０７を介してメモリー部１０８に書き込まれる。ＣＰＵ１１４は、メモリー制御部１０７を介してメモリー部１０８に書き込まれた顔検出情報を読み出し、顔検出情報より顔位置を示す表示情報に変換し、表示データを生成して、メモリー部１０８に書き込む。同時に、ＣＰＵ１１４は、顔認識情報を基に特定エリアの露出やフォーカスを自動で調整する。【０００９】
前記メモリー部１０８に書き込まれた表示サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、再度メモリー制御部１０７を介してメモリー部１０８から読み出されて、表示処理部１１７に入力される。このとき、前記の顔位置を示す表示情報も同時にメモリー部１０８から読み出され表示処理部１１７に入力される。【００１０】
表示処理部１１７に入力されたＹ／Ｃｒ／Ｃｂのデータ型画像と顔位置を示す表示情報とは、表示処理部１１７でモニター１１８のモニターの特性に合わせたデータ仕様に変換されて、モニター１１８に出力され、表示される。【００１１】
また、規格化されたサイズでの動画記録を行う場合は、前記と同様に、原画像１０１を画像信号処理部１０９でＹ／Ｃｒ／Ｃｂのデータ型の画像に変換した後、画像信号処理＆縮小リサイズ処理部１０９で縮小リサイズ処理を実施して、所望の動画記録サイズ画像を生成する。生成された動画記録サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、メモリー制御部１０７を介して再度メモリー部１０８に書き込まれる。メモリー部１０８に書き込まれた動画記録サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、再度メモリー制御部１０７を介してメモリー部１０８から読み出されて、圧縮伸張部１１０に入力される。圧縮伸張部１１０に入力されたＹ／Ｃｒ／Ｃｂのデータ型画像は、ＭＪＰＥＧやＭＰＥＧ、Ｈ２６４などの動画像コーデック方式を用いてデータ圧縮され、再度メモリー制御部１０７を介してメモリー部１０８に書き込まれる。圧縮された動画データは、再度メモリー制御部１０７を介してメモリー部１０８から読み出され、記録メディアインターフェース１１１を介して記録メディア１１２に書き込まれる。【００１２】
前記のデジタルカメラの内部信号処理に関して、ＲＡＷ画像データの入力を起点とする一連のパイプライン処理が行われる様子を図１０に示す。【００１３】
図１０において、ベイヤー配列のＲＡＷ画像データ１０１が入力される第１フレーム期間において、前処理部１０２でＤＣレベル調整やゲイン調整などを実施し、その処理結果がメモリー制御部１０７を介してメモリー部１０８に一旦書き込まれた後、第２フレーム期間の処理にてメモリー制御部１０７を介して読み出され、画像信号処理部１０９に入力され、ＲＡＷ画像からＹ／Ｃｒ／Ｃｂのデータ型に変換する画像信号処理が行われる。【００１４】
前記第２フレーム期間では、画像信号処理＆縮小リサイズ処理部１０９にて縮小リサイズ処理を実施して、所望の表示サイズ画像と顔検出用輝度画像データとを生成する。この生成された表示サイズのＹ／Ｃｒ／Ｃｂのデータ型画像と顔検出用輝度画像データとは、メモリー制御部１０７を介して再度メモリー部１０８に書き込まれる。【００１５】
次いで、第３フレーム期間では、メモリー制御部１０７を介して顔検出処理部１０６から再度メモリー制御部１０７を介してメモリー部１０８から顔検出用の輝度画像データが適宜読み出され、画像内の顔の位置、大きさなどの顔情報を抽出し、その抽出結果情報はメモリー制御部１０７を介してメモリー部１０８に書き込まれる。【００１６】
その後、第４フレーム期間では、ＣＰＵ１１４はメモリー部１０８に書き込まれた顔抽出結果情報をメモリー制御部１０７を介して読み出し、その顔位置を示す顔抽出結果情報を表示情報データに変換してメモリー部１０８に書き込む。同時に、ＣＰＵ１１４は、顔認識情報を基に特定エリアの露出、フォーカス、画質調整を自動で調整するためのフィードバック制御を開始する。【００１７】
以上のように、図９及び図１０に示した画像処理では、撮影時に撮影被写体を液晶モニターで確認しながら構図決めを実施する際には、縮小した１種類のＲＧＢベイヤー配列のＲＡＷデータを一旦メモリーに取り込んだ後、Ｙ／Ｃｒ／Ｃｂのデータ型に変換するカラー現像画像処理を経て再度メモリーに取り込む過程において、動画記録用、顔検出用及び表示用モニターの各サイズにそれぞれ縮小リサイズ処理を施してメモリー部に書き込み、再度メモリー部から読み出して動画圧縮処理、顔検出処理及び表示処理を実施するという信号処理を行っている。【００１８】
一般的に、画面内の細部の再現性までをも確認する場合には、大サイズの画像を取り扱う必要があるが、撮影時に液晶モニターを用いた被写体の撮影構図の確認や、明るさ、色の程度や、白飛びなどの確認をする場合や、顔検出により顔位置や大きさを認識する場合には、それほど大きな画像を用いなくても、小さな画像で十分確認及び検出認識することが可能である。また、最近では、撮像素子の高画素化と高速読み出し処理技術が進む中、スモールＲＡＷと呼ばれる原画像より小さい画像記録モード時での撮影や、ＨＤムービーに代表されるサイズが規格化された動画撮影を行うことがあるので、既述の通り、処理の前段階にてＲＡＷ画像を縮小した上で、表示処理や顔認識処理や記録処理を行えば、後処理での冗長処理を省略し、処理時間を大幅に短縮すると共に、システムの省電力動作を可能にすることができる。【００１９】
また、従来のＲＧＢのＲＡＷ画像を前処理で縮小リサイズする技術、例えば特許文献１〜３には、原画像としてのＲＧＢのＲＡＷデータをリサイズする際、最初の処理において独立のＲ、Ｇ、Ｂデータに色分離し、又は、同色画素の混合により間引きする方法が開示されている。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特開２００３−３４６１４３号公報
【特許文献２】特開２００１−２４５１４１号公報
【特許文献３】特開２００２−８４５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【００２１】
しかしながら、前記図９及び図１０に示した従来の信号処理では課題がある。即ち、任意の１種類のＲＡＷ画像をＹ／Ｃｒ／Ｃｂのデータ型に変換する信号処理を行った後、複数サイズの縮小画像処理を行っている点に起因して、次の２つの課題がある。【００２２】
（１）大サイズのＲＡＷ画像データをその大サイズのまま画像信号処理して変換されたＹ／Ｃｒ／Ｃｂは一旦メモリーに書き込まれた後、読み出して縮小画像処理を実施するので、メモリーアクセスを伴うため、モニターモード表示にフレーム遅延が発生すると共に、フレーム単位のパイプライン処理によるフレーム遅延により、被写体の動きに対してリアルタイムな表示や静止画撮影時のシャッターチャンスを逃す場合が生じる。更に、顔検出処理もフレーム遅延が発生し、図１０では、ベイヤー配列のＲＡＷ画像データ１０１が入力されるフレーム期間を第１フレーム期間として第３フレーム期間に顔検出処理が行われて、その分、顔検出によるフィードバック処理が遅くなる。特に、撮影被写体を確認しながら構図決めを実施するモニターモードの状態及び動画記録モードにおいて、被写体の人物が動いている場合には、顔検出結果のフィードバック処理による特定エリア位置設定でずれが生じることがある。【００２３】
（２）縮小リサイズ処理は記録画像数を減らす処理であり、極力画像処理の前段で実施すれば、後段処理でのメモリーアクセス量を減らすことが可能であるが、従来のようにＹ／Ｃｒ／Ｃｂのデータ型に変換した後に縮小リサイズを実施する場合には、この際に間引かれて捨てられるデータはＹ／Ｃｒ／Ｃｂのデータ型への変換処理が冗長処理となる。また、このＹ／Ｃｒ／Ｃｂのデータ型への変換処理は、メモリーバッファを経由して処理されるため、画像サイズに対する処理量に比例してＩ／Ｏバッファの電力消費も伴い、省電力観点でも効率が悪い。【００２４】
また、特許文献１〜３では、撮像素子の高画素化と動画記録対応の高速読み出し処理技術が進む中、処理の前段階にてＲＡＷ画像を縮小する処理が開示されているが、後処理で必要となる複数の縮小画像を前処理で同時に生成する方法に関しては、何ら開示されていない。【００２５】
以上のように、デジタルカメラの撮影において、液晶モニター上で撮影被写体を確認しながら構図決めを実施しつつ、顔認識などの各種認識動作を同時に行いながら、リアルタイムのオートフォーカス（ＡＦ）やオートエクスポージャー（ＡＥ）等を実施する動画記録モードの状態では、メモリーバッファを経由するＹ／Ｃｒ／Ｃｂのデータ型への変換処理と、後処理となる複数の画像縮小処理とは、冗長処理となり、かつモニター表示及び画像認識などのフレーム遅延の主要因となる。更に、撮像装置内部のほとんどの処理機能が動作するモニターモードや動画モードでの処理であるため、後処理で発生する冗長処理は省電力観点で非常に効率が悪い。【００２６】
本発明は、このような事情に鑑みてなされたものであり、その目的は、画像処理装置において、原画像が入力されるフレーム時間内で、撮像素子から出力される大サイズＲＡＷ原画像から直接複数の小サイズのＲＡＷ画像への縮小処理を前処理で行って、後処理での冗長処理の発生を抑えながら、例えばデジタルカメラでの顔検出による各種画像認識結果を最小のフレーム遅延で表示しながら、ＡＦ、ＡＥのフィードバック制御を行って、高速、省電力なデジタルカメラの視認動作、画質調整動作及び記録動作を実現できるようにすることにある。
【課題を解決するための手段】
【００２７】
前記目的を達成するため、請求項１記載の発明の画像処理装置は、撮像素子から出力され且つ色配列の周期性を有する複数色の画素からなる原画像から、少なくとも静止画像及び動画像の一方を生成して記録する撮像装置で用いる画像処理装置あって、前記撮像素子からの原画像に対して複数の縮小画像の生成処理を行う前処理部と、メモリー制御部を介して、前記前処理部で生成処理された複数の縮小画像を一時的に保持するメモリー部と、前記メモリー部から読み出した何れか１つの縮小画像について、前記メモリー制御部を介して顔情報を検出する顔情報検出部と、前記顔情報検出部で検出された顔情報に基づいて、特定エリアのフォーカス制御及び露出制御の少なくとも一方を行う中央演算処理部とを有し、前記前処理部は、前記撮像素子からの原画像を入力ライン方向に任意サイズの画像に縮小して前記メモリー部に一時的に格納する第１の水平縮小リサイズ処理部と、前記第１の水平縮小リサイズ処理部で入力ライン方向に縮小された縮小画像を前記メモリー部から読み出し、この読み出した縮小画像を入力ライン方向と直交する垂直方向に任意サイズに縮小する複数の垂直縮小リサイズ処理部と、前記垂直縮小リサイズ処理部で得られた水平方向及び垂直方向に縮小リサイズ処理された複数の縮小画像を、再度入力ライン方向に任意のサイズに縮小する複数の第２の水平縮小リサイズ処理部とを有することを特徴とする。【００２８】
請求項２記載の発明は、請求項１記載の画像処理装置において、前記前処理部がｎ（ｎは４以上の整数）種類の縮小画像を生成するに際して、前記第１の水平縮小リサイズ処理部は、生成する複数の縮小画像のうち水平画像サイズが一番大きい縮小画像の水平縮小サイズに比率Ｋ１で縮小し、前記複数の垂直縮小リサイズ処理部のうち１つは、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に前記比率Ｋ１で縮小し、他の１つの垂直縮小リサイズ処理部は、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に比率Ｋ２で縮小し、更に他の１つの垂直縮小リサイズ処理部は、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に比率Ｋ３で縮小し、更に残るｎ−３個の垂直縮小リサイズ処理部は、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に比率Ｋｎで縮小し、前記複数の第２の水平縮小リサイズ処理部はｎ−１個備えられ、前記ｎ−１個の第２の水平縮小リサイズ処理部のうち１つは、前記垂直方向に比率Ｋ２で縮小された縮小画像を、入力ライン方向にＫ１＊Ｍ２＝Ｋ２となる係数Ｍ２で縮小し、他の１つの第２の水平縮小リサイズ処理部は、前記垂直方向に比率Ｋ３で縮小された縮小画像を、入力ライン方向にＫ１＊Ｍ３＝Ｋ３となる係数Ｍ３で縮小し、更に残るｎ−３個の第２の水平縮小リサイズ処理部は、前記垂直方向に比率Ｋｎで縮小された縮小画像を、入力ライン方向にＫ１＊Ｍｎ＝Ｋｎとなる係数Ｍｎで縮小することを特徴とする。【００２９】
請求項３記載の発明は、請求項１又は２記載の画像処理装置において、前記前処理部は、前記原画像から顔検出用の縮小画像を生成するに際し、入力ライン方向の色キャリア除去処理と、前記入力ライン方向と直交する垂直方向の色キャリア除去処理とを実施して、色キャリア成分を持たない輝度信号成分の縮小画像を生成することを特徴とする。【００３０】
請求項４記載の発明は、請求項１〜３の何れか１項に記載の画像処理装置において、前記前処理部が生成する複数の縮小画像のうち、水平画像サイズが一番大きい画像は、ハイビジョン規格の動画記録用の画像であり、他の縮小画像は、表示用画像や顔認識などの画像認識用画像であることを特徴とする。【００３１】
請求項５記載の発明は、請求項１〜４の何れか１項に記載の画像処理装置において、前記原画像は、原色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像であることを特徴とする。【００３２】
請求項６記載の発明は、請求項１〜５の何れか１項に記載の画像処理装置において、前記前処理部は、前記原画像が本画像処理装置に入力される第１フレーム期間において、複数の縮小画像の生成処理を行い、前記顔情報検出部は、前記第１フレーム期間に続く第２フレーム期間において、顔情報を検出することを特徴とする。【００３３】
請求項７記載の発明の画像処理方法は、撮像素子から出力され且つ色配列の周期性を有する複数色の画素からなる原画像から、少なくとも静止画像及び動画像の一方を生成して記録する撮像装置で用いる画像処理方法あって、前記撮像素子からの原画像に対して複数の縮小画像の生成処理を行う前処理工程と、前記複数の縮小画像のうち何れか１つの縮小画像について顔情報を検出する顔情報検出工程と、前記顔情報検出工程で検出された顔情報に基づいて、特定エリアのフォーカス制御及び露出制御の少なくとも一方を行う撮像制御工程とを有し、前記前処理工程では、前記撮像素子からの原画像を入力ライン方向に任意サイズの画像に縮小する第１の水平縮小リサイズ処理工程と、前記第１の水平縮小リサイズ処理工程で入力ライン方向に縮小された縮小画像を入力ライン方向と直交する垂直方向に任意のサイズに縮小する複数の垂直縮小リサイズ処理工程と、前記垂直縮小リサイズ処理工程で得られた水平方向及び垂直方向に縮小リサイズ処理された複数の縮小画像を、再度入力ライン方向に任意のサイズに縮小する複数の第２の水平縮小リサイズ処理工程とを行うことを特徴とする。【００３４】
請求項８記載の発明は、請求項７記載の画像処理方法において、前記前処理工程においてｎ（ｎは４以上の整数）種類の縮小画像を生成するに際して、前記第１の水平縮小リサイズ処理工程では、生成する複数の縮小画像のうち水平画像サイズが一番大きい縮小画像の水平縮小サイズに比率Ｋ１で縮小し、前記複数の垂直縮小リサイズ処理工程のうち１つは、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に前記比率Ｋ１で縮小し、他の１つの垂直縮小リサイズ処理工程は、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に比率Ｋ２で縮小し、更に他の１つの垂直縮小リサイズ処理工程は、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に比率Ｋ３で縮小し、更に残るｎ−３個の垂直縮小リサイズ処理工程は、前記比率Ｋ１で入力ライン方向に縮小された縮小画像を、垂直方向に比率Ｋｎで縮小し、前記複数の第２の水平縮小リサイズ処理工程はｎ−１個備えられ、前記ｎ−１個の第２の水平縮小リサイズ処理工程のうち１つは、前記垂直方向に比率Ｋ２で縮小された縮小画像を、入力ライン方向にＫ１＊Ｍ２＝Ｋ２となる係数Ｍ２で縮小し、他の１つの第２の水平縮小リサイズ処理工程は、前記垂直方向に比率Ｋ３で縮小された縮小画像を、入力ライン方向にＫ１＊Ｍ３＝Ｋ３となる係数Ｍ３で縮小し、更に残るｎ−３個の第２の水平縮小リサイズ処理工程は、前記垂直方向に比率Ｋｎで縮小された縮小画像を、入力ライン方向にＫ１＊Ｍｎ＝Ｋｎとなる係数Ｍｎで縮小することを特徴とする。【００３５】
請求項９記載の発明は、請求項７又は８記載の画像処理方法において、前記前処理工程では、前記原画像から顔検出用の縮小画像を生成するに際し、入力ライン方向の縮小リサイズ処理工程で同時に色キャリア除去処理を行い、前記入力ライン方向と直交する垂直方向の縮小リサイズ処理工程で同時に色キャリア除去処理を行って、色キャリア成分を持たない輝度信号成分の縮小画像を生成することを特徴とする。【００３６】
請求項１０記載の発明は、請求項７〜９の何れか１項に記載の画像処理方法において、前記前処理工程で生成する複数の縮小画像のうち、水平画像サイズが一番大きい画像は、ハイビジョン規格の動画記録用の画像であり、他の縮小画像は、表示用画像や顔認識などの画像認識用画像であることを特徴とする。【００３７】
請求項１１記載の発明は、請求項７〜１０の何れか１項に記載の画像処理方法において、前記原画像は、原色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像であることを特徴とする。【００３８】
請求項１２記載の発明は、請求項７〜１１の何れか１項に記載の画像処理方法において、前記前処理工程では、前記原画像が本前処理工程に入力される第１フレーム期間において、複数の縮小画像の生成処理を行い、前記顔情報検出工程では、前記第１フレーム期間に続く第２フレーム期間において、顔情報を検出することを特徴とする。【００３９】
請求項１３記載の発明のデジタルカメラは、請求項１〜６の何れか１項に記載のの画像処理装置を備えたことを特徴とする。【００４０】
以上により、本発明では、デジタルカメラの撮影において、撮影被写体を確認しながら構図決めを実施しつつ、顔認識などの各種認識動作を同時に行いながら、リアルタイムのオートフォーカス（ＡＦ）やオートエクスポージャー（ＡＥ）等を実施する動画記録モードの状態で、原画像が入力されるフレーム時間内で撮像素子から出力される大サイズＲＡＷ原画像から直接、複数の縮小ＲＡＷ画像、例えば、表示用の小サイズＲＡＷ画像と、動画記録用サイズのＲＡＷ画像と、顔検出などの画像認識用の小サイズ輝度画像が処理の前段階で同時に生成処理される。従って、複数サイズのＲＡＷ画像データとの同時生成を前段階で実現でき、メモリーアクセスを伴う後段処理量を減らして後処理での冗長処理の発生を抑えることができ、また、顔検出による各種画像認識結果を最小のフレーム遅延で表示しながらＡＦ・ＡＥのフィードバック制御を行うことができるので、高速、省電力なデジタルカメラの表示、視認動作、画質調整動作、記録動作を実現することが可能である。
【発明の効果】
【００４１】
以上説明したように、本発明の画像処理装置及び画像処理方法によれば、例えばデジタルカメラの撮影において、原画像が入力されるフレーム時間内で、顔検出用の輝度データなど、目的に応じた複数サイズのＲＡＷ画像データの同時生成を実現できるので、顔検出による各種画像認識結果を最小のフレーム遅延で表示することが可能である。
【図面の簡単な説明】
【００４２】
【図１】図１は本発明の実施形態に係る撮像装置の全体構成図である。
【図２】図２は同撮像装置での画像処理の流れを示す図である。
【図３】図３は同画像処理の概略を示す図である。
【図４】図４は同撮像装置において、動画規格サイズのＲＡＷ画像データ、モニター表示サイズのＲＡＷ画像データ、及び顔検出用データサイズの輝度（Ｙ）画像データを生成する内部処理の概要を示す図である。
【図５】図５は図３で説明した画像処理の方法を示すフローチャート図である
【図６】図６は前処理＆ＲＡＷデータ縮小リサイズ処理部において複数の画像を生成するに際し、入力ライン方向に任意サイズの画像に縮小する第１及び第２の水平縮小リサイズ処理部の内部処理の一例を示す図である。
【図７】図７（ａ）は、ラインメモリの書き込み読み出し動作を示し、同図（ｂ）は同図（ａ）の次のライン周期タイミングにおける同ラインメモリの書き込み読み出し動作を示す図である。
【図８】図８は複数の水平方向縮小ラインデータを用いて、入力ライン方向と直交する垂直方向に縮小リサイズを行う垂直縮小リサイズ処理部の内部処理の一例を示す図である。
【図９】図９は従来の一般的なデジタルカメラの内部信号処理ブロックを示す概念図である。
【図１０】図１０は従来の一般的な撮像画像処理の流れを示す図である。
【発明を実施するための形態】
【００４３】
以下、図面に従って本発明に係る画像処理装置、画像処理方法及び画像処理プログラムの好ましい実施の形態について詳説する。
【００４４】
図１は、本発明の実施形態に係る画像処理装置を搭載する撮像装置の構成を示す。
【００４５】
同図において、この撮像装置１０は、撮像部１２を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア１１２に記録する単板式のデジタルカメラである。
【００４６】
前記撮像部１２は、ＣＣＤ型又はＣＭＯＳ型等に代表される多数の撮像素子（図示せず）を有しており、それ等の撮像素子の受光面には各々フォトダイオード（感光画素）が２次元的に配列されており、光学レンズ１１を通過した被写体情報を光電変換する。
【００４７】
前記各撮像素子は、各画素に対応する位置にＲ、Ｇ、Ｂの何れかの色が存在するような所定の色配列のカラーフィルタ（図示せず）を有し、受光素子たるフォトダイオードに入射する光の色選択を行う。本実施形態ではベイヤー配列で説明する。
【００４８】
撮像部１２から出力される画像データはＲＡＷ画像と呼ばれ、Ａ／Ｄ変換処理によりデジタル信号に変換されたものである。ベイヤー配列のＲＡＷ画像データ（原画像データ）１０１は、受光素子が行方向及び列方向にそれぞれ一定ピッチで正方行列的に配列された構造により得られる。尚、実際の撮像素子の結像面では、ベイヤー配列のＲＡＷ画像データ１０１に示した画素配列の構造がセンサー読み出し方向及び垂直方向に周期的に繰り返される。勿論、本発明では、カラーフィルタ配列構造は、ベイヤー配列に限定されず、Ｇストライプ等の様々な配列構造が可能である。また、本実施形態では、原色フィルタを用いているが、本発明の実施に際しては原色フィルタに限定されず、黄（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、緑（Ｇ）からなる補色フィルタを用いたり、原色と補色との任意の組み合わせや、白（Ｗ）を用いたりすることも可能である。
【００４９】
前記Ａ／Ｄ変換されたＲＡＷ画像データ１０１は、撮像装置１０の動作モードに従い、必要な信号処理を経て又は信号処理を省略して、記録メディア１１２に記録される。撮影モードにおいては、表示処理部１１７及びモニタＩ／Ｆ（インターフェース）部１１８を介してモニター１１９に被写体画像が表示される。本実施形態の撮像装置１０は、撮影モードとしてＪＰＥＧ形式による静止画像記録が可能であると共に、ＭＰＥＧ形式などの動画圧縮記録が可能である。また、Ａ／Ｄ変換した直後のＲＡＷ画像データ１０１自体を記録することも可能である。
【００５０】
ＪＰＥＧ形式で記録する場合、Ａ／Ｄ変換された画像データ１０１は、前処理＆ＲＡＷデータ縮小リサイズ処理部１０２を経て画像信号処理部１０９に送られる。前記前処理＆ＲＡＷデータ縮小リサイズ処理部１０２及び画像信号処理部１０９は、同時化処理（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ）調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍（拡大／縮小）処理、画素数の変換（リサイズ）処理等の各種処理を実施する処理回路であり、ＣＰＵ（中央演算処理部）１１４からのコマンドに従って画像信号を処理する。これ等の前処理＆ＲＡＷデータ縮小リサイズ処理部１０２及び画像信号処理部１０９は、メモリ制御部１０７を介して処理途中の画像を一時記憶できるメモリー部１０８を利用しながら画像信号の処理を行う。
【００５１】
前記前処理＆ＲＡＷデータ縮小リサイズ処理部１０２と画像信号処理部１０９とにおいて、所定の信号処理を経た画像データは、圧縮伸張部１１０に送られ、ＪＰＥＧ形式の圧縮フォーマットに従って圧縮される。尚、圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧその他の方式を採用してもよく、使用される圧縮形式に対応した圧縮処理が用いられる。
【００５２】
圧縮された画像データは、記録メディアＩ／Ｆ部１１１を介して記録メディア１１２に記録される。記録メディア１１２は、メモリカードに代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスク等の種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００５３】
一方、ＲＡＷ画像を記録するモードの場合、ＲＡＷ画像データ１０１は同時化その他の信号処理を経ずにメモリ制御部１０７、記録メディアＩ／Ｆ部１１１を介して記録メディア１１２に記録される。即ち、ＲＡＷ画像データ１０１は、ガンマ補正、ホワイトバランス調整、同時化等の信号処理が行われていない画像であり、カラーフィルタの配列パターンに対応して画素毎に異なる色情報を１つだけ保持しているモザイク状の画像である。勿論、圧縮処理も行われていないので、大きなファイルサイズを有する。尚、ＲＡＷ画像データ１０１を記録メディア１１２に記録する際においては、可逆的な圧縮を行って記録してもよいし、非圧縮のデータを記録してもよい。
【００５４】
ＣＰＵ１１４は、所定のプログラムに従って本撮像装置１０を統括制御する制御部であり、操作パネル１１３からの指示信号に基づいて撮像装置１０内の各回路の動作を制御する。ＲＯＭ１１５には、ＣＰＵ１１４が実行するプログラム及び制御に必要な各種データ等が格納され、ＲＡＭ１１６はＣＰＵ１１４の作業用領域として利用される。
【００５５】
前記操作パネル１１３は、撮像装置１０に対してユーザが各種の指示を入力するための手段であって、例えば、撮像装置１０の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目等の所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチ等、各種の操作手段を含む。また、各種スイッチはタッチパネル上のエリアスイッチでも実現される。
【００５６】
ＣＰＵ１１４は、操作パネル１１３から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モード等）に従い、撮像素子等の撮像部１２を制御すると共に、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、記録メディア１１２の読み書き制御等を行う。
【００５７】
ＣＰＵ１１４は、例えば、レリーズスイッチの半押しを検知すると自動焦点調節（ＡＦ）制御を行い、レリーズスイッチの全押しを検知すると、記録用の画像を取り込むための露光及び読み出し制御を開始する。また、ＣＰＵ１１４は、必要に応じて図示せぬストロボ制御回路にコマンドを送り、キセノン管等の閃光発光管（発光部）の発光を制御する。
【００５８】
前記前処理部１０２は、ＡＥ制御及びＡＦ制御に必要な演算を行うオート演算部（図示せず）を含み、静止画撮影の場合はレリーズスイッチの半押しに応動して取り込まれた画像信号に基づいて焦点評価値演算やＡＥ演算等を行い、その演算結果をＣＰＵ１１４に伝える。レリーズスイッチの全押しが検知されると、ＣＰＵ１１４は、前記焦点評価値演算の結果に基づいて図示せぬレンズ駆動用モータを制御して、光学レンズ１０１を合焦位置に移動させると共に、絞りや電子シャッタを制御して、露出制御を行う。こうして取り込まれた画像データは、記録モードに従って記録メディア１１２に記録される。動画撮影の場合は前記処理が動画記録の間連続的に処理される。
【００５９】
顔検出処理部（顔情報検出部）１０６では、顔検出用の画像サイズにリサイズされた画像を用いて顔情報の検出が行われる。本実施形態では、前処理部１０２でＲＡＷ原画像データ１０１を複数サイズに縮小リサイズ処理したデータの１つである顔検出用サイズの輝度データ型画像（Ｙ）を用いて顔検出を行う。
【００６０】
前記顔検出処理部１０６は、メモリー制御部１０７を介してメモリー部１０８から顔検出用サイズの輝度データ型画像（Ｙ）を適宜読み出し、その画像内の顔の位置・大きさなどの顔情報を抽出し、メモリー制御部１０７を介してその抽出結果情報をメモリー部１０８に書き込む。ＣＰＵ１１４は、メモリー部１０８に書き込まれた顔検出情報をメモリー制御部１０７を介して読み出し、その抽出結果を顔位置を示す表示情報に変換し、表示データを生成して、メモリー部１０８に書き込む。更に、顔検出情報は前記ＡＥ制御及びＡＦ制御に必要な演算を行うオート演算部から得られる情報と合わせてＣＰＵ１１４で処理され、人の位置に対する焦点評価値演算の結果に基づいて図示せぬレンズ駆動用モータを制御して、光学レンズ１１を合焦位置に移動させると共に、絞りや電子シャッタを制御して、露出制御を行う。
【００６１】
表示処理部１１７には、メモリー制御部１０７を介して、画像信号処理部１０９での画像処理後にメモリー部１０８に書き込まれた表示サイズのＹ／Ｃｒ／Ｃｂのデータ型画像が入力される。このとき、前記顔位置情報を示す表示データも同時にメモリー部１０８から読み出され、表示処理部１１７に入力される。
【００６２】
表示処理部１１７に入力されたＹ／Ｃｒ／Ｃｂのデータ型画像と、顔位置情報を示す表示データは、表示処理部１１７でモニターの特性に合わせた入力データ仕様に変換され、モニターＩ／Ｆ部１１８を介してモニター１１９に入力され、表示される。
【００６３】
（本撮像装置での信号処理の流れ）
図２に、既述した本実施形態のデジタルカメラの内部信号処理に関してＲＡＷ画像データの入力を時間起点とする一連のパイプライン処理が行われる様子を示す。
【００６４】
同図において、ベイヤー配列のＲＡＷ画像データ１０１が入力される第１フレーム期間で前処理＆ＲＡＷデータ縮小リサイズ処理部１０２で処理を実施する際に、本実施形態の特徴であるＲＡＷ原画像データ１０１を複数サイズに縮小リサイズ処理する。複数サイズに縮小リサイズ処理された複数データの１つとなる顔検出用サイズの輝度データ型画像（Ｙ）が、他のベイヤー配列の縮小サイズＲＡＷデータと共に、メモリー制御部１０７を介してメモリー部１０８に一旦書き込まれる。
【００６５】
第２フレーム期間では、メモリー制御部１０７を介してベイヤー配列の表示用縮小サイズＲＡＷデータがメモリー部１０８から読み出されて画像信号処理部１０９に入力され、ＲＡＷ画像１０１からＹ／Ｃｒ／Ｃｂのデータ型に変換する画像信号処理が行われる。生成された表示サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、メモリー制御部１０７を介して再度メモリー部１０８に書き込まれる。
【００６６】
また同時に、前記第２フレーム期間では、メモリー制御部１０７を介して顔検出処理部１０６から再度メモリー制御部１０７を介してメモリー部１０８から顔検出用の輝度画像データ（Ｙ）が適宜読み出され、画像内の顔の位置・大きさなどの顔情報が抽出、検出され、その検出結果情報はメモリー制御部１０７を介してメモリー部１０８に書き込まれる。
【００６７】
第３フレーム期間では、ＣＰＵ１１４は、メモリー部１０８に書き込まれた顔検出結果情報をメモリー制御部１０７を介して読み出し、その検出結果情報より顔位置を示す検出結果情報を表示情報データに変換してメモリー部１０８に書き込む。同時に、ＣＰＵ１１４は顔認識情報を基に特定エリアの露出・フォーカス・画質調整を自動で調整するためのフィードバック制御を開始する。
【００６８】
（複数サイズの縮小リサイズ処理の具体例）
次に、前記の図１及び図２で示した撮像装置１０において、本実施形態の特徴となる前処理＆ＲＡＷデータ縮小リサイズ処理部１０２で実施するＲＡＷ原画像データに対する複数サイズの縮小リサイズ処理方法について説明する。
【００６９】
図３は、ＲＡＷ画像データ１０１から複数の縮小画像を同時生成する本実施形態の画像処理の概略を示す。
【００７０】
同図において、単板カラー撮像素子から得られたＲＡＷ画像データ１０１は、前処理＆ＲＡＷデータ縮小リサイズ処理部１０２でハイビジョン動画規格サイズのＲＡＷ画像データ１０３、モニター表示サイズのＲＡＷ画像データ１０４、顔検出用データサイズの輝度（Ｙ）画像データ１０５に変換される。本実施形態の特徴は、モニターモードや動画撮影モード時に撮像部１２の撮像素子からフレーム毎に読み出されるＲＡＷ画像データ１０１に対して撮像素子の読み出しフレーム時間内のパイプライン処理で複数の縮小画像を生成できることである。以下、この構成及び動作の詳細を説明する。
【００７１】
（前処理＆ＲＡＷデータリサイズ処理部１０２の内部構成）
図４は、前処理＆ＲＡＷデータリサイズ処理部１０２において、複数サイズの画像生成の一例として、動画規格サイズのＲＡＷ画像データ１０３、モニター表示サイズのＲＡＷ画像データ１０４、顔検出用データサイズの輝度（Ｙ）画像データ１０５を生成する内部構成の概要を示す。
【００７２】
同図に示すように、本実施形態の画像処理は、単板カラー撮像素子から得られたＲＡＷ画像データ１０１に対して、入力ライン方向に任意サイズの画像に縮小する第１の水平縮小リサイズ処理部３０１と、その水平リサイズされた画像データを一時的に格納するメモリー部３０３と、このメモリー部３０３から読み出された縮小ラインデータから入力ライン方向と直交する垂直方向に縮小リサイズを行う３種類の垂直縮小リサイズ処理部３０４、３０６、３０８と、水平方向及び垂直方向に縮小リサイズ処理された３種類のうちの２種類の画像に対して再度入力ライン方向に任意のサイズの画像に縮小する２種類の第２の水平縮小リサイズ処理部３１０、３１２とを有する。
【００７３】
前記３種類の縮小画像（即ち、動画規格サイズのＲＡＷ画像データ１０３、モニター表示サイズのＲＡＷ画像データ１０４、顔検出用データサイズの輝度（Ｙ）画像データ１０５）を生成するに際して、入力ライン方向に任意サイズの画像に縮小する第１の水平縮小リサイズ処理部３０１において任意の縮小リサイズを実施する際、生成する３種類の縮小画像の中で水平画像サイズが一番大きい動画規格サイズの水平サイズとなる第１の縮小サイズに比率Ｋ１で縮小して、水平方向にのみ縮小した画像データ３０２を生成する。水平縮小リサイズされた画像データ３０２は、ラインデータ単位に一時的にメモリー部３０３に書き込まれる。同時にメモリー部３０３から複数ライン分のデータを読み出して、次工程となる垂直方向の縮小リサイズ処理を行う。
【００７４】
同時に生成すべき動画記録用の第１の縮小データの生成に関しては、垂直縮小リサイズ処理部３０４を用いて、垂直方向に動画規格サイズの垂直サイズとなるように前記と同様の比率Ｋ１で縮小することにより、所望の動画記録用サイズデータ１０３を得る。
【００７５】
次に、同時に生成すべき表示モニター用の第２の縮小データの生成に関しては、垂直縮小リサイズ処理部３０６を用いて、垂直方向に表示モニターの垂直サイズとなる第２の縮小サイズに比率Ｋ２で縮小し、垂直方向にモニター表示サイズに縮小した画像３０７を出力する。続いて、専用の第２の水平縮小リサイズ処理部３１０を用いて再度入力ライン方向にＫ１＊Ｍ２＝Ｋ２となるような係数Ｍ２で縮小することにより、所望の表示用サイズデータ１０４を得る。
【００７６】
更に、同時に生成すべき顔検出用の第３の縮小データの生成に関しては、更に垂直縮小リサイズ処理部３０８を用いて、垂直方向に顔検出用データとなる第３の縮小サイズに比率Ｋ３で縮小して、垂直方向に顔検出用サイズに縮小した画像３０９を出力する。続いて、専用の第２の水平縮小リサイズ処理部３１２を用いて再度入力ライン方向にＫ１＊Ｍ３＝Ｋ３となるような係数Ｍ３で縮小することにより、所望の顔検出用サイズの輝度（Ｙ）画像データ１０５を得る。
【００７７】
図５は、前記図４で説明した画像処理の方法を示すフローチャートを示す。同図において、ステップＳ１はＲＧＢベイヤー配列の原画像データの取り込み工程、ステップＳ２は第１の水平縮小リサイズ処理工程、ステップＳ３は動画記録画像サイズ垂直縮小リサイズ処理工程、ステップＳ４は動画記録画像サイズデータ出力工程、ステップＳ５は表示画像サイズ垂直縮小リサイズ処理工程、ステップＳ６は表示画像用の第２の水平縮小リサイズ処理工程、ステップＳ７は表示画像サイズデータ出力工程、ステップＳ８は顔検出画像サイズ垂直縮小リサイズ処理工程、ステップＳ９は顔検出用の第２の水平縮小リサイズ処理工程、ステップＳ１０は顔検出画像サイズ輝度（Ｙ）画像データ出力工程である。
【００７８】
前記フローチャートで示す画像処理は、ＣＰＵ１１４で実行可能なプログラムで実行される手続き処理であり、一般的には処理毎にメモリーからの読み出しと書き込みとを実施する。尚、一部の工程をハードウエア処理で構成してもよい。各工程の動作は図４を用いた説明内容と同様である。
【００７９】
（水平縮小リサイズ処理部及び垂直縮小リサイズ処理部）
図６は、前記前処理＆ＲＡＷデータ縮小リサイズ処理部１０２において複数サイズの画像生成に際し、入力ライン方向に任意サイズの画像に縮小する第１、第２の水平縮小リサイズ処理部３０１、３１０、３１２の内部処理の一例を示す。
【００８０】
図７は、前記第１の水平縮小リサイズ処理部３０１において水平リサイズされた画像データ３０２を一時的にメモリー部３０３の一例として複数のラインメモリーに書き込む方法と、その複数のラインメモリーから同時に複数の水平方向縮小ラインデータを読み出す一例を示す。
【００８１】
図８は、複数の水平方向縮小ラインデータを用いて、入力ライン方向と直交する垂直方向に縮小リサイズを行う垂直縮小リサイズ処理部３０４、３０６、３０８の内部処理の一例を示す。
【００８２】
前記図６〜図８の構成の動作を関係を概略説明すると、次の通りである。先ず、図６において、センサー読み出し方向の水平縮小リサイズ処理を実施しながら、その出力を図７に示すラインメモリに書き込み、同時にセンサー読み出し方向の水平縮小リサイズ処理画像のうち、まとまった複数ライン分のデータをラインメモリから読み出し、図８に示すような複数ライン上のセンサー読み出し方向の同一位置のデータに対して縦方向に同時処理で複数の垂直方向縮小リサイズ処理を行う。このとき、垂直方向縮小リサイズ処理は前記のセンサー読み出し方向の水平縮小リサイズ処理とは別の処理となり、複数のライン単位の動作出力をライン単位で利用するか否かの判定処理の基でとライン間欠的な出力として垂直方向に比率の違う縮小リサイズ画像を得る。更に、任意の画像に対しては図６に示すセンサー読み出し方向の水平縮小リサイズ処理を再度実施して、縦・横縮小比率の揃った複数の縮小リサイズ画像を得る。
【００８３】
本実施形態における主眼は、画像処理の流れと処理手続きの組み合わせと順序にあり、図６の処理→図７の処理→図８の処理→図６の処理の順に組み合わせて複数の縮小リサイズ画像を生成することが特徴とである。
【００８４】
尚、図６、図７及び図８に示す処理は、ＲＡＷデータを縮小リサイズ処理するに際して、折り返しノイズの発生しない高画質で解像感のある縮小ＲＡＷデータと縮小輝度画像データとを生成する一手法である。本実施形態は、高画質な縮小処理の基本となる内部アルゴリズムを一義的に規定するものでない。しかしながら、本内部アルゴリズムは、冗長処理を削減するという本発明の目的のもと、処理手続きが少なくてかつ高画質な縮小処理を実現できる方法であり、本発明の画像処理を実現する上での好適な縮小処理アルゴリズムである。
【００８５】
（水平縮小リサイズ処理部での内部処理）
次に、前記図６を用いて、センサー読み出し方向の水平縮小リサイズ処理部３０１の詳細を説明する。
【００８６】
センサー読み出し方向の水平縮小リサイズ処理部３０１は、１次元のパイプライン処理であって、図６に示すように、ＲＡＷ画像１０１からライン単位のＲＡＷライン画像５０１に対するフィルタ処理により輝度データを抽出する色キャリア除去フィルタ処理５０２と、色キャリアデータを抽出する色キャリア抽出フィルタ処理５０４と、変調された色キャリアデータに対して色反転復調して連続した色差分データを出力する色キャリア反転復調処理５０５と、輝度データと色差データとに対して独立して縮小リサイズを行う輝度信号センサー読み出し方向縮小リサイズ処理５０６及び色差分信号センサー読み出し方向縮小リサイズ処理５０７と、リサイズ後の色差分データを色キャリアデータに再変換する色差分データ反転変調処理５０８と、色キャリアデータのゲインレベル調整を行うゲイン調整処理５１１と、リサイズ後のレベル調整された輝度データとゲイン調整された変調後の色キャリアデータとを再合成し、最終的な複数色配列データを生成する色配列再現処理５０９とにより、構成される。
【００８７】
図６に詳細を示したセンサー読み出し方向の水平縮小リサイズ処理機能を用いてベイヤー配列の画像を処理する場合を説明する。
【００８８】
原画像であるＲＡＷ画像１０１はベイヤー配列の画素配置を反映したモザイク状の画像であり、通常、撮像部１２からライン単位で読み出される。この原画像のライン単位のＲＡＷライン画像データ５０１は、赤（Ｒ）と緑（Ｇ）の情報が画素毎に繰り返されるＲＧラインと、青（Ｂ）と緑（Ｇ）の情報が画素毎に繰り返されるＢＧラインとの２種類となる。これら２種類のラインデータは２画素周期で変化するナイキスト周波数近傍の色キャリアを除去する色キャリア除去フィルタ処理５０２を経て、ＲＧラインに関しては赤（Ｒ）と緑（Ｇ）の平均値となるライン輝度データ｛α（Ｒ＋Ｇ）｝が出力され、ＢＧラインに関しては青（Ｂ）と緑（Ｇ）の平均値となるライン輝度データ｛α（Ｂ＋Ｇ）｝が出力される。
【００８９】
また、前記２種類のラインデータは２画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理５０４を経て、ＲＧラインに関してはナイキスト周波数で変調されたＲＧライン色キャリアデータが出力され、ＢＧラインに関してはナイキスト周波数で変調されたＢＧライン色キャリアデータが出力される。前記ナイキスト周波数で変調されたＲＧライン色キャリアデータ及びＢＧライン色キャリアデータは、１画素毎に符号反転する色キャリア反転復調処理５０５により、連続したＲＧライン色差分データ、ＢＧライン色差分データとして出力される。
【００９０】
抽出された前記輝度データと色差分データとに対してそれぞれ同一縮小比率でセンサー読み出し方向の縮小リサイズを実施するに際しては、縮小後の折り返しノイズを抑えるために、図７中には図示しない、輝度データ用及び色差データ用にそれぞれ特性の異なる輝度データ用帯域制限フィルタ処理と、色差分データ用帯域制限フィルタ処理とを実施する。この際、色差用帯域制限としては、最終記録フォーマットがＪＰＥＧやＴＩＦＦ、ＭＰＥＧとなることを想定して、輝度用帯域制限の２分の１以下に設定することが望ましい。帯域制限された輝度データは、輝度信号センサー読み出し方向縮小リサイズ処理５０６により、縮小比率に合わせて線形補間間引き処理が行われる。一方、帯域制限された色差分データは、色差分信号センサー読み出し方向の水平縮小リサイズ処理５０７により、縮小比率に合わせて線形補間間引き処理が行われる。
【００９１】
ライン毎にセンサー読み出し方向に水平縮小リサイズされた２種類の連続的な色差分データ｛β（Ｒ−Ｇ）、β（Ｂ−Ｇ）｝に対しては、２画素周期で変化するナイキスト周波数で変調するための等価処理として、１画素毎に符号を反転する色差分データ反転変調処理５０８を実施する。その結果、それぞれのラインデータ上で画素毎に符号の異なる｛β（Ｒ−Ｇ）、−β（Ｒ−Ｇ）｝、｛β（Ｂ−Ｇ）、−β（Ｂ−Ｇ）｝の２種類の縮小ＲＧライン色キャリアデータと縮小ＢＧライン色キャリアデータとなる。
【００９２】
リサイズされた縮小ライン輝度データは、リサイズされた色キャリアデータとの加算処理である色配列再現処理５０９において、ライン毎に縮小ＲＧライン色キャリアデータと縮小ＢＧライン色キャリアデータとが再合成され、赤（Ｒ）と緑（Ｇ）の情報が画素毎に繰り返す縮小リサイズされたＲＧライン、及び青（Ｂ）と緑（Ｇ）の情報が画素毎に繰り返すリサイズされたＢＧラインと５１０して出力される。
【００９３】
前記ＲＧラインの再合成を数式で示す。先ず、輝度データ｛α（Ｒ＋Ｇ）｝、色キャリアデータ｛β（Ｒ−Ｇ）、−β（Ｒ−Ｇ）｝にて、α＝０．５、β＝０．５とすると、輝度データ｛０．５（Ｒ＋Ｇ）｝、色キャリアデータ｛０．５（Ｒ−Ｇ）、−０．５（Ｒ−Ｇ）｝となる。画素毎に輝度データを加算して行くと、０．５｛（Ｒ＋Ｇ）＋（Ｒ−Ｇ）｝、０．５｛（Ｒ＋Ｇ）−（Ｒ−Ｇ）｝…が繰り返される。即ち、Ｒ、Ｇ、Ｒ、Ｇ…として、ＲＧラインデータが再生する。
【００９４】
ＢＧラインでも、同様にして、輝度データ｛α（Ｂ＋Ｇ）｝、色キャリアデータ｛β（Ｂ−Ｇ）、−β（Ｂ−Ｇ）｝にて、α＝０．５、β＝０．５とすると、輝度データ｛０．５（Ｂ＋Ｇ）｝、色キャリアデータ｛０．５（Ｂ−Ｇ）、−０．５（Ｂ−Ｇ）｝となる。画素毎に輝度データを加算して行くと、０．５｛（Ｂ＋Ｇ）＋（Ｂ−Ｇ）｝、０．５｛（Ｂ＋Ｇ）−（Ｂ−Ｇ）｝…が繰り返される。即ち、Ｂ、Ｇ、Ｂ、Ｇ…として、ＢＧラインデータが再生する。
【００９５】
尚、輝度データと色差分データとに対する係数をα、βとして加算処理前でゲイン調整して合成データのゲインが入力と同等となるよう処理したが、目的は輝度信号と色差信号との２種類の信号成分からＲＧＢの独立の１つの色成分を発生することにあるので、必ずしも演算前にゲイン調整する必要はなく、ＲＧＢの独立の色成分にした後にゲイン調整をしてもよい。
【００９６】
図６に示したセンサー読み出し方向の水平縮小リサイズ処理機能は、図４において示した縮小リサイズ処理３０１、３１０を実施する際に使用できる。
【００９７】
顔検出用の輝度（Ｙ）データを生成する縮小リサイズ処理３１２で使用する際には、リサイズされた縮小ライン輝度データとリサイズされた色キャリアデータとの加算処理部分５０９に入力する色キャリアデータのゲインをゲイン処理部５１１で０として加算することにより、輝度データのみ出力する。
【００９８】
次に、図７を用いて、第１の水平縮小リサイズ処理部３０１で水平リサイズされたＲＡＷ画像データを一時的にメモリー部３０３の一例として複数のラインメモリーに書き込むと同時に、それ等の複数のラインメモリーから複数の水平方向縮小ラインＲＡＷデータを読み出す場合の詳細を説明する。
【００９９】
図７（ａ）は、この場合のラインメモリの書き込み読み出し動作を示す。同図（ｂ）は、同図（ａ）の次のライン周期タイミングにおける同ラインメモリの書き込み、読み出し動作を示す。図７（ａ）及び（ｂ）において、６０１は８ラインからなるラインメモリである。６０２は前記ラインメモリ６０１に対するデータ書き込みサイクルを示し、８ラインに対する書き込み制御として１ラインずつ順番にリング状に巡回させながら書き込んで行く。６０３はラインメモリ６０１に対するデータ読み出しサイクルを示し、８ラインのうち７ラインのメモリデータをまとめて選択しながら、書き込み制御と同様に、順番にリング状に巡回させながら読み出して行く。
【０１００】
図７（ａ）及び（ｂ）に示した例では、使用するラインメモリ６０１の容量を最小限とするために、リング状の巡回書き込みに対する、７ライン同時巡回読み出しの先頭ラインの位置を書き込みラインよりも１ライン遅らせた位置としている。また、書き込みラインと読み出しラインとを分けることにより、書き込みと読み出しとを非同期に動作させることができる。
【０１０１】
こうして、水平方向のＲＡＷ縮小リサイズ画像３０２のうち、まとまった複数ライン分のＲＡＷリサイズデータを図７（ａ）及び（ｂ）に示すラインメモリ６０１からまとめて読み出すことにより、複数ライン上のセンサー読み出し方向の同一位置のデータ６０４に対して縦方向に３種類の垂直方向縮小リサイズ処理３０４、３０６、３０８を同時に行い、ＲＡＷリサイズ画像３０５、３０７、３０９を得る。
【０１０２】
このとき、垂直方向縮小リサイズ処理３０４、３０６、３０８は、センサー読み出し方向の水平縮小リサイズ処理３０１とは異なる処理となり、複数のラインを入力とする任意の画像処理出力データに対して、ライン単位で有効データとして利用するか否かの判定処理のもと、出力するか否かで出力ライン数を減らすことにより、垂直方向の縮小リサイズ処理を実施する。
【０１０３】
（垂直方向縮小リサイズ処理部での内部処理）
図８は、図７のラインメモリ６０１を利用する場合の図４中の３種類の垂直方向縮小リサイズ処理部３０４、３０６、３０８で処理を実施する詳細手順を示している。
【０１０４】
図８の垂直方向縮小リサイズ処理は図６のセンサー読み出し方向の水平縮小リサイズ処理と同様に、輝度信号処理と色差分信号処理との２系統処理として実施する。
【０１０５】
詳細説明に際して、図８では、入力データとして７ライン分のＲＡＷ画像に対して垂直方向に同一水平位置となる７画素を１つの処理単位として処理を実施する。
【０１０６】
図８に示す垂直方向縮小リサイズ処理は、前記７ライン分のＲＡＷ画像から垂直方向に輝度データを抽出する色キャリア除去フィルタ処理７０３と、垂直方向の色キャリアデータを抽出する色キャリア抽出フィルタ処理７１２と、垂直方向に変調された色キャリアデータに対して色反転復調して垂直方向に連続した色差分データを出力する色キャリア反転復調処理７１６と、輝度データと色差分データとに対して独立して垂直方向縮小リサイズを行う輝度信号垂直方向縮小リサイズ処理７１０及び色差分信号垂直方向縮小リサイズ処理７１８と、リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理７２０と、リサイズ後のレベル調整された輝度データと変調後の色キャリアデータとを再合成し、最終的な複数色配列データを生成する色配列再現処理７２２とを含む。
【０１０７】
図８に詳細を示した垂直方向リサイズ処理機能を用いてベイヤー配列の画像を縮小リサイズ処理する場合を説明する。
【０１０８】
図８の垂直方向の処理単位７０１に示すように、水平リサイズ処理後のＲＡＷ画像はベイヤー配列の画素配置を反映したモザイク状の配列を保持しており、図７に示すようにライン単位でラインメモリ６０１に巡回的に書き込まれ、複数ラインまとめて巡回的に読み出される。本実施形態では８ラインからなるラインメモリ６０１を利用し、７ラインの出力がまとめて出力される。
【０１０９】
水平リサイズ処理後の７ライン単位の入力データに対する第１の垂直方向の処理単位７０１、第２の垂直方向の処理単位７０２は、ライン上のセンサー読み出し方向の同一位置の垂直方向注目データに対して垂直方向に青（Ｂ）と緑（Ｇ）の情報が画素毎に繰り返されるＢＧ垂直処理単位７０１と、垂直方向に緑（Ｇ）と赤（Ｒ）の情報が画素毎に繰り返されるＧＲ垂直処理単位７０２との２種類となる。
【０１１０】
これら２種類の垂直方向の処理単位となるデータは、垂直方向に２画素周期で変化するナイキスト周波数近傍の色キャリア情報を有し、前記色キャリアを除去する色キャリア除去フィルタ処理７０３において、７ラインデータ中の５ライン分の各データＹ１〜Ｙ３を用いて３系統処理され、垂直方向に１ライン分位置のずれた連続な輝度データが３種類生成される。本実施形態では、色キャリア除去フィルタ７０３にてそれぞれ垂直方向に５画素のデータＹ１〜Ｙ３を用いて、３種類のライン輝度データ７０９を出力している。各データＹ１〜Ｙ３は、垂直方向のＢＧ垂直処理単位９０１に関しては青（Ｂ）と緑（Ｇ）の平均値となる輝度データ、次の垂直方向のＧＲ垂直処理単位７０２に関しては緑（Ｇ）と赤（Ｒ）の平均値となる輝度データであり、水平方向に交互に出力される。
【０１１１】
また、前記２種類の垂直方向の処理単位７０１、７０２は、垂直方向に２画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理７１２において、７ラインデータ中の５ライン分の各データＣ１〜Ｃ３を用いて３系統処理され、垂直方向に１ライン分位置のずれた連続な色キャリアデータが３種類生成される。ＢＧ垂直処理単位７０１のＢＧ垂直方向に関してはナイキスト周波数で変調されたＢＧ色キャリア成分データが出力され、ＧＲ垂直処理単位７０２のＧＲ垂直方向に関してはナイキスト周波数で変調されたＧＲ色キャリア成分データが出力される。
【０１１２】
垂直方向にナイキスト周波数で変調されたそれぞれ３つのＢＧ色キャリア成分データ及びＧＲ色キャリア成分データは、垂直方向に１画素毎（１ライン動作毎）に符号反転する色キャリア変転復調処理７１６により、垂直方向に連続したＲ−Ｇデータ、Ｂ−Ｇデータとして出力される。ここでは垂直方向の画素データ位置を輝度Ｙ１〜Ｙ３データと揃えて、同一位置となるデータＣ１〜Ｃ３の出力としている。
【０１１３】
垂直方向に抽出された前記２種類の輝度データと色差分データとに対してそれぞれ同一比率の垂直方向の縮小リサイズを実施するに際して、縮小後の折り返しノイズを抑えるために、輝度データ用及び色差データ用にそれぞれ特性の異なる輝度用帯域制限フィルタ処理と、色差用帯域制限フィルタ処理とを実施することが望ましい。輝度データＹ１〜Ｙ３と色キャリアデータＣ１〜Ｃ３との３ラインに対して処理することも可能であるが、効率的な処理としては、色キャリア除去フィルタ処理７０３と色キャリア抽出フィルタ処理７１２とで周波数特性の制限を同時に適用処理する方法が実装方法として効率的である。この際、色差分データの帯域制限としては、最終記録フォーマットがＪＰＥＧやＴＩＦＦ、ＭＰＥＧとなることを想定して、輝度用データの帯域制限の２分の１以下に設定することが望ましい。
【０１１４】
垂直方向に帯域制限された輝度データは、輝度信号垂直方向縮小リサイズ処理７１０により、輝度データＹ１〜Ｙ３についての３つのライン輝度データ７０９を用いて垂直方向での線形補間が行われ、ライン単位で縮小比率に合わせてライン間引きが行われて出力される。一方、色差分信号垂直方向縮小リサイズ処理７１８により、３つの色差分ラインデータを用いて垂直方向に前記輝度データと同様の線形補間が行われ、ライン単位で垂直縮小比率に合わせてライン間引きが行われて出力される。
【０１１５】
垂直方向のライン間引きで縮小リサイズされた色差分データ７１９は、垂直方向に２画素周期で変化するナイキスト周波数で変調するための等価処理として、有効ライン出力毎に符号を反転する色差分データ反転変調処理７２０を実施する。垂直方向のライン間引きで垂直縮小リサイズされたライン輝度データと色キャリアデータとの加算処理を色配列再現処理７２２で実施し、垂直方向に青（Ｂ）と緑（Ｇ）の情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向ＢＧデータ７２３と、垂直方向に緑（Ｇ）と赤（Ｒ）の情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向ＧＲデータとが水平方向に交互に出力される。
【０１１６】
図８に示した垂直方向縮小りサイズ処理機能を用いて、図４に示した３つの処理部３０４、３０６、３０８での垂直方向縮小リサイズ処理を実施する。２つの処理部３０６、３０８での垂直方向縮小リサイズ処理処理を実施する際は、処理部３０４での縮小比率と違う比率に設定して、それぞれ処理を実施する。
【０１１７】
更に、処理部３０８での垂直方向縮小リサイズ処理で図８の処理機能を使用する際には、顔検出用の輝度データを生成するために、リサイズされた縮小ライン輝度データ７１１とリサイズされたライン色キャリアデータとの加算処理部７２２に入力するライン色キャリアデータのゲインをゲイン処理部７２４で０として加算することにより、ライン輝度データのみを出力する。
【０１１８】
図８の処理で得られた動画記録用サイズデータ１０３、モニター表示用サイズデータ３０７、顔検出用サイズデータ３０９のうち、表示用サイズデータ３０７に対しては、再度図６で説明したセンサー読み出し方向リサイズ処理３１０を実施して所望の画像を得る。また、顔検出用サイズデータ３０９に対しては、図６で説明したセンサー読み出し方向リサイズ処理部３１２を再度実施する。この際、前述したように、図６に示す内部処理において、センサー読み出し方向にリサイズされた縮小ライン輝度データとリサイズされた色キャリアデータとの加算処理部５０９に入力する色キャリアデータのゲインをゲイン処理部５１１で０として加算することにより、輝度データのみを出力して、所望の顔検出用の輝度画像を得る。
【０１１９】
以上説明したように、図２に示した通り、前処理＆ＲＡＷデータ縮小リサイズ処理部１０２において、図６の処理→図７の処理→図８の処理→図６の処理の順番で組み合わせた画像処理の流れと処理手続きを実施することにより、第１フレーム期間で顔検出用の輝度画像を含む複数の縮小リサイズ画像を生成することができる。
【０１２０】
その後、第２フレーム期間で、得られた複数のＲＡＷリサイズ縮小画像１０３、１０４、１０５を図１及び図２に示した画像信号処理部１０９に入力して、主たる信号処理（モニターモードでの表示画像生成、動画記録画像生成）を行うと共に、顔検出処理部１０６に入力して、フレーム遅延の少ない顔検出を行う。
【０１２１】
従って、図１０に示した従来例のように第３フレーム期間で顔検出情報表示制御とＡＦ・ＡＥのフィードバック制御を行う場合に比して、本実施形態では、顔検出情報表示制御とＡＦ・ＡＥのフィードバック制御を１フレーム期間速く開始することが可能である。更に、第３フレーム期間を利用して、第２フレーム期間で検出取得した顔位置を基点とした細部検出＆認識などを実施することが可能である。
【０１２２】
尚、本発明を実施する手段は、専用の画像処理装置（画像再生装置や画像加工装置）に限らず、パソコンであってもよい。また、画像処理はその処理の一部又は全部をハードウェア（信号処理回路）に限らず、ソフトウェアで実現してもよい。
【０１２３】
更に、本実施形態の画像処理プログラムは、単独のアプリケーションソフトウェアとして構成されてもよいし、画像加工ソフトウェアやファイル管理用ソフトウェア等のアプリケーションの一部として組み込まれてもよい。また、本実施形態の画像処理プログラムは、パソコン等のコンピュータシステムに適用する場合に限定されず、デジタルカメラや携帯電話機等の情報機器に組み込まれる中央処理装置（ＣＰＵ）の動作プログラムとしても適用することが可能である。
【産業上の利用可能性】
【０１２４】
以上説明したように、本発明に係る画像処理装置及び画像処理方法及び画像処理プログラムは、特に単板カラー撮像素子から得られる原画像の縮小処理に好適な画像データサイズ変換処理装置、電子スチルカメラ、画像データサイズ変換処理プログラム等として、有用である。
【符号の説明】
【０１２５】
１０  撮像装置
１２  撮像部
１０１  ベイヤー配列のＲＡＷ画像データ
１０２  前処理＆ＲＡＷデータ縮小リサイズ部（前処理部）
１０６  顔検出処理部（顔情報検出部）
１０７  メモリー制御部
１０８  メモリー部
１０９  画像信号処理部
１１０  圧縮伸張処理部
１１１  記録メディアＩ／Ｆ（インターフェース）部
１１２  記録メディア
１１３  操作パネル
１１４  ＣＰＵ（中央演算処理部）
１１５  ＲＯＭ
１１６  ＲＡＭ
１１７  表示処理部
１１８  モニタＩ／Ｆ部
１１９  モニタ
１０３  動画規格サイズのＲＡＷ画像データ
１０４  モニター表示サイズのＲＡＷ画像データ
１０５  顔検出用データサイズの輝度（Ｙ）画像データ
３０１  第１の水平縮小リサイズ処理部
３０２  水平方向にのみ縮小した画像データ
３０３  画像データを一時的に格納するメモリー部
３０４、３０６、３０８  ＲＡＷデータ垂直方向リサイズ処理部
（垂直縮小リサイズ処理部）
３０７  垂直方向にモニター表示サイズに縮小した画像
３０９  垂直方向に顔検出用サイズに縮小した画像
３１０、３１２  第２の水平縮小リサイズ処理部
５０１  ＲＡＷライン画像
５０２  色キャリア除去フィルタ処理
５０３  ライン輝度データ
５０４  色キャリア抽出フィルタ処理
５０５  色差分データ復調処理
５０６  輝度信号センサー読み出し方向縮小リサイズ処理
５０７  色差分信号センサー読み出し方向縮小リサイズ処理
５０８  色キャリア変調処理
５０９  色配列再現処理
５１０  複数色配列データ
５１１  ゲイン調整処理
６０１  ８ラインからなるラインメモリ
６０２  ラインメモリに対してのデータ書き込みサイクル
６０３  ラインメモリに対してのデータ読み出しサイクル
６０４  複数ライン上のセンサー読み出し方向の同一位置のデータ
７０１  第１の垂直方向の処理単位
７０２  第２の垂直方向の処理単位
７０３  色キャリア除去フィルタ処理
７０４、７０５、７０６  ライン輝度データ
７０９  ３種類のライン輝度データ
７１０  輝度信号垂直方向縮小リサイズ処理
７１１  垂直方向縮小ライン輝度データ
７１２  色キャリア抽出フィルタ処理
７１３、７１４、７１５  色キャリアデータ
７１６  色キャリア変転復調処理
７１８  色差分信号垂直方向縮小リサイズ処理
７１９  垂直方向縮小ライン色差分データ
７２０  色差分データ反転変調処理
７２１  垂直方向縮小ライン色キャリアデータ
７２２  色配列再現処理
７２３  ＲＡＷ縮小データ
７２４  ゲイン調整処理
【図５】
0005845464.tif 000002
【図１】
0005845464.tif 000003
【図２】
0005845464.tif 000004
【図３】
0005845464.tif 000005
【図４】
0005845464.tif 000006
【図６】
0005845464.tif 000007
【図７】
0005845464.tif 000008
【図８】
0005845464.tif 000009
【図９】
0005845464.tif 000010
【図１０】
0005845464.tif 000011