(57)【特許請求の範囲】
【請求項１】
カラー固体撮像素子より出力される画素信号を所定単位の画素ブロック毎に読み出すブロック読み出し手段と、
上記ブロック読み出し手段から出力される画素ブロックの画素信号から輝度信号及び色差信号を演算する信号処理手段と、
上記信号処理手段から出力される色差信号に基づいて、上記画素ブロック毎の色を検出する色検出手段とを設けたことを特徴とする撮像センサ。
【請求項２】
上記所定単位の画素ブロックは、上記カラー固体撮像素子に配設されているカラーフィルタの基本単位ブロックであることを特徴とする請求項１に記載の撮像センサ。
【請求項３】
上記色検出手段は、人間の肌色を検出することを特徴とすることを特徴とする請求項１または２に記載の撮像センサ。
【請求項４】
上記色検出手段の検出結果は、上記信号処理手段から出力される輝度信号及び色差信号に同期して出力されることを特徴とする請求項１〜３の何れか１項に記載の撮像センサ。
【請求項５】
上記色検出手段には、上記信号処理手段から出力される色差信号の内、（Ｒ−Ｙ）成分について第１の閾値及び第２の閾値が設定されるとともに、（Ｂ−Ｙ）成分について第３の閾値及び第４の閾値が設定され、上記第１の閾値＜（Ｒ−Ｙ）成分＜第２の閾値となる関係、及び上記第３の閾値＜（Ｒ−Ｙ）成分＜第４の閾値となる関係の両方が満足されたときに、目的とする色が検出されたことを示す色検出信号を出力することを特徴とする請求項１〜４の何れか１項に記載の撮像センサ。
【請求項６】
上記第１の閾値〜第４の閾値は可変であることを特徴とする請求項５に記載の撮像センサ。
【請求項７】
上記ブロック読み出し手段と、信号処理手段と、色検出手段とを撮像素子と同じＩＣチップ上に設けたことを特徴とする請求項１に記載の撮像センサ。
【請求項８】
カラー固体撮像素子より出力される画素信号を所定単位の画素ブロック毎に読み出すブロック読み出し手段と、上記ブロック読み出し手段から出力される画素ブロックの画素信号から輝度信号及び色差信号を演算する信号処理手段と、上記信号処理手段から出力される色差信号に基づいて、上記画素ブロック毎の色を検出する色検出手段とを有し、撮像素子から出力される画像信号を処理する方法であって、
色情報に関して少なくともホワイトバランス補正又はγ補正を施す色処理工程を経ずに上記色検出手段の出力を用いて画像信号の情報量を圧縮する処理を施す圧縮工程と、上記情報圧縮処理された画像信号に伸張処理を施す伸張工程とを行い、上記伸張工程が終了した後で上記色処理工程を行うことを特徴とする画像信号処理方法。
【請求項９】
上記ブロック読み出し手段と、上記信号処理手段と、上記色検出手段は、上記撮像素子と同じＩＣチップ上に設けられていることを特徴とする請求項８に記載の画像信号処理方法。
【請求項１０】
上記所定単位の画素ブロックは、上記カラー固体撮像素子に配設されているカラーフィルタの基本単位ブロックであることを特徴とする請求項８または９に記載の画像信号処理方法。
【請求項１１】
上記色検出手段は、人間の肌色を検出することを特徴とする請求項８〜１０の何れか１項に記載の画像信号処理方法。
【請求項１２】
上記色検出手段の検出結果は、上記信号処理手段から出力される輝度信号及び色差信号に同期して出力されることを特徴とする請求項８〜１１の何れか１項に記載の画像信号処理方法。
【請求項１３】
上記色検出手段には、上記信号処理手段から出力される色差信号の内、（Ｒ−Ｙ）成分について第１の閾値及び第２の閾値が設定されるとともに、（Ｂ−Ｙ）成分について第３の閾値及び第４の閾値が設定され、上記第１の閾値＜（Ｒ−Ｙ）成分＜第２の閾値となる関係、及び上記第３の閾値＜（Ｒ−Ｙ）成分＜第４の閾値となる関係の両方が満足されたときに、目的とする色が検出されたことを示す色検出信号を出力することを特徴とする８〜１７の何れか１項に記載の画像信号処理方法。
【請求項１４】
上記圧縮工程及び伸張工程はコードブック方式により行われるベクトル量子化工程及びベクトル復号化工程であることを特徴とする請求項８〜１３の何れか１項に記載の画像信号処理方法。
【請求項１５】
上記圧縮工程及び伸張工程はＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式により行われることを特徴とする８〜１３の何れか１項に記載の画像信号処理方法。
【請求項１６】
カラー固体撮像素子より出力される画素信号を所定単位の画素ブロック毎に読み出すブロック読み出し手段と、上記ブロック読み出し手段から出力される画素ブロックの画素信号から輝度信号及び色差信号を演算する信号処理手段と、上記信号処理手段から出力される色差信号に基づいて、上記画素ブロックの色を検出する色検出手段とを有し、撮像素子より出力される画像信号に所定の信号処理を施して出力する画像信号供給側と、上記画像信号供給側から得られる画像信号を使用する画像信号入力側とからなる画像信号処理システムであって、
色情報に関して少なくともホワイトバランス補正又はγ補正を施す前に上記色検出手段の出力を用いて上記画像信号に情報圧縮処理を施す圧縮手段が上記画像信号供給側に設けられ、上記情報圧縮された画像信号に情報伸張処理を施す伸張手段及び色処理手段が画像信号入力側に設けられていて、
上記圧縮手段による情報圧縮処理、及び上記伸張手段による情報伸張処理が終了した後で、上記色処理手段により、色情報に関して少なくともホワイトバランス補正又はγ補正を行うことを特徴とする画像信号処理システム。
【請求項１７】
上記ブロック読み出し手段と、上記信号処理手段と、上記色検出手段は、上記撮像素子と同じＩＣチップ上に設けられていることを特徴とする請求項１６に記載の画像信号処理システム。
【請求項１８】
上記所定単位の画素ブロックは、上記カラー固体撮像素子に配設されているカラーフィルタの基本単位ブロックであることを特徴とする請求項１６または１７に記載の画像信号処理システム。
【請求項１９】
上記色検出手段は、人間の肌色を検出することを特徴とする請求項１６〜１８の何れか１項に記載の画像信号処理システム。
【請求項２０】
上記色検出手段の検出結果は、上記信号処理手段から出力される輝度信号及び色差信号に同期して出力されることを特徴とする請求項１６〜１９の何れか１項に記載の画像信号処理システム。
【請求項２１】
上記色検出手段には、上記信号処理手段から出力される色差信号の内、（Ｒ−Ｙ）成分について第１の閾値及び第２の閾値が設定されるとともに、（Ｂ−Ｙ）成分について第３の閾値及び第４の閾値が設定され、上記第１の閾値＜（Ｒ−Ｙ）成分＜第２の閾値となる関係、及び上記第３の閾値＜（Ｒ−Ｙ）成分＜第４の閾値となる関係の両方が満足されたときに、目的とする色が検出されたことを示す色検出信号を出力することを特徴とする１６〜２０の何れか１項に記載の画像信号処理システム。
【請求項２２】
上記圧縮工程及び伸張工程はコードブック方式により行われるベクトル量子化工程及びベクトル復号化工程であることを特徴とする請求項１６〜２１の何れか１項に記載の画像信号処理システム。
【請求項２３】
上記圧縮工程及び伸張工程はＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式により行われることを特徴とする１６〜２１の何れか１項に記載の画像信号処理システム。
【請求項２４】
カラー固体撮像素子より出力される画素信号を所定単位の画素ブロック毎に読み出すブロック読み出し手段と、上記ブロック読み出し手段から出力される画素ブロックの画素信号から輝度信号及び色差信号を演算する信号処理手段と、上記信号処理手段から出力される色差信号に基づいて、上記画素ブロックの色を検出する色検出手段とを有する撮像手段と、
上記撮像手段から出力される画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正を施さない状態で上記色検出手段の出力を用いて情報圧縮処理を施して圧縮画像信号を生成する圧縮手段とを有することを特徴とする撮像装置。
【請求項２５】
上記ブロック読み出し手段と、上記信号処理手段と、上記色検出手段は、上記撮像素子と同じＩＣチップ上に設けられていることを特徴とする請求項２４に記載の撮像装置。
【請求項２６】
上記圧縮手段から出力される圧縮画像信号を記憶媒体に書き込む書き込み手段を有することを特徴とする請求項２４に記載の撮像装置。
【請求項２７】
上記記憶媒体に記憶した圧縮画像信号を読み出す読み出し手段と、
上記読み出し手段によって読み出された圧縮画像信号に情報伸張処理を施す伸張手段と、
上記伸張手段によって再生された画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正の何れか１つの処理を施す色処理手段とを具備することを特徴とする請求項２４に記載の撮像装置。
【請求項２８】
上記所定単位の画素ブロックは、上記カラー固体撮像素子に配設されているカラーフィルタの基本単位ブロックであることを特徴とする請求項２４〜２７の何れか１項に記載の撮像装置。
【請求項２９】
上記色検出手段は、人間の肌色を検出することを特徴とする請求項２４〜２８の何れか１項に記載の撮像装置。
【請求項３０】
上記色検出手段の検出結果は、上記信号処理手段から出力される輝度信号及び色差信号に同期して出力されることを特徴とする請求項２４〜２９の何れか１項に記載の撮像装置。
【請求項３１】
上記色検出手段は、上記信号処理手段から出力される色差信号の内、（Ｒ−Ｙ）成分について第１の閾値及び第２の閾値を設定するとともに、（Ｂ−Ｙ）成分について第３の閾値及び第４の閾値を設定し、上記第１の閾値＜（Ｒ−Ｙ）成分＜第２の閾値となる関係、及び上記第３の閾値＜（Ｒ−Ｙ）成分＜第４の閾値となる関係の両方を満足させたときに、目的とする色が検出されたことを示す色検出信号を出力することを特徴とする請求項２４〜３０の何れか１項に記載の撮像装置。
【請求項３２】
上記圧縮工程及び伸張工程はコードブック方式により行われるベクトル量子化工程及びベクトル復号化工程であることを特徴とする請求項２４〜３１の何れか１項に記載の撮像装置。
【請求項３３】
上記圧縮工程及び伸張工程はＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式により行われることを特徴とする請求項２４〜３２の何れか１項に記載の撮像装置。
【請求項３４】
請求項８〜１５の何れか１項に記載の画像信号処理方法の手順をコンピュータに実行させるためのプログラムを格納したことを特徴とする記憶媒体。
【請求項３５】
請求項１６〜３３の何れかに記載の各手段としてコンピュータを機能させるためのプログラムを格納したことを特徴とする記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体に関する。
【０００２】
【従来の技術】
カラー画像信号を取り扱う画像信号処理回路においては、撮像センサから出力される画像信号について種々の画像信号処理を行っている。上記画像信号処理の一つとして、人物を識別するためのはだ色判定を行う装置が知られている。
【０００３】
図１０は、従来のはだ色判定装置の概略構成を示すブロック図である。図１０に示したように、このはだ色判定装置は、ＣＣＤ（撮像センサ）１０１からアナログ信号として出力された画像信号をＡ／Ｄ変換回路１０２でデジタル信号に変換し、ラインメモリ１０３に所定のデータ量（例えば、２ライン分のデータ）だけ蓄積する。
【０００４】
そして、上記ラインメモリ１０３に蓄積された画像データを、画像処理回路１０４において、例えば、「２×２」の画素ブロック単位で画像処理して輝度信号Ｙ、色差信号Ｕ、Ｖを生成する。そして、上記色差信号Ｕ、Ｖをはだ色判定回路１０５に供給し色差信号Ｕ、Ｖの信号成分に基いてはだ色判定を行っている。
【０００５】
【発明が解決しようとする課題】
上述のようにしてはだ色判定を行う場合において、ＣＣＤ（撮像センサ）１０１から出力される画像信号は線順次のシリアルで出力されるので、Ａ／Ｄ変換回路１０２でデジタル変換後にラインメモリ１０３に蓄えてからでないと所定の画素ブロック単位で画像処理を行うことができなかった。
【０００６】
このため、従来は色判定を含む画像処理を行う場合には大きな容量のメモリが必要であり、コストパフォーマンスが悪いだけでなく、信号処理を行う速度が遅くなってしまう問題があった。
【０００７】
本発明は上述の問題点にかんがみ、任意の画素の色判定処理を内部で行うことが可能な撮像センサを提供できるようにすることを第１の目的とする。
また、撮像センサから出力される画像信号に種々の処理を施す画像信号処理回路の構成を簡素化できるようにするとともに、画像信号処理回路における処理速度を向上させることができるようにすることを第２の目的とする。
【０００８】
【課題を解決するための手段】
本発明の撮像センサは、カラー固体撮像素子より出力される画素信号を所定単位の画素ブロック毎に読み出すブロック読み出し手段と、上記ブロック読み出し手段から出力される画素ブロックの画素信号から輝度信号及び色差信号を演算する信号処理手段と、上記信号処理手段から出力される色差信号に基づいて、上記画素ブロック毎の色を検出する色検出手段とを設けたことを特徴としている。
また、本発明の撮像センサの他の特徴とするところは、上記所定単位の画素ブロックは、上記カラー固体撮像素子に配設されているカラーフィルタの基本単位ブロックであることを特徴としている。
また、本発明の撮像センサのその他の特徴とするところは、上記色検出手段は、人間の肌色を検出することを特徴とすることを特徴としている。
また、本発明の撮像センサのその他の特徴とするところは、上記色検出手段の検出結果は、上記信号処理手段から出力される輝度信号及び色差信号に同期して出力されることを特徴としている。
また、本発明の撮像センサのその他の特徴とするところは、上記色検出手段には、上記信号処理手段から出力される色差信号の内、（Ｒ−Ｙ）成分について第１の閾値及び第２の閾値が設定されるとともに、（Ｂ−Ｙ）成分について第３の閾値及び第４の閾値が設定され、上記第１の閾値＜（Ｒ−Ｙ）成分＜第２の閾値となる関係、及び上記第３の閾値＜（Ｒ−Ｙ）成分＜第４の閾値となる関係の両方が満足されたときに、目的とする色が検出されたことを示す色検出信号を出力することを特徴としている。
また、本発明の撮像センサのその他の特徴とするところは、上記第１の閾値〜第４の閾値は可変であることを特徴としている。
また、本発明の撮像センサのその他の特徴とするところは、上記ブロック読み出し手段と、信号処理手段と、色検出手段とを撮像素子と同じＩＣチップ上に設けたことを特徴としている。
【０００９】
本発明の画像信号処理方法は、カラー固体撮像素子より出力される画素信号を所定単位の画素ブロック毎に読み出すブロック読み出し手段と、上記ブロック読み出し手段から出力される画素ブロックの画素信号から輝度信号及び色差信号を演算する信号処理手段と、上記信号処理手段から出力される色差信号に基づいて、上記画素ブロック毎の色を検出する色検出手段とを有し、撮像素子から出力される画像信号を処理する方法であって、色情報に関して少なくともホワイトバランス補正又はγ補正を施す色処理工程を経ずに上記色検出手段の出力を用いて画像信号の情報量を圧縮する処理を施す圧縮工程と、上記情報圧縮処理された画像信号に伸張処理を施す伸張工程とを行い、上記伸張工程が終了した後で上記色処理工程を行うことを特徴としている。
また、本発明の画像信号処理方法の他の特徴とするところは、上記ブロック読み出し手段と、上記信号処理手段と、上記色検出手段は、上記撮像素子と同じＩＣチップ上に設けられていることを特徴としている。
また、本発明の画像信号処理方法のその他の特徴とするところは、上記所定単位の画素ブロックは、上記カラー固体撮像素子に配設されているカラーフィルタの基本単位ブロックであることを特徴としている。
また、本発明の画像信号処理方法のその他の特徴とするところは、上記色検出手段は、人間の肌色を検出することを特徴としている。
また、本発明の画像信号処理方法のその他の特徴とするところは、上記色検出手段の検出結果は、上記信号処理手段から出力される輝度信号及び色差信号に同期して出力されることを特徴としている。
また、本発明の画像信号処理方法のその他の特徴とするところは、上記色検出手段には、上記信号処理手段から出力される色差信号の内、（Ｒ−Ｙ）成分について第１の閾値及び第２の閾値が設定されるとともに、（Ｂ−Ｙ）成分について第３の閾値及び第４の閾値が設定され、上記第１の閾値＜（Ｒ−Ｙ）成分＜第２の閾値となる関係、及び上記第３の閾値＜（Ｒ−Ｙ）成分＜第４の閾値となる関係の両方が満足されたときに、目的とする色が検出されたことを示す色検出信号を出力することを特徴としている。
また、本発明の画像信号処理方法のその他の特徴とするところは、上記圧縮工程及び伸張工程はコードブック方式により行われるベクトル量子化工程及びベクトル復号化工程であることを特徴としている。
また、本発明の画像信号処理方法のその他の特徴とするところは、上記圧縮工程及び伸張工程はＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式により行われることを特徴としている。
【００１０】
本発明の画像信号処理システムは、カラー固体撮像素子より出力される画素信号を所定単位の画素ブロック毎に読み出すブロック読み出し手段と、上記ブロック読み出し手段から出力される画素ブロックの画素信号から輝度信号及び色差信号を演算する信号処理手段と、上記信号処理手段から出力される色差信号に基づいて、上記画素ブロックの色を検出する色検出手段とを有し、撮像素子より出力される画像信号に所定の信号処理を施して出力する画像信号供給側と、上記画像信号供給側から得られる画像信号を使用する画像信号入力側とからなる画像信号処理システムであって、色情報に関して少なくともホワイトバランス補正又はγ補正を施す前に上記色検出手段の出力を用いて上記画像信号に情報圧縮処理を施す圧縮手段が上記画像信号供給側に設けられ、上記情報圧縮された画像信号に情報伸張処理を施す伸張手段及び色処理手段が画像信号入力側に設けられていて、上記圧縮手段による情報圧縮処理、及び上記伸張手段による情報伸張処理が終了した後で、上記色処理手段により、色情報に関して少なくともホワイトバランス補正又はγ補正を行うことを特徴としている。
また、本発明の画像信号処理システムの他の特徴とするところは、上記ブロック読み出し手段と、上記信号処理手段と、上記色検出手段は、上記撮像素子と同じＩＣチップ上に設けられていることを特徴としている。
また、本発明の画像信号処理システムのその他の特徴とするところは、上記所定単位の画素ブロックは、上記カラー固体撮像素子に配設されているカラーフィルタの基本単位ブロックであることを特徴としている。
また、本発明の画像信号処理システムのその他の特徴とするところは、上記色検出手段は、人間の肌色を検出することを特徴としている。
また、本発明の画像信号処理システムのその他の特徴とするところは、上記色検出手段の検出結果は、上記信号処理手段から出力される輝度信号及び色差信号に同期して出力されることを特徴としている。
また、本発明の画像信号処理システムのその他の特徴とするところは、上記色検出手段には、上記信号処理手段から出力される色差信号の内、（Ｒ−Ｙ）成分について第１の閾値及び第２の閾値が設定されるとともに、（Ｂ−Ｙ）成分について第３の閾値及び第４の閾値が設定され、上記第１の閾値＜（Ｒ−Ｙ）成分＜第２の閾値となる関係、及び上記第３の閾値＜（Ｒ−Ｙ）成分＜第４の閾値となる関係の両方が満足されたときに、目的とする色が検出されたことを示す色検出信号を出力することを特徴としている。
また、本発明の画像信号処理システムのその他の特徴とするところは、上記圧縮工程及び伸張工程はコードブック方式により行われるベクトル量子化工程及びベクトル復号化工程であることを特徴としている。
また、本発明の画像信号処理システムのその他の特徴とするところは、上記圧縮工程及び伸張工程はＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式により行われることを特徴としている。
【００１１】
本発明の撮像装置は、カラー固体撮像素子より出力される画素信号を所定単位の画素ブロック毎に読み出すブロック読み出し手段と、上記ブロック読み出し手段から出力される画素ブロックの画素信号から輝度信号及び色差信号を演算する信号処理手段と、上記信号処理手段から出力される色差信号に基づいて、上記画素ブロックの色を検出する色検出手段とを有する撮像手段と、上記撮像手段から出力される画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正を施さない状態で上記色検出手段の出力を用いて情報圧縮処理を施して圧縮画像信号を生成する圧縮手段とを有することを特徴としている。
また、本発明の撮像装置の他の特徴とするところは、上記ブロック読み出し手段と、上記信号処理手段と、上記色検出手段は、上記撮像素子と同じＩＣチップ上に設けられていることを特徴としている。
また、本発明の撮像装置のその他の特徴とするところは、上記圧縮手段から出力される圧縮画像信号を記憶媒体に書き込む書き込み手段を有することを特徴としている。
また、本発明の撮像装置のその他の特徴とするところは、上記記憶媒体に記憶した圧縮画像信号を読み出す読み出し手段と、上記読み出し手段によって読み出された圧縮画像信号に情報伸張処理を施す伸張手段と、上記伸張手段によって再生された画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正の何れか１つの処理を施す色処理手段とを具備することを特徴としている。
また、本発明の撮像装置のその他の特徴とするところは、上記所定単位の画素ブロックは、上記カラー固体撮像素子に配設されているカラーフィルタの基本単位ブロックであることを特徴としている。
また、本発明の撮像装置のその他の特徴とするところは、上記色検出手段は、人間の肌色を検出することを特徴としている。
また、本発明の撮像装置のその他の特徴とするところは、上記色検出手段の検出結果は、上記信号処理手段から出力される輝度信号及び色差信号に同期して出力されることを特徴としている。
また、本発明の撮像装置のその他の特徴とするところは、上記色検出手段は、上記信号処理手段から出力される色差信号の内、（Ｒ−Ｙ）成分について第１の閾値及び第２の閾値を設定するとともに、（Ｂ−Ｙ）成分について第３の閾値及び第４の閾値を設定し、上記第１の閾値＜（Ｒ−Ｙ）成分＜第２の閾値となる関係、及び上記第３の閾値＜（Ｒ−Ｙ）成分＜第４の閾値となる関係の両方を満足させたときに、目的とする色が検出されたことを示す色検出信号を出力することを特徴としている。
また、本発明の撮像装置のその他の特徴とするところは、上記圧縮工程及び伸張工程はコードブック方式により行われるベクトル量子化工程及びベクトル復号化工程であることを特徴としている。
また、本発明の撮像装置のその他の特徴とするところは、上記圧縮工程及び伸張工程はＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式により行われることを特徴としている。
【００１２】
本発明の記憶媒体は、上記画像信号処理方法の手順をコンピュータに実行させるためのプログラムを格納したことを特徴としている。
また、本発明の記憶媒体の他の特徴とするところは、上記各手段としてコンピュータを機能させるためのプログラムを格納したことを特徴としている。
【００１３】
【発明の実施の形態】
次に、本発明の撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体の実施の形態を説明する。
図１は、本発明の撮像センサの構成を示すブロック図である。図１に示したように、この撮像センサ１０は、２次元イメージセンサ（光電変換部）１１、２ライン画像メモリ１２、ブロック読み出し回路１３、輝度色差信号演算部１４、はだ色判定回路１５をＩＣチップ上に形成して構成したものである。
【００１４】
このように構成した本実施の形態の撮像センサ１０は、輝度信号Ｙ、及び色差信号Ｕ、Ｖを生成するために、２次元イメージセンサ１１上にカラーフィルタを配設している。
【００１５】
図２は、２次元イメージセンサ１１上に配設するカラーフィルタの基本配列例を示しており、図２（ａ）は原色系カラーフィルタにおけるベイヤー配列（ＲＧＧＢ）を示している。この場合、輝度信号Ｙ1 は、Ｙ1 ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂとなる。また、色差信号Ｕは、Ｕ＝Ｒ1 −Ｙ1 となり、色差信号Ｖは、Ｖ＝Ｂ1 −Ｙ1 となる。
【００１６】
また、図２（ｂ）は補色系系カラーフィルタの場合の例を示している。この場合、輝度信号Ｙは、Ｙ＝Ｍｇ＋Ｇ＋Ｃｙ＋Ｙｅ＝２Ｂ＋３Ｇ＋２Ｒとなる。また、色差信号Ｕは、Ｕ＝（Ｍｇ＋Ｙｅ）−（Ｇ＋Ｃｙ）＝２Ｒ−Ｇとなり、色差信号Ｖは、Ｖ＝（Ｇ＋Ｙｅ）−（Ｍｇ＋Ｃｙ）＝２Ｂ−Ｇとなる。
【００１７】
このような基本単位のカラーフィルタを配設された２次元イメージセンサ１１から出力される画素信号は、２ライン画像メモリ１２に与えられ、２ライン分の信号が蓄積される。そして、ブロック読み出し回路１３によりカラーフィルタの基本単位（２×２）毎に読み出され、輝度色差信号演算部１４に与えられる。
【００１８】
輝度色差信号演算部１４は、図３のフローチャートのステップＰ１に示したように、入力された基本単位ブロックの画素信号を図２（ａ）、（ｂ）のような式でマトリックス演算して、輝度信号Ｙ、及び色差信号Ｕ、Ｖを生成して外部に出力するとともに、色差信号Ｕ、Ｖをはだ色判定回路１５に出力する。
【００１９】
はだ色判定回路１５は、図３のフローチャートのステップＰ２に示したように、入力された（２×２）画素単位で色差信号Ｕ、Ｖがはだ色であるか否かを判定する。本実施の形態い１５には、はだ色判定を行うための閾値が予め設定されており、上記閾値に基いてはだ色判定を行う。
【００２０】
すなわち、図４に示すように、上記判定用の閾値として、（Ｒ−Ｙ）成分について第１の閾値（Ａ）及び第２の閾値（Ｂ）が設定されている。また、（Ｂ−Ｙ）成分について第３の閾値（−Ｄ）及び第４の閾値（−Ｃ）が設定されている。
【００２１】
そして、入力された色差信号Ｕ、Ｖが、上記第１の閾値（Ａ）＜色差信号Ｕ＜第２の閾値（Ｂ）となり、第３の閾値（−Ｄ）＜色差信号Ｖ＜第４の閾値（−Ｃ）となったときに、入力された画素ブロックの色がはだ色であると判定している。又は、図４で斜線で示す領域にあるか否かを判別している。
【００２２】
図５は、２次元イメージセンサ１１の構成例を示し、原色系のカラーフィルタを配設した例を示す回路図である。図５の回路において、Ｈ1 ラインがアクティブになると、画素Ｒ1 が垂直出力線Ｖ1 に転送される。また、Ｇ1Aが垂直出力線Ｖ2 に転送され、Ｒ4 が垂直出力線Ｖ3 に転送され、Ｇ4Aが垂直出力線Ｖ4 に転送される。
【００２３】
次に、読み出し用トランジスタのゲート線Ｓ1 をアクィブにすると、各垂直出力線Ｖ1 〜Ｖ4 上の画素データがメモリ用コンデンサＣに書き込まれて保持される。すなわち、画素Ｒ1 のデータがメモリ用コンデンサＣ1 に、画素Ｇ1Aのデータがメモリ用コンデンサＣ3 に、画素Ｒ4 のデータがメモリ用コンデンサＣ5 に、画素Ｇ4Aのデータがメモリ用コンデンサＣ7 にそれぞれ書き込まれる。
【００２４】
次に、Ｓ1 をオフしてからＶ1 〜Ｖ4 をリセットし、次に、Ｈ2 ラインがアクティブになると、画素Ｇ1Bが垂直出力線Ｖ1 に転送される。また、Ｂ1 が垂直出力線Ｖ2 に転送され、Ｇ4Bが垂直出力線Ｖ3 に転送され、Ｂ4 が垂直出力線Ｖ4 に転送される。
【００２５】
次に、読み出し用トランジスタのゲート線Ｓ2 をアクティブにすると、各垂直出力線Ｖ1 〜Ｖ4 上の画素データは、画素Ｇ1Bのデータがメモリ用コンデンサＣ2 に、画素Ｂ1 のデータがメモリ用コンデンサＣ4 に、画素Ｇ4Bのデータがメモリ用コンデンサＣ6 に、画素Ｂ4 のデータがメモリ用コンデンサＣ8 にそれぞれ書き込まれる。
【００２６】
上述のようにして、２ライン分の画素データが２ライン画像メモリ１２に書き込まれたら、（２×２）画素ブロック毎に読み出しを行う。すなわち、読み出し用トランジスタのゲート線Ｂ1 をアクティブにすると、メモリ用コンデンサＣ1 〜Ｃ4 に保持されていた画素データＲ1 、Ｇ1B、Ｇ1A、Ｂ1 が並列に出力される。
【００２７】
次に、読み出し用トランジスタのゲート線Ｂ2 をアクティブにすると、メモリ用コンデンサＣ5 〜Ｃ8 に保持されていた画素データＲ4 、Ｇ4B、Ｇ4A、Ｂ4 が並列に出力される。上述のようにして、（２×２）画素ブロック毎の逐次読み出しを行うようにしている。
【００２８】
図６は、輝度色差信号演算部１４及びはだ色判定回路１５の具体的な構成例を示す回路図である。輝度色差信号演算部１４に入力された画素データＲ1 、Ｇ1B、Ｇ1A、Ｂ1 は、画素データＧ1Bと画素データＧ1Aとが加算され、その後に「×０．５」の係数が掛けられて平均値が求められる。また、画素データＲ1 には「×０．３」の係数、画素データＢ1 には「×０．１１」の係数が掛けられた後で加算され、輝度信号Ｙが生成される。次に、（Ｒ−Ｙ）の演算及び（Ｂ−Ｙ）の演算が行われて色差信号Ｕ、Ｖが求められる。
【００２９】
上述したように、求めた輝度信号Ｙ、及び色差信号Ｕ、Ｖは撮像センサ１０の外部に出力されるとともに、色差信号Ｕ、Ｖはだ色判定回路１５に与えられる。上述したようにはだ色判定回路１５には、はだ色判定用の閾値（Ａ）、（Ｂ）、（−Ｄ）、（−Ｃ）が設定されており、色差信号Ｕ及び色差信号Ｖはこれらの閾値と比較される。
【００３０】
そして、上述したように、第１の閾値（Ａ）＜色差信号Ｕ＜第２の閾値（Ｂ）となり、第３の閾値（−Ｄ）＜色差信号Ｖ＜第４の閾値（−Ｃ）となったときに、入力された画素ブロックの色をはだ色であると判定している。
【００３１】
図７は、２次元イメージセンサ１１の別の構成例を示し、補色系のカラーフィルタを配設した例を示す回路図である。また、図８は補色系のカラーフィルタを配設した場合における輝度色差信号演算部１４及びはだ色判定回路１５の構成例を示す回路図である。なお、図７の回路の動作は、図５に示した回路の動作と同様であり、図８の回路の動作は図６に示した回路の動作と同様であるので、詳細な説明を省略する。
【００３２】
図９は、はだ色検出信号を用いた画像処理装置の一例を示すブロック図であり、顔画像抽出装置の一例を示している。
図９に示したように、再生された一つの画面において、はだ色の領域についてははだ色判定回路１５からはだ色フラグが出力されるので、上記はだ色の領域を含む所定の範囲を顔切り出し枠として設定することにより、一つの画面において、顔画像を容易に、且つ確実に切り出すことができる。
【００３３】
なお、上述した実施の形態においては、はだ色を検出する例について示したが、はだ色判定回路１５に設定する閾値を変えることにより、はだ色以外の任意の色についても検出することができる。
【００３４】
上述した実施の形態においては、カラーフィルタの基本単位毎にはだ色検出を行うようにした例を示したが、「ｎ×ｍ」（ｎ，ｍは自然数）ブロックの画素の平均値を演算し、上記平均値に基いて生成した色差信号Ｕ、Ｖに基いてはだ色検出を行うようにすることができる。
【００３５】
次に、本実施の形態の撮像センサ１０を用いた第２の実施の形態を、図１１のブロック図を参照しながら説明する。
図１１は、本発明の撮像部１０を用いて構成した画像信号処理システムの一例を示すブロック図である。図１１に示したように、この画像信号処理システムは、撮像素子ＩＣチップ部（撮像部）１０、コードブック方式圧縮装置４０、コード番号出力装置４１によって画像信号の出力側が構成されている。また、コード番号入力装置５０、コードブック方式伸張装置６０、色処理装置１００、画像表示または記憶装置９０によって画像信号の入力側が構成されている。
【００３６】
上記撮像センサ１０は撮像素子（受光素子）１１、及び２ライン画像メモリ１２、ブロック読み出し回路１３、輝度色差信号演算部１４、はだ色判定回路１５よりなる撮像信号処理装置１２１を有し、上述したように、撮像センサ１０からはＹ信号、Ｕ信号、Ｖ信号等の撮像部出力信号Ｓ１０、及びはだ色検出信号（フラグ）が出力される。
【００３７】
上記撮像センサ１０から出力される撮像部出力信号Ｓ１０は、コードブック方式圧縮装置４０に入力される。上記コードブック方式圧縮装置４０は、上述したように、撮像センサ１０から入力された所定の画素数分の撮像部出力信号Ｓ１０のパターンと、コードブック記憶装置（図示せず）に予め記憶されている複数のコード（パターン）とを比較する。すなわち、撮像部出力信号Ｓ１０出力が１０００×１０００画素分の信号であるとすると、これは例えば、圧縮用の４×４画素ブロック単位でコードブック内のコードパターンと比較する。このコードパターンも４×４画素ブロックから成る。
【００３８】
本実施の形態のコードブック記憶装置（図示せず）には、撮像センサ１０から出力される撮像部出力信号Ｓ１０からの圧縮ブロックサイズに対応するパターンで複数のコードが記憶されており、コードブック方式圧縮装置４０はその中で最も似通ったパターンを見つけ出すために、コードブックの中から先ず、はだ色のコード群のみを選択する。例えば、コードブックのコードの中からはだ色用のコードには予めマークが付加されていてもよいし、コードブックの中の各コード毎の色を演算して肌色のもののみを選択してもよい。その上で絞り込まれたコード群の中から最も相関性の高いものを選び、そのパターンのコード番号を出力する。そして、コードブック方式圧縮装置４０から出力されたコード番号は、コード番号出力装置４１により通信回線等の媒体を介してコード番号入力装置側に送信される。
【００３９】
通信回線を介して送られてきたコード番号は、コード番号入力装置５０によって入力されてコードブック方式伸張装置６０に供給される。コードブック方式伸張装置６０は、入力されたコード番号に対応するパターンをコードブック記憶装置（図示せず）から読みだして、コードブック方式圧縮装置４０によって圧縮した画像データを再生する。
【００４０】
コードブック方式伸張装置６０によって再生された撮像部出力信号Ｓ１０は、次に、色処理装置１００に与えられる。上記色処理装置１００は、入力された撮像部出力信号Ｓ１０中の色情報に関しホワイトバランス補正、γ補正等の色補正処理のように、良好な画質を得るために必要な種々の処理を行う色処理部８２を有している。
【００４１】
したがって、コードブック方式伸張装置６０から入力された原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒは、この色処理装置１００において所定の色処理が施され、最終的な輝度信号ｙ、及び色差信号ｕ、ｖが生成されて出力される。
【００４２】
色処理装置１００から出力された輝度信号ｙ、及び色差信号ｕ、ｖは、画像表示または記憶装置９０に与えられ、画像表示されたり、記憶媒体に記憶されたりする。なお、本実施の形態においては、情報圧縮伸張方式としてコードブック方式を用いた例を示したが、ＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式を用いるようにしてもよい。
【００４３】
上述のように、本実施の形態の画像信号処理システムは、高品位の画質を得るために行う色補正処理を、情報圧縮処理の前に行わずに情報伸張処理の後で行っている。したがって、情報圧縮処理→情報伸張処理に伴って発生するブロックノイズや高周波ノイズによる画質の劣化を最小限に抑えることができ、回線を介して伝送する際の情報量を大幅に削減できるとともに、色処理後に画像信号が劣化しないようにすることができ、高品位の画質を得ることができる。
【００４４】
次に、図１２を参照しながら第３の実施の形態を説明する。上述した第２の実施の形態においては、圧縮処理を施した信号を通信回線等の媒体を介して外部に出力するようにした例を示したが、この例においては、圧縮後の信号を一旦記録媒体に記録し、これを再生するとともに、圧縮伸張処理の後で色処理を行う撮像装置に適用した例を示している。
【００４５】
すなわち、図１１と異なる構成は、コードブック方式圧縮装置４０とコードブック方式伸張装置６０との間に、書込装置１３０、記憶媒体１３１、読出装置１３２を設けている。
【００４６】
このように構成することにより、撮像センサ１０から出力される画像信号を記憶媒体１３１に記憶するために必要な記憶容量を格段と低減することができ、しかも記憶媒体１３１から読み出した画像信号をコードブック方式伸張装置６０で再生してから色処理装置１００内において色処理を行うので、画質の劣化が少なくて済み、高品質な画像を画像表示装置１３３に表示することができる。
【００４７】
なお、本実施の形態撮像装置は媒体１３１までの構成にとどめることもできる。また、上記読出装置１３２、コードブック方式伸張装置６０、色処理装置１００、画像表示装置１３３は再生装置（例えば、パソコン）に含ませることもできる。
【００４８】
また、本実施の形態においては、情報圧縮伸張方式としてコードブック方式を用いた例を示したが、ＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式を用いるようにしてもよい。
【００４９】
なお、上述した実施の形態の各機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ、いずれも図示せず）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【００５０】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００５１】
また、コンピュータが読みだしたプログラムコードを実行することにより、実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって実施の形態の機能が実現される場合も含まれる。
【００５２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって実施の形態の機能が実現される場合も含まれる。
【００５３】
【発明の効果】
本発明は上述したように、所定の画素ブロックについて色検出を行うことができるるので、撮像センサから出力される画像信号中における任意の色を検出する処理を容易に、且つ確実に行うことができる。
【００５４】
また、本発明の他の特徴によれば、画像圧縮に適した形式の画像信号を撮像センサから出力することができるので、撮像センサから出力される画像信号を圧縮処理する際の精度及び処理速度を大幅に向上させることができる。
【００５５】
また、本発明のその他の特徴によれば、カラー画像信号処理を行う場合の一般的な前処理である輝度色差演算等を撮像センサ上で行うことができるので、演算速度を高速化することができるとともに、後段で行う色信号処理に必要なメモリ容量を低減することができる。
【００５６】
また、本発明の他の特徴によれば、色情報に関し少なくともホワイトバランス補正又はγ補正等の色補正を行わずに、撮像素子からのブロックごとの特徴データを演算し、この特徴データを用いて画像信号に情報圧縮処理を施す圧縮処理と、上記情報圧縮処理された画像信号に情報伸張処理を施す伸張処理とを行う場合に、上記情報圧縮処理及び情報伸張処理を行った後で上記色処理を行うようにしたので、画像信号を伝送したり、記憶媒体に記憶したりする際のデータ量を大幅に削減することができ、且つ色処理後に画質の劣化が生じないようにすることができて高品質の画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の撮像センサの構成例を示すブロック図である。
【図２】カラーフィルタ配列の例を示す図である。
【図３】はだ色判定を行う処理の概略を示すフローチャートである。
【図４】はだ色判定を行うための色成分について示した図である。
【図５】原色系のカラーフィルタを配設した２次元イメージセンサ及び２ライン画像メモリの構成例を示す回路図である。
【図６】図５の回路に対応する輝度色差信号演算部及びはだ色判定回路の構成例を示す回路図である。
【図７】補色系のカラーフィルタを配設した２次元イメージセンサ及び２ライン画像メモリの構成例を示す回路図である。
【図８】図７の回路に対応する輝度色差信号演算部及びはだ色判定回路の構成例を示す回路図である。
【図９】本実施の形態の撮像センサを顔画像抽出装置に適用した例を示すブロック図である。
【図１０】従来のはだ色検出装置の概略構成を示すブロック図である。
【図１１】本実施の形態の撮像センサを用いた画像信号処理システムの第２の実施の形態を示すブロック図である。
【図１２】本実施の形態の撮像センサを撮像装置に適用した一例を示すブロック図である。
【符号の説明】
１０  撮像センサ（撮像部）
１１  ２次元イメージセンサ
１２  ２ライン画像メモリ
１３  ブロック読み出し回路
１４  輝度色差信号演算部
１５  はだ色判定回路
【図１】
0003667098.tif 000002
【図２】
0003667098.tif 000003
【図３】
0003667098.tif 000004
【図４】
0003667098.tif 000005
【図５】
0003667098.tif 000006
【図６】
0003667098.tif 000007
【図７】
0003667098.tif 000008
【図８】
0003667098.tif 000009
【図９】
0003667098.tif 000010
【図１０】
0003667098.tif 000011
【図１１】
0003667098.tif 000012
【図１２】
0003667098.tif 000013