(57)【特許請求の範囲】
【請求項１】
分光特性の異なる複数種の色フィルタを有する撮像素子と、
上記撮像素子より出力され上記複数種の色フィルタに各々対応する信号を積分する積分手段と、
画面内の複数のサンプルポイントにおいて、各サンプルポイントごとに色フィルタに対応した複数の色信号を抽出する抽出手段と、
上記抽出手段によって上記各サンプルポイントより抽出された複数の色信号間で、比較演算を行い、その結果が所定範囲内にあるか否かを判別する判別手段と、
上記判別手段によって所定範囲内にあると判別された上記画面内における上記サンプルポイントの数が所定数よりも多い場合には、上記所定範囲内にあると判別されたサンプルポイントの各色信号の積分結果に基づきホワイトバランス制御のための制御信号を生成し、
上記判別手段によって所定範囲内にあると判別された上記サンプルポイントの数が所定数よりも少ない場合には、予め定めた値を用いて上記ホワイトバランス制御のための制御信号を設定する制御信号生成手段と、
を備えた撮像装置。
【請求項２】
上記判別手段は上記サンプルポイントごとに上記複数の異なる色信号間の比較演算を行い、その結果のうちいずれか一つでも所定範囲内にないと判別したときは、上記制御信号生成手段は、上記複数の異なる色信号間の比較演算の結果のうちいずれか一つでも所定範囲内にないと判別されたサンプルポイントにおける各信号をホワイトバランス制御信号の生成に使用しないことを特徴とする請求項１記載の撮像装置。
【請求項３】
上記抽出手段が抽出する抽出単位が上記撮像素子上に配列された複数色フィルタの配列パターンにおける単位ブロックから成ることを特徴とする請求項１記載の撮像装置。
【請求項４】
上記判別手段が行う上記複数の信号間での比較演算は減算であることを特徴とする請求項１記載の撮像装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は撮像装置に関するものである。
【０００２】
【従来の技術】
図２２は従来のデジタル電子カメラのブロック図である。
図２２において３００はデジタル電子カメラ、３０８はメモリカード等の記録媒体である。デジタル電子カメラ３００において、３０１は焦点距離や画角が調整可能な撮像レンズ、３０２は絞り機能とシャッタ機能とを兼ねる絞り兼用シャッタ、３０４は撮像レンズ３０１や絞り兼用シャッタ３０２のメカ系駆動回路である。１０１は被写体からの反射光を電気信号に変換するＣＣＤ等の撮像素子、１０３は撮像素子１０１を動作させるために必要なタイミング信号を発生するタイミング信号発生回路、１０２はタイミング信号発生回路１０３からの信号を撮像信号駆動可能なレベルに増幅する撮像素子駆動回路、１０４は撮像素子１０１の出力ノイズ除去のためのＣＤＳ回路やＡＧＣ回路を備えたプリプロセス手段、１０５はＡ／Ｄ変換器である。
【０００３】
３０３はＡ／Ｄ変換されたデジタル信号を処理する回路を有する撮像信号処理回路、１０８はシステム制御ＣＰＵ、１１６は操作補助のための表示やカメラの状態を表わす操作表示部、１１８はカメラの撮影開始を外部撮影者が制御するためのスイッチを設けた操作部で、このスイッチは第１ストロークＳＷ１と第２ストロークＳＷ２の２段階操作が可能である。３０７はデジタル電子カメラ３００と記録媒体３０８とを接続するための記録媒体１／Ｆである。また３０５は撮像レンズ３０１の焦点調整のために撮像装置と被写体との距離を測定する測距センサ、３０６は被写体の明るさを測定する測光センサである。
【０００４】
また、図２３は撮像信号処理回路３０３の内部構成とその周辺を示すブロック図である。
１０１は色フィルタが補色の撮像素子（ＣＣＤ）であり、撮像した信号はプリプロセス手段１０４を介してＡ／Ｄ変換器１０５に入力し、デジタル信号に変換された後に撮像信号処理回路３０３に入力される。入力された信号はメモリ４１０に一旦記憶した後、あるいは入力信号を直接にエンハンサー・Ｃ  ＳＥＰ回路４０１へ入力する。エンハンサー・Ｃ  ＳＥＰ回路４０１および遅延器４０２を用いて輝度信号Ｙと色信号とを分離し、輝度信号に対しては周波数の高域部に対する強調・補償を行う。
【０００５】
出力される上記色信号はＣＣＤ色フィルタ（Ｍｇ、Ｇ、Ｃｙ、Ｙｅ）をそれぞれ加算した信号（Ｗｒ、Ｗｂ、Ｇｒ、Ｇｂ）であり、同色信号を色マトリクス４０３においてＲＧＢ信号に変換する。次にローパスフィルタ４０４にて輝度信号Ｙと色信号とに対してフィルタ処理を施す。ホワイトバランス回路４０５は色信号ＲＧＢそれぞれの利得をホワイトバランス制御回路４０８の制御に従って制御する。次にガンマ回路４０６において信号ＹおよびＲＧＢに対してガンマ処理を施す。色差マトリスク４０７はガンマ処理されたＲＧＢ信号を色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。尚、ホワイトバランス制御回路４０８はＲＧＢ信号あるいは色差マトリスク４０７の出力Ｒ−Ｙ、Ｂ−Ｙ信号を一定期間（１フィールド期間）積分し、積分値に応じてホワイトバランス回路４０５でホワイトバランスを制御するための制御信号を発生させる。
【０００６】
次にローパスフィルタ４０９により色差信号に対するフィルタ処理した後、輝度信号Ｙと色差信号Ｒ−Ｙ、Ｂ−Ｙとをメモリ４１０に１画像分記憶する。メモリ４１０から読み出した信号に対して圧縮回路４１１においてデータ圧縮処理を施す。尚、４１２はＣＣＤ１０１をフレーム読み出しする時の垂直方向の画素加算を行う画素加算回路である。
【０００７】
このようにＣＣＤ出力の画素混合された信号に対する色マトリクス回路４０３における処理は、“テレビジョン学会技術報告、Vol.13, 11, pp49〜54, Feb(1989)”で示されたように
Ｒ＝（α＋２）＊Ｗｒ＋（−α）＊Ｗｂ＋（１−α）＊Ｇｒ＋（α−２）＊Ｇｂ
Ｇ＝（γ−１）＊Ｗｒ＋（−γ）＊Ｗｂ＋（２−γ）＊Ｇｒ＋（γ＋１）＊Ｇｂ
Ｂ＝（−β）＊Ｗｒ＋（β＋２）＊Ｗｂ＋（β−２）＊Ｇｒ＋（１−β）＊Ｇｂ
に対して
α＝β＝（３Ｇ−２Ｍｇ）／２（Ｍｇ＋Ｇ）
（Ｇ、ＭｇはＣＣＤ色フィルタの各応答値）
γ＝０．５
の条件を与えることにより、垂直方向のモアレを抑圧する方法が知られている。また、“特開昭６２−１６６６８４号公報”においては色温度に応じてパラメータ値を可変する提案がなされている。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来例ではＣＣＤ補色フィルタ（Ｍｇ、Ｇ、Ｃｙ、Ｙｅ）をそれぞれ加算して得られる（Ｗｒ＝Ｍｇ＋Ｙｅ、Ｗｂ＝Ｍｇ＋Ｃｙ、Ｇｒ＝Ｇ＋Ｙｅ、Ｇｂ＝ｇ＋Ｃｙ）に対して色マトリクス４０３のＲＧＢ変換マトリクスが構成されているが、これは主に動画像を得るためにＣＣＤをフィールド読み出しにより使用するためである。静止画像として輝度及び色の垂直方向の解像度が高い画像を得ることのできるフレーム読み出しを行うには、ＣＣＤ出力１フレーム分をメモリに記憶し２ライン間加算処理を行って（Ｗｒ、Ｗｂ、Ｇｒ、Ｇｂ）を作った後にマトリクス処理を行う必要がある。このため、フレーム読みとフィールド読みの双方に対応するには撮像信号処理回路３０３の回路規模が大きくなるという問題があった。
【０００９】
また、ＣＣＤ出力を記憶するメモリと圧縮処理前のメモリ４１０とを共用するように構成すると、回路およびメモリ制御が煩雑となる問題があり、メモリの共用をしなければ撮像回路規模がさらに大きくなるという問題があった。
【００１０】
また、従来のマトリクス処理においては、パラメータを設定する前提条件としてテレビジョンのようにインターレースで画像出力するものとしているので、ＣＣＤ出力の擬似インターレースによって発生するフリッカー状のモアレ成分に対してインターレース出力では視覚上目立たないものとして無視している。しかし、コンピュータ等で用いられているノンインターレースによる画像出力においてはフリッカー状のモアレが無視できないものとなるという問題があった。
【００１１】
さらに前記“特開昭６２−１６６６８４号公報”による色温度に応じてパラメータ値を可変する提案においては、広範囲にわたって色温度に応じた多数のパラメータ値を用意しなければならないという問題があった。
【００１２】
本発明は上記のような問題を解決するためになされたもので、パラメータ値を変更するするだけで容易に色モアレを低減できる静止画撮像を得ることを目的としている。
【００１３】
【課題を解決するための手段】
請求項１の発明においては、分光特性の異なる複数種の色フィルタを有する撮像素子と、上記撮像素子より出力され上記複数種の色フィルタに各々対応する信号を積分する積分手段と、画面内の複数のサンプルポイントにおいて、各サンプルポイントごとに色フィルタに対応した複数の色信号を抽出する抽出手段と、上記抽出手段によって上記各サンプルポイントより抽出された複数の色信号間で、比較演算を行い、その結果が所定範囲内にあるか否かを判別する判別手段と、上記判別手段によって所定範囲内にあると判別された上記画面内における上記サンプルポイントの数が所定数よりも多い場合には、上記所定範囲内にあると判別されたサンプルポイントの各色信号の積分値に基づきホワイトバランス制御のための制御信号を生成し、上記判別手段によって所定範囲内にあると判別された上記サンプルポイントの数が所定数よりも少ない場合には、予め定めた値を用いて上記ホワイトバランス制御のための制御信号を設定する制御信号生成手段とを設けている。
【００１７】
【作用】
請求項１の発明によれば、画面内の複数のサンプルポイントにおいて、各サンプルポイントごとに抽出した色フィルタに対応する複数の色信号間で演算を行い演算結果が所定範囲内にあるか否かを判別し、所定範囲内にあると判別されたサンプルポイントの数が所定数よりも多い場合には、所定範囲内にあると判別されたサンプルポイントからの各色信号の積分結果に基づきホワイトバランス制御のための制御信号を生成し、所定範囲内にあると判別されたサンプルポイントの数が所定数よりも少ない場合には、予め定めた値を用いてホワイトバランス制御のための制御信号を設定する。
【００１８】
ＣＣＤの色フィルタ配列は後述するように図７（Ａ）のようになっているために、Ｒ、Ｇ、Ｂを作るためには、少なくとも水平方向２画素・垂直方向２画素の計４画素が必要であり、２ライン間の演算を行うことになる。しかし、垂直方向に相関のない絵柄を撮影すると色信号にモアレが生じてしまう。このモアレを抑圧するような条件をパラメータ設定に組み込む。
【００１９】
色モアレの中で特に問題となる成分は、白黒の垂直方向２画素繰り返し周波数の被写体を撮影した時に発生する。Ｒ．Ｇ．Ｂ信号に発生する垂直２画素繰り返し周波数相当のキャリアをｒｍ、ｇｍ、ｂｍとすると
ｒｍ＝（ａ１１＊Ｍｇ＋ａ１２＊Ｇ）−（ａ１３＊Ｃｙ＋ａ１４＊Ｙｅ）
ｇｍ＝（ａ２１＊Ｍｇ＋ａ２２＊Ｇ）−（ａ２３＊Ｃｙ＋ａ２４＊Ｙｅ）
ｂｍ＝（ａ３１＊Ｍｇ＋ａ３２＊Ｇ）−（ａ３３＊Ｃｙ＋ａ３４＊Ｙｅ）
として表せる。
【００２０】
このキャリア成分が０となればモアレの発生を抑圧することになる。すると、
（ａ１１＊Ｍｇ＋ａ１２＊Ｇ）＝（ａ１３＊Ｃｙ＋ａ１４＊Ｙｅ）
（ａ２１＊Ｍｇ＋ａ２２＊Ｇ）＝（ａ２３＊Ｃｙ＋ａ２４＊Ｙｅ）
（ａ３１＊Ｍｇ＋ａ３２＊Ｇ）＝（ａ３３＊Ｃｙ＋ａ３４＊Ｙｅ）
となる。
【００２１】
本発明においてはＣＣＤ出力の各色に対してホワイトバランスとして振幅調整を行っている。白を写した時のＣＣＤ出力の各色出力をＭｇｗ、Ｇｗ、Ｃｙｗ、Ｙｅｗとし、これらに対してホワイトバランス調整値、ｗｍｇ、ｗｇ、ｗｃｙ、ｗｙｅをかけた値がＭｇ、Ｇ、Ｃｙ、Ｙｅとなり、そのレベル比は同じになり、
Ｍｇ＝ｗｍｇ＊Ｍｇｗ
Ｇ＝ｗｇ＊Ｇｗ
Ｃｙ＝ｗｃｙ＊Ｃｙｗ
Ｙｅ＝ｗｙｅ＊Ｙｅｗ
Ｍｇ＝Ｇ＝Ｃｙ＝Ｙｅ
である。
【００２２】
また白においてＲ＝Ｇ＝Ｂであることから、
α＝ａ１１＋ａ１２＝ａ１３＋ａ１４
＝ａ２１＋ａ２２＝ａ２３＋ａ２４
＝ａ３１＋ａ３２＝ａ３３＋ａ３４  （αは定数）
の条件を満たせば、白黒で垂直相関の無い被写体でのモアレを抑圧することができる。
【００２３】
例えば、白撮影時Ｍｇ＝Ｇ＝Ｃｙ＝Ｙｅ＝１となるように調整し、Ｒ＝Ｇ＝Ｂ＝１を得るためには
Ｒ＝ａ１１＊１＋ａ１２＊１＋ａ１３＊１＋ａ１４＊１＝２α＝１
Ｇ＝ａ２１＊１＋ａ２２＊１＋ａ２３＊１＋ａ２４＊１＝２α＝１
Ｂ＝ａ３１＊１＋ａ３２＊１＋ａ３３＊１＋ａ３４＊１＝２α＝１
従ってα＝０．５であり、
Ｒ＝ａ１１＊Ｍｇ＋（０．５−ａ１１）＊Ｇ＋ａ１３＊Ｃｙ＋（０．５−ａ１３）＊Ｙｅ
Ｇ＝ａ２１＊Ｍｇ＋（０．５−ａ２１）＊Ｇ＋ａ２３＊Ｃｙ＋（０．５−ａ２３）＊Ｙｅ
Ｂ＝ａ３１＊Ｍｇ＋（０．５−ａ３２）＊Ｇ＋ａ３３＊Ｃｙ＋（０．５−ａ３３）＊Ｙｅ
となる。
【００２４】
あとの６個のパラメータによりイメージセンサーの色フィルタ分光特性に合わせて色再現性を最適化する。もしＣＣＤ色フィルタが理想的（ｍｇ＝Ｒ＋Ｂ、ｇ＝Ｇ、ｃｙ＝Ｇ＋Ｂ、ｙｅ＝Ｒ＋Ｇ：ｍｇ、ｇ、ｃｙ、ｙｅはＣＣＤの色フィルタ応答）であるとすると
Ｒ＝（０．７５）＊Ｍｇ＋（−０．２５）＊Ｇ＋（−０．７５）＊Ｃｙ＋（１．２５）＊Ｙｅ
Ｇ＝（−０．２５）＊Ｍｇ＋（０．７５）＊Ｇ＋（０．２５）＊Ｃｙ＋（０．２５）＊Ｙｅ
Ｂ＝（０．７５）＊Ｍｇ＋（−０．２５）＊Ｇ＋（１．２５）＊Ｃｙ＋（−０．７５）＊Ｙｅ
のパラメータが得られる。
【００２５】
実際のＣＣＤにおける色フィルタの理想条件からのずれを上記６パラメータにより最適な色再現を実現するように設定する。
上記のようにパラメータに与えることにより、ＣＣＤから読み出した信号の利得制御でホワイトバランスをとるとともにモアレ抑圧をも同時に行え、いかなる色温度下においても同一のパラメータによってモアレの抑圧が行える。
【００２６】
ＣＣＤをフィールド読み出し（垂直２画素加算読み出し）した場合におけるＷｂ、Ｇｒ、Ｇｂ、ＷｒからＲＧＢに変換するマトリクス処理におけるパラメータ設定については上記のフレーム読み出しと同時に、
Ｒ＝ｂ１１＊Ｗｂ＋ｂ１２＊Ｇｒ＋ｂ１３＊Ｇｂ＋ｂ１４＊Ｗｒ
Ｇ＝ｂ２１＊Ｗｂ＋ｂ２２＊Ｇｒ＋ｂ２３＊Ｇｂ＋ｂ２４＊Ｗｒ
Ｂ＝ｂ３１＊Ｗｂ＋ｂ３２＊Ｇｒ＋ｂ３３＊Ｇｂ＋ｂ３４＊Ｗｒ
【００２７】
ＣＣＤの色フィルタ配列は後述するように図７（Ａ）のようになっており、フィールド読み出しの時には図７（Ｃ）のような形で出力される。Ｒ、Ｇ、Ｂを作るためにはＣＣＤ上における４ライン間の演算を行うことになる。しかし、垂直方向に相関のない絵柄を撮影すると色信号にモアレが生じてしまう。このモアレを抑圧するような条件をパラメータ設定に組み込む。
【００２８】
フィールド読み出し時における色モアレの中で特に問題となる成分は、白黒の垂直方向４画素繰り返し周波数の被写体を撮影した時に発生する（２画素繰り返しは加算処理によりキャンセルされる）。Ｒ．Ｇ．Ｂ信号に発生する垂直４画素繰り返し周波数相当のキャリアをｒｍ、ｇｍ、ｂｍとすると
ｒｍ＝（ｂ１１＊Ｗｂ＋ｂ１２＊Ｇｒ）−（ｂ１３＊Ｇｂ＋ｂ１４＊Ｗｒ）
ｇｍ＝（ｂ２１＊Ｗｂ＋ｂ２２＊Ｇｒ）−（ｂ２３＊Ｇｂ＋ｂ２４＊Ｗｒ）
ｂｍ＝（ｂ３１＊Ｗｂ＋ｂ３２＊Ｇｒ）−（ｂ３３＊Ｇｂ＋ｂ３４＊Ｗｒ）
となり、このキャリア成分が０にすることがモアレの抑圧することなる。
【００２９】
上記フレーム時と同様に本発明においてはＣＣＤ出力の各色に対してホワイトバランスとして利得制御を行っているので、Ｗｂ＝Ｇｒ＝Ｇｂ＝Ｗｒであることから以下の条件が得られる。
0003768557.tif 000002
【００３０】
この条件を満たし、かつ色再現を最適になるようパラメータを設定することによりフィールド読み出しにおいても、いかなる色温度下においても同一のパラメータによってモアレの抑圧が行える。
【００３１】
以上のように、補色からＲＧＢ信号への変換マトリクスにおいてフレーム読み出しとフィールド読み出しとの切替ではパラメータ値の変更だけで回路規模を大きくすることなく対応できる。
【００３３】
【実施例】
図１は本発明に係るデジタル電子カメラ本体の電気的構成を示すものであり、また図２は本発明によるアノテーションユニットの電気的構成を示すものであり、さらに図３は本発明による接続台の電気的構成を示すものである。図１において、１０１はＣＣＤセンサ、１０２はＣＣＤドライバ、１０３はタイミング発生器である。タイミング発生器１０３で発生したタイミング信号はＣＣＤドライバ１０２を介してＣＣＤセンサ１０１に供給されることにより、ＣＣＤセンサ１０１は駆動される。１０４はプリプロセス手段、１０５はアナログデジタル変換手段（以下ＡＤ変換手段とする）、１０６はフォーカス検出手段である。ＣＣＤセンサ１０１の出力である映像信号はプリプロセス手段１０４を介してＡＤ変換手段１０５とフォーカス検出手段１０６とに供給されている。
【００３４】
１０７はデジタルプロセス手段、１０８はマイクロプロセッサ、１０９は基準信号発生器、１１０は映像記憶手段としてのメモリである。ＡＤ変換手段１０５でデジタル化された映像信号はデジタルプロセス手段１０７を介してマイクロプロセッサ１０８により制御されるメモリ１１０に記憶される。タイミング発生器１０３、デジタルプロセス手段１０７は基準信号発生器１０９の出力信号に応じて動作するものであり、更に基準信号発生器１０９、デジタルプロセス手段１０７はマイクロプロセッサ１０８によりその動作状態が制御されている。またフォーカス検出手段１０６の出力はマイクロプロセッサ１０８に入力される。
【００３５】
１１１はマスクＲＯＭ、１１２はインターフェースコネクタ（以下Ｉ／Ｆコネクタとする）、１０８ａはデータバスである。デジタルプロセス手段１０７とメモリ１１０との間の映像信号のデータ線とマイクロプロセッサ１０８とマスクＲＯＭ１１１との間のデータ線とが共通になる様にデータバス１０８ａは構成されており、さらにデータバス１０８ａはＩ／Ｆコネクタ１１２に導かれている。１１３はＥＥＰＲＯＭであり、マイクロプロセッサ１０８に接続されデータの保持を行う。１１４は表示駆動手段、１１５は表示手段である。表示手段１１５は表示駆動手段１１４を介してマイクロプロセッサ１０８により制御されカメラの動作モード、メモリ残量、電池残量等の表示を行う。
【００３６】
１１６および１１７は発光ダイオードであり、マイクロプロセッサ１０８に接続され、ストロボの充電の完了、フォーカシングの完了、低輝度の警告等の表示を行うものである。１１８はレリーズスイッチ、１１９はモードスイッチ、１２０は電源スイッチであり、各々マイクロプロセッサ１０８に接続されている。レリーズスイッチ１１８は第１ストローク（以下ＳＷ１とする）と第２ストローク（以下ＳＷ２とする）とを有し、ＳＷ１を検出しフォーカシング動作、露出条件検出等の撮影準備を開始し、ＳＷ２を検出し撮影を実行する。モードスイッチ１１９はカメラの動作モードを設定するものであり、電源スイッチ１２０は電源のオン、オフを行う。１２１は計時手段であり、マイクロプロセッサ１０８に接続される。この計時手段１２１は図示していない電源により常時動作し、現時刻をマイクロプロセッサ１０８に知らせるものである。
【００３７】
１５１は絞りユニット、１５２は絞り駆動回路、１５３はフォーカスモータ、１５４はモータ駆動回路である。絞りユニット１５１は絞り駆動回路１５２を介し、フォーカスモータ１５３はモータ駆動回路１５４を介してそれぞれマイクロプロセッサ１０８によって制御されている。１５５はフォーカスリセットスイッチ、１５６は撮影モード切り替えスイッチであり、それぞれマイクロプロセッサ１０８に接続されている。フォーカスリセットスイッチ１５５はフォーカシングレンズの初期位置の検出を行なっており、撮影モード切り替えスイッチ１５６は図示していない光学ローパスフィルタの光路中の有無を検出している。
【００３８】
１５７はストロボ発光部、１５８は発光回路であり、ストロボ発光部１５７は発光回路１５８を介してマイクロプロセッサ１０８により制御され発光するものである。１７１は電源安定化手段、１７２は電源切替スイッチ、１７３は電池、１７４は電圧検出手段、１７５はＤＣジャック、１７６は減電圧検出手段、１７７は電池判別スイッチである。電源安定化手段１７１は電源切替スイッチ１７２からの電源供給を受け各種の電圧の電源をカメラ本体の各部に供給するとともに、一部の電源はＩ／Ｆコネクタ１１２を介して外部へと供給されている。また電源安定化手段１７１の出力の状態はマイクロプロセッサ１０８により制御されている。
【００３９】
電源切替スイッチ１７２には電池１７３から供給されるＤＣ電源とＩ／Ｆコネクタ１１２あるいはＤＣジャック１７５から供給されるＤＣ電源とが供給される構成となっている。電圧検出手段１７４がＩ／Ｆコネクタ１１２あるいはＤＣジャック１７５から供給されるＤＣ電源の電圧を検出した場合には、Ｉ／Ｆコネクタ１１２あるいはＤＣジャック１７５から供給されるＤＣ電源を電源安定化手段１７１に供給し、検出しない場合には電池１７３から供給されるＤＣ電源を電源安定化手段１７１に供給する。減電圧検出手段１７６は電源安定化手段１７１に供給される電源の電圧を検出し、マイクロプロセッサ１０８へと信号を出力する。電池判別スイッチ１７７はマイクロプロセッサ１０８に接続されており、電池１７３が一次電池か二次電池かを検出するように構成されている。
【００４０】
次に図２において、６０１はＩ／Ｆコネクタ、６０２はマイクロプロセッサ、６０３はＲＯＭである。マイクロプロセッサ６０２はＩ／Ｆコネクタ６０１を介して図１のカメラ本体のマイクロプロセッサ１０８と直接にシリアル通信を行うように構成されており、随時ＲＯＭ６０３よりプログラムデータをロードし、所定の動作を実行していくものである。６０４は表示パネル制御手段、６０５は表示メモリ、６０６は表示パネル、６０７はタッチパネルである。表示パネル制御手段６０４はマイクロプロセッサ６０２によりその動作モードが設定されており、表示メモリ６０５の内容を表示パネル制御手段６０４を介して表示パネル６０６に表示する。また表示パネル制御手段６０４はタッチパネル６０７の走査制御も行うように構成されており、タッチパネル６０７の出力信号はマイクロプロセッサ６０２に入力されている。
【００４１】
６０８はＰＣＭＣＩＡ制御手段、６０９はＰＣＭＣＩＡコネクタであり、カメラ本体はデータバス１０８ａおよびＰＣＭＣＩＡ制御手段６０８を介してＰＣＭＣＩＡコネクタに接続される図示していないメモリとの間で映像データあるいはプログラムデータの入出力を行うように構成されている。また６１０はＩ／Ｆコネクタであり、Ｉ／Ｆコネクタ６０１との間に電源ライン６０１ａ、データバス１０８ａ等が接続されている。６１１はマイク、６１２は増幅器であり、マイク６１１で取り込まれた音声信号は増幅器６１２、Ｉ／Ｆコネクタ６０１を介してカメラ本体へと送られる。６１３は表示オンオフスイッチ、６１４は音声記録スイッチである。表示オンオフスイッチ６１３によりマイクロプロセッサ６０２は表示パネルのオンオフ動作を選択し、音声記録スイッチ６１４とカメラ本体のレリーズスイッチ１１８のＳＷ２を検出している期間音声の取り込みを実行するものである。
【００４２】
さらに図３において、７０１はＩ／Ｆコネクタ、７０２はＤＣジャック、７０３はＰＣコネクタであり、ＤＣジャック７０２を介して入力されるＤＣ電源はＩ／Ｆコネクタ７０１の一部の端子に接続されている。またＰＣコネクタ７０３を介して入力あるいは出力されるデータ信号、制御信号等もＩ／Ｆコネクタ７０１の一部の端子に接続されるように構成されている。
【００４３】
次に本実施例のカメラの動作について、図１〜図３のブロック図及び図４に示す本実施例の動作に関するフローチャートを用いて説明する。
図４におけるステップＳ１（以下、ステップを省略し、Ｓ２、Ｓ３、…と記す）において図１に示す電源スイッチ１２０がオン状態となると、Ｓ２においてアノテーションユニット（以下Ａユニットと称す）がＩ／Ｆコネクタ１１２に接続されているかどうかを検出し、接続されている場合はＳ３の処理へ、接続されていない場合には「Ｘ」から図５に示すフローチャートへと移行する。
【００４４】
まず図４のＳ２の判定の結果、Ａユニットが接続されていない場合について図５のフローチャートに従って説明する。
図５において、Ｓ１０１でフォーカシングモータ１５３を駆動して初期位置へとフォーカシングレンズを移動しリセットする。フォーカシングレンズが初期位置に移動しリセット動作が完了したことは、フォーカシングリセットスイッチ１５５によって検出される。尚上述のリセット位置は、例えば前述した様に、プログラム機能で通常撮影モードが指定されている場合は、フォーカスレンズを無限位置に、マクロモードが指定されている場合には、フォーカスレンズを至近端に移動する。この様にしておくと、通常モードではフォーカスレンズを無限位置から、マクロモードではフォーカスレンズを至近端から移動するので、撮影モードによらず常に同じ位置からレンズを駆動する方式に比べて、より早く合焦動作が完了する。
【００４５】
次にＳ１０２にてレリーズＳＷの１段目の押圧でオンされるＳＷ１がオンされると、Ｓ１０３において絞りユニット１５１のＩＧメータが解放状態に制御される。これはＡＦ（オートフォーカス）動作時、絞り径が大きい方が正確な合焦動作が可能になるためである。
Ｓ１０４では撮影モード切替スイッチ１５６の状態により、Ｓ１０７以下のカラーモードかＳ１１５以下の白黒モードかが選択される。
【００４６】
カラーモード選択の場合はＳ１０５に進み、第１の測光処理が行なわれ、ＡＦ動作を行うための露光条件が設定され、Ｓ１０６でフォーカスレンズをリセット位置から至近方向へ移動させながら露光を繰り返し行い、映像信号中の高周波成分の増減を検出し、高周波成分が最大となる合焦位置を検知し、フォーカスレンズをその合焦位置に停止するように動作する。Ｓ１０７でＳ１０５の第１の測光処理結果からＩＧメータを駆動し、プリ露光設定に従った絞りを設定する。この状態でＳ１０８、Ｓ１０９に示すところの、レリーズスイッチの１段目の押圧に応じてＡＦ及び測光動作を行い、レリーズスイッチの２段目の押圧すなわちＳＷ２のオンを待機する状態となる。
【００４７】
ここでレリーズスイッチの２段目の押圧を行なわずにレリーズスイッチの１段目の押圧を解除、すなわちＳＷ１のオフを検知すれば、Ｓ１０２で再度ＳＷ１のオンを待機する状態となる。Ｓ１０８でレリーズスイッチの２段目の押圧が行なわれ、ＳＷ２がオンされた場合には、Ｓ１１０のシャッタ速度決定処理が実行される。
【００４８】
以上のように本露光設定が行なわれた後、図５のＳ１１１の処理で本露光が行なわれ、Ｓ１１２においてメモリ１１０にＣＣＤセンサ１０１から読み出された映像信号が画像データのまま一旦記憶される。尚、Ｓ１１１の本露光の差異、全電子シャッターモード（フィールド撮影）と複合方式（フレーム撮影）とで、ＣＣＤセンサ１０１の感度が変わるため、それを補正すべく実際のシャッタの速度は補正されている。
【００４９】
さらにＳ１１３においてレリーズスイッチの１段目の押圧でオンするＳＷ１がオンになっているか否かを判断し、オフであればＳ１２４の信号処理を行い（信号処理フローについては以降で説明する）、オンであればＳ１１４にて連続撮影可能な枚数を撮り終えたかを判断し、撮り終えていない場合はＳ１０８にて撮影待機となり、撮り終えた場合には同様にＳ１２４の信号処理フローに進む。
一方、Ｓ１０４の撮影モード判定の結果、白黒モードが選択されている場合は、Ｓ１１５〜Ｓ１２３に示す処理を実行してＳ１２４の信号処理へと移行する。
【００５０】
以上の処理は、図４のフォローチャートにおけるＳ２の処理で、Ａユニットが撮りつけられていない場合の処理であるが、以下に、Ｓ２の判定の結果、Ａユニットが撮りつけられていた場合について説明する。
図４において、Ｓ２でＡユニットが付いていると判断した場合には、Ｓ３においてＡユニットのマイクロプロセッサ６０２とカメラ本体のマイクロプロセッサ１０８とで通信を行い、Ａユニットを機能させるために必要なマイクロプロセッサ１０８のプログラムをＡユニットのマスクＲＯＭ６０３より読み出して、マイクロプロセッサ１０８へロードする。これによりＡユニットが動作可能となる。
【００５１】
Ｓ４では、マスクＲＯＭ６０３の表示に関するフォントデータ等を表示メモリ６０５へ転送し、Ｓ５において再生、撮影、プログラム設定等の動作モードの選択画面を表示し、Ｓ６のタッチパネル６０７への入力を待機する状態になる。Ｓ６で入力がない場合には、Ｓ７へと進み、Ｓ７で入力が一定時間ないことが判定された場合には、Ｓ８において表示を停止して何らかの操作を待機する。Ｓ９で何らかの入力が検出された場合には、Ｓ９においてどのモードが選択されたかを判定する。
【００５２】
撮影モードが選択された場合は、Ｓ１３においてＰＣＭＣＩＡコネクタ６０９に記録媒体としてのメモリカードが挿入されているかを検出し、挿入されている場合には、Ｓ１４においてメモリカードのディレクトリを読み出してメモリ１１０へと転送し、マイクロプロセッサ１０８は空き領域があれば記録可能であることを表示パネル６０６に表示し、空き領域がなければその旨を表示パネル６０６に表示して「Ｙ」の処理へと移行する。
【００５３】
一方、Ｓ１３でメモリカードがない場合は、Ｓ１５においてメモリカードのないことを表示し、図５に示す「Ｙ」の処理に進む。尚、この処理自体は、Ｓ１３０、Ｓ１４１の表示処理と、それぞれのＳ１３１、Ｓ１４２のＡＦ動作を平行して行い、そのＡＦ動作状態をＡユニットの液晶（ＬＣＤ）表示パネルに画像と重畳して表示する点が異なるのみで、他の処理は、「Ｘ」のＳ１０２〜Ｓ１２３の処理と同様である。
【００５４】
Ｓ１２４〜Ｓ１４９の処理を行なった後は、Ｓ１５０において信号処理を行い、信号処理が終了したならばＳ１５１でＡユニットの表示パネル６０６に信号処理の終了したことを表示し、Ｓ１５２で信号処理が施された映像信号をメモリカードに記録し、Ｓ１５３でメモリカードに記録終了と共に記録終了の表示を表示パネル６０６に表示し、Ｓ１５４で次の入力待機状態となる。尚、メモリカードが装着されていなかった場合、あるいは空き領域がなかった場合は、前述の図４のＳ１４、Ｓ１５で記録不能である旨が表示パネルに表示されるため、操作者側においては認識することができるが、この様な場合には、Ｓ１５２の処理を行なわず、メモリ１１０に画像信号がストアされた状態が保持される。
【００５５】
また図４のフローチャートに戻り、Ｓ９においてプログラム設定モードが選択されていた場合は、Ｓ１０でプログラム設定用のフォントデータに変更して画面表示をし、Ｓ１１において、パーソナルコンピュータモニタ上にてプログラムを設定する場合に類似した操作手順によりモードのプログラムが実行される。
更にＳ９にて再生モードが選択された場合はＳ１２において再生用のフォントデータに変更して画面表示を行い、図６に示す「Ｚ」の処理へ移行する。
【００５６】
ここで図６のフローチャートに示す「Ｚ」の処理について説明する。
Ｓ２０１においてメモリカードの有無を判定し、無い場合はＳ２１０にてメモリカード無しを表示し、Ｓ２１１にて入力待機状態となり、Ａユニットにおいてタッチペン等によるアノテーション入力が入るとＳ２１２に示すように選択されたモードに移行する。
Ｓ２１１およびＳ２１３の処理にて所要時間入力が無い場合には表示を停止し、操作を待つ状態となる。
【００５７】
次にＳ２０１にてメモリカードがあると判定された場合は、Ｓ２０２にてそのディレクトリを読み出してメモリ１１０へ転送し、Ｓ２０３において検索情報をマイクロプロセッサ１０８から表示メモリ６０５へ転送し検索画面を表示する。続いてＳ２０４において、タッチペン等の入力手段によって検索画面のある位置が選択されるのが検出されると、Ｓ２０５でそれに対応した画像データをメモリカードよりカメラ本体のメモリ１１０へと転送し、次にＳ２０６でマイクロプロセッサ１０８及びデジタルプロセス回路１０７によって画像処理を行い、画像データを表示に対応するように例えばＪＰＥＧデコードであるとか、白黒の誤差拡散法による２値化等の画像処理を行なった後、表示メモリ６０５に転送し、Ｓ２０７で表示パネル６０６あるいは外部接続されたモニタ画面に再生画像の表示が行なわれる。
【００５８】
次に信号処理（図５におけるＳ１２４、Ｓ１５０及びその他付随箇所）について説明する。ＣＣＤ補色フィルタが図７（Ａ）のごとく配列されている場合（ＭＧ＝マゼンタ、Ｇ＝グリーン、Ｃｙ＝シアン、Ｙｅ＝イエロー）、図７（Ｂ）の8 画素配列を単位ブロックとして、この単位ブロックの繰り返しで全体の配列が成り立っている。この８画素それぞれの色フィルタに合わせてＭｇ１、Ｍｇ２、Ｇ１、Ｇ２、Ｃｙ１、Ｃｙ２、Ｙｅ１、Ｙｅ２とする。同一色フィルタの出力をそれぞれ２色（Ｍｇ１・Ｍｇ２・・）に分けて扱うのは隣接画素の色が異なることにより出力レベルが違ってくるためである。出力レベルに違いが認められなければ同一色として扱ってもよい。
また、ＣＣＤよりフィールド読み出しを行う場合には、図７（Ａ）の配列画素の垂直２画素を加算して読み出されるため、図７（Ｃ）のような色フィルタが配列されているものとすることができる（Ｗｂ＝Ｍｇ＋Ｃｙ、Ｇｒ＝Ｇ＋Ｙｅ、Ｇｂ＝Ｇ＋Ｃｙ、Ｗｒ＝Ｍｇ＋Ｙｅ）。尚、この時の単位ブロックは図７（Ｄ）の様になる。
【００５９】
撮影画像の信号処理を行う前に、図８及び図９に示すフローチャートに従って黒レベルを検出処理を行う。この検出処理を図５におけるＳ１０４からＳ１１０及びＳ１１９までの間、あるいはＳ１２７からＳ１３５及びＳ１４５までの間に組み込んで本露光前に黒レベルを決定することにより、撮影環境の変化による黒レベル変動（温度変化によるＣＣＤ暗電流の変動など）を吸収して撮影環境が変化しても常に良好な画像を得ることができる。
【００６０】
図８はＣＣＤ１０１をフレーム読み出しする時の黒レベル決定処理フローである。まず、Ｓ３０１にて遮光状態でＣＣＤの露光動作を行い、ＣＣＤ１０１より信号の読み出しを行い、プリプロセス手段１０４、ＡＤ変換手段１０５及び１０７デジタルプロセス手段を介してメモリ１１０にＣＣＤ読み出し信号を記憶する。Ｓ３０２においてメモリ１１０に記憶された映像信号よりＣＣＤ１０１のオプティカルブラック部より読み出された信号を抽出する。尚、この信号抽出は前述した８色（例えばＭｇ１、Ｍｇ２、Ｇ１、Ｇ２、Ｃｙ１、Ｃｙ２、Ｙｅ１、Ｙｅ２）のサンプル量が同じになるように行なって色別に重み付けが変わらないようにする。Ｓ３０３にて上記抽出した信号を色毎に積分した後に、、オプティカルブラック部における色毎の平均値＝（ＯＢＭｇ１、ＯＢＭｇ２、ＯＢＧ１、ＯＢＧ２、ＯＢＣｙ１、ＯＢＣｙ２、ＯＢＹｅ１、ＯＢＹｅ２）を計算する。
【００６１】
Ｓ３０４にて上記抽出したオプティカルブラックの信号を全て加算しオプティカルブラック部の平均値（ａＯＢ）を求める。続いて、Ｓ３０５においてＣＣＤの有効画素部分から読み出された信号より８色のサンプル量が同一となるように抽出する（色別に重み付けが変わらないように）。Ｓ３０６にて抽出した信号を色毎に積分した後に、平均値＝（ＢＫＭｇ１、ＢＫＭｇ２、ＢＫＧ１、ＢＫＧ２、ＢＫＣｙ１、ＢＫＣｙ２、ＢＫＹｅ１、ＢＫＹｅ２）を求める。また、Ｓ３０７にて上記抽出した信号全ての加算の後、平均値（ａＢＫ）を求める。以上の結果を基に、Ｓ３０８、Ｓ３０９において全画素平均黒レベル（ＢＬ＝ａＢＫ−ａＯＢ）と、各色毎の平均黒レベル（ＢＭｇ１＝ＢＫＭｇ１−ＯＢＭｇ１、ＢＭｇ２、ＢＧ１、ＢＧ２、ＢＣｙ１、ＢＣｙ２、ＢＹｅ１、ＢＹｅ２）とを求め記憶する。
【００６２】
図９はＣＣＤをフィールド読み出しする時の黒レベル決定処理フローであり、処理する色の単位が（Ｗｂ、Ｇｒ、Ｇｂ、Ｗｒ）の４色となる以外は図８と同様の処理を行う（詳細な説明は省略）。全処理が終わり、全画素平均黒レベル（ＢＬ）と各色毎の平均黒レベル（ＢＷｂ、ＢＧｒ、ＢＧｂ、ＢＷｒ）を記憶する。
【００６３】
図１０から図１３はＣＣＤ１０１をフレーム読み出しした時の図５におけるＳ１２４及びＳ１５０の信号処理をフローチャートにしたものであり、図１４、１５は信号処理を行う時のメモリ１１０の使用状況を説明する図であり、また、図１６はデジタルプロセス手段１０７の信号処理において使用する箇所のブロック図とその説明である。
【００６４】
図１６において、２０１〜２０７は１クロックサイクルの遅延線であり、２０８〜２１５は加算器であり、２１６〜２１９は乗算器であり、２２０〜２２２は伝達信号切り替え用のスイッチであり、各々をｓｅｌ１／ｓｅｌ２／ｓｅｌ３とし、２２３は同図（Ｂ）に示すような入出力特性を持つベースクリップ回路である。スイッチ２２０〜２２２の切替と乗算器２１６〜２１９の係数（Ｃ０、Ｃ１、Ｃ２、Ｃ３）および２２３ベースクリップ回路のクリップ値（ａ）はマイクロプロセッサ１０８により制御され、スイッチ２２０〜２２２の切替制御により図１６に関する下記数１における式（１）あるいは式（２）のいずれかの伝達特性を選択し、乗算係数およびベースクリップ特性を変更することにより、同一回路を処理用途に応じた伝達特性に変更でき、各種用途に応じた専用回路を削減する効果がある。
【００６５】
【数１】
0003768557.tif 000003
【００６６】
次に、これら図１４〜図１６を用い、図１０〜図１３のフローチャートの説明をする。
図１０において、Ｓ５０１にてＣＣＤ１０１から読み出されてメモリ１１０に記憶された映像信号よりＣＣＤ１０１のオプティカルブラックより読み出された信号をメモリ１１０より抽出し、Ｓ５０２にて抽出した信号よりオプティカルブラックの平均レベル（ａＯＢ）を算出し、記憶する。また、Ｓ５０３にて同抽出信号を色毎に平均値＝（ＯＢＭｇ１、ＯＢＭｇ２、ＯＢＧ１、ＯＢＧ２、ＯＢＣｙ１、ＯＢＣｙ２、ＯＢＹｅ１、ＯＢＹｅ２）算出し、記憶する。Ｓ５０４及びＳ５０５においてＣＣＤの有効画素より読み出された信号部に、例えば図７（Ｅ）の様に撮影画面内の所定位置に複数個のサンプルポイントを設け、各サンプルポイントは図７（Ｂ）の単位ブロックの単数あるいは複数から成るものとする。これらのサンプルポイントのうち１サンプルの映像信号を抽出する。
【００６７】
Ｓ５０６にて上記抽出した信号から（Ｍｇ１−Ｇ１）、（Ｃｙ１−Ｙｅ１）、（Ｍｇ２−Ｇ２）、（Ｃｙ２−Ｙｅ２）値を求め、Ｓ５０７にて計算結果がそれぞれ所定の範囲内の値であるか否かを判別する。この所定範囲とは、例えば、ａ＜（Ｃｙ１−Ｙｅ１）、（Ｃｙ２−Ｙｅ２）＜ｂ、ｃ＜（Ｍｇ１−Ｇ１）、（Ｍｇ２−Ｇ２）＜ｄと設定すると、図２０のベクトル図におけるＡで記した範囲を示すものとなる。判別の結果、各々が全て所定範囲内にあるならば、同サンプルポイントをホワイトバランス設定するためのデータとして有効とみなし、Ｓ５０８にて各色毎に積分し積分データとする。尚、Ｓ５０７の判別において（Ｃｙ１−Ｙｅ１）と（Ｃｙ２−Ｙｅ２）、および（Ｍｇ１−Ｇ１）と（Ｍｇ２−Ｇ２）の平均値を求めて平均値に対して範囲内にあるか否かの判別を行なってもよい。
【００６８】
Ｓ５０７で（Ｍｇ１−Ｇ１）、（Ｍｇ２−Ｇ２）、（Ｃｙ１−Ｙｅ１）、（Ｃｙ２−Ｙｅ２）の内いずれか一つでも範囲外と判別されたならば、あるいは（Ｍｇ１−Ｇ１）と（Ｍｇ２−Ｇ２）の平均値および（Ｃｙ１−Ｙｅ１）と（Ｃｙ２−Ｙｅ２）の平均値の内いずれか一つでも範囲外と判別されたならば、同サンプルポイントをホワイトバランス設定するためのデータとしては無効とみなし、Ｓ５０９にて同サンプルポイントのデータを捨て、Ｓ５１０にてサンプル数の変更を行う。Ｓ５１１で所定のサンプルを全て抽出したか否かを判別して全サンプルを抽出するまで上記Ｓ５０５〜Ｓ５１１の動作を繰り返す。
【００６９】
Ｓ５１５において上記ルーチンで得た有効サンプル数が所定の数以上あるか否かを判別し、所定以上のサンプルが得られたならば、上記のルーチンで得た色毎の積分値と全サンプルの積分値、およびオプティカルブラック部から得た（ａＯＢ）と上記平均値（ＯＢＭｇ１、ＯＢＭｇ２、ＯＢＧ１、ＯＢＧ２、ＯＢＣｙ１、ＯＢＣｙ２、ＯＢＹｅ１、ＯＢＹｅ２）とから、Ｓ５１２にて
ＳＹｐ＝（サンプル全画素積分値）／（サンプル画素数）−ａＯＢ
ＳＭｇ１＝（Ｍｇ１のサンプル積分値）／（Ｍｇ１のサンプル数）−ＯＢＭｇ１
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
以下同様にＳＭｇ２、ＳＧ１、ＳＧ２、ＳＣｙ１、ＳＣｙ２、ＳＹｅ１、ＳＹｅ２を算出する。
【００７０】
ここで得られたＳＭｇ１、ＳＭｇ２、ＳＧ１、ＳＧ２、ＳＣｙ１、ＳＣｙ２、ＳＹｅ１、ＳＹｅ２およびＳＹｐを白を写した時に得られるＣＣＤ各色フィルタ毎の出力と等価であるものとみなす。ここで得た結果（ＳＭｇ１、ＳＭｇ２、ＳＧ１、ＳＧ２、ＳＣｙ１、ＳＣｙ２、ＳＹｅ１、ＳＹｅ２、ＳＹｐ）と先に述べた黒露光時に得た結果（ＢＭｇ１、ＢＭｇ２、ＢＧ１、ＢＧ２、ＢＣｙ１、ＢＣｙ２、ＢＹｅ１、ＢＹｅ２、ＢＬ）を基に、Ｓ５１３・Ｓ５１４にて
ＳＹ＝ＳＹｐ−ＢＬ
を求め、更に、
ｗｍｇ１＝ＳＹ／（ＳＭｇ１−ＢＭｇ１）
ｗｍｇ２＝ＳＹ／（ＳＭｇ２−ＢＭｇ２）
ｗｇ１＝ＳＹ／（ＳＧ１−ＢＧ１）
ｗｇ２＝ＳＹ／（ＳＧ２−ＢＧ２）
ｗｃｙ１＝ＳＹ／（ＳＣｙ１−ＢＣｙ１）
ｗｃｙ２＝ＳＹ／（ＳＣｙ２−ＢＣｙ２）
ｗｙｅ１＝ＳＹ／（ＳＹｅ１−ＢＹｅ１）
ｗｙｅ２＝ＳＹ／（ＳＹｅ２−ＢＹｅ２）
を求め、これらの値をホワイトバランス調整データとして記憶し、「１」へと処理を移行する。
【００７１】
Ｓ５１５において、サンプル数が所定以上得られていなければ、Ｓ５１６にて所定の色温度（例えば５１００゜Ｋ）におけるホワイトバランス調整値を設定し、Ｓ５１７においてオプティカルブラックの値を記憶し「１」に移行する。
ホワイトバランス調整データが求められたならば図１１に移り、Ｓ６０１にてメモリ１１０に記憶されているＣＣＤ１０１から読み出された全映像信号に対して各々色毎にオプティカルブラック値および黒レベルでクランプする。例えばある箇所における画素がＭｇ１の色フィルタであり、この画素の出力をｐｍｇ１とすると、
ｃｌ  ｍｇ１＝ｐｍｇ１−ＯＢＭｇ１−ＢＭｇ１
と処理する。
【００７２】
他の色に関しても同様に出力信号を夫々ｐｍｇ２、ｐｇ１、ｐｇ２、ｐｃｙ１、ｐｃｙ２、ｐｙｅ１、ｐｙｅ２とすると、
ｃｌ  ｍｇ２＝ｐｍｇ２−ＯＢＭｇ２−ＢＭｇ２
ｃｌ  ｇ１＝ｐｇ１−ＯＢＧ１−ＢＧ１
ｃｌ  ｇ２＝ｐｇ２−ＯＢＧ２−ＢＧ２
ｃｌ  ｃｙ１＝ｐｃｙ１−ＯＢＣｙ１−ＢＣｙ１
ｃｌ  ｃｙ２＝ｐｃｙ２−ＯＢＣｙ２−ＢＣｙ２
ｃｌ  ｙｅ１＝ｐｙｅ１−ＯＢＹｅ１−ＢＹｅ１
ｃｌ  ｙｅ２＝ｐｙｅ２−ＯＢＹｅ２−ＢＹｅ２
と処理する。
【００７３】
Ｓ６０１にて上記処理を全画素の映像信号に対して施したならば、Ｓ６０２にてホワイトバランス調整処理を施す。このホワイトバランス調整処理は先に得たホワイトバランス調整データ（ｗｍｇ１、ｗｍｇ２、ｗｇ１、ｗｇ２、ｗｃｙ１、ｗｃｙ２、ｗｙｅ１、ｗｙｅ２）を上記Ｓ６０１で処理された全画素の信号に対して色別に乗算仕手が齟齬との信号レベル調整という形で行い、
Ｍｇ＝ｗｍｇ１＊ｃｌ  ｍｇ１，ｗｍｇ２＊ｃｌ  ｍｇ２
Ｇ＝ｗｇ１＊ｃｌ  ｇ１，ｗｇ２＊ｃｌ  ｇ２
Ｃｙ＝ｗｃｙ１＊ｃｌ  ｃｙ１，ｗｃｙ２＊ｃｌ  ｃｙ２
Ｙｅ＝ｗｙｅ１＊ｃｌ  ｙｅ１，ｗｙｅ２＊ｃｌ  ｙｅ２
を得る。
【００７４】
Ｓ６０３にてホワイトバランス調整処理を全画素に対して施し、処理後の信号をメモリ１１０に記憶されているＣＣＤ読み出し信号と置き換えて記憶する。
尚、この時のメモリ１１０の状況を例えば図１４の（ａ）に示す様に全メモリ容量に対して斜線を施した容量だけがホワイトバランス調整終了後の映像信号とし、この信号はＣＣＤの画素配列と同様にメモリ内に記憶されているものとして以降は説明する。Ｓ６０４にて１１９のモードスイッチの状況を判別してカラー撮影が選択されているならばＳ６０６へ白黒撮影が選択されているならば「３」へと分岐する。いま、カラー撮影が選択されているものとし、Ｓ６０５へと処理を移行する。
【００７５】
Ｓ６０５において、この全映像信号より水平方向（Ｘピクセル）垂直方向（Ｙピクセル）のブロックを抽出しこれをＤａｔａＡとする。Ｓ６０６〜Ｓ６１２の処理は選択したブロックＤａｔａＡに対する色処理を施すルーチンであり、Ｓ６０６においてマトリッスクを掛けて補色（Ｍｇ、Ｇ、Ｃｙ、Ｙｅ）を原色（Ｒ＝レッド、Ｇ＝グリーン、Ｂ＝ブルー）信号に変換し、各画素に対応するＲ・Ｂ・Ｇを得てＳ６０７にて得られた原色信号をメモリ１１０に記憶する。この時のメモリ状況は図１４の（ｂ）のようにＤａｔａＡを処理して得られたＲＧＢを夫々の信号後とに記憶されるものとする。
【００７６】
Ｓ６０８ではこのＲＧＢ信号を色毎に順次水平方向に読み出してデジタルプロセス手段１０７に送る。この時、デジタルプロセス手段１０７の回路状況を図１６の（Ａ）における選択スイッチ２２０・２２１・２２２をＦＩＲフィルタとして動作するように切替え、かつＣ０、Ｃ１、Ｃ２、Ｃ３の乗算係数を色処理時における所望のフィルタ特性となるようにマイクロプロセッサ１０８により制御されている。Ｓ６０９において１０７デジタルプロセス手段１０７で処理されたＲＧＢ信号を各々メモリ１１０に記憶していく。
【００７７】
ＦＩＲフィルタ特性を帯域が１／２となるＬＰＦとしておけば、フィルタ処理された信号をメモリ１１０に記憶する際に間引き処理を施して色信号のデータ容量を半分とすることができ、図１４（ｃ）のようになる。Ｓ６１０においてＲＧＢ各々に対してガンマ処理やニー処理などの非線形処理を施す。Ｓ６１１・Ｓ６１２にて非線形処理されたＲＧＢにマトリクスをかけ色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に変換し、Ｒ−Ｙ、Ｂ−Ｙ毎に１１０メモリに記憶する。これらを図１４（ｄ）のようにＤａｔａＢとする。
【００７８】
図１２のＳ７０１に処理を移行し、ＤａｔａＡに対して画面上における垂直方向のフィルタをかける。この場合、垂直方向に並ぶ２画素あるいは3 画素の処理ならばマイクロプロセッサ１０８で処理を行い、フィルタのタップ数を増やした場合においては、デジタルプロセス手段１０７を用いる。Ｓ７０２にてＤａｔａＡに対する垂直フィルタ処理を施した信号をメモリ１１０に記憶し、Ｓ７０３において同信号に対して水平方向のフィルタ処理を行うために、記憶されてい同信号を水平方向の読み出してデジタルプロセス手段１０７によりフィルタ処理を施す。
【００７９】
この時、デジタルプロセス手段１０７は図１６における切替スイッチ２２０・２２１・２２２をＦＩＲフィルタとして動作するように切替えて、乗算係数（Ｃ０、Ｃ１、Ｃ２、Ｃ３）を輝度信号処理として所望の特性となるようにマイクロプロセッサ１０８により制御される。
Ｓ７０４にてデジタルプロセス手段１０７により処理された信号をメモリ１１０に記憶する。この信号を図１４（ｆ）のようにＤａｔａＣとする。Ｓ７０４においてＤａｔａＣの信号レベルを検出し所定の閾値より大きな値である時に同箇所に対応する場所のＤａｔａＢのＲ−Ｙ、Ｂ−Ｙに対して信号抑圧処理を施し、Ｓ７０４において同処理されたＲ−Ｙ、Ｂ−Ｙ信号をメモリに記憶する。これらの信号を図１４（ｆ）のように夫々Ｃｒ、Ｃｂとする。
【００８０】
Ｓ７０７においてＤａｔａＣを垂直方向（図１４（ｆ）に示す矢印の方向）に読み出しデジタルプロセス手段１０７により周波数領域における高域部を強調するアパーチャ処理（ＡＰＣ）を施す。この時、デジタルプロセス手段１０７の回路状況は図１６の切替スイッチ２２０・２２１・２２２をＡＰＣモードとなるように切替えて、乗算係数（Ｃ０、Ｃ１、Ｃ２、Ｃ３）及びベースクリップ特性（ａ）を輝度信号垂直方向アパーチャ処理に所望の特性となるようにマイクロプロセッサ１０８により制御される。Ｓ７０８において処理された信号をＤａｔａＤとしてメモリ１１０に図１５（ｇ）のように記憶する。
【００８１】
Ｓ７０９において、ＤａｔａＣを水平方向（図１５（ｇ）に示す矢印の方向）に読み出しデジタルプロセス手段１０７により周波数領域における高域部を強調するアパーチャ処理（ＡＰＣ）を施す。この時、デジタルプロセス手段１０７の回路状況は図１６の切替スイッチ２２０・２２１・２２２をＡＰＣモードなるように切り替えて、乗算係数（Ｃ０、Ｃ１、Ｃ２、Ｃ３）及びベースクリップ特性（ａ）を輝度信号水平方向アパーチャ処理に所望の特性となるようにマイクロプロセッサ１０８により制御される。Ｓ７１０において垂直アパーチャ処理および水平アパーチャ処理された信号を加算し、ＤａｔａＦとしてメモリ１１０に図１５（ｈ）のように記憶する。
【００８２】
なお、Ｓ７０８およびＳ７０９におけるアパーチャ処理でデジタルプロセス手段１０７の切替スイッチ２２０・２２１・２２２をＦＩＲモードになるよう選択し、この時のデジタルプロセス手段１０７が帯域通過特性あるいは高域通過特性となるように乗算係数（Ｃ０、Ｃ１、Ｃ２、Ｃ３）を選択する。このデジタルプロセス手段１０７の出力に対し、この出力信号の振幅に応じて利得制御を行なった後にベースクリップを行なって所望のアパーチャ特性をマイクロプロセッサ１０８の処理にて得てもよい。
【００８３】
このように輝度信号の中・高域信号に対し、その信号振幅レベルに応じた利得制御（大振幅に対しては小さな利得を与え、小振幅に対しては大きな利得を与える制御）ることにより、被写体物のエッジ部の強調を適度に抑えて不自然感を無くすとともに細部のディテールを強調することができ良好な画像を得ることができる。
【００８４】
Ｓ７１１において、アパーチャ処理の終えた輝度信号ＤａｔａＦに体して非線形処理（ガンマ処理・ニー処理など）を施し（これをＹ′とする）、Ｓ７１２にて同信号に対して色差信号による補正を施しこれをＹとする。
Ｙ＝Ｙ′−αＣｒ−βＣｂ  （α、βは定数）
この輝度信号ＹをＳ７１３においてメモリに記憶する。このときメモリは図１５（ｉ）のようになる。
【００８５】
Ｓ７１４において処理の終わったＤａｔａＡをメモリから削除する。ただし、隣接ブロックの処理に必要となる画素データは削除しない。これはフィルタ処理などの様に複数画素間で演算を行う処理において、ブロック境界分では隣接ブロックの画素データを用いるためである。また、同処理はＳ７０１以降からＳ７１３の間に行なわれても構わない。Ｓ７１４が行なわれたときのメモリ状況は図１５（ｊ）のようになる。
【００８６】
Ｓ７１５においてＤａｔａＡから得られた輝度信号・色差信号（Ｙ、Ｃｒ、Ｃｂ）に対して圧縮処理を施す。Ｓ７１６で圧縮処理された信号を図１、２、３における６０９ＰＣＭＣＩＡコネクタを介して記録媒体に記録、あるいは、Ｉ／Ｆコネクタを介してパソコン等に伝送する。この様に、圧縮処理で用いるブロックに相当するブロック単位で撮像信号処理を行うことにより、圧縮処理におけるブロック分割の処理が省くことができて、撮影から信号の記録・伝送までの処理時間を短縮できる効果がある。
【００８７】
Ｓ７１７においてＣＣＤから読み出されメモリ１１０に記憶された映像信号全てに対しての処理が終了したか否かを判別するものであり、終了するまで「２」へと移行して新たなブロック（例えば、図１５（ｋ）・（ｌ）のように）に対して上記の処理を行なっていく。
【００８８】
図１１のＳ６０４において白黒撮影処理として「３」に分岐した場合において、図１３に移行する。
Ｓ８０１において、同信号に対して水平方向のフィルタ処理を行うために、記憶されている同信号を水平方向に読み出してデジタルプロセス手段１０７によりフィルタ処理を施す。この時、デジタルプロセス手段１０７は図１６における切替スイッチ２２０・２２１・２２２をＦＩＲフィルタとして動作するように切り替えて、乗算係数（Ｃ０、Ｃ１、Ｃ２、Ｃ３）を白黒撮影輝度信号処理として所望の特性となるように１マイクロプロセッサ１０８により制御される。Ｓ８０２にてデジタルプロセス手段１０７により処理された信号をメモリ１１０に記憶する。この信号をＤａｔａＣとする。
【００８９】
Ｓ８０３において、ＤａｔａＣを垂直方向に読み出し、デジタルプロセス手段１０７により周波数領域における高域部を強調するアパーチャ処理（ＡＰＣ）を施す。この時、デジタルプロセス手段１０７の回路状況は図１６の切替スイッチ２２０・２２１・２２２をＡＰＣモードとなるように切り替えて、乗算係数（Ｃ０、Ｃ１、Ｃ２、Ｃ３）及びベースクリップ特性（ａ）を白黒撮影時における輝度信号垂直方向アパーチャ処理に所望の特性となるようにマイクロプロセッサ１０８により制御される。Ｓ８０４において処理された信号はＤａｔａＤとしてメモリ１１０に記憶する。
【００９０】
Ｓ８０５において、ＤａｔａＣを水平方向に読み出しデジタルプロセス手段１０７により周波数領域における高域部を強調するアパーチャ処理（ＡＰＣ）を施す。この時、デジタルプロセス手段１０７の回路状況は図１６の切替スイッチ２２０・２２１・２２２をＡＰＣモードとなるように切り替えて、乗算係数（Ｃ０、Ｃ１、Ｃ２、Ｃ３）及びベースクリップ特性（ａ）を白黒撮影時における輝度信号水平方向アパーチャ処理に所望の特性となるようにマイクロプロセッサ１０８により制御され、この信号をＤａｔａＥとする。Ｓ８０６において垂直アパーチャ処理および水平アパーチャ処理された信号を加算しＤａｔａＦとしてメモリ１１０に記憶する。
【００９１】
Ｓ８０７において、アパーチャ処理の終えた輝度信号ＤａｔａＦに対して非線形処理（ガンマ処理・ニー処理など）を施して、これをＹとする。尚、色黒撮影時のガンマ特性は被写体によって変更してもよい。例えば、被写体が原稿等の文字やキャラクタを有するものである時は、ガンマ特性を変更した方が再生画像において文字・キャラクタが明確な画像となる。この輝度信号ＹをＳ８０８においてメモリ１１０に記憶する。Ｓ８０９において処理の終わったＤａｔａＡをメモリから削除する。ただし、隣接ブロックの処理に必要となる画素データは削除しない。また、同処理はＳ８０１以降からＳ８０８の間に行なわれても構わない。
【００９２】
Ｓ８１０においてＤａｔａＡから得られた輝度信号（Ｙ）に対して圧縮処理を施す。Ｓ８１１で圧縮処理された信号を図１、２、３における６０９ＰＣＭＣＩＡコネクタを介して記録媒体に記録、あるいは、Ｉ／Ｆコネクタを介してパソコン等に伝送する。
Ｓ８１２においてＣＣＤから読み出され１１０メモリに記憶された映像信号全てに対しての処理が終了したか否かを判別するものであり、終了するまでＳ８００へと移行して新たなブロックに対して上記の処理を行なっていく。
【００９３】
図１７から図１９はＣＣＤをフィールド読み出しした時の信号処理を示したフローチャートであり、色フィルタが（Ｍｇ、Ｇ、Ｃｙ、Ｙｅ）から（Ｗｂ、Ｇｒ、Ｇｂ、Ｗｒ）に変わったものと考えるとフレーム読み出しとほぼ同じ処理を行うこととなる。
図１７において、Ｓ９０１にて１０１ＣＣＤから読み出されメモリ１１０に記憶された映像信号よりＣＣＤ１０１のオプティカルブラックより読み出された信号を抽出し、Ｓ９０２にて抽出した信号よりオプティカルブラックの平均レベル（ａＯＢ）を算出し、記憶する。
【００９４】
また、Ｓ９０３にて同抽出信号を色毎に平均値（ＯＢＷｂ、ＯＢＧｒ、ＯＢＧｂ、ＯＢＷｒ）算出し、記憶する。Ｓ９０４及びＳ９０５においてＣＣＤの有効画素より読み出された信号部に例えば図７（Ｅ）の様に撮影画面内の所定位置に複数個のサンプルポイントを設け、各サンプルポイントは図７（Ｂ）の単位ブロックから成るものとする。これらのサンプルポイントのうち１サンプルの映像信号を抽出する。Ｓ９０６にて上記抽出した信号から（Ｗｂ−Ｇｒ）、（Ｇｂ−Ｗｒ）値を求め、Ｓ９０７にて計算結果がそれぞれ所定の範囲内の値であるか否かを判別する。この所定範囲とは例えば、ａ＜（Ｗｂ−Ｇｒ）＜ｂ、ｃ＜（Ｇｂ−Ｗｒ）＜ｄと設定する。
【００９５】
判別の結果各々が全て所定範囲内にあるならば、同サンプルポイントをホワイトバランス設定するためのデータとして有効とみなし、Ｓ９０８にて各色毎に積分データとする。Ｓ９０７で（Ｗｂ−Ｇｒ）、（Ｇｂ−Ｗｒ）の内いずれかひとつでも範囲外と判別されたならば、同サンプルポイントをホワイトバランス設定するためのデータとしては無効とみなし、Ｓ９０９にて同サンプルポイントのデータを捨て、Ｓ９１０にてサンプル数の変更を行う。Ｓ９１１で所定のサンプルを全て抽出したか否かを判別して全サンプルを抽出するまで上記Ｓ９０５〜Ｓ９１１の動作を繰り返す。
【００９６】
上記のルーチンで得た色毎の積分値と全サンプルの積分値、およびオプティカルブラック部から得た（ａＯＢ）と（ＯＢＷｂ、ＯＢＧｒ、ＯＢＧｂ、ＯＢＷｒ）とから、Ｓ９１２にて
ＳＹｐ＝（サンプル全画素積分値）／（サンプル画素数）−ａＯＢ
ＳＷｂ＝（Ｗｂのサンプル積分値）／（Ｗｂのサンプル数）−ＯＢＷｂ
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
以下同様にＳＷｂ、ＳＧｒ、ＳＧｂ、ＳＷｒを算出する。
【００９７】
ここで得られたＳＷｂ、ＳＧｒ、ＳＧｂ、ＳＷｒ及びＳＹｐを白を写したときに得られるＣＣＤ各色フィルタ毎の出力と等価であるものとみなす。ここで得た結果（ＳＷｂ、ＳＧｒ、ＳＧｂ、ＳＷｒ、ＳＹｐ）と先に述べた黒露光時に得た結果（ＢＷｂ、ＢＧｒ、ＢＧｂ、ＢＷｒ、ＢＬ）を基に、Ｓ９１３・Ｓ９１４にて
ＳＹ＝ＳＹｐ−ＢＬ
を求め、更に、
ｗｗｂ＝ＳＹ／（ＳＷｂ−ＢＷｂ）
ｗｇｒ＝ＳＹ／（ＳＧｒ−ＢＧｒ）
ｗｇｂ＝ＳＹ／（ＳＧｂ−ＢＧｂ）
ｗｗｒ＝ＳＹ／（ＳＷｒ−ＢＷｒ）
を求め、これらの値をホワイトバランス調整データとして記憶する。
【００９８】
ホワイトバランス調整データが求められたならば図１８に移り、Ｓ１００１にてメモリ１１０に記憶されているＣＣＤから読み出された全映像信号に対して各々色毎にオプティカルブラック値および黒レベルでクランプする。例えばある箇所における画素がＷｂの色フィルタであり、この画素の出力をｐｗｂとすると
ｃｌ  ｗｂ＝ｐｗｂ−ＯＢＷｂ−ＢＷｂ
と処理する。他の色に関しても同様に出力信号を夫々ｐｇｒ、ｐｇｂ、ｐｗｒとすると、
ｃｌ  ｇｒ＝ｐｇｒ−ＯＢＧｒ−ＢＧｒ
ｃｌ  ｇｂ＝ｐｇｂ−ＯＢＧｂ−ＢＧｂ
ｃｌ  ｗｒ＝ｐｗｒ−ＯＢＷｒ−ＢＷｒ
と処理する。
【００９９】
Ｓ１００１にて上記処理を全画素の映像信号に対して施したならば、Ｓ１００２においてこの全映像信号より水平方向（Ｘピクセル）垂直方向（Ｙピクセル）のブロックを抽出しこれをＤａｔａＡとする。
Ｓ１００３にてホワイトバランス調整処理を施す。このホワイトバランス調整処理は先に得たホワイトバランス調整データ（ｗｗｂ、ｗｇｒ、ｗｇｂ、ｗｗｒ）を上記Ｓ１００２で選択された画素の信号（ＤａｔａＡ）に対して色別に乗算して画素毎に信号レベル調整という形で行い、
Ｗｂ＝ｗｗｂ＊ｃｌ  ｗｂ
Ｇｒ＝ｗｇｒ＊ｃｌ  ｇｒ
Ｇｂ＝ｗｇｂ＊ｃｌ  ｇｂ
Ｗｒ＝ｗｗｒ＊ｃｌ  ｗｒ
を得る。
【０１００】
Ｓ１００３にてホワイトバランス調整処理を全画素に対して施し、処理後の信号を１１０メモリに記憶されているＣＣＤ読み出し信号と置き換えてＤａｔａＡ′として記憶する。Ｓ１００５〜Ｓ１０１２の処理は選択したブロックＤａｔａＡ′に対する色処理を施すルーチンであり、Ｓ１００５においてマトリックスをかけて補色の混合色（Ｗｂ、Ｇｒ、Ｇｂ、Ｗｒ）を原色（Ｒ＝レッド、Ｇ＝グリーン、Ｂ＝ブルー）信号に変換し、各画素に対応するＲ・Ｇ・Ｂを得て、Ｓ１００６にて得られて原色信号をメモリ１１０に記憶する。
【０１０１】
Ｓ１００７ではこのＲＧＢ信号を色毎に順次水平方向に読み出してデジタルプロセス手段１０７に送る。この時、デジタルプロセス手段１０７の回路状況は、図１６の（Ａ）における切替スイッチ２２０・２２１・２２２をＦＩＲフィルタとして動作するように切り替え、かつＣ０、Ｃ１、Ｃ２、Ｃ３乗算係数をフィールド読み色処理時における所望のフィルタ特性と成るようにマイクロプロセッサ１０８により制御されている。Ｓ１００８においてデジタルプロセス手段１０７で処理されたＲＧＢ信号を各々メモリ１１０に記憶していく。Ｓ１００９においてＲＧＢ各々に対してガンマ処理やニー処理などの非線形処理を施す。Ｓ１０１０・Ｓ１０１１にて非線形処理されたＲＧＢにマトリクスをかけ色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に変換し、Ｒ−Ｙ、Ｂ−Ｙ毎に１１０メモリに記憶するこれらをＤａｔａＢとする
【０１０２】
図１９のＳ１１０１に処理を移行し、ＤａｔａＡに対して水平方向のフィルタ処理を行うために、記憶されている同信号を水平方向に読み出してデジタルプロセス手段１０７によりフィルタ処理を施す（フィールド処理時における輝度信号処理はホワイトバランス処理を施さない信号に対して行う）。この時、デジタルプロセス手段１０７は、図１６における切替スイッチ２２０・２２１・２２２をＦＩＲフィルタとして動作するように切り替えて、乗算係数（Ｃ０、Ｃ１、Ｃ２、Ｃ３）をフィールド読み出し時における輝度信号処理として所望の特性となるようにマイクロプロセッサ１０８により制御される。Ｓ１１０２にてデジタルプロセス手段１０７により処理された信号をメモリに記憶する。この信号をＤａｔａＣとする。
【０１０３】
Ｓ１１０３においてＤａｔａＣの信号レベルを検出し所定の閾値より大きな値である時に同箇所に対応する場所のＤａｔａＢのＲ−Ｙ、Ｂ−Ｙに対して信号抑圧処理を施し、Ｓ１１０４において同処理されたＲ−Ｙ、Ｂ−Ｙ信号をメモリ１１０に記憶する（これらの信号を夫々Ｃｒ、Ｃｂとする）。
Ｓ１１０５において、ＤａｔａＣを垂直方向に読み出しデジタルプロセス手段１０７により周波数領域における高域部を強調するアパーチャ処理（ＡＰＣ）を施す。この時、デジタルプロセス手段１０７の回路状況は、図１６の切替スイッチ２２０・２２１・２２２をＡＰＣモードとなるように切り替えて、乗算係数（Ｃ０、Ｃ１、Ｃ２、Ｃ３）及びベースクリップ特性（ａ）を輝度信号垂直方向アパーチャ処理に所望の特性となるようにマイクロプロセッサ１０８により制御され、Ｓ１１０６において処理された信号をＤａｔａＤとしてメモリ１１０に記憶する。
【０１０４】
Ｓ１１０７において、ＤａｔａＤを水平方向に読み出しデジタルプロセス手段１０７により周波数領域における高域部を強調するアパーチャ処理（ＡＰＣ）を施す。この時、デジタルプロセス１０７の回路状況は、図１６の切替スイッチ２２０・２２１・２２２をＡＰＣモードと成るように切り替えて、乗算係数（Ｃ０、Ｃ１、Ｃ２、Ｃ３）及びベースクリップ特性（ａ）を輝度信号水平方向アパーチャ処理に所望の特性となるようにマイクロプロセッサ１０８より制御され、Ｓ１１０８において処理された信号をＤａｔａＥとしてメモリ１１０に記憶する。
【０１０５】
Ｓ１１０９において、アパーチャ処理の終えた輝度信号ＤａｔａＥに対して非線形処理（ガンマ処理・ニー処理など）を施し（これをＹ′とする）、Ｓ１１１０にて同信号に対して色差信号による補正を施しこれをＹとする。
Ｙ＝Ｙ′−αＣｒ−βＣｂ  （α、βは定数）
この輝度信号ＹをＳ１１１１においてメモリに記憶する。
【０１０６】
Ｓ１１１２において処理の終わったＤａｔａＡをメモリから削除する。但し、隣接ブロックの処理に必要となる画素データは削除しない。また、同処理はＳ１１０１以降からＳ１１１１の間に行なわれても構わないものである。
Ｓ１１１３においてＤａｔａＡから得られた輝度信号・色差信号（Ｙ、Ｃｒ、Ｃｂ）に対して圧縮処理を施す。Ｓ１１１４で圧縮処理された信号を図１、２、３におけるＰＣＭＣＩＡコネクタ６０９を介して記録媒体に記録、あるいは、Ｉ／Ｆコネクタを介してパソコン等に伝送する。
Ｓ１１１５においてＣＣＤ１０１から読み出されメモリ１１０に記憶された映像信号全てに対しての処理が終了したか否かを判別するものであり、終了するまで「３」へと移行して新たなブロックに対して上記の処理を行なって行く。
【０１０７】
次に、図１１のＳ６０６におけるＭｇ、Ｇ、Ｃｙ、ＹｅからＲ、Ｇ、Ｂに変換するマトリックス処理のパラメータ設定について説明する。変換式を以下のように与える。
Ｒ＝ａ１１＊Ｍｇ＋ａ１２＊Ｇ＋ａ１３＊Ｃｙ＋ａ１４＊Ｙｅ
Ｇ＝ａ２１＊Ｍｇ＋ａ２２＊Ｇ＋ａ２３＊Ｃｙ＋ａ２４＊Ｙｅ
Ｂ＝ａ３１＊Ｍｇ＋ａ３２＊Ｇ＋ａ３３＊Ｃｙ＋ａ３４＊Ｙｅ
【０１０８】
ＣＣＤ１０１の色フィルタ配列は前述のように図７（Ａ）の様になっているために、Ｒ、Ｇ、Ｂを作るためには少なくとも水平方向２画素・垂直方向２画素の計４画素が必要であり、２ライン間の演算を行うことになる。しかし、垂直方向に相関のない絵柄を撮影すると色信号にモアレが生じてしまう。このモアレを抑圧するような条件をパラメータ設定に組み込む。
【０１０９】
色モアレの中で特に問題となる成分は、白黒の垂直方向２画素繰り返し周波数の被写体を撮影した時に発生する。Ｒ．Ｇ．Ｂ信号に発生する垂直２画素繰り返し周波数相当のキャリアをｒｍ、ｇｍ、ｂｍとすると
ｒｍ＝（ａ１１＊Ｍｇ＋ａ１２＊Ｇ）−（ａ１３＊Ｃｙ＋ａ１４＊Ｙｅ）
ｇｍ＝（ａ２１＊Ｍｇ＋ａ２２＊Ｇ）−（ａ２３＊Ｃｙ＋ａ２４＊Ｙｅ）
ｂｍ＝（ａ３１＊Ｍｇ＋ａ３２＊Ｇ）−（ａ３３＊Ｃｙ＋ａ３４＊Ｙｅ）
として表せる。
【０１１０】
このキャリア成分が０となればモアレの発生を抑圧することになる。すると、
（ａ１１＊Ｍｇ＋ａ１２＊Ｇ）＝（ａ１３＊Ｃｙ＋ａ１４＊Ｙｅ）
（ａ２１＊Ｍｇ＋ａ２２＊Ｇ）＝（ａ２３＊Ｃｙ＋ａ２４＊Ｙｅ）
（ａ３１＊Ｍｇ＋ａ３２＊Ｇ）＝（ａ３３＊Ｃｙ＋ａ３４＊Ｙｅ）
となる。
【０１１１】
本発明においてはＣＣＤ出力の各色に対してホワイトバランスとして振幅調整を行なっている。白を写した時のＣＣＤ出力の各色出力をＭｇｗ、Ｇｗ、Ｃｙｗ、Ｙｅｗとし、これらに対してホワイトバランス調整値ｗｍｇ、ｗｇ、ｗｃｙ、ｗｙｅをかけた値がＭｇ、Ｇ、Ｃｙ、Ｙｅとなり、そのレベル比は同じになり、
Ｍｇ＝ｗｍｇ＊Ｍｇｗ
Ｇ＝ｗｇ＊Ｇｗ
Ｃｙ＝ｗｃｙ＊Ｃｙｗ
Ｙｅ＝ｗｙｅ＊Ｙｅｗ
Ｍｇ＝Ｇ＝Ｃｙ＝Ｙｅ
であり、
ａ１１＋ａ１２＝ａ１３＋ａ１４
ａ２１＋ａ２２＝ａ２３＋ａ２４
ａ３１＋ａ３２＝ａ３３＋ａ３４
の条件を満たせば、白黒で垂直相関のない被写体でのモアレを抑圧することができる。
【０１１２】
例えば白においてＲ＝Ｇ＝Ｂとし、
α＝ａ１１＋ａ１２＝ａ１３＋ａ１４
＝ａ２１＋ａ２２＝ａ２３＋ａ２４
＝ａ３１＋ａ３２＝ａ３３＋ａ３４  （αは定数）
白撮影部位がＭｇ＝Ｇ＝Ｃｙ＝Ｙｅ＝１となるように利得調整し、Ｒ＝Ｇ＝Ｂ＝１を得るためには
Ｒ＝ａ１１＊１＋ａ１２＊１＋ａ１３＊１＋ａ１４＊１＝２α＝１
Ｇ＝ａ２１＊１＋ａ２２＊１＋ａ２３＊１＋ａ２４＊１＝２α＝１
Ｂ＝ａ３１＊１＋ａ３２＊１＋ａ３３＊１＋ａ３４＊１＝２α＝１
従ってα＝０．５であり、
Ｒ＝ａ１１＊Ｍｇ＋（０．５−ａ１１）＊Ｇ＋ａ１３＊Ｃｙ＋（０．５−ａ１３）＊Ｙｅ
Ｇ＝ａ２１＊Ｍｇ＋（０．５−ａ２１）＊Ｇ＋ａ２３＊Ｃｙ＋（０．５−ａ２３）＊Ｙｅ
Ｂ＝ａ３１＊Ｍｇ＋（０．５−ａ３１）＊Ｇ＋ａ３３＊Ｃｙ＋（０．５−ａ３３）＊Ｙｅ
となる。あとの６個のパラメータによりイメージセンサーの色フィルタ分光特性に合わせて色再現性を最適化する。
【０１１３】
もしＣＣＤ色フィルタが理想的（ｍｇ＝Ｒ＋Ｂ、ｇ＝Ｇ、ｃｙ＝Ｇ＋Ｂ、ｙｅ＝Ｒ＋Ｇ：ｍｇ、ｇ、ｃｙ、ｙｅはＣＣＤの色フィルタ応答）であるとすると
Ｒ＝（０．７５）＊Ｍｇ＋（−０．２５）＊Ｇ＋（−０．７５）＊Ｃｙ＋（１．２５）＊Ｙｅ
Ｇ＝（−０．２５）＊Ｍｇ＋（０．７５）＊Ｇ＋（０．２５）＊Ｃｙ＋（０．２５）＊Ｙｅ
Ｂ＝（０．７５）＊Ｍｇ＋（−０．２５）＊Ｇ＋（１．２５）＊Ｃｙ＋（−０．７５）＊Ｙｅ
のパラメータが得られる。実際のＣＣＤにおける色フィルタの理想条件からのずれを上記６パラメータにより最適な色再現を実現するように設定する。
【０１１４】
上記のようにパラメータに与えることにより、ＣＣＤ１０１から読み出した信号の利得制御でホワイトバランスをとるとともにモアレ抑圧をも同時に行なえ、いかなる色温度下においても同一のパラメータによってモアレの抑圧が行なえる。
【０１１５】
ＣＣＤ１０１をフィールド読み出し（垂直２画素加算読み出し）した場合におけるＷｂ、Ｇｒ、Ｇｂ、ＷｒからＲＧＢに変換するマトリクス処理におけるパラメータ設定については上記のフレーム読み出しと同様に、
Ｒ＝ｂ１１＊Ｗｂ＋ｂ１２＊Ｇｒ＋ｂ１３＊Ｇｂ＋ｂ１４＊Ｗｒ
Ｇ＝ｂ２１＊Ｗｂ＋ｂ２２＊Ｇｒ＋ｂ２３＊Ｇｂ＋ｂ２４＊Ｗｒ
Ｂ＝ｂ３１＊Ｗｂ＋ｂ３２＊Ｇｒ＋ｂ３３＊Ｇｂ＋ｂ３４＊Ｗｒ
【０１１６】
ＣＣＤの色フィルタ配列は前述のように図７（Ａ）のようになっており、フィールド読み出しの時には図７（ｃ）のような形で出力される。Ｒ、Ｇ、Ｂを作るためにはＣＣＤ上における４ライン間の演算を行うことになる。しかし、垂直方向に相関のない絵柄を撮影すると色信号にモアレが生じてしまう。このモアレを抑圧するような条件をパラメータ設定に組み込む。フィールド読み出し時における色モアレの中で特に問題となる成分は、白黒の垂直方向４画素繰り返し周波数の被写体を撮影したときに発生する（２画素繰り返しは加算処理によりキャンセルされる）。
【０１１７】
Ｒ．Ｇ．Ｂ信号に発生する垂直４画素繰り返し周波数相当のキャリアをｒｍ、ｇｍ、ｂｍとすると
ｒｍ＝（ｂ１１＊Ｗｂ＋ｂ１２＊Ｇｒ）−（ｂ１３＊Ｇｂ＋ｂ１４＊Ｗｒ）
ｇｍ＝（ｂ２１＊Ｗｂ＋ｂ２２＊Ｇｒ）−（ｂ２３＊Ｇｂ＋ｂ２４＊Ｗｒ）
ｂｍ＝（ｂ３１＊Ｗｂ＋ｂ３２＊Ｇｒ）−（ｂ３３＊Ｇｂ＋ｂ３４＊Ｗｒ）
となり、このキャリア成分が０にすることがモアレの抑圧することとなる。
【０１１８】
上記フレーム時と同様に本発明においてはＣＣＤ出力の各色に対してホワイトバランスとして利得制御を行なっているので、Ｗｂ＝Ｇｒ＝Ｇｂ＝Ｗｒであることから以下の条件が得られる。
β＝（ｂ１１＋ｂ１２）＋（ｂ１３＋ｂ１４）
＝（ｂ２１＋ｂ２２）＋（ｂ２３＋ｂ２４）
＝（ｂ３１＋ｂ３２）＋（ｂ３３＋ｂ３４）  （βは定数）
この条件を満たし、かつ色再現を最適になるようパラメータを設定することによりフィールド読み出しにおいても、いかなる色温度下においても同一のパラメータによってモアレの抑圧が行なえる。
【０１１９】
以上のように、補色からＲＧＢ信号への変換マトリクスにおいてフレーム読み出しとフィールド読み出しとの切替はパラメータ値の変換だけで対応できる。
【０１２０】
図２１は本発明を概念的に示すブロック図であり、１０１は図１における撮像素子で、分光特性の異なる４種の色フィルタを有する。５００は撮像素子１０１の出力信号を利得制御する利得制御手段、５０１は利得制御された信号から色信号Ｃ１、Ｃ２、Ｃ３を生成する色信号生成手段である。
【０１２１】
尚、利得制御手段５００、色信号生成手段５０１はそれぞれ図１のデジタルプロセス手段１０７、マイクロプロセッサ１０８、メモリ１１０等で構成される。
【０１２２】
次に動作について説明する。
撮像素子１０１から出力される４種の色フィルタに各々対応する第１の信号Ｐ１、第２の信号Ｐ２、第３の信号Ｐ３、第４の信号Ｐ４に対して利得制御手段５００は、色温度に応じて利得制御する。その場合、利得制御された第１の信号Ｐ′１、第２の信号Ｐ′２、第３の信号Ｐ′３、第４の信号Ｐ′４の白撮影部分においてＰ′１＝Ｐ′２＝Ｐ′３＝Ｐ′４となるように利得制御する。利得制御された信号Ｐ′１、Ｐ′２、Ｐ′３、Ｐ′４に対して色信号生成手段５０１は、パラメータα１１、α１２、α１３、α１４、α２１、α２２、α２３、α２４、α３１、α３２、α３３、α３４を用いて、
【０１２３】
Ｃ１＝α１１＊Ｐ′１＋α１２＊Ｐ′２＋α１３＊Ｐ′３＋α１４＊Ｐ′４
Ｃ２＝α２１＊Ｐ′１＋α２２＊Ｐ′２＋α２３＊Ｐ′３＋α２４＊Ｐ′４
Ｃ３＝α３１＊Ｐ′１＋α３２＊Ｐ′２＋α３３＊Ｐ′３＋α３４＊Ｐ′４
の演算を行い、その際、上記パラメータを、
【０１２４】
α１１＋α１２＝α１３＋α１４
α２１＋α２２＝α２３＋α２４
α３１＋α３２＝α３３＋α３４
を満足するように設定して上記演算を行うことにより、第１の色信号Ｃ１、第２の色信号Ｃ２および第３の色信号Ｃ３を生成する。
【０１２５】
【発明の効果】
以上説明したように、請求項１の発明によれば１画面内の複数のサンプルポイントにおいて、各サンプルポイントごとに色フィルタに対応した各色信号を抽出し、抽出した複数の色信号間で演算結果が所定範囲内にあるか否かを判別し、所定範囲内にあると判別された上記サンプルポイントからの各色信号の積分結果に基づきホワイトバランス制御のための制御信号を生成し、所定範囲内にあると判別された信号が所定数以上得られなかった場合には、上記ホワイトバランス制御のための制御信号を所定値に設定することにより、所定範囲内にあるか否かを判別することにより、ホワイトバランス制御信号を生成するために有効な色信号を用いて適切なホワイトバランスを行うことが出来、さらに、所定範囲内にない色信号で構成される撮像画像、例えば、全体的に彩度の強い色を撮像した画像であっても、その彩度の強い色の影響を受けることなく、精度の高いホワイトバランスを行うことが出来るため、良好な画像が得られる効果がある。
【０１２７】
また、請求項２の発明によれば、彩度の強い色を撮影してもその色方向に色信号がズレることを抑圧する効果がある。
【０１２８】
また、請求項３の発明によれば、撮像素子上におけるほぼ同一箇所における各色フィルタに対応する信号を抽出でき、その箇所における色の付き具合を検出することが容易となる効果がある。
【０１２９】
また、請求項４の発明によれば、簡易的に色範囲を判別することができ、判別処理時間を短縮する効果がある。
【図面の簡単な説明】
【図１】本発明の実施例を示すブロック図である。
【図２】アノテーションユニットの実施例を示すブロック図である。
【図３】接続台の実施例を示すブロック図である。
【図４】実施例の動作を示すフローチャートである。
【図５】実施例の動作を示すフローチャートである。
【図６】実施例の動作を示すフローチャートである。
【図７】撮像素子の色フィルタ配列を示す構成図である。
【図８】黒レベル設定動差を示すフローチャートである。
【図９】黒レベル設定動差を示すフローチャートである。
【図１０】撮像素子のフレーム読み出し時の信号処理を示すフローチャートである。
【図１１】撮像素子のフレーム読み出し時の信号処理を示すフローチャートである。
【図１２】撮像素子のフレーム読み出し時の信号処理を示すフローチャートである。
【図１３】撮像素子のフレーム読み出し時の信号処理を示すフローチャートである。
【図１４】信号処理を行うときのメモリの使用状況を示す構成図である。
【図１５】信号処理を行うときのメモリの使用状況を示す構成図である。
【図１６】デジタルプロセス手段の構成例等を示す図である。
【図１７】撮像素子のフィールド読み出し時の信号処理を示すフローチャートである。
【図１８】撮像素子のフィールド読み出し時の信号処理を示すフローチャートである。
【図１９】撮像素子のフィールド読み出し時の信号処理を示すフローチャートである。
【図２０】ホワイトバランス設定範囲の説明図である。
【図２１】本発明を概念的に示すブロック図である。
【図２２】従来の撮像装置のブロック図である。
【図２３】図２２の撮像信号処理回路のブロック図である。
【符号の説明】
１０１  ＣＣＤセンサ
１０７  デジタルプロセス手段
１０８  マイクロプロセッサ
１１０  メモリ
【図１】
0003768557.tif 000004
【図２】
0003768557.tif 000005
【図３】
0003768557.tif 000006
【図４】
0003768557.tif 000007
【図５】
0003768557.tif 000008
【図６】
0003768557.tif 000009
【図７】
0003768557.tif 000010
【図８】
0003768557.tif 000011
【図９】
0003768557.tif 000012
【図１０】
0003768557.tif 000013
【図１１】
0003768557.tif 000014
【図１２】
0003768557.tif 000015
【図１３】
0003768557.tif 000016
【図１４】
0003768557.tif 000017
【図１５】
0003768557.tif 000018
【図１６】
0003768557.tif 000019
【図１７】
0003768557.tif 000020
【図１８】
0003768557.tif 000021
【図１９】
0003768557.tif 000022
【図２０】
0003768557.tif 000023
【図２１】
0003768557.tif 000024
【図２２】
0003768557.tif 000025
【図２３】
0003768557.tif 000026