(57)【特許請求の範囲】
【請求項１】
注目画素の周辺部の平均輝度を算出する第１手段、および
第１手段によって算出された平均輝度に基づいて入出力特性を制御することにより、注目画素の輝度を制御する第２手段、
を備え、
第２手段は、第１手段によって算出された平均輝度が小さい場合には低輝度部の階調変化率が大きくなり、平均輝度が大きい場合には高輝度部の階調変化率が大きくなり、平均輝度が中間値である場合には中間輝度部の階調変化率が大きくなるように、平均輝度に応じて入出力特性を変化させることによって、注目画素の輝度を制御するものである画像処理回路。
【請求項２】
注目画素を中心とする所定領域内の平均輝度を算出する第１手段、および
第１手段によって算出された平均輝度に基づいて入出力特性を制御することにより、注目画素の輝度を制御する第２手段、
を備え、
第２手段は、第１手段によって算出された平均輝度が小さい場合には低輝度部の階調変化率が大きくなり、平均輝度が大きい場合には高輝度部の階調変化率が大きくなり、平均輝度が中間値である場合には中間輝度部の階調変化率が大きくなるように、平均輝度に応じて入出力特性を変化させることによって、注目画素の輝度を制御するものである画像処理回路。
【請求項３】
第１手段は、注目画素を中心とする所定の領域において、注目画素の斜め方向に位置する画素の輝度の平均値を算出するものである請求項１に記載の画像処理回路。
【請求項４】
第１手段は、注目画素を中心とする所定の領域において、注目画素の斜め方向に位置する画素と注目画素とから構成される画素の輝度の平均値を算出するものである請求項２に記載の画像処理回路。
【請求項５】
入出力特性は、横軸に入力を縦軸に出力をとった場合に、下部左側に位置し勾配が小さい第１直線部、上部右側に位置し勾配が小さい第３直線部、第１直線部の右端と第３直線部の左端とを連結し勾配が大きい第２直線部とからなり、第２手段は、第１手段によって算出された平均輝度に応じて第２直線部が左右方向にスライドするように入出力特性を変化させることによって、注目画素の輝度を制御するものである請求項１、２、３及び４のいずれかに記載の画像処理回路。
【請求項６】
注目画素の周辺部の平均輝度を算出する第１手段、および
第１手段によって算出された平均輝度に基づいて入出力特性を制御することにより、注目画素の輝度を制御する第２手段、
を備え、
第２手段は、第１手段によって算出された平均輝度が小さい場合には低輝度部の階調変化率が小さくなり、平均輝度が大きい場合には高輝度部の階調変化率が小さくなり、平均輝度が中間値である場合には中間輝度部の階調変化率が小さくなるように、平均輝度に応じて入出力特性を変化させることによって、注目画素の輝度を制御するものである画像処理回路。
【請求項７】
注目画素を中心とする所定領域内の平均輝度を算出する第１手段、および
第１手段によって算出された平均輝度に基づいて入出力特性を制御することにより、注目画素の輝度を制御する第２手段、
を備え、
第２手段は、第１手段によって算出された平均輝度が小さい場合には低輝度部の階調変化率が小さくなり、平均輝度が大きい場合には高輝度部の階調変化率が小さくなり、平均輝度が中間値である場合には中間輝度部の階調変化率が小さくなるように、平均輝度に応じて入出力特性を変化させることによって、注目画素の輝度を制御するものである画像処理回路。
【請求項８】
第１手段は、注目画素を中心とする所定の領域において、注目画素の斜め方向に位置する画素の輝度の平均値を算出するものである請求項６に記載の画像処理回路。
【請求項９】
第１手段は、注目画素を中心とする所定の領域において、注目画素の斜め方向に位置する画素と注目画素とから構成される画素の輝度の平均値を算出するものである請求項７に記載の画像処理回路。
【請求項１０】
入出力特性は、横軸に入力を縦軸に出力をとった場合に、下部左側に位置し勾配が大きい第１直線部、上部右側に位置し勾配が大きい第３直線部、第１直線部の右端と第３直線部の左端とを連結し勾配が小さい第２直線部とからなり、第２手段は、第１手段によって算出された平均輝度に応じて第２直線部が上下方向にスライドするように入出力特性を変化させることによって、注目画素の輝度を制御するものである請求項６、７、８及び９のいずれかに記載の画像処理回路。
【発明の詳細な説明】
＜技術分野＞
この発明は、カラーカメラ、モニタ等の映像関連機器のコントラスト強調、平滑化を行うための画像処理回路に関する。
＜背景技術＞
例えば、単板式ＣＣＤカラーカメラでは、１画面全体でコントラストの強調処理を行なっていた。つまり、従来のコントラスト強調の入出力特性（Ｙｉｎ  −Ｙｏｕｔ）は、図１０に示すように、画面全体に対して１対１の入出力特性の傾きを大きくすることによってコントラストを強調している。
しかしながら、図１０に示すように、中間輝度部のコントラストを強調しようとすると、低輝度部と高輝度部での階調が減少してしまう。
この発明は、注目画素の周辺輝度に応じて好適なコントラスト強調を行なうことができる画像処理回路を提供することを目的とする。
この発明は、注目画素の周辺輝度に応じて好適な平滑化処理を行なうことができる画像処理回路を提供することを目的とする。
＜発明の開示＞
この発明による第１の画像処理回路は、注目画素の周辺部の平均輝度を算出する第１手段、および第１手段によって算出された平均輝度に基づいて入出力特性を制御することにより、注目画素の輝度を制御する第２手段を備えていることを特徴とする。
この発明による第２の画像処理回路は、注目画素を中心とする所定領域内の平均輝度を算出する第１手段、および第１手段によって算出された平均輝度に基づいて入出力特性を制御することにより、注目画素の輝度を制御する第２手段を備えていることを特徴とする。
第２手段としては、たとえば、第１手段によって算出された平均輝度が小さい場合には低輝度部の階調変化率が大きくなり、平均輝度が大きい場合には高輝度部の階調変化率が大きくなり、平均輝度が中間値である場合には中間輝度部の階調変化率が大きくなるように、平均輝度に応じて入出力特性を変化させることによって、注目画素の輝度を制御するものが用いられる。
入出力特性としては、たとえば、横軸に入力を縦軸に出力をとった場合に、下部左側に位置し勾配が小さい第１直線部、上部右側に位置し勾配が小さい第３直線部、第１直線部の右端と第３直線部の左端とを連結し勾配が大きい第２直線部とからなるものが用いられる。この場合には、第２手段としては、たとえば、第１手段によって算出された平均輝度に応じて第２直線部が左右方向にスライドするように入出力特性を変化させることによって、注目画素の輝度を制御するものが用いられる。
第２手段としては、たとえば、第１手段によって算出された平均輝度が小さい場合には低輝度部の階調変化率が小さくなり、平均輝度が大きい場合には高輝度部の階調変化率が小さくなり、平均輝度が中間値である場合には中間輝度部の階調変化率が小さくなるように、平均輝度に応じて入出力特性を変化させることによって、注目画素の輝度を制御するものが用いられる。
入出力特性としては、たとえば、横軸に入力を縦軸に出力をとった場合に、下部左側に位置し勾配が大きい第１直線部、上部右側に位置し勾配が大きい第３直線部、第１直線部の右端と第３直線部の左端とを連結し勾配が小さい第２直線部とからなるものが用いられる。この場合には、第２手段としては、たとえば、第１手段によって算出された平均輝度に応じて第２直線部が上下方向にスライドするように入出力特性を変化させることによって、注目画素の輝度を制御するものが用いられる。
上記第１の画像処理回路における第１手段としては、たとえば、注目画素を中心とする所定の領域において、注目画素の斜め方向に位置する画素の輝度の平均値を算出するものが用いられる。
上記第２の画像処理回路における第１手段としては、たとえば、注目画素を中心とする所定の領域において、注目画素の斜め方向に位置する画素と注目画素とから構成される画素の輝度の平均値を算出するものが用いられる。
この発明の第３の画像処理回路は、互いに異なる種類のフィルタを用いて、注目画素の周辺部の平均輝度を算出する複数の平均輝度算出手段、各平均輝度算出手段毎に設けられ、対応する平均輝度算出手段によって算出された平均輝度に基づいて、入出力特性を制御することにより、注目画素の輝度を制御する複数の輝度制御手段、および各輝度制御手段によって得られた注目画素の輝度を加重加算することにより、注目画素に対する出力輝度を算出する加重加算手段を備えていることを特徴とする。
この発明の第４の画像処理回路は、互いに異なる種類のフィルタを用いて、注目画素を中心とする所定領域内の平均輝度を算出する複数の平均輝度算出手段、各平均輝度算出手段毎に設けられ、対応する平均輝度算出手段によって算出された平均輝度に基づいて、入出力特性を制御することにより、注目画素の輝度を制御する複数の輝度制御手段、および各輝度制御手段によって得られた注目画素の輝度を加重加算することにより、注目画素に対する出力輝度を算出する加重加算手段を備えていることを特徴とする。
この発明の第５の画像処理回路は、互いに異なる種類のフィルタを用いて、注目画素の周辺部の平均輝度を算出する複数の平均輝度算出手段、各平均輝度算出手段によって得られた平均輝度を加重加算する加重加算手段、および加重加算手段によって得られた値に基づいて、入出力特性を制御することにより、注目画素の輝度を制御する輝度制御手段を備えていることを特徴とする。
この発明の第６の画像処理回路は、互いに異なる種類のフィルタを用いて、注目画素を中心とする所定領域内の平均輝度を算出する複数の平均輝度算出手段、各平均輝度算出手段によって得られた平均輝度を加重加算する加重加算手段、および加重加算手段によって得られた値に基づいて、入出力特性を制御することにより、注目画素の輝度を制御する輝度制御手段を備えていることを特徴とする。
フィルタの種類としては、たとえば、注目画素を中心とした一定の広い領域で積算を行う広域フィルタと、注目画素を中心とした一定の狭い領域で積算を行う狭域フィルタとがある。
注目画素およびその周辺部の画素に対応する入力映像の輝度に基づいて、加重加算手段で用いられる加重加算係数を制御する係数制御手段を設けてもよい。このような係数制御手段としては、たとえば、注目画素およびその周辺部において輪郭を検出する手段と、注目画素およびその周辺部の領域内の高周波成分を検出する手段と、これらの両検出手段の検出結果に基づいて加重加算係数を制御する手段とを備えているものが用いられる。
また、注目画素およびその周辺部の画素に対応する入力映像の色に基づいて、加重加算手段で用いられる加重加算係数を制御する係数制御手段を設けてもよい。このような係数制御手段としては、たとえば、注目画素およびその周辺部の画素のうち、それに対応する入力映像の色が肌色である画素の総数に基づいて、加重加算係数を制御するものが用いられる。
さらに、注目画素およびその周辺部の画素に対応する入力映像の輝度および色に基づいて、加重加算手段で用いられる加重加算係数を制御する係数制御手段を設けてもよい。
＜発明を実施するための最良の形態＞
〔Ａ〕第１の実施の形態についての説明
以下、図１〜図９を参照して、この発明の第１の実施の形態について説明する。
〔１〕単板式ＣＣＤカラーカメラにおける信号処理回路の構成の説明
図１は、単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示している。
第１のラインメモリ１は、入力映像信号（ＣＣＤ出力信号ＣＣＤｏｕｔ）を、１Ｈ（１水平期間）遅延させた映像信号を生成する。第２のラインメモリ２は、１Ｈ遅延した映像信号をさらに１Ｈ遅延させた映像信号を生成する。
入力映像信号、１Ｈ遅延された映像信号および２Ｈ遅延された映像信号は、ＹＣ分離回路３に送られるとともに、ＬＰＦ７に送られる。ＹＣ分離回路３からは、輝度信号Ｙと色信号Ｃとが出力される。
輝度信号Ｙは、Ｙプロセス回路４に送られ、所定の輝度信号処理が行なわれた後、コントラスト強調回路５に信号Ｙｉｎとして送られる。輝度信号Ｙおよび色信号Ｃは、Ｃプロセス回路６に送られ、所定の色信号処理が行なわれた後、色信号Ｃｏｕｔとして出力される。
ＬＰＦ７は、注目画素の周辺の平均輝度Ｙｌｐｆを算出する。例えば、ＬＰＦは、図２に示すように、注目画素Ｐｉｊを中心とする水平方向５画素、垂直方向３画素のブロックにおいて、注目画素Ｐｉｊの周辺の画素ＰＩＪ（Ｉ＝（ｉ−２）〜（ｉ＋２）、Ｊ＝（ｊ−１）〜（ｊ＋１））の平均輝度Ｙｌｐｆを算出する。ＬＰＦは、図２に示すブロック内の全画素の平均輝度Ｙｌｐｆを算出するようにしてもよい。
ＬＰＦ７によって算出された注目画素の周辺の平均輝度Ｙｌｐｆは、コントラスト強調回路５にコントラスト制御用データとして送られる。
〔２〕コントラスト強調回路５の説明
〔２−１〕コントラスト強調回路５によるコントラスト強調の原理についての説明
図３は、コントラスト強調回路５で用いられる輝度信号の入出力特性を表している。
入出力特性は、略Ｓ字の折れ線であり、四角形Ｑの辺Ａに沿った第１部分と、四角形Ｑの辺Ｃに沿った第３部分と、第１部分と第３部分とを連結しかつ辺Ｂおよび辺Ｄの傾きに基づいて作成される第２部分とからなる。入出力特性である折れ線の形態は、四角形Ｑの各辺Ａ、Ｂ、Ｃ、Ｄの傾きによって規定される。図４に示すように、四角形Ｑの各辺Ａ、Ｂ、Ｃ、Ｄの傾きは、変更可能である。
入出力特性は、ＬＰＦ７で算出される注目画素の周辺の平均輝度Ｙｌｐｆに応じて、画素単位で、矢印で示すように折れ線をスライドさせることにより、変化せしめられる。
注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合には、図５（ａ）に示すように、入出力特性を表す折れ線の第２部分が低輝度側に位置するように入出力特性を設定することにより、低輝度部での階調変化率が大きくなるようにする。一方、注目画素の周辺の平均輝度Ｙｌｐｆが大きい場合には、図５（ｂ）に示すように入出力特性を表す折れ線の第２部分が高輝度側に位置するように、入出力特性を設定することにより、高輝度部での階調変化率が大きくなるようにする。
また、注目画素の周辺の平均輝度Ｙｌｐｆが中間輝度値である場合には、図５（ｃ）に示すように、入出力特性を表す折れ線の第２部分が輝度中央部に位置するように入出力特性を設定することにより、輝度中央部での階調変化率が大きくなるようにする。
このように、注目画素の周辺の平均輝度Ｙｌｐｆに応じて入出力特性を変化させることにより、コントラストを強調させる。
〔２−２〕コントラスト強調回路５の構成例の説明
図６は、コントラスト強調回路５の構成の一例を示している。
第１乗算器１１は、図３の四角形Ｑの直線Ａの傾きａ１を入力輝度Ｙｉｎに掛けることによって、四角形Ｑの直線Ａ上での入力輝度Ｙｉｎに対する出力輝度Ｙ１（＝ａ１・Ｙｉｎ）を演算する。
第２乗算器１２と第１加算器２１とからなる回路は、図３の四角形Ｑの直線Ｃの傾きａ２を入力輝度Ｙｉｎに掛けた値に直線Ｃの切片ｂ１を加算することによって、四角形Ｑの直線Ｃ上での入力輝度Ｙｉｎに対する出力輝度Ｙ２（＝ａ２・Ｙｉｎ＋ｂ１）を演算する。切片ｂ１は直線Ｃと図３のグラフの縦軸との交点である。
第３乗算器１３と減算器２２とからなる回路は、直線Ａと直線Ｃとを連結する折れ線の第２部分の傾きａ３を入力輝度Ｙｉｎに掛けた値に、ｂ３を減算することによって、第２部分での入力輝度Ｙｉｎに対する出力輝度Ｙ３（＝ａ３・Ｙｉｎ−ｂ３）を演算する。ただし、傾きａ３は、第４乗算器１４によって、注目画素の周辺の平均輝度Ｙｌｐｆに、直線Ｂと直線Ｄとに基づいて作成されたａ４が乗算された値である。
また、ｂ３は、注目画素の周辺の平均輝度Ｙｌｐｆに直線Ｄと図３のグラフの横軸との交点のＹｉｎ座標値ａ５とが第５乗算器１５によって乗算されることによって得られたｂ２に、折れ線の第２部分の傾きａ３を第６乗算器１６によって乗算した値である。ここで、ｂ２は、折れ線の第２部分の延長線と図３のグラフの横軸との交点のＹｉｎ座標値である。つまり、ｂ３＝ａ３・ｂ２となり、Ｙ３＝ａ３（Ｙｉｎ−ｂ２）となる。
３つの出力輝度Ｙ１、Ｙ２およびＹ３は、比較器３１に送られるとともにセレクタ３２に送られる。比較器３１は、Ｙ１、Ｙ２およびＹ３のうちの大きさが中央の値のものを、注目画素の周辺の平均輝度Ｙｌｐｆに応じて今回設定した折れ線（入出力特性）に基づいて得られた出力輝度Ｙｏｕｔとしてセレクタ３２が選択するように、制御信号Ｓをセレクタ３２に出力する。したがって、セレクタ３２は、３つの出力輝度Ｙ１、Ｙ２およびＹ３のうち、中央の値の出力輝度をＹｏｕｔとして出力する。
図７（ａ）は、注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合の、Ｙ１、Ｙ２、Ｙ３の例および入出力特性の例を示し、図７（ｂ）は、注目画素の周辺の平均輝度Ｙｌｐｆが大きい場合のＹ１、Ｙ２、Ｙ３の例および入出力特性の例を示している。
輝度信号の入出力特性としては、図８に示すようなものを用いてもよい。つまり、この例では、折れ線ａから折れ線ｂとの間で、入出力特性が注目画素の周辺の平均輝度Ｙｌｐｆに応じて、変化せしめられる。
より具体的には、注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合には、折れ線ａで示すように、折れ線の屈曲点を上側に移動させて低輝度部での階調変化率を大きくさせる。逆に、注目画素の周辺の平均輝度Ｙｌｐｆが大きい場合には、折れ線ｂで示すように、折れ線の屈曲点を下側に移動させて、高輝度部での階調変化率を大きくさせる。
上記実施の形態では、注目画素の周辺部の平均輝度に基づいてコントラスト強調回路５で用いられる輝度信号の入出力特性を制御しているが、注目画素を中心とする所定領域内の平均輝度に基づいて輝度信号の入出力特性を制御してもよい。
上記実施の形態では、ＬＰＦ７としては、図２に示すように、注目画素の周辺の画素の平均輝度を算出するものが用いられているが、注目画素を中心とする所定領域において注目画素に対して斜め方向に存在する画素群の平均輝度を算出するようにしてもよい。
例えば、図９に示すように、ＬＰＦ７としては、注目画素Ｐｉｊを中心とする３×３の大きさの領域において、注目画素Ｐｉｊに対して斜め方向に存在する４つの画素Ｐｉ−１，ｊ−１、Ｐｉ＋１，ｊ−１、Ｐｉ−１，ｊ＋１、Ｐｉ＋１，ｊ＋１の平均輝度を算出するものを用いてもよい。また、これらの４つの画素Ｐｉ−１，ｊ−１、Ｐｉ＋１，ｊ−１、Ｐｉ−１，ｊ＋１、Ｐｉ＋１，ｊ＋１と注目画素Ｐｉｊとの合計５つの画素の平均輝度を算出するものを用いてもよい。
このようなＸ型のＬＰＦ７を用いた場合には、斜め方向の輪郭部に対してもスムーズなコントラスト強調を行える。なお、このようなＸ型のＬＰＦ７を用いた場合には、水平方向および垂直方向の輪郭部に対してもスムーズなコントラスト強調を行える。
また、上記実施の形態では、この発明を単板式カラーカメラに適用した場合について説明したが、この発明はテレビジョン受像機、ＶＴＲ、液晶プロジェクタ等の映像関連機器にも適用することができる。
〔Ｂ〕第２の実施の形態についての説明
以下、図１１〜図２０を参照して、この発明の第２の実施の形態について説明する。
〔１〕第２の実施の形態の概要についての説明
上記第１の実施の形態では、１種類のＬＰＦを用いて注目画素の周辺部の平均輝度を算出し、算出された平均輝度に基づいてコントラスト強調回路の入出力特性を制御することにより、コントラストを強調している。
第２の実施の形態では、複数種類のＬＰＦが用いられる。例えば、図１１（ａ）に示すような９×９の広域フィルタと図１１（ｂ）に示すような狭域フィルタとが用いられる。
広域フィルタを用いて注目画素の周辺部の輝度平均値を算出し、算出された輝度平均値に基づいてコントラスト強調回路の入出力特性を制御した場合には、広域的に輝度差を大きくすることができる。
図１２（ａ）に示すように、入力輝度がＹｉｎ１からＹｉｎ２に変化する領域においても、広域フィルタを用いて注目画素の周辺部の輝度平均値を算出した場合には、輝度がＹｉｎ１の画素の周辺部の平均輝度Ｙｌｐｆと、輝度がＹｉｎ２の画素の周辺部の平均輝度Ｙｌｐｆとは、ほぼ同じ値となると仮定することができる。
したがって、これらの入力輝度Ｙｉｎ１、Ｙｉｎ２に対するコントラスト強調回路の入出力特性は図１２（ａ）に示すようになり、入力輝度Ｙｉｎ１に対する出力輝度Ｙｏｕｔ１と入力輝度Ｙｉｎ２に対する出力輝度Ｙｏｕｔ２との差は、これらの入力輝度Ｙｉｎ１、Ｙｉｎ２の差より大きくなり、コントラストが向上する。
一方、狭域フィルタを用いて注目画素の周辺部の輝度平均値を算出し、算出された輝度平均値に基づいてコントラスト強調回路の入出力特性を制御した場合には、局所的に輝度差を大きくすることができる。
図１２（ｂ）に示すように、入力輝度がＹｉｎ１からＹｉｎ２に変化する輪郭部について考察する。狭域フィルタを用いて注目画素の周辺部の輝度平均値を算出した場合には、輪郭部より前側の低輝度平坦部の周辺部の輝度平均値をｋ１とすると、輪郭部の前エッジ部の周辺部の輝度平均値がｋ２（ｋ２＞ｋ１）となる。このため、低輝度平坦部の画素に対して用いられるコントラスト強調回路の入出力特性をＳｋ１とすると、輪郭部の前エッジ部の画素に対して用いられるコントラスト強調回路の入出力特性はＳｋ２となり、低輝度平坦部の出力輝度Ｙｏｕｔ１に対して輪郭部の前エッジ部の出力輝度Ｙｏｕｔ１’は小さくなる。
一方、輪郭部より後側の高輝度平坦部の周辺部の輝度平均値をｋ４とすると、輪郭部の後エッジ部の周辺部の輝度平均値がｋ３（ｋ３＜ｋ４）となる。このため、高輝度平坦部の画素に対して用いられるコントラスト強調回路の入出力特性をＳｋ４とすると、輪郭部の後エッジ部の画素に対して用いられるコントラスト強調回路の入出力特性はＳｋ３となり、高輝度平坦部の出力輝度Ｙｏｕｔ２に対して輪郭部の後エッジ部の出力輝度Ｙｏｕｔ２’は大きくなる。この結果、輪郭部の輝度差が大きくなり、輪郭部が強調される。
広域フィルタを用いて第１の実施の形態と同様な処理を行った場合には、・道路、壁などの質感が高まる、・中間色の間にある黒が引き締まる、・低輝度部が持ち上げられる等の長所があるが、輝度変化の大きい輪郭部では輝度ムラが発生するという短所がある。
一方、狭域フィルタを用いて第１の実施の形態と同様な処理を行った場合には、輪郭強調ができるといった長所があるが、コントラストはほとんど変化しないという短所がある。
そこで、第２の実施の形態では、広域フィルタおよび狭域フィルタをそれぞれ用いて注目画素の周辺部の輝度平均値を求め、それぞれの輝度平均値を用いて第１の実施の形態と同様にコントラスト強調処理を行い、それらの結果を加重加算するようにしている。
加重加算のための係数は、次のような２種類の加重加算制御を考慮して、算出される。
（１）輝度に基づく加重加算制御
高周波成分が少ない比較的広い領域内に輝度差が大きい輪郭部（たとえば、黒から白へと変化する輪郭部、白から黒へと変化する輪郭部）が存在する場合において、その輪郭部に対して広域フィルタを用いたコントラスト強調処理を行うと、輝度ムラが発生するので、このような輪郭部では狭域フィルタを用いたコントラスト強調処理結果の加重を大きくし、それ以外の領域では広域フィルタを用いたコントラスト強調処理結果の加重を大きくする。
（２）色に基づく加重加算制御
色に基づいて加重加算のための係数を制御する。たとえば、人の顔の色を有する肌色部分はコントラストを強調しすぎると、不自然な印象を与える場合がある。そこで、肌色部については、コントラストを強調しすぎないようにするために、狭域フィルタを用いたコントラスト強調処理結果の加重を大きくする。
〔２〕第２の実施の形態の回路の説明
図１３は、単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示している。
フィールドメモリ１０１は、複数のラインメモリを有しており、入力映像信号（ＣＣＤ出力信号ＣＣＤｉｎ）を、１フィールド分記憶する。
フィールドメモリ１０１に記憶された映像信号のうち、９ライン分の信号Ｗｉｎは、広域フィルタＷ＿ＬＰＦ１０２に送られ、注目画素周辺部の平均輝度（広域平均輝度）Ｗ＿Ｙｌｐｆが算出される。広域平均輝度Ｗ＿Ｙｌｐｆは、第１のコントラスト強調回路１０３にコントラスト制御用信号として送られる。
一方、上記９ラインのうちの中央の３ライン分の信号Ｎｉｎは、狭域フィルタＮ＿ＬＰＦ１０４に送られ、注目画素周辺部の平均輝度（狭域平均輝度）Ｎ＿Ｙｌｐｆが算出される。狭域平均輝度Ｎ＿Ｙｌｐｆは、第２のコントラスト強調回路１０５にコントラスト制御用信号として送られる。
９ライン分の信号Ｗｉｎは、第２の加重加算制御回路１１０にも送られる。３ライン分の信号Ｎｉｎは、ＹＣ分離回路１０６にも送られる。
ＹＣ分離回路１０６からは、輝度信号Ｙと色信号Ｃとが出力される。ＹＣ分離回路１０６から出力された輝度信号Ｙは、第１のＹプロセス回路（Ｙプロセス１）１０９に送られ、所定の輝度信号処理が行なわれた後、各コントラスト強調回路１０３、１０５に信号Ｙｉｎとして送られる。
第１のコントラスト強調回路１０３は、広域平均輝度Ｗ＿Ｙｌｐｆを用いて、信号Ｙｉｎに対して第１の実施の形態のコントラスト強調回路５と同様な処理を行って、Ｗ＿Ｙｃｏｎｔを出力する。第２のコントラスト強調回路１０５は、狭域平均輝度Ｎ＿Ｙｌｐｆを用いて、信号Ｙｉｎに対して第１の実施の形態のコントラスト強調回路５と同様な処理を行って、Ｎ＿Ｙｃｏｎｔを出力する。Ｗ＿ＹｃｏｎｔおよびＮ＿Ｙｃｏｎｔは、加重加算回路１１５に送られる。
ＹＣ分離回路１０６から出力された輝度信号Ｙおよび色信号Ｃは、Ｃプロセス回路１０７に送られる。Ｃプロセス回路１０７は、輝度信号Ｙおよび色信号Ｃから色差信号Ｒ−Ｙ，Ｂ−Ｙを生成して出力する。色差信号Ｒ−Ｙ，Ｂ−Ｙは、カラーエンコード１０８を介して色信号Ｃｏｕｔとして出力される。また、色差信号Ｒ−Ｙ，Ｂ−Ｙは、３ライン分の信号を保持できるラインメモリ１１３にも送られる。
ラインメモリ１１３に記憶された３ライン分の色差信号Ｒ−Ｙ，Ｂ−Ｙは、第１の加重加算制御回路１２０に送られる。第１の加重加算制御回路１２０は、肌色検出回路１２１と第１の係数算出回路１２２とを備えている。
肌色検出回路１２１は、注目画素を中心とする３×３画素の領域において、色が肌色である画素の総数（肌色係数）Ｆｌを求める。画素の色が肌色であるか否かは、その画素の色差信号Ｒ−Ｙ，Ｂ−Ｙに基づいて図１４の色差座標上でのその画素の色位置を求め、求めた色位置が色差座標上での肌色領域Ｕ内にあるか否かを判別することによって行われる。
肌色検出回路１２１によって求められた肌色係数Ｆｌは、第１の係数算出回路１２２に送られる。第１の係数算出回路１２２は、予め定められた、肌色係数と加重加算係数との関係を示すデータに基づいて、肌色検出回路１２１によって求められた肌色係数Ｆｌに対応する第１の加重加算係数Ｋ１（注目画素に対する第１の加重加算係数Ｋ１）を算出する。
図１５は、肌色係数と加重加算係数との関係を示すデータの一例を示している。図１５の例では、肌色係数Ｆｌが閾値ＴＨ１未満である場合には、広域フィルタを用いたコントラスト強調処理結果の加重を大きくするために、第１の加重加算係数Ｋ１は０となる。肌色係数Ｆｌが閾値ＴＨ１以上で閾値ＴＨ２以下である場合には、第１の加重加算係数Ｋ１は、肌色係数Ｆｌが大きくなるほど大きくなる。肌色係数Ｆｌが閾値ＴＨ２を越えると、狭域フィルタを用いたコントラスト強調処理結果の加重を大きくするために、第１の加重加算係数Ｋ１は１となる。
第１の係数算出回路１２２によって算出された加重加算係数Ｋ１は、加重加算係数算出回路１１４に送られる。
図１６は、第２の加重加算制御回路１１０の詳細な構成を示している。
図１３および図１６に示すように、第２の加重加算制御回路１１０は、輪郭検出回路１１１と第２の係数算出回路１１２とを備えている。
輪郭検出回路１１１は、９ライン分の信号Ｗｉｎが入力する輪郭検出回路１３１と、９ライン分の信号Ｗｉｎが入力する高周波成分算出回路１３２とを備えている。
高周波成分算出回路１３２は、図１７に示すように、注目画素を中心とする９×９画素の領域（広域）での高周波成分ＨＦｑを算出する。高周波成分ＨＦｑは、ＤＣＴ（離散コサイン変換）によるＤＣＴ係数を用いて算出される。
輪郭検出回路１３１は、図１７の注目画素を中心とする９×９画素の領域内の各画素毎に、水平・垂直輪郭信号Ｅｇを算出する。ある画素に対する水平・垂直輪郭信号Ｅｇは、次のようにして算出される。つまり、まず、その画素の左右両隣の画素値の差分値を求めるとともに、その画素の上下両隣の画素値の差分値を求めた後、これらの差分値を加算することにより求められる。
第２の係数算出回路１１２は、輪郭係数算出回路１４１、非高周波係数算出回路１４２、乗算器１４３および最大値算出回路１４４を備えている。
輪郭係数算出回路１４１は、予め定められた、水平・垂直輪郭信号と輪郭係数との関係を示すデータに基づいて、輪郭検出回路１３１によって求められた水平・垂直輪郭信号Ｅｇに対する輪郭係数ｅｇ１を算出する。
図１８は、水平・垂直輪郭信号と輪郭係数との関係を示すデータの一例を示している。図１８の例では、水平・垂直輪郭信号Ｅｇが閾値ＴＨ３未満である場合には、輪郭係数ｅｇ１は０となる。水平・垂直輪郭信号Ｅｇが閾値ＴＨ３以上で閾値ＴＨ４以下である場合には、輪郭係数ｅｇ１は、水平・垂直輪郭信号Ｅｇが大きくなるほど大きくなる。水平・垂直輪郭信号Ｅｇが閾値ＴＨ４を越えると、輪郭係数ｅｇ１は１となる。
非高周波係数算出回路１４２は、予め定められた、高周波成分と非高周波係数との関係を示すデータに基づいて、高周波成分算出回路１３２によって求められた高周波成分ＨＦｑに対する非高周波係数ｈｆ１を算出する。
図１９は、高周波成分と非高周波係数との関係を示すデータの一例を示している。図１９の例では、高周波成分ＨＦｑが閾値ＴＨ５未満である場合には、非高周波係数ｈｆ１は１となる。高周波成分ＨＦｑが閾値ＴＨ５以上で閾値ＴＨ６以下である場合には、非高周波係数ｈｆ１は、高周波成分ＨＦｑが大きくなるほど小さくなる。高周波成分ＨＦｑが閾値ＴＨ６を越えると、非高周波係数ｈｆ１は０となる。つまり、注目画素を中心とする９×９画素の領域（広域）での高周波成分ＨＦｑが少なくなるほど、非高周波係数ｈｆ１が大きな値となる。
乗算器１４３は、注目画素を中心とする９×９画素の領域内の画素毎に算出された各画素輪郭係数ｅｇ１を、その９×９画素の領域に対して求められた非高周波係数ｈｆ１に乗算する。乗算結果ｍは、最大値算出回路１４４に送られる。
最大値算出回路１４４は、注目画素を中心とする９×９画素の領域内の画素毎に算出されたｍのうちの最大値Ｍを求める。そして、予め定められた、最大値と第２の加重加算係数との関係を示すデータに基づいて、算出した最大値Ｍに対応する第２の加重加算係数Ｋ２（注目画素に対する第２の加重加算係数Ｋ２）を求める。
図２０は、最大値と第２の加重加算係数との関係を示すデータの一例を示している。図２０の例では、最大値Ｍが閾値ＴＨ７未満である場合には、広域フィルタを用いたコントラスト強調処理結果の加重を大きくするために、第２の加重加算係数Ｋ２は０となる。最大値Ｍが閾値ＴＨ７以上で閾値ＴＨ８以下である場合には、第２の加重加算係数Ｋ２は、最大値Ｍが大きくなるほど大きくなる。最大値Ｍが閾値ＴＨ８を越えると、狭域フィルタを用いたコントラスト強調処理結果の加重を大きくするために、第２の加重加算係数Ｋ２は１となる。
第２の加重加算係数Ｋ２は、加重加算係数算出回路１１４（図１３参照）に送られる。加重加算係数算出回路１１４は、第１の加重加算制御回路１２０から送られてきた注目画素に対する第１の加重加算係数Ｋ１と、第２の加重加算制御回路１１０から送られてきた注目画素に対する第２の加重加算係数Ｋ２のうち、大きい方の係数を最終的な加重加算係数Ｋとして選択して、加重加算回路１１５に送る。
加重加算回路１１５は、次式（１）に基づいて、Ｗ＿ＹｃｏｎｔとＮ＿Ｙｃｏｎｔとを加重することによって、信号Ｙｃｏｎｔを得る。
Ｙｃｏｎｔ＝Ｋ・Ｎ＿Ｙｃｏｎｔ＋（１−Ｋ）・Ｗ＿Ｙｃｏｎｔ    …（１）
得られた信号Ｙｃｏｎｔは、第２のＹプロセス回路（Ｙプロセス２）１１６を介して、Ｙｏｕｔとして出力される。
なお、上記実施の形態では、２つのコントラスト強調回路１０３、１０５の出力Ｗ＿Ｙｃｏｎｔ、Ｎ＿Ｙｃｏｎｔを加重加算回路１１５によって加重加算することによってＹｃｏｎｔが算出されているが、広域フィルタＷ＿ＬＰＦ１０２によって算出された広域平均輝度Ｗ＿Ｙｌｐｆと、狭域フィルタＮ＿ＬＰＦ１０４によって算出された狭域平均輝度Ｎ＿Ｙｌｐｆとを加重加算することによってコントラスト制御用信号を生成し、このコントラスト制御信号を用いてコントラスト強調処理を行う１つのコントラスト強調回路によってＹｃｏｎｔを算出するようにしてもよい。
〔Ｃ〕第３の実施の形態についての説明
以下、図２１〜図２５を参照して、この発明の第３の実施の形態について説明する。
〔１〕単板式ＣＣＤカラーカメラにおける信号処理回路の構成の説明
図２１は、単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示している。図２１において、図１と同じものには、同じ符号を付してその説明を省略する。
この信号処理回路では、図１のコントラスト強調回路の代わりに、平滑化回路８が設けられている。
〔２〕平滑化回路８の説明
〔２−１〕平滑化回路８による平滑化処理の原理についての説明
図２２は、平滑化回路８で用いられる輝度信号の入出力特性を表している。
入出力特性は、四角形Ｑの辺Ｂに沿った第１部分と、四角形Ｑの辺Ｄに沿った第３部分と、第１部分と第３部分とを連結しかつ辺Ａおよび辺Ｃの傾きに基づいて作成される第２部分とからなる。入出力特性である折れ線の形態は、四角形Ｑの各辺Ａ、Ｂ、Ｃ、Ｄの傾きによって規定される。四角形Ｑの各辺Ａ、Ｂ、Ｃ、Ｄの傾きは、変更可能である。
入出力特性は、ＬＰＦ７で算出される注目画素の周辺の平均輝度Ｙｌｐｆに応じて、画素単位で、矢印で示すように折れ線をスライドさせることにより、変化せしめられる。
注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合には、図２３（ａ）に示すように、入出力特性を表す折れ線の第２部分が辺Ａ側に位置するように入出力特性を設定することにより、低輝度部での階調変化率が小さくなるようにする。一方、注目画素の周辺の平均輝度Ｙｌｐｆが大きい場合には、図２３（ｂ）に示すように、入出力特性を表す折れ線の第２部分が辺Ｃ側に位置するように入出力特性を設定することにより、高輝度部での階調変化率が小さくなるようにする。
また、注目画素の周辺の平均輝度Ｙｌｐｆが中間輝度値である場合には、図２３（ｃ）に示すように、入出力特性を表す折れ線の第２部分が辺Ａと辺Ｃとの中央部に位置するように入出力特性を設定することにより、輝度中央部での階調変化率が小さくなるようにする。
このように、注目画素の周辺の平均輝度Ｙｌｐｆに応じて入出力特性を変化させることにより、画面全体での高周波成分を平滑化する。
〔２−２〕平滑化回路８の構成例の説明
図２４は、平滑化回路８の構成の一例を示している。
第１乗算器２１１は、図２２の四角形Ｑの直線Ｂの傾きａ１を入力輝度Ｙｉｎに掛けることによって、四角形Ｑの直線Ｂ上での入力輝度Ｙｉｎに対する出力輝度Ｙ１（＝ａ１・Ｙｉｎ）を演算する。
第２乗算器２１２と第１加算器２２１とからなる回路は、図２２の四角形Ｑの直線Ｄの傾きａ２を入力輝度Ｙｉｎに掛けた値にｂ１を加算することによって、四角形Ｑの直線Ｄ上での入力輝度Ｙｉｎに対する出力輝度Ｙ２（＝ａ２・Ｙｉｎ＋ｂ１）を演算する。ｂ１は、直線Ｄと図２２のグラフの横軸との交点のＹｉｎ座標値ｂ３に直線Ｄの傾きａ２を乗算した値をｂ１’とすると、ｂ１＝−ｂ１’で表される。したがって、Ｙ２＝ａ２（Ｙｉｎ−ｂ３）となる。
第３乗算器２１３と第２加算器２２２とからなる回路は、折れ線の第２部分の傾きａ３を入力輝度Ｙｉｎに掛けた値に第２部分の切片ｂ２を加算することによって、第２部分での入力輝度Ｙｉｎに対する出力輝度Ｙ３（＝ａ３・Ｙｉｎ＋ｂ２）を演算する。ただし、傾きａ３は、第４乗算器２１４によって、注目画素の周辺の平均輝度Ｙｌｐｆに、直線Ａと直線Ｃとに基づいて作成されたａ４が乗算された値である。また、切片ｂ２は、第５乗算器２１５によって、注目画素の周辺の平均輝度Ｙｌｐｆに直線Ｃと図２２のグラフの縦軸との交点のＹｏｕｔ座標値ａ５とが乗算された値である。
３つの出力輝度Ｙ１、Ｙ２およびＹ３は、比較器２３１に送られるとともにセレクタ２３２に送られる。比較器２３１は、Ｙ１、Ｙ２およびＹ３のうちの大きさが中央の値のものを、注目画素の周辺の平均輝度Ｙｌｐｆに応じて今回設定した折れ線（入出力特性）に基づいて得られた出力輝度Ｙｏｕｔとしてセレクタ２３２が選択するように、制御信号Ｓをセレクタ２３２に出力する。したがって、セレクタ２３２からは、３つの出力輝度Ｙ１、Ｙ２およびＹ３のうち、中央の値の出力輝度をＹｏｕｔとして出力する。
図２５（ａ）は、注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合の、Ｙ１、Ｙ２、Ｙ３の例および入出力特性の例を示し、図２５（ｂ）は、注目画素の周辺の平均輝度Ｙｌｐｆが大きい場合のＹ１、Ｙ２、Ｙ３の例および入出力特性の例を示している。
【図面の簡単な説明】
図１は、第１の実施の形態における単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示すブロック図である。
図２は、注目画素Ｐｉｊを中心とする水平方向５画素、垂直方向３画素のブロックを示す模式図である。
図３は、コントラスト強調回路５で用いられる輝度信号の入出力特性の一例を示すグラフである。
図４は、図３の四角形Ｑの各辺Ａ、Ｂ、Ｃ、Ｄの傾きを変更した例を示す模式図である。
図５は、ＬＰＦ７で算出される注目画素の周辺の平均輝度Ｙｌｐｆに応じて、コントラスト強調回路５の入出力特性が変化することを示す模式図である。
図６は、コントラスト強調回路５の構成例を示す回路図である。
図７は、注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合および大きい場合のＹ１、Ｙ２、Ｙ３の例および入出力特性の例を示す模式図である。
図８は、コントラスト強調回路５で用いられる輝度信号の入出力特性の他の例を示すグラフである。
図９は、注目画素Ｐｉｊを中心とする水平方向３画素、垂直方向３画素のブロックを示す模式図である。
図１０は、従来のコントラスト強調の入出力特性を示すグラフである。
図１１は、広域フィルタと狭域フィルタとを示す模式図である。
が用いられる。
図１２は、広域フィルタを用いてコントラスト強調処理を行った場合に広域的に輝度差を大きくすることができることおよび狭域フィルタを用いてコントラスト強調処理を行った場合に局所的に輝度差を大きくすることができることを説明するための説明図である。
図１３は、第２の実施の形態における単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示すブロック図である。
図１４の色差座標上での肌色領域Ｕを示す模式図である。
図１５は、肌色係数と加重加算係数との関係を示すデータの一例を示すグラフである。
図１６は、第２の加重加算制御回路１１０の詳細な構成を示すブロック図である。
図１７は、高周波成分算出回路１３２および輪郭検出回路１３１の動作を説明するための模式図である。
図１８は、水平・垂直輪郭信号と輪郭係数との関係を示すデータの一例を示すグラフである。
図１９は、高周波成分と非高周波係数との関係を示すデータの一例を示すグラフである。
図２０は、最大値と第２の加重加算係数との関係を示すデータの一例を示してすグラフである。
図２１は、第３の実施の形態における単板式ＣＣＤカラーカメラにおける信号処理回路の構成を示すブロック図である。
図２２は、平滑化回路８で用いられる輝度信号の入出力特性を表すグラフである。
図２３は、ＬＰＦ７で算出される注目画素の周辺の平均輝度Ｙｌｐｆに応じて、平滑化回路８の入出力特性が変化することを示す模式図である。
図２４は、平滑化回路８の構成の一例を示す回路図である。
図２５は、注目画素の周辺の平均輝度Ｙｌｐｆが小さい場合および大きい場合のＹ１、Ｙ２、Ｙ３の例および入出力特性の例を示す模式図である。
【図１】
0003920777.tif 000002
【図２】
0003920777.tif 000003
【図３】
0003920777.tif 000004
【図４】
0003920777.tif 000005
【図５】
0003920777.tif 000006
【図６】
0003920777.tif 000007
【図７】
0003920777.tif 000008
【図８】
0003920777.tif 000009
【図９】
0003920777.tif 000010
【図１０】
0003920777.tif 000011
【図１１】
0003920777.tif 000012
【図１２】
0003920777.tif 000013
【図１３】
0003920777.tif 000014
【図１４】
0003920777.tif 000015
【図１５】
0003920777.tif 000016
【図１６】
0003920777.tif 000017
【図１７】
0003920777.tif 000018
【図１８】
0003920777.tif 000019
【図１９】
0003920777.tif 000020
【図２０】
0003920777.tif 000021
【図２１】
0003920777.tif 000022
【図２２】
0003920777.tif 000023
【図２３】
0003920777.tif 000024
【図２４】
0003920777.tif 000025
【図２５】
0003920777.tif 000026