(57)【特許請求の範囲】
【請求項１】
デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成部と、
前記輝度ヒストグラムの重心を求め、全階調範囲の中央値と前記重心を用いて低輝度部と高輝度部の境界値を算出する境界値算出部と、
前記境界値算出部により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を算出する重心算出部と、
前記輝度ヒストグラム作成部により作成された輝度ヒストグラムと、前記重心算出部により算出された前記輝度ヒストグラムの低輝度部の重心と、前記輝度ヒストグラムの低輝度部の重心の移動先の目標値である輝度補正目標値とに基づいて補正テーブルを作成し、該補正テーブルを用いて、輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が前記輝度補正目標値に一致するように階調補正処理を行う階調補正処理部とを備えた、
ことを特徴とする自動階調補正装置。
【請求項２】
デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成部と、
前記輝度ヒストグラムを全階調範囲の中央値で分割した２つの領域のそれぞれの重心を用いて低輝度部と高輝度部の境界値を算出する境界値算出部と、
前記境界値算出部により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を算出する重心算出部と、
前記輝度ヒストグラム作成部により作成された輝度ヒストグラムと、前記重心算出部により算出された前記輝度ヒストグラムの低輝度部の重心と、前記輝度ヒストグラムの低輝度部の重心の移動先の目標値である輝度補正目標値とに基づいて補正テーブルを作成し、該補正テーブルを用いて、輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が前記輝度補正目標値に一致するように階調補正処理を行う階調補正処理部とを備えた、
ことを特徴とする自動階調補正装置。
【請求項３】
デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成部と、
前記輝度ヒストグラムを低輝度側から走査して最初に検出した山型分布を第１の範囲とし、前記輝度ヒストグラムを高輝度側から走査して最初に検出した山型分布を第２の範囲として検出する山型分布検出部と、
前記山型分布検出部が検出した山型分布の前記第１の範囲の重心と前記第２の範囲の重心との間に前記輝度ヒストグラムの低輝度部と高輝度部を分けるための境界値を算出する境界値算出部と、
前記境界値算出部により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を算出する重心算出部と、
前記輝度ヒストグラム作成部により作成された輝度ヒストグラムと、前記重心算出部により算出された前記輝度ヒストグラムの低輝度部の重心と、前記輝度ヒストグラムの低輝度部の重心の移動先の目標値である輝度補正目標値とに基づいて補正テーブルを作成し、該補正テーブルを用いて、輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が前記輝度補正目標値に一致するように階調補正処理を行う階調補正処理部とを備えた、
ことを特徴とする自動階調補正装置。
【請求項４】
請求項１または請求項２または請求項３記載の自動階調補正装置は、
目標輝度分布から前記輝度補正目標値を算出する目標値算出部をさらに備え、
前記目標値算出部は、前記境界値算出部から出力される境界値に基づき前記目標輝度分布の低輝度部の重心を輝度補正目標値として算出する、
ことを特徴とする自動階調補正装置。
【請求項５】
請求項４記載の自動階調補正装置において、
前記階調補正処理を行う際に、前記目標値算出部は、目標とする輝度分布を
曲線により設定する、
ことを特徴とする自動階調補正装置。
【請求項６】
請求項４記載の自動階調補正装置において、
前記階調補正処理を行う際に、前記目標値算出部は、目標とする輝度分布を複数設定し記憶しておく、
ことを特徴とする自動階調補正装置。
【請求項７】
請求項３記載の自動階調補正装置において、
前記階調補正処理を行う際に、前記境界値算出部は、前記山型分布の範囲から算出した境界値を、前記輝度ヒストグラムを用いて設定する、
ことを特徴とする自動階調補正装置。
【請求項８】
請求項３記載の自動階調補正装置において、
前記階調補正処理を行う際に、前記山型分布検出部は、前記山型分布の範囲に制限を設ける、
ことを特徴とする自動階調補正装置。
【請求項９】
請求項３記載の自動階調補正装置は、
前記輝度ヒストグラムの低輝度部の重心の移動先の目標値である輝度補正目標値が前記重心算出部により算出された前記輝度ヒストグラムの低輝度部の重心位置と異なっている場合は前記輝度補正目標値を前記輝度ヒストグラムの低輝度部の重心位置に一致するように修正する目標値修正部をさらに備え、
前記階調補正処理部は、輝度分布を拡大すると同時に前記輝度ヒストグラムの低輝度部の重心を前記目標値修正部が出力する輝度補正目標値に一致するように階調補正処理を行う、
ことを特徴とする自動階調補正装置。
【請求項１０】
請求項９記載の自動階調補正装置において、
前記階調補正処理を行う際の前記輝度補正目標値の修正は、輝度補正目標値を前記輝度ヒストグラムの低輝度部の重心位置付近の値となるように修正する、
ことを特徴とする自動階調補正装置。
【請求項１１】
請求項１，２，３のいずれかに記載の自動階調補正装置において、
前記階調補正処理において、前記輝度ヒストグラムの分布を低輝度方向にのみ拡大すると同時に輝度ヒストグラムの重心が輝度補正目標値に一致するように補正を行う、
ことを特徴とする自動階調補正装置。
【請求項１２】
請求項１，２，３のいずれかに記載の自動階調補正装置において、
前記階調補正処理部は、γ補正を実行することで前記階調補正処理を行う、
ことを特徴とする自動階調補正装置。
【請求項１３】
請求項１，２，３のいずれかに記載の自動階調補正装置において、
前記階調補正処理部は、前記輝度ヒストグラムの輝度分布の拡大処理、および前記輝度分布が拡大された輝度ヒストグラムの低輝度部の重心を前記輝度補正目標値に一致させる処理、の両者を同時に行う補正、がその内容となるように、
前記補正テーブルを作成する、
ことを特徴とする自動階調補正装置。
【請求項１４】
請求項１，２，３のいずれかに記載の自動階調補正装置において、
前記輝度ヒストグラム作成部により作成された輝度ヒストグラムの輝度分布を拡大する輝度分布拡大部をさらに備え、
前記重心算出部は、前記重心の算出を、前記輝度分布が拡大された輝度ヒストグラムの低輝度部に対して行う、
ことを特徴とする自動階調補正装置。
【請求項１５】
請求項１，２，３のいずれかに記載の自動階調補正装置において、
前記輝度ヒストグラムを作成する際に、輝度分布数の積算量に制限を設ける、
ことを特徴とする自動階調補正装置。
【請求項１６】
請求項１，２，３のいずれかに記載の自動階調補正装置において、
色差信号、及び輝度信号から肌色領域を抽出する肌色領域抽出部をさらに有し、
前記輝度ヒストグラムを作成する際に、画像の肌色部分の輝度分布を画像全体の輝度分布に、肌色領域の面積に応じて加重した輝度ヒストグラムを作成する、
ことを特徴とする自動階調補正装置。
【請求項１７】
請求項１６記載の自動階調補正装置において、
画像の肌色部分の輝度分布を画像全体の輝度分布に肌色領域の面積に応じて加重する際に、肌色部分の高輝度部分の分布に重み付けをして加重する、
ことを特徴とする自動階調補正装置。
【請求項１８】
請求項１，２，３のいずれかに記載の自動階調補正装置において、
前記輝度ヒストグラム作成部により算出された輝度ヒストグラムから高輝度部の重心位置を算出し、高輝度部の重心位置に応じて高輝度部の階調補正量を算出する、
ことを特徴とする自動階調補正装置。
【請求項１９】
請求項１，２，３のいずれかに記載の自動階調補正装置において、
前記階調補正処理において、輝度分布が離散的な場合には階調補正を行わない、
ことを特徴とする自動階調補正装置。
【請求項２０】
請求項１，２，３のいずれかに記載の自動階調補正装置において、
補正テーブルに応じて画像の色差信号を補正する、
ことを特徴とする自動階調補正装置。
【請求項２１】
デジタル画像の階調を補正する自動階調補正方法であって、
前記デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成工程と、
前記輝度ヒストグラムの重心を求め、全階調範囲の中央値と前記重心を用いて低輝度部と高輝度部の境界値を算出する境界値算出工程と、
前記境界値算出工程により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を求める重心算出工程と、
輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が、輝度補正目標値に一致するように階調補正処理を行う階調補正処理工程とを含む、
ことを特徴とする自動階調補正方法。
【請求項２２】
デジタル画像の階調を補正する自動階調補正方法であって、
前記デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成工程と、
前記輝度ヒストグラムを全階調範囲の中央値で分割した２つの領域のそれぞれの重心を用いて低輝度部と高輝度部の境界値を算出する境界値算出工程と、
前記境界値算出工程により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を求める重心算出工程と、
輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が、輝度補正目標値に一致するように階調補正処理を行う階調補正処理工程とを含む、
ことを特徴とする自動階調補正方法。
【請求項２３】
デジタル画像の階調を補正する自動階調補正方法であって、
前記デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成工程と、
前記輝度ヒストグラムを低輝度側から走査して最初に検出した山型分布を第１の範囲とし、高輝度側から走査して最初に検出した山型分布を第２の範囲として検出する山型分布検出工程と、
前記山型分布検出工程が検出した山型分布の第１の範囲の重心と第２の範囲の重心との間に前記輝度ヒストグラムの低輝度部と高輝度部を分けるための境界値を算出する境界値算出工程と、
前記境界値算出工程により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を求める重心算出工程と、
輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が輝度補正目標値に一致するように階調補正処理を行う階調補正処理工程とを含む、
ことを特徴とする自動階調補正方法。
【請求項２４】
請求項２１または請求項２２または請求項２３記載の自動階調補正方法は、
目標輝度分布から前記輝度補正目標値を算出する目標値算出工程をさらに備え、
前記目標値算出工程は、前記境界値算出工程から出力される境界値に基づき前記目標輝度分布の低輝度部の重心を輝度補正目標値として算出する、
ことを特徴とする自動階調補正方法。
【請求項２５】
請求項２４記載の自動階調補正方法において、
前記目標値算出工程は、目標とする輝度分布を曲線により設定する、
ことを特徴とする自動階調補正方法。
【請求項２６】
請求項２４記載の自動階調補正方法において、
前記目標値算出工程は、目標とする輝度分布を複数設定し記憶しておく、
ことを特徴とする自動階調補正方法。
【請求項２７】
請求項２３記載の自動階調補正方法において、
前記境界値算出工程は、前記山型分布の範囲から算出した境界値を、輝度ヒストグラムを用いて設定する、
ことを特徴とする自動階調補正方法。
【請求項２８】
請求項２３記載の自動階調補正方法において、
前記山型分布検出工程は、前記山型分布の範囲に制限を設ける、
ことを特徴とする自動階調補正方法。
【請求項２９】
請求項２３記載の自動階調補正方法は、
前記輝度ヒストグラムの低輝度部の重心の移動先の目標値である輝度補正目標値が前記重心算出工程により算出された前記輝度ヒストグラムの低輝度部の重心位置と異なっている場合は前記輝度補正目標値を前記輝度ヒストグラムの低輝度部の重心位置に一致するように修正する目標値修正工程をさらに備え、
前記階調補正処理工程は、輝度分布を拡大すると同時に前記輝度ヒストグラムの低輝度部の重心を前記目標値修正部が出力する輝度補正目標値に一致するように階調補正処理を行う、
ことを特徴とする自動階調補正方法。
【請求項３０】
請求項２９記載の自動階調補正方法において、
前記輝度補正目標値の修正は、輝度補正目標値を輝度ヒストグラムの低輝度部の重心位置付近の値となるように修正する、
ことを特徴とする自動階調補正方法。
【請求項３１】
請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、
前記輝度ヒストグラムの分布を低輝度方向にのみ拡大すると同時に輝度ヒストグラムの重心が輝度補正目標値に一致するように補正を行う、
ことを特徴とする自動階調補正方法。
【請求項３２】
請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、
前記階調補正処理工程は、γ補正を実行することで行う、
ことを特徴とする自動階調補正方法。
【請求項３３】
請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、
前記階調補正処理工程は、前記輝度ヒストグラムの輝度分布の拡大処理、および前記輝度分布が拡大された輝度ヒストグラムの低輝度部の重心を前記輝度補正目標値に一致させる処理、の両者を同時に行う補正、がその内容となるように、
補正テーブルを作成する、
ことを特徴とする自動階調補正方法。
【請求項３４】
請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、
前記輝度ヒストグラム作成工程と前記重心算出工程との間に、前記輝度ヒストグラムの輝度分布を拡大する輝度分布拡大工程をさらに含み、
前記重心算出工程は、前記重心の算出を、前記輝度分布が拡大された輝度ヒストグラムの低輝度部に対して行う、
ことを特徴とする自動階調補正方法。
【請求項３５】
請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、
前記輝度ヒストグラムを作成する際に、輝度分布数の積算量に制限を設ける、
ことを特徴とする自動階調補正方法。
【請求項３６】
請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、
色差信号、及び輝度信号から肌色領域を抽出する肌色領域抽出工程をさらに有し、
前記輝度ヒストグラムを作成する際に、画像の肌色部分の輝度分布を画像全体の輝度分布に、肌色領域の面積に応じて加重した輝度ヒストグラムを作成する、
ことを特徴とする自動階調補正方法。
【請求項３７】
請求項３６記載の自動階調補正方法において、
画像の肌色部分の輝度分布を画像全体の輝度分布に肌色領域の面積に応じて加重する際に、肌色部分の高輝度部分の分布に重み付けをして加重する、
ことを特徴とする自動階調補正方法。
【請求項３８】
請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、
前記輝度ヒストグラム作成工程により算出された輝度ヒストグラムから高輝度部の重心位置を算出し、高輝度部の重心位置に応じて高輝度部の階調補正量を算出する、
ことを特徴とする自動階調補正方法。
【請求項３９】
請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、
前記階調補正処理において、輝度分布が離散的な場合には階調補正を行わない、
ことを特徴とする自動階調補正方法。
【請求項４０】
請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、
補正テーブルに応じて画像の色差信号を補正する、
ことを特徴とする自動階調補正方法。
【請求項４１】
コンピュータに、デジタル画像の階調を補正する自動階調補正方法を実行させるプログラムを記録した記録媒体であって、
前記自動階調補正方法は、
前記デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成工程と、
前記輝度ヒストグラムの重心を求め、全階調範囲の中央値と前記重心を用いて低輝度部と高輝度部の境界値を算出する境界値算出工程と、
前記境界値算出工程により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を求める重心算出工程と、
輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が、輝度補正目標値に一致するように階調補正処理を行う階調補正処理工程とを含む、
ことを特徴とする自動階調補正プログラム記録媒体。
【請求項４２】
コンピュータに、デジタル画像の階調を補正する自動階調補正方法を実行させるプログラムを記録した記録媒体であって、
前記自動階調補正方法は、
前記デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成工程と、
前記輝度ヒストグラムを低輝度側から走査して最初に検出した山型分布を第１の範囲とし、高輝度側から走査して最初に検出した山型分布を第２の範囲として検出する山型分布検出工程と、
前記山型分布検出工程が検出した山型分布第１の範囲の重心と第２の範囲の重心との間に前記輝度ヒストグラムの低輝度部と高輝度部を分けるための境界値を算出する境界値算出工程と、
前記境界値算出工程により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を求める重心算出工程と、
輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が輝度補正目標値に一致するように階調補正処理を行う階調補正処理工程とを含む、
ことを特徴とする自動階調補正プログラム記録媒体。
【請求項４３】
請求項４１または請求項４２記載の自動階調補正方法は、
目標輝度分布から前記輝度補正目標値を算出する目標値算出工程をさらに備え、
前記目標値算出工程は、前記境界値算出工程から出力される境界値に基づき前記目標輝度分布の低輝度部の重心を輝度補正目標値として算出する、
ことを特徴とする自動階調補正プログラム記録媒体。
【請求項４４】
請求項４２記載の自動階調補正方法は、
前記輝度ヒストグラムの低輝度部の重心の移動先の目標値である輝度補正目標値が前記重心算出工程により算出された前記輝度ヒストグラムの低輝度部の重心位置と異なっている場合は前記輝度補正目標値を前記輝度ヒストグラムの低輝度部の重心位置に一致するように修正する目標値修正工程をさらに備え、
前記階調補正処理工程は、輝度分布を拡大すると同時に前記輝度ヒストグラムの低輝度部の重心を前記目標値修正部が出力する輝度補正目標値に一致するように階調補正処理を行う、
ことを特徴とする自動階調補正プログラム記録媒体。
【請求項４５】
請求項４１または４２に記載の自動階調補正プログラム記録媒体において、
前記階調補正処理工程は、前記輝度ヒストグラムの輝度分布の拡大処理、およ
び前記輝度分布が拡大された輝度ヒストグラムの低輝度部の重心を前記輝度補正
目標値に一致させる処理、の両者を同時に行う補正、がその内容となるように、
補正テーブルを作成する、
ことを特徴とする自動階調補正プログラム記録媒体。
【請求項４６】
請求項４１または４２に記載の自動階調補正プログラム記録媒体において、
前記輝度ヒストグラム作成工程と前記重心算出工程との間に、前記輝度ヒスト
グラムの輝度分布を拡大する輝度分布拡大工程をさらに含み、
前記重心算出工程は、前記重心の算出を、前記輝度分布が拡大された輝度ヒス
トグラムの低輝度部に対して行う、
ことを特徴とする自動階調補正プログラム記録媒体。
【請求項４７】
請求項４１または４２に記載の自動階調補正プログラム記録媒体において、
前記輝度ヒストグラムを作成する際に、輝度分布数の積算量に制限を設ける、
ことを特徴とする自動階調補正プログラム記録媒体。
【請求項４８】
請求項４１または４２に記載の自動階調補正プログラム記録媒体において、
色差信号、及び輝度信号から肌色領域を抽出する肌色領域抽出工程をさらに有し、
前記輝度ヒストグラムを作成する際に、画像の肌色部分の輝度分布を画像全体の輝度分布に、肌色領域の面積に応じて加重した輝度ヒストグラムを作成する、
ことを特徴とする自動階調補正プログラム記録媒体。
【請求項４９】
請求項４８記載の自動階調補正プログラム記録媒体において、
画像の肌色部分の輝度分布を画像全体の輝度分布に肌色領域の面積に応じて加重する際に、肌色部分の高輝度部分の分布に重み付けをして加重する、
ことを特徴とする自動階調補正プログラム記録媒体。
【請求項５０】
請求項４１または４２に記載の自動階調補正プログラム記録媒体において、
前記輝度ヒストグラム作成工程により算出された輝度ヒストグラムから高輝度部の重心位置を算出し、高輝度部の重心位置に応じて高輝度部の階調補正量を算出する、
ことを特徴とする自動階調補正プログラム記録媒体。
【請求項５１】
請求項４１または４２に記載の自動階調補正プログラム記録媒体において、
前記階調補正処理において、輝度分布が離散的な場合には階調補正を行わない、
ことを特徴とする自動階調補正プログラム記録媒体。
【請求項５２】
請求項４１または４２に記載の自動階調補正プログラム記録媒体において、
補正テーブルに応じて画像の色差信号を補正する、
ことを特徴とする自動階調補正プログラム記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、自動階調補正装置，自動階調補正方法および自動階調補正プログラム記録媒体に関するものであり、特に、デジタル画像処理装置において、入力画像の補正、より詳しくは、画像の階調を自動的に補正するものの改良を図ったものに関する。
【０００２】
【従来の技術】
従来の画像の階調を自動的に補正するための技術として、次のような方法が一般的に良く知られている。即ち、この方法は、入力画像の各画素の輝度値もしくは濃度値を算出し、同じ値を持つ画素の総和を示すヒストグラムを作成し、作成したヒストグラムの形状が最適になるような補正処理を全画素に対し行うものである。
このようなヒストグラムを用いて補正を行う方法として、例えば特開平６−２６８８６６号公報に開示されたものがある。この公報に開示された従来例を図４０を用いて説明する。なお、以下の説明ではデジタル画像の各画素は“０”から“２５５”までの濃度値を持つものとする。
【０００３】
まず、デジタル画像信号から各画素の濃度値を算出し、同じ濃度値を持つ画素の総和を示した濃度ヒストグラムを作成する。この一例を図４０（ａ）に示す。
【０００４】
次に、作成した濃度ヒストグラムの最小濃度値をｄｍｉｎ、最大濃度値をｄｍａｘ、画素濃度ｄの画素数をＦ１［ｄ］、変換後の画素数をＦ２［ｄ］と表したとき、下記の（１）式によって画素濃度分布領域を画素輝度全体に広げるように補正したヒストグラム（図４０（ｂ）参照）を作成し、同時にヒストグラムの面積を２等分する点（重心）Ｇを算出する。そして、図４０（ｃ）に示すように、重心Ｇが、濃度範囲の中央になるようなγ値を求め、Ｆ２［ｄ］の変換後の画素数をＦ３［ｄ］と表したとき、下記の（２）式によりγ補正を施したヒストグラムを作成し、それを元に補正を行う。
【数１】
0003772133.tif 000002
【数２】
0003772133.tif 000003
このように、画素濃度を全階調に広げ、中央階調から均等に広がりを持たせ、濃度分布の重心が中央になるように明るさの調整を行っている。
また、ヒストグラムを用いて画像の階調補正を行う他の方法として、特開２０００−１０２０３３号公報に開示されたものがある。この従来例を図４１を用いて説明する。
【０００５】
この方法は、デジタル画像信号から作成した輝度ヒストグラムに対し算出した、入力輝度レベル軸をｎ等分し（ｎはｎ＞３を満たす整数）、各領域の画素数の全画素に対する割合、その中で一定のリミッタ値を越える画素数の全画素に対する割合、入力輝度レベル軸を３等分した各領域の画素数の全画素に対する割合、といった特徴量を取り込み（ステップ２５０１）、次に予め作成している各種曲線データを取り込む（ステップ２５０２）。そして、特徴量に基づきステップ２５０３，ステップ２５０５にて場合分けを行い、アンダー処理（ステップ２５０４），オーバー処理（ステップ２５０６），リニア処理（ステップ２５０７）にて、ステップ２５０１、ステップ２５０２で取り込んだ特徴量と曲線データから階調補正曲線を作成し、階調補正曲線データを格納する（ステップ２５０８）。
【０００６】
そして、得られた階調補正曲線をもとに階調補正を行う。
即ち、この方法は、入力画像の輝度ヒストグラムの形状により補正処理の場合分けを行い、入力画像に最適な処理にて階調補正曲線を作成し、その階調補正曲線を元に階調補正を行うものである。
【０００７】
このように、特開平６−２６８８６６号公報記載の階調補正方法によれば、中間調を多く含む画像でも鮮明なコントラストの画像が得られる。
また、特開２０００−１０２０３３号公報記載の階調補正方法によれば、累積輝度分布をそのまま用いた場合よりも良好な画質の画像が得られ、また処理をソフトウエアにて実現できるため、画像データの変更などに容易に対応することが可能である。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記の特開平６−２６８８６６号公報記載の階調補正方法では、ヒストグラムの重心が階調の中央になるようなγ補正を行うが、逆光状態の画像のようにヒストグラムの低階調側と高階調側にピークができる場合においては、ヒストグラムの重心位置が元々中央階調付近にあるため補正がほとんど行なわれず、逆光領域が全く補正されないという問題があった。
また、風景写真などの自然画像の場合、ヒストグラムの重心が中央階調にあるものが必ずしも綺麗になるとは限らず、例えば黒い服を着た人間が写っている画像を補正すると服が灰色になってしまうという問題があった。
【０００９】
また、上記の特開２０００−１０２０３３号公報記載の階調補正方法では、入力画像の輝度ヒストグラムの形状により処理の場合分けを行うことで最適な階調補正を行っているが、この方法では正確な場合分けが必要であり、そのために処理が複雑になり計算量が増えてしまうという問題があった。
さらに、各場合において個別に補正処理を作成する必要があり、これにより必要な記憶容量の増加や、補正装置の規模の増大を招き、それに伴いコストの増加を招くという問題があった。
また、上述した方法では、画像中に人物が存在し、その人物が占める面積が小さい場合には、ヒストグラム内にその情報がほとんど含まれていないため、視覚的に目立ちやすい顔などの肌色領域が白飛びしてしまう等の意図しない補正を行ってしまうという問題があった。
【００１０】
本発明は、このような問題を解消するためになされたもので、逆光画像においては高輝度部を潰さず十分な逆光補正を行うことができ、逆光画像と同一の処理で順光画像においても画像のコントラストや明るさを最適にすることができ、意図しない補正を行うのを抑えることが可能な自動階調補正装置、自動階調補正方法、および自動階調補正プログラム記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
前記課題を解決するために、本発明の自動階調補正装置、自動階調補正方法、および自動階調補正プログラム記録媒体は、デジタル画像信号から作成した輝度ヒストグラムの輝度分布を拡大すると同時に低輝度部の重心が輝度補正目標値に一致するように補正を行うことを特徴としており、本発明によれば、輝度ヒストグラムの輝度分布を拡大することにより、どのような画像に対しても常に全体のコントラストが向上した画像を得ることができ、さらに輝度ヒストグラムの低輝度部の重心が輝度補正目標値に一致するように補正を行うことにより、逆光画像の場合は逆光状態の低輝度領域を目標輝度値になるように明るく補正し、順光画像の場合でも逆光画像の場合と同様の処理で低輝度領域の輝度値を目標輝度値の明るさに補正することができる自動階調補正装置、自動階調補正方法、および自動階調補正プログラム記録媒体を提供することができる。
【００１２】
即ち、本発明の請求項１に記載された自動階調補正装置は、デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成部と、前記輝度ヒストグラムの重心を求め、全階調範囲の中央値と前記重心を用いて低輝度部と高輝度部の境界値を算出する境界値算出部と、前記境界値算出部により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を算出する重心算出部と、前記輝度ヒストグラム作成部により作成された輝度ヒストグラムと、前記重心算出部により算出された前記輝度ヒストグラムの低輝度部の重心と、前記輝度ヒストグラムの低輝度部の重心の移動先の目標値である輝度補正目標値とに基づいて補正テーブルを作成し、該補正テーブルを用いて、輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が前記輝度補正目標値に一致するように階調補正処理を行う階調補正処理部とを備えたことを特徴とするものであり、低輝度領域と高輝度領域との境界値を可変にすることで、逆光画像において正しく逆光領域を含む低輝度部を算出でき、より正確に逆光領域を目標輝度値に補正することができるという作用を有する。
【００１３】
次に、本発明の請求項２に記載の自動階調補正装置は、デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成部と、前記輝度ヒストグラムを全階調範囲の中央値で分割した２つの領域のそれぞれの重心を用いて低輝度部と高輝度部の境界値を算出する境界値算出部と、前記境界値算出部により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を算出する重心算出部と、前記輝度ヒストグラム作成部により作成された輝度ヒストグラムと、前記重心算出部により算出された前記輝度ヒストグラムの低輝度部の重心と、前記輝度ヒストグラムの低輝度部の重心の移動先の目標値である輝度補正目標値とに基づいて補正テーブルを作成し、該補正テーブルを用いて、輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が前記輝度補正目標値に一致するように階調補正処理を行う階調補正処理部とを備えたことを特徴とするものであり、逆光画像において正しく逆光領域を含む低輝度部を算出でき、より正確に逆光領域を目標輝度値に補正することができるとともに、正確に高輝度側と低輝度側とを分割する境界値を算出することができるという作用を有する。
【００１４】
次に、本発明の請求項３に記載された自動階調補正装置は、デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成部と、前記輝度ヒストグラムを低輝度側から走査して最初に検出した山型分布を第１の範囲とし、前記輝度ヒストグラムを高輝度側から走査して最初に検出した山型分布を第２の範囲として検出する山型分布検出部と、前記山型分布検出部が検出した山型分布の前記第１の範囲の重心と前記第２の範囲の重心との間に前記輝度ヒストグラムの低輝度部と高輝度部を分けるための境界値を算出する境界値算出部と、前記境界値算出部により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を算出する重心算出部と、前記輝度ヒストグラム作成部により作成された輝度ヒストグラムと、前記重心算出部により算出された前記輝度ヒストグラムの低輝度部の重心と、前記輝度ヒストグラムの低輝度部の重心の移動先の目標値である輝度補正目標値とに基づいて補正テーブルを作成し、該補正テーブルを用いて、輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が前記輝度補正目標値に一致するように階調補正処理を行う階調補正処理部とを備えた、ことを特徴とするものであり、入力画像が逆光の場合は目標とする明るさに補正するとともに全体のコントラストが向上した画像を得ることができ、順光の場合は元の画像の明るさを変えずにコントラストが向上した画像を得ることができるという作用を有する。
【００１５】
次に、本発明の請求項４に記載された自動階調補正装置は、請求項１または請求項２または請求項３のいずれかに記載の自動階調補正装置において、目標輝度分布から前記輝度補正目標値を算出する目標値算出部をさらに備え、前記目標値算出部は、前記境界値算出部から出力される境界値に基づき前記目標輝度分布の低輝度部の重心を輝度補正目標値として算出することを特徴とするものであり、明るさの特性が異なる画像に対し、同じ形の目標輝度分布から算出した目標値で補正を行い、全体のコントラストが向上した画像を得ることができるという作用を有する。
【００１６】
次に、本発明の請求項５に記載の自動階調補正装置は、請求項４に記載された自動階調補正装置において、前記階調補正処理を行う際に、前記目標値算出部が、目標とする輝度分布を曲線により設定することを特徴とするものであり、簡単に目標輝度分布を設定することができ、記憶容量を減らすことができるという作用を有する。
【００１７】
次に、本発明の請求項６に記載の自動階調補正装置は、請求項４に記載された自動階調補正装置において、前記階調補正処理を行う際に、前記目標値算出部が、目標とする輝度分布を複数設定し記憶しておくことを特徴とするものであり、簡単に目標値の調節ができるという作用を有する。
【００１８】
次に、本発明の請求項７に記載の自動階調補正装置は、請求項３に記載された自動階調補正装置において、前記階調補正処理を行う際に、前記境界値算出部が、前記山型分布の範囲から算出した境界値を、前記輝度ヒストグラムを用いて設定することを特徴とするものであり、より正確な境界値を算出することができるという作用を有する。
【００１９】
次に、本発明の請求項８に記載の自動階調補正装置は、請求項３に記載された自動階調補正装置において、前記階調補正処理を行う際に、前記山型分布検出部が、前記山型分布の範囲に制限を設けることを特徴とするものであり、順光画像でも画像の明るさを補正することができるという作用を有する。
【００２０】
次に、本発明の請求項９に記載された自動階調補正装置は、請求項３記載の自動階調補正装置において、前記輝度ヒストグラムの低輝度部の重心の移動先の目標値である輝度補正目標値が前記重心算出部により算出された前記輝度ヒストグラムの低輝度部の重心位置と異なっている場合は前記輝度補正目標値を前記輝度ヒストグラムの低輝度部の重心位置に一致するように修正する目標値修正部をさらに備え、前記階調補正処理部は、輝度分布を拡大すると同時に前記輝度ヒストグラムの低輝度部の重心を前記目標値修正部が出力する輝度補正目標値に一致するように階調補正処理を行うことを特徴とするものであり、目標値を修正することで、入力画像よりも暗く補正してしまうことを防ぐことができるという作用を有する。
【００２１】
次に、本発明の請求項１０に記載の自動階調補正装置は、請求項９に記載された自動階調補正装置において、前記階調補正処理を行う際の前記輝度補正目標値の修正が、輝度補正目標値を前記輝度ヒストグラムの低輝度部の重心位置付近の値となるように修正することを特徴とするものであり、入力画像の明るさを元に補正後の明るさを微調整することができるという作用を有する。
【００２２】
次に、本発明の請求項１１に記載の自動階調補正装置は、請求項１，２，３のいずれかに記載された自動階調補正装置において、前記階調補正処理において、前記輝度ヒストグラムの分布を低輝度方向にのみ拡大すると同時に輝度ヒストグラムの重心が輝度補正目標値に一致するように補正を行うことを特徴とするものであり、高輝度部のつぶれを起こさず補正を行うことができるという作用を有する。
【００２３】
次に、本発明の請求項１２に記載の自動階調補正装置は、請求項１，２，３のいずれかに記載の自動階調補正装置において、前記階調補正処理部は、γ補正を実行することで前記階調補正処理を行うことを特徴とするものであり、輝度ヒストグラムの低輝度部の重心と目標値との一致を、一度の変換テーブルの作成で可能とする作用を有する。
【００２４】
次に、本発明の請求項１３に記載の自動階調補正装置は、請求項１，２，３のいずれかに記載の自動階調補正装置において、前記階調補正処理部は、前記輝度ヒストグラムの輝度分布の拡大処理、および前記輝度分布が拡大された輝度ヒストグラムの低輝度部の重心を前記輝度補正目標値に一致させる処理、の両者を同時に行う補正、がその内容となるように、前記補正テーブルを作成することを特徴とするものであり、輝度ヒストグラムの低輝度部の重心と目標値との一致を、一度の変換テーブルの作成で可能とする作用を有する。
【００２５】
次に、本発明の請求項１４に記載の自動階調補正装置は、請求項１，２，３のいずれかに記載の自動階調補正装置において、前記輝度ヒストグラム作成部により作成された輝度ヒストグラムの輝度分布を拡大する輝度分布拡大部をさらに備え、前記重心算出部は、前記重心の算出を、前記輝度分布が拡大された輝度ヒストグラムの低輝度部に対して行うことを特徴とするものであり、予め輝度ヒストグラムの輝度分布を拡大した後、低輝度部の重心を目標値に一致させる処理により自動階調補正を可能とする作用を有する。
【００２６】
次に、本発明の請求項１５に記載の自動階調補正装置は、請求項１，２，３のいずれかに記載の自動階調補正装置において、前記輝度ヒストグラムを作成する際に、輝度分布数の積算量に制限を設けることを特徴とするものであり、輝度ヒストグラムの階調分布がある一部分に集中している場合でも正確に補正量が算出できるという作用を有する。
【００２７】
次に、本発明の請求項１６に記載の自動階調補正装置は、請求項１，２，３のいずれかに記載の自動階調補正装置において、色差信号、及び輝度信号から肌色領域を抽出する肌色領域抽出部を有し、前記輝度ヒストグラムを作成する際に、画像の肌色部分の輝度分布を画像全体の輝度分布に、肌色領域の面積に応じて加重した輝度ヒストグラムを作成することを特徴とするものであり、人の肌色の輝度を肌色領域の面積に応じて輝度ヒストグラムに加重することで、人物が存在する場合にはその面積に応じて肌色の明るさが最適になるよう階調補正ができるという作用を有する。
【００２８】
次に、本発明の請求項１７に記載の自動階調補正装置は、請求項１６に記載の自動階調補正装置において、画像の肌色部分の輝度分布を画像全体の輝度分布に肌色領域の面積に応じて加重する際に、肌色部分の高輝度部分の分布に重み付けをして加重することを特徴とするものであり、高輝度部分の分布に重み付けを行うことにより、肌色の白飛びを抑えることができるという作用を有する。
【００２９】
次に、本発明の請求項１８に記載の自動階調補正装置は、請求項１，２，３のいずれかに記載の自動階調補正装置において、前記輝度ヒストグラム作成部により算出された輝度ヒストグラムから高輝度部の重心位置を算出し、高輝度部の重心位置に応じて高輝度部の階調補正量を算出することを特徴とするものであり、高輝度部の重心位置により階調補正量を制限することで高輝度部の白飛びを抑えることができるという作用を有する。
【００３０】
次に、本発明の請求項１９に記載の自動階調補正装置は、請求項１，２，３のいずれかに記載の自動階調補正装置において、前記階調補正処理において、輝度分布が離散的な場合には階調補正を行わないことを特徴とするものであり、本来階調補正の必要がない画像では階調補正を行わないようにすることができるという作用を有する。
【００３１】
次に、本発明の請求項２０に記載の自動階調補正装置は、請求項１，２，３のいずれかに記載の自動階調補正装置において、補正テーブルに応じて画像の色差信号を補正することを特徴とするもので、輝度の補正により彩度が低下したように見える現象を緩和することができるという作用を有する。
【００３２】
次に、本発明の請求項２１に記載された自動階調補正方法は、デジタル画像の階調を補正する自動階調補正方法であって、前記デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成工程と、前記輝度ヒストグラムの重心を求め、全階調範囲の中央値と前記重心を用いて低輝度部と高輝度部の境界値を算出する境界値算出工程と、前記境界値算出工程により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を求める重心算出工程と、輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が、輝度補正目標値に一致するように階調補正処理を行う階調補正処理工程とを含むことを特徴とするものであり、低輝度領域と高輝度領域との境界値を可変にすることで、逆光画像において正しく逆光領域を含む低輝度部を算出でき、より正確に逆光領域を目標輝度値に補正することができるという作用を有する。
【００３３】
次に、本発明の請求項２２に記載の自動階調補正方法は、デジタル画像の階調を補正する自動階調補正方法であって、前記デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成工程と、前記輝度ヒストグラムを全階調範囲の中央値で分割した２つの領域のそれぞれの重心を用いて低輝度部と高輝度部の境界値を算出する境界値算出工程と、前記境界値算出工程により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を求める重心算出工程と、輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が、輝度補正目標値に一致するように階調補正処理を行う階調補正処理工程とを含むことを特徴とするものであり、逆光画像において正しく逆光領域を含む低輝度部を算出でき、より正確に逆光領域を目標輝度値に補正することができるとともに、正確に高輝度側と低輝度側とを分割する境界値を算出することができるという作用を有する。
【００３４】
次に、本発明の請求項２３に記載された自動階調補正方法は、デジタル画像の階調を補正する自動階調補正方法であって、前記デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成工程と、前記輝度ヒストグラムを低輝度側から走査して最初に検出した山型分布を第１の範囲とし、高輝度側から走査して最初に検出した山型分布を第２の範囲として検出する山型分布検出工程と、前記山型分布検出工程が検出した山型分布の第１の範囲の重心と第２の範囲の重心との間に前記輝度ヒストグラムの低輝度部と高輝度部を分けるための境界値を算出する境界値算出工程と、前記境界値算出工程により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を求める重心算出工程と、輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が輝度補正目標値に一致するように階調補正処理を行う階調補正処理工程とを含むことを特徴とするものであり、入力画像が逆光の場合は目標とする明るさに補正するとともに全体のコントラストが向上した画像を得ることができ、順光の場合は元の画像の明るさを変えずにコントラストが向上した画像を得ることができるという作用を有する。
【００３５】
次に、本発明の請求項２４に記載された自動階調補正方法は、請求項２１または請求項２２または請求項２３のいずれかに記載の自動階調補正方法において、目標輝度分布から前記輝度補正目標値を算出する目標値算出工程をさらに備え、前記目標値算出工程は、前記境界値算出工程から出力される境界値に基づき前記目標輝度分布の低輝度部の重心を輝度補正目標値として算出することを特徴とするものであり、明るさの特性が異なる画像に対し、同じ形の目標輝度分布から算出した目標値で補正を行い、全体のコントラストが向上した画像を得ることができるという作用を有する。
【００３６】
次に、本発明の請求項２５に記載の自動階調補正方法は、請求項２４記載の自動階調補正方法において、前記目標値算出工程は、目標とする輝度分布を曲線により設定することを特徴とするものであり、簡単に目標輝度分布を設定することができ、記憶容量を減らすことができるという作用を有する。
【００３７】
次に、本発明の請求項２６に記載の自動階調補正方法は、請求項２４記載の自動階調補正方法において、前記目標値算出工程は、目標とする輝度分布を複数設定し記憶しておくことを特徴とするものであり、簡単に目標値の調節ができるという作用を有する。
【００３８】
次に、本発明の請求項２７に記載の自動階調補正方法は、請求項２３記載の自動階調補正方法において、前記境界値算出工程は、前記山型分布の範囲から算出した境界値を、輝度ヒストグラムを用いて設定することを特徴とするものであり、より正確な境界値を算出することができるという作用を有する。
【００３９】
次に、本発明の請求項２８に記載の自動階調補正方法は、請求項２３記載の自動階調補正方法において、前記山型分布検出工程は、前記山型分布の範囲に制限を設けることを特徴とするものであり、順光画像でも画像の明るさを補正することができるという作用を有する。
【００４０】
次に、本発明の請求項２９に記載された自動階調補正方法は、請求項２３記載の自動階調補正方法において、前記輝度ヒストグラムの低輝度部の重心の移動先の目標値である輝度補正目標値が前記重心算出工程により算出された前記輝度ヒストグラムの低輝度部の重心位置と異なっている場合は前記輝度補正目標値を前記輝度ヒストグラムの低輝度部の重心位置に一致するように修正する目標値修正工程をさらに備え、前記階調補正処理工程は、輝度分布を拡大すると同時に前記輝度ヒストグラムの低輝度部の重心を前記目標値修正部が出力する輝度補正目標値に一致するように階調補正処理を行うことを特徴とするものであり、目標値を修正することで、入力画像よりも暗く補正してしまうことを防ぐことができるという作用を有する。
【００４１】
次に、本発明の請求項３０に記載の自動階調補正方法は、請求項２９記載の自動階調補正方法において、前記輝度補正目標値の修正は、輝度補正目標値を輝度ヒストグラムの低輝度部の重心位置付近の値となるように修正することを特徴とするものであり、入力画像の明るさを元に補正後の明るさを微調整することができるという作用を有する。
【００４２】
次に、本発明の請求項３１に記載の自動階調補正方法は、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、前記輝度ヒストグラムの分布を低輝度方向にのみ拡大すると同時に輝度ヒストグラムの重心が輝度補正目標値に一致するように補正を行うことを特徴とするものであり、高輝度部のつぶれを起こさず補正を行うことができるという作用を有する。
【００４３】
次に、本発明の請求項３２に記載の自動階調補正方法は、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、前記階調補正処理工程は、γ補正を実行することで行うことを特徴とするものであり、輝度ヒストグラムの低輝度部の重心と目標値との一致を、一度の変換テーブルの作成で可能とする作用を有する。
【００４４】
次に、本発明の請求項３３に記載の自動階調補正方法は、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、前記階調補正処理工程は、前記輝度ヒストグラムの輝度分布の拡大処理、および前記輝度分布が拡大された輝度ヒストグラムの低輝度部の重心を前記輝度補正目標値に一致させる処理、の両者を同時に行う補正、がその内容となるように、補正テーブルを作成することを特徴とするものであり、輝度ヒストグラムの低輝度部の重心と目標値との一致を、一度の変換テーブルの作成で可能とする作用を有する。
【００４５】
次に、本発明の請求項３４に記載の自動階調補正方法は、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、前記輝度ヒストグラム作成工程と前記重心算出工程との間に、前記輝度ヒストグラムの輝度分布を拡大する輝度分布拡大工程をさらに含み、前記重心算出工程は、前記重心の算出を、前記輝度分布が拡大された輝度ヒストグラムの低輝度部に対して行うことを特徴とするものであり、予め輝度ヒストグラムの輝度分布を拡大した後、低輝度部の重心を目標値に一致させる処理により自動階調補正を可能とする作用を有する。
【００４６】
次に、本発明の請求項３５に記載の自動階調補正方法は、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、前記輝度ヒストグラムを作成する際に、輝度分布数の積算量に制限を設けることを特徴とするものであり、輝度ヒストグラムの階調分布がある一部分に集中している場合でも正確に補正量が算出できるという作用を有する。
【００４７】
次に、本発明の請求項３６に記載の自動階調補正方法は、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、色差信号、及び輝度信号から肌色領域を抽出する肌色領域抽出工程をさらに有し、前記輝度ヒストグラムを作成する際に、画像の肌色部分の輝度分布を画像全体の輝度分布に、肌色領域の面積に応じて加重した輝度ヒストグラムを作成することを特徴とするものであり、人の肌色の輝度を肌色領域の面積に応じて輝度ヒストグラムに加重することで、人物が存在する場合にはその面積に応じて肌色の明るさが最適になるよう階調補正ができるという作用を有する。
【００４８】
次に、本発明の請求項３７に記載の自動階調補正方法は、請求項３６に記載の自動階調補正方法において、画像の肌色部分の輝度分布を画像全体の輝度分布に肌色領域の面積に応じて加重する際に、肌色部分の高輝度部分の分布に重み付けをして加重することを特徴とするものであり、高輝度部分の分布に重み付けを行うことにより、肌色の白飛びを抑えることができるという作用を有する。
【００４９】
次に、本発明の請求項３８に記載の自動階調補正方法は、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、前記輝度ヒストグラム作成工程により算出された輝度ヒストグラムから高輝度部の重心位置を算出し、高輝度部の重心位置に応じて高輝度部の階調補正量を算出することを特徴とするものであり、高輝度部の重心位置により階調補正量を制限することで高輝度部の白飛びを抑えることができるという作用を有する。
【００５０】
次に、本発明の請求項３９に記載の自動階調補正方法は、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、前記階調補正処理において、輝度分布が離散的な場合には階調補正を行わないことを特徴とするものであり、本来階調補正の必要がない画像では階調補正を行わないようにすることができるという作用を有する。
【００５１】
次に、本発明の請求項４０に記載の自動階調補正方法は、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、補正テーブルに応じて画像の色差信号を補正することを特徴とするもので、輝度の補正により彩度が低下したように見える現象を緩和することができるという作用を有する。
【００５２】
次に、本発明の請求項４１に記載された自動階調補正プログラム記録媒体は、コンピュータに、デジタル画像の階調を補正する自動階調補正方法を実行させるプログラムを記録した記録媒体であって、前記自動階調補正方法は、前記デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成工程と、前記輝度ヒストグラムの重心を求め、全階調範囲の中央値と前記重心を用いて低輝度部と高輝度部の境界値を算出する境界値算出工程と、前記境界値算出工程により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を求める重心算出工程と、輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が、輝度補正目標値に一致するように階調補正処理を行う階調補正処理工程とを含むことを特徴とするものであり、低輝度領域と高輝度領域との境界値を可変にすることで、逆光画像において正しく逆光領域を含む低輝度部を算出でき、より正確に逆光領域を目標輝度値に補正することができるという作用を有する。
【００５３】
次に、本発明の請求項４２に記載された自動階調補正プログラム記録媒体は、コンピュータに、デジタル画像の階調を補正する自動階調補正方法を実行させるプログラムを記録した記録媒体であって、前記自動階調補正方法は、前記デジタル画像の輝度ヒストグラムを作成する輝度ヒストグラム作成工程と、前記輝度ヒストグラムを低輝度側から走査して最初に検出した山型分布を第１の範囲とし、高輝度側から走査して最初に検出した山型分布を第２の範囲として検出する山型分布検出工程と、前記山型分布検出工程が検出した山型分布第１の範囲の重心と第２の範囲の重心との間に前記輝度ヒストグラムの低輝度部と高輝度部を分けるための境界値を算出する境界値算出工程と、前記境界値算出工程により算出された境界値に基づき前記輝度ヒストグラムの低輝度部の重心を求める重心算出工程と、輝度分布を拡大するとともに前記輝度ヒストグラムの低輝度部の重心が輝度補正目標値に一致するように階調補正処理を行う階調補正処理工程とを含むことを特徴とするものであり、入力画像が逆光の場合は目標とする明るさに補正するとともに全体のコントラストが向上した画像を得ることができ、順光の場合は元の画像の明るさを変えずにコントラストが向上した画像を得ることができるという作用を有する。
【００５４】
次に、本発明の請求項４３に記載された自動階調補正プログラム記録媒体は、請求項４１または請求項４２記載の自動階調補正方法において、目標輝度分布から前記輝度補正目標値を算出する目標値算出工程をさらに備え、前記目標値算出工程は、前記境界値算出工程から出力される境界値に基づき前記目標輝度分布の低輝度部の重心を輝度補正目標値として算出することを特徴とするものであり、明るさの特性が異なる画像に対し、同じ形の目標輝度分布から算出した目標値で補正を行い、全体のコントラストが向上した画像を得ることができるという作用を有する。
【００５５】
次に、本発明の請求項４４に記載された自動階調補正プログラム記録媒体は、請求項４２記載の自動階調補正方法において、前記輝度ヒストグラムの低輝度部の重心の移動先の目標値である輝度補正目標値が前記重心算出工程により算出された前記輝度ヒストグラムの低輝度部の重心位置と異なっている場合は前記輝度補正目標値を前記輝度ヒストグラムの低輝度部の重心位置に一致するように修正する目標値修正工程をさらに備え、前記階調補正処理工程は、輝度分布を拡大すると同時に前記輝度ヒストグラムの低輝度部の重心を前記目標値修正部が出力する輝度補正目標値に一致するように階調補正処理を行うことを特徴とするものであり、目標値を修正することで、入力画像よりも暗く補正してしまうことを防ぐことができるという作用を有する。
【００５６】
次に、本発明の請求項４５に記載された自動階調補正プログラム記録媒体は、請求項４１または４２に記載の自動階調補正プログラム記録媒体において、前記階調補正処理工程は、前記輝度ヒストグラムの輝度分布の拡大処理、および前記輝度分布が拡大された輝度ヒストグラムの低輝度部の重心を前記輝度補正目標値に一致させる処理、の両者を同時に行う補正、がその内容となるように、補正テーブルを作成することを特徴とするものであり、輝度ヒストグラムの低輝度部の重心と目標値との一致を、一度の変換テーブルの作成で可能とする作用を有する。
【００５７】
次に、本発明の請求項４６に記載された自動階調補正プログラム記録媒体は、請求項４１または４２に記載の自動階調補正プログラム記録媒体において、前記輝度ヒストグラム作成工程と前記重心算出工程との間に、前記輝度ヒストグラムの輝度分布を拡大する輝度分布拡大工程をさらに含み、前記重心算出工程は、前記重心の算出を、前記輝度分布が拡大された輝度ヒストグラムの低輝度部に対して行うことを特徴とするものであり、予め輝度ヒストグラムの輝度分布を拡大した後、低輝度部の重心を目標値に一致させる処理により自動階調補正を可能とする作用を有する。
【００５８】
次に、本発明の請求項４７に記載の自動階調補正プログラム記録媒体は、請求項４１または４２に記載の自動階調補正プログラム記録媒体において、前記輝度ヒストグラムを作成する際に、輝度分布数の積算量に制限を設けることを特徴とするものであり、輝度ヒストグラムの階調分布がある一部分に集中している場合でも正確に補正量が算出できるという作用を有する。
【００５９】
次に、本発明の請求項４８に記載の自動階調補正プログラム記録媒体は、請求項４１または４２に記載の自動階調補正プログラム記録媒体において、色差信号、及び輝度信号から肌色領域を抽出する肌色領域抽出工程をさらに有し、前記輝度ヒストグラムを作成する際に、画像の肌色部分の輝度分布を画像全体の輝度分布に、肌色領域の面積に応じて加重した輝度ヒストグラムを作成することを特徴とするものであり、人の肌色の輝度を肌色領域の面積に応じて輝度ヒストグラムに加重することで、人物が存在する場合にはその面積に応じて肌色の明るさが最適になるよう階調補正ができるという作用を有する。
【００６０】
次に、本発明の請求項４９に記載の自動階調補正プログラム記録媒体は、請求項４８に記載の自動階調補正プログラム記録媒体において、画像の肌色部分の輝度分布を画像全体の輝度分布に肌色領域の面積に応じて加重する際に、肌色部分の高輝度部分の分布に重み付けをして加重することを特徴とするものであり、高輝度部分の分布に重み付けを行うことにより、肌色の白飛びを抑えることができるという作用を有する。
【００６１】
次に、本発明の請求項５０に記載の自動階調補正プログラム記録媒体は、請求項４１または４２に記載の自動階調補正プログラム記録媒体において、前記輝度ヒストグラム作成工程により算出された輝度ヒストグラムから高輝度部の重心位置を算出し、高輝度部の重心位置に応じて高輝度部の階調補正量を算出することを特徴とするものであり、高輝度部の重心位置により階調補正量を制限することで、高輝度部の白飛びを抑えることができるという作用を有する。
【００６２】
次に、本発明の請求項５１に記載の自動階調補正プログラム記録媒体は、請求項４１または４２に記載の自動階調補正プログラム記録媒体において、前記階調補正処理において、輝度分布が離散的な場合には階調補正を行わないことを特徴とするものであり、本来階調補正の必要がない画像では階調補正を行わないようにすることができるという作用を有する。
【００６３】
次に、本発明の請求項５２に記載の自動階調補正プログラム記録媒体は、請求項４１または４２に記載の自動階調補正プログラム記録媒体において、補正テーブルに応じて画像の色差信号を補正することを特徴とするもので、輝度の補正により彩度が低下したように見える現象を緩和することができるという作用を有する。
【００６４】
【発明の実施の形態】
（実施の形態１）
以下に、請求項１１、請求項１２、請求項１３、請求項１４、請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２０、請求項３１、請求項３２、請求項３３、請求項３４、請求項３５、請求項３６、請求項３７、請求項３８、請求項３９、請求項４０、請求項４５、請求項４６、請求項４７、請求項４８、請求項４９、請求項５０、請求項５１、請求項５２に記載された発明）に対応する実施の形態１について、図を参照しながら説明する。
この実施の形態１は、輝度ヒストグラムの輝度分布全体を全階調に広がるように拡大し、全体として入力画像のコントラストを向上させるとともに、低輝度部の重心位置を目標値に移すように補正を行うものである。
【００６５】
図１は実施の形態１の自動階調補正装置の構成を示すブロック図である。図１において、１０１は撮像した画像を光電変換する撮像素子、１０２は撮像素子１０１からのアナログ画像信号が入力されるＡ／Ｄコンバータ、１０３はＡ／Ｄコンバータ１０２からのディジタル画像信号が入力される輝度信号算出回路、１０４は輝度信号算出回路１０３からの輝度信号が入力される輝度分布作成回路（輝度ヒストグラム作成部）、１０５は輝度分布作成回路１０４からの輝度分布が入力される重心算出回路（重心算出部）、１０６は輝度分布作成回路１０４からの輝度分布が入力される分布範囲算出回路、１０７は階調補正を行ううえでの目標となる目標値を記憶している目標値記憶回路、１０８は重心算出回路１０５からの重心、分布範囲算出回路１０６からの分布範囲の最大値，最小値、および目標値記憶回路１０７からの目標値に基づき階調補正用の補正テーブルを作成する補正テーブル作成回路、１０９は補正テーブル作成回路１０８により作成された補正テーブルに基づきＡ／Ｄコンバータ１０２が出力するディジタル画像信号に階調補正を行う画像信号補正回路である。なお、補正テーブル作成回路１０８と画像信号補正回路１０９とは両者で階調補正処理部を構成する。但し、階調補正処理部が輝度ヒストグラムの分布拡大機能を包含しない場合は、補正テーブル作成回路１０８および画像信号補正回路１０９の両者で、輝度分布拡大部および階調補正処理部の両者を構成する。
【００６６】
次に、動作について説明する。撮像素子１０１から出力されたアナログ画像信号は、Ａ／Ｄコンバータ１０２によって多階調のデジタル画像信号に変換される。デジタル化は何ｂｉｔで行ってもよいが、ここでは画像信号が８ｂｉｔであるものとし、輝度値は“０”から“２５５”となるものとして説明する。
【００６７】
次に輝度信号算出回路１０３にてデジタル画像信号から輝度信号を算出する。輝度信号算出回路１０３での輝度信号Ｙは、ＲＧＢ値から下記の（３）式にて算出するものとする。
【数３】
0003772133.tif 000004
輝度分布作成回路１０４は、輝度信号算出回路１０３で算出した輝度値を元に、同じ値を持つ画素の総和を示す輝度ヒストグラムを作成する。
【００６８】
図２は、輝度分布作成回路１０４で作成した輝度ヒストグラムの一例である。図２（ａ）は順光画像の輝度ヒストグラム、図２（ｂ）は逆光画像の輝度ヒストグラムである。図２（ｂ）から明らかなように、逆光画像の輝度ヒストグラムは、低輝度側と高輝度側にピークができる特徴がある。
重心算出回路１０５では、入力輝度レベル軸の中央輝度レベルで輝度ヒストグラムを２等分してできるそれぞれの領域のうち、低輝度側の領域を低輝度部、高輝度側の領域を高輝度部とし、低輝度部の重心位置を算出する。階調をｉ、各階調の頻度をＹ［ｉ］と表すと、その重心位置Ｇは下記の（４）式で算出される。
【数４】
0003772133.tif 000005
分布範囲算出回路１０６では、輝度分布作成回路１０４で作成した輝度ヒストグラムの入力輝度レベル軸上の最大値、最小値を算出する。この最大値、最小値は、補正処理においてコントラストを向上させるために輝度分布を拡大した後の最大輝度レベル、最小輝度レベルとなる。
なお、最大値，最小値を算出する際にノイズの影響を受けないように、最大値，最小値は分布の両端ではなく端から少し内側の輝度レベルを求めてもよい。この場合、最大値は輝度ヒストグラムの高輝度部側から階調毎の画素数を積算してゆき、積算した値が例えば画素数の０．５％を越えたときの階調から算出することができる。最小値も同様に、低輝度部側から階調毎の画素数を積算してゆき、積算した値が例えば画素数の０．５％を越えたときの階調から算出することができる。
【００６９】
次に、重心算出回路１０５で算出した重心位置、分布範囲算出回路１０６で算出した最大値と最小値、および目標値記憶回路１０７に予め記憶している目標値を用い、輝度変換テーブルを作成する。この輝度変換テーブルは、輝度分布を拡大し、同時に拡大後の輝度ヒストグラムの低輝度部の重心が目標値に一致するように階調補正を行うのに用いる。
【００７０】
図３は、その階調補正処理を図に表したものである。図３（ａ）は逆光画像の輝度ヒストグラム、図３（ｂ）は図３（ａ）の輝度分布が拡大するように補正した輝度ヒストグラム、図３（ｃ）は拡大後、輝度ヒストグラムの低輝度部の重心が目標値に一致するように補正した輝度ヒストグラムである。
また、図４（ａ）は、この階調補正処理の原理を示すフローチャートである。
【００７１】
まず、図３（ａ）の入力画像から輝度ヒストグラムを作成し（図４のステップＳ１０１参照）、その輝度ヒストグラムの輝度分布全体を、図３（ｂ）のように全階調に広がるように拡大する（図４のステップＳ１０２参照）。これにより全体として入力画像のコントラストを向上させることができる。
次に図３（ｂ）のようにコントラストを向上させた画像に対し、図３（ａ）の低輝度部の重心位置から分布を拡大させたことで移動した低輝度部の重心位置を求める（図４のステップＳ１０３参照）。そして、分布を拡大させたことで移動した低輝度部の重心位置を図３（ｃ）のように目標値に移すような補正を行う（図４のステップＳ１０４参照）。これにより、低輝度部の輝度値を目標としている輝度値に補正することができ、画像全体の明るさを最適にすることができる。
【００７２】
これら２つの処理の結果、逆光状態の低輝度領域が目標輝度値になるように明るく補正すると共に全体のコントラストが向上した画像を得ることができる。
輝度分布を拡大する処理は、分布範囲算出回路１０６で算出した最小値と最大値がそれぞれ最小輝度レベルの“０”と最大輝度レベルの“２５５”になるように各輝度レベルを変換してやればよい。これは、入力輝度レベルをＹｉｎ、輝度分布の最小値と最大値をそれぞれＹｍｉｎ，Ｙｍａｘと表すと、出力輝度レベルＹｏｕｔは下記の（５）式で算出される。
【数５】
0003772133.tif 000006
輝度ヒストグラムの低輝度部の重心が目標値になるように変換する処理は、γ補正で行うことができる。γ補正とは、ヒストグラムを参照して階調をγ補正関数に従って補正するものであり、元の階調をＹ１とすると、補正された階調Ｙ２は下記の（６）式で算出される。
【数６】
0003772133.tif 000007
したがって、（６）式において輝度ヒストグラムの低輝度部の重心が目標値に変換されるようなγ値を算出し、そのγ値を持つγ補正関数で、全階調において変換を施すことにより、輝度ヒストグラムの低輝度部の重心が目標値に一致するように変換することができる。
【００７３】
ここでは、（５）式により補正された輝度分布の低輝度部の重心が目標値に一致するように補正を行うので、重心算出回路１０５で算出した重心位置をＧ、目標値記憶回路１０７に記憶している目標値をｇと表すと、下記の（７）式を満たすγ値を算出すればよい。
【数７】
0003772133.tif 000008
なお、（５）式，（６）式の補正処理は、演算速度向上のために、事前に階調数と同数の２５６個の変換テーブルを作成しておき、実際の画像データは本テーブルを参照して変換を行う。
ただし、（５）式と（６）式の計算を個別に行うと、階調は“０”〜“２５５”の整数値なので、小数点以下に対し誤差が発生する。そこで（５）式と（６）式の計算は同時に行うことで、小数点以下の誤差をなくすようにする。
【００７４】
補正テーブル作成回路１０８では、上記の輝度分布を拡大する処理と、輝度ヒストグラムの低輝度部の重心が目標値に一致するように変換する処理とを同時に行う輝度変換テーブルを作成する。
これにより、図４（ａ）のように輝度ヒストグラムを作成した後、直ちにその輝度分布を拡大する場合に必要となる輝度分布拡大部（輝度分布拡大専用の変換テーブル）、が不要となり、しかも上述のように、小数点以下の演算誤差をなくすことができる。
【００７５】
（７）式で算出したγ値をＫ、入力輝度レベルをｉ（ｉ=０，１，…，２５５）と表すと、入力画像の輝度分布を拡大し、拡大後の輝度ヒストグラムの低輝度部の重心が目標値に一致するような変換を行う変換テーブルＴ［ｉ］は、下記の（８）式で算出することができる。
【数８】
0003772133.tif 000009
図１５は、輝度変換テーブルの変換特性の一例をグラフ化したものであり、輝度変換テーブルは、輝度ヒストグラムの低輝度部の重心階調が目標値の階調に一致するように、（Ｙｍｉｎ，Ｙｍａｘ）を（０，２５５）に写像するような特性をもつ。
【００７６】
次に、画像信号補正回路１０９にて、補正テーブル作成回路１０８で作成した輝度変換テーブルを用い、画像輝度信号の補正を行う。そして、その画像輝度信号からＲ，Ｇ，Ｂ信号を作成する。なお、Ｒ，Ｇ，Ｂの信号を直接輝度変換テーブルに従い変換し、輝度補正を行うこともできる。
このような図１の自動階調補正装置の画像信号補正回路１０９で実際に行う階調補正処理のフローチャートを図４（ｂ）に示す。まず、ステップＳ１１１において、デジタル画像の輝度ヒストグラムを作成し、ステップＳ１１２において、この輝度ヒストグラムの低輝度部の重心を、輝度分布を拡大する前に求める。次に、ステップＳ１１３において、輝度ヒストグラムの輝度分布を拡大し、同時に、輝度分布が拡大された輝度ヒストグラムの低輝度部の重心が目標値に一致するように輝度ヒストグラムの輝度分布を補正する補正テーブルを作成し、この補正テーブルを用いて、これら輝度ヒストグラムの拡大と低輝度部の重心が目標値に一致するような輝度分布の補正、を同時に行う。
【００７７】
このように、輝度ヒストグラムの低輝度部の重心位置、分布の最大値，最小値を算出し、輝度分布を拡大すると同時に輝度ヒストグラムの低輝度部の重心が予め記憶している目標値に一致するような階調補正を行うことで、逆光画像に対し逆光状態の低輝度領域が目標輝度値になるように明るく補正し、全体のコントラストが向上した画像を得ることができる。また順光画像でも同様に、低輝度領域の輝度値を目標値に一致するように補正し、全体のコントラストが向上した画像を得ることができる。
【００７８】
なお、目標値記憶回路１０７に目標値を記憶させるとき、入力画像ごとに最適な目標値を設定する必要があるが、誤って最適ではない値を設定してしまうことも起こり得る。これについては、補正テーブル作成回路１０８において輝度変換テーブルを作成するときに用いるγ補正関数のγ値に制限を設けておき、例えばγ値を
【数９】
0003772133.tif 000010
の範囲に制限するようにすればよい。
【００７９】
このように、γ値に制限を設けることで補正の強さを制限し、目標値が入力画像に対し最適な値でなくても、元画像の特性を大きく損なうのを防止することができる。
なお、補正テーブル作成回路１０８では、上述したγカーブではなく、直線で設定してもよい。分布範囲算出回路１０６で算出した、輝度分布の最小値と最大値がそれぞれ最小輝度レベルの“０”と最大輝度レベルの“２５５”になり輝度ヒストグラムの低輝度部の重心階調が目標値の階調に一致する直線で設定した補正テーブルを図５に示す。このように直線にすることで演算量を大幅に減らすことが可能である。
【００８０】
さらに、分布範囲算出回路１０６で算出した最小値と最大値、低輝度部の重心階調の３点間の階調を、輝度ヒストグラムの分布の頻度に応じて設定してもよい。これは、輝度ヒストグラムの頻度数を見て、頻度数の大きい領域に、多くの階調をもたせるようにする。例を図６(ａ)、図６(ｂ)に示す。図６（ａ）のような輝度ヒストグラムの場合は、補正テーブルは図６（ｂ）のようになる。
このように、輝度ヒストグラムの頻度に合わせて、補正テーブルを作成することにより、画面内で階調が多い領域に、より多くの階調を割り振ることができる。
【００８１】
また、輝度分布作成回路１０４では、輝度分布数の積算量に制限を設けてもよい（請求項１５に対応する）。これはある閾値以上になれば、それ以上は積算しないようにすればよい。閾値は、サンプルポイントの総数から算出できる。
例えば、
【数１０】
0003772133.tif 000011
といったように設定できる。
【００８２】
このように予め輝度ヒストグラムに制限を設けることにより、例えば、逆光画像等で背景が白飛びを起こし輝度レベルが２５５に集中してしまった場合等、階調分布がある階調に集中しているような極端な偏りがある場合でも正確に補正量を算出することができる。
【００８３】
さらに、輝度ヒストグラムから高輝度部の重心位置を算出し、高輝度部の重心位置に応じて高輝度部の補正量を算出してもよい（請求項１８に対応する）。
【００８４】
その一例を図７に示す。Ｙｍｉｎ及びＹｍａｘはそれぞれ上述した輝度分布の最小値及び最大値であるとする。まずＹｍｉｎと低輝度部の重心位置を結ぶ直線と、低輝度部の重心位置とＹｍａｘを結ぶ直線の内角を２分する直線を設定する。そして、補正点の入力値を低輝度部の重心位置とＹｍａｘの中点(Ｙ１)とし、内角の２分線上のＹ１の出力を補正点の出力値（Ｙ２）とする（図７（ａ）参照）。こうすることで、変曲点間の傾きの相違を少なくすることができる。ただし、入力画像が明るい画像の場合、高輝度部が白飛びしてしまうことがある。そこで、図７（ｂ）に示すように、入力値を高輝度部の重心位置が最高階調レベルに近づくほどＹ１を低輝度方向に移動させ（Ｙ１’）、この内角の２分線上の入力値Ｙ１’の出力を補正点の出力値Ｙ２’とする（図７（ｂ）参照）。こうすることで、高輝度部の白飛びをなくすることができる。
【００８５】
勿論、低輝度部の補正と同様に、予め高輝度部の目標値を設定し高輝度部の重心位置が高輝度部の目標値に一致するように補正ポイントを設けそれに応じて補正テーブルを作成してもよい。これを図８に示す。
この例は、補正テーブルを直線で設定する方法であるが、補正点を同様に算出し、補正点間を曲線、または輝度ヒストグラムの頻度に応じて設定してもよい。
また、色差信号、及び輝度信号から肌色領域を抽出し、輝度ヒストグラムを作成する際に、画像の肌色領域の輝度分布を画像全体の輝度分布に肌色の領域に応じて加重し輝度ヒストグラムを作成しても良い（請求項１６に対応する）。
【００８６】
このときの自動階調補正装置の構成は図１０に示すブロック図となる。
図１０において、３１０１は撮像した画像を光電変換する撮像素子、３１０２は撮像素子３１０１からのアナログ画像信号が入力されるＡ／Ｄコンバータ、３１０３はＡ／Ｄコンバータ３１０２からのディジタル画像信号が入力される輝度信号算出回路、３１０４は輝度信号算出回路３１０３からの輝度信号と肌色輝度分布作成回路３１１２からの肌色輝度分布が入力される輝度分布作成回路、３１０５は輝度分布作成回路３１０４からの輝度分布が入力される重心算出回路、３１０６は輝度分布作成回路３１０４からの輝度分布が入力される分布範囲算出回路、３１０７は階調補正を行ううえでの目標となる目標値を記憶している目標値記憶回路、３１０８は重心算出回路３１０５からの重心、分布範囲算出回路３１０６からの分布範囲の最大値，最小値、および目標値記憶回路３１０７からの目標値に基づき階調補正用の補正テーブルを作成する補正テーブル作成回路、３１０９は補正テーブル作成回路３１０８により作成された補正テーブルに基づきＡ／Ｄコンバータ３１０２が出力するディジタル画像信号に階調補正を行う画像信号補正回路、３１１０はＡ／Ｄコンバータ３１０２からのディジタル画像信号が入力される色差信号算出回路、３１１１は輝度信号算出回路３１０３からの輝度信号と色差信号算出回路３１１０からの色差信号が入力される肌色領域抽出回路（肌色領域抽出部）、３１１２は肌色領域抽出回路３１１１からの肌色領域の輝度信号が入力される肌色輝度分布作成回路である。
【００８７】
次に動作について説明する。基本的な動作は上述した図１の装置と同じであるが、図１の装置と違う点は、色差信号算出回路３１１０と肌色領域算出回路３１１１と肌色輝度分布作成回路３１１２とを追加し、色差信号、及び輝度信号から肌色領域を抽出し、輝度ヒストグラムを作成する際に、画像の肌色領域の輝度分布を画像全体の輝度分布に肌色の領域に応じて加重した輝度ヒストグラムを作成する点である。
【００８８】
色差信号算出回路３１１０では、下記の（１１）式，（１２）式に基づいて色差信号Ｃｒ，Ｃｂを算出する。
【数１１】
0003772133.tif 000012
【数１２】
0003772133.tif 000013
肌色領域抽出回路３１１１では、入力画像内の肌色領域の抽出を行う。肌色領域抽出回路３１１１には、予め肌色領域に対応する色差信号及び輝度信号の範囲が入力されており、入力信号の色差信号及び輝度信号が肌色領域内である場合にその画素を肌色と判断する。
【００８９】
ここで肌色領域について図１１を用いて説明する。
図１１（ａ）は色差信号Ｃｒ，Ｃｂ軸上における肌色の分布を示しており、
斜線で示した領域が肌色領域である。肌色は色差信号のある特定の領域に分布
していることがわかる。図１１（ｂ）はＣｒ軸と輝度軸上における肌色の分布を示しており、図１１（ａ）と同様にある特定の領域に肌色が分布している。図１１で示した領域を予め記憶しておき、入力信号が肌色かどうかの判断を行う。すなわち色差信号及び輝度信号が肌色領域内に位置する場合にその画素を肌色と判断する。なお処理を簡単にするため色差信号だけで肌色の判断を行うようにしても良い。
【００９０】
肌色領域抽出回路３１１１により入力画素が肌色と判断された場合、肌色輝度分布作成回路３１１２にて肌色領域の輝度分布を作成する。作成された肌色領域の輝度分布の例を図１２（ａ）に示す。画面全体の輝度分布が図１２（ｂ）のような場合、図１２（ｂ）の全体の輝度分布の階調毎の分布数に、肌色領域の輝度分布である図１２（ａ）の輝度分布の階調毎の分布数を加算することで、肌色領域の輝度データに重み付けを行う。なお加算の際には肌色領域の輝度分布数に重み付けをして加算する。これは肌色領域が画面全体に占める割合は小さいため、そのまま加算したのでは肌色領域の輝度分布を階調補正処理に反映することができないためである。重み付けを行うことで肌色領域が最適になるような階調補正を行うことができる。重み付けは、肌色領域の輝度分布数に係数を乗ずることにより実現でき、例えば肌色領域の輝度分布数を５倍したものを加算するようにすればよい。図１２（ｃ）は、このように加算した輝度分布である。
【００９１】
なお、肌色領域の輝度分布において、高輝度部の分布数に重み付けをするようにしてもよい（請求項１７に対応する）。例えば肌色領域の輝度分布に図１３に示すような係数を乗算することで高輝度部に重み付けを行う。これにより視覚的に目立ちやすい肌色の白飛びを防止することができる。
【００９２】
また、輝度分布作成回路１０４で作成された輝度分布が離散的な場合には階調補正を行わないようにしてもよい（請求項１９に対応する）。この場合の輝度分布の例を図９に示す。輝度分布が離散的ということは、自然画像ではなく人工画像であると判断できる。人工画像である場合、概して階調補正を行わないほうがよい。
【００９３】
また、上述では階調補正をＲ，Ｇ，Ｂに対して行っているが、デジタル画像信号を輝度信号と色差信号に分離し、輝度信号に対して行うこともできる。ただしこの場合、輝度補正により彩度が低下したように見える現象が生じる。そこで、請求項２０で述べたように、補正テーブルに応じて画像の色差信号を補正してもよい。これにより、階調補正を行った輝度信号と色差信号からＲ，Ｇ，Ｂ信号を作成した場合、輝度補正により彩度が低下したように見える現象を緩和することができる。
【００９４】
この場合の自動階調補正装置の構成は図１４に示すブロック図となる。図１４において、３００１は撮像した画像を光電変換する撮像素子、３００２は撮像素子３００１からのアナログ画像信号が入力されるＡ／Ｄコンバータ、３００３はＡ／Ｄコンバータ３００２からのディジタル画像信号が入力される輝度信号算出回路、３００４は輝度信号算出回路３００３からの輝度信号が入力される輝度分布作成回路、３００５は輝度分布作成回路３００４からの輝度分布が入力される重心算出回路、３００６は輝度分布作成回路３００４からの輝度分布が入力される分布範囲算出回路、３００７は階調補正を行ううえでの目標となる目標値を記憶している目標値記憶回路、３００８は重心算出回路３００５からの重心、分布範囲算出回路３００６からの分布範囲の最大値，最小値、および目標値記憶回路３００７からの目標値に基づき階調補正用の補正テーブルを作成する補正テーブル作成回路、３００９は補正テーブル作成回路３００８により作成された補正テーブルに基づき輝度信号算出回路３００３が出力する輝度信号に階調補正を行う輝度信号補正回路、３０１０はＡ／Ｄコンバータ３００２からのディジタル画像信号が入力される色差信号算出回路、３０１１は補正テーブル作成回路３００８により作成された補正テーブルに基づき色差ゲイン値を算出し、色差信号算出回路３０１０が出力する色差信号に補正を行う色差信号補正回路である。
【００９５】
次に動作について説明する。基本的な動作は上述した図１の装置と同じであるが、図１の装置と違う点は、輝度信号補正回路３００９と色差信号算出回路３０１０と色差信号補正回路３０１１とを追加し、階調補正は輝度信号に対して行い、色差信号は補正テーブルに基づき色差ゲイン値を算出しそのゲイン値をかけることで補正を行うようにした点である。
【００９６】
色差信号算出回路３０１０では、上記の（１１）式および（１２）式にて色差信号Ｃｒ，Ｃｂを算出する。
輝度信号補正回路３００９では、上述した画像信号補正回路１０９と同様に、補正テーブル作成回路３００８により作成された補正テーブルに基づき輝度信号に対し階調補正を行う。
【００９７】
色差信号補正回路３０１１では、色差信号をＣｒ，Ｃｂ、入力輝度レベルをｉ、入力輝度レベルに応じた補正テーブルの出力値をＴａｂｌｅ［ｉ］、色差信号のゲイン値をＣｇと表わすと、下記の(１３) 式，(１４)式，(１５)式，(１６)式を用いてゲイン値を算出し、色差の補正を行う。
【数１３】
0003772133.tif 000014
【数１４】
0003772133.tif 000015
【数１５】
0003772133.tif 000016
【数１６】
0003772133.tif 000017
ただし、これは一例であり使用する式はこれらに限るものではない。例えば、色差信号にゲイン値をかけたとき、Ｃｒが色差信号の最高レベルに達した場合、Ｃｒは最高レベルでクリップが掛かりＣｂにはそのままゲインがかかるので色相が変化してしまう。このときは、Ｃｒが色差信号の最高レベルを超えないようにＣｇを調節し、調節したＣｇをＣｂにもかけるようにすることで色相の変化を緩和することができる。
また、目標値記憶回路１０７に輝度ヒストグラムの低輝度部の重心が取りうる位置に応じて予め目標値を設定し記憶しておくことで、入力画像ごとに目標値を設定する作業をなくすることもできる。
【００９８】
また、このように重心が取り得る範囲ごとに目標値を設定し、補正の強さを制限することにより、仮え入力画像に対し最適な目標値でなくても、元画像の特性を大きく損なうのを防止することもできる。
さらに、この自動階調補正装置における補正テーブル作成回路１０８において、輝度分布の拡大は、低輝度側にのみ行い、輝度ヒストグラムの低輝度部の重心が目標値に一致するよう補正を行なう処理にて高輝度側の輝度分布の拡大が行なわれるような変換テーブルを作成することにより、階調補正による高輝度部の階調の潰れを防止することができる（請求項１１に対応する）。
【００９９】
この階調の潰れの防止効果について、図１６を用いて説明する。図１６（ａ）は輝度分布を全階調に広がるように拡大し、輝度ヒストグラムの低輝度部の重心が目標値に一致するように補正を行った場合、図１６（ｂ）は輝度分布を低輝度側のみ拡大し、輝度ヒストグラムの低輝度部の重心が目標値に一致するように補正を行った場合である。
図１６（ａ）では、輝度分布が全階調に広がるように拡大し、さらに輝度ヒストグラムの低輝度部の重心が目標値に一致するよう補正することで輝度分布が２回高輝度側に圧縮される形になり、高輝度部の潰れが発生している。
しかし、図１６（ｂ）では、輝度ヒストグラムの低輝度部の重心が目標値に一致するよう補正するときのみ輝度分布を高輝度側に圧縮しているので、高輝度部の潰れを図１６（ａ）に比べ抑えることができている。
またこの場合、輝度分布の最大値は必要ないので、分布範囲算出回路１０６では最小値のみ算出するようにしてもよい。こうすることで、計算量を減らすことができる。
【０１００】
このように、本実施の形態１によれば、デジタル画像の輝度ヒストグラムを作成し、その低輝度部の重心を算出し、輝度ヒストグラムの輝度の分布を拡大し、同時に分布拡大後の輝度ヒストグラムの低輝度部の重心が目標値に一致するように輝度ヒストグラムを補正する補正テーブルを作成し、補正を行うようにしたので、１つの変換テーブルを作成するのみで、デジタル画像信号から作成した輝度ヒストグラムの輝度分布を拡大すると同時に低輝度部の重心が輝度補正目標値に一致するように補正を行い、逆光画像に対し逆光状態の低輝度領域が目標輝度値になるように明るく補正し、全体のコントラストが向上した画像を得ることができる。また順光画像でも同様に、低輝度領域の輝度値を目標値に一致するように補正し、全体のコントラストが向上した画像を得ることができる自動階調補正装置が得られる。
【０１０１】
なお、上述の説明では、主に、補正テーブルを使用することで、輝度分布の拡大と低輝度部の重心が目標値に一致するように補正する階調補正処理とを同時に行う自動階調補正装置について説明したが、この自動階調補正装置に相当する処理を行う自動階調補正方法として実現してもよい。また、その補正原理を示す図４（ａ）のフローチャートに相当する自動階調補正方法およびこの自動階調補正方法に対応する自動階調補正装置、さらには、この自動階調補正方法をコンピュータに実行させる自動階調補正プログラムを各種の記録媒体に記録させる自動階調補正プログラム記録媒体として実現してもよく、輝度分布の拡大と階調補正処理とを同時に行えない以外は上記自動階調補正装置と同様の効果を奏する。
【０１０２】
（実施の形態２）
以下に、本発明の請求項４、請求項５、請求項６、請求項２４、請求項２５、請求項２６、請求項４３に記載された発明、（さらには、請求項１１、請求項１２、請求項１３、請求項１４、請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２０、請求項３１、請求項３１、請求項３３、請求項３４、請求項３５、請求項３６、請求項３７、請求項３８、請求項３９、請求項４０、請求項４５、請求項４６、請求項４７、請求項４８、請求項４９、請求項５０、請求項５１、請求項５２に記載された発明）に対応する実施の形態２について、図を参照しながら説明する。
この実施の形態２は、目標となる目標値を設定するのではなく、目標輝度分布を設定することにより、階調補正を行うものである。
【０１０３】
図１７は実施の形態２の自動階調補正装置の構成を示すブロック図である。図１７において、６０１は撮像した画像を光電変換する撮像素子、６０２は撮像素子６０１からのアナログ画像信号が入力されるＡ／Ｄコンバータ、６０３はＡ／Ｄコンバータ６０２からのディジタル画像信号が入力される輝度信号算出回路、６０４は輝度信号算出回路６０３からの輝度信号が入力される輝度分布作成回路（輝度ヒストグラム作成部）、６０５は階調補正を行ううえでの目標となる目標輝度分布を記憶している目標輝度分布記憶回路、６０６は輝度分布作成回路６０４からの輝度分布が入力される重心算出回路（重心算出部）、６０７は輝度分布作成回路６０４からの輝度分布が入力される分布範囲算出回路、６０８は目標輝度分布記憶回路６０５からの目標輝度分布が入力される目標値算出回路（目標値算出部）、６０９は重心算出回路６０６からの重心、分布範囲算出回路６０７からの分布範囲の最大値，最小値、および目標値算出回路６０８からの目標値に基づき階調補正用の補正テーブルを作成する補正テーブル作成回路、６１０は補正テーブル作成回路６０９により作成された補正テーブルに基づきＡ／Ｄコンバータ６０２が出力するディジタル画像信号に階調補正を行う画像信号補正回路である。なお、補正テーブル作成回路６０９と画像信号補正回路６１０とは両者で階調補正処理部を構成する。但し、階調補正処理部が輝度ヒストグラムの分布拡大機能を包含しない場合は、補正テーブル作成回路６０９および画像信号補正回路６１０の両者で、輝度分布拡大部および階調補正処理部の両者を構成する。
【０１０４】
次に、動作について説明する。基本的な動作は上述した実施の形態１と同じであるが、予め記憶回路に目標値を設定するのではなく、目標となる輝度分布を設定し、その目標輝度分布を用いて目標値を算出するようにしている点が実施の形態１とは異なる。
目標輝度分布記憶回路６０５にて、予め階調補正で目標とする輝度ヒストグラムを設定し、その分布を記憶しておく。
図１８は、目標輝度分布記憶回路６０５にて記憶する輝度ヒストグラムの一例である。図１８（ａ）は逆光状態の入力画像の輝度ヒストグラム、図１８（ｂ）は目標とする画像の輝度ヒストグラムである。図１８（ｂ）のヒストグラムになれば、逆光状態の低輝度部が高輝度方向に移動し、逆光が解消される。
【０１０５】
次に、目標値算出回路６０８にて、目標輝度分布から目標値を算出する。即ち、予め目標輝度分布記憶回路６０５に記憶されている目標輝度分布に対し、重心算出回路６０６で重心位置を算出するときと同様にして低輝度部の重心位置を求め、この重心位置を目標値とする（図２０のステップＳ２０３参照）。なお目標値算出回路６０８での低輝度部は、重心算出回路６０６における低輝度部と同じ範囲に設定する必要がある。ここでは低輝度部を、“０”階調から中央階調（“１２７”）までの範囲とする。
【０１０６】
この算出した目標値を用い、実施の形態１と同様にして、階調補正を行う。即ち、重心算出回路６０６で算出した重心位置、分布範囲算出回路６０７で算出した最大値と最小値、および目標値算出回路６０８にて予め算出した目標値を用い、輝度変換テーブルを作成する。この輝度変換テーブルは、輝度分布を拡大し、同時に拡大後の輝度ヒストグラムの低輝度部の重心が目標値に一致するように階調補正を行うのに用いる。
【０１０７】
図２０（ａ）はこの階調補正処理の原理を示すフローチャートである。まず、入力画像から輝度ヒストグラムを作成し（図２０のステップＳ２００参照）、作成した輝度ヒストグラムの輝度分布全体を、全階調に広がるように拡大する（図２０のステップＳ２０１参照）。これにより全体として入力画像のコントラストを向上させることができる。
【０１０８】
次にコントラストを向上させた画像に対し、その低輝度部の重心位置を求める（図２０のステップＳ２０２参照）。そして、目標輝度分布から輝度補正目標値を算出し（図２０のステップＳ２０３参照）、分布を拡大させたことで移動した低輝度部の重心位置を目標値に移すような補正を行う（図２０のステップＳ２０４参照）。これにより、低輝度部の輝度値を目標としている輝度値に補正することができる。
これら２つの処理の結果、逆光状態の低輝度領域が目標輝度値になるように明るく補正すると共に全体のコントラストが向上した画像を得ることができる。
【０１０９】
図２０（ｂ）は、このような図１７の自動階調補正装置で実際に行う階調補正処理のフローチャートを示すもので、まず、ステップＳ２１０において、デジタル画像の輝度ヒストグラムを作成し、ステップＳ２１１において、この輝度ヒストグラムの低輝度部の重心を、輝度分布を拡大する前に求める。そして、ステップＳ２１２において、輝度補正目標値を算出し、ステップＳ２１３において、輝度ヒストグラムの輝度分布を拡大し、同時に、輝度ヒストグラムの低輝度部の重心が目標値に一致するように輝度ヒストグラムの輝度分布を補正する補正テーブルを作成し、この補正テーブルを用いて、これら輝度ヒストグラムの拡大と低輝度部の重心が目標値に一致するような輝度分布の補正、を同時に行う。
これにより、図２０（ａ）のように輝度ヒストグラムを作成した後、直ちにその輝度分布を拡大する場合に必要となる輝度分布拡大部（輝度分布拡大専用の変換テーブル）、が不要となり、しかも上述のように、小数点以下の演算誤差をなくすことができる。
【０１１０】
図１９は、図１８（ａ）の入力画像において、図１８(ｂ)の輝度ヒストグラムから目標値を算出し階調補正を行った画像の輝度ヒストグラムである。図１８より、低輝度部の分布のピークが高輝度側に移動し、低輝度部が明るく補正されたことがわかる。さらに、分布が拡大されコントラストも向上しているのがわかる。
このように、輝度分布を拡大すると同時に入力画像から作成した輝度ヒストグラムの低輝度部の重心位置を、目標とする輝度ヒストグラムから算出した目標値に移すような補正を行うことで、目標とする明るさをもち、しかも全体のコントラストが向上した画像を得ることができる。
【０１１１】
また、この手法では以下に述べるような効果もある。
図２１に、或る２つの入力画像に対する目標輝度分布を示す。図２１（ａ）は或る順光画像での目標輝度分布、図２１（ｂ）は或る逆光画像での目標輝度分布である。これらは、どちらも低輝度部の分布の形状が全く同じになっている。
【０１１２】
例えば、目標輝度分布を用いた本手法以外の階調補正方法として、入力画像の輝度分布の形状を目標輝度分布と全く同じ形になるように階調を補正していく方法がある。この補正方法の場合、分布の形状が変わると補正結果が大きく変わるので、輝度ヒストグラムの形状が異なる順光画像と逆光画像では、場合分けを行い、必ず図２１（ａ），図２１（ｂ）に示すようなそれぞれの状態に合う目標輝度分布を設定する必要がある。
【０１１３】
しかしながら、本実施の形態２の目標値算出回路６０８では、低輝度部のみの重心を算出し、その重心位置を目標値としているため、図２１に示す２つの目標輝度分布から算出される目標値は全く同じ値になり、実施の形態２の補正方法では、どちらの目標輝度分布を用いても全く同じ補正結果が得られる。従って、どちらの目標輝度分布を用いて補正を行っても良い。
このことより、本手法によれば、順光画像と逆光画像の階調補正において、低輝度部の目標とする輝度値が同じならば、同じ目標輝度分布を使用することができるので、明るさの特性が異なる画像に対し場合分けを行う必要がなく、階調補正を速やかに実行できる。
【０１１４】
なお、目標輝度分布記憶回路６０５において、上述したように輝度ヒストグラムを目標輝度分布と同じ形状にしなくても補正は行えるので、請求項５で述べたように、予め目標とする輝度分布を曲線近似し、その曲線を記憶させることもできる。そして、目標値算出回路６０８において、その曲線から“０”から“２５５”の階調に広がる輝度分布を作成し、目標値を算出する。
【０１１５】
また、目標値は目標輝度分布の低輝度部のみが関係してくるので、目標輝度分布記憶回路６０５で記憶する曲線は、例えば図２２（ａ）の、平均値をμ、標準偏差をσ文字文字とする下記の（１７）式で表せる正規分布曲線、図２２（ｂ）の下記の（１８）式で表せるコサイン曲線、また、図２２（ｃ）の下記の（１９）式で表せる直線とすることもできる。
【数１７】
0003772133.tif 000018
【数１８】
0003772133.tif 000019
【数１９】
0003772133.tif 000020
このように、目標輝度分布を曲線、あるいは直線で与えることにより、簡単に目標輝度分布を設定することができ、目標輝度分布を構成する点の座標を全て記憶する場合よりも、メモリの記憶容量を減らすことができる。
また、目標輝度分布記憶回路６０５において、予め目標輝度分布を複数設定しておき、入力画像の輝度ヒストグラムに応じて、設定している目標輝度分布の形状を変えることで最適な目標値を算出することもできる。こうすることで、簡単に目標値を調整することができる。
【０１１６】
なお、曲線で与える場合は、曲線の傾きを変えた曲線を記憶することでも実現できる。例えば、図２２（ｂ）の曲線では、Ａの値を変化させたコサイン曲線を記憶しておく。
または、予め与えられた２つの曲線を、入力画像の輝度ヒストグラムに応じて合成し、新しい曲線を作成しても良い。例えば、図２２（ｂ）と図２２（ｃ）の曲線が与えられているとき、入力画像の輝度ヒストグラムが図２３（ａ）のような場合は、図２２（ｂ）の比率を大きくした図２３（ｃ）のような曲線を作成する。また、図２３（ｂ）のような場合は、図２２（ｃ）の比率を大きくした図２３（ｄ）のような曲線を作成する。
【０１１７】
さらに、これら請求項４、請求項５、及び請求項６の自動階調補正装置における補正テーブル作成回路６０９において、輝度分布の拡大は低輝度側にのみ行い、輝度ヒストグラムの低輝度部の重心が目標値に一致するように補正を行う処理にて高輝度側の輝度分布の拡大が行なわれるような変換テーブルを作成することにより、階調補正による高輝度部の階調の潰れを防止することができる（請求項１１に対応する）。
また、この場合、輝度分布の最大値は必要ないので、分布範囲算出回路６０７では最小値のみ算出するようにしてもよい。こうすることで、計算量を減らすことができる。
また、実施の形態１で述べたように、請求項１５ないし２０で述べたような変形を加えてもよい。
【０１１８】
即ち、輝度分布作成回路１０４に対し、輝度分布の積算量に制限を設けてもよい（請求項１５に対応する）。このように、予め輝度ヒストグラムに制限をもたせることにより、例えば、逆光画像等で背景が白飛びを起こし輝度レベルが２５５に集中してしまった場合等、階調分布がある階調に集中しているような極端な偏りがある場合でも、正確に補正量を算出することができる。
また、色差信号、及び輝度信号から肌色領域を抽出し、輝度ヒストグラムを作成する際に、画像の肌色領域の輝度分布を画像全体の輝度分布に肌色の領域に応じて加重し輝度ヒストグラムを作成してもよい（請求項１６に対応する）。このように、重み付けを行うことで肌色領域が最適になるような階調補正を行うことができる。
【０１１９】
また、肌色領域の輝度分布において、高輝度部の分布数に重み付けをするようにしてもよい（請求項１７に対応する）。例えば肌色領域の輝度分布に図１３に示すような係数を乗算することで、高輝度部に重み付けを行う。
また、輝度ヒストグラムから高輝度部の重心位置を算出し、高輝度部の重心位置に応じて高輝度部の補正量を算出してもよい（請求項１８に対応する）。
【０１２０】
勿論、低輝度部の補正と同様に、目標輝度分布から高輝度部の目標値を算出し、高輝度部の重心位置が高輝度部の目標値に一致するように補正ポイントを設けそれに応じて補正テーブルを作成してもよい。
【０１２１】
また、輝度分布作成回路で作成された輝度分布が離散的な場合には、補正を行わないようにしてもよい（請求項１９に対応する）。これは、画像が人工画像であると判断でき、人工画像の場合概して階調補正を行わないほうがよいためである。
また、デジタル画像信号を輝度信号と色差信号とに分離し、輝度信号に対し階調補正を行うようにする場合に、補正テーブルに応じて画像の色差信号を補正してもよい(請求項２０に対応する）。これにより、階調補正を行った輝度信号と色差信号とからＲ，Ｂ，Ｇ信号を作成した場合、輝度補正により彩度が低下したように見える現象を緩和することができる。
【０１２２】
このように、本実施の形態２によれば、デジタル画像の輝度ヒストグラムを作成し、その低輝度部の重心を算出し、また目標輝度分布から輝度補正目標値を算出し、輝度ヒストグラムの輝度の分布を拡大し、同時に分布拡大後の輝度ヒストグラムの低輝度部の重心が目標値に一致するように輝度ヒストグラムを補正する補正テーブルを作成し、補正を行うようにしたので、１つの変換テーブルを作成するのみで、デジタル画像信号から作成した輝度ヒストグラムの輝度分布を拡大すると同時に低輝度部の重心が輝度補正目標値に一致するように補正を行い、逆光画像に対し逆光状態の低輝度領域が目標輝度値になるように明るく補正し、全体のコントラストが向上した画像を得ることができる。また順光画像でも同様に、低輝度領域の輝度値を目標値に一致するように補正し、全体のコントラストが向上した画像を得ることができる自動階調補正装置が得られる。
【０１２３】
なお、上述の説明では、主に、補正テーブルを使用することで、輝度分布の拡大と低輝度部の重心が目標値に一致するように補正する階調補正処理とを同時に行う自動階調補正装置について説明したが、この自動階調補正装置に相当する処理を行う自動階調補正方法として実現してもよい。また、その補正原理を示す図２０（ａ）のフローチャートに相当する自動階調補正方法およびこの自動階調補正方法に対応する自動階調補正装置、さらには、この自動階調補正方法をコンピュータに実行させる自動階調補正プログラムを各種の記録媒体に記録させる自動階調補正プログラム記録媒体として実現してもよく、輝度分布の拡大と階調補正処理とを同時に行えない以外は上記自動階調補正装置と同様の効果を奏する。
【０１２４】
（実施の形態３）
以下に、請求項１、請求項２１、請求項４１に記載された発明、（さらには、請求項２、請求項１１、請求項１２、請求項１３、請求項１４、請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２０、請求項２２、請求項３１、請求項３２、請求項３３、請求項３４、請求項３５、請求項３６、請求項３７、請求項３８、請求項３９、請求項４０、請求項４５、請求項４６、請求項４７、請求項４８、請求項４９、請求項５０、請求項５１、請求項５２に記載された発明）に対応する実施の形態３について、図を参照しながら説明する。
この実施の形態３は、低輝度部と高輝度部の境界を、入力画像の輝度ヒストグラムの重心にあわせて変更できるようにしたものである。
【０１２５】
実施の形態３の自動階調補正装置の構成は図２４に示すブロック図となる。
図２４において、１１０１は撮像した画像を光電変換する撮像素子、１１０２は撮像素子１１０１からのアナログ画像信号が入力されるＡ／Ｄコンバータ、１１０３はＡ／Ｄコンバータ１１０２からのディジタル画像信号が入力される輝度信号算出回路、１１０４は輝度信号算出回路１１０３からの輝度信号が入力される輝度分布作成回路（輝度ヒストグラム作成部）、１１１０は輝度分布作成回路１１０４からの輝度分布が入力される境界値算出回路（境界値算出部）、１１０５は輝度分布作成回路１１０４からの輝度分布および境界値算出回路１１１０からの境界値が入力される重心算出回路（重心算出部）、１１０６は輝度分布作成回路１１０４からの輝度分布が入力される分布範囲算出回路、１１０７は階調補正を行ううえでの目標となる目標値を記憶する目標値記憶回路、１１０８は重心算出回路１１０５からの重心、分布範囲算出回路１１０６からの分布範囲の最大値，最小値、および目標値記憶回路１１０７からの目標値に基づき階調補正用の補正テーブルを作成する補正テーブル作成回路、１１０９は補正テーブル作成回路１１０８により作成された補正テーブルに基づきＡ／Ｄコンバータ１１０２が出力するディジタル画像信号に階調補正を行う画像信号補正回路である。
【０１２６】
なお、補正テーブル作成回路１１０８と画像信号補正回路１１０９とは両者で階調補正処理部を構成する。但し、階調補正処理部が輝度ヒストグラムの分布拡大機能を包含しない場合は、補正テーブル作成回路１１０８および画像信号補正回路１１０９の両者で、輝度分布拡大部および階調補正処理部の両者を構成する。
図２７（ａ）はこの階調補正処理の原理を示すフローチャートである。
【０１２７】
即ち、ステップＳ３０１において、デジタル画像の輝度ヒストグラムを作成し、ステップＳ３０２において、輝度ヒストグラムを拡大する。次いで、ステップＳ３１０において、拡大された輝度ヒストグラムの全階調における重心を算出し、ステップＳ３１１において、拡大された輝度ヒストグラムの低輝度部と高輝度部との境界値を算出する。そして、ステップＳ３０３において、輝度ヒストグラムの低輝度部の重心を求め、ステップＳ３０４において、低輝度部の重心が目標値に一致するように輝度ヒストグラムを補正する。
【０１２８】
次に動作について説明する。基本的な動作は上述した実施の形態１と同じであるが、実施の形態１と違う点は、境界値算出回路１１１０を追加し、入力輝度レベル軸の中央輝度レベルを境界値とし輝度ヒストグラムを２等分してできる低輝度側の領域を低輝度部、高輝度側の領域を高輝度部とするのではなく、境界値を可変にし、入力画像に合わせた境界値を設定できるようにした点である。
このように境界値を可変にし、逆光画像において逆光領域を含む低輝度部を正確に抽出することで、より正確に逆光領域を目標輝度値に補正することができるようになる。
【０１２９】
既に述べたように、逆光画像で作成される輝度ヒストグラムは、図２（ｂ）のように高輝度側と低輝度側とで２つのピークができるという特徴をもっている。そしてこのとき、全階調における重心を算出すると、全画像領域内で逆光領域を含む暗い領域の割合が多い場合は、図２５（ａ）に示すように、重心位置が中央階調より低輝度側になり、全画像領域内で逆光領域を含む暗い領域の割合が少ない場合は、図２５（ｂ）に示すように、重心位置が中央階調より高輝度側になる。
【０１３０】
そこで、実施の形態３では、輝度分布作成回路１１０４で作成された輝度ヒストグラムの全階調重心を算出し、算出した重心位置をもとに境界値を移動させることにする。こうすることで、逆光領域を含む低輝度部とそれ以外の高輝度部を正しく分割できる。
即ち、境界値算出回路１１１０では、輝度分布作成回路１１０４で作成された輝度ヒストグラムの全階調重心を求め、中央階調からその重心位置をもとに算出した移動量だけずらせた階調を、低輝度部と高輝度部との境界値として算出する。
【０１３１】
輝度分布作成回路１１０４で作成された輝度ヒストグラムの重心をＧ、中央階調をＨと表すと、境界値Ｔは下記の（２０）式で算出される。
【数２０】
0003772133.tif 000021
（２０）式の“０．５”という値は、移動量を制御する係数であり、“０．５”に限るものではない。例えば、“１．０”とすると、中央階調と全階調重心との差がそのまま移動量となる。
【０１３２】
次に、重心算出回路１１０５では、“０”階調から境界値算出回路１１１０で算出した境界値までを低輝度部とし、輝度分布作成回路１１０４で作成された輝度ヒストグラムの低輝度部の重心位置を算出し、目標値記憶回路１１０７に記憶している目標値と、分布範囲算出回路１１０６で算出した最大値，最小値とあわせて補正テーブル作成回路１１０８にて輝度変換テーブルを作成する。そして、画像信号補正回路１１０９にて階調補正を行う。
これにより目標とする明るさをもち、しかも全体のコントラストが向上した画像を得ることができる。
【０１３３】
図２７（ｂ）は、このような図２４の自動階調補正装置で実際に行う階調補正処理のフローチャートを示すもので、まず、ステップＳ３２１において、デジタル画像の輝度ヒストグラムを作成し、ステップＳ３３０において、この輝度ヒストグラムの全階調における重心を、輝度分布を拡大する前に求める。次に、ステップＳ３３１において、輝度ヒストグラムの低輝度部と高輝度部との境界値を算出し、ステップＳ３２２において、輝度ヒストグラムの低輝度部の重心を求める
。次に、ステップＳ３２３において、輝度ヒストグラムの輝度分布を拡大し、同時に、輝度分布が拡大された輝度ヒストグラムの低輝度部の重心が目標値に一致するように輝度ヒストグラムの輝度分布を補正する補正テーブルを作成し、この補正テーブルを用いて、これら輝度ヒストグラムの拡大と低輝度部の重心が目標値に一致するような輝度分布の補正、を同時に行う。
【０１３４】
これにより、図２７（ａ）のように輝度ヒストグラムを作成した後、直ちにその輝度分布を拡大する場合に必要となる輝度分布拡大部（輝度分布拡大専用の変換テーブル）、が不要となり、しかも上述のように、小数点以下の演算誤差をなくすことができる。
【０１３５】
ところで、実施の形態３の目標値記憶回路１１０７では、予め目標値を設定し記憶したが、実施の形態２と同様に、目標輝度分布から目標値を算出し、算出した目標値を目標値記憶回路１１０７に記憶させておくこともできる。この場合は、重心算出回路１１０５の重心算出方法と同様に“０”階調から境界値までを低輝度部とし、目標輝度分布の低輝度部の重心を求め、求めた重心位置を目標値とすればよい。
【０１３６】
なお、上記の境界値の算出方法は一例であり、輝度ヒストグラム全体から低輝度部を正しく検出することができれば、他の方法を用いてもよい。
例えば、境界値算出回路１１１０において、請求項２に述べたように、輝度範囲を分割し、各領域の特徴量として重心位置を求め、求めた重心位置から境界値を算出することもできる。
【０１３７】
これは、まず輝度分布作成回路１１０４で作成された輝度ヒストグラムを中央階調で２つの領域に分割し、各領域において重心位置を算出する。そして求めた２つの重心の中点を移動量の算出に用いる。
輝度分布作成回路１１０４で作成された輝度ヒストグラムを２等分したとき低輝度側領域の重心をＧ１、高輝度側領域の重心をＧ２、そして中央階調をＨと表すと、境界値Ｔは下記の（２１）式で算出される。
【数２１】
0003772133.tif 000022
（２１）式の“１．０”という値は、移動量を制御する係数であり、“１．０”の場合は２つの重心の中点が境界値になっている。
【０１３８】
図２６は、同一の輝度ヒストグラムに対し（２０）式と（２１）式とを用いて算出した境界値を示したものである。図２６（ａ）は（２０）式、図２６（ｂ）は（２１）式によりそれぞれ境界値を算出したものである。図２６の輝度ヒストグラムのように、高輝度側の限られた階調に頻度が集中し、低輝度側の合計頻度より多くなる場合、全階調重心の重心位置は頻度が集中している側になる。したがって、図２６（ａ）では、境界値が低輝度部の山型分布の中に設定されてしまう。しかし、図２６（ｂ）では、高輝度側と低輝度側とを分割し、低輝度側の「山」と高輝度側の「山」を別々に考えることにより、境界値を山型分布の「谷」位置に設定することができている。
【０１３９】
このように、輝度ヒストグラムを２分割する境界値を求めることにより、輝度分布の頻度が極端な場合においても、正確な境界値を算出することができる。
また、別の境界値の算出方法として、輝度範囲を多数に分割し、各領域の頻度を算出し、頻度が多い領域に挟まれた，頻度が少ない領域を境界値とすることもできる。
【０１４０】
なお、輝度ヒストグラムを中央階調で２つの領域に分割し、各領域において重心位置を算出し、境界値を算出する方法では、境界値算出回路１１１０で輝度範囲を２つの領域に分けて算出した低輝度領域の重心位置を、補正テーブル作成回路１１０８で用いる重心位置とすることもできる。
こうすることで、重心算出回路１１０５にて、境界値までの低輝度領域の重心位置を算出する必要がないため、この重心算出回路を省くことができる。
【０１４１】
この場合の自動階調補正装置の構成は図２８に示すブロック図となる。図２８において、１４０１は撮像した画像を光電変換する撮像素子、１４０２は撮像素子１４０１からのアナログ画像信号が入力されるＡ／Ｄコンバータ、１４０３はＡ／Ｄコンバータ１４０２からのディジタル画像信号が入力される輝度信号算出回路、１４０４は輝度信号算出回路１４０３からの輝度信号が入力される輝度分布作成回路、１４１０は階調補正を行ううえでの目標となる目標輝度分布を記憶している目標輝度分布記憶回路、１４０９は輝度分布作成回路１４０４からの輝度分布が入力される境界値算出回路、１４０６は輝度分布作成回路１４０４からの輝度分布が入力される分布範囲算出回路、１４０５は境界値算出回路１４０９からの境界値および目標輝度分布記憶回路１４１０からの目標輝度分布が入力される目標値算出回路、１４０７は目標値算出回路１４０５からの目標値、分布範囲算出回路１４０６からの分布範囲の最大値，最小値、および境界値算出回路１４０９からの重心位置に基づき階調補正用の補正テーブルを作成する補正テーブル作成回路、１４０８は補正テーブル作成回路１４０７により作成された補正テーブルに基づきＡ／Ｄコンバータ１４０２が出力するディジタル画像信号に階調補正を行う画像信号補正回路である。
【０１４２】
次に動作について説明する。基本的な動作は上述した請求項４，請求項１の装置と同じであるが、境界値算出回路１４０９では、境界値と低輝度部の重心位置を算出する。そして、目標値算出回路１４０５では、目標輝度分布記憶回路１４１０に記憶している目標輝度分布、および境界値算出回路１４０９で算出した境界値から目標値を算出し、補正テーブル作成回路１４０７では、分布範囲算出回路１４０６で求めた最大値，最小値、目標値算出回路１４０５で算出した目標値、および境界値算出回路１４０９で求めた低輝度部の重心位置に基づいて補正テーブルを作成する。
【０１４３】
さらに、これら請求項１、請求項２の自動階調補正装置における補正テーブル作成回路において、輝度分布の拡大は、低輝度側にのみ行い、輝度ヒストグラムの低輝度部の重心が目標値に一致するように補正を行なう処理にて高輝度側の輝度分布の拡大が行なわれるような変換テーブルを作成することにより、階調補正による高輝度部の階調の潰れを防止できるようにしてもよい（請求項１１に対応する）。
【０１４４】
また、この場合、輝度分布の最大値は必要ないので、分布範囲算出回路では最小値のみ算出してもよい。こうすることで、計算量を減らすことができる。
また、実施の形態１で述べたように、請求項１５ないし２０で述べたような変形を加えてもよい。
即ち、輝度分布作成回路１０４に対し、輝度分布の積算量に制限を設けてもよい（請求項１５に対応する）。このように、予め輝度ヒストグラムに制限をもたせることにより、例えば、逆光画像等で背景が白飛びを起こし輝度レベルが２５５に集中してしまった場合等、階調分布がある階調に集中しているような極端な偏りがある場合でも、正確に補正量を算出することができる。
【０１４５】
また、色差信号、及び輝度信号から肌色領域を抽出し、輝度ヒストグラムを作成する際に、画像の肌色領域の輝度分布を画像全体の輝度分布に肌色の領域に応じて加重し輝度ヒストグラムを作成してもよい（請求項１６に対応する）。このように、重み付けを行うことで肌色領域が最適になるような階調補正を行うことができる。
また、肌色領域の輝度分布において、高輝度部の分布数に重み付けをするようにしてもよい（請求項１７に対応する）。例えば肌色領域の輝度分布に図１３に示すような係数を乗算することで、高輝度部に重み付けを行う。
【０１４６】
また、輝度ヒストグラムから高輝度部の重心位置を算出し、高輝度部の重心位置に応じて高輝度部の補正量を算出してもよい（請求項１８に対応する）。
また、輝度分布作成回路で作成された輝度分布が離散的な場合には、補正を行わないようにしてもよい（請求項１９に対応する）。これは、画像が人工画像であると判断でき、人工画像の場合概して階調補正を行わないほうがよいためである。
また、デジタル画像信号を輝度信号と色差信号とに分離し、輝度信号に対し階調補正を行うようにする場合に、補正テーブルに応じて画像の色差信号を補正してもよい（請求項２０に対応する）。これにより、階調補正を行った輝度信号と色差信号とからＲ，Ｂ，Ｇ信号を作成した場合、輝度補正により彩度が低下したように見える現象を緩和することができる。
【０１４７】
このように、本実施の形態３によれば、デジタル画像の輝度ヒストグラムを作成し、その全階調における重心を算出し、これに基づいて低輝度部と高輝度部との境界値を算出し、その低輝度部の重心を算出し、輝度ヒストグラムの輝度の分布を拡大し、同時に分布拡大後の輝度ヒストグラムの低輝度部の重心が目標値に一致するように輝度ヒストグラムを補正する補正テーブルを作成し、補正を行うようにしたので、輝度ヒストグラム全体の重心に応じて低輝度部と高輝度部とを正しく分割でき、１つの変換テーブルを作成するのみで、デジタル画像信号から作成した輝度ヒストグラムの輝度分布を拡大すると同時に低輝度部の重心が輝度補正目標値に一致するように補正を行い、逆光画像に対し逆光状態の低輝度領域が目標輝度値になるように明るく補正し、全体のコントラストが向上した画像を得ることができる。また順光画像でも同様に、低輝度領域の輝度値を目標値に一致するように補正し、全体のコントラストが向上した画像を得ることができる自動階調補正装置が得られる。
【０１４８】
なお、上述の説明では、主に、補正テーブルを使用することで、輝度分布の拡大と低輝度部の重心が目標値に一致するように補正する階調補正処理とを同時に行う自動階調補正装置について説明したが、この自動階調補正装置に相当する処理を行う自動階調補正方法として実現してもよい。また、その補正原理を示す図２７（ａ）のフローチャートに相当する自動階調補正方法およびこの自動階調補正方法に対応する自動階調補正装置、さらには、この自動階調補正方法をコンピュータに実行させる自動階調補正プログラムを各種の記録媒体に記録させる自動階調補正プログラム記録媒体として実現してもよく、輝度分布の拡大と階調補正処理とを同時に行えない以外は上記自動階調補正装置と同様の効果を奏する。
【０１４９】
（実施の形態４）
以下に、請求項３、請求項２３、請求項４２に記載された発明、（さらには、請求項７、請求項８、請求項１１、請求項１２、請求項１３、請求項１４、請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２７、請求項２７、請求項２８、請求項３１、請求項３２、請求項３３、請求項３４、請求項３５、請求項３６、請求項３７、請求項３８、請求項３９、請求項４０、請求項４５、請求項４６、請求項４７、請求項４８、請求項４９、請求項５０、請求項５１、請求項５２に記載された発明）に対応する実施の形態４について、図を参照しながら説明する。
この実施の形態４は、輝度ヒストグラムの形状に基づいて低輝度部と高輝度部との境界を検出できるようにしたものである。
【０１５０】
実施の形態４の自動階調補正装置の構成は図２９に示すブロック図となる。
図２９において、１５０１は撮像した画像を光電変換する撮像素子、１５０２は撮像素子１５０１からのアナログ画像信号が入力されるＡ／Ｄコンバータ、１５０３はＡ／Ｄコンバータ１５０２からのディジタル画像信号が入力される輝度信号算出回路、１５０４は輝度信号算出回路１５０３からの輝度信号が入力される輝度分布作成回路（輝度ヒストグラム作成部）、１５１２は輝度分布作成回路１５０４からの輝度分布が入力される山型分布検出回路（山型分布検出部）、１５１１は山型分布検出回路１５１２からの山型分布の範囲と輝度分布作成回路１５０４からの輝度分布が入力される境界値算出回路（境界値算出部）、１５０６は輝度分布作成回路１５０４からの輝度分布および境界値算出回路１５１１からの境界値が入力される重心算出回路（重心算出部）、１５０７は輝度分布作成回路１５０４からの輝度分布が入力される分布範囲算出回路、１５０５は階調補正を行ううえでの目標となる目標輝度分布を記憶している目標輝度分布記憶回路、１５０８は目標輝度分布記憶回路１５０５からの目標輝度分布および境界値算出回路１５１１からの境界値が入力される目標値算出回路、１５０９は重心算出回路１５０６からの重心、分布範囲算出回路１５０７からの分布範囲の最大値，最小値、および目標値算出回路１５０８からの目標値に基づき階調補正用の補正テーブルを作成する補正テーブル作成回路、１５１０は補正テーブル作成回路１５０９により作成された補正テーブルに基づきＡ／Ｄコンバータ１５０２が出力するディジタル画像信号に階調補正を行う画像信号補正回路である。なお、補正テーブル作成回路１５０９および画像信号補正回路１５１０は両者で階調補正処理部を構成する。但し、階調補正処理部が輝度ヒストグラムの分布拡大機能を包含しない場合は、補正テーブル作成回路１５０９および画像信号補正回路１５１０の両者で、輝度分布拡大部および階調補正処理部の両者を構成する。
【０１５１】
図３３（ａ）はこの階調補正処理の原理を示すフローチャートである。
即ち、ステップＳ４０１において、デジタル画像の輝度ヒストグラムを作成し、ステップＳ４０２において、輝度ヒストグラムを拡大する。次いで、ステップＳ４１０において、輝度ヒストグラムにおける山型の分布範囲を検出し、ステップＳ４１１において、この山型分布の範囲に基づいて低輝度部と高輝度部との境界値を算出する。そして、ステップＳ４０３において、輝度ヒストグラムの低輝度部の重心を求め、ステップＳ４０４において、低輝度部の重心が目標値に一致するように輝度ヒストグラムを補正する。
【０１５２】
次に、動作について説明する。基本的な動作は上述した実施の形態２、実施の形態３と同じであるが、境界値算出回路１５１１での境界値の算出部が異なり、山型分布検出回路１５１２にて検出したヒストグラムの山型分布の範囲を用い、境界値を算出する点が異なる。以下、その処理内容を図３０，図３１，図３２，図３３を用いて説明する。
山型分布検出回路１５１２では、輝度分布作成回路１５０４で作成した輝度ヒストグラムにおいて、輝度レベルの最低値から高輝度方向に走査していき最初に発見する山型分布になっている範囲を記憶する。この範囲を範囲Ａとおく。同様に輝度レベルの最高値から低輝度方向に走査していき最初に発見する「山」の範囲を記憶する。この範囲を範囲Ｂとおく。
次に、境界値算出回路１５１１では、輝度ヒストグラムの範囲Ａの重心位置、範囲Ｂの重心位置を算出し、この２点の中点を低輝度部と高輝度部との境界値として求める。
【０１５３】
図３０は、逆光画像と順光画像において輝度分布作成回路１５０４にて輝度ヒストグラムを作成し、山型分布検出回路１５１２で山型分布の範囲を検出し、境界値算出回路１５１１で境界値を求めた例である。
図３０（ａ）は逆光状態の画像の輝度ヒストグラムであり、この状態では、低階調側と高輝度側にピークができ、低輝度側にピークの範囲Ａ、高輝度側にピークの範囲Ｂが検出され、境界値は２つの山型分布の「谷」位置となっている。これに対し、図３０（ｂ）の順光状態の画像においては、山型分布のピークがひとつしかないので範囲Ａ、範囲Ｂは同じ範囲になり、低輝度部と高輝度部との境界値は、範囲Ａ，範囲Ｂの重心位置と同じ位置になっている。
【０１５４】
次に、“０”階調から境界値算出回路１５１１にて算出した境界値までを低輝度部とし、実施の形態２と同様にして目標値算出回路１５０８、重心算出回路１５０６において、それぞれ目標値、重心位置を算出し、補正テーブル作成回路１５０９で補正テーブルを作成し、画像信号補正回路１５１０にて補正を行う。
【０１５５】
図３３（ｂ）は、このような図２９の自動階調補正装置で実際に行う階調補正処理のフローチャートを示すもので、まず、ステップＳ４２１において、デジタル画像の輝度ヒストグラムを作成し、ステップＳ４３０において、この輝度ヒストグラムの山型分布の範囲を、輝度分布を拡大する前に検出する。次に、ステップＳ４３１において、輝度ヒストグラムの低輝度部と高輝度部との境界値を、輝度分布を拡大する前に算出し、ステップＳ４２２において、輝度ヒストグラムの低輝度部の重心を、輝度分布を拡大する前に求める。次に、ステップＳ４２３において、輝度ヒストグラムの輝度分布を拡大し、同時に、輝度分布が拡大された輝度ヒストグラムの低輝度部の重心が目標値に一致するように輝度ヒストグラムの輝度分布を補正する補正テーブルを作成し、この補正テーブルを用いて、これら輝度ヒストグラムの拡大と低輝度部の重心が目標値に一致するような輝度分布の補正、を同時に行う。
これにより、図３３（ａ）のように輝度ヒストグラムを作成した後、直ちにその輝度分布を拡大する場合に必要となる輝度分布拡大部（輝度分布拡大専用の変換テーブル）、が不要となり、しかも上述のように、小数点以下の演算誤差をなくすことができる。
【０１５６】
図３１に図３０（ａ）の逆光画像の場合の補正処理を、図３２に図３０（ｂ）の順光画像の場合の補正処理を示す。図３１，図３２の（ａ）は目標値算出回路１５０８での目標値算出処理、図３１，図３２の（ｂ）は重心算出回路１５０６での重心算出処理、図３１，図３２の（ｃ）は、画像信号補正回路１５１０での補正処理である。但し、目標輝度分布記憶回路１５０５には、正規分布の形状をもつ輝度分布を記憶させているものとする。
【０１５７】
図３１では、低輝度側のピークが高輝度側に移動し分布が拡大しているので、低輝度部が明るく補正され、コントラストが向上しているのがわかる。しかし図３２では、重心位置と目標値との差があまりないので輝度ヒストグラムのピークは殆ど移動していない。したがって、コントラストは向上しているが、明るさはほとんど変化していないことがわかる。
【０１５８】
このように、実施の形態４では、逆光画像と順光画像との場合分けを行わずに、逆光画像では逆光状態の低輝度領域を目標輝度値になるように明るく補正されると共にコントラストが向上した画像を得ることができ、順光画像では明るさを殆ど変えずに、コントラストが向上した画像を得ることができる。
したがって、実施の形態４の自動階調補正装置を用いれば、黒い服を着た人間が写っている画像を補正すると、服が灰色になってしまうという問題を、順光と逆光の場合分けを行うことなく解決することができる。
なお、上記の処理では目標輝度分布を正規分布の形をもつ輝度分布としたが、これに限るものではない。例えば、図２２（ｂ）のような目標輝度分布においても同様の効果を得ることができる。
【０１５９】
また、請求項７で述べたように、境界値算出回路１５１１は、山型分布検出回路１５１２にて検出した山型分布の範囲から算出した境界値を、輝度分布作成回路１５０４にて作成された輝度ヒストグラムを用い調整することにより、逆光画像において境界値をより正確に求めることができる。
境界値算出回路１５１１では、山型分布検出回路１５１２にて検出した２つの山型分布範囲の重心位置をそれぞれ算出し、２つの重心位置とその２点間における輝度ヒストグラムの頻度を用い境界値を求める。
【０１６０】
ところで、これまでの境界値算出回路１５１１での境界値の算出方法では、山型分布検出回路１５１２で最初に発見する山型分布の範囲のみ検出していたので、山型分布が３個以上できる輝度ヒストグラムにおいて境界値が山型分布の谷位置にならない場合があった。
【０１６１】
図３４は輝度ヒストグラムの山型分布が３個ある場合の境界値である。この場合、境界値が真中にある山型分布の中に設定されているのがわかる。
そこで例えば、２つの重心位置をｇ１，ｇ２、２つの重心間における輝度ヒストグラムの重心位置をＧと表し、境界値Ｔは下記の（２２）式で算出するようにする。
【数２２】
0003772133.tif 000023
（２２）式では、重心位置Ｇは必ずｇ１とｇ２の間に存在するので、境界値は必ずｇ１とｇ２の間に算出される。したがって、２つの重心の間隔が狭い順光画像においては、境界値を２つの重心の中点とするときと境界値は変わらないが、２つの重心の間隔が広い逆光画像の場合は、重心の位置にあわせて境界値が変化する。
【０１６２】
図３５は、（２２）式を用い図３４の輝度ヒストグラムにおいて境界値を求めたものである。輝度分布の重心位置に合わせて境界値を調整しているので、境界値が山型分布の谷位置になっている。
このように、２つの重心位置とその２点間における輝度ヒストグラムの頻度を用いることで、より正確に境界値を求めることができる。
また、請求項８で述べたように、山型分布検出回路１５１２の山型分布の範囲に制限を設けることもできる。
【０１６３】
これを図３６に示す。図３６では、“２５５”から“０”方向への走査に制限を設けている。したがって、“２５５”から“０”方向への走査は山型分布が続いているにもかかわらず途中で中止し、検出範囲は“０”から“２５５”方向への走査で検出した範囲よりも狭くなっている。この結果、制限を設けた方の範囲の重心位置は高くなり、境界値も高くなる。したがって、目標値も高輝度側によることになる。
これにより、実施の形態４の階調補正装置においても、山型分布探索に制限を設けることで、順光状態でも輝度を上げることができる。
【０１６４】
さらに、これら請求項３、請求項７、及び請求項８の自動階調補正装置における補正テーブル作成回路において、輝度分布の拡大は、低輝度側にのみ行い、輝度ヒストグラムの低輝度部の重心が目標値に一致するように補正を行う処理にて高輝度側の輝度分布の拡大が行なわれるような変換テーブルを作成することにより、階調補正による高輝度部の階調の潰れを防止することができる（請求項１１に対応する）。
【０１６５】
また、この場合、輝度分布の最大値は必要ないので、分布範囲算出回路では最小値のみ算出してもよい。これにより、計算量を減らすことができる。
また、実施の形態１で述べたように、請求項１５ないし２０で述べたような変形を加えてもよい。
【０１６６】
即ち、輝度分布作成回路１０４に対し、輝度分布の積算量に制限を設けてもよい（請求項１５に対応する）。このように、予め輝度ヒストグラムに制限をもたせることにより、例えば、逆光画像等で背景が白飛びを起こし輝度レベルが２５５に集中してしまった場合等、階調分布がある階調に集中しているような極端な偏りがある場合でも、正確に補正量を算出することができる。
【０１６７】
また、色差信号、及び輝度信号から肌色領域を抽出し、輝度ヒストグラムを作成する際に、画像の肌色領域の輝度分布を画像全体の輝度分布に肌色の領域に応じて加重し輝度ヒストグラムを作成してもよい（請求項１６に対応する）。このように、重み付けを行うことで肌色領域が最適になるような階調補正を行うことができる。
【０１６８】
また、肌色領域の輝度分布において、高輝度部の分布数に重み付けをするようにしてもよい（請求項１７に対応する）。例えば肌色領域の輝度分布に図１３に示すような係数を乗算することで、高輝度部に重み付けを行う。
また、輝度ヒストグラムから高輝度部の重心位置を算出し、高輝度部の重心位置に応じて高輝度部の補正量を算出してもよい（請求項１８に対応する）。
【０１６９】
また、輝度分布作成回路で作成された輝度分布が離散的な場合には、補正を行わないようにしてもよい（請求項１９に対応する）。これは、画像が人工画像であると判断でき、人工画像の場合概して階調補正を行わないほうがよいためである。
また、デジタル画像信号を輝度信号と色差信号とに分離し、輝度信号に対し階調補正を行うようにする場合に、補正テーブルに応じて画像の色差信号を補正してもよい（請求項２０に対応する）。これにより、階調補正を行った輝度信号と色差信号とからＲ，Ｂ，Ｇ信号を作成した場合、輝度補正により彩度が低下したように見える現象を緩和することができる。
【０１７０】
このように、本実施の形態４によれば、デジタル画像の輝度ヒストグラムを作成し、輝度ヒストグラムの山型分布の範囲を検出し、これに基づき、輝度ヒストグラムの低輝度部と高輝度部との境界値を検出し、輝度ヒストグラムの低輝度部の重心を求め、輝度ヒストグラムの輝度分布を拡大すると同時に低輝度部の重心が目標値に一致するように輝度ヒストグラムを補正する補正テーブルを作成し、補正を行うようにしたので、輝度ヒストグラムの形状に応じて低輝度部と高輝度部とを正しく分割でき、１つの変換テーブルを作成するのみで、デジタル画像信号から作成した輝度ヒストグラムの輝度分布を拡大すると同時に低輝度部の重心が輝度補正目標値に一致するように補正を行い、逆光画像と順光画像との場合分けを行わずに、逆光画像では逆光状態の低輝度領域を目標輝度値になるように明るく補正されると共にコントラストが向上した画像を得ることができ、順光画像では明るさを殆ど変えずに、コントラストが向上した画像を得ることができる自動階調補正装置が得られる。
【０１７１】
なお、上述の説明では、主に、補正テーブルを使用することで、輝度分布の拡大と低輝度部の重心が目標値に一致するように補正する階調補正処理とを同時に行う自動階調補正装置について説明したが、この自動階調補正装置に相当する処理を行う自動階調補正方法として実現してもよい。また、その補正原理を示す図３３（ａ）のフローチャートに相当する自動階調補正方法およびこの自動階調補正方法に対応する自動階調補正装置、さらには、この自動階調補正方法をコンピュータに実行させる自動階調補正プログラムを各種の記録媒体に記録させる自動階調補正プログラム記録媒体として実現してもよく、輝度分布の拡大と階調補正処理とを同時に行えない以外は上記自動階調補正装置と同様の効果を奏する。
【０１７２】
（実施の形態５）
以下に、請求項９、請求項３８、請求項４４に記載された発明、（さらには、請求項１０、請求項１１、請求項１２、請求項１３、請求項１４、請求項１５、請求項１６、請求項１７、請求項１８、請求項１９、請求項２０、請求項３０、請求項３１、請求項３２、請求項３３、請求項３４、請求項３５、請求項３６、請求項３７、請求項３８、請求項３９、請求項４０、請求項４５、請求項４６、請求項４７、請求項４８、請求項４９、請求項５０、請求項５１、請求項５２に記載された発明）に対応する実施の形態５について、図を参照しながら説明する。
この実施の形態５は目標値の修正を行うようにしたものである。
【０１７３】
図３７は実施の形態５の自動階調補正装置の構成を示すブロック図である。
図３７において、２２０１は撮像した画像を光電変換する撮像素子、２２０２は撮像素子２２０１からのアナログ画像信号が入力されるＡ／Ｄコンバータ、２２０３はＡ／Ｄコンバータ２２０２からのディジタル画像信号が入力される輝度信号算出回路、２２０４は輝度信号算出回路２２０３からの輝度信号が入力される輝度分布作成回路（輝度ヒストグラム作成部）、２２１２は輝度分布作成回路２２０４からの輝度分布が入力される山型分布検出回路、２２１１は山型分布検出回路２２１２からの山型分布の範囲と輝度分布作成回路２２０４からの輝度分布が入力される境界値算出回路、２２０６は輝度分布作成回路２２０４からの輝度分布および境界値算出回路２２１１からの境界値が入力される重心算出回路（重心算出部）、２２０７は輝度分布作成回路２２０４からの輝度分布が入力される分布範囲算出回路、２２０５は階調分布を行ううえでの目標となる目標輝度分布を記憶している目標輝度分布記憶回路、２２０８は目標輝度分布記憶回路２２０５からの目標輝度分布および境界値算出回路２２１１からの境界値が入力される目標値算出回路、２２１３は重心算出回路２２０６からの重心および目標値算出回路２２０８からの目標値が入力される目標値修正回路（目標値修正部）、２２０９は重心算出回路２２０６からの重心、分布範囲算出回路２２０７からの分布範囲の最大値，最小値、さらには目標値修正回路２２１３により修正された目標値に基づき階調補正用の補正テーブルを作成する補正テーブル作成回路、２２１０は補正テーブル作成回路２２０９により作成された補正テーブルに基づきＡ／Ｄコンバータ２２０２が出力するディジタル画像信号に階調補正を行う画像信号補正回路である。なお、補正テーブル作成回路２２０９と画像信号補正回路２２１０とは両者で階調補正処理部を構成する。但し、階調補正処理部が輝度ヒストグラムの分布拡大機能を包含しない場合は、補正テーブル作成回路２２０９および画像信号補正回路２２１０の両者で、輝度分布拡大部および階調補正処理部の両者を構成する。
【０１７４】
図３９（ａ）はこの階調補正処理の原理を示すフローチャートである。
即ち、ステップＳ５０１において、デジタル画像の輝度ヒストグラムを作成し、ステップＳ５０２において、輝度ヒストグラムを拡大する。次いで、ステップＳ５０３において、拡大した輝度ヒストグラムの低輝度部の重心を求め、ステップＳ５１０において、目標値が拡大する前の輝度ヒストグラムの低輝度部の重心位置よりも小さいか否かを判定する。
小さい場合、ステップＳ５１１において目標値を修正し、それ以外の場合はステップＳ５１１をスキップする。そして、ステップＳ５０４において、低輝度部の重心が目標値に一致するように、輝度ヒストグラムを補正する。
【０１７５】
次に、動作について説明する。基本的な動作は上述した実施の形態４と同じであるが、目標値の設定の仕方が異なり、目標値算出回路２２０８で求めた目標値を目標値修正回路２２１３にて修正を行うようになっている。
目標値算出回路２２０８では、実施の形態４と同様に目標輝度分布記憶回路２２０５に記憶されている輝度ヒストグラムを用い目標値を算出する。
次に目標値修正回路２２１３では、目標値が重心算出回路２２０６で求めた重心位置より小さい場合、重心位置が新たな目標値となるように修正する。
【０１７６】
図３９（ｂ）は、このような図３７の自動階調補正装置で実際に行う階調補正処理のフローチャートを示すもので、まず、ステップＳ５２１において、デジタル画像の輝度ヒストグラムを作成し、ステップＳ５２２において、この輝度ヒストグラムの低輝度部の重心を、輝度分布を拡大する前に求める。次に、ステップＳ５３０において、目標値が輝度ヒストグラムの低輝度部の重心位置よりも小さいか否かを判定する。目標値が輝度ヒストグラムの低輝度部の重心位置よりも小さい場合、ステップＳ５３１において目標値を修正し、それ以外の場合はステップＳ５３１をスキップする。次にステップＳ５２３において、輝度ヒストグラムを拡大し、輝度ヒストグラムの輝度分布を拡大し、同時に、輝度分布が拡大された輝度ヒストグラムの低輝度部の重心が目標値に一致するように輝度ヒストグラムの輝度分布を補正する補正テーブルを作成し、この補正テーブルを用いて、これら輝度ヒストグラムの拡大と低輝度部の重心が目標値に一致するような輝度分布の補正、を同時に行う。
【０１７７】
これにより、図３９（ａ）のように輝度ヒストグラムを作成した後、直ちにその輝度分布を拡大する場合に必要となる輝度分布拡大部（輝度分布拡大専用の変換テーブル）、が不要となり、しかも上述のように、小数点以下の演算誤差をなくすことができる。
【０１７８】
図３８は、目標値修正回路を設けない実施の形態４の自動階調補正装置と、目標値修正回路を設けた実施の形態５の自動階調補正装置で、或る順光画像の補正を行ったときの重心位置、目標値、輝度ヒストグラムの一例を示したものである。図３８において、（ａ）は重心位置と目標値、（ｂ）は実施の形態４の自動階調補正装置により補正を行った結果、（ｃ）は実施の形態５の自動階調補正装置により補正を行った結果である。
図３８（ａ）では、目標輝度分布のピーク位置が輝度ヒストグラムの分布のピーク位置がよりも低輝度側にあるので、目標値が重心位置よりも低輝度側になっている。したがって、図３８（ｂ）では、重心位置が重心位置より小さい目標値に一致するように補正を行うので、コントラストは向上しているが、画像が暗く補正されている。しかし、図３８（ｃ）では、目標値を重心位置に修正しているので元の明るさを保ったままコントラストが向上している。
【０１７９】
このことより、風景写真などで入力画像よりも暗く補正したくない場合、目標値修正回路２２１３により、目標値が重心位置より小さいとき、重心位置が目標値となるように修正することで、入力画像よりも暗く補正してしまうことを防ぐことができる。
なお、目標値修正回路２２１３において、目標値が重心位置より大きい場合に、目標値が重心位置となるように修正することもできる。この場合は、入力画像よりも明るく補正してしまうことを防ぐことができる。
また、目標値修正回路２２１３において、請求項１０で述べたように、目標値は重心位置に修正するのではなく、重心位置を基準にして、目標値をこれより“高め”、もしくは“低め”と修正することもできる。こうすることで、入力画像の明るさを元に補正後の明るさの微調整を行うことができる。
【０１８０】
さらに、これら請求項９、及び請求項１０の自動階調補正装置における補正テーブル作成回路において、輝度分布の拡大は、低輝度側にのみ行い、輝度ヒストグラムの低輝度部の重心が目標値に一致するように補正を行う処理にて高輝度側の輝度分布の拡大が行なわれるような変換テーブルを作成することにより、階調補正による高輝度部の階調の潰れを防止することができる（請求項１１に対応する）。
【０１８１】
また、実施の形態１で述べたように、請求項１５ないし２０で述べたような変形を加えてもよい。
即ち、輝度分布作成回路１０４に対し、輝度分布の積算量に制限を設けてもよい（請求項１５に対応する）。このように、予め輝度ヒストグラムに制限をもたせることにより、例えば、逆光画像等で背景が白飛びを起こし輝度レベルが２５５に集中してしまった場合等、階調分布がある階調に集中しているような極端な偏りがある場合でも、正確に補正量を算出することができる。
【０１８２】
また、色差信号、及び輝度信号から肌色領域を抽出し、輝度ヒストグラムを作成する際に、画像の肌色領域の輝度分布を画像全体の輝度分布に肌色の領域に応じて加重し輝度ヒストグラムを作成してもよい（請求項１６に対応する）。このように、重み付けを行うことで肌色領域が最適になるような階調補正を行うことができる。
また、肌色領域の輝度分布において、高輝度部の分布数に重み付けをするようにしてもよい（請求項１７に対応する）。例えば肌色領域の輝度分布に図１３に示すような係数を乗算することで、高輝度部に重み付けを行う。
【０１８３】
また、輝度ヒストグラムから高輝度部の重心位置を算出し、高輝度部の重心位置に応じて高輝度部の補正量を算出してもよい（請求項１８に対応する）。
また、輝度分布作成回路で作成された輝度分布が離散的な場合には、補正を行わないようにしてもよい（請求項１９に対応する）。これは、画像が人工画像であると判断でき、人工画像の場合概して階調補正を行わないほうがよいためである。
また、デジタル画像信号を輝度信号と色差信号とに分離し、輝度信号に対し階調補正を行うようにする場合に、補正テーブルに応じて画像の色差信号を補正してもよい（請求項２０に対応する）。これにより、階調補正を行った輝度信号と色差信号とからＲ，Ｂ，Ｇ信号を作成した場合、輝度補正により彩度が低下したように見える現象を緩和することができる。
【０１８４】
このように、本実施の形態５によれば、デジタル画像の輝度ヒストグラムを作成し、輝度ヒストグラムの山型分布の範囲を検出し、これに基づき、輝度ヒストグラムの低輝度部と高輝度部との境界値を算出し、輝度ヒストグラムの低輝度部の重心を求め、目標値が低輝度部の重心位置より小さい場合は新たな目標値となるように目標値を修正し、輝度ヒストグラムの輝度分布を拡大すると同時に低輝度部の重心が目標値に一致するように輝度ヒストグラムを補正する補正テーブルを作成し、補正を行うようにしたので、輝度ヒストグラムの形状に応じて低輝度部と高輝度部とを正しく分割でき、目標値を修正することで、輝度ヒストグラムに望ましくない補正を行うのを防止でき、１つの変換テーブルを作成するのみで、デジタル画像信号から作成した輝度ヒストグラムの輝度分布を拡大すると同時に低輝度部の重心が輝度補正目標値に一致するように補正を行い、逆光画像と順光画像との場合分けを行わずに、逆光画像では逆光状態の低輝度領域を目標輝度値になるように明るく補正されると共にコントラストが向上した画像を得ることができ、順光画像では明るさを殆ど変えずに、コントラストが向上した画像を得ることができる自動階調補正装置が得られる。
【０１８５】
なお、上述の説明では、主に、補正テーブルを使用することで、輝度分布の拡大と低輝度部の重心が目標値に一致するように補正する階調補正処理とを同時に行う自動階調補正装置について説明したが、この自動階調補正装置に相当する処理を行う自動階調補正方法として実現してもよい。また、その補正原理を示す図３９（ａ）のフローチャートに相当する自動階調補正方法およびこの自動階調補正方法に対応する自動階調補正装置、さらには、この自動階調補正方法をコンピュータに実行させる自動階調補正プログラムを各種の記録媒体に記録させる自動階調補正プログラム記録媒体として実現してもよく、輝度分布の拡大と階調補正処理とを同時に行えない以外は上記自動階調補正装置と同様の効果を奏する。
また、この実施の形態５では目標値修正部を設け目標値を修正しているが、この目標値修正部は実施の形態１ないし４に設けても同様の効果を示すものであり、適用がこの実施の形態５のみに限定されるものではない。
【０１８６】
【発明の効果】
以上のように、本発明の請求項１に係る自動階調補正装置によれば、低輝度領域と高輝度領域との境界値を可変にするようにしたので、逆光画像において正しく逆光領域を含む低輝度部を算出でき、より正確に逆光領域を目標とする輝度値に補正することができる効果がある。
【０１８７】
また、本発明の請求項２に係る自動階調補正装置によれば、輝度範囲を分割し、各領域の特徴量から境界値を算出するようにしたので、正確に高輝度側と低輝度側とを分割する境界値を算出することができる効果がある。
【０１８８】
また、本発明の請求項３に係る自動階調補正装置によれば、輝度ヒストグラムの山型分布を検出し、検出した山型分布の範囲を用い境界値を算出することで、入力画像が逆光の場合は目標とする明るさに補正すると共に全体のコントラストが向上した画像を得るようにしたので、順光の場合は元の明るさを変えずにコントラストが向上した画像を得ることができる効果がある。
【０１８９】
また、本発明の請求項４に係る自動階調補正装置によれば、目標輝度分布の低輝度部の重心を輝度補正目標値として求め、輝度分布を拡大するとともに輝度ヒストグラムの低輝度部の重心位置が前記輝度補正目標値に一致するように補正を行うようにしたので、順光画像，逆光画像で同じ形の目標輝度分布を用い、目標とする明るさをもち、しかも全体のコントラストが向上した画像を得ることができる効果がある。
【０１９０】
また、本発明の請求項５に係る自動階調補正装置によれば、目標とする輝度分布を曲線で与え、記憶するようにしたので、簡単に目標輝度分布を設定することができ、記憶容量を減らすことができる効果がある。
【０１９１】
また、本発明の請求項６に係る自動階調補正装置によれば、目標とする輝度分布を複数設定、記憶しておくようにしたので、簡単に輝度補正目標値の調節ができる効果がある。
【０１９２】
また、本発明の請求項７に係る自動階調補正装置によれば、山型分布の範囲から算出した境界値を、輝度ヒストグラムを用い調整するようにしたので、より正確な境界値を算出することができる効果がある。
【０１９３】
また、本発明の請求項８に係る自動階調補正装置によれば、山型分布の範囲に制限を設けるようにしたので、順光画像でも画像の明るさを補正することができる効果がある。
【０１９４】
また、本発明の請求項９に係る自動階調補正装置によれば、輝度補正目標値が輝度ヒストグラムの低輝度部の重心位置より小さい場合、輝度補正目標値を輝度ヒストグラムの低輝度部の重心位置に一致するように修正するようにしたので、入力画像よりも暗く補正してしまうことを防ぐことができる効果がある。
【０１９５】
また、本発明の請求項１０に係る自動階調補正装置によれば、輝度補正目標値を輝度ヒストグラムの低輝度部の重心位置付近となるように修正するようにしたので、入力画像の明るさを元に補正後の明るさの微調整を行うことができる効果がある。
【０１９６】
また、本発明の請求項１１に係る自動階調補正装置によれば、請求項１，２，３のいずれかに記載の自動階調補正装置において、高輝度ヒストグラムの分布を低輝度方向にのみ拡大すると同時に輝度ヒストグラムの重心が輝度補正目標値に一致するように補正を行うようにしたので、請求項４ないし請求項８、及び請求項１０のいずれかに記載の自動階調補正装置において、高輝度部のつぶれを起こさず補正ができる効果がある。
【０１９７】
また、本発明の請求項１２に係る自動階調補正装置によれば、請求項１，２，３のいずれかに記載の自動階調補正装置において、前記階調補正処理部は、γ補正を実行することで前記階調補正処理を行うようにしたので、輝度ヒストグラムの低輝度部の重心と目標値との一致が、一度の変換テーブルの作成で可能となる効果がある。
【０１９８】
また、本発明の請求項１３に係る自動階調補正装置によれば、請求項１，２，３のいずれかに記載の自動階調補正装置において、前記階調補正処理部は、前記輝度ヒストグラムの輝度分布の拡大処理、および前記輝度分布が拡大された輝度ヒストグラムの低輝度部の重心を前記輝度補正目標値に一致させる処理、の両者を同時に行う補正、がその内容となるように、前記補正テーブルを作成するようにしたので、輝度ヒストグラムの低輝度部の重心と目標値との一致が、一度の変換テーブルの作成で可能となる効果がある。
【０１９９】
また、本発明の請求項１４に係る自動階調補正装置によれば、請求項１，２，３のいずれかに記載の自動階調補正装置において、前記輝度ヒストグラム作成部により作成された輝度ヒストグラムの輝度分布を拡大する輝度分布拡大部をさらに備え、前記重心算出部は、前記重心の算出を、前記輝度分布が拡大された輝度ヒストグラムの低輝度部に対して行うようにしたので、予め輝度ヒストグラムの輝度分布を拡大した後、低輝度部の重心を目標値に一致させる処理を行うことにより、自動階調補正が可能となる効果がある。
【０２００】
また、本発明の請求項１５に記載の自動階調補正装置によれば、請求項１，２，３のいずれかに記載の自動階調補正装置において、前記輝度ヒストグラムを作成する際に、輝度分布数の積算量に制限を設けるようにしたので、輝度ヒストグラムの階調分布がある一部分に集中している場合でも正確に補正量が算出できるという効果がある。
【０２０１】
また、本発明の請求項１６に記載の自動階調補正装置によれば、請求項１，２，３のいずれかに記載の自動階調補正装置において、色差信号、及び輝度信号から肌色領域を抽出し、前記輝度ヒストグラムを作成する際に、画像の肌色部分の輝度分布を画像全体の輝度分布に、肌色領域の面積に応じて加重した輝度ヒストグラムを作成することにより、人の肌色の輝度を肌色領域の面積に応じて輝度ヒストグラムに加重するようにしたので、人物が存在する場合にはその面積に応じて肌色の明るさが最適になるよう階調補正ができるという効果がある。
【０２０２】
また、本発明の請求項１７に記載の自動階調補正装置によれば、請求項１，２，３に記載の自動階調補正装置において、画像の肌色部分の輝度分布を画像全体の輝度分布に肌色領域の面積に応じて加重する際に、肌色部分の高輝度部分の分布に重み付けをして加重することにより、高輝度部分の分布に重み付けを行うようにしたので、肌色の白飛びを抑えることができるという効果がある。
【０２０３】
また、本発明の請求項１８に記載の自動階調補正装置によれば、請求項１，２，３のいずれかに記載の自動階調補正装置において、前記輝度ヒストグラム作成部により算出された輝度ヒストグラムから高輝度部の重心位置を算出し、高輝度部の重心位置に応じて高輝度部の階調補正量を算出することにより、高輝度部の重心位置により階調補正量を制限するようにしたので、高輝度部の白飛びを抑えることができるという効果がある。
【０２０４】
また、本発明の請求項１９に記載の自動階調補正装置によれば、請求項１，２，３のいずれかに記載の自動階調補正装置において、前記階調補正処理において、輝度分布が離散的な場合には階調補正を行わないようにしたので、本来階調補正の必要がない画像では階調補正を行わないようにすることができるという効果がある。
【０２０５】
また、本発明の請求項２０に記載の自動階調補正装置によれば、請求項１，２，３のいずれかに記載の自動階調補正装置において、補正テーブルに応じて画像の色差信号を補正するようにしたので、輝度の補正により彩度が低下したように見える現象を緩和することができるという効果がある。
【０２０６】
また、本発明の請求項２１に係る自動階調補正方法によれば、低輝度領域と高輝度領域との境界値を可変にするようにしたので、逆光画像において正しく逆光領域を含む低輝度部を算出でき、より正確に逆光領域を目標とする輝度値に補正することができる効果がある。
【０２０７】
また、本発明の請求項２２に係る自動階調補正方法によれば、輝度範囲を分割し、各領域の特徴量から境界値を算出するようにしたので、正確に高輝度側と低輝度側とを分割する境界値を算出することができる効果がある。
【０２０８】
また、本発明の請求項２３に係る自動階調補正方法によれば、輝度ヒストグラムの山型分布を検出し、検出した山型分布の範囲を用いて境界値を算出することで、入力画像が逆光の場合は目標とする明るさに補正すると共に全体のコントラストが向上した画像を得るようにしたので、順光の場合は元の明るさを変えずにコントラストが向上した画像を得ることができる効果がある。
【０２０９】
また、本発明の請求項２４に係る自動階調補正方法によれば、目標輝度分布の低輝度部の重心を輝度補正目標値として求め、輝度分布を拡大するとともに輝度ヒストグラムの低輝度部の重心位置が前記輝度補正目標値に一致するように補正を行うようにしたので、順光画像，逆光画像で同じ形の目標輝度分布を用い、目標とする明るさをもち、しかも全体のコントラストが向上した画像を得ることができる効果がある。
【０２１０】
また、本発明の請求項２５に係る自動階調補正方法によれば、目標とする輝度分布を曲線で与え、記憶するようにしたので、簡単に目標輝度分布を設定することができ、記憶容量を減らすことができる効果がある。
【０２１１】
また、本発明の請求項２６に係る自動階調補正方法によれば、目標とする輝度分布を複数設定、記憶しておくようにしたので、簡単に輝度補正目標値の調節ができる効果がある。
【０２１２】
また、本発明の請求項２７に係る自動階調補正方法によれば、山型分布の範囲から算出した境界値を、輝度ヒストグラムを用い調整するようにしたので、より正確な境界値を算出することができる効果がある。
【０２１３】
また、本発明の請求項２８に係る自動階調補正方法によれば、山型分布の範囲に制限を設けるようにしたので、順光画像でも画像の明るさを補正することができる効果がある。
【０２１４】
また、本発明の請求項２９に係る自動階調補正方法によれば、輝度補正目標値が輝度ヒストグラムの低輝度部の重心位置より小さい場合、輝度補正目標値を輝度ヒストグラムの低輝度部の重心位置に修正するようにしたので、入力画像よりも暗く補正してしまうことを防ぐことができる効果がある。
【０２１５】
また、本発明の請求項３０に係る自動階調補正方法によれば、輝度補正目標値を輝度ヒストグラムの低輝度部の重心位置付近に修正するようにしたので、入力画像の明るさを元に、補正後の明るさの微調整を行うことができる効果がある。
【０２１６】
また、本発明の請求項３１に係る自動階調補正方法によれば、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、輝度ヒストグラムの分布を低輝度方向にのみ拡大すると同時に輝度ヒストグラムの重心が輝度補正目標値に一致するように補正を行うようにしたので、請求項２４ないし３０のいずれかに記載の自動階調補正方法において、高輝度部のつぶれを起こさず補正ができる効果がある。
【０２１７】
また、本発明の請求項３２に係る自動階調補正方法によれば、請求項３２，３３，３５のいずれかに記載の自動階調補正方法において、前記階調補正処理工程は、γ補正を実行することで前記階調補正処理を行うようにしたので、輝度ヒストグラムの低輝度部の重心と目標値との一致が、一度の変換テーブルの作成で可能となる効果がある。
【０２１８】
また、本発明の請求項３３に記載の自動階調補正方法によれば、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、前記階調補正処理工程は、前記輝度ヒストグラムの輝度分布の拡大処理、および前記輝度分布が拡大された輝度ヒストグラムの低輝度部の重心を前記輝度補正目標値に一致させる処理、の両者を同時に行う補正、がその内容となるように、補正テーブルを作成するようにしたので、輝度ヒストグラムの低輝度部の重心と目標値との一致が、一度の変換テーブルの作成で可能となる効果がある。
【０２１９】
また、本発明の請求項３４に記載の自動階調補正方法によれば、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、前記輝度ヒストグラム作成工程と前記重心算出工程との間に、前記輝度ヒストグラムの輝度分布を拡大する輝度分布拡大工程をさらに含み、前記重心算出工程は、前記重心の算出を、前記輝度分布が拡大された輝度ヒストグラムの低輝度部に対して行うようにしたので、予め輝度ヒストグラムの輝度分布を拡大した後、低輝度部の重心を目標値に一致させる処理を行うことにより、自動階調補正が可能となる効果がある。
【０２２０】
また、本発明の請求項３５に記載の自動階調補正方法によれば、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、前記輝度ヒストグラムを作成する際に、輝度分布数の積算量に制限を設けるようにしたので、輝度ヒストグラムの階調分布がある一部分に集中している場合でも正確に補正量が算出できるという効果がある。
【０２２１】
また、本発明の請求項３６に記載の自動階調補正方法によれば、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、色差信号、及び輝度信号から肌色領域を抽出し、前記輝度ヒストグラムを作成する際に、画像の肌色部分の輝度分布を画像全体の輝度分布に、肌色領域の面積に応じて加重した輝度ヒストグラムを作成することにより、人の肌色の輝度を肌色領域の面積に応じて輝度ヒストグラムに加重するようにしたので、人物が存在する場合にはその面積に応じて肌色の明るさが最適になるよう階調補正ができるという効果がある。
【０２２２】
また、本発明の請求項３７に記載の自動階調補正方法によれば、請求項３６に記載の自動階調補正方法において、画像の肌色部分の輝度分布を画像全体の輝度分布に肌色領域の面積に応じて加重する際に、肌色部分の高輝度部分の分布に重み付けをして加重することにより、高輝度部分の分布に重み付けを行うようにしたので、肌色の白飛びを抑えることができるという効果がある。
【０２２３】
また、本発明の請求項３８に記載の自動階調補正方法によれば、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、前記輝度ヒストグラム作成工程により算出された輝度ヒストグラムから高輝度部の重心位置を算出し、高輝度部の重心位置に応じて高輝度部の階調補正量を算出することにより、高輝度部の重心位置により階調補正量を制限するようにしたので、高輝度部の白飛びを抑えることができるという効果がある。
【０２２４】
また、本発明の請求項３９に記載の自動階調補正方法によれば、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、前記階調補正処理において、輝度分布が離散的な場合には階調補正を行わないようにしたので、本来階調補正の必要がない画像では階調補正を行わないようにすることができるという効果がある。
【０２２５】
また、本発明の請求項４０に記載の自動階調補正方法によれば、請求項２１，２２，２３のいずれかに記載の自動階調補正方法において、補正テーブルに応じて画像の色差信号を補正するようにしたので、輝度の補正により彩度が低下したように見える現象を緩和することができるという効果がある。
【０２２６】
また、本発明の請求項４１に係る自動階調補正プログラム記録媒体によれば、低輝度領域と高輝度領域との境界値を可変にするようにしたので、逆光画像において正しく逆光領域を含む低輝度部を算出でき、より正確に逆光領域を目標とする輝度値に補正することができる効果がある。
【０２２７】
また、本発明の請求項４２に係る自動階調補正プログラム記録媒体によれば、輝度ヒストグラムの山型分布を検出し、検出した山型分布の範囲を用い境界値を算出することで、入力画像が逆光の場合は目標とする明るさに補正すると共に全体のコントラストが向上した画像を得るようにしたので、順光の場合は元の明るさを変えずにコントラストが向上した画像を得ることができる効果がある。
【０２２８】
また、本発明の請求項４３に係る自動階調補正プログラム記録媒体によれば、目標輝度分布の低輝度部の重心を輝度補正目標値として求め、輝度分布を拡大するとともに輝度ヒストグラムの低輝度部の重心位置が前記輝度補正目標値に一致するように補正を行うようにしたので、順光画像，逆光画像で同じ形の目標輝度分布を用い、目標とする明るさをもち、しかも全体のコントラストが向上した画像を得ることができる効果がある。
【０２２９】
また、本発明の請求項４４に係る自動階調補正プログラム記録媒体によれば、輝度補正目標値が輝度ヒストグラムの低輝度部の重心位置より小さい場合、輝度補正目標値を輝度ヒストグラムの低輝度部の重心位置に修正するようにしたので、入力画像よりも暗く補正してしまうことを防ぐことができる効果がある。
【０２３０】
また、本発明の請求項４５に記載された自動階調補正プログラム記録媒体によれば、請求項４１または４２に記載の自動階調補正プログラム記録媒体において、前記階調補正処理工程は、前記輝度ヒストグラムの輝度分布の拡大処理、および前記輝度分布が拡大された輝度ヒストグラムの低輝度部の重心を前記輝度補正目標値に一致させる処理、の両者を同時に行う補正、がその内容となるように、補正テーブルを作成するようにしたので、輝度ヒストグラムの低輝度部の重心と目標値との一致が、一度の変換テーブルの作成で可能となる効果がある。
【０２３１】
また、本発明の請求項４６に記載された自動階調補正プログラム記録媒体によれば、請求項４１または４２に記載の自動階調補正プログラム記録媒体において、前記輝度ヒストグラム作成工程と前記重心算出工程との間に、前記輝度ヒストグラムの輝度分布を拡大する輝度分布拡大工程をさらに含み、前記重心算出工程は、前記重心の算出を、前記輝度分布が拡大された輝度ヒストグラムの低輝度部に対して行うようにしたので、予め輝度ヒストグラムの輝度分布を拡大した後、低輝度部の重心を目標値に一致させる処理により自動階調補正が可能となる効果がある。
【０２３２】
また、本発明の請求項４７に記載の自動階調補正プログラム記録媒体によれば、請求項４１または４２に記載の自動階調補正プログラム記録媒体において、前記輝度ヒストグラムを作成する際に、輝度分布数の積算量に制限を設けるようにしたので、輝度ヒストグラムの階調分布がある一部分に集中している場合でも正確に補正量が算出できるという効果がある。
【０２３３】
また、本発明の請求項４８に記載の自動階調補正プログラム記録媒体によれば、請求項４１または４２に記載の自動階調補正プログラム記録媒体において、色差信号、及び輝度信号から肌色領域を抽出する肌色領域抽出工程をさらに有し、前記輝度ヒストグラムを作成する際に、画像の肌色部分の輝度分布を画像全体の輝度分布に、肌色領域の面積に応じて加重した輝度ヒストグラムを作成することにより、人の肌色の輝度を肌色領域の面積に応じて輝度ヒストグラムに加重するようにしたので、人物が存在する場合にはその面積に応じて肌色の明るさが最適になるよう階調補正ができるという効果がある。
【０２３４】
また、本発明の請求項４９に記載の自動階調補正プログラム記録媒体によれば、請求項４８に記載の自動階調補正プログラム記録媒体において、画像の肌色部分の輝度分布を画像全体の輝度分布に肌色領域の面積に応じて加重する際に、肌色部分の高輝度部分の分布に重み付けをして加重することにより、高輝度部分の分布に重み付けを行うようにしたので、肌色の白飛びを抑えることができるという効果がある。
【０２３５】
また、本発明の請求項５０に記載の自動階調補正プログラム記録媒体によれば、請求項４１または４２に記載の自動階調補正プログラム記録媒体において、前記輝度ヒストグラム作成工程により算出された輝度ヒストグラムから高輝度部の重心位置を算出し、高輝度部の重心位置に応じて高輝度部の階調補正量を算出することにより、高輝度部の重心位置により階調補正量を制限するようにしたので、高輝度部の白飛びを抑えることができるという効果がある。
【０２３６】
また、本発明の請求項５１に記載の自動階調補正プログラム記録媒体によれば、請求項４１または４２に記載の自動階調補正プログラム記録媒体において、前記階調補正処理において、輝度分布が離散的な場合には階調補正を行わないようにしたので、本来階調補正の必要がない画像では階調補正を行わないようにすることができるという効果がある。
【０２３７】
また、本発明の請求項５２に記載の自動階調補正プログラム記録媒体によれば、請求項４１または４２に記載の自動階調補正プログラム記録媒体において、補正テーブルに応じて画像の色差信号を補正するようにしたので、輝度の補正により彩度が低下したように見える現象を緩和することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態1における自動階調補正装置のブロック図
【図２】順光画像及び逆光画像における輝度ヒストグラムを示す図
【図３】本発明の実施の形態１における補正処理の説明図
【図４】本発明の実施の形態1における階調補正処理およびその原理を示すフローチャート図
【図５】補正テーブルを直線で設定した際のグラフを示す図
【図６】補正テーブルを輝度ヒストグラムの分布の頻度に応じて設定する際の説明図
【図７】高輝度部の重心位置に応じて高輝度部の補正量を算出する際の説明図
【図８】高輝度部の重心を目標値に一致させる補正テーブルを作成する際のグラフ図
【図９】離散的なヒストグラムを示す図
【図１０】請求項２１記載の自動階調補正装置のブロック図
【図１１】肌色領域を示す図
【図１２】肌色輝度ヒストグラムの加重の説明図
【図１３】高輝度部の重み付け値を示すグラフ図
【図１４】請求項２５記載の自動階調補正装置のブロック図
【図１５】輝度変換テーブルのグラフを示す図
【図１６】本発明の請求項１６記載の自動階調補正装置による補正動作を示す図
【図１７】本発明の実施の形態２における自動階調補正装置のブロック図
【図１８】逆光画像における輝度ヒストグラム及び目標輝度分布を示す図
【図１９】図１８の逆光画像における補正後の輝度ヒストグラムを示す図
【図２０】本発明の実施の形態２における階調補正処理およびその原理を示すフローチャート図
【図２１】順光画像と逆光画像における目標輝度分布と重心位置を示す図
【図２２】曲線で表した目標輝度分布を示す図
【図２３】目標輝度分布の合成を示す図
【図２４】本発明の実施の形態３における自動階調補正装置のブロック図
【図２５】逆光画像における重心位置を示す図
【図２６】ある階調に頻度が集中しているヒストグラムにおける境界値を示す図
【図２７】本発明の実施の形態３における階調補正処理およびその原理を示すフローチャート図
【図２８】請求項９記載の自動階調補正装置のブロック図
【図２９】本発明の実施の形態４における自動階調補正装置のブロック図
【図３０】本発明の実施の形態４における逆光画像と順光画像の境界値を示した図
【図３１】本発明の実施の形態４における逆光画像での補正処理の説明図
【図３２】本発明の実施の形態４における順光画像での補正処理の説明図
【図３３】本発明の実施の形態４における階調補正処理およびその原理を示すフローチャート図
【図３４】輝度ヒストグラムのピークが３個ある場合の境界値を示す図
【図３５】請求項１１記載の自動階調補正装置における輝度ヒストグラムにピークが３個ある場合の境界値を示す図
【図３６】請求項１２記載の自動階調補正装置の処理の説明図
【図３７】本発明の実施の形態５における自動階調補正装置のブロック図
【図３８】実施の形態４、実施の形態５で補正を行った場合の重心位置、目標値、輝度ヒストグラムを示す図
【図３９】本発明の実施の形態５における階調補正処理およびその原理を示すフローチャート図
【図４０】従来の補正処理の説明図
【図４１】従来の補正処理のフローチャートを示す図
【符号の説明】
１０１，６０１，１１０１，１４０１，１５０１，２２０１，３００１，３１０１  撮像素子
１０２，６０２，１１０２，１４０２，１５０２，２２０２，３００２，３１０２  Ａ／Ｄコンバータ
１０３，６０３，１１０３，１４０３，１５０３，２２０３，３００３，３１０３  輝度信号算出回路
１０４，６０４，１１０４，１４０４，１５０４，２２０４，３００４，３１０４  輝度分布作成回路
６０５，１４１０，１５０５，２２０５  目標輝度分布記憶回路
１０５，６０６，１１０５，１５０６，２２０６，３００５，３１０５  重心算出回路
１０６，６０７，１１０６，１４０６，１５０７，２２０７，３１０６  分布範囲算出回路
６０８，１４０５，１５０８，２２０８  目標値算出回路
１０８，６０９，１１０８，１４０７，１５０９，２２０９，３００８，３１０８  補正テーブル作成回路
１０９，６１０，１１０９，１４０８，１５１０，２２１０，３１０９  画像信号補正回路
１１１０，１４０９，１５１１，２２１１  境界値算出回路
１５１２，２２１２  山型分布検出回路
１０７，１１０７，３００７，３１０７  目標値記憶回路
２２１３  目標値修正回路
２５０１  特徴量取り込みステップ
２５０２  各種曲線データ取り込みステップ
２５０３  下限値判定ステップ
２５０４  アンダー処理ステップ
２５０５  上限値判定ステップ
２５０６  オーバー処理ステップ
２５０７  リニア処理ステップ
２５０８  階調補正曲線格納ステップ
３００６  分布範囲算出回路
３００９  輝度信号補正回路
３０１０，３１１０  色差信号算出回路
３０１１  色差信号補正回路
３１１１  肌色領域抽出回路
３１１２  肌色輝度分布作成回路
【図１】
0003772133.tif 000024
【図２】
0003772133.tif 000025
【図３】
0003772133.tif 000026
【図４】
0003772133.tif 000027
【図５】
0003772133.tif 000028
【図６】
0003772133.tif 000029
【図７】
0003772133.tif 000030
【図８】
0003772133.tif 000031
【図９】
0003772133.tif 000032
【図１０】
0003772133.tif 000033
【図１１】
0003772133.tif 000034
【図１２】
0003772133.tif 000035
【図１３】
0003772133.tif 000036
【図１４】
0003772133.tif 000037
【図１５】
0003772133.tif 000038
【図１６】
0003772133.tif 000039
【図１７】
0003772133.tif 000040
【図１８】
0003772133.tif 000041
【図１９】
0003772133.tif 000042
【図２０】
0003772133.tif 000043
【図２１】
0003772133.tif 000044
【図２２】
0003772133.tif 000045
【図２３】
0003772133.tif 000046
【図２４】
0003772133.tif 000047
【図２５】
0003772133.tif 000048
【図２６】
0003772133.tif 000049
【図２７】
0003772133.tif 000050
【図２８】
0003772133.tif 000051
【図２９】
0003772133.tif 000052
【図３０】
0003772133.tif 000053
【図３１】
0003772133.tif 000054
【図３２】
0003772133.tif 000055
【図３３】
0003772133.tif 000056
【図３４】
0003772133.tif 000057
【図３５】
0003772133.tif 000058
【図３６】
0003772133.tif 000059
【図３７】
0003772133.tif 000060
【図３８】
0003772133.tif 000061
【図３９】
0003772133.tif 000062
【図４０】
0003772133.tif 000063
【図４１】
0003772133.tif 000064