(57)【特許請求の範囲】
【請求項１】
映像信号のヒストグラムを用いた階調変換処理を行う信号処理装置において、  
前記映像信号の特徴量を算出する特徴量算出手段と、  
前記映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御手段と、  
前記区間設定制御手段で設定した前記区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出手段と、  
前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換手段と、  
を備え、
前記区間設定制御手段は、前記区間の幅を、前記特徴量に応じて設定し、
前記区間設定制御手段は、前記特徴量に応じた閾値を設定する閾値設定手段を備え、複数の前記区間それぞれに含まれる画素の個数が前記閾値との間で所定の条件を充たすように前記区間の幅を設定する
ことを特徴とする信号処理装置。  
【請求項２】
映像信号のヒストグラムを用いた階調変換処理を行う信号処理装置において、
前記映像信号の特徴量を算出する特徴量算出手段と、
前記映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御手段と、
前記区間設定制御手段で設定した前記区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出手段と、
前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換手段と、
を備え、
前記区間設定制御手段は、前記区間の幅を、前記特徴量に応じて設定し、
前記区間設定制御手段は、複数の前記区間のうちの互いに隣接する区間それぞれに含まれる画素の個数と、前記特徴量とに応じて前記区間の幅を設定する
ことを特徴とする信号処理装置。
【請求項３】
映像信号のヒストグラムを用いた階調変換処理を行う信号処理装置において、
前記映像信号の特徴量を算出する特徴量算出手段と、
前記映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御手段と、
前記区間設定制御手段で設定した前記区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出手段と、  
前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換手段と、
を備え、
前記区間設定制御手段は、前記区間の数を、前記特徴量に応じて設定し、
前記区間設定制御手段は、前記特徴量に応じた閾値を設定する閾値設定手段を備え、複数の前記区間それぞれに含まれる画素の個数が前記閾値との間で所定の条件を充たすように前記区間の数を設定する
ことを特徴とする信号処理装置。
【請求項４】
映像信号のヒストグラムを用いた階調変換処理を行う信号処理装置において、
前記映像信号の特徴量を算出する特徴量算出手段と、
前記映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御手段と、
前記区間設定制御手段で設定した前記区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出手段と、
前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換手段と、
を備え、
前記区間設定制御手段は、前記区間の数を、前記特徴量に応じて設定し、
前記区間設定制御手段は、複数の前記区間のうちの互いに隣接する区間それぞれに含まれる画素の個数と、前記特徴量とに応じて前記区間の数を設定する
ことを特徴とする信号処理装置。
【請求項５】
映像信号のヒストグラムを用いた階調変換処理を行う信号処理装置において、
前記映像信号の特徴量を算出する特徴量算出手段と、
前記映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御手段と、
前記区間設定制御手段で設定した前記区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出手段と、
前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換手段と、
を備え、
前記区間設定制御手段は、前記階調変換特性中に２階差分値の絶対値が閾値より大きい区間が存在しないよう、区間の幅又は区間の数を設定する
ことを特徴とする信号処理装置。
【請求項６】
前記映像信号の注目画素を中心する局所領域を抽出する局所領域抽出手段を備え、
前記区間設定制御手段が、前記映像信号の前記局所領域のヒストグラムを求めるよう、該ヒストグラムにおける画素値の区間を前記映像信号の前記特徴量に応じて設定し、  
前記階調変換特性算出手段が、前記局所領域に対するヒストグラムを用いて、前記局所領域に対する階調変換特性を算出し、
前記階調変換手段が、前記局所領域に対して、前記階調変換特性を用いて階調変換を行うことを特徴とする請求項１から請求項５のいずれか一つに記載の信号処理装置。
【請求項７】
前記映像信号の注目画素を中心する局所領域を抽出する局所領域抽出手段を備え、
前記特徴量算出手段が、前記特徴量として前記局所領域の特徴量を算出し、
前記区間設定制御手段が、前記映像信号の前記局所領域のヒストグラムを求めるよう、該ヒストグラムにおける画素値の区間を前記局所領域の特徴量に応じて設定し、
前記階調変換特性算出手段が、前記局所領域に対するヒストグラムを用いて、前記局所領域に対する階調変換特性を算出し、
前記階調変換手段が、前記局所領域に対して、前記階調変換特性を用いて階調変換を行うことを特徴とする請求項１から請求項５のいずれか一つに記載の信号処理装置。
【請求項８】
前記特徴量算出手段は、前記映像信号のヒストグラムの情報を前記特徴量として算出するヒストグラム算出手段を備えることを特徴とする請求項１から請求項５のいずれか一つに記載の信号処理装置。
【請求項９】
前記特徴量算出手段は、前記映像信号のビット長および輝度値の情報を前記特徴量として算出する手段を備えることを特徴とする請求項１から請求項５のいずれか一つに記載の信号処理装置。
【請求項１０】
前記特徴量算出手段は、前記映像信号の主要被写体の情報を前記特徴量として算出する主要被写体算出手段を備えることを特徴とする請求項１から請求項５のいずれか一つに記載の信号処理装置。
【請求項１１】
前記特徴量算出手段は、
前記映像信号のヒストグラムの情報を前記特徴量として算出するヒストグラム算出手段、
前記映像信号のビット長および輝度値の情報を前記特徴量として算出する手段、
前記映像信号の注目被写体の情報を前記特徴量として算出する注目被写体算出手段のうち少なくとも二つ以上の手段を備えることを特徴とする請求項１から請求項５のいずれか一つに記載の信号処理装置。
【請求項１２】
前記ヒストグラム算出手段は、前記ヒストグラムの最大頻度における信号値を前記特徴量として算出する信号値算出手段をさらに備えることを特徴とする請求項８又は１１に記載の信号処理装置。
【請求項１３】
前記区間設定制御手段は、前記区間の幅を、前記特徴量に応じて設定することを特徴とする請求項３から請求項５のいずれか一つに記載の信号処理装置。
【請求項１４】
前記区間設定制御手段は、前記区間の数を、前記特徴量に応じて設定することを特徴とする請求項１、請求項２または請求項５に記載の信号処理装置。
【請求項１５】
前記区間設定制御手段は、前記区間の幅と数とを、前記特徴量に応じて設定することを特徴とする請求項５に記載の信号処理装置。
【請求項１６】
前記区間設定制御手段は、前記区間の幅を不均一に設定する請求項１、請求項２または請求項１５に記載の信号処理装置。  
【請求項１７】
映像信号のヒストグラムを用いた階調変換処理を行う信号処理装置において、
前記映像信号の特徴量を算出する特徴量算出手順と、
前記映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御手順と、
前記区間設定制御手順で設定した前記区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出手順と、
前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換手順と、
を備え、
前記区間設定制御手順は、前記区間の幅を、前記特徴量に応じて設定し、
前記区間設定制御手順は、前記特徴量に応じた閾値を設定する閾値設定手順を備え、複数の前記区間それぞれに含まれる画素の個数が前記閾値との間で所定の条件を充たすように前記区間の幅を設定する
ことを特徴とする信号処理プログラム。
【請求項１８】
映像信号のヒストグラムを用いた階調変換処理を行う信号処理装置において、
前記映像信号の特徴量を算出する特徴量算出手順と、
前記映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御手順と、
前記区間設定制御手順で設定した前記区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出手順と、
前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換手順と、
を備え、
前記区間設定制御手順は、前記区間の幅を、前記特徴量に応じて設定し、 
前記区間設定制御手順は、複数の前記区間のうちの互いに隣接する区間それぞれに含まれる画素の個数と、前記特徴量とに応じて前記区間の幅を設定する
ことを特徴とする信号処理プログラム。
【請求項１９】
映像信号のヒストグラムを用いた階調変換処理を行う信号処理装置において、  
前記映像信号の特徴量を算出する特徴量算出手順と、  
前記映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御手順と、  
前記区間設定制御手順で設定した前記区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出手順と、  
前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換手順と、  
を備え、
前記区間設定制御手順は、前記区間の数を、前記特徴量に応じて設定し、
前記区間設定制御手順は、前記特徴量に応じた閾値を設定する閾値設定手順を備え、複数の前記区間それぞれに含まれる画素の個数が前記閾値との間で所定の条件を充たすように前記区間の数を設定する
ことを特徴とする信号処理プログラム。
【請求項２０】
映像信号のヒストグラムを用いた階調変換処理を行う信号処理装置において、
前記映像信号の特徴量を算出する特徴量算出手順と、
前記映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御手順と、
前記区間設定制御手順で設定した前記区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出手順と、
前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換手順と、
を備え、
前記区間設定制御手順は、前記区間の数を、前記特徴量に応じて設定し、
前記区間設定制御手順は、複数の前記区間のうちの互いに隣接する区間それぞれに含まれる画素の個数と、前記特徴量とに応じて前記区間の数を設定する
ことを特徴とする信号処理プログラム。
【請求項２１】
映像信号のヒストグラムを用いた階調変換処理を行う信号処理装置において、  
前記映像信号の特徴量を算出する特徴量算出手順と、  
前記映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御手順と、  
前記区間設定制御手順で設定した前記区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出手順と、  
前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換手順と、 
を備え、
前記区間設定制御手順は、前記階調変換特性中に２階差分値の絶対値が閾値より大きい区間が存在しないよう、区間の幅又は区間の数を設定する
ことを特徴とする信号処理プログラム。
【請求項２２】
映像信号のヒストグラムを用いた階調変換処理を行う信号処理装置において使用する信号処理方法であって、
前記映像信号の特徴量を算出する特徴量算出ステップと、
前記映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御ステップと、
前記区間設定制御ステップで設定した前記区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出ステップと、
前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換ステップと、 を備え、
前記区間設定制御ステップは、前記区間の幅を、前記特徴量に応じて設定し、 
前記区間設定制御ステップは、前記特徴量に応じた閾値を設定する閾値設定ステップを備え、複数の前記区間それぞれに含まれる画素の個数が前記閾値との間で所定の条件を充たすように前記区間の幅を設定する
ことを特徴とする信号処理方法。
【請求項２３】
映像信号のヒストグラムを用いた階調変換処理を行う信号処理装置において使用する信号処理方法であって、
前記映像信号の特徴量を算出する特徴量算出ステップと、
前記映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御ステップと、
前記区間設定制御ステップで設定した前記区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出ステップと、
前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換ステップと、 を備え、
前記区間設定制御ステップは、前記区間の幅を、前記特徴量に応じて設定し、 
前記区間設定制御ステップは、複数の前記区間のうちの互いに隣接する区間それぞれに含まれる画素の個数と、前記特徴量とに応じて前記区間の幅を設定する
ことを特徴とする信号処理方法。
【請求項２４】
映像信号のヒストグラムを用いた階調変換処理を行う信号処理装置において使用する信号処理方法であって、
前記映像信号の特徴量を算出する特徴量算出ステップと、
前記映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御ステップと、
前記区間設定制御ステップで設定した前記区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出ステップと、
前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換ステップと、 を備え、
前記区間設定制御ステップは、前記区間の数を、前記特徴量に応じて設定し、
前記区間設定制御ステップは、前記特徴量に応じた閾値を設定する閾値設定ステップを備え、複数の前記区間それぞれに含まれる画素の個数が前記閾値との間で所定の条件を充たすように前記区間の数を設定する
ことを特徴とする信号処理方法。
【請求項２５】
映像信号のヒストグラムを用いた階調変換処理を行う信号処理装置において使用する信号処理方法であって、
前記映像信号の特徴量を算出する特徴量算出ステップと、
前記映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御ステップと、
前記区間設定制御ステップで設定した前記区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出ステップと、
前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換ステップと、 を備え、
前記区間設定制御ステップは、前記区間の数を、前記特徴量に応じて設定し、
前記区間設定制御ステップは、複数の前記区間のうちの互いに隣接する区間それぞれに含まれる画素の個数と、前記特徴量とに応じて前記区間の数を設定する
ことを特徴とする信号処理方法。
【請求項２６】
映像信号のヒストグラムを用いた階調変換処理を行う信号処理装置において使用する信号処理方法であって、
前記映像信号の特徴量を算出する特徴量算出ステップと、
前記映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御ステップと、
前記区間設定制御ステップで設定した前記区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出ステップと、
前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換ステップと、
を備え、
前記区間設定制御ステップは、前記階調変換特性中に２階差分値の絶対値が閾値より大きい区間が存在しないよう、区間の幅又は区間の数を設定する
ことを特徴とする信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号の階調変換処理に係わり、特に映像信号のヒストグラムを用いて階調変換処理を行う画像信号処理装置及び画像信号処理プログラムに関する。
【背景技術】
【０００２】
現在のデジタルスチルカメラやビデオカメラ等の撮像系の信号処理において、映像信号を階調変換するという処理がしばしば行われる。階調変換処理の一つの方法として、映像信号のヒストグラムを用いて階調変換特性を算出する方法がある。例えば、特許文献１では入力された映像信号のヒストグラムから得られる情報に基づいてコンテンツの特徴を判定し、コンテンツの特性に応じたコントラスト調整を可能としている。
【特許文献１】特開２００７−１２４４５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、同じヒストグラムであっても映像信号の被写体情報が異なる場合があり、同一の階調変換特性では処理が不十分な場合がある。例えば、映像信号がポートレートの場合と風景の場合、ポートレートの時には顔領域に対する階調変換特性としてはコントラストをあまり強調しないものが好まれ、風景の時にはコントラスト
をある程度強調したものが好まれる。本発明は上記問題点に鑑み、映像信号の特徴に応じて、高品位な階調変換処理が可能となる信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
撮像系からの映像信号を階調変換して出力する信号処理装置において、前記映像信号の特徴量を算出する特徴量算出手段と、前期映像信号のヒストグラムを求める際の該ヒストグラムにおける画素値の区間を、前記特徴量に応じて設定する区間設定制御手段と、前期区間設定制御手段で設定した前期区間を用いて求めたヒストグラムを用いて階調変換特性を算出する階調変換特性算出手段と、前記映像信号に対して前記階調変換特性を用いて階調変換を行う階調変換手段と、を備える。前記区間設定制御手段は、前記区間の幅を、前記特徴量に応じて設定し、前記区間設定制御手段は、前記特徴量に応じた閾値を設定する閾値設定手段を備え、複数の前記区間それぞれに含まれる画素の個数が前記閾値との間で所定の条件を充たすように前記区間の幅を設定する。
【発明の効果】
【０００５】
本発明によれば、映像信号の特徴量に応じて求めたヒストグラムを用いて高品位な階調変換処理が可能となる。
【発明を実施するための最良の形態】
【０００６】
図１は、第一の実施形態に係る信号処理装置の構成図である。レンズ系100、絞り101、カラーフィルタ103、CCD（電荷結合素子）104を介して撮影された映像はA/D（アナログ−デジタル変換器）105にてデジタル信号へ変換される。A/D105からの映像信号は、バッファ106を介して信号処理部108へ転送される。また、バッファ（バッファメモリ）106からの信号は撮影制御部107へも転送される。
【０００７】
撮影制御部107は絞り101、AFモータ（オートフォーカス用モータ）102、およびCCD104へ接続している。信号処理部108は区間設定部109および特徴量算出部110へ接続している。区間設定部109は階調変換特性算出部112へ接続している。特徴量算出部110は区間制御部111へ接続している。区間制御部111は区間設定部109へ接続している。階調変換特性算出部112は階調変換部113へ接続している。階調変換部113は圧縮部114へ接続している。圧縮部114は出力部115へ接続している。
【０００８】
マイクロコンピュータなどの制御部116は、撮影制御部107、信号処理部108、区間設定部109、特徴量算出部110、区間制御部111、階調変換特性算出部112、階調変換部113および圧縮部114と双方向に接続している。さらに、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部（インターフェース部）117も制御部116と双方向に接続している。
【０００９】
図１において、信号の流れを説明する。外部I/F部117を介してISO感度、露出などの撮影条件を設定した後、図示しないシャッターボタンを半押しにすることでプリ撮影モードに入る。レンズ系100、絞り101、カラーフィルタ103、CCD104を介して撮影された映像信号は、A/D105にてデジタル信号へ変換されてバッファ106へ転送される。なお、本実施形態例においてCCD104はRGB原色系の単板CCDを想定し、A/D105による信号の階調数（ビット長）を例えば12bit（4096段階）とする。
【００１０】
バッファ106内の映像信号は撮影制御部107へ転送される。撮影制御部107は映像信号のAFエリア内のコントラスト情報を検出し、これが最大となるようにAFモータ102を制御することで合焦信号を得て、距離情報が取得される。あるいは、プリ撮影時に映像信号を取得せず、図示しない外部赤外線センサを用いて主要被写体との距離を測定し、それに応じてAFモータ102を制御し、合焦位置における距離情報を得てもよい。撮影制御部107では信号中の輝度レベルや図示しない輝度センサを用いて適正露光となるよう絞り101およびCCD104の電子シャッター速度などを制御する。
【００１１】
次に、外部I/F部117を介して図示しないシャッターボタンを全押しにすることにより本撮影が行われる。本撮影は、撮影制御部107にて求められた合焦条件および露光条件に基づき行われ、これらの撮影時の情報は制御部116へ転送される。
【００１２】
バッファ106内の映像信号は、信号処理部108へ転送される。信号処理部108は、制御部116の制御に基づきバッファ106上の単板状態の映像信号を読み込み、公知の補間処理、ホワイトバランス処理などが行われた各画素RGBの三板状態の映像信号を生成する。
【００１３】
さらに（１）式のようにRGB信号をYCbCr信号に変換してもよい。
【００１４】
【数１】
0005053802.tif 000002
信号処理部108で処理された映像信号は区間設定部109、特徴量算出部110および階調変換部113へ転送される。区間設定部109は信号処理部108から転送された映像信号の信号値が取り得る範囲を複数の区間に分割し、各区間に含まれる信号値の頻度を算出し、頻度の算出結果に基づいてヒストグラム（度数分布）を算出する。
【００１５】
図２は区間設定部109の構成図の一例を示すもので、バッファ200、区間数調整部201および区間幅調整部202からなる。信号処理部108はバッファ200に映像信号を転送する。区間数調整部201は区間制御部111の制御に基づきバッファ200から転送された映像信号の信号値の区間数を調整する。
【００１６】
図４はヒストグラムの区間数変化の説明図を示している。図４（ａ）はバッファ200に転送された映像信号のヒストグラムを表す。このヒストグラムを構成する柱(長方形)の個数は、入力信号のビット長（階調数）、例えば12bit（4096個）と等しい。図４における横軸の信号値としての輝度値(i)はRGB信号値のいずれか、またはY信号値どちらでもよい。
【００１７】
図４（ｂ）は区間数を変えたヒストグラムを表している。なお、信号値の総数は一定であるため、区間数を変化させた前後で、ヒストグラムを構成する複数の柱の総面積は保持される。区間数が変更されたヒストグラムは区間幅調整部202に転送される。区間幅調整部202は区間制御部111の制御に基づき区間数調整部201から転送されたヒストグラムおよび、バッファ200から転送された映像信号を用いてヒストグラムの区間幅を調整する。
【００１８】
図５はヒストグラムの区間幅変化の説明図を示している。図５（ａ）は区間数調整部201から転送されたヒストグラムを表す。区間幅調整部202はこのヒストグラムの区間幅を図５（ｂ）のように変化させ、区間幅を不均一にする。なお、信号値の総数は一定であるため、区間幅を変化させた前後で、ヒストグラムを構成する複数の柱の総面積は保持される。また、ヒストグラムを構成する柱の面積は、その柱の区間に含まれる信号値の個数（画素の個数）に対応する。区間幅が変更されたヒストグラムは階調変換特性算出部112に転送される。
【００１９】
ここでは区間数調整部201および区間幅調整部202が両方ともある構成を示したが、どちらか一方の構成でも構わない。例えば、区間数調整部201のみの構成の場合、ヒストグラムを構成する柱の幅はすべての箇所において等しくなり、区間幅調整部202のみの構成の場合、区間数はあらかじめ決められた所定数でヒストグラムの算出を行う。特徴量算出部110は信号処理部108から転送された映像信号に対して特徴量を算出し、その情報を区間制御部111に転送する。区間制御部111は転送された情報に基づいて区間設定部109における区間数および区間幅を制御する。これら特徴量算出部110および区間制御部111の処理の方法については後で記述する。
【００２０】
階調変換特性算出部112は区間設定部109から転送されたヒストグラムを用いて階調変換特性（階調変換関数或いはトーンカーブとも言う）を算出する。階調変換特性算出の一つの方法として、図６に示す累積ヒストグラムを用いる方法がある。
【００２１】
図６（ａ）は区間設定部109から転送されたヒストグラムを表し、図６（ｂ）はそのヒストグラムを累積した結果（累積ヒストグラム）を示している。図６（ｂ）の縦軸t(k)は、横軸の入力輝度値に対する出力輝度値を表している。ここで、kの値は区間の番号を表しており、ヒストグラムの区間数に対応している。この階調変換特性を使用した階調変換により、ヒストグラムを平滑化してコントラストを高めたりすることができる。
【００２２】
階調変換特性算出部112にて算出された階調変換特性は階調変換部113へ転送される。階調変換部113は階調変換特性算出部112から転送された階調変換特性を用いて信号処理部108から転送された映像信号に対して階調変換処理を行う。階調変換処理はRGBの各信号に対して行ってもよいし、Y信号（輝度信号）に対して行ってもよい。階調変換部113にて階調変換処理された映像信号は圧縮部114に転送される。圧縮部114は階調変換部113から転送された映像信号に対して公知のJPEG等の圧縮処理を行い、出力部115へ転送する。出力部115は、メモリカードなどへ圧縮信号を記録保存あるいは外部表示ディスプレイに映像信号を表示する。
【００２３】
図３は特徴量算出部110の構成の一例を示すもので、バッファ300、ヒストグラム算出部301、ビット輝度算出部302および主要被写体算出部303からなる。信号処理部108はバッファ300に映像信号を転送する。バッファ300はヒストグラム算出部301、ビット輝度算出部302および主要被写体算出部303に映像信号を転送する。
【００２４】
ヒストグラム算出部301はバッファ300から転送された映像信号の特徴量又は特性として図４（ａ）と同様のヒストグラムを算出する。ヒストグラム算出部301は、各区間に含まれる前記信号値の個数を算出する個数算出手段を含む。ここで算出されるヒストグラムは、区間設定部109にて算出され階調変換特性算出部112に転送されるヒストグラムとは異なり、あらかじめ決められた区間数及び均一の区間幅にて算出されるものとする。
【００２５】
ビット輝度算出部302はバッファ300から転送された映像信号の特徴量として平均輝度値および階調を示すビット長を算出する。平均輝度値の算出にはG信号あるいはY信号が用いられる。主要被写体算出部303はバッファ300から転送された映像信号の特徴量として主要被写体の抽出を行い、その箇所におけるヒストグラムあるいは平均輝度値と分散値を算出する。主要被写体が顔である場合、公知の顔検出法を用いて顔の領域を抽出する。また、撮影制御部107からの情報からAFエリアにおける所定領域を主要被写体としてもよい。各々の特徴量は区間制御部111に転送され、ヒストグラムの区間数および区間幅の制御を行う。
【００２６】
なお、特徴量算出部110は、ヒストグラム算出部301、ビット輝度算出部302および主要被写体算出部303のうち、少なくともいずれか１つあるいは２つを備える構成でもよい。
【００２７】
図７は、区間制御部111で行われるヒストグラムの情報に基づいた区間幅や区間数の制御の説明図を表している。特徴量として、図７（ａ）のようなヒストグラムが映像信号から得られた場合、各区間における頻度h(0)−h(k)において、h(2)の頻度が他の区間の頻度に比べて大きくなっている（或いは最大又は極大となっている）。例えば、区間制御部111は、頻度が他の区間の頻度に比べて大きくなっている区間を検出し、その区間の信号値をヒストグラムの情報（特徴量）として算出できる。ここで、kはヒストグラムの区間数がnの場合、0≦k≦n-1となる。このようなヒストグラムから階調変換特性を算出する場合、ヒストグラムの頻度が大きい輝度値の周辺で階調変換特性の変化が急峻となり、階調変換処理の結果、入力された映像信号のコントラストが強調されすぎて不自然な映像となる場合がある。
【００２８】
図８（ａ）および（ｂ）はその様子を示したもので、低輝度部においてヒストグラムの頻度が大きい場合、その階調変換特性は低輝度部において急峻な特性となっている。このような場合、図７（ｂ）および（ｃ）のようにヒストグラムの区間幅や区間数を変化させることによって、階調変換特性の急峻な変化を抑制し、コントラストをあまり強調せず、自然な映像信号を得ることができる。この場合に、隣接する区間それぞれに含まれる画素の個数と、ヒストグラムの情報（特徴量）とに応じて区間幅又は区間数を設定してよい。
【００２９】
なお、図７（ｂ）において、頻度が他の区間の頻度に比べて大きいh(2)の輝度値の区間の区間幅を増加させ、その区間の周りの区間で区間幅を減少させている。図８（ｃ）および（ｄ）はその一例を示したもので、図８（ａ）のヒストグラムに対して区間数を変える（減少させる）ことによって、低輝度部における階調変換特性が緩やかなものになりコントラストをあまり強調しない処理が可能となる。
【００３０】
また、区間制御部111は、ヒストグラムから算出された階調変換特性から急峻な特性を算出し、その箇所において区間数あるいは区間幅を変えることも可能である。例えば図６における階調変換特性の２階差分値を用いて急峻な特性を判定することが可能である。出力輝度値t(k)を用いて、区間kにおける２階差分の値は以下のように算出する。
【００３１】
【数２】
0005053802.tif 000003
（２）式で算出した値の絶対値が大きい場合、区間kにおける階調変換特性の変化が急峻であることを表しているため、この区間kを含まないようなヒストグラムの区間幅あるいは区間数の調整を行うことによって、緩やかな変化の階調変換特性の算出が可能となる。より具体的には、区間制御部111は、所定の閾値を設定し、（２）式における２階差分の絶対値が閾値より大きい場合、２階差分の絶対値が閾値より大きい区間が階調変換特性中に存在しないように、区間幅を大きくしたり、区間数を減少させたりする。ここでは、特徴量算出部110のヒストグラム情報に基づいた制御を説明したが、他の情報についても同様である。特徴量として平均輝度値およびビット長を用いる場合、平均輝度値が所定値以下の時、映像信号のヒストグラムは、低輝度部でピークを有して図８（ａ）のようになっている可能性が高い。その際、映像信号のビット長が所定値以下の時、階調変換特性が急峻なもので階調変換処理を行うと、コントラストが強調され、階調とびが目立つ場合がある。そのため、平均輝度値周辺のヒストグラムの区間数や区間幅を変える（区間数を減少或いは区間幅を増加する）ことによって階調変換特性を緩やかなものし、コントラストをあまり強調させず階調とびを目立たなくさせることができる。
【００３２】
また、特徴量として主要被写体の情報を用いる場合、主要被写体の平均輝度値および分散値を用いて、その値に対応してヒストグラムの区間数や区間幅を変えることによって主要被写体におけるコントラストの強調具合を変える処理が可能となる。例えば、主要被写体が顔である場合、コントラストをあまり強調しない処理を行うことによって自然な映像が得られ、主要被写体が建物等の場合、コントラストをある程度強調することによって好ましい映像が得られる。
【００３３】
当然ながら、これらの特徴量を組み合わせた制御も可能である。例えば、区間制御部111は、特徴量に応じた閾値th(o)を設定し、ヒストグラムの頻度、或いは、複数の区間それぞれに含まれる画素の個数が、閾値との間で所定の条件を充たすように区間の数又は区間の幅を設定する。ヒストグラムの頻度h(k)がある閾値th(o)より大きい場合、すなわちh(k)>th(o)の時、頻度が閾値以下となるように区間数あるいは区間幅の制御を行う。ここで、th(o)のoは主要被写体算出部303から得られる特徴量としての被写体情報であり、被写体が顔である場合は閾値を小さな値としてコントラストが強調されない階調変換特性を算出し、被写体が風景である場合は閾値を大きな値としてコントラストが強調される階調変換特性を算出することができる。
【００３４】
このような処理を行うことにより、映像信号に応じて最適な階調変換処理を行うことができ、高品位な映像信号を算出することができる。
【００３５】
なお、上記実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD104からの映像信号を未処理のままのRawデータとして、ISO感度情報や映像信号サイズなどをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【００３６】
図９に第一の実施形態のソフトウェア処理（プログラム）に関するフローチャートを示す。図１における処理と対応させると、S1にてヘッダ情報を読み込み、S2にて映像信号を入力する。信号処理部108に相当するS3にて所定の信号処理を行い、特徴量算出部110に相当するS5にて映像信号から特徴量の算出を行い、区間設定部109に相当するS4にてS5からの情報を基に階調変換特性の算出に用いるヒストグラムの算出を行う。階調変換特性算出部112に相当するS6にて階調変換特性の算出を行い、階調変換部113に相当するS7にて映像信号に対して階調変換処理を行う。S8にて全画素に対して処理が行われたか判断し、全画素に対して処理が行われた場合、処理を終了する。
【００３７】
図１０は、第二の実施形態に係る信号処理装置の構成図である。第一の実施形態と同一の構成には同一の名称と番号を割り当てている。以下、第一の実施形態と異なる箇所のみ説明する。信号処理部108は局所領域抽出部123へ接続している。局所領域抽出部123は区間部120および階調変換部122へ接続している。区間設定部120は階調変換特性算出部121に接続している。階調変換特性算出部121は階調変換部122に接続している。階調変換部122は圧縮部114へ接続している。マイクロコンピュータなどの制御部116は区間設定部120、階調変換特性算出部121および階調変換部122へ双方向に接続されている。
【００３８】
第一の実施形態と異なる箇所を主に説明する。映像信号は局所領域抽出部123に転送される。局所領域抽出部123は映像信号に対して注目画素を中心する局所領域を抽出し、その信号を区間設定部120および階調変換部122へ転送する。区間設定部120は区間設定部109と同様に転送された局所領域の映像信号を区間制御部111の制御に基づきヒストグラムを算出する。
【００３９】
算出された局所領域におけるヒストグラムは階調変換特性算出部121へ転送され、階調変換特性算出部112と同様に局所領域における階調変換特性を算出する。算出された階調変換特性は階調変換部122へ転送される。階調変換部122は局所領域抽出部123から転送された映像信号の局所領域に対して階調変換処理を行う。あるいは局所領域中の注目画素に対して階調変換処理を行ってもよい。
【００４０】
このような処理を行うことにより、局所的な階調変換特性を映像信号の特徴量に応じて制御することができ、高品位な映像信号を算出することができる。
【００４１】
なお、上記実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD104からの映像信号を未処理のままのRawデータとして、ISO感度情報や映像信号サイズなどをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【００４２】
図１１に第二の実施形態のソフトウェア処理（プログラム）に関するフローチャートを示す。図１０における処理と対応させると、S1にてヘッダ情報を読み込み、S2にて映像信号を入力する。信号処理部108に相当するS3にて所定の信号処理を行い、局所領域抽出部123に相当するS10にて注目画素を中心とする局所領域を抽出する。特徴量算出部110に相当するS5にて映像信号から特徴量の算出を行い、区間設定部120に相当するS11にてS5からの情報を基に階調変換特性の算出に用いる局所領域におけるヒストグラムの算出を行う。階調変換特性算出部121に相当するS12にて階調変換特性の算出を行い、階調変換部122に相当するS13にて映像信号の局所領域に対して階調変換処理を行う。S8にて全画素に対して処理が行われたか判断し、全画素に対して処理が行われた場合、処理を終了する。
【００４３】
図１２は、第三の実施形態の信号処理装置の構成図である。第一の実施形態と同一の構成には同一の名称と番号を割り当てている。以下、第一の実施形態と異なる箇所のみ説明する。信号処理部108は局所領域抽出部123に接続している。局所領域抽出部123は特徴量算出部130、区間設定部132および階調変換部122に接続している。特徴量算出部130は、区間制御部131へ接続しており、区間制御部131は区間設定部132へ接続している。区間設定部132は階調変換特性算出部121に接続している。階調変換特性算出部121は階調変換部122に接続しており、階調変換部122は圧縮部114へ接続している。マイクロコンピュータなどの制御部116は区間設定部132、階調変換特性算出部121および階調変換部122へ双方向に接続されている。
【００４４】
第一の実施形態と異なる箇所を主に説明する。映像信号は特徴量算出部130へ転送される。特徴量算出部130は特徴量算出部110と同様に映像信号の局所領域における特徴量を算出する。その特徴量は区間制御部131へ転送される。区間設定部132は区間設定部109と同様に転送された局所領域の映像信号に対して区間制御部131の制御に基づきヒストグラムを算出する。
【００４５】
算出された局所領域におけるヒストグラムは階調変換特性算出部121へ転送され、階調変換特性算出部112と同様に局所領域における階調変換特性を算出する。算出された階調変換特性は階調変換部122へ転送される。階調変換部122は局所領域抽出部123から転送された映像信号の局所領域に対して階調変換処理を行う。あるいは局所領域中の注目画素に対して階調変換処理を行ってもよい。
【００４６】
このような処理を行うことにより、映像信号の局所的な特徴量に基づき階調変換特性を制御することができ、高品位な映像信号を算出することができる。
【００４７】
なお、上記実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD104からの映像信号を未処理のままのRawデータとして、ISO感度情報や映像信号サイズなどをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【００４８】
図１３に第三の実施形態のソフトウェア処理（プログラム）に関するフローチャートを示す。図１２における処理と対応させると、S1にてヘッダ情報を読み込み、S2にて映像信号を入力する。信号処理部108に相当するS3にて所定の信号処理を行い、S10にて注目画素を中心とする局所領域を抽出する。特徴量算出部130に相当するS20にて局所領域毎の特徴量を算出し、区間設定部132に相当するS21にてS20からの情報を基に階調変換特性の算出に用いる局所領域におけるヒストグラムの算出を行う。階調変換特性算出部121に相当するS12にて階調変換特性の算出を行い、階調変換部122に相当するS13にて映像信号の局所領域に対して階調変換処理を行う。S8にて全画素に対して処理が行われたか判断し、全画素に対して処理が行われた場合、処理を終了する。
【００４９】
本発明は上記の実施の形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【図面の簡単な説明】
【００５０】
【図１】第一の実施形態に係る信号処理装置の構成図である。
【図２】区間設定部の構成図である。
【図３】特徴量算出部の構成図である。
【図４】ヒストグラムの区間数変化の説明図である。
【図５】ヒストグラムの区間幅変化の説明図である。
【図６】階調変換特性算出の説明図である。
【図７】ヒストグラム情報に基づいた制御の説明図である。
【図８】階調変換特性の比較図である。
【図９】第一の実施形態に係るソフトウェアに関するフローチャートである。
【図１０】第二の実施形態に係る信号処理装置の構成図である。
【図１１】第二の実施形態に係るソフトウェアに関するフローチャートである。
【図１２】第三の実施形態に係る信号処理装置の構成図である。
【図１３】第三の実施形態に係るソフトウェアに関するフローチャートである。
【符号の説明】
【００５１】
１０９  区間設定部（区間設定制御手段）
１１０  特徴量算出部（特徴量算出手段）
１１１  区間制御部（区間設定制御手段）
１１２  階調変換特性算出部（階調変換特性算出手段）
１１３  階調変換部（階調変換手段）
１２３  局所領域抽出部（局所領域抽出手段）
３０１  ヒストグラム算出部（ヒストグラム算出手段）
３０２  ビット輝度算出部（ビット長及び輝度算出手段）
３０３  主要被写体算出部（主要被写体算出手段）
【図１】
0005053802.tif 000004
【図２】
0005053802.tif 000005
【図３】
0005053802.tif 000006
【図４】
0005053802.tif 000007
【図５】
0005053802.tif 000008
【図６】
0005053802.tif 000009
【図７】
0005053802.tif 000010
【図８】
0005053802.tif 000011
【図９】
0005053802.tif 000012
【図１０】
0005053802.tif 000013
【図１１】
0005053802.tif 000014
【図１２】
0005053802.tif 000015
【図１３】
0005053802.tif 000016