(57)【要約】【課題】  画素数の多い画像でも一般的な処理能力を有するＦＰＧＡや並列処理のハードウェア回路を使ってリアルタイムでの修正画像を得ることができる画像処理装置と方法を提供する。【解決手段】  ピクセルＰの輝度を決定するには、前記オーバラップしたブロック(mine)、(lu)、(uu)、(ll)を計算対象ブロックとし、各計算対象ブロックにおけるオーバラップした部分の面積と計算対象ブロックの面積の比を求め、この比を各計算対象ブロックのトーンマップの明るさ（マップ後の明るさ）に乗じ、各計算対象ブロックごとに算出した乗算値を加えることでピクセルＰの調整輝度とする。【選択図】  図２
2014048995.tif 000002
【特許請求の範囲】
【請求項１】
画像走査で画像の明るさを変換する画像処理装置であって、前記画像を複数のブロックに分割する手段と、複数に分割された各ブロックごとにヒストグラムからトーンマップを作成する手段と、画素ごとに輝度を算出する手段を備え、前記輝度を算出する手段は、算出対象となる画素を中心としてブロックを想定し、前記トーンマップが作成されているブロックのうち前記想定ブロックと重複部分が生じるブロックを計算対象ブロックとし、各計算対象ブロックでの重複割合に応じて各計算ブロックごとに輝度を算出し、算出した各計算対象ブロックの輝度を加算することで対象となる画素の輝度とすることを特徴とする画像処理装置。
【請求項２】
画像走査で画像の明るさを変換する画像処理方法であって、１パス目で取り込んだ画像を複数のブロックに分割し、複数に分割された各ブロックごとにヒストグラムの均一化を行うとともにトーンマップを作成し、輝度の算出対象となる画素を中心としてブロックを想定し、次いで２パス目で前記トーンマップが作成されているブロックのうち前記想定ブロックと重複部分が生じるブロックを計算対象ブロックとし、各計算対象ブロックでの重複割合に応じて各計算ブロックごとに輝度を算出し、算出した各計算対象ブロックの輝度を加算することで対象となる画素の輝度とすることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラや室内の窓など同一画面内において極端に明るい部分と暗い部分が混在する画面、全体が極端に暗い画面や極端に明るい画面などのコントラストが低い画面を見やすい画面に変換する画像処理装置および画像処理方法を提供する。
【背景技術】
【０００２】
監視カメラの映像は２４時間稼動しているため、極端に明るい状況や暗い状況が刻々変化する。カメラの一般的なオートゲインコントロールなどでは変化が大きい場合には極端な変化に追いつけない場合が多い。また、室内の窓など同一画面内において極端に明るい部分と暗い部分が混在する場合や、全体が極端に暗い画面や極端に明るい画面などのコントラストが低い画面はゲインコントロールでは対応することが出来ない。
【０００３】
特許文献１には、調整された出力信号を生成するように入力信号を処理するステップを備えた画像処理方法として、画像の個別の位置に対する輝度値Iが、調整された輝度値I’を生成するように調節される方法が提案されている。
【０００４】
特許文献２及び特許文献３には、局所領域を重複するように移動させて領域演算を行う場合、移動前後で重複する部分の演算結果を再利用することで計算量を減らし、移動後の領域演算を高速化することが開示されている。
【０００５】
非特許文献１には、ＨＤＲ（High Dynamic Range）圧縮に用いられる局所ヒトグラム平均化手法として、局所ヒトグラム取得に行ラインバッファを採用し、この行ラインバッファに１行前の局所ヒトグラムの全てを格納する手法が提案されている。
【０００６】
非特許文献２には、局所領域を１画素単位に移動させながら、各画素ごとに得られた輝度分布情報からヒストグラム均等化法によって輝度変換を行うことが開示されている。
【０００７】
上記した特許文献１〜３及び非特許文献１及び２にあっては、全体の処理量を大幅に軽減することができない。そこで、本発明者は特許文献４を提案した。
この特許文献４には、特定位置のピクセルの輝度の算出を、ループ回数をピクセル値とするアルゴリズムに基づくことを提案している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２００４−５３０３６８号公報
【特許文献２】特開２００５−０５５７４４号公報
【特許文献３】特開２００７−２３４０３４号公報
【特許文献４】特許第４３８６９５９号公報
【非特許文献】
【０００９】
【非特許文献１】下山荘介，「局所ヒストグラム平均化を用いた高速・高品質ダイナミックレンジ圧縮手法の検討」，電子情報通信学会２００８年総合大会講演論文集（情報・システム講演論文集２），社団法人電子情報通信学会，２００８年 ３月 ５日，２４頁
【非特許文献２】斉藤文彦，ＧＡを用いた領域分割型画像コントラスト強調，画像電子学会誌，１９９９年１０月２５日，第２８巻第５号，第６６９頁−第６７６頁
【発明の概要】
【発明が解決しようとする課題】
【００１０】
非特許文献１に開示されるＨＤＲ（High Dynamic Range）は明暗差がある画像には効果的であるが、霧などのコントラストが低い画像に有効に対応できない。一方、非特許文献２に開示される技術では、逆にコントラストが低い画像には有効であるが明暗差が大きな画像には対応できない。
【００１１】
特許文献４は特許文献１〜３及び非特許文献１，２では解決できない課題を解決するものであるが、ハイビジョンよりも大きな画面（画素数が大）に対応するには画像のリアルタイム処理に高性能のＣＰＵ（ＧＰＵ)や高性能ＦＰＧＡが必要となる。
【課題を解決するための手段】
【００１２】
上記課題を解決するため、本発明に係る画像処理装置は、画像を複数のブロックに分割する手段と、複数に分割された各ブロックごとにヒストグラムからトーンマップを作成する手段と、画素ごとに輝度を算出する手段を備え、前記輝度を算出する手段は、算出対象となる画素を中心としてブロックを想定し、前記トーンマップが作成されているブロックのうち前記想定ブロックと重複部分が生じるブロックを計算対象ブロックとし、各計算対象ブロックでの重複割合に応じて各計算ブロックごとに輝度を算出し、算出した各計算対象ブロックの輝度を加算することで対象となる画素の輝度とする。
【００１３】
また本発明に係る画像処理方法は、２パスの画像走査で画像の明るさを変換する画像処理方法であって、１パス目で取り込んだ画像を複数のブロックに分割し、複数に分割された各ブロックごとにヒストグラムの均一化を行うとともにトーンマップを作成し、輝度の算出対象となる画素を中心としてブロックを想定し、次いで２パス目で前記トーンマップが作成されているブロックのうち前記想定ブロックと重複部分が生じるブロックを計算対象ブロックとし、各計算対象ブロックでの重複割合に応じて各計算ブロックごとに輝度を算出し、算出した各計算対象ブロックの輝度を加算することで対象となる画素の輝度とする。
２パス目の処理は１パス目の縦３ブロック分の計算結果があれば処理出来るため、２パス目は１パス目から縦２ブロック分の遅延で処理出来る。従って２パスを必要とするが、１パス目と２パス目を並行処理することで計算遅延は縦２ブロック分のみとなる。
【発明の効果】
【００１４】
本発明によれば、周辺ピクセルを参照することなく短時間で画像処理（明るさ調整）ができる。したがって、極端に暗い部分や明るい部分が混ざっている静止画やビデオ画像を、高速処理が可能な高性能ＣＰＵや高性能ＦＰＧＡを用いることなく、処理することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る画像処理方法を説明した図である。
【図２】ブロックごとに分割された画面の全体図と一部拡大図である。
【図３】（ａ）は均一化処理前のヒストグラム、（ｂ）は均一化処理後のヒストグラムである。
【図４】トーンマップの例を示す図である。
【図５】（ａ）は処理前の画像の例、（ｂ）は処理後の画像の例である。
【発明を実施するための形態】
【００１６】
以下に本発明の実施例を記載する。先ず、本発明の概略は図１に示すように、被写体を撮影した映像（動画のフレーム毎又は静止画）からピクセル（画素）単位の画像データを取り込み、取り込んだ画像データを特定の色空間に分解した後に画像を複数のブロックに分割し、各ブロックごとに輝度のヒストグラムを生成するとともにヒストグラムに基づいて各ブロックごとにトーンマップを生成し、このトーンマップに基づいて前記ピクセルごとの調整輝度を算出する。
本発明では複数の色空間を表現することができ、ＲＧＢ、ＹＣｂＣｒ、ＨＳＶ、Ｌａｂ、ＨＬＳを対象とする
【００１７】
明るさに関し、本発明にあっては画面をm×nの複数ブロック（0,0）〜（ｎ-1，ｍ-1）に分割し、ブロックごとのヒストグラムを得る。このヒストグラムに基づいてブロックごとのトーンマップを作成する。
【００１８】
ブロックごとのヒストグラムは先ず縦１つ分のブロックを得るようにする。具体的には図２に示すようにブロック（0,0）〜（0，ｍ-1）までのヒストグラムから１列分のトーンマップ、即ちブロック（0,0）〜（0，ｍ-1）のトーンマップを作成する。
【００１９】
このようにして縦２列分のブロック（0,0）〜（1，ｍ-1）のトーンマップを作成する。そして、この縦２列分のブロックのトーンマップの作成に遅延して（続いて）明るさの調整対象となるピクセルごとに明るさを調整し、それが終了したら、色合成を行って映像を出力する。
【００２０】
次に、ピクセルごとに明るさの調整を説明する。
図２に示すように、画像は複数のブロック（０,０）〜（ｎ-1，ｍ-1）に分割され、各ブロックには複数のピクセル（画素）が含まれている。
そして、本発明にあっては、各ブロックごとにトーンマップを作成する。
【００２１】
トーンマップの作成にあたっては、先ずヒストグラムの均一化を行う。
図３（ａ）は均一化処理前のヒストグラムであり、（ｂ）は均一化処理後のヒストグラムである。ヒストグラムの均一化を行うことで暗い部分のディテールがはっきりする。また、暗い部分に接している明るい部分についてはディテールを損なう。
【００２２】
暗い部分に接している明るい部分のディテールを損なうことを解消するため、従来は予め画像を走査して明るさの分布を検出し、エリアを分けてヒストグラムの均一化を行っている。しかしながら、エリアを分割するアルゴリズムは一般化が困難で複雑なアルゴリズムになり高速処理ができない。
【００２３】
本発明にあっては、複数のブロックごとにヒストグラムの均一化を行うが、ブロック間に跨るアルゴリズムの作成を行わず、計算を簡略化している。
即ち、各ブロックごとにヒストグラムの均一化を行った後に、各ブロックごとにトーンマップを作成する。
【００２４】
トーンマップの作成は図４に示すように、明るさを２５６段階（明るさ０が最も暗く、明るさ２５５が最も明るい）に分け、横軸を元の明るさ、縦軸をマップ後の明るさとし、マップ横軸の１の部分に、明るさ０のピクセル数×２５６／ブロック内の全ピクセル数をプロットし、マップ横軸の２の部分に、明るさ０〜１のピクセル数×２５６／ブロック内の全ピクセル数をプロットし、順次この操作を繰り返してトーンマップをブロックごとに作成する。
【００２５】
この作成したトーンマップに基づいて、全てのピクセル（画素）の輝度を調整する。
具体的には、図２の一部拡大図に示すように、輝度調整対象となるピクセルＰに着目し、このピクセルＰを中心としたブロックＢを想定する。この想定ブロックＢは前記画像を分割したブロック（0,0）〜（ｎ-1，ｍ-1）と同一形状とする。
【００２６】
前記想定ブロックＢを画像に重ねると、想定ブロックＢと画像を分割したブロックとは一部がオーバラップする。
図示例にあっては、ピクセルＰが属するブロック(mine)の周囲に８個のブロック(lu)、(uu)、(ru)、(ll)、(rr)、(ld)、(dd)、(rd)が存在し、ブロック(mine)およびこれら周囲のブロックのうちのブロック(lu)、(uu)、(ll)にオーバラップする。
【００２７】
そして、ピクセルＰの輝度を決定するには、前記オーバラップしたブロック(mine)、(lu)、(uu)、(ll)を計算対象ブロックとし、各計算対象ブロックにおけるオーバラップした部分の面積と計算対象ブロックの面積の比を求め、この比を各計算対象ブロックのトーンマップの明るさ（マップ後の明るさ）に乗じ、各計算対象ブロックごとに算出した乗算値を加えることでピクセルＰの調整輝度とする。
【００２８】
上記において、ピクセルは必ずブロック（0,0）〜（ｎ-1，ｍ-1）内に存在し、ブロックの境界線上に存在することはない。また、１つのブロック内にｘ×ｙ個のピクセルが存在する場合で、ｘ、ｙとも奇数の場合を除いてピクセルＰはブロックの中心点からずれている。したがって、この場合には必ず４つのブロックでオーバラップしている。
【００２９】
上記の処理は並列処理が可能である。即ち、画像を複数のブロック（0, 0）〜（ｎ-1，ｍ-1）に分割し、１行目のブロック（0, 0）〜（0，ｍ-1）のトーンマップ作成が終了し、２行目のブロック（1, 0）、（1, 1）までトーンマップ作成が終了すれば、ブロック（1,1）内に含まれるピクセルの輝度調整が可能となる。したがって、この時点からトーンマップ作成と輝度調整の２つの処理を並行して行う。
【００３０】
ところで、１行目のブロック（0, 0）〜（0，m-1）に含まれるピクセル、最終行のブロック（ｎ-1, 0）〜（ｎ-1，ｍ-1）に含まれるピクセル、最左列のブロック（0, 0）〜（ｎ-1, 0）に含まれるピクセル、最右列のブロック（0, ｍ-1）〜（ｎ-1，ｍ-1）に含まれるピクセルについては、周囲に８個のブロックが存在しないので、上記の計算ができない。
【００３１】
上記の端末ピクセルの処理として、本実施例では、ブロック（0, 0）内に存在するピクセルＰ１の輝度調整については、図２の想像線で示すように、ピクセルＰ１を中心として周囲に４つのブロック（0, 0）を想定し、これらのブロックのトーンマップに基づいてピクセルＰ１の輝度を調整する。この場合計算上は同じトーンマップを用いることになる。
【００３２】
また、ブロック（0, 1）内に存在するピクセルＰ２の輝度調整については、ピクセルＰ２を中心として周囲に４つのブロック（0, 1）、（0, 1）、（0, 2）、（0, 2）を想定し、これら４つのブロックのトーンマップに基づいてピクセルＰ２の輝度を調整する。
【００３３】
ブロック（0, 0）、（0, 1）に含まれるピクセルについては上記した計算を行う。同様に画面の周縁部のブロックに含まれるピクセルについても、隣接するブロックのトーンマップを利用して輝度調整を行う。
【００３４】
図５（ａ）は処理前の画像の例として、雪が降っている山の写真であり、全体がぼやけている。
【００３５】
図５（ｂ）は本発明方法によって（ａ）の画像を処理した後の画像であり、空中に電線が存在することが明白に分かる。したがって、ヘリコプターなどで霧の中を飛ぶのは極めて危険であるが、上記の映像をリアルタイム画像として把握できれば、安全性が大幅に向上する。
【産業上の利用可能性】
【００３６】
本発明に係る画像処理装置を使えば、多数の画素数からなるハイビジョンテレビ等の大画面であっても明るさ調整がなされた映像をリアルタイムで映し出すことができる。
【符号の説明】
【００３７】
Ｐ、Ｐ１、Ｐ２…ピクセル
Ｂ…想定ブロック
（0,0）〜（ｎ-1，ｍ-1）…画像を分割したブロック
(mine)…ピクセルＰが属するブロック
(lu)、(uu)、(ru)、(ll)、(rr)、(ld)、(dd)、(rd) …(mine)の周囲のブロック
【図１】
2014048995.tif 000003
【図２】
2014048995.tif 000004
【図４】
2014048995.tif 000005
【図３】
2014048995.tif 000006
【図５】
2014048995.tif 000007
【手続補正書】
【提出日】平成24年11月22日(2012.11.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像走査で画像の明るさを変換する画像処理方法であって、１パス目で取り込んだ画像を複数のブロックに分割し、複数に分割された各ブロックごとにヒストグラムの均一化を行うとともにトーンマップを作成し、輝度の算出対象となる画素を中心としてブロックを想定し、次いで２パス目で前記トーンマップが作成されているブロックのうち前記想定ブロックと重複部分が生じるブロックを計算対象ブロックとし、各計算対象ブロックでの重複割合に応じて各計算ブロックごとに輝度を算出し、算出した各計算対象ブロックの輝度を加算することで対象となる画素の輝度とするとともに、前記２パス目の処理の開始時点を縦２ブロック分の１パス目の処理が終了した時点とし、この後２パス目の処理を１パス目の処理に対し２ブロック分遅延して並行して行うことを特徴とする画像処理方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、監視カメラや室内の窓など同一画面内において極端に明るい部分と暗い部分が混在する画面、全体が極端に暗い画面や極端に明るい画面などのコントラストが低い画面を見やすい画面に変換する画像処理方法を提供する。