(57)【要約】【課題】バックライト制御などによる画像伸張時において、ディザリングによる階調飛びの抑制効果を改善した画像処理装置および画像処理方法を提供する。【解決手段】明度ヒストグラム生成部１１０が処理対象のフレームについて明度ヒストグラムを作成し、明度エラー数計数部１２０、明度エラー数閾値比較部１３０およびＢＬ輝度探索部１４０により、明度ヒストグラムとパネル特性に基づく明度エラー数閾値ErrThldに基づいて最大明度maxLを求め、これに応じて、ビット抽出部２１０が入力画像RGBinのビットを上位方向にシフトさせ、ディザリング部２２０が最下位のビットをディザリング処理し、減色部２３０で減色する。また最大明度maxLに基づく階調変換テーブルを用いて、減色部２３０の出力を階調変換部２４０が階調変換するようにしたものである。【選択図】      図１
2010262175.tif 000002
【特許請求の範囲】
【請求項１】
画像の伸張量に応じて、ビット表現した画素の各データを上位方向にビットシフトさせるシフト量を決定するシフト量決定手段と、
前記シフト量に応じて、前記画素の各データを上位方向にビットシフトさせるビットシフト手段と、
このビットシフト手段でビットシフトしたデータに基づいて、ディザリングを行うディザリング手段と、
このディザリング手段の出力に対して減色処理する減色手段とを具備したことを特徴とする画像処理装置。
【請求項２】
画像の伸張量と、表示パネルの最大輝度値とに基づいて、バックライト輝度を決定するバックライト輝度決定手段と、
前記伸張量に応じて、ビット表現した画素の各データを上位方向にビットシフトさせるシフト量を決定するシフト量決定手段と、
前記シフト量に応じて、前記画素の各データを上位方向にビットシフトさせるビットシフト手段と、
このビットシフト手段でビットシフトしたデータに基づいて、ディザリングを行うディザリング手段と、
このディザリング手段の出力に対して減色処理する減色手段とを具備したことを特徴とする画像処理装置。
【請求項３】
さらに、前記伸張量に応じて、前記減色手段の出力の階調を変換する階調変換手段を備えることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記階調変換手段は、前記シフト量決定手段が決定したシフト量に満たない分の前記伸張量に応じて、前記減色手段の出力の階調を変換することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項５】
入力画像を構成する画素の明度のヒストグラムに基づいて、明度の最大値を決定する明度決定手段と、
前記明度の最大値と、前記表示パネルの最大輝度値とに基づいて、バックライト輝度を決定するバックライト輝度決定手段と、
前記明度の最大値に応じて、ビット表現した前記画素の各データを上位方向にビットシフトさせるシフト量を決定するシフト量決定手段と、
前記シフト量に応じて、前記画素の各データを上位方向にビットシフトさせるビットシフト手段と、
このビットシフト手段でビットシフトしたデータに基づいて、ディザリングを行うディザリング手段と、
このディザリング手段の出力に対して減色処理する減色手段とを具備したことを特徴とする画像処理装置。
【請求項６】
さらに、前記明度の最大値に応じて、前記減色手段の出力の階調を変換する階調変換手段を備えることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記シフト量決定手段は、前記明度の最大値に応じた伸張量を求め、この伸張量に応じた前記シフト量を決定し、
前記階調変換手段は、前記シフト量決定手段が決定したシフト量に満たない分の前記伸張量に応じて、前記減色手段の出力の階調を変換することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
画像の伸張量に応じて、ビット表現した画素の各データを上位方向にビットシフトさせるシフト量を決定するシフト量決定工程と、
前記シフト量に応じて、前記画素の各データを上位方向にビットシフトさせるビットシフト工程と、
このビットシフト工程でビットシフトしたデータに基づいて、ディザリングを行うディザリング工程と、
このディザリング手段の出力に対して減色処理する減色工程とを具備したことを特徴とする画像処理方法。
【請求項９】
画像の伸張量と、表示パネルの最大輝度値とに基づいて、バックライト輝度を決定するバックライト輝度決定工程と、
前記伸張量に応じて、ビット表現した画素の各データを上位方向にビットシフトさせるシフト量を決定するシフト量決定工程と、
前記シフト量に応じて、前記画素の各データを上位方向にビットシフトさせるビットシフト工程と、
このビットシフト工程でビットシフトしたデータに基づいて、ディザリングを行うディザリング工程と、
このディザリング工程の出力に対して減色処理する減色工程とを具備したことを特徴とする画像処理方法。
【請求項１０】
入力画像を構成する画素の明度のヒストグラムに基づいて、明度の最大値を決定する明度決定工程と、
前記明度の最大値と、前記表示パネルの最大輝度値とに基づいて、バックライト輝度を決定するバックライト輝度決定工程と、
前記明度の最大値に応じて、ビット表現した前記画素の各データを上位方向にビットシフトさせるシフト量を決定するシフト量決定工程と、
前記シフト量に応じて、前記画素の各データを上位方向にビットシフトさせるビットシフト工程と、
このビットシフト工程でビットシフトしたデータに基づいて、ディザリングを行うディザリング工程と、
このディザリング工程の出力に対して減色処理する減色工程とを具備したことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、液晶などを用いた表示パネルに表示する画像の補正を行う画像処理装置に関する。
【背景技術】
【０００２】
周知のように、LCD(Liquid Crystal Display)などの表示パネルを用いた表示装置で用いられる従来の画像処理装置は、暗いシーンを表示する際には、明るいシーンを表示する際のバックライト輝度を基準にして、バックライトを暗くし、階調を高く補正することで画像の視覚的な明度を維持し、これにより低階調画像の階調性や色再現性を改善している（例えば、特許文献１参照）。このため、全体的に画像の階調が高階調側へシフトし、これにより階調ステップが粗くなり階調飛びが発生する。
【０００３】
一方、携帯電話などの小型パネルでは、入力画像が8bit階調(24bit)であるのに対してパネル性能が6bit階調と劣ることや、メモリサイズ、メモリ間転送負荷の制約から、入力画像に誤差拡散などのいわゆるディザリングを施し、RGB666(18bit)やRGB565(16bit)などに減色させて表示パネルに入力することで、減色による階調飛びを目立たなくしている。しかし、ディザリングを行った後でガンマ変換回路などで上位6bitが変化するような階調変換がされた場合、ディザリングの効果がなくなり階調飛びが発生してしまっていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２４９０８５
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の画像処理装置では、バックライト制御などによる画像伸張時には、ディザリングによる階調飛びの抑制効果が十分に期待できないという問題があった。  
この発明は上記の問題を解決すべくなされたもので、バックライト制御などによる画像伸張時において、ディザリングによる階調飛びの抑制効果を改善した画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、この発明は、画像の伸張量に応じて、ビット表現した画素の各データを上位方向にビットシフトさせるシフト量を決定するシフト量決定手段と、シフト量に応じて、画素の各データを上位方向にビットシフトさせるビットシフト手段と、このビットシフト手段でビットシフトしたデータに基づいて、ディザリングを行うディザリング手段と、このディザリング手段の出力に対して減色処理する減色手段とを具備して構成するようにした。
【発明の効果】
【０００７】
以上述べたように、この発明では、画像の伸張量に応じて、ビット表現した画素の各データを上位方向にビットシフトさせ、このビットシフトしたデータに基づいて、ディザリングを行い、さらに減色処理を行うようにしている。
【０００８】
したがって、この発明によれば、画像の伸張量に応じたビット数だけ、画素のデータを上位方向にビットシフトさせてから、ディザリング処理を行うようにしているので、ディザリングによる階調飛びの抑制効果を改善した画像処理装置および画像処理方法を提供できる。
【図面の簡単な説明】
【０００９】
【図１】この発明に係わる画像処理装置の一実施形態の構成を示す回路ブロック図。
【図２】図１に示した画像処理装置の明度ヒストグラム生成部が生成したヒストグラムの一例を示す図。
【図３】図１に示した画像処理装置の階調変換テーブル作成部が作成した階調変換テーブルの特性の一例を示す図。
【図４】図１に示した画像処理装置のディザリング部によりディザリング処理を説明するための図。
【図５】図１に示した画像処理装置によるビットシフトを説明するための図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、この発明の一実施形態について説明する。  
図１は、この発明の一実施形態に係わる画像処理装置の構成を示すものである。この画像処理装置は、フレーム単位処理部１００と画素単位処理部２００とを備える。フレーム単位処理部１００は、入力画像RGBin（RGB888）をフレーム単位で処理するものであって、一方、画素単位処理部２００は、フレームを構成する画素単位で処理を行う。なお、以下の説明では、RGBxyzと表記する場合、R、G、Bの各画素のデータが、それぞれxビット、yビット、zビットで構成されることを示している。
【００１１】
フレーム単位処理部１００は、明度ヒストグラム生成部１１０と、明度エラー数計数部１２０と、明度エラー数閾値比較部１３０と、ＢＬ（バックライト）輝度探索部１４０と、バックライト調光部１５０と、階調変換テーブル作成部１６０と、階調変換テーブル記憶部１７０とを備える。画素単位処理部２００は、ビット抽出部２１０と、ディザリング部２２０と、減色部２３０と、階調変換部２４０とを備える。
【００１２】
明度ヒストグラム生成部１１０は、入力画像RGBinに基づいて、図２に例示するように、各フレームについて明度のヒストグラムhistoLを作成する。具体的には、フレームを構成する画素の明度を、下式（１）に基づいて、明度レベルL毎にカウントすることで、明度ヒストグラムhistoLを生成する。
【数１】
2010262175.tif 000003
【００１３】
ここで、各画素ごとに用いる明度Ｌは、下式（２）のように、RGBinの各画素のR、G、Bのうち、最大の値である。
【数２】
2010262175.tif 000004
【００１４】
明度エラー数計数部１２０は、後述するＢＬ輝度探索部１４０から与えられた探索階調閾値L-Thldと、明度ヒストグラム生成部１１０が求めた明度ヒストグラムhistoLとに基づいて、下式（３）にしたがって、探索階調閾値L-Thld以上の度数を求め、これを明度エラー数ErrLとして出力する。
【数３】
2010262175.tif 000005
【００１５】
明度エラー数閾値比較部１３０は、明度エラー数計数部１２０が求めた明度エラー数ErrLを、予め設定した明度エラー数閾値ErrThldと比較し、明度エラー数ErrLが明度エラー数閾値ErrThldより大きいか否かを判定する。ここで、明度エラー数ErrLが明度エラー数閾値ErrThldより大きい場合には、判定結果として「１」を出力し、一方、明度エラー数ErrLが明度エラー数閾値ErrThld以下の場合には、判定結果として「０」を出力する。
【００１６】
ここで、明度エラー数閾値ErrThldは、明部の画質と暗部の画質のバランスに応じて設定した値である。例えば、小さいに設定した場合は、明部の階調が維持でき、一方、大きい値に設定した場合は、低消費電化、暗部の階調と色再現性の向上が期待できる。このため、明度エラー数閾値ErrThldは、画質や消費電力のうち、どちらを重視するかで予め設定される。また、明度エラーは、階調が維持できない状態を示している。
【００１７】
ＢＬ輝度探索部１４０は、探索階調閾値L-Thldを明度エラー数計数部１２０に対して設定する。探索階調閾値L-Thldの初期値は、255であり、明度エラー数閾値比較部１３０が出力する判定結果が「１」となるまで、1ずつ小さくして、明度エラー数計数部１２０に探索階調閾値L-Thldを設定する処理を繰り返す。やがて、上記判定結果が「１」となった時点で、ＢＬ輝度探索部１４０は、その時の探索階調閾値L-Thldを最大明度maxLとして、階調変換テーブル作成部１６０に出力する。
【００１８】
そして、ＢＬ輝度探索部１４０は、最大明度maxLに基づいて、上記ディスプレイのバックライトの輝度値BLを決定し、この輝度値BLをバックライト調光部１５０に通知する。上記輝度値BLは、下式（４）にしたがって求める。式（４）において、BLmaxは、上記ディスプレイのバックライト輝度の最大値である。またγは、上記ディスプレイのパネルの特性であり、一般的にはブラウン管の特性に倣って2.2とする。
【数４】
2010262175.tif 000006
【００１９】
なお、フレームの明部の画質と暗部の画質のバランスに応じて設定される明度エラー数閾値ErrThldが小さいほど、明部の階調を維持できる。しかし、バックライト輝度を下げると低消費電力化と暗部の階調と色再現性の改善が期待でき、また画像中にはノイズも含まれていることから、明度エラー数閾値ErrThldは０ではなく、例えば全画素数の10%程度に設定する。
【００２０】
バックライト調光部１５０は、ＢＬ輝度探索部１４０から通知された輝度値BLに基づいて、上記ディスプレイのバックライトの輝度を制御する。  
階調変換テーブル作成部１６０は、バックライト輝度の変更前後で表示画像の明るさを維持するために、最大明度maxLに基づいて、入力画像RGBin（RGB888）のビットシフト数shiftLを求めるとともに、階調変換テーブルLUTを作成する。この階調変換テーブルLUTは、階調変換テーブル記憶部１７０に記録される。
【００２１】
具体的には、階調変換テーブル作成部１６０は、最大明度maxLの逆数を画像の伸張量とし、この伸張量を、ビットシフト数shiftLと伸張ゲインgainLに分離する。下式に示すように、ビットシフト数shiftLは、ビット単位（２倍単位）の伸張量であり、伸張ゲインgainLは、２倍未満の伸張量を示している。なお、INT(x)は、xを越えない最大の整数値である。また伸張量は、画素値を何倍にするかを示す値である。
【数５】
2010262175.tif 000007
【００２２】
例えば、最大明度maxLが100であったとすると、階調変換テーブル作成部１６０は、ビットシフト数shiftL=1と、伸張ゲインgainL=1.275を求める。この場合、伸張ゲインgainLが1.275であることから、階調変換テーブル作成部１６０は、図３に示すような階調変換テーブルLUTを作成する。すなわち、伸張ゲインgainL=1.275の場合、入力画像のRGB値が200以上は、最大値255となる階調変換テーブルLUTを作成する。
【００２３】
ビット抽出部２１０は、入力画像RGBin（RGB888）の各画素のRGB値を、それぞれビットシフト数shiftLだけ左方向に（下位ビットを上位ビット方向へ）ビットシフトさせ、シフト後の画像shiftRGBを得る。例えば、ビットシフト数shiftL=1（伸張ゲインが２倍）の場合、１ビットだけ左方向にシフトさせて、入力画像RGBin（RGB888）は、シフト後画像shiftRGB（RGB777）となる。
【００２４】
ディザリング部２２０は、ビット抽出部２１０の出力（シフト後画像shiftRGB）のR、G、Bの各画素のデータに対して、ディザリング処理を施すものであって、例えばラスタスキャン順に、フレームを構成する画素を選択し、画素毎にディザリング処理を施す。ここでは、ディザリング処理の手法として、誤差拡散を採用する場合を例に挙げることにする。
【００２５】
ディザリング部２２０は、拡散値加算部２２１と、拡散ビット抽出部２２２と、拡散値保持ラインバッファ２２３とを備える。拡散値保持ラインバッファ２２３は、フレームを構成する画素毎に、拡散値を保持するバッファを備えている。
【００２６】
拡散値加算部２２１は、拡散値保持ラインバッファ２２３のバッファのうち、処理対象の画素に対応するバッファから、処理対象の画素よりも前のディザリング処理で得られた拡散値を読み出し、処理対象の画素の値（シフト後画像shiftRGBの対応する画素の値）に加算する。これにより、ditherRGB（RGB888）が得られる。
【００２７】
なお、ディザリング（ラスタスキャン）の初期においては、拡散値が得られていないため、初期値を用いる。拡散値保持ラインバッファ２２３は、処理対象となるフレームが切り替わる際に、初期値０に初期化される。
【００２８】
拡散ビット抽出部２２２は、処理対象の画素について、拡散値加算部２２１の出力（ditherRGB）から後段の減色部（減色メモリ）２３０による減色処理で削減される下位ビットを抽出し、この下位ビットに相当する拡散値を、処理対象の画素の周囲の画素に対応する拡散値保持ラインバッファ２２３のバッファに累積加算して記録する。
【００２９】
例えば、図４に示すように、処理対象の画素の値が、31（=28+3）であった場合には、下位２ビットに相当する3が抽出され、この値が周囲の画素に対応するバッファに振り分けられて、累積的に記録される。振り分けパターンは、図４の例に限らず、種々のパターンが考えられる。このようにしてバッファに記憶された値は、拡散値として、拡散値加算部２２１が用いる。
【００３０】
減色部２３０は、拡散値加算部２２１から出力されるditherRGB（RGB888）のうち、上位の６ビットを記憶する減色メモリで構成される。これにより、減色部２３０から読み出される画素の値は、６ビットとなる。以下、変換前RGBout（RGB666）と称する。
【００３１】
階調変換部２４０は、階調変換テーブル記憶部１７０が記憶する階調変換テーブルLUTを用いて、下式（６）に基づき、変換前RGBout（RGB666）の画素値を変換する。
【数６】
2010262175.tif 000008
【００３２】
以上のように、上記構成の画像処理装置では、入力画像RGBinの明度ヒストグラムとディスプレイパネルの特性に基づいて決定した最大明度maxLに応じて、入力画像RGBinのビットを上位方向にシフトさせ、そのうち、最下位のビットをディザリング処理し、その後、減色処理を行うようにしている。
【００３３】
したがって、上記構成の画像処理装置によれば、入力画像RGBinのビットが最大明度maxLに応じて上位方向にシフトされるので、図５に示すように、従来の処理では、減色処理で廃棄されていた下位ビットが廃棄されず、ディザリング処理で利用されることになる。このため、バックライト制御などによる画像伸張に伴うディザリング処理において、階調飛びの抑制効果を改善することができる。
【００３４】
また上記構成の画像処理装置では、ビット単位のシフトで反映させられないビット単位未満の伸張量については、この伸張量に応じた階調変換テーブルを階調変換テーブル作成部１６０が作成しておき、このテーブルに基づいて、階調変換部２４０が減色処理出力（変換前RGBout（RGB666））を階調変換するようにしている。したがって、伸張量が2.5倍の場合ビット単位のシフトはビットシフト数ShiftL=1で、テーブルでは1.25倍の階調に変換することになる。
【００３５】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【００３６】
例えば、上記実施の形態では、画像の伸張量として、階調変換テーブル作成部１６０が最大明度maxLの逆数を求めるようにしているが、これに限定されるものではない。例えば、図示しないユーザインタフェースを通じて、ユーザが画像の画素値を何倍にするか（すなわち上記伸張量）を設定するようにしてもよいし、あるいは、画素の明度の平均値を求め、これに基づいて上記伸張量を決定するようにしてもよい。
【００３７】
そして、上記実施の形態では、最大明度maxLを求めて、これとディスプレイのバックライト輝度の最大値とに基づいてバックライト輝度を決定するものとして説明したが、これに代わって、上述したような伸張量とディスプレイのバックライト輝度の最大値と基づいて、バックライト輝度を決定するようにしてもよい。またバックライト輝度を固定値とする場合にも、本発明は適用することができる。
【符号の説明】
【００３８】
１００…フレーム単位処理部、１１０…明度ヒストグラム生成部、１２０…明度エラー数計数部、１３０…明度エラー数閾値比較部、１４０…ＢＬ輝度探索部、１５０…バックライト調光部、１６０…階調変換テーブル作成部、１７０…階調変換テーブル記憶部、２００…画素単位処理部、２１０…ビット抽出部、２２０…ディザリング部、２２１…拡散値加算部、２２２…拡散ビット抽出部、２２３…拡散値保持ラインバッファ、２３０…減色部、２４０…階調変換部。
【図１】
2010262175.tif 000009
【図２】
2010262175.tif 000010
【図３】
2010262175.tif 000011
【図４】
2010262175.tif 000012
【図５】
2010262175.tif 000013