(57)【要約】【課題】本発明は、回路規模の拡大を抑えつつ、輝度変換処理の自己診断機能を実現することが可能な画像処理回路を提供することを目的とする。【解決手段】本発明に係る画像処理回路は、入力画像を複数のエリアに分割した上で各エリア毎の輝度ヒストグラムに基づく輝度変換係数を算出し、これに応じた輝度変換処理を入力画像に施して所望の出力画像を生成する画像処理回路であって、入力画像として所定のテストデータを入力したときに出力画像として得られる実際の出力データと所定の期待値データとの一致／不一致を判定することで、輝度変換処理の正否を自己診断する自己診断回路１５を有して成り、かつ、自己診断回路１５は、１エリア分或いはより小さい領域分のテストデータ及び期待値データのみを保持しており、輝度変換処理の正否を自己診断するに際して、テストデータ及び期待値データを繰り返し用いる構成とされている。【選択図】図８
2008136198.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を複数のエリアに分割した上で、各エリア毎の輝度ヒストグラムに基づく輝度変換係数を算出し、前記入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施すことにより、所望の出力画像を生成する画像処理回路であって、
前記入力画像として所定のテストデータを入力したときに前記出力画像として得られる実際の出力データと所定の期待値データとの一致／不一致を判定することで、輝度変換処理の正否を自己診断する自己診断回路を有して成り、かつ、
前記自己診断回路は、１エリア分、或いは、これより小さい領域分のテストデータ及び期待値データのみを保持しており、輝度変換処理の正否を自己診断するに際して、前記テストデータ及び前記期待値データを繰り返し用いることを特徴とする画像処理回路。
【請求項２】
前記テストデータは、前記入力画像を構成する各画素が取り得る最小の輝度値から最大の輝度値まで、各々の輝度値を有する画素を最低１つずつ含むものであることを特徴とする請求項１に記載の画像処理回路。
【請求項３】
請求項１または請求項２に記載の画像処理回路を集積化して成る半導体装置。
【請求項４】
請求項３に記載の半導体装置と、被写体の光学像を結像させ、該被写体の撮像を行う撮像手段と、を有して成り、前記入力画像は、該撮像により得られた画像であることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置に関するものである。
【背景技術】
【０００２】
従来より、入力画像をより美しく見せるための画像処理の一つとして、輝度変換処理が一般に用いられている。この輝度変換処理は、例えば、画像全体における輝度ヒストグラムに基づいて、画像領域全体に共通の輝度変換係数を算出し、各画素にこの輝度変換係数を乗じることで輝度変換を行うものである。
【０００３】
より具体的には、まず入力画像の全体を対象とした輝度ヒストグラム（各輝度範囲の頻度、すなわち、所定の輝度範囲毎に属する画素数の分布）を求める。そして、この輝度ヒストグラムに基づき、入力画像における各輝度範囲について、頻度の高いものほど出力画像においては広い輝度範囲を割り当てるように、逆に、頻度の低いものほど出力画像においては狭い輝度範囲を割り当てるように、輝度変換係数を算出するものである。従って、上記の輝度変換係数は、輝度毎に、或いは、所定の輝度範囲毎に、別個の値となる。
【０００４】
これにより、入力画像において頻度の低い輝度範囲の部分については、よりコントラスト（輝度差）が曖昧となってしまうものの、逆に、入力画像において頻度の高い輝度範囲の部分については、よりコントラストが明瞭となる。そのため、画像全体として見てみると、入力時よりもコントラストを明瞭とすることが可能となる。
【０００５】
なお、上記に関連する従来技術としては、特許文献１〜４などを挙げることができる。
【特許文献１】特表２００４−５３０３６８号公報
【特許文献２】特開２０００−０１３６２５号公報
【特許文献３】特開２０００−０３６０４３号公報
【特許文献４】特開２００４−１４５３９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、画像全体の輝度ヒストグラムから画像全体に共通の輝度変換係数を算出する方法によれば、頻度の低い輝度範囲の部分については一律にコントラストが曖昧となってしまう。しかし、画像中において頻度の低い輝度範囲に係る部分であっても、かかる部分に良好な（より明瞭な）コントラストが要求される場合もある。このような場合、上述した従来の輝度変換処理を行うものでは、かかる要求に対応することが難しい。
【０００７】
一例を挙げると、画像全体の大部分は輝度が低めとなっているが、画像中の一部分に高い輝度の画素が集中しており、この一部分が画像において重要な部分となっている場合等がある。
【０００８】
かかる場合、上記の一部分については、より明瞭なコントラストが要求されるにも関わらず、画像全体として見た場合に、当該一部分に係る輝度範囲の頻度が低いことから、出力画像において、より狭い輝度範囲が割り当てられる結果となるので、良好なコントラストを得るのは難しい。
【０００９】
また、上記従来の画像処理装置には、自己診断用のテストデータと、これに対する輝度変換処理の結果として出力されるべき期待値データと、を予め装置内部に格納しておき、上記のテストデータを入力したときに得られる実際の出力データと上記の期待値データとの一致／不一致を判定することにより、輝度変換処理の正否を自己診断する自己診断回路（いわゆるＢＩＳＴ［Built In Self Test］回路）を搭載して成るものもある。
【００１０】
しかしながら、上記従来の画像処理装置は、先述した通り、入力画像の輝度変換処理に際して、入力画像全体の輝度ヒストグラムから画像全体に共通の輝度変換係数を算出する構成とされていたので、当該装置で取り扱う画像サイズが大きいほど、テストデータ及び期待値データが膨大になり、装置の規模（テストデータ及び期待値データを格納するためのメモリサイズ）が大きくなって、ＢＩＳＴ回路を搭載できなくなるおそれがあった。
【００１１】
本発明は、上記の問題点に鑑み、回路規模の拡大を抑えつつ、輝度変換処理の自己診断機能を実現することが可能な画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明に係る画像処理回路は、入力画像を複数のエリアに分割した上で、各エリア毎の輝度ヒストグラムに基づく輝度変換係数を算出し、前記入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施すことにより、所望の出力画像を生成する画像処理回路であって、前記入力画像として所定のテストデータを入力したときに前記出力画像として得られる実際の出力データと所定の期待値データとの一致／不一致を判定することで、輝度変換処理の正否を自己診断する自己診断回路を有して成り、かつ、前記自己診断回路は、１エリア分、或いは、これより小さい領域分のテストデータ及び期待値データのみを保持しており、輝度変換処理の正否を自己診断するに際して、前記テストデータ及び前記期待値データを繰り返し用いる構成（第１の構成）とされている。
【００１３】
このように、画像処理回路における輝度変換処理の内容に注目し、テストデータ及び期待値データを繰り返し使用する構成とすることにより、テストデータ及び期待値データのデータ量を削減することができるので、回路規模の拡大を抑えつつ、輝度変換処理の自己診断機能を実現することが可能となる。
【００１４】
また、上記第１の構成から成る画像処理回路において、前記テストデータは、前記入力画像を構成する各画素が取り得る最小の輝度値から最大の輝度値まで、各々の輝度値を有する画素を最低１つずつ含むものである構成（第２の構成）にするとよい。
【００１５】
このような構成とすることにより、テストデータのデータ量を最小限に抑えつつ、輝度変換処理の正否を確実に診断することが可能となる。
【００１６】
また、本発明に係る半導体装置は、上記第１または第２の構成から成る画像処理回路を集積化して成る構成（第３の構成）とされている。
【００１７】
また、本発明に係る画像処理装置は、上記第３の構成から成る半導体装置と、被写体の光学像を結像させ、該被写体の撮像を行う撮像手段と、を有して成り、前記入力画像は、該撮像により得られた画像である構成（第４の構成）にするとよい。このような構成とすれば、上記いずれかの構成により得られる利益を享受しつつ、被写体の撮像を行うことが可能となる。
【００１８】
なお、より具体的に述べると、上記第１または第２の構成から成る画像処理回路は、前記入力画像の領域を複数のエリアに分割する分割手段と、前記エリア毎の輝度ヒストグラムを算出するヒストグラム算出手段と、を有して成り、前記輝度変換係数は、前記輝度ヒストグラムに基づいて定められる構成（第５の構成）にするとよい。
【００１９】
また、上記した第５の構成から成る画像処理回路は、前記ヒストグラム算出手段の算出結果に基づいて、前記エリア毎に定まるエリア別変換係数を算出する第１算出手段を有して成り、前記輝度変換係数は、前記エリア別変換係数に基づいて定められる構成（第６の構成）にするとよい。
【００２０】
本構成によれば、エリア毎に算出された輝度ヒストグラムに基づいて、輝度変換係数が定められる。そのため、仮に画像全体に比べて輝度差の大きい箇所が部分的に存在していても、その部分は、その部分が属するエリアのヒストグラムに基づいて定められた輝度変換係数に応じて、輝度変換がなされることとなる。その結果、例えば、画像全体の輝度ヒストグラムに基づいて輝度変換係数が定められるもの等に比べて、当該部分についても良好なコントラストを得ることができる。
【００２１】
なお「輝度変換係数」および「エリア別変換係数」は、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これには限定されない。
【００２２】
また、上記第６の構成から成る画像処理回路は、前記エリア別変換係数について、画像空間におけるローパスフィルタを施すフィルタ手段を有して成る構成（第７の構成）にするとよい。
【００２３】
エリア別変換係数は、該エリア内の輝度ヒストグラムに基づいて算出され、他のエリアに係る輝度情報は基本的には考慮されないため、エリア同士の境界部分において、輝度の差が目立つ場合がある。そこで、本構成のように、エリア別変換係数について画像空間におけるローパスフィルタを施すようにすることにより、かかる輝度の差を軽減させることが可能となる。
【００２４】
また、上記第７の構成から成る画像処理回路において、前記フィルタ手段は、ある注目エリアについて前記フィルタを施すときには、該注目エリア周辺の所定範囲に存在するエリアの前記エリア別変換係数を用いるものである一方、該所定範囲の少なくとも一部が前記画像の領域からはみ出すときは、該はみ出す部分に所定の仮想係数を割り当て、該仮想係数を前記エリア別変換係数と仮定して前記ローパスフィルタを施す構成（第８の構成）にするとよい。
【００２５】
本構成によれば、画像領域の外縁付近に位置するエリアについてフィルタ処理を施すときであっても、画像領域をはみ出した部分に割り当てた仮想係数をエリア別変換係数と仮定することにより、通常通りのフィルタ処理を行うことが可能となる。なお「仮想係数」はかかる目的を達成できるように、エリア別変換係数と同様の形式をとるものである。
【００２６】
また、上記第６〜第８いずれかの構成から成る画像処理回路は、前記エリア別変換係数に基づいて、前記画素毎に定まる画素別変換係数を算出する第２算出手段を有して成り、該第２算出手段は、前記エリア同士の境界における輝度の差がより小さくなるように、画素別変換係数を算出するものであり、前記輝度変換係数は、該画素別変換係数に基づいて定められる構成（第９の構成）にするとよい。
【００２７】
エリア別変換係数は、エリア毎に一律に定められる（エリア内の画素同士では共通である）ため、依然としてエリア同士の境界における輝度の差が目立ってしまうことが考えられる。そこで、本構成では、エリア別変換係数に基づいて、エリア同士の境界における輝度の差がより小さくなるように、画素別変換係数が算出される。そして、輝度変換係数がこの画素別変換係数に基づいて定められるので、エリア同士の境界における輝度の差がより抑制された画素を出力することが容易となる。
【００２８】
なお、「画素別変換係数」も、「輝度変換係数」や「エリア別変換係数」と同様に、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これに限定されるものではない。
【００２９】
また、上記第６〜第９いずれかの構成から成る画像処理回路は、前記エリア別変換係数に基づいて、前記画素毎に定まる画素別変換係数を算出する第２算出手段を有して成り、前記輝度変換係数は、該画素別変換係数に基づいて定められるものであって、該第２算出手段は、ある注目画素の画素別変換係数を算出するにあたり、該注目画素近傍の４エリアを選出し、これらのエリアの各々における略中心の４点に着目したバイリニア演算処理を行う構成（第１０の構成）にするとよい。
【００３０】
本構成によれば、エリア別変換係数に基づいて、エリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。これにより、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。
【００３１】
なお、ここでの「注目画素近傍の４エリア」とは、図７に示すように、ある頂点を共有する４個のエリアであって、各エリアの略中心同士を結んでできる四辺形の内部に、注目画素が位置する関係となるものを指す。
【００３２】
また、上記第１、第２、第６〜第１０いずれかの構成から成る画像処理装置は、動画における各フレームを前記入力画像とするものであり、第ｎ番目のフレームに対する前記輝度変換処理は、第（ｎ−１）番目のフレームの内容に基づいて定められた前記輝度変換係数に応じてなされる構成（第１１の構成）にするとよい。
【００３３】
本構成では、第ｎ番目のフレームに対して、第（ｎ−１）番目のフレームに対応した輝度変換係数を用いた輝度変換処理を行うようにしているから、第ｎ番目の輝度変換係数の算出を待たずに、第ｎ番目の輝度変換処理および画像出力を実現することが可能となる。その結果、入力画像に輝度変換処理を施したものをより早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。
【発明の効果】
【００３４】
上記したように、本発明に係る画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置であれば、輝度変換処理の自己診断を行うに際して、テストデータ及び期待値データのデータ量を削減することができるので、回路規模の拡大を抑えつつ、輝度変換処理の自己診断機能を実現することが可能となる。
【００３５】
また、本発明に係る画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置であれば、エリア毎に算出された輝度ヒストグラムに基づいて、輝度変換係数が定められる。そのため、仮に画像全体に比べて輝度差の大きい箇所が部分的に存在していても、その部分は、その部分が属するエリアの輝度ヒストグラムに基づいて定められた輝度変換係数に応じて、輝度変換がなされることとなる。
【００３６】
その結果、例えば、画像全体の輝度ヒストグラムに基づいて輝度変換係数が定められるもの等に比べて、当該部分についても良好なコントラストを得ることができる。
【発明を実施するための最良の形態】
【００３７】
以下では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置に本発明を適用した場合を例に挙げて、詳細な説明を行う。
【００３８】
まず、本発明に係る画像処理装置の第１実施形態について詳細に説明する。
【００３９】
図１は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。
【００４０】
本図に示すように、本実施形態の画像処理装置１は、撮像部１０と、輝度変換処理部１１と、輝度変換係数算出部１２と、輝度変換係数記憶部１３と、出力部１４と、を有して成る。
【００４１】
撮像部１０は、所定のレンズや撮像素子（例えば、ＣＭＯＳ［Complementary Metal-Oxide Semiconductor］センサやＣＣＤ［Charge Coupled Devices］センサ）等を備えており、被写体の光学像を結像させることで被写体の撮像処理（例えば３０フレーム毎秒の動画撮像）を行う。なお、各フレームに係る画像データは、輝度変換処理部１１及び輝度変換係数算出部１２に逐次出力される。
【００４２】
輝度変換処理部１１は、撮像部１０から入力される各フレーム毎の画像データ（入力画像）に対し、輝度変換処理を施して出力する。なお、この輝度変換処理は、入力画像における各画素の輝度を、輝度変換係数記憶部１３に記憶されている輝度変換係数に応じて変換することにより行われる。
【００４３】
輝度変換係数算出部１２は、撮像部１０から入力される各フレーム毎の画像データ（入力画像）に基づいて、輝度変換処理に用いられる輝度変換係数を算出する。なお、輝度変換係数の内容及び輝度変換係数の算出方法については、後に改めて説明する。
【００４４】
輝度変換係数記憶部１３は、輝度変換係数算出部１２によって算出された輝度変換係数を、少なくとも次のフレームに係る輝度変換処理が実行されるまで記憶する。なお、この記憶内容は、輝度変換処理部１１における輝度変換処理において用いられることとなる。
【００４５】
出力部１４は、ＬＣＤ［Liquid Crystal Display］等のディスプレイ（例えば車載モニタ）を備えており、輝度変換処理部１１によって輝度変換処理のなされた出力画像を逐次表示する。
【００４６】
上記構成から成る画像処理装置１は、動画撮像により得られた入力画像に輝度変換係数に基づいた輝度変換処理を施して、これをディスプレイ表示する。
【００４７】
なお、上記構成要素のうち、輝度変換処理部１１、輝度変換係数算出部１２、及び、輝度変換係数記憶部１３については、半導体装置に集積化するとよい。
【００４８】
次に、画像処理装置１における画像処理の全体的な流れについて、図２を参照しながら説明する。
【００４９】
図２は、画像処理装置１における画像処理の全体的な流れを説明するための図である。
【００５０】
本図に示すように、第ｎ番目のフレームに係る入力画像が到来すると、輝度変換係数算出部１２は、入力画像に基づいて、輝度変換係数の算出を行う。これにより、第ｎ番目のフレームに基づいて定められる輝度変換係数が得られ、これが輝度変換係数記憶部１３に一旦格納される。
【００５１】
一方、輝度変換処理部１１は、到来した第ｎ番目のフレームに係る入力画像に対し、既に輝度変換係数記憶部１３に格納されている第（ｎ−１）番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を施す。
【００５２】
より具体的には、ｎ番目のフレームにおける座標（ｉ，ｊ）の画素について、輝度変換処理前の輝度をＩｉｊ（ｎ）、輝度変換処理後の輝度をＯｉｊ（ｎ）とし、（ｎ−１）番目のフレームに基づいて、座標（ｉ，ｊ）の画素に対して定められた輝度変換係数をＴｉｊ（ｎ−１）とすると、各フレームの各画素に係る輝度は、下記の（１）式に基づいて、変換処理される。そして、輝度変換処理部１１にて輝度変換処理のなされた出力画像は、出力部１４を通じて出力される。
【００５３】
Ｏｉｊ（ｎ）＝Ｔｉｊ（ｎ−１）×Ｉｉｊ（ｎ）    ・・・（１）
このように、本実施形態の画像処理装置１は、第ｎ番目のフレームに係る入力画像に対しては、第（ｎ−１）番目のフレームに基づいて定められる輝度変換係数を用いて輝度変換処理を行う構成とされている。そのため、第ｎ番目の輝度変換係数の算出を待たずに、第ｎ番目の輝度変換処理および画像出力を実行することが可能となる。その結果、入力画像に輝度変換処理を施したものを極力早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。
【００５４】
なお、第ｎ番目のフレームに係る入力画像に対して、第（ｎ−２）番目以前のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うことも可能ではあるが、あまり古いフレームに基づいた輝度変換係数を用いた場合、変換処理の精度が問題となることに注意を要する。この問題は、特に、動きの大きい動画である場合に顕著となる。また、例えば、入力画像として静止画を扱う場合等においては、第ｎ番目のフレームに係る入力画像に対して、第ｎ番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うようにしても良い。
【００５５】
次に、輝度変換係数の算出処理の内容について、図３のフローチャートを参照しながら説明する。
【００５６】
図３は、画像処理装置１における輝度変換係数の算出処理を説明するためのフローチャートである。
【００５７】
まず、１フレーム分の入力画像に対して、エリア分割を行う（ステップＳ１１）。
【００５８】
図４は、画像処理装置１におけるエリア分割の態様を説明するための図である。
【００５９】
なお、図４の例では、１フレームが縦４０×横６４（＝２５６０）の画素から構成されているものとし、１エリアは８×８画素分の大きさとする。従って、エリアの総数は、縦５エリア×横８エリア＝４０エリアとなる。また、各エリアについては、左上から順に、Ａ０、Ａ１、・・・、Ａｎ、・・・、Ａ３９と称することにする。
【００６０】
エリア分割が完了したら、次に、エリア別変換係数の算出を行う（図３のステップＳ１２）。このエリア別変換係数は、エリア毎に決定されるものであり、エリア内の各画素に共通となる。
【００６１】
なお、エリア別変換係数の算出方法については、フレーム全体を対象とする変換係数の算出方法と同様であるため、ここでは詳細な説明を割愛するが、フレーム全体の輝度ヒストグラムではなく、エリア毎の輝度ヒストグラム（各輝度または各輝度範囲に属する画素の出現頻度）が算出された後、当該エリア毎の輝度ヒストグラムに基づいて変換係数が算出される、という点で従来構成とは異なっている。このようにして算出されたエリア別変換係数によれば、分割された各エリアにつき、入力画像において高頻度な輝度範囲であるほど、出力画像において広い輝度範囲が割り当てられることとなる。
【００６２】
図３のステップＳ１２では、画像領域内の全エリアについて、エリア別変換係数が算出される。すなわち、各々のエリア毎に、固有のエリア別変換係数が定まることとなる。そして、エリア別変換係数をそのまま輝度変換係数として採用し、入力画像の輝度変換処理を実行するものとしても良い。これにより、画像全体に比べて輝度差の大きい箇所が部分的に存在していても、当該部分を含めた良好なコントラストを得ることが可能となる。
【００６３】
ただし、エリア別変換係数は、そのエリアの外、すなわち、他のエリアに係る輝度情報は基本的に考慮されない。そのため、エリア同士の境界部分では、輝度の差が目立ち（輝度の分布が高周波となり）、滑らかさの点において良好とはいえない画像が出力されるおそれがある。そこで、本実施形態では、各エリアについて算出されたエリア別変換係数に対し、フィルタ処理等を行うこととする。この処理の内容について具体的に説明する。
【００６４】
まず、フィルタ処理等の実行に先立ち、画像領域の外部に上述したエリアと同規模の仮想エリアを設定する。
【００６５】
図５は、仮想エリア（図中のＡ４０〜Ａ６９）が設定された状態を説明するための図である。
【００６６】
そして、これらの仮想エリアＡ４０〜Ａ６９に対して、仮想のエリア別変換係数（以下では、仮想係数と呼ぶ）を設定する（図３のステップＳ１３）。なお、この仮想係数は、後述する通り、画像領域の外縁付近のエリアに対しても、通常通りフィルタ処理を実行し得るようにするためのものである。
【００６７】
上記の仮想係数は、仮想エリアに隣り合う各エリア（画像領域の外縁に位置する各エリア）を基準として、当該仮想エリアと対称位置に存在するエリアのエリア別変換係数を参照して設定される。例えば、Ａ４１はＡ０に対してＡ８と対称であるから、Ａ４１の仮想係数は、Ａ８のエリア別変換係数と同値とする。同様に、Ａ４２はＡ１に対してＡ９と対称であるから、Ａ４２の仮想係数は、Ａ９のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０はＡ０に対してＡ９と対称であるから、Ａ４０の仮想係数は、Ａ９のエリア別変換係数と同値とする。
【００６８】
なお、仮想係数の設定方法は、上述の他、例えば、画像領域の外縁（図５中の太線）に対して対称となるように設定しても良い。この場合、Ａ４１は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。同様に、Ａ４２は画像領域の外縁に対してＡ１と対称であるから、Ａ４２の仮想係数は、Ａ１のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。
【００６９】
このように、各仮想エリアに対して仮想係数を設定したら、次に、画像領域内の各エリアにおけるエリア別変換係数について、画像空間的にローパスフィルタをかける処理（フィルタ処理）を実行する（図３のステップＳ１４）。
【００７０】
図６は、ローパスフィルタの態様を説明するための図である。
【００７１】
これによれば、ある注目エリアについてフィルタを施す場合に、注目エリア周辺の所定範囲（この場合は上下左右の４エリア）に存在するエリアのエリア別変換係数が用いられることになる。ただし、この所定範囲の一部が画像領域からはみ出す場合、そのはみ出した部分については、その位置の仮想エリアに割り当てられた仮想係数をエリア別変換係数と仮定する。
【００７２】
例えば、エリアＡ０におけるフィルタ処理後のエリア別変換係数ａ’（０）は、以下のようになる。なお、ａ（ｎ）は、エリアＡｎ（ｎ＝０，１，８，４１，５０）における当該フィルタ処理前のエリア別変換係数を示している。また、ａ（４１）とａ（５０）は、それぞれ仮想エリアＡ４１とＡ５０における仮想係数である。
【００７３】
ａ´（０）＝ａ（０）／２＋[ａ（１）＋ａ（８）＋ａ（４１）＋ａ（５０）]／８
このようなフィルタ処理により、エリア同士の境界部分において輝度の差が目立っていた場合であっても、かかる輝度の差を軽減させることが可能となる。また、本実施形態では、ローパスフィルタとして図６に示すものを挙げたが、どの範囲までのエリアに係るエリア別変換係数を考慮するか、また、フィルタにおける各エリア毎の重み付けをどのようにするか等については、種々の態様とすることが可能である。
【００７４】
上記したフィルタ処理がなされたエリア別変換係数をそのまま輝度変換係数として採用し、入力画像の輝度変換処理を実行するようにしても良い。しかし、本実施形態では、さらに出力画像の滑らかさを得るため、画素ごとに決定される（同一エリア内でも、各画素に共通とは限らない）画素別変換係数を算出し（図３のステップＳ１５）、これを輝度変換係数として適用する（図３のステップＳ１６）。
【００７５】
ここで、この画素別変換係数の算出方法（バイリニア演算）について、図７を参照しながら説明する。
【００７６】
図７は、バイリニア演算について説明するための図である。
【００７７】
ある注目画素についての画素別変換係数を定めるにあたっては、当該画素の近傍に係る４個のエリアに着目する。例えば、図７における画素Ｐが注目画素であるときは、Ａ０、Ａ１、Ａ８、及び、Ａ９のエリアに着目することとなる。つまり、各エリアが一つの頂点を共有するとともに、各エリアの中心同士を結んでできる四辺形の内部に注目画素が位置する関係となるように、４個のエリアを選ぶこととする。
【００７８】
そして、注目画素Ｐの画素別変換係数は、これら４個のエリアの各々におけるフィルタ処理後のエリア別変換係数[ａ´（０）、ａ´（１）、ａ´（８）、ａ´（９）]と、注目画素Ｐの位置と、当該４個のエリアの各々における中心位置と、に係るバイリニア演算により算出される。
【００７９】
より具体的には、図７に示すように、横方向のエリア間距離をＸ、縦方向のエリア間距離をＹ、エリアＡ０の中心と注目画素Ｐとの横方向の距離をａ、同じく縦方向の距離をｂとした場合、注目画素Ｐの画素別変換係数ｐ（Ｐ）は、次のように求められる。
【００８０】
ｐ（Ｐ）＝｛  ａ´（０）×（Ｘ−ａ）×（Ｙ−ｂ）
＋ａ´（１）×ａ×（Ｙ−ｂ）
＋ａ´（８）×（Ｘ−ａ）×ｂ
＋ａ´（９）×ａ×ｂ                ]  ／（Ｘ×Ｙ）
なお、当該バイリニア演算においても、注目画素が画像領域の外縁付近にある場合は、着目する４個のエリアのうちの一部が画像領域からはみ出してしまうことが考えられる。このような場合でも、先述したフィルタ処理の場合と同様、仮想エリアおよび仮想係数を設定しておくこと等により、通常のバイリニア演算が実行可能である。
【００８１】
かかる方法によって、画像領域内の全ての画素について画素別変換係数を算出し、これを各々対応する画素に関する輝度変換係数とする。これにより、エリア別変換係数に基づいてエリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。その結果、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。
【００８２】
なお、上述のようにバイリニア演算を用いた場合、通常、エリア同士の境界における輝度の差がより小さくなるように画素別変換係数が算出されることになる。しかし、エリア同士の境界における輝度の差を確実に小さくさせるため、上記バイリニア演算に代えて、またはバイリニア演算に加えて、別の演算手段を適用することとしても良い。
【００８３】
また、先述の輝度変換係数記憶部１３には、エリア別変換係数（エリア毎の係数）のみを格納しておき、最終的に輝度変換係数として採用する画素別変換係数（画素毎の係数）については、輝度変換処理が実行される時に算出されるものとしてもよい。このようにすれば、画素別変換係数を格納するものに比べて、輝度変換係数記憶部１３のメモリ容量が少なくて済むようになる。
【００８４】
また、上述した「画素」については、文字通り単一の画素を「画素」とする他、例えばＲＧＢ（赤・緑・青）の各画素からなる画素群を一体として考え、「画素」として取り扱うようにしてもよい。この場合「画素の輝度」は、当該画素群における輝度の平均値等と考えることができる。
【００８５】
次に、本発明に係る画像処理装置の第２実施形態について詳細に説明する。
【００８６】
図８は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。
【００８７】
本図に示すように、本実施形態の画像処理装置１’は、先述の第１実施形態とほぼ同様の構成から成り、輝度変換処理の正否を自己診断するＢＩＳＴ回路１５（自己診断回路）を搭載して成る点に特徴を有している。そこで、第１実施形態と同様の部分については、図１と同一の符号を付すことで説明を省略し、以下では、本実施形態の特徴部分であるＢＩＳＴ回路１５について、重点的な説明を行うことにする。
【００８８】
ＢＩＳＴ回路１５は、撮像部１０からの入力画像に代えて、輝度変換処理部１１及び輝度変換係数算出部１２に所定のテストデータを入力したときに、輝度変換処理部１１から出力画像として得られる実際の出力データをモニタし、これと所定の期待値データとの一致／不一致を判定することにより、輝度変換処理の正否を自己診断する自己診断回路である。
【００８９】
特に、本実施形態のＢＩＳＴ回路１５は、１エリア分、或いは、これより小さい領域分のテストデータ及び期待値データのみを保持しており、輝度変換処理の正否を自己診断するに際して、上記のテストデータ及び期待値データを繰り返し用いる構成とされている。
【００９０】
なお、画像処理装置１’を構成する回路要素のうち、先述した輝度変換処理部１１、輝度変換係数算出部１２、及び、輝度変換係数記憶部１３のほか、ＢＩＳＴ回路１５についても、半導体装置に集積化するとよい。
【００９１】
上記したＢＩＳＴ回路１５の特徴的な構成及び動作について、図９を参照しながら具体的に説明する。
【００９２】
図９は、ＢＩＳＴ回路１５の構成及び動作を説明するための図である。
【００９３】
なお、図９（ａ）の例では、１フレームが縦２５６×横２５６の画素から構成されているものとし、１エリアは３２×３２画素分の大きさとする。従って、エリアの総数は、縦８エリア×横８エリア＝６４エリアとなる。
【００９４】
ここで、所定のエリアａ（図９（ａ）、（ｂ）のハッチング部分を参照）に含まれる一の注目画素について画素別変換係数を定めるに際しては、先にも述べたように、当該画素の近傍に係る４個のエリア（図９（ｂ）の例では、エリアａ、エリアｂ、エリアｃ、及び、エリアｄ）に着目して、各エリアの輝度ヒストグラムを参照することになる。従って、エリアａ〜ｄの輝度ヒストグラムがいずれも同一であれば、エリアａ〜ｄに含まれる各画素に対する輝度変換処理後の出力データはいずれも同一となる。
【００９５】
そこで、本実施形態のＢＩＳＴ回路１５は、上記した輝度変換処理の内容に着目し、全６４エリア分のテストデータ及び期待値データ（８ビットＹＵＶフォーマットの場合、各々のデータ量は、２５６［画素］×２５６［画素］×８［ビット］×２［Ｙ，Ｕ］）を保持しておくのではなく、１エリア分のテストデータ及び期待値データ（８ビットＹＵＶフォーマットの場合、各々のデータ量は、３２［画素］×３２［画素］×８［ビット］×２［Ｙ，Ｕ］）のみを保持しておき、輝度変換処理の正否を自己診断するに際して、上記のテストデータ及び期待値データを繰り返し用いる構成とされている。
【００９６】
このような構成とすることにより、テストデータ及び期待値データのデータ量を大幅に削減（上記の例では、１／６４に削減）することができるので、装置規模の拡大を抑えつつ、輝度変換処理の自己診断機能を実現することが可能となる。
【００９７】
また、各エリア毎にトータルの輝度ヒストグラムが同一であればよいことに鑑みれば、１エリア分のテストデータ及び期待値データを保持しておくのではなく、より小さい領域分（図９（ｃ）の例では１６×１６画素分）のテストデータ及び期待値データ（８ビットＹＵＶフォーマットの場合、各々のデータ量は、１６［画素］×１６［画素］×８［ビット］×２［Ｙ，Ｕ］）のみを保持しておき、輝度変換処理の正否を自己診断するに際して、上記のテストデータ及び期待値データを繰り返し用いる構成としてもよい。
【００９８】
このような構成とすることにより、テストデータ及び期待値データのデータ量をさらに削減することができるので、より小型のＢＩＳＴ回路１５を実現することが可能となる。
【００９９】
このとき、上記のテストデータとしては、入力画像を構成する各画素が取り得る最小の輝度値から最大の輝度値まで、各々の輝度値を有する画素を最低１つずつ含むようにするとよい。
【０１００】
例えば、内部データ処理が８ビットの場合には、図９（ｃ）で示したように、０〜２５５の輝度値を有する画素を順番に並べた１６×１６画素分のテストデータを最低限保持しておけば、全ての輝度値について自己診断を行うことができるので、テストデータのデータ量を最小限に抑えつつ、輝度変換処理の正否を確実に診断することが可能となる。
【０１０１】
なお、８×８画素など、より小さいテストデータと期待値データを持つ構成とすれば、全ての輝度値について自己診断を行うことはできなくなるが、反面、メモリ容量をより小さくすることができるので、装置の小型化に貢献することが可能となる。
【０１０２】
また、テスト時間とテスト精度との兼ね合いにより、テストするエリア数については、適宜設定すればよい。すなわち、テスト時間の短縮を最優先するのであれば、１エリア分だけテストすればよいし、テスト精度を最優先するのであれば、フレームに含まれる全てのエリア（上記の場合は６４エリア）についてテストすればよい。
【０１０３】
なお、上記実施形態では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置に本発明を適用した場合を例に挙げて説明を行ったが、本発明の適用対象はこれに限定されるものではなく、静止画像に対して輝度変換処理を施す画像処理装置など、入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理装置全般に適用することが可能である。
【０１０４】
また、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。
【産業上の利用可能性】
【０１０５】
本発明は、入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置の画質を高める上で有用な技術である。
【図面の簡単な説明】
【０１０６】
【図１】は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。
【図２】は、画像処理の全体的な流れを説明するための図である。
【図３】は、輝度変換係数の算出処理を説明するためのフローチャートである。
【図４】は、エリア分割の態様を説明するための図である。
【図５】は、仮想エリアが設定された状態を説明するための図である。
【図６】は、ローパスフィルタの態様を説明するための図である。
【図７】は、バイリニア演算について説明するための図である。
【図８】は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。
【図９】は、ＢＩＳＴ回路１６の構成及び動作を説明するための図である。
【符号の説明】
【０１０７】
１、１’    画像処理装置
１０    撮像部（撮像手段）
１１    輝度変換処理部
１２    輝度変換係数算出部
１３    輝度変換係数記憶部
１４    出力部
１５    ＢＩＳＴ回路（自己診断回路）
【図１】
2008136198.tif 000003
【図２】
2008136198.tif 000004
【図３】
2008136198.tif 000005
【図４】
2008136198.tif 000006
【図５】
2008136198.tif 000007
【図６】
2008136198.tif 000008
【図７】
2008136198.tif 000009
【図８】
2008136198.tif 000010
【図９】
2008136198.tif 000011