(57)【要約】      （修正有）【課題】黒帯部分を含む入力画像に対しても適切な輝度変換処理を施して所望の出力画像を生成する。【解決手段】画像処理回路は、入力画像を構成する複数の画素を輝度値毎または所定の輝度範囲毎にカウントして輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する輝度変換係数算出部１２と、前記入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部１１と、前記入力画像を構成する各画素毎に、各々の輝度値が所定の閾値ＴＨ以下であるか否かを判定する低輝度画素判定部１５と、輝度変換係数算出部１２で前記輝度ヒストグラムを取得する際、低輝度画素判定部１５でその輝度値が閾値ＴＨ以下であると判定された低輝度画素のカウント値を前記輝度ヒストグラム内で分散させる低輝度画素分散部１６とを有する構成とされている。【選択図】図８
2011172131.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を構成する複数の画素を輝度値毎または所定の輝度範囲毎にカウントして輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する輝度変換係数算出部と；
前記入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部と；
前記入力画像を構成する各画素毎に、各々の輝度値が所定の閾値以下であるか否かを判定する低輝度画素判定部と；
前記輝度変換係数算出部で前記輝度ヒストグラムを取得する際、前記低輝度画素判定部でその輝度値が前記閾値以下であると判定された低輝度画素のカウント値を前記輝度ヒストグラム内で分散させる低輝度画素分散部と；
を有することを特徴とする画像処理回路。
【請求項２】
前記閾値を任意に設定する閾値設定部を有することを特徴とする請求項１に記載の画像処理回路。
【請求項３】
前記閾値は０であることを特徴とする請求項１または請求項２に記載の画像処理回路。
【請求項４】
前記輝度変換係数算出部は、前記入力画像を複数のエリアに分割した上で、各エリア毎の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理回路。
【請求項５】
請求項１〜請求項４のいずれかに記載の画像処理回路を集積化して成る半導体装置。
【請求項６】
請求項５に記載の半導体装置と、被写体の光学像を結像させ、該被写体の撮像を行う撮像手段と、を有して成り、前記入力画像は、該撮像により得られた画像であることを特徴とする画像処理装置。
【請求項７】
請求項５に記載の半導体装置と、メディアを再生するメディア再生手段と、を有して成り、前記入力画像は、前記メディア再生手段によって前記メディアから再生された画像であることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置に関するものである。
【背景技術】
【０００２】
従来より、入力画像をより美しく見せるための画像処理の一つとして、輝度変換処理が一般に用いられている。この輝度変換処理は、例えば、画像全体における輝度ヒストグラムに基づいて、画像領域全体に共通の輝度変換係数を算出し、各画素にこの輝度変換係数を乗じることで輝度変換を行うものである。
【０００３】
より具体的には、まず入力画像の全体を対象とした輝度ヒストグラム（各輝度範囲の頻度、すなわち、所定の輝度範囲毎に属する画素数の分布）を求める。そして、この輝度ヒストグラムに基づき、入力画像における各輝度範囲について、頻度の高いものほど出力画像においては広い輝度範囲を割り当てるように、逆に、頻度の低いものほど出力画像においては狭い輝度範囲を割り当てるように、輝度変換係数を算出するものである。従って、上記の輝度変換係数は、輝度毎に、或いは、所定の輝度範囲毎に、別個の値となる。
【０００４】
これにより、入力画像において頻度の低い輝度範囲の部分については、よりコントラスト（輝度差）が曖昧となってしまうものの、逆に、入力画像において頻度の高い輝度範囲の部分については、よりコントラストが明瞭となる。そのため、画像全体として見てみると、入力時よりもコントラストを明瞭とすることが可能となる。
【０００５】
なお、上記に関連する従来技術としては、特許文献１〜４などを挙げることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００４−５３０３６８号公報
【特許文献２】特開２０００−０１３６２５号公報
【特許文献３】特開２０００−０３６０４３号公報
【特許文献４】特開２００４−１４５３９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
確かに、上記従来の画像処理装置であれば、画像全体として見てみると、入力画像よりも出力画像のコントラストを明瞭とすることができるので、その画質や視認性を高めることが可能となる。
【０００８】
しかしながら、上記従来の画像処理装置では、輝度ダイナミックレンジ補正処理によって、出力画像のコントラストを明瞭とし得る反面、低輝度画素の頻度が高い入力画像（すなわち、暗い入力画像）については、低輝度部分（暗い部分）のコントラストが高められることに伴って、暗所で発生しやすい撮像素子（特に、ＣＭＯＳ［Complementary Metal-Oxide Semiconductor］センサやＣＣＤ［Charge Coupled Devices］センサ）のノイズまで明るく強調されるおそれがあった。
【０００９】
特に、図１０Ａ及び図１０Ｂに示すように、フレームの上下ないし左右に黒帯部分を含む入力画像に対して、上記従来の輝度ダイナミックレンジ補正処理を施す場合、その補正処理に際して取得される輝度ヒストグラムは、本来補正処理を行う必要のない黒帯部分の影響を受けてしまう。つまり、上記輝度ヒストグラムの取得に際しては、黒帯部分を形成する暗い画素（輝度値が０である画素）が多くカウントされることになるので、たとえ映像部分に明るい画素が多く含まれていたとしても、フレーム全体としては暗い画素の多い輝度ヒストグラムが取得されることになる（図９の上段部分を参照）。そのため、このような輝度ヒストグラムに基づいて、入力画像に輝度ダイナミック補正処理を施して得られた出力画像は、人間の目に不自然に映るおそれがあった。
【００１０】
本発明は、上記の問題点に鑑み、黒帯部分を含む入力画像に対しても適切な輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成することが可能な画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明に係る画像処理回路は、入力画像を構成する複数の画素を輝度値毎または所定の輝度範囲毎にカウントして輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する輝度変換係数算出部と；前記入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部と；前記入力画像を構成する各画素毎に、各々の輝度値が所定の閾値以下であるか否かを判定する低輝度画素判定部と；前記輝度変換係数算出部で前記輝度ヒストグラムを取得する際、前記低輝度画素判定部でその輝度値が前記閾値以下であると判定された低輝度画素のカウント値を前記輝度ヒストグラム内で分散させる低輝度画素分散部と；を有する構成（第１の構成）とされている。
【００１２】
なお、上記第１の構成から成る画像処理回路は、前記閾値を任意に設定する閾値設定部を有する構成（第２の構成）にするとよい。
【００１３】
また、上記第１または第２の構成から成る画像処理回路において、前記閾値は０である構成（第３の構成）にするとよい。
【００１４】
また、上記第１〜第３いずれかの構成から成る画像処理回路において、前記輝度変換係数算出部は、前記入力画像を複数のエリアに分割した上で、各エリア毎の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する構成（第４の構成）にするとよい。
【００１５】
また、本発明に係る半導体装置は、上記第１〜第４いずれかの構成から成る画像処理回路を集積化した構成（第５の構成）とされている。
【００１６】
また、本発明に係る画像処理装置は、上記第５の構成から成る半導体装置と、被写体の光学像を結像させ、該被写体の撮像を行う撮像手段と、を有して成り、前記入力画像は、該撮像により得られた画像である構成（第６の構成）とされている。
【００１７】
また、本発明に係る画像処理装置は、上記第５の構成から成る半導体装置と、メディアを再生するメディア再生手段と、を有して成り、前記入力画像は、前記メディア再生手段によって前記メディアから再生された画像である構成（第７の構成）とされている。
【発明の効果】
【００１８】
本発明に係る画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置であれば、黒帯部分を含む入力画像に対しても適切な輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成することができるので、出力画像の画質や視認性を高めることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。
【図２】は、画像処理の全体的な流れを説明するための図である。
【図３】は、輝度変換係数の算出処理を説明するためのフローチャートである。
【図４】は、エリア分割の態様を説明するための図である。
【図５】は、仮想エリアが設定された状態を説明するための図である。
【図６】は、ローパスフィルタの態様を説明するための図である。
【図７】は、バイリニア演算について説明するための図である。
【図８】は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。
【図９】は、低輝度画素（黒帯部分）の分散処理を説明するための図である。
【図１０Ａ】フレームの上下に黒帯部分を含む入力画像の一例を示す図である。
【図１０Ｂ】フレームの左右に黒帯部分を含む入力画像の一例を示す図である。
【発明を実施するための形態】
【００２０】
以下では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置に本発明を適用した場合を例に挙げて、詳細な説明を行う。
【００２１】
まず、本発明に係る画像処理装置の第１実施形態について詳細に説明する。
【００２２】
図１は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。
【００２３】
本図に示す通り、本実施形態の画像処理装置１は、撮像部１０と、輝度変換処理部１１と、輝度変換係数算出部１２と、輝度変換係数記憶部１３と、出力部１４と、を有する。
【００２４】
撮像部１０は、所定のレンズや撮像素子（例えば、ＣＣＤ［Charge Coupled Devices］センサやＣＭＯＳ［Complementary Metal-Oxide Semiconductor］センサ）等を備えており、被写体の光学像を結像させることで被写体の撮像処理（例えば３０フレーム毎秒の動画撮像）を行う。なお、各フレームに係る画像データは、輝度変換処理部１１及び輝度変換係数算出部１２に逐次出力される。
【００２５】
輝度変換処理部１１は、撮像部１０から入力される各フレーム毎の画像データ（入力画像）に対し、輝度変換処理を施して出力する。なお、この輝度変換処理は、入力画像における各画素の輝度を、輝度変換係数記憶部１３に記憶されている輝度変換係数に応じて変換することにより行われる。
【００２６】
輝度変換係数算出部１２は、撮像部１０から入力される各フレーム毎の画像データ（入力画像）に基づいて、輝度変換処理に用いられる輝度変換係数を算出する。なお、輝度変換係数の内容及び輝度変換係数の算出方法については、後に改めて説明する。
【００２７】
輝度変換係数記憶部１３は、輝度変換係数算出部１２によって算出された輝度変換係数を、少なくとも次のフレームに係る輝度変換処理が実行されるまで記憶する。なお、この記憶内容は、輝度変換処理部１１における輝度変換処理において用いられることとなる。
【００２８】
出力部１４は、ＬＣＤ［Liquid Crystal Display］等のディスプレイ（例えば車載モニタ）を備えており、輝度変換処理部１１によって輝度変換処理のなされた出力画像を逐次表示する。
【００２９】
上記構成から成る画像処理装置１は、動画撮像により得られた入力画像に輝度変換係数に基づいた輝度変換処理を施して、これをディスプレイ表示する。
【００３０】
なお、上記構成要素のうち、輝度変換処理部１１、輝度変換係数算出部１２、及び、輝度変換係数記憶部１３については、半導体装置に集積化するとよい。
【００３１】
次に、画像処理装置１における画像処理の全体的な流れについて、図２を参照しながら説明する。
【００３２】
図２は、画像処理装置１における画像処理の全体的な流れを説明するための図である。
【００３３】
本図に示すように、第ｎ番目のフレームに係る入力画像が到来すると、輝度変換係数算出部１２は、入力画像に基づいて、輝度変換係数の算出を行う。これにより、第ｎ番目のフレームに基づいて定められる輝度変換係数が得られ、これが輝度変換係数記憶部１３に一旦格納される。
【００３４】
一方、輝度変換処理部１１は、到来した第ｎ番目のフレームに係る入力画像に対し、既に輝度変換係数記憶部１３に格納されている第（ｎ−１）番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を施す。
【００３５】
より具体的には、ｎ番目のフレームにおける座標（ｉ，ｊ）の画素について、輝度変換処理前の輝度をＩｉｊ（ｎ）、輝度変換処理後の輝度をＯｉｊ（ｎ）とし、（ｎ−１）番目のフレームに基づいて、座標（ｉ，ｊ）の画素に対して定められた輝度変換係数をＴｉｊ（ｎ−１）とすると、各フレームの各画素に係る輝度は、下記の（１）式に基づいて、変換処理される。そして、輝度変換処理部１１にて輝度変換処理のなされた出力画像は、出力部１４を通じて出力される。
Ｏｉｊ（ｎ）＝Ｔｉｊ（ｎ−１）×Ｉｉｊ（ｎ）    ・・・（１）
【００３６】
このように、本実施形態の画像処理装置１は、第ｎ番目のフレームに係る入力画像に対しては、第（ｎ−１）番目のフレームに基づいて定められる輝度変換係数を用いて輝度変換処理を行う構成とされている。そのため、第ｎ番目の輝度変換係数の算出を待たずに、第ｎ番目の輝度変換処理および画像出力を実行することが可能となる。その結果、入力画像に輝度変換処理を施したものを極力早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。
【００３７】
なお、第ｎ番目のフレームに係る入力画像に対して、第（ｎ−２）番目以前のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うことも可能ではあるが、あまり古いフレームに基づいた輝度変換係数を用いた場合、変換処理の精度が問題となることに注意を要する。この問題は、特に、動きの大きい動画である場合に顕著となる。また、例えば、入力画像として静止画を扱う場合等においては、第ｎ番目のフレームに係る入力画像に対して、第ｎ番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うようにしても良い。
【００３８】
次に、輝度変換係数の算出処理の内容について、図３のフローチャートを参照しながら説明する。
【００３９】
図３は、画像処理装置１における輝度変換係数の算出処理を説明するためのフローチャートである。
【００４０】
まず、１フレーム分の入力画像に対して、エリア分割を行う（ステップＳ１１）。
【００４１】
図４は、画像処理装置１におけるエリア分割の態様を説明するための図である。
【００４２】
なお、図４の例では、１フレームが縦４０×横６４（＝２５６０）の画素から構成されているものとし、１エリアは８×８画素分の大きさとする。従って、エリアの総数は、縦５エリア×横８エリア＝４０エリアとなる。また、各エリアについては、左上から順に、Ａ０、Ａ１、・・・、Ａｎ、・・・、Ａ３９と称することにする。
【００４３】
エリア分割が完了したら、次に、エリア別変換係数の算出を行う（図３のステップＳ１２）。このエリア別変換係数は、エリア毎に決定されるものであり、エリア内の各画素に共通となる。
【００４４】
なお、エリア別変換係数の算出方法については、従来からの周知技術であるフレーム全体を対象とする変換係数の算出方法と基本的に同様であるため、ここでは詳細な説明を割愛するが、フレーム全体の輝度ヒストグラムではなく、エリア毎の輝度ヒストグラム（各輝度または各輝度範囲に属する画素の出現頻度）が算出された後、当該エリア毎の輝度ヒストグラムに基づいて変換係数が算出される、という点で従来構成とは異なっている。このようにして算出されたエリア別変換係数によれば、分割された各エリアにつき、入力画像において高頻度な輝度範囲であるほど、出力画像において広い輝度範囲が割り当てられることになる。
【００４５】
図３のステップＳ１２では、画像領域内の全エリアについて、エリア別変換係数が算出される。すなわち、各々のエリア毎に、固有のエリア別変換係数が定まることとなる。そして、エリア別変換係数をそのまま輝度変換係数として採用し、入力画像の輝度変換処理を実行するものとしても良い。これにより、画像全体に比べて輝度差の大きい箇所が部分的に存在していても、当該部分を含めた良好なコントラストを得ることが可能となる。
【００４６】
ただし、エリア別変換係数は、そのエリアの外、すなわち、他のエリアに係る輝度情報は基本的に考慮されない。そのため、エリア同士の境界部分では、輝度の差が目立ち（輝度の分布が高周波となり）、滑らかさの点において良好とはいえない画像が出力されるおそれがある。そこで、本実施形態では、各エリアについて算出されたエリア別変換係数に対し、フィルタ処理等を行うこととする。この処理の内容について具体的に説明する。
【００４７】
まず、フィルタ処理等の実行に先立ち、画像領域の外部に上述したエリアと同規模の仮想エリアを設定する。
【００４８】
図５は、仮想エリア（図中のＡ４０〜Ａ６９）が設定された状態を説明するための図である。
【００４９】
そして、これらの仮想エリアＡ４０〜Ａ６９に対して、仮想のエリア別変換係数（以下では、仮想係数と呼ぶ）を設定する（図３のステップＳ１３）。なお、この仮想係数は、後述する通り、画像領域の外縁付近のエリアに対しても、通常通りフィルタ処理を実行し得るようにするためのものである。
【００５０】
上記の仮想係数は、仮想エリアに隣り合う各エリア（画像領域の外縁に位置する各エリア）を基準として、当該仮想エリアと対称位置に存在するエリアのエリア別変換係数を参照して設定される。例えば、Ａ４１はＡ０に対してＡ８と対称であるから、Ａ４１の仮想係数は、Ａ８のエリア別変換係数と同値とする。同様に、Ａ４２はＡ１に対してＡ９と対称であるから、Ａ４２の仮想係数は、Ａ９のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０はＡ０に対してＡ９と対称であるから、Ａ４０の仮想係数は、Ａ９のエリア別変換係数と同値とする。
【００５１】
なお、仮想係数の設定方法は、上述の他、例えば、画像領域の外縁（図５中の太線）に対して対称となるように設定しても良い。この場合、Ａ４１は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。同様に、Ａ４２は画像領域の外縁に対してＡ１と対称であるから、Ａ４２の仮想係数は、Ａ１のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。
【００５２】
このように、各仮想エリアに対して仮想係数を設定したら、次に、画像領域内の各エリアにおけるエリア別変換係数について、画像空間的にローパスフィルタをかける処理（フィルタ処理）を実行する（図３のステップＳ１４）。
【００５３】
図６は、ローパスフィルタの態様を説明するための図である。
【００５４】
これによれば、ある注目エリアについてフィルタを施す場合に、注目エリア周辺の所定範囲（この場合は上下左右の４エリア）に存在するエリアのエリア別変換係数が用いられることになる。ただし、この所定範囲の一部が画像領域からはみ出す場合、そのはみ出した部分については、その位置の仮想エリアに割り当てられた仮想係数をエリア別変換係数と仮定する。
【００５５】
例えば、エリアＡ０におけるフィルタ処理後のエリア別変換係数ａ’（０）は、以下のようになる。なお、ａ（ｎ）は、エリアＡｎ（ｎ＝０，１，８，４１，５０）における当該フィルタ処理前のエリア別変換係数を示している。また、ａ（４１）とａ（５０）は、それぞれ仮想エリアＡ４１とＡ５０における仮想係数である。
ａ´（０）＝ａ（０）／２＋[ａ（１）＋ａ（８）＋ａ（４１）＋ａ（５０）]／８
【００５６】
このようなフィルタ処理により、エリア同士の境界部分において輝度の差が目立っていた場合であっても、かかる輝度の差を軽減させることが可能となる。また、本実施形態では、ローパスフィルタとして図６に示すものを挙げたが、どの範囲までのエリアに係るエリア別変換係数を考慮するか、また、フィルタにおける各エリア毎の重み付けをどのようにするか等については、種々の態様とすることが可能である。
【００５７】
上記したフィルタ処理がなされたエリア別変換係数をそのまま輝度変換係数として採用し、入力画像の輝度変換処理を実行するようにしても良い。しかし、本実施形態では、さらに出力画像の滑らかさを得るため、画素ごとに決定される（同一エリア内でも、各画素に共通とは限らない）画素別変換係数を算出し（図３のステップＳ１５）、これを輝度変換係数として適用する（図３のステップＳ１６）。
【００５８】
ここで、この画素別変換係数の算出方法（バイリニア演算）について、図７を参照しながら説明する。
【００５９】
図７は、バイリニア演算について説明するための図である。
【００６０】
ある注目画素についての画素別変換係数を定めるにあたっては、当該画素の近傍に係る４個のエリアに着目する。例えば、図７における画素Ｐが注目画素であるときは、Ａ０、Ａ１、Ａ８、及び、Ａ９のエリアに着目することとなる。つまり、各エリアが一つの頂点を共有するとともに、各エリアの中心同士を結んでできる四辺形の内部に注目画素が位置する関係となるように、４個のエリアを選ぶこととする。
【００６１】
そして、注目画素Ｐの画素別変換係数は、これら４個のエリアの各々におけるフィルタ処理後のエリア別変換係数[ａ´（０）、ａ´（１）、ａ´（８）、ａ´（９）]と、注目画素Ｐの位置と、当該４個のエリアの各々における中心位置と、に係るバイリニア演算により算出される。
【００６２】
より具体的には、図７に示すように、横方向のエリア間距離をＸ、縦方向のエリア間距離をＹ、エリアＡ０の中心と注目画素Ｐとの横方向の距離をａ、同じく縦方向の距離をｂとした場合、注目画素Ｐの画素別変換係数ｐ（Ｐ）は、次のように求められる。
ｐ（Ｐ）＝｛  ａ´（０）×（Ｘ−ａ）×（Ｙ−ｂ）
＋ａ´（１）×ａ×（Ｙ−ｂ）
＋ａ´（８）×（Ｘ−ａ）×ｂ
＋ａ´（９）×ａ×ｂ                ]  ／（Ｘ×Ｙ）
【００６３】
なお、当該バイリニア演算においても、注目画素が画像領域の外縁付近にある場合は、着目する４個のエリアのうちの一部が画像領域からはみ出してしまうことが考えられる。このような場合でも、先述したフィルタ処理の場合と同様、仮想エリアおよび仮想係数を設定しておくこと等により、通常のバイリニア演算が実行可能である。
【００６４】
かかる方法によって、画像領域内の全ての画素について画素別変換係数を算出し、これを各々対応する画素に関する輝度変換係数とする。これにより、エリア別変換係数に基づいてエリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。その結果、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。
【００６５】
なお、上述のようにバイリニア演算を用いた場合、通常、エリア同士の境界における輝度の差がより小さくなるように画素別変換係数が算出されることになる。しかし、エリア同士の境界における輝度の差を確実に小さくさせるため、上記バイリニア演算に代えて、またはバイリニア演算に加えて、別の演算手段を適用することとしても良い。
【００６６】
また、先述の輝度変換係数記憶部１３には、エリア別変換係数（エリア毎の係数）のみを格納しておき、最終的に輝度変換係数として採用する画素別変換係数（画素毎の係数）については、輝度変換処理が実行される時に算出されるものとしてもよい。このようにすれば、画素別変換係数を格納するものに比べて、輝度変換係数記憶部１３のメモリ容量が少なくて済むようになる。
【００６７】
また、上述した「画素」については、文字通り単一の画素を「画素」とする他、例えばＲＧＢ（赤・緑・青）の各画素からなる画素群を一体として考え、「画素」として取り扱うようにしてもよい。この場合「画素の輝度」は、当該画素群における輝度の平均値等と考えることができる。
【００６８】
また、上述した「輝度変換係数」および「エリア別変換係数」は、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これには限定されない。
【００６９】
また、上述した「画素別変換係数」も、「輝度変換係数」や「エリア別変換係数」と同様に、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これに限定されるものではない。
【００７０】
上記したように、第１実施形態の画像処理装置１であれば、画像全体からみると頻度の低い輝度（或いは輝度範囲）に係る部分が存在しても、当該部分を含めて良好なコントラストを得ることが可能となる。
【００７１】
また、第１実施形態の画像処理装置１であれば、黒帯部分に相当するエリアと、映像部分に相当するエリアの各々で個別に輝度ヒストグラムが取得され、各々の輝度ヒストグラムに基づいて各々のエリア別変換係数が算出される。そのため、黒帯部分を含む入力画像に対しても適切な輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成することができるので、出力画像の画質や視認性を高めることが可能となる。
【００７２】
ただし、第１実施形態の画像処理装置１であっても、黒帯部分と映像部分との境界に位置するエリアでは、輝度ダイナミックレンジ補正処理に際して取得される輝度ヒストグラムが黒帯部分の影響を受けてしまい、補正度合いが強くなり過ぎて、出力画像が不自然となるおそれがある。
【００７３】
そこで、以下では、上記の不具合を解消するための手段として、本発明に係る画像処理装置の第２実施形態を提案し、その構成及び動作について詳細な説明を行う。
【００７４】
図８は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。
【００７５】
本図に示すように、本実施形態の画像処理装置１は、先述の第１実施形態とほぼ同様の構成から成り、低輝度画素判定部１５、低輝度画素分散部１６、及び、閾値設定部１７が新たに追加されている点に特徴を有している。そこで、第１実施形態と同様の部分については、図１と同一の符号を付すことで説明を省略し、以下では、本実施形態の特徴部分について、重点的な説明を行うことにする。
【００７６】
低輝度画素判定部１５は、入力画像を構成する各画素毎に、各々の輝度値が所定の閾値ＴＨ以下であるか否かを判定する。
【００７７】
低輝度画素分散部１６は、輝度変換係数算出部１２で輝度ヒストグラムを取得する際、低輝度画素判定部１５でその輝度値が閾値ＴＨ以下であると判定された低輝度画素のカウント値を輝度ヒストグラム内で分散させる。なお、低輝度画素の分散処理については、後ほど詳細に説明する。
【００７８】
閾値設定部１７は、ユーザが上記の閾値ＴＨを任意に設定するためのレジスタである。なお、フレームの黒帯部分のみを判別したい場合には、上記の閾値ＴＨを０に設定することが望ましい。なぜなら、映像部分に含まれる画素については、どれほど暗い画素であっても、その輝度値が０ということは稀であるため、閾値ＴＨを０に設定しておけば、フレームの黒帯部分のみを適切に判別し、輝度値が１以上の画素については、通常通りに輝度ダイナミックレンジ補正処理の対象とすることができるからである。一方、上記の閾値ＴＨを０以外の値に設定すれば、フレームの黒帯部分だけでなく、映像部分中の暗い画素についても、輝度ダイナミックレンジ補正処理の対象から除外することができる。
【００７９】
なお、画像処理装置１を構成する回路要素のうち、先述した輝度変換処理部１１、輝度変換係数算出部１２、及び、輝度変換係数記憶部１３のほか、第２実施形態で追加された低輝度画素判定部１５、低輝度画素分散部１６、及び、閾値設定部１７についても半導体装置に集積化するとよい。
【００８０】
図９は、低輝度画素の分散処理を説明するための図である。なお、図９の上段には、低輝度画素の分散処理（黒帯部分の分散処理）を行わない場合の輝度ヒストグラムが示されており、図９の下段には、低輝度画素の分散処理（黒帯部分の分散処理）を行った場合の輝度ヒストグラムが示されている。
【００８１】
図９の上段と下段を比較参照すれば分かるように、低輝度画素判定部１５でその輝度値が閾値ＴＨ以下であると判定された低輝度画素（黒帯部分）については、低輝度画素分散部１６の働きによって、そのカウント値が輝度ヒストグラム内で一様に分散される。このとき、映像部分の輝度範囲に属する画素数の分布状況は、上記分散処理の前後で何ら変わることがなく、映像部分のみを輝度ヒストグラム化した場合と同様の結果が得られる。
【００８２】
すなわち、本実施形態の画像処理回路であれば、黒帯部分と映像部分との境界に位置するエリアにおいても、不要な黒帯部分の影響を受けることなく、映像部分のみを反映した輝度ヒストグラムを取得することができる。従って、このような輝度ヒストグラムに基づいて、入力画像に輝度ダイナミックレンジ補正処理を施すことにより、先述の第１実施形態に比べて、さらに出力画像の画質や視認性を高めることが可能となる。
【００８３】
なお、上記第１、第２実施形態では、いずれも動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置に本発明を適用した場合を例に挙げて説明を行ったが、本発明の適用対象はこれに限定されるものではなく、静止画像に対して輝度変換処理を施す画像処理装置など、入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置全般に適用することが可能である。
【００８４】
また、本発明に係る画像処理回路が集積化された半導体装置と、記録メディア（ＤＶＤ［Digital Versatile Disc］やＢＤ［Blu-ray disc］など）を再生するメディア再生手段を有し、前記半導体装置を用いて前記メディア再生手段で再生された画像に輝度変換処理を施す画像処理装置を形成することも可能である。
【００８５】
また、上記の第２実施形態で説明した低輝度画素（黒帯部分）の分散処理技術については、必ずしも第１実施形態の構成（入力画像を複数エリアに分割し、各エリア毎の輝度ヒストグラムに基づいて輝度変換係数を算出する構成）を前提とするものではなく、入力画像のフレーム全体の輝度ヒストグラムに基づいて輝度変換係数を算出する従来の画像処理回路にも広く適用することが可能である。
【００８６】
このように、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。
【産業上の利用可能性】
【００８７】
本発明は、出力画像の画質や視認性を高める上で有用な技術である。
【符号の説明】
【００８８】
１    画像処理装置
１０    撮像部（撮像手段）
１１    輝度変換処理部
１２    輝度変換係数算出部
１３    輝度変換係数記憶部
１４    出力部
１５    低輝度画素判定部（黒帯判定部）
１６    低輝度画素分散部（黒帯分散部）
１７    閾値設定部
【図１】
2011172131.tif 000003
【図２】
2011172131.tif 000004
【図３】
2011172131.tif 000005
【図４】
2011172131.tif 000006
【図５】
2011172131.tif 000007
【図６】
2011172131.tif 000008
【図７】
2011172131.tif 000009
【図８】
2011172131.tif 000010
【図９】
2011172131.tif 000011
【図１０Ａ】
2011172131.tif 000012
【図１０Ｂ】
2011172131.tif 000013