(57)【要約】【課題】画像の中にある特定オブジェクトのコントラストを調整して、オブジェクトを強調したり、目立たなくする。【解決手段】  オブジェクトヒストグラム算出部９によって、画像１２に含まれる第１オブジェクト５、第２オブジェクト６を抽出して、輝度ヒストグラム７、８を求めるとともに、輝度ヒストグラム７、８の分布内容、平均輝度、最大輝度、最小輝度のいずれか１つ以上に基づき、オブジェクトγ補正係数算出部１１を動作させてγ曲線を補正し、オブジェクトγ補正係数を算出した後、このオブジェクトγ補正係数に基づき、オブジェクト階調補正部１３を動作させて第１オブジェクト５、第２オブジェクト６に対するγ補正処理を行う。【選択図】図１
2007013666.tif 000002
【特許請求の範囲】
【請求項１】
入来する映像信号中に付与されているオブジェクト情報を抽出するオブジェクト抽出部と、
前記オブジェクト抽出部により抽出されたオブジェクトの輝度ヒストグラムを算出するオブジェクトヒストグラム算出部と、
前記オブジェクトヒストグラム算出部で算出された輝度ヒストグラムの分布データ、平均輝度データ、最大輝度データまたは最小輝度データのいずれか１つ以上のデータに基づいたγ補正をするためのオブジェクトγ補正係数を算出するオブジェクトγ補正係数算出部と、
前記オブジェクトγ補正係数算出部で算出されたオブジェクトγ補正係数に基づき、前記オブジェクトに対するγ補正処理を行うオブジェクト階調補正部と、
を備えたことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン画像などの画像を処理する画像処理装置に係わり、特にテレビジョン画像などに含まれる特定画像（オブジェクト）のコントラストを向上させる画像処理装置に関する。
【背景技術】
【０００２】
一般に、テレビジョン画像などを処理する画像処理装置では、画像全体のコントラストを向上させるために、先ず、図６（ａ）に示すように、画像１０１を構成している各画素の輝度を抽出し、抽出された各画素を輝度値毎に、図６（ｂ）に示すようにヒストグラム化する。こうして得られた輝度ヒストグラムに基づき、図６（ｃ）に示すように、人間の目の特性を模擬しているγ曲線を補正した後、補正処理で得られたγ補正係数を用いて、画像全体を一様にγ補正することによって、画像全体のコントラストを向上させている。
【特許文献１】特開２０００−３５００６０号
【特許文献２】特開２００３−５１００２号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、このような画像処理装置では、画像１０１のコントラストを全体的に高くしたり、低くしたりすることはできるものの、画像１０１の中に含まれる特定画像、例えば人間の画像１０２と、木の画像１０３などを選択して、コントラストを高くしたり、低くすることはできない。このため、このような特定画像の画像処理を行うことができる画像処理装置の開発が強く望まれていた。
【０００４】
本発明は上記の事情に鑑み、画像の中にある予め指定された特定画像のコントラストを調整して、特定画像を強調したり、目立たなくすることができる画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために本発明は、入来する映像信号中に付与されているオブジェクト情報を抽出するオブジェクト抽出部と、前記オブジェクト抽出部により抽出されたオブジェクトの輝度ヒストグラムを算出するオブジェクトヒストグラム算出部と、前記オブジェクトヒストグラム算出部で算出された輝度ヒストグラムの分布データ、平均輝度データ、最大輝度データまたは最小輝度データのいずれか１つ以上のデータに基づいたγ補正をするためのオブジェクトγ補正係数を算出するオブジェクトγ補正係数算出部と、前記オブジェクトγ補正係数算出部で算出されたオブジェクトγ補正係数に基づき、前記オブジェクトに対するγ補正処理を行うオブジェクト階調補正部とを備えたことを特徴としている。
【発明の効果】
【０００６】
本発明による画像処理装置によれば、画像の中にある予め指定された特定画像（オブジェクト）のコントラストを調整することができ、これによって特定画像を強調したり、目立たなくすることができる。
【発明を実施するための最良の形態】
【０００７】
図１は本発明による画像処理装置の一実施形態を示すブロック図である。
【０００８】
この図に示す画像処理装置１は、テレビジョン画像などの画像（映像信号）を取り込み、指定された特定画像（以下、この特定画像をオブジェクトと称する）を抽出して、コントラストを調整する特定画像処理ユニット２と、特定画像処理ユニット２で処理されたオブジェクトのコントラストと画像全体のコントラストとを調和させる画像全体処理ユニット３とを備えている。
【０００９】
特定画像処理ユニット２は、編集者などから指示されたオブジェクト情報を取り込んで、画像中のどの部分がオブジェクトかを示すオブジェクト選択指示を出力するオブジェクト抽出部４と、テレビジョン画像などの画像（映像信号）を取り込み、オブジェクト抽出部４から出力されるオブジェクト選択指示で指定されたオブジェクト、例えば図２に示す画像１２の中から第１オブジェクト５、第２オブジェクト６を抽出して、これら第１オブジェクト５、第２オブジェクト６を構成する各画素の輝度を大きさ別に分けて集計し、輝度ヒストグラム７、８を算出するオブジェクトヒストグラム算出部９とを備えている。また、この特定画像処理ユニット２は、テレビジョン画像などの画像（映像信号）を取り込み、フレーム単位で一時記憶し、ＦＩＦＯ（First In First Out）方式で出力する第１フレームメモリ部１０と、オブジェクト抽出部４から出力されるオブジェクト選択指示、オブジェクトヒストグラム算出部９から出力される各輝度ヒストグラム７、８に基づき、輝度の分布パターン、画像占有率、平均輝度、最大輝度、最小輝度などに対応するように、第１オブジェクト５に対するγ曲線、第２オブジェクト６に対するγ曲線を各々、調整して、第１オブジェクト５に対するγ補正係数、第２オブジェクト６に対するγ補正係数を算出するオブジェクトγ補正係数算出部１１と、オブジェクト抽出部４から出力されるオブジェクト選択指示、オブジェクトγ補正係数算出部１１から出力される各γ補正係数に基づき、第１フレームメモリ部１０から出力される画像１２の中から第１オブジェクト５、第２オブジェクト６を抽出して、γ補正し、輝度を補正するオブジェクト階調補正部１３とを備えている。
【００１０】
そして、特定画像処理ユニット２は、編集者などから指示されたオブジェクト情報に基づき、テレビジョン画像などの画像１２を取り込み、第１フレームメモリ部１０にバッファリングしながら、画像１２から指定された第１オブジェクト５、第２オブジェクト６を抽出して、これら第１オブジェクト５、第２オブジェクト６の輝度ヒストグラム７、８を算出する。また、これらの各輝度ヒストグラム７、８に基づき、輝度の分布パターン、画像占有率、平均輝度、最大輝度、最小輝度などに対応するγ補正係数を算出した後、これらの各γ補正係数に基づき、第１フレームメモリ部１０から出力される画像１２中から第１オブジェクト５、第２オブジェクト６を抽出して、各γ補正係数に基づき、輝度を補正し、画像全体処理ユニット３に供給する。
【００１１】
画像全体処理ユニット３は、オブジェクト階調補正部１３から出力される画像を取り込み、フレーム単位で一時記憶し、ＦＩＦＯ（First In First Out）方式で出力する第２フレームメモリ部１８と、オブジェクト階調補正部１３から出力される画像を取り込み、画面全体を構成する各画素の輝度を大きさ別に分けて集計した輝度ヒストグラムを算出する画面全体ヒストグラム算出部１９と、画面全体ヒストグラム算出部１９から出力される輝度ヒストグラムに基づき、分布が多い輝度レベル近傍でγ曲線の傾斜を増大させ、少ない分布の輝度レベル付近で、γ曲線の傾斜を低減させるのに必要な画面全体γ補正係数を算出する画面全体γ補正係数算出部２０とを備えている。
【００１２】
また、画像全体処理ユニット３は、画面全体γ補正係数巡回リーク型積分部２１と、画面全体γ補正係数巡回リーク型積分部２１から出力される画面全体γ補正係数を用いて、第２フレームメモリ部１８から出力される画像全体にγ補正し、画面全体のコントラストを調整する画面全体階調補正部２２とを備えている。
【００１３】
画面全体γ補正係数巡回リーク型積分部２１は、図５に示すように、画面全体γ補正係数算出部２０から出力される今回の画面全体γ補正係数と“１”より小さい巡回係数が乗算された前回の画面全体γ補正係数とを加算する加算回路２３と、加算回路２３から出力される画面全体γ補正係数を一時記憶し、前回の画面全体γ補正係数として出力する画面全体γ補正係数保持回路２４と、画面全体γ補正係数保持回路２４から出力される前回の画面全体γ補正係数と予め設定されている巡回係数（“１”より小さい値）とを乗算して、加算回路２３に供給する乗算回路２５と、画面全体γ補正係数保持回路２４から出力される前回の画面全体γ補正係数と編集者などによって設定されたゲイン補正係数とを乗算して、画面全体γ補正係数の大きさを調整する乗算回路２６とを備え、画面全体γ補正係数算出部２０から出力される画面全体γ補正係数に対し、巡回リーク型積分を行って時間方向に対する画面全体のγ補正係数の変化をなだらかにして、シーンチェンジ、急激な輝度変化が生じても、時間方向に対するγ補正係数の不連続点が生じないようにするとともに、特定画像処理ユニット２におけるオブジェクト単位のγ補正処理で生じた第１オブジェクト５、第２オブジェクト６とこれら第１オブジェクト５、第２オブジェクト６の周辺部分とに不連続点（時間方向の不連続点）が生じないようにする。
【００１４】
今、例えば図２に示すように、編集者などから指示されたオブジェクト情報によって、第１オブジェクト５として、“人間の画像”が指定され、第２オブジェクト６として、“木の画像”が指定されているものとする。このとき、画像１２が供給され、第１フレームメモリ部１０にバッファリングされると、画像１２に含まれている“人間の画像”と、“木の画像”とが抽出されて、輝度強度毎に、“人間の画像”と、“木の画像”とを構成している各画素数が集計されて輝度ヒストグラムが算出される。その後、画素数が多い輝度強度部分（分布が多い輝度レベル部分）のγ傾斜が大きくなり、また画素数が少ない輝度強度部分（分布が少ない輝度レベル部分）のγ傾斜が小さくなるように、第１オブジェクト５、第２オブジェクト６に対するγ曲線が補正されて、分布が多い輝度レベル部分の輝度分布が拡大されるとともに、分布が少ない輝度レベル部分の輝度分布が縮小される。
【００１５】
また、この動作と並行し、編集者などによって、特定のオブジェクトだけを強調してコントラストを強くしたり、弱くしたりする指示が設定されているかどうかがチェックされる。この場合、特定のオブジェクトだけを強調してコントラストを強くしたり、弱くしたりする指示が設定されていれば、輝度ヒストグラムの形状、画像占有率などにかかわらず、指定された任意の変化率で、γ曲線傾斜が変化される。また、特定のオブジェクトだけを強調する指示が設定されていなければ、画像全体の画素数に対する第１オブジェクト５、第２オブジェクト６の輝度ヒストグラムの形状、画像占有率などに応じて、補正済みのγ曲線の傾斜が補正される。
【００１６】
例えば、強調対象となる特定のオブジェクトとして、“人間の画像”が指定され、図３に示すように、画像１２中に“人間の画像”が２つ含まれていれば、これら“人間の画像”が第１オブジェクト１４、第２オブジェクト１５に指定されて、輝度ヒストグラム１６、１７の形状がチェックされる。そして、同じヒストグラム形状になっているとき、これら第１オブジェクト１４、第２オブジェクト１５の画像占有率、例えば第１オブジェクト１４、第２オブジェクト１５の画像占有率が各々、“３０％”、“２０％”であれば、これら各画像占有率の比率“３０／２０＝１．５”に応じて、第２オブジェクト１５に対するγ曲線傾斜が“１”だけ変化したとき、第１オブジェクト１４に対するγ曲線傾斜が“１．５倍”だけ、大きく変化される。
【００１７】
また、この動作と並行し、第１オブジェクト５、第２オブジェクト６の平均輝度と、図４に示す重み付け係数が使用されて、平均輝度が高いオブジェクトに対するγ曲線の傾斜が小さくなるように調整されるとともに、平均輝度が低いオブジェクトに対するγ曲線の傾斜が大きくなるように調整されて、上述した画像処理で、画素数が多い輝度強度部分（分布が多い輝度レベル部分）のγ傾斜を大きくし、また画素数が少ない輝度強度部分（分布が少ない輝度レベル部分）のγ傾斜を小さくしたときにも、高輝度レベルが明るくなりすぎないように、また低輝度レベルが暗くなりすぎないように、第１オブジェクト５、第２オブジェクト６に対するγ曲線の傾斜変化率が調整される。
【００１８】
さらに、第１オブジェクト５、第２オブジェクト６の最大輝度、最低輝度に応じて、第１オブジェクト５、第２オブジェクト６に対するγ曲線の傾斜変化率に対する上限値、下限値が調整されるとともに、輝度ヒストグラム７、８全体をオフセットさせる際の移動量上限値、移動量下限値が調整されて、第１オブジェクト５、第２オブジェクト６に対するγ補正係数が算出された後、これら各γ補正係数に基づき、第１オブジェクト５、第２オブジェクト６の輝度が補正されて、第１オブジェクト５、第２オブジェクト６のコントラストが最適化された画像が全体処理ユニット３に供給される。
【００１９】
そして、画像全体処理ユニット３では、オブジェクト階調補正部１３から出力される画像を取り込み、第２フレームメモリ部１８にバッファリングしながら、画面全体委ヒストグラム算出部１９によって画像全体の輝度ヒストグラムが算出される。その後、この輝度ヒストグラムに基づき、画面全体γ補正係数算出部２０では、分布が多い輝度レベル近傍でγ曲線の傾斜が増大され、少ない分布の輝度レベル付近で、γ曲線の傾斜を低減するのに必要な画面全体γ補正係数が算出される。次いで、画面全体γ補正係数巡回リーク型積分部２１では、巡回リーク型積分を行って時間方向に対する画面全体γ補正係数の変化をなだらかにさせる。次いで、画面全体階調補正部２２では、画面全体γ補正係数に基づき、第２フレームメモリ部１８から出力される画像全体の輝度を補正して、特定画像処理ユニット２におけるオブジェクト単位のγ補正処理で生じた第１オブジェクト５、第２オブジェクト６と、これら第１オブジェクト５、第２オブジェクト６の周辺部分とに不連続点（時間方向の不連続点）が生じないようにする。また、特定画像処理ユニット２で処理された第１オブジェクト５、第２オブジェクト６のコントラストと、画像全体のコントラストとを調和させ、シーンチェンジや急激な輝度変化が生じても、時間方向に対するγ補正係数の不連続点が生じないようにする。
【００２０】
このように、この実施形態では、オブジェクトヒストグラム算出部９によって、画像１２に含まれる第１オブジェクト５、第２オブジェクト６を抽出して、輝度ヒストグラム７、８を求めるとともに、輝度ヒストグラム７、８の分布内容、平均輝度、最大輝度、最小輝度のいずれか１つ以上に基づき、オブジェクトγ補正係数算出部１１を動作させて、γ曲線を補正し、オブジェクトγ補正係数を算出した後、このオブジェクトγ補正係数に基づき、オブジェクト階調補正部１３を動作させて、第１オブジェクト５、第２オブジェクト６に対するγ補正処理を行うようにした。このため、画像１２の中にある第１オブジェクト５、第２オブジェクト６のコントラストを調整して、特定の画像を強調したり、目立たなくすることができる。
【００２１】
また、この実施形態では、オブジェクトγ補正係数算出部１１によって、オブジェクトγ補正係数を算出するとき、各オブジェクト、例えば第１オブジェクト１４、第２オブジェクト１５の専有面積率などに基づき、γ曲線の傾斜変化率を調整するようにしている。このため、専有面積が大きく、目立つ第１オブジェクト１４のコントラストを強調して調整することができる。
【００２２】
また、この実施形態では、オブジェクト階調補正部１３によって、各オブジェクト、例えば第１オブジェクト５、第２オブジェクト６に対し、オブジェクト単位で、最適なオブジェクトγ補正係数を使用して、階調補正を行わせるようにしている。このため、第１オブジェクト５の輝度ヒストグラム７、第２オブジェクト６の輝度ヒストグラム８に応じて、第１オブジェクト５のコントラストと、第２オブジェクト６のコントラストとを各々、最適化することができる。
【００２３】
また、この実施形態では、特定画像処理ユニット２で第１オブジェクト５、第２オブジェクト６のコントラストが調整された画像を画像全体処理ユニット３に導き、画像全体の輝度ヒストグラムを算出して、γ曲線の傾斜を調整するとともに、巡回リーク型積分を行って、時間方向に対する画面全体γ補正係数の変化がなだらかになるようにしている。このため、特定画像処理ユニット２でのγ補正処理で生じた第１オブジェクト５、第２オブジェクト６と、これら第１オブジェクト５、第２オブジェクト６の周辺部分とに不連続点（時間方向の不連続点）が生じないようにし、特定画像処理ユニット２で処理された第１オブジェクト５、第２オブジェクト６のコントラストと、画像全体のコントラストとを調和させることができるとともに、シーンチェンジ、急激な輝度変化が生じても、時間方向に対する画面全体γ補正係数に不連続点が生じないようにすることができる。
【００２４】
なお、上述した実施形態では、第１フレームメモリ部１０、第２フレームメモリ部１８によって、画像１２などをバッファリングして、オブジェクトヒストグラム算出部９、オブジェクトγ補正係数算出部１１の処理遅延、あるいは画面全体ヒストグラム算出部９、画面全体γ係数算出部２０、画面全体γ補正係数巡回リーク型積分部２１の処理遅延を吸収し、位相差を合わせるようにしているが、位相合わせが必要でないときには、第１フレームメモリ部１０、第２フレームメモリ部１８などを省略するようにしても良い。
【図面の簡単な説明】
【００２５】
【図１】本発明による画像処理装置の一実施形態を示すブロック図である。
【図２】図１に示す画像処理装置の動作例を示す模式図である。
【図３】図１に示すオブジェクトγ補正係数算出部の動作例を示す模式図である。
【図４】図１に示すオブジェクトγ補正係数算出部の動作例を示す模式図である。
【図５】図１に示す画面全体γ補正係数巡回リーク型積分部の詳細な回路構成例を示すブロック図である。
【図６】従来から知られている画像処理装置の動作例を示す模式図である。
【符号の説明】
【００２６】
１：画像処理装置
２：特定画像処理ユニット
３：画像全体処理ユニット
４：オブジェクト抽出部
５、１４：第１オブジェクト
６、１５：第２オブジェクト
７、８、１６、１７：輝度ヒストグラム
９：オブジェクトヒストグラム算出部
１０：第１フレームメモリ部
１１：オブジェクトγ補正係数算出部
１２：画像
１３：オブジェクト階調補正部
１８：第２フレームメモリ部
１９：画面全体ヒストグラム算出部
２０：画面全体γ補正係数算出部
２１：画面全体γ補正係数巡回リーク型積分部
２２：画面全体階調補正部
２３：加算回路
２４：画面全体γ補正係数保持回路
２５、２６：乗算回路
【図１】
2007013666.tif 000003
【図２】
2007013666.tif 000004
【図３】
2007013666.tif 000005
【図４】
2007013666.tif 000006
【図５】
2007013666.tif 000007
【図６】
2007013666.tif 000008