(57)【要約】【課題】クロスフィルタなどのように高輝度領域を強調表示した画像を生成するための処理量を大幅に低減することができる画像処理装置、撮像機器及び画像処理方法を提供する。【解決手段】入力画像を所定の閾値で２値化する２値化回路手段と、２値化した画像から高輝度領域を特定する高輝度領域特定手段と、特定した高輝度領域に対し、所定条件に基づいて優先度を決定する優先度決定手段と、特定した高輝度領域が所定数以上あるとき、優先度の高い高輝度領域から順に前記所定数選択する選択手段と、選択した高輝度領域を強調表示する強調画像を生成し、当該強調画像を前記入力画像に合成する画像処理手段とを備える。【選択図】図２
2011151454.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を所定の閾値で２値化する２値化手段と、
前記２値化した画像から高輝度領域を特定する高輝度領域特定手段と、
前記特定した高輝度領域に対し、所定条件に基づいて優先度を決定する優先度決定手段と、
前記特定した高輝度領域が所定数以上あるとき、優先度の高い高輝度領域から順に前記所定数選択する選択手段と、
前記選択した高輝度領域を強調表示する強調画像を生成し、当該強調画像を前記入力画像に合成する画像処理手段と、を備えた
画像処理装置。
【請求項２】
前記優先度決定手段は、前記所定条件として、前記高輝度領域の大きさ、前記入力画像に対する前記高輝度領域の位置及び前記高輝度領域の色相に基づいて前記高輝度領域の優先度を決定する
請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、一つの高輝度領域に対して一定のピクセル数の強調画像を割り当てられ、高輝度領域の面積に応じて強調画像の大きさを変える
請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像処理手段は、前記入力画像を縮小した後に、当該縮小した入力画像の高輝度領域を強調表示する強調画像を生成し、当該強調画像を拡大した後に入力画像と合成する
請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像処理手段は、入力画像の複数フレームの単位で前記強調画像を生成し、前記複数フレームの入力画像に同一の強調画像をそれぞれ合成する
請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記入力画像は、カラー画像であり、
前記強調画像の画像パターンは、２以上の色のそれぞれに割り当てられており、
前記２値化手段は、前記入力画像から前記２以上の色のそれぞれの成分を抽出して単一色画像を生成し、
前記高輝度領域特定手段は、前記単一色画像毎に、前記高輝度領域の特定を行い、
前記優先度決定手段は、前記単一色画像毎に前記優先度の決定を行い、
前記選択手段は、前記単一色画像毎に前記高輝度領域の選択を行い、
前記画像処理手段は、前記単一色画像毎に前記選択した高輝度領域を強調表示する強調画像を生成し、当該強調画像を前記入力画像に合成する
請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記入力画像から人物の顔画像を検出する顔検出手段を備え、
前記画像処理手段は、前記入力画像に前記強調画像を合成して生成した合成画像に前記顔検出手段で抽出した顔画像を上書きする
請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
入力画像を所定の閾値で２値化するステップと、
前記２値化した画像から高輝度領域を特定するステップと、
前記特定した高輝度領域に対し、所定条件に基づいて優先度を決定するステップと、
前記特定した高輝度領域が所定数以上あるとき、優先度の高い高輝度領域から順に前記所定数選択するステップと、
前記選択した高輝度領域を強調表示する強調画像を生成し、当該強調画像を前記入力画像に合成するステップと、を有する
画像処理方法。
【請求項９】
固体撮像素子からの入力画像を処理する画像処理装置を備え、
前記画像処理装置は、
入力画像を所定の閾値で２値化する２値化手段と、
前記２値化した画像から高輝度領域を特定する高輝度領域特定手段と、
前記特定した高輝度領域に対し、所定条件に基づいて優先度を決定する優先度決定手段と、
前記特定した高輝度領域が所定数以上あるとき、優先度の高い高輝度領域から順に前記所定数選択する選択手段と、
前記選択した高輝度領域を強調表示する強調画像を生成し、当該強調画像を前記入力画像に合成する画像処理手段と、を備えた
撮像機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれる高輝度領域を強調表示する加工画像を生成する画像処理装置、撮像機器及び画像処理方法に関する。
【背景技術】
【０００２】
従来から、被写体画像の高輝度領域に対して光条を発生させるクロスフィルタが知られている。このクロスフィルタはレンズフィルタの一種で透明な光学ガラスの表面に細い溝を刻むことで、被写体画像の高輝度領域に対して光条を発生させるものであるが、近年ではデジタル画像処理で同様の処理を行う技術が開発されている（例えば、特許文献１，２参照）。このようにクロスフィルタの効果をデジタル画像処理でエミュレートする技術は、一般にクロスフィルタ処理と呼ばれている。
【０００３】
デジタル画像処理によるクロスフィルタ処理は、被写体画像の中から高輝度領域を抽出し、高輝度領域に対して光条を被写体画像に施すものであり、高輝度領域の各ピクセルに対して光条パターンの積和演算処理を行っている。
【０００４】
この積和演算処理は、膨大な演算回数が必要なため、リアルタイムで処理をすることが困難である。そのため、静止画処理用のレタッチソフトとして市販されていたが、最近では、デジタルカメラなどの撮像機器に搭載されているものも製品化されてきている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−３０３７３号公報
【特許文献２】特開２００６−３４００７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
デジタルカメラなどの撮像機器では、撮像画像の生成が完了するまでの時間を、ユーザが待つことを我慢できる時間以内に、クロスフィルタ処理時間を抑える必要がある。
【０００７】
しかし、従来のクロスフィルタ処理の技術では、高速にクロスフィルタ処理を行うことができなかったため、動画などにクロスフィルタ処理を施すことが難しかった。このことは、クロスフィルタ処理に限らず、高輝度領域を強調表示した画像を生成する場合であれば同様である。
【０００８】
そこで、本発明は、クロスフィルタなどのように高輝度領域を強調表示した画像を生成するための処理量を大幅に低減することができる画像処理装置、撮像機器及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
そこで、上記課題を解決するために、請求項１に記載の発明は、画像処理装置において、入力画像を所定の閾値で２値化する２値化手段と、前記２値化した画像から高輝度領域を特定する高輝度領域特定手段と、前記特定した高輝度領域に対し、所定条件に基づいて優先度を決定する優先度決定手段と、前記特定した高輝度領域が所定数以上あるとき、優先度の高い高輝度領域から順に前記所定数選択する選択手段と、前記選択した高輝度領域を強調表示する強調画像を生成し、当該強調画像を前記入力画像に合成する画像処理手段と、を備えることとした。
【００１０】
また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記優先度決定手段は、前記所定条件として、前記高輝度領域の大きさ、前記入力画像に対する前記高輝度領域の位置及び前記高輝度領域の色相に基づいて前記高輝度領域の優先度を決定することとした。
【００１１】
また、請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、前記画像処理手段は、一つの高輝度領域に対して一定のピクセル数の強調画像を割り当てられ、高輝度領域の面積に応じて強調画像の大きさを変えることとした。
【００１２】
また、請求項４に記載の発明は、請求項１〜３のいずれか１項に記載の画像処理装置において、前記画像処理手段は、前記入力画像を縮小した後に、当該縮小した入力画像の高輝度領域を強調表示する強調画像を生成し、当該強調画像を拡大した後に入力画像と合成することとした。
【００１３】
また、請求項５に記載の発明は、請求項１〜４のいずれか１項に記載の画像処理装置において、前記画像処理手段は、入力画像の複数フレームの単位で前記強調画像を生成し、前記複数フレームの入力画像に同一の強調画像をそれぞれ合成することとした。
【００１４】
また、請求項６に記載の発明は、請求項１〜５のいずれか１項に記載の画像処理装置において、前記入力画像は、カラー画像であり、前記強調画像の画像パターンは、２以上の色のそれぞれに割り当てられており、前記２値化手段は、前記入力画像から前記２以上の色のそれぞれの成分を抽出して単一色画像を生成し、前記高輝度領域特定手段は、前記単一色画像毎に、前記高輝度領域の特定を行い、前記優先度決定手段は、前記単一色画像毎に前記優先度の決定を行い、前記選択手段は、前記単一色画像毎に前記高輝度領域の選択を行い、前記画像処理手段は、前記単一色画像毎に前記選択した高輝度領域を強調表示する強調画像を生成し、当該強調画像を前記入力画像に合成することとした。
【００１５】
また、請求項７に記載の発明は、請求項１〜６のいずれか１項に記載の画像処理装置において、前記入力画像から人物の顔画像を検出する顔画像検出手段を備え、前記画像処理手段は、前記入力画像に前記強調画像を合成して生成した合成画像に前記顔検出手段で抽出した顔画像を上書きすることとした。
【００１６】
また、請求項８に記載の発明は、画像処理方法において、入力画像を所定の閾値で２値化するステップと、前記２値化した画像から高輝度領域を特定するステップと、前記特定した高輝度領域に対し、所定条件に基づいて優先度を決定するステップと、前記特定した高輝度領域が所定数以上あるとき、優先度の高い高輝度領域から順に前記所定数選択するステップと、前記選択した高輝度領域を強調表示する強調画像を生成し、当該強調画像を前記入力画像に合成するステップと、を有することとした。
【００１７】
また、請求項９に記載の発明は、撮像機器において、固体撮像素子からの入力画像を処理する画像処理装置を備え、前記画像処理装置は、入力画像を所定の閾値で２値化する２値化手段と、前記２値化した画像から高輝度領域を特定する高輝度領域特定手段と、前記特定した高輝度領域に対し、所定条件に基づいて優先度を決定する優先度決定手段と、前記特定した高輝度領域が所定数以上あるとき、優先度の高い高輝度領域から順に前記所定数選択する選択手段と、前記選択した高輝度領域を強調表示する強調画像を生成し、当該強調画像を前記入力画像に合成する画像処理手段とを備えることとした。
【発明の効果】
【００１８】
本発明によれば、クロスフィルタなどのように高輝度領域を強調表示した画像を生成するための処理量を大幅に低減することができる画像処理装置、撮像機器及び画像処理方法を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る撮像機器の構成を示す図である。
【図２】動画像用クロスフィルタ処理を行う回路構成を示す図である。
【図３】静止画像用クロスフィルタ処理を行う回路構成を示す図である。
【図４】動画像用クロスフィルタ処理の説明図である。
【図５】動画像用クロスフィルタ処理の説明図である。
【図６】動画像用クロスフィルタ処理の説明図である。
【図７】動画像用クロスフィルタ処理の説明図である。
【図８】動画像用クロスフィルタ処理の説明図である。
【図９】動画像用クロスフィルタ処理の説明図である。
【図１０】動画像用クロスフィルタ処理の説明図である。
【図１１】動画像用クロスフィルタ処理の説明図である。
【図１２】動画像用クロスフィルタ処理の説明図である。
【図１３】動画像用クロスフィルタ処理の説明図である。
【図１４】人物の顔画像を合成画像に上書きした顔除外合成画像の例を示す図である。
【図１５】ベクタ型のクロスフィルタ処理における処理量の説明図である。
【図１６】ベクタ型クロスフィルタ処理の説明図である。
【図１７】ラスタ型クロスフィルタ処理の説明図である。
【図１８】ベクタ型とラスタ型のクロスフィルタ処理結果の実際の違いを示す図である。
【図１９】第１変形例におけるクロスフィルタ処理の説明図である。
【図２０】第１変形例におけるクロスフィルタ処理の説明図である。
【図２１】第１変形例におけるクロスフィルタ処理の説明図である。
【図２２】第１変形例におけるクロスフィルタ処理の説明図である。
【図２３】第２変形例におけるクロスフィルタ処理の説明図である。
【図２４】第２変形例におけるクロスフィルタ処理の説明図である。
【図２５】その他のパターンデータの画像を示す図である。
【図２６】その他のパターンデータの画像を示す図である。
【発明を実施するための形態】
【００２０】
以下、発明を実施するための形態（以下、「実施形態」とする）について説明する。なお、説明は以下の順序で行う。
１．撮像機器の構成
２．画像処理装置の構成
３．画像処理装置の処理動作
４．クロスフィルタ回路の動作
５．画像処理装置の第１変形例
６．画像処理装置の第２変形例
【００２１】
［１.撮像機器の構成］
まず、本実施形態に係る撮像機器の構成について図面を用いて説明する。図１は本発明の一実施形態に係る撮像機器の構成を示す図である。
【００２２】
図１に示すように、撮像機器１は、固体撮像素子２、Ａ／Ｄ（アナログ／デジタル）変換回路３、画像処理装置４、システムコントローラ５、入力部６、光学ブロック７を具備している。また、この撮像機器１には、光学ブロック７内の機構を駆動するためのドライバ８、固体撮像素子２を駆動するためのタイミングジェネレータ（ＴＧ）９などが設けられている。なお、固体撮像素子２として、例えば、ＣＭＯＳ型の固体撮像素子やＣＣＤ型の固体撮像素子などが用いられる。
【００２３】
光学ブロック７は、被写体からの光を固体撮像素子２へ集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、メカシャッタ、絞りなどを具備している。ドライバ８は、システムコントローラ５からの制御信号に応じて、光学ブロック７内の機構の駆動を制御する。
【００２４】
固体撮像素子２は、ＴＧ９から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ９は、システムコントローラ５の制御の下でタイミング信号を出力する。
【００２５】
Ａ／Ｄ変換回路３は、固体撮像素子２から出力された画像信号をＡ／Ｄ変換してデジタル画像信号を出力する。画像信号は、固体撮像素子２の各画素から出力される画素信号から構成される。
【００２６】
画像処理装置４は、Ａ／Ｄ変換回路３から出力されるデジタル画像信号に対して、後述するクロスフィルタ処理のほか、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、欠陥画素の検出処理及び補正処理、ホワイトバランス調整、マトリクス処理などの各種カメラ信号処理を実行する。
【００２７】
システムコントローラ５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成される。ＣＰＵはＲＯＭに記憶されたプログラムを実行することにより、この撮像機器１の各部を統括的に制御し、また、その制御のための各種演算を実行する。入力部６は、ユーザの操作入力を受け付ける操作キー、ダイアル、レバーなどを含み、操作入力に応じた制御信号をシステムコントローラ５に出力する。
【００２８】
この撮像機器１では、固体撮像素子２の各光電変換部で受光され、光電変換された画素信号が、順次Ａ／Ｄ変換回路３に供給されてデジタル信号に変換され、画像処理装置４により欠陥補正処理などが行われて、画像データとして出力される。
【００２９】
画像処理装置４から出力された画像データは、図示しないグラフィックインタフェース回路に供給されて表示用の画像信号に変換され、これにより図示しないモニタにカメラスルー画像が表示される。また、入力部６へのユーザの入力操作などによりシステムコントローラ５に対して画像の記録が指示されると、画像処理装置４からの画像データはＣＯＤＥＣ（enCOder,DECoder）に供給され、圧縮符号化処理が施されて記録媒体に記録される。本実施形態に係る撮像機器１では、静止画像を記録する静止画像モードと、動画像を記録する動画像モードとを有しており、ユーザは入力部６への入力操作などによりいずれかのモードを選択することができる。静止画像モード時における静止画像の記録の際には、画像処理装置４からは１フレーム分の画像データがＣＯＤＥＣに供給され、動画像モード時の動画像の記録の際には、処理された画像データがＣＯＤＥＣに連続的に供給される。
【００３０】
［２.画像処理装置４の構成］
次に、本実施形態に係る画像処理装置４の構成について図面を用いて説明する。画像処理装置４は、動画像モードにおける動画像の記録時などには処理速度優先の処理を行い、静止画像モードにおける静止画像の記録時などには画質優先の処理を行うようにしている。図２は動画像の記録時や動画像のモニタ時に適用される動画像用クロスフィルタ処理を行う回路構成を示す図である。また、図３は静止画像の記録時に適用される静止画像用クロスフィルタ処理を行う回路構成を示す図である。画像処理装置４は、その他の種々の処理を行い、実際にはその他の回路構成も存在するが、ここでは、クロスフィルタ処理を中心に説明することとする。
【００３１】
まず、図２を参照して、動画像用クロスフィルタ処理を行う回路構成を説明する。
【００３２】
図２に示すように、画像処理装置４は、フレーム補間処理回路１１と、強調画像生成回路１２と、顔検出回路１３と、合成処理回路１４と、を有しており、フレーム補間処理やクロスフィルタ処理などを行う。例えば、強調画像生成回路１２と合成処理回路１４とによりクロスフィルタ処理が行われ、顔検出回路１３と合成処理回路１４とによりクロスフィルタ除外処理が行われる。
【００３３】
フレーム補間処理回路１１は、フレーム間の画像を補間する処理を行う。具体的には、フレーム補間処理回路１１は、フレーム単位で順次入力される入力画像信号により形成されるフレーム単位の画像（以下、「入力画像」という。）間の動きベクトルを検出し、この動きベクトルに基づいて補間画像信号を生成する。このように生成された補間画像信号は、フレーム補間処理回路１１により入力画像信号と混合される。
【００３４】
強調画像生成回路１２は、入力画像に強調表示を行うための強調画像のラスタデータを生成する。この強調画像は、具体的には光条画像であり、入力画像と合成されることにより、クロスフィルタ処理が行われる。
【００３５】
この強調画像生成回路１２は、グレースケール変換回路２１と、縮小スケーリング回路２２と、２値化回路２３と、ラベリング回路２４と、優先度決定回路２５と、選択回路２６と、クロスフィルタ処理回路２７と、拡大スケーリング回路２８と、パターンデータ記憶部２９とを有している。パターンデータ記憶部２９は、クロスフィルタ処理回路２７によって用いられる光条パターンのデータ（以下、「パターンデータ」ともいう。）を記憶している。
【００３６】
グレースケール変換回路２１は、入力画像がカラー画像の場合に、この入力画像をグレースケールに変化する処理を行う。すなわち、グレースケール変換回路２１は、入力画像を白から黒までの明暗だけで表現し、色の情報は含まない画像に変換する。なお、入力画像のグレースケール変換は、縮小スケーリング回路２２による処理の前に実行することにより、縮小スケーリング回路２２での処理量を低減させることができる。
【００３７】
縮小スケーリング回路２２は、グレースケール化された入力画像のサイズを所定の縮小率で縮小する処理を行う。この縮小率は、変更可能であり、縮小サイズが小さいほど、クロスフィルタ処理を高速に行うことができる。縮小率の変更は、例えば、入力部６からのユーザによる操作などによって変更することができる。
【００３８】
２値化回路２３は、２値化手段として、グレースケール化及び縮小された入力画像を設定された閾値で２値化して、２値化画像を生成する処理を行う。この閾値は、入力画像の高輝度領域を特定することができる値に設定される。この閾値は、調整が可能であり、例えば、入力部６からのユーザによる操作などによって変更することができる。この閾値の調整により、クロスフィルタ処理を施す領域や範囲を調整することができる。
【００３９】
ラベリング回路２４は、高輝度領域特定手段として、２値化画像から高輝度領域を特定する処理を行う。具体的には、ラベリング回路２４は、２値化画像の高輝度ピクセルが塊で集合した領域を一つの高輝度領域として特定し、このように特定した高輝度領域にそれぞれユニークな識別情報として識別番号を付与する。このラベリング回路２４では、予め設定された閾値面積未満の小さな高輝度領域を高輝度領域として特定しないようにしている。高輝度領域を特定するための閾値面積の設定は、調整が可能であり、例えば、入力部６からのユーザによる操作などによって変更することができる。このように、閾値面積未満の高輝度領域を特定しないことにより、後段での処理時間を低減することが可能となる。なお、この閾値面積を大きくすることにより、特定する高輝度領域の数を少なくすることができ、後段での処理時間をさらに低減することが可能となる。
【００４０】
優先度決定回路２５は、優先度決定手段として、ラベリング回路２４により特定された高輝度領域の優先度を決定して、高輝度領域に優先順位を付与する処理を行う。この優先度決定回路２５による優先度の決定は、高輝度領域の大きさに基づいて行われる。例えば、高輝度領域の大きさが大きいほど優先度を高くする。なお、優先度の決定は、高輝度領域の大きさのほか、入力画像に対する高輝度領域の位置や高輝度領域の色相などに基づいて行うこともできる。例えば、高輝度領域の位置が入力画像の中央付近にあるほど優先度が高くなるようにする。また、高輝度領域の大きさと入力画像に対する高輝度領域の位置とに基づくなど、入力部６への入力操作等による設定により、複数の条件を組み合わせて優先度の決定を行うようにすることもできる。なお、２値化画像ではなく、高輝度領域の色相を検出することにより、高輝度領域の優先度の精度を向上させることができるが、図２に示す例では、処理速度を優先するために２値化画像から高輝度領域の優先度の検出を行っている。
【００４１】
選択回路２６は、選択手段として、ラベリング回路２４が特定した高輝度領域がｎ個以上あるとき、優先度の高い高輝度領域から順にｎ個選択する処理を行う。ｎは、クロスフィルタ処理を迅速に行うことができる数に設定される。このｎは、例えば、入力部６からのユーザによる操作などによって変更することができる。ｎが大きいほど、クロスフィルタ処理が施される高輝度領域が多くなり、クロスフィルタ処理を高精度に行うことができるが、クロスフィルタ処理に時間がかかる。一方、ｎが小さいほど、クロスフィルタ処理が施される高輝度領域が少なくなり、クロスフィルタ処理の精度は下がるが、クロスフィルタ処理の時間を低減することができる。なお、このｎは、各フレームの入力画像に対してクロスフィルタ処理を施すことが可能な最大数が上限値となり、それ以上は設定変更ができないようになっている。
【００４２】
クロスフィルタ処理回路２７は、ラスタ型のクロスフィルタ処理を行う画像処理手段として、パターンデータ記憶部２９に記憶されたパターンデータに基づき、選択回路２６で選択した高輝度領域に対してクロスフィルタ処理を施すラスタデータを生成する。このクロスフィルタ処理回路２７の処理について、後で詳述する。
【００４３】
拡大スケーリング回路２８は、画像処理手段として、クロスフィルタ処理回路２７で生成された強調画像を所定の拡大率で拡大した強調画像に変換するために、クロスフィルタ処理回路２７で生成された強調画像のラスタデータに対して演算処理を行う。拡大スケーリング回路２８における拡大率は、縮小スケーリング回路２２における縮小率に対応するものであり、入力画像に応じた大きさの強調画像となるように設定される。例えば、縮小率が２０％（１／５倍）のとき、拡大率は５００％（５倍）となる。
【００４４】
顔検出回路１３は、顔検出手段として、入力画像から人物の顔画像を検出し、顔位置やサイズ情報を出力する処理を行う。顔画像の抽出は、周知の技術であり、例えば、肌色領域の検出や動き検出によって行うことができる。
【００４５】
合成処理回路１４は、画像処理手段として、拡大スケーリング回路２８から出力される強調画像のラスタデータに基づいて、フレーム補間を行った入力画像に強調画像を合成することによって、合成画像を生成する処理を行う。
【００４６】
また、合成処理回路１４は、顔検出回路１３から出力される顔位置やサイズ情報に基づいて人物の顔画像を検出し、この顔画像を前記合成画像に上書きして、出力画像として出力する。このように顔画像を合成画像に上書きすることで、人物の顔に強調画像が合成されるような場合であっても、人物の顔から強調画像を取り除くことができるため、人物を撮像するときに強調画像によって人物の顔が分からなくなるといった問題を回避することができる。なお、入力画像に強調画像を合成する前に、顔検出回路１３から出力される顔位置やサイズ情報に基づき、強調画像のラスタデータから人物の顔部分の領域のラスタデータを除外した後に、この強調画像のラスタデータに基づき、入力画像に強調画像を合成することもできる。
【００４７】
このように、動画像の記録時の画像処理装置４では、強調画像生成回路１２と合成処理回路１４とによりクロスフィルタ処理が行うことで、クロスフィルタなどのように高輝度領域を強調表示した画像を生成するための処理量を大幅に低減することができる。また、顔検出回路１３と合成処理回路１４とによりクロスフィルタ除外処理を行うことで、人の顔を処理から除外することができ、レンズフィルタで実現できなかったクロスフィルタ効果を得ることができる。
【００４８】
次に、静止画像用クロスフィルタ処理を行う回路構成について図３を参照して説明する。なお、上述した要素と同様の機能を有する要素は同一符号を付して、以下において説明を省略するものとする。
【００４９】
図３に示すように、画像処理装置４は、強調画像生成回路１２’と、合成処理回路１４’と、顔検出回路１３と、を有しており、フレーム補間処理やクロスフィルタ処理などを行う。例えば、強調画像生成回路１２’と合成処理回路１４’とによりクロスフィルタ処理が行われ、顔検出回路１３と合成処理回路１４’とによりクロスフィルタ除外処理が行われる。
【００５０】
強調画像生成回路１２’は、強調画像生成回路１２と同様に、入力画像に強調表示を行うための強調画像のベクタデータを生成する。この強調画像は、具体的には光条画像であり、入力画像と合成されることにより、クロスフィルタ処理が行われる。
【００５１】
この強調画像生成回路１２’では、グレースケール変換回路２１と、２値化回路２３と、ラベリング回路２４と、クロスフィルタ処理回路２７’と、パターンデータ記憶部２９とを有している。この強調画像生成回路１２’では、上記強調画像生成回路１２と異なり、入力画像の縮小や強調画像の拡大などの処理を行わず、また、強調画像を付加する高輝度領域の数を制限していない。また、クロスフィルタ処理回路２７’において、後述のようにベクタ型のクロスフィルタ処理を行っている。これにより、この静止画像の記録時には、処理時間はかかるものの、動画像に対するクロスフィルタ処理に比べて綺麗なクロスフィルタ処理を行うようにしている。
【００５２】
クロスフィルタ処理回路２７’は、パターンデータ記憶部２９に記憶されたパターンデータに基づき、ラベリング回路２４により特定された高輝度領域に対してクロスフィルタ処理を施すベクタデータを生成する。具体的には、クロスフィルタ処理回路２７’は、ラベリング回路２４で特定した高輝度領域を構成するピクセルのそれぞれに対してパターンデータを割り当て、全てのピクセルに対してパターンデータの割り当てを行うことにより強調画像のベクタデータを生成する。
【００５３】
合成処理回路１４’は、画像処理手段として、クロスフィルタ処理回路２７’から出力される強調画像のベクタデータに基づいて、入力画像に強調画像を合成して、合成画像を生成する処理を行う。また、合成処理回路１４’は、合成処理回路１４と同様に、顔検出回路１３から出力される顔位置やサイズ情報に基づいて人物の顔画像を検出し、この顔画像を前記合成画像に上書きして、出力画像として出力する。このように顔画像を合成画像に上書きすることで、人物の顔に強調画像が合成される場合であっても、人物の顔から強調画像を取り除くことができるため、人物を撮像するときに強調画像によって人物の顔が分からなくなるといった問題を回避することができる。
【００５４】
このように、静止画像の記録時の画像処理装置４では、動画像の記録時などに比べ、入力画像の縮小や強調画像の拡大などの処理を行わず、また、強調画像を付加する高輝度領域の数の制限を行っていない。そのため、時間がかかるが綺麗なクロスフィルタ処理を行った静止画像を出力できる。また、顔検出回路１３と合成処理回路１４とによりクロスフィルタ除外処理を行うことで、人の顔を処理から除外する機能によって、レンズフィルタで実現できなかったクロスフィルタ効果を得ることができる。
【００５５】
［３．画像処理装置４の処理動作］
以上のように構成された画像処理装置４の処理動作について、図４〜図１４を参照して具体的に説明する。なお、ここでは、動画像の記録時などにおける画像処理装置４の処理動作について説明する。
【００５６】
画像処理装置４に入力画像が入力されたときに、画像処理装置４による処理が開始される。入力画像として、例えば、夜間の灯台を被写体としたカラー画像が、高輝度領域がある画像が画像処理装置４に入力されたとする。
【００５７】
画像処理装置４に入力された入力画像は、グレースケール変換回路２１に入力され、図４に示すように、白から黒までの明暗だけで表現したグレースケール画像に変換される。
【００５８】
グレースケール変換された入力画像のデータは、図５に示すように、縮小スケーリング回路２２により所定の縮小率で縮小されて２値化回路２３に入力される。２値化回路２３では、グレースケール化及び縮小された入力画像を設定された閾値で２値化して、図６に示すように、２値化画像を生成し、この２値化画像のデータをラベリング回路２４へ出力する。
【００５９】
ラベリング回路２４は、２値化画像から高輝度領域を特定する処理を行う。具体的には、ラベリング回路２４は、２値化画像の高輝度ピクセルが塊で集合した領域のうち予め設定された閾値面積以上の領域を、高輝度領域として特定して抽出する。さらに、ラベリング回路２４は、識別情報として、図７に示すように、特定した高輝度領域にそれぞれユニークな識別番号を付与する。なお、付与する識別番号は、高輝度領域を識別するための識別情報であり、重複がなければ番号ではなく記号などであってもよい。
【００６０】
ラベリング回路２４は、特定した高輝度領域のラスタデータを識別番号に関連づけて優先度決定回路２５へ出力する。優先度決定回路２５では、ラベリング回路２４により特定された高輝度領域の優先度を決定して、高輝度領域に優先順位を付与する。ここでは、優先度の決定を、高輝度領域の大きさに基づいて行っている。図８に示す例では、識別番号１，２，３，４，５，６，７，８，９の高輝度領域に対して、６，４，５，３，１，２，８，９，７の優先度が割り当てられている。なお、この例では、番号が若いほど優先度が高い。
【００６１】
優先度決定回路２５は、ラベリング回路２４により特定され、識別番号が関連づけられた高輝度領域のラスタデータに、それぞれ優先度の情報を付加して、選択回路２６へ出力する。
【００６２】
選択回路２６は、優先度決定回路２５から入力される情報に基づき、ラベリング回路２４が特定した高輝度領域がｎ個以上あると判定すると、優先度の高い高輝度領域から順にｎ個選択する。図９に示す例では、ｎを３としており、優先度の高い高輝度領域として識別番号４，５，６の高輝度領域が選択されている。
【００６３】
選択回路２６は、選択した高輝度領域のラスタデータを識別番号に関連づけてクロスフィルタ処理回路２７へ出力する。クロスフィルタ処理回路２７は、パターンデータ記憶部２９に記憶された光条パターン（図１０参照）のデータに基づき、選択回路２６で選択した高輝度領域に対してクロスフィルタ処理を施すラスタデータを生成する。すなわち、クロスフィルタ処理回路２７は、後述するラスタ型のクロスフィルタ処理により、図１１に示すような強調画像のラスタデータを生成する。
【００６４】
クロスフィルタ処理回路２７で生成された強調画像のラスタデータは、拡大スケーリング回路２８に入力される。拡大スケーリング回路２８は、図１２に示すように、クロスフィルタ処理回路２７で生成された強調画像を所定の拡大率で拡大した強調画像とするために、クロスフィルタ処理回路２７で生成された強調画像のラスタデータに対して演算処理を行う。
【００６５】
合成処理回路１４は、拡大スケーリング回路２８から出力される強調画像のラスタデータに基づいて、フレーム補間を行った入力画像に強調画像を合成して、図１３に示すように、合成画像を生成する。なお、合成処理回路１４は、顔検出回路１３から出力される顔位置やサイズ情報に基づいて人物の顔画像を合成画像に上書きする機能を有しているが、図４に示す画像には、人物の画像が含まれていないため、顔検出回路１３での検出は行われず、顔画像の上書きも行わない。なお、入力画像に人物の顔画像が含まれている場合、合成処理回路１４は、例えば、図１４に示すように、顔検出回路１３から出力される顔位置やサイズ情報に基づいて人物の顔画像を合成画像に上書きした顔除外合成画像を生成する。
【００６６】
以上のように、本実施形態に係る画像処理装置では、縮小スケーリング回路２２により入力画像を縮小した画像に基づいて強調画像を生成してクロスフィルタ処理を行っているので、高輝度領域の特定処理、高輝度領域の選択処理、強調画像の生成処理などを高速に行うことができる。
【００６７】
また、ラベリング回路２４により、閾値面積未満の小さな高輝度領域は、高輝度領域として特定しないようにしているため、これによっても、高輝度領域の選択処理、強調画像の生成処理などを高速に行うことができる。
【００６８】
さらに、選択回路２６において、ラベリング回路２４が特定した高輝度領域がｎ個以上あるとき、優先度の高い高輝度領域から順にｎ個選択する処理を行っているため、高輝度領域が多数存在するときであっても、強調画像の生成処理を一定時間内に行うことができる。その為、撮像機器１が動画像モードの場合であっても、リアルタイムでクロスフィルタ処理を実行することができる。
【００６９】
［４．クロスフィルタ回路の動作］
次に、クロスフィルタ回路の動作について図面を参照してさらに具体的に説明する。なお、ここでは、図面の理解を容易にするために、便宜上、強調画像を光条画像ではなく星形状の画像として表している。
【００７０】
従来のクロスフィルタ処理は、ベクタ型のクロスフィルタ処理であり、高輝度領域を構成するピクセルのそれぞれに対してパターンデータを割り当て、全てのピクセルに対してパターンデータの割り当てを行うことにより光条画像である強調画像を生成する。すなわち、高輝度領域を構成するピクセルのそれぞれに対して光条パターンの面積分の回数だけ積分処理を行うことになる。そのため、高輝度領域を構成するピクセルが多くなればなるほど、処理量が増加する。また、図１５に示すように、高輝度領域の面積により強調画像の拡大率を変更する処理を行う場合、拡大面積に比例して処理量が増加する。
【００７１】
そこで、本実施形態に係る画像処理装置４では、クロスフィルタ処理回路２７において、その処理量を低減することができるように、ラスタ型のクロスフィルタ処理を行っている。
【００７２】
図１６は従来のベクタ型クロスフィルタ処理の説明図であり、図１７はラスタ型クロスフィルタ処理の説明図である。
【００７３】
従来のベクタ型クロスフィルタ処理では、図１６に示すように、対象画像の全ての領域に対してクロスフィルタ処理を行っていた。これに対し、図１７に示すラスタ型のクロスフィルタ処理では、パターンデータについてクロスフィルタの拡大率を勘案して対象画像の対象領域に対して拡大率の単位で飛び飛びにクロスフィルタ処理を行う。すなわち、クロスフィルタ処理回路２７では、高輝度領域の面積に関わらず、一つの高輝度領域に対して、パターンデータを構成するピクセル数だけ、積分処理が行われることになる。また、クロスフィルタ処理回路２７は、高輝度領域の面積が大きくなるほど、パターンデータのサイズが大きくなるようにパターンデータを拡大する処理を行う。
【００７４】
このようにクロスフィルタ処理回路２７では、ラスタ型のクロスフィルタ処理を行うことにより、強調画像はギザギザが目立つようになるものの、ピクセル当たりの処理量がクロスフィルタの拡大率に処理量が依存しなくなり、高速でクロスフィルタ処理を実行できる。
【００７５】
図１８にベクタ型とラスタ型のクロスフィルタ処理結果の実際の違いを示す。図１８（ａ）はベクタ型のクロスフィルタ処理結果を示し、図１８（ｂ）はラスタ型のクロスフィルタ処理結果を示す。
【００７６】
本実施形態に係る撮像機器１では、例えば、静止画像モードにおいて、動画モニタリング時には、図２に示す回路により、図１７に示すラスタ型のクロスフィルタ処理を行って、高速なクロスフィルタ処理を行い、この処理結果をモニタ（図示せず）に表示する。撮像機器１のモニタは、記録する画像の解像度よりも低い解像度のモニタを使用しており、ラスタ型クロスフィルタを用いることでリアルタイムにクロスフィルタ処理が行われる。また、静止画像の記録時には、図３に示す回路により、処理時間をかけて図１６に示すベクタ型のクロスフィルタ処理を行うことにより、綺麗なクロスフィルタ処理結果を得ることができる。
【００７７】
［５．画像処理装置の第１変形例］
上述の画像処理装置４では、１フレーム毎の入力画像に対してクロスフィルタ処理を行ったが、入力部６へのユーザの入力操作などにより、複数フレーム単位の入力画像に対して同一の強調画像によるクロスフィルタ処理を行うようにしてもよい。
【００７８】
すなわち、強調画像生成回路１２において、入力画像の複数フレームの単位で強調画像を生成し、合成処理回路１４において、複数フレームの入力画像にそれぞれ同一の強調画像をそれぞれ合成するのである。なお、クロスフィルタ処理回路２７と合成処理回路１４との間には、クロスフィルタ処理回路２７で生成した強調画像を保持するフレームバッファ回路３１が設けられる。また、フレーム補間処理回路１１と合成処理回路１４との間には、フレーム補間処理回路１１により補間処理が施された入力画像を保持するフレームバッファ回路３２が設けられる。
【００７９】
このようにすることで、動画のフレームレートに対してクロスフィルタの処理が間に合わない場合であっても、フレームレートが高速な動画に対してもクロスフィルタ処理を施すことが可能となる。
【００８０】
また、複数フレームの入力画像にそれぞれ同一の強調画像をそれぞれ合成する処理（以下、「複数フレーム単位処理」とする。）は、動きの少ない動画像の場合には、クロスフィルタ処理の処理品質がそれほど悪くならない。従って、例えば、動画像の動きを検出する検出部を設け、動画像の動きが少ない場合には、フレーム単位のクロスフィルタ処理に替えて、このフレーム単位のクロスフィルタ処理を行うことで消費電力を低減することも可能となる。
【００８１】
以下、図１９〜図２２を参照して、上記複数フレーム単位処理について具体的に説明する。ここでは、３フレームを一つの単位とした複数フレーム単位処理について説明する。また、図１９〜図２２においては、理解を容易にするため、一部の回路を省略している。
【００８２】
図１９に示すように、１フレーム目の入力画像は、クロスフィルタ処理回路２７に入力され、さらに、フレーム補間処理回路１１を介してフレームバッファ回路３２に入力される。このとき、１フレーム目の入力画像は、フレームバッファ回路３２に蓄積されて合成処理回路１４には入力されず、合成画像は出力されない。
【００８３】
次に、２フレーム目の入力画像が入力されると、この入力画像は、クロスフィルタ処理回路２７へ入力されず、フレームバッファ回路３２のみに入力される。このとき、１フレーム目の入力画像及び２フレーム目の入力画像は、フレームバッファ回路３２に蓄積されて合成処理回路１４には入力されず、合成画像は出力されない。
【００８４】
図２０に示すように、３フレーム目の入力画像が入力されるまでに、クロスフィルタ処理回路２７での強調画像の生成が終了し、この強調画像がフレームバッファ回路３１に蓄積される。そして、３フレーム目の入力画像が入力されると、合成処理回路１４は、フレームバッファ回路３２から読み出した１フレーム目の入力画像と、フレームバッファ回路３１から読み出した強調画像とを加算合成処理を行い、出力画像として出力する。
【００８５】
次に、４フレーム目の入力画像が入力されると、この４フレーム目の入力画像は、図２１に示すように、１フレーム目の入力画像と同様に、クロスフィルタ処理回路２７とフレームバッファ回路３２に入力される。合成処理回路１４は、フレームバッファ回路３２から読み出した２フレーム目の入力画像と、フレームバッファ回路３１から読み出した強調画像とを加算合成処理を行い、出力画像として出力する。このときの強調画像は、１フレーム目の入力画像に基づいて生成した強調画像である。
【００８６】
次に、５フレーム目の入力画像が入力されると、この５フレーム目の入力画像は、図２１に示すように、２フレーム目の入力画像と同様に、クロスフィルタ処理回路２７へ入力されず、フレームバッファ回路３２のみに入力される。合成処理回路１４は、フレームバッファ回路３２から読み出した３フレーム目の入力画像と、フレームバッファ回路３１から読み出した強調画像とを加算合成処理を行い、出力画像として出力する。このときの強調画像は、１フレーム目の入力画像に基づいて生成した強調画像である。
【００８７】
また、図２２示すように、６フレーム目の入力画像が入力されるまでに、クロスフィルタ処理回路２７での強調画像の生成が終了し、この強調画像がフレームバッファ回路３１に蓄積される。このときの強調画像は、４フレーム目の入力画像に基づいて生成した強調画像である。そして、６フレーム目の入力画像が入力されると、合成処理回路１４は、フレームバッファ回路３２から読み出した４フレーム目の入力画像と、フレームバッファ回路３１から読み出した強調画像とを加算合成処理を行い、出力画像として出力する。
【００８８】
その後、４〜６フレーム目の処理と同様の処理を繰り返し行うことで、３フレームに１回のクロスフィルタ処理を実行する。この処理を行うことで、動画のフレームレートに対してクロスフィルタの処理が間に合わない場合であっても、フレームレートが高速な動画に対してもクロスフィルタ処理を施すことが可能となる。なお、このように複数フレームの入力画像に対して同一のクロスフィルタ処理を行う場合には、選択回路２６において選択する高輝度領域の上限値ｎは、当該複数フレームの入力画像が入力される時間に、クロスフィルタ処理を施すことが可能な最大数となる。
【００８９】
［６．画像処理装置の第２変形例］
上述の画像処理装置では、クロスフィルタ処理に用いるパターンデータを色毎に設けていないが、第２変形例の画像処理装置では、色毎にパターンデータを設けている。例えば、図２３に示すように、Ｒ（赤色），Ｇ（緑色），Ｂ（青色），Ｙ（黄色）のそれぞれのパターンデータをパターンデータ記憶部４９に記憶する。
【００９０】
第２変形例の画像処理装置では、グレースケール変換回路２１を設けておらず、カラーの入力画像が２値化回路４３に入力される。この２値化回路４３では、２値化手段として、閾値の条件を色空間で決定している。すなわち、２値化回路４３には、Ｒ，Ｇ，Ｂ，Ｙのそれぞれの閾値が設定されており、この２値化回路４３は、入力画像におけるＲ，Ｇ，Ｂ，Ｙのそれぞれの色の輝度を抽出し、Ｒ，Ｇ，Ｂ，Ｙのそれぞれの単一色画像を生成する。そして、２値化回路４３は、Ｒ，Ｇ，Ｂ，Ｙのそれぞれの単一色画像を各閾値に基づき、２値化画像を生成する。その後、２値化回路４３は、各２値化画像のデータをラベリング回路２４へ出力する。
【００９１】
ラベリング回路４４は、高輝度領域特定手段として、Ｒ，Ｇ，Ｂ，Ｙのそれぞれの２値化色画像毎に、高輝度領域の特定を行う。ラベリング回路４４は、特定した高輝度領域のラスタデータを識別番号に関連づけて優先度決定回路２５へ出力する。高輝度領域の特定方法は、ラベリング回路２４と同様である。なお、入力部６からのユーザによる操作などによって、２値化色画像毎に、閾値面積を変更するようにすることも可能である。
【００９２】
優先度決定回路４５は、優先度決定手段として、Ｒ，Ｇ，Ｂ，Ｙのそれぞれの高輝度領域のラスタデータ毎に、高輝度領域の優先度を決定し、ラスタデータ毎に、それぞれ優先度の情報を付加して、選択回路２６へ出力する。優先度の決定の処理は、優先度決定回路２５と同様である。なお、入力部６からのユーザによる操作などによって、２値化色画像毎に、優先度の決定条件を変更することも可能である。
【００９３】
選択回路４６は、選択手段として、単一色画像毎に高輝度領域の選択を行う。すなわち、選択回路４６は、優先度決定回路２５から入力される優先度の情報に基づき、Ｒ，Ｇ，Ｂ，Ｙの色毎に、ラベリング回路２４が特定した高輝度領域がｎ個以上あるか否かを判定し、高輝度領域がｎ個以上あるときには、優先度の高い高輝度領域から順にｎ個選択する。
【００９４】
クロスフィルタ処理回路４７は、画像処理手段として、Ｒ，Ｇ，Ｂ，Ｙの色毎に、選択回路４６により選択された高輝度領域を強調表示する強調画像を、パターンデータ記憶部４９に記憶した各色のパターンデータに基づいて生成する。クロスフィルタ処理回路４７によって生成された各色の強調画像は、合成処理回路５０に入力される。合成処理回路５０では、各処理の強調画像を入力画像に加算合成処理を行って、合成画像を生成する。
【００９５】
強調画像の色、強調度合い、２値化閾値などを、色毎に変更することによって、多様な強調表示を行うことができる。例えば、図２４（ａ）では、ＢとＹの色の２値化の閾値を下げ、これらの色の強調表示をＢ（青色）で行うようにしている。また、図２４（ｂ）では、ＲとＹの色の２値化の閾値を下げ、これらの色の強調表示をＲ（赤色）で行うようにしている。図２４（ｃ）では、ＧとＹの２値化の閾値を下げ、これらの色の強調表示をＧ（緑）で行うようにしている。また、図２４（ｄ）では、Ｙの色の２値化の閾値を下げ、この色の強調表示をＹ（黄色）で行うようにしている。
【００９６】
このように、２色以上の色毎に別々の閾値判定を行い、それぞれの色に対するパターテーブルを適用することによりクロスフィルタのバリエーションを広げることができる。
【００９７】
なお、上述においては、強調画像として光条画像を例に挙げて説明したが、強調画像はこれに限られず、例えば、図２５に示すようなャラクターなどであってもよい。また、図２６に示すように、色のパターンデータをキャラクターとすることで、光源がキャラクターになった効果を得ることが出来る。
【００９８】
以上、本発明の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【００９９】
例えば、上述した各回路は、ハードウェアで構成してもよく、またソフトウェアで処理するようにしてもよい。
【符号の説明】
【０１００】
１  撮像機器１
２  固体撮像素子
３  Ａ／Ｄ変換回路
４  画像処理回路
５  システムコントローラ
６  入力部
７  光学ブロック
８  ドライバ
９  タイミングジェネレータ
１１  フレーム補間処理回路
１２  強調画像生成回路
１３  顔検出回路
１４  合成処理回路
２１  グレースケール変換回路
２２  縮小スケーリング回路
２３  ２値化回路
２４  ラベリング回路
２５  優先度決定回路
２６  選択回路
２７  クロスフィルタ処理回路
２８  拡大スケーリング回路
２９  パターンデータ記憶部
【図６】
2011151454.tif 000003
【図７】
2011151454.tif 000004
【図８】
2011151454.tif 000005
【図９】
2011151454.tif 000006
【図１０】
2011151454.tif 000007
【図１】
2011151454.tif 000008
【図２】
2011151454.tif 000009
【図３】
2011151454.tif 000010
【図４】
2011151454.tif 000011
【図５】
2011151454.tif 000012
【図１１】
2011151454.tif 000013
【図１２】
2011151454.tif 000014
【図１３】
2011151454.tif 000015
【図１４】
2011151454.tif 000016
【図１５】
2011151454.tif 000017
【図１６】
2011151454.tif 000018
【図１７】
2011151454.tif 000019
【図１８】
2011151454.tif 000020
【図１９】
2011151454.tif 000021
【図２０】
2011151454.tif 000022
【図２１】
2011151454.tif 000023
【図２２】
2011151454.tif 000024
【図２３】
2011151454.tif 000025
【図２４】
2011151454.tif 000026
【図２５】
2011151454.tif 000027
【図２６】
2011151454.tif 000028