(57)【要約】【課題】簡易な方法でシャッターぼやけを低減することのできる技術を提供する。【解決手段】本発明の画像処理装置は、入力画像の少なくとも一部の領域から、所定の色空間の中で直線状に分布する３つ以上の色を検出する色検出手段と、色検出手段で、第１の色、第２の色、及び、第１の色と第２の色の間の色である第３の色が検出された場合に、第３の色と第１の色または第２の色との間の所定の色空間における距離が短くなるように、第３の色を補正する補正手段と、を有することを特徴とする。【選択図】図４
2011087240.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の少なくとも一部の領域から、所定の色空間の中で直線状に分布する３つ以上の色を検出する色検出手段と、
前記色検出手段で、第１の色、第２の色、及び、前記第１の色と前記第２の色の間の色である第３の色が検出された場合に、前記第３の色と前記第１の色または前記第２の色との間の前記所定の色空間における距離が短くなるように、前記第３の色を補正する補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記補正手段は、前記第３の色と前記第１の色の間の前記所定の色空間における距離、及び、前記第３の色と前記第２の色の間の前記所定の色空間における距離のうち、短い方の距離がさらに短くなるように前記第３の色を補正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、前記第３の色を、前記第１の色と前記第２の色のいずれかの色に置換する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記補正手段は、前記第３の色と、前記第１の色と前記第２の色のいずれかの色との間の前記所定の色空間における距離が大きいほど、該色との距離がより短くなるように前記第３の色を補正する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記入力画像の領域を複数の分割領域に分割する分割手段と、
前記分割領域毎に動きベクトルを検出する動き検出手段と、
を有し、
前記一部の領域は、前記検出された動きベクトルが０でない分割領域である
ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記色検出手段は、前記一部の領域内における色の数が所定数以下の場合に、前記直線状に分布する３つ以上の色を検出する処理を行う
ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
入力画像の少なくとも一部の領域から、所定の色空間の中で直線状に分布する３つ以上の色を検出する色検出ステップと、
前記色検出ステップで、第１の色、第２の色、及び、前記第１の色と前記第２の色の間の色である第３の色が検出された場合に、前記第３の色と前記第１の色または前記第２の色との間の前記所定の色空間における距離が短くなるように、前記第３の色を補正する補正ステップと、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
移動する物体（移動体）を撮影すると、シャッターが開いている間に背景に移動体が重なる領域では、移動体の画素値と背景の画素値が積分される。そのため、混合領域（２つの被写体（背景と移動体など）の色が混ざった領域；シャッターぼやけ領域）が形成され、画像がぼやけてしまう。
これに対し、特許文献１に開示の技術では、混合領域でない領域については動きベクトルに基づいて補間フレームの画素を生成し、混合領域については背景の成分の割合を表す混合比を用いて補間フレームの画素を生成する。それにより、混合領域での動きボケ（シャッターぼやけ）を低減することができる。
しかしながら、特許文献１に開示の方法では、混合比の算出など、複雑な演算を必要とするため、処理に長時間要してしまう虞がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２０１０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、簡易な方法でシャッターぼやけを低減することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、入力画像の少なくとも一部の領域から、所定の色空間の中で直線状に分布する３つ以上の色を検出する色検出手段と、色検出手段で、第１の色、第２の色、及び、第１の色と第２の色の間の色である第３の色が検出された場合に、第３の色と第１の色または第２の色との間の所定の色空間における距離が短くなるように、第３の色を補正する補正手段と、を有することを特徴とする。
【０００６】
本発明の画像処理方法は、入力画像の少なくとも一部の領域から、所定の色空間の中で直線状に分布する３つ以上の色を検出する色検出ステップと、色検出ステップで、第１の色、第２の色、及び、第１の色と第２の色の間の色である第３の色が検出された場合に、第３の色と第１の色または第２の色との間の所定の色空間における距離が短くなるように、第３の色を補正する補正ステップと、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、簡易な方法でシャッターぼやけを低減することができる。
【図面の簡単な説明】
【０００８】
【図１】シャッターぼやけの一例を示す図。
【図２】直線状の分布の一例を示す図。
【図３】本実施形態に係る画像処理装置の機能構成の一例を示す図。
【図４】本実施形態に係る補正方法の一例を示す図。
【図５】本実施形態に係る補正による効果の一例を示す図。
【図６】直線分布検出部による検出処理の流れを示すフローチャート。
【図７】第１ヒストグラムにおいて度数が１以上であるカテゴリの一例を示す図。
【図８】カテゴリの識別子を記憶するテーブル。
【発明を実施するための形態】
【０００９】
まず、本実施形態に係る画像処理装置及び画像処理方法について具体的に説明する前に、シャッターぼやけ（移動体の色と背景の色との混色によるぼやけ）を改善するための本発明の原理について説明する。
簡単のために、それぞれ単色からなる背景及び移動する物体（移動体）を撮影した場合を考える（図１）。このような場合、撮影画像において、カメラのシャッターが開いている間に背景に移動体が重なる領域（シャッターぼやけ領域）では、２つの色（背景の色と物体の色）が混合される。そのため、このような撮影画像の各色を、所定の色空間（例えば、図２に示すような、Ｒ値、Ｇ値、Ｂ値をそれぞれ軸とする３次元ＲＧＢ空間）上にプロットすると、３つ以上の色が直線状に分布することとなる。具体的には、背景の色（第１の色）、移動体の色（第２の色）、及び、背景の色と移動体の色の間の色（シャッターぼやけ領域の色；第３の色）が直線状に分布する。また、このような直線状の分布は、背景の色と移動体の色を両端とする。なお、本実施形態では、３つ以上の色（カテゴリ）の直線状の分布を「直線状の分布」とよび、２つの色（カテゴリ）の分布は「直線状の分布」とは呼ばないものとする。
そのため、所定の色空間の中で直線状に分布する３つ以上の色が存在するか否かによって、処理対象とする画像（撮影画像；入力画像）にシャッターぼやけ領域が存在するか否かを判断することができる。
【００１０】
そして、入力画像にシャッターぼやけ領域が存在する場合、第３の色と第１の色または第２の色との間の所定の色空間における距離が短くなるように、第３の色を補正することにより、シャッターぼやけを改善することができる。
なお、上述した直線状の分布は所定の色空間内に１つしか存在しないとは限らない。例えば、移動体が複数の色で構成されている場合には、直線状の分布が移動体の色の数だけ存在すると予想できる。直線状の分布が複数存在していたとしても、直線状に分布のそれぞれにおいて、第３の色と第１の色または第２の色との間の所定の色空間における距離が短くなるように第３の色を補正すれば、シャッターぼやけを改善することができる。
【００１１】
次に、以上の原理に従ってシャッターぼやけを改善する画像処理装置及び画像処理方法について説明する。図３は本実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。
ブロック分割部１０１は、入力された画像（入力画像）の領域を複数の分割領域（ブロック）に分割する（分割手段）。本実施形態では、入力画像を６０×６０画素ごとの分割領域に分割する。なお、分割領域のサイズは、６０×６０画素よりも小さくてもよいし大きくてもよい。
動きベクトル検出部１０２は、分割領域毎に動きベクトルを検出する（動き検出手段）。なお、動きベクトルの検出方法としては、種々の方法が適用できる。例えば、入力画像の前後のフレームの画像を用いたブロックマッチングにより動きベクトルを検出すればよい。
【００１２】
３次元ＲＧＢヒストグラム作成部１０３、直線分布検出部１０４、及び、ＲＧＢ値検出部１０５により、入力画像の少なくとも一部の領域から、３次元ＲＧＢ色空間の中で直線状に分布する３つ以上の色が検出される（色検出手段）。なお、本実施形態では、上記一部の領域内における色の数が所定数以下の場合に直線状に分布する３つ以上の色を検出する処理が行われる。以下、詳しく説明する。
【００１３】
３次元ＲＧＢヒストグラム作成部１０３は、入力画像の一部の領域について、３次元Ｒ
ＧＢヒストグラム（３次元ＲＧＢ空間における色のヒストグラム；第１ヒストグラム）を作成する。具体的には、３次元ＲＧＢヒストグラム作成部１０３は、分割領域毎に、その分割領域に対応する動きベクトルの情報、及び、その分割領域内の画素毎の色データを取得する。そして、動きベクトルが０でない分割領域について、第１ヒストグラムを作成する。即ち、本実施形態では、動きベクトル検出部１０２で検出された動きベクトルが０でない分割領域を上記一部の領域とする。
なお、本実施形態では、Ｒ値、Ｂ値、Ｇ値をそれぞれ１６カテゴリに分割して第１ヒストグラムを作成する。
また、動きベクトルが０である分割領域について第１ヒストグラムを作成しないのは、そのような分割領域は、動きの無い（静止している）領域であり、シャッターぼやけが発生していない領域である可能性が高いためである。
【００１４】
直線分布検出部１０４は、第１ヒストグラムを取得し、補正の対象とする分割領域内の色のうち、３次元ＲＧＢ空間の中で直線状に分布する３つ以上のカテゴリを検出する。
また、本実施形態では、直線分布検出部１０４は、分割領域内における色の数が所定数以下の場合に、上記直線状に分布する３つ以上のカテゴリを検出する処理を行う。分割領域内における色の数が所定数より大きい場合には、分割領域内の画像が複雑な色で構成されているため、上述の検出処理は行わない。
本実施形態では直線状の分布を１つ検出し、所定数を１６とする。所定数を１６とするのは、３次元ＲＧＢ空間内において２色間を結ぶ直線が通過する最大のカテゴリ数が１６であるためである。
直線分布検出部１０４による検出処理の具体的な方法については後述する。
【００１５】
ＲＧＢ値検出部１０５は、直線分布検出部１０４によって直線状の分布が検出された場合に、補正の対象とする分割領域について、第１ヒストグラムとはカテゴリ数の異なる３次元ＲＧＢヒストグラム（第２ヒストグラム）を作成する。そして、第２ヒストグラムを用いて背景の色（第１の色）、移動体の色（第２の色）、及び、第３の色を特定する。
本実施形態では、ＲＧＢ値検出部１０５は、第２ヒストグラムとして、Ｒ値、Ｂ値、Ｇ値のカテゴリ幅が画素値のビット幅と等しい３次元ＲＧＢヒストグラムを作成する。そして、直線状に分布する第１ヒストグラムのカテゴリのうち、一端のカテゴリに属し、且つ、第２ヒストグラムにおいて度数の最も多い色を第１の色として検出する。また、多端のカテゴリに属し、且つ、第２ヒストグラムにおいて度数の最も多い色を第２の色として検出する。また、直線状に分布する第１ヒストグラムのカテゴリのうち、端部に位置しないカテゴリに属す色を第３の色として検出する。
【００１６】
画素補正部１０６は、補正の対象とする分割領域から、第１の色、第２の色、及び、第３の色が検出された場合に、該分割領域内の第３の色を補正する（補正手段）。具体的には、第３の色と第１の色または第２の色との間の３次元ＲＧＢ空間における距離が短くなるように、第３の色を補正する。
本実施形態では、画素補正部１０６は、補正の対象となる分割領域内の画素毎に、第３の色か否かを判定する。そして、第３の色である場合には、第３の色を、第１の色と第２の色のいずれか３次元ＲＧＢ空間における第３の色との距離が短い方の色に置換する（図４）。なお、第３の色でない画素に対しては、上述した置換処理は行われない。図５に示すように、本実施形態ではシャッターぼやけ領域の色が背景の色や移動体の色に置換されるため、シャッターぼやけを改善することができる。
【００１７】
ここで、直線分布検出部１０４の処理の詳細について説明する。図６は、直線分布検出部１０４による検出処理（直線状に分布する３つ以上のカテゴリを検出する処理）の流れを示すフローチャートである。図７は、第１ヒストグラムにおいて度数が１以上であるカテゴリ（以下、単にカテゴリと記載する）の一例を示す図（３次元ＲＧＢ空間上にプロッ
トした図）である。図８は、直線分布検出部１０４による検出処理で用いられる、カテゴリの識別子を記憶するテーブルである。
【００１８】
まず、直線分布検出部１０４は、３次元ＲＧＢヒストグラムの原点である（０，０，０）と各カテゴリの座標から、原点と各カテゴリとの間の直線距離を算出する（ステップ１）。
そして、原点との間の距離が長い順番にカテゴリの識別子をソートし、始点カテゴリの識別子として図８のテーブルに書き込む（ステップ２）。なお、原点との間の距離が最も短いカテゴリについては書き込まない。
次に、始点カテゴリ毎に、その始点カテゴリよりも原点との距離が短い他のカテゴリをそれぞれ終点カテゴリとして、始点カテゴリと終点カテゴリとの間の直線距離を算出する（ステップ３）。
そして、始点カテゴリ毎に、その始点カテゴリとの距離が長い順番に終点カテゴリの識別子をソートし、該始点カテゴリに対応付けて図８のテーブルへ書き込む（ステップ４）。また、ステップ３で算出された距離のうち、最も距離が長い始点カテゴリと終点カテゴリを選択する。
【００１９】
次に、選択されたカテゴリ間（始点カテゴリ、終点カテゴリ）を結ぶ直線（３次元ＲＧＢ空間内における直線；関数）を算出する（ステップ５）。
そして、ステップ５で算出された直線上に始点カテゴリ及び終点カテゴリ以外のカテゴリが存在するか否かを判断する（ステップ６）。そのようなカテゴリが存在する場合には（ステップ６：ＹＥＳ）、ステップ７へ進み、存在しない場合には（ステップ６：ＮＯ）、ステップ９へ進む。ここで、「直線上に始点カテゴリ及び終点カテゴリ以外のカテゴリが存在する」とは、必ずしも、直線上の点を位置とするカテゴリが存在することを意味するものではない。ある程度の誤差を考慮して直線上に位置するか否かを判断してもよい。例えば、直線からの距離が所定値以下の範囲内にあるカテゴリを直線上のカテゴリとみなしてもよい。
【００２０】
ステップ７では、ステップ６で存在するとされたカテゴリの識別子を、選択された始点カテゴリと終点カテゴリの組み合わせに対応付けて図８のテーブルへ書き込む。また、ステップ６で存在するとされたカテゴリ、選択された始点カテゴリ、及び、選択された終点カテゴリを、直線状に分布する３つ以上のカテゴリとする（直線状の分布の検出）。
次に、図８のテーブルから、ステップ７で検出された直線状の分布を示す始点カテゴリと終点カテゴリの組み合わせを削除する（ステップ８）。具体的には、ステップ６で存在するとされたカテゴリまたは選択された終点カテゴリを始点カテゴリとし、且つ、ステップ６で存在するとされたカテゴリまたは選択された始点カテゴリを終点カテゴリとするもの削除する。これにより、ステップ７において、同じ直線状の分布が複数回検出されることを防ぐことができる。
【００２１】
ステップ９では、選択されていない始点カテゴリと終点カテゴリの組み合わせが存在するか否かを判断する。そのような組み合わせが存在する場合には（ステップ９：ＹＥＳ）、ステップ１０へ進み、存在しない場合には（ステップ９：ＮＯ）、全ての組み合わせについての処理が完了したため、検出処理を終了する。ステップ１０では、選択されていない始点カテゴリと終点カテゴリの組み合わせのうち、始点カテゴリと終点カテゴリ間の距離が最も長い組み合わせを選択し、ステップ５へ進む。
【００２２】
以上の処理により、３次元ＲＧＢ空間の中で直線状に分布する３つ以上のカテゴリを検出することができる。
なお、図６のフローチャートでは示していないが、本実施形態では、補正の対象とする直線状の分布を１つだけ検出するものとする。直線状の分布が複数存在する場合には、例
えば、直線状の分布を構成するカテゴリの度数の合計が最大となるものを選択すればよい。
【００２３】
以上述べたように、本実施形態によれば、入力画像の所定の領域から、所定の色空間の中で直線上に分布する３つ以上の色が検出される。そして、第３の色と第１の色または第２の色との間の所定の色空間における距離が短くなるように、第３の色が補正される。そのような簡易な方法により、シャッターぼやけを低減することができる。
【００２４】
なお、本実施形態では、動きベクトルが０でない分割領域を補正の対象とする領域としたが、補正の対象とする領域はこれに限らない。全ての分割領域のそれぞれを補正の対象としても良い。また、入力画像を分割せず、入力画像の全体の領域を補正の対象としても良い。入力画像の少なくとも一部の領域を補正の対象とすればよい。但し、分割領域のような入力画像の一部の領域を補正の対象とすれば、入力画像の全体の領域を補正の対象路する場合に比べ、直線状の分布の誤検出を低減することができる。また、動きベクトルが０でない分割領域を補正の対象とすれば、動きベクトルが０の領域についての補正処理が省略されるため、分割領域のそれぞれや、入力画像の全体の領域を補正の対象とする場合に比べ処理負荷を低減することができる。
【００２５】
なお、本実施形態では、所定の領域内における色の数が所定数以下の場合に直線状の分布の検出処理を行うものとしたが、所定の領域内における色の数によらず該検出処理を行う構成であってもよい。但し、所定の領域内における色の数が所定数以下の場合にのみ直線状の分布の検出処理を行えば、複雑な色の領域を処理対象から除外することができるため、処理負荷を低減することができる。
【００２６】
なお、本実施形態では、第３の色を、第１の色と第２の色のいずれか３次元ＲＧＢ空間における第３の色との距離が短い方の色に置換するものとしたが、第３の色の補正方法はこれに限らない。例えば、第３の色と第１の色の間の所定の色空間における距離、及び、第３の色と第２の色の間の所定の色空間における距離のうち、短い方の距離がさらに短くなるように第３の色を補正してもよい。第３の色を、第１の色と第２の色のいずれかの色に置換してもよい。第３の色と、第１の色と第２の色のいずれかの色との間の所定の色空間における距離が大きいほど、該色との距離がより短くなるように第３の色を補正してもよい。また、上述した方法を組み合わせた方法で補正してもよい。
第３の色と第１の色または第２の色との間の所定の色空間における距離が短くなるように、第３の色を補正すればよい。それにより、シャッターぼやけを低減することができる。
【００２７】
なお、本実施形態では、所定の色空間が３次元ＲＧＢ空間（ＲＧＢ）である場合について説明したが、色空間はこれに限らない。所定の色空間は、例えば、ＣＭＹ，ＸＹＺ，Ｌ＊ａ＊ｂ＊，ＨＳＶ，ＹＣｂＣｖ，ＹＵＶなどの色空間であってもよい。
【００２８】
なお、本実施形態では、直線状の分布を検出する際に、カテゴリ数の異なる２つの３次元ＲＧＢヒストグラムを作成するものとしたが、直線状の分布の検出方法はこれに限らない。例えば、上述した第２ヒストグラムのみを用いて直線状の分布を検出してもよい。
【符号の説明】
【００２９】
１０３  ３次元ＲＧＢヒストグラム作成部
１０４  直線分布検出部
１０５  ＲＧＢ値検出部
１０６  画素補正部
【図１】
2011087240.tif 000003
【図２】
2011087240.tif 000004
【図３】
2011087240.tif 000005
【図４】
2011087240.tif 000006
【図５】
2011087240.tif 000007
【図６】
2011087240.tif 000008
【図７】
2011087240.tif 000009
【図８】
2011087240.tif 000010