(57)【要約】【課題】隣接する領域の色差は大きいが輝度差は小さい場合や、中間的な色同士が隣接する場合でも、エッジ検出や動体の移動の検出を確実に行うことができる画像処理方法および画像処理装置を提供する。【解決手段】カメラ２で撮影されたカラー画像の各画素についてＲＧＢ値を検出する。ＲＧＢ値を検出された画素のうちの１つを注目画素とし、注目画素の周囲の画素を近傍画素として、注目画素のＲＧＢ値と近傍画素のＲＧＢとから、それらの第１主成分軸を求める。そして注目画素のＲＧＢ値を第１主成分軸に投影して、投影値を求める。この処理をカラー画像のすべての画素で行い、得られた投影値を微分処理して微分画像を得る。【選択図】  図２
2004151770.tif 000002
【特許請求の範囲】
【請求項１】
カラー画像中における各画素の特徴量を検出して前記カラー画像を画像処理する画像処理方法において、
注目画素および前記注目画素の周囲に位置する近傍画素のそれぞれにおける前記特徴量のベクトル値に基づいて、前記特徴量の第１主成分軸を算出し、
前記注目画素および前記近傍画素における特徴量のベクトル値をそれぞれ前記第１主成分軸に投影して、前記注目画素および前記近傍画素の特徴量の投影値を求め、
前記投影値に基づいて前記画像処理を行うことを特徴とする画像処理方法。
【請求項２】
前記特徴量がカラー画像におけるＲＧＢ値であり、
前記画像処理として微分処理を行う請求項１に記載の画像処理方法。
【請求項３】
カラー画像中における各画素の特徴量を検出して前記カラー画像を画像処理する画像処理方法において、
前記カラー画像に設定された注目ウィンドウおよび所定時間経過後における前記注目ウィンドウにおける各画素の特徴量のベクトル値に基づいて、前記特徴量の第１主成分軸を算出し、
前記注目ウィンドウおよび前記所定時間経過後における前記注目ウィンドウの各画素のベクトル値をそれぞれ前記第１主成分軸に投影して、前記注目ウィンドウおよび前記所定時間経過後における前記注目ウィンドウの各画素の特徴量の投影値を求め、
前記投影値に基づいて、前記画像処理を行うことを特徴とする画像処理方法。
【請求項４】
前記特徴量がカラー画像におけるＲＧＢ値であり、
前記画像処理として、前記各画素におけるオプティカルフローを求める請求項３に記載の画像処理方法。
【請求項５】
カラー画像中における各画素の特徴量を検出する特徴量検出手段と、
注目画素および前記注目画素の周囲に位置する近傍画素のそれぞれにおける前記特徴量のベクトル値に基づいて、前記特徴量の第１主成分軸を求める第１主成分軸算出手段と、
注目画素および前記近傍画素における特徴量のベクトル値をそれぞれ第１主成分軸に投影して、前記注目画素および前記近傍画素の特徴量の投影値を求める投影値算出手段と、
前記投影値に基づいて、前記カラー画像の画像処理を行う画像処理手段と、
を有することを特徴とする画像処理装置。
【請求項６】
カラー画像中における各画素の特徴量を検出する特徴量検出手段と、
注目ウィンドウおよび所定時間経過後における前記注目ウィンドウにおける各画素の特徴量のベクトル値に基づいて、前記特徴量の第１主成分軸を算出する第１主成分軸算出手段と、
前記注目ウィンドウおよび前記所定時間経過後における前記注目ウィンドウの特徴量のベクトル値を前記第１主成分軸に投影して、前記注目ウィンドウおよび前記所定時間経過後における前記注目ウィンドウにおける各画素の特徴量の投影値を求める投影値算出手段と、
前記投影値に基づいて、前記カラー画像の画像処理を行う画像処理手段と、
を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理方法および画像処理装置に関する。
【０００２】
【従来の技術】
複数の画像で画像間の対応を取って三次元復元を行う際に、その対応を取るために画像を微分処理してエッジ検出を行う技術がある（たとえば特許文献１参照）。
【０００３】
このようなこのエッジ検出をカラー画像で行う際には、従来、たとえばカラー画像を輝度画像に変換し、その輝度値に対してＳｏｂｅｌフィルタをかけて得られた微分値を用いて、微分画像を得るようにしていた。あるいは、カラー画像の各画素におけるＲＧＢ値に対してそれぞれ独立にＳｏｂｅｌフィルタをかけ、得られた３つの値でもっとも大きなものを微分値として採用して微分画像を構成するようにしていた。
【０００４】
他方、画素ごとにオプティカルフローを求め、このオプティカルフローから画像における動体の移動を検出する画像処理も知られている。このような画像処理をカラー画像で行う際には、従来、カラー画像を輝度画像に変換し、その輝度値に対して時空間微分の関係式を用いてオプティカルフローを求めるようにしていた。
【０００５】
【特許文献１】
特開２０００−９９７６０号公報
【０００６】
【発明が解決しようとする課題】
ところが、上記従来技術において、エッジ検出を行う際には、輝度値を用いているので、色差が大きいにもかかわらず、輝度差が小さい場合、たとえば輝度差がほぼ同じの青色と赤色が隣接している場合には、その境目の微分値は小さくなってしまう。このため、この隣接部分はエッジ部として検出することができなくなってしまうという問題がある。また、オプティカルフローを求める際にも輝度値を利用しているので、同様の問題を生じるものであった。
【０００７】
さらに、ＲＧＢ値のうちのもっとも大きな微分値を採用する場合には、中間的な色、たとえば黄色や紫同士の境目の微分値が小さくなってしまい、やはりエッジ検出が困難になってしまうという問題があった。
【０００８】
そこで、本発明の課題は、隣接する領域の色差は大きいが輝度差は小さい場合や、中間的な色同士が隣接する場合でも、エッジ検出や動体の移動の検出を確実に行うことができる画像処理方法および画像処理装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記課題を解決した本発明に係る画像処理方法は、カラー画像中における各画素の特徴量を検出してカラー画像を画像処理する画像処理方法において、注目画素および注目画素の周囲に位置する近傍画素のそれぞれにおける特徴量のベクトル値に基づいて、特徴量の第１主成分軸を算出し、注目画素および近傍画素における特徴量のベクトル値をそれぞれ第１主成分軸に投影して、注目画素および近傍画素の特徴量の投影値を求め、投影値に基づいて画像処理を行うものである。
【００１０】
隣接する領域の色差は大きいが輝度差は小さい場合や、中間的な色同士が隣接する場合にエッジ検出等が困難となる理由として、本発明者は、ＲＧＢ値がベクトル値である点に着目した。ＲＧＢ値がベクトル値であることから、これをそのまま微分処理に利用することができないので、色差は大きいが輝度差が小さい場合の検出が困難になる原因と考えた。
【００１１】
そこで、本発明に係る画像処理方法では、画素にベクトル値で表される特徴量がある場合に、そのベクトル値から第１主成分軸を算出して、各画素における特徴量のベクトル値を第１主成分軸に投影して第１主成分軸方向のスカラー値に置き換えている。このため、ベクトル値で表される各画素の特徴量をより反映させた画像処理を行うことができる。
【００１２】
ここで、特徴量がカラー画像におけるＲＧＢ値であり、画像処理として微分処理を行うのが好適である。
【００１３】
ＲＧＢ値はベクトル量であることから、そのままでは微分処理を行うことができなかったが、本発明のように、第１主成分軸に投影してスカラー値に置き換えることにより、画像処理に用いることができる。このようにＲＧＢ値を用いていることから、隣接する領域の色差は大きいが輝度差は小さい場合や、中間的な色同士が隣接する場合でも、エッジ検出を確実に行うことができる。
【００１４】
また、上記課題を解決した本発明に係る画像処理方法は、カラー画像中における各画素の特徴量を検出してカラー画像を画像処理する画像処理方法において、カラー画像に設定された注目ウィンドウおよび所定時間経過後における注目ウィンドウにおける各画素の特徴量のベクトル値に基づいて、特徴量の第１主成分軸を算出し、注目ウィンドウおよび所定時間経過後における注目ウィンドウの各画素のベクトル値をそれぞれ第１主成分軸に投影して、注目ウィンドウおよび所定時間経過後における注目ウィンドウの各画素の特徴量の投影値を求め、投影値に基づいて、画像処理を行うものである
【００１５】
本発明に係る画像処理方法では、画素にベクトル値で表される特徴量がある場合に、その画素のベクトル値と所定時間経過した後のその画素のベクトル値から第１主成分軸を算出し、各画素における特徴量のベクトル値を第１主成分軸に投影して第１主成分軸方向のスカラー値に置き換えている。このため、各画素における、時間変化と画素の特徴量をより反映させた画像処理を行うことができる。
【００１６】
ここで、特徴量がカラー画像におけるＲＧＢ値であり、画像処理として、各画素におけるオプティカルフローを求めるのが好適である。
【００１７】
ＲＧＢ値はベクトル量であることから、そのままではオプティカルフローを求めるためには利用することができなかったが、本発明のように、第１主成分軸に投影してスカラー値に置き換えることにより、オプティカルフローを求めるために利用することができる。このようにＲＧＢ値を用いていることから、隣接する領域の色差は大きいが輝度差は小さい場合や、中間的な色同士が隣接する場合でも、動体の移動の検出を確実に行うことができる。
【００１８】
また、上記課題を解決した本発明に係る画像処理装置は、カラー画像中における各画素の特徴量を検出する特徴量検出手段と、注目画素および注目画素の周囲に位置する近傍画素のそれぞれにおける特徴量のベクトル値に基づいて、特徴量の第１主成分軸を求める第１主成分軸算出手段と、注目画素および近傍画素における特徴量のベクトル値をそれぞれ第１主成分軸に投影して、注目画素および近傍画素の特徴量の投影値を求める投影値算出手段と、投影値に基づいて、カラー画像の画像処理を行う画像処理手段と、を有するものである。
【００１９】
さらに、上記課題を解決した本発明に係る画像処理装置は、カラー画像中における各画素の特徴量を検出する特徴量検出手段と、注目ウィンドウおよび所定時間経過後における注目ウィンドウにおける各画素の特徴量のベクトル値に基づいて、特徴量の第１主成分軸を算出する第１主成分軸算出手段と、注目ウィンドウおよび所定時間経過後における注目ウィンドウの特徴量のベクトル値を第１主成分軸に投影して、注目ウィンドウおよび所定時間経過後における注目ウィンドウにおける各画素の特徴量の投影値を求める投影値算出手段と、投影値に基づいて、カラー画像の画像処理を行う画像処理手段と、を有するものである。
【００２０】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
【００２１】
図１は、本発明の第１の実施形態に係る画像処理装置のブロック構成図である。図１に示すように、本実施形態に係る画像処理装置１には、周囲の画像をカラー画像で撮像するカメラ２が接続されている。また、画像処理装置１は、Ａ／Ｄ変換部１１と、特徴量検出手段であるＲＧＢ値検出部１２と、第１主成分軸算出手段である第１主成分軸算出部１３と、を備えている。さらに、画像処理装置１は、投影値算出手段である投影値算出部１４と、画像処理手段である微分値算出部１５と、やはり画像処理手段である微分画像生成部１６と、を備えている。カメラ２によって撮像されたカラー画像は、画像処理装置１におけるＡ／Ｄ変換部１１に出力される。
【００２２】
Ａ／Ｄ変換部１１では、カメラ２によって撮像されたアナログ画像をデジタル画像に変換し、ＲＧＢ値検出部１２に出力する。このデジタル画像は、カラー画像を変換して生成されたものであり、変換されたデジタル画像における各画素は、特徴量である色相としてＲＧＢ値を有している。ＲＧＢ値検出部１２では、カラー画像の画素ごとにこのＲＧＢ値を検出して、第１主成分軸算出部１３に出力する。
【００２３】
第１主成分軸算出部１３では、デジタル画像における各画素のＲＧＢ値に基づいて第１主成分軸を算出し、投影値算出部１４に出力する。投影値算出部１４では、各画素におけるＲＧＢ値と第１主成分軸とから、各画素の投影値を算出する。算出された各画素における投影値は、微分値算出部１５に出力され、微分値算出部１５で微分処理がなされて微分値が算出される。算出された微分値は微分画像生成部１６に出力される。微分画像生成部１６では、出力された微分値から微分画像を生成する。こうして生成された微分画像から、たとえば物体のエッジ検出が行われる。
【００２４】
次に、本実施形態に係る画像処理方法の手順について説明する。
【００２５】
図２は、本実施形態に係る画像処理方法の手順を示すフローチャートである。図２に示すように、本実施形態に係る画像処理方法においては、最初に、カメラ２で撮像され、Ａ／Ｄ変換部１１でＡ／Ｄ変換された画像をＲＧＢ値検出部１２に出力する（Ｓ１）。ＲＧＢ値検出部では、出力されたデジタル画像における各画素のＲＧＢ値をそれぞれ検出する（Ｓ２）。そして、デジタル画像におけるすべての画素のＲＧＢ値を検出して、第１主成分軸算出部１３に出力する。
【００２６】
第１主成分軸算出部１３では、検出された各画素のＲＧＢ値に基づいて、第１主成分軸を求める（Ｓ３）。第１主成分軸を算出するにあたり、図３に示すように、３行３列の９つの画素からなるウィンドウＷを設定しその中央の画素を注目画素Ｐ１とし、注目画素Ｐ１の周囲における８つの画素を近傍画素Ｐ２〜Ｐ８とする。これらの９つの画素Ｐ１〜Ｐ９は、色相情報として、いずれも固有のベクトル値であるＲＧＢ値を有している。これらの各画素のＲＧＢ値は、図４に示すように、ＲＧＢ空間を示す座標系の座標軸上に座標値で表すことができる。このように、ＲＧＢ空間に表された９つの画素の座標値Ｐ１〜Ｐ９に適宜の演算処理を施すことにより、９つの座標値Ｐ１〜Ｐ９に対応する第１主成分軸Ｍを求める（Ｓ３）。
【００２７】
こうして第１主成分軸算出部１３で求められた第１主成分軸は、信号化されて投影値算出部１４に出力される。投影値算出部１４においては、注目画素Ｐ１および近傍画素Ｐ２〜Ｐ８の各座標値を第１主成分軸Ｍに投影する（Ｓ４）。その投影の結果から、各画素におけるＲＧＢ値の投影値を求める。各画素のＲＧＢ値を第１主成分軸Ｍに投影することにより、各画素ごＲＧＢ値が第１主成分軸方向のスカラー値に置き換えられる。ＲＧＢ値はベクトル値であるため、そのままでは微分処理に利用することができないが、このＲＧＢ値を第１主成分軸に投影した投影値は、スカラー値となるので、微分処理に利用することができるようになる。
【００２８】
そして、投影値算出部１４で求められた各投影値は、信号化されて微分値算出部１５に出力される。微分値算出部１５では、注目画素Ｐ１および近傍画素Ｐ２〜Ｐ８を第１主成分軸Ｍに投影して得られた投影値にたとえばＳｏｂｅｌフィルタをかけて微分処理を行い、注目画素Ｐ１の微分値を求める（Ｓ５）。微分処理を行うためのＳｏｂｅｌフィルタをかける際には、たとえば画像をＸ−Ｙ平面としてみた場合のＸ軸方向のＳｏｂｅｌフィルタおよびＹ軸方向のＳｏｂｅｌフィルタを用い、Ｘ方向、Ｙ方向それぞれの微分値を求める態様とすることができる。なお、本実施形態では、微分フィルタとしてＳｏｂｅｌフィルタを用いているが、その他ラプラシアンフィルタなど、適宜の微分フィルタを用いることもできる。
【００２９】
このようにして、ある一つの画素を注目画素Ｐ１として微分値を求める。それと同時に、デジタル画像における他の画素においても、同様の処理を行い、その画素とその周囲の近傍画素との第１主成分軸を求める。その画素を第１主成分軸に投影して投影値を求め、この投影値に基づいて微分処理を施して微分値を求める。そしてデジタル画像中における画素にそれぞれ同様の処理を施すことにより、すべての画素の微分値を求める。
【００３０】
第１主成分軸を利用してデジタル画像におけるすべての画素の微分値を求めたら、そのすべての微分値を微分値算出部１５から微分画像生成部１６に出力する。微分画像生成部１６では、出力された微分値に基づいて、エッジ強調した微分画像を生成する。そして、図示しないモニタ等に表示することができる。
【００３１】
このように、本実施形態に係る画像処理方法においては、輝度値を用いることなく、画素が有するＲＧＢ値に基づいて微分画像を求めている。このため、たとえば輝度値がほぼ同じであるが、色差が大きいような場合には、その境目をエッジ部として確実に検出することができる。また、各画素のＲＧＢ値から第１主成分軸を求めて、この第１主成分軸に投影した投影値に基づいて、微分画像を求めている。このため、中間的な色同士が隣接する場合であっても、その境目をエッジ部として確実に検出することができる。
【００３２】
また、上記実施形態では、ウィンドウＷの大きさを３行３列に設定したが、ウィンドウの大きさは、これに限定されず、５行５列など、複数のｍ行ｎ列に適宜設定することができる。また、注目画素の周囲の近傍画素としては、注目画素に隣接する８つの画素をすべて近傍画素としたが、たとえば注目画素の側方や上下に隣り合う画素のみを近傍画素としたり、上下左右に隣り合う画素のみを注目画素にしたりすることもできる。
【００３３】
次に、本発明の第２の実施形態について説明する。
【００３４】
図５は、本実施形態に係る画像処理装置のブロック構成図である。図５に示すように、本実施形態に係る画像処理装置３は、Ａ／Ｄ変換部１１、特徴量検出手段であるＲＧＢ値検出部１２と、第１主成分軸算出手段である第１主成分軸算出部１３と、を備えている。また、画像処理装置３は、投影値算出手段である投影値算出部１４と、画像処理手段であるオプティカルフロー算出部３１を備えている。
【００３５】
Ａ／Ｄ変換部１１では、カメラ２によって撮像されたアナログ画像をデジタル画像に変換し、ＲＧＢ値検出部１２に出力する。このデジタル画像は、カラー画像を変換して生成されたものであり、変換されたデジタル画像における各画素は、特徴量である色相としてＲＧＢ値を有している。ＲＧＢ値検出部１２では、カラー画像の画素ごとにこのＲＧＢ値を検出して、第１主成分軸算出部１３に出力する。
【００３６】
第１主成分軸算出部１３では、デジタル画像における各画素のＲＧＢ値に基づいて第１主成分軸を算出し、投影値算出部１４に出力する。投影値算出部１４では、各画素におけるＲＧＢ値と第１主成分軸とから、各画素の投影値を算出する。算出された各画素における投影値は、微分値算出部１５に出力され、微分値算出部１５で微分処理がなされて微分値が算出される。算出された微分値はオプティカルフロー算出部３１に出力される。オプティカルフロー算出部３１では、デジタル画像の色相情報等を用いたオプティカルフローを計算するアルゴリズムなどによって、オプティカルフローを求める。
【００３７】
次に、本実施形態に係る画像処理方法の手順について説明する。
【００３８】
図６は、本実施形態に係る画像処理方法の手順を示すフローチャートである。図６に示すように、本実施形態に係る画像処理方法では、図６に示すように、本実施形態に係る画像処理方法においては、最初に、カメラ２で撮像され、Ａ／Ｄ変換部１１でＡ／Ｄ変換された画像をＲＧＢ値検出部１２に出力する（Ｓ１１）。また、カメラ２は、所定時間経過した後に同一位置を撮像し、得られた画像をＡ／Ｄ変換部１１に出力する。Ａ／Ｄ変換部は、この所定時間経過した後の画像をＲＧＢ値検出部１２に出力する（Ｓ１２）。ＲＧＢ値検出部では、先に出力されたデジタル画像および後に出力されたデジタル画像におけるすべての画素のＲＧＢ値をそれぞれ検出する（Ｓ１３）。そして、検出されたすべての画素のＲＧＢ値を第１主成分軸算出部１３に出力する。
【００３９】
第１主成分軸算出部１３では、検出された各画素のＲＧＢ値に基づいて、第１主成分軸を算出する（Ｓ１４）。第１主成分軸を算出するにあたり、先に出力されたデジタル画像に、ｍ行ｎ列のウィンドウを設定するとともに、後に出力されたデジタル画像のうち、先に出力されたデジタル画像に対応する位置にやはりｍ行ｎ列のウィンドウを設定する。こうして、２つのｍ行ｎ列のウィンドウを設定したら、合計２×ｍ×ｎ個の各画素のＲＧＢ値から、第１主成分軸を求める（Ｓ１４）
【００４０】
こうして第１主成分軸算出部１３で求められた第１主成分軸は、信号化されて投影値算出部１４に出力される。投影値算出部１４においては、前のデジタル画像におけるウィンドウおよび後のデジタル画像におけるウィンドウの各画素の座標値を第１主成分軸に投影する（Ｓ１５）。その結果から、各画素におけるＲＧＢ値の投影値を求める。
【００４１】
そして、投影値算出部１４で求められた各投影値は、信号化されてオプティカルフロー算出部３１に出力される。オプティカルフロー算出部３１では、これらの２×ｍ×ｎ個の投影値から、時空間微分の関係式を用いたオプティカルフロー算出アルゴリズムを実行して、注目ウィンドウにおけるオプティカルフローを求める（Ｓ１６）。そして、このオプティカルフローによりたとえば動体の移動を好適に検出することができる。
【００４２】
このように、本実施形態に係る画像処理方法においては、輝度値を用いることなく、画素が有するＲＧＢ値に基づいてオプティカルフローを求めている。このため、たとえば輝度値がほぼ同じであるが、色差が大きいような場合には、その変化をオプティカルフローとして確実に算出することができる。
【００４３】
以上、本発明の好適な実施形態について説明したが、本発明は上記各実施形態に限定されるものではない。たとえば、上記各実施形態において、特徴量として、色差を表すＲＧＢ値を用いているが、各画素が持つ可能性がある特徴量であれば他のものであってもよい。たとえば、ＣＩＥ  ＵＣＳ色度空間、ＣＩＥ１９７６Ｌａｂ色空間などの色空間における特徴量、赤外線の輝度画像、マルチスペクトルの画像などの各画素が持つ特徴量の２次元以上の空間における特徴量を挙げることができる。
【００４４】
【発明の効果】
以上のとおり、本発明によれば、隣接する領域の色差は大きいが輝度差は小さい場合や、中間的な色同士が隣接する場合でも、エッジ検出や動体の移動の検出を確実に行うことができる画像処理方法および画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置のブロック構成図である。
【図２】第１の実施形態に係る画像処理方法の手順を示すフローチャートである。
【図３】画像に設定されたウィンドウを示す図である。
【図４】各画素のＲＧＢ値がプロットされたＲＧＢ空間を示す座標系のグラフである。
【図５】本発明の第２の実施形態に係る画像処理装置のブロック構成図である。
【図６】第２の実施形態に係る画像処理方法の手順を示すフローチャートである。
【符号の説明】
１…画像処理装置、２…カメラ、３…画像処理装置、１１…Ａ／Ｄ変換部、１２…ＲＧＢ値検出部、１３…第１主成分軸算出部、１４…投影値算出部、１５…微分値算出部、１６…微分画像生成部、３１…オプティカルフロー算出部、Ｍ…第１主成分軸、Ｐ１…注目画素、Ｐ２〜Ｐ９…近傍画素、Ｗ…ウィンドウ。
【図１】
2004151770.tif 000003
【図２】
2004151770.tif 000004
【図３】
2004151770.tif 000005
【図４】
2004151770.tif 000006
【図５】
2004151770.tif 000007
【図６】
2004151770.tif 000008