(57)【特許請求の範囲】
【請求項１】
１つのピクセルがＲ（赤）、Ｇ（緑）、Ｂ（青）の３つの色データ（ＲＧＢデータ）で構成されるフルカラー画像を処理する画像処理装置において、
基準となるピクセルであるＡ点と、基準となるピクセルの下のピクセルであるＢ点と、基準となるピクセルの斜め下のピクセルであるＣ点のＲとＧのデータを抽出する手段と、
抽出した前記Ａ、Ｂ、Ｃ点の３つのピクセルのＲとＧのデータから、前記Ａ点のＲデータと前記Ｂ点のＲデータの差分の絶対値と、前記Ａ点のＲデータと前記Ｃ点のＲデータの差分の絶対値とを加算して第１の加算値Ａを算出する手段と、
前記Ａ点のＧデータと前記Ｂ点のＧデータの差分の絶対値と、前記Ａ点のＧデータと前記Ｃ点のＧデータの差分の絶対値とを加算して第２の加算値Ｂを算出する手段と、
ＲＧＢデータのＭＡＸの値である２５５から、前記第１の加算値Ａと前記第２の加算値Ｂとを加算した結果を減算する手段と、
この減算する手段による算出結果Ｎを元に、基準となるピクセルである前記Ａ点のＲＧＢデータを設定する手段とを、
具備したことを特徴とする画像処理装置。
【請求項２】
請求項１記載において、
前記算出結果ＮがＲＧＢデータの中間の値である１２７以下の場合は、基準となるピクセルである前記Ａ点のＲＧＢデータの３つをすベて１２７にし、前記算出結果ＮがＲＧＢデータの中間の値である１２７を超える場合は、基準となるピクセルである前記Ａ点のＲＧＢデータの３つをすべて前記算出結果Ｎの値に設定する手段を具備したことを特徴とする画像処理装置。
【請求項３】
請求項１または２記載において、
基準のピクセルである前記Ａ点に対し、前記Ｂ点と前記Ｃ点の２点からエッジ抽出処理を行うことを特徴とする画像処理装置。
【請求項４】
請求項１または２または３記載において、
ＲＧＢデータをグレーズスケール化する場合、
Ｇray＝Ｒ×０．３０＋Ｇ×０．５９＋Ｂ×０．１１
上式より、Ｂのデータの重み付けはきわめて低く、高速に演算処理させるためには、データの数は少ないほうが有利であることから、ＲＧＢデータの中でＲとＧのデータのみを使用してエッジ抽出処理を行うことを特徴とする画像処理装置。
【請求項５】
１つのピクセルがＲ（赤）、Ｇ（緑）、Ｂ（青）の３つの色データ（ＲＧＢデータ）で構成されるフルカラー画像を処理する画像処理方法において、
基準となるピクセルであるＡ点と、基準となるピクセルの下のピクセルであるＢ点と、基準となるピクセルの斜め下のピクセルであるＣ点のＲとＧのデータを抽出するステップと、
抽出した前記Ａ、Ｂ、Ｃ点の３つのピクセルのＲとＧのデータから、前記Ａ点のＲデータと前記Ｂ点のＲデータの差分の絶対値と、前記Ａ点のＲデータと前記Ｃ点のＲデータの差分の絶対値とを加算して第１の加算値Ａを算出するステップと、
前記Ａ点のＧデータと前記Ｂ点のＧデータの差分の絶対値と、前記Ａ点のＧデータと前記Ｃ点のＧデータの差分の絶対値とを加算して第２の加算値Ｂを算出するステップと、
ＲＧＢデータのＭＡＸの値である２５５から、前記第１の加算値Ａと前記第２の加算値Ｂとを加算した結果を減算するステップと、
この減算するステップによる算出結果Ｎを元に、基準となるピクセルである前記Ａ点のＲＧＢデータを設定するステップとを、
有することを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、１つのピクセルがＲ（赤）、Ｇ（緑）、Ｂ（青）の３つのＲＧＢデータで構成されるフルカラー画像を処理する画像処理装置および画像処理方法に係り、特に、元画像から高速にエッジ抽出処理を行い、また単にエッジ抽出を行うだけでなく、処理後の画像が鉛筆で書いたような画像に加工するための、いわゆる画像編集フィルタのアルゴリズムに関するものである。
【０００２】
【従来の技術】
従来から、濃淡を有する原画像内の物体の輪郭を抽出する画像データ処理方法は、種々のものが提案されている。
【０００３】
この種の従来からある画像データ処理方法としては、例えば、次に説明する２種類のものが提案されている。
【０００４】
第１の従来のエッジ抽出アルゴリズムは、原画像の画像データ（原画像データ）と、この原画像データに対するネガ画像とを、相互の位置を一定方向にずらせて重ね合わせることにより、原画像内の物体を抽出するものである。
【０００５】
また、第２の従来のエッジ抽出アルゴリズムは、空間微分演算に基づく方法である。この方法は、輝度が急激に変化する位置は、エッジに対応するという考えに基づいている。
【０００６】
代表的な空間微分演算に基づく方法としては、１次微分型と、２次微分型の差分オペレータとが挙げられる。
【０００７】
１次微分型については、次の各式によりエッジ部分の抽出を行うことができる。いま、基準点をｓ（ｉ，ｊ）とした場合、
まず、各方向の微分量を、
ｆＸ＝ｓ（ｉ＋１，ｊ）−ｓ（ｉ，ｊ）           …（１）式
ｆＹ＝ｓ（ｉ，ｊ＋１）−ｓ（ｉ，ｊ）           …（２）式
で算出し、次に、画像のエッジの強さを、
ｙ（ｉ，ｊ）＝√｛（ｆＸ）２＋（ｆＹ）２｝        …（３）式
または、
ｙ（ｉ，ｊ）＝│ｆＸ│＋│ｆＹ│                …（４）式
で求め、さらに、画像のエッジの方向を、
θ＝ｔａｎ−１（ｆＹ／ｆＸ）                      …（５）式
で求める。
【０００８】
これを、実際に１次元の信号で確認をすると、図３のようになる。図３に示すように、微分によって変化分がわかり、これがエッジとして検出される。
【０００９】
この方法を画像に適用する場合は、処理点と近傍領域によるオペレータを使用して、フィルタ処理を行う。
【００１０】
このフィルタ窓の設定によるエッジ検出には、Sobelフィルタによるエッジ検出法等が提案されている。
【００１１】
Sobelフィルタによる微分の大きさを示すフィルタは、
ｇＳ（ｉ，ｊ）
＝√［｛ｇＳＨ３（ｉ，ｊ）｝２＋｛ｇＳＶ３（ｉ，ｊ）｝２］ …（６）式
Degree of ｇＳ（ｉ，ｊ）
＝ｔａｎ−１｛ｇＳＶ３（ｉ，ｊ）／ｇＳＨ３（ｉ，ｊ）｝     …（７）式
で表される。
【００１２】
上式は、注目画素（ｉ，ｊ）におけるSobelタイプの微分の、ｉ方向の成分をｇＳＨ３（ｉ，ｊ）、ｊ方向の成分をｇＳＶ３（ｉ，ｊ）としたときの、注目画素上のSobelタイプの微分ベクトルｇＳ（ｉ，ｊ）である（図４参照）。
【００１３】
このフィルタは、１次元空間微分をSobelフィルタ演算における差分式に置き換えて、前述と同様のことを行ったものである。すなわち、いま、注目画素（ｉ，ｊ）に対して、予め水平方向Sobelフィルタ演算によってｇＳＨ３（ｉ，ｊ）を、また、垂直方向Sobelフィルタ演算によってｇＳＶ３（ｉ，ｊ）を計算しておき、それらをそれぞれSobelタイプの微分ベクトルの横方向および縦方向の成分であると見なして、この種の微分ベクトルの大きさを三平方の定理により計算し、その値を新しい画像の対応画素の輝度値ｇＳ（ｉ，ｊ）として設定する。
【００１４】
説明は前述の「１次微分型」で述べたことがそのまま成り立つので省略する。すなわち、両者のフィルタ処理により得られた２つの画像の差異は、微分（差分）の定義の違い（Sobelタイプの微分か、１次微分タイプの微分か、の違い）にのみ起因する。
【００１５】
２次微分型については、エッジの強さだけを検出するときに用いられる。いま、基準点をｘ（ｉ，ｊ）とした場合、エッジの強さは、
Ｌ（ｉ，ｊ）＝x(i,j)×4-{x(i-1,j)+x(i+1,j)+x(i,j-1)+x(i,j+1)}      …（８式）
上式で示される。
【００１６】
これを、実際に１次元の信号で確認をすると、図５のようになる。
【００１７】
代表的な２次微分系のフィルタとして、Laplacian（ラプラシアン）フィルタがある。ラプラシアンフィルタには、上下左右の画素に基づく４方向のものと、これに斜め方向を加えた８方向のものがある。ここでは、８方向のラプラシアンフィルタについて概要を説明する。８方向ラプラシアンフィルタは、ある注目画素を中心とした上下、左右、斜めの９つの画素値に対して、図６に示すような係数を夫々乗算し、結果を累計する（図６で中央の係数が注目画素の部分になる）。そして、合計した値が新しい画素値となる。
【００１８】
【発明が解決しようとする課題】
しかしながら、前述した第１の従来のエッジ抽出アルゴリズムは、モノクロ画像内の物体のエッジを抽出する画像処理を目的として提案されたものであり、カラー原画像内の物体のエッジを抽出するには、不十分であるという問題点があった。
【００１９】
また、前述した第２の従来のエッジ抽出アルゴリズムでは、演算処理が複雑で、高速に処理することができないという問題があった。
【００２０】
また、従来の技術では、単なるエッジを抽出する技術であったため、見た目上、処理後の画像を鉛筆で書いたようなものには、することができなかった。
【００２１】
本発明は、そのような状況に鑑みてなされたもので、その目的とするところは、フルカラー画像内の物体のエッジを高速で抽出して、さらに、処理後の画像を鉛筆で書いたようなものにできるようにすることにある。
【００２２】
【課題を解決するための手段】
本発明は上記した目的を達成するため、１つのピクセルがＲ（赤）、Ｇ（緑）、Ｂ（青）の３つの色データ（ＲＧＢデータ）で構成されるフルカラー画像を処理する画像処理装置において、
基準となるピクセルであるＡ点と、基準となるピクセルの下のピクセルであるＢ点と、基準となるピクセルの斜め下のピクセルであるＣ点のＲとＧのデータを抽出する手段と、
抽出した前記Ａ、Ｂ、Ｃ点の３つのピクセルのＲとＧのデータから、前記Ａ点のＲデータと前記Ｂ点のＲデータの差分の絶対値と、前記Ａ点のＲデータと前記Ｃ点のＲデータの差分の絶対値とを加算して第１の加算値Ａを算出する手段と、前記Ａ点のＧデータと前記Ｂ点のＧデータの差分の絶対値と、前記Ａ点のＧデータと前記Ｃ点のＧデータの差分の絶対値とを加算して第２の加算値Ｂを算出する手段と、
ＲＧＢデータのＭＡＸの値である２５５から、前記第１の加算値Ａと前記第２の加算値Ｂとを加算した結果を減算する手段と、
この減算する手段による算出結果Ｎを元に、基準となるピクセルである前記Ａ点のＲＧＢデータを設定する手段とを、
具備した構成をとる。
【００２３】
また、前記算出結果ＮがＲＧＢデータの中間の値である１２７以下の場合は、基準となるピクセルである前記Ａ点のＲＧＢデータの３つをすベて１２７にし、前記算出結果ＮがＲＧＢデータの中間の値である１２７を超える場合は、基準となるピクセルである前記Ａ点のＲＧＢデータの３つをすべて前記算出結果Ｎの値に設定する手段を、具備した構成をとり、単純にエッジを抽出するだけでなく、処理後の画像を鉛筆で書いたようなものにする。
【００２４】
また、基準のピクセルである前記Ａ点に対し、前記Ｂ点と前記Ｃ点の２点からエッジ抽出処理を行うように、構成される。
【００２５】
また、ＲＧＢデータをグレーズスケール化する場合、
Ｇray＝Ｒ×０．３０＋Ｇ×０．５９＋Ｂ×０．１１          …（９）式
（９）式より、Ｂのデータの重み付けはきわめて低く、高速に演算処理させるためには、データの数は少ないほうが有利であることから、ＲＧＢデータの中でＲとＧのデータのみを使用して、エッジ抽出処理を行うように、構成される。
【００２６】
また、１つのピクセルがＲ（赤）、Ｇ（緑）、Ｂ（青）の３つの色データ（ＲＧＢデータ）で構成されるフルカラー画像を処理する画像処理方法において、
基準となるピクセルであるＡ点と、基準となるピクセルの下のピクセルであるＢ点と、基準となるピクセルの斜め下のピクセルであるＣ点のＲとＧのデータを抽出するステップと、
抽出した前記Ａ、Ｂ、Ｃ点の３つのピクセルのＲとＧのデータから、前記Ａ点のＲデータと前記Ｂ点のＲデータの差分の絶対値と、前記Ａ点のＲデータと前記Ｃ点のＲデータの差分の絶対値とを加算して第１の加算値Ａを算出するステップと、
前記Ａ点のＧデータと前記Ｂ点のＧデータの差分の絶対値と、前記Ａ点のＧデータと前記Ｃ点のＧデータの差分の絶対値とを加算して第２の加算値Ｂを算出するステップと、
ＲＧＢデータのＭＡＸの値である２５５から、前記第１の加算値Ａと前記第２の加算値Ｂとを加算した結果を減算するステップと、
この減算するステップによる算出結果Ｎを元に、基準となるピクセルである前記Ａ点のＲＧＢデータを設定するステップとを、
有するようにされる。
【００２７】
【発明の実施の形態】
以下、本発明の実施の形態を、図１および図２を用いて説明する。
【００２８】
本発明による画像処理装置は、フルカラー画像の動画や静止画を取り込む画像取り込み手段と、取り込まれた入力画像を保持する画像メモリと、入力画像にエッジ抽出処理を含む種々の画像処理を施す画像処理手段と、画像処理を施された画像データを出力する手段とを、少なくとも含んで構成され、画像処理を担う各機能手段（請求項でいう手段）は、ＣＰＵ、ＲＯＭ、ＲＡＭなどによるハードウェア資源と、ＯＳ（Operating System）と、予め作成された画像処理プログラム等とによって、具現化されるものである。
【００２９】
図１は、本発明による画像編集アルゴリズムを実行するフローチャートを示しており、図２は、フルカラー画像のイメージ、および、基準ピクセルと比較ピクセルとの位置関係を示している。
【００３０】
本発明では、１つのピクセルがＲ（赤）、Ｇ（緑）、Ｂ（青）の３つの色データ（ＲＧＢデータ）で構成されるフルカラー画像において、図２に示す基準ピクセル（Ａ点）と、基準ピクセルの下の点（Ｂ点）と、基準ピクセルの斜め下の点（Ｃ点）の３点の、ＲとＧのデータを抽出するものである。また、Ｒ、Ｇ、Ｂのすべてのデータを使用して処理を行うと高速処理の妨げとなるため、本発明では、フルカラー画像をグレースケール化する際によく使われる式である、
Ｇray＝Ｒ×０．３０＋Ｇ×０．５９＋Ｂ×０．１１          …（９）式
から、Ｂのデータの重み付けがＲとＧに比べ非常に小さいことから、Ｂのデータを除外し、ＲとＧのデータのみを使用してエッジ抽出を行うものである。
【００３１】
本発明の動作を、図１のフロチャートを用いて説明する（なお、図１における各処理ステップの実行手段が、画像処理を担う各機能手段となっている）。
【００３２】
まず、基準ピクセル（Ａ点）のＲとＧのデータを抽出し（ステップＳ１）、続いて、基準ピクセル（Ａ点）の下の点（Ｂ点）のＲとＧのデータを抽出し（ステップＳ２）、また、基準ピクセル（Ａ点）の斜め下の点（Ｃ点）のＲとＧのデータを抽出する（ステップＳ３）。
【００３３】
次に、上記ステップＳ１〜Ｓ３で抽出した３点のＲとＧのデータをもとに、Ａ点のＲデータとＢ点のＲデータの差分の絶対値と、Ａ点のＲデータとＣ点のＲデータの差分の絶対値とを加算し、その結果を加算値（第１の加算値）Ａとする、Ｒデータの差分絶対値加算処理を実行する（ステップＳ４）。また、Ａ点のＧデータとＢ点のＧデータの差分の絶対値と、Ａ点のＧデータとＣ点のＧデータの差分の絶対値とを加算し、その結果を加算値（第２の加算値）Ｂとする、Ｇデータの差分絶対値加算処理を実行する（ステップＳ５）。
【００３４】
次に、ＲＧＢデータのＭＡＸ値である２５５から、上記ステップＳ４で算出された加算値Ａと上記ステップＳ５で算出された加算値Ｂとの加算値（加算値Ａ＋加算値Ｂ）を減算して、算出結果Ｎを求める、エッジ検出データの算出処理を行う（ステップＳ６）。
【００３５】
次に、ステップＳ６で算出された算出結果Ｎをもとに、算出結果Ｎが、ＲＧＢデータの中間階調である１２７以下であるか否かを判断する（ステップＳ７）。そして、算出結果Ｎが１２７以下である場合には、基準ピクセル（Ａ点）のＲ、Ｇ、Ｂの各々のデータを１２７に設定し（ステップＳ８）、また、算出結果がＮを超える場合には、基準ピクセル（Ａ点）のＲ、Ｇ、Ｂの各々のデータを、上記の算出結果Ｎに設定する（ステップＳ９）。かような、ステップＳ７〜Ｓ９の処理により、鉛筆書き風効果の設定処理が行われる。
【００３６】
具体的に以下の例で説明する。たとえば、Ａ点のＲ、Ｇデータが２００、Ｂ点のＲ、Ｇデータが１５０、Ｃ点のＲ、Ｇデータが１５０の場合は、
0003667648.tif 000002
となる。
【００３７】
また、Ａ点のＲ、Ｇデータが２００、Ｂ点のＲ、Ｇデータが１８０、Ｃ点のＲ、Ｇデータが１６０の場合は、
0003667648.tif 000003
となる。
【００３８】
上記した２つの結果を比較した場合、色の変化の大きい前者の方が、加算値Ａと加算値Ｂを加算した結果が大きくなる。このことを利用し、本発明では色の階調変化、いわゆるグラデーションをもとにエッジの抽出を行っている。
【００３９】
加算値Ａと加算値Ｂを加算した結果（加算値Ｃ）を、基準のピクセルのＲ、Ｇ、Ｂ各々のデータとして設定してしまうと、エッジ部分が白くなり、エッジが存在しない部分は黒くなってしまう。これを反転するために、ＲＧＢデータのＭＡＸ値である２５５から加算値Ｃを減算することにより、エッジ部分は黒くなり、エッジが存在しない部分は白くなる。ここで、色の階調の平坦部分は加算値Ｃの値が小さくなり、値として、２５５付近の値となるため、見かけ上あまり見えない領域となる。そして、２５５から加算値Ｃ（加算値Ａ＋加算値Ｂ）を減算した結果を、基準のピクセルのＲ、Ｇ、Ｂ各々のデータに設定した場合、色の変化が激しい所と、それほど変化が激しくない所では、黒の度合いが大きく変わってしまい、見た目上あまり綺麗な状態に見えない。
【００４０】
そこで、ＲＧＢデータの中間の値である１２７を基準に、２５５から加算値Ｃ（加算値Ａ＋加算値Ｂ）を減算した結果が１２７以下である場合は、１２７を基準のピクセルのＲ、Ｇ、Ｂ各々のデータに設定し、２５５から加算値Ｃを減算した結果が１２７を超える場合は、２５５から加算値Ｃを減算した結果をそのまま、基準のピクセルのＲ、Ｇ、Ｂ各々のデータに設定することにより、黒の見え方をある程度均一にしている。
【００４１】
かような処理の結果から、単にエッジ部分を抽出するだけでなく、エッジ抽出処理後、フルカラー画像を鉛筆で書いたように見せることができる。
【００４２】
【発明の効果】
請求項１および請求項５に係る発明によれば、１つのピクセルがＲ（赤）、Ｇ（緑）、Ｂ（青）の３つの色データで構成されるフルカラー画像から、エッジ部分を抽出することが可能となる。
【００４３】
また、請求項２に係る発明によれば、単純にエッジを抽出するだけでなく、エッジ抽出結果がＲＧＢデータの中間階調である１２７以下である場合と、１２７を超える場合とで、画像処理後のＲＧＢデータの設定値を可変することから、鉛筆で書いたような効果をもたらすことが可能となる。
【００４４】
また、請求項３に係る発明によれば、エッジ抽出処理を行う際の対象となるピクセルの数を、基準ピクセルに対し、基準ピクセルの下の点と基準ピクセルの斜め下の点の２点を用いて行うことから、高速にエッジ抽出することが可能となる。
【００４５】
また、請求項４に係る発明によれば、エッジ抽出処理を行う際に使用するＲＧＢデータとして、Ｒ（赤）とＧ（緑）の２つの色データを用いて行うことから、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のすべての色データを使用して行うよりも、高速にエッジ抽出することが可能となる。
【図面の簡単な説明】
【図１】本発明による画像編集アルゴリズムを実行する手順を示すフローチャートである。
【図２】フルカラー画像のイメージ、および、基準ピクセルと比較ピクセルの位置関係を示す説明図である。
【図３】１次微分型による信号波形を示す説明図である。
【図４】  Sobel演算による微分ベクトルを示す説明図である。
【図５】２次微分型による信号波形を示す説明図である。
【図６】８方向ラフラシアン係数の例を示す説明図である。
【符号の説明】
Ｓ１  基準ピクセル（Ａ点）のＲ、Ｇデータの抽出処理ステップ
Ｓ２  基準ピクセルの下の点（Ｂ点）のＲ、Ｇデータの抽出処理ステップ
Ｓ３  基準ピクセルの斜め下の点（Ｃ点）のＲ、Ｇデータの抽出処理ステップ
Ｓ４  Ｒデータの差分絶対値加算処理ステップ
Ｓ５  Ｇデータの差分絶対値加算処理ステップ
Ｓ６  エッジ検出データ算出処理ステップ
Ｓ７  減算処理結果である算出結果Ｎの判定処理ステップ
Ｓ８  演算処理後の画像データ設定処理ステップ
Ｓ９  演算処理後の画像データ設定処理ステップ
【図１】
0003667648.tif 000004
【図２】
0003667648.tif 000005
【図３】
0003667648.tif 000006
【図４】
0003667648.tif 000007
【図５】
0003667648.tif 000008
【図６】
0003667648.tif 000009