(57)【特許請求の範囲】
【請求項１】
カラー画像の各画素に対し、周囲の画素を含めた平均色強度を求め、各画素を平均色強度に置換する色強度平均化手順と、
前記色強度平均化手順で処理した色平均化カラー画像の各画素に対し、周囲の画素を含めた平均輝度を求め、平均輝度を閾値として二値化する画像二値化手順と、
前記画像二値化手順で処理した二値画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を着目画素として、着目画素に隣接する全ての画素が二値の一方の画素であるとき、着目画素を前記二値の一方の画素に置換するノイズ除去手順と、
前記ノイズ除去手順で処理した画像の画素が、二値の一方の画素であるとき指定された輝度を有する第一の色の画素に置換し、二値の他方の画素であるとき前記第一の色の輝度とは異なる輝度を有する色、または指定された輝度を有する第二の色の画素に置換する色付け手順と
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項２】
請求項１の画像処理プログラムであって、
色強度平均化手順は、カラー画像の各画素に対し、周囲の画素を含めたＲＧＢの一つの原色の平均色強度を求め、画素の前記ＲＧＢの一つの原色強度を平均色強度に置換することを、ＲＧＢの他の二つの原色に対して行うことを特徴とする画像処理プログラム。
【請求項３】
カラー画像の各画素に対し、周囲の画素を含めた平均色強度を求め、各画素を平均色強度に置換する色強度平均化手順と、
前記色強度平均化手順で処理した色平均化カラー画像の各画素に対し、周囲の画素を含めた平均輝度を求め、平均輝度を閾値として二値化する画像二値化手順と、
前記画像二値化手順で処理した二値画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を着目画素として、着目画素に隣接する全ての画素が二値の一方の画素であるとき、着目画素を前記二値の一方の画素に置換するノイズ除去手順と、
前記ノイズ除去手順で処理した画像の画素が、二値の一方の画素であるとき指定された輝度を有する第一の色の画素に置換し、二値の他方の画素であるとき前記第一の色の輝度とは異なる輝度を有する色、または指定された輝度を有する第二の色の画素に置換する色付け手順とを備えることを特徴とする画像処理方法。
【請求項４】
カラー画像の各画素に対し、周囲の画素を含めた平均色強度を求め、各画素を平均色強度に置換する色強度平均化手段と、
前記色強度平均化手段で処理した色平均化カラー画像の各画素に対し、周囲の画素を含めた平均輝度を求め、平均輝度を閾値として二値化する画像二値化手段と、
前記画像二値化手段で処理した二値画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を着目画素として、着目画素に隣接する全ての画素が二値の一方の画素であるとき、着目画素を前記二値の一方の画素に置換するノイズ除去手段と、
前記ノイズ除去手段で処理した画像の画素が、二値の一方の画素であるとき指定された輝度を有する第一の色の画素に置換し、二値の他方の画素であるとき前記第一の色の輝度とは異なる輝度を有する色、または指定された輝度を有する第二の色の画素に置換する色付け手段とを有することを特徴とする画像処理装置。
【請求項５】
カラー画像の各画素に対し、周囲の画素を含めた平均色強度を求め、各画素を平均色強度に置換する色強度平均化手順と、
前記色強度平均化手順で処理した色平均化カラー画像の各画素に対し、周囲の画素を含めた平均輝度を求め、平均輝度を閾値として二値化する画像二値化手順と、
前記画像二値化手順で処理した二値画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を着目画素として、着目画素に隣接する全ての画素が二値の一方の画素であるとき、着目画素を前記二値の一方の画素に置換するノイズ除去手順と、
前記ノイズ除去手順で処理した画像の画素が、二値の一方の画素であるとき指定された輝度を有する第一の色の画素に置換し、二値の他方の画素であるとき前記第一の色の輝度とは異なる輝度を有する色、または指定された輝度を有する第二の色の画素に置換する色付け手順と
を実現するプログラムを記録したコンピュータによって読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば建築物の外壁リフォームにおける塗装イメージ画像を作成する際に適用が可能な画像処理方法、画像処理プログラム、画像処理装置および画像処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
近年では、建築する住宅等の設計においてＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）技術を用いたコンピュータ支援による設計（ＣＡＤ：Ｃｏｍｐｕｔｅｒ  Ａｉｄｅｄ  Ｄｅｓｉｇｎ）が一般化している。建築用のＣＡＤシステムにも種々のものがあるが、特に最近では３次元データにより作成された仮想建築物の外部や内部をオペレータの指示で歩き廻り、その時の視点から見たＣＧ画像を見ることができるまでなっている（例えば、特開平９−１０６４０８）。建築物のリフォームにおいてもＣＡＤ技術の利用が図られ、増改築部分の間取りなどの入力を行うことにより３次元の完成イメージを見ることができる技術が開示されている（例えば、特開平９−３１７２０６）。
【０００３】
本発明は、例えば建築物のリフォームにおいて外壁の塗装の際に塗装イメージ画像の生成に適用が可能な画像処理に関する提案である。建築物も建築してから数年を経過すると、その間の日光や風雨により外壁の塗装膜の劣化、汚れが目立つようになり塗装し直すことが一般に行われている。顧客（施工主）は業者に塗装色を指定して外装の塗装を依頼するが、塗装完了後に塗装前に描いていたイメージと仕上がり状態とにギャップを感じ、不満を生ずることがある。このようなギャップを少なくするために、業者は塗装前に顧客に塗装の色見本を渡してその中から色指定をして貰うことを行っているが、小片の色見本と実際に外壁に塗られた状態とのイメージギャップは無くなる訳ではない。
【０００４】
このようなことから、建築物の外壁のイメージをＣＧ技術を用いて表示させる方法が特開平９−１０６４１１に開示されている。本発明によれば、数種の外壁表面材の画像データを予め格納しておき、顧客の指示によりこれらの画像を切り換えて外壁を含む建築物の外観を表示させるものである。
【０００５】
より簡易にコンピュータを利用する方法として、市販されているペイントツールにより指定箇所に色を塗る方法がある。デジタルカメラなどで撮影した建築物の画像をコンピュータに取り込み、画像の外壁部分の領域を設定してペイントツールで指定した色を塗ることは容易である。
【０００６】
【発明が解決しようとする課題】
上記に示しように、色見本の小片を渡して色指定する方法においてもイメージギャップが生じてしまう。また、特開平９−１０６４１１によるコンピュータを利用した方法では、予め登録してある建築物について外壁の表面材を切り換えて表示できるが、顧客の住宅の外壁の色等を変えて見ることは困難である。さらに、ペイントツールを用いる方法では、外壁の筋などが下地にある場合に平坦に塗り潰されてしまい実際の仕上がりのイメージとは異なったものとなる。下地の状態を表すためにその部分の輝度を変えて塗ることが考えられるが、輝度を替える部分を個々に指定するには多大の時間を要することになる。また、画像処理により一括して下地の状態を区別しようとすると、外壁の汚れを元々の下地の状態と認識してしまい、ペイントツールを用いて塗装イメージを作成することは問題が多い。
【０００７】
そこで本発明の目的は、例えば顧客の建築物のカラー画像を用いて、画像に表れている外壁の汚れを減少させ、下地の状態を反映するようにして塗装したイメージ画像の生成に適用ができる画像処理プログラム、画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体を提供することにある。しかし、本発明の画像処理は塗装イメージの画像作成に限定されるものではない。
【０００８】
【課題を解決するための手段】
本発明の原理を図１を用いて説明する。図１の色強度平均化手順１では取り込んだカラー画像の画素に対して、一つの着目画素と着目画素の周囲の画素とから平均色強度を求め、平均色強度をその着目画素に置きかえることにより、カラー画像のノイズを減少するものである。カラー画像の画素はＲＧＢのそれぞれに０〜２５５の強度を持つ三つ原色から成っており、例えばその一つであるＲ（赤）の原色に対して画素の一つを着目画素とし、着目画素とその着目画素の周囲の画素のＲの強度との単純平均値を求める。例えば着目画素が画像の辺に接してなく、着目画素の周囲の画素を隣接画素とすれば、着目画素に隣接する画素は８個あり、着目画素を含めて９個の画素のＲ強度の和を求めて９で除算を行って平均色強度を求め、この値を記憶しておく。全ての画素のＲについて同様の処理を行って記憶しておいた平均色強度を元のカラー画像の各画素に置きかえることを行い、続いて残りの原色であるＧ（緑）とＢ（青）についても同様に行う。この処理によって、汚れに相当する比較的小さな領域部分の色が拡散され、結果として汚れの部分が減少されたことになる。
【０００９】
色強度平均化手順１の処理を行ったカラー画像を用いて、次の画像二値化手順２の処理を行う。ここでは例えば外壁下地の筋などの凹凸の画像（以下、下地模様と言う）を区別するために、色強度平均化手順１で処理されたカラー画像に対して二値画像を求める。グレースケールのモノクロ画像はカラー画像の画素の輝度に対応させており、ＲＧＢの各強度から次の式で求めることができる。
【００１０】
Ｉ＝０．３０×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ
ここでＩは求める輝度である。Ｒ、ＧおよびＢは三原色のそれぞれの強度（０〜２５５）の値である。上記の式は当分野において一般的に知られている。（画像電子ハンドブック：画像電子学会）
このようにして求めた一つの着目画素の輝度と着目画素の周囲の画素の輝度とから平均輝度を求め、この平均輝度を閾値として着目画素を二値化する。即ち、着目画素がこの平均輝度の値以上である場合は着目画素を例えば白画素とし、そうでない場合は例えば黒画素とする。平均輝度の求め方は、前述した色強度の平均値を求めた方法と同様である。これによりカラー画像は例えば白と黒の二値画像に置き換えられたことになる。この処理の目的は、外壁の例では画像の中で色が急激に変化している箇所は下地模様の画像部分であり、汚れなどは色が比較的穏やかに変化する、という特徴から下地模様を抽出することを行っているものである。
【００１１】
続いて、ノイズ除去手順３では、画像二値化手順２で作成した画像に対し、二値化画像に対するノイズの除去を行う。画像の中で黒の画素が島状になっているもの、あるいは白の画素が島状になっているものをノイズと見なして削除するものである。島状を構成するノイズの画素サイズを指定されたＮ×Ｍとすれば、Ｎ×Ｍの画素を着目画素として着目画素と隣接する画素（即ち着目画素を取り囲む画素）が例えば全て白の画素であれば、着目画素を白の画素と置きかえることを行う。逆に着目画素と隣接する画素が例えば全て黒の画素であれば、着目画素を黒の画素に置き替える。これによりＮ×Ｍの画素からなるノイズは取り除かれたことになる。
【００１２】
以上の処理で、カラー画像から下地模様の画像がノイズが少ない状態で抽出されたことになる。最後の色付け手順４は、外壁に色を塗布する作業に当たるものである。二値画像の画素が二値の一方（例えば白）の部分には指定の色に置き変え、二値の他方（例えば黒）の画素には輝度を例えば８０％程度に落とした指定の色に置き替える。または、指定した色とは異なる色で塗り替える。これは、二値の画素の一方が外壁の平坦部であり、他方が下地模様（あるいはその逆）であり、色または輝度を変えて下地の状態を表現しているものである。
【００１３】
【発明の実施の形態】
本発明の一実施例を図面を参照して説明する。図２および図３は、本発明を外装塗装のイメージ画像の作成に適用した実施フローである。まず、外壁を含む建築物の画像をカラー画像データ格納部５から取り込み、最初にＲの原色について色強度の平均化を行う。図４（ａ）は、取り込んだカラー画像の外壁の一部をＲの色強度について模式的に示した画素マップであり、それぞれの四角は一つの画素を表し、図中の数字はＲの色強度を示している。図４（ｂ）は、Ｒについて視覚的に分かるように表した参考図（色強度の低いものから段階的に黒く表した）で、斜めに走る黒い帯状の部分は下地模様を示している。図４（ａ）の左上の画素を着目画素として順次走査して平均色強度を求めることにする。実施例では、着目画素の周囲の画素を隣接画素として平均色強度を着目画素とそれに隣接する画素とから平均を求めている。図４（ｃ）は着目画素と着目画素に隣接する画素の状態を示し、太線で囲った画素が隣接画素である。着目画素ａは左上の画素を着目画素としたときの画素であり、この場合の隣接する画素は太線で示した３個の画素からなる。この時の色強度の平均値は、着目画素と隣接画素の合計４個の画素の単純平均である。即ち、
（１４１＋１３９＋１４１＋１４２）／４＝１４０．７５
同様に着目画素ｂは、６個の画素の平均となり１３８．８３、着目画素ｃは９個の画素の平均で１２９．４４となる。このようにして求めた平均値を作業領域６に記憶しておき、全画素について色平均化の処理が終了した段階で作業領域に記憶した平均色強度値を元のカラー画像に置き替える。色強度を平均化した例が図４（ｄ）である。ここでは、小数点以下を切り捨てて表示している。また、図４（ｅ）は図４（ｄ）を視覚化して表示したものである。図４（ｅ）は、図４（ｂ）に較べて色強度は平準化され鈍った画像となっていることが判る。これらの処理を残りのＧとＢの原色に対しても行う。図４は平均色強度を求める説明のため外壁の一部の例について行ったが、この色強度の平均化を行う処理は取り込んだ画像全体に対して行う。本実施例では、色強度の平均化を行うときに周囲画素を隣接画素としたが、さらにもう一周り、あるいは二周り増やしてもよい。また、周囲数を指定するようにして、その周囲数内で異なる周囲数を試行し、その結果の中から画像処理を行う使用者に最良のものを選択させるようにしてもよい。（Ｓ１〜Ｓ４）
次に色強度を平均化した画像を二値化する処理を行う。この処理を行うために、一つの着目画素と着目画素に隣接する画素の輝度から平均を求める。本実施例では、平均色強度を求めたと同様に周囲画素を隣接画素としたが、これも周囲数を指定させ試行するようにしてもよい。画素の輝度は、前述した輝度を求める式を適用して輝度を求める。例えば、ＲとＧとＢの強度がそれぞれ１４０、１２０、１３０である時の輝度Ｉは以下のようになる。
【００１４】
Ｉ＝０．３０×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ
＝０．３０×１４０＋０．５９×１２０＋０．１１×１３０
＝１２７．１
このようにして求めた平均の輝度の値を閾値として、着目画素の輝度が閾値以上であれば白画素を、そうでない場合は黒画素を一旦作業領域に格納する。この処理を全画素について行って別領域に格納した画素を元の画像（色強度を平均化した画像）の各画素に対応して置き替えることにより二値画像が得られたことになる。（Ｓ５〜Ｓ１１）
続いて、二値画像に対してノイズを除く処理に入る。ここではノイズと見なす島状の画素の最大値を２×２（即ちＮ＝２、Ｍ＝２）と指定した。最初に１×１の画素を着目画素とし、それを取り巻く８個の画素に合わせて着目画素を同じ画素に置きかえることを行う。例えば、１画素（即ち着目画素）のみ黒で周りの画素が全て白の場合は、その１画素を黒から白に置き替え、１画素が黒の島状のノイズが取り除かれたことになる。着目画素の１画素が白で周りが全て黒の画素であるときも同様にその１画素を白から黒に置き替え、白の島状のノイズが除かれたことになる。着目画素の周りの画素が全て白または黒でなければ、着目画素を置き替えることは行わない。これを全画素について実施し、続いて着目画素を１×２として同様に着目画素を取り巻く１０個の画素について行う。さらに着目画素を２×１、２×２についても同様に行い、ノイズを取り除く。この処理を二値画像全体に行う。また、着目画素が画像の辺に接している場合は、存在している隣接画素だけで判断している。このように処理した例を図５および図６に示す。図５は図４で示した外壁の一部の画像と同じものであり、図６は取り込んだ画像全体を処理した例である。図５、図６それぞれに（ａ）は二値化処理した画像であり、（ｂ）は二値画像からノイズ除去処理した画像の例である。（Ｓ１２〜Ｓ１６）
Ｓ１〜Ｓ１６のステップで塗装する前の処理が終わったことになる。即ち、外壁部に着目すれば、外壁の平坦な部分のノイズと下地模様のノイズが減少し、下地模様の形状が抽出された。以降の処理は、この画像を基に塗装を行う処理である。まず、外壁の塗装する領域を指定し、外壁内に他の構造物があればこの部分のマスキングを行う。続いて、外壁の各画素に対して、対応する二値画像の画素の色が白の場合は指定の輝度を持った色に、黒の場合は指定の輝度の８０％の色を置きかえる。輝度を下げたことにより下地模様が表現されたことになり、実際に塗装を行った場合に近いイメージ画像を得ることができる。輝度を替えることなく、他の色に置き替えてもよい。次に、指定の色付けを行った画素をマスキングし、他の部分を元のカラー画像の画素と置きかえる。この処理により、元のカラー画像の外壁部分のみ塗り替えられたイメージの画像を得ることができる。（Ｓ１７〜Ｓ２２）
（付記１）  カラー画像の各画素に対し、周囲の画素を含めた平均色強度を求め、各画素を平均色強度に置換する色強度平均化手順と、
前記色強度平均化手順で処理した色平均化カラー画像の各画素に対し、周囲の画素を含めた平均輝度を求め、平均輝度を閾値として二値化する画像二値化手順と、
前記画像二値化手順で処理した二値画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を着目画素として、着目画素に隣接する全ての画素が二値の一方の画素であるとき、着目画素を前記二値の一方の画素に置換するノイズ除去手順と、
前記ノイズ除去手順で処理した画像の画素が、二値の一方の画素であるとき指定された第一の色の画素に置換し、二値の他方の画素であるとき前記指定された第一の色の輝度とは異なる輝度の色、または指定された第二の色の画素に置換する色付け手順と
をコンピュータに実行させることを特徴とする画像処理プログラム。
（付記２）  付記１の画像処理プログラムであって、
色強度平均化手順は、カラー画像の各画素に対し、周囲の画素を含めたＲＧＢの一つの原色の平均色強度を求め、画素の前記ＲＧＢの一つの原色強度を平均色強度に置換することを、ＲＧＢの他の二つの原色に対して行う
ことを特徴とする画像処理プログラム。
（付記３）  カラー画像の各画素に対し、周囲の画素を含めた平均色強度を求め、各画素を平均色強度に置換する色強度平均化手順と、
前記色強度平均化手順で処理した色平均化カラー画像の各画素に対し、周囲の画素を含めた平均輝度を求め、平均輝度を閾値として二値化する画像二値化手順と、
前記画像二値化手順で処理した二値画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を着目画素として、着目画素に隣接する全ての画素が二値の一方の画素であるとき、着目画素を前記二値の一方の画素に置換するノイズ除去手順と、
前記ノイズ除去手順で処理した画像の画素が、二値の一方の画素であるとき指定された第一の色の画素に置換し、二値の他方の画素であるとき前記指定された第一の色の輝度とは異なる輝度の色、または指定された第二の色の画素に置換する色付け手順と
を備えることを特徴とする画像処理方法。
（付記４）  カラー画像の各画素に対し、周囲の画素を含めた平均色強度を求め、各画素を平均色強度に置換する色強度平均化手段と、
前記色強度平均化手段で処理した色平均化カラー画像の各画素に対し、周囲の画素を含めた平均輝度を求め、平均輝度を閾値として二値化する画像二値化手段と、
前記画像二値化手段で処理した二値画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を着目画素として、着目画素に隣接する全ての画素が二値の一方の画素であるとき、着目画素を前記二値の一方の画素に置換するノイズ除去手段と、
前記ノイズ除去手段で処理した画像の画素が、二値の一方の画素であるとき指定された第一の色の画素に置換し、二値の他方の画素であるとき前記指定された第一の色の輝度とは異なる輝度の色、または指定された第二の色の画素に置換する色付け手段と
を有することを特徴とする画像処理装置。
（付記５）  カラー画像の各画素に対し、周囲の画素を含めた平均色強度を求め、各画素を平均色強度に置換する色強度平均化手順と、
前記色強度平均化手順で処理した色平均化カラー画像の各画素に対し、周囲の画素を含めた平均輝度を求め、平均輝度を閾値として二値化する画像二値化手順と、
前記画像二値化手順で処理した二値画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を着目画素として、着目画素に隣接する全ての画素が二値の一方の画素であるとき、着目画素を前記二値の一方の画素に置換するノイズ除去手順と、
前記ノイズ除去手順で処理した画像の画素が、二値の一方の画素であるとき指定された第一の色の画素に置換し、二値の他方の画素であるとき前記指定された第一の色の輝度とは異なる輝度の色、または指定された第二の色の画素に置換する色付け手順と
を実現するプログラムを記録したコンピュータによって読み取り可能な記録媒体。
（付記６）  付記３の画像処理方法であって、
色強度平均化手順は、カラー画像の各画素に対し、周囲の画素を含めたＲＧＢの一つの原色の平均色強度を求め、画素の前記ＲＧＢの一つの原色強度を平均色強度に置換することを、ＲＧＢの他の二つの原色に対して行う
ことを特徴とする画像処理方法。
【００１５】
【発明の効果】
本発明の画像処理方法を例えば外壁リフォームに適用すれば、顧客の建築物のカラー画像を用いて外壁のみを塗り替えた画像を得ることができ、顧客が塗装工事前に描いた塗装イメージと実際の仕上がり状態とのギャップが少なくなる効果が発揮できる。
【図面の簡単な説明】
【図１】本発明の原理図である。
【図２】外壁塗装に適用した処理フローの実施例（その１）である。
【図３】外壁塗装に適用した処理フローの実施例（その２）である。
【図４】色強度平均化処理の説明図である。
【図５】外壁の一部の画像の二値化処理とノイズ除去処理例である。
【図６】全体の画像の二値化処理とノイズ除去処理例である。
【符号の説明】
１：色強度平均化手順
２：画像二値化手順
３：ノイズ除去手順
４：色付け手順
５：カラー画像データ格納部
６：作業領域
【図１】
0004158350.tif 000002
【図２】
0004158350.tif 000003
【図３】
0004158350.tif 000004
【図４】
0004158350.tif 000005
【図５】
0004158350.tif 000006
【図６】
0004158350.tif 000007