(57)【特許請求の範囲】
【請求項１】
複数の素材画像を組み合わせてモザイク画像を形成する画像処理方法であって、
前記モザイク画像の基になる画像をM×Nの領域に分割し、
分割された各領域の画像特性を求め、
前記画像特性に基づき、一つの素材画像が所定数までの領域に対応することを許容して、分割された各領域に対応する素材画像を決定することを特徴とする画像処理方法。
【請求項２】
複数の素材画像を組み合わせてモザイク画像を形成する画像処理方法であって、
前記モザイク画像の基になる画像をM×Nの領域に分割し、
分割された各領域の画像特性を求め、
前記領域をランダム順に選択して、選択した領域の画像特性に基づき、一つの素材画像が所定数までの領域に対応することを許容して、順次、選択した領域に対応する素材画像を決定することを特徴とする画像処理方法。
【請求項３】
前記領域と素材画像との対応決定は、領域の画像特性に最も近い画像特性をもつ素材画像を選択するものであることを特徴とする請求項1または請求項2に記載された画像処理方法。
【請求項４】
さらに、前記領域それぞれに、対応する素材画像を貼り付けてモザイク画像を生成することを特徴とする請求項1から請求項3の何れかに記載された画像処理方法。
【請求項５】
さらに、前記複数の素材画像の画像特性を計算することを特徴とする請求項1から請求項4の何れかに記載された画像処理方法。
【請求項６】
前記画像特性とは、前記領域または素材画像を形成する複数の画素の平均輝度値であることを特徴とする請求項1から請求項5の何れかに記載された画像処理方法。
【請求項７】
前記画像特性とは、前記領域または素材画像を形成する複数の画素の色成分ごとの平均輝度値であることを特徴とする請求項1から請求項5の何れかに記載された画像処理方法。
【請求項８】
複数の素材画像を組み合わせてモザイク画像を生成する画像処理装置であって、
前記モザイク画像の基になる画像を入力する入力手段と、
前記複数の素材画像を記憶する記憶手段と、
入力される基画像をM×Nの領域に分割し、分割された各領域の画像特性を求め、前記画像特性に基づき、一つの素材画像が所定数までの領域に対応することを許容して、分割された各領域に対応する素材画像を決定する決定手段とを有することを特徴とする画像処理装置。
【請求項９】
複数の素材画像を組み合わせてモザイク画像を生成する画像処理装置であって、
前記モザイク画像の基になる画像を入力する入力手段と、
前記複数の素材画像を記憶する記憶手段と、
入力される基画像をM×Nの領域に分割し、分割された各領域の画像特性を求め、前記領域をランダムに選択して、選択した領域の画像特性に基づき、一つの素材画像が所定数までの領域に対応することを許容して、順次、選択された領域に対応する素材画像を決定する決定手段とを有することを特徴とする画像処理装置。
【請求項１０】
複数の素材画像を組み合わせてモザイク画像を形成する画像処理のプログラムコードが記録された記録媒体であって、
前記モザイク画像の基になる画像をM×Nの領域に分割するステップのコードと、
分割された各領域の画像特性を求めるステップのコードと、
前記画像特性に基づき、一つの素材画像が所定数までの領域に対応することを許容して、分割された各領域に対応する素材画像を決定するステップのコードとを有することを特徴とする記録媒体。
【請求項１１】
複数の素材画像を組み合わせてモザイク画像を形成する画像処理のプログラムコードが記録された記録媒体であって、
前記モザイク画像の基になる画像をM×Nの領域に分割するステップのコードと、
分割された各領域の画像特性を求めるステップのコードと、
前記領域をランダム順に選択して、選択した領域の画像特性に基づき、一つの素材画像が所定数までの領域に対応することを許容して、順次、選択した領域に対応する素材画像を決定するステップのコードとを有することを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置およびその方法に関し、例えば、モザイク画像を生成する画像処理装置およびその方法に関するものである。
【０００２】
【従来の技術】
三省堂「現代国語辞典」によれば、モザイクとは「種々の色彩の石・ガラス・大理石などの小片を組み合わせて、床・壁などにはめ込み、図案化したもの、またはその技法」である。この技法を用いて、多数の写真画像を組み合わせて図案あるいは一つの画像（モザイク画像）を構成することが可能である。画像処理においるモザイク画像の生成は、その基になる図案あるいは画像をタイル状に分割し、それらタイルの画像に最も似通った素材画像をそのタイル領域に貼ることにより達成される。
【０００３】
【発明が解決しようとする課題】
しかし、上述した技術においては、次のような問題点がある。
【０００４】
つまり、分割された複数のタイル領域に同じ素材画像が貼られる場合があり得る。そして、生成されたモザイク画像における同一の素材画像が集中した領域では、その素材画像によりテクスチャが発生し、基の図案あるいは画像が意図しない模様ができてしまう問題がある。
【０００５】
本発明は、上述の問題を解決するためのものであり、モザイク画像を生成する際に意図しないテクスチャの発生を防ぐとともに、より画質の高いモザイク画像を生成することができる画像処理装置およびその方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００７】
本発明にかかる画像処理方法は、複数の素材画像を組み合わせてモザイク画像を形成する画像処理方法であって、前記モザイク画像の基になる画像をM×Nの領域に分割し、分割された各領域の画像特性を求め、前記画像特性に基づき、一つの素材画像が所定数までの領域に対応することを許容して、分割された各領域に対応する素材画像を決定することを特徴とする。
【０００８】
また、複数の素材画像を組み合わせてモザイク画像を形成する画像処理方法であって、前記モザイク画像の基になる画像をM×Nの領域に分割し、分割された各領域の画像特性を求め、前記領域をランダム順に選択して、選択した領域の画像特性に基づき、一つの素材画像が所定数までの領域に対応することを許容して、順次、選択した領域に対応する素材画像を決定することを特徴とする。
【０００９】
本発明にかかる画像処理装置は、複数の素材画像を組み合わせてモザイク画像を生成する画像処理装置であって、前記モザイク画像の基になる画像を入力する入力手段と、前記複数の素材画像を記憶する記憶手段と、入力される基画像をM×Nの領域に分割し、分割された各領域の画像特性を求め、前記画像特性に基づき、一つの素材画像が所定数までの領域に対応することを許容して、分割された各領域に対応する素材画像を決定する決定手段とを有することを特徴とする。
【００１０】
また、複数の素材画像を組み合わせてモザイク画像を生成する画像処理装置であって、前記モザイク画像の基になる画像を入力する入力手段と、前記複数の素材画像を記憶する記憶手段と、入力される基画像をM×Nの領域に分割し、分割された各領域の画像特性を求め、前記領域をランダムに選択して、選択した領域の画像特性に基づき、一つの素材画像が所定数までの領域に対応することを許容して、順次、選択された領域に対応する素材画像を決定する決定手段とを有することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明にかかる一実施形態の画像処理装置を図面を参照して詳細に説明する。
【００１２】
【モザイク画像の生成方法】
図1はモザイクに用いられる複数種類の画像の関係を示す図である。図1において、第一の画像201は、モザイクにより画像を構成する際の基になる図案あるいは画像（例えば写真画像、コンピュータグラフィックス画像など）である。第二の画像202はモザイクにより構成された画像である。素材画像203は第二の画像202を構成するために使われる。素材画像203の枚数Pは、一般に、第二の画像202を構成するのに必要になる色およびテクスチャが用意可能な充分に大きな数である。
【００１３】
図1では説明を容易にするために、素材画像203のサイズをタイルと同じにしたが、必ずしも素材画像203とタイルとのサイズは一致する必要はないし、素材画像203のすべてが同じサイズである必要もない。ただし、素材画像203とタイルとのサイズが異なる場合は、該当するタイル領域に素材画像203を貼る際に、素材画像203のサイズをタイルサイズにリサイズすればよい。また、タイルの形状も矩形に限らず任意の形状でよく、タイル領域に素材画像203を貼る際に、素材画像203の形状をカットあるいは変形することでタイルの形状に整形すればよい。
【００１４】
次に、図2を用いてモザイクによる画像の構成方法を説明する。
【００１５】
図2のステップS211で第一の画像201をM×N個のタイルに分割する。その結果、例えば図3に示すように、4×5個の矩形タイルTL(0,0), TL(0,1), TL(0,2), …, TL(4,2), TL(4,3)が生成される。
【００１６】
図3において、XおよびYはそれぞれ第一の画像201の水平および垂直方向の画素数を表し、pおよびqはそれぞれ、分割された各タイルの水平および垂直方向の画素数を表す。従って、X = p×M, Y = q×Nという関係が成り立つ。図4は個々のタイルの構成を示す図で、各タイルは三原色、赤(Red)、緑(Green)および青(Blue)のp×q画素のプレーンに分解される。
【００１７】
続いて、ステップS212で、分割されたM×N個の各タイルについて、次式に従いRGBの平均輝度値を計算する。
Rd_av = ΣRi/(p×q)
Gd_av = ΣGi/(p×q)
Bd_av = ΣBi/(p×q)
【００１８】
次に、ステップS213で、P枚の素材画像203それぞれについて、次式に従いRGBの平均輝度値を算出する。
Rs_av = ΣRi/(p×q)
Gs_av = ΣGi/(p×q)
Bs_av = ΣBi/(p×q)
【００１９】
次に、ステップS214で、処理中のタイルの位置を示すカウンタX_Pos(0≦X_Pos≦M-1)およびY_Pos(0≦Y_Pos≦N-1)をともに零に初期化する。なお、(X_Pos,Y_Pos) = (0,0)は第一の画像201の左上端のタイル位置を示す。
【００２０】
次に、ステップS215で、カウンタ(X_Pos,Y_Pos)が示すタイルに最もふさわしい素材画像203を選択する。この選択方法は、タイルの平均輝度値および素材画像203の平均輝度値間のRGB三刺激値による距離ΔEを算出し、ΔEが最も小さくなる素材画像203を選択する。選択された素材画像203をタイル領域に貼る際に、そのサイズが合わない場合は適正なサイズになるように変倍処理が行われる。
ΔE =(Rs_av - Rd_av)^2 +(Gs_av - Gd_av)^2 +(Bs_av - Bd_av)^2
ただし、a^2はaの二乗を表す。
【００２１】
続いて、ステップS216でカウンタ(X_Pos,Y_Pos)を水平および垂直方向に順次カウントアップまたはダウンし、ステップS217の判断によりすべてのタイルに対してステップS215の処理が行われるまでステップS215からS217を繰り返す。
【００２２】
従って、M×Nに分割されたタイル中に平均輝度値が同じか、非常に近いタイルが存在する場合、同じ素材画像203が選択され、それらのタイル領域に貼られることになる。このために、生成されたモザイク画像において同一の素材画像203が集中した領域では、その素材画像203によるテクスチャが発生し、生成される画像202に意図しない模様が発生してしまう。
【００２３】
上記の問題を回避するために、あるタイル領域に貼られた素材画像203を他のタイル領域に貼らないという方法も考えられ、この方法によれば、意図しないテクスチャの発生を防ぐことができる。しかし、素材画像203の種類および枚数が充分にあるならばともかく、素材画像203の数（種類）が少ない場合はタイル領域に貼り付けるべき素材画像203が不足し、タイルの画像特性の大きく異なる画像特性をもつ素材画像203をそのタイル領域に貼り付けることにもなり、生成されるモザイク画像の画質が著しく劣化するという問題がある。
【００２４】
以下では、上記の問題を解決することができる本発明にかかるモザイク画像の形成方法を説明する。
【００２５】
【第１実施形態】
図5は本発明にかかる実施形態のモザイク画像を生成する画像処理装置の構成例を示すブロック図である。
【００２６】
図5において、読込部100は画像を読込むための例えばスキャナである。蓄積部101は、ハードディスクなどの記憶メディアに画像を蓄積し管理するためのもので、例えば画像データベースを構成している。表示部102は、蓄積部101に蓄積された画像や読込部100で読込まれた画像を表示するためのCRTやLCDのモニタである。
【００２７】
CPU103は、ROM104に予め格納されたプログラムに従い画像処理装置全体を制御するとともに、上記の処理のすべてに関わる。RAM105は、CPU103にワークメモリとして利用される。
【００２８】
なお、本実施形態の画像処理装置には、上記以外にも、種々の構成要素が設けられているが、それらの構成は本発明の主要部分ではないので、それらの説明については省略する。
【００２９】
次に、本実施形態の画像処理装置におけるモザイク画像の生成処理を図6のフローチャートに従い説明する。
【００３０】
図6のステップS300で第一の画像201をM×N個のタイルに分割する。その結果、例えば図3に示すように、4×5個の矩形タイルTL(0,0), TL(0,1), TL(0,2), …, TL(4,2), TL(4,3)が生成される。
【００３１】
次に、ステップS301で、分割されたM×N個の各タイルについて、次式に従いRGBの平均輝度値を計算する。
Rd_av = ΣRi/(p×q)
Gd_av = ΣGi/(p×q)
Bd_av = ΣBi/(p×q)
【００３２】
次に、ステップS302で、P枚の素材画像203それぞれについて、次式に従いRGBの平均輝度値を算出する。なお、素材画像203のRGBの平均輝度値などの画像特性は予め求めておくこともできる。その場合、その画像特性は素材画像203のヘッダ情報として記録されてもよいし、蓄積部101に格納される、素材画像203に対応するテーブルに記録されてもよい。
Rs_av = ΣRi/(p×q)
Gs_av = ΣGi/(p×q)
Bs_av = ΣBi/(p×q)
【００３３】
次に、ステップS303で素材画像203の使用限度回数Kをセットし、ステップS304ですべての素材画像203の使用回数Sを零にリセットする。この使用限度回数Kは、素材画像203の数（種類）およびタイルの枚数(M×N)の関係から適切な値にセットされる必要がある。また、使用回数Sは、各素材画像203が第一の画像201に貼り付けられた回数を表すものである。ステップS304の時点では、どの素材画像203も選択されず貼り付けられてもいないので、すべての素材画像203の使用回数Sは零である。
【００３４】
続いて、ステップS305で、処理中のタイルの位置を指示するカウンタ(X_Pos,Y_Pos)を第一の画像201の左上のタイルを指示する(0,0)に初期化する。そして、ステップS306で位置カウンタ(X_Pos,Y_Pos)が指示するタイルの輝度平均値に最も近い素材画像203を、0≦S≦K-1の使用回数をもつ素材画像203の中から選択し、そのタイル領域に貼り付ける。この選択方法は、タイルの平均輝度値および素材画像203の平均輝度値間のRGB三刺激値による距離ΔEを算出し、ΔEが最も小さくなる素材画像203を選択する。選択された素材画像203をタイル領域に貼る際に、そのサイズや形状が合わない場合は、適正なサイズや形状になるように変倍処理や整形処理が行われる。
ΔE =(Rs_av - Rd_av)^2 +(Gs_av - Gd_av)^2 +(Bs_av - Bd_av)^2
【００３５】
次に、ステップS307で、貼り付けられた素材画像203の使用回数Sをインクリメントし、ステップS308でカウンタ(X_Pos,Y_Pos)を水平および垂直方向に順次カウントアップまたはダウンし、ステップS309の判断によりすべてのタイルに対してステップS306の処理が行われるまでステップS306からS308を繰り返す。
【００３６】
このように、本実施形態によれば、各素材画像203の使用限度回数Kを適切に設定することで、素材画像203の数（種類）が少ない場合でも素材画像203の不足を防ぎ、生成されるモザイク画像の画質劣化を防ぐことができる。
【００３７】
なお、使用限度回数Kは、例えば、Kをある初期値に設定してモザイク画像を生成した後、Kを初期値の前後に振ってモザイク画像を生成し、それらのモザイク画像の画質およびテクスチャの発生具合により最終的なKを設定すればよい。
【００３８】
【第２実施形態】
以下では、本発明にかかる第2実施形態のモザイク画像の生成方法を説明するが、第1実施形態と同様の構成および処理については、その説明を省略する。
【００３９】
図8は第2実施形態のモザイク画像の生成処理例を示すフローチャートである。図8において、ステップS400からS404は、図6に示したステップS300からS304と同じ処理であり、その説明を省略する。
【００４０】
ステップS405で、配列T_Turn[M・N-1]にタイルのランダムな処理順を示すデータを格納する。なお、同配列には、T_Turn[]=Kのとき、K/(M-1)の商がY座標を示し、余りがX座標を示すようなデータが格納される。同配列にタイルのランダムな処理順を格納する方法を図7のフローチャートを用いて説明する。
【００４１】
図7において、ステップS500で、一旦、配列にT_Turn[0] = 0、T_Turn[1] = 1、T_Turn[2] = 2、…、T_Turn[M・N-1] = M・N-1を格納する。次に、ステップS501でカウンタiにM・N-1をセットし、ステップS502で1からiの乱数Rを発生させる。
【００４２】
そして、ステップS503で、発生された乱数Rに従いT_Turn[R]およびT_Turn[i]に格納されたデータを入れ替え、ステップS504でカウンタiをデクリメント(i=i-1)し、ステップS505でi≧0ならばステップS502に戻り、そうでなければデータの入れ替えを終了する。
【００４３】
このようにして、配列T_Turn[M・N-1]には、タイルをランダムな順番で処理するためのデータが格納されることになる。
【００４４】
次に、図8のステップS406でカウンタjを0にリセットし、ステップS407でT_Turn[j]により指定されるタイルの画像に最も平均輝度値が近い素材画像203を、0≦S≦K-1の使用回数をもつ素材画像203の中から選択する。例えばT_Turn[j] = 0の場合、タイル位置は(0,0)であり左上のタイルを示す。この選択方法は、タイルの平均輝度値および素材画像203の平均輝度値間のRGB三刺激値による距離ΔEを算出し、ΔEが最も小さくなる素材画像203を選択する。選択された素材画像203をタイル領域に貼る際に、そのサイズや形状が合わない場合は、適正なサイズや形状になるように変倍処理や整形処理が行われる。
ΔE =(Rs_av - Rd_av)^2 +(Gs_av - Gd_av)^2 +(Bs_av - Bd_av)^2
【００４５】
次に、ステップS408で、貼り付けられた素材画像203の使用回数Sをインクリメントし、ステップS409でカウンタjをインクリメントし、ステップS410の判定によりj < M×Nが成り立つ間、ステップS407からS409の処理を実行して、すべてのタイルへ素材画像203を貼り付ける。
【００４６】
以上説明したように、本実施形態によれば、一つのモザイク画像の中で同じ素材画像が使われる回数をK回に制限し、かつ、タイルをランダムな順序で選択して適切な素材画像を貼り付けることにより、意図しないテクスチャの発生を防ぐとともに、素材画像203の数（種類）が少ない場合でも素材画像203の不足を防ぎ、モザイク画像全体における画質を均質化を図って、より画質の高いモザイク画像を生成することができる。
【００４７】
また、上記の各実施形態におけるΔEの評価に使用回数Sを反映させれば、使用回数Sが多い素材画像203の使用を制限して、意図しないテクスチャの発生を最小限に抑えることができる。つまり、ΔEの評価式は次式のようになる。
ΔE={(Rs_av-Rd_av)^2+(Gs_av-Gd_av)^2+(Bs_av-Bd_av)^2}(S+1)
【００４８】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００４９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５０】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５１】
【発明の効果】
以上説明したように、本発明によれば、モザイク画像を生成する際に意図しないテクスチャの発生を防ぐとともに、より画質の高いモザイク画像を生成する画像処理装置およびその方法を提供することができる。
【図面の簡単な説明】
【図１】モザイクに用いられる複数種類の画像の関係を示す図、
【図２】モザイクによる画像の構成方法を説明するためのフローチャート、
【図３】基の画像をM×N個のタイル領域に分割した状態を示す図、
【図４】個々のタイルの構成を示す図、
【図５】モザイク画像を生成する画像処理装置の構成例を示すブロック図、
【図６】本発明の第1実施形態におけるモザイク画像の生成処理の一例を示すフローチャート、
【図７】タイルの処理順をランダムにするための処理例を示すフローチャート、
【図８】本発明の第2実施形態におけるモザイク画像の生成処理の一例を示すフローチャートである。
【図１】
0003647262.tif 000002
【図２】
0003647262.tif 000003
【図３】
0003647262.tif 000004
【図４】
0003647262.tif 000005
【図５】
0003647262.tif 000006
【図６】
0003647262.tif 000007
【図７】
0003647262.tif 000008
【図８】
0003647262.tif 000009