(57)【特許請求の範囲】
【請求項１】
複数の素材画像を組み合わせてモザイク画像を形成する画像処理方法であって、
前記モザイク画像の基になる画像をM×Nの領域に分割し、
分割された各領域の画像特性を求め、
前記領域をランダム順に選択し、
前記選択した領域の画像特性に基づき、一つの素材画像が複数の領域に重複して対応しないように、順次、前記選択した領域に対応する素材画像を決定することを特徴とする画像処理方法。
【請求項２】
前記領域と素材画像との対応決定は、領域の画像特性に最も近い画像特性をもつ素材画像を選択するものであることを特徴とする請求項1に記載された画像処理方法。
【請求項３】
さらに、前記領域それぞれに、対応する素材画像を貼り付けてモザイク画像を生成することを特徴とする請求項1または請求項2に記載された画像処理方法。
【請求項４】
前記領域と素材画像との対応決定は、前記素材画像それぞれに対応するフラグを用いて行われることを特徴とする請求項1から請求項3の何れかに記載された画像処理方法。
【請求項５】
前記フラグは、対応する素材画像が前記領域に対応付けられるとセットされることを特徴とする請求項4に記載された画像処理方法。
【請求項６】
さらに、前記複数の素材画像の画像特性を計算することを特徴とする請求項1から請求項5の何れかに記載された画像処理方法。
【請求項７】
前記画像特性とは、前記領域または素材画像を形成する複数の画素の平均輝度値であることを特徴とする請求項1から請求項6の何れかに記載された画像処理方法。
【請求項８】
前記画像特性とは、前記領域または素材画像を形成する複数の画素の色成分ごとの平均輝度値であることを特徴とする請求項1から請求項6の何れかに記載された画像処理方法。
【請求項９】
複数の素材画像を組み合わせてモザイク画像を生成する画像処理装置であって、
前記モザイク画像の基になる画像を入力する入力手段と、
前記複数の素材画像を記憶する記憶手段と、
入力した基画像をM×Nの領域に分割し、分割した各領域の画像特性を求める分割手段と、
前記領域をランダム順に選択する選択手段と、
前記選択した領域の画像特性に基づき、一つの素材画像が複数の領域に重複して対応しないように、順次、前記選択された領域に対応する素材画像を決定する決定手段とを有することを特徴とする画像処理装置。
【請求項１０】
画像処理装置を制御して、請求項1から請求項8の何れかに記載された画像処理を実行するプログラムが記録されたことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置およびその方法に関し、例えば、モザイク画像を生成する画像処理装置およびその方法に関するものである。
【０００２】
【従来の技術】
三省堂「現代国語辞典」によれば、モザイクとは「種々の色彩の石・ガラス・大理石などの小片を組み合わせて、床・壁などにはめ込み、図案化したもの、またはその技法」である。この技法を用いて、多数の写真画像を組み合わせて図案あるいは一つの画像（モザイク画像）を構成することが可能である。画像処理においてモザイク画像の生成は、その基になる図案あるいは画像をタイル状に分割し、それらタイルの画像に最も似通った素材画像をそのタイル領域に貼ることにより達成される。
【０００３】
【発明が解決しようとする課題】
しかし、上述した技術においては、次のような問題点がある。
【０００４】
つまり、分割された複数のタイル領域に同じ素材画像が貼られる場合があり得る。そして、生成されたモザイク画像における同一の素材画像が集中した領域では、その素材画像によりテクスチャが発生し、基の図案あるいは画像が意図しない模様ができてしまう問題がある。
【０００５】
本発明は、上述の問題を解決するためのものであり、モザイク画像を生成する際に意図しないテクスチャの発生を防ぐとともに、より画質の高いモザイク画像を生成することができる画像処理装置およびその方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００７】
本発明にかかる画像処理方法は、複数の素材画像を組み合わせてモザイク画像を形成する画像処理方法であって、前記モザイク画像の基になる画像をM×Nの領域に分割し、分割された各領域の画像特性を求め、前記領域をランダム順に選択し、前記選択した領域の画像特性に基づき、一つの素材画像が複数の領域に重複して対応しないように、順次、前記選択した領域に対応する素材画像を決定することを特徴とする。
【０００８】
本発明にかかる画像処理装置は、複数の素材画像を組み合わせてモザイク画像を生成する画像処理装置であって、前記モザイク画像の基になる画像を入力する入力手段と、前記複数の素材画像を記憶する記憶手段と、入力した基画像をM×Nの領域に分割し、分割した各領域の画像特性を求める分割手段と、前記領域をランダム順に選択する選択手段と、前記選択した領域の画像特性に基づき、一つの素材画像が複数の領域に重複して対応しないように、順次、前記選択された領域に対応する素材画像を決定する決定手段とを有することを特徴とする。
【０００９】
【発明の実施の形態】
以下、本発明にかかる一実施形態の画像処理装置を図面を参照して詳細に説明する。
【００１０】
【モザイク画像の生成方法】
図1はモザイクに用いられる複数種類の画像の関係を示す図である。図1において、第一の画像201は、モザイクにより画像を構成する際の基になる図案あるいは画像（例えば写真画像、コンピュータグラフィックス画像など）である。第二の画像202はモザイクにより構成された画像である。素材画像203は第二の画像202を構成するために使われる。素材画像203の枚数Pは、一般に、第二の画像202を構成するのに必要になる色およびテクスチャが用意可能な充分に大きな数である。
【００１１】
図1では説明を容易にするために、素材画像203のサイズをタイルと同じにしたが、必ずしも素材画像203とタイルとのサイズは一致する必要はないし、素材画像203のすべてが同じサイズである必要もない。ただし、素材画像203とタイルとのサイズが異なる場合は、該当するタイル領域に素材画像203を貼る際に、素材画像203のサイズをタイルサイズにリサイズすればよい。また、タイルの形状も矩形に限らず任意の形状でよく、タイル領域に素材画像203を貼る際に、素材画像203の形状をカットあるいは変形することでタイルの形状に整形すればよい。
【００１２】
次に、図2を用いてモザイクによる画像の構成方法を説明する。
【００１３】
図2のステップS211で第一の画像201をM×N個のタイルに分割する。その結果、例えば図3に示すように、4×5個の矩形タイルTL(0,0), TL(0,1), TL(0,2), …, TL(4,2), TL(4,3)が生成される。
【００１４】
図3において、XおよびYはそれぞれ第一の画像201の水平および垂直方向の画素数を表し、pおよびqはそれぞれ、分割された各タイルの水平および垂直方向の画素数を表す。従って、X = p×M, Y = q×Nという関係が成り立つ。図4は個々のタイルの構成を示す図で、各タイルは三原色、赤(Red)、緑(Green)および青(Blue)のp×q画素のプレーンに分解される。
【００１５】
続いて、ステップS212で、分割されたM×N個の各タイルについて、次式に従いRGBの平均輝度値を計算する。
Rd_av = ΣRi/(p×q)
Gd_av = ΣGi/(p×q)
Bd_av = ΣBi/(p×q)
【００１６】
次に、ステップS213で、P枚の素材画像203それぞれについて、次式に従いRGBの平均輝度値を算出する。
Rs_av = ΣRi/(p×q)
Gs_av = ΣGi/(p×q)
Bs_av = ΣBi/(p×q)
【００１７】
次に、ステップS214で、処理中のタイルの位置を示すカウンタX_Pos(0≦X_Pos≦M-1)およびY_Pos(0≦Y_Pos≦N-1)をともに零に初期化する。なお、(X_Pos,Y_Pos) = (0,0)は第一の画像201の左上端のタイル位置を示す。
【００１８】
次に、ステップS215で、カウンタ(X_Pos,Y_Pos)が示すタイルに最もふさわしい素材画像203を選択する。この選択方法は、タイルの平均輝度値および素材画像203の平均輝度値間のRGB三刺激値による距離ΔEを算出し、ΔEが最も小さくなる素材画像203を選択する。選択された素材画像203をタイル領域に貼る際に、そのサイズが合わない場合は適正なサイズになるように変倍処理が行われる。
ΔE =(Rs_av - Rd_av)^2 +(Gs_av - Gd_av)^2 +(Bs_av - Bd_av)^2
ただし、a^2はaの二乗を表す。
【００１９】
続いて、ステップS216でカウンタ(X_Pos,Y_Pos)を水平および垂直方向に順次カウントアップまたはダウンし、ステップS217の判断によりすべてのタイルに対してステップS215の処理が行われるまでステップS215からS217を繰り返す。
【００２０】
従って、M×Nに分割されたタイル中に平均輝度値が同じか、非常に近いタイルが存在する場合、同じ素材画像203が選択され、それらのタイル領域に貼られることになる。このために、生成されたモザイク画像において同一の素材画像203が集中した領域では、その素材画像203によるテクスチャが発生し、生成される画像202に意図しない模様が発生してしまう。
【００２１】
上記の問題を回避するために、あるタイル領域に貼られた素材画像203を他のタイル領域に貼らないという方法も考えられ、この方法によれば、意図しないテクスチャの発生を防ぐことができる。しかし、同一の素材画像203を使わずに、第一の画像201の左上のタイルから右下のタイルへと素材画像203の貼り付けを行うため、第一の画像201の左上側の領域では数多くの素材画像203の中からタイルの画像の平均輝度値に比較的近い素材画像203を選択することができるものの、第一の画像201の右下側の領域に至っては使用可能な素材画像203の数が減り、タイルの画像の平均輝度値に近い素材画像203を選ぶのが難しい。従って、そのようにして生成されたモザイク画像は、その左上側領域と右下側領域とで画質に差がでるという問題がある。
【００２２】
【本実施形態におけるモザイク画像の形成方法】
図5は本発明にかかる実施形態のモザイク画像を生成する画像処理装置の構成例を示すブロック図である。
【００２３】
図5において、読込部100は画像を読込むための例えばスキャナである。蓄積部101は、ハードディスクなどの記憶メディアに画像を蓄積し管理するためのもので、例えば画像データベースを構成している。表示部102は、蓄積部101に蓄積された画像や読込部100で読込まれた画像を表示するためのCRTやLCDのモニタである。
【００２４】
CPU103は、ROM104に予め格納されたプログラムに従い画像処理装置全体を制御するとともに、上記の処理のすべてに関わる。RAM105は、CPU103にワークメモリとして利用される。
【００２５】
なお、本実施形態の画像処理装置には、上記以外にも、種々の構成要素が設けられているが、それらの構成は本発明の主要部分ではないので、それらの説明については省略する。
【００２６】
次に、本実施形態の画像処理装置におけるモザイク画像の生成処理を図6のフローチャートに従い説明する。
【００２７】
図6のステップS300で第一の画像201をM×N個のタイルに分割する。その結果、例えば図3に示すように、4×5個の矩形タイルTL(0,0), TL(0,1), TL(0,2), …, TL(4,2), TL(4,3)が生成される。
【００２８】
次に、ステップS301で、分割されたM×N個の各タイルについて、次式に従いRGBの平均輝度値を計算する。
Rd_av = ΣRi/(p×q)
Gd_av = ΣGi/(p×q)
Bd_av = ΣBi/(p×q)
【００２９】
次に、ステップS302で、P枚の素材画像203それぞれについて、次式に従いRGBの平均輝度値を算出する。なお、素材画像203のRGBの平均輝度値などの画像特性は予め求めておくこともできる。その場合、その画像特性は素材画像203のヘッダ情報として記録されてもよいし、蓄積部101に格納される、素材画像203に対応するテーブルに記録されてもよい。
Rs_av = ΣRi/(p×q)
Gs_av = ΣGi/(p×q)
Bs_av = ΣBi/(p×q)
【００３０】
次に、ステップS303で、P枚の素材画像203すべての使用済みフラグをオフにする。この処理済みフラグとは、対応する素材画像203が第一の画像201に貼られたかどうかを表すものである。ステップS303の時点では、まだ、どの素材画像203も選択されず、貼られてもいないので、P枚すべての素材画像203の使用済みフラグをオフにリセットにする。
【００３１】
次に、ステップS304で、配列T_Turn[M・N-1]にタイルのランダムな処理順を示すデータを格納する。なお、同配列には、T_Turn[]=Kのとき、K/(M-1)の商がY座標を示し、余りがX座標を示すようなデータが格納される。同配列にタイルのランダムな処理順を格納する方法を図7のフローチャートを用いて説明する。
【００３２】
図7において、ステップS500で、一旦、配列にT_Turn[0] = 0、T_Turn[1] = 1、T_Turn[2] = 2、…、T_Turn[M・N-1] = M・N-1を格納する。次に、ステップS501でカウンタiにM・N-1をセットし、ステップS502で1からiの乱数Rを発生させる。
【００３３】
そして、ステップS503で、発生された乱数Rに従いT_Turn[R]およびT_Turn[i]に格納されたデータを入れ替え、ステップS504でカウンタiをデクリメント(i=i-1)し、ステップS505でi≧0ならばステップS502に戻り、そうでなければデータの入れ替えを終了する。
【００３４】
このようにして、配列T_Turn[M・N-1]には、タイルをランダムな順番で処理するためのデータが格納されることになる。
【００３５】
次に、図6のステップS305でカウンタjを0にリセットし、ステップS306でT_Turn[j]により指定されるタイルの画像に最も平均輝度値が近い素材画像203を選択する。ここで選択候補になる素材画像203は、使用済みフラグがオフのものに限られる。例えばT_Turn[j] = 0の場合、タイル位置は(0,0)であり左上のタイルを示す。この選択方法は、タイルの平均輝度値および素材画像203の平均輝度値間のRGB三刺激値による距離ΔEを算出し、ΔEが最も小さくなる素材画像203を選択する。選択された素材画像203をタイル領域に貼る際に、そのサイズや形状が合わない場合は、適正なサイズや形状になるように変倍処理や整形処理が行われる。
ΔE =(Rs_av - Rd_av)^2 +(Gs_av - Gd_av)^2 +(Bs_av - Bd_av)^2
【００３６】
次に、ステップS307で、選択されて第一の画像201に貼られた素材画像203に対応する使用済みフラグをオンにセットして、その素材画像203が他のタイル領域に貼られないようにする。ステップS308でカウンタjをインクリメントし、ステップS309の判定によりj < M×Nが成り立つ間、ステップS306からS308の処理を実行して、すべてのタイルへ素材画像203を貼り付ける。
【００３７】
以上説明したように、本実施形態によれば、一つのモザイク画像の中では、一度選択された素材画像が再度使われることはなく、かつ、タイルをランダムな順序で選択して適切な素材画像を貼り付けることにより、意図しないテクスチャの発生を防ぐとともに、モザイク画像全体における画質を均質化を図って、より画質の高いモザイク画像を生成することができる。
【００３８】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００３９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４０】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４１】
【発明の効果】
以上説明したように、本発明によれば、モザイク画像を生成する際に意図しないテクスチャの発生を防ぐとともに、より画質の高いモザイク画像を生成する画像処理装置およびその方法を提供することができる。
【図面の簡単な説明】
【図１】モザイクに用いられる複数種類の画像の関係を示す図、
【図２】モザイクによる画像の構成方法を説明するためのフローチャート、
【図３】基の画像をM×N個のタイル領域に分割した状態を示す図、
【図４】個々のタイルの構成を示す図、
【図５】モザイク画像を生成する画像処理装置の構成例を示すブロック図、
【図６】モザイク画像の生成処理の一例を示すフローチャート、
【図７】タイルの処理順をランダムにするための処理例を示すフローチャートである。
【図１】
0003647261.tif 000002
【図２】
0003647261.tif 000003
【図３】
0003647261.tif 000004
【図４】
0003647261.tif 000005
【図５】
0003647261.tif 000006
【図６】
0003647261.tif 000007
【図７】
0003647261.tif 000008