(57)【特許請求の範囲】
【請求項１】
複数の素材画像をモザイク様に組み合わせてモザイク画像を生成する画像処理装置であって、
元になる画像を複数の領域に分割し、前記複数の領域を更に分割した各部分領域の平均濃度を計算する演算手段と、
複数の素材画像の夫々を複数の素材画像部分領域に分割し、前記複数の素材画像部分領域のそれぞれの平均濃度を算出する計算手段と、
前記演算手段により演算された各部分領域の平均濃度と前記計算手段により得られた前記複数の素材画像部分領域のそれぞれの平均濃度に応じて、前記元になる画像を分割した領域に割り当てる素材画像を選択する素材画像選択手段と、
前記素材画像選択手段により選択された素材画像をもとにモザイク画像を作成するモザイク画作成手段とを有し、
前記演算手段は、前記各部分領域の任意の色空間における各色毎の平均濃度を計算し、前記計算手段は、前記各素材画像部分領域の任意の色空間における各色毎の平均濃度を計算することを特徴とする画像処理装置。
【請求項２】
前記複数の領域を更に分割した各部分領域の数と前記素材画像を分割した前記素材画像部分領域の数とが等しいことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記素材画像選択手段は、前記元になる画像のある領域の部分画像領域の各色の平均濃度と前記素材画像の素材画像部分領域の各色の平均濃度との差分が最小になる素材画像を当該領域に割り当てる素材画像として選択することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記素材画像選択手段は、前記元になる画像のある領域の部分画像領域の各色の平均濃度と前記素材画像の素材画像部分領域の各色の平均濃度の差分の二乗を合計した値が最小の素材画像を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
複数の素材画像をモザイク様に組み合わせてモザイク画像を生成する画像処理方法であって、
元になる画像を複数の領域に分割し、前記複数の領域を更に分割した各部分領域の平均濃度を計算する演算工程と、
複数の素材画像の夫々を複数の素材画像部分領域に分割し、前記複数の素材画像部分領域のそれぞれの平均濃度を算出する計算工程と、
前記演算工程で演算された各部分領域の平均濃度と前記計算工程で得られた前記複数の素材画像部分領域のそれぞれの平均濃度に応じて、前記元になる画像を分割した領域に割り当てる素材画像を選択する素材画像選択工程と、
前記素材画像選択工程で選択された素材画像をもとにモザイク画像を作成するモザイク画作成工程とを有し、
前記演算工程では、前記各部分領域の任意の色空間における各色毎の平均濃度を計算し、前記計算工程では、前記各素材画像部分領域の任意の色空間における各色毎の平均濃度を計算することを特徴とする画像処理方法。
【請求項６】
前記複数の領域を更に分割した各部分領域の数と前記素材画像を分割した前記素材画像部分領域の数とが等しいことを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記素材画像選択工程では、前記元になる画像のある領域の部分画像領域の各色の平均濃度と前記素材画像の素材画像部分領域の各色の平均濃度との差分が最小になる素材画像を当該領域に割り当てる素材画像として選択することを特徴とする請求項５又は６に記載の画像処理方法。
【請求項８】
前記素材画像選択工程では、前記元になる画像のある領域の部分画像領域の各色の平均濃度と前記素材画像の素材画像部分領域の各色の平均濃度の差分の二乗を合計した値が最小の素材画像を選択することを特徴とする請求項５に記載の画像処理方法。
【請求項９】
複数の素材画像をモザイク様に組み合わせてモザイク画像を生成する画像処理方法を実行するプログラムを記憶したコンピュータにより読み取り可能な記憶媒体であって、
元になる画像を複数の領域に分割し、前記複数の領域を更に分割した各部分領域の平均濃度を計算する演算工程モジュールと、
複数の素材画像の夫々を複数の素材画像部分領域に分割し、前記複数の素材画像部分領域のそれぞれの平均濃度を算出する計算工程モジュールと、
前記演算工程モジュールにより演算された各部分領域の平均濃度と前記計算工程モジュールにより得られた前記複数の素材画像部分領域のそれぞれの平均濃度に応じて、前記元になる画像を分割した領域に割り当てる素材画像を選択する素材画像選択工程モジュールと、
前記素材画像選択工程モジュールで選択された素材画像をもとにモザイク画像を作成するモザイク画作成工程モジュールとを有し、
前記演算工程モジュールは、前記各部分領域の任意の色空間における各色毎の平均濃度を計算し、前記計算工程モジュールは、前記各素材画像部分領域の任意の色空間における各色毎の平均濃度を計算することを特徴とする記憶媒体。
【請求項１０】
前記複数の領域を更に分割した各部分領域の数と前記素材画像を分割した前記素材画像部分領域の数とが等しいことを特徴とする請求項９に記載の記憶媒体。
【請求項１１】
前記素材画像選択工程モジュールでは、前記元になる画像のある領域の部分画像領域の各色の平均濃度と前記素材画像の素材画像部分領域の各色の平均濃度との差分が最小になる素材画像を当該領域に割り当てる素材画像として選択することを特徴とする請求項９又は１０に記載の記憶媒体。
【請求項１２】
前記素材画像選択工程モジュールでは、前記元になる画像のある領域の部分画像領域の各色の平均濃度と前記素材画像の素材画像部分領域の各色の平均濃度の差分の二乗を合計した値が最小の素材画像を選択することを特徴とする請求項９に記載の記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明、複数の素材画像をモザイク様に組み合わせてモザイク画像を生成する画像処理方法及び装置に関するものである。
【０００２】
【従来の技術】
モザイクとは、「種々の色彩の石・ガラス・大理石等の小片を組み合わせて、床・壁などにはめ込み、図案化したもの、またはその技法」（三省堂  現代国語辞典）として広く知られている。この技法を用いて、多数の写真画像を組み合わせて図案、或は１つの写真画像を構成することが可能である。
【０００３】
【発明が解決しようとする課題】
このようなモザイク画像を作成する場合、元の画像の上に素材画像と呼ばれるタイル画像を順次貼り付けて作成される。この場合、元の画像の領域とそこに貼り付けられる素材画像の色合いが近似しているが望ましいが、素材画像がエッジ成分を含む場合や、元の画像の領域がエッジ成分や色分布を有している場合には、それら領域と素材画像との間で適切な色の整合をとることができず、得られたモザイク画像の品質が低下するという問題があった。
【０００４】
本発明は上記従来例に鑑みてなされたもので、元の画像を分割した領域（タイル領域）をさらに複数の部分領域に分割し、素材画像も複数の部分領域に分割して、元の画像の部分領域と素材画像の部分領域との平均濃度差の総計が最小になる素材画像を用いてモザイク画像を作成する画像処理法方法及び装置を提供することを目的とする。
【０００５】
本発明の目的は、元の画像の色の分布の特徴を維持しながら、その画像に基づくモザイク画像を生成できる画像処理法方法及び装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
複数の素材画像をモザイク様に組み合わせてモザイク画像を生成する画像処理装置であって、
元になる画像を複数の領域に分割し、前記複数の領域を更に分割した各部分領域の平均濃度を計算する演算手段と、
複数の素材画像の夫々を複数の素材画像部分領域に分割し、前記複数の素材画像部分領域のそれぞれの平均濃度を算出する計算手段と、
前記演算手段により演算された各部分領域の平均濃度と前記計算手段により得られた前記複数の素材画像部分領域のそれぞれの平均濃度に応じて、前記元になる画像を分割した領域に割り当てる素材画像を選択する素材画像選択手段と、
前記素材画像選択手段により選択された素材画像をもとにモザイク画像を作成するモザイク画作成手段とを有し、
前記演算手段は、前記各部分領域の任意の色空間における各色毎の平均濃度を計算し、前記計算手段は、前記各素材画像部分領域の任意の色空間における各色毎の平均濃度を計算することを特徴とする。
【０００７】
又上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
複数の素材画像をモザイク様に組み合わせてモザイク画像を生成する画像処理方法であって、
元になる画像を複数の領域に分割し、前記複数の領域を更に分割した各部分領域の平均濃度を計算する演算工程と、
複数の素材画像の夫々を複数の素材画像部分領域に分割し、前記複数の素材画像部分領域のそれぞれの平均濃度を算出する計算工程と、
前記演算工程で演算された各部分領域の平均濃度と前記計算工程で得られた前記複数の素材画像部分領域のそれぞれの平均濃度に応じて、前記元になる画像を分割した領域に割り当てる素材画像を選択する素材画像選択工程と、
前記素材画像選択工程で選択された素材画像をもとにモザイク画像を作成するモザイク画作成工程とを有し、
前記演算工程では、前記各部分領域の任意の色空間における各色毎の平均濃度を計算し、前記計算工程では、前記各素材画像部分領域の任意の色空間における各色毎の平均濃度を計算することを特徴とする。
【０００８】
【発明の実施の形態】
［実施の形態１］
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【０００９】
図１は、本発明の実施の形態の画像処理が実行されるコンピュータ・システムの構成を示すブロック図である。
【００１０】
図１において、１０１はＣＰＵで、ハードディスク１０６に記憶されＲＡＭ１０５にロードされたプログラムに従ってシステム全体の制御を行っている。１０２はキーボードで、マウス１０２ａとともに、本実施の形態のシステムに各種コマンドやデータを入力するために使用される。１０３は表示部で、例えばＣＲＴや液晶等を備えている。１０４はＲＯＭ、１０５はＲＡＭで、本実施の形態のシステムにおける記憶部を構成し、システムが実行するプログラムやシステムが利用するデータなどを記憶している。１０６はハードディスク、１０７はフロッピーディスク装置で、本実施の形態のシステムのファイルシステムで使用される外部記憶装置を構成している。１０８はプリンタである。
【００１１】
ハードディスク１０６にはモザイク画の構成要素となるタイル画像が複数（Ｐ）枚格納されており、後述するプログラムに従って、この中から選択されたＭ×Ｎ枚の画像を、図２に示すように、水平方向にＭ枚、垂直方向にＮ枚並べて組み合わせることでモザイク画像を作成する。こうして作成されたモザイク画像は、ハードディスク１０６に画像ファイルとして記憶され、ＣＲＴ１０３に表示されたり、或はプリンタ１０８に出力されて印刷される。
【００１２】
図３は、モザイク手法で用いられる複数種類の画像の関係を説明する図である。
【００１３】
図３において、画像２０１は、モザイク手法を使って画像を構成する際に元になる図案或は画像を示している。画像２０２は、モザイク手法により複数の小さな画像（タイル）を使って構成されたモザイク画像である。素材画像２０３は画像２０２を構成するために使われる素材画像である。これら素材画像の枚数Ｐは、一般に画像２０２を構成するに必要となる色・テクスチャの種類が用意できるだけの十分大きな数である。ここでは説明のために、Ｐ枚の素材画像のそれぞれのサイズをタイルと同じサイズにしているが、各素材画像のサイズは必ずしもタイルのサイズと一致している必要はなく、またＰ枚が全て同じサイズである必要はない。このように各素材画像のサイズが異なる場合などでは、画像２０２の該当するタイルに貼り付ける際に、素材画像のサイズを変換する必要が生じる。なお、ここで枚数Ｐは、上述のＭ×Ｎ枚よりも十分に大きい数である。
【００１４】
次に図４のフローチャートを参照して、Ｐ枚の素材画像２０３から適切なＭ×Ｎ枚の画像を選択し、元の画像２０１からモザイク画像２０２を作成する方法を説明する。
【００１５】
図４は本実施の形態のコンピュータシステムで実行されるモザイク画像の作成処理を示すフローチャートで、この処理を実行するプログラムは、例えばハードディスク１０６に記憶されており、ＲＡＭ１０５のロードされて実行される。
【００１６】
まずステップＳ３１で、元の画像２０１をＭ×Ｎ個の領域（タイル領域）に分割する。その結果、図５に示すように、Ｍ×Ｎ個の矩形領域ＴＬ（０，０），ＴＬ（１，０），ＴＬ（２，０），ＴＬ（３，０），…，ＴＬ（Ｍ−１，Ｎ−１）が生成される。
【００１７】
図５において、Ｘ，Ｙはそれぞれ画像２０１の水平及び垂直方向の画素数である。またｐ，ｑは画像２０１をＭ×Ｎ個の矩形領域ＴＬ（０，０），…，ＴＬ（Ｍ−１，Ｎ−１）に分割した際の各領域の水平、垂直方向の画素数である。従って、Ｘ＝ｐ×Ｍ，Ｙ＝ｑ×Ｎという関係が成り立っている。尚、図５は、Ｍ＝４，Ｎ＝５の場合を示している。
【００１８】
図６は、こうして画像２０１が分割された個々の領域の色構成を示しており、各領域はｐ×ｑ個の３原色、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画素で構成されている。
【００１９】
次にステップＳ３２に進み、Ｍ×Ｎ個の各領域を更にα×β個に分割し、ステップＳ３３で、それら分割した部分領域のそれぞれのＲＧＢの平均濃度を計算する。
【００２０】
図７は、各領域を更に分割する様子を説明する図で、ここでは各領域は前述のようにｐ×ｑ画素の大きさを持つが、これをα×β個の領域に均等に分割する。図７では、α＝３，β＝２の場合を例示している。こうして分割された部分領域の大きさをｖ×ω画素とすると、一般には、
ｖ×α＝ｐ
ω×β＝ｑ
の関係が成り立つ。
【００２１】
ここで、０≦Ｉ≦α−１，０≦Ｊ≦β−１の各Ｉ，Ｊについて
【００２２】
【数１】
【００２３】
ＲI,J  ＝  ΣＲi／（ｖ×ｗ）（部分領域（Ｉ，Ｊ）の平均Ｒ濃度）
ＧI,J  ＝  ΣＧi／（ｖ×ｗ）（部分領域（Ｉ，Ｊ）の平均Ｇ濃度）
ＢI,J  ＝  ΣＢi／（ｖ×ｗ）（部分領域（Ｉ，Ｊ）の平均Ｂ濃度）
により、各部分領域毎の平均濃度を計算する。ここでΣＲiは、その部分領域に含まれる画素のＲ成分の総和であり、以下他の色成分に関しても同様である。
【００２４】
例えばＲ1,0は、図７で示した領域の斜線で示した部分領域７００のＲ平均濃度を示す。
【００２５】
次にステップＳ３４に進み、Ｐ枚の素材画像のそれぞれについても画像２０１と同様にα×β個に均等分割する。そしてステップＳ３５に進み、こうして分割された各部分領域のＲ，Ｇ，Ｂ平均濃度を算出する。いま各素材画像のサイズをｐ'×ｑ'画素とすると、これをα×β個に均等分割し、ｖ'×ω'画素の領域に分割する。これにより、
ｖ'×α＝ｐ'
ω'×β＝ｑ'
の関係が成り立つ。同様に、０≦Ｉ≦α−１，０≦Ｊ≦β−１のＩ，Ｊについても前述の数式１と同様に、下記の数式２の関係が成り立つ
【００２６】
【数２】
【００２７】
Ｒ'I,J  ＝  ΣＲi／（ｖ'×ｗ'）
Ｇ'I,J  ＝  ΣＧi／（ｖ'×ｗ'）
Ｂ'I,J  ＝  ΣＢi／（ｖ'×ｗ'）
次にステップＳ３６に進み、処理対象となる画像２０１の領域の位置を示すカウンタＸpos（０≦Ｘpos≦Ｍ−１），Ｙpos（０≦Ｙpos≦Ｎ−１）をともに“０”に初期化する。ここで（Ｘpos，Ｙpos）＝（０，０）は、元の画像２０１の領域ＴＬ（０，０）の座標位置を示している。
【００２８】
そしてステップＳ３７に進み、位置カウンタＸpos，Ｙposが示す領域に最もふさわしい素材画像を、Ｐ枚の素材画像の中から選択する。
【００２９】
ここでは各領域と素材画像の平均濃度の距離ΔＥを以下のように定義する。
【００３０】
【数３】
【００３１】
ΔＥ＝ΣΣ｛（Ｒ'I,J−ＲI,J）の２乗＋（Ｇ'I,J−ＧI,J）の２乗＋（Ｂ'I,J−ＢI,J）の２乗｝
ここで「ΣΣ」の最初の「Σ」は、Ｉ＝０からＩ＝（α−１）迄の総和を意味し、２番目の「Σ」は、Ｊ＝０からＪ＝（β−１）迄の総和を意味している。
【００３２】
即ち、ここでは、素材画像を分割した各部分領域の各色毎の平均濃度（Ｒ'I,J，Ｇ'I,J，Ｂ'I,J）と、画像２０１を分割した各領域の各部分領域の各色毎の平均濃度（ＲI,J，ＧI,J，ＢI,J）との差の２乗の合計ΔＥを求め、このΔＥの値が最小になる素材画像を、その領域に最適な素材画像として選択する。
【００３３】
ここで、α＝β＝１の場合には、画像２０１の各領域の内部での色差、輝度の分布の情報が失われてしまうため、色分布が平坦な領域では問題ないが、その領域内にエッジを含むような場合には、最適な素材画像が選択できない場合がある。
【００３４】
これに対しα＞１，β＞１（α、βは共に正の整数）とすると、画像２０１の各領域内における色分布を反映した素材画像との整合を図ることができ、適切な素材画像を選択することができる。その結果、こうして生成されるモザイク画像の品質を向上できる。
【００３５】
この処理を、ステップＳ３８で位置カウンタＸposを＋１して次の領域を参照し、位置カウンタＸposの値が右端（図５の例では“３”）以上になると位置カウンタＹposを＋１して位置カウンタＸposを“０”にセットし、ステップＳ３９で画像２０１の全ての領域（タイル領域）に対して前述の処理が完了するまで繰返しステップＳ３６〜Ｓ３９が実行される。
【００３６】
尚、上述の数式１及び数式２の演算は、上述のようにソフトウェアで実行されても、或は専用のハードウェアにより実行されても良い。
［他の実施の形態］
部分領域への分割は、前述の矩形の場合に限らず、例えば図８に示すように、非矩形領域に分割してもよい。
【００３７】
又前述の実施の形態では、平均濃度を画素のＲＧＢの値で計算しているが、これ以外にも例えば、Ｙｕｖ，Ｌａｂ等の色空間で規定される画素データに基づいて求めても良い。
【００３８】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００３９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。
【００４０】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４１】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００４２】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００４３】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００４４】
以上説明したように本実施の形態によれば、素材画像とタイルの適切なマッチングをとることができ、モザイク画の品質を向上することができる。
【００４５】
【発明の効果】
以上説明したように本発明によれば、元の画像を分割した領域（タイル領域）をさらに複数の部分領域に分割し、素材画像も複数の部分領域に分割して、元の画像の部分領域と素材画像の部分領域との平均濃度差の総数が最小になる素材画像を用いてモザイク画像を作成するので、元の領域の色分布或は色の変化を生かしたモザイク画を作成できる。
【００４６】
また本発明によれば、元の画像の色の特徴を維持しながら、その画像に基づくモザイク画像を生成できる。
【図面の簡単な説明】
【図１】本実施の形態のコンピュータシステムの構成を示すブロック図である。
【図２】モザイク画像を説明する図である。
【図３】モザイク画の生成過程を説明する図である。
【図４】本実施の形態のコンピュータシステムにおけるモザイク画の作成処理の流れを説明するフローチャートである。
【図５】モザイク画像の一例を説明する図である。
【図６】モザイク画を構成する個々のタイルの色構成を説明する図である。
【図７】素材画像の分割例を説明する図である。
【図８】素材画像の他の分割例を説明する図である。
【符号の説明】
１０１  ＣＰＵ
１０２  キーボード
１０２ａ  マウス
１０３  表示部
１０４  ＲＯＭ
１０５  ＲＡＭ
１０６  ハードディスク
１０７  フロッピーディスク
１０８  プリンタ
【図１】
0003825916.tif 000002
【図２】
0003825916.tif 000003
【図３】
0003825916.tif 000004
【図４】
0003825916.tif 000005
【図５】
0003825916.tif 000006
【図６】
0003825916.tif 000007
【図７】
0003825916.tif 000008
【図８】
0003825916.tif 000009