(57)【特許請求の範囲】
【請求項１】
画像を複数の部分画像に分割する分割手段と、
前記分割手段によって得られた部分画像の各々について、部分画像の特徴量に基づいて予め用意された複数の素材画像の一つを選択する選択手段と、
前記選択手段で選択された素材画像と前記部分画像とを合成する合成手段と、
前記合成手段によって得られた合成画像を前記部分画像に置き換えることによって画像を生成する生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記選択手段は、前記部分画像の特徴量として各色成分の輝度値を用いる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記部分画像の特徴量に最も近い特徴量を有する素材画像を前記複数の素材画像より選択する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記合成手段は、予め設定された係数に応じて決定される合成比で、前記選択手段で選択された素材画像と前記部分画像とを合成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記合成手段は、前記係数が０以上１以下の範囲をとるαとした場合に、前記選択手段で選択された素材画像の画素値をα倍した値と、前記部分画像の画素値を１−α倍した値とを加算して得られる値を前記合成画像の画素値とする
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記係数を操作者によって設定可能とするユーザインターフェースを更に備える
ことを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
画像処理装置による画像処理方法であって、
分割手段が、画像を複数の部分画像に分割する分割工程と、
選択手段が、前記分割工程によって得られた部分画像の各々について、部分画像の特徴量に基づいて予め用意された複数の素材画像の一つを選択する選択工程と、
合成手段が、前記選択工程で選択された素材画像と前記部分画像とを合成する合成工程と、
生成手段が、前記合成工程によって得られた合成画像を前記部分画像に置き換えることによって画像を生成する生成工程と
を備えることを特徴とする画像処理方法。
【請求項８】
前記選択工程では、前記部分画像の特徴量として各色成分の輝度値を用いる
ことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記選択工程では、前記部分画像の特徴量に最も近い特徴量を有する素材画像を前記複数の素材画像より選択する
ことを特徴とする請求項７または８に記載の画像処理方法。
【請求項１０】
前記合成工程では、予め設定された係数に応じて決定される合成比で、前記選択工程で選択された素材画像と前記部分画像とを合成する
ことを特徴とする請求項７に記載の画像処理方法。
【請求項１１】
前記合成工程では、前記係数が０以上１以下の範囲をとるαとした場合に、前記選択工程で選択された素材画像の画素値をα倍した値と、前記部分画像の画素値を１−α倍した値とを加算して得られる値を前記合成画像の画素値とする
ことを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
制御手段が、前記係数を操作者によって設定可能とするユーザインターフェースを制御し、該ユーザインターフェースを介して設定された係数を前記合成工程に提供するする制御工程を更に備える
ことを特徴とする請求項１０または１１に記載の画像処理方法。
【請求項１３】
コンピュータを請求項１乃至６のいずれか１項に記載された画像処理装置として機能させるためのプログラムを記録したコンピュータ読取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理方法及び装置に関し、特に、モザイク画像を形成するのに好適な画像処理方法及び装置に関する。
【０００２】
【従来技術】
モザイクとは、「種々の色彩の石・ガラス・大理石等の小片を組み合わせて、床・壁などにはめ込み、図案化したもの、またはその技法」（三省堂、現代国語辞典）として広く知られている。この技法を用いて、多数の写真画像を組み合わせて図案あるいは一つの写真画像を構成することが可能である。
【０００３】
このようなモザイク技法を画像データ処理に適用することで、オリジナル画像を複数の素材画像に置き換えてモザイク画像を形成することが考えられる。すなわち、オリジナル画像よりも小さな複数種類の素材画像を用意しておき、これをオリジナル画像の内容に応じて選択、配置していくことで、複数の素材画像からなるモザイク画像が得られることになる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述のモザイク手法では、素材画像の枚数は、一般にモザイク画像を構成するために必要となる、色・テクスチャの種類を備えるべく、十分に大きな数であることが前提となる。しかしながら、実際には、膨大な量の画像を予めイメージファイルとして用意しておくことは困難であり、また、大量のメモリを必要とするためにコストアップを招き、あまり実用的ではない。この結果、モザイク手法を実践するには不十分な、少数の素材画像を用いることになり、モザイク画像を構成する個々の素材画像はオリジナル画像の色やテクスチャとあまりにも異なるものとなる場合があり、モザイク画としての画質が悪くなるという問題があった。
【０００５】
また、対象とする第一の画像によっても、第二の画像の画質が十分満足できるものにならないことがあった。
【０００６】
本発明は上記の問題に鑑みてなされたものであり、少数の素材画像で多様な元画像を適切に反映したモザイク画像を生成することが可能な画像処理方法及び装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するために、本発明の一態様による画像処理装置はたとえば以下の構成を備える。すなわち、
画像を複数の部分画像に分割する分割手段と、
前記分割手段によって得られた部分画像の各々について、部分画像の特徴量に基づいて予め用意された複数の素材画像の一つを選択する選択手段と、
前記選択手段で選択された素材画像と前記部分画像とを合成する合成手段と、
前記合成手段によって得られた合成画像を前記部分画像に置き換えることによって画像を生成する生成手段とを備える。
【０００８】
また、上記の目的を達成するための本発明の他の態様による画像処理方法は、たとえば以下の工程を備えている。すなわち、
画像処理装置による画像処理方法であって、
分割手段が、画像を複数の部分画像に分割する分割工程と、
選択手段が、前記分割工程によって得られた部分画像の各々について、部分画像の特徴量に基づいて予め用意された複数の素材画像の一つを選択する選択工程と、
合成手段が、前記選択工程で選択された素材画像と前記部分画像とを合成する合成工程と、
生成手段が、前記合成工程によって得られた合成画像を前記部分画像に置き換えることによって画像を生成する生成工程とを備える。
【０００９】
【発明の実施の形態】
以下、添付の図面を参照して、本発明の好適な実施形態を説明する。
【００１０】
［第１の実施形態］
図１は本発明の一実施形態に係る、モザイク画像生成方法を実現するハードウェア構成図である。図１において、１０１はＣＰＵ、１０２はメモリ、１０３はハードディスク、１０４はキーボードおよびマウス（以下、キーボード１０４という）、１０５はディスプレイ、１０６はネットワークインタフェース、１０７はＤＶＤ−ＲＯＭドライブ、１０８はスキャナ、１０９はビデオキャプチャカード、１１０はネットワークを介して接続されているデータベース、１１１はバスである。
【００１１】
ＣＰＵ１０１は、メモリ１０２に格納された制御プログラムを実行することにより、上記各構成の制御等を行なう。メモリ１０２は図２のフローチャートを参照して後述する処理手順をＣＰＵ１０１によって実現するソフトウェアの実行モジュールを格納する。また、ハードディスク１０３から読み出された画像データを格納したり、生成されたモザイク画像を格納したりする。
【００１２】
キーボード１０４はユーザインタフェースを介してユーザの意図を入力するためのものである。ディスプレイ１０５は、第一の画像、第二の画像、素材画像等の表示を行う。なお、画像の入力は、ネットワークを介してデーベース１１０より画像を取り込んだり、ＣＤ−ＲＯＭ１０７によってＣＤ−ＲＯＭに記録された画像を取り込んだり、スキャナ１０８より画像を取り込んだりする。なお、画像の入力装置としてＤＶＤ−ＲＯＭ等を用いてもよいことはいうまでもない。
【００１３】
またＤＶＤ−ＲＯＭに記録された映像を取り込むために、ＤＶＤ−ＲＯＭドライブを利用することも可能である。
【００１４】
図５はモザイク手法において用いられる画像（第一の画像（オリジナル画像）、第二の画像（モザイク画像）、素材画像）の関係を示す概念図である。図５において、第一の画像２００１は、モザイク手法を使って画像を構成する際の元となる図案あるいは画像を表す画像データである。第二の画像２００２はモザイク手法により複数の小さな画像を使って構成された画像である。すなわち、第二の画像２００２はＭ×Ｎに分割され、Ｍ×Ｎ個の素材画像を各分割領域に配置して得られる素材画像の組み合わせによって構成される。
【００１５】
また、素材画像２００３は第二の画像２００２を構成するために使われる画像である。素材画像の枚数Ｐは一般に第二の画像を構成するために必要とする色・テクスチャの種類が用意できるだけの十分大きな数である。ここでは説明を簡単にするためにＰ枚の素材画像のサイズをタイルと同じサイズ、すなわち以下で説明する通りｐ×ｑ（画素）としているが、これは必ずしも一致している必要はなく、また、Ｐ枚すべてが同じサイズである必要もない。ただし、サイズの異なる素材画像を含む場合は、該当するタイル部分に貼り付ける際に、素材画像のサイズをタイルサイズに変換する必要がある。
【００１６】
次にモザイク画像の構成方法について図２及び図６を用いて説明する。図２は第１の実施形態によるモザイク画像の生成手順を示すフローチャートである。また、図６はモザイク手法における第一の画像及び第二の画像の分割方法を示す図である。
【００１７】
まず、ステップＳ２０１において、第一の画像（オリジナル画像）を図６のごとくＭ×Ｎ個のタイルに分割する。分割の結果、図６に示すように、第一の画像はＭ×Ｎ個の矩形タイルＴＬ（０，０），ＴＬ（１，０），ＴＬ（２，０）‥‥ＴＬ（２，４），ＴＬ（３，４）に区切られる。図６においてＸ，Ｙはそれぞれ第一の画像２００１の水平方向、垂直方向の画素数である。ｐ，ｑは各タイルの水平方向、垂直方向の画素数である。したがって、Ｘ＝ｐ×Ｍ，Ｙ＝ｑ×Ｎという関係が成り立っている。ここでは説明を簡単にするために、タイルのサイズはすべて等しいものとするが、必ずしもその必要はない。
【００１８】
ステップＳ２０２ではステップＳ２０１で分割したＭ×Ｎ個の各タイルについて、評価目標値を計算する。モザイク画像を構成するためには、第一の画像を分割したタイルと、そのタイルを摸して貼り付ける素材画像とがある評価基準のもとで似ている必要がある。すなわち、画像より所定の方法で変量（以下、特徴量という）を算出し、各タイルの画像について得られる値（以下、評価目標値という）と素材画像より得られる値（以下、被評価値という）を比較する。そして、近い値を有する素材画像で当該タイル画像を置換する。
【００１９】
ここで、評価目標値とは、第一の画像を分割して得られた個々のタイルの画像について、ある一定の手法で特徴量を算出したものである。たとえば、この特徴量としてＲ，Ｇ，Ｂの平均輝度値を用いることができる。この場合、評価目標値（Ｒｄ-av，Ｇｄ-av，Ｂｄ-av）は、以下の式（１）によって算出される。なお、評価目標値としては、例えば、各画像の平均濃度値等、他の特徴量を用いてもよいことはいうまでもない。
【００２０】
Ｒｄ-av＝（１／（ｐ×ｑ））×ΣＲｉ
Ｇｄ-av＝（１／（ｐ×ｑ））×ΣＧｉ
Ｂｄ-av＝（１／（ｐ×ｑ））×ΣＢｉ    …（１）
ただし、ｉはタイル中のすべての画素を示す。
【００２１】
ステップＳ２０３では、Ｐ枚の素材画像について被評価値を算出する。被評価値はステップＳ２０２で用いた特徴量と同じものを、各素材画像について求めたものである。従って、特徴量としてＲ，Ｇ，Ｂの平均輝度値を用いる場合、被評価値（Ｒｓ-av，Ｇｓ-av，Ｂｓ-av）は以下の式（２）で得る。
【００２２】
Ｒｓ-av＝（１／ｐ×ｑ））×ΣＲｉ
Ｇｓ-av＝（１／ｐ×ｑ））×ΣＧｉ
Ｂｓ-av＝（１／ｐ×ｑ））×ΣＢｉ    …（２）
ただし、ｉは素材画像中のすべての画素を示す。
【００２３】
次に、ステップＳ２０４ではＭ×Ｎ個のタイルの中から処理対象とするタイルを一つ選択する。ここでは、タイルの位置を示すカウンタＸ−Ｐｏｓ（０≦Ｘ−Ｐｏｓ≦Ｍ−１），Ｙ−Ｐｏｓ（０≦Ｙ−Ｐｏｓ≦Ｎ−１）を用いてタイルを指定する。例として画像の左上から右端まで処理し、順次下まで処理する場合には、まず、Ｘ−Ｐｏｓ及びＹ−Ｐｏｓ共に０に初期化し、ステップＳ２１０４〜Ｓ２１０７の繰り返しにおいて（Ｘ−ｐｏｓ、Ｙ−ｐｏｓ）＝（0,0）、（1,0）…（3,0）、（0,1）、…（3,1）、…（0,4）、…（3,4）というようにカウンタ値を変化させてゆく。
【００２４】
ステップＳ２０５では処理対象のタイルの評価目標値（Ｒｄ-av，Ｇｄ-av，Ｂｄ-av）とＰ枚の素材画像のそれぞれの被評価値（Ｒｓ-av，Ｇｓ-av，Ｂｓ-av）とを、評価関数ｆ（）によって評価する。評価関数ｆ（）の一例としては、評価目標値と被評価値の差の二乗平均があげられる。すなわち、評価値は以下の式（３）で得られる。
【００２５】
0003984704.tif 000002
なお、上記式（３）において、「^」はべき乗を表し、たとえば「Ｘ^2」はＸの２乗を表す。この結果△Ｅ0〜△Ｅp-1のＰ個の評価結果が選られる。
【００２６】
ステップＳ２０６ではＰ回の評価関数の結果から、その値の最も小さくなる素材画像を選択し、第二の画像の対応するタイル位置（すなわち，（Ｘ−ｐｏｓ，Ｙ−ｐｏｓ）で指定されるタイル）に貼り込むタイルとする。
【００２７】
ステップＳ２０７では第一の画像のすべてのタイルについて上述の処理が行われたかどうかを判断し、未処理のタイルがあれば、ステップＳ２０４に戻り，上記処理を繰り返す。一方、すべてのタイルについて処理が終わっていれば、ステップＳ２０８に進む。
【００２８】
ステップＳ２０８では、キーボード１０４から操作者により入力されるα値を読み出す。ただしαの値は０以上１以下として説明する。ステップＳ２０９では第一の画像、第二の画像、αを用いて、第三の画像を合成し、これを最終的なモザイク画像とする。
【００２９】
αを用いた画像の合成方法の一例としては、第一の画像のα倍と第二の画像の（１−α）倍を加えることが挙げられる。すなわち、第一の画像と第二の画像の同じ位置の画素値をそれぞれ、（Ｒ１，Ｇ１，Ｂ１）、（Ｒ２，Ｇ２，Ｂ２）とすると、合成の結果得られる第三の画像の同じ位置の画素値（Ｒ３，Ｇ３，Ｂ３）は、以下の式（４）によって求まる。
【００３０】
Ｒ３＝α×Ｒ１＋（１−α）Ｒ２
Ｇ３＝α×Ｇ１＋（１−α）Ｇ２
Ｂ３＝α×Ｂ１＋（１−α）Ｂ２
となる。
【００３１】
以上説明したように、本実施形態によれば、モザイク画像構成方法により作成された第二の画像の個々のタイルが、第一の画像の色・テクスチャとあまりにも異なるものとなるような場合でも、設定された率で第１の画像が反映されるので、全体として第一の画像をよく摸した画像を得ることが可能となる。従って、少ない素材画像数で良好なモザイク画像を得ることができる。
【００３２】
［第２の実施形態］
次に本発明の第２の実施形態について説明する。なお、以下では、第１の実施形態と第２の実施形態の相違点について説明する。
【００３３】
図３は第２の実施形態によるモザイク画像生成の手順を説明するフローチャートである。第１の実施形態と同様にステップＳ２０１〜Ｓ２０９を実行し、その結果として、第一の画像と第二の合成画像である第三の画像を得る。次に、ステップＳ３１０では第三の画像をディスプレイ装置に表示する。そして、ステップＳ３１１では、α値の変更入力が可能なインターフェースを表示し、操作者によってα値の変更入力が行われたかどうかを判定する。ここでα値が変更された場合はステップＳ２０８に戻り、変更後のαを用いて第３の画像生成を行う。
【００３４】
図４は、α値の変更を行うためのユーザインターフェース例を示す図である。図４に示されるようなユーザインターフェースがディスプレイ装置１０５に表示される。図４において、４０１は第一の画像、４０２は第３の画像をそれぞれ表示する表示部、４０３は処理の開始を指示するスタートボタン、４０４はα値を変更するスライダーである。なお、さらに第二の画像を表示するようにしても良い。第二の画像も表示するようにすれば、αの値を操作者が設定する際の参照となる。
【００３５】
スタートボタン４０３を押す以前は、４０１に第一の画像が表示されている。スタートボタン４０３を押すと、フローチャートのステップＳ２０１から処理を開始する。そして、ステップＳ２０９を終了すると表示部４０２に第三の画像が表示される。つづいて、スライダー４０４をマウスにより操作する。スライダー４０４は最左端でα＝０、最右端でα＝１となり、その間は均等にわけられている。
【００３６】
スライダー４０４が最左端では、α＝０であるから、式（４）において、
Ｒ３＝α×Ｒ１＋（１−α）Ｒ２＝Ｒ２
Ｇ３＝α×Ｇ１＋（１−α）Ｇ２＝Ｇ２
Ｂ３＝α×Ｂ１＋（１−α）Ｂ２＝Ｂ２
となり、第三の画換は第二の画像と等しくなる。
【００３７】
また、スライダー４０４が最右端では、α＝１であるから、式（４）において、
Ｒ３＝α×Ｒ１＋（１−α）Ｒ２＝Ｒ１
Ｇ３＝α×Ｇ１十（１−α）Ｇ２＝Ｇ１
Ｂ３＝α×Ｂ１＋（１−α）Ｂ２＝Ｂ１
となり、第三の画像は第一の画像と等しくなる。
【００３８】
αの値が０と１の間では、第三の画像は第一の画像と第二の画像が混ぜ合わされた画像となる。
【００３９】
以上説明したように、第二の実施形態によれば、マウス等の入力装置を用いて対話的にαの値を制御する構成を付加したことにより、ユーザが、容易に、好みの度合いで第一の画像と第二の画像を混ぜることが可能になる。
【００４０】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００４１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００４２】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４３】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００４４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４５】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４６】
【発明の効果】
以上説明したように、本発明によれば、小数の素材画像で多様な元画像を適切に反映したモザイク画像を生成することが可能となる。
【００４７】
【図面の簡単な説明】
【図１】本発明の一実施形態に係る、モザイク画像生成方法を実現するハードウェア構成図である。
【図２】第１の実施形態によるモザイク画像のせいせい手順を示すフローチャートである。
【図３】第２の実施形態によるモザイク画像生成の手順を説明するフローチャートである。
【図４】α値の変更を行うためのユーザインターフェース例を示す図である。
【図５】モザイク手法において用いられる画像（第一の画像、第二の画像、素材画像）の関係を示す概念図である。
【図６】モザイク手法における第一の画像及び第二の画像の分割方法を示す図である。
【図１】
0003984704.tif 000003
【図２】
0003984704.tif 000004
【図３】
0003984704.tif 000005
【図４】
0003984704.tif 000006
【図５】
0003984704.tif 000007
【図６】
0003984704.tif 000008