(57)【特許請求の範囲】
【請求項１】
動画から予め設定されたタイミングで静止画像をキャプチャし、素材画像としてメモリに蓄積する蓄積工程と、
対象画像を複数のタイル領域に分割する分割工程と、
前記複数のタイル領域の各々について第１の特徴量を算出する第１の算出工程と、
前記メモリをスキャンすることにより素材画像リストを作成するリスト工程と、
前記素材画像リストに対応する複数の素材画像の各々について第２の特徴量を算出する第２の算出工程と、
前記第１の特徴量と前記第２の特徴量を用いて、前記複数のタイル領域の各々に対して、前記複数の素材画像から該各タイル領域に対応する素材画像を選択する選択工程と、
ユーザ指示に応じて、モザイク画像生成処理を終了するか否かを判断する判断工程とを有し、
前記判断工程において、終了しないと判断された場合は、前記リスト工程において、再度、前記メモリをスキャンし、前記素材画像リストを更新し、
前記第２の算出工程において、前記更新された素材画像リストに対応する素材画像の各々について第２の特徴量を算出し、
前記選択工程において、前記更新された素材画像リストに対応する素材画像の第２の特徴量を用いて、前記タイル領域に対する素材画像を再選択する情報処理を行い、
前記メモリに蓄積されている素材画像の数は、継続して前記動画から静止画像をキャプチャすることにより、時間とともに増加し、
前記素材画像リストの更新は、該蓄積している素材画像の数が増加しているメモリをスキャンすることにより行われることを特徴とするモザイク画像生成方法。
【請求項２】
前記選択工程において選択された素材画像が前記素材画像リストに含まれないように、前記リスト工程は前記素材画像リストを更新することを特徴とする請求項１に記載のモザイク画像生成方法。
【請求項３】
前記選択工程は、前記第１の特徴量と前記第２の特徴量との差が予め設定された値以下のタイル領域に対しては、前記素材画像を再選択しないことを特徴とする請求項１に記載のモザイク画像生成方法。
【請求項４】
前記選択工程は、前記複数のタイル領域の各々に対して、前記第１の特徴量と前記第２の特徴量との差の二乗の和が最小となる素材画像を選択することを特徴とする請求項１記載のモザイク画像生成方法。
【請求項５】
請求項１乃至４のいずれかに記載のモザイク画像生成方法をコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、モザイク画像の生成に関するものである。
【０００２】
【従来の技術】
従来モザイクとは、「種々の色彩の石・ガラス・大理石などの小片を組み合わせて、床・壁などにはめ込み、図案化したもの、またはその技法」（三省堂  現代国語辞典）として広く知られてきた。この技法を用いて、多数の写真画像を組み合わせて図案あるいはひとつの写真画像を構成することが可能である。
【０００３】
【発明が解決しようとする課題】
しかしながら、ある画像を模した画像をこのモザイク手法を用いて形成する場合、前記画像を良好に反映した画像の形成については十分な検討がされていなかった。本発明は、かかる点を鑑みてなされたもので、ユーザの所望の処理時間に応じた、視覚的に自然なモザイク画像の生成方法、及びコンピュータにより読み取り可能な記録媒体を提供することを目的とする。
【０００４】
【課題を解決するための手段】
上記問題点を解決するために、本発明にかかるモザイク画像生成方法は、動画から予め設定されたタイミングで静止画像をキャプチャし、素材画像としてメモリに蓄積する蓄積工程と、
対象画像を複数のタイル領域に分割する分割工程と、
前記複数のタイル領域の各々について第１の特徴量を算出する第１の算出工程と、
前記メモリをスキャンすることにより素材画像リストを作成するリスト工程と、
前記素材画像リストに対応する複数の素材画像の各々について第２の特徴量を算出する第２の算出工程と、
前記第１の特徴量と前記第２の特徴量を用いて、前記複数のタイル領域の各々に対して、前記複数の素材画像から該各タイル領域に対応する素材画像を選択する選択工程と、
ユーザ指示に応じて、モザイク画像生成処理を終了するか否かを判断する判断工程とを有し、
前記判断工程において、終了しないと判断された場合は、前記リスト工程において、再度、前記メモリをスキャンし、前記素材画像リストを更新し、
前記第２の算出工程において、前記更新された素材画像リストに対応する素材画像の各々について第２の特徴量を算出し、
前記選択工程において、前記更新された素材画像リストに対応する素材画像の第２の特徴量を用いて、前記タイル領域に対する素材画像を再選択する情報処理を行い、
前記メモリに蓄積されている素材画像の数は、継続して前記動画から静止画像をキャプチャすることにより、時間とともに増加し、
前記素材画像リストの更新は、該蓄積している素材画像の数が増加しているメモリをスキャンすることにより行われることを特徴とする。
【０００９】
【発明の実施の形態】
[実施形態１]
以下、図に従って実施形態１を説明する。図６はモザイク手法で用いられる複数種類の画像の関係を図示している。図６において、第一の画像６０１は、モザイク手法を使って画像を構成する際、基となる図案あるいは画像である。第二の画像６０２はモザイク手法により、複数の小さな画像を使って構成された画像である。第二の画像はＭ×Ｎ個の素材画像の組み合わせによって構成される。素材画像６０３は第二の画像６０２を構成するために使われる画像である。素材画像の枚数Ｐは一般に第二の画像を構成するために必要とする、色・テクスチャの種類が用意できるだけの十分大きな数である。ここでは説明を簡単にするためにＰ枚の素材画像をタイルと同じサイズ、すなわちｐ×ｑとしているが、これは必ずしも一致している必要はなく、また、Ｐ枚すべてが同じサイズである必要はない。その場合は該当するタイル部分に貼り付ける際に、素材画像のサイズをタイルサイズに変換する必要がある。
【００１０】
次に図７を用いて画像構成方法を説明する。
ステップＳ７０１では第一の画像をＭ×Ｎ個のタイルに分割する。分割の結果、図８に示すように、第一の画像はＭ×Ｎ個の矩形タイルＴＬ（０，０），ＴＬ（１，０），ＴＬ（２，０）‥‥ＴＬ（２，４），ＴＬ（３，４）に区切られる。図８においてＸ，Ｙはそれぞれ第一の画像２００１の水平方向、垂直方向の画素数である。ｐ，ｑは各タイルの水平方向、垂直方向の画素数である。したがって、Ｘ＝ｐ×Ｍ，Ｙ＝ｑ×Ｎという関係が成り立っている。ここでは説明を簡単にするために、タイルのサイズはすべて等しいものとするが、実施形態としては必ずしもその必要はない。
【００１１】
図７のステップＳ７０２ではＳ７０１で分割したＭ×Ｎ個の各タイルについて、第１の特徴量を計算する。モザイク画像を構成するためには、第一の画像を分割したタイルと、そのタイルを模して貼り付ける素材画像とがある評価基準のもとで似ている必要がある。
第１の特徴量とは、第一の画像を分割した個々のタイルの特徴量をある一定の方法で算出したものである。たとえば、特徴量としてＲ，Ｇ，Ｂの平均輝度値を用いる場合、第１の特徴量は以下の（１）〜（３）各式に基づき算出される。
【００１２】
Ｒd-av＝{１／（ｐ・ｑ）}・ΣＲi    …（１）
Ｇd-av＝{１／（ｐ・ｑ）}・ΣＧi    …（２）
Ｂd-av＝{１／（ｐ・ｑ）}・ΣＢi    …（３）
ステップＳ７０３では、Ｐ枚の素材画像について第２の特徴量を算出する。第２の特徴量とは、Ｓ７０２で使った特徴量と同じものである。特徴量としてＲ，Ｇ，Ｂの平均輝度値を用いる場合、第２の特徴量は（４）〜（６）式に基づき算出される。
【００１３】
Ｒs-av＝{１／（ｐ・ｑ）}・ΣＲi    …（４）
Ｇs-av＝{１／（ｐ・ｑ）}・ΣＧi    …（５）
Ｂs-av＝{１／（ｐ・ｑ）}・ΣＢｉ   …（６）
ステップＳ７０４ではＭ×Ｎ個のタイルの中から処理対象とするタイルを一つ選択する。例として画像に向かって左上から右端まで処理し、順次下まで処理する場合、タイルの位置を示すカウンタＸ−Ｐｏｓ（０≦Ｘ−Ｐｏｓ≦Ｍ−１），Ｙ−Ｐｏｓ（０≦Ｙ−Ｐｏｓ≦Ｎ−１）を共に０に初期化する。
【００１４】
ステップＳ２１０５では処理対象のタイルの第１の特徴量とＰ枚の素材画像のそれぞれの第２の特徴量とを、評価関数ｆ（）によって評価する。評価関数ｆ（）の一例としてはＲ，Ｇ，Ｂ輝度の二乗平均があげられる（（７）式）。
0003780102.tif 000002
ステップＳ７０６ではＰ回演算された二乗平均の評価関数の結果から、その値の最も小さくなる素材画像を選択し、第二の画像に貼り込むタイルが選択される。
【００１５】
Ｓ７０７では第一の画像のすべてのタイルについてその処理が行われたかどうかを判断し、未処理のタイルがあれば、Ｓ７０４に戻り処理を続ける。すべてのタイルについて処理が終わっていれば、終了する。
上記実施形態１により、各タイルに最適な画像の抽出が可能となる。しかしながら、実施形態１では、素材画像の枚数Ｐは一般に第二の画像を構成するために必要とする、色・テクスチャの種類が用意できるだけの十分大きな数であることを前提としているが、実際にはあらかじめ膨大な量の画像を用意することは困難であり、少数の素材画像を用いるしかなかった。そのため、構成される第二の画像のモザイク画としての画質が悪いという問題があった。この課題を以下に示す実施形態２または３、４により解決する。
【００１６】
［実施形態２］
図１は実施形態２に係る、モザイク画像構成方法を実現するハードウエア構成図である。１０１はＣＰＵ、１０２はメモリ、１０３はハードディスク、１０４はキーボードおよびマウスである。１０５はディスプレイ、１０６はネットワークインタフェース、１０７はＤＶＤ−ＲＯＭドライブ、１０８はスキャナ、１０９はビデオキャプチャカード、１１０はネットワークを介して接続されているデータベース、１１１はバスである。
【００１７】
ＣＰＵ１０１は上記構成の制御を行う。メモリ１０２は本手法を実現するソフトウエアの実行モジュールあるいは画像データをハードディスク１０３からロードする。キーボード、マウスはユーザインタフェースを通じて、プログラムの制御を行う。ディスプレイ１０５は、第一の画像、第二の画像、素材画像の表示を行う。ビデオキャプチャカード１０９は不図示のビデオプレイヤー、テレビチューナあるいはＤＶＤプレイヤーと接続され、ビデオインタフェースから入力されるビデオ信号をビデオキャプチャカード上のメモリに一時記録し、その後必要に応じて圧縮し、ハードディスク１０３に順次蓄積する。
【００１８】
またＤＶＤ−ＲＯＭに記録された映像を取り込むために、ＤＶＤ−ＲＯＭドライブ１０７を利用することも可能である。
ビデオキャプチャカード１０９に対し、プログラムインタフェースを通じて、コマンドを発行することで、入力されたビデオ信号から静止画像データをメモリ上に取り込む。このコマンドを一定間隔で発行することによって、あらたな静止画が順次ハードディスクに記録される。
【００１９】
図５は一定間隔で動画のキャプチャを行うフローチャートである。
ステップＳ５０１でタイマ変数Ｔｍをある値ＩＮＴにセットする。ステップＳ５０２ではＴＭから１を引く。ステップＳ５０３ではＴＭが０かどうかを判断し、０の場合はＳ５０４でビデオキャプチャのコマンドを発行する。Ｓ５０３でＴＭが０でない場合はＳ５０２に戻り処理を続ける。ステップＳ５０４で入力されたビデオ信号から静止画像データをキャプチャした後、ステップＳ５０５ではハードディスクに記録する。ステップＳ５０６では終了指示の有無を確認し、終了指示が出されていなければ（Ｓ５０６−Ｎｏ）、ステップＳ５０１に戻り処理を続ける。この処理でキャプチャされた静止画像データはモザイクを構成する素材画像として使用される。
【００２０】
ステップＳ５０６で終了指示がでていたら（Ｓ５０６−Ｙｅｓ）終了する。なお、終了指示は不図示のフローにおいて、キーボードあるいはマウス入力によって行われる。
次にモザイク画像の構成方法について図２を用いて説明する。
ステップＳ２０１、Ｓ２０２は実施形態１のＳ７０１、Ｓ７０２（図７）と同様の処理を行う。ステップＳ２０１では第一の画像を図８のごとくＭ×Ｎ個のタイル領域に分割する。
【００２１】
図８においてＸ，Ｙはそれぞれ第一の画像６０１の水平方向、垂直方向の画素数である。ｐ，ｑは各タイルの水平方向、垂直方向の画素数である。従って、Ｘ＝ｐ×Ｍ，Ｙ＝ｑ×Ｎという関係が成り立っている。ここでは説明を簡単にするために、タイルのサイズはすべて等しいものとするが、実施形態としては必ずしもその必要はない。
【００２２】
ステップＳ２０２ではＳ２０１で分割したＭ×Ｎ個の各タイルについて、第１の特徴量を計算する。モザイク画像を構成するためには、第一の画像を分割したタイル領域の画像と、そのタイルを模して貼り付ける素材画像とがある共通の評価基準のもとで似ている必要がある。
ここで、第１の特徴量とは、第一の画像を分割した個々のタイルの特徴量をある一定の方法で算出したものである。特徴量としてＲ，Ｇ，Ｂの平均輝度値を用いる場合、第１の特徴量は（８）から（１０）式により求めることができる。
【００２３】
Ｒd-av＝{１／（ｐ・ｑ）}・ΣＲi    …（８）
Ｇd-av＝{１／（ｐ・ｑ）}・ΣＧi    …（９）
Ｂd-av＝{１／（ｐ・ｑ）}・ΣＢi    …（１０）
Ｒi，Ｇi，Ｂiはタイル領域を構成する画素単位の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各刺激値成分を示す。
【００２４】
ステップＳ２０３では素材画像の枚数を計数し、その結果を素材画像枚数のパラメータＰに代入する。素材画像は図５で示したように、所定のタイミングでビデオキャプチャカード１０９によってビデオ信号から取り込まれた静止画像であり、キャプチャを継続して静止画像を取り込むことで、時間とともにハードディスク１０３内の素材画像数は増加する。ステップＳ２０３でキャプチャされた静止画像（素材画像になる）に対して第２の特徴量を設定算出するために以下のステップＳ２０４〜Ｓ２０７の処理を行う。
【００２５】
ステップＳ２０４では、Ｐ枚の素材画像について第２の特徴量を算出する。第２の特徴量とは、ステップＳ２０２で使った特徴量と同じである。特徴量としてＲ，Ｇ，Ｂの平均輝度値を用いる場合、第２の特徴量は以下の式で得る。
Ｒs-av＝{１／（ｐ・ｑ）}・ΣＲi  …（１１）
Ｇs-av＝{１／（ｐ・ｑ）}・ΣＧi  …（１２）
Ｂs-av＝{１／（ｐ・ｑ）}・ΣＢｉ …（１３）
ステップＳ２０５ではＭ×Ｎ個のタイルの中から処理対象とするタイルを一つ選択する。例として画像に向かって左上から右端まで処理し、順次下まで処理する場合、タイルの位置を示すカウンタＸ−Ｐｏｓ（０≦Ｘ−Ｐｏｓ≦Ｍ−１），Ｙ−Ｐｏｓ（０≦Ｙ−Ｐｏｓ≦Ｎ−１）を共に０に初期化する。
【００２６】
タイル領域に分割された画像は２次元の行列ＴＬ（Ｘ、Ｙ）として表現され、位置を示すカウンタ（Ｘ−Ｐｏｓ、Ｙ−Ｐｏｓ）を制御変数としてループを構成することで、分割されたタイル領域の画像を順次選択することができる。
ステップＳ２０６では処理対象のタイル領域の画像の第１の特徴量とＰ枚の素材画像のそれぞれの第２の特徴量とを、評価関数ｆ（）によって評価する。評価関数ｆ（）の一例としてはＲ，Ｇ，Ｂ平均輝度値の二乗平均があげられ、（１４）式で算出される。Ｒ，Ｇ、Ｂ平均輝度値はそれぞれ（８）〜（１３）式に基づき求められたデータである。
【００２７】
0003780102.tif 000003
（１４）式の二乗平均は、選択されたタイル領域の画像１枚に対して、各素材画像枚数について演算されることになる。従って、素材画像枚数がＰ枚のときは、タイル画像１枚に対してＰ回の二乗平均演算が行われる。
【００２８】
ステップ２０７ではＰ回演算された二乗平均の評価関数の結果から、その値の最も小さくなる素材画像を選択し、第二の画像に貼り込むタイルとする。
ステップＳ２０８では第一の画像のすべてのタイル画像についてその処理が行われたかどうかを判断し、未処理のタイル画像があれば、ステップＳ２０５に戻り処理を続ける。  すべてのタイルについて処理が終わっていれば、ステップＳ２０９に進む。ステップＳ２０９では、キーボード１０４から終了指示があるかどうかを判断し、終了指示がある場合は終了する。それ以外の場合はＳ２０３に戻り、処理を続ける。
【００２９】
［実施形態２の効果］
動画像を静止画として所定のタイミングで取り込み、素材画像として蓄積する。素材画像と、第一の画像を分割したタイル画像との特徴量を比較し誤差の二乗平均が最小となる素材画像が選択される。常時膨大な素材データを保存していなくても、第一の画像と相関性の高い動画データから静止画像を捕捉し、素材画像とすることにより、特徴量誤差を最小化したモザイク画像の構成が可能となる。
【００３０】
素材画像は静止画の捕捉を所定のタイミングで、継続して行うことで比較対象母数として増やすことが可能であり、新たに追加された素材画像との特徴量比較を行い、更に誤差を最小とする素材が選択される。このプロセスを継続することで漸次モザイク画像の画質が向上する。
［実施形態３］
次に実施形態３について説明する。
【００３１】
ハードウエア構成は図１に示した実施形態２と同じであり、また、動画から素材画像を生成するフローは図５と同じであるので説明は省略する。
モザイク画像の構成方法について図３を用いて説明する。
ステップＳ３０１は第一の画像を図８のごとくＭ×Ｎ個のタイルに分割する。図８において、Ｘ，Ｙはそれぞれ第一の画像６０１の水平方向、垂直方向の画素数である。ｐ，ｑは各タイルの水平方向、垂直方向の画素数である。したがって、Ｘ＝ｐ×Ｍ，Ｙ＝ｑ×Ｎという関係が成り立っている。ここでは説明を簡単にするために、タイルのサイズはすべて等しいものとするが、実施形態としては必ずしもその必要はない。
【００３２】
ステップＳ３０２ではＳ３０１で分割したＭ×Ｎ個の各タイルについて、第１の特徴量を計算する。モザイク画像を構成するためには、第一の画像を分割したタイルと、そのタイルを模して貼り付ける素材画像とがある評価基準のもとで似ている必要がある。第１の特徴量とは、第一の画像を分割した個々のタイルの特徴量をある一定の方法で算出したものである。たとえば、特徴量としてＲ，Ｇ，Ｂの平均輝度値を用いる場合、第１の特徴量は
Ｒd-av＝{１／（ｐ・ｑ）}・ΣＲi    …（１５）
Ｇd-av＝{１／（ｐ・ｑ）}・ΣＧi    …（１６）
Ｂd-av＝{１／（ｐ・ｑ）}・ΣＢi    …（１７）
によって算出される。
【００３３】
ステップＳ３０３で処理済み素材画像リストＬａをクリアする。処理済み素材画像リストＬａとは素材画像のインデックスを記録したデータテーブルである。ステップＳ３０４で素材画像リストＬｂを作成する。素材画像リストＬｂは素材画像のインデックスを記録したデータテーブルであり、ハードディスク１０３をスキャンし、そこに格納された素材画像のインデックスが記録される。素材画像は図５で示したように、前記ビデオキャプチャカード１０９によってビデオ信号から取り込まれた静止画像であり、連続して取り込むことで時間とともにハードディスク１０３内の画像数は増加する。
【００３４】
ステップＳ３０５は前記素材画像リストＬｂから、処理済み素材画像リストＬａに含まれるものを差し引いて未処理素材画像リストＬｃを作成する。Ｌｃ中の未処理の素材画像の個数をＰｃとする。
ステップＳ３０６では、未処理素材画像リストＬｃ中の素材画像Ｐｃ枚について第２の特徴量を算出する。第２の特徴量とは、ステップＳ３０２で使った特徴量と同じものである。特徴量としてＲ，Ｇ，Ｂの平均輝度値を用いる場合、第２の特徴量は以下の式で求められる。
【００３５】
Ｒs-av＝{１／（ｐ・ｑ）}・ΣＲi  …（１８）
Ｇs-av＝{１／（ｐ・ｑ）}・ΣＧi  …（１９）
Ｂs-av＝{１／（ｐ・ｑ）}・ΣＢｉ …（２０）
ステップＳ３０７ではＭ×Ｎ個のタイルの中から処理対象とするタイルを一つ選択する。例として画像に向かって左上から右端まで処理し、順次下まで処理する場合、タイルの位置を示すカウンタＸ−Ｐｏｓ（０≦Ｘ−Ｐｏｓ≦Ｍ−１），Ｙ−Ｐｏｓ（０≦Ｙ−Ｐｏｓ≦Ｎ−１）を共に０に初期化する。
【００３６】
タイル領域に分割された画像は２次元の行列ＴＬ（Ｘ、Ｙ）として表現され、位置を示すカウンタ（Ｘ−Ｐｏｓ、Ｙ−Ｐｏｓ）を制御変数としてループを構成することで、分割されたタイル領域の画像を順次選択することができる。
ステップＳ３０８では処理対象のタイルの第１の特徴量と未処理素材画像リストＬｃ中の素材画像Ｐｃ枚のそれぞれの第２の特徴量とを、評価関数ｆ（）によって評価する。評価関数ｆ（）の一例としてはＲ，Ｇ，Ｂ平均輝度値の二乗平均があげられ、（２１）式で算出される。Ｒ，Ｇ、Ｂ平均輝度値はそれぞれ（１５）〜（２０）式に基づき求められたデータである。
【００３７】
0003780102.tif 000004
（２１）式の二乗平均は、選択されたタイル領域の画像１枚に対して、各素材画像枚数について演算されることになる。従って、素材画像枚数がＰｃ枚のときは、タイル画像１枚に対してＰｃ回の二乗平均演算が行われる。
【００３８】
ステップ３０９ではＰｃ回の評価関数の結果から、その値の最も小さくなる素材画像を選択し、第二の画像に貼り込むタイルとする。
ステップＳ３１０では第一の画像のすべてのタイル領域の画像についてその処理が行われたかどうかを判断し、未処理のタイル画像があれば、ステップＳ３０７に戻り処理を続ける。すべてのタイルについて処理が終わっていればステップＳ３１１に進む。
【００３９】
ステップＳ３１１では処理済みリストＬａに処理済みとなった素材画像リストＬｃを加える。あるいは、処理済みリストＬａに素材リストＬｂを代入しても同じ結果が得られる。
ステップＳ３１２では、キーボード１０４から終了指示があるかどうかを判断し、終了指示がある場合は終了する。それ以外の場合はステップＳ３０４に戻り処理を続ける。
【００４０】
［実施形態３の効果］
タイル画像と素材画像との特徴量比較のための演算処理は、新たに追加となった未処理の素材画像の個数のみに限定できるので処理速度の向上が可能となる。
［実施形態４］
次に実施形態４について説明する。
【００４１】
ハードウエア構成は図１に示した実施形態２と同じであり、また、動画から素材画像を生成するフローは図５と同じであるので説明は省略する。
次にモザイク画像の構成方法について図４を用いて説明する。
ステップＳ４０１は第一の画像を図８のごとくＭ×Ｎ個のタイル領域に分割する。図８において、Ｘ，Ｙはそれぞれ第一の画像６０１の水平方向、垂直方向の画素数である。ｐ，ｑは各タイルの水平方向、垂直方向の画素数である。したがって、Ｘ＝ｐ×Ｍ，Ｙ＝ｑ×Ｎという関係が成り立っている。ここでは説明を簡単にするために、タイルのサイズはすべて等しいものとするが、実施形態としては必ずしもその必要はない。
【００４２】
ステップＳ４０２ではＳ４０１で分割したＭ×Ｎ個の各タイルについて、第１の特徴量を計算する。
モザイク画像を構成するためには、第一の画像を分割したタイル領域の画像と、そのタイルを模して貼り付ける素材画像とが、ある評価基準のもとで似ている必要がある。第１の特徴量とは、第一の画像を分割した個々のタイルの特徴量をある一定の方法で算出したものである。例えば、特徴量としてＲ，Ｇ，Ｂの平均輝度値を用いる場合、第１の特徴量は
Ｒd-av＝{１／（ｐ・ｑ）}・ΣＲi    …（２２）
Ｇd-av＝{１／（ｐ・ｑ）}・ΣＧi    …（２３）
Ｂd-av＝{１／（ｐ・ｑ）}・ΣＢi    …（２４）
によって算出される。
【００４３】
ステップＳ４０３では再処理タイルリストＬｄに前記Ｓ４０１で分割したすべてのタイルのインデックスを記録する。
ステップＳ４０４では処理済み素材画像リストＬａをクリアする。処理済み素材画像リストＬａとはタイル画像との間で、特徴量比較の演算が終了した素材画像のインデックスを記録したデータテーブルである。
【００４４】
ステップＳ４０５は素材画像リストＬｂを作成する。素材画像リストＬｂは素材画像のインデックスを記録したデータテーブルであり、ハードディスク１０３をスキャンし、そこに格納された素材画像のインデックスが記録される。素材画像は図５で示したように、前記ビデオキャプチャカード１０９によってビデオ信号から取り込まれた静止画像であり、連続して取り込むことで時間とともにハードディスク１０３内の画像数は増加する。
【００４５】
ステップＳ４０６では前記素材画像リストＬｂから、処理済み素材画像リストＬａに含まれるものを差し引いて未処理素材画像リストＬｃを作成する。Ｌｃ中の素材画像の個数をＰｃとする。
ステップＳ４０７では、未処理素材画像リストＬｃ中の素材画像Ｐｃ枚について第２の特徴量を算出する。第２の特徴量とは、ステップＳ３０２で使った特徴量と同じものである。特徴量としてＲ，Ｇ，Ｂ平均輝度値を用いる場合、第２の特徴量は以下の式で求めることができる。
【００４６】
Ｒs-av＝{１／（ｐ・ｑ）}・ΣＲi    …（２５）
Ｇs-av＝{１／（ｐ・ｑ）}・ΣＧi    …（２６）
Ｂs-av＝{１／（ｐ・ｑ）}・ΣＢｉ   …（２７）
ステップＳ４０８では再処理タイルリストＬｄのタイルの中から処理対象とするタイルを一つ選択する。初めてこの処理を行う場合は、Ｍ×Ｎ個タイルすべてが対象となる。
【００４７】
例として画像に向かって左上から右端まで処理し、順次下まで処理する場合、タイルの位置を示すカウンタＸ−Ｐｏｓ（０≦Ｘ−Ｐｏｓ≦Ｍ−１），Ｙ−Ｐｏｓ（０≦Ｙ−Ｐｏｓ≦Ｎ−１）を共に０に初期化する。
再処理タイルリストＬｄからタイル領域に分割された画像は２次元の行列ＴＬ（Ｘ、Ｙ）として表現され、位置を示すカウンタ（Ｘ−Ｐｏｓ、Ｙ−Ｐｏｓ）を制御変数としてループを構成することで、分割されたタイル領域の画像を順次選択することができる。
【００４８】
ステップＳ４０９では処理対象のタイルの第１の特徴量と未処理素材画像リストＬｃ中の素材画像Ｐｃ枚のそれぞれの第２の特徴量とを、評価関数ｆ（）によって評価する。評価関数ｆ（）の一例としてはＲ，Ｇ，Ｂ輝度の二乗平均があげられ、（２８）式により求めることができる。
0003780102.tif 000005
（２８）式の二乗平均は、選択されたタイル領域の画像１枚に対して、各素材画像枚数について演算されることになる。従って、素材画像枚数がＰｃ枚のときは、タイル画像１枚に対してＰｃ回の二乗平均演算が行われる。
【００４９】
ステップ４１０ではＰｃ回の評価関数の結果から、その値の最も小さくなる素材画像を選択し、第二の画像に貼り込むタイルとする。
ステップＳ４１１ではＳ４１０での評価結果△Ｅがあらかじめ与えられた誤差基準値ＥrrorThより小さいかどうか判定する。結果が真であった場合（ＥrrorThより小さい場合）はステップＳ４１２に進み、現在処理中のタイル画像インデックスを再処理タイルリストＬｄから削除する。結果が偽であった場合（ＥrrorThより大きい場合）はそのままステップＳ４１４に進む。
【００５０】
ステップＳ４１４は再処理タイルリストＬｄ中のすべてのタイルについてその処理が行われたかどうかを判断し、未処理のタイルがあれば、Ｓ４０８に戻り処理を続ける。すべてのタイルについて処理が終わっていればステップＳ４１５に進む。
ステップＳ４１５では処理済みリストＬａに新たに処理済みとなったリストＬｃ分を加える。あるいは、処理済みリストＬａに素材リストＬｂを代入しても同じ結果が得られる。
【００５１】
ステップＳ４１６では、キーボード１０４から終了指示があるかどうかを判断し、終了指示がある場合は終了する。それ以外の場合はＳ４０５に戻りさらに処理を続行する。
［実施形態４の効果］
所定の誤差基準値を設け、この基準値を満足する素材の決定したタイル画像を、特徴量比較の対象から除外することで、再処理タイルリスト中のタイルの個数のみに限定できるので、演算回数を更に削減でき処理速度の向上が図れる。
【００５２】
【他の実施形態】
なお、本発明にかかるモザイク構成方法は、複数の画像形成機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００５３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００５４】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明にかかるモザイク画像構成方法を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５６】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５７】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、図９のメモリマップ例に示す各モジュールを記憶媒体に格納することになる。
すなわち、少なくとも「素材画像追加モジュール９０１」「分割モジュール９０２」および「第１特徴量算出モジュール９０３」「素材画像計数モジュール９０４」「第２特徴量算出モジュール９０５」「素材選択評価モジュール９０６」「最適画像選択モジュール９０７」「継続判断モジュール９０８」「未処理素材画像リスト作成モジュール９０９」「再処理タイルリスト作成モジュール９１０」「誤差基準判定モジュール９１１」の各モジュールのプログラムコードを記憶媒体に格納すればよい。
【００５８】
【発明の効果】
本発明によれば、ユーザの所望の処理時間に応じた、視覚的に自然なモザイク画像の生成方法、及びコンピュータにより読み取り可能な記録媒体を提供することが出来る。
【図面の簡単な説明】
【図１】ハードウエア構成を示す図である。
【図２】実施形態２を説明するフローチャートである。
【図３】実施形態３を説明するフローチャートである。
【図４】実施形態２を説明するフローチャートである。
【図５】動画の捕捉を説明するフローチャートである。
【図６】モザイク画像の構成を説明する第一の画像、第二の画像、素材画像を示す図である。
【図７】モザイク画像構成を説明するフローチャートである。
【図８】第一の画像をタイル画像に分割した図である。
【図９】記録媒体のメモリマップを示す図である。
【符号の説明】
１０１    ＣＰＵ
１０２    メモリ
１０３    ハードディスク
１０４    入力装置（キーボード、マウス）
１０５    モニタ
１０６    ネットワークインタフェース
１０７    ＤＶＤ−ＲＯＭ
１０８    スキャナ
１０９    レーザプリンタ
【図１】
0003780102.tif 000006
【図２】
0003780102.tif 000007
【図３】
0003780102.tif 000008
【図４】
0003780102.tif 000009
【図５】
0003780102.tif 000010
【図６】
0003780102.tif 000011
【図７】
0003780102.tif 000012
【図８】
0003780102.tif 000013
【図９】
0003780102.tif 000014