(57)【特許請求の範囲】
【請求項１】
元になる第１及び第２の画像を記憶する第１の記憶手段と、
前記第１及び第２の画像をＭ×Ｎ個の領域に分割する分割手段と、
複数の素材動画像を記憶する第２の記憶手段と、
素材動画像の先頭フレームが前記第１の画像を分割した領域に類似し、かつ、後端フレームが前記第２の画像を分割した同位置の領域に類似する素材動画像を前記複数の素材動画像から選択することをＭ×Ｎ個の各領域に対して行う選択手段と、
前記選択手段で選択されたＭ×Ｎ個の素材動画像を組み合わせてモザイク動画像を作成する素材動画像貼り合わせ手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記各素材動画像は同じ長さであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記素材動画像貼り合わせ手段は、素材動画像を時間軸方向に変倍して等しい長さにして組み合わせることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
動画像信号取り込み手段を更に備え、前記複数の素材動画像は該動画像信号取り込み手段より取り込まれることを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
【請求項５】
１個の動画像の異なるフレームを前記第１及び第２の画像とすることを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。
【請求項６】
生成した前記モザイク動画像を動画像への特殊効果として用いることを特徴とする請求項１から５までのいずれか１項に記載の画像処理装置。
【請求項７】
前記第１の画像を第１の動画像の後端のフレームとし、前記第２の画像を第２の動画像の先端のフレームとすることを特徴とする請求項１から６までのいずれか１項に記載の画像処理装置。
【請求項８】
生成した前記モザイク動画像を動画像編集のトランジッションエフェクトとして用いることを特徴とする請求項１から７までのいずれか１項に記載の画像処理装置。
【請求項９】
元になる第１及び第２の画像をＭ×Ｎ個の領域に分割し、
素材動画像の先頭フレームが前記第１の画像を分割した領域に類似し、かつ、後端フレームが前記第２の画像を分割した同位置の領域に類似する素材動画像を複数の素材動画像から選択することをＭ×Ｎ個の各領域に対して行い、
選択されたＭ×Ｎ個の素材動画像を組み合わせてモザイク動画像を作成することを特徴とする画像処理方法。
【請求項１０】
前記各素材動画像は同じ長さであることを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記素材動画像の貼り合わせは、素材動画像を時間軸方向に変倍して等しい長さにして組み合わせることを特徴とする請求項９又は１０に記載の画像処理方法。
【請求項１２】
動画像信号の取り込みが可能であり、前記複数の素材動画像は取り込まれた動画像であることを特徴とする請求項９から１１までのいずれか１項に記載の画像処理方法。
【請求項１３】
１個の動画像の異なるフレームを前記第１及び第２の画像とすることを特徴とする請求項９から１２までのいずれか１項に記載の画像処理方法。
【請求項１４】
生成した前記モザイク動画像を動画像への特殊効果として用いることを特徴とする請求項９から１３までのいずれか１項に記載の画像処理方法。
【請求項１５】
前記第１の画像を第１の動画像の後端のフレームとし、前記第２の画像を第２の動画像の先端のフレームとすることを特徴とする請求項９から１４までのいずれか１項に記載の画像処理方法。
【請求項１６】
生成した前記モザイク動画像を動画像編集のトランジッションエフェクトとして用いることを特徴とする請求項９から１５までのいずれか１項に記載の画像処理方法。
【請求項１７】
請求項９から１６までのいずれか１項に記載の画像処理方法を、コンピュータに実行させるためのプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の素材動画像を管理し、前記複数の素材動画像中から任意の動画像を組み合わせて元の画像を模した画像を生成する画像処理装置、画像処理方法及び記憶媒体に関するものである。
【０００２】
【従来の技術】
従来モザイクとは、「種々の色彩の石・ガラス・大理石などの小片を組み合わせて、床・壁などにはめ込み、図案化したもの、またはその技法」（三省堂  現代国語辞典）として広く知られてきた。この技法を用いて、多数の写真画像を組み合わせて図案あるいはひとつの写真画像を構成することが可能である。
【０００３】
【発明が解決しようとする課題】
このようなモザイク画像を作成する場合、元になる画像を複数の領域に分割し、これら各領域にモザイク画像を構成する素材画像（タイル画像）を組み込んでモザイク画像を作成する。
【０００４】
こうして作成したモザイク画像は従来静止画像に限られ、動き（時間的な変化）のあるモザイク画像を作成することができなかった。
【０００５】
【課題を解決するための手段】
本発明は上述した課題を解決することを目的として成されたもので、上述した課題を解決する一手段として例えば以下の構成を備える。
【０００６】
即ち、元になる第１及び第２の画像を記憶する第１の記憶手段と、前記第１及び第２の画像をＭ×Ｎ個の領域に分割する分割手段と、複数の素材動画像を記憶する第２の記憶手段と、素材動画像の先頭フレームが前記第１の画像を分割した領域に類似し、かつ、後端フレームが前記第２の画像を分割した同位置の領域に類似する素材動画像を前記複数の素材動画像から選択することをＭ×Ｎ個の各領域に対して行う選択手段と、前記選択手段で選択されたＭ×Ｎ個の素材動画像を組み合わせてモザイク動画像を作成する素材動画像貼り合わせ手段とを備えることを特徴とする。
【０００８】
また例えば、前記各素材動画像は同じ長さであることを特徴とする。あるいは、前記素材動画像貼り合わせ手段は、素材動画像を時間軸方向に変倍して等しい長さにして貼り合わせることを特徴とする。
【０００９】
更に例えば、動画像信号取り込み手段を更に備え、前記複数の素材動画像は該動画像信号取り込み手段より取り込まれることを特徴とする。あるいは、１個の動画像の異なるフレームを前記第１及び第２の画像とすることを特徴とする。
【００１０】
また例えば、生成した前記モザイク動画像を動画像への特殊効果として用いることを特徴とする。あるいは、前記第１の画像を第１の動画像の後端のフレームとし、前記第２の画像を第２の動画像の先端のフレームとすることを特徴とする。または、生成した前記モザイク動画像を動画像編集のトランジッションエフェクトとして用いることを特徴とする。
【００１１】
また、元になる第１及び第２の画像をＭ×Ｎ個の領域に分割し、素材動画像の先頭フレームが前記第１の画像を分割した領域に類似し、かつ、後端フレームが前記第２の画像を分割した同位置の領域に類似する素材動画像を複数の素材動画像から選択することをＭ×Ｎ個の各領域に対して行い、選択されたＭ×Ｎ個の素材動画像を組み合わせてモザイク動画像を作成することを特徴とする。
【００１２】
そして例えば、前記各素材動画像は同じ長さであることを特徴とする。
【００１３】
また例えば、前記素材動画像の貼り合わせは、該素材動画像を時間軸方向に変倍して等しい長さにして組み合わせることを特徴とする。あるいは、動画像信号の取り込みが可能であり、前記複数の素材動画像は取り込まれた動画像であることを特徴とする。
【００１４】
更に例えば、１個の動画像の異なるフレームを前記第１及び第２の画像とすることを特徴とする。あるいは、生成した前記モザイク動画像を動画像への特殊効果として用いることを特徴とする。
【００１５】
また例えば、前記第１の画像を第１の動画像の後端のフレームとし、前記第２の画像を第２の動画像の先端のフレームとすることを特徴とする。あるいは、生成した前記モザイク動画像を動画像編集のトランジッションエフェクトとして用いることを特徴とする。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明に係る一発明の実施の形態例を詳細に説明する。
【００１７】
[第１の実施の形態例]
まず図１を参照して本発明に係る一発明の実施の形態例を説明する。図１は、本発明に係る一発明の実施の形態例の画像処理を行なうコンピュータシステムの構成を示すブロック図である。
【００１８】
図１において、１０１は本実施の形態例の全体制御を司るＣＰＵ、１０２はキーボードであり、マウス１０２ａを備え、各種指示入力などを行なうために使用される。１０３は表示装置であり、例えばＣＲＴや液晶等で構成可能である。１０４はＲＯＭ、１０５はＲＡＭであり、システムの記憶装置を構成し、システムが実行するプログラムやシステムが利用するデータ等を記憶する。１０６はハードディスク装置、１０７はフロッピーディスク装置であり、システムのファイルシステムに使用される外部記憶装置を構成している。１０８はプリンタである。１０９はビデオキャプチャデバイスであり、ビデオデッキ１１０から送られる動画像信号をデジタイズしてコンピュータシステムに取りこむことができる。なお、１１０は動画像信号を送出するデバイスであればビデオデッキに限られず、ＬＤプレーヤ、ＤＶＤプレーヤ、ビデオカメラ、ＴＶチューナ等でもよい。
【００１９】
ハードディスク１０６には、モザイク画の構成要素となるタイル動画像が複数（例えばＰ枚）格納されており、本実施の形態例では後述するプログラムに従って、このタイル画像の中から選択されたＭ×Ｎ枚の画像を、図２に示すように、水平方向にＭ枚、垂直方向にＮ枚並べて組み合わせることでモザイク画像を作成する。こうして作成されたモザイク画像は、ハードディスク１０６に画像ファイルとして記憶され、表示装置１０３に表示される。
【００２０】
各々のタイル画像は動画像であり、時間的に変化する。そこで本実施の形態例では各動画タイルの先頭フレームを貼り合わせた画像が第一の静止画像を模し、各動画タイルの後端フレームを貼り合わせた画像が第二の静止画像を模すような、動画モザイクを生成することを目的としている。
【００２１】
以下、以上の構成を備える本実施の形態例におけるモザイク画像の作成方法の概略を図３を参照して説明する。図３は本実施の形態例で用いられるモザイク手法で用いられる複数種類の画像の関係を説明するための図である。
【００２２】
本実施の形態例においては、モザイク画像を生成する際に、図３に示す画像２０１及び画像２０４は、モザイク手法を使って画像を構成する際、元となる図案あるいは画像である。画像２０２はモザイク手法により複数の小さな動画像（動画タイル）を使って構成された動画像の先頭フレームである。素材画像２０３は画像２０２及び２０５を構成するために使われる素材動画像である。
【００２３】
これら素材動画像の枚数Ｐ（個数Ｐ）は、一般に画像２０２を構成するに必要となる色・テクスチャの種類が用意できるだけの十分大きな数である。ここでは説明のために、Ｐ枚の素材動画像のそれぞれのサイズをタイルと同じサイズにしているが、各素材動画像のサイズは必ずしもタイルのサイズと一致している必要はなく、またＰ枚が全て同じサイズである必要はない。このように各素材動画像のサイズが異なる場合などでは、画像２０２の該当するタイルに貼り付ける際に、素材画像のサイズを変換する必要が生じる。なお、ここで枚数Ｐは、上述のＭ×Ｎ枚よりも十分に大きい数である。
【００２４】
画像２０５は、画像２０２から始まる合成動画像の後端のフレームであり、これが画像２０４を模したモザイク画像となるように素材動画像を選択するのが本発明の骨子である。
【００２５】
なお、Ｐ枚の素材動画像全てが同じ長さの動画像でない場合は、時間軸方向に圧縮乃至伸張を行って長さをそろえてからはりつける。
【００２６】
次に、本実施の形態例の動画モザイクの生成方法を図４を参照して説明する。図４は、本実施形態のコンピュータシステムにおける動画モザイクの生成方法の大まかな処理の流れを示したフローチャートである。
【００２７】
本実施の形態例において、動画モザイクを生成する際には、まずステップＳ１１で画像２０１をＭ×Ｎ個の領域（タイル）に分割する。分割の結果、図５に示すように、第一の画像はＭ×Ｎ個の矩形タイルＴＬ（０，０），ＴＬ（１，０），ＴＬ（２，０）， …，ＴＬ（２，４），ＴＬ（３，４）に区切られる。
。図５は本実施の形態例におけるもとの画像の領域分割例を説明する図である。
【００２８】
図５においてＸ、Ｙはそれぞれ画像２０１の水平方向、垂直方向の画素数である。ｐ、ｑは各タイルの水平方向、垂直方向の画素数である。したがって、Ｘ＝ｐ×Ｍ，Ｙ＝ｑ×Ｎという関係が成り立っている。ここでは説明を簡単にするために、タイルのサイズは全て等しいものとするが、本実施の形態例としてはこれに限定されるものではなく、任意のサイズに、形状であっても同様に制御可能かことは勿論である。この場合には必要に応じて変倍処理を行なえば良い。
【００２９】
図６は本実施の形態例におけるモザイク画を構成する個々のタイルの色構成を説明する図である。図６に示すように、個々の各領域はｐ×ｑ個の３原色、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画像データに更に分解される。
【００３０】
次に図４のステップＳ１２の処理において、ステップＳ１１で分割したＭ×Ｎ個の各タイルについて、次式に従いＲＧＢの平均濃度を計算する。
【００３１】
Ｒd1-av＝ΣＲi/(p×q)
Ｇd1-av＝ΣＧi/(p×q)
Ｂd1-av＝ΣＢi/(p×q)
ここで、d1-avは、第１の元画像２０１（destination）の平均値を意味している。
【００３２】
ステップＳ１３で、第２の元画像２０４をステップＳ１１と同様に分割する。
【００３３】
ステップＳ１４で、ステップＳ１３で分割したＭ×Ｎ個の各タイルについて、次式に従いＲＧＢの平均濃度を計算する。
【００３４】
Ｒd2-av＝ΣＲi/(p×q)
Ｇd2-av＝ΣＧi/(p×q)
Ｂd2-av＝ΣＢi/(p×q)
ここで、d2-avは、第２の元画像２０４（destination）の平均値を意味している。
【００３５】
次にステップＳ１５に進み、Ｐ枚の素材画像のそれぞれの先頭フレームについて次式に従い、Ｒ，Ｇ，Ｂの平均濃度を算出する。
【００３６】
Ｒsｓ-av＝ΣＲi/(p×q)
Ｇsｓ-av＝ΣＧi/(p×q)
Ｂsｓ-av＝ΣＢi/(p×q)
ここで、sｓ-avはソース（source：素材画像）の先頭フレームの平均値を意味している。
【００３７】
更に、Ｐ枚の素材画像のそれぞれの後端フレームについて次式に従い、Ｒ，Ｇ，Ｂの平均濃度を算出する。
【００３８】
Ｒse-av＝ΣＲi/(p×q)
Ｇse-av＝ΣＧi/(p×q)
Ｂse-av＝ΣＢi/(p×q)
ここで、se-avはソース（source：素材画像）の後端フレームの平均値を意味している。  次にステップＳ１６に進み、処理中のタイル領域の位置を示すカウンタＸpos（０≦Ｘpos≦Ｍ−１），Ｙpos（０≦Ｙpos≦Ｎ−１）をともに「０」に初期化する。ここで、（Ｘpos，Ｙpos）＝（０，０）は画像２０１の左上端の領域を示している。
【００３９】
次にステップＳ１７に進み、位置カウンタ（Ｘpos，Ｙpos）が指示する領域に最もふさわしい素材画像をＰ枚の素材画像の中から選択する。この選択方法は、例えばＲＧＢ３刺激値の距離ΔＥを算出し、その値の最も小さいものを選択する。評価式を以下に示す。
【００４０】
0003647348.tif 000002
この評価式に基づいてＰ枚の素材動画像の中からΔＥの最も小さいものを選択する。
【００４１】
次にステップＳ１８では対象となる画像２０１の領域を次の位置に移動し、ステップＳ１９では、画像２０１の全てのタイル領域に対する処理が終了したかを調べ、その終了が終了するまで、上述の処理を繰り返し実行する。
【００４２】
ステップＳ１１０で、選択された素材動画像群を対応する位置に貼り付けることでモザイク動画像を作成する。
【００４３】
本実施の形態例によれば、静止画像のみならず、以上のようにして動画データに対してもモザイク画像を生成することが可能となり、動きのあるモザイク画像が簡単な処理で生成できる。
【００４４】
即ち元になる２枚の動画像をそれぞれタイルに分割し、素材動画像の先頭画像が第１の画像を分割した領域に類似し、素材動画像の後端画像が第２の画像を分割した領域に類似した素材動画像を選択し、選択された素材動画像群を貼り合わせることでモザイク動画像を合成することにより動きのあるモザイク画像を簡単に生成することができる。
【００４５】
[その他の実施の形態例]
元になる画像は２枚の別々の静止画像であるが、これを１つの動画像から選択した２個のフレームとしてもよい。このようにすると、動画像への特殊効果として、動画モザイクを使うことができる。
【００４６】
また、２つの動画像を滑らかに接続するためのトランジッションエフェクトとして動画モザイクを使うこともできる。この場合は、元になる第１の画像を第１の動画像の後端のフレームとし、元になる第２の画像を第２の動画像の先端のフレームとする。
【００４７】
素材動画像群はＨＤＤ１０６に格納されているとしたが、これに限らない。例えば動画像撮りこみ装置を更に備え、ＶＴＲやＤＶＤプレーヤからの動画像信号を撮り込んで素材動画像としてもよい。
【００４８】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００４９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５０】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５１】
本実施の形態例を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャート及び制御の説明に対応するプログラムコードが格納されることになる。
【００５２】
【発明の効果】
以上説明したように本発明によれば、静止画像のみならず動画データに対してもモザイク画像を生成することが可能となり、動きのあるモザイク画像が簡単な処理で生成できる。
【図面の簡単な説明】
【図１】本発明に係る一発明の実施の形態例の画像処理を行なうコンピュータシステムの構成を示すブロック図である。
【図２】本実施の形態例におけるモザイク画像の構成例を説明するための図である。
【図３】本実施の形態例におけるモザイク画の生成過程を説明する図である。
【図４】本実施の形態例におけるモザイク画像の自動生成処理を説明するためのフローチャートである。
【図５】本実施の形態例におけるもとの画像の領域分割例を説明する図である。
【図６】本実施の形態例におけるモザイク画を構成する個々のタイルの色構成を説明する図である。
【符号の説明】
１０１  ＣＰＵ
１０２  キーボード  １０２a  マウス
１０３  表示部
１０４  ＲＯＭ
１０５  ＲＡＭ
１０６  ハードディスク
１０７  フロッピーディスク
１０８  プリンタ
１０９  ビデオキャプチャ
１１０  ビデオデッキ
【図１】
0003647348.tif 000003
【図２】
0003647348.tif 000004
【図３】
0003647348.tif 000005
【図４】
0003647348.tif 000006
【図５】
0003647348.tif 000007
【図６】
0003647348.tif 000008