(57)【要約】【課題】モザイク画像の生成過程を可視化できない。【解決手段】画像処理装置は、複数のタイル画像のうち、前記複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像を選択するタイル選択部と、前記タイル選択部により選択された前記タイル画像が、前記複数の分割領域のうちの対応する分割領域に当て嵌められる様子を視覚的に示す動画を生成する動画生成部と、前記動画生成部により生成された動画を表示する表示部とを備える。【選択図】図１
2013200676.tif 000002
【特許請求の範囲】
【請求項１】
複数のタイル画像のうち、前記複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像を選択するタイル選択部と、
前記タイル選択部により選択された前記タイル画像が、前記複数の分割領域のうちの対応する分割領域に当て嵌められる様子を視覚的に示す動画を生成する動画生成部と、
前記動画生成部により生成された動画を表示する表示部と
を備える画像処理装置。
【請求項２】
前記タイル選択部によって選択された前記タイル画像が当て嵌められた最終モザイク画像を静止画として記憶する静止画記憶部を
更に備える請求項１に記載の画像処理装置。
【請求項３】
前記タイル選択部は、いずれかの分割領域の特徴値と、前記複数のタイル画像のいずれかのタイル画像との特徴値との差分に基づいて、当て嵌めるタイル画像を選択する
請求項１または２に記載の画像処理装置。
【請求項４】
前記タイル選択部が、前記タイル画像を選択することを条件として、前記動画生成部は、前記タイル画像を当て嵌める動画を生成する
請求項３に記載の画像処理装置。
【請求項５】
当て嵌められてない前記タイル画像を、前記表示部のうち、前記分割領域とは別の領域に表示させるタイル画像表示部を
更に備える請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記動画生成部は、選択された前記タイル画像が当て嵌められた分割領域の表示を、他の前記分割領域と異なる表示とする
請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記タイル画像を提供した提供者の情報を記憶する提供者記憶部を更に備え、
前記動画生成部は、当て嵌められた前記タイル画像の提供者を表示する
請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
請求項１〜７のいずれか１項に記載の画像処理装置と、
前記画像処理装置が接続されたネットワークと、
前記ネットワークに接続され、前記タイル画像を生成するための入力画像を画像処理装置に送信する端末と
を備え、
前記画像処理装置は、前記入力画像に基づいて生成された前記タイル画像が選択された旨、及び、前記タイル画像が当て嵌められた分割領域の位置を、前記入力画像を提供した前記端末に通知する選択通知部を
更に備える画像処理システム。
【請求項９】
請求項１〜７のいずれか１項に記載の画像処理装置と、
タイル画像を生成するための入力画像を撮像する撮像部と
を備える撮像装置。
【請求項１０】
複数のタイル画像のうち、前記複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像を選択するタイル選択段階と、
前記タイル選択段階により選択された前記タイル画像が、前記複数の分割領域のうちの対応する分割領域に当て嵌められる様子を視覚的に示す動画を生成する動画生成段階と、
前記動画生成段階により生成された動画を表示する表示段階と
を備える画像処理方法。
【請求項１１】
複数のタイル画像のうち、前記複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像を選択するタイル選択機能と、
前記タイル選択機能により選択された前記タイル画像が、前記複数の分割領域のうちの対応する分割領域に当て嵌められる様子を視覚的に示す動画を生成する動画生成機能と、
前記動画生成機能により生成された動画を表示する表示機能と
を備えるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、撮像装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
サイズの小さい複数のタイル画像を敷き詰めることによって、モザイク画像を生成する画像処理装置が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］  特開平１１−３４５３０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、ユーザは、完成したモザイク画像を見ることができても、モザイク画像の生成過程を可視化できないといった課題がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様においては、複数のタイル画像のうち、前記複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像を選択するタイル選択部と、前記タイル選択部により選択された前記タイル画像が、前記複数の分割領域のうちの対応する分割領域に当て嵌められる様子を視覚的に示す動画を生成する動画生成部と、前記動画生成部により生成された動画を表示する表示部とを備える画像処理装置を提供する。
【０００５】
本発明の第２の態様においては、上記画像処理装置と、前記画像処理装置が接続されたネットワークと、前記ネットワークに接続され、タイル画像を生成するための入力画像を画像処理装置に送信する端末とを備え、前記画像処理装置は、前記タイル画像を送信した前記端末に、前記タイル画像が選択された旨、及び、前記タイル画像が当て嵌められた分割領域の位置を通知する選択通知部を更に備える画像処理システムを提供する。
【０００６】
本発明の第３の態様においては、上記画像処理装置と、タイル画像を生成するための入力画像を撮像する撮像部とを備える撮像装置を提供する。
【０００７】
本発明の第４の態様においては、複数のタイル画像のうち、前記複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像を選択するタイル選択段階と、前記タイル選択部により選択された前記タイル画像が、前記複数の分割領域のうちの対応する分割領域に当て嵌められる様子を視覚的に示す動画を生成する動画生成段階と、前記動画生成部により生成された動画を表示する表示段階とを備える画像処理方法を提供する。
【０００８】
本発明の第５の態様においては、複数のタイル画像のうち、前記複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像を選択するタイル選択機能と、前記タイル選択部により選択された前記タイル画像が、前記複数の分割領域のうちの対応する分割領域に当て嵌められる様子を視覚的に示す動画を生成する動画生成機能と、前記動画生成部により生成された動画を表示する表示機能とを備えるプログラムを提供する。
【０００９】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置の一例であるモザイク画像生成装置を含むモザイク画像生成システムの機能ブロック図である。
【図２】表示部に表示された対象画像及びタイル画像を説明する図である。
【図３】モザイク画像の生成処理を説明するフローチャートである。
【図４】図２の状態の概略図である。
【図５】１枚目のタイル画像が分割領域のいずれかに当て嵌められた状態の図である。
【図６】２枚目のタイル画像が分割領域のいずれかに当て嵌められた状態の図である。
【図７】タイル画像が交換される状態を説明する図である。
【図８】最終モザイク画像を説明する図である。
【図９】フレーム画像により形成されるモザイク生成過程の動画を説明する図である。
【図１０】タイル画像の当て嵌め動画の開始状態を説明する図である。
【図１１】タイル画像の当て嵌め動画の途中状態を説明する図である。
【図１２】撮像装置の機能ブロックを模式的に示した図である。
【発明を実施するための形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、画像処理装置の一例であるモザイク画像生成装置を含むモザイク画像生成システムの機能ブロック図である。図２は、表示部に表示された対象画像及びタイル画像を説明する図である。図２において、タイル画像は、便宜上、一部空白で記載しているが、実際は、対象画像及びタイル画像は、人物、景色等の何らかの画像である。モザイク画像生成システム１０は、ネットワーク１２と、端末１４と、モザイク画像生成装置１６とを備える。
【００１３】
ネットワーク１２は、端末１４と、モザイク画像生成装置１６とを信号を送受信可能に接続する。端末１４は、例えば、パーソナルコンピュータを適用できる。端末１４は、ネットワーク１２に接続され、タイル画像Ｔを生成するための提供者Ｕの入力画像を、モザイク画像生成装置１６へと送信する。
【００１４】
モザイク画像生成装置１６は、複数のタイル画像Ｔを用いてモザイク画像を生成する。ここでモザイク画像とは、当該モザイク画像よりもサイズの小さい画像である複数のタイル画像Ｔを敷き詰めることにより、全体としても視覚的に意味を持つように形成された画像のことをいう。タイル画像Ｔが撮影画像である場合、モザイク画像は、フォトモザイク画像と呼ばれることもある。
【００１５】
モザイク画像生成装置１６は、ネットワーク１２に接続されている。これにより、モザイク画像生成装置１６は、ネットワーク１２に接続されている端末１４とのデータの送受信をすることができる。モザイク画像生成装置１６が、ネットワーク１２を介して、送受信するデータには、入力画像等が含まれる。
【００１６】
モザイク画像生成装置１６は、対象画像処理部２２と、タイル生成部２４と、特徴値算出部２６と、タイル選択部２８と、選択通知部３０と、動画生成部３２と、記憶部３４と、表示部３６とを備える。モザイク画像生成装置１６の一例は、パーソナルコンピュータである。但し、モザイク画像生成装置１６は、パーソナルコンピュータに限定するものではなく、画像処理を実行できる電子機器であればよい。モザイク画像生成装置１６は、ＣＤ−ＲＯＭ等の記録媒体によりインストールされたプログラム、または、インターネット等のネットワーク１２から提供されたプログラムを実行することにより、後述する対象画像処理部２２〜動画生成部３２の各機能が実現されるように構成してもよい。
【００１７】
対象画像処理部２２は、１枚の静止画、または、動画の１フレームの画像からなる対象画像ＢＧを分割して、分割領域Ａを生成する。尚、対象画像ＢＧとは、モザイク画像の対象となる画像である。対象画像処理部２２は、各分割領域Ａの位置情報及び画像情報を、分割領域Ａと関連付けて、記憶部３４に記憶させる。対象画像処理部２２は、対象画像ＢＧを、ネットワーク１２を介して取得してもよく、ＦＬＡＳＨメモリ等の記憶媒体から取得してもよい。
【００１８】
タイル生成部２４は、入力画像からタイル画像Ｔを生成する。タイル生成部２４は、例えば、ネットワーク１２を介して、端末１４から送信された入力画像を取得する。また、タイル生成部２４は、ＦＬＡＳＨメモリ等の記憶媒体から入力画像を取得する。取得する入力画像は、静止画であっても、動画であってもよい。入力画像が静止画の場合、タイル生成部２４は、１枚の入力画像にサイズ変換処理等を実行することにより、１枚のタイル画像Ｔを生成する。入力画像が動画の場合、タイル生成部２４は、動画の１フレーム画像にサイズ変換処理等を実行することによって、１枚のタイル画像Ｔを生成する。そして、タイル生成部２４は、複数の入力画像から複数のタイル画像Ｔを生成する。
【００１９】
タイル生成部２４は、生成したタイル画像Ｔを記憶部３４に記憶させる。尚、タイル生成部２４は、タイル画像Ｔの提供者Ｕの情報が供給されている場合、タイル画像Ｔに関連付けて、提供者Ｕの情報を記憶部３４に記憶させる。タイル生成部２４は、タイル画像表示部の一例であって、生成した複数のタイル画像Ｔを配列させて表示部３６に表示させる。タイル生成部２４は、タイル画像Ｔを表示部３６に表示させる場合、表示部３６のうち、分割領域Ａとは別の領域に、未だ当て嵌められていないタイル画像Ｔを表示させる。
【００２０】
特徴値算出部２６は、対象画像ＢＧの分割領域Ａの特徴値Ｄｖ、及び、タイル生成部２４によって生成されたタイル画像Ｔの特徴値ＴＤｖを算出して、記憶部３４に記憶させる。例えば、輝度に基づいて特徴値Ｄｖ、ＴＤｖを算出する場合、特徴値Ｄｖ、ＴＤｖは、色を表す基本色のそれぞれについて空間的な平均値を算出することにより得られる。基本色の一例は、ＲＧＢであり、他の例はＹＵＶである。基本色がＲＧＢの場合における分割領域Ａの特徴値Ｄｖの算出方法について説明する。尚、位置を（ｘ，ｙ）として、分割領域の位置を特定する必要がある場合、分割領域を「Ａｘｙ」と記載し、位置を特定する必要がない場合、分割領域を「Ａ」と記載する。下記の式に示すように、分割領域Ａｘｙにおいて赤色を表示している各ドットの階調レベルＤｒの総和（ΣＤｒ）を、分割領域Ａｘｙの総ドット数Ｄｔで除することにより、当該分割領域Ａの赤色の輝度の特徴値Ｒｘｙが算出される。
Ｒｘｙ＝（ΣＤｒ）／Ｄｔ
分割領域Ａｘｙの緑色の特徴値Ｇｘｙ及び青色の特徴値Ｂｘｙに関しても同様に算出される。これにより、当該分割領域Ａｘｙの特徴値Ｄｖｘｙ＝（Ｒｘｙ、Ｇｘｙ、Ｂｘｙ）が算出される。
【００２１】
次に、タイル画像Ｔの特徴値ＴＤｖの算出方法について説明する。尚、「ｎ」を整数として、いずれかのタイル画像であるかを特定する必要がある場合、タイル画像を「Ｔｎ」と記載し、いずれかのタイル画像であるかを特定する必要がない場合、タイル画像を「Ｔ」と記載する。下記の式に示すように、タイル画像Ｔｎの赤色が表示されている各ドットの階調レベルＴＤｒの総和（ΣＴＤｒ）を、１枚のタイル画像Ｔｎの総ドット数ＴＤｔで除することにより、タイル画像Ｔｎの赤色の輝度の特徴値ＴＲｎが算出される。
ＴＲｎ＝（ΣＴＤｒ）／ＴＤｔ
タイル画像Ｔｎの緑色の特徴値ＴＧｎ及び青色の特徴値ＴＢｎに関しても同様に算出される。これにより、当該タイル画像Ｔｎの特徴値ＴＤｖｎ＝（ＴＲｎ、ＴＧｎ、ＴＢｎ）が算出される。
【００２２】
特徴値算出部２６は、算出した複数の特徴値Ｄｖｘｙを該当する分割領域Ａｘｙと関連付けて記憶部３４に記憶させる。また、特徴値算出部２６は、算出した複数の特徴値ＴＤｖｎを該当するタイル画像Ｔｎと関連付けて記憶部３４に記憶させる。
【００２３】
タイル選択部２８は、タイル生成部２４が生成した複数のタイル画像Ｔのうち、複数のタイル画像Ｔを用いて生成すべき対象画像ＢＧを複数に分割した複数の分割領域Ａのそれぞれに対応するタイル画像Ｔを選択する。例えば、タイル選択部２８は、いずれかの分割領域Ａｘｙの特徴値Ｄｖｘｙと、複数のタイル画像Ｔのいずれかのタイル画像Ｔｎとの特徴値ＴＤｖｎとの差分に基づいて、当て嵌めるタイル画像Ｔｎを選択する。これにより、タイル選択部２８は、当該差分の小さいタイル画像Ｔを選択することができる。
【００２４】
動画生成部３２は、タイル選択部２８により選択されたタイル画像Ｔが複数の分割領域Ａのうちの対応する分割領域Ａに当て嵌められる様子を視覚的に示す動画を生成する。例えば、動画生成部３２は、タイル画像Ｔが分割領域Ａに当て嵌められる毎に、それらの画像を動画のフレーム画像ＦＧとして生成する。そして、動画生成部３２は、生成した複数のフレーム画像ＦＧを、タイル画像Ｔが当て嵌められた時間と対応付けた動画として、記憶部３４に記憶させる。動画生成部３２は、タイル選択部２８によって選択されたタイル画像Ｔが新たに当て嵌められた分割領域Ａの表示を、他の分割領域Ａとは異なる表示とする。
【００２５】
動画生成部３２は、当て嵌められたタイル画像Ｔの提供者Ｕを表示部３６に表示する。動画生成部３２は、タイル選択部２８によって選択されたタイル画像Ｔが当て嵌められた最終モザイク画像ＭＧを静止画として静止画記憶部４８に記憶させる。尚、最終モザイク動画ＭＧは、全ての分割領域Ａにタイル画像Ｔが当て嵌められて完成したモザイク画像と、タイル画像Ｔが終了して一部の分割領域Ａにタイル画像Ｔが当て嵌められていない未完の状態のモザイク画像とを含む。動画生成部３２が、フレーム画像ＦＧの画質を最終モザイク画像ＭＧよりも低い画質で生成するようにしてもよい。
【００２６】
選択通知部３０は、タイル選択部２８によってタイル画像Ｔが選択されると、当該入力画像に基づいて生成されたタイル画像Ｔが選択された旨、及び、タイル画像Ｔが当て嵌められた分割領域Ａｘｙの位置（ｘ、ｙ）を、当該入力画像を提供した提供者Ｕの端末１４に通知する。
【００２７】
記憶部３４は、対象画像記憶部４０と、タイル画像記憶部４２と、特徴値記憶部４４と、動画記憶部４６と、静止画記憶部４８と、プログラム記憶部５０とを有する。対象画像記憶部４０は、対象画像処理部２２が生成した対象画像ＢＧ及び分割領域Ａに関する情報を記憶する。タイル画像記憶部４２は、タイル生成部２４が生成した複数のタイル画像Ｔを記憶する。また、タイル画像記憶部４２は、提供者記憶部の一例であって、タイル画像Ｔの提供した提供者Ｕの情報を、当該タイル画像Ｔと関連付けて記憶する。特徴値記憶部４４は、特徴値算出部２６が算出した各分割領域Ａの特徴値Ｄｖと、各タイル画像Ｔの特徴値ＴＤｖとを記憶する。動画記憶部４６は、動画生成部３２が生成した動画を構成する複数のフレーム画像ＦＧを記憶する。静止画記憶部４８は、動画生成部３２が生成した最終モザイク画像ＭＧを記憶する。プログラム記憶部５０は、モザイク画像生成処理を実行するためのプログラムを含む種々のプログラムを記憶する。
【００２８】
表示部３６は、液晶表示装置等が適用される。表示部３６は、タイル生成部２４によって生成されたタイル画像Ｔ、動画生成部３２によって生成されたフレーム画像ＦＧを含む動画、及び、動画生成部３２によって生成された最終モザイク画像ＭＧ等を表示する。
【００２９】
図３は、モザイク画像の生成処理を説明するフローチャートである。モザイク画像の生成処理は、プログラム記憶部５０に記憶されたモザイク画像生成用のプログラムが読み込まれることにより実行される。図４は、図２の状態の概略図である。図３に示すように、モザイク画像の生成処理では、まず、対象画像処理部２２が、対象画像ＢＧをＮ個の分割領域Ａに分割して、図４に示すように、表示部３６に表示させる（Ｓ１０）。尚、対象画像ＢＧの分割総数の「Ｎ」は適宜変更してよい。また、対象画像ＢＧは、分割した後、表示せずに、分割領域Ａのみを表示部３６に表示させてもよい。次に、特徴値算出部２６が、対象画像ＢＧの各分割領域Ａの特徴値Ｄｖを算出して、記憶部３４の特徴値記憶部４４に特徴値Ｄｖを記憶させる（Ｓ１２）。
【００３０】
次に、タイル生成部２４は、処理すべき入力画像が存在するか否かを判定する（Ｓ１４）。タイル生成部２４が、入力画像は存在しないと判定すると（Ｓ１４：Ｎｏ）、タイル画像Ｔを生成できないので、モザイク画像の生成処理は終了する。一方、タイル生成部２４が、入力画像は存在すると判定すると（Ｓ１４：Ｙｅｓ）、入力画像からタイル画像Ｔを生成して、表示部３６に表示する（Ｓ１６）。ここで、タイル生成部２４は、複数のタイル画像Ｔを生成した場合、タイル画像Ｔを一列に配列したタイル列ＴＬとして、分割領域Ａとは異なる領域の表示部３６に表示させる。
【００３１】
次に、特徴値算出部２６は、タイル画像Ｔ（ここではＴ１とする）の特徴値ＴＤｖ１を算出して、記憶部３４の特徴値記憶部４４に記憶させる（Ｓ１８）。次に、タイル選択部２８は、各分割領域Ａの特徴値Ｄｖとタイル画像Ｔ１の特徴値ＴＤｖ１との差分を算出する（Ｓ２０）。ここで、タイル選択部２８は、赤色、緑色、及び青色の輝度の特徴値Ｄｖ、ＴＤｖ１のそれぞれについて差分を算出する。次に、タイル選択部２８は、判定用カウントである「ｉ」に「０」を代入する（Ｓ２２）。
【００３２】
図５は、１枚目のタイル画像が分割領域のいずれかに当て嵌められた状態の図である。次に、タイル選択部２８は、差分が最も小さい分割領域Ａ（ここではＡ３，４とする）に、他のタイル画像Ｔが既に当て嵌められているか否かを判定する（Ｓ２４）。タイル選択部２８は、最も差分の小さい分割領域Ａ３，４にタイル画像Ｔが当て嵌められていないと判定すると（Ｓ２４：Ｎｏ）、図５に示すように、動画生成部３２が、新たなタイル画像Ｔ１を当該分割領域Ａ３，４に当て嵌めて、フレーム画像ＦＧ１を生成する（Ｓ２６）。ここで、動画生成部３２は、タイル画像Ｔ１を当て嵌めた分割領域Ａ３，４を、他の分割領域Ａとは異ならせて表示させてもよい。例えば、分割領域Ａ３，４を異ならせて表示させる方法として、図５に示すように分割領域Ａ３，４の枠を太く表示すること、または、分割領域Ａ３，４を点滅させること等をあげることができる。
【００３３】
この後、動画生成部３２は、当て嵌められたタイル画像Ｔの提供者Ｕを表示部３６に表示するとともに、選択通知部３０は、提供者Ｕの端末１４にタイル画像Ｔ１が選択された旨、及び、タイル画像Ｔ１が当て嵌められた分割領域Ａ３，４の位置（３，４）を通知する（Ｓ２７）。
【００３４】
次に、動画生成部３２は、タイル画像Ｔ１が分割領域Ａ３，４に当て嵌められたフレーム画像ＦＧ１を、モザイク画像を生成中の動画の１フレームとして記憶部３４の動画記憶部４６に記憶させる（Ｓ２８）。
【００３５】
次に、動画生成部３２は、最終モザイク画像ＭＧが完成したか否か、または、タイル画像Ｔが終了したか否かを判定する（Ｓ３０）。動画生成部３２は、最終モザイク画像ＭＧが完成していない、または、タイル画像Ｔが終了していないと判定すると（Ｓ３０：Ｎｏ）、ステップＳ１８に戻って、次のタイル画像Ｔ２について、ステップＳ１８以降の処理が実行される。図６は、２枚目のタイル画像が分割領域のいずれかに当て嵌められた状態の図である。例えば、上記と同様に、ステップＳ２４において、差分が最も小さい分割領域Ａ（ここではＡ６，６とする）にタイル画像Ｔが当て嵌められていない場合（Ｓ２４：Ｎｏ）、図６に示すように、動画生成部３２が、新たなタイル画像Ｔ２を当該分割領域Ａ６，６に当て嵌める（Ｓ２６）。この後、最終モザイク画像ＭＧが完成するか、タイル画像Ｔが終了するまでステップＳ１８に戻って各ステップの処理が実行される。
【００３６】
この後、上述の処理が繰り返されると、多くのタイル画像Ｔが分割領域Ａに当て嵌められていく。そして、当て嵌めようとするタイル画像Ｔｐの差分が最も小さい分割領域Ａ７，６に、タイル画像Ｔｍが既に当て嵌められていると、タイル選択部２８が判定すると（Ｓ２４：Ｙｅｓ）、タイル選択部２８は、既に当て嵌められているタイル画像Ｔｍと分割領域Ａ７，６との差分が、新たなタイル画像Ｔｐと分割領域Ａ７，６との差分よりも小さいか否かを判定する（Ｓ３２）。
【００３７】
図７は、タイル画像が交換される状態を説明する図である。タイル選択部２８が、既に当て嵌められているタイル画像Ｔｍの差分が新たなタイル画像Ｔｐの差分よりも大きいと判定すると（Ｓ３２：Ｎｏ）、図７に示すように、動画生成部３２は、新たなタイル画像Ｔｐを既に当て嵌められているタイル画像Ｔｍと交換して、分割領域Ａ７，６に当て嵌める（Ｓ３４）。
【００３８】
次に、選択通知部３０が、ステップＳ２７と同様のステップＳ３５を実行した後、動画生成部３２は、外されたタイル画像Ｔｍをタイル列ＴＬの最終位置に表示する（Ｓ３６）。その後、ステップＳ２８及びＳ３０が実行されて、最終モザイク画像ＭＧが完成していない場合、及び、タイル画像Ｔが終了していない場合はステップＳ１８に戻る。
【００３９】
一方、ステップＳ３２において、既に当て嵌められているタイル画像Ｔの差分が新たなタイル画像Ｔの差分よりも小さいと、タイル選択部２８が判定すると（Ｓ３２：Ｙｅｓ）、判定用カウントｉを「１」インクリメントする（Ｓ３８）。次に、タイル選択部２８は、判定用カウントｉと分割領域Ａの総数Ｎとを比較する（Ｓ４０）。
【００４０】
タイル選択部２８は、判定用カウントｉが分割領域Ａの総数Ｎと等しくないと判定すると（Ｓ４０：Ｎｏ）、当該タイル画像Ｔに対して、差分が次に小さい分割領域Ａを探索する（Ｓ４２）。この後、タイル選択部２８は、差分が次に小さい分割領域Ａにタイル画像Ａが既に当て嵌められているか否かを判定する（Ｓ４４）。
【００４１】
差分が次に小さい分割領域Ａにタイル画像Ｔが当て嵌められていないと、タイル選択部２８が判定すると（Ｓ４４：Ｎｏ）、ステップＳ２６以降の処理を実行する。一方、差分が次に小さい分割領域Ａにタイル画像Ｔが当て嵌められていると、タイル選択部２８が判定すると（Ｓ４４：Ｙｅｓ）、当該タイル画像Ｔに対して、ステップＳ３２以降の処理が実行される。そして、全ての分割領域Ａにおいて、当該タイル画像Ｔの差分が既に当て嵌められているタイル画像Ｔの差分よりも小さいと、タイル選択部２８が判定することなく、カウンタ判定用ｉが分割領域Ａの総数Ｎになると（Ｓ４０：Ｙｅｓ）、タイル選択部２８が当該タイル画像Ｔを放棄する（Ｓ４６）。この後、次のタイル画像Ｔについて、ステップＳ１８以降の処理が実行される。
【００４２】
図８は、最終モザイク画像を説明する図である。この後、図８に示すように、動画生成部３２によって全ての分割領域Ａにタイル画像Ｔが当て嵌められて、最終モザイク画像ＭＧが完成すると（Ｓ３０：Ｙｅｓ）、動画生成部３２が最終モザイク画像ＭＧを静止画記憶部４８に記憶させて（Ｓ４８）、モザイク画像生成処理は終了する。尚、最終モザイク画像ＭＧは、画質以外の点ではＮ番目のフレーム画像ＦＧＮと同じである。また、最終モザイク画像ＭＧが完成する前に、当て嵌めるタイル画像Ｔが終了した場合も（Ｓ３０：Ｙｅｓ）、モザイク画像生成処理は終了する。
【００４３】
図９は、フレーム画像により形成されるモザイク生成過程の動画を説明する図である。最終モザイク画像ＭＧが完成すると、記憶部３４には、図９に示すように、分割領域Ａにタイル画像Ｔが順に当て嵌められていく状態を示すフレーム画像ＦＧ１〜ＦＧＮが、動画の１フレームとして、タイル画像Ｔが当て嵌められた時間と関連付けて動画記憶部４６に記憶された状態となる。この後、ユーザが、モザイク画像生成過程の動画再生を指示すると、動画生成部３２によって生成された動画を構成するフレーム動画ＦＧが時間順に再生されて、最終モザイク画像ＭＧの生成過程が表示部３６に表示される。尚、最終モザイク画像ＭＧを生成しつつ、モザイク生成過程の動画を再生する場合、各フレーム画像ＦＧが生成される時間よりも、各フレーム画像ＦＧが表示されている時間を長くしてもよい。これにより、モザイク画像生成装置１６の処理能力が速く、各フレーム画像ＦＧの生成時間が極めて短い場合でも、提供者Ｕ等の視聴しているユーザはモザイク生成過程を容易に視認できる。
【００４４】
これにより、複数のタイル画像Ｔのうち、複数のタイル画像Ｔを用いて生成すべき対象画像ＢＧを複数に分割した複数の分割領域Ａのそれぞれに対応するタイル画像Ｔを選択するタイル選択段階と、タイル選択段階により選択されたタイル画像Ｔが、複数の分割領域Ａのうちの対応する分割領域Ａに当て嵌められる様子を視覚的に示す動画を生成する動画生成段階と、動画生成段階により生成された動画を表示する表示段階とが終了する。
【００４５】
尚、上述した図４〜図８におけるＸ軸及びＹ軸とそれぞれの座標は、説明のために記載しており、表示部３６には表示しなくてもよい。また、図４〜図８において、対象画像及びタイル画像は、便宜上、一部空白で記載しているが、実際は、対象画像及びタイル画像は、人物、景色等の何らかの画像である。
【００４６】
上述したように本実施形態によるモザイク画像生成装置１６は、タイル画像Ｔが分割領域Ａに当て嵌められる様子を視覚的に示す動画を生成する動画生成部３２を有する。これにより、モザイク画像生成装置１６は、最終モザイク画像ＭＧが生成する過程を可視化することができる。
【００４７】
モザイク画像生成装置１６は、最終モザイク画像ＭＧを静止画として記憶する静止画記憶部４８を有する。これにより、モザイク画像生成装置１６は、生成過程の動画を構成するフレーム画像ＦＧを再生することなく、最終モザイク画像ＭＧのみを容易に再生することができる。
【００４８】
モザイク画像生成装置１６は、当て嵌められていないタイル画像Ｔをタイル列ＴＬにして、分割領域Ａとは別の領域に表示させるタイル生成部２４を有する。これにより、提供者Ｕは、自己のタイル画像Ｔの順番を容易に視認できる。
【００４９】
モザイク画像生成装置１６は、タイル画像Ｔが当て嵌められた分割領域Ａの表示を他の分割領域Ａと異ならせる動画生成部３２を有する。これにより、ユーザは、新たに当て嵌められたタイル画像Ｔを容易に視認できる。
【００５０】
モザイク画像生成装置１６は、当て嵌められたタイル画像Ｔの提供者Ｕを表示部３６に表示させる動画生成部３２を有する。これにより、提供者Ｕは、容易に自己のタイル画像Ｔが選択されて当て嵌められたことを認識できる。
【００５１】
上述の実施形態の一部を変更した実施形態について説明する。図１０は、タイル画像の当て嵌め動画の開始状態を説明する図である。図１１は、タイル画像の当て嵌め動画の途中状態を説明する図である。タイル選択部２８が、分割領域Ａに当て嵌めるタイル画像Ｔを選択することを条件として、動画生成部３２が、タイル画像Ｔを当て嵌める動画を生成するようにしてもよい。例えば、図１０に示すように、タイル選択部２８が、タイル画像Ｔｐを選択すると、動画生成部３２は、タイル選択部２８によって当て嵌めることが決定したタイル動画Ｔｐを、大きく表示する。次に、図１１に示すように、動画生成部３２は、当て嵌める分割領域Ａ４，４へとタイル画像Ｔｐを、矢印に沿って移動させる。動画生成部３２は、移動させるタイル動画Ｔｐを徐々に小さくして、分割領域Ａ４，４の大きさへと変化させる。ここで、分割領域Ａ４，４に既にタイル動画Ｔｑが当て嵌められている場合、動画生成部３２は、そのタイル動画Ｔｑをタイル列ＴＬの下端へと移動させる。このように、本実施形態では、モザイク生成過程においても、タイル画像Ｔを当て嵌める動画によって、タイル画像Ｔが当て嵌められる過程を可視化することができる。
【００５２】
上述の実施形態では、分割領域Ａを格子状に形成したが、各分割領域を三角形状、ハニカム形状等に形成してもよい。また、モザイク画像を生成している過程において、タイル画像Ｔの枚数が増加した場合、対象画像ＢＧの総分割数Ｎを増加させて、再度、モザイク画像の生成を初期状態から開始してもよい。更に、最終モザイク画像ＭＧが生成過程の動画を、静止画であるフレーム画像ＦＧによって形成するのではなく、動画記録フォーマットに準拠したフレーム画像によって形成してもよい。
【００５３】
上述の実施形態では、１枚のタイル画像Ｔは１個所の分割領域Ａにのみ当て嵌めるとして説明したが、１枚のタイル画像Ｔを複数個所の分割領域Ａに当て嵌めて、最終モザイク画像ＭＧを生成してもよい。また、上述の実施形態では、最終モザイク画像ＭＧが生成されるまでの動画を再生する場合、全てのフレーム画像ＦＧが再生されるとして説明したが、最終モザイク画像ＭＧが生成されるまでのフレーム画像ＦＧの一部を再生するようにしてもよい。また、最終モザイク画像ＭＧのみを再生可能に構成してもよい。
【００５４】
図１２は、撮像装置の機能ブロックを模式的に示した図である。撮像装置１００は、例えば動画または静止画を撮像することができるデジタルカメラであって、さらに上記モザイク画像生成装置１６と同じ機能を有するモザイク画像生成部１１０を備える。例えば、モザイク画像生成部１１０は、図１の対象画像処理部２２、タイル生成部２４、特徴値算出部２６、タイル選択部２８、選択通知部３０、及び、動画生成部３２を有する。
【００５５】
図１２の撮像装置１００は、像光が入力される光学系１１２、当該光学系１１２から入力される像光を電気的信号に変換して出力する撮像素子１１４、および、撮像素子１１４からの出力に基づいて画像処理をする画像処理部１１６を有する。さらに、撮像装置１００は、撮像した画像およびメニュー等を表示するＴＦＴ液晶表示部１１８、動画開始ボタンおよびタイル画像生成指示ボタン等のスイッチ１２０を有する。また、撮像装置１００は各種の記憶装置、例えば、ハードディスクドライブ１２２（以下、ＨＤＤと記載する）、ＦＬＡＳＨメモリ１２４、ＳＤカード１２６、ＳＤＲＡＭ１２８を有する。これらの記憶装置は、図１における記憶部３４としても機能する。
【００５６】
画像処理部１１６は、撮像素子１１４からのデータを受信する撮像素子データ受信部１３０、露出、合焦等の評価値を演算するＡＥ等評価値演算部１３２、撮像素子１１４からの出力をＹＵＶ形式等の画像として生成する画像処理演算部１３４、ＹＵＶ形式等をＪＰＥＧ等に変換する画像コーデック部１３６を有する。さらに画像処理部１１６は、各種のコントローラ、例えば、ＴＦＴ液晶表示部１１８にデータを出力するＴＦＴ液晶データ出力部１３８、スイッチ１２０の操作を検出するスイッチ検出部１４０を有する。画像処理部１１６はさらに、上記のＨＤＤ１２２、ＦＬＡＳＨメモリ１２４、ＳＤカード１２６、ＳＤＲＡＭ１２８をそれぞれ制御する、ＨＤＤコントローラ１４２、ＦＬＡＳＨコントローラ１４４、ＳＤカードＩＦ制御部１４６、ＳＤＲＡＭコントローラ１４８を有する。
【００５７】
画像処理部１１６は、ユーザから動画撮像開始ボタンによる録画の指示が入力されてから終了の指示が入力されるまでの動画を一つの動画ファイルとして生成し、上記いずれかの記憶装置に記憶する。また、画像処理部１１６は、ユーザから静止画撮像開始ボタンによる指示が入力されると、一つの静止画ファイルを生成し、上記いずれかの記憶装置に記憶する。これらの撮像素子１１４によって撮像された動画ファイルの各フレームの画像、及び、静止画ファイルの静止画像が、タイル画像Ｔを生成するための入力画像となる。
【００５８】
動画ファイルが生成された旨の信号が入力されると、モザイク画像生成部１１０のタイル生成部２４は、上記ステップＳ１６を実行して、動画または静止画の入力画像からタイル画像Ｔを生成する。タイル生成部２４は、当該タイル画像Ｔを上記記憶装置に保存する。この場合にタイル生成部２４は、当該タイル画像Ｔを記憶部３４に格納する。
【００５９】
スイッチ１２０からの入力によりモザイク画像生成指示ボタンの操作が検知されて、タイル画像を生成過程の動画が選択された場合に、モザイク画像生成部１１０のタイル生成部２４は、上記ステップＳ１６の動作に先立って、動画ファイル内にタイル画像Ｔの元となる入力画像が格納されているかどうかを判断する。当該動画ファイル内にタイル画像Ｔが格納されている場合に、特徴値算出部２６は当該タイル画像Ｔを読み出して、算出部ＴＤｖに出力する。
【００６０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６２】
１０  モザイク画像生成システム 
１２  ネットワーク 
１４  端末 
１６  モザイク画像生成装置 
２２  対象画像処理部 
２４  タイル生成部 
２６  特徴値算出部 
２８  タイル選択部 
３０  選択通知部 
３２  動画生成部 
３４  記憶部 
３６  表示部 
４０  対象画像記憶部 
４２  タイル画像記憶部 
４４  特徴値記憶部 
４６  動画記憶部 
４８  静止画記憶部 
５０  プログラム記憶部 
１００  撮像装置 
１１０  モザイク画像生成部 
１１２  光学系 
１１４  撮像素子 
１１６  画像処理部 
１１８  ＴＦＴ液晶表示部 
１２０  スイッチ 
１２２  ハードディスクドライブ
１２４  ＦＬＡＳＨメモリ
１２６  ＳＤカード
１２８  ＳＤＲＡＭ 
１３０  撮像素子データ受信部 
１３２  ＡＥ等評価値演算部 
１３４  画像処理演算部 
１３６  画像コーデック部 
１３８  ＴＦＴ液晶データ出力部
１４０  スイッチ検出部 
１４２  ＨＤＤコントローラ 
１４４  ＦＬＡＳＨコントローラ 
１４６  ＳＤカードＩＦ制御部 
１４８  ＳＤＲＡＭコントローラ 
【図１】
2013200676.tif 000003
【図３】
2013200676.tif 000004
【図４】
2013200676.tif 000005
【図５】
2013200676.tif 000006
【図６】
2013200676.tif 000007
【図７】
2013200676.tif 000008
【図８】
2013200676.tif 000009
【図９】
2013200676.tif 000010
【図１０】
2013200676.tif 000011
【図１１】
2013200676.tif 000012
【図１２】
2013200676.tif 000013
【図２】
2013200676.tif 000014