(57)【要約】【課題】美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができるようにする。【解決手段】フォトモザイク画像生成部３０は、制作目標画像の各ブロックの画素値などに基づいてクラス分類を行い、画像データベース５１に蓄積されている画像を同様の方式によりクラス分類し、各ブロックに相応しい画像を選択する。画像要求処理部７０は、制作目標画像の各ブロックのクラス分類結果、および画像データベース５１に蓄積されている画像のクラス分類結果に基づいて、撮像装置１００に対する画像の取得要求のためのリクエストデータを送信する。撮像装置１００は、リクエストデータに基づいて、不足しているクラスの画像であると判定された画像を撮像してフォトモザイク画像生成装置１０に送信する。【選択図】図１
2011055398.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置から出力されるリクエストデータを取得するリクエストデータ取得手段と、
前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定する判定手段と、
前記判定結果をユーザに提示する提示手段と、
前記ユーザにより指令されたタイミングで前記入力画像を保存する保存手段と
を備える撮像装置。
【請求項２】
前記リクエストデータには、予め設定された複数のクラスおよび前記クラスのそれぞれのセンタ値の情報が含まれ、
前記判定手段は、
前記入力画像の代表値と前記センタ値との距離を算出することにより、前記入力画像を前記複数のクラスのいずれかに分類し、
前記入力画像のクラスの画像が不足している旨の情報が前記リクエストデータに含まれている場合、前記入力画像を前記画像処理装置により要求された画像であると判定する
請求項１に記載の撮像装置。
【請求項３】
前記リクエストデータには、前記入力画像を前記複数のクラスのいずれかに分類するための閾値がさらに含まれ、
前記判定手段は、前記入力画像の代表値と前記センタ値との距離が前記閾値以下である場合、前記入力画像を前記センタ値に対応するクラスに分類する
請求項２に記載の撮像装置。
【請求項４】
前記判定手段は、
前記保存手段により既に保存された画像と、前記入力画像との類似度をさらに判定し、
前記入力画像のクラスの画像が不足している旨の情報が前記リクエストデータに含まれている場合、前記類似度が閾値以下であるとき、前記入力画像を前記画像処理装置により要求された画像であると判定する
請求項２に記載の撮像装置。
【請求項５】
前記判定手段により、前記画像処理装置により要求された画像であると判定された前記入力画像を、前記ユーザの指令に係らず保存する自動保存手段をさらに備える
請求項２に記載の撮像装置
【請求項６】
前記保存した入力画像のそれぞれを、フォトモザイク画像の生成に用いられる素材画像として前記画像処理装置に送出する送出手段をさらに備える
請求項１に記載の撮像装置。
【請求項７】
リクエストデータ取得手段が、画像処理装置から出力されるリクエストデータを取得し、
判定手段が、前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定し、
提示手段が、前記判定結果をユーザに提示し、
保存手段が、前記ユーザにより指令されたタイミングで前記入力画像を保存するステップ
を含む撮像方法。
【請求項８】
コンピュータを、
画像処理装置から出力されるリクエストデータを取得するリクエストデータ取得手段と、
前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定する判定手段と、
前記判定結果をユーザに提示する提示手段と、
前記ユーザにより指令されたタイミングで前記入力画像を保存する保存手段とを備える撮像装置として機能させる
プログラム。
【請求項９】
入力画像を、複数のブロックに分割する分割手段と、
前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類するブロック画像クラス分類手段と、
前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類する素材画像クラス分類手段と、
前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較する比較手段と、
前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定する不足画像特定手段と、
前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成するリクエストデータ生成手段と、
前記生成されたリクエストデータを、撮像装置に送出する送出手段と
を備える画像処理装置。
【請求項１０】
前記ブロックのクラスと同じクラスに分類された素材画像のそれぞれと、前記ブロックの画像とを予め決められた基準で照合することにより前記ブロックに貼り付ける素材画像を決定する素材画像決定手段と、
前記ブロックのそれぞれに前記決定された素材画像を貼り付けることで、前記入力画像に対応するフォトモザイク画像を生成するフォトモザイク画像生成手段と
をさらに備える請求項９に記載の画像処理装置。
【請求項１１】
前記素材画像決定手段は、
前記ブロックのクラスに分類された素材画像の画素値と、前記ブロックの画像における対応する画素の画素値の距離に基づいて、前記ブロックに貼り付ける素材画像の適正度を算出することで、前記照合を行う
請求項１０に記載の画像処理装置。
【請求項１２】
前記ブロック画像クラス分類手段は、
前記ブロックの画像の代表値に基づいて、前記複数のクラスのセンタ値を算出するセンタ値算出手段を備え、
前記センタ値と前記ブロックの画像の代表値との距離に基づいて、前記ブロックの画像を前記複数のクラスに分類し、
前記素材画像クラス分類手段は、
前記センタ値と前記素材画像の代表値との距離、および前記距離の閾値に基づいて、前記素材画像を前記複数のクラスに分類する
請求項９に記載の画像処理装置。
【請求項１３】
分割手段が、入力画像を、複数のブロックに分割し、
ブロック画像クラス分類手段が、前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類し、
素材画像クラス分類手段が、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類し、
比較手段が、前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較し、
不足画像特定手段が、前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定し、
リクエストデータ生成手段が、前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成し、
送出手段が、前記生成されたリクエストデータを、撮像装置に送出するステップ
を含む画像処理方法。
【請求項１４】
コンピュータを、
入力画像を、複数のブロックに分割する分割手段と、
前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類するブロック画像クラス分類手段と、
前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類する素材画像クラス分類手段と、
前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較する比較手段と、
前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定する不足画像特定手段と、
前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成するリクエストデータ生成手段と、
前記生成されたリクエストデータを、撮像装置に送出する送出手段とを備える画像処理装置として機能させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および方法、画像処理装置および方法、並びにプログラムに関し、特に、美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができるようにする撮像装置および方法、画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及などに伴い、多くの画像を簡単に撮影することが可能になってきている。
【０００３】
フォトモザイクは、多数の写真をモザイクのように組み合わせて作成した画像であり、従来は、例えば、映画の宣伝用のポスター、企業のロゴなどを用いた商用のものとして作成されることが多かった。フォトモザイクの作成には、多数の画像を用意し、モザイクのタイルとして使用する画像を適切に選択するなど高度な技術が求められる。
【０００４】
しかし、上述のようにデジタルカメラが普及したことや、情報技術の発展に伴い、一般のユーザでも、フォトモザイク画像を作成することが可能となってきた。
【０００５】
上述したように、フォトモザイクは、例えば、多数の写真などの小さい画像をモザイクのタイルとして組み合わせて１枚の大きな画像を作成するものとされる。フォトモザイク画像は、例えば、離れて観察した場合、１枚の写真のように見える一方で、近くで観察した場合は、モザイクのタイルとなる個々の画像が１枚1枚見えるように生成される。
【０００６】
例えば、モザイクのタイルとして同一の画像が多く用いられたフォトモザイク画像は、離れて観察したときに不自然な模様のある画像のように感じられる。特に、人の顔の画像をフォトモザイクにより生成する場合などは、このような不自然な印象を与えるフォトモザイク画像は、品質が低いと言わざるを得ない。
【０００７】
このため、高品質なフォトモザイク画像を生成するためには、モザイクのタイルとして用いることができる写真などの画像が数多く必要であり、このような画像を数多く記憶する画像データベースなどを構築することが求められる。
【０００８】
たとえば、予め用意されたタイル画像から部分画像を切り出すことにより複数のタイル画像を派生させ、モザイクのタイルとして用いる画像の数を増加させることを可能とし、フォトモザイク画像の品質を向上させる技術も提案されている（例えば、特許文献１参照）。
【０００９】
【特許文献１】特開平１１−３４５３１１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１の技術では、既に存在している画像から派生した画像が増えるだけなので、本来制作目標画像に用いるのに相応しい画像を増やすことが保証されていない。すなわち、フォトモザイク画像において制作目標画像のテクスチャを表現できるようにするためには、制作目標画像の各ブロックに貼り付けるのに相応しい画像を用意しておく必要がある。
【００１１】
また、モザイクのタイルとして採用する画像としては、例えば、一面赤や青などの物体が撮影された写真などは相応しくない。フォトモザイク画像は、例えば、離れて観察した場合と、近くで観察した場合とで、観察者の印象が大きく異なるところに美的特徴があるといえるからである。
【００１２】
しかしながら、一般のユーザがそのようなモザイクのタイルとして相応しい画像を意図的に撮影することは困難であり、その結果、画像データベースなどを構築することが難しかった。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の第１の側面は、画像処理装置から出力されるリクエストデータを取得するリクエストデータ取得手段と、前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定する判定手段と、前記判定結果をユーザに提示する提示手段と、前記ユーザにより指令されたタイミングで前記入力画像を保存する保存手段とを備える撮像装置である。
【００１５】
前記リクエストデータには、予め設定された複数のクラスおよび前記クラスのそれぞれのセンタ値の情報が含まれ、前記判定手段は、前記入力画像の代表値と前記センタ値との距離を算出することにより、前記入力画像を前記複数のクラスのいずれかに分類し、前記入力画像のクラスの画像が不足している旨の情報が前記リクエストデータに含まれている場合、前記入力画像を前記画像処理装置により要求された画像であると判定するようにすることができる。
【００１６】
前記リクエストデータには、前記入力画像を前記複数のクラスのいずれかに分類するための閾値がさらに含まれ、前記判定手段は、前記入力画像の代表値と前記センタ値との距離が前記閾値以下である場合、前記入力画像を前記センタ値に対応するクラスに分類するようにすることができる。
【００１７】
前記判定手段は、前記保存手段により既に保存された画像と、前記入力画像との類似度をさらに判定し、前記入力画像のクラスの画像が不足している旨の情報が前記リクエストデータに含まれている場合、前記類似度が閾値以下であるとき、前記入力画像を前記画像処理装置により要求された画像であると判定するようにすることができる。
【００１８】
前記判定手段により、前記画像処理装置により要求された画像であると判定された前記入力画像を、前記ユーザの指令に係らず保存する自動保存手段をさらに備えるようにすることができる。
【００１９】
前記保存した入力画像のそれぞれを、フォトモザイク画像の生成に用いられる素材画像として前記画像処理装置に送出する送出手段をさらに備えるようにすることができる。
【００２０】
本発明の第１の側面は、リクエストデータ取得手段が、画像処理装置から出力されるリクエストデータを取得し、判定手段が、前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定し、提示手段が、前記判定結果をユーザに提示し、保存手段が、前記ユーザにより指令されたタイミングで前記入力画像を保存するステップを含む撮像方法である。
【００２１】
本発明の第１の側面は、コンピュータを、画像処理装置から出力されるリクエストデータを取得するリクエストデータ取得手段と、前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かを判定する判定手段と、前記判定結果をユーザに提示する提示手段と、前記ユーザにより指令されたタイミングで前記入力画像を保存する保存手段とを備える撮像装置として機能させるプログラムである。
【００２２】
本発明の第１の側面においては、画像処理装置から出力されるリクエストデータが取得され、前記リクエストデータに含まれる情報に基づいて、入力画像が前記画像処理装置により要求された画像であるか否かが判定され、前記判定結果がユーザに提示され、前記ユーザにより指令されたタイミングで前記入力画像が保存される。
【００２３】
本発明の第２の側面は、入力画像を、複数のブロックに分割する分割手段と、前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類するブロック画像クラス分類手段と、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類する素材画像クラス分類手段と、前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較する比較手段と、前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定する不足画像特定手段と、前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成するリクエストデータ生成手段と、前記生成されたリクエストデータを、撮像装置に送出する送出手段とを備える画像処理装置である。
【００２４】
前記ブロックのクラスと同じクラスに分類された素材画像のそれぞれと、前記ブロックの画像とを予め決められた基準で照合することにより前記ブロックに貼り付ける素材画像を決定する素材画像決定手段と、前記ブロックのそれぞれに前記決定された素材画像を貼り付けることで、前記入力画像に対応するフォトモザイク画像を生成するフォトモザイク画像生成手段とをさらに備えるようにすることができる。
【００２５】
前記素材画像決定手段は、前記ブロックのクラスに分類された素材画像の画素値と、前記ブロックの画像における対応する画素の画素値の距離に基づいて、前記ブロックに貼り付ける素材画像の適正度を算出することで、前記照合を行うようにすることができる。
【００２６】
前記ブロック画像クラス分類手段は、前記ブロックの画像の代表値に基づいて、前記複数のクラスのセンタ値を算出するセンタ値算出手段を備え、前記センタ値と前記ブロックの画像の代表値との距離に基づいて、前記ブロックの画像を前記複数のクラスに分類し、前記素材画像クラス分類手段は、前記センタ値と前記素材画像の代表値との距離、および前記距離の閾値に基づいて、前記素材画像を前記複数のクラスに分類するようにすることができる。
【００２７】
本発明の第２の側面は、分割手段が、入力画像を、複数のブロックに分割し、ブロック画像クラス分類手段が、前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類し、素材画像クラス分類手段が、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類し、比較手段が、前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較し、不足画像特定手段が、前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定し、リクエストデータ生成手段が、前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成し、送出手段が、前記生成されたリクエストデータを、撮像装置に送出するステップを含む画像処理方法である。
【００２８】
本発明の第２の側面は、コンピュータを、入力画像を、複数のブロックに分割する分割手段と、前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれを、予め設定された複数のクラスに分類するブロック画像クラス分類手段と、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像を前記複数のクラスに分類する素材画像クラス分類手段と、前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とを比較する比較手段と、前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数を特定する不足画像特定手段と、前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータを生成するリクエストデータ生成手段と、前記生成されたリクエストデータを、撮像装置に送出する送出手段とを備える画像処理装置として機能させるプログラムである。
【００２９】
本発明の第２の側面においては、入力画像が、複数のブロックに分割され、前記分割された各ブロックの画像の代表値に基づいて、前記ブロックのそれぞれが、予め設定された複数のクラスに分類され、前記ブロックに貼り付けるための画像として記憶されている複数の素材画像が前記複数のクラスに分類され、前記複数のクラスのそれぞれに分類された前記ブロックの数と前記複数のクラスのそれぞれに分類された前記素材画像の数とが比較され、前記比較の結果に基づいて、前記素材画像が不足しているクラスおよび不足する前記素材画像の数が特定され、前記特定されたクラスおよび前記素材画像の数、並びに前記クラスのセンタ値を含むリクエストデータが生成され、前記生成されたリクエストデータが、撮像装置に送出される。
【発明の効果】
【００３０】
本発明によれば、美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施の形態に係るフォトモザイク画像生成システムの構成例を示すブロック図である。
【図２】図１のフォトモザイク画像生成部の詳細な構成例を示すブロック図である。
【図３】Ｎ近傍の制約を説明する図である。
【図４】図１の画像要求処理部の詳細な構成例を示すブロック図である。
【図５】画像生成処理の例を説明するフローチャートである。
【図６】制作目標画像の例を示す図である。
【図７】制作目標画像の各ブロックを、それぞれのブロックの代表値を有する画素により塗りつぶした画像の例である。
【図８】クラス分類処理の例を説明するフローチャートである。
【図９】図７に示されるブロックのそれぞれがクラス分類された例を示す画像である。
【図１０】置換画像決定処理の例を説明するフローチャートである。
【図１１】フォトモザイク画像の例を示す図である。
【図１２】素材画像要求処理の例を説明するフローチャートである。
【図１３】要求生成処理の例を説明するフローチャートである。
【図１４】図１の撮像装置の詳細な構成例を示すブロック図である。
【図１５】画像取得処理の例を説明するフローチャートである。
【図１６】図１の撮像装置の別の詳細な構成例を示すブロック図である。
【図１７】画像取得処理の別の例を説明するフローチャートである。
【図１８】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３２】
以下、図面を参照して、本発明の実施の形態について説明する。
【００３３】
図１は、本発明の一実施の形態に係るフォトモザイク画像生成システムの構成例を示すブロック図である。
【００３４】
フォトモザイクは、例えば、多数の写真などの小さい画像をモザイクのように組み合わせて１枚の大きな画像を作成するものとされる。フォトモザイク画像は、例えば、離れて観察した場合、１枚の写真のように見える一方で、近くで観察した場合は、モザイクのタイルとなる個々の画像が１枚1枚見えるように生成される。
【００３５】
同図に示されるように、フォトモザイク生成システムは、フォトモザイク画像生成装置１０、および撮像装置１００により構成されている。
【００３６】
フォトモザイク画像生成装置１０のフォトモザイク画像生成部３０は、入力された制作目標画像をブロックに分割する。ブロックは、例えば、同一のサイズの矩形の形状とされ、それぞれのブロックに、モザイクのタイルとなる画像が１枚貼り付けられるようになされている。
【００３７】
そして、フォトモザイク画像生成部３０は、それらのブロックに相応しい画像を選択して張り付けるようになされている。
【００３８】
フォトモザイク画像生成部３０は、例えば、画像データベース５１に蓄積されている画像の中から制作目標画像の各ブロックに相応しい画像を選択する。あるいはまた、フォトモザイク画像生成部３０は、例えば、ネットワークなどにより接続されたサーバに蓄積されている画像の中から制作目標画像の各ブロックに相応しい画像を選択するようにしてもよい。
【００３９】
すなわち、画像データベース５１に蓄積されている画像などの画像は、モザイクのタイルとして利用するための画像であって、いわば、フォトモザイク画像の素材となる画像である。
【００４０】
フォトモザイク画像生成部３０は、後述するように、制作目標画像の各ブロックの画素値などに基づいてクラス分類を行うようになされている。これにより、制作目標画像の各ブロックが、例えば、５つのクラスに分類される。また、フォトモザイク画像生成部３０は、例えば、画像データベース５１に蓄積されている画像を同様の方式により、例えば、５つのクラスに分類する。
【００４１】
そして、フォトモザイク画像生成部３０は、制作目標画像の各ブロックの画像と、そのブロックのクラスに分類された画像データベース５１の画像との照合を行なって、画像データベース５１に蓄積された画像の中から１枚の画像を選択するようになされている。
【００４２】
フォトモザイク画像生成部３０は、上述のように選択された画像をモザイクのタイルとして制作目標画像の各ブロックに貼り付ける。これにより、出力画像としてフォトモザイク画像が出力されるようになされている。
【００４３】
画像要求処理部７０は、フォトモザイク画像生成部３０による制作目標画像の各ブロックのクラス分類結果、および画像データベース５１に蓄積されている画像のクラス分類結果に基づいて、撮像装置１００に対する画像の取得要求のための情報を生成する。
【００４４】
画像要求処理部７０は、例えば、それぞれのクラスに分類された制作目標画像のブロックの数と、それぞれのクラスに分類された画像データベース５１の画像の数とを比較する。そして、画像要求処理部７０は、画像データベース５１の画像において不足しているクラスを特定する。さらに、画像要求処理部７０は、不足しているクラスの画像を取得するために必要となる情報を、リクエストデータとして生成し、例えば、無線通信などを行うことで、撮像装置１００に送信する。
【００４５】
なお、画像処理部７０による撮像装置１００との通信は、有線通信、メモリカードなどを介して行われるようにしてもよい。
【００４６】
撮像装置１００は、例えば、デジタルカメラなどとして構成される。撮像装置１００は、フォトモザイク画像生成装置１０から送信されたリクエストデータに基づいて、画像を撮像して保存し、例えば、無線通信などにより、保存した画像をフォトモザイク画像生成装置１０に送信するようになされている。
【００４７】
撮像装置１００は、例えば、上述した不足しているクラスの画像を撮像できるようになされている。すなわち、撮像装置１００は、レンズなどを介して集光された光により構成される画像を、予めクラス分類するなどし、その画像が不足しているクラスの画像であるか否かを判定することができるようになされている。そして撮像装置１００は、不足しているクラスの画像であると判定された画像を撮像してフォトモザイク画像生成装置１０に送信する。送信された画像は、フォトモザイク画像生成装置１０の画像データベース５１に記憶されるようになされている。
【００４８】
図２は、図１のフォトモザイク画像生成部３０の詳細な構成例を示すブロック図である。
【００４９】
同図に示されるように、フォトモザイク画像生成部３０は、ブロック分割部３１、代表値決定部３２、クラスセンタ値算出部３３、および制作目標画像クラス分類部３４を含む構成とされている。また、フォトモザイク画像生成部３０はさらに、置換画像決定部３５、画像置換部３６、画像データベースクラス分類部３７、および蓄積メモリ３８を含む構成とされている。
【００５０】
ブロック分割部３１は、制作目標画像をブロックに分割する。ここで、ブロックは、例えば、同一のサイズの矩形の形状とされ、それぞれのブロックに、モザイクのタイルとなる画像が１枚貼り付けられるようになされている。
【００５１】
ブロック分割部３１は制作目標画像を、例えば、水平方向３２０画素、垂直方向２４０画素で構成される矩形のブロックに分割するようになされている。
【００５２】
代表値決定部３２は、ブロック分割部３１により分割された各ブロックの代表値をそれぞれ決定する。ここで代表値は、例えば、そのブロックの画素値の平均値とされるようにしてもよいし、ブロックの中央の座標位置の画素値とされるようにしてもよい。あるいはまた、ブロック内において予め決められた座標位置の画素値の平均値が代表値とされるようにしてもよい。
【００５３】
クラスセンタ値算出部３３は、例えば、K-means法などのクラスタリング手法によりクラス分類するために必要となる各クラスのセンタ値を算出する。後述する制作目標画像クラス分類部３４、および画像データベースクラス分類部３７では、クラスセンタ値算出部３３により算出されたセンタ値に基づくクラス分類が行われるようになされている。
【００５４】
制作目標画像クラス分類部３４、および画像データベースクラス分類部３７で５つのクラスに分類される場合、クラスセンタ値算出部３３は、例えば、制作目標画像の端部の５つのブロックの代表値をそれぞれ５つのクラスのセンタ値として仮設定する。その後、クラスセンタ値算出部３３は、各クラスのセンタ値と代表値とを比較することにより、各ブロックを５つのクラスに分類する。
【００５５】
クラスセンタ値算出部３３は、例えば、上述したように仮設定されたセンタ値に対応する画素値と、各ブロックの代表値に対応する画素値のＲＧＢ成分のそれぞれの差分絶対値二乗和を計算して、各クラスのセンタ値とブロックの代表値との距離を求める。そして、クラスセンタ値算出部３３は、最も距離の近いクラスにそのブロックを分類する。
【００５６】
このようにして、所定の個数のブロックが分類された後、クラスセンタ値算出部３３は、例えば、各クラスの全ブロックの代表値の平均値を算出するなどして、各クラスのセンタ値をあらためて仮設定する。そして、クラスセンタ値算出部３３は、上述した場合と同様に、各クラスのセンタ値とブロックの代表値との距離を求めて、ブロックの分類を再度行なう。
【００５７】
クラスセンタ値算出部３３は、例えば、このようにブロックの分類の処理を予め決められた回数に達するまで実行する。その後、クラスセンタ値算出部３３は、各クラスの全ブロックの代表値の平均値を算出するなどして得られた値を、それぞれのクラスの最終的なセンタ値として、制作目標画像クラス分類部３４、および画像データベースクラス分類部３７に供給するようになされている。
【００５８】
また、クラスセンタ値算出部３３により算出された各クラスのセンタ値は、画像要求処理部７０にも供給されるようになされている。
【００５９】
センタ値は、例えば、クラス毎にＲＧＢ成分のそれぞれの値として算出される。例えば、クラス１、クラス２、クラス３、・・・に分類される場合、クラス１のセンタ値は、(235.9444, 147.9211, 71.6848)とされ、クラス２のセンタ値は、(177.6508, 115.0474, 61.7452)とされ、クラス３のセンタ値は、(76.7123, 63.5517, 42.3792)とされ、・・・のように算出される。上述のセンタ値における３つの要素が、それぞれ、Ｒ成分、Ｇ成分、Ｂ成分の値を表している。
【００６０】
なお、上述したセンタ値の算出の方式は、一例であり、他の方式により各クラスのセンタ値が求められるようにしても構わない。
【００６１】
制作目標画像クラス分類部３４は、クラスセンタ値算出部３３から供給された各クラスのセンタ値に基づいて、ブロック分割部３１により分割された各ブロックの画像をクラス分類する。制作目標画像クラス分類部３４による分類は、例えば、上述した場合と同様に、各クラスのセンタ値と、各ブロックの代表値との距離を求めることにより行なわれる。
【００６２】
制作目標画像クラス分類部３４による各ブロックの画像のクラス分類の結果は、置換画像決定部３５、および画像要求処理部７０に供給されるようになされている。
【００６３】
画像データベースクラス分類部３７は、クラスセンタ値算出部３３から供給された各クラスのセンタ値に基づいて、例えば、画像データベース５１の画像をクラス分類するようになされている。
【００６４】
画像データベースクラス分類部３７による分類は、例えば、上述した場合と同様に、各クラスのセンタ値と、データベースの各画像の代表値との距離を求めることにより行なわれる。ただし、画像データベースクラス分類部３７による分類では、最も近いクラスのセンタ値と、データベースの各画像の代表値との距離が閾値を超えている場合、その画像はいずれのクラスにも分類されないようになされている。
【００６５】
画像データベースクラス分類部３７による分類に用いられる閾値は、例えば、分類された画像の数に応じて変更されるようになされている。これにより、例えば、所定のクラスに分類された画像の数が極端に少ない場合などは、閾値を大きくすることで、そのクラスに分類される画像の数を増やすようにすることができる。
【００６６】
このように、画像データベースクラス分類部３７は、例えば、一度分類された画像の数をクラス毎にチェックし、所定のクラスに分類された画像の数が基準値に満たないと判定された場合は、閾値を変更して再度クラス分類を行うようにしてもよい。
【００６７】
なお、このように閾値を変更した結果、同一の画像が複数のクラスに属するように分類されてしまっても構わない。
【００６８】
画像データベースクラス分類部３７によりクラス分類された画像は、それぞれ分類されたクラスと対応付けられて蓄積メモリ３８に記憶されるようになされている。
【００６９】
また、画像データベースクラス分類部３７による画像データベース５１の画像のクラス分類の結果は、画像要求処理部７０にも供給されるようになされている。
【００７０】
なお、画像データベース５１に記憶されている画像から、ブレやボケを除去するフィルタ処理がさらに施されて、それぞれ分類されたクラスと対応付けられて蓄積メモリ３８に記憶されるようにしてもよい。
【００７１】
このようにすることで、出来上がったフォトモザイク画像をさらに美しいものとすることができる。
【００７２】
置換画像決定部３５は、制作目標画像クラス分類部３４によりクラス分類されたブロックの画像と、蓄積メモリ３８に記憶されている画像であって、そのブロックのクラスの画像群とを、例えば、次に示されるような式を用いた計算により照合する処理を実行するようになされている。
【００７３】
画像を照合する処理では、例えば、まず式（１）の演算を行って、Δｃの算出が行なわれる。
【００７４】
【数１】
2011055398.tif 000003
・・・（１）
【００７５】
ここで、ΔＲ、ΔＧ、およびΔＢは、それぞれブロックの画像の所定の１つの画素と、蓄積メモリ３８に記憶されている画像において対応する画素の画素値のＲＧＢ成分の値の差分を表している。また、Ｃ1RとＣ2Rは、それぞれブロックの画像の所定の１つの画素のＲ成分の値と、蓄積メモリ３８に記憶されている画像において対応する画素の画素値のＲ成分の値を表している。
【００７６】
なお、式（１）によりΔｃの算出は、例えば、ブロックの画像を構成する画素の全てについて行なわれる。例えば、ブロック内の座標位置xyで表される画素のそれぞれについてΔｃが算出される。
【００７７】
そして、画像を照合する処理では、式（２）の演算が行われてＣの算出が行なわれる。すなわち、式（１）により算出されたΔｃがブロック内の全画素分合計される。
【００７８】
【数２】
2011055398.tif 000004
・・・（２）
【００７９】
式（２）により算出されたＣの値が、蓄積メモリ３８に記憶されている画像と対応付けられて記憶され、置換画像決定部３５は、蓄積メモリ３８に記憶されている画像のそれぞれについてＣの値の大小を比較する。すなわち、Ｃの値は、その画像が当該ブロックに貼り付ける画像としてどれだけ相応しいか（適正度）を表す値となり、Ｃの値が小さいほど適正な画像であるといえる。
【００８０】
なお、式（１）と式（２）の演算は、制作目標画像のブロックの画素と画像データベースの画素を間引いてから行なわれるようにしてもよい。このようにすることで、例えば、演算量を低減させることができ、処理時間を短縮することができる。
【００８１】
また、上述した画像を照合する処理は一例であり、他の方式により画像の照合が行なわれるようにしてもよい。要は、代表値によりクラス分類された画像データベースの画像の中で、制作目標画像の各ブロックのテクスチャを表現するのに相応しい画像が当該ブロックに貼り付ける（置換する）画像として決定されるようにすればよい。
【００８２】
置換画像決定部３５は、例えば、上述のＣの値が最も小さい値となった画像を、当該ブロックに貼り付ける（置換する）画像として決定するようになされている。置換画像決定部３５は、このように決定された画像を、画像置換部３６に供給する。
【００８３】
画像置換部３６は、置換画像決定部３５から供給された画像を、当該ブロックの画像と置換する。このように、全てのブロックの画像が置換画像決定部３５から供給された画像と置換されることによりモザイク画像が生成されるのである。
【００８４】
なお、置換画像決定部３５は、例えば、蓄積メモリ３８に記憶されている画像に所定のフラグを設定することにより、同じ画像が重複して使用されないように置換画像を決定するようになされている。例えば、蓄積メモリ３８に記憶されている画像のうち、同一クラスに分類された全ての画像にフラグが設定されるまでは、まだフラグの設定されていない画像を置換画像として決定するようになされている。同一クラスに分類された全ての画像にフラグが設定された場合、そのクラスの画像のフラグが全てクリアされるようになされている。
【００８５】
あるいはまた、置換画像決定部３５が、フラグが設定された画像を全く使用しないのではなく、Ｎ近傍でのみ使用しないという制約を設けるようにしてもよい。ここでＮ近傍とは、１つのブロックに隣接するＮ個のブロックを意味している。Ｎの値としては、例えば、８、２４などが想定される。
【００８６】
例えば、Ｎの値が８である場合、Ｎ近傍の制約は、例えば、図３に示されるようになる。図３において、各矩形が制作目標画像の各ブロックを表している。例えば、図３に示されるように、図中中央の黒い矩形で示されるブロックに使用された画像は、図中ハッチングで示される８個のブロックには使用されないようになされている。すなわち、Ｎ近傍の制約がある場合、置換画像決定部３５が、図中ハッチングで示される８個のブロックに貼り付ける画像を、黒い矩形で示されるブロックに使用された画像以外の画像の中から決定することになる。
【００８７】
このようにすることで、例えば、モザイクのタイルとして使用できる画像の数が限られていても美しいモザイク画像を生成することが可能となる。
【００８８】
従来は、例えば、ブロックに貼り付ける画像データベースの画像を決定するにあたり代表値のみを使用しているため、生成されたフォトモザイク画像において制作目標画像のテクスチャを表現できないことが多かった。また、制作目標画像のテクスチャを表現できるように、ブロックの画像と画像データベースの画像と照合する場合、制作目標画像の各ブロックについて、画像データベースの全画像との照合を行わなければならないので、演算量が多く処理に時間がかかっていた。
【００８９】
これに対して、本発明では、制作目標画像の各ブロックをクラス分類し、同じセンタ値を用いて画像データベースの画像をクラス分類し、同一のクラスの画像のみ照合するようにした。これにより、本発明では、生成されたフォトモザイク画像において制作目標画像のテクスチャを表現でき、かつ演算量を削減し処理時間を短縮できるようになった。
【００９０】
図４は、図１の画像要求処理部７０の詳細な構成例を示すブロック図である。
【００９１】
同図に示されるように、画像要求処理部７０は、画像データベースカウンタ７１、制作目標画像カウンタ７２、比較部７３、および、要求生成部７４により構成されている。
【００９２】
画像データベースカウンタ７１は、画像データベースクラス分類部３７による画像データベース５１の画像のクラス分類の結果に基づいて、各クラスに分類された画像の数をカウントするようになされている。
【００９３】
制作目標画像カウンタ７２は、制作目標画像クラス分類部３４による各ブロックの画像のクラス分類の結果に基づいて、各クラスに分類されたブロックの数をカウントするようになされている。
【００９４】
比較部７３は、制作目標画像カウンタ７２によりカウントされたブロックの数と、画像データベースカウンタ７１によりカウントされた画像の数とを比較する。すなわち、比較部７３は、それぞれのクラスに分類された制作目標画像のブロックの数と、それぞれのクラスに分類された画像データベース５１の画像の数とを比較する。そして、比較部７３は、画像データベース５１の画像において不足しているクラスを特定する。
【００９５】
比較部７３は、例えば、上述の比較の結果、画像データベース５１の画像が、どのクラスにおいて何枚不足しているかを表す情報を要求生成部７４に供給する。
【００９６】
要求生成部７４は、比較部７３から供給された情報と、クラスセンタ値算出部３３により算出された各クラスのセンタ値に基づいてリクエストデータを生成するようになされている。すなわち、要求生成部７４は、画像データベース５１の画像が、どのクラスにおいて何枚不足しているかを表す情報と、その不足しているクラスのセンタ値とを含むリクエストデータを生成する。なお、画像データベースクラス分類部３７による分類に用いられる閾値も、リクエストデータに含まれるようにしてもよい。
【００９７】
要求生成部７４により生成されたリクエストデータが、上述したように、不足しているクラスの画像を取得するために必要となる情報として、例えば、無線通信などにより撮像装置１００に送信されることになる。
【００９８】
このように、画像要求処理部７０は、フォトモザイク画像を生成するために必要となる画像データベース５１の画像において、不足しているクラスの画像を取得するために必要となる情報を撮像装置１００に送信することができる。これにより、撮像装置１００は、フォトモザイク画像を生成するために必要となる画像データベース５１の画像において、不足しているクラスの画像を撮像して取得することができる。
【００９９】
従来、例えば、画像データベースの画像が充分に用意されていない場合、多くの重複が発生し、生成されたフォトモザイク画像の品質が劣化するという問題があった。
【０１００】
例えば、モザイクのタイルとして同一の画像が多く用いられたフォトモザイク画像は、離れて観察したときに不自然な模様のある画像のように感じられる。特に、人の顔の画像をフォトモザイクにより生成する場合などは、このような不自然な印象を与えるフォトモザイク画像は、品質が低いと言わざるを得ない。
【０１０１】
本発明では、例えば、所定のクラスに分類された画像の数が少ない場合などは、撮像装置１００に対して、そのクラスの画像の取得を要求することができる。
【０１０２】
次に、図５のフローチャートを参照して、図１のフォトモザイク画像生成部３０による画像生成処理の詳細な例について説明する。
【０１０３】
ステップＳ６１において、フォトモザイク画像生成部３０のブロック分割部３１は、制作目標画像をブロックに分割する。このとき、ブロック分割部３１は、制作目標画像を、例えば、水平方向３２０画素、垂直方向２４０画素で構成される矩形のブロックに分割する。
【０１０４】
ステップＳ６２において、代表値決定部６２は、ステップＳ６１の処理で分割された各ブロックの代表値をそれぞれ決定する。ここで代表値は、例えば、そのブロックの画素値の平均値とされるようにしてもよいし、ブロックの中央の座標位置の画素値とされるようにしてもよい。あるいはまた、ブロック内において予め決められた座標位置の画素値の平均値が代表値とされるようにしてもよい。
【０１０５】
図６と図７は、ブロック分割および代表値の決定を説明する図である。
【０１０６】
例えば、図６に示されるような画像が制作目標画像として入力された場合、ステップＳ６１の処理では、同図に示される画像が水平方向３２０画素、垂直方向２４０画素で構成される矩形のブロックに分割される。いまの場合、人物の顔の画像である図６に示されるような画像が制作目標画像とされている。
【０１０７】
そして、ステップＳ６２の処理では、各ブロックの代表値が決定される。図７は、ブロックを分かり易くするために、制作目標画像の各ブロックを、それぞれのブロックの代表値を有する画素により塗りつぶした画像の例である。同図に示されるように、図７に示される人物の顔の画像が矩形のブロックに分割されている。
【０１０８】
図５に戻って、ステップＳ６３において、制作目標画像クラス分類部３４および画像データベースクラス分類部３７は、クラス分類処理を実行する。このとき、クラスセンタ値算出部３３、制作目標画像クラス分類部３４および画像データベースクラス分類部３７は、ステップＳ６２の処理で決定された各ブロックの代表値に基づいて各ブロックの画像と画像データベース５１の画像をそれぞれクラス分類する。
【０１０９】
ここで、図８のフローチャートを参照して、図５のステップＳ６３のクラス分類処理の詳細な例について説明する。
【０１１０】
ステップＳ８１において、クラスセンタ値算出部３３は、クラスを設定する。このとき、例えば、５つのクラスが設定される。
【０１１１】
ステップＳ８２において、クラスセンタ値算出部３３は、例えば、K-means法などのクラスタリング手法によりクラス分類するために必要となる各クラスのセンタ値を算出する。
【０１１２】
このとき、クラスセンタ値算出部３３は、例えば、制作目標画像の端部の５つのブロックの代表値をそれぞれステップＳ８１の処理で設定された５つのクラスのセンタ値として仮設定する。その後、クラスセンタ値算出部３３は、各クラスのセンタ値と代表値とを比較することにより、各ブロックを５つのクラスに分類する。
【０１１３】
クラスセンタ値算出部３３は、例えば、上述したように仮設定されたセンタ値に対応する画素値と、各ブロックの代表値に対応する画素値のＲＧＢ成分のそれぞれの差分絶対値二乗和を計算して、各クラスのセンタ値とブロックの代表値との距離を求める。そして、クラスセンタ値算出部３３は、最も距離の近いクラスにそのブロックを分類する。
【０１１４】
このようにして、所定の個数のブロックが分類された後、クラスセンタ値算出部３３は、例えば、各クラスの全ブロックの代表値の平均値を算出するなどして、各クラスのセンタ値をあらためて仮設定する。そして、クラスセンタ値算出部３３は、上述した場合と同様に、各クラスのセンタ値とブロックの代表値との距離を求めて、ブロックの分類を再度行なう。
【０１１５】
クラスセンタ値算出部３３は、例えば、このようにブロックの分類の処理を予め決められた回数に達するまで実行する。その後、クラスセンタ値算出部３３は、各クラスの全ブロックの代表値の平均値を算出するなどして得られた値を、それぞれのクラスの最終的なセンタ値として特定する。
【０１１６】
ステップＳ８２の処理では、例えば、このようにして各クラスのセンタ値が特定される。
【０１１７】
ステップＳ８３において、制作目標画像クラス分類部３４は、ステップＳ８２の処理で特定された各クラスのセンタ値に基づいて、ステップＳ６１の処理で分割された各ブロックの画像をクラス分類する。制作目標画像クラス分類部３４による分類は、例えば、上述した場合と同様に、各クラスのセンタ値と、各ブロックの代表値との距離を求めることにより行なわれる。
【０１１８】
これにより、例えば、図７に示されるように、ブロックに分割された画像の各ブロックが、図９に示されるようにクラス分類される。図９は、図７に示されるブロックのそれぞれがステップＳ８３の処理を経てクラス分類された例を示す画像である。
【０１１９】
同図においては、各ブロックのクラスを、図中のハッチングのパターンにより表現している。同図の例では、制作目標画像の各ブロックがクラス１乃至クラス５の５つのクラスに分類されている。
【０１２０】
ステップＳ８４において、画像データベースクラス分類部３７は、ステップＳ８２の処理で特定された各クラスのセンタ値に基づいて、例えば、画像データベース５１の画像をクラス分類する。
【０１２１】
このとき、画像データベースクラス分類部３７は、例えば、上述した場合と同様に、各クラスのセンタ値と、データベースの各画像の代表値との距離を求めることによりクラス分類する。ただし、ステップＳ８４の処理では、最も近いクラスのセンタ値と、データベースの各画像の代表値との距離が閾値を超えている場合、その画像はいずれのクラスにも分類されないようになされている。
【０１２２】
なお、上述したように、画像データベースクラス分類部３７による分類に用いられる閾値は、例えば、分類された画像の数に応じて変更されるようになされている。これにより、例えば、所定のクラスに分類された画像の数が極端に少ない場合などは、閾値を大きくすることで、そのクラスに分類される画像の数を増やすようにすることができる。
【０１２３】
ステップＳ８４の処理でクラス分類された画像は、それぞれ分類されたクラスと対応付けられて蓄積メモリ３８に記憶されるようになされている。
【０１２４】
このようにしてクラス分類処理が実行される。
【０１２５】
図５に戻って、ステップＳ６３の処理の後、ステップＳ６４において、置換画像決定部３５は、置換画像決定処理を実行する。これにより、制作目標画像の各ブロックの画像が、画像データベース５１の画像に置き換えられて、フォトモザイク画像が生成されることになる。
【０１２６】
ここで、図１０のフローチャートを参照して、図５のステップＳ６４の置換画像決定処理の詳細な例について説明する。
【０１２７】
ステップＳ１０１において、置換画像決定部３５は、制作目標画像のブロックのうち、１つのブロックを抽出する。
【０１２８】
ステップＳ１０２において、置換画像決定部３５は、ステップＳ１０１で抽出したブロックについて、ステップＳ６３の処理によりクラス分類されたクラスを特定する。
【０１２９】
ステップＳ１０３において、置換画像決定部３５は、当該ブロックの画像と、画像データベース５１から読み出され、蓄積メモリ３８に記憶されている画像であって、ステップＳ１０２の処理で特定されたクラスの画像群とを照合する。
【０１３０】
このとき、例えば、次のような計算により照合する処理が実行される。
【０１３１】
例えば、上述したように、式（１）の演算を行って、Δｃの算出が行なわれ、式（２）の演算が行われてＣの算出が行なわれる。すなわち、式（１）により算出されたΔｃがブロック内の全画素分合計される。
【０１３２】
なお、式（１）と式（２）の演算は、制作目標画像のブロックの画素と画像データベースの画素を間引いてから行なわれるようにしてもよい。このようにすることで、例えば、演算量を低減させることができ、処理時間を短縮することができる。
【０１３３】
そして、このような照合がステップＳ１０２の処理で特定されたクラスの画像のそれぞれについて行われ、式（２）により算出されたＣの値が、蓄積メモリ３８に記憶されている画像と対応付けられて記憶される。
【０１３４】
ステップＳ１０４において、置換画像決定部３５は、ステップＳ１０３の処理結果に基づいて、当該ブロックに貼り付ける画像を選択する。
【０１３５】
このとき、例えば、置換画像決定部３５は、蓄積メモリ３８に記憶されている画像のそれぞれについてＣの値の大小を比較する。そして、置換画像決定部３５は、例えば、上述のＣの値が最も小さい値となった画像を、当該ブロックに貼り付ける（置換する）画像として決定する。
【０１３６】
ステップＳ１０５において、置換画像決定部３５は、ステップＳ１０４の処理で選択された画像にフラグを設定する。これにより、以後のステップＳ１０３の処理では、フラグが設定された画像は除外されて、照合が行なわれるようになる。
【０１３７】
例えば、蓄積メモリ３８に記憶されている画像のうち、同一クラスに分類された全ての画像にフラグが設定されるまでは、まだフラグの設定されていない画像を置換画像として決定するようになされている。同一クラスに分類された全ての画像にフラグが設定された場合、そのクラスの画像のフラグが全てクリアされるようになされている。
【０１３８】
ステップＳ１０６において、置換画像決定部３５は、次のブロックがあるか否かを判定する。すなわち、まだ置換画像の決定（選択）がなされていない制作目標画像のブロックがあるか否かを判定する。
【０１３９】
ステップＳ１０６において、次のブロックがあると判定された場合、処理は、ステップＳ１０１に戻り、それ以後の処理が繰り返し実行される。
【０１４０】
ステップＳ１０６において、次のブロックがないと判定された場合、置換画像決定処理は終了する。
【０１４１】
なお、ここでは、フラグが設定されることにより、同じ画像が重複して使用されないように置換画像を決定する例について説明したが、図３を参照して上述したＮ近傍の制約により同じ画像が重複して使用されないようにしてもよい。
【０１４２】
このようにして、置換画像決定処理が実行される。
【０１４３】
図５に戻って、ステップＳ６４の処理の後、ステップＳ６５において、画像置換部３６は、ステップＳ１０４の処理で選択された画像を、当該ブロックの画像と置換する。このように、全てのブロックの画像がステップＳ１０４の処理で選択された画像と置換されることによりフォトモザイク画像が生成されるのである。
【０１４４】
これにより、例えば、図１１に示されるようなフォトモザイク画像が生成される。図１１は、図６の制作目標画像に対応するフォトモザイク画像の例を示す図である。
【０１４５】
すなわち、図６に示される制作目標画像が、図７に示されるようにブロックに分割され、図９に示されるようにクラス分類される。そして、各ブロックの画像と、分類されたクラスの画像との照合が行われて、各ブロックの画像が、画像データベース５１の画像に置き換えられる。このようにして、図６に示される制作目標画像から、図１１に示されるようなフォトモザイク画像が生成されるのである。
【０１４６】
このようにして、画像生成処理が実行される。
【０１４７】
なお、上述した画像生成処理は、フォトモザイク画像を生成するために必要となる画像が、画像データベース５１に既に蓄積されていることを前提に実行される。画像データベース５１の画像において、フォトモザイク画像を生成するために必要となる画像が不足している場合、画像生成処理に先立って、後述する素材画像要求処理が実行されるようになされている。
【０１４８】
次に、図１２のフローチャートを参照して、フォトモザイク画像生成装置１０による素材画像要求処理の例について説明する。
【０１４９】
ステップＳ１２１において、フォトモザイク画像生成部３０のブロック分割部３１は、制作目標画像をブロックに分割する。このとき、ブロック分割部３１は、制作目標画像を、例えば、水平方向３２０画素、垂直方向２４０画素で構成される矩形のブロックに分割する。
【０１５０】
ステップＳ１２２において、代表値決定部６２は、ステップＳ１２１の処理で分割された各ブロックの代表値をそれぞれ決定する。ここで代表値は、例えば、そのブロックの画素値の平均値とされるようにしてもよいし、ブロックの中央の座標位置の画素値とされるようにしてもよい。あるいはまた、ブロック内において予め決められた座標位置の画素値の平均値が代表値とされるようにしてもよい。
【０１５１】
ステップＳ１２３において、制作目標画像クラス分類部３４および画像データベースクラス分類部３７は、クラス分類処理を実行する。このとき、クラスセンタ値算出部３３、制作目標画像クラス分類部３４および画像データベースクラス分類部３７は、ステップＳ１２２の処理で決定された各ブロックの代表値に基づいて各ブロックの画像と画像データベース５１の画像をそれぞれクラス分類する。
【０１５２】
ステップＳ１２３のクラス分類処理は、図５を参照して上述したステップＳ６３のクラス分類処理と同様の処理なので詳細な説明は省略する。
【０１５３】
ステップＳ１２４において、画像要求処理部７０は、図１３を参照して後述する要求生成処理を実行する。これにより、上述したリクエストデータが生成されて、撮像装置１００に送信される。
【０１５４】
ここで、図１３のフローチャートを参照して、図１２のステップＳ１２４の要求生成処理の詳細な例について説明する。
【０１５５】
ステップＳ１４１において、画像データベースカウンタ７１は、画像データベースクラス分類部３７による画像データベース５１の画像のクラス分類（図８のステップＳ８４の処理）の結果に基づいて、各クラスに分類された画像の数をカウントする。
【０１５６】
ステップＳ１４２において、制作目標画像カウンタ７２は、制作目標画像クラス分類部３４による各ブロックの画像のクラス分類（図８のステップＳ８３の処理）の結果に基づいて、各クラスに分類されたブロックの数をカウントする。
【０１５７】
ステップＳ１４３において、比較部７３は、ステップＳ１４２の処理でカウントされたブロックの数と、ステップＳ１４１の処理でカウントされた画像の数とを比較する。すなわち、ステップＳ１４３の処理では、それぞれのクラスに分類された制作目標画像のブロックの数と、それぞれのクラスに分類された画像データベース５１の画像の数とが比較される。
【０１５８】
ステップＳ１４４において、比較部７３は、ステップＳ１４３の比較の結果に基づいて、取得すべき画像の数をクラス毎に特定する。すなわち、比較部７３は、画像データベース５１の画像において不足しているクラスを特定し、画像データベース５１の画像が、どのクラスにおいて何枚不足しているかを表す情報を生成する。この情報は、要求生成部７４に供給される。
【０１５９】
ステップＳ１４５において、要求生成部７４は、クラスセンタ値算出部３３により算出された（図８のステップＳ８２の処理）各クラスのセンタ値、および画像データベースクラス分類部３７による分類（ステップＳ８４の処理）に用いられた閾値を特定する。
【０１６０】
ステップＳ１４６において、要求生成部７４は、ステップＳ１４４の処理により得られた情報と、ステップＳ１４５の処理により得られたセンタ値および閾値に基づいてリクエストデータを生成する。すなわち、ステップＳ１４６の処理では、画像データベース５１の画像が、どのクラスにおいて何枚不足しているかを表す情報と、その不足しているクラスのセンタ値（および閾値）とを含むリクエストデータが生成される。
【０１６１】
なお、例えば、実際に不足している画像の枚数に対して所定の割合だけ増加させた枚数がリクエストデータにより送信されるようにしてもよい。このようにすることで、制作目標画像の各ブロックにより適した画像を収集することができると考えられるからである。
【０１６２】
ステップＳ１４７において、ステップＳ１４６で生成されたリクエストデータが、不足しているクラスの画像を取得するために必要となる情報として、例えば、無線通信などにより撮像装置１００に送信される。
【０１６３】
このようにして、要求生成処理が実行される。
【０１６４】
このようすることで、フォトモザイク画像を生成するために必要となる画像データベース５１の画像において、不足しているクラスの画像を取得するために必要となる情報を撮像装置１００に送信することができる。これにより、撮像装置１００は、フォトモザイク画像を生成するために必要となる画像データベース５１の画像において、不足しているクラスの画像を撮像して取得することができる。
【０１６５】
次に、撮像装置１００について説明する。図１４は、図１の撮像装置１００の詳細な構成例を示すブロック図である。
【０１６６】
同図に示されるように、撮像装置１００は、画像取得部１２１、判定部１２２、判定結果出力部１２３、保存部１２４、画像取得スイッチ１２５、画像保存用メモリ１２６、保存画像送出部１２７、要求取得部１２８、および要求メモリ１２９を含む構成とされる。
【０１６７】
要求取得部１２８は、フォトモザイク画像生成装置１０から送信されたリクエストデータを取得するようになされている。要求取得部１２８は、例えば、無線通信、有線通信などによりフォトモザイク画像生成装置１０との間で情報の送受信を行う通信インタフェースとして構成される。あるいはまた、要求取得部１２８は、リクエストデータが記録されたメモリカードなどが装着されるドライブとして構成されるようにしてもよい。
【０１６８】
要求メモリ１２９は、要求取得部１２８により取得されたリクエストデータを保持するようになされている。
【０１６９】
画像取得部１２１は、例えば、ＣＣＤなどを用いた撮像素子などを含む構成とされ、図示せぬレンズを介して集光された光に対応する画像のデータを生成するようになされている。
【０１７０】
判定部１２２は、要求メモリ１２９に保持されているリクエストデータの内容に基づいて、画像取得部１２１により取得された画像がフォトモザイク画像生成装置１０により要求されているものであるか否かを判定する。
【０１７１】
判定部１２２は、例えば、画像取得部１２１から動画像のデータとして供給されるデータから所定のフレームの画像を抽出し、その画像の代表値を特定する。そして、判定部１２２は、例えば、画像データベースクラス分類部３７と同様に、リクエストデータに含まれる各クラスのセンタ値および閾値に基づいてクラス分類を行う。すなわち、判定部１２２は、各クラスのセンタ値と画像取得部１２１から得られた画像の代表値との距離を求めることにより、その画像についてのクラス分類を行うのである。さらに、判定部１２２は、上述したクラス分類の結果、その画像は、不足しているクラスの画像に対応する画像であるか否かを判定する。
【０１７２】
ここでは、判定部１２２による判定が、その画像は、不足しているクラスの画像に対応する画像であるか否かのみを判定するものである場合の例について説明したが、それ以外の条件について判定されるようにしてもよい。
【０１７３】
例えば、判定部１２２は、既に撮像して保存した画像（画像保存用メモリ１２６の画像）と類似する画像であるか否かをさらに判定するようにしてもよい。すなわち、判定部１２２は、その画像が不足しているクラスの画像に対応する画像であって、既に撮像して保存した画像と類似していない画像であるか否かを判定するようにしてもよい。
【０１７４】
例えば、フォトモザイク画像において、似たような画像が隣り合うブロックに貼り付けられている場合、同じ画像が重複して使用された場合と同様な視覚的効果を奏する場合がある。似たような画像ばかりが保存されてしまうことを抑止するために、例えば、画像保存用メモリ１２６の画像と、画像取得部１２１から得られた画像との類似度を算出し、類似度が閾値以下の画像のみがフォトモザイク画像生成装置１０により要求されているものであると判定されるようにしてもよい。なお、画像の類似度は、例えば、ブロックマッチング法などにより求められる値を用いることができる。
【０１７５】
あるいはまた、既に撮像して保存した画像のブレ、ボケ、ノイズなどがさらに考慮されるようにしてもよい。例えば、既に撮像して保存した画像のブレ、ボケ、ノイズが多い場合は、類似度が閾値を超える画像であってもフォトモザイク画像生成装置１０により要求されているものであると判定されるようにしてもよい。
【０１７６】
判定結果出力部１２３は、判定部１２２により行なわれた判定結果に基づいて、当該画像がフォトモザイク画像生成装置１０により要求されているものであるか否かをユーザに提示する。例えば、当該画像が不足しているクラスの画像に対応する画像であるか否かを表す情報がユーザに提示される。不足しているクラスの画像に対応する画像であるか否かを表す情報の提示は、例えば、撮像装置１００の図示せぬ液晶モニタなどに表示されることによりなされるようにしてもよいし、予め設定された音声がスピーカから出力されることによりなされるようにしてもよい。
【０１７７】
このとき、例えば、各クラスのセンタ値と画像取得部１２１から得られた画像の代表値との距離に応じて、液晶モニタに表示される画像の色や形が変化したり、スピーカから出力される音声の高低が変化したりするようにしてもよい。このようにすることで、ユーザは、現在撮像されている画像が、画像がフォトモザイク画像生成装置１０により要求されているものにどれだけ近い画像であるかを認識することができる。
【０１７８】
画像取得部１２１から得られた画像のデータは、判定部１２２、判定結果出力部１２３を経て保存部１２４に供給される。
【０１７９】
保存部１２４は、画像取得スイッチ１２５により指定されたタイミングで画像のデータを保存するようになされている。画像取得スイッチ１２５は、例えば、撮像装置１００のシャッタなどとして構成され、シャッタが押下されたとき、画像（静止画像）のデータが画像保存用メモリ１２６に保存されるのである。
【０１８０】
ユーザは、例えば、上述した判定結果出力部１２３により提示された情報に基づいて画像取得スイッチ１２５を操作する。このようにして保存部１２４に保存された画像のデータは、例えば、その画像のクラス分類の結果を表す情報などと対応付けられて画像保存用メモリ１２６に記憶されるようになされている。
【０１８１】
なお、不足しているクラスの画像が保存された場合、保存部１２４から出力される情報に基づいて、要求メモリ１２９に記憶されているリクエストデータの内容が更新されるようになされている。すなわち、不足しているクラスの画像が１枚保存された場合、当該クラスの画像として不足している画像の数が１だけデクリメントされるようになされている。
【０１８２】
なお、上述した判定結果出力部１２３により提示される情報は、不足している画像の枚数に応じて変化するようにしてもよい。このようにすることで、ユーザは、あとどれくらい画像を撮像する必要があるのかを認識することができる。
【０１８３】
保存画像送出部１２７は、画像保存用メモリに記憶されている画像のデータを、フォトモザイク画像生成装置１０に送出するようになされている。画像の送出は、例えば、有線または無線の通信により行われるようにしてもよいし、メモリカードなどを介して行なわれるようにしてもよい。
【０１８４】
このようにして送出された画像のデータは、例えば、画像データベース５１に蓄積され、図５を参照して上述した画像生成処理に用いられることになる。
【０１８５】
撮像装置１００は、このように構成されるので、フォトモザイク画像において制作目標画像のテクスチャを表現でき、制作目標画像の各ブロックに貼り付けるのに相応しい画像を適切に撮像することができる。
【０１８６】
フォトモザイク画像を生成する際に、モザイクのタイルとして採用する画像としては、例えば、一面赤や青などの物体が撮影された写真などは相応しくない。フォトモザイク画像は、例えば、離れて観察した場合と、近くで観察した場合とで、観察者の印象が大きく異なるところに美的特徴があるといえるからである。従来、一般のユーザがそのようなモザイクのタイルとして相応しい画像を意図的に撮影することは困難であり、その結果、画像データベースなどを構築することが難しかった。
【０１８７】
これに対して、本発明では、撮像装置１００において、現在撮像されている画像が、フォトモザイク画像生成装置１０により要求されているものであるか否が判定され、判定結果が提示される。従って、本発明によれば、一般のユーザがモザイクのタイルとして相応しい画像を意図的に撮影することが可能となる。
【０１８８】
その結果、本発明によれば、美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができるのである。
【０１８９】
次に、図１５のフローチャートを参照して、撮像装置１００による画像取得処理について説明する。
【０１９０】
ステップＳ２０１において、要求取得部１２８は、フォトモザイク画像生成装置１０から送信されたリクエストデータを取得する。要求取得部１２８により取得されたリクエストデータは、要求メモリ１２９に保持される。
【０１９１】
ステップＳ２０２において、画像取得部１２１は、画像を取得する。このとき、例えば、ＣＣＤなどを用いた撮像素子などによってレンズを介して集光された光に対応する画像のデータが生成される。
【０１９２】
ステップＳ２０３において、判定部１２２は、ステップＳ２０１の処理で取得されたリクエストデータの内容に基づいて、ステップＳ２０２の処理で取得された画像がフォトモザイク画像生成装置１０により要求されているものであるか否かを判定する。
【０１９３】
このとき、判定部１２２は、例えば、ステップＳ２０１で取得されたデータから所定のフレームの画像を抽出し、その画像の代表値を特定する。そして、判定部１２２は、リクエストデータに含まれる各クラスのセンタ値および閾値に基づいてクラス分類を行う。すなわち、判定部１２２は、各クラスのセンタ値と画像取得部１２１から得られた画像の代表値との距離を求めることにより、その画像についてのクラス分類を行うのである。さらに、判定部１２２は、上述したクラス分類の結果、その画像は、不足しているクラスの画像に対応する画像であるか否かを判定する。
【０１９４】
なお、例えば、判定部１２２は、既に撮像して保存した画像と類似する画像であるか否かをさらに判定するようにしてもよい。すなわち、判定部１２２は、その画像が不足しているクラスの画像に対応する画像であって、既に撮像して保存した画像と類似していない画像であるか否かを判定するようにしてもよい。
【０１９５】
あるいはまた、既に撮像して保存した画像のブレ、ボケ、ノイズなどがさらに考慮されるようにしてもよい。例えば、既に撮像して保存した画像のブレ、ボケ、ノイズが多い場合は、類似度が閾値を超える画像であってもフォトモザイク画像生成装置１０により要求されているものであると判定されるようにしてもよい。
【０１９６】
ステップＳ２０４において、判定結果出力部１２３は、ステップＳ２０３の処理により行なわれた判定結果に基づいて、当該画像がフォトモザイク画像生成装置１０により要求されているものであるか否かをユーザに提示する。例えば、当該画像が不足しているクラスの画像に対応する画像であるか否かを表す情報が提示される。不足しているクラスの画像に対応する画像であるか否かを表す情報の提示は、例えば、撮像装置１００の図示せぬ液晶モニタなどに表示されることによりなされるようにしてもよいし、予め設定された音声がスピーカから出力されることによりなされるようにしてもよい。
【０１９７】
このとき、例えば、各クラスのセンタ値と画像取得部１２１から得られた画像の代表値との距離に応じて、液晶モニタに表示される画像の色や形が変化したり、スピーカから出力される音声の高低が変化したりするようにしてもよい。このようにすることで、ユーザは、現在撮像されている画像が、画像がフォトモザイク画像生成装置１０により要求されているものにどれだけ近い画像であるかを認識することができる。
【０１９８】
ステップＳ２０５において、保存部１２４は、画像取得スイッチ１２５（シャッタ）が押されたか否かを判定し、押されていないと判定された場合、処理は、ステップＳ２０２に戻り、それ以降の処理が繰り返し実行される。ステップＳ２０５において、画像取得スイッチ１２５（シャッタ）が押されたと判定された場合、処理は、ステップＳ２０６に進む。
【０１９９】
ステップＳ２０６において、保存部１２４は、画像のデータを保存する。ユーザは、例えば、ステップＳ２０４の処理で提示された情報に基づいて画像取得スイッチ１２５を操作する。シャッタが押下されたとき、画像（静止画像）のデータが保存部１２４に保存されるのである。保存部１２４に保存された画像のデータは、例えば、その画像のクラス分類の結果を表す情報などと対応付けられて画像保存用メモリ１２６に記憶されるようになされている。
【０２００】
なお、不足しているクラスの画像が保存された場合、保存部１２４から出力される情報に基づいて、要求メモリ１２９に記憶されているリクエストデータの内容が更新されるようになされている。すなわち、不足しているクラスの画像が１枚保存された場合、当該クラスの画像として不足している画像の数が１だけデクリメントされるようになされている。
【０２０１】
ステップＳ２０７において、保存画像送出部１２７は、画像保存用メモリに記憶されている画像のデータを、フォトモザイク画像生成装置１０に送出するようになされている。このとき、例えば、有線または無線の通信により画像が送出される。あるいはまた、メモリカードなどを介して画像が送出されるようにしてもよい。
【０２０２】
ステップＳ２０７の処理は、例えば、ユーザが画像のデータの送出を指令したときにのみなされるようにしてもよい。
【０２０３】
なお、ステップＳ２０７の処理により送出された画像のデータは、例えば、画像データベース５１に蓄積され、図５を参照して上述した画像生成処理に用いられることになる。
【０２０４】
このようにして、画像取得処理が実行される。このようにすることで、一般のユーザがモザイクのタイルとして相応しい画像を意図的に撮影することが可能となる。その結果、美しいフォトモザイクを生成するために必要となる画像を、簡単に収集することができるのである。
【０２０５】
図１４と図１５を参照して上述した例においては、ユーザが、判定結果出力部１２３により提示された情報に基づいて画像取得スイッチ１２５を操作し、そのタイミングで画像が保存される例について説明した。
【０２０６】
このようにすることで、例えば、スピーカから出力される音の高低などの変化に応じて、ユーザは適切なアングルを探して画像を撮像することができるので、例えば、適切なアングルを探す過程をゲーム感覚で楽しむことができる。
【０２０７】
また、このようにすることで、例えば、ユーザは、撮像装置１００（カメラ）で写真を撮る都度、フォトモザイク画像のタイルとして用いる画像として相応しい画像の特徴を覚えていくことができる。フォトモザイク画像を生成する際に、モザイクのタイルとして採用する画像としては、例えば、一面赤や青などの物体が撮影された写真などは相応しくない。フォトモザイク画像は、例えば、離れて観察した場合と、近くで観察した場合とで、観察者の印象が大きく異なるところに美的特徴があるといえるからである。従って、例えば、一見すると赤や青などの色の画像とは見えない画像であっても、離れて観察した場合、赤や青などの色の画像として見える画像がフォトモザイク画像のタイルとして用いる画像として相応しい画像と言える。
【０２０８】
図１４と図１５を参照して上述した例においては、ユーザがこのような色感覚を身に付けることができるのである。
【０２０９】
一方で、現在撮像されている画像がフォトモザイク画像生成装置１０により要求されているものである場合、撮像装置１００が自動的に保存してしまうようにすることも可能である。
【０２１０】
図１６は、図１の撮像装置１００の別の詳細な構成例を示すブロック図である。
【０２１１】
同図において、画像取得部１３１、判定部１３２は、それぞれ図１４の画像取得部１２１、判定部１２２と同様のものなので詳細な説明は省略する。また、図１６の画像保存用メモリ１３６乃至要求メモリ１３９は、それぞれ図１４の画像保存用メモリ１２６乃至要求メモリ１２９と同様のものなので詳細な説明は省略する。
【０２１２】
図１６の例では、図１４の場合と異なり、判定結果出力部１２３乃至画像取得スイッチ１２５が設けられていない。また、図１６の例では、図１４の場合と異なり、自動保存部１３３が設けられている。
【０２１３】
自動保存部１３３は、判定部１３２により行なわれた判定結果に基づいて、当該画像がフォトモザイク画像生成装置１０により要求されているものであると判定された場合、当該画像を自動的に保存するようになされている。
【０２１４】
すなわち、図１６の例では、現在撮像されている画像がフォトモザイク画像生成装置１０により要求されているものである場合、撮像装置１００が自動的に保存してしまうのである。このようにすることで、例えば、ユーザは、撮像装置１００のレンズをいろいろな被写体に向けるだけで、自動的にフォトモザイク画像生成装置１０により要求されている画像が取得されるようにすることができる。
【０２１５】
次に、図１７のフローチャートを参照して、図１の撮像装置１００が図１６のように構成される場合の画像取得処理について説明する。
【０２１６】
ステップＳ２２１において、要求取得部１３８は、フォトモザイク画像生成装置１０から送信されたリクエストデータを取得する。要求取得部１３８により取得されたリクエストデータは、要求メモリ１３９に保持される。
【０２１７】
ステップＳ２２２において、画像取得部１３１は、画像を取得する。このとき、例えば、ＣＣＤなどを用いた撮像素子などによってレンズを介して集光された光に対応する画像のデータが生成される。
【０２１８】
ステップＳ２２３において、判定部１３２は、ステップＳ２２１の処理で取得されたリクエストデータの内容に基づいて、ステップＳ２２２の処理で取得された画像を解析する。すなわち、当該画像がフォトモザイク画像生成装置１０により要求されているものであるか否かを判定するための解析が行われる。
【０２１９】
このとき、判定部１３２は、例えば、ステップＳ２２１で取得されたデータから所定のフレームの画像を抽出し、その画像の代表値を特定する。そして、判定部１３２は、リクエストデータに含まれる各クラスのセンタ値および閾値に基づいてクラス分類を行う。すなわち、判定部１３２は、各クラスのセンタ値と画像取得部１３１から得られた画像の代表値との距離を求めることにより、その画像についてのクラス分類を行うのである。さらに、判定部１３２は、上述したクラス分類の結果、その画像は、不足しているクラスの画像に対応する画像であるか否かを解析する。
【０２２０】
なお、例えば、判定部１３２は、既に撮像して保存した画像と類似する画像であるか否かをさらに解析するようにしてもよい。すなわち、判定部１３２は、その画像が不足しているクラスの画像に対応する画像であって、既に撮像して保存した画像と類似していない画像であるか否かを解析するようにしてもよい。
【０２２１】
あるいはまた、既に撮像して保存した画像のブレ、ボケ、ノイズなどがさらに考慮されるようにしてもよい。
【０２２２】
ステップＳ２２４において、自動保存部１３３は、ステップＳ２２３の処理により行なわれた解析結果に基づいて、ステップＳ２２２で取得した画像がフォトモザイク画像生成装置１０により要求されているものか否かを判定する。ステップＳ２２４において、フォトモザイク画像生成装置１０により要求されているものではないと判定された場合、処理は、ステップＳ２２２に戻り、それ以降の処理が繰り返し実行される。
【０２２３】
ステップＳ２２４において、フォトモザイク画像生成装置１０により要求されているものであると判定された場合、処理は、ステップＳ２２５に進む。
【０２２４】
ステップＳ２２５において、自動保存部１３３は、画像のデータを保存する。自動保存部１３３に保存された画像のデータは、例えば、その画像のクラス分類の結果を表す情報などと対応付けられて画像保存用メモリ１３６に記憶されるようになされている。
【０２２５】
なお、不足しているクラスの画像が保存された場合、自動保存部１３３から出力される情報に基づいて、要求メモリ１３９に記憶されているリクエストデータの内容が更新されるようになされている。すなわち、不足しているクラスの画像が１枚保存された場合、当該クラスの画像として不足している画像の数が１だけデクリメントされるようになされている。
【０２２６】
ステップＳ２２６において、保存画像送出部１３７は、画像保存用メモリ１３６に記憶されている画像のデータを、フォトモザイク画像生成装置１０に送出するようになされている。このとき、例えば、有線または無線の通信により画像が送出される。あるいはまた、メモリカードなどを介して画像が送出されるようにしてもよい。
【０２２７】
ステップＳ２２６の処理は、例えば、ユーザが画像のデータの送出を指令したときにのみなされるようにしてもよい。
【０２２８】
なお、ステップＳ２２６の処理により送出された画像のデータは、例えば、画像データベース５１に蓄積され、図５を参照して上述した画像生成処理に用いられることになる。
【０２２９】
画像取得処理は、このように実行されるようにしてもよい。このようにすることで、例えば、図１５の例の場合と比較して、美しいフォトモザイクを生成するために必要となる画像をさらに簡単に収集することができる。
【０２３０】
以上においては、撮像装置１００は、デジタルカメラなどにより構成されると説明したが、例えば、携帯電話など撮像部を含む電子機器により構成されるようにすることも勿論可能である。
【０２３１】
また、制作目標画像、画像データベース５１に記憶される画像は、写真だけではなく、絵などをスキャナで取り込んで得られた画像やＣＧ（Computer Graphics）など、どのような画像であってもよい、
【０２３２】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１６に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０２３３】
図１８において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２３４】
CPU７０１、ROM７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０２３５】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０２３６】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０２３７】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０２３８】
なお、この記録媒体は、図１８に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０２３９】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２４０】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２４１】
１０  フォトモザイク画像生成装置，  ３０  フォトモザイク画像生成部，  ３１  ブロック分割部，  ３２  代表値決定部，  ３３  クラスセンタ値算出部，  ３４  制作目標画像クラス分類部，  ３５  置換画像決定部，  ３６  画像置換部，  ３７  画像データベースクラス分類部，  ３８  蓄積メモリ，  ５１  画像データベース，  ７０  画像要求処理部，  ７１  画像データベースカウンタ，  ７２  制作目標画像カウンタ，  ７３  比較部，  ７４  要求生成部，  １００  撮像装置，  １２１  画像取得部，  １２２  判定部，  １２３  判定結果出力部，  １２４  保存部，  １２５  画像取得スイッチ，  １２６  画像保存用メモリ，  １２７  保存画像送出部，  １２８  要求取得部，  １２９  要求メモリ，  １３３  自動保存部
【図１】
2011055398.tif 000005
【図２】
2011055398.tif 000006
【図３】
2011055398.tif 000007
【図４】
2011055398.tif 000008
【図５】
2011055398.tif 000009
【図６】
2011055398.tif 000010
【図７】
2011055398.tif 000011
【図８】
2011055398.tif 000012
【図９】
2011055398.tif 000013
【図１０】
2011055398.tif 000014
【図１１】
2011055398.tif 000015
【図１２】
2011055398.tif 000016
【図１３】
2011055398.tif 000017
【図１４】
2011055398.tif 000018
【図１５】
2011055398.tif 000019
【図１６】
2011055398.tif 000020
【図１７】
2011055398.tif 000021
【図１８】
2011055398.tif 000022