(57)【要約】      （修正有）【課題】合成画像を作成する際の小画像の入力操作を容易にすると共に、素材画像を有効に利用して、適切な小画像を得ることができる画像処理装置を提供する。【解決手段】第１画像入力部と、第１画像の領域を複数の分割領域に分割する分割部と、前記複数の分割領域のそれぞれについて色域を算出する色域算出部と、第２画像入力部と、第２画像の領域の中から、前記第１画像の複数の分割領域の１つの色域と類似する色域を有する部分領域が存在するか否かを判定する判定部と、前記判定部により前記部分領域が存在すると判定された場合に、操作者の操作に基づいて、前記部分領域を第３画像として特定する類似領域特定部と、前記第３画像に関する情報と、前記判定部が存在すると判定した前記部分領域に対応する前記第１画像の複数の分割領域の１つの位置に関する情報である分割領域位置情報とを記憶媒体に記録する記録手段とを設けた。【選択図】図１０
2009129160.tif 000002
【特許請求の範囲】
【請求項１】
第１画像の画像データである第１画像データを取得する第１画像入力部と、
前記第１画像の領域を複数の分割領域に分割する分割部と、
前記複数の分割領域のそれぞれについて色域を算出する色域算出部と、
第２画像の画像データである第２画像データを取得する第２画像入力部と、
前記第２画像の領域の中から、前記第１画像の複数の分割領域の１つの色域と類似する色域を有する部分領域が存在するか否かを判定する判定部と、
前記判定部により前記部分領域が存在すると判定された場合に、前記部分領域を第３画像として特定する操作を操作者に促す通知部と、
操作者の操作に基づいて、前記部分領域を第３画像として特定する類似領域特定部と、
前記第３画像に関する情報と、前記判定部が存在すると判定した前記部分領域に対応する前記第１画像の複数の分割領域の１つの位置に関する情報である分割領域位置情報とを記憶媒体に記録する記録手段とを有することを特徴とする画像処理装置。
【請求項２】
第１画像の画像データである第１画像データを取得する第１画像入力部と、
前記第１画像の領域を複数の分割領域に分割する分割部と、
前記複数の分割領域のそれぞれについて色域を算出する色域算出部と、
第２画像の画像データである第２画像データを取得する第２画像入力部と、
前記第２画像の領域の中から、前記第１画像の複数の分割領域の１つの色域と類似する色域を有する部分領域が存在するか否かを判定する判定部と、
前記判定部により前記部分領域が存在すると判定された場合に、前記部分領域を第３画像として特定する操作を操作者に促す通知部と、
操作者の操作に基づいて、前記部分領域を第３画像として特定する類似領域特定部と、
前記類似領域特定部により特定された複数の前記第３画像を、前記判定部が存在すると判定した前記部分領域に対応する前記第１画像の複数の分割領域の１つの位置に関する情報である分割領域位置情報に基づいて並べて配置することにより得られる第４画像の画像データである第４画像データを生成する画像データ生成部とを有することを特徴とする画像処理装置。
【請求項３】
第１画像の画像データである第１画像データを取得する第１画像入力部と、
前記第１画像の領域を複数の分割領域に分割する分割部と、
前記複数の分割領域のそれぞれについて色域を算出する色域算出部と、
第２画像の画像データである第２画像データを取得する第２画像入力部と、
前記第２画像の領域の中から、前記第１画像の複数の分割領域の１つの色域と類似する色域を有する部分領域が存在するか否かを判定する判定部と、
前記判定部により前記部分領域が存在すると判定された場合に、前記部分領域を第３画像として特定する類似領域特定部と、
前記第３画像に関する情報と、前記判定部が存在すると判定した前記部分領域に対応する前記第１画像の複数の分割領域の１つの位置に関する情報である分割領域位置情報とを不揮発性の記憶媒体に記録する記録手段とを有することを特徴とする画像処理装置。
【請求項４】
第１画像の画像データである第１画像データを取得する第１画像入力部と、
前記第１画像の領域を複数の分割領域に分割する分割部と、
前記複数の分割領域のそれぞれについて色域を算出する色域算出部と、
第２画像の画像データである第２画像データを取得する第２画像入力部と、
前記第２画像の領域の中から、前記第１画像の複数の分割領域の１つの色域と類似する色域を有する部分領域が存在するか否かを判定する判定部と、
前記判定部により前記部分領域が存在すると判定された場合に、前記部分領域を第３画像として特定する類似領域特定部と、
前記類似領域特定部により特定された複数の前記第３画像を、前記判定部が存在すると判定した前記部分領域に対応する前記第１画像の複数の分割領域の１つの位置に関する情報である分割領域位置情報に基づいて並べて配置することにより得られる第４画像の画像データである第４画像データを生成する画像データ生成部とを有することを特徴とする画像処理装置。
【請求項５】
請求項１から４のいずれか一項に記載の画像処理装置において、
前記第３画像に関する情報は、前記第２画像中の前記部分領域の位置を示す情報と、前記第３画像の画像データである第３画像データとの少なくとも一方であることを特徴とする画像処理装置。
【請求項６】
請求項１から４のいずれか一項に記載の画像処理装置において、
情報を表示する表示部と、
前記第１画像の複数の分割領域のうち第１画像分割位置情報が存在しない領域の数を判定する第２判定部と、
前記第２判定部により判定された数に関する情報を、前記表示部に表示させる表示制御部とを更に有することを特徴とする画像処理装置。
【請求項７】
請求項１から４のいずれか一項に記載の画像処理装置において、
前記判定部は、前記第１画像の複数の分割領域の１つの色域と類似する色域を有する前記部分領域が存在するか否かを判定する際に、前記第２画像の領域の中の第１部分領域の色域が前記第１画像の複数の分割領域の１つの色域と類似しないと判定すると、前記第２画像の領域の中の前記第１部分領域と少なくとも一部が重複しない第２部分領域の色域について前記第１画像の複数の分割領域の１つの色域と類似するか否かを判定することを特徴とする画像処理装置。
【請求項８】
請求項１から４のいずれか一項に記載の画像処理装置において、
前記第１画像入力部は、被写体を撮像する撮像部と記憶媒体に記録された前記第１画像データを読み出す読み出し部との少なくとも一方であることを特徴とする画像処理装置。
【請求項９】
前求項１から４のいずれか一項に記載の画像処理装置において、
前記第２画像入力部は、被写体を撮像する撮像部と記憶媒体に記録された前記第２画像データを読み出す読み出し部との少なくとも一方であることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モザイクアートと呼ばれる合成画像を生成する画像処理装置に関する。
【背景技術】
【０００２】
一般に、モザイクアートと呼ばれる合成画像が知られている。モザイクアートとは、先ず合成画像の基になる絵柄の大画像を選択しておき、この大画像の複数の領域に分割し、分割領域の色域データと類似する複数の小画像をタイル状に貼り付けて合成画像を作成する手法である。特に、複数の素材画像の中からできるだけ基になる絵柄に類似した小画像を選択することが重要である。そこで、複数の素材画像の中から合成画像に適した小画像を選択する様々な技術が検討されている（例えば、特許文献１参照）。
【特許文献１】特開２００５−１００１２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来技術では、小画像として素材画像全体の色域データを用いて類似領域の判定を行っている。ところが、素材画像全体の色域データが大画像の分割領域の色域データと類似していないと判断して除外していた素材画像でも、その部分的な領域の色域データは大画像の分割領域の色域データと類似している可能性があった。特に、素材画像の部分的な画像領域の色域データが素材画像全体の色域データより類似度が高く、より小画像として適している場合もあった。
【０００４】
上記課題に鑑み、本発明の目的は、合成画像を作成する際の小画像の入力操作を容易にすると共に、素材画像を有効に利用して、適切な小画像を得ることができる画像処理装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、第１画像の画像データである第１画像データを取得する第１画像入力部と、前記第１画像の領域を複数の分割領域に分割する分割部と、前記複数の分割領域のそれぞれについて色域を算出する色域算出部と、第２画像の画像データである第２画像データを取得する第２画像入力部と、前記第２画像の領域の中から、前記第１画像の複数の分割領域の１つの色域と類似する色域を有する部分領域が存在するか否かを判定する判定部と、前記判定部により前記部分領域が存在すると判定された場合に、前記部分領域を第３画像として特定する操作を操作者に促す通知部と、操作者の操作に基づいて、前記部分領域を第３画像として特定する類似領域特定部と、前記第３画像に関する情報と、前記判定部が存在すると判定した前記部分領域に対応する前記第１画像の複数の分割領域の１つの位置に関する情報である分割領域位置情報とを記憶媒体に記録する記録手段とを有することを特徴とする。
【０００６】
或いは、本発明に係る画像処理装置は、第１画像の画像データである第１画像データを取得する第１画像入力部と、前記第１画像の領域を複数の分割領域に分割する分割部と、前記複数の分割領域のそれぞれについて色域を算出する色域算出部と、第２画像の画像データである第２画像データを取得する第２画像入力部と、前記第２画像の領域の中から、前記第１画像の複数の分割領域の１つの色域と類似する色域を有する部分領域が存在するか否かを判定する判定部と、前記判定部により前記部分領域が存在すると判定された場合に、前記部分領域を第３画像として特定する操作を操作者に促す通知部と、操作者の操作に基づいて、前記部分領域を第３画像として特定する類似領域特定部と、前記類似領域特定部により特定された複数の前記第３画像を、前記判定部が存在すると判定した前記部分領域に対応する前記第１画像の複数の分割領域の１つの位置に関する情報である分割領域位置情報に基づいて並べて配置することにより得られる第４画像の画像データである第４画像データを生成する画像データ生成部とを有することを特徴とする。
【０００７】
或いは、本発明に係る画像処理装置は、第１画像の画像データである第１画像データを取得する第１画像入力部と、前記第１画像の領域を複数の分割領域に分割する分割部と、前記複数の分割領域のそれぞれについて色域を算出する色域算出部と、第２画像の画像データである第２画像データを取得する第２画像入力部と、前記第２画像の領域の中から、前記第１画像の複数の分割領域の１つの色域と類似する色域を有する部分領域が存在するか否かを判定する判定部と、前記判定部により前記部分領域が存在すると判定された場合に、前記部分領域を第３画像として特定する類似領域特定部と、前記第３画像に関する情報と、前記判定部が存在すると判定した前記部分領域に対応する前記第１画像の複数の分割領域の１つの位置に関する情報である分割領域位置情報とを不揮発性の記憶媒体に記録する記録手段とを有することを特徴とする。
【０００８】
或いは、本発明に係る画像処理装置は、第１画像の画像データである第１画像データを取得する第１画像入力部と、前記第１画像の領域を複数の分割領域に分割する分割部と、前記複数の分割領域のそれぞれについて色域を算出する色域算出部と、第２画像の画像データである第２画像データを取得する第２画像入力部と、前記第２画像の領域の中から、前記第１画像の複数の分割領域の１つの色域と類似する色域を有する部分領域が存在するか否かを判定する判定部と、前記判定部により前記部分領域が存在すると判定された場合に、前記部分領域を第３画像として特定する類似領域特定部と、前記類似領域特定部により特定された複数の前記第３画像を、前記判定部が存在すると判定した前記部分領域に対応する前記第１画像の複数の分割領域の１つの位置に関する情報である分割領域位置情報に基づいて並べて配置することにより得られる第４画像の画像データである第４画像データを生成する画像データ生成部とを有することを特徴とする。
【０００９】
特に、前記第３画像に関する情報は、前記第２画像中の前記部分領域の位置を示す情報と、前記第３画像の画像データである第３画像データとの少なくとも一方であることを特徴とする。
【００１０】
さらに、情報を表示する表示部と、前記第１画像の複数の分割領域のうち第１画像分割位置情報が存在しない領域の数を判定する第２判定部と、前記第２判定部により判定された数に関する情報を、前記表示部に表示させる表示制御部とを更に有することを特徴とする。
【００１１】
また、前記判定部は、前記第１画像の複数の分割領域の１つの色域と類似する色域を有する前記部分領域が存在するか否かを判定する際に、前記第２画像の領域の中の第１部分領域の色域が前記第１画像の複数の分割領域の１つの色域と類似しないと判定すると、前記第２画像の領域の中の前記第１部分領域と少なくとも一部が重複しない第２部分領域の色域について前記第１画像の複数の分割領域の１つの色域と類似するか否かを判定することを特徴とする。
【００１２】
特に、前記第１画像入力部は、被写体を撮像する撮像部と記憶媒体に記録された前記第１画像データを読み出す読み出し部との少なくとも一方であることを特徴とする。
【００１３】
また、前記第２画像入力部は、被写体を撮像する撮像部と記憶媒体に記録された前記第２画像データを読み出す読み出し部との少なくとも一方であることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、素材画像の部分的な画像領域を小画像として類似判定を行うので、素材画像を有効に利用して、適切な小画像を得ることができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明に係る画像処理装置の実施形態について詳しく説明する。
（第１の実施形態）
第１の実施形態として、本発明に係る画像処理装置をカメラ１０１に組み込んだ場合の例を示す。図１は、第１の実施形態に係るカメラ１０１のブロック図である。尚、カメラ１０１は、モザイクアート手法を用いて合成画像を作成する機能を有している。
【００１６】
図１において、カメラ１０１は、撮像光学系１０２と、撮像素子１０３と、ＡＦＥ（アナログフロントエンド）１０４と、画像処理回路１０５と、表示制御回路１０６と、モニタ１０７と、撮像素子駆動回路１０８と、制御回路１０９と、操作部材１１０と、システムバス１１１と、フラッシュメモリ１１２と、ＲＡＭ１１３と、記録Ｉ／Ｆ（インターフェース）１１４と、記憶媒体１１５とで構成される。
【００１７】
図２はカメラ１０１をモニタ１０７側から見た外観図である。ユーザーは、カメラ１０１の操作部材１１０にある電源スイッチ１５０，レリーズボタン１５１，ズームボタン１５２，ＯＫボタン１５３，上下左右のスクロールボタン１５４〜１５７などを含む操作インターフェースを介して制御回路１０９に指示を与える。尚、カメラ１０１の動作モードに応じて、左方向のスクロールボタン１５４はキャンセルボタン１５４として割り当てられる。
【００１８】
制御回路１０９は、予めフラッシュメモリ１１２に記憶されたプログラムに従って動作し、操作部材１１０の操作内容に応じて、カメラ１０１全体の動作を制御する。
【００１９】
図１において、撮像光学系１０２を介して入射する被写体像は、撮像素子１０３の受光面に結像される。撮像素子１０３の受光面に結像された光は画像信号に変換され、撮像素子駆動回路１０８からのタイミング信号に従って、ＡＦＥ１０４に読み出される。尚、撮像素子１０３は、例えばＣＣＤ型撮像素子やＣＭＯＳ型撮像素子などで構成される。
【００２０】
撮像素子駆動回路１０８は、システムバス１１１を介して入力される制御回路１０９の指令に従って露光タイミングや画像信号の読み出しタイミングを撮像素子１０３に与える。
【００２１】
ＡＦＥ１０４は、システムバス１１１を介して入力される制御回路１０９の指令に従って、撮像素子１０３から読み出される画像信号のノイズ除去処理や所定レベルへの増幅を行う。さらに、Ａ／Ｄ変換してデジタル画像データに変換し、画像処理回路１０５に出力する。
【００２２】
画像処理回路１０５は、システムバス１１１を介して入力される制御回路１０９の指令に従って、ＡＦＥ１０４から出力される画像データのホワイトバランス処理やγ変換などの色変換処理を行って表示制御回路１０６に出力する。また、画像処理回路１０５は、ＪＰＥＧ規格などの画像圧縮処理を行い、システムバス１１１を介してフラッシュメモリ１１２やＲＡＭ１１３に一時的に保存する。或いは、記録Ｉ／Ｆ１１４を介してメモリカードなどの記憶媒体に記録する。逆に、画像処理回路１０５は、記憶媒体１１５に記録されている画像圧縮された画像データに伸長処理を施して非圧縮の画像に戻し、表示制御回路１０６を介してモニタ１０７に画像を表示する。また、画像処理回路１０５は、後で説明する合成画像の作成や色域データの算出処理なども行う。尚、画像処理回路１０５は、上記の画像処理を行う際にシステムバス１１１を介して接続されるＲＡＭ１１３を一時的なバッファとして利用する。
【００２３】
尚、記憶媒体１１５は、例えば、メモリカード、小型ハードディスク、ＤＶＤなどの光ディスクなどで構成される。また、記憶媒体１１５は、カメラ１０１に内蔵されるものであっても、着脱可能に装着されるものであってもよい。さらに、記憶媒体１１５はカメラ１０１の外部に設けられ、有線または無線で電気的に接続されるものであってもよい。本実施形態の記憶媒体１１５は、カメラ１０１から取り外して外部のパソコンなどに接続可能なメモリカードとする。
【００２４】
表示制御回路１０６は、システムバス１１１を介して入力される制御回路１０９の指令に従って、画像処理回路１０５から出力される画像データをモニタ１０７に表示する。尚、表示制御回路１０６は、モニタ１０７に表示されている画像データに重畳して、撮影メニュー、カーソルなど制御回路１０９から指令される描画や文字などを表示する処理も行う。尚、表示制御回路１０６は、上記の表示処理を行う際にシステムバス１１１を介して接続されるＲＡＭ１１３を一時的なバッファとして利用する。
【００２５】
先ず、カメラ１０１で合成画像を作成する方法について簡単に説明する。尚、合成画像の作成手順の詳細については後でフローチャートを用いて詳しく説明する。従来技術で説明したように、モザイクアートと呼ばれる合成画像は、合成画像の基になる大画像の分割領域に複数の小画像をタイル状に並べて小画像とは異なる合成画像を作成する。このようにして作成された合成画像は、部分的な小画像を見ると複数の異なる画像に見えるが、合成画像全体を見ると大画像と同じ絵柄に見える。つまり、大画像を複数の領域に分割して各分割領域を小画像で置き換えて合成したものが合成画像である。
【００２６】
ここで、言葉の定義を明確にしておく。モザイクアート手法で合成画像を作成するには、大画像の候補となるテンプレート画像と、小画像の候補となる複数の素材画像とが必要である。尚、大画像としてテンプレート画像全体を用いても構わないし、テンプレート画像の一部の領域を切り取った画像を大画像として用いても構わない。同様に、小画像として素材画像全体を用いても構わないし、素材画像の一部の領域を切り取った画像を小画像として用いても構わない。特に、本実施形態では、素材画像を有効に利用するために、素材画像の一部の領域を切り取った画像を小画像として用いるようになっている。尚、各請求項における第１画像，第２画像，第３画像，第４画像は、本実施形態では順番に大画像，素材画像，小画像，合成画像に対応する。
【００２７】
次に、本実施形態に係るカメラ１０１でモザイクアートと呼ばれる合成画像を作成する基本手順を示す。
【００２８】
（１）最初に、大画像の基となるテンプレート画像を選択する。尚、テンプレート画像２０１は、カメラ１０１で新たに画像を撮影しても構わないし、記憶媒体１１５に予め記録されている画像を用いても構わない。
【００２９】
（２）次に、テンプレート画像全体もしくはテンプレート画像の一部の領域を大画像として選択する。この時、大画像の画像サイズ（Ｌ版，Ａ４版など）も設定する。尚、大画像と合成画像の画角（絵柄）は同じであるが、選択した大画像の画素数と作成する合成画像の画素数は異なっていても構わない。例えば、大画像の画素数が６４０×４８０の場合、合成画像の画素数を１２８０×９６０としても構わない。この場合は、大画像の１画素が作成される合成画像の４画素に対応する。
【００３０】
図３（ａ）は大画像の基となるテンプレート画像２０１の例を示している。図３（ｂ）は、テンプレート画像２０１の一部の画像領域を大画像として用いる場合の例を示し、枠２０２で囲った部分が大画像の画像領域で、最終的に複数の小画像で置き換えられて合成画像になる。
【００３１】
（３）次に、大画像を何枚の小画像で構成するかを決める。つまり、大画像の分割数を決める。例えば、２５６枚などとする。
【００３２】
図４（ａ）は大画像２０２を２５６枚に分割する場合の小画像の配置例で、Ｘ軸方向にｘ１からｘ１６までの１６枚、Ｙ軸方向にｙ１からｙ１６までの１６枚が配置され、合計２５６枚の小画像がタイル状に並べられている。図４（ｂ）は、テンプレート画像２０１の一部の画像領域を大画像２０２として用いる場合に、大画像２０２に２５６枚の分割領域を重ね合わせて描いた図で、最終的には、大画像の分割領域毎の絵柄に類似した（色域データが類似した）小画像（素材画像全体もしくは一部）で置き換えられる。
【００３３】
（４）大画像の分割領域毎に色域データを算出する。
【００３４】
（５）大画像の分割領域毎の色域データに類似する小画像を、類似する色域データの分割領域に貼り付けて合成画像を作成する。同様の操作を大画像の全ての分割領域に対して行う。
【００３５】
以上が本実施形態に係るカメラ１０１でモザイクアートと呼ばれる合成画像を作成する基本手順である。
【００３６】
次に、本実施形態に係るカメラ１０１の合成画像作成モードについて、図５および図６のフローチャートを用いて詳しく説明する。尚、図５および図６のフローチャートは、主に図１の制御回路１０９により実行されるプログラムを示す図である。但し、合成画像の作成や色域データの算出などの処理は、制御回路１０９の指示に基づいて画像処理回路１０５が行う。
【００３７】
（ステップＳ１０１）本フローチャートの処理は、ユーザが操作部材１１０を操作して、合成画像作成モードの開始を指示するとスタートする。
【００３８】
（ステップＳ１０２）合成画像作成モードのメニュー画面がモニタ１０７に表示される。図７（ａ）に合成画像作成モードのメニュー画面２１０の一例を示す。図７（ａ）において、メニュー画面２１０には、サムネイル画像の代わりに「新規」と書かれた新規マーク２１１と、サムネイル画像２１２と、サムネイル画像２１３と、カーソル枠２１４とが表示されている。尚、サムネイル画像２１２とサムネイル画像２１３は、合成画像の作成途中の画像を示す。これらのサムネイル画像には、合成画像を完成させるのに必要な小画像の必要枚数（残枚数）が表示され、例えば、サムネイル画像２１２は残枚数が２５５枚で、サムネイル画像２１３は残枚数が３枚であることが分かる。
【００３９】
合成画像作成モードのメニュー画面２１０において、ユーザーは操作部材１１０を操作して、カーソル枠２１４を新規マーク２１１，サムネイル画像２１２，サムネイル画像２１３のいずれかに操作部材１１０のスクロールボタン１５４〜１５７で合わせて、ＯＫボタン１５３を押して選択する。尚、合成画像作成モードを終了する場合は、操作部材１１０のキャンセルボタン１５４を押す。
【００４０】
（ステップＳ１０３）操作部材１１０のＯＫボタン１５３が押されたか否かを判別する。ＯＫボタン１５３が押された場合はステップＳ１０６に進み、ＯＫボタン１５３が押されていない場合はステップＳ１０４に進む。
【００４１】
（ステップＳ１０４）操作部材１１０のキャンセルボタン１５４が押されたか否かを判別する。キャンセルボタン１５４が押された場合はステップＳ１０５に進み、キャンセルボタン１５４が押されていない場合はステップＳ１０３に戻る。
【００４２】
（ステップＳ１０５）合成画像作成モードのメニュー画面の表示を終了し、図６のステップＳ１３８に進んで、合成画像作成モードを終了する。
【００４３】
（ステップＳ１０６）図７（ａ）のメニュー画面２１０において、新規マーク２１１が選択されたか否かを判別する。新規マーク２１１が選択された場合はステップＳ１０７に進み、新規マーク２１１が選択されていない場合はステップＳ１３９に進む。
【００４４】
（ステップＳ１０７）新規作成メニュー画面がモニタ１０７に表示される。新規作成メニュー画面２１５の一例を図７（ｂ）に示す。図７（ｂ）において、メニュー画面２１５には、選択項目「新規撮影」と選択項目「既存画像から選択」の２つの選択項目が表示され、いずれかの選択項目を選ぶためのカーソル枠２１４が表示されている。ユーザーは、このメニュー画面２１５で、テンプレート画像を新規撮影するか既存画像から選択するかを決める。
【００４５】
（ステップＳ１０８）ユーザーが「新規撮影」または「既存画像から選択」のいずれかを選択したか否かを判別する。いずれかが選択された場合は、ステップＳ１０９に進む。いずれかが選択されるまでステップＳ１０８を繰り返す。尚、ユーザーは、テンプレート画像を新たに撮影する場合はカーソル枠２１４を「新規撮影」に合わせ、記憶媒体１１５に記録されている既存の画像からテンプレート画像を選択する場合はカーソル枠２１４を「既存画像から選択」に操作部材１１０のスクロールボタン１５４〜１５７で合わせて、ＯＫボタン１５３を押して選択する。
【００４６】
（ステップＳ１０９）ユーザーが「新規撮影」を選択したか否かを判別する。「新規撮影」が選択された場合はステップＳ１１０に進み、「新規撮影」が選択されなかった場合、つまり「既存画像から選択」が選択された場合はステップＳ１１２に進む。
【００４７】
（ステップＳ１１０）モニタ１０７に撮像素子１０３で撮影されるスルー画像を表示する。尚、撮像素子１０３で撮影された画像がモニタ１０７に表示されるまでの動作は、先に図１で説明したので省略する。
【００４８】
（ステップＳ１１１）操作部材１１０のレリーズボタン１５１が押されて撮影が終了したか否かを判別する。つまり、撮像素子１０３で新たに撮像されたテンプレート画像がフラッシュメモリ１１２に記録されたか否かを判別する。撮影が終了した場合はステップＳ１１４に進み、撮影が終了するまでステップＳ１１１を繰り返す。
【００４９】
（ステップＳ１１２）ステップＳ１０９で「既存画像から選択」が選択された場合は、記憶媒体１１５に記録されている既存の画像をモニタ１０７に表示する。既存画像がモニタ１０７に表示された様子を図８（ａ）に示す。図８（ａ）において、既存画像が表示された画面２１６には、記憶媒体１１５に記録されている既存の画像のサムネイル画像２１７〜２２２と、カーソル枠２２３とが表示されている。
【００５０】
（ステップＳ１１３）ユーザーがいずれかのサムネイル画像を選択したか否かを判別する。いずれかのサムネイル画像が選択された場合はステップＳ１１４に進む。いずれかのサムネイル画像が選択されるまでステップＳ１１３を繰り返す。尚、ユーザーは、既存画像が表示された画面２１６の中から、テンプレート画像にしたいサムネイル画像にカーソル枠２２３を操作部材１１０のスクロールボタン１５４〜１５７で合わせて、ＯＫボタン１５３を押して選択する。
【００５１】
（ステップＳ１１４）ステップＳ１１１で新規に撮影された画像またはステップＳ１１３で選択された既存画像のいずれかをテンプレート画像として決定する。
【００５２】
（ステップＳ１１５）合成画像設定メニュー画面がモニタ１０７に表示される。合成画像設定メニュー画面２２４の一例を図８（ｂ）に示す。図８（ｂ）において、メニュー画面２２４には、選択項目「画像サイズ」，選択項目「分割数」，選択項目「間引き」，選択項目「領域選択」の各選択項目が表示され、各選択項目毎に予め設定された選択肢と、選択肢を選ぶためのカーソル枠２２５〜２２８とが表示されている。
【００５３】
選択項目「画像サイズ」は、作成する合成画像のサイズを設定する。例えば、Ｌ版、２Ｌ版、Ａ４版、Ａ３版の選択肢がある。これらの選択肢毎に予め画像サイズが決められており、例えばＬ版は２００万画素、２Ｌ版は４００万画素、Ａ４版は５００万画素、Ａ３版は８００万画素のように設定される。ここで、合成画像のサイズは、先に説明したように、テンプレート画像全体もしくは一部の画像領域を指定した大画像のサイズと同じである。
【００５４】
選択項目「分割数」は、図４で説明したように、テンプレート画像２０１から切り出した合成画像を作成する大画像２０２の領域を何枚の小画像で構成するかを決めるパラメータである。例えば、図８（ｂ）のメニュー画面２２４では、２５６枚、５１２枚、１０２４枚などから選択して設定する。
【００５５】
選択項目「間引き」は、大画像の分割領域に小画像を貼り付けて合成画像を作成する際に、小画像の画素数を間引くか否かを設定する。例えば、合成画像を作成する大画像の画像サイズが２００万画素で分割数が２５６の場合、１つの小画像に割り当てられる画素数は約７８００画素となる。ところが、小画像として用いる素材画像の画素数が多い場合は、素材画像をそのままの画素数で切り取ると、素材画像の一部の小さな画像領域を小画像として用いることになり、素材画像から切り出した小画像が何の被写体を写した画像であるか分からなくなってしまう可能性がある。そこで、素材画像の画素数を間引いてから小画像として用いることにより、上記のような問題を少なくすることができる。例えば、図８（ｂ）のメニュー画面２２４の「間引き」項目で、ユーザーが「する」を選択した場合は、「画像サイズ」と「分割数」とから求められる小画像の画素数に合うように、後に選択される素材画像の画素数を間引く処理を行うように設定される。尚、間引く画素数は１／２でも１／３でも構わない。また、画素間引きではなく、複数画素の平均値や重み付けによって、素材画像の画素数を少なくしても構わない。
【００５６】
選択項目「領域選択」は、図３で説明したように、ステップＳ１１４で決定したテンプレート画像２０１から合成画像を作成する大画像２０２の領域を選択するか否かを設定する。例えば、図８（ｂ）のメニュー画面２２４の「選択領域」項目で、ユーザーが「部分」を選択した場合は、図３（ｂ）に示すようなテンプレート画像の画面に移行し、操作部材１１０のスクロールボタン１５４〜１５７で十字カーソル２０３および十字カーソル２０４を動かして大画像２０２の領域を選択し、ＯＫボタン１５３を押す。尚、操作部材１１０のＯＫボタン１５３が押されると、大画像２０２の領域が確定して、図８（ｂ）の合成画像設定メニュー画面２２４に戻る。尚、大画像２０２は、作成する合成画像の基になる画像としてフラッシュメモリ１１２に記録する。また、合成画像設定メニュー画面２２４で設定した情報も大画像２０２の画像ファイルに関連付けてフラッシュメモリ１１２に記録する。
【００５７】
（ステップＳ１１６）合成画像設定メニュー画面２２４において、各項目の設定が終了したか否かを判別する。合成画像設定メニュー画面２２４がモニタ１０７に表示されている状態で、操作部材１１０のＯＫボタン１５３が押されると、合成画像設定が終了する。尚、操作部材１１０のＯＫボタン１５３が押されるまでステップＳ１１６を繰り返し、合成画像設定メニュー画面２２４が表示され、合成画像の設定を行うことができる。
【００５８】
（ステップＳ１１７）合成画像設定メニュー画面２２４で設定された合成画像のサイズと分割数から小画像のサイズを算出し、フラッシュメモリ１１２に記録する。例えば、合成画像を作成する大画像の画像サイズが２００万画素で分割数が２５６の場合、１つの小画像に割り当てられる画素数は約７８００画素となる。小画像のアスペクト比を１：１とすると、縦８８画素×横８８画素の画像サイズとなる。尚、算出した小画像のサイズは、合成画像の画像ファイルに関連付けてフラッシュメモリ１１２に記録する。
【００５９】
（ステップＳ１１８）合成画像を作成する基になる大画像を合成画像設定メニュー画面２２４で設定された分割数で分割する。さらに、分割領域毎の色域データを算出する。ここで、色域データは、例えば、ＲＧＢのヒストグラム分布や平均値，明るさの情報である。尚、算出した分割領域毎の色域データは、分割領域の位置情報と共に、合成画像の画像ファイルに関連付けてフラッシュメモリ１１２に記録する。
【００６０】
（ステップＳ１１９）モニタ１０７に撮像素子１０３で撮影されるスルー画像の表示を開始する。尚、撮像素子１０３で撮影された画像がモニタ１０７に表示されるまでの動作は、先に図１で説明したので省略する。
【００６１】
（ステップＳ１２０）モニタ１０７に表示されるスルー画像に重畳させて、合成画像を完成するのに必要な小画像の必要枚数（残枚数）と、これまでに取得した小画像の取得枚数とを表示する。尚、残枚数は、合成画像を作成する基になる大画像に関連付けてフラッシュメモリ１１２に記録されている。取得枚数は、分割数から残枚数を引いて求めることができる。
【００６２】
（ステップＳ１２１）ユーザーが操作部材１１０から合成画像作成モードの終了操作を行ったか否かを判別する。ユーザーが終了操作を行った場合はステップＳ１２２に進み、終了操作を行っていない場合はステップＳ１２３に進む。
【００６３】
（ステップＳ１２２）ユーザーが合成画像作成モードの終了操作を行った場合は、ステップＳ１２０でモニタ１０７に表示されている画面の表示を終了し、ステップＳ１３８に進んで合成画像作成モードを終了する。
【００６４】
（ステップＳ１２３）ユーザーが合成画像作成モードの終了操作を行っていない場合は、モニタ１０７に表示されているスルー画像の判定領域の選択を行う。例えば、図９に示すように、モニタ１０７に表示されているスルー画像２５１を９つの領域に分けて、後のステップで色域データの類似判定を行う場合、スルー画像２５１のどの領域で判定を行うか選択する。例えば、領域１を選択して後のステップを処理し、再び本ステップに戻ってきた場合は、次の領域２を選択する。このようにして領域９まで選択したら、再び領域１を選択し、同様の判定処理を繰り返す。尚、この判定領域のサイズは、合成画像を作成する小画像のサイズまたは画素間引きを行った時の小画像のサイズに等しい。また、領域１〜９は、互いに少なくとも一部が重複しない領域である。例えば、領域１を１画素ずらした領域を領域２とするなど、少なくとも重複しない領域を含む。
【００６５】
（ステップＳ１２４）ステップＳ１２３で選択した判定領域の色域データを算出する。
【００６６】
（ステップＳ１２５）ステップＳ１２４で算出した判定領域の色域データが、ステップＳ１１８で算出してフラッシュメモリ１１２に記録されている大画像の分割領域毎の色域データのいずれかと類似しているか否かを判別する。類似していると判定された場合は、大画像の分割領域の中の合成位置をＲＡＭ１１３などに一時的に保持してステップＳ１２６に進み、類似していない場合はステップＳ１２１に戻る。ここで、類似判定は、例えば、以下のように行う。
【００６７】
先ず、式１によって、大画像の分割領域毎のＲＧＢデータの平均値をＬａｂデータに変換する。式１において、ＴＭは大画像のデータであることを示し、（ｘ１，ｙ１）は分割領域の位置を示す座標である。例えば、座標（ｘ１，ｙ１）は、図４（ａ）において、分割領域の左上の位置を示す。同様の処理を座標（ｘ１，ｙ１）から座標（ｘ１６，ｙ１６）までの２５６個の分割領域に対して行う。
【００６８】
【数１】
2009129160.tif 000003
【００６９】
次に、式２によって、ステップＳ１２４で算出したスルー画像の判定領域のＲＧＢデータの平均値をＬａｂデータに変換する。式２において、ＴＲは判定領域の画像データであることを示している。
【００７０】
【数２】
2009129160.tif 000004
【００７１】
次に、式３によって、大画像の分割領域毎のＬａｂデータの色成分（ａ１，ｂ１）と、スルー画像の判定領域のＬａｂデータとの色成分（ａ２，ｂ２）との色空間におけるａｂ平面上の距離を求める。色成分の距離が所定距離ΔＣより小さい場合は、類似していると判定する。
【００７２】
【数３】
2009129160.tif 000005
【００７３】
尚、類似判定は、式４を用いても構わない。式４は、式３の色成分に輝度成分Ｌ１およびＬ２を加えて、大画像の分割領域毎のＬａｂデータと、スルー画像の判定領域のＬａｂデータとの色空間における距離を求める。求めた距離が所定距離ΔＥより小さい場合は、類似していると判定する。
【００７４】
【数４】
2009129160.tif 000006
【００７５】
式３で類似判定する場合は式４で類似判定する場合より判定が甘くなるので、式４を用いた方が合成画像の仕上がりはきれいになる。
【００７６】
（ステップＳ１２６）ステップＳ１２５で類似していると判定された場合は、モニタ１０７に表示されているスルー画像に判定領域を示す枠を表示する。この様子について、図１０を用いて説明する。図１０はカメラ１０１をモニタ１０７側から見た外観図で、モニタ１０７には素材画像がスルー画像として表示されており、小画像として利用可能な色域データの類似領域が判定領域枠１６０として重畳表示されている。図１０において、判定領域枠１６０の画像を小画像として利用したい場合は、ユーザーはレリーズボタン１５１を押下する。
【００７７】
（ステップＳ１２７）ユーザーが操作部材１１０からレリーズボタン１５１を押下したか否かを判別する。ユーザーがレリーズボタン１５１を押下した場合は、ステップＳ１３０に進み、レリーズボタン１５１を押下していない場合はステップＳ１２８に進む。
【００７８】
（ステップＳ１２８）ステップＳ１２５において特定された判定領域についてステップＳ１２５と同様の類似判定を行う。類似していると判定されている間は、ステップＳ１２７に戻ってユーザーの操作を待つ。ユーザーの操作を待っている間に、スルー画像が変わって類似していないと判定された場合はステップＳ１２９に進む。
【００７９】
（ステップＳ１２９）図１０のモニタ１０７に表示されていた類似領域を示す判定領域枠１６０を消去し、ステップＳ１２１に戻る。
【００８０】
（ステップＳ１３０）ユーザーがレリーズボタン１５１を押下したので、小画像の撮影処理を行う。つまり、スルー画としてモニタ１０７に表示されている判定領域枠１６０の画像を小画像として撮像素子１０３，ＡＦＥ１０４，画像処理回路１０５を介してＲＡＭ１１３またはフラッシュメモリ１１２に一時的に取り込む。
【００８１】
（ステップＳ１３１）合成画像処理を行う。つまり、ステップＳ１３０でＲＡＭ１１３またはフラッシュメモリ１１２に一時的に記録された小画像を、合成画像として作成する大画像の分割領域の位置情報から得られる位置に貼り付けて合成する。
【００８２】
（ステップＳ１３２）ステップＳ１３１で合成した大画像の分割領域の位置をフラッシュメモリ１１２に記録する。この結果、この合成位置は合成済みとなる。尚、この時、ステップＳ１３０で撮影された小画像データと合成位置情報との少なくとも一方をフラッシュメモリ１１２に記録する。
【００８３】
（ステップＳ１３３）ステップＳ１３１からステップＳ１３２の処理によって、小画像の取得枚数が１枚増えるので、フラッシュメモリ１１２に記録されている残枚数を１枚減らす。同時に、ステップＳ１２０でモニタ１０７に表示されているスルー画像に重畳して表示している合成画像を完成するのに必要な小画像の必要枚数（残枚数）と、これまでに取得した小画像の取得枚数とを更新して表示する。尚、残枚数は、大画像の分割領域の中で色域データが類似する小画像が得られていない分割領域をカウントした数に相当する。
【００８４】
（ステップＳ１３４）フラッシュメモリ１１２に記録されている合成画像を完成するのに必要な小画像の必要枚数が零になったか否かを判別する。小画像の必要枚数が零の場合はステップＳ１３５に進み、小画像の必要枚数が零でない場合はステップＳ１２１に戻る。
【００８５】
（ステップＳ１３５）完成した合成画像をフラッシュメモリ１１２から読み出してモニタ１０７に表示する。
【００８６】
（ステップＳ１３６）ユーザーがＯＫボタン１５３を押すまで、モニタ１０７の画面に完成した合成画像が表示される。ユーザーがＯＫボタン１５３を押すと、ステップＳ１３７に進む。
【００８７】
（ステップＳ１３７）モニタ１０７に表示されていた合成画像の表示を終了する。
【００８８】
（ステップＳ１３８）合成画像作成モードを終了する。
【００８９】
尚、図５のフローチャートのステップＳ１０６において、新規作成を選択しなかった場合は、制御回路１０９は以下の処理を実行する。
【００９０】
（ステップＳ１３９）図７（ａ）のメニュー画面２１０において、どのサムネイル画像が選択されたかを判別する。例えば、サムネイル画像２１３がカーソル枠２１４で選択されている場合はサムネイル画像２１３を作成する合成画像であると特定する。
【００９１】
（ステップＳ１４０）サムネイル画像２１３に相当する作成中の合成画像の色域データをフラッシュメモリ１１２から読み出す。
【００９２】
（ステップＳ１４１）ステップＳ１４０で読み出した色域データに関連付けてフラッシュメモリ１１２に記録されている合成画像の位置情報を読み出す。
【００９３】
（ステップＳ１４２）ステップＳ１４０で読み出した色域データに関連付けてフラッシュメモリ１１２に記録されている合成画像のサイズや小画像のサイズを読み出す。
【００９４】
尚、ステップＳ１４０〜Ｓ１４２で読み出される作成中の合成画像の分割領域毎の色域データや位置情報、或いは既に合成済みの小画像の位置情報、合成画像のサイズや小画像のサイズなどは、先に説明したステップＳ１０７からステップＳ１３８までの処理において、フラッシュメモリ１１２に記録されている。
【００９５】
ステップＳ１３９〜Ｓ１４２までの処理によって、作成中の合成画像や合成画像の設定に関する情報をフラッシュメモリ１１２から読み出し、ステップＳ１１９に進む。以降、作成中の合成画像を継続して作成することができる。
【００９６】
尚、上記の説明では、合成画像のサイズ，小画像のサイズ，合成画像の分割領域毎の色域データ，位置情報，既に合成済みの小画像の位置情報などはフラッシュメモリ１１２に記録するようにしたが、メモリカードなどの着脱可能な記憶媒体１１５に記録するようにしても構わない。
【００９７】
また、本実施形態では、ステップＳ１２６〜Ｓ１２９において、小画像として選択するか否かをユーザーに促して、ユーザーが決定した場合のみ小画像として選択するようにしたが、ステップＳ１２６〜Ｓ１２９を削除して、類似領域が見つかった場合は自動的に小画像として選択するようにしても構わない。
また、本実施形態では、ステップＳ１３１で画像合成処理を行うようにしたが、ステップＳ１３１の処理をスキップして、ステップＳ１３２で合成位置情報と小画像データとをフラッシュメモリ１１２や記憶媒体１１５に記録するようにしても構わない。この場合は、後で記憶媒体１１５をパソコンに接続して，パソコンで合成処理を行うことができる。
【００９８】
また、本実施形態では、カメラ１０１でモザイクアート手法による合成画像を作成する技術について説明したが、カメラ付携帯電話やカメラ付パソコンなどを用いても構わない。
【００９９】
或いは、カメラのないパソコンにメモリカードなどの記憶媒体１１５を接続して、図５および図６のフローチャートをパソコンのソフトウェアで実行するようにしても構わない。この場合は、図５および図６のフローチャートにおいて、テンプレート画像と素材画像の選択を、新規に撮影するのではなく、パソコンの記憶媒体に記憶されている画像ファイルを読み出して選択するように変更すればよい。例えば、テンプレート画像の新規撮影処理であるステップＳ１１０〜Ｓ１１１は不要である。また、素材画像を撮像素子１０３で撮影するスルー画像の代わりに、既存の画像ファイルを記憶媒体から順次読み出すようにすればよい。例えば、ステップＳ１１９は既存の画像ファイルを記憶媒体から読み出してパソコンの画面に表示する。また、ステップＳ１３０では、撮影処理の代わりに、既存の画像ファイルを記憶媒体から読み出してパソコンの画面に表示されている画像の判定領域枠で囲まれている部分を切り出して新たな画像データとすればよい。尚、レリーズボタン１５１やＯＫボタン１５３，キャンセルボタン１５４などカメラ１０１の操作部材１１０の代わりにパソコンのキーボードの何らかのキーを割り当てれば良い。
【０１００】
このように、本発明に係る画像処理装置の機能を有するカメラ１０１は、素材画像の部分的な画像領域を小画像として類似判定を行うので、素材画像を有効に利用することができる。特に、素材画像全体を用いる場合に比べて、より類似した小画像を得ることができ、鮮明な合成画像を得ることができる。また、素材画像を入力する際に小画像として利用可能な領域をスルー画像に表示したり、合成画像を完成させるのに必要な小画像の残枚数を表示するので、合成画像を作成する際の小画像の入力操作を簡単に行うことができる。
【０１０１】
尚、本実施形態は、本発明に係る画像処理装置の一例に過ぎず、複数の画像を扱う画像処理装置において、モザイクアート手法による合成画像を作成する機能を有する場合に適用することができる。
【図面の簡単な説明】
【０１０２】
【図１】第１の実施形態に係るカメラ１０１のブロック図である。
【図２】カメラ１０１の外観図である。
【図３】テンプレート画像を説明するための説明図である。
【図４】分割数を説明するための説明図である。
【図５】合成画像作成モードの処理を示すフローチャートである。
【図６】合成画像作成モードの処理を示すフローチャートである。
【図７】合成画像作成のメニュー画面を示す説明図である。
【図８】合成画像作成のメニュー画面を示す説明図である。
【図９】判定領域を示す説明図である。
【図１０】判定領域枠を表示するスルー画像を示す説明図である。
【符号の説明】
【０１０３】
１０１・・・カメラ            １０２・・・撮像光学系
１０３・・・撮像素子          １０４・・・ＡＦＥ
１０５・・・画像処理回路      １０６・・・表示制御回路
１０７・・・モニタ            １０８・・・撮像素子駆動回路
１０９・・・制御回路          １１０・・・操作部材
１１１・・・システムバス      １１２・・・フラッシュメモリ
１１３・・・ＲＡＭ            １１４・・・記録Ｉ／Ｆ
１１５・・・記憶媒体
【図１】
2009129160.tif 000007
【図２】
2009129160.tif 000008
【図３】
2009129160.tif 000009
【図４】
2009129160.tif 000010
【図５】
2009129160.tif 000011
【図６】
2009129160.tif 000012
【図７】
2009129160.tif 000013
【図８】
2009129160.tif 000014
【図９】
2009129160.tif 000015
【図１０】
2009129160.tif 000016