(57)【要約】【構成】フラッシュメモリ４２には、１または２以上の素材画像が保存される。保存された１または２以上の素材画像には、１または２以上の認識マークがそれぞれ割り当てられる。ＣＰＵ２６は、いずれかの認識マークに相当する部分画像をイメージャ１６によって捉えられた撮影画像から探索する。ＣＰＵ２６はまた、シャッタボタン４０ｓｈが全押しされた時点の撮影画像を記録媒体３８に記録する。ただし、ＣＰＵ２６は、探索処理によって探知された部分画像に対応する素材画像を記録処理に先立って撮影画像に合成する。ＣＰＵ２６はさらに、記録された画像の一部をフラッシュメモリ４２に保存すべき新規の素材画像として抽出し、新規の認識マークを抽出された素材画像に割り当てる。【効果】合成画像の作成と素材画像の追加とが１つの装置で可能となり、画像合成性能が向上する。【選択図】図２
2013012934.tif 000002
【特許請求の範囲】
【請求項１】
１または２以上の素材画像にそれぞれ割り当てられた１または２以上の指標のいずれか１つに相当する部分画像を入力画像から探索する探索手段、
前記１または２以上の素材画像のうち前記探索手段によって探知された部分画像に対応する素材画像を前記入力画像に合成して合成画像を作成する合成手段、
前記探索手段の非探知に対応して前記入力画像を記録する一方、前記探索手段の探知に対応して前記合成画像を記録する処理を記録指示に応答して実行する記録手段、
前記記録手段によって記録された画像の一部を前記１または２以上の素材画像に追加される新規の素材画像として抽出する抽出手段、および
前記１または２以上の指標に追加される新規の指標を前記抽出手段によって抽出された画像に割り当てる割り当て手段を備える、画像処理装置。
【請求項２】
前記探索手段によって探知された部分画像に相当する指標は倍率情報を伴い、
前記合成手段は、前記部分画像から前記倍率情報を検出する倍率情報検出手段、および前記倍率情報検出手段によって検出された倍率情報を参照して前記素材画像の倍率を調整する倍率調整手段を含む、請求項１記載の画像処理装置。
【請求項３】
撮像面で捉えられたシーンを表す画像を出力する撮像手段、および
前記撮像手段から出力された画像に基づいて前記入力画像を作成する作成手段をさらに備える、請求項１または２記載の画像処理装置。
【請求項４】
前記撮像手段は前記画像を繰り返し出力し、
前記作成手段は前記入力画像を繰り返し作成し、
前記合成手段は、前記記録指示の前に前記作成手段によって作成された前記入力画像に前記素材画像を合成する第１画像合成手段、および前記記録指示に対応するタイミングで前記作成手段によって作成された前記入力画像に前記素材画像を合成する第２画像合成手段を含む、請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
画像処理装置のプロセッサに、
１または２以上の素材画像にそれぞれ割り当てられた１または２以上の指標のいずれか１つに相当する部分画像を入力画像から探索する探索ステップ、
前記１または２以上の素材画像のうち前記探索ステップによって探知された部分画像に対応する素材画像を前記入力画像に合成して合成画像を作成する合成ステップ、
前記探索ステップの非探知に対応して前記入力画像を記録する一方、前記探索ステップの探知に対応して前記合成画像を記録する処理を記録指示に応答して実行する記録ステップ、
前記記録ステップによって記録された画像の一部を前記１または２以上の素材画像に追加される新規の素材画像として抽出する抽出ステップ、および
前記１または２以上の指標に追加される新規の指標を前記抽出ステップによって抽出された画像に割り当てる割り当てステップを実行させるための、画像処理プログラム。
【請求項６】
画像処理装置によって実行される画像処理方法であって、
１または２以上の素材画像にそれぞれ割り当てられた１または２以上の指標のいずれか１つに相当する部分画像を入力画像から探索する探索ステップ、
前記１または２以上の素材画像のうち前記探索ステップによって探知された部分画像に対応する素材画像を前記入力画像に合成して合成画像を作成する合成ステップ、
前記探索ステップの非探知に対応して前記入力画像を記録する一方、前記探索ステップの探知に対応して前記合成画像を記録する処理を記録指示に応答して実行する記録ステップ、
前記記録ステップによって記録された画像の一部を前記１または２以上の素材画像に追加される新規の素材画像として抽出する抽出ステップ、および
前記１または２以上の指標に追加される新規の指標を前記抽出ステップによって抽出された画像に割り当てる割り当てステップを備える、画像処理方法。
【請求項７】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
１または２以上の素材画像にそれぞれ割り当てられた１または２以上の指標のいずれか１つに相当する部分画像を入力画像から探索する探索ステップ、
前記１または２以上の素材画像のうち前記探索ステップによって探知された部分画像に対応する素材画像を前記入力画像に合成して合成画像を作成する合成ステップ、
前記探索ステップの非探知に対応して前記入力画像を記録する一方、前記探索ステップの探知に対応して前記合成画像を記録する処理を記録指示に応答して実行する記録ステップ、
前記記録ステップによって記録された画像の一部を前記１または２以上の素材画像に追加される新規の素材画像として抽出する抽出ステップ、および
前記１または２以上の指標に追加される新規の指標を前記抽出ステップによって抽出された画像に割り当てる割り当てステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項８】
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
１または２以上の素材画像にそれぞれ割り当てられた１または２以上の指標のいずれか１つに相当する部分画像を入力画像から探索する探索ステップ、
前記１または２以上の素材画像のうち前記探索ステップによって探知された部分画像に対応する素材画像を前記入力画像に合成して合成画像を作成する合成ステップ、
前記探索ステップの非探知に対応して前記入力画像を記録する一方、前記探索ステップの探知に対応して前記合成画像を記録する処理を記録指示に応答して実行する記録ステップ、
前記記録ステップによって記録された画像の一部を前記１または２以上の素材画像に追加される新規の素材画像として抽出する抽出ステップ、および
前記１または２以上の指標に追加される新規の指標を前記抽出ステップによって抽出された画像に割り当てる割り当てステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に素材画像を入力画像に合成する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、携帯端末は、実世界を表す撮影画像，撮影時点のズーム倍率，および近傍の基地局を示す基地局情報を情報提供サーバに送信する。情報提供サーバは、撮影画像に重ね合わせて表示させるオーバレイ情報を携帯端末から受信した撮影画像，ズーム倍率および基地局情報に基づいて取得し、取得したオーバレイ情報を携帯端末に返送する。携帯端末は、情報提供サーバから受信したオーバレイ情報を撮影画像に合成し、合成画像を表示部に表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−５５２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、撮影画像は携帯端末で取得する一方、オーバレイ情報は情報提供サーバで取得する必要があるため、画像合成性能に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、画像合成性能を高めることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、１または２以上の素材画像にそれぞれ割り当てられた１または２以上の指標のいずれか１つに相当する部分画像を入力画像から探索する探索手段(S55~S65)、１または２以上の素材画像のうち探索手段によって探知された部分画像に対応する素材画像を入力画像に合成して合成画像を作成する合成手段(S67~S73, S39~S41)、探索手段の非探知に対応して入力画像を記録する一方、探索手段の探知に対応して合成画像を記録する処理を記録指示に応答して実行する記録手段(S37, S43)、記録手段によって記録された画像の一部を１または２以上の素材画像に追加される新規の素材画像として抽出する抽出手段(S83~S85, S91)、および１または２以上の指標に追加される新規の指標を抽出手段によって抽出された画像に割り当てる割り当て手段(S93~S97)を備える。
【０００７】
好ましくは、探索手段によって探知された部分画像に相当する指標は倍率情報を伴い、合成手段は、部分画像から倍率情報を検出する倍率情報検出手段(S67)、および倍率情報検出手段によって検出された倍率情報を参照して素材画像の倍率を調整する倍率調整手段(S69)を含む。
【０００８】
好ましくは、撮像面で捉えられたシーンを表す画像を出力する撮像手段(16)、および撮像手段から出力された画像に基づいて入力画像を作成する作成手段(20)がさらに備えられる。
【０００９】
好ましくは、撮像手段は画像を繰り返し出力し、作成手段は入力画像を繰り返し作成し、合成手段は、記録指示の前に作成手段によって作成された入力画像に素材画像を合成する第１画像合成手段(S73)、および記録指示に対応するタイミングで作成手段によって作成された入力画像に素材画像を合成する第２画像合成手段(S41)を含む。
【００１０】
この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(26)に、１または２以上の素材画像にそれぞれ割り当てられた１または２以上の指標のいずれか１つに相当する部分画像を入力画像から探索する探索ステップ(S55~S65)、１または２以上の素材画像のうち探索ステップによって探知された部分画像に対応する素材画像を入力画像に合成して合成画像を作成する合成ステップ(S67~S73, S39~S41)、探索ステップの非探知に対応して入力画像を記録する一方、探索ステップの探知に対応して合成画像を記録する処理を記録指示に応答して実行する記録ステップ(S37, S43)、記録ステップによって記録された画像の一部を１または２以上の素材画像に追加される新規の素材画像として抽出する抽出ステップ(S83~S85, S91)、および１または２以上の指標に追加される新規の指標を抽出ステップによって抽出された画像に割り当てる割り当てステップ(S93~S97)を実行させるための、画像処理プログラムである。
【００１１】
この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、１または２以上の素材画像にそれぞれ割り当てられた１または２以上の指標のいずれか１つに相当する部分画像を入力画像から探索する探索ステップ(S55~S65)、１または２以上の素材画像のうち探索ステップによって探知された部分画像に対応する素材画像を入力画像に合成して合成画像を作成する合成ステップ(S67~S73, S39~S41)、探索ステップの非探知に対応して入力画像を記録する一方、探索ステップの探知に対応して合成画像を記録する処理を記録指示に応答して実行する記録ステップ(S37, S43)、記録ステップによって記録された画像の一部を１または２以上の素材画像に追加される新規の素材画像として抽出する抽出ステップ(S83~S85, S91)、および１または２以上の指標に追加される新規の指標を抽出ステップによって抽出された画像に割り当てる割り当てステップ(S93~S97)を備える。
【００１２】
この発明に従う外部制御プログラムは、メモリ(42)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)に供給される外部制御プログラムであって、１または２以上の素材画像にそれぞれ割り当てられた１または２以上の指標のいずれか１つに相当する部分画像を入力画像から探索する探索ステップ(S55~S65)、１または２以上の素材画像のうち探索ステップによって探知された部分画像に対応する素材画像を入力画像に合成して合成画像を作成する合成ステップ(S67~S73, S39~S41)、探索ステップの非探知に対応して入力画像を記録する一方、探索ステップの探知に対応して合成画像を記録する処理を記録指示に応答して実行する記録ステップ(S37, S43)、記録ステップによって記録された画像の一部を１または２以上の素材画像に追加される新規の素材画像として抽出する抽出ステップ(S83~S85, S91)、および１または２以上の指標に追加される新規の指標を抽出ステップによって抽出された画像に割り当てる割り当てステップ(S93~S97)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１３】
この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(44)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(42)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置であって、外部制御プログラムは、１または２以上の素材画像にそれぞれ割り当てられた１または２以上の指標のいずれか１つに相当する部分画像を入力画像から探索する探索ステップ(S55~S65)、１または２以上の素材画像のうち探索ステップによって探知された部分画像に対応する素材画像を入力画像に合成して合成画像を作成する合成ステップ(S67~S73, S39~S41)、探索ステップの非探知に対応して入力画像を記録する一方、探索ステップの探知に対応して合成画像を記録する処理を記録指示に応答して実行する記録ステップ(S37, S43)、記録ステップによって記録された画像の一部を１または２以上の素材画像に追加される新規の素材画像として抽出する抽出ステップ(S83~S85, S91)、および１または２以上の指標に追加される新規の指標を抽出ステップによって抽出された画像に割り当てる割り当てステップ(S93~S97)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１４】
この発明によれば、指標に相当する部分画像が探知されたときは、探知された部分画像に対応する素材画像を入力画像に合成して得られる合成画像が記録される。これに対して、指標に相当する部分画像が探知されなかったときは、入力画像が記録される。こうして記録された画像の一部は、新規の素材画像として抽出される。抽出された画像には、新規の指標が割り当てられる。これによって、合成画像の作成と素材画像の追加とが１つの装置で可能となり、画像合成性能が向上する。
【００１５】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１６】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】（Ａ）は撮影画像データの一例を示す図解図であり、（Ｂ）は撮影画像データの他の一例を示す図解図である。
【図４】（Ａ）は素材画像データの一例を示す図解図であり、（Ｂ）は素材画像データの他の一例を示す図解図である。
【図５】認識マークメニューの一例を示す図解図である。
【図６】（Ａ）は素材画像データおよび認識マークのペアの一例を示す図解図であり、（Ｂ）は素材画像データおよび認識マークのペアの他の一例を示す図解図である。
【図７】（Ａ）は認識マークが描かれたカードの一例を示す図解図であり、（Ｂ）は認識マークが描かれたカードの他の一例を示す図解図である。
【図８】（Ａ）は撮影シーンの一例を示す図解図であり、（Ｂ）は合成画像の一例を示す図解図である。
【図９】（Ａ）は撮影シーンの他の一例を示す図解図であり、（Ｂ）は合成画像の他の一例を示す図解図である。
【図１０】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１１】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１２】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１４】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１５】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１６】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１８】
図１を参照して、この実施例の画像処理装置は、基本的に次のように構成される。探索手段１は、１または２以上の素材画像にそれぞれ割り当てられた１または２以上の指標のいずれか１つに相当する部分画像を入力画像から探索する。合成手段２は、１または２以上の素材画像のうち探索手段１によって探知された部分画像に対応する素材画像を入力画像に合成して合成画像を作成する。記録手段３は、探索手段１の非探知に対応して入力画像を記録する一方、探索手段１の探知に対応して合成画像を記録する処理を記録指示に応答して実行する。抽出手段４は、記録手段３によって記録された画像の一部を１または２以上の素材画像に追加される新規の素材画像として抽出する。割り当て手段５は、１または２以上の指標に追加される新規の指標を抽出手段４によって抽出された画像に割り当てる。
【００１９】
指標に相当する部分画像が探知されたときは、探知された部分画像に対応する素材画像を入力画像に合成して得られる合成画像が記録される。これに対して、指標に相当する部分画像が探知されなかったときは、入力画像が記録される。こうして記録された画像の一部は、新規の素材画像として抽出される。抽出された画像には、新規の指標が割り当てられる。これによって、合成画像の作成と素材画像の追加とが１つの装置で可能となり、画像合成性能が向上する。
［実施例］
【００２０】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。
【００２１】
電源が投入されると、ＣＰＵ２６はメインタスクを実行する。メインタスクではまず、フラッシュメモリ４２に保存されたモード情報が読み出され、読み出されたモード情報に対応するタスクが起動される。読み出されたモード情報がカメラモードを示していれば撮像タスクが起動され、読み出されたモード情報が再生モードを示していれば再生タスクが起動される。
【００２２】
キー入力装置４０に設けられたモード切り換えスイッチ４０ｓｗが操作されると、起動中のタスクが停止される。フラッシュメモリ４２に保存されたモード情報は、モード切り換えスイッチ４０ｓｗの操作によって選択された動作モードを示すように更新される。起動すべきタスクは、更新後のモード情報を参照して変更される。
【００２３】
撮像タスクが起動されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、ドライバ１８ｃに露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ１８ｃは、周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、イメージャ１６の撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２４】
信号処理回路２０は、イメージャ１６から出力された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施す。これによって生成されたＹＵＶ形式の画像データ（以下では、「撮影画像データ」という）は、メモリ制御回路２２を通してＳＤＲＡＭ２４のＹＵＶ画像エリア２４ａに書き込まれる。ＬＣＤドライバ２８は、ＹＵＶ画像エリア２４ａに格納された撮影画像データをメモリ制御回路２２を通して繰り返し読み出し、読み出された撮影画像データに基づいてＬＣＤモニタ３０を駆動する。この結果、撮像面で捉えられたシーンを表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２５】
信号処理回路２０はまた、撮影画像データを形成するＹデータをＣＰＵ２６に与える。ＣＰＵ２６は、与えられたＹデータにＡＥ処理を施して適正ＥＶ値を算出し、算出された適正ＥＶ値を定義する絞り量および露光時間をドライバ１８ｂおよび１８ｃにそれぞれ設定する。これによって、スルー画像の明るさが適度に調整される。
【００２６】
キー入力装置４０に設けられたシャッタボタン４０ｓｈが半押しされると、ＣＰＵ２６は、信号処理回路２０から与えられたＹデータに厳格ＡＥ処理を施して最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間は、上述と同様、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが厳格に調整される。ＣＰＵ２６はまた、信号処理回路２０から与えられたＹデータの高周波成分にＡＦ処理を施す。これによってフォーカスレンズ１２が合焦点に配置され、スルー画像の鮮鋭度が向上する。シャッタボタン４０ｓｈが全押しされると、ＣＰＵ２６は、静止画取り込み処理を実行するとともに、記録処理の実行をメモリＩ／Ｆ３６に命令する。
【００２７】
シャッタボタン４０ｓｈが全押しされた時点のシーンを表す撮影画像データは、静止画取り込み処理によってＹＵＶ画像エリア２４ａから静止画像エリア２４ｂに退避される。記録処理の実行を命令されたメモリＩ／Ｆ３６は、静止画像エリア２４ｂに退避された撮影画像データをメモリ制御回路２２を通して読み出し、読み出された撮影画像データを収めた画像ファイルを記録媒体３８に記録する。記録媒体３８には、たとえば図３（Ａ）に示す撮影画像データまたは図３（Ｂ）に示す撮影画像データがファイル形式で記録される。
【００２８】
再生タスクが起動されると、ＣＰＵ２６は、記録媒体３８に記録された最新の画像ファイルを指定し、指定された画像ファイルに注目した再生処理の実行をメモリＩ／Ｆ３６およびＬＣＤドライバ２８に命令する。メモリＩ／Ｆ３６は、指定された画像ファイルの画像データ（撮影画像データまたは後述する合成画像データ）を記録媒体３８から読み出し、読み出された画像データをメモリ制御回路２２を通してＳＤＲＡＭ２４の静止画像エリア２４ｂに書き込む。
【００２９】
ＬＣＤドライバ２８は、静止画像エリア２４ｂに格納された画像データをメモリ制御回路２２を通して読み出し、読み出された画像データに基づいてＬＣＤモニタ３０を駆動する。この結果、指定画像ファイルの画像データに基づく再生画像がＬＣＤモニタ３０に表示される。キー入力装置４０の送り／戻しボタン４０ｆｒが操作されると、ＣＰＵ２６は、後続の画像ファイルまたは先行する画像ファイルを指定する。指定された画像ファイルは上述と同様の再生処理を施され、この結果、再生画像が更新される。図３（Ａ）または図３（Ｂ）に示す撮影画像データは、こうしてＬＣＤモニタ３０から出力される。
【００３０】
タッチセンサ３４は、ＬＣＤモニタ３０に対するタッチ操作を検知し、検知結果をＣＰＵ２６に与える。所望の再生画像がＬＣＤモニタ３０に表示されている状態でＬＣＤ３０に対するタッチ操作が行われると、ＣＰＵ２６は、タッチ操作によって定義された領域の部分画像データを静止画像エリア２４ｂからワークエリア２４ｃに切り出す。ここで、切り出し領域は、画像の鮮鋭度の変化あるいは輪郭成分の増大に注目して決定される。これによって素材画像データが得られる。
【００３１】
したがって、図３（Ａ）に示す撮影画像データが再生されている状態で人物画像ＭＴ１がタッチされると、素材画像データは図４（Ａ）に示す要領で作成される。また、図３（Ｂ）に示す撮影画像データが再生されている状態でペット画像ＭＴ２がタッチされると、素材画像データは図４（Ｂ）に示す要領で作成される。
【００３２】
ＣＰＵ２６は続いて、認識マークメニューを表示するべく、対応する命令をキャラクタジェネレータ３２に与える。キャラクタジェネレータ３２は認識マークメニューを表すキャラクタデータをＬＣＤドライバ２８に与え、ＬＣＤドライバ２８は与えられたキャラクタデータに基づいてＬＣＤモニタ３０を駆動する。この結果、認識マークメニューが図５に示す要領でＬＣＤモニタ３０に表示される。
【００３３】
ここでタッチ操作が行われると、ＣＰＵ３０は、表示された認識マークＭＫ１およびＭＫ２のうちタッチ位置に存在する認識マークを、ワークエリア２４ｃに退避された素材画像データとともにフラッシュメモリ４２に保存する。保存された認識マークおよび素材画像データのペアには、“１”から始まる識別番号が付与される。
【００３４】
したがって、図４（Ａ）に示す素材画像データの作成後に認識マークメニュー上で認識マークＭＫ１がタッチされると、図６（Ａ）に示すペアが作成される。また、図４（Ｂ）に示す素材画像データの作成後に認識マークメニュー上で認識マークＭＫ２がタッチされると、図６（Ｂ）に示すペアが作成される。図６（Ａ）に示すペアにはたとえば識別番号“１”が付与され、図６（Ｂ）に示すペアにはたとえば識別番号“２”が付与される。
【００３５】
こうして素材画像データおよび認識マークがフラッシュメモリ４２に保存された後にカメラモードが選択されると、撮像タスクに加えて画像合成タスクが起動される。画像合成タスクの下では、フラッシュメモリ４２に保存された全ての認識マークがＳＤＲＡＭ２４のワークエリア２４ｃに転送される。
【００３６】
続いて、変数Ｋが“１”〜“Ｋｍａｘ”（Ｋｍａｘ：認識マークの総数）の間で循環的に更新され、Ｋ番目の認識マークに相当する部分画像がＹＵＶ画像エリア２４ａに格納された現フレームの画像データから探索される。
【００３７】
図７（Ａ）〜図７（Ｂ）を参照して、カードＣＤ＿１の表面の中央には認識マークＭＫ１が描かれ、カードＣＤ＿２の表面の中央には認識マークＭＫ２が描かれる。また、カードＣＤ＿１およびＣＤ＿２の表面の下部には、素材画像データの倍率を記入するためのカラムが形成される。素材画像データを０．５倍の倍率で合成したいとき、操作者はカラムに“０．５”と記入する。また、素材画像データの倍率を０．７倍に変更したいとき、操作者はカラムの記入された数字を“０．７”に修正する。
【００３８】
画像合成タスクの下での処理は、このようなカードＣＤ＿１またはＣＤ＿２が撮像シーンに配置され、カードＣＤ＿１に描かれたマークＭＫ１またはカードＣＤ＿２に描かれたマークＭＫ２がイメージャ１６によって捉えられることを前提とする。
【００３９】
Ｋ番目の認識マークに相当する部分画像が現フレームの画像データから探知されると、ＣＰＵ２６は、探知された部分画像の近傍（カードＣＤ＿１またはＣＤ＿２のカラムに相当する位置）から倍率情報を検出し、Ｋ番目の認識ワークに割り当てられた素材画像データはフラッシュメモリ４２からＳＤＲＡＭ２４のワークエリア２４ｃに転送し、そして転送された素材画像データの倍率を検出された倍率情報を参照して調整する。調整された倍率を有する素材画像データは、ワークエリア２４ｃに保持される。
【００４０】
ＣＰＵ２６は続いて、画像合成をＬＣＤドライバ２８に命令する。ＬＣＤドライバ２８は、撮影画像データをＹＵＶ画像エリア２４ａから繰り返し読み出すとともに、調整された倍率を有する素材画像データを認識マークの位置に対応してワークエリア２４ｃから繰り返し読み出し、読み出されたこれらの画像データに基づいてＬＣＤドライバ３０を駆動する。この結果、スルー画像に現れた認識マークを覆うように、素材画像がスルー画像に合成される。
【００４１】
このような画像合成処理は、２秒後に中断される。ＬＣＤドライバ２８は読み出すべき画像データを撮影画像データに統一し、これによって素材画像がＬＣＤモニタ２８から消失する。ただし、上述の探索処理が速やかに再開され、認識マークの探知に応答して素材画像が再表示される。
【００４２】
したがって、図８（Ａ）に示すシーンが捉えられたときは、図８（Ｂ）に示す合成画像がＬＣＤモニタ３０に表示される。また、図９（Ａ）に示すシーンが捉えられたときは、図９（Ｂ）に示す合成画像がＬＣＤモニタ３０に表示される。上述のように、素材画像の倍率は、カードＣＤ＿１またはＣＤ＿２のカラムに記述された数値に基づいて調整される。
【００４３】
素材画像がＬＣＤモニタ３０に表示されている状態でシャッタボタン４０ｓｈが全押しされると、調整された倍率を有するワークエリア２４ｃ上の素材画像データが静止画像エリア２４ｂに退避された撮影画像データに合成される。記録媒体３８には、こうして作成された合成画像データを収めた画像ファイルが記録される。
【００４４】
ＣＰＵ２６は、図１０に示すメインタスクを動作モードに関係なく実行し、カメラモードが選択されたときに図１１〜図１２に示す撮像タスク（および必要に応じて図１３〜図１４に示す画像合成タスク）を実行し、そして再生モードが選択されたときに図１５に示す再生タスクを実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４２に記憶される。
【００４５】
図１０を参照して、ステップＳ１では、フラッシュメモリ４２に保存されたモード情報を読み出す。ステップＳ３では読み出されたモード情報が示す動作モードがカメラモードであるか否かを判別し、ステップ５では読み出されたモード情報が示す動作モードが再生モードであるか否かを判別する。ステップＳ３の判別結果がＹＥＳであればステップＳ７で撮像タスクを起動し、ステップＳ５の判別結果がＹＥＳであればステップＳ９で再生タスクを起動する。なお、現時点の動作モードがカメラモードおよび再生モードのいずれでもなければ、ステップＳ１１で他の処理を実行する。
【００４６】
ステップＳ７，Ｓ９またはＳ１１の処理が完了すると、モード切り換えスイッチ４０ｓｗが操作されたか否かをステップＳ１３で繰り返し判別する。判別結果がＮＯからＹＥＳに更新されると、起動中のタスクをステップＳ１５で停止する。ステップＳ１７では、フラッシュメモリ４２に保存されたモード情報を、モード切り換えスイッチ４０ｓｗの操作によって選択された動作モードを示すように更新する。更新処理が完了すると、ステップＳ３に戻る。ステップＳ３およびＳ５の判別処理は、モード切り換えスイッチ４０ｓｗの操作によって選択された動作モードに注目して実行される。
【００４７】
図１１を参照して、ステップＳ２１では動画取り込み処理を実行する。この結果、スルー画像がＬＣＤモニタ３０に表示される。ステップＳ２３では、素材画像データがフラッシュメモリ４２に存在するか否かを判別する。判別結果がＮＯであればそのままステップＳ２７に進む一方、判別結果がＹＥＳであればステップＳ２５で画像合成タスクを起動してからステップＳ２７に進む。
【００４８】
ステップＳ２７ではシャッタボタン４０ｓｈが半押しされたか否かを判別し、判別結果がＮＯである限り、ステップＳ２９の簡易ＡＥ処理を繰り返す。この結果、スルー画像の明るさが適度に調整される。シャッタボタン４０ｓｈが半押しされると、ステップＳ３１で厳格ＡＥ処理およびＡＦ処理を実行する。この結果、スルー画像の明るさおよび鮮鋭度が厳格に調整される。
【００４９】
ステップＳ３３ではシャッタボタン４０ｓｈが全押しされたか否かを判別し、ステップＳ３５ではシャッタボタン４０ｓｈの操作が解除されたか否かを判別する。ステップＳ３５の判別結果がＹＥＳであればステップＳ２７に戻り、ステップＳ３３の判別結果がＹＥＳであればステップＳ３７で静止画取り込み処理を実行する。ステップＳ３７の処理の結果、シャッタボタン３４ｓｈが全押しされた時点のシーンを表す撮影画像データがＹＵＶ画像エリア２４ａから静止画像エリア２４ｂに退避される。
【００５０】
ステップＳ３９では、フラグＦＬＧａｒが“１”を示すか否かを判別する。フラグＦＬＧａｒは、画像合成タスクの下で素材画像がＬＣＤモニタ３０に表示されているか否かを識別するためのフラグであり、“０”が非表示を示す一方、“１”が表示を示す。判別結果がＮＯであればそのままステップＳ４３に進む一方、判別結果がＹＥＳであればステップＳ４１の処理を経てステップＳ４３に進む。ステップＳ４１では、調整された倍率を有するワークエリア２４ｃ上の素材画像データを、静止画像エリア２４ｂに退避された撮影画像データに合成する。
【００５１】
ステップＳ４３では、記録処理の実行をメモリＩ／Ｆ３６に命令する。メモリＩ／Ｆ３６は、静止画像エリア２４ｂに退避された画像データ（撮影画像データまたは合成画像データ）をメモリ制御回路２２を通して読み出し、読み出された画像データを収めた画像ファイルを記録媒体３８に記録する。記録処理が完了すると、ステップＳ２７に戻る。
【００５２】
図１３を参照して、ステップＳ５１では、フラッシュメモリ４２に保存された全ての認識マークを読み出す。読み出された認識マークは、メモリ制御回路２２を通してＳＤＲＡＭ２４のワークエリア２４ｃに書き込まれる。ステップＳ５３ではフラグＦＬＧａｒを“０”に設定し、ステップＳ５５では変数Ｋを“１”に設定する。ステップＳ５７ではＫ番目の認識マークに相当する部分画像をＹＵＶ画像エリア２４ａに格納された現フレームの画像データから探索し、ステップＳ５９ではＫ番目の認識マークが探知されたか否かを判別する。
【００５３】
判別結果がＮＯであれば、ステップＳ６１で変数Ｋをインクリメントし、変数Ｋが最大値Ｋｍａｘ（＝認識マークの総数）に達したか否かをステップＳ６３で判別する。判別結果がＮＯであればそのままステップＳ５７に戻る一方、判別結果がＹＥＳであればステップＳ６５で変数Ｋを“１”に戻してからステップＳ５７に戻る。
【００５４】
ステップＳ５９の判別結果がＹＥＳであれば、Ｋ番目の認識マークに相当する部分画像の近傍から倍率情報を検出する。ステップＳ６９では、Ｋ番目の認識ワークに割り当てられた素材画像データをフラッシュメモリ４２からＳＤＲＡＭ２４のワークエリア２４ｃに転送し、転送された素材画像データの倍率をステップＳ５９で検出された倍率情報を参照して調整する。調整された倍率を有する素材画像データは、ワークエリア２４ｃに保持される。倍率調整が完了すると、ステップＳ７３でフラグＦＬＧａｒを“１”に更新する。
【００５５】
ステップＳ７３では、画像合成をＬＣＤドライバ２８に命令する。ＬＣＤドライバ２８は、撮影画像データをＹＵＶ画像エリア２４ａから繰り返し読み出すとともに、調整された倍率を有する素材画像データを認識マークの位置に対応してワークエリア２４ｃから繰り返し読み出し、読み出されたこれらの画像データに基づいてＬＣＤドライバ３０を駆動する。この結果、スルー画像に現れた認識マークを覆うように素材画像がスルー画像に合成される。
【００５６】
ステップＳ７５では２秒間待機し、ステップＳ７７では画像合成の解除をＬＣＤドライバ２８に命令する。ＬＣＤドライバ２８は読み出し先をＹＵＶ画像エリア２４ａに統一し、これによって素材画像の表示が中断される。ステップＳ７７の処理が完了すると、ステップＳ５３に戻る。
【００５７】
図１５を参照して、ステップＳ８１では記録媒体３８に記録された最新の画像ファイルを指定し、ステップＳ８３では指定画像ファイルに注目した再生処理をメモリＩ／Ｆ３６およびＬＣＤドライバ２８に命令する。
【００５８】
メモリＩ／Ｆ３６は、指定画像ファイルに収められた画像データ（撮影画像データまたは合成画像データ）を記録媒体３８から読み出し、読み出された画像データをメモリ制御回路２２を通してＳＤＲＡＭ２４の静止画像エリア２４ｂに書き込む。ＬＣＤドライバ２８は、静止画像エリア２４ｂに格納された画像データをメモリ制御回路２２を通して読み出し、読み出された画像データに基づいてＬＣＤモニタ３０を駆動する。この結果、再生画像がＬＣＤモニタ３０に表示される。
【００５９】
ステップＳ８５では切り取り操作（ＬＣＤモニタ３０へのタッチ操作）が行われたか否かをタッチセンサ３４の出力に基づいて判別し、ステップＳ８７では送り／戻しボタン４０ｆｒが操作されたか否かを判別する。ステップＳ８７の判別結果がＹＥＳであればステップＳ８９に進み、記録媒体３８に記録された次の画像ファイルまたは前の画像ファイルを指定する。指定処理が完了すると、ステップＳ８３に戻る。この結果、別の再生画像がＬＣＤモニタ３０に表示される。
【００６０】
ステップＳ８５の判別結果がＹＥＳであればステップＳ９１に進み、タッチ操作によって定義された領域に属する一部の画像データを静止画像エリア２４ｂからワークエリア２４ｃに切り出す。この結果、素材画像データが得られる。
【００６１】
ステップＳ９３では、認識マークメニューの表示をキャラクタジェネレータ３２に命令する。キャラクタジェネレータ３２は認識マークメニューを表すキャラクタデータをＬＣＤドライバ２８に与え、ＬＣＤドライバ２８は与えられたキャラクタデータに基づいてＬＣＤモニタ３０を駆動する。この結果、認識マークメニューが画面に表示される。
【００６２】
ステップＳ９５では、選択操作（ＬＣＤモニタ３０に対するタッチ操作）が行われたか否かをタッチセンサ３４の出力に基づいて判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ９７に進み、タッチ位置に存在する認識マークをステップＳ９１で作成された素材画像データとともにフラッシュメモリ４２に保存する。保存された認識マークおよび素材画像データペアには、“１”から始まる識別番号が付与される。ステップＳ９７の処理が完了するとステップＳ９９で次の画像ファイルを指定し、その後にステップＳ８３に戻る。
【００６３】
以上の説明から分かるように、フラッシュメモリ４２には、１または２以上の素材画像が保存される。保存された１または２以上の素材画像には、１または２以上の認識マーク（指標）がそれぞれ割り当てられる。ＣＰＵ２６は、１または２以上の認識マークのいずれか１つに相当する部分画像をイメージャ１６によって捉えられた撮影画像から探索する(S55~S65)。ＣＰＵ２６はまた、シャッタボタン４０ｓｈが全押しされた時点の撮影画像を記録媒体３８に記録する(S37, S43)。ただし、ＣＰＵ２６は、フラッシュメモリ４２に保存された１または２以上の素材画像のうち探索処理によって探知された部分画像に対応する素材画像を、記録処理に先立って撮影画像に合成する(S67~S73, S39~S41)。ＣＰＵ２６はさらに、記録された画像の一部をフラッシュメモリ４２に保存すべき新規の素材画像として抽出し(S83~S85, S91)、新規の認識マークを抽出された素材画像に割り当てる(S93~S97)。
【００６４】
このように、認識マークに相当する部分画像が探知されたときは、探知された部分画像に対応する素材画像を撮影画像に合成して得られる合成画像が記録される。これに対して、認識マークに相当する部分画像が探知されなかったときは、撮影画像が記録される。こうして記録された画像の一部は、新規の素材画像として抽出される。抽出された素材画像には、新規の認識マークが割り当てられる。これによって、合成画像の作成と素材画像の追加とが１つの装置で可能となり、画像合成性能が向上する。
【００６５】
なお、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４２に予め記憶される。しかし、図１６に示すように通信Ｉ／Ｆ４４をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４２に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００６６】
また、この実施例では、ＣＰＵ２６によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【００６７】
１０  …ディジタルカメラ
１６  …イメージャ
２０  …信号処理回路
２４  …ＳＤＲＡＭ
２６  …ＣＰＵ
３２  …キャラクタジェネレータ
【図１】
2013012934.tif 000003
【図２】
2013012934.tif 000004
【図３】
2013012934.tif 000005
【図４】
2013012934.tif 000006
【図５】
2013012934.tif 000007
【図６】
2013012934.tif 000008
【図７】
2013012934.tif 000009
【図８】
2013012934.tif 000010
【図９】
2013012934.tif 000011
【図１０】
2013012934.tif 000012
【図１１】
2013012934.tif 000013
【図１２】
2013012934.tif 000014
【図１３】
2013012934.tif 000015
【図１４】
2013012934.tif 000016
【図１５】
2013012934.tif 000017
【図１６】
2013012934.tif 000018