(57)【要約】【課題】撮影済み画像における修正部分と非修正部分とが適合した画像を容易に生成することができる撮像装置および撮像装置用プログラムを提供する。【解決手段】被写体を撮像して画像データを生成する撮像部と、撮像部が撮影した撮影済み画像の領域の一部を指定する領域指定信号が入力される入力部と、撮影済み画像の中で領域指定信号によって指定された指定領域を表示する指定領域表示画像を生成する指定領域表示画像生成部と、指定領域表示画像における指定領域を空白または半透明の状態とし、当該指定領域に対して撮像部の撮像中画像のうち指定領域に対応する部分を重畳して表示する部分スルー画像を生成する部分スルー画像生成部と、指定領域表示画像および部分スルー画像を少なくとも表示する表示部と、撮影済み画像と撮像中画像または撮像中画像を撮影した画像との所定領域における一致度を判定する一致度判定部と、を備える。【選択図】        図１
2009290426.tif 000002
【特許請求の範囲】
【請求項１】
所定の視野領域内の被写体を撮像して画像データを生成する撮像部と、
前記撮像部が撮影した撮影済み画像の一部の領域を指定する領域指定信号が入力される入力部と、
前記撮影済み画像の中で前記領域指定信号によって指定された指定領域を表示する指定領域表示画像を生成する指定領域表示画像生成部と、
前記指定領域表示画像における前記指定領域を空白または半透明の状態とし、当該指定領域に対して前記撮像部の撮像中画像のうち前記指定領域に対応する部分を重畳して表示する部分スルー画像を生成する部分スルー画像生成部と、
前記指定領域表示画像および前記部分スルー画像を表示する表示部と、
前記撮影済み画像と前記撮像中画像または前記撮像中画像を撮影した画像との所定領域における一致度を判定する一致度判定部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記表示部は、
前記一致度判定部における判定結果に基づいて前記撮像中画像の撮影を促す情報および前記撮像中画像の再調整を促す情報のいずれか一方を表示することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮像部は、
前記一致度判定部における判定結果に基づいて前記撮像中画像を自動的に撮影することを特徴とする請求項１記載の撮像装置。
【請求項４】
前記表示部が前記部分スルー画像を表示している時に前記撮像部が撮影した前記撮像中画像のうち前記指定領域に該当する部分と前記撮影済み画像のうち前記指定領域を除いた部分とを合成する画像合成部をさらに備えたことを特徴とする請求項１〜３のいずれか一項記載の撮像装置。
【請求項５】
前記部分スルー画像生成部は、
前記指定領域表示画像における前記指定領域以外の領域も空白または半透明の状態とすることを特徴とする請求項１〜４のいずれか一項記載の撮像装置。
【請求項６】
前記表示部は、
前記指定領域および当該指定領域の近傍領域を拡大して表示することを特徴とする請求項１〜５のいずれか一項記載の撮像装置。
【請求項７】
前記所定領域は、前記指定領域の近傍領域であることを特徴とする請求項１〜６のいずれか一項記載の撮像装置。
【請求項８】
前記所定領域は、前記指定領域であることを特徴とする請求項１〜６のいずれか一項記載の撮像装置。
【請求項９】
各々が前記部分スルー画像の一部をなす前記撮影済み画像および前記撮像中画像の少なくとも一方を変形させる画像変形部をさらに備えたことを特徴とする請求項１〜８のいずれか一項記載の撮像装置。
【請求項１０】
所定の視野領域内の被写体を撮像して画像データを生成し、この生成した画像データの少なくとも一部を記憶する記憶部を備えた撮像装置に、
当該撮像装置が撮影した撮影済み画像の一部の領域として指定される指定領域を表示する指定領域表示画像を生成する指定領域表示画像生成ステップ、
前記指定領域表示画像生成ステップで生成した前記指定領域表示画像における前記指定領域を空白または半透明の状態とし、当該指定領域に対して前記撮像部の撮像中画像のうち前記指定領域に対応する部分を重畳して表示する部分スルー画像を生成する部分スルー画像生成ステップ、
前記撮影済み画像の所定領域の画像データを前記記憶部から読み出し、この読み出した画像データに対応する画像と前記撮像中画像または前記撮像中画像を撮影した画像における前記所定領域の画像との一致度を判定する一致度判定ステップ、
を実行させることを特徴とする撮像装置用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の視野領域内の被写体を撮像して画像データを生成する撮像装置および撮像装置用プログラムに関する。
【背景技術】
【０００２】
被写体を撮像してデジタルの画像データを生成するデジタルカメラ等の撮像装置は、フィルムカメラとは異なり、撮影した画像の修正や合成を容易に行うことができる。撮影した画像の修正や合成を行うための技術として、例えば予め作成された人物の顔や目の画像を撮影済み画像の所望の箇所に貼付して合成する技術が知られている（例えば、特許文献１および２を参照）。この従来技術によれば、複数の人物を被写体として撮影した画像において一部の人物が目をつぶってしまっているような場合、その一部の人物の顔または目のみを修正することができるため、他の人物の表情を活かしつつ、よりよい画像を作成することができる。
【０００３】
【特許文献１】特開２００６−３４４１６６号公報
【特許文献２】特開２００３−２５６８６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、修正用に予め作成しておいた顔や目の類型的な画像を使用せざるを得ないため、修正した部分と修正していない部分とが適合していない画像が生成されてしまう場合があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、撮影済み画像における修正部分と非修正部分とが適合した画像を容易に生成することができる撮像装置および撮像装置用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、所定の視野領域内の被写体を撮像して画像データを生成する撮像部と、前記撮像部が撮影した撮影済み画像の一部の領域を指定する領域指定信号が入力される入力部と、前記撮影済み画像の中で前記領域指定信号によって指定された指定領域を表示する指定領域表示画像を生成する指定領域表示画像生成部と、前記指定領域表示画像における前記指定領域を空白または半透明の状態とし、当該指定領域に対して前記撮像部の撮像中画像のうち前記指定領域に対応する部分を重畳して表示する部分スルー画像を生成する部分スルー画像生成部と、前記指定領域表示画像および前記部分スルー画像を表示する表示部と、前記撮影済み画像と前記撮像中画像または前記撮像中画像を撮影した画像との所定領域における一致度を判定する一致度判定部と、を備えたことを特徴とする。
【０００７】
また、本発明に係る撮像装置は、上記発明において、前記表示部は、前記一致度判定部における判定結果に基づいて前記撮像中画像の撮影を促す情報および前記撮像中画像の再調整を促す情報のいずれか一方を表示することを特徴とする。
【０００８】
また、本発明に係る撮像装置は、上記発明において、前記撮像部は、前記一致度判定部における判定結果に基づいて前記撮像中画像を自動的に撮影することを特徴とする。
【０００９】
また、本発明に係る撮像装置は、上記発明において、前記表示部が前記部分スルー画像を表示している時に前記撮像部が撮影した前記撮像中画像のうち前記指定領域に該当する部分と前記撮影済み画像のうち前記指定領域を除いた部分とを合成する画像合成部をさらに備えたことを特徴とする。
【００１０】
また、本発明に係る撮像装置は、上記発明において、前記部分スルー画像生成部は、前記指定領域表示画像における前記指定領域以外の領域も空白または半透明の状態とすることを特徴とする。
【００１１】
また、本発明に係る撮像装置は、上記発明において、前記表示部は、前記指定領域および当該指定領域の近傍領域を拡大して表示することを特徴とする。
【００１２】
また、本発明に係る撮像装置は、上記発明において、前記所定領域は、前記指定領域の近傍領域であることを特徴とする。
【００１３】
また、本発明に係る撮像装置は、上記発明において、前記所定領域は、前記指定領域であることを特徴とする。
【００１４】
また、本発明に係る撮像装置は、上記発明において、各々が前記部分スルー画像の一部をなす前記撮影済み画像および前記撮像中画像の少なくとも一方を変形させる画像変形部をさらに備えたことを特徴とする。
【００１５】
また、本発明に係る撮像装置用プログラムは、所定の視野領域内の被写体を撮像して画像データを生成し、この生成した画像データの少なくとも一部を記憶する記憶部を備えた撮像装置に、当該撮像装置が撮影した撮影済み画像の一部の領域として指定される指定領域を表示する指定領域表示画像を生成する指定領域表示画像生成ステップ、前記指定領域表示画像生成ステップで生成した前記指定領域表示画像における前記指定領域を空白または半透明の状態とし、当該指定領域に対して前記撮像部の撮像中画像のうち前記指定領域に対応する部分を重畳して表示する部分スルー画像を生成する部分スルー画像生成ステップ、前記撮影済み画像の所定領域の画像データを前記記憶部から読み出し、この読み出した画像データに対応する画像と前記撮像中画像または前記撮像中画像を撮影した画像における前記所定領域の画像との一致度を判定する一致度判定ステップ、を実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、撮影済み画像中で指定される指定領域を空白または半透明の状態とし、この指定領域に対して撮像中画像の該当部分を重畳して表示する部分スルー画像を生成し、この部分スルー画像を構成する撮影済み画像と撮像中画像または撮像中画像を撮影した後の画像との所定領域における一致度を判定しているため、一致度の判定結果に基づいて、撮影済み画像における修正部分と非修正部分とが適合した画像を容易に生成することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照して本発明を実施するための最良の形態（以後、「実施の形態」と称する）を説明する。
【００１８】
（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置の構成を示す図である。同図に示す撮像装置１は、所定の視野領域内の被写体を撮像して画像データを生成する撮像部２、撮像部２の視野領域の状態を検出するセンサ部３、撮像部２が生成した画像データに対して画像処理を施す画像処理部４、画像処理部４が出力する画像データを含む情報を表示する表示部５、画像データの圧縮および伸張を行う圧縮伸張部６、撮像装置１に外部から装着されるメモリカード等の記録媒体１００に対して画像データ等の情報を書き込む一方、記録媒体１００が記録する情報を読み出す記録媒体インターフェース７、撮像部２が撮影した撮影済み画像の一部の領域を指定する領域指定信号を含む各種操作指示信号が入力される入力部８、各種情報の音声出力を行う音声出力部９、撮像領域へ向けて補助光を投射する補助光投射部１０、撮像装置１の動作を制御する制御部１１、撮像装置１の動作に関する各種情報を記憶する記憶部１２を備える。
【００１９】
撮像部２は、所定の視野領域にある被写体からの光を集光する撮影レンズ２１、撮影レンズ２１が集光した光の入射量を調整する絞り２２、絞り２２を通過した入射光を受光して電気信号に変換するＣＣＤ等の撮像素子２３、撮像素子２３から出力されるアナログ信号に対して感度補正やホワイトバランスを含む各種処理を施すアナログ信号処理部２４、アナログ信号処理部２４が出力した信号からデジタルの画像データを生成するＡ／Ｄ変換部２５を有する。このうち、撮影レンズ２１は、一または複数のレンズによって構成される光学系であり、レンズ駆動部１３によって駆動される。また、絞り２２は絞り駆動部１４によって駆動される。
【００２０】
画像処理部４は、領域指定信号によって指定された指定領域を表示する指定領域表示画像を生成する指定領域表示画像生成部４１、指定領域表示画像生成部４１が生成した指定領域表示画像における指定領域を空白の状態とし、当該指定領域に対して撮像部２の撮像中画像のうちその指定領域に対応する部分を重畳して表示する部分スルー画像を生成する部分スルー画像生成部４２、各々が部分スルー画像の一部を構成する撮影済み画像および撮像中画像の所定箇所における一致度を判定する一致度判定部４３、表示部５が部分スルー画像を表示している時に撮像部２が撮影した撮像中画像のうち指定領域に該当する部分と撮影済み画像のうち指定領域を除いた部分とを合成する画像合成部４４を有する。
【００２１】
入力部８は、撮像装置１の電源ボタン、撮像指示を与えるシャッターボタン、撮像装置１が有する各種動作モードの切替を行うモード切替ボタン、画像データの再生や編集、再撮影等の指示を含む制御ボタンなどを有する。入力部８を構成する各種ボタンの少なくとも一部を、十字キーやタッチパネルを用いて実現することも可能である。
【００２２】
制御部１１は、撮影日時の判定等を行う時計１１１を有しており、センサ部３の検知結果や入力部８で入力された操作指示信号に応じて撮像装置１の動作を制御する。制御部１１はＭＰＵ等を用いて実現され、制御対象の各部とバスラインを介して接続されている。
【００２３】
記憶部１２は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ等の半導体メモリを有しており、本実施の形態１に係る撮像装置用プログラムを含む各種プログラムを記憶するプログラム記憶部１２１、撮影済み画像に対して指定された指定領域内の画像データを記憶する指定領域記憶部１２２、撮影済み画像において撮像中画像との一致度を判定する際に参照する領域の画像データを記憶する一致度判定領域記憶部１２３を有する。
【００２４】
図２は、以上の構成を有する撮像装置１を用いて撮影した画像の修正を行う場合の処理の流れを示すフローチャートである。撮像装置１が撮影した画像の修正を行うことができるのは、撮像装置１が「撮影後合成モード」または「再生後合成モード」に設定されている場合である。このうち、「撮影後合成モード」とは、撮影済み画像の一部に再撮影した画像を合成することが可能なモードである。また、「再生後合成モード」とは、記録媒体１００が記憶する画像データの中から所望の画像データを読み出し、この読み出した画像データに対応する画像の一部に再撮影した画像を合成することが可能なモードである。
【００２５】
まず、撮像装置１が撮影後合成モードに設定されている場合（ステップＳ１，撮影後合成モード）を説明する。この場合、表示部５は、撮像部２の撮像中画像に相当するスルー画像を表示する（ステップＳ２）。
【００２６】
表示部５がスルー画像を表示している最中に入力部８のレリーズボタンが押される（ステップＳ３，Ｙｅｓ）と、撮像部２は撮像中画像を撮影する（ステップＳ４）。その後、表示部５は、撮像部２が撮影した画像（撮影済み画像）を表示する（ステップＳ５）。表示部５は、入力部８のレリーズボタンが押されない間（ステップＳ３，Ｎｏ）、スルー画像を表示し続ける。
【００２７】
図３は、表示部５における撮影済み画像の表示例を示す図である。同図に示す撮影済み画像２０１は、被写体として３人の人物Ａ１〜Ａ３が撮影されており、一番右側にいる人物Ａ３が目を閉じた状態で撮影されている。
【００２８】
撮影済み画像２０１を見たユーザは、その画像中に修正したい領域がある場合、入力部８を介して修正する領域を指定する領域指定信号を入力する。入力部８から入力される領域指定信号は、例えば入力部８から対角線上の頂点の位置を指定することによって矩形をなす領域を指定する。以後、撮影済み画像の中で領域指定信号によって指定された領域を「指定領域」という。
【００２９】
入力部８から領域指定信号が入力された場合（ステップＳ６，Ｙｅｓ）、指定領域表示画像生成部４１は、指定領域の境界を示すシンボルを撮影済み画像２０１に重畳した指定領域表示画像を生成する。図４は、指定領域表示画像の表示例を示す図である。同図に示す指定領域表示画像２０２は、撮影済み画像２０１の人物Ａ３の顔領域に矩形の指定領域Ｄの境界を表示するシンボルＢを重畳して表示している。表示部５が指定領域表示画像２０２を表示している状態で入力部８から確定信号が入力されると、指定領域Ｄが確定し、撮像装置１は後述するステップＳ７に進む。なお、指定領域の大きさや位置は、入力部８からの入力によって適宜変更できるようにしてもよい。
【００３０】
この後、部分スルー画像生成部４２は、指定領域表示画像２０２に基づいて部分スルー画像を生成する（ステップＳ７）。図５は、部分スルー画像生成部４２が行う部分スルー画像生成処理の概要を示す図である。部分スルー画像生成部４２は、指定領域表示画像２０２における指定領域Ｄの内部の画像を切り取って空白とした後、撮像部２の撮像中画像のうち指定領域Ｄに対応する部分を重畳することによって部分スルー画像を生成する。
【００３１】
部分スルー画像生成部４２が切り取った指定領域に対応する画像２０２Ｄは、記憶部１２の指定領域記憶部１２２に書き込まれる。以後、指定領域Ｄを空白の状態とした指定領域表示画像を「指定領域空白画像」という。図５に示す指定領域空白画像２０３において、部分スルー画像生成部４２は、指定領域Ｄの近傍領域Ｎ（図５では指定領域Ｄの右側に隣接している領域。破線で境界を表示）の画像２０２Ｎの画像データを、一致度判定部４３が一致度を判定する際に参照する領域として記憶部１２の一致度判定領域記憶部１２３に書き込む。
【００３２】
続いて、表示部５は、部分スルー画像生成部４２が生成した部分スルー画像を表示する（ステップＳ８）。表示部５が部分スルー画像を表示し始めると、ユーザは、人物Ａ３に対して指示を送りながら指定領域Ｄの画像が周囲の撮影済み画像２０１と適合するように位置合わせを行う。
【００３３】
その後、一致度判定部４３は、撮影済み画像２０１の近傍領域Ｎの画像２０２Ｎの画像データを一致度判定領域記憶部１２３から読み出し、画像２０２Ｎと撮像中画像における近傍領域Ｎの画像との一致度を判定する（ステップＳ９）。一致度判定部４３は、例えばパターンマッチング等の手法を用いることによって一致度を算出し、この算出した一致度の値が所定の基準を満たしているか否かを判定する。なお、一致度判定部４３による一致度判定処理を、入力部８から開始指示信号を入力することによって開始させるようにしてもよい。
【００３４】
一致度判定部４３による判定の結果、撮影済み画像と撮像中画像との一致度が所定の基準に達している場合（ステップＳ１０，Ｙｅｓ）、表示部５は撮影に好適なタイミングであることを示すＯＫ表示を出力する（ステップＳ１１）。図６は、ＯＫ表示の表示例を示す図である。同図に示す部分スルー画像２０４では、シンボルＢ内部のスルー画像（撮像部２の撮像中画像）とシンボルＢ外部の撮影済み画像との一致度が所定の基準に達しているため、画面の中央部上方に「撮影ＯＫ」という文字が出力されている。なお、ＯＫ表示として、表示部５とは別に設けた発光部を緑色に点灯してもよいし、シンボルＢの枠線の色を緑色にして表示したり、指定領域Ｄを半透明で緑色に塗りつぶして表示したりしてもよい。また、ＯＫ表示を表示する代わりに、音声出力部９が撮影を促すメッセージを音声によって出力してもよい。
【００３５】
この後、入力部８のレリーズボタンが押された場合（ステップＳ１２，Ｙｅｓ）、撮像装置１は部分スルー画像中の修正箇所に表示されたスルー画像を撮影する再撮影処理を行う（ステップＳ１３）。入力部８のレリーズボタンが押されない場合（ステップＳ１２，Ｎｏ）、表示部５はＯＫ表示を表示した状態で待機する。なお、所定時間経過してもレリーズボタンが押されなかった場合には、ステップＳ８に戻るようにしてもよい。
【００３６】
ステップＳ１３で再撮影を行った場合、画像合成部４４は、撮影済み画像２０１の指定領域Ｄを除いた画像に、再撮影済み画像の指定領域Ｄを合成する（ステップＳ１４）。画像合成部４４が合成した画像の画像データは、圧縮伸張部６で所定のサイズに圧縮された後、記録媒体インターフェース７を介して記録媒体１００に書き込まれる（ステップＳ１５）。ここで、撮像装置１は、画像合成部４４によって合成された画像の画像データを記憶部１２へ書き込むこともできる。図７は、画像合成部４４が合成した画像の表示例を示す図である。同図に示す合成画像２０５においては、撮影済み画像２０１で目を閉じていた人物Ａ３も目を開いた状態で写っており、３人の人物Ａ１〜Ａ３の表情が適合した画像となっている。
【００３７】
一致度判定部４３による一致度判定（ステップＳ９）の結果、一致度が所定の基準に達していない場合（ステップＳ１０，Ｎｏ）、制御部１１は、入力部８のレリーズボタンからの撮影指示信号の入力をロックするレリーズロック処理を行い（ステップＳ１６）、表示部５が再調整指示を表示する（ステップＳ１７）。
【００３８】
図８は、再調整指示の表示例を示す図である。同図に示す部分スルー画像２０６では、シンボルＢ内のスルー画像の人物Ａ３の顔の高さがシンボルＢの周囲の画像よりも上方にずれており、不整合を引き起こしている。このような場合には、部分スルー画像２０６の中央部上方に「再調整してください」というメッセージを表示する。このメッセージの横には「Ｙ／Ｎ」が表示されており、ユーザに再調整するか否かの選択を促している。図８では「Ｙ」が○で囲まれており、この状態でユーザが入力部８に設けられた選択確定ボタンを押すと、処理の続行が選択される。処理の続行が選択された場合（ステップＳ１８，Ｙｅｓ）、撮像装置１はステップＳ８に戻る。一方、ユーザが入力部８に設けられた選択変更ボタンを押して部分スルー画像２０６上に表示された「Ｎ」が○で囲まれる状態に変更した後、選択確定ボタンを押すと、処理の中断が選択される。処理の中断が選択された場合（ステップＳ１８，Ｎｏ）、撮像装置１は一連の処理を終了する。
【００３９】
なお、ステップＳ１７における再調整指示として、表示部５とは別に設けた発光部を赤色に点灯してもよいし、シンボルＢの枠線の色を赤色にして表示したり、指定領域Ｄを半透明で赤色に塗りつぶして表示したりしてもよい。また、再調整指示を表示する代わりに、音声出力部９が再調整を指示するメッセージを音声によって出力してもよい。
【００４０】
次に、撮像装置１が再生後合成モードに設定されている場合（ステップＳ１，再生後合成モード）を説明する。この場合、記録媒体１００が記録する画像データの中から再生する画像が入力部８によって指定される（ステップＳ２０）と、撮像装置１は指定された再生画像の画像データを記録媒体１００から読み出し、再生画像を表示部５で表示する（ステップＳ２１）。
【００４１】
表示部５が表示する再生画像は、撮影後合成モードにおける撮影済み画像２０１に対応している。このため、撮像装置１は、再生画像を表示した後、ステップＳ６に進む。ステップＳ６以降の処理の内容は、入力部８から領域指定信号が入力されなかった場合（ステップＳ６，Ｎｏ）を除いて上述した撮影後合成モードの場合と同じである。
【００４２】
ここで、ステップＳ６において入力部８から領域指定信号が入力されなかった場合（ステップＳ６，Ｎｏ）を説明する。この場合、撮像装置１が撮影後合成モードに設定されていれば（ステップＳ１９，Ｙｅｓ）、撮像装置１はステップＳ４で撮影した画像の画像データを記録媒体１００に書き込み（ステップＳ１５）、一連の処理を終了する。これに対し、撮像装置１が再生後合成モードに設定されていれば（ステップＳ１９，Ｎｏ）、撮像装置１は何も行わずに一連の処理を終了する。
【００４３】
以上説明した本発明の実施の形態１によれば、撮影済み画像中で修正箇所として指定する指定領域を空白の状態とし、この指定領域に対して撮像中画像の該当部分を重畳して表示する部分スルー画像を生成し、この部分スルー画像を構成する撮影済み画像と撮像中画像との所定領域における一致度を判定しているため、撮影済み画像との一致度が高い撮像中画像をリアルタイムで抽出することができる。したがって、撮影済み画像における修正部分と非修正部分とが適合した画像を容易に生成することが可能となる。
【００４４】
また、本実施の形態１によれば、撮影済み画像と撮影中画像との所定の領域での一致度が所定の基準に達している場合に再撮影を促す情報を出力するため、ユーザは再撮影を行うべきタイミングを適確に認識することができる。
【００４５】
また、本実施の形態１によれば、例えば撮影時とは異なる時間と場所で画像を修正する場合、撮像装置を再生後合成モードに設定して修正したい被写体のみを再撮影すればよいため、簡単に修正を行うことができる。
【００４６】
図９は、表示部５における指定領域表示画像の別な表示例（第１例）を示す図である。同図に示す指定領域表示画像２０７は、指定領域Ｄの内部を半透明表示（図９では破線で表示）している。このように指定領域Ｄの内部を半透明表示することにより、ユーザは部分スルー画像において指定領域Ｄ内で半透明表示された画像にスルー画像を重ね合わせることができる。したがって、指定領域Ｄ内のスルー画像の位置合わせを容易に行うことができる。
【００４７】
図１０は、表示部５における指定領域表示画像の別な表示例（第２例）を示す図である。同図に示す指定領域表示画像２０８は、指定領域Ｄ'の境界を示すシンボルＢ'が円形をなしている。このように、指定領域の形状は適宜変更可能である。
【００４８】
図１１は、表示部５における指定領域表示画像の別な表示例（第３例）を示す図である。同図に示す指定領域表示画像２０９は、指定領域Ｄの周辺領域を拡大表示している。このように拡大表示することにより、部分スルー画像における撮影済み画像部分（指定領域外部）とスルー画像部分（指定領域内部）の境界が見やすくなり、位置合わせを容易に行うことができる。
【００４９】
なお、本実施の形態１では、人物の顔以外の被写体を修正することも可能である。図１２は、人物の顔以外の被写体が修正対象となる撮影済み画像の表示例を示す図である。同図に示す撮影済み画像２１０は、被写体として人物Ａ４、テーブルＴ、パソコンＣ、紙くずＰが存在している。以下、撮影済み画像２１０において紙くずＰを除去する修正を行う場合を説明する。
【００５０】
図１３は、撮影済み画像２１０において紙くずＰを含む指定領域を指定した場合の指定領域表示画像の表示例を示す図である。図１３に示す指定領域表示画像２１１では、紙くずＰを含み、矩形のシンボルＢ''を境界とする指定領域Ｄ''が設定されている。
【００５１】
この後、紙くずＰをテーブルＴの上から取り除き、上記同様に部分スルー画像を生成し、一致度判定部４３の判定結果に基づいて再撮影を行うことにより、図１４に示すように紙くずＰが除去された合成画像２１２を得ることができる。
【００５２】
（実施の形態２）
図１５は、本発明の実施の形態２に係る撮像装置の構成を示す図である。同図に示す撮像装置１５は、画像処理部１６および記憶部１７の構成を除いて上記実施の形態１で説明した撮像装置１と同じ構成を有する。
【００５３】
画像処理部１６は、指定領域表示画像生成部４１、部分スルー画像生成部４２、一致度判定部４３、画像合成部４４に加えて、表示部５が表示する画像の一部を変形させる画像変形部４５を有する。画像変形部４５は、各々が部分スルー画像の一部をなす撮影済み画像および撮像中画像のうち少なくとも一方の画像を変形させることによって他方の画像との一致度を調整する機能を有する。画像変形部４５は、少なくとも指定領域の近傍領域の並進、回転、スケール変換のうちの一または複数の組み合わせによって画像を変形する機能を有している。
【００５４】
記憶部１７は、プログラム記憶部１２１、指定領域記憶部１２２、一致度判定領域記憶部１２３に加えて、画像変形部４５で画像を変形する際の関数を記憶する関数記憶部１２４を有する。
【００５５】
図１６は、撮像装置１５を用いて撮影した画像の修正を行う場合の処理の流れを示すフローチャートである。撮像装置１５が画像の修正を行うことができるのは、撮像装置１と同様、撮像装置１５が「撮影後合成モード」または「再生後合成モード」に設定されている場合である。
【００５６】
図１６において、撮影後合成モード（ステップＳ３１，撮影後合成モード）におけるステップＳ３２〜Ｓ３９の処理は、上記実施の形態１で説明したステップＳ２〜Ｓ９の処理に順次対応している。また、再生後合成モード（ステップＳ３１，再生後合成モード）におけるステップＳ５４、Ｓ５５の処理は、上記実施の形態１で説明したステップＳ２０、Ｓ２１の処理とそれぞれ対応している。また、ステップＳ３６で領域の指定がなかった場合（ステップＳ３６，Ｎｏ）に進む分岐処理（ステップＳ５３）は、上記実施の形態１で説明したステップＳ１９の分岐処理と同じである。
【００５７】
以下、ステップＳ３９における一致度判定部４３の一致度判定処理に続く処理を説明する。なお、ステップＳ３５で表示部５が表示する撮影済み画像は、図３に示す撮影済み画像２０１であるとする。
【００５８】
一致度判定部４３による一致度判定処理の結果、一致度が所定の基準に達している場合（ステップＳ４０，Ｙｅｓ）、画像処理部１６は撮影許可信号を制御部１１に対して出力する（ステップＳ４１）。
【００５９】
他方、一致度判定部４３による判定の結果、一致度が所定の基準に達していない場合（ステップＳ４０，Ｎｏ）、画像変形部４５は部分スルー画像の指定領域Ｄの周辺の撮影済み画像部分を変形する（ステップＳ４２）。図１７は、ステップＳ４２における撮影済み画像部分の調整の概要を示す図である。同図に示す部分スルー画像２１３において、指定領域Ｄのスルー画像中の人物Ａ３の顔は、周囲の撮影済み画像部分と比較した場合、指定領域Ｄの紙面に垂直な中心軸を回転中心として時計回りに回転した状態で傾斜している。この場合、画像変形部４５は、近傍領域Ｎの一致度判定結果に基づいて、指定領域Ｄの周囲の撮影済み画像部分を回転させながら、指定領域Ｄの内部と撮影済み画像部分との一致度を調整する。
【００６０】
画像変形部４５は、変形対象の画像に対して回転以外にも並進やスケール変換を施すことができる。このため、例えば部分スルー画像が図８に示す部分スルー画像２０６である場合、画像変形部４５は、周囲の撮影済み画像部分を上方にシフト（並進）させることによって指定領域Ｄ内のスルー画像との一致度を大きくすることができる。また、部分スルー画像において指定領域Ｄ内のスルー画像部分とその周囲の撮影済み画像部分との大きさが適合していない場合には、撮影済み画像部分をスケール変換することによって一致度を大きくすることができる。
【００６１】
画像変形部４５が撮影済み画像部分を所定量だけ変形させた後、一致度判定部４３は、変形後の近傍領域Ｎとスルー画像における近傍領域Ｎとの一致度を判定する（ステップＳ４３）。この判定の結果、一致度が所定の基準に達していれば（ステップＳ４４，Ｙｅｓ）、画像処理部１６は撮影許可信号を制御部１１へ出力し（ステップＳ４１）、一致度が所定の基準に達するまでの間に画像変形部４５が撮影済み画像部分に施した変形を表す関数を記憶部１７の関数記憶部１２４へ書き込む。
【００６２】
一致度判定部４３における判定の結果、一致度が所定の範囲に達していない場合（ステップＳ４４，Ｎｏ）、画像の変形を開始してから所定時間経過していなければ（ステップＳ４５，Ｎｏ）、撮像装置１５はステップＳ４２に戻る。一方、ステップＳ４５で画像の変形を開始してから所定時間経過していれば（ステップＳ４５，Ｙｅｓ）、表示部５が再調整指示を出力する（ステップＳ４６）。この再調整指示は、図８と同様のメッセージ（「再調整してください」）を表示すればよく、続行の可否をユーザに選択させるメッセージ（「Ｙ／Ｎ」）もあわせて表示する。
【００６３】
続くステップＳ４７において、ユーザが入力部８を介して続行（「Ｙ」）を選択した場合（ステップＳ４７，Ｙｅｓ）、撮像装置１５はステップＳ３８に戻る。これに対して、ユーザが入力部８を介して中断（「Ｎ」）を選択した場合（ステップＳ４７，Ｎｏ）、撮像装置１５は一連の処理を終了する。
【００６４】
次に、ステップＳ４１以降の処理を説明する。制御部１１が画像処理部１６から撮影許可信号を受信すると、制御部１１は撮像部２に対して撮影指示信号を送信する。撮影指示信号を受信した撮像部２は、撮像中の画像を自動的に再撮影する（ステップＳ４８）。
【００６５】
再撮影の前に画像変形部４５が撮影済み画像部分を変形した場合（ステップＳ４９，Ｙｅｓ）、画像変形部４５は、関数記憶部１２４から撮影済み画像部分の変形に対応する関数を読み出し、この読み出した関数の逆関数によって与えられる変形を再撮影した画像に対して施す（ステップＳ５０）。その後、画像合成部４４は、ステップＳ５０で変形した再撮影済み画像の指定領域に該当する部分を撮影済み画像の指定領域に貼付することによって合成画像を生成する（ステップＳ５１）。
【００６６】
図１８は、上述したステップＳ５０、Ｓ５１の処理の概要を示す図である。図１８において、まず画像変形部４５は、再撮影済み画像を指定領域Ｄの紙面に垂直な中心軸を回転中心として反時計回りに回転させる。このときの回転角度の大きさは、ステップＳ４２における回転角度の大きさの総和と等しい。このようにして再撮影済み画像を変形することにより、変形前の指定領域Ｄでは斜め右方向に傾いていた人物Ａ３の顔が、変形後の指定領域Ｄでは正立した状態に変形（回転）される。この後、画像合成部４４は、変形後の指定領域Ｄの画像を指定領域空白画像２０３の指定領域Ｄに貼付する。これにより、図７に示す合成画像２０５が生成される。
【００６７】
再撮影の前に画像変形部４５が撮影済み画像部分を変形しなかった場合（ステップＳ４９，Ｎｏ）、撮像装置１はステップＳ５１に進み、画像合成部４４が再撮影済み画像の指定領域に該当する部分を撮影済み画像の指定領域に貼付することによって合成画像を生成する（ステップＳ５１）。
【００６８】
ステップＳ５１で画像合成部４４が生成した合成画像２０５の画像データは、圧縮伸張部６および記録媒体インターフェース７を介して記録媒体１００に記録される（ステップＳ５２）。
【００６９】
以上説明した本発明の実施の形態２によれば、撮影済み画像を変形させる画像変形部を備えているため、撮影済み画像と撮像中画像の位置合わせを一段と精度よく行うことができる。
【００７０】
また、本実施の形態２によれば、画像変形部の処理によって撮影済み画像と撮像中画像との所定領域における一致度が所定の基準を満たした場合には自動的に再撮影を行うため、一致度を判定してから再撮影を行うまでのタイムラグを短くすることができる。したがって、一致度が高い状態の合成画像を一段と確実に生成することができる。
【００７１】
なお、本実施の形態２において、画像変形部がはじめから撮像中画像を変形させることによって一致度を調整するようにしてもよい。また、画像変形部は、回転、並進、スケール変換を含むランダムな変形を行うことができるようにしてもよい。
【００７２】
（実施の形態３）
本発明の実施の形態３は、撮影済み画像で修正する部分を再撮影した後で一致度を算出することを特徴とする。本実施の形態３に係る撮像装置は、上記実施の形態１に係る撮像装置１と同様の構成を有する。
【００７３】
図１９は、撮像装置１を用いて撮像した画像の修正を行う場合の処理の流れを示すフローチャートである。図１９において、撮影後合成モード（ステップＳ６１，撮影後合成モード）におけるステップＳ６２〜Ｓ６５の処理は、上記実施の形態１で説明したステップＳ２〜Ｓ５の処理に順次対応している。また、再生後合成モード（ステップＳ６１，再生後合成モード）におけるステップＳ７８、Ｓ７９の処理は、上記実施の形態１で説明したステップＳ２０，Ｓ２１の処理とそれぞれ対応している。また、ステップＳ６６で領域の指定がなかった場合（ステップＳ６６，Ｎｏ）に進む分岐処理（ステップＳ７７）は、上記実施の形態１で説明したステップＳ１９の分岐処理と同じである。
【００７４】
以下、ステップＳ６６において入力部８から領域指定信号が入力された場合（ステップＳ６６，Ｙｅｓ）を説明する。この場合、指定領域表示画像生成部４１が生成した指定領域表示画像に基づいて指定領域が確定すると、部分スルー画像生成部４２は部分スルー画像を生成する（ステップＳ６７）。ステップＳ６７で生成された部分スルー画像は、表示部５で表示される（ステップＳ６８）。なお、指定領域表示画像における指定領域は空白の状態（図５を参照）にしてもよいし、半透明の状態（図９を参照）にしてもよい。
【００７５】
表示部５で表示されている部分スルー画像を見たユーザは、指定領域内のスルー画像を調整する。その後、ユーザが入力部８のレリーズボタンを押す（ステップＳ６９，Ｙｅｓ）と、撮像部２が撮像中画像の撮影（再撮影）を行う（ステップＳ７０）。
【００７６】
続いて、一致度判定部４３が、撮影済み画像と再撮影済み画像との所定領域における一致度を判定する（ステップＳ７１）。ここで一致度の判定対象となる所定領域は、例えば指定領域の近傍領域である（図５の近傍領域Ｎを参照）。一致度判定部４３による判定の結果、一致度が所定の基準に達している場合（ステップＳ７２，Ｙｅｓ）、画像合成部４４は撮影済み画像の指定領域に再撮影済み画像の指定領域を貼付して合成した画像を生成する（ステップＳ７３）。その後、画像合成部４４が生成した合成画像の画像データは、圧縮伸張部６および記録媒体インターフェース７を介して記録媒体１００に書き込まれる（ステップＳ７４）。
【００７７】
一方、ステップＳ７１における一致度判定部４３の判定の結果、一致度が所定の基準に達していない場合（ステップＳ７２，Ｎｏ）、表示部５は再撮影指示を表示する（ステップＳ７５）。この再撮影指示は、再撮影済み画像の所定位置に「再撮影してください」というメッセージを表示すればよく、例えば図８に示す部分スルー画像２０６における再調整指示の代わりに再撮影指示を表示すればよい。再撮影指示を表示する際には、処理続行可否のメッセージ「Ｙ／Ｎ」も合わせて表示する。ユーザが入力部８を介して「Ｙ」を選択して処理を続行する場合（ステップＳ７６，Ｙｅｓ）、撮像装置１はステップＳ６８に戻る。これに対し、ユーザが入力部８を介して「Ｎ」を選択して処理を中断する場合（ステップＳ７６，Ｎｏ）、撮像装置１は一連の処理を終了する。
【００７８】
以上説明した本発明の実施の形態３によれば、撮影済み画像中で修正箇所として指定する指定領域を空白または半透明の状態とし、この指定領域に対して撮像中画像の該当部分を重畳して表示する部分スルー画像を生成し、この部分スルー画像を構成する撮影済み画像と撮像中画像を撮影した画像との所定領域における一致度を判定しているため、撮影済み画像と撮像中画像との一致度が高い合成画像のみを抽出することができる。したがって、撮影済み画像における修正部分と非修正部分とが適合した画像を容易に生成することが可能となる。
【００７９】
（その他の実施の形態）
ここまで、本発明を実施するための最良の形態として、実施の形態１〜３を詳述してきたが、本発明はそれらの実施の形態によって限定されるべきものではない。例えば、本発明に係る撮像装置の画像処理部に顔検出機能を具備させてもよい。図２０は、画像処理部が顔検出機能を具備している場合の表示部における撮影済み画像の表示例を示す図である。同図に示す撮影済み画像２１４は、人物Ａ１の顔領域に対応する指定領域Ｄ１、人物Ａ２の顔領域に対応する指定領域Ｄ２および人物Ａ３の顔領域に対応する指定領域Ｄ３が、矩形のシンボルＢ１、Ｂ２およびＢ３を境界としてそれぞれ表示されている。このため、撮影済み画像２１４は指定領域表示画像でもある。撮影済み画像２１４を見たユーザは、修正が必要な指定領域がある場合、入力部からその指定領域を選択する信号（領域指定信号に相当）を入力し、修正対象の指定領域を確定する。なお、画像処理部が行う顔検出処理は、既存の手法を適用することができる（例えば、P. Viola and M. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", Proc. of CVPR (2001).を参照）。
【００８０】
本発明に係る撮像装置の画像処理部に顔検出機能を具備させた場合、検出した顔の表情をパターンマッチング等の手法によって判定する機能をさらに具備させてもよい。この場合には、顔の表情が所定の基準を満たしていない指定領域を修正対象として自動的に選択させることができる。
【００８１】
また、本発明において、部分スルー画像として、指定領域以外の撮影済み画像部分も半透明で表示してもよい。このようにすれば、撮影後合成モードで再撮影を行う場合、撮影済み画像部分と撮像中画像部分との位置合わせを画像全体で行うことができる。
【００８２】
また、本発明において、撮影済み画像と撮像中画像との一致度を表示部で表示するようにしてもよい。この場合には、一致度判定部が算出した一致度の値を表示してもよいし、一致度の値に応じて予め定めた一致度のランクを表示してもよい。
【００８３】
また、本発明において、撮像装置に外部との通信を行う機能を具備させれば、画像を印刷したり通信ネットワークを介して画像を送受信したりすることができる。
【００８４】
なお、本発明に係る撮像装置用プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＭＯディスク、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。
【００８５】
このように、本発明は、ここでは記載していない様々な実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的思想を逸脱しない範囲内において種々の設計変更等を施すことが可能である。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施の形態１に係る撮像装置の構成を示す図である。
【図２】本発明の実施の形態１に係る撮像装置を用いて撮影した画像の修正を行う場合の処理の流れを示すフローチャートである。
【図３】撮影済み画像の表示例を示す図である。
【図４】指定領域表示画像の表示例を示す図である。
【図５】部分スルー画像生成部における部分画像生成処理の概要を示す図である。
【図６】ＯＫ表示の表示例を示す図である。
【図７】合成画像の表示例を示す図である。
【図８】再調整指示の表示例を示す図である。
【図９】指定領域表示画像の別な表示例（第１例）を示す図である。
【図１０】指定領域表示画像の別な表示例（第２例）を示す図である。
【図１１】指定領域表示画像の別な表示例（第３例）を示す図である。
【図１２】撮影済み画像の別な表示例を示す図である。
【図１３】図１２に示す撮影済み画像に基づいて生成した指定領域表示画像の表示例を示す図である。
【図１４】図１３に示す指定領域表示画像に基づいて再撮影した画像を用いた合成画像の表示例を示す図である。
【図１５】本発明の実施の形態２に係る撮像装置の構成を示す図である。
【図１６】本発明の実施の形態２に係る撮像装置を用いて撮影した画像の修正を行う場合の処理の流れを示すフローチャートである。
【図１７】撮影済み画像部分の調整の概要を示す図である。
【図１８】画像変形部と画像合成部における処理の概要を示す図である。
【図１９】本発明の実施の形態３に係る撮像装置を用いて撮影した画像の修正を行う場合の処理の流れを示すフローチャートである。
【図２０】本発明の別な実施の形態に係る撮像装置を用いた場合の撮影済み画像の表示例を示す図である。
【符号の説明】
【００８７】
１  撮像装置
２  撮像部
３  センサ部
４、１６  画像処理部
５  表示部
６  圧縮伸張部
７  記録媒体インターフェース
８  入力部
９  音声出力部
１０  補助光投射部
１１  制御部
１２、１７  記憶部
１３  レンズ駆動部
１４  絞り駆動部
２１  撮影レンズ
２２  絞り
２３  撮像素子
２４  アナログ信号処理部
２５  Ａ／Ｄ変換部
４１  指定領域表示画像生成部
４２  部分スルー画像生成部
４３  一致度判定部
４４  画像合成部
４５  画像変形部
１００  記録媒体
１１１  時計
１２１  プログラム記憶部
１２２  指定領域記憶部
１２３  一致度判定領域記憶部
１２４  関数記憶部
２０１、２１０、２１４  撮影済み画像
２０２、２０７、２０８、２０９、２１１  指定領域表示画像
２０２Ｄ、２０２Ｎ  画像
２０３  指定領域空白画像
２０４、２０６、２１３  部分スルー画像
２０５、２１２  合成画像
Ａ１〜Ａ４  人物
Ｂ、Ｂ'、Ｂ''、Ｂ１、Ｂ２、Ｂ３  シンボル
Ｄ、Ｄ'、Ｄ''、Ｄ１、Ｄ２、Ｄ３  指定領域
Ｎ  近傍領域
【図１】
2009290426.tif 000003
【図２】
2009290426.tif 000004
【図３】
2009290426.tif 000005
【図４】
2009290426.tif 000006
【図５】
2009290426.tif 000007
【図６】
2009290426.tif 000008
【図７】
2009290426.tif 000009
【図８】
2009290426.tif 000010
【図９】
2009290426.tif 000011
【図１０】
2009290426.tif 000012
【図１１】
2009290426.tif 000013
【図１２】
2009290426.tif 000014
【図１３】
2009290426.tif 000015
【図１４】
2009290426.tif 000016
【図１５】
2009290426.tif 000017
【図１６】
2009290426.tif 000018
【図１７】
2009290426.tif 000019
【図１８】
2009290426.tif 000020
【図１９】
2009290426.tif 000021
【図２０】
2009290426.tif 000022