(57)【要約】【課題】  １枚の画像から被写体と背景を画像分割し、被写体画像に変形処理を施し、再び、背景画像と合成して１枚の画像にする場合、変形後の被写体部分と背景部分との間に隙間が生じるため、原画像のようにきれいに１枚の画像に合成することが難しかった。【解決手段】  本発明では、画像を撮影する撮像手段と、前記撮像手段が撮影した１枚の原画像から複数の分割画像を作成する画像分割手段と、前記画像分割手段が分割した複数の分割画像のそれぞれを変形する画像変形手段と、前記画像変形手段が変形した画像を合成して元の１枚の原画像を作成する画像合成手段とを設けた。【選択図】    図１
2008282077.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影する撮像手段と、
前記撮像手段が撮影した１枚の原画像から複数の分割画像を作成する画像分割手段と、
前記画像分割手段が分割した複数の分割画像のそれぞれを変形する画像変形手段と、
前記画像変形手段が変形した複数の分割画像を１枚の画像に合成する画像合成手段と
を設けたことを特徴とする撮像装置。
【請求項２】
画像を撮影する撮像手段と、
前記撮像手段が撮影した１枚の原画像から複数の分割画像を作成する画像分割手段と、
前記画像分割手段が分割した複数の分割画像の少なくとも１つを変形する画像変形手段と、
前記画像変形手段が変形した分割画像と残りの変形しない分割画像とを１枚の画像に合成する画像合成手段と
を設けたことを特徴とする撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
前記画像変形手段が変形した分割画像を拡大する画像拡大手段をさらに設け、
前記画像合成手段は、前記画像拡大手段が拡大した分割画像と残りの変形しない分割画像とを１枚の画像に合成すること
を特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記画像拡大手段は、前記画像変形手段が変形した分割画像を縦横同じ拡大比率で拡大すること
を特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記画像拡大手段は、前記画像変形手段が変形した分割画像の横幅最小値が、前記変形した分割画像を合成する部分の最大幅以上になる前記拡大比率で拡大すること
を特徴とする撮像装置。
【請求項６】
請求項２に記載の撮像装置において、
前記画像合成手段は、前記画像変形手段が変形した分割画像を合成する縦方向の位置を変形前の分割画像の重心に最も近くなるように配置すること
を特徴とする撮像装置。
【請求項７】
請求項１に記載の撮像装置において、
前記画像分割手段は、前記撮像手段が撮影した１枚の原画像を、撮影を意図した対象物である被写体と、それ以外の対象物である背景とに分割すること
を特徴とする撮像装置。
【請求項８】
１枚の原画像から複数の分割画像を作成し、
前記分割した複数の分割画像の少なくとも１つを変形し、
前記変形した分割画像を拡大し、
前記拡大した分割画像と残りの変形していない分割画像とを１枚の画像に合成する
ことを特徴とする画像処理方法。
【請求項９】
コンピュータで実行する画像処理プログラムであって、
１枚の原画像から複数の分割画像を作成する画像分割手順と、
前記分割した複数の分割画像の少なくとも１つを変形する画像変形手順と、
前記変形した分割画像を拡大する画像拡大手順と、
前記拡大した分割画像と残りの変形していない分割画像とを１枚の画像に合成する画像合成手順と
を備えたことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、抽出した画像を変形して再合成する撮像装置および画像処理方法並びにそのプログラムに関する。
【背景技術】
【０００２】
従来、撮影した１枚の画像から被写体と背景を分離して画像処理する技術が検討されている。ここで、人物など撮影したい対象物を被写体と称し、それ以外の部分を背景と称する。被写体と背景を分離する方法として、被写体に照明を当てた時と照明を当てない時の画像を比較して輝度が変化している領域を被写体部分と判別したり、デフォーカス量から距離画像を作成して所定距離内の領域を被写体部分と判別する方法が知られている。さらに、分離した被写体画像に変形処理などを施して、再び、背景画像と合成する画像処理が行われている（例えば、特許文献１参照）。
【特許文献１】特開２００３−８７５４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところが、被写体部分を変形後、再び背景部分に合成する場合、被写体部分の変形具合によっては画像が失われる場合がある。例えば、人物などの被写体画像を抽出して細身に見えるように横方法に縮小した場合、元の背景部分と再合成すると、変形後の被写体部分と背景部分との間に隙間が生じるため、原画像のようにきれいに１枚の画像にすることができないという問題があった。
【０００４】
本発明の目的は、１枚の画像から被写体と背景を画像分割し、被写体画像に変形処理を施し、再び、背景画像と合成して１枚の画像にする場合でも、背景画像と被写体画像との間に隙間が空くことなく、きれいに１枚の画像にすることが可能な撮像装置および画像処理方法並びにそのプログラムを提供することである。
【課題を解決するための手段】
【０００５】
本発明に係る撮像装置は、画像を撮影する撮像手段と、前記撮像手段が撮影した１枚の原画像から複数の分割画像を作成する画像分割手段と、前記画像分割手段が分割した複数の分割画像のそれぞれを変形する画像変形手段と、前記画像変形手段が変形した複数の分割画像を１枚の画像に合成する画像合成手段とを設けたことを特徴とする。
【０００６】
また、画像を撮影する撮像手段と、前記撮像手段が撮影した１枚の原画像から複数の分割画像を作成する画像分割手段と、前記画像分割手段が分割した複数の分割画像の少なくとも１つを変形する画像変形手段と、前記画像変形手段が変形した分割画像と残りの変形しない分割画像とを１枚の画像に合成する画像合成手段とを設けたことを特徴とする。
【０００７】
さらに、前記画像変形手段が変形した分割画像を拡大する画像拡大手段をさらに設け、前記画像合成手段は、前記画像拡大手段が拡大した分割画像と残りの変形しない分割画像とを１枚の画像に合成することを特徴とする。
【０００８】
特に、前記画像拡大手段は、前記画像変形手段が変形した分割画像を縦横同じ拡大比率で拡大することを特徴とする。
【０００９】
さらに、前記画像拡大手段は、前記画像変形手段が変形した分割画像の横幅最小値が、前記変形した分割画像を合成する部分の最大幅以上になる前記拡大比率で拡大することを特徴とする。
【００１０】
或いは、前記画像合成手段は、前記画像変形手段が変形した分割画像を合成する縦方向の位置を変形前の分割画像の重心に最も近くなるように配置することを特徴とする。
【００１１】
特に、前記画像分割手段は、前記撮像手段が撮影した１枚の原画像を、撮影を意図した対象物である被写体と、それ以外の対象物である背景とに分割することを特徴とする。
【００１２】
また、本発明に係る画像処理方法は、１枚の原画像から複数の分割画像を作成し、前記分割した複数の分割画像の少なくとも１つを変形し、前記変形した分割画像を拡大し、前記拡大した分割画像と残りの変形していない分割画像とを１枚の画像に合成することを特徴とする。
【００１３】
また、本発明に係る画像処理プログラムは、コンピュータで実行する画像処理プログラムであって、１枚の原画像から複数の分割画像を作成する画像分割手順と、前記分割した複数の分割画像の少なくとも１つを変形する画像変形手順と、前記変形した分割画像を拡大する画像拡大手順と、前記拡大した分割画像と残りの変形していない分割画像とを１枚の画像に合成する画像合成手順とを備えたことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、１枚の画像から被写体と背景を画像分割し、被写体画像に変形処理を施し、再び、背景画像と合成して１枚の画像にする場合でも、変形した画像を拡大して再合成するので、背景画像と被写体画像との間に隙間が空くことなく、きれいに１枚の画像に戻すことができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明に係る撮像装置および画像処理方法並びにそのプログラムについて詳しく説明する。
（第１の実施形態）
図１は第１の実施形態に係る撮像装置１０１のブロック図である。撮像装置１０１は、レンズ１０２と、絞り１０３と、メカニカルシャッタ１０４と、撮像素子１０５と、信号処理部１０６と、画像処理部１０７と、圧縮・復号部１０８と、メモリ１０９と、表示制御部１１０と、モニタ１１１と、制御部１１２と、操作部１１３と、レンズ駆動部１１４と、撮像素子駆動部１１５と、測光部１１６と、フラッシュ１１７、記録媒体１１８とで構成される。
【００１６】
レンズ１０２は、撮影光学系を構成する複数枚数のレンズ群（フォーカスレンズ，ズームレンズなど）で構成され、制御部１１２が出力する指令に応じてレンズ駆動部１１４によってフォーカス動作やズーム動作などを行う。レンズ１０２から入射した被写体からの光は、絞り１０３およびメカニカルシャッタ１０４を通って撮像素子１０５の受光面に結像される。
【００１７】
撮像素子１０５は、ＣＣＤ撮像素子やＣＭＯＳ型撮像素子などで構成され、制御部１１２が出力する指令に応じて撮像素子駆動部１１５が出力する駆動信号で動作する。この駆動信号によって、電荷の蓄積開始（露光開始）タイミングや電荷の蓄積終了（露光終了）タイミングを制御して撮像を行い、蓄積された電荷を電気信号に変換して読み出し、信号処理部１０６に出力する。
【００１８】
信号処理部１０６は、制御部１１２が出力する指令に応じて、画像信号のノイズ除去や信号レベルの調整，Ａ／Ｄ変換，ホワイトバランス調整およびガンマ変換や色処理などの信号処理を行い、信号処理後の画像データを画像処理部１０７に出力する。
【００１９】
画像処理部１０７は、制御部１１２が出力する指令に応じて、解像度の変換処理などを行って、画像データをメモリ１０９に記憶すると共に、メモリ１０９に記憶した画像データを表示制御部１１０に出力し、色変換などの処理を行ってモニタ１１１に画像を表示する。
【００２０】
特に、本実施形態の画像処理部１０７は、撮影した１枚の画像を被写体画像と背景画像とに分離し、被写体だけの色合いを可変したり、一部分を縮小して変形したり、或いは背景をぼかすなどの画像処理を行う。さらに、処理後の被写体画像と背景画像を元の１枚の画像に再合成してモニタ１１１に表示したり、記録媒体１１８に記憶する。ここで、撮影した画像全体の中で、撮影したい対象物を被写体と称し、それ以外の部分を背景と称する。
【００２１】
圧縮・復号部１０８は、制御部１１２が出力する指令に応じて、画像処理部１０７が出力する画像データをＪＰＥＧ規格など所定の形式で圧縮処理を施し、圧縮後のデータを記録媒体１１８に記憶する。また、圧縮・復号部１０８は、記録媒体１１８に記憶された圧縮データを元の画像データに復号して、表示制御部１１０を介してモニタ１１１に表示することができる。
【００２２】
制御部１１２は、予め記憶されたプログラムによって動作し、操作部１１３のレリーズボタンやズームボタンなど使用者の操作に応じて、撮像装置１０１の各部を制御する。例えば、レリーズボタンが全押しされると、制御部１１２は撮影動作を実行し、メモリ１０９に撮影画像を記憶する。また、制御部１１２は、測光部１１６が測定した被写体の測光データを用いて、撮像素子１０５の露光時間を決定し、絞り１０３の絞り値やメカニカルシャッタ１０４の開閉速度などを制御する。さらに、制御部１１２は、必要に応じて、補助光源であるフラッシュ１１７を所定の光量および所定のタイミングで発光させる。
【００２３】
ここで、被写体と背景を分離する方法について、簡単に説明する。画像処理部１０７は、フラッシュ１１７を発光させて撮影した予備画像とフラッシュ１１７を発光させずに撮影した本画像との輝度を比較する。ここで、通常のカメラ撮影を行って保存する画像を本画像と称し、被写体と背景の分離のために撮影する画像を予備画像と称する。画像処理部１０７は、短時間に連続して同じシーンを撮影した本画像と予備画像において、２つの画像の同じ位置の画素の輝度を比較し、輝度比率が所定値以上の画素を被写体部分、逆に輝度比率が所定値未満の部分を背景部分として、撮影した本画像から被写体と背景とを分離し、被写体画像と背景画像とを得る。この時、撮影画素を２次元座標で表して被写体部分の座標も得ることができる。
【００２４】
尚、予備画像や本画像は、一時的にメモリ１０９に記憶し、輝度比率を求める処理，被写体と背景の分離処理などを行う。また、分離後の被写体画像や背景画像も一時的にメモリ１０９に記憶し、被写体画像だけ或いは背景画像だけに色補正やぼかし処理あるいは変形処理などの画像処理を行う。また、画像処理後の被写体画像と背景画像は、１枚の本画像に再合成してモニタ１１１に画像処理後の画像を表示したり、記録媒体１１８に画像処理後の画像を記憶する。尚、記録媒体１１８に、予備画像や被写体だけの画像や背景だけの画像も記憶するようにして、後で画像処理を行うようにしても構わない。
【００２５】
次に、分離した被写体画像と背景画像において、被写体画像を変形後、背景画像と再合成して１枚の画像に戻す処理について説明する。尚、分離した被写体画像と背景画像とはメモリ１０９に一時的に記憶されており、これらの処理は制御部１１２の指令に基づいて画像処理部１０７が行う。図２は、撮影した原画像２０１を被写体画像２０２と背景画像２０３とに分離して、被写体画像２０２を変形して背景画像２０３に再合成する様子を示した説明図である。原画像２０１から被写体画像２０２を分離した背景画像２０３には、被写体画像２０２が抜けた空白部分２０４が生じる。一方、分離した被写体画像２０２は、被写体画像２０２ａのように一部が変形される。例えば、被写体画像２０２が人物画像である場合、人物の画像の腰の部分を細身に変形する処理が行われる。尚、変形処理は使用者がマニュアルで行っても構わないし、予め設定された部分を所定の縮小倍率で細くするよう自動的に行っても構わない。
【００２６】
ところが、被写体画像２０２ａは被写体画像２０２の一部分が縮小されているため、そのまま背景画像２０３に再合成しても、縮小されて小さくなった部分に空白部分２０４が見えてしまうという問題が生じる。そこで、本実施形態では、変形した被写体画像２０２ａを縦横同じ拡大比率で拡大した被写体画像２０２ｂを作成する。この拡大した被写体画像２０２ｂを背景画像２０３に合成することによって空白部分２０４が見えないようにすることができる。
【００２７】
次に、拡大比率について説明する。図２において、変形した被写体画像２０２ａと背景画像２０３とを合成した際にできる隙間から空白部分２０４を見えないようにするために、被写体画像２０２ａを拡大する拡大倍率を以下のように求める。図２の被写体画像２０２ａを背景画像２０３に合成した様子を示す図で、被写体画像２０２ａの変形した部分の最小横幅ａが空白部分２０４の最大横幅ｂよりも大きくなるように被写体画像２０２ａを拡大して被写体画像２０２ｂを作成する。この結果、空白部分２０４の最大横幅ｂよりも大きい横幅の被写体画像２０２ｂを背景画像２０３に重ねることができるので、変形部分における空白部分２０４を隠すことができる。尚、拡大後の被写体画像２０２ｂが背景画像２０３からはみ出した部分は、背景画像２０３の画面範囲に合わせて削除する。
【００２８】
次に、背景部分２０３に変形後に拡大処理した被写体部分２０２ｂを再合成する際の位置について説明する。図３は、背景画像２０３に拡大した被写体画像２０２ｂを再合成する様子を示した説明図である。図３（ａ）は被写体画像２０２ｂの最上部と背景画像２０３にできた空白部分２０４の最上部とが一致するように被写体画像２０２ｂを配置した様子を示している。この場合は被写体画像２０２ｂの最小横幅部分において空白部分２０４が見える。図３（ｂ）は被写体画像２０２ｂの最下部と背景画像２０３にできた空白部分２０４の最下部とが一致するように被写体画像２０２ｂを配置した様子を示している。この場合も被写体画像２０２ｂの最小横幅部分において空白部分２０４が見える。図３（ｃ）は被写体画像２０２ｂの横幅最小部分と背景画像２０３にできた空白部分２０４の横幅最小部分とが一致するように被写体画像２０２ｂを配置した様子を示している。この場合は被写体画像２０２ｂは空白部分２０４をほぼ完全に覆っている。図３（ｄ）は図３（ｃ）と同じように、被写体画像２０２ｂの横幅最小部分と背景画像２０３にできた空白部分２０４の横幅最小部分とが一致するように被写体画像２０２ｂを配置するが、横方向の位置合わせが異なり、被写体画像２０２ｂの最も右側と空白部分２０４の最も右側を一致させて配置した様子を示している。この場合は被写体画像２０２ｂの右側で空白部分２０４が見える。
【００２９】
このように、変形後に拡大した被写体画像２０２ｂを背景画像２０３に配置する位置によって、空白部分２０４の見え方は異なり、被写体画像２０２ｂを再合成する際の位置を最適化する必要がある。
【００３０】
次に、被写体画像２０２ｂを再合成する際の最適な位置を求める方法について説明する。図４は、背景画像２０３に拡大した被写体画像２０２ｂを配置する位置を決める様子を示した説明図である。図４（ａ）は被写体画像２０２ｂの最上部Ａ（ｘ，ｙ）と背景画像２０３にできた空白部分２０４の最上部とが一致するように被写体画像２０２ｂを配置し、被写体画像２０２ｂを上方向に少しずつずらして、最適な合成位置を求める方法を示している。ここで、（ｘ，ｙ）は画像を構成する画素の座標を示しており、例えば横方向が６４０画素で縦方向が４８０画素の画面の場合、（ｘ，ｙ）＝（１５０，２１０）は横方向に１５０番目の列の中の縦方向に２１０番目の画素であることを示す。
【００３１】
今、図４（ａ）において、被写体画像２０２ｂの最上部の画素を背景画像２０３の画面に配置する座標をＡ（ｘ，ｙ）とした場合、点線円３０１に示したように、被写体画像２０２ｂをｉ画素だけ上部に移動する。つまり、配置座標Ａ（ｘ，ｙ）をＡ（ｘ，ｙ＋ｉ）とする。このように、ｎを少しずつ増やしていけば、被写体画像２０２ｂを少しずつ上方向にずらすことができる。
【００３２】
ここで、被写体画像２０２ｂを少しずつ上方向にずらした場合の最適位置を判断する方法について説明する。図５は、被写体画像２０２ｂが背景画像２０３に最適に配置されていない時の様子を示した説明図である。図５において、被写体画像２０２ｂと背景画像２０３との隙間から空白部分２０４が見えているが、この見えている空白部分２０４の画素５０１の数をカウントする。カウントした画素数が所定値以内であれば最適位置と判断する。尚、先に説明したように、被写体画像２０２と背景画像２０３とを分離する際に、変形前の被写体画像２０２の座標情報を得ているので、この座標情報と変形拡大後の被写体画像の座標情報とから見えている空白部分２０４の画素数をカウントすることができる。
【００３３】
さて、図４（ａ）に戻って、被写体画像２０２ｂの最上部の画素を背景画像２０３の画面に配置する座標をＡ（ｘ，ｙ＋ｉ）として、ｉを少しずつ増やしながら図５で説明したように見えている空白部分２０４の画素数をカウントする。例えば、見えている空白部分２０４の画素数が最小の時のｉをｉ１とすると、被写体画像２０２ｂの最上部の画素が背景画像２０３の画面の座標Ａ（ｘ，ｙ＋ｉ１）に一致するように配置することで、最適な合成画像を得ることができる。
【００３４】
同様に、図４（ｂ）は被写体画像２０２ｂの最右部Ｂ（ｘ，ｙ）と背景画像２０３にできた空白部分２０４の最右部とが一致するように被写体画像２０２ｂを配置し、被写体画像２０２ｂを右方向に少しずつずらして、最適な合成位置を求める方法を示している。この場合は、例えば点線円３０２に示したように、配置座標Ｂ（ｘ＋ｊ，ｙ）のｊを少しずつ増やして、被写体画像２０２ｂを少しずつ右方向にずらしながら、図５で説明したように見えている空白部分２０４の画素数をカウントし、見えている空白部分２０４の画素数が最小の時のｊをｊ１とすると、被写体画像２０２ｂの最右部の画素が背景画像２０３の画面の座標Ｂ（ｘ＋ｊ１，ｙ）に一致するように配置することで、最適な合成画像を得ることができる。
【００３５】
図４（ａ）および（ｂ）では上下方向或いは左右方向に移動して最適な合成位置を見つけるようにしたが、図４（ｃ）に示すように、被写体画像２０２ｂの重心位置と背景画像２０３の空白部分２０４の重心位置とが一致するように配置し、被写体画像２０２ｂを上下左右方向に少しずつずらして、最適な合成位置を求める方法を示している。この場合は、例えば点線円３０３に示したように、配置座標Ｃ（ｘ±ｊ，ｙ±ｉ）のｊおよびｉを少しずつ増減して、被写体画像２０２ｂを少しずつ上下方向或いは左右方向にずらしながら、図５で説明したように見えている空白部分２０４の画素数をカウントし、見えている空白部分２０４の画素数が最小の時のｊおよびｉを求める。例えば見えている空白部分２０４の画素数が最小の時のｊおよびｉをｊ２およびｉ２とすると、被写体画像２０２ｂの最右部の画素が背景画像２０３の画面の座標Ｃ（ｘ＋ｊ２，ｙ＋ｉ２）に一致するように配置することで、最適な合成画像を得ることができる。
【００３６】
尚、図４において、配置座標は被写体画像の最上部Ａや最右部Ｂおよび重心Ｃを基準にする必要はなく、被写体画像２０２ｂと背景画像２０３との相対位置が分かればよい。また、図４（ｃ）では、被写体画像２０２ｂの重心位置と背景画像２０３の空白部分２０４の重心位置とが一致するように配置した上で、さらに被写体画像２０２ｂを移動させて最適な合成位置を見つけるようにしたが、簡易的に重心位置だけで配置するようにしても構わない。さらに、被写体画像２０２ｂは人物など略対称的な画像である場合が多いので、被写体画像２０２ｂの縦方向の中心軸と空白部分２０４の縦方向の中心軸を合わせて、図４（ａ）のように、縦方向の位置のみ最適化するようにしても構わない。
【００３７】
以上説明してきた各処理は、図１の制御部１１２に予め格納されたプログラムによって制御され、本画像と予備画像との輝度比較や、被写体画像と背景画像との分離処理或いは被写体画像の変形処理や拡大処理、合成位置の最適化処理などの画像処理は画像処理部１０７によって実行される。次に、第１の実施形態に係る撮像装置１０１の制御部１１２や画像処理部１０７によって実行される一連の処理について、図６のフローチャートを用いて詳しく説明する。
（ステップＳ４０１）撮像装置１０１の画像処理が開始される。
（ステップＳ４０２）画像処理部１０７は、図２で説明したように、原画像２０１から被写体画像２０２と背景画像２０３とを分離してメモリ１０９に一時的に記憶する。
（ステップＳ４０３）画像処理部１０７は、分離した被写体画像２０２の一部或いは全部を横方向に縮小し、被写体画像２０２ａを作成する。
（ステップＳ４０４）合成する被写体画像２０２ａを拡大する倍率ｋを初期設定し、例えばｋ＝１．１倍とする。
（ステップＳ４０５）被写体画像２０２ａを縦横同じようにｋ倍して被写体画像２０２ｂを作成する。
（ステップＳ４０６）被写体画像２０２ｂを背景画像２０３に合成する初期位置を設定する。例えば図４（ａ）の座標Ａ（ｘ，ｙ）のように初期位置を決める。さらに、移動カウンタｎをリセットする。ここで、移動カウンタｎは、被写体画像２０２ｂを背景画像２０３に合成する際に、被写体画像２０２ｂを背景画像２０３の全画面を移動させて最適位置を求めるのではなく、予め設定した所定範囲のみ移動させて最適位置を求めるために使用する。
（ステップＳ４０７）被写体画像２０２ｂを背景画像２０３の初期位置に仮配置し、被写体画像２０２ｂと背景画像２０３の隙間部分、つまり空白部分２０４が見えている部分の画素数（ｐ）をカウントする。
（ステップＳ４０８）ステップＳ４０７でカウントした画素数（ｐ）が所定値（Ｍ）より小さいか否かを判断する。ｐ＜Ｍの場合は見えている空白部分２０４は許容範囲内なのでステップＳ４１４に進み、ｐ≧Ｍの場合は見えている空白部分２０４が多いのでステップＳ４０９に進む。
（ステップＳ４０９）ステップＳ４０８で見えている空白部分２０４が多いと判断した場合は、被写体画像２０２ｂを背景画像２０３に合成する位置を移動する。例えば図４（ａ）において、被写体画像２０２ｂの最上部を背景画像２０３上の縦方向の位置ｙから２画素分移動させて位置（ｙ＋２）に移動する。尚、移動する画素数は１画素ずつでも構わないし複数画素ずつでも構わない。
（ステップＳ４１０）移動カウンタｎを１つインクリメントする。
（ステップＳ４１１）移動カウンタｎが予め設定された所定値Ｎより小さいか否かを判断する。ｎ＜Ｎの場合は所定範囲内を移動し終えていないのでステップＳ４０７に戻って同じ処理を繰り返し、ｎ≧Ｎの場合は所定範囲内を移動し終えたのでステップＳ４１２に進む。
（ステップＳ４１２）現在の拡大倍率ｋにおいて、被写体画像２０２ｂを背景画像２０３に合成する最適位置が求まらなかったので、制御部１１２は表示制御部１１０を介してモニタ１１１にメッセージを表示する。モニタ１１１に表示するメッセージは、例えば、現在の拡大倍率ｋにおける見えている空白部分２０４が最小の画素数と、ＯＫボタンとＮＧボタンとを表示し、これで良いか否かを使用者に確認させる。使用者がＯＫボタンを選択した場合はステップＳ４１４へ進み、ＮＧボタンを選択した場合はステップＳ４１３へ進む。尚、見えている空白部分２０４が最小の画素数の時の合成位置はメモリ１０９に一時的に記憶している。尚、使用者がＯＫした時に見えている空白部分２０４の最小画素数が０でない場合、つまり、少数画素の空白部分２０４が残っている場合は、残っている空白部分２０４をその周囲の背景画像の画素で補間するようにしても構わない。
（ステップＳ４１３）使用者がＮＧボタンを選択した場合、変形後の被写体画像２０２ａの拡大倍率ｋを増加する。例えば、ステップＳ２０４において、初期倍率をｋ＝１．１倍としたので、これに０．１を加算して拡大倍率ｋを１．２倍とし、ステップＳ４０５に戻って、変形後の被写体画像２０２ａを１．２倍して新たな被写体画像２０２ｂを作成する。
（ステップＳ４１４）ステップＳ４０８においてカウントした画素数（ｐ）が所定値（Ｍ）より小さい場合、或いはステップＳ４１２において使用者がＯＫボタンを選択した場合は、被写体画像２０２ｂの背景画像２０３への合成位置を確定する。
（ステップＳ４１５）確定した背景画像２０３上の合成位置に被写体画像２０２ｂを配置して１枚の画像に合成する。
（ステップＳ４１６）撮像装置１０１の画像処理を終了する。
【００３８】
尚、本実施形態では、被写体画像２０２ｂを背景画像２０３に合成する位置を変える毎に、ステップＳ４０８において、隙間から見えている空白部分２０４の画素数ｐが所定値Ｍより小さくなったか否かを逐次判断するようにしたが、図７に示したフローチャートのように、ステップＳ４０８は行わず、所定の範囲内の全てを移動させた後でステップＳ４５１を実行して、所定の範囲内における画素数ｐが最小となる合成位置を求め、ステップＳ４５２で最小の画素数ｐが所定値Ｍより小さいか否かを判断するようにしても構わない。この場合、図６のフローチャートの処理に比べて処理時間は長くなるが、所定の範囲内における最適な合成位置に被写体画像２０２ｂを配置することができる。
【００３９】
このように、本実施形態に係る撮像装置１０１は、１枚の原画像２０１から被写体画像２０２と背景画像２０３とに画像分割して、被写体画像２０２に変形処理を施し、再び、背景画像２０３と合成して１枚の画像にする場合でも、変形後の被写体画像２０２ａを拡大した被写体画像２０２ｂを背景画像２０３に合成するので、被写体画像２０２ｂと背景画像２０３との間に隙間が空くことなく、きれいに１枚の画像にすることができる。
【００４０】
また、被写体画像２０２ｂを背景画像２０３に合成する位置の最適化を行うので、被写体画像２０２ｂの拡大率をできるだけ小さく抑えることができ、合成した画像における違和感を少なくすることができる。
【００４１】
尚、本実施形態においては、撮像装置１０１として説明したが、図６または図７のフローチャートに示した画像処理方法を実行する画像処理プログラムをパソコンなどに導入して、被写体画像と背景画像の合成処理を行っても構わない。但し、露光条件を可変したりＡＦセンサなどを利用して実行する被写体画像と背景画像との分離処理は、本実施形態の撮像装置１０１で行うのが好ましい。また、分離後の被写体画像と背景画像の２つの画像を記録媒体１１８に記憶しておいても構わないが、分離処理時に得られる座標データを原画像と一緒に記録媒体１１８に記憶するようにしてもよい。
【図面の簡単な説明】
【００４２】
【図１】第１の実施形態に係る撮像装置１０１の構成を示すブロック図である。
【図２】画像の分離・変形・合成の流れを示す説明図である。
【図３】画像の合成の様子を示す説明図である。
【図４】画像の合成位置を最適化する方法を示す説明図である。
【図５】その他の画像変形・合成処理を示すフローチャートである。
【図６】画像変形・合成処理を示すフローチャートである。
【図７】隙間の画素数を説明するための説明図である。
【符号の説明】
【００４３】
１０１・・・撮像装置            １０２・・・レンズ
１０３・・・絞り                １０４・・・メカニカルシャッタ
１０５・・・撮像素子            １０６・・・信号処理部
１０７・・・画像処理部          １０８・・・圧縮・復号部
１０９・・・メモリ              １１０・・・表示制御部
１１１・・・モニタ              １１２・・・制御部
１１３・・・操作部              １１６・・・測光部
１１７・・・フラッシュ          １１８・・・記録媒体
【図１】
2008282077.tif 000003
【図２】
2008282077.tif 000004
【図３】
2008282077.tif 000005
【図４】
2008282077.tif 000006
【図５】
2008282077.tif 000007
【図６】
2008282077.tif 000008
【図７】
2008282077.tif 000009