(57)【要約】【課題】撮影画像の被写体と背景のどちらか一方だけに画像処理を施すことができ、また、両方に異なる画像処理を施すこともできる撮像装置及び画像処理方法を提供する。【解決手段】本発明の撮像装置は、被写体を撮影して画像データを生成するレンズ１、ＣＣＤ２、ＣＣＤ駆動回路３、Ａ／Ｄ変換回路４と、前記画像データに複数の処理を施す画像信号処理回路６とＣＰＵ７と、を有する撮像装置であって、前記画像信号処理回路６は、被写体と背景を含む画像データと背景のみを含む画像データから被写体と背景を分離し、被写体と背景のどちらか一方または両方に所定の画像処理を施した後に、被写体と背景を結合した画像データを生成する、ことを特徴とする。【選択図】図１
2007281843.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して画像データを生成する撮像手段と、
前記画像データに複数の処理を施す処理手段と、
を有する撮像装置であって、
前記処理手段は、
被写体と背景を含む画像データと背景のみを含む画像データから被写体と背景を分離し、
被写体と背景のどちらか一方または両方に所定の画像処理を施した後に、
被写体と背景を結合した画像データを生成する、
ことを特徴とする撮像装置。
【請求項２】
前記処理手段は、
被写体と背景を含む画像データと背景のみを含む画像データの差分を求めることで、被写体と背景を分離する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記処理手段は、
被写体と背景を含む画像データと背景のみを含む画像データの差分を求めることで、被写体の輪郭位置を求め、
前記被写体と背景を含む画像データと背景のみを含む画像データの前記輪郭位置付近の微分積算値を比較することで、被写体と背景を含む画像データと背景のみを含む画像データを判別し、
前記被写体と背景を含む画像データから被写体を分離する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記処理手段は、
被写体の拡大、縮小、回転、反転、移動、複写、色調変更、エッジ強調、平滑化、湾曲化のいずれか１つまたは複数の処理を行う、
ことを特徴とする請求項１から請求項３のいずれかに記載の撮像装置。
【請求項５】
前記処理手段は、
背景の拡大、縮小、反転、トリミング、色調変更、エッジ強調、平滑化、湾曲化のいずれか１つまたは複数の処理を行う、
ことを特徴とする請求項１から請求項４のいずれかに記載の撮像装置。
【請求項６】
前記処理手段は、
被写体と背景を含む画像データと背景のみを含む画像データの焦点距離情報に差がある場合は被写体と背景を分離する前に一方の画像に平滑化処理を施す、
ことを特徴とする請求項１から請求項５のいずれかに記載の撮像装置。
【請求項７】
被写体と背景を含む画像データと背景のみを含む画像データから被写体と背景を分離する分離工程と、
被写体と背景のどちらか一方または両方に所定の画像処理を施す処理工程と、
被写体と背景を結合した画像データを生成する生成工程と、
を有する画像処理方法。
【請求項８】
前記処理工程は、
被写体と背景を含む画像データと背景のみを含む画像データの差分を求めることで、被写体と背景を分離する、
ことを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記処理工程は、
被写体と背景を含む画像データと背景のみを含む画像データの差分を求めることで、被写体の輪郭位置を求め、
前記被写体と背景を含む画像データと背景のみを含む画像データの前記輪郭位置付近の微分積算値を比較することで、被写体と背景を含む画像データと背景のみを含む画像データを判別し、
前記被写体と背景を含む画像データから被写体を分離する、
ことを特徴とする請求項７に記載の画像処理方法。
【請求項１０】
前記処理工程は、
被写体の拡大、縮小、回転、反転、移動、複写、色調変更、エッジ強調、平滑化、湾曲化のいずれか１つまたは複数の処理を行う、
ことを特徴とする請求項７から請求項９のいずれかに記載の画像処理方法。
【請求項１１】
前記処理工程は、
背景の拡大、縮小、反転、トリミング、色調変更、エッジ強調、平滑化、湾曲化のいずれか１つまたは複数の処理を行う、
ことを特徴とする請求項７から請求項１０のいずれかに記載の画像処理方法。
【請求項１２】
前記処理手段は、
被写体と背景を含む画像データと背景のみを含む画像データの焦点距離情報に差がある場合は被写体と背景を分離する前に一方の画像に平滑化処理を施す、
ことを特徴とする請求項７から請求項１１のいずれかに記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の被写体と背景のどちらか一方だけに画像処理を施すことができ、また、両方に異なる画像処理を施すこともできる撮像装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
複数の撮影画像を部分的に合成して１枚の画像を生成可能な撮像装置及び画像合成方法として、特許文献１がある。
【０００３】
被写体を撮影して画像データを得る撮影手段と、この撮影手段で得た画像データを記憶する記憶手段と、この記憶手段に記憶した第１の画像データと第２の画像データの比較を行い上記第１の画像データと上記第２の画像データとで相違する画像部分のみを抽出する比較抽出手段と、この比較抽出手段で得た被写体の画像部分のみを他の画像データに重畳して合成する画像合成手段とを具備したことを特徴とする。
【０００４】
このような構成とすれば、被写体の配置や形状などに制限されず、容易に自然な画像合成を行うことが可能となる。
【特許文献１】特開２００３−３３８９７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、同時に同じ場所に存在しない複数の被写体が仮想的に同じ場所に存在しているかのような合成画像を得ることができるが、撮影画像の被写体と背景のどちらか一方だけに画像処理を施すこと、また、両方に異なる画像処理を施すことはできない。
【０００６】
本発明は、撮影画像の被写体と背景のどちらか一方だけに画像処理を施すことができ、また、両方に異なる画像処理を施すこともできる撮像装置及び画像処理方法を提供することで、より娯楽性や芸術性の高い画像を生成することを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、本発明の撮像装置は、被写体を撮影して画像データを生成する撮像手段と、前記画像データに複数の処理を施す処理手段と、を有する撮像装置であって、前記処理手段は、被写体と背景を含む画像データと背景のみを含む画像データから被写体と背景を分離し、被写体と背景のどちらか一方または両方に所定の画像処理を施した後に、被写体と背景を結合した画像データを生成する、ことを特徴とする。
【発明の効果】
【０００８】
以上のように、本発明によれば、被写体と背景を含む画像データと背景のみを含む画像データから被写体と背景を分離し、被写体と背景のどちらか一方または両方に所定の画像処理を施した後に、被写体と背景を結合した画像データを生成するので、撮影画像の被写体と背景のどちらか一方だけに画像処理を施すことができ、また、両方に異なる画像処理を施すこともできる撮像装置及び画像処理方法を提供することで、より娯楽性や芸術性の高い画像を生成することができるという効果を奏する。
【発明を実施するための最良の形態】
【０００９】
（実施形態１）
１．構成
以下、本発明の一例を、図を用いて詳述する。なお、ここでは、本発明を撮像装置であるデジタルスチルカメラに適用し、多重露光撮影を行う際に、抽出する被写体の撮影された被写体＋背景画像と、被写体＋背景画像と同じ画角であるが抽出する被写体のみが撮影されていない背景画像を用いて被写体を抽出し、被写体及び背景それぞれに対して所望の画像処理を行う場合について説明するが、本発明の適用がこれに限定されるものではない。
【００１０】
図１は、本実施の形態におけるデジタルスチルカメラの回路構成を示すブロック図である。同図によれば、レンズ１によって集められた光は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）駆動回路３により駆動されるＣＣＤ２に入り、電気的信号である画像データに変換される。ＣＣＤ２は、撮像タイミングをずらすことにより、複数の画像データを取得可能である。ＣＣＤ２で生成された画像データは、Ａ／Ｄ変換回路４によって、デジタル信号へと変換される。そして、その信号は、レンズが取り込んだ画像データとして、ＳＤＲＡＭ５に格納される。また、ＳＤＲＡＭ５からの画像データは、画像信号処理回路６とＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）７によって表示画像に変換され、ＬＣＤ８に出力される。撮影を行う際には、ユーザがシャッタ釦９を押下すると、ＣＰＵ７がそれを判断し、ＣＣＤ駆動回路３に撮影動作を指示する。撮影駆動でＣＣＤ２が取り込んだ画像は、一旦ＳＤＲＡＭ５に保存され、画像信号処理回路６で所定の処理が施された後に、メモリカード１０に保存される。
【００１１】
レンズ１、ＣＣＤ２、ＣＣＤ駆動回路３及びＡ／Ｄ変換回路４は、本発明の撮像手段である。また、画像信号処理回路６とＣＰＵ７は、本発明の処理手段である。
【００１２】
なお、ここでは光センサとしてＣＣＤを用いた場合について説明するが、より低消費電力であるＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やその他の撮像素子でもよい。
【００１３】
また、記憶素子としてＳＤＲＡＭを用いた場合について説明するが、より高速に動作するＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）や、ＳＤＲＡＭの倍の転送速度が実現できるＤＤＲ  ＳＤＲＡＭ（Ｄｏｕｂｌｅ  Ｄａｔａ  Ｒａｔｅ  ＳＤＲＡＭ）、またその他の記憶素子でもよい。
【００１４】
また、ディスプレイとしてＬＣＤを用いた場合について説明するが、より低消費電力である有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイやより高輝度なＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ、またその他のディスプレイを用いてもよい。
【００１５】
また、記憶装置としてメモリカードを用いた場合について説明するが、フロッピー（登録商標）ディスクやＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ハードディスクなどの磁気記録媒体、またその他の記憶装置を用いてもよい。
２．手順
次に、被写体と背景に異なる画像処理を施した画像を作成する手順について説明する。本実施形態では、抽出される被写体と背景それぞれに所望の画像処理を行える点が特徴である。
２．１被写体抽出
撮影する画像を、図２のように人物を抽出される被写体とした場合について、被写体抽出画像と背景画像を得る際の使用例を以下に示す。各画像の作成手順は、図３のフローチャートに示される。以降の説明において、Ｓ１１、Ｓ１２などは、フローチャートの該当するステップを示す。
２．１．１撮影
まず、図２（ａ）を撮影する（Ｓ１１）。撮影は、レンズ１が集めた光を、ＣＣＤ駆動回路３によって駆動されたＣＣＤ２によって取り込み、その取り込まれた光の強さをＡ／Ｄ変換回路４によってデジタル画像データに変換し、その画像データをＳＤＲＡＭ５に記録することによって、行う。画像データは、必要に応じてメモリカード１０に記録してもよい。このようにして撮影された画像が被写体＋背景画像か背景画像かを選択する（Ｓ１２）。選択方法については、ユーザが任意の画像を選択してもよいし、また、予め１枚目の撮影が被写体＋背景画像か背景画像かを、ユーザがカメラに通知しておくことによって、撮影した画像を所定の画像とするようにしてもよい。以下、本実施例では１枚目が背景画像である場合（Ｓ１３）について説明する。次に、同じ画角で図２（ｂ）を撮影する（Ｓ１５）。この時に、ＣＰＵ７に、シャッタ釦９が押されたと判定されるまでの間、ＬＣＤ８には、ＳＤＲＡＭ５に記憶されている１枚目に撮影した画像を、現在取り込んでいるファインダ画像の上に半透過させて表示させることにより、画角を合わせやすくするようにしてもよい。
２．１．２被写体・背景分離処理
次に、被写体・背景分離処理（Ｓ１６）について、図５のフローチャートを用いて、以下に説明する。
２．１．２．１前処理
なお、抽出される被写体と背景を分離するに当たっては、抽出される被写体と背景をより分離しやすくなるように前処理（Ｓ１０１）を行ってもよい。前処理の実施例を図４のフローチャートに示す。予め撮影画像ヘッダ部分に記録済みである、被写体＋背景画像と背景画像の焦点距離情報を比べ（Ｓ４０１）、両者が異なる場合（Ｓ４０２）においては、焦点距離情報の差異量の大きさに応じた平滑化フィルタを選択し（Ｓ４０３）、背景画像を選択された平滑化フィルタで平滑化を行うことによって、被写体＋背景画像における背景と、背景画像における背景のボケ具合を同等に補正する。この処理によって、背景画像から差分用背景画像を得る（Ｓ４０５）。なお、平滑化フィルタの選択に関しては、例えば、ガウシアンフィルタのフィルタサイズと標準偏差を、焦点距離情報の差異量の大きさに応じて変更することによって、実現可能である。ただし、これは一例であり、前処理の内容を、ガウシアンフィルタを用いるものに限定するものではない。
２．１．２．２被写体画像抽出
次に、図５のフローチャートに戻って、被写体＋背景画像と差分用背景画像から、差分画像を作成する（Ｓ１０２)。その差分画像の全画素について（Ｓ１０６）、差分値の大きさが閾値以上（Ｓ１０３）である画素に関しては抽出される被写体とし（Ｓ１０４）、閾値未満である画素に関しては背景とする（Ｓ１０５）。こうして得られた各画素の情報から、被写体画像を抽出する（Ｓ１０７）。被写体画像の例を図２（ｃ）に示す。被写体画像は、被写体＋背景画像と同一の大きさであるが、被写体以外の部分は何もない特殊な画素として扱い、特別な画素値（例えば、ダイナミックレンジの最大値や最小値、負の値など）を持つようにし、被写体と背景の区別ができるようにする。
２．２被写体画像処理
次に、図３のフローチャートに戻って、被写体画像処理を行う（Ｓ１７）。各手順を図６のフローチャートに示す。まず、被写体画像に対して、画像処理を行うかどうかを選択する（Ｓ２０１）。画像処理を行う場合、どの画像処理を行うかを選択する（Ｓ２０２）。画像処理の内容としては、例えば、被写体を拡大・縮小する（Ｓ２０３）、被写体を回転する（Ｓ２０４）、被写体を反転する（Ｓ２０５）、被写体の位置を移動する（Ｓ２０６）、被写体を複写する（Ｓ２０７）、被写体の色調を変化させる（Ｓ２０８）の各処理から、行う処理を一または複数選択し、選択された処理を行う。なお、図６のフローチャートでは、図が煩雑になるのを避けるために、複数選択を示す矢印及びＳ２０３からＳ２０７のそれぞれとＳ２０９をつなぐ矢印を省略している。例えば、被写体を縮小した場合の例を図７（ａ）に、被写体を回転する場合の例を図７（ｂ）に、被写体を複写する場合の例を図７（ｃ）に示す。そして、画像処理結果をＬＣＤ８に表示し、ユーザがやり直しを選択した場合（Ｓ２０９）は、ＳＤＲＡＭ５に保持していた画像処理前の画像を読み出して（Ｓ２１０）、再度画像処理を行うかどうか選択する（Ｓ２０１）。
【００１６】
なお、本実施例においては、拡大・縮小・回転・反転・移動・複写・色調変更の処理を例に挙げているが、画像処理の内容をこれらに限定するものではない。例えば、エッジの強調処理や、平滑化処理、湾曲処理などでもよい。ユーザが画像処理終了を通知（Ｓ２１１）するまでの間、ユーザが指定した任意の画像処理を、任意の回数行うものとする。
２．３背景画像処理
次に、図３のフローチャートに戻って、背景画像処理を行う（Ｓ１８）。各手順を図８のフローチャートに示す。まず、背景画像に対して、画像処理を行うかどうかを選択する（Ｓ３０１）。画像処理を行う場合、どの画像処理を行うかを選択する（Ｓ３０２）。画像処理の内容としては、例えば、背景を拡大・縮小する（Ｓ３０３）、背景を反転する（Ｓ３０４）、背景をトリミングする（Ｓ３０５）、背景の色調を変化させる（Ｓ３０６）の各処理から、行う処理を一または複数選択し、選択された処理を行う。なお、図８のフローチャートでも、図が煩雑になるのを避けるために、複数選択を示す矢印及びＳ３０３からＳ３０５のそれぞれとＳ３０７をつなぐ矢印を省略している。例えば、背景を反転した場合の例を図９（ａ）に、背景の色調を変化した場合の例を図９（ｂ）に、背景をトリミングした場合の例を図９（ｃ）に示す。そして、画像処理結果をＬＣＤ８に表示し、ユーザがやり直しを選択した場合（Ｓ３０７）は、ＳＤＲＡＭ５に保持していた画像処理前の画像を読み出して（Ｓ３０８）、再度画像処理を行うかどうか選択する（Ｓ３０１）。
【００１７】
なお、本実施例においては、拡大・縮小・反転・トリミング・色調変更の処理を例に挙げているが、画像処理の内容をこれらに限定するものではない。例えば、エッジの強調処理や、平滑化処理、湾曲処理などでもよい。ユーザが画像処理終了を通知（Ｓ３０９）するまでの間、ユーザが指定した任意の画像処理を、任意の回数行うものとする。
２．４被写体・背景結合処理
最後に、図３のフローチャートに戻って、被写体画像と背景画像の結合を行う（Ｓ１９）。これは、ＳＤＲＡＭ５に保持された画像処理済の被写体画像と背景画像を重ね合わせることによって行う。具体的には、各画素に関して、被写体画像がある画素は対応する位置の被写体画像の画素値、それ以外の画素は対応する位置の背景画像の画素値を読み込むことによって、結合画像を生成する。ユーザが生成結果を判断し（Ｓ２０）、さらに画像処理を行いたい場合には被写体画像処理（Ｓ１７）、もしくは背景画像処理（Ｓ１８）を再度行うことができる。また、画像処理前のデータをＳＤＲＡＭ５に保持しておくことによって、画像処理を行う前の状態に戻すことも可能である。
（実施形態２）
３．被写体自動抽出
次に、第２実施形態について説明する。本実施形態では、被写体画像を自動的に判別できるのが特徴であり、最終的に得られる画像処理結果については、第１実施形態と同様である。また、各画像の作成手順は、図１０のフローチャートに示される。図３のフローチャートと同じ手順については、同じ記号を付して説明を省略する。
【００１８】
まず、図２（ａ）を撮影し（Ｓ１１）、続けて図２（ｂ）を撮影する（Ｓ１５）。この２枚の画像はそれぞれ、背景画像及び被写体＋背景画像であるが、その撮影の順序は問わず、またユーザが、どちらの画像が被写体＋背景画像であるかを指定する必要はない。
【００１９】
次に、被写体・背景判別分離処理（Ｓ５３）を行う。この処理は、どちらの画像が被写体＋背景であるかを判別し、その結果を踏まえて被写体画像の作成を行うものである。各手順を図１１のフローチャートに示す。図３及び図５のフローチャートと同じ手順については、同じ記号を付して説明を省略する。まず、２枚の撮影画像の差分画像を作成する（Ｓ１０２）。その差分画像の全画素について（Ｓ１０６）、差分値の大きさが閾値以上（Ｓ１０３）である画素に関しては抽出される被写体とし（Ｓ１０４）、閾値未満である画素に関しては背景とする（Ｓ１０５）。こうして得られた被写体の位置情報から被写体の輪郭位置を求め、２枚の撮影画像に対して、その輪郭位置に対する微分値の積算値を算出する（Ｓ５０１）。この様子を示したのが図１２である。図１２（ａ）、図１２（ｂ）中の太矢印を求める微分値を算出する方向とすれば、図１２（ａ）においては、被写体輪郭位置に被写体がないため、被写体輪郭位置付近の画素値の変化量は比較的小さく、対応する微分積算値は小さくなる。しかし、図１２（ｂ）においては、被写体輪郭位置に被写体があるため、被写体輪郭位置付近の画素値の変化量は比較的大きく、対応する微分積算値は大きくなる。２枚の撮影画像それぞれから求めた微分積算値を比べて（Ｓ５０２）、１枚目の微分積算値が小さければ１枚目が背景画像、２枚目が被写体＋背景画像となり（Ｓ１３）、１枚目の微分積算値が大きければ１枚目が被写体＋背景画像、２枚目が背景画像となる（Ｓ１４）。判別結果より、被写体＋背景画像の被写体位置の画素から、被写体画像を抽出する（Ｓ１０７）。
【００２０】
ところで、実施形態１では差分画像を作成する前に、被写体・背景分離前処理を行ったが、第２実施形態では、差分画像を作成する前にどちらの画像が被写体＋背景画像かがわからないので、被写体・背景分離前処理を行うことができない。この問題の解決方法としては、焦点距離が遠いほうを背景画像と仮定して前処理を行う、焦点距離を固定して２枚の撮影を行う、もしくは、１枚目を背景として前処理を行い得られた被写体画像と２枚目を背景として前処理を行い得られた被写体画像を作成し、その結果をユーザに選ばせる、というようにしてもよい。
【００２１】
このようにして、被写体画像を得た後、図１０のフローチャートに戻って、被写体画像処理（Ｓ１７）、背景画像処理（Ｓ１８）、被写体・背景画像の結合（Ｓ１９）を行うが、これらの処理は第１実施形態と同一の処理であるため、説明は省略する。
【産業上の利用可能性】
【００２２】
本発明によれば、撮影画像の被写体と背景のどちらか一方だけに画像処理を施すことができ、また、両方に異なる画像処理を施すこともできる撮像装置及び画像処理方法を提供することで、より娯楽性や芸術性の高い画像を生成することができるので、デジタルスチルカメラ、静止画撮影機能付きビデオカメラ、静止画撮影機能付き携帯電話のような静止画撮影機能を有する機器及びパーソナルコンピュータなどで実現される画像処理方法として有用である。
【図面の簡単な説明】
【００２３】
【図１】撮像装置のブロック図
【図２】背景画像、被写体＋背景画像、被写体画像の概念図
【図３】第１実施形態のフローチャート
【図４】被写体・背景分離前処理のフローチャート
【図５】被写体・背景分離処理のフローチャート
【図６】被写体画像処理のフローチャート
【図７】被写体画像処理の例
【図８】背景画像処理のフローチャート
【図９】背景画像処理の例
【図１０】第２実施形態のフローチャート
【図１１】被写体・背景判別分離処理のフローチャート
【図１２】被写体輪郭に対する微分積算値算出の概念図
【符号の説明】
【００２４】
１    レンズ
２    ＣＣＤ
３    ＣＣＤ制御回路
４    Ａ／Ｄ変換回路
５    ＳＤＲＡＭ
６    画像信号処理回路
７    ＣＰＵ
８    ＬＣＤ
９    シャッタ釦
１０    メモリカード
【図１】
2007281843.tif 000003
【図２】
2007281843.tif 000004
【図３】
2007281843.tif 000005
【図４】
2007281843.tif 000006
【図５】
2007281843.tif 000007
【図６】
2007281843.tif 000008
【図７】
2007281843.tif 000009
【図８】
2007281843.tif 000010
【図９】
2007281843.tif 000011
【図１０】
2007281843.tif 000012
【図１１】
2007281843.tif 000013
【図１２】
2007281843.tif 000014