(57)【要約】【課題】被写体距離分布情報を用いて画像を加工し、撮影画像と合成することで撮影者の意図する画像を生成することが可能な撮影システムを実現させる。【解決手段】撮像手段と、画像を記憶する記憶手段と、前記撮像手段によって取得した被写体画像と前記記憶手段に記憶されている画像とを合成する合成手段と、該合成手段によって生成された合成画像を撮影条件に基づいて加工する加工手段を有することを特徴とする撮影システム。【選択図】図６
2016015655.tif 000002
【特許請求の範囲】
【請求項１】
被写体画像を記録する撮影手段と、画像を記憶している画像記憶手段と、前記撮影手段によって取得した被写体画像と前記記憶手段に記憶されている画像とを合成する合成手段と、該合成手段によって生成された合成画像を撮影条件に基づいて加工する加工手段を有することを特徴とする撮影システム。
【請求項２】
前記撮像手段による被写体画像記録は撮影装置で行われ、前記合成手段による前記記憶手段の画像と前記被写体画像の合成と前記加工手段による画像の加工はインターネット環境で行われることを特徴とする請求項１に記載の撮影システム。
【請求項３】
前記撮像手段による被写体画像記録は撮影装置で行われ、インターネット環境にある前記記憶手段の画像を前記撮影装置に取得して前記合成手段と前記加工手段により画像の合成および加工を行うことを特徴とする請求項１に記載の撮影システム。
【請求項４】
被写体の距離分布情報を取得する距離分布取得手段を有し、前記加工手段は前記距離分布取得手段で取得した距離分布情報と前記撮影レンズの絞り情報に基づいて画像を加工することを特徴とする請求項１に記載の撮影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターネット等の伝送路を介して撮影環境に適した画像を取得して、被写体距離分布情報を用いて合成画像を生成することが可能な撮像装置に関するものである。
【背景技術】
【０００２】
被写体と背景とを分離して合成する技術が考えられており、カメラ付き携帯電話のような小型の装置をもちいて実現する技術が考えられている。特許文献１では、撮影画像中の主被写体を抽出し、あらかじめ記憶されている背景画像に主被写体を合成し、位置および大きさを調整して合成画像を生成する技術が開示されている。
【０００３】
一方、光電変換手段の画素群の間に焦点検出用画素を離散的に分布させ、焦点検出用画素からの信号に基づいて被写体距離を算出することが可能な撮像装置が特許文献２に開示されている。特許文献２に開示されている構成をとることで、撮影画像内の被写体距離分布を取得することが可能である。そして、被写体距離分布を用いて撮影画像に対してボケを付加する技術が特許文献３に開示されている。
【０００４】
また、高度な画像処理能力を持たない装置においても、複雑な画像処理を行うことができる画像処理システムについて特許文献４に開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１２０２６９号公報
【特許文献２】特開２０００−１５６８２３号公報
【特許文献３】特開２００８−０１５７５４号公報
【特許文献４】特開２００４−３３６３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術を用いて被写体画像と背景画像と抽出して、画像合成を行うことが可能だが、位置および大きさを調整するだけでは被写体画像と背景画像の関係が不自然な合成画像となってしまうという問題があった。
【０００７】
そこで本発明は、上記問題点に鑑みなされたものであり、被写体距離分布情報を用いて画像を加工し、撮影画像と合成することで撮影者の意図する画像を生成することが可能な撮影システムを実現させることを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮影システムの構成は、被写体画像を記録する撮影手段と、画像を記憶している画像記憶手段と、前記撮影手段によって取得した被写体画像と前記記憶手段に記憶されている画像とを合成する合成手段と、該合成手段によって生成された合成画像を撮影条件に基づいて加工する加工手段を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影手段の撮影環境に合わせて合成画像を加工して撮影者の意図する画像を生成することが出来る。
【図面の簡単な説明】
【００１０】
【図１】本発明のカメラの構成図
【図２】本発明の撮像素子の回路図
【図３】本発明の撮像素子の画素部断面図
【図４】本発明の撮像素子の撮像用画素の平面図と断面図
【図５】本発明の撮像素子の焦点検出用画素の平面図と断面図
【図６】本発明の第一実施例における加工画像生成のフロー図
【図７】被写体距離分布作成のサブルーチンのフロー図
【図８】データの交信経路図
【図９】加工手段と合成手段を説明する画像加工サブルーチンのフロー図
【図１０】ボケ処理サブルーチンのフロー図
【図１１】撮影手段と画像サーバまでのデータの交信経路を携帯端末の無線基地局と交信手段を持つ例を表した図
【発明を実施するための形態】
【００１１】
以下、本発明の好ましい実施の形態を添付の図面に基づいて詳細に説明する。
【００１２】
〔第１の実施形態〕
本発明の第１の実施形態について、図１〜図８を用いて以下に説明する。
【００１３】
（焦点検出装置の構成）
図１〜図８は本発明の実施形態１に係わる図である。以下、図を用いて実施形態１の作用を説明する。図１は本発明の撮影手段の構成図で、撮像素子を有したカメラ本体１３８と、別体の撮影レンズ１３７とで構成されており、カメラ本体１３８に対して撮影レンズ１３７が交換可能な電子カメラを示している。まず撮影レンズ１３７の構成について説明する。１０１は撮影光学系（結像光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞りで、その開口径を調節することで撮影時の光量調節を行なう。
【００１４】
１０３は第２レンズ群である。そして前記絞り１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、前記第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行なう。１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１１１ないし第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行なう。１１２は絞りアクチュエータで、絞り１０２の開口径を制御して撮影光量を調節する。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。１３６はカメラ通信回路で、レンズに関する情報をカメラに渡したり、カメラに関する情報を受け取ったりする。レンズに関する情報とは、ズーム状態、絞り状態、フォーカス状態、レンズ枠情報等のことである。カメラ通信回路１３６は、カメラ側に設けられたレンズ通信回路１３５に、これらの情報を渡す。
【００１５】
次にカメラ本体１３８について説明する。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣ−ＭＯＳセンサとその周辺回路で構成された撮像素子である。該撮像素子は、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。請求項中の光電変換手段とは、撮像素子１０７に対応する。
【００１６】
１３９はシャッターユニットで、静止画撮影時の露光時間制御を行なう。１４０はシャッター１３９を動かすためにシャッターアクチュエータである。１１５は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光手段で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。
【００１７】
１２１はＣＰＵで、カメラ本体の種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有し、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、撮影、画像処理、ボケ復元処理、記録等の一連の動作を実行する。ＣＰＵ１２１には請求項３における合成手段、加工手段が含まれる。１２２は電子フラッシュ制御回路で、撮影動作に同期して照明手段１１５を点灯制御する。
【００１８】
１２３は補助光駆動回路で、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。
【００１９】
１２８は絞り駆動回路で、絞りアクチュエータ１１２を駆動制御して絞り１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。１３５はレンズ通信回路、撮影レンズ１３７内のカメラ通信回路１３６と通信を行なう。１４５はシャッター駆動回路で、シャッターアクチュエータ１４０を駆動する。
【００２０】
１３１はＬＣＤ等の表示器で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。
【００２１】
１４４はカメラ内メモリであり、ＣＰＵ１２１で行なう演算に必要な各種データが保存されている。２００は、ＧＰＳ装置で、ＧＰＳ受信用アンテナとアンプ回路等を構成するＧＰＳ受信機で構成されている。ＧＰＳ装置２００で撮影地の位置を測定する時にはＧＰＳ用の４台の人口衛星から発信された４つの電波を同時にとらえて受信する。２０１は、本発明の送信手段と受信手段である通信回路である。
【００２２】
（撮像素子の回路構成）
図２は本発明の撮影手段に含まれる撮像素子の概略的回路構成図を示したもので、特開平０９−０４６５９６号報等に開示された技術が好適である。同図は２次元Ｃ−ＭＯＳエリアセンサの２列×４行画素の範囲を示したものであるが、撮像素子として利用する場合は、当図に示した画素を多数配置し、高解像度画像の取得を可能としている。本実施形態においては、画素ピッチが２μｍ、有効画素数が横３０００列×縦２０００行＝６００万画素、撮像画面サイズが横６ｍｍ×縦４ｍｍの撮像素子として説明を行なう。
【００２３】
図２において、１はＭＯＳトランジスタゲートとゲート下の空乏層からなる光電変換素子の光電変換部、２はフォトゲート、３は転送スイッチＭＯＳトランジスタ、４はリセット用ＭＯＳトランジスタ、５はソースフォロワアンプＭＯＳトランジスタ、６は水平選択スイッチＭＯＳトランジスタ、７はソースフォロワの負荷ＭＯＳトランジスタ、８は暗出力転送ＭＯＳトランジスタ、９は明出力転送ＭＯＳトランジスタ、１０は暗出力蓄積容量ＣＴＮ、１１は明出力蓄積容量ＣＴＳ、１２は水平転送ＭＯＳトランジスタ、１３は水平出力線リセットＭＯＳトランジスタ、１４は差動出力アンプ、１５は水平走査回路、１６は垂直走査回路である。
【００２４】
図３に画素部の断面図を示す。同図において、１７はＰ型ウェル、１８はゲート酸化膜、１９は一層目ポリＳｉ、２０は二層目ポリＳｉ、２１はｎ＋  フローティングディフュージョン部（ＦＤ）である。２１のＦＤは別の転送ＭＯＳトランジスタを介して別の光電変換部と接続される。同図において、２つの転送ＭＯＳトランジスタ３のドレインとＦＤ部２１を共通化して微細化とＦＤ部２１の容量低減による感度向上を図っているが、Ａｌ配線でＦＤ部２１を接続しても良い。
【００２５】
（撮像用画素の構造）
図４は、撮像用画素の構造を説明する図である。図４は、撮像用画素の一部分を拡大した平面図と断面図を示している。
【００２６】
本実施形態においては、２行×２列の４画素のうち、対角２画素にＧ（Ｇｒｅｅｎ）の分光感度を有する撮像用画素（Ｇ画素）を配置する。そして、他の２画素にＲ（Ｒｅｄ）とＢ（Ｂｌｕｅ）の分光感度を有する撮像用画素（Ｒ画素、Ｂ画素）を各１個配置する。つまり、本実施形態ではベイヤー配列を採用した例を示す。そして、該ベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。
【００２７】
図４（ａ）は撮像素子中央に位置する２行×２列の撮像用画素の平面図である。ベイヤー配列では対角方向にＧ画素が、他の２画素にＲ画素とＢ画素が配置される。そして該２行×２列の構造が繰り返し配置される。図４（ａ）の断面Ａ−Ａを図４（ｂ）に示す。ＭＬは各撮像用画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤはＣ−ＭＯＳセンサの光電変換部を模式的に示したもの、ＣＬはＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。
【００２８】
ＴＬは撮影レンズを模式的に示したものである。ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影レンズＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影レンズＴＬの射出瞳ＥＰ（瞳領域ともいう）と光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。
【００２９】
また、図４（ｂ）ではＲ画素の入射光束について説明したが、Ｇ画素及びＢ画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素の受光可能な領域は大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。
【００３０】
（焦点検出用画素の構造）
図５は、焦点検出用画素の構造を説明する図である。図５は、撮影レンズＴＬの図５（ｂ）中ｘ方向に瞳分割を行なうための焦点検出用画素の一部分を拡大した平面図と断面図を示している。
【００３１】
図５（ａ）は、撮像素子中央に位置する焦点検出用画素を含む２行×２列の焦点検出用画素の平面図である。画像信号を得る場合、人間の画像認識特性は輝度情報に敏感である為、Ｇ画素が欠損すると画質劣化が認められやすい。その為、Ｇ画素は輝度情報の主成分をなす。
【００３２】
一方でＲ画素もしくはＢ画素は、色情報を取得する撮像用画素であるが、人間は色情報には鈍感であるため、色情報を取得するＲ画素もしくはＢ画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、２行×２列の撮像用画素のうち、Ｇ画素は撮像用画素として残してＲ画素とＢ画素に相当する位置に、ある割合で焦点検出用画素を配列している。これを図５（ａ）においてＳＨＡ及びＳＨＢで示す。
【００３３】
図５（ａ）の断面Ｂ−Ｂを図５（ｂ）に示す。マイクロレンズＭＬと、光電変換部ＰＤは図４（ｂ）に示した撮像用画素と同一構造である。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対してｘ方向に偏倚している。具体的には、焦点検出用画素ＳＨＡの開口部ＯＰＨＡは−ｘ方向に偏倚しているため、図５（ｂ）の撮影レンズＴＬの紙面左側の射出瞳ＥＰＨＡを通過した光束を受光する。
【００３４】
同様に、画素ＳＨＢの開口部ＯＰＨＢは＋ｘ方向に偏倚しているため、図５（ｂ）の撮影レンズＴＬの紙面右側の射出瞳ＥＰＨＢを通過した光束を受光する。ここで、焦点検出用画素ＳＨＡをｘ方向に規則的に配列し、これらの焦点検出用画素群ＳＨＡで取得した第１の像信号を像信号Ａとする。
【００３５】
また、焦点検出用画素ＳＨＢもｘ方向に規則的に配列し、これらの焦点検出用画素群ＳＨＢで取得した第２の像信号を像信号Ｂとする。すると、像信号Ａと像信号Ｂの相対的な像ずれ量から撮影レンズのデフォーカス量が算出できる。これに基づいて、撮影レンズの焦点ずれ量を調節する。
【００３６】
（加工画像生成の演算フロー）
本発明の実施形態について図６〜図９を用いて説明する。図６〜図１０は、本発明の撮像装置の動作を説明するためのフローチャートである。図６は本発明の撮影システムのメインフローである。ステップＳ１０１では、本発明の撮影手段で画像処理に必要な撮影画像を取得する為、画像取得サブルーチンのステップＳ２０１に移行する。図７は画像取得サブルーチンのフロー図である。画像取得サブルーチンの一連の動作は本発明の撮影手段が行う。
【００３７】
撮影者がカメラの電源スイッチをオン操作すると、ＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行なう。更に、メモリ内容や実行プログラムの初期化を行ない、選択されている焦点検出位置などの測距に必要な情報を読み出すと共に、撮影準備動作を実行する（ステップＳ２０１）。ステップＳ２０２では、ＧＰＳ装置２００によって撮影者の位置情報を取得する。ＧＰＳ装置にて、人工衛星からの４つの電波を復調すると共に、復調した信号に基づいて現在の緯度、経度、高度等を測定し、撮影地を示す撮影環境情報をＣＰＵ１２１に転送する。
【００３８】
ステップＳ２０３では、レンズ通信回路１３５を介して撮影レンズ内のカメラ通信回路とレンズ通信を行なう。レンズ通信によりレンズの動作確認を行い、レンズ内のメモリ内容や実行プログラムの初期化を行なうと共に、準備動作を実行させる。また、焦点検出や撮像に必要なＦナンバーなどのレンズの諸特性データを取得し、カメラ内メモリ１４４に保存する。動作が完了するとステップＳ２０４へと進む。ステップＳ２０４では、撮影者によって測光・測距スイッチＳＷ１が押されたか否かを判別し、押されていなければステップＳ２０４にて撮影待機状態を維持する。ステップＳ２０４でＳＷ１が押されるとステップＳ２０５に移行する。
【００３９】
ステップＳ２０５では、本発明の被写体距離分布取得手段を用いて被写体距離分布を作成する。撮像面上の複数の焦点検出領域に対して、撮像面位相差検出方式を用いて被写体の位相差に基づき相関演算を行い、フォーカスずれ量を検出する。ここで、被写体距離分布作成の詳細に関して説明する。図８は被写体距離分布作成サブルーチンのフロー図である。被写体距離分布作成サブルーチンの一連の動作はＣＰＵ１２１が行なう。画像取得サブルーチンのステップＳ２０５から当サブルーチンに移ると、ステップＳ３０１において焦点検出領域の設定を行なう。全焦点検出領域の中から焦点検出領域を決め、ステップＳ３０２以降の処理を行なう。
【００４０】
ステップＳ３０２では、ステップＳ３０１で設定した焦点検出領域の焦点検出用画素の信号を読み出す。ステップＳ３０３では、相関演算用２像の創生を行なう。ステップＳ３０２にて読み出した各焦点検出画素の信号を並べることで、相関演算用のＡＢ像の信号とする。
【００４１】
ステップＳ３０４では、得られたＡＢ像に基づいて相関演算を行ない、ＡＢ像の位相差を算出する。ステップＳ３０５では、相関演算結果の信頼性を判定する。ここで信頼性とは、ＡＢ像の一致度を指し、ＡＢ像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、この一致度或る閾値を超えているか否かで位相差検出結果の信頼性の判定を行ったり、複数の焦点検出領域が選択されている場合に信頼性の高い情報を優先的に使用したりするなどに用いられる。
【００４２】
ステップＳ３０６では、ステップＳ３０４で得られたＡＢ像の位相差に対して、位相差を焦点ずれ量に変換する変換係数をかけることで、フォーカスずれ量を演算する。ステップＳ３０７では、全焦点検出領域について、フォーカスずれ量算出が完了したか否かを判別する。全焦点検出領域完了していないと判別されたときには、ステップＳ３０１に戻り、残っている焦点検出領域の中から焦点検出領域を選んで設定する。
【００４３】
ステップＳ３０７で全焦点検出領域が完了したと判別されたときには、ステップＳ３０８に進む。ステップＳ３０８では、ステップＳ３０１〜３０７を繰り返すことで得られた全焦点検出領域におけるフォーカスずれ量から、フォーカスずれ量分布を作成する。ここでフォーカスずれ量分布は、撮影画面上の位置とフォーカスずれ量とを対応させた分布データである。
【００４４】
ステップＳ３０９では、ステップＳ３０８で得られたフォーカスずれ量分布に対して、ステップＳ２０３レンズ通信で撮影レンズ１３７から取得したレンズ情報を考慮して、フォーカスずれ量から被写体距離へ変換を行なう。これにより、撮影画面上の位置と被写体距離と対応させた分布データを得ることが可能となる。
【００４５】
ステップＳ３１０では、被写体距離の分布データに基づいて被写体抽出が行われ、被写体抽出情報が生成される。得られた被写体距離の分布の中で、被写体距離の近い領域をつなぎ合わせてグルーピングし、撮影画面中に含まれる被写体の輪郭を抽出する。これにより、各被写体の領域と被写体距離を対応させた距離分布が得られることになる。ステップＳ３１０が終わったら、距離分布作成サブルーチンを終了し、メインフロー内のステップＳ３０６に進む。
【００４６】
ステップＳ２０６では、撮影者によってレリーズスイッチＳＷ２が押されたか否かを判別し、押されていなければステップＳ２０６にて撮影待機状態を維持する。ステップＳ２０６でＳＷ２が押されるとステップＳ２０７に移行する。
【００４７】
ステップＳ２０７では、撮像素子が受光できるようにメインミラー、サブミラーが退避したのちシャッターが開き、撮像素子が受光できる状態になる。そして撮像素子の撮像動作を開始して撮影画像を取得する。ステップＳ２０７が終わったら、画像取得サブルーチンを終了し、メインフロー内のステップＳ１０２に進む。
【００４８】
ステップＳ１０２では、ステップＳ２０２で取得した緯度、経度、高度等の撮影環境情報とステップＳ２０３で取得した撮影手段の絞り情報とステップＳ２０５で取得した被写体距離分布情報とステップＳ３１０で取得した被写体抽出情報、そしてステップＳ２０７で取得した撮影画像を本発明の画像記憶手段へ格納する。
【００４９】
請求項２に関連して、本発明の画像記憶手段がインターネット環境で行われる場合の撮影装置とインターネット環境中にある画像サーバとの交信について図１１を用いて説明する。以降、本実施例では請求項２に関連して、画像記憶手段をインターネット環境中にある画像サーバとして説明する。図１１は、本発明の撮影手段と画像サーバまでのデータの交信経路を携帯端末の無線基地局と交信手段を持つ例を表した図である。
【００５０】
図１１に示すように、本発明の撮像装置と無線基地局は無線通信で接続される。また、無線基地局と画像サーバはインターネット等のデータ通信網を利用して接続される。ステップＳ１０３では、ステップＳ１０２で本発明の画像記憶手段に送信された撮影環境情報と絞り情報と被写体距離分布情報と被写体抽出情報と撮影画像を用いて画像処理を行う為、画像加工サブルーチンのステップＳ４０１に移行する。図９は本発明の加工手段と合成手段を説明する画像加工サブルーチンのフロー図である。
【００５１】
ステップＳ４０１では、本発明の画像記憶手段である画像サーバではまず、ステップＳ１０２で本発明の撮影手段から送信された撮影環境情報と撮影画像を用いて、画像サーバから代替画像を検索する。代替画像を検索した後、ステップＳ４０２へ移行する。
【００５２】
ステップＳ４０２では、得られた代替画像に本発明の撮影手段から送信された被写体距離分布情報と絞り情報に基づいてボケ処理を行い、ボケ処理画像を生成する為、ボケ処理サブルーチンのステップＳ５０１へ移行する。図１０はボケ処理サブルーチンのフロー図である。ボケ処理の効果は主被写体までの距離と背景までの距離、そして絞り情報に基づいて変更する。ステップＳ５０１、ステップＳ５０２、ステップＳ５０４を通るような、主被写体までの距離が近く、主被写体から背景までの距離が遠く、かつ絞りが開放の時は背景画像のボケ処理の効果大となる。
【００５３】
また、ステップＳ５０１、ステップＳ５０２、ステップＳ５０３を通るような、主被写体までの距離が遠く、主被写体から背景までの距離が遠く、かつ絞りが開放の時はあるいは、ステップＳ５０１、ステップＳ５０２、ステップＳ５０４を通るような、カメラから主被写体までの距離が近く、主被写体から背景までの距離が遠く、かつ絞り込まれている時は背景画像のボケ処理効果は中となる。
【００５４】
また、ステップＳ５０１で修被写体から背景までの距離が近い時はあるいは、ステップＳ５０１、ステップＳ５０２、ステップＳ５０３を通るような、主被写体までの距離が遠く、主被写体から背景までの距離が遠く且つ絞り込まれている時は背景画像のボケ処理効果は小となる。それぞれ、ステップＳ５０５、ステップＳ５０６、ステップＳ５０７でボケ処理を行った後、画像加工サブルーチンのステップＳ４０３へ移行する。
【００５５】
ステップＳ４０３では、ステップＳ４０１で本発明の撮影手段から送信された撮影画像と被写体抽出情報を用いて撮影画像の主被写体を切り出す。主被写体を切り出した後、ステップＳ４０４へ移行する。ステップＳ４０４では、ステップＳ４０２で生成したボケ処理画像にステップＳ４０３で切り出した主被写体を被写体抽出情報に基づいて貼りつけて、合成画像を生成する。合成画像を生成した後、メインフローのステップＳ１０４へ移行する。
【００５６】
ステップＳ１０４では、ステップＳ１０３で生成された加工画像を本発明の画像記憶手段から撮影手段に送信して、撮影手段で受信した後、撮影動作を終了する。
【００５７】
以上のように本実施形態によれば、撮影画像に代わる代替画像を本発明の画像記憶手段から検索して合成し、被写体距離分布情報を用いて加工することで撮影者が所望する加工画像を得ることができた。
【００５８】
本発明の撮像装置では、撮影レンズが交換可能なカメラで説明したが、撮影レンズがカメラに備わっている所謂レンズくくり付けタイプのカメラに適用してもよい。レンズくくり付けタイプのカメラにおいても、従来の課題は存在する。そして本発明で説明したようにボケ修復した撮影画像を表示することで、同様の効果を得ることができる。
【００５９】
また、本実施形態では撮像装置がサーバと交信を行う為の手段として、無線基地局と交信手段を持つ撮像装置の例を説明する。しかし、撮像装置自信は交信手段を持たず、無線基地局と交信可能な携帯端末と撮像装置を接続して、無線基地局と交信するような構成でもよい。また、本実施形態では形態端末の無線基地局を利用する構成としたが、その他の無線技術を利用するような構成でも良い。例えば、無線ＬＡＮやブルートゥース等のデータ通信網を利用するような構成でも同様の効果を得ることができる。
【００６０】
なお、本実施形態では画像記憶手段としてインターネット環境を例に説明したが、画像記憶手段を撮影装置に有していても同様の効果を得ることができる。
【００６１】
図１１のブロック図は請求項２、および請求項３の説明図である。請求項２では図１１のブロック図の撮影装置は本発明の撮影手段に相当し、画像サーバは本発明の記憶手段と合成手段と加工手段に相当する。このように画像処理部分をインターネット上で行うことで撮影装置の負荷を軽減させることができる。しかし、撮影者が取得した画像をインターネット上で処理することで不特定多数が閲覧可能であるというデメリットがある。請求項３では図１１のブロック図の撮影装置は本発明の撮影手段と合成手段と加工手段に相当し、画像サーバは本発明の記憶手段に相当する。このように必要な情報のみをインターネット上から取得し、撮影画像の取得や処理は撮影装置で行うことで不特定多数ではなく撮影者のみが閲覧することができる。しかし、撮影画像取得だけでなく画像処理も撮影装置で行うことで撮影装置の計算負荷が増してしまうというデメリットがある。
【００６２】
なお、本実施形態では距離分布情報作成に関して、撮像面位相差ＡＦ方式を用いたがフォーカスレンズを駆動しながらイメージセンサで撮像された被写体像のコントラスト評価を行うことで合焦位置を検出する焦点検出方式であるコントラストＡＦ方式を用いても同様の効果を得ることができる。
【００６３】
なお、本実施形態では相関演算に像ずれ方式を用いたが、他の方法を用いたとしても同様の結果が得られる。
【００６４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６５】
１０７  撮像素子、１２１  ＣＰＵ、１２４  撮像素子駆動回路、
１２５  画像処理回路、ＴＬ  撮影レンズ、ＯＢＪ  被写体、ＩＭＧ  被写体像、
ＥＰ  射出瞳
【図１】
2016015655.tif 000003
【図２】
2016015655.tif 000004
【図３】
2016015655.tif 000005
【図４】
2016015655.tif 000006
【図５】
2016015655.tif 000007
【図６】
2016015655.tif 000008
【図７】
2016015655.tif 000009
【図８】
2016015655.tif 000010
【図９】
2016015655.tif 000011
【図１０】
2016015655.tif 000012
【図１１】
2016015655.tif 000013