(57)【要約】焦点位置が異なる複数の画像を取得する画像取得部と、前記画像取得部の姿勢情報を取得する姿勢取得部と、前記複数の画像から、前記複数の画像のうちの１つの画像の被写界深度よりも、被写界深度を拡大した画像を生成する画像処理部と、を備える撮像装置であって、前記焦点位置を決定する焦点位置設定値を有し、前記焦点位置設定値は、前記姿勢情報に基づいて補正されることを特徴とする撮像装置。
2015020038.tif 000002
【特許請求の範囲】
【請求項１】
焦点位置が異なる複数の画像を取得する画像取得部と、
前記画像取得部の姿勢情報を取得する姿勢取得部と、
前記複数の画像から、前記複数の画像のうちの１つの画像の被写界深度よりも、被写界深度を拡大した画像を生成する画像処理部と、を備える撮像装置であって、
前記焦点位置を決定する焦点位置設定値を有し、
前記焦点位置設定値は、前記姿勢情報に基づいて補正されることを特徴とする撮像装置。
【請求項２】
前記姿勢情報は、前記画像取得部の光軸と鉛直方向とで成す角度情報を有し、
前記角度情報の符号に基づいて、前記焦点位置設定値を補正する補正量の符号を異ならせることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記姿勢情報は、前記画像取得部の光軸と鉛直方向とで成す角度情報を有し、
前記角度情報の大きさに基づいて、前記焦点位置設定値を補正する補正量を異ならせることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記焦点位置設定値は、前記焦点位置を決定するための基準となる基準被写体に合焦するときの基準焦点位置設定値に基づいて決定され、
前記姿勢情報に基づいて前記焦点位置設定値を補正するときの補正量は、前記基準焦点位置設定値に応じて異なることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記姿勢情報と、前記基準焦点位置設定値とに基づいて、
前記基準被写体よりも近景に存在する被写体に合焦する前記焦点位置設定値の数と、前記基準被写体よりも遠景に存在する被写体に合焦する前記焦点位置設定値の数と、の割合を調整し、
調整された前記焦点位置設定値に基づき、前記画像取得部は前記複数の画像を取得することを特徴とする請求項４に記載の撮像装置。
【請求項６】
撮像対象の被写体に対してズームを行うことが可能なズーム機構をさらに備え、
前記ズーム機構におけるズームの有無、あるいは、ズームの度合いに応じて、前記焦点位置設定値を設定することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記被写体に合焦したときの合焦情報から判断される前記被写体の距離の情報に応じて、前記焦点位置設定値を設定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
被写界深度を変化させることが可能な絞り機構をさらに備え、
前記絞り機構におけるレンズの絞りの度合いに応じて、前記焦点位置設定値を設定することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項９】
レンズの駆動量を設定する駆動量設定値と、合焦する距離との関係を表す特性の情報をキャリブレーションによって推定し、
推定された前記特性の情報に基づいて前記焦点位置設定値を設定することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項１０】
前記焦点位置設定値は、レンズの駆動量を設定する駆動量設定値であることを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写界深度が拡大した画像を取得する撮像技術に関する。
【背景技術】
【０００２】
近年、携帯電話やスマートフォン、タブレット端末などの携帯端末に搭載されたカメラや、ディジタルカメラなどの撮像装置の普及によって、一般の人々の間でもディジタル画像の撮影を行う機会が増えている。【０００３】
上記のような携帯端末や撮像装置で撮影を行う場合、光学系の特性や撮影条件で決定される被写界深度により、合焦した主要被写体と奥行き方向に距離の離れた被写体にぼけが発生する。ここで、被写界深度とは、画像内で焦点が合っている被写体の、被写体側の距離の範囲を表す。例えば、被写界深度の浅い条件で近景と遠景との両方を含んだシーンを撮影するときに、近景の被写体に合焦すると遠景の被写体にぼけが発生し、遠景の被写体に合焦すると近景の被写体にぼけが発生する。【０００４】
したがって、焦点位置を誤ってしまうと、ユーザが撮影したい被写体に合焦せずにぼけが発生してしまう。上記のような携帯端末や撮像装置では、被写体に自動的に焦点を合わせる自動焦点制御（ＡＦ：  Ａｕｔｏ  Ｆｏｃｕｓ）機能が幅広く利用されているが、ＡＦは合焦する被写体を誤ることがある。例えば、近距離の被写体に接近して撮影したときに、誤って背景に焦点位置を合わせてしまうことがある。また、撮影した被写体のいずれにも合焦せず、全てぼけたピンボケの画像となってしまう場合もある。【０００５】
そのため、近景被写体のみ、あるいは、遠景被写体のみに合焦するのではなく、全ての被写体に合焦することで、ぼけのない高画質な画像を取得することが求められている。【０００６】
下記特許文献１では、近景から遠景まで全ての被写体に合焦し、被写界深度を拡大した画像（以下、「全焦点画像」とも呼ぶ。）を取得する技術が提案されている。この技術では、フォーカスレンズ駆動部によってフォーカスレンズを光軸方向に移動させることで、ＡＦやフォーカスブラケット撮影を行う。フォーカスブラケット撮影によって、焦点位置を変化させながら連続して被写体を撮影し、取得した複数枚の画像に基づいて全焦点画像を得るとしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−２０７５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来、ＡＦには、コントラスト方式や位相差方式などが多く用いられてきた。どちらの方式であっても、画像中のどこか一点、あるいは、いくつか決められた数点の位置の被写体に対して合焦し、その被写体を含む被写界深度内の被写体に合焦するものであった。また、光学系や撮影条件によって被写界深度を広くしたとしても、光量低下に伴う画質劣化の問題がある。したがって、奥行き方向で距離が大きく異なる被写体が存在するシーンでは、従来のＡＦと光学系では、全ての被写体に合焦するような全焦点画像を取得することは困難だった。【０００９】
特許文献１に開示されている技術では、ＡＦとフォーカスブラケット撮影を利用して全焦点画像を取得しており、フォーカスブラケット撮影の際に設定される焦点位置を、画像内の全ての被写体について、いずれか１枚の画像において合焦するように設定するとしている。しかし、画像内のある部分Ａが、複数枚の画像全てにおいて焦点が合っていない場合には、全焦点画像の部分Ａも焦点があっていないまま、と述べられている。【００１０】
つまり、フォーカスブラケット撮影の焦点位置の設定が適切に行われていなければ、複数の距離に被写体が存在するシーンであっても、一部の被写体には合焦せずにぼけが発生し、被写界深度の拡大が不十分となることが考えられる。【００１１】
使用する光学系によっては撮像装置の姿勢が変化した際に重力の影響を受け、焦点位置にずれを生じることがある。しかしながら、特許文献１に記載の技術はこの点について考慮しておらず、撮像装置の姿勢が変化した際に焦点位置の設定が不適切となる可能性がある。このような姿勢の影響があるとき、撮像装置の姿勢状態に関わらず特許文献１の技術によって全焦点画像を取得するためには、焦点位置を細かいステップで多数設定し、常に全ての距離の被写体に合焦するように撮影を行う必要がある。【００１２】
しかしながら、それによって撮影する画像枚数が増加するとともに、全焦点画像の合成処理に必要な処理量やメモリ量が増加してしまうという課題がある。また、撮影枚数の増加に伴って撮影にかかる時間が長くなるため、被写体ブレや手ブレなどの影響が表れやすく、撮影される画像間での差異が大きくなりやすい。これによって、被写体が二重像になってしまうなど、画質が劣化してしまう可能性がある。【００１３】
本発明は、上記の点に鑑みてなされたものであり、適切に焦点位置を設定して撮影を行い、被写界深度が拡大した画像を簡単に取得することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は上述した課題を解決するためになされたもので、本発明の一観点によれば、焦点位置が異なる複数の画像を取得する画像取得部と、前記画像取得部の姿勢情報を取得する姿勢取得部と、前記複数の画像から、前記複数の画像のうちの１つの画像の被写界深度よりも、被写界深度を拡大した画像を生成する画像処理部と、を備える撮像装置であって、前記焦点位置を決定する焦点位置設定値を有し、前記焦点位置設定値は、前記姿勢情報に基づいて補正されることを特徴とする撮像装置である。【００１５】
また、本発明において、前記姿勢情報は、前記画像取得部の光軸と鉛直方向とで成す角度情報を有し、前記角度情報の符号に基づいて、前記焦点位置設定値を補正する補正量の符号を異ならせることを特徴とする撮像装置である。【００１６】
また、本発明において、前記姿勢情報は、前記画像取得部の光軸と鉛直方向とで成す角度情報を有し、前記角度情報の大きさに基づいて、前記焦点位置設定値を補正する補正量を異ならせることを特徴とする撮像装置である。【００１７】
また、本発明において、前記焦点位置設定値は、前記焦点位置を決定するための基準となる基準被写体に合焦するときの基準焦点位置設定値に基づいて決定され、前記姿勢情報に基づいて前記焦点位置設定値を補正するときの補正量は、前記基準焦点位置設定値に応じて異なることを特徴とする撮像装置である。【００１８】
また、本発明の他の観点によれば、前記姿勢情報と、前記基準焦点位置設定値とに基づいて、前記基準被写体よりも近景に存在する被写体に合焦する前記焦点位置設定値の数と、前記基準被写体よりも遠景に存在する被写体に合焦する前記焦点位置設定値の数と、の割合を調整し、調整された前記焦点位置設定値に基づき、前記画像取得部は前記複数の画像を取得することを特徴とする撮像装置である。【００１９】
本明細書は本願の優先権の基礎である日本国特許出願２０１３−１６４５４５号の明細書および／または図面に記載される内容を包含する。
【発明の効果】
【００２０】
本発明によれば、適切に焦点位置を設定して撮影を行い、被写界深度が拡大した画像を適切に取得できるという利点がある。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態に係る撮像装置の一構成例を示す概略ブロック図である。
【図２】撮影シーンの一例を示す図である。
【図３】レンズ駆動量と被写体との距離の関係の一例を示す図である。
【図４】光軸の傾きと被写体との距離の関係の一例を示す図である。
【図５】本実施形態の処理の流れを示すフローチャート図である。
【図６】レンズの駆動量設定値と距離の関係の一例における、駆動量設定値の一例を示す図である。
【図７】レンズの駆動量設定値と距離の関係の一例を示す図であり、光軸に角度がついた場合の特性の変化を示す図である。
【図８】レンズの駆動量設定値と距離の関係の一例を示す図であり、光軸に角度がついた場合の特性の変化を示す図である。
【図９Ａ】画像処理部の構成例を示す機能ブロック図である。
【図９Ｂ】本発明の画像処理部１３の処理の流れを示すフローチャート図である。
【図１０】撮像装置に衝撃を与えたときの、レンズ駆動量と合焦距離の関係の一例を示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際とは異なる場合がある。
【００２３】
（第１の実施形態）
図１は、本発明の第１の実施形態における撮像装置１の概略構成例を示す機能ブロック図である。撮像装置１は、焦点位置を変化させて撮影することで複数枚の画像情報を取得する画像取得部１０と、画像取得部１０、もしくは、画像取得部１０を含む撮像装置１全体の姿勢情報を取得する姿勢取得部１１と、焦点位置の設定情報などを記憶した情報記憶部１２と、画像取得部１０が出力した画像情報について画像処理を行い、被写界深度が拡大した画像を合成する画像処理部１３とを備えている。本実施の形態における撮像装置１は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの主記憶装置などを備え、記憶装置に格納されたプログラムを実行して上記した各処理部の処理を実現することができる。また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのプログラム可能な集積回路や、上記処理専用の集積回路を備えることで、ハードウェアにより上記処理部の処理を実現することもできる。
【００２４】
画像取得部１０は、受光した光を電気信号に変え画像情報とするＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子１００と、被写体からの光を撮像素子に集光するためのレンズなどの光学系１０１と、光学系１０１のレンズを光軸方向に駆動させて焦点位置を変化させるレンズ駆動部１０２と、レンズ駆動部の駆動量を設定する駆動量設定部１０３とを備える。レンズ駆動部１０２は駆動量設定部１０３が設定する駆動量設定値に基づいて、光学系１０１のレンズを駆動し焦点位置を変化させる。つまり、駆動量設定値は焦点位置設定値であり、駆動量設定値を設定することで焦点位置が設定される。なお、画像取得部１０は、図示しないアナログ信号処理部やＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部などを備え、撮像素子からの信号を画像情報として出力する。
【００２５】
さらに、ズーム機構１４と、絞り機構１５と、報知部１６とを有している。図１では、明示的にこれらの機構を示しているが、ズーム機構１４と絞り機構１５とは、例えば、画像取得部１０内に含まれているのが一般的である。
【００２６】
また、画像取得部１０は、コントラスト方式や位相差方式など従来から使用されている方式のＡＦ機能を備え、ＡＦによって被写体へ合焦し、合焦時のレンズ位置の情報を取得する。ここで、コントラスト方式のＡＦ機能は、光学系１０１のレンズをレンズ駆動部１０２により駆動して焦点位置を変化させ、複数の焦点位置の画像情報を取得してそれぞれのコントラストを算出し、コントラストの値が最大となる焦点位置を合焦位置とすることで、被写体に自動で合焦することができる。
【００２７】
ここで、本実施形態では、基準となる被写体（以下、「基準被写体」と呼ぶ。）に合焦して合焦情報を取得し、その合焦情報を基準として複数の焦点位置を設定して複数枚の画像を取得する。
【００２８】
基準被写体は、上記のＡＦ機能を利用して指定してもよいし、ユーザが直接指定するようにしてもよい。合焦情報は、被写体へ合焦したときの焦点位置情報であって、基準被写体へ合焦したときのレンズ駆動量の情報である。合焦情報は、レンズ駆動部１０２から駆動量設定部１０３へ出力される。ＡＦ機能により基準被写体を指定して合焦情報を取得する場合には、例えば、基準被写体をＡＦスポットによって指定することができる。ＡＦスポットは、撮影画角の範囲を表す二次元座標上で設定される。例えば、画角の中央付近をＡＦスポットとした場合には、そのスポット位置（例えば、画像の中央付近）に位置する被写体に合焦する。また、複数の位置にＡＦスポットを設定した場合には、それらのスポット位置の被写体で最も近景側の焦点位置となる被写体に合焦するようにすることができる。あるいは、複数のＡＦスポットの合焦情報から、合焦する頻度が高い焦点位置の被写体を指定して、合焦情報を取得することができる。
【００２９】
また、ユーザが直接被写体を指定して合焦情報を取得する場合には、撮像装置に液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示装置や、静電容量方式や電磁誘導方式などのタッチパネルを利用して行うことができる。例えば、表示装置を備える撮像装置であれば、表示装置に表示したプレビュー画像から、撮像装置が備えるボタンなどによってユーザが指定して基準被写体とすることができる。また、表示装置とタッチパネルとを備える撮像装置であれば、撮影画像をプレビュー中のディスプレイ上で、ユーザが被写体を直接タッチすることで、被写体を指定して合焦することができる。
【００３０】
また、基準被写体は、撮像装置の画角内で任意の位置を予め設定しておき、その位置に存在する被写体としてもよい。
【００３１】
また、撮像装置から被写体までの距離が分かる場合には、予め設定した任意の距離に存在する被写体を基準被写体としてもよい。
【００３２】
また、人物や動物、建物など任意の物体を予め登録しておき、既知の画像認識技術、例えば、顔認識技術や物体認識技術を利用して検出し、基準被写体としてもよい。
【００３３】
駆動量設定部１０３は、レンズ駆動部１０２の合焦情報と、姿勢取得部１１の姿勢情報とに基づいて、情報記憶部１２から駆動量設定値の設定情報を読み出してレンズの駆動量設定値を設定する。なお、駆動量設定部１０３は説明を分かり易くするために設置したものであり、レンズ駆動部１０２の内部で駆動量設定値を設定するようにしてもよいし、画像取得部１０の外部に、別途、設定部を設けて設定するようにしてもよい。
【００３４】
光学系１０１のレンズは、焦点位置を変化させるためのフォーカスレンズなどを備え、一つ以上のレンズを有する構成であってもよい。
【００３５】
また、レンズ駆動部１０２は、焦点位置を変化させるためにレンズを駆動するものであって、一般的なスマートフォンやタブレット端末などに採用されているＶＣＭ（Ｖｏｉｃｅ Ｃｏｉｌｅ Ｍｏｔｏｒ）方式やＳＭＡ（Ｓｈａｐｅ Ｍｅｍｏｒｙ Ａｌｌｏｙ）方式などのアクチュエータで構成される。ここで、ＶＣＭは磁石とコイルを用いた電磁力によってレンズを動作させる方式、ＳＭＡは形状記憶合金に通電して加熱することによりレンズを上下させる方式である。これらの駆動方式でレンズを駆動する際には重力の影響を受けるため、撮像装置の姿勢の影響でレンズの駆動量が変化し、焦点位置が変化することがある。本実施の形態による撮像装置の効果は、特に上記のような方式を採用した端末や装置において得ることができる。なお、撮像装置の姿勢によって、つまり、重力の影響によって焦点位置が変化する場合であれば、上記のような光学系や駆動方式に限られるものではなく、例えば、液体レンズなどを用いてもよい。ここで、液体レンズは電気的な制御信号で焦点位置を変化させるものや、アクチュエータにより機械的に焦点位置を変化させるものなどがある。
【００３６】
姿勢取得部１１は、スマートフォンなど一般的なモバイル機器に搭載されている３軸加速度センサなどで構成され、画像取得部１０、もしくは、画像取得部１０を含む撮像装置１全体の姿勢情報を測定する。姿勢情報は、画像取得部１０の備える光学系１０１の光軸と、重力の働く方向である鉛直方向の軸とを基準にした角度情報である。光軸と鉛直方向軸とが一致するときの角度情報を−９０度とし、撮像装置の姿勢が水平で光軸が地面に対して平行のとき、すなわち、光軸と鉛直方向軸とが直角のときの角度情報を０度とする。このように、光軸が地面に水平であるときを境として、角度情報の符号を変化させる。つまり、角度情報がマイナスのとき光軸に俯角がついた状態であり、撮像装置を下方向に傾けて構えた姿勢となる。反対に、角度情報がプラスのとき光軸に仰角がついた状態であり、撮像装置を上方向に傾けて構えた姿勢となる。
【００３７】
ここで、３軸加速度センサは、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ：微小電気機械素子およびその創製技術）を応用した、静電容量型、ピエゾ抵抗型、熱検知型などのセンサを用いる。静電容量型はセンサ素子可動部と固定部の間の容量変化を検出する方式であり、ピエゾ抵抗型はセンサ素子可動部と固定部をつなぐバネ部分に配置したピエゾ抵抗素子により、加速度でバネ部分に発生した歪みを検出する方式である。また、熱検知型はヒーターにより筐体内に熱気流を発生させ、加速度による対流変化を熱抵抗等で検出する方式である。
【００３８】
姿勢測定方法は上記の３軸加速度センサによる方法に限られるものではなく、姿勢情報を推定することが可能であればどのような方法を用いても構わない。ただし、上記のＭＥＭＳを使用することで装置を小型化できるため好適である。
【００３９】
なお、画像の被写体情報から撮像装置の姿勢を推定して姿勢情報を取得するようにしてもよい。例えば、地面の情報や、建築物など地面と垂直な被写体の情報を利用して姿勢を推定することができる。この場合には、姿勢取得部１１で画像取得部１０の画像情報に基づいて姿勢推定を行う画像処理部としてもよいし、姿勢取得部１１を設けずに画像処理部１３で姿勢推定を行い、姿勢情報を駆動量設定部１０３に出力するようにしてもよい。
【００４０】
情報記憶部１２は、例えば、フラッシュメモリやハードディスクなどによって構成され、撮影時の焦点位置、すなわち、レンズの駆動量設定値の設定情報などが記憶されている。これらの情報は事前に情報記憶部１２に記憶されておくことが望ましいが、撮影の前にユーザが直接入力するような構成としても構わない。
【００４１】
画像処理部１３は、例えばＤＳＰやＣＰＵなどのプロセッサで構成され、画像取得部１０から入力された複数枚の画像情報について画像処理を行うことで、被写界深度が拡大した画像を合成する。処理の詳細は後述する。
【００４２】
続いて、焦点位置が異なる複数の画像から被写界深度が拡大した画像を取得する方法の概略について、図面を参照しながら以下に説明する。
【００４３】
図２には、近景被写体２ａ、遠景被写体２ｂの２つの被写体が存在するシーンが例示されている。図２のシーンでは、２つの被写体２ａ・２ｂ間の距離は奥行き方向に大きく離れており、被写界深度の狭い撮像装置で撮影した場合には、一方の被写体に合焦すれば他方の被写体にはぼけが生じてしまう。なお、以下の説明において、単純に「距離」と言う場合には、撮像装置から見た奥行き方向の距離を表すものとする。
【００４４】
そこで、焦点位置を変化させながら撮影を行い、近景被写体２ａに合焦した画像と、遠景被写体２ｂに合焦した画像とを取得する。次いで、各画像の合焦した画素を選択して合成することで、近景と遠景の両被写体に合焦した画像を取得することができる。
【００４５】
しかしながら、実際の撮影シーンでは各被写体がどの距離に存在しているのか不明であり、また、２つ以上の被写体が様々な距離に存在する可能性もある。したがって、全ての被写体に合焦するように焦点位置を変化させながら、複数枚の画像を取得する必要がある。このとき、光学系特性などを考慮し、撮影時の焦点位置を決定することで、最小限の枚数で全ての被写体に合焦可能である。これによって、最適な焦点位置、撮影枚数で撮影し、処理量やメモリ量、あるいは消費電力を抑えることが可能となり好適である。
【００４６】
図３（ａ）は撮像装置１において、レンズ駆動部１０２により光学系１０１を駆動し焦点位置を変化させた際のレンズ駆動量と合焦する距離との関係の一例を示す図である。図３（ａ）は、レンズ駆動量が少ないときに遠景に合焦し、レンズ駆動量が多いときに近景に合焦するときの関係である。図３における横軸のレンズ駆動量は、無限遠の被写体に合焦できるレンズ位置を基準にして、その位置からのレンズの駆動量を示す。縦軸の距離は、撮像装置から被写体までの距離を示す。図３の曲線は、あるレンズ駆動量において合焦する距離を示しており、図３に示す２つの曲線ＡおよびＢの間がぼけを生じずに合焦可能な距離範囲（以下、「合焦範囲」と呼ぶ。）を示している。図３（ａ）では、レンズ駆動量ａ１のとき合焦範囲がａｒであることを示している。ここで、合焦と非合焦は、撮像素子の画素サイズと点拡がり関数などの値により適宜設定することができる。
【００４７】
図３（ａ）の特性の場合に、図３（ｂ）に示すようにｂ１〜ｂ３の３つのレンズ駆動量を設定して３枚の画像を撮影すれば、合焦範囲がａｒからｂｒとなり、被写界深度を拡大することができる。図３（ａ）に示した特性は、レンズ駆動部１０２の装置特性や、光学系の特性、撮影条件などによって変化するため、これらを考慮してレンズ駆動量の設定値を決定することで、最適な撮影枚数で被写界深度を拡大した全焦点画像の合成が可能となる。なお、レンズの駆動量は駆動量設定値によって設定し、駆動量設定値はレンズを駆動するために必要な電流量を示す数値である。なお、図３に示した特性は一例であって、レンズ駆動量が大きくなるほど合焦する距離が遠景側になる特性や、変化が線形的な特性となる場合も考えられる。
【００４８】
また、光学系１０１とレンズ駆動部１０２とは重力の影響を受けるため、撮像装置１の姿勢によって焦点位置が変化してしまうことを考慮する必要がある。
【００４９】
例えば、レンズの駆動量設定値が一定の状態で、撮像装置１の姿勢を変化させたときの合焦する距離の特性は図４のようになる。
【００５０】
図４の横軸は光軸の傾きを表す角度情報を示し、図４の縦軸は、撮像装置１から被写体までの距離を示す。図４の曲線は、ある角度において合焦する距離を示し、合焦範囲の中央値の特性を示している。図４に示す特性では、角度情報がマイナス方向に変化し、俯角の度合いが大きくなると合焦する距離が近景側に変化することが示されている。同様に、角度情報がプラス方向に変化し、仰角の度合いが大きくなると合焦する距離が遠景側に変化することが示されている。なお、光学系１０１の光軸の傾きを示す角度情報は、光学系１０１を含む画像取得部１０の角度情報であり、また、画像取得部１０の傾きは画像取得部１０を含む撮像装置１の角度情報である。なお、図４に示した特性は一例であって、角度情報の変化のプラス方向とマイナス方向とで、合焦する距離の変化が反対になる場合もある。つまり、仰角の度合いが大きくなると合焦する距離が近景側になり、俯角の度合いが大きくなると合焦する距離が遠景側になる場合もある。また、特性の変化が線形的になる場合もある。以上のように、駆動量設定値が等しくても、撮像装置の姿勢によって合焦する距離が変化してしまう。レンズの駆動量設定値の設定方法の詳細は後述する。
【００５１】
以上のように、本実施形態における撮像装置１は、光学系特性や撮影条件、撮像装置の姿勢を考慮し、撮影時の焦点位置を設定する。
【００５２】
続いて、本実施形態における撮像装置１の処理の流れについて、図５を用いて以下に説明する。図５は、撮像装置１の処理の流れを表すフローチャート図である。
【００５３】
まず、処理が開始されると、画像取得部１０は、上述した方法で被写体に合焦し、合焦したときのレンズ駆動量を合焦情報として取得する（ステップＳ１０１）。
【００５４】
次に、撮像装置１は、姿勢取得部１１により撮像装置１の姿勢情報を取得する（ステップＳ１０２）。姿勢情報は画像取得部１０もしくは画像取得部１０を含む撮像装置１全体の、地面に対する傾き情報であり、すなわち、光学系１０１の光軸の傾き情報を表す。
【００５５】
ここで、実際に撮影を行う場合、ステップＳ１０１とステップＳ１０２は次のようにして行うことができる。例えば、スマートフォンやタブレット端末のように、表示装置とタッチパネルを備えた端末を使用する場合には、表示装置にプレビュー表示される画像に示される被写体に、ユーザがタッチするときに合焦情報を取得し、シャッターを切るときに姿勢を測定して、撮影すると好適である。これによって、ユーザの望む被写体に合焦し、シャッターを切るときの姿勢に応じた設定で撮影が行われるので、タッチパネルをタッチした後に端末の姿勢が変化しても対応可能である。また、ディジタルカメラなどのシャッターボタンを備えた撮像装置であれば、シャッターボタンの半押し動作で被写体に合焦し、全押し動作でシャッターを切る。その場合には、シャッターボタンの半押しの状態から全押しの状態に遷るまでに姿勢が変わる可能性があるため、全押ししたときに姿勢を推定すると好適である。
【００５６】
次に、駆動量設定部１０３は、上記の合焦情報と姿勢情報とに基づいて情報記憶部１２から情報を読み出し、駆動量設定値を設定する（ステップＳ１０３）。ステップＳ１０３の詳細は後述する。
【００５７】
そして、画像取得部１０は、駆動量設定部１０３の駆動量設定値に基づいてレンズを駆動して撮影を行い、複数枚の画像情報を取得する（ステップＳ１０４）。
【００５８】
最後に、画像処理部１３は、画像取得部１０からの複数枚の画像情報について画像処理を行い、被写界深度が拡大した画像を合成し出力する（ステップＳ１０５）。ステップＳ１０５の詳細は後述する。
【００５９】
ステップＳ１０５で出力された画像は、液晶ディスプレイや有機ＥＬディスプレイなどの表示装置に表示するようにしてもよいし、フラッシュメモリやハードディスクなどの記憶装置に記憶するようにしてもよい。また、画像取得部１０で取得した複数枚の画像情報も記憶装置に記憶するようにしてもよい。撮像装置１は、これらの装置を備える構成とすることができる。
【００６０】
（ステップＳ１０３：  レンズの駆動量設定値の設定方法）
以下に駆動量設定部１０３におけるレンズの駆動量設定値の設定方法（ステップＳ１０３）を説明する。
【００６１】
駆動量設定部１０３は、ステップＳ１０１の合焦情報とステップＳ１０２の姿勢情報とに応じて、情報記憶部１２から情報を読み出して設定する。
【００６２】
例えば、撮像装置１の任意の姿勢状態と、任意の基準被写体の位置とに対応した駆動量設定値の情報を予め情報記憶部１２に記憶しておき、姿勢情報と合焦情報に応じて最適な駆動量設定値を読み出して設定する。撮影の途中で姿勢が変化したり、基準被写体が移動したりするなど、姿勢情報や合焦情報が変化した場合には、適宜情報記憶部１２から情報を読み出すようにする。情報記憶部１２に記憶する駆動量設定値の情報は、例えば、撮像装置１がある一定の姿勢で、ある距離に基準被写体が存在するときの最適な駆動量設定値を基準として求めておく。そして、この基準とした設定値を、図４に示したような姿勢による特性や、基準被写体の位置が変化したときの特性を考慮して補正し、事前に求めておくことができる。
【００６３】
以下に、図６に示す例を用いて、駆動量設定値の設定方法の一例を説明する。図６（ａ）は、ある被写界深度特性を持つ撮像装置が、ある姿勢となったときの、レンズの駆動量設定値と距離の関係を示している。図６の横軸はレンズの駆動量設定値を示し、縦軸は撮像装置から被写体までの距離を示す。図６に示す曲線は、ある駆動量設定値で駆動したレンズが合焦する距離を表し、曲線ＣとＤの間が合焦範囲である。
【００６４】
まず、駆動量設定部１０３は、基準被写体に合焦する駆動量設定値を取得する。基準被写体に合焦する駆動量設定値は、ステップＳ１０１で取得した合焦情報から求めることができる。具体的には、レンズ駆動部１０２の情報から基準被写体へ合焦するときのレンズ駆動量がわかるので、そのときの駆動量設定値から基準被写体の駆動量設定値を知ることができる。図６（ａ）では、基準被写体に合焦する駆動量設定値がｃ０であることが示されている。そして、駆動量設定値ｃ０とステップＳ１０２の姿勢情報とに基づいて情報記憶部１２から駆動量設定値を読み出す。つまり、基準被写体の位置と、撮像装置１の姿勢に対応した駆動量設定値を読み出す。この例では図６（ｂ）に示すように、駆動量設定値ｃ１、ｃ２が情報記憶部１２から読み出され設定される。ここで、上記ｃ０のように基準被写体に合焦するときの駆動量設定値を基準駆動量設定値と呼ぶ。なお、前述の通り駆動量設定値は焦点位置設定値であるので、基準駆動量設定値は基準焦点位置設定値である。
【００６５】
ここで、図６（ｂ）に示すように、ｃ１とｃ２はｃ０の合焦範囲ｃｒ０の前後の距離範囲に合焦し、合焦範囲ｃｒ０、ｃｒ１、ｃｒ２はそれぞれ重なるように設定され、情報記憶部１２に記憶されている。これによって、合焦範囲が途切れず、合焦被写体と非合焦被写体が順番に連続して表れることを防ぐことができる。例えば、地面のような奥行き方向に連続する被写体を撮影したときに、被写体の途中で合焦領域と非合焦領域が表れ画質が劣化することを防ぐことができる。したがって、合焦範囲が連続となるような駆動量設定値を、予め情報記憶部１２に記憶しておくと好適である。
【００６６】
ただし、図２の例のように、近景と遠景の２つの距離のみに被写体が存在する場合には、その２つの距離に合焦すればよく、必ずしも合焦範囲が連続する必要はない。つまり、画質劣化などの影響がなければ、合焦範囲が非連続となる駆動量設定値を設定してもよい。
【００６７】
また、上記の場合では、基準被写体が中景に存在し、基準駆動量設定値がｃ０となるときに、その他の駆動量設定値として近景に合焦するｃ１と、遠景に合焦するためのｃ２とが設定された。ここで、例えば、基準被写体が近景に存在する場合には、基準駆動量設定値がｃ１となり、中景に合焦するｃ０と、遠景に合焦するｃ２が設定される。同様に、基準駆動量設定値がｃ２であれば、近景に合焦するｃ１と、中景に合焦するｃ０が設定される。例えば、基準駆動量設定値が遠景に合焦する値であったときに、さらに遠景側へ合焦する駆動量設定値を設定しても、被写界深度の拡大効果を十分に得ることはできない。したがって、このように合焦情報から基準被写体までの距離、近景、中景、遠景などを判定し、基準被写体よりも近景側、あるいは、遠景側のどちらに焦点位置を変化させて撮影するかを決定すると、被写界深度を適切に拡大できるため好適である。また、撮像装置の被写界深度の特性や姿勢状態によっては、撮影枚数が３枚以上となることが想定される。その場合には、基準被写体の近景側と遠景側とで撮影する枚数の割合を変化させることで、適切に被写界深度を拡大できるようにする。例えば、基準被写体が中景に存在するとき、被写界深度が近景ほど狭くなることを考慮して、近景側の枚数を多く、遠景側の枚数を少なくするなど、割合を変化させる。これらの情報も記憶情報部１２に予め記憶しておけば、合焦情報と姿勢情報とに基づいて読み出して設定することができる。これにより、撮像装置の姿勢と、基準被写体の位置とに応じた適切な焦点位置と適切な枚数で撮影を行い、被写界深度を拡大できるため好適である。
【００６８】
ここで、近景、中景、遠景などの距離の判断は、例えば、予め距離閾値を設定しておき、合焦情報と距離閾値とに基づいて判定できる。合焦情報であるレンズ駆動量の情報と、光学系の画角や焦点距離、画素サイズなどの情報とから、撮像装置から基準被写体までのおおまかな距離値を算出することができる。基準被写体までの距離値が予め設定した近景判定用の距離閾値よりも小さければ、基準被写体が近景に存在すると判定する。このとき、基準駆動量設定値の他に、少なくとも１つの駆動量設定値を、距離閾値よりも大きい距離に合焦する値に設定すれば、基準被写体と、基準被写体よりも遠景側の被写体に合焦することができる。同様に、基準被写体までの距離値が予め設定した遠景判定用の距離閾値よりも大きければ、基準被写体が遠景に存在すると判定する。このとき、基準駆動量設定値の他に、少なくとも１つの駆動量設定値を、距離閾値よりも小さい距離に合焦する値に設定すれば、基準被写体と、基準被写体よりも近景側の被写体に合焦することができる。距離閾値の数や値は任意で設定可能であり、上記の２つの距離閾値に限られない。上記のように近景判定用と遠景判定用の２つの距離閾値を設定した場合には、近景、中景、遠景の３つの距離範囲を設定することができる。図６の例では光学系特性や撮影条件によって決まる元々の被写界深度が広く、曲線ＣとＤの間隔が広い。そのため、３枚の画像を撮影することで被写界深度が拡大した画像を取得可能であり、距離閾値を２つ設定して近景、中景、遠景の３つの距離範囲を設定すれば、それぞれの距離範囲に合焦するように駆動量設定値を設定できる。また、例えば図６の例よりも被写界深度が狭い場合には、設定する駆動量設定値を増やし、撮影枚数を増やす必要がある。したがって、撮影枚数に応じて距離閾値が設定されると好適である。このように、撮像装置の被写界深度で決まる特性に応じて、距離閾値と駆動量設定値を決めることで、最小限の枚数の撮影で、適切に被写界深度を拡大することができる。以上のように、撮像装置の任意の姿勢状態に対応した駆動量設定値を情報記憶部１２に記憶しておき、合焦情報と姿勢情報とに基づいて駆動量設定値を読み出して設定すれば、適切に駆動量設定値を設定することができる。
【００６９】
なお、上記では情報記憶部１２に記憶していた情報を読み出して設定したが、予め全ての情報を記憶しておくのではなく、基準となる情報と補正情報のみを記憶しておき、合焦情報と姿勢情報に基づいて補正するようにしてもよい。
【００７０】
例えば、撮像装置の姿勢が水平で角度情報が０度のとき、ある距離の基準被写体に合焦する基準駆動量設定値と、基準駆動量設定値に応じて決められるその他の駆動量設定値とを、基準の情報として予め情報記憶部１２に記憶しておく。また、基準被写体の位置が変化した場合や、姿勢が変化した場合の補正量及び補正向きの情報を情報記憶部１２に記憶しておく。
【００７１】
駆動量設定部１０３は、ステップＳ１０１の合焦情報とステップＳ１０２に姿勢情報とに基づいて情報記憶部１２から補正量及び補正向きの情報を読み出し、それに基づいて予め記憶しておいた基準の情報を補正する。基準の情報には基準駆動量設定値と、その他の駆動量設定値が含まれるので、それぞれの駆動量設定値が補正される。
【００７２】
ここで、例えば、撮像装置の姿勢が傾いて角度情報が変化すると、レンズの駆動量設定値と距離との関係は図７に示すように変化する。図７の横軸はレンズの駆動量設定値を示し、縦軸は撮像装置から被写体までの距離を示すものである。図７の曲線は、ある駆動量設定値でレンズを駆動し、そのときの焦点位置において合焦する距離を示しており、合焦範囲の中央値の特性を示している。図７（ａ）は光軸が地面と水平で角度情報が０度のときの特性を示している。光軸の傾きと距離の関係が図４に示したような特性となる場合に、光軸が傾いたときのレンズの駆動量設定値と距離との関係は図７（ｂ）および図７（ｃ）のように変化する。図７（ｂ）は角度情報がプラス方向に変化し、光軸に仰角がついた状態となったときの特性を示し、図７（ｃ）は角度情報がマイナス方向に変化し、光軸に俯角がついた状態となったときの特性を示している。図７（ｂ）の特性を示す曲線は、図７（ａ）の曲線が遠景側にシフトしていることを示している。図７（ｃ）の特性を示す曲線は、図７（ａ）の曲線が近景側にシフトしていることを示している。なお、図７に示した特性は一例であって、図７（ｂ）、図７（ｃ）に示したような特性のシフト方向が反対になることもある。つまり、光軸に仰角がついた場合と俯角がついた場合とで、シフト方向が反対となることも考えられる。また、シフトする量は、姿勢の傾き度合いに応じて変化し、撮像装置が大きく傾いて角度情報が大きくなればシフト量も大きくなる。
【００７３】
図７のように、姿勢に依存して特性が変化する場合には、駆動量設定値は図８に示すように補正される。図８は、図７と同様に、横軸は駆動量設定値を示し、縦軸は撮像装置から被写体までの距離を示している。図８に示す曲線は、ある駆動量設定値で駆動したレンズの焦点位置で合焦する距離を表し、２つの曲線により合焦範囲を示している。図７（ａ）、（ｂ）、（ｃ）と同様に、図８（ａ）、（ｂ）、（ｃ）はそれぞれ、姿勢が水平なときの特性、光軸に仰角がついたときの特性、光軸に俯角がついたときの特性である。図８（ｂ）、（ｃ）に示す実線の曲線はそれぞれの特性を表し、破線の曲線は図８（ａ）の特性を表す曲線である。図８（ｂ）、（ｃ）のグラフ内の矢印は、特性変化の方向を示している。図８の例の場合、情報記憶部１２には図８（ａ）に示す駆動量設定値ｄ０、ｄ１、ｄ２が基準の情報として記憶されている。このとき、基準被写体が中景に存在する場合には、ｄ０が基準駆動量設定値である。また、姿勢情報に応じた補正量と補正向きの情報が情報記憶部１２に記憶されており、それに基づいてｄ０、ｄ１、ｄ２がそれぞれ補正され、図８（ｂ）の駆動量設定値ｅ０、ｅ１、ｅ２、図８（ｃ）の駆動量設定値ｆ０、ｆ１、ｆ２となる。
【００７４】
図８は、図４に示した特性のように、角度情報がプラス方向に変化すると焦点位置が遠景側にシフトし、角度情報がマイナス方向に変化すると焦点位置が近景側にシフトする例を示している。図８（ｂ）に示すように特性が遠景側にシフトするときには、値が大きくなるプラスの向きに駆動量設定値が補正され、図８（ｃ）に示すように特性が近景側にシフトするときには、値が小さくなるマイナスの向きに駆動量設定値が補正される。このように、角度情報の変化する向き（符号）に応じて、駆動量設定値を補正する向き（補正量の符号）を異ならせる。例えば、図４に示した特性とは反対に、角度情報がプラス方向に変化すると焦点位置が近景側にシフトし、角度情報がマイナス方向に変化すると焦点位置が遠景側にシフトする場合には、駆動量設定値を補正する向きも反対とする。これによって、姿勢の傾き方向と特性変化の方向とに適切に対応して、駆動量設定値を設定することが可能となる。
【００７５】
また、本実施形態で想定するような一般的なレンズの駆動方式では、図４に示したように光軸の傾きが大きくなるほど合焦する距離も大きく変化する。したがって、角度情報の変化が大きいほど、図７、図８で示した特性のシフト量も大きくなる。このようにシフト量が大きくなったときには、駆動量設定値の補正量も大きくする。このように、角度情報の変化の大きさによって、駆動量設定値の補正量も異ならせることで、駆動量設定値を適切に設定することが可能となる。
【００７６】
また、図８に示すように、基準の情報であるｄ０、ｄ１、ｄ２は、それぞれ異なる補正量で補正されている。これは、駆動量設定値によって合焦する範囲は異なり、その特性は撮像装置によって異なるためである。例えば、ｄ０、ｄ１、ｄ２を全て一定の補正量としてしまうと、各駆動量設定値の合焦範囲が近景側あるいは遠景側に偏ってしまうなど、適切に被写界深度を拡大することが困難となってしまう。また、基準の情報である駆動量設定値は基準被写体の位置によって変化する。つまり基準被写体に合焦するときの基準駆動量設定値によって、その他の駆動量設定値も変化する。したがって、基準駆動量設定値の値と、撮像装置がもつ被写界深度の特性とに応じて、各駆動量設定値の補正量を異ならせることで、適切な駆動量設定を設定することが可能となり好適である。
【００７７】
以上のように、基準となる駆動量設定値の情報を、合焦情報と姿勢情報に応じた補正量及び補正向きで補正することで、適切に駆動量設定値を設定することができる。
【００７８】
（ステップＳ１０５：  画像処理方法）
画像処理部１３の処理手順と処理方法について、図面を参照しながら以下に説明する。図９Ａは画像処理部１３の一構成例を示す機能ブロック図である。図９Ｂは画像処理部１３の処理の流れを表すフローチャート図である。
【００７９】
図９Ａに示すように、画像処理部１３は、画像群位置合わせ処理部１３−１と、各画像の合焦度算出部１３−２と、合焦度比較部１３−３と、画像合成部１３−４と、を有する。
【００８０】
まず、画像処理部１３の画像群位置合わせ処理部１３−１は、画像取得部１０から入力された複数枚の画像情報について位置合せを行う（Ｓ１０５１）。フォーカスブラケット撮影のように、焦点位置を変化させて撮影を行うと、画像毎に画角が変化し被写体位置にずれが生じるため、画像間で位置合せを行う必要がある。
【００８１】
画像の位置合せは、前段のステップＳ１０３で設定されたレンズの駆動量設定値を用いて、レンズ駆動量、すなわち、焦点位置に基づいて画角の変化量を求め、画像を拡大縮小処理することで行うことができる。なお、画像の拡大縮小処理は、バイリニア補間やバイキュービック補間など、一般的な補間手法を用いて行うことができる。
【００８２】
また、単純な拡大縮小処理のみでは位置合せが困難な場合には、画像間で特徴点の移動量を算出して、それに基づいて拡大縮小、回転、並進などのアフィン変換による画像処理を行うことで、位置合せをしてもよい。特徴点はハリスのコーナー検出手法など一般的な特徴点検出手法を用いて検出が可能であり、これによって各画像から同一の特徴点を検出する。また、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）などの計算手法により、一方の画像の注目画素に対応する他方の画像上の画素との類似度を計算することで、特徴点の移動量を算出することができる。
【００８３】
なお、位置合せは、撮影された複数枚の画像のうちのいずれか一枚の画像を基準として、その基準画像上の被写体位置とそれ以外の画像の被写体位置とを合わせるように行う。この基準画像は自由に設定することが可能である。ただし、画角が広い画像には、画角が狭い画像では撮影されない範囲が含まれているため、画角の最も小さい近景側の画像を基準とすると好適である。情報のない画素の補間を行う拡大処理は、縮小処理よりも画質劣化が大きくなるため、上記のように画角が狭い画像を基準として、画角の広い画像を縮小処理によって位置合せすることで、画質劣化を抑えることができ、好適である。
【００８４】
次に、画像処理部１３の各画像の合焦度算出部１３−２は、位置合せされた各画像について、画素毎に合焦度を算出する（Ｓ１０５２）。合焦度は被写体への合焦の度合いを表し、合焦している領域はコントラストが高くなることを利用して求めることができる。例えば、注目画素を中心とした矩形領域内の画素値の最大値と最小値の差をコントラスト値として算出することで、注目画素の合焦度として用いることができる。なお、画素値とは、画素の輝度値やＲＧＢ値などである。なお、合焦度はこれに限られるものではなく、被写体のエッジ部分の拡がり度合いを用いて鮮鋭度などを算出してもよいし、画像間で合焦の度合いを比較可能であればどのような方法で求めてもよい。
【００８５】
次に、画像処理部１３の合焦度比較部１３−３は、位置合せ後の画像の全画素位置において、各画像で算出した合焦度を比較し（Ｓ１０５３）、画像処理部１３の画像合成部１３−４は、合焦度が最も高い画像の画素の重みが大きくなるように、加重平均によって画像を合成する（Ｓ１０５４）。これにより、最も合焦度の高い画素のみで合成された全焦点画像を取得する。
【００８６】
なお、全焦点画像の合成は、画素位置毎に、単純に合焦度が最も高い画像の画素を選択してもよいし、合焦度に基づく加重平均値を算出してもよい。例えば、特徴のある被写体領域内であれば、撮影画像のうちいずれか一枚で最も合焦度が高くなる確率が高く、合焦度の高い画像の画素の重みを大きくして全焦点画像の画素とすればよい。しかしながら、特徴の少ない被写体の平坦な領域などでは、いずれの画像においても合焦度に変化がなく、似た値となってしまう可能性がある。その場合に、僅かな合焦度の差に基づいて最も高い合焦度の画像の画素を選択してしまうと、例えば、同じ被写体の平坦領域であっても、隣接する画素位置で異なる画像の画素を選択してしまい、合成した画像に画質劣化を生じてしまう可能性がある。そこで、重みの傾斜が小さい係数で各画像の画素値を加重平均することで、全焦点画像の画素値を算出するようにしてもよい。さらに、注目画素とその周辺画素の合焦度を総合的に判断して重みの係数を算出し、加重平均によって注目画素位置の画素値を算出するようにしてもよい。
【００８７】
以上で述べた方法により、本実施形態の撮像装置１は、姿勢情報と合焦情報とに応じたレンズの駆動量設定値を設定する。設定された駆動量設定値に基づいて焦点位置を変化させて複数枚の画像を取得し、それらの画像に基づいて画像処理することで、被写界深度が拡大した画像を合成することができる。
【００８８】
つまり、本実施形態の撮像装置１は、撮像装置１の姿勢が変化した場合にも適切に焦点位置を設定し、被写界深度が拡大した画像を適切に取得することができる。また、光学系や撮影条件によって決まる被写界深度の特性を考慮し、さらに、基準被写体への合焦情報に基づいて焦点位置を設定するので、基準被写体には必ず合焦し、かつ、撮影する画像枚数を最小限に抑えて被写界深度が拡大した画像を取得できる。これにより、画像枚数に応じて増加する処理量やメモリ量、消費電力を抑えることが可能となる。
【００８９】
（第２の実施形態）
上述の第１の実施形態で述べた撮像装置１では、光学系１０１のレンズには単焦点のレンズを用い、レンズ駆動部１０２によってフォーカスレンズを駆動することで、焦点位置を変化させることを想定している。
【００９０】
本発明の第２の実施形態では、被写体に対してズームを行うことが可能な光学系を備える場合を想定する。本実施形態の撮像装置は、図１の撮像装置１の構成にズーム機構１４を備えるものとする。
【００９１】
ズーム機構１４として、例えば、ズームと同時に焦点位置が変化するバリフォーカルレンズを備える場合には、バリフォーカルレンズの駆動量に応じた焦点位置の変化特性を予め取得しておく。上述の実施形態と同様に、情報記憶部１２にこの特性情報に応じた駆動量設定値を記憶しておき、姿勢情報やバリフォーカルレンズの駆動量に応じた情報を読み出すことで、最適な焦点位置で撮影が可能となる。
【００９２】
また、焦点位置を変化させずにズームが可能なズームレンズを備える場合にも、ズームレンズの駆動量に応じた特性を予め取得しておく。上述の実施形態で述べたように、姿勢によってレンズの駆動量と合焦する距離の特性は変化する。さらに、ズームレンズが動作することで特性が変化するため、この特性に応じた駆動量設定値の情報を情報記憶部１２に記憶しておくことで、ズームレンズの特性に対応した最適な焦点位置で撮影が可能となる。
【００９３】
なお、上記のどちらのレンズの場合でも、ズームしたときに画角が狭くなるため、撮影される被写体が限定される可能性がある。例えば、近景と遠景の被写体を含むシーンを広角で撮影していたところから遠景の被写体にズームした場合に、近景側の被写体がフレームアウトして、画角内が遠景の被写体のみとなることがある。つまり、ズーム量が大きい状態のときに、ステップＳ１０１の合焦情報からわかる被写体の距離が遠景側であれば、遠景の被写体にズームしており、近景の被写体が存在しない可能性が高い。この場合には、近景の被写体は撮影されないため、近景に焦点位置を合わせて撮影する必要がない。同様に、近景被写体にズームすれば、遠景を含む可能性が低くなる。そこで、ズームの有無や度合いに応じたレンズの駆動量設定値を情報記憶部１２に記憶しておき、さらに、合焦情報から得られる被写体の距離情報、近景、中景、遠景などの情報に応じて駆動量設定値を設定するようにしてもよい。これによって、ズームの情報と合焦情報とに応じた最適な焦点位置と撮影枚数で、被写界深度が拡大した画像を取得可能となる。
【００９４】
なお、上記ではズームの情報に応じた駆動量設定値を情報記憶部１２に記憶している場合を想定して説明したが、ズームの情報に応じた補正量の情報を情報記憶部１２に記憶しておいてもよい。これによって、ズームの情報に基づいて補正量を読み出し、基準として設定された駆動量設定値を補正するようにしてもよい。
【００９５】
以上で述べた方法により、本実施形態の撮像装置は、ズーム機構を備えた光学系の特性を考慮してレンズの駆動量設定値を設定するので、ズームによって特性が変化しても、適切に焦点位置を設定して撮影し、被写界深度が拡大した画像を適切に取得することが可能となる。
【００９６】
さらに、ズームの有無や度合いなどの情報と、合焦情報とを考慮してレンズの駆動量設定値を設定することで、最適な焦点位置と撮影枚数で被写界深度が拡大した画像が取得可能であり、処理量やメモリ量、消費電力を最小限に抑えることができる。
【００９７】
（第３の実施形態）
本発明の第３の実施形態の撮像装置は、図１に示す撮像装置１と同様の構成である。上述の実施形態において、撮像装置の姿勢によってレンズの駆動量設定値と合焦する距離の特性が変化することを述べたが、この特性は、撮像装置に強い衝撃を与えた場合や、経年変化などによっても変化する可能性がある。そこで、本実施形態の撮像装置は、キャリブレーションによってレンズの駆動量設定値と合焦する距離の特性を再度推定することで、特性変化の影響を軽減する。
【００９８】
例えば、落下などの強い衝撃により特性が変化した場合の一例を、図１０を用いて説明する。図１０の横軸はレンズの駆動量設定値を示し、縦軸は撮像装置から被写体までの距離を示す。また、図１０の曲線は、ある駆動量設定値でレンズを駆動し、そのときの焦点位置において合焦する距離を示しており、合焦範囲の中央値の特性を示している。
【００９９】
製造時のレンズの駆動量設定値と距離の関係が図１０（ａ）、落下などの強い衝撃により変化した特性が図１０（ｂ）となった場合、５０ｃｍと１００ｃｍの距離に合焦するレンズ駆動量は、製造時の図１０（ａ）ではｇ１、ｇ２であるのに対し、衝撃を与えた後の図１０（ｂ）ではｇ１’、ｇ２’となっている。ただし、実際に撮像装置を使用している際には図１０（ｂ）の特性が不明である。そこで、撮像装置から５０ｃｍと１００ｃｍの距離に被写体を設置し、それぞれの被写体にＡＦ機能で合焦してレンズ駆動量を測定することで、変化した後の特性を推定することができる。図１０に示す特性のように、特性を示す曲線の形状が変化しないと仮定すれば、上記のように任意の数点の距離に合焦するレンズ駆動量がわかれば、図１０（ｂ）のように特性全体を推定することができる。この推定した特性を新たに情報記憶部１２に記憶し、この情報に基づいてレンズの駆動量設定値を設定すればよい。
【０１００】
ただし実際には、近景側あるいは遠景側のほうが特性の変化が大きくなるなど、図１０の曲線の形状は変化することが想定される。この場合、近景から遠景まで全ての距離に被写体を設置して撮影し、それぞれＡＦで合焦してレンズ駆動量を読み取れば、変化した特性を知ることができるが、撮影の手間や処理量を考えると現実的ではない。そこで、例えば、５０ｃｍ、１００ｃｍ、３００ｃｍなど数点の距離の被写体を撮影してＡＦによるレンズ駆動量を読み取り、製造時の特性の曲線の形状から大きく逸脱しないように、新たな特性を推定する。撮影する距離の数が多いほど推定される特性の信頼度が高くなるため、撮影枚数増加に伴う処理の手間と、特性の推定精度を考慮して、キャリブレーションで撮影する距離を設定することが望ましい。
【０１０１】
なお、上記のキャリブレーションは、ユーザに対して「５０ｃｍ離れた位置の被写体を撮影してください」などの指示を与えて撮影させることで行うことができる。しかし、指定された距離に被写体を設置して複数回の撮影を行うことはユーザへの負担が大きいと言える。そこで、規格でサイズの決まった物体、例えば、Ｂ４の紙、新聞紙などを撮影し、実際の被写体サイズと画像上の画素サイズと、焦点距離などの光学系特性とから、その被写体までの距離を算出する。この被写体にＡＦで合焦してレンズ駆動量を読み取れば、被写体までの距離とレンズ駆動量の関係を知ることができる。例えば、サイズの分かっている被写体を、撮像装置を前後方向に移動させながらいくつかの距離で撮影すれば、正確な距離に被写体を設置しなくても、撮像装置を移動させた範囲で、レンズの駆動量と合焦する距離の特性が推定できる。ただし、ほぼ同じ距離で複数枚撮影しても、一部の特性しか推定できないため、なるべく広い距離範囲で撮像装置を前後方向に動かして撮影すると、推定範囲が拡大するため好適である。
【０１０２】
また、人間の顔の大きさがほぼ同じであることを利用し、既存の顔検出技術などによって人物の顔を検出してＡＦで合焦し、顔の大きさから距離を求めて特性を推定してもよい。この場合、ユーザがキャリブレーションを意識せずに撮影したポートレート画像などを用いて、自動的にキャリブレーションを行うようにしてもよい。
【０１０３】
なお、一つの距離の被写体を複数回撮影して、平均値などを算出すればキャリブレーションの精度を向上することも可能である。したがって、ユーザへの負担とキャリブレーションの精度を考慮して、撮影する被写体や、被写体の距離、撮影枚数などを設定することが望ましい。
【０１０４】
なお、上記では、情報記憶部１２に記憶された製造時の駆動量設定値の情報を、キャリブレーションによって推定した情報に更新し、更新した駆動量設定値を設定することを想定して説明した。ただし、変化した駆動量設定値の変化量をキャリブレーションによって取得し、その変化量に応じた補正量で、元々設定されていた駆動量設定値を補正するようにしてもよい。
【０１０５】
以上で述べた方法により、本実施形態の撮像装置は、衝撃や経年変化などによって変化したレンズの駆動量設定値と合焦する距離の特性を、キャリブレーションによって推定する。推定した特性に基づいて駆動量設定値を設定するため、適切な焦点位置で撮影を行い、簡単に被写界深度が拡大した画像を取得することができる。
【０１０６】
また、サイズが既知の被写体をキャリブレーションに用いる、あるいは、人物の顔情報などを利用することで、ユーザの負担を軽減してキャリブレーションを実施することが可能となる。
【０１０７】
（第４の実施形態）
本発明の第４の実施形態の撮像装置は、上述の実施形態における撮像装置１の光学系１０１に絞りの機構１５を備え、ユーザの操作によって撮像装置の被写界深度が可変な場合を想定する。
【０１０８】
絞り機構１５を備える場合には、レンズを絞ることで被写界深度を変化させることができる。レンズの絞り度合いはＦ値で表され、Ｆ値は焦点距離を有効口径で除算した値である。絞りによってＦ値が変化し、被写界深度が変化すれば、図６や図７で示したようなレンズの駆動量設定値と距離の特性も変化する。そこで、絞りの変化、すなわち、被写界深度の変化に応じた駆動量設定値を情報記憶部１２に記憶しておき、Ｆ値などの絞り情報に基づいて情報記憶部１２から情報を読み出すことで、駆動量設定値を設定する。これによって、絞りが変化して被写界深度が変化しても、適切に焦点位置を設定することができる。
【０１０９】
なお、上記では、絞りの情報に応じた駆動量設定値を情報記憶部１２に記憶している場合を想定して説明したが、絞りの情報に応じた補正量の情報を情報記憶部１２に記憶してもよい。これにより、絞りの情報に基づいて補正量を読み出し、基準として設定された駆動量設定値を補正するようにしてもよい。
【０１１０】
以上で述べた方法により、本実施形態の撮像装置は、レンズの絞りの度合いに応じた駆動量設定値を設定する。したがって、絞り機構を備えた撮像装置を使用する場合にも、絞りで変化する被写界深度に応じて適切に焦点位置を設定し、撮影した画像について画像処理を行い、被写界深度が拡大した画像を適切に取得することが可能である。
【０１１１】
（第５の実施形態）
上述の実施形態において、撮像装置の姿勢が変化した場合にも、適切に焦点位置を設定して撮影し、被写界深度が拡大した画像を取得できることを述べた。しかしながら、過度に姿勢が変化した場合には、レンズ駆動部の動作が不安定になる可能性がある。例えば、撮像装置を真上や真下に向けて過度な姿勢の変化があったときには、最大あるいは最小の駆動量でレンズを駆動させる場合がある。レンズ駆動部は、機構的な問題で、駆動範囲の両端位置までレンズを駆動すると動作が不安定になりやすい。したがって、姿勢情報に基づいて駆動量設定値を設定したとしても、望んだ焦点位置で撮影が行われない可能性がある。
【０１１２】
本発明の第５の実施形態の撮像装置は、このようなレンズの駆動が不安定となる撮像装置の姿勢を防ぐため、ユーザに対して警告や指示を出す。なお、本実施形態の撮像装置は、上述の実施形態における撮像装置１の構成に、図１に示すように、報知部１６として、ランプなどの警告・指示用の装置、あるいは、表示装置やスピーカーを備えるものとする。
【０１１３】
本実施形態の撮像装置は、例えば、光軸の角度が水平な状態から７０度以上傾いた場合に、撮像装置に備えた警告用のランプを明滅させる、あるいは、警告用の音を鳴らすなどの方法でユーザに知らせる。これによって、姿勢が過度に傾いていることを知らせ、ユーザ自身が撮像装置の姿勢を調整することで安定した撮影を行うようにする。また、撮像装置が表示装置を備える場合には、表示装置に“姿勢を水平に近づけて下さい”といったような文字を表示してもよいし、スピーカーを備える場合には音声によって指示を出すようにしてもよい。警告や指示を出す姿勢の限度、すなわち、姿勢判定の閾値は任意で設定することができるが、最も安定してレンズを駆動することが可能な範囲で、駆動量設定値を設定できるように閾値を設定すると好適である。
【０１１４】
以上で述べた方法により、本実施形態の撮像装置は、姿勢情報に応じてユーザに対して警告や指示を出すことで、撮像装置の姿勢が過度に変化してレンズの駆動が不安定になることを回避することができる。これにより、安定的にレンズを駆動して焦点位置を変化させながら撮影を行い、撮影した画像について画像処理を行うことで、被写界深度が拡大した画像を適切に取得することが可能である。
【０１１５】
以上で述べた実施形態における撮像装置１の一部、例えば、画像処理部１３は、コンピュータで実現するようにしてもよい。その場合、この処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、撮像装置１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものであってもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【０１１６】
また、上述した実施形態における撮像装置１の一部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。撮像装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【０１１７】
上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。
【０１１８】
例えば、被写界深度の拡大処理について説明したが、縮小を含む被写界深度の調整処理にも適用が可能である。
【０１１９】
（付記）
本発明は、以下の開示を含む。
【０１２０】
（１）
焦点位置が異なる複数の画像を取得する画像取得部と、
前記画像取得部の姿勢情報を取得する姿勢取得部と、
前記複数の画像から、前記複数の画像のうちの１つの画像の被写界深度よりも、被写界深度を拡大した画像を生成する画像処理部と、を備える撮像装置であって、
前記焦点位置は、前記姿勢取得部が取得した姿勢情報に基づいて補正される焦点位置設定値に基づいて決定されることを特徴とする撮像装置。
【０１２１】
これにより、撮像装置の姿勢が変化した場合にも適切に焦点位置を設定し、被写界深度が拡大した画像を取得することができる。また、光学系や撮影条件によって決まる被写界深度の特性を考慮し、さらに、基準被写体への合焦情報に基づいて焦点位置を設定するので、基準被写体には必ず合焦し、かつ、撮影する画像枚数を最小限に抑えて被写界深度が拡大した画像を取得できる。これにより、画像枚数に応じて増加する処理量やメモリ量、消費電力を抑えることが可能となる。
【０１２２】
（２）
前記姿勢情報は、前記画像取得部の光軸と鉛直方向とで成す角度情報を有し、
前記角度情報の符号に基づいて、前記焦点位置設定値の補正量の符号を異ならせることを特徴とする（１）に記載の撮像装置。
【０１２３】
（３）
前記姿勢情報は、前記画像取得部の光軸と鉛直方向とで成す角度情報を有し、
前記角度情報の大きさに基づいて、前記焦点位置設定値の補正量を異ならせることを特徴とする（１）又は（２）に記載の撮像装置。
【０１２４】
角度情報の変化の大きさによって、駆動量設定値の補正量も異ならせることができる。
【０１２５】
（４）
前記焦点位置設定値は、１つの基準焦点位置設定値に基づいて決定され、
前記姿勢情報に基づいて補正される前記他の焦点位置設定値の補正量が、前記基準焦点位置設定値に応じて異なることを特徴とする（１）から（３）までのいずれか１つに記載の撮像装置。
【０１２６】
このように、姿勢情報に応じて、適切に駆動量設定値を補正して設定することができる。
【０１２７】
（５）
前記姿勢情報と、前記基準焦点位置設定値とに基づいて、前記基準焦点位置設定値の焦点位置で取得される画像より近景となる前記他の焦点位置設定値の数と、前記基準焦点位置で取得される画像より遠景となる前記他の焦点位置設定値の数との割合を調整することを特徴とする、（４）に記載の撮像装置。
【０１２８】
これによって、基準被写体の位置に応じた適切な焦点位置で撮影し、被写界深度を拡大できる。
【０１２９】
（６）
さらに、ズーム機構を有し、
ズームの有無、度合いに応じたレンズの駆動量設定値を記憶する情報記憶部を有し、
さらに、合焦情報から得られる被写体の距離情報、距離情報に応じて駆動量設定値を設定することを特徴とする（１）から（５）までのいずれか１つに記載の撮像装置。
【０１３０】
これによって、ズームの情報と合焦情報とに応じた最適な焦点位置と撮影枚数で、被写界深度が拡大した画像を取得可能となる。
【０１３１】
（７）
変化したレンズの駆動量設定値と合焦する距離の特性を、キャリブレーションによって推定することを特徴とする（１）から（５）までのいずれか１つに記載の撮像装置。
【０１３２】
推定した特性に基づいて駆動量設定値を設定するため、適切な焦点位置で撮影を行い、被写界深度が拡大した画像を取得することができる。
【０１３３】
（８）
レンズの絞りの度合いに応じた駆動量設定値を設定することを特徴とする（１）から（５）までのいずれか１つに記載の撮像装置。
【０１３４】
絞り機構を備えた撮像装置を使用する場合にも、絞りで変化する被写界深度に応じて適切に焦点位置を設定し、撮影した画像について画像処理を行い、被写界深度が拡大した画像を取得することができる。
【０１３５】
（９）
姿勢情報に応じて報知する報知部を有することを特徴とする（１）から（５）までのいずれか１つに記載の撮像装置。
【０１３６】
警告や指示を出すことで、撮像装置の姿勢が過度に変化してレンズの駆動が不安定になることを回避することができる。これにより、安定的にレンズを駆動して焦点位置を変化させながら撮影を行い、撮影した画像について画像処理を行うことで、被写界深度が拡大した画像を取得することが可能である。
【０１３７】
（１０）
焦点位置が異なる複数の画像を取得する画像取得部と、前記画像取得部の姿勢情報を取得する姿勢取得部と、前記複数の画像から、前記複数の画像のうちの１つの画像の被写界深度よりも、被写界深度を拡大した画像を生成する画像処理部と、を備える撮像装置における処理方法であって、
前記焦点位置は、前記姿勢取得部が取得した姿勢情報に基づいて補正される焦点位置設定値に基づいて決定され、
前記焦点位置設定値は、前記姿勢情報に基づいて補正されることを特徴とする処理方法。
【０１３８】
（１１）
コンピュータに、（１０）に記載の処理方法を実行させるためのプログラム。
【０１３９】
（１２）
（１１）に記載のプログラムを記録するコンピュータ読み取り可能な記録媒体。
【符号の説明】
【０１４０】
１…撮像装置、１０…画像取得部、１１…姿勢取得部、１２…情報記憶部、１３…画像処理部、１００…撮像素子、１０１…光学系、１０２…レンズ駆動部、１０３…駆動量設定部、２ａ…近景被写体、２ｂ…遠景被写体、ａ１、ｂ１〜ｂ３、ｃ０〜ｃ２、ｄ０〜ｄ２、ｅ０〜ｅ２、ｆ０〜ｆ２、ｇ１、ｇ２、ｇ１’、ｇ２’…駆動量設定値、ａｒ、ｂｒ、ｃｒ０〜ｃｒ２…合焦範囲、Ａ、Ｂ、Ｃ、Ｄ…曲線。【０１４１】
本明細書で引用した全ての刊行物、特許および特許出願をそのまま参考として本明細書にとり入れるものとする。
【図１】
2015020038.tif 000003
【図２】
2015020038.tif 000004
【図３】
2015020038.tif 000005
【図４】
2015020038.tif 000006
【図５】
2015020038.tif 000007
【図６】
2015020038.tif 000008
【図７】
2015020038.tif 000009
【図８】
2015020038.tif 000010
【図９Ａ】
2015020038.tif 000011
【図９Ｂ】
2015020038.tif 000012
【図１０】
2015020038.tif 000013
【手続補正書】
【提出日】平成28年1月21日(2016.1.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
焦点位置が異なる複数の画像を取得する画像取得部と、
前記画像取得部の姿勢情報を取得する姿勢取得部と、
前記複数の画像から、前記複数の画像それぞれの合焦範囲よりも、合焦範囲の広い画像を生成する画像処理部と、を備える撮像装置であって、
前記焦点位置を決定する焦点位置設定値を有し、
前記焦点位置設定値は、前記姿勢情報に基づいて補正されることを特徴とする撮像装置。
【請求項２】
前記姿勢情報は、前記画像取得部の光軸と鉛直方向とで成す角度情報を有し、
前記角度情報の符号に基づいて、前記焦点位置設定値を補正する補正量の符号を異ならせることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記姿勢情報は、前記画像取得部の光軸と鉛直方向とで成す角度情報を有し、
前記角度情報の大きさに基づいて、前記焦点位置設定値を補正する補正量を異ならせることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記焦点位置設定値は、前記焦点位置を決定するための基準となる基準被写体に合焦するときの基準焦点位置設定値に基づいて決定され、
前記姿勢情報に基づいて前記焦点位置設定値を補正するときの補正量は、前記基準焦点位置設定値に応じて異なることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記姿勢情報と、前記基準焦点位置設定値とに基づいて、
前記基準被写体よりも近景に存在する被写体に合焦する前記焦点位置設定値の数と、前記基準被写体よりも遠景に存在する被写体に合焦する前記焦点位置設定値の数と、の割合を調整し、
調整された前記焦点位置設定値に基づき、前記画像取得部は前記複数の画像を取得することを特徴とする請求項４に記載の撮像装置。
【請求項６】
撮像対象の被写体に対してズームを行うことが可能なズーム機構をさらに備え、
前記ズーム機構におけるズームの有無、あるいは、ズームの度合いに応じて、前記焦点位置設定値を設定することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記被写体に合焦したときの合焦情報から判断される前記被写体の距離の情報に応じて、前記焦点位置設定値を設定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
被写界深度を変化させることが可能な絞り機構をさらに備え、
前記絞り機構におけるレンズの絞りの度合いに応じて、前記焦点位置設定値を設定することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項９】
レンズの駆動量を設定する駆動量設定値と、合焦する距離との関係を表す特性の情報をキャリブレーションによって推定し、
推定された前記特性の情報に基づいて前記焦点位置設定値を設定することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
【請求項１０】
前記焦点位置設定値は、レンズの駆動量を設定する駆動量設定値であることを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
【請求項１１】
焦点位置が異なる複数の画像を取得する画像取得部と、
前記複数の画像から、前記複数の画像それぞれの合焦範囲よりも合焦範囲の広い画像を生成する画像処理部と、
を備える撮像装置であって、
前記画像取得部の光軸方向と鉛直方向とが成す角度が異なる状態において取得された画像から生成された第一合焦画像と第二合焦画像において、
前記第一合焦画像において合焦している合焦距離と前記第二合焦画像において合焦している合焦距離は同じであることを特徴とする撮像装置。
【請求項１２】
前記画像取得部は光を集光する光学系と、前記光学系の位置を制御する光学駆動部を備え、
前記光学駆動部は、
前記画像取得部の光軸方向と鉛直方向とが成す角度によって前記光学系の位置を制御する駆動量が変化することを特徴とする
請求項１１に記載の撮像装置。
【手続補正書】
【提出日】平成28年12月12日(2016.12.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置であって、
光学系を有し、画像を取得する画像取得部と、
前記撮像装置または前記画像取得部の姿勢情報を取得する姿勢取得部と、
前記画像取得部が前記光学系を複数の位置に駆動しながら取得した画像から、前記光学系が１つの位置にあるときに前記画像取得部が取得した画像の合焦範囲よりも、合焦範囲の広い画像を生成する画像処理部と、を備え、
前記光学系の駆動量を、前記姿勢情報に基づいて補正することを特徴とする撮像装置。
【請求項２】
前記画像取得部は、焦点位置設定値に応じて前記光学系を駆動し、
前記焦点位置設定値は、前記姿勢情報に基づいて補正されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記姿勢情報は、前記画像取得部の光軸と鉛直方向とで成す角度情報を有し、
前記角度情報の符号に基づいて、前記焦点位置設定値を補正する補正量の符号を異ならせることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記姿勢情報は、前記画像取得部の光軸と鉛直方向とで成す角度情報を有し、
前記角度情報の大きさに基づいて、前記焦点位置設定値を補正する補正量を異ならせることを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記焦点位置設定値は、前記画像取得部が画像を取得するときの焦点位置を決定するための基準となる基準被写体に合焦するときの基準焦点位置設定値に基づいて決定され、
前記姿勢情報に基づいて前記焦点位置設定値を補正するときの補正量は、前記基準焦点位置設定値に応じて異なることを特徴とする請求項２から４のいずれか１項に記載の撮像装置。
【請求項６】
前記姿勢情報と、前記基準焦点位置設定値とに基づいて、
前記基準被写体よりも近景に存在する被写体に合焦する前記焦点位置設定値の数と、前記基準被写体よりも遠景に存在する被写体に合焦する前記焦点位置設定値の数と、の割合を調整し、
調整された前記焦点位置設定値に基づき、前記画像取得部は前記画像を取得することを特徴とする請求項５に記載の撮像装置。
【請求項７】
撮像対象の被写体に対してズームを行うことが可能なズーム機構をさらに備え、
前記ズーム機構におけるズームの有無、あるいは、ズームの度合いに応じて、前記焦点位置設定値を設定することを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
【請求項８】
前記被写体に合焦したときの合焦情報から判断される前記被写体の距離の情報に応じて、前記焦点位置設定値を設定することを特徴とする請求項７に記載の撮像装置。
【請求項９】
被写界深度を変化させることが可能な絞り機構をさらに備え、
前記絞り機構における前記光学系の絞りの度合いに応じて、前記焦点位置設定値を設定することを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
【請求項１０】
前記光学系の駆動量を設定する駆動量設定値と、合焦する距離との関係を表す特性の情報をキャリブレーションによって推定し、
推定された前記特性の情報に基づいて前記焦点位置設定値を設定することを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
【請求項１１】
前記焦点位置設定値は、前記光学系の駆動量を設定する駆動量設定値であることを特徴とする請求項２から１０のいずれか１項に記載の撮像装置。
【請求項１２】
焦点位置が異なる複数の画像を取得する画像取得部と、
前記複数の画像から、前記複数の画像それぞれの合焦範囲よりも合焦範囲の広い合焦画像を生成する画像処理部と、
を備える撮像装置であって、
前記画像取得部の光軸方向と鉛直方向とが成す角度が異なる状態において取得された画像から生成された第一合焦画像と第二合焦画像において、
前記第一合焦画像において合焦している合焦距離と前記第二合焦画像において合焦している合焦距離は同じであり、
前記画像取得部は光を集光する光学系と、前記光学系の位置を制御する光学駆動部を備え、
前記光学駆動部は、
前記画像取得部の光軸方向と鉛直方向とが成す角度によって前記光学系の位置を制御する駆動量が変化することを特徴とする撮像装置。
【国際調査報告】
2015020038.tif 000014
2015020038.tif 000015
2015020038.tif 000016
2015020038.tif 000017