(57)【要約】【課題】  複数の処理部を設けている画像処理装置で深度合成を行うと、データが大量にあるため、処理が遅延してしまう可能性がある。【解決手段】  画像処理装置は、画像を取得する取得手段と、前記取得手段から前記画像の信号を受け取り、前記信号に対して切り出しの処理を行う第１の処理手段と、前記第１の処理手段から前記切り出しの処理を行った信号を受け取り、深度合成の画像を生成するための処理を行う第２の処理手段と、を有し、前記第２の処理手段が前記第１の処理手段から信号を受け取る伝送レートが、前記第１の処理手段が前記取得手段から信号を受け取る伝送レートよりも低い。【選択図】  図２
2020145620.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する取得手段と、
前記取得手段から前記画像の信号を受け取り、前記信号に対して切り出しの処理を行う第１の処理手段と、
前記第１の処理手段から前記切り出しの処理を行った信号を受け取り、深度合成の画像を生成するための処理を行う第２の処理手段と、を有し、
前記第２の処理手段が前記第１の処理手段から信号を受け取る伝送レートが、前記第１の処理手段が前記取得手段から信号を受け取る伝送レートよりも低いことを特徴とする画像処理装置。
【請求項２】
前記第１の処理手段が、さらに拡大手段または縮小手段を備え、
前記拡大手段または前記縮小手段が、前記切り出しの処理が行われた前記信号の少なくとも一部に対して、拡大または縮小の処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記拡大手段または前記縮小手段が、前記画像の撮像に用いるレンズの情報に基づいて、前記拡大または縮小の処理での倍率を決めることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記レンズの情報は、フォーカスレンズの駆動に関する情報を含むことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記レンズの情報は、フォーカスレンズの位置に関する情報を含むことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記拡大手段または前記縮小手段が、予め記録された前記レンズの情報に対応する情報に応じて、前記拡大または縮小の処理での倍率を決めることを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記予め記録された前記レンズの情報に対応する情報を記録する記録手段を有することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第１の処理手段が前記縮小手段を備え、前記第２の処理手段が前記拡大手段を備えることを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第１の処理手段が、前記画像の信号の合焦しているところを切り出すことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記第１の処理手段が、前記画像のコントラストに基づいて、該画像の信号の合焦しているところを切り出すことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
画像を撮像する撮像手段と、
前記撮像手段から前記画像の信号を受け取り、前記信号に対して切り出しの処理を行う第１の処理手段と、
前記第１の処理手段から前記切り出しの処理を行った信号を受け取り、深度合成の画像を生成するための処理を行う第２の処理手段と、を有し、
前記第２の処理手段が前記第１の処理手段から信号を受け取る伝送レートが、前記第１の処理手段が前記撮像手段から信号を受け取る伝送レートよりも低いことを特徴とする撮像装置。
【請求項１２】
取得手段が画像を取得する取得ステップと、
第１の処理手段が前記取得手段から前記画像の信号を受け取り、前記信号に対して切り出しの処理を行う第１の処理ステップと、
第２の処理手段が前記第１の処理手段から前記切り出しの処理を行った信号を受け取り、深度合成の画像を生成するための処理を行う第２の処理ステップと、を有し、
前記第２の処理手段が前記第１の処理手段から信号を受け取る伝送レートが、前記第１の処理手段が前記取得手段から信号を受け取る伝送レートよりも低いことを特徴とする画像処理方法。
【請求項１３】
画像処理装置をコンピュータに動作させるコンピュータのプログラムであって、
取得手段が画像を取得する取得ステップと、
第１の処理手段が前記取得手段から前記画像の信号を受け取り、前記信号に対して切り出しの処理を行う第１の処理ステップと、
第２の処理手段が前記第１の処理手段から前記切り出しの処理を行った信号を受け取り、深度合成の画像を生成するための処理を行う第２の処理ステップと、を行わせ、
前記第２の処理手段が前記第１の処理手段から信号を受け取る伝送レートが、前記第１の処理手段が前記取得手段から信号を受け取る伝送レートよりも低いことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ピント位置の異なる複数の画像に対して合成を行う画像処理装置に関するものである。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置からの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。または、解像感の極めて高い画像を取得したい場合、被写界深度を浅くして撮像しなければならず、被写体の全部が被写界深度に入らないことがある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。
【０００３】
一方、特許文献２には、撮像部などから画像信号を受け取る第１画像処理部を第２画像処理部の前に配置し、高い伝送レートを受信することが不可能な第２画像処理部に対して緩衝の役割をすることで、スケーラビリティを実現する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０―２９０３８９号公報
【特許文献２】特開２０１７−１５３１５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２に記載の撮像装置を用いて深度合成を行おうとすると、第１画像処理部では画像データを一度符号化圧縮して伝送レートを落としているため、画質が劣化する可能性がある。また、深度合成に用いる画像のサイズが極めて大きいことがあるため、第１の画像処理部で一度記憶部に記録してから第２の画像処理部へ伝送すると、データの遅延に起因した画像データ表示や記録が遅くなる可能性もある。
【０００６】
本発明は、上記の課題を鑑みてなされたものであり、複数の画像処理部を用いて深度合成を行うとき、画像処理部の間に伝送する情報を変更することで処理負荷の低減を実現できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本願発明は、画像を取得する取得手段と、前記取得手段から前記画像の信号を受け取り、前記信号に対して切り出しの処理を行う第１の処理手段と、前記第１の処理手段から前記切り出しの処理を行った信号を受け取り、深度合成の画像を生成するための処理を行う第２の処理手段と、を有し、前記第２の処理手段が前記第１の処理手段から信号を受け取る伝送レートが、前記第１の処理手段が前記取得手段から信号を受け取る伝送レートよりも低いことを特徴とする画像処理装置を提供する。
【発明の効果】
【０００８】
本発明の構成によれば、複数の画像処理部を用いて深度合成の合成を行うとき、後段にある画像処理部へ伝送する情報を減らす画像処理装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。
【図２】第１の実施形態における合成画像の生成について説明するためのフローチャートである。
【図３】第１の実施形態におけるピント位置と像倍率との関係を示す図である。
【図４】第１の実施形態における像倍率の算出を説明するための図である。
【図５】第１の実施形態における画像の拡大を説明するための図である。
【図６】第１の実施形態における深度合成を説明するための図である。
【図７】第１の実施形態におけるオプティカルブラック領域を有するデジタルカメラのハードウェア構成を示すブロック図である。
【図８】第１の実施形態におけるＯＢ信号を含めた画像信号の切り出しを説明するための図である。
【図９】第２の実施形態における合成画像の生成について説明するためのフローチャートである。
【図１０】第２の実施形態における合成画像の生成について説明するためのフローチャートである。
【図１１】第２の実施形態における縮小処理を説明するための図である。
【発明を実施するための形態】
【００１０】
以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００１１】
（第１の実施形態）
図１は、本実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。
【００１２】
光学系１０１は、被写体からの光を結像させる。光学系１０１には、被写体にピントを合わせるためのフォーカスレンズとその制御機構、およびピント位置を変更するためのズームレンズとその制御機構、さらには入射光量を調節するための絞り機構のうち、少なくとも１つ以上が備えられている。
【００１３】
撮像素子１０２は、たとえば、光学系１０１を通った光を電気信号に変換し、画像信号として出力するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。
【００１４】
第１の信号処理部１０３は、撮像素子１０２から出力された画像信号を受け取り、信号処理を行う。撮像素子１０２と第１の信号処理部１０３とは電気的に接続されており、撮像素子１０２から電気信号として画像信号を所定時間かけて送信される。
【００１５】
光学系駆動部１０４は、第１の信号処理部１０３を構成する部の１つであり、光学系１０１に含まれているレンズ群を駆動させる電気信号を送信する。本実施形態では、光学系１０１を構成するレンズのうち、被写体にピントを合わせるために用いられるフォーカスレンズを制御するために、光学系１０１に対してフォーカスレンズ駆動制御信号を生成して送信する。
【００１６】
切り出し領域決定部１０５は、第１の信号処理部１０３を構成する１つの部であり、光学系駆動部１０４から送られる像倍率に基づいて、撮像素子１０２から出力された画像信号を後述する切り出し手段で切り出すために必要な切り出し領域情報を生成する。
【００１７】
切り出し部１０６は、第１の信号処理部１０３を構成する１つの部であり、撮像素子１０２から出力された画像信号を受け取り、切り出し領域決定部１０５から得られる切り出し領域情報に基づいて、切り出しを行う。切り出しの方法は、たとえば画像信号を構成する画素データの間引きなどが挙げられる。したがって、切り出し部１０６は、入力された画像信号の画素数に対して、出力される画像信号の画素数を同じかまたはそれ以下にすることができる。
【００１８】
第１の制御部１０７は、第１の信号処理部１０３の制御を司り、撮像素子１０２、光学系駆動部１０４、切り出し領域決定部１０５や切り出し部１０６などの制御も行う。
【００１９】
第２の信号処理部１０８は、第１の信号処理部１０３から画像信号を受け取り、信号処理を行う。第１の信号処理部１０３と第２の信号処理部１０８とは電気的に接続され、第１の信号処理部１０３から電気信号として画像信号が所定時間かけて送信される。
【００２０】
拡大部１０９は、第１の信号処理部１０３から出力される画像信号を受け取り、画像信号の拡大処理を行う。拡大処理とは画像信号の水平画素数および垂直画素数を所定倍率増加させる処理であり、拡大部１０９から出力される画像信号の画素数を、入力された画像信号の画素数以上にすることができる。
【００２１】
深度合成部１１０は、深度合成処理を行う。深度合成処理とは、複数枚の画像信号を異なるピント位置で撮像し、各画像信号からピントが合っている被写体が写っている少なくとも一部の領域の画像信号を抜き出し、抜き出された複数の画像信号を合成して１枚の画像信号を生成することで、被写界深度が深い画像信号を得る。深度合成部１１０から生成した画像信号が、後述する記憶部１１１に記憶される。
【００２２】
記憶部１１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）に代表されるような大容量の記憶素子を構成に含むデータメモリで、画像信号を複数枚記憶することができる。
【００２３】
第２の制御部１１２は、第２の信号処理部１０８全体の制御を司る。また、第２の制御部１１２は、拡大部１０９、深度合成部１１０、記憶部１１１の制御や、第１の信号処理部１０３に備えられた第１の制御部１０７と制御信号の送受信を行うことで、デジタルカメラ全体の制御を行う。
【００２４】
図１に示す構成において、撮像素子１０２、第１の信号処理部１０３、第２の信号処理部１０８はそれぞれ電気的に接続される。撮像素子１０２から第１の信号処理部１０３への画像信号の伝送レート（データの伝送レート）は、より高いレートで伝送され、第１の信号処理部１０３から第２の信号処理部１０８への画像信号の伝送レートは、より低いレートで伝送されるように接続されている。図１に示した構成にすることで、撮像素子１０２が変更した場合でも第１の信号処理部１０３内に新しい接続用の回路を組み込むことで撮像素子１０２と接続することができる。かつ、図１に示した構成で、第２の信号処理部１０８との接続は維持したままで、デジタルカメラの構成を比較的容易に再構築することが可能になる。
【００２５】
図２は、本実施形態における処理を説明するためのフローチャートである。図２を参照して本実施形態のフローについて説明する。
【００２６】
ステップＳ２０１では、第１の制御部１０７は、あらかじめ定められた枚数またはユーザからの指示で撮像枚数を決定する。
【００２７】
ステップＳ２０２では、ユーザからの指示に基づいて、撮像を開始する。
【００２８】
ステップＳ２０３では、光学系駆動部１０４は、第１の制御部１０７からの指示より、光学系１０１に設けられるフォーカスレンズを駆動する。光学系駆動部１０４は、第１の制御部１０７からの指示により光学系１０１に設けられるフォーカスレンズを駆動するために、フォーカスレンズ駆動制御信号を光学系１０１に送信する。光学系駆動部１０４がフォーカスレンズの相対位置を変更することで、ピント位置を変えることができる。
【００２９】
図３は、本実施形態におけるピント位置と像倍率との関係を示す図である。本実施形態では、ピント位置３０２の位置で１枚目の画像の撮像を行い、ピント位置３０３の位置で１枚目の画像の撮像を行い、ピント位置３０４の位置で１枚目の画像の撮像を行う。
【００３０】
ステップＳ２０４で、撮像素子１０２が、光学系１０１を通して結像した被写体像を電気信号として出力する。
【００３１】
ステップＳ２０５で、撮像素子１０２が、被写体像の電気信号を第１の信号処理部１０３に送信する。
【００３２】
ステップＳ２０６で、切り出し領域決定部１０５が、第１の信号処理部１０３から受け取った画像信号を撮像したときの像倍率をもとに、切り出し領域を決定する。
【００３３】
図３に示したピント位置３０２ないし３０４に対する像倍率３０５ないし３０７をαｎ（ｎ＝０、１、２）としたときに、切り出し開始位置と切り出し画素数を計算によって求める。なお、以降の説明では、像倍率３０５をα０、像倍率３０６をα１、像倍率３０７をα２とする。また、切り出し開始位置と切り出し画素数を算出するため、像倍率αｎから、以下に説明する像倍率比を算出する。
【００３４】
図４は、本実施形態における像倍率の算出を説明するための図である。
【００３５】
図４に示した画像は、それぞれの像倍率αｎで撮像された画像信号を模式的に示したもので、画像４０１は像倍率α０で撮像された画像信号、画像４０２は増倍率α１で撮像された画像信号、画像４０３は像倍率α２で撮像された画像信号である。
【００３６】
像倍率が上がると、被写体が映る領域が狭くなっていく。被写体が映る領域の異なる画像に対して深度合成の処理を行う際には、像倍率が最も高い画像（被写体が映る領域が最も狭い画像）を基準に合成していくのが望ましく、像倍率が低い画像に映っている周辺の領域は、深度合成に用いられない。そこで、ほかの像倍率が低い画像信号を像倍率が高い画像信号と被写体が写る領域を合わすべく切り出し部１０６で切り出しを行うために、最も像倍率が高い画像信号との相対比率（像倍率比：βｎ）を算出する。相対比率をもとに切り出し開始位置と切り出し画素数を決定する。本実施形態の場合、像倍率が最も高いのはα２であるから、（式１）により像倍率比を算出する。
【００３７】
【数１】
2020145620.tif 000003
【００３８】
（式１）で求めた像倍率比βｎをもとに切り出し開始位置と切り出し画素数とを求めるが、本実施形態では、画像信号を取り扱う際は、左上画素を原点としたゼロオリジンの直交座標系で表すこととする。また、水平方向の軸をｘ軸、垂直方向の軸をｙ軸として定義する。切り出し領域決定部１０５は、切り出し開始位置のｘ座標を（式２）で算出する。
【００３９】
【数２】
2020145620.tif 000004
【００４０】
また、切り出し領域決定部１０５がｙ座標を（式３）で算出する。
【００４１】
【数３】
2020145620.tif 000005
【００４２】
なお、ｐｉｘｅｌＨとｐｉｘｅｌＶは、それぞれ、撮像素子１０２から出力された画像信号の有効領域の水平画素数と垂直画素数である。
【００４３】
さらに、切り出し領域決定部１０５は、切り出し水平画素数ｐｉｘｅｌＨ’を（式４）で算出する。
【００４４】
【数４】
2020145620.tif 000006
【００４５】
また、切り出し領域決定部１０５は、同様に切り出し垂直画素数ｐｉｘｅｌＶ’を（式５）で算出する。
【００４６】
【数５】
2020145620.tif 000007
【００４７】
図４の画像４０１ないし４０３のそれぞれに対する切り出し開始位置を、それぞれ、枠４０４ないし４０６で表されている。なお、画像４０３は像倍率が最大であるため、切り出し開始位置を表す枠は画像の外縁と同じになる。
【００４８】
なお、図３に示したピント位置と像倍率との関係は、光学系駆動部１０４の内部にある不図示の記録部で離散的なテーブルとして記録してもよいし、第１の制御部１０７の内部にある不図示の記録部で離散的なテーブルとして記録し送信するようにしてもよい。あるいは、多項式などで近似可能な場合、その近似方法で用いられる係数を予め不図示の記録部に記録してもよい。
【００４９】
ステップＳ２０７で、切り出し部１０６が切り出し領域決定部１０５から送信される切り出し領域情報に基づき、画像の切り出しを行う。なお、後述する拡大部１０９での拡大処理において、切り出し領域決定部１０５が決定した切り出し領域よりも外側の画素が必要な場合は、像倍率が最も低い画像から必要な信号を出力するように切り出すことで、拡大処理時の画質を向上させることも可能である。
【００５０】
ステップＳ２０８で、第１の信号処理部１０３は、切り出し部１０６で切り出された画像信号を、第２の信号処理部１０８に送信する。また、第１の信号処理部１０３が送信時、拡大部１０９が拡大処理を行う際に必要な拡大率を算出するためのαｎまたは像倍率比βｎを、送信するようにしてもよい。
【００５１】
ステップＳ２０９で、拡大部１０９が拡大処理を行う。拡大部１０９が、第１の信号処理部１０３から出力された画像を受け取って、画像のサイズを拡大率に従って増加させる。
【００５２】
図５は、本実施形態における画像の拡大を説明するための図である。画像５０１は像倍率α０で撮像された画像を拡大する様子を、画像５０２は増倍率α１で撮像された画像を拡大する様子を、画像５０３は像倍率α２で撮像された画像を拡大する様子を示したものである。第１の信号処理部１０３から出力された画像は、それぞれ画素数がそろっていなく、そのまま合成処理ができない。そこで、図５に示したように、像倍率が最も大きい画像５０３に対して他の像倍率の画像５０１、５０２を拡大処理するため、拡大部１０９は、各画像信号の像倍率比βｎをもとに拡大率γｎを（式６）に従って算出し、拡大処理を行う。
【００５３】
【数６】
2020145620.tif 000008
【００５４】
なお、画像５０３については、像倍率が最大になる画像信号であり、像倍率比β２は１となるため、拡大率γ２も１となり、拡大処理は実施されない。
【００５５】
なお、拡大処理を行うときの拡大率γｎについて像倍率比βｎから算出する説明をしたが、ほかの算出方法として、各々の画像信号の水平画素数かまたは垂直画素数をもとにして、拡大率γｎを算出するようにしても、同様の効果を得ることができる。
【００５６】
ステップＳ２１０では、深度合成部１１０は、拡大部１０９が拡大した複数の画像に対して、合焦領域の選択を行う。
【００５７】
図６は、本実施形態における深度合成を説明するための図である。画像６０１ないし６０３は、拡大部１０９が拡大した後の画像である。一般的に、被写体にピントが合っている状況では、画像信号のコントラストは、被写体にピントが合っていない状況に比べ、高くなる。本実施形態では、深度合成部１１０が、被写体にピントが合っているかどうかを判断するために、各々の画像のコントラストを算出する。たとえば、画像６０１の点線で括った領域６０４のコントラストが他の画像の同じ領域よりも高い場合は、その被写体を含む領域を記憶部１１１に記憶する。同様に、画像６０２についてもコントラストを算出し、領域６０５のコントラストが他の画像の同じ領域よりも高いと判断された場合は、領域６０５を記憶部１１１に記憶する。画像６０３についても同様にコントラストを算出し、領域６０６のコントラストが他の画像の同じ領域よりも高い場合は領域６０６を記憶部１１１に記憶する。
【００５８】
ステップＳ２１１で、撮像枚数に達したかどうかを判断する。達した場合はステップＳ２１２に進み、達していない場合はステップＳ２０３に戻る。
【００５９】
ステップＳ２１２で、深度合成部１１０が深度合成の処理を行う。深度合成部１１０は、ステップＳ２１０で選択した合焦領域を優先的に合成画像に置き換えることで、合成画像を作成する。同時に、深度合成部１１０は、画像信号の画素位置情報に応じて記憶部１１１への記憶する際のアドレス情報を変更し記憶することで、記憶部１１１上に記憶された複数の領域を先頭アドレスから順に読み出すことで、１枚の画信号として読み出すことが可能になる。
【００６０】
以上に説明したような処理より、以下の効果が得られる。撮像素子１０２と第１の信号処理部１０３の間のデータ伝送レートが、第１の信号処理部１０３と第２の信号処理部１０８の間のデータ伝送レートより高い場合に、以下の処理を行う。第１の信号処理部１０３においては光学系１０１を構成するレンズ群の像倍率に基づいて撮像素子１０２から得られる画像信号の画素数を減少させたのちに第２の信号処理部１０８に対して伝送する。第２の信号処理部１０８において、深度合成処理に必要な拡大処理と画像合成処理を施すことにより、第１の信号処理部１０３から第２の信号処理部１０８への不要なデータの伝送を抑制し、スケーラビリティの高い構成を設計可能である。
【００６１】
なお、これまでの説明では画像信号として被写体像が結像した領域（有効領域）についての処理にのみ言及してきたが、一般的な撮像素子では、被写体像が結像しないオプティカルブラック（ＯＢ）領域を含む画像信号を取り扱うことが多い。
【００６２】
図７は、本実施形態におけるオプティカルブラック領域を有するデジタルカメラのハードウェア構成を示すブロック図である。図１と同様な所の説明を省略する。ＯＢ処理部７０１は、第１の信号処理部１０３から出力された画像信号に含まれるＯＢ領域の信号を用いて信号処理を行う。
【００６３】
図８は、本実施形態におけるＯＢ信号を含めた画像信号の切り出しを説明するための図である。図４の同様な所の説明を省略する。
【００６４】
画像８０１ないし８０３はそれぞれＯＢ領域の信号が含まれた画像であり、グレーで示した領域がＯＢ領域である。切り出し部１０６は、切り出し領域決定部１０５が算出した切り出し開始位置と切り出し水平画素数ｐｉｘｅｌＨ’と切り出し垂直画素数ｐｉｘｅｌＶ’をもとにＯＢ領域の切り出し開始位置と切り出し水平画素数および切り出し垂直画素数を決定する。
【００６５】
たとえば、切り出し部１０６が画像８０１に対して、有効領域の切り出しとともに、ＯＢ領域８０４と、ＯＢ領域８０５と、ＯＢ領域８０６と、を、第２の信号処理部１０８へ送信する領域として切り出す。同様に、切り出し部１０６が画像８０２に対して、有効領域の切り出しに加え、ＯＢ領域８０７、８０８、８０９を切り出す。画像８０３の場合は像倍率が最大であるため切り出し部１０６では切り出し処理を行わないため、撮像素子１０２から受け取った画像信号をＯＢ領域も含めそのまま第２の信号処理部１０８へ送信する。第２の信号処理部１０８では、ＯＢ処理部７０１が、第１の信号処理部１０３から送信されるＯＢ領域付きの画像信号を処理する。ＯＢ領域は、たとえば、キャリブレーション用として、撮像素子１０２に光が入っていないときの信号レベルを検出するために用いられる。さらには、ＯＢ処理部７０１での信号処理内容に応じて、切り出し部１０６におけるＯＢ領域の切り出しをせずに第２の信号処理部１０８に送信することも可能になる。これにより、ＯＢ処理部７０１におけるＯＢ領域の画素数が増加し、たとえば、ＯＢ領域を加算平均処理した値で黒レベルのキャリブレーションをするときの処理精度を向上させることも可能である。さらには、ＯＢ処理部７０１の後段にＯＢ領域を削除する部を設けることで、記憶部１１１に記憶する画像信号の画素数を削減することも可能となる。このように、第２の信号処理部１０８においてＯＢ領域を用いた信号処理が必要になった場合は、切り出し部１０６において、ＯＢ領域を第２の信号処理部１０８へ送信可能なように切り出し処理を行う。以上の処理により、第２の信号処理部１０８でＯＢ領域の信号を用いた信号処理が可能となる。
【００６６】
第１の実施形態によれば、第２の信号処理部に送信するデータの中、深度合成の画像の作成に必要でないデータを抑制することができ、より処理負荷が低減できる画像処理を行うことができる。
【００６７】
（第２の実施形態）
以下では、第２の実施形態について説明する。第１の実施形態と同様なところの説明については省略する。
【００６８】
図９は、本実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。
【００６９】
第１の信号処理部９０１は、撮像素子１０２から出力された画像信号を受け取って信号処理を行う。第１の実施形態と同様に、複数の信号処理部で構成されているが、第１の実施形態と異なり、切り出し部１０６の後段に縮小処理を行う縮小部９０２と、光学系駆動部１０４と接続されるパラメータ記憶部９０３が新たに構成に加わっている。
【００７０】
縮小部９０２は、切り出し部１０６から画像信号を受け取り、画像信号の縮小処理を行う。縮小処理とは画像信号の水平画素数および垂直画素数を所定倍率減少させる処理であり、縮小部９０２から出力される画像信号の画素数を、入力された画像信号の画素数以下にする。
【００７１】
パラメータ記憶部９０３は、光学系駆動部１０４が光学系１０１に対して送信する、フォーカスレンズ駆動制御信号を生成するのに必要なパラメータを複数記憶する。パラメータ記憶部９０３は、光学系１０１に着脱可能な構成でもよく、異なる光学系１０１に対するフォーカスレンズ駆動制御信号を送信するため、光学系１０１に対応する複数のパラメータを記憶しておく。また、光学系駆動部１０４は、パラメータ記憶部９０３に記憶されたパラメータに基づいて、像倍率を切り出し領域決定部１０５に送信する。
【００７２】
第２の信号処理部９０４は、第１の信号処理部９０１から出力される画像を受け取って信号処理を行う第２の信号処理部であり、複数の信号処理部で構成されているが、第１の実施形態と異なるのは、拡大部１０９が構成に含まれていない。第１の信号処理部９０１と第２の信号処理部９０４とは、電気的に接続され、第１の信号処理部９０１から電気信号として画像信号が所定時間をかけて送信される。
【００７３】
図１０は、本実施形態における合成画像の生成を説明するためのフローチャートである。以下では、図１０を用いて本実施形態の処理について説明する。なお、第１の実施形態と同様な所について説明を省略する。
【００７４】
ステップＳ１００１では、第１の制御部１０７は、光学系１０１に応じて、光学系駆動部１０４がパラメータ記憶部９０３から読み出すパラメータを決定する。光学系駆動部１０４に複数の光学系１０１に対する複数のパラメータを保持することで、画像信号を撮像する前に適切なフォーカスレンズの駆動制御信号や像倍率を決定することが可能となる。
【００７５】
ステップＳ２０１ないし２０７での処理は、第１の実施形態と同様である。
【００７６】
ステップＳ１００２では、縮小部９０２が縮小処理を行う。切り出し部１０６から出力された画像信号を受け取った縮小部９０２は、第１の制御部１０７から縮小処理のための縮小率を受け取り、画像信号のサイズを縮小率に従って減少させる。
【００７７】
図１１は、本実施形態における縮小処理を説明するための図である。画像１１０１は、像倍率α０で撮像された画像信号を縮小する様子を、画像１１０２は、像倍率α１で撮像された画像信号を縮小する様子を、画像１１０３は、像倍率α２で撮像された画像信号を縮小する様子を示したものである。縮小部９０２は、像倍率の最も小さい画像１１０１に対してほかの像倍率の画像１１０２と画像１１０３を縮小するため、各画像信号の像倍率αｎをもとに縮小率εｎを（式７）に従って算出する。
【００７８】
【数７】
2020145620.tif 000009
【００７９】
なお、画像１１０１は像倍率が最小な画像であり、縮小率ε０は１となるため、縮小処理を行わない。
【００８０】
また、縮小率は像倍率から算出することができるが、他にも算出方法が考えられる。たとえば、各々の画像信号の水平画素数かまたは垂直画素数から、縮小率εｎを算出することができる。
【００８１】
ステップＳ１００３で、第１の信号処理部９０１は、縮小部９０２が縮小した画像を第２の信号処理部９０４に送信する。
【００８２】
ステップＳ２１０ないし２１２での処理は、第１の実施形態と同様である。
【００８３】
以上に説明したような処理より、以下の効果が得られる。撮像素子１０２と第１の信号処理部９０１との間のデータ伝送レートが、第１の信号処理部９０１と第２の信号処理部９０４との間のデータ伝送レートよりも高い場合、以下のような処理を行う。第１の信号処理部９０１が、光学系１０１に設けられるレンズ群の像倍率に基づいて撮像素子１０２から得られる画像信号の画素数を減少させた後に、深度合成の処理に必要な縮小処理を行ってから、第２の信号処理部９０４に転送する。このような処理により、第１の信号処理部９０１から第２の信号処理部９０４への不要なデータの伝送をさらに抑制し、スケーラビリティの高い構成を設計可能である。また、光学系１０１が着脱可能性な形態であっても、パラメータ記憶部９０３に複数の光学系のパラメータを記憶しておくことで、画像信号を撮像する前に、適切なフォーカスレンズの駆動信号や像倍率を決定することができる。
【００８４】
さらに、深度合成部１１０が合成した画像信号を拡大し、不図示の表示部へ適切な解像度で画像を送信することで、合成後の画像信号が合成前に比べて画素数が変化しても、適切な表示を実現することが可能である。
【００８５】
また、同様に、深度合成部１１０が合成した画像信号を拡大し、不図示の記録装置へ適切な解像度で画像を送信することで、合成後の画像信号が合成前に比べて画素数が変化しても、適切な画素数の画像を記録することが可能である。
【００８６】
（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。また、撮像された画像を、デジタルカメラ以外の処理装置に、以上に説明したような方法で処理装置を動作させてもよい。
【００８７】
なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８８】
１０１  光学系
１０２  撮像素子
１０３  第１の信号処理部
１０４  光学系駆動部
１０５  切り出し領域決定部
１０６  切り出し部
１０７  第１の制御部
１０８  第２の信号処理部
１０９  拡大部
１１０  深度合成部
１１１  記憶部
１１２  第２の制御部
【図１】
2020145620.tif 000010
【図２】
2020145620.tif 000011
【図３】
2020145620.tif 000012
【図４】
2020145620.tif 000013
【図５】
2020145620.tif 000014
【図６】
2020145620.tif 000015
【図７】
2020145620.tif 000016
【図８】
2020145620.tif 000017
【図９】
2020145620.tif 000018
【図１０】
2020145620.tif 000019
【図１１】
2020145620.tif 000020