(57)【要約】【課題】複数の撮像ユニットを備える撮像装置において電子ズーム処理を行う場合、レンズの切り替え前後で画像の切り出し領域を急激に変化させる際に生じ得る、解像度の急激な変化を抑えること。【解決手段】複眼撮像装置は、焦点距離の異なる単焦点レンズにより結像された光像を光電変換して信号を出力する撮像ユニットをマトリクス状に配設して構成される。画像処理部３は、画像の切り出し領域を変更する電子ズーム処理と画像信号のフィルタリング処理を行う。システム制御部６はズーム変更部５からのズーム倍率変更に関する情報と、ズーム制御方法記憶部７からのズーム制御方法に関するデータを取得し、ズーム制御部８にズーム制御を指示する。ズーム制御部８は、電子ズーム処理と単焦点レンズの切り替えを制御して画角を変更する場合、単焦点レンズの切り替え前後で解像度が同等となるように画像処理部３のフィルタリング処理を制御する。【選択図】図２
2016034076.tif 000002
【特許請求の範囲】
【請求項１】
焦点距離が異なるレンズ及び撮像素子をそれぞれ有する複数の撮像ユニットをマトリクス状に配設した撮像装置であって、
前記撮像素子により出力される画像信号に係る画像の切り出し領域を変更することで電子ズーム倍率を変更する電子ズーム処理と、前記切り出し領域の画像の画素値に対してフィルタリング処理を行う画像処理手段と、
前記撮像ユニットの変更及び前記電子ズーム処理によりズーム制御を行う制御手段と、を備え、
前記制御手段は、ズーム倍率を変更する場合、前記撮像ユニットの変更を行い、かつ前記画像処理手段により電子ズーム倍率の変更を行う際、前記撮像ユニットの変更の前後で前記画像処理手段が行うフィルタリング処理によって画像の解像度の変化を抑制する制御を行うことを特徴とする撮像装置。
【請求項２】
前記制御手段の指示により前記複数の撮像ユニットからいずれかを選択する選択手段と、
前記制御手段の指示により前記画像の切り出し領域を変更する変更手段を備え、
前記制御手段は、前記選択手段により前記撮像ユニットを変更し、かつ前記変更手段により変更される前記画像の切り出し領域にしたがって前記画像処理手段が電子ズーム倍率を変更する場合に、前記フィルタリング処理に用いるフィルタリング係数を変更する制御を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
ズーム倍率の変更を指示するズーム変更手段と、
ズーム制御に関する情報として、ズーム倍率に対する、前記レンズの倍率、前記画像の切り出し領域、前記フィルタリング処理に用いるフィルタリング係数のデータを記憶している記憶手段を備え、
前記制御手段は、前記ズーム変更手段からのズーム倍率の変更を指示する情報と、前記記憶手段が記憶している前記ズーム制御に関するデータにしたがって前記撮像ユニットの変更及び前記電子ズーム倍率の変更を制御することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記制御手段は、ズーム倍率を変更する場合、前記撮像ユニットを変更しない第１ズーム領域にて前記画像処理手段により電子ズーム倍率を変更する制御を行い、前記撮像ユニットが変更されて前記第１ズーム領域よりも焦点距離の長い第２ズーム領域へ切り替える際、前記画像処理手段により電子ズーム倍率を変更する制御を行うとともに、前記フィルタリング係数を変更することにより、前記電子ズーム倍率の変更に伴う解像度の変化を抑制する制御を行うことを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記制御手段は、前記第１ズーム領域から前記第２ズーム領域へ切り替える際、前記フィルタリング係数を変更してフィルタリング処理を行ってから、焦点距離の増加につれて徐々に前記フィルタリング係数を変更前の値に漸近させる制御を行うことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記制御手段は、前記フィルタリング係数を変更する場合、画像の切り出しライン数と、変更後の解像度に相当するライン数との比から算出されるフィルタリング係数を用いて、前記電子ズーム倍率の変更に伴う解像度の変化を抑制する制御を行うことを特徴とする請求項２から５のいずれか１項に記載の撮像装置。
【請求項７】
前記画像処理手段は、前記フィルタリング係数に対して、画素ラインごとにそれぞれ対応するアンプのゲイン値を設定し、前記アンプの出力を加算することによって前記フィルタリング処理を行うことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記画像処理手段は、前記フィルタリング係数の値が小さい場合、複数の画素ラインのうち、着目ラインのゲイン値を当該着目ラインと異なるラインのゲイン値より相対的に高く設定し、前記フィルタリング係数の値が大きい場合、前記着目ラインのゲイン値を当該着目ラインと異なるラインのゲイン値より相対的に低く設定することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記制御手段は、複数のズーム速度でズーム制御を行う場合、前記ズーム速度ごとに前記フィルタリング係数を変更する制御を行うことを特徴とする請求項２から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記制御手段は、ズーム倍率を変更する場合、前記選択手段により前記撮像ユニットが変更されたときに、前記電子ズーム倍率及び前記フィルタリング係数を変更する制御を行ってから、前記フィルタリング係数を変更前の値に戻すまでの焦点距離を、前記ズーム速度が大きいほど長く設定することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
焦点距離が異なるレンズ及び撮像素子をそれぞれ有する複数の撮像ユニットをマトリクス状に配設した撮像装置にて実行される制御方法であって、
前記撮像素子により出力される画像信号に係る画像の切り出し領域を変更することで電子ズーム倍率を変更する電子ズーム処理と、前記切り出し領域の画像の画素値に対してフィルタリング処理を画像処理手段が行うステップと、
制御手段が、前記撮像ユニットの変更及び前記電子ズーム処理によりズーム制御を行うステップを有し、
前記制御手段は、前記ズーム制御にてズーム倍率を変更する場合、前記撮像ユニットの変更を行い、かつ前記画像処理手段により電子ズーム倍率の変更を行う際、前記撮像ユニットの変更の前後で前記画像処理手段が行うフィルタリング処理によって画像の解像度の変化を抑制する制御を行うことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像ユニットを備える撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
近年、コンピュテーショナルフォトグラフィ（Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｐｈｏｔｏｇｒａｐｈｙ）という技術を利用した撮像装置が研究されている。この技術では、単なる画像の輝度や色のデータの他に、従来の撮像装置では記録されなかった、被写体からの光の入射角度や奥行き等の情報を撮像素子で取り込み、画像データとともに保存することで、画像処理ＬＳＩで様々な処理を行う。これらの情報の使用により、これまで撮像時点で一意に決定されたフォーカス、アイリスによる被写界深度、ピント位置等を、撮影後の画像処理で正確に再現できる。ライトフィールド（以下、ＬＦと略記する）と呼ばれる光線情報を記録することで、撮影した画像のデータから事後処理で焦点位置を変更できる機能を持つ撮像装置が提案されている。
【０００３】
ＬＦデータの取得に関する代表例として、多視点で画像を取得する方法がある。例えば、１台の撮像装置で焦点位置を変えて複数の画像を取得して１枚の画像としてデータを記録することで、その画像のピント位置を後から画像処理で自由に変更可能である。また、カメラを水平方向または垂直方向に移動させて複数枚の画像のデータを取得し、画像の視差から被写体の距離情報（奥行き）を取得できる。この場合、単一の撮像装置（撮像素子）を用いるため、動的な被写体に対してＬＦデータを有効に取得できないというデメリットがある。そこで、多視点での画像を取得するために、複数の撮像素子または撮像装置を用いる方法が提案されている（特許文献１）。複数の撮像素子または撮像装置をアレイ状に配置することで、取得画像に同時性を持たせるとともに、複数の画像データを取得することでＬＦデータの情報量を増やすことができる。
【０００４】
複数の撮像素子または撮像装置を備えるシステムにおいて、全ての撮像系がズームレンズを備える場合、鏡筒部の大型化、消費電力の増加、レンズ制御の複雑化等が課題となる。その解決策として、図１に示すシステムでは、焦点距離の異なる複数のレンズＡからＤと、各レンズに対応する撮像素子を組み合わせた撮像ユニットを、マトリクス状に配置した構成を有する。各レンズの切り替え制御による光学ズームと、画像処理による電子ズームを併用することにより、小型化、低消費電力、レンズ制御の単純化を実現できる。しかし、焦点距離の異なるレンズを切り替える際に、被写体像の大きさを一定に維持するためには、レンズの切り替えと同時に電子ズームの拡大比率を急激に変更しなければならない。このため、解像度の急激な変化が課題として残る。解像度の急激な変化を抑える技術として、特許文献２では、撮像素子の駆動切り替えにより撮像素子の読み出しライン数が変わる場合、エッジ強調フィルタの係数を変更し、焦点調節レンズの制御位置を一旦ずらす技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２５７６８６号公報
【特許文献２】特開２００７−３２９６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前記特許文献２に記載の技術は、電子ズームによる拡大率が高い時に、エッジ強調フィルタの係数が大きくなるため、画像のＳ／Ｎ（信号対ノイズ）比が低下してしまう。エッジ強調フィルタの係数を急激に変更した場合には画像のＳ／Ｎ比が急激に変化するため、画質の急激な変化を抑えられない。また、焦点調節レンズの位置は機構部の駆動により変更しなければならない。このため、レンズ位置の制御開始から、実際にレンズ位置が所望の位置まで移動を完了するまでに時間を要する。よって、撮像センサの駆動を切り替えた直後に同等の解像度を実現することは困難である。
【０００７】
本発明の目的は、複数の撮像ユニットを備える撮像装置において電子ズーム処理を行う場合、レンズの切り替え前後で画像の切り出し領域を急激に変化させる際に生じ得る、解像度の急激な変化を抑えることにある。
【課題を解決するための手段】
【０００８】
本発明に係る装置は、焦点距離が異なるレンズ及び撮像素子をそれぞれ有する複数の撮像ユニットをマトリクス状に配設した撮像装置であって、前記撮像素子により出力される画像信号に係る画像の切り出し領域を変更することで電子ズーム倍率を変更する電子ズーム処理と、前記切り出し領域の画像の画素値に対してフィルタリング処理を行う画像処理手段と、前記撮像ユニットの変更及び前記電子ズーム処理によりズーム制御を行う制御手段と、を備える。前記制御手段は、ズーム倍率を変更する場合、前記撮像ユニットの変更を行い、かつ前記画像処理手段により電子ズーム倍率の変更を行う際、前記撮像ユニットの変更の前後で前記画像処理手段が行うフィルタリング処理によって画像の解像度の変化を抑制する制御を行う。
【発明の効果】
【０００９】
本発明によれば、複数の撮像ユニットを備える撮像装置において電子ズーム処理を行う場合、レンズの切り替え前後で画像の切り出し領域を急激に変化させる際に生じ得る、解像度の急激な変化を抑えることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る撮像装置の基本構成に関する説明図である。
【図２】本発明の第１実施形態における、主要構成を表す概略図である。
【図３】第１実施形態における、撮像部を表す模式図である。
【図４】第１実施形態における、撮像ユニットの模式図である。
【図５】第１実施形態における、撮像素子の画像切り出し範囲を表す説明図である。
【図６】第１実施形態における、ズーム制御方法に関する説明図である。
【図７】第１実施形態における、フィルタリング処理に関する説明図である。
【図８】第１実施形態における、フィルタリング処理を含めたズーム制御方法に関する説明図である。
【図９】第１実施形態における、ズーム倍率に対するライン数変化量を示す図である。
【図１０】本発明の第２実施形態における、ズーム制御方法に関する説明図である。
【図１１】第２実施形態における、時間に対するライン数変化量を示す図である。
【発明を実施するための形態】
【００１１】
本発明の各実施形態について、添付図面を参照して説明する。まず、図１を参照して、焦点距離の異なる複数のレンズと各レンズに対応する撮像素子を備える撮像ユニットをマトリクス状に配設した構成について説明する。
図１は、焦点距離の異なる単焦点レンズＡ、Ｂ、Ｃ、Ｄと各レンズに対応する撮像素子を組み合わせた撮像ユニット群を模式的に示す説明図である。なお、図１に示す各レンズを全て同様の形状で表しているが、使用する焦点距離に応じて実際の形状は異なる。
【００１２】
第１レンズＡは最も焦点距離が短く、広角の撮影に使用する。第２レンズＢ、第３レンズＣ、第４レンズＤの順に焦点距離が長くなり、これらのレンズへの切り替えにより望遠側での撮影を行えるように焦点距離を変更できる。例えば、撮像装置を基準として被写体までの距離が短い状態から、被写体までの距離が長い状態へと撮影距離を変更する場合、まず焦点距離Ａの第１レンズＡと撮像素子との組み合わせにより駆動制御が行われる。そして、撮像装置から被写体が遠ざかるにつれて、撮影者はズーミング操作を行い、電子ズームを用いて画像処理部が画像の切り出し（画像データ抽出処理）を行い、画角を変更する。所定以上の像倍率で電子ズームが行われた場合、解像度の低下が顕著になる可能性がある。そこで、焦点距離Ｂの第２レンズＢに切り替えることで、画像の切り出し領域を広い状態に戻す制御が行われる。さらに被写体までの距離が長くなった場合には、再び電子ズームを用いて画像の切り出し領域を狭めていき、電子的に拡大処理が実行される。以降、この動作を第３レンズＣや第４レンズＤで繰り返すことにより、光学ズームと電子ズームを併用したハイブリット型のズーム制御が行われるので、小型化、低消費電力、レンズ制御の単純化を実現できる。
【００１３】
［第１実施形態］
以下、本発明の第１実施形態に係る撮像装置について説明する。図２は、本実施形態の主要構成を表す概略図である。
撮像部１は、複数の撮像ユニットを備える。Ａ（Ａｎａｌｏｇ）／Ｄ（Ｄｉｇｉｔａｌ）変換部２は撮像部１の出力信号をデジタル信号に変換して画像処理部３に出力する。画像処理部３は画像データに所定の処理を施して出力部４に出力する。出力部４は、記録媒体へのデータ記録、または表示部の画像表示のために、データを出力する。
【００１４】
図３を参照して、撮像部１の構成を説明する。
撮像部１は、単焦点レンズと撮像素子との組み合わせである撮像ユニットを、マトリクス状に配設した構成を有する。例えば、単焦点レンズは、ズーム倍率が１．０倍（広角）、２．０倍、４．０倍、８．０倍（望遠）の４種類のレンズからなる。各々の単焦点レンズは、撮像素子との組み合わせにより、撮像ユニットを構成している。図３に示すように、ズーム倍率が１．０倍の第１撮像ユニットは撮像ユニット群内で左上に配置され、ズーム倍率が２．０倍の第２撮像ユニットは撮像ユニット群内で右上に配置される。ズーム倍率が４．０倍の第３撮像ユニットは撮像ユニット群内で右下に配置され、ズーム倍率が８．０倍の第４撮像ユニットは撮像ユニット群内で左下に配置される。本実施形態では、異なる４つの焦点距離をもつ撮像ユニットから成る撮像ユニット群（ＡからＤの４群）を、マトリクス状に配設した構成を例示する。さらに多くの被写体位置情報を取得したい場合や、再現できるピント位置の精度を変更したい場合には、撮像ユニット群の数を増やすか、撮像ユニット群の配置間隔等を変更すればよい。また、本実施形態における各撮像素子は、全ての撮像ユニットに対して全て同じ画素数を有し、例えば、水平方向に１９２０画素、垂直方向に１０８０画素とする。撮像素子は単焦点レンズにより結像された光学像を光電変換し、アナログ信号として出力する機能を持つ。
【００１５】
撮像部１が出力するアナログ信号は、図２のＡ／Ｄ変換部２がデジタル信号へ変換し、変換後の画像信号は、画像処理部３に入力される。図３の構成に対して、本実施形態は４つのＡ／Ｄ変換部２と、４つの画像処理部３を備える。つまり、各撮像ユニット群に対して１つのＡ／Ｄ変換部２及び画像処理部３が割り当てられ、撮像ユニット選択部９は４つのズーム倍率の撮像ユニットのうちのいずれか１つを選択する。選択された撮像ユニットの出力信号は、当該撮像ユニットに対応するＡ／Ｄ変換部２に入力される。
【００１６】
画像処理部３は、Ａ／Ｄ変換部２によりそれぞれ出力されるデジタル信号に対し、画像の切り出し処理、及び切り出した画像に対するフィルタリング処理等の各種画像処理を行う。画像処理部３が画像処理した信号は出力部４に送られ、不図示の記録処理部が記録媒体に信号を記録する。記録媒体の数は４つであり、各々の撮像ユニット群について別々に出力画像データを記録する処理が実行される。
【００１７】
ズーム変更部５は、撮影者が被写体までの距離に応じて画角を変更したい場合に、ズームレバー等の操作部材を用いて、ズーミング状態を変更する際に使用する。ズーム変更部５による操作入力量はシステム制御部６に出力される。ズーム制御方法記憶部（以下、単に記憶部という）７は、ズーム制御に関する情報を予めテーブルデータとして記憶している。ズーム制御に関する情報とは、焦点距離に応じたズーム倍率に対する、単焦点レンズの倍率、画像の切り出し領域、画像信号に対してフィルタリング処理を行う際のフィルタリング係数等である。
【００１８】
システム制御部６は、ズーム変更部５で検出された操作入力量と、記憶部７に予め記憶させたズーム制御方法に関する情報に基づいて、所望の画角となるようにズーム制御部８を用いて画角を変更する。ズーム制御部８は、システム制御部６により決定された制御情報に基づいて、撮像ユニット選択部９及び切り出し領域変更部１０を制御する。制御情報とは、単焦点レンズのズーム倍率や、画像切り出し領域等の情報である。撮像ユニット選択部９は、ズーム制御部８からの指示に従って撮像ユニットを選択し、選択した撮像ユニットの撮像素子を駆動させる。撮像ユニットを切り替えることで、大まかなズーム倍率の変更処理を行うことができる。
【００１９】
切り出し領域変更部１０は、ズーム制御部８からの指示に従って画像を切り出す領域を画像処理部３に指定する。画像処理部３は指定された情報に基づいて画像を切り出して電子ズーム処理を行う。画像の切り出しにより、単焦点レンズの切り替えに対して、より高い精度のズーム倍率の変更処理を行うことができる。
【００２０】
次に、本実施形態におけるズーム制御方法を具体的に説明する。前述のように、画角の変更を行う場合、異なる焦点距離の撮像ユニットの変更と、画像処理部３を用いた画像切り出し領域の変更により、所望の画角への変更処理が行われる。図４を参照して、単焦点レンズの切り替えによるズーム倍率の変更について説明する。
【００２１】
図４は、複数の撮像ユニットを並設した構成を模式的に表す。本実施形態では撮像ユニット群ＡからＤを備える。第１撮像ユニット群Ａのうち、単焦点レンズの倍率がＸ倍の撮像ユニットを「Ａ−Ｘ」と表記する。例えば、「Ａ−２．０」は単焦点レンズの倍率が２．０倍の撮像ユニットを表す。第２撮像ユニット群Ｂ、第３撮像ユニット群Ｃ、第４撮像ユニット群Ｄについても同様の表記法を用いることにする。
【００２２】
ズーム倍率を１．０倍〜２．０倍に設定する場合、Ａ−１．０、Ｂ−１．０、Ｃ−１．０、Ｄ−１．０の４つの撮像ユニットが駆動される。また、ズーム倍率を２．０倍〜４．０倍に設定する場合、Ａ−２．０、Ｂ−２．０、Ｃ−２．０、Ｄ−２．０の４つの撮像ユニットが駆動される。ズーム倍率を４．０倍〜８．０倍に設定する場合、Ａ−４．０、Ｂ−４．０、Ｃ−４．０、Ｄ−４．０の４つの撮像ユニットが駆動される。ズーム倍率を８．０倍以上に設定する場合、Ａ−８．０、Ｂ−８．０、Ｃ−８．０、Ｄ−８．０の４つの撮像ユニットが駆動される。このように、撮影者が望むズーム倍率が得られるように、撮像ユニット群Ａ、Ｂ、Ｃ、Ｄのうち、適正な画角を実現するために撮像ユニット選択部９は撮像ユニットを選択し、選択した撮像ユニットの撮像素子を駆動させる。
【００２３】
次に図５を参照して、画像の切り出しによる電子ズーム倍率の変更処理を説明する。図５は、画像処理部３が画像の切り出し領域を変更する場合の、ズーム倍率ごとの切り出し領域を模式的に表した図である。本実施形態では、電子ズーム倍率が２．０倍、すなわち画像切り出し領域のサイズが１／２となる状態を上限として切り出し領域を変化させ、精度の高い画角変更を行う。
【００２４】
まず、電子ズーム倍率が１．０倍の場合には、画像処理部３は画像の切り出しを行わない。つまり、図中のＥ−１．０倍に示す矩形領域、すなわち水平方向１９２０画素で縦方向１０８０ライン分の画素データがそのまま使用される。電子ズーム倍率が１．２倍の場合には、図中のＥ−１．２倍に示すように、ひとまわり小さい矩形領域が使用され、画面中央部を含む９００ライン分の領域を切り出す処理が実行される。電子ズーム倍率が１．５倍の場合、図中のＥ−１．５倍の矩形領域（７２０ライン分）が切り出され、電子ズーム倍率が１．８倍の場合、図中のＥ−１．８倍の矩形領域（６００ライン分）が切り出される。電子ズーム倍率が２．０倍の場合、図中のＥ−２．０倍の矩形領域（５４０ライン分）が切り出される。なお、各矩形領域における水平方向の切り出し画素の数については具体的に説明しないが、矩形枠のサイズにしたがって適切な画素数に設定される。
【００２５】
本実施形態では、画像の切り出し処理によって、電子ズーム倍率を詳細に変更することが可能であり、光学ズーム倍率と組み合わせることにより、画像の切り出し領域に応じて精度の高いズーム倍率の変更が可能である。
【００２６】
図６を参照して、光学ズームと電子ズームを併用した、本実施形態におけるズーム制御について説明する。図６は、焦点距離に対し、単焦点レンズの光学ズーム倍率と、画像の切り出しによる電子ズーム倍率と、切り出しライン数を例示したグラフである。図６にて円形枠内に数字１から４を付して示す各ズーム領域は、以下の通りである。
・第１ズーム領域：ズーム倍率１．０〜２．０に相当する焦点距離領域。
・第２ズーム領域：ズーム倍率２．０〜４．０に相当する焦点距離領域。
・第３ズーム領域：ズーム倍率４．０〜８．０に相当する焦点距離領域。
・第４ズーム領域：ズーム倍率８．０以上に相当する焦点距離領域。
【００２７】
まず、焦点距離が１．０倍の場合にズーム制御部８は、単焦点レンズが１．０倍である撮像ユニットのみを駆動させる。この場合、画像切り出しによる電子ズーム倍率は、１．０倍に設定される。焦点距離が長くなるにつれて、画像処理部３は徐々に画像切り出し領域を狭くする処理を実行し、例えばズーム倍率が１．５倍となったとき、切り出しライン数が７２０ラインに設定される。さらにズーム倍率が上昇して２．０倍となったとき、切り出しライン数は５４０ラインに設定される。さらにズーム倍率を上げる場合、撮像ユニット選択部９は１．０倍の撮像ユニットから２．０倍の撮像ユニットへと切り替える。その際には、切り出しライン数を５４０ラインから１０８０ラインに再び戻す処理が実行される。
【００２８】
同様にして、ズーム倍率が変更されて３．０倍となったとき、
３．０（現在のズーム倍率）／２．０（単焦点レンズによるズーム倍率）＝１．５（切り出し領域変更により変更すべき倍率）
の関係を満たす。この場合、切り出しライン数が７２０ラインに設定される。この状態から、ズーム倍率がさらに上昇して４．０倍となり、切り出しライン数が５４０ラインになったとき、撮像ユニット選択部９は２．０倍の撮像ユニットから４．０倍の撮像ユニットへと切り替える。その際、切り出しライン数を５４０ラインから１０８０ラインに再び戻す処理が実行される。これ以降も、同様の動作が行われ、ズーム倍率が１６倍となったときには、撮像ユニット選択部９が８．０倍の単焦点レンズの撮像ユニットを選択するとともに、画像処理部３は切り出しライン数を５４０ラインに設定する。そしてズーム制御部８はズーム制御を停止させる。あるいは、ズーム制御を停止させず、さらにズーム倍率を上げる場合には、画像処理部３により、切り出しライン数を５４０ラインからさらに少なく設定して、画像切り出し領域を狭くする処理が実行される。
【００２９】
以上のように、撮像ユニットの選択による単焦点レンズの変更と、画像切り出し領域の変更とを組み合わせて実行することにより、ズーム倍率が変更される。この制御を実現するために、各焦点距離における単焦点レンズのズーム倍率と、画像切り出しライン数との関係を記述したテーブルデータが、記憶部７に予め記憶されている。このようなズーム制御において、光学ズーム倍率の切り替え時点、つまり２．０倍、４．０倍、８．０倍のズーム倍率のときに単焦点レンズの切り替えを行う際には、画像の切り出し領域が急変する。それに伴い、解像度が急激に高くなるため、見た目上で違和感のある画像となってしまう可能性がある。そこで、本実施形態では前記のズーム制御に加え、以下に示すフィルタリング処理を同時に実行することで解像度の急激な変化を抑制する対策を講じる。
【００３０】
本実施形態におけるフィルタリング処理とは、一般的なデジタルフィルタ処理と同様に、切り出した画像の各画素値に対して、複数の画素の画素値を用いて１画素分の画素値を生成する処理（解像度を低くする処理）のことである。本実施形態では、説明を簡単化するために垂直方向のフィルタリング処理について説明するが、水平方向についても同様の処理が行われる。図７を参照して、垂直方向のフィルタリング処理を具体的に説明する。
【００３１】
図７は、垂直方向に連続するＧ（緑色）画素ラインを、５ライン分だけ抽出した図である。各ラインの出力部にはそれぞれアンプ（ａｍｐ１〜５）が接続されている。これらのアンプには、後述するフィルタリング係数（フィルタリングの強度）ごとに、異なるゲイン値が設定される。フィルタリング係数とは、取得した入力画像に対して、ラインごとの周波数帯域をどれだけ低下させるかを決めるための係数のことである。解像度を大きく下げる場合にはフィルタリング係数が大きく設定され、解像度を殆ど下げる必要がない場合にはフィルタリング係数が小さく設定される。図７にて着目するラインは３ライン目である。フィルタリングの際に重要な点は、ａｍｐ３に設定する第３ゲイン値と、その他のアンプ（ａｍｐ１，２，４，５）に設定するゲイン値との比率であり、この比率が高いかどうかである。着目ラインのゲイン値が他のラインのゲイン値より相対的に高いほど、他のラインへの依存度が低くなる。このため、フィルタリング係数は小さくなる。一方、着目ラインのゲイン値が他のラインのゲイン値より相対的に低いほど、他のラインへの依存度が高くなる。このため、フィルタリング係数は大きくなる。
【００３２】
続いて、フィルタリング係数に対応する各アンプのゲイン設定方法について具体的に説明する。本実施形態においては、フィルタリング係数を、下式により算出される数値で表す。
フィルタリング係数  ＝  切り出しライン数  ／  実現したい解像度相当のライン数・・・式（１）
実現したい解像度相当のライン数とは、変更後の解像度に相当するライン数である。例えば、切り出しライン数を９００ラインとし、６００ライン相当の解像度を実現したい場合を想定する。この場合、フィルタリング係数は、式（１）により、９００／６００＝３／２となる。これは、切り出した画像が３ラインの場合に、同じ大きさの被写体に対して２ラインの解像度をもつ状態と同等となるようにフィルタリング処理を行わなければならないことを意味している。本実施形態においては（図５参照）、切り出した１０８０ラインから５４０ライン相当の解像度を再現させる場合にフィルタリング係数が最も大きくなり、１０８０／５４０＝２．０となる。すなわち、フィルタリング係数が１．０〜２．０の範囲内において、係数ごとに対応するａｍｐ１〜５のゲイン設定値を決定しければならない。
【００３３】
具体的には、例えば、撮像ユニットを切り替える時点でのフィルタリング係数について説明すると、フィルタリング係数を２．０として、解像度がちょうど２分の１となるように各アンプのゲイン値を設定すればよい。つまり、２ライン分を加算平均したときと等価になるようなゲイン設定にすればよいので、奇数ラインに対しては、以下の通りである。
・ａｍｐ１，ａｍｐ２，ａｍｐ５の各ゲイン値を０倍に設定すること。
・ａｍｐ３，ａｍｐ４の各ゲイン値を０．５倍に設定すること。
一方、偶数ラインに対しては、以下の通りである。
・ａｍｐ１，ａｍｐ４，ａｍｐ５の各ゲイン値を０倍に設定すること。
・ａｍｐ２，ａｍｐ３の各ゲイン値を０．５倍に設定すること。
この設定にすれば、各アンプの出力を加算部（図７：ＡＤＤ）で加算することにより得られる、着目ラインの出力信号は、着目ラインとその次のラインの２ラインとで画素加算を行った場合と等価な信号となるので、解像度がちょうど１／２となる。
【００３４】
フィルタリング係数に応じて、各ラインに対応するアンプのゲイン設定を行い、フィルタリング処理を行うことで、解像度を変更できる。また、フィルタリング係数に対応するアンプのゲイン設定値のデータについては、記憶部７に予め記憶されている。ズーム倍率に応じてフィルタリング係数が変更された場合には、所望の解像度となるように、フィルタリング処理用のアンプのゲイン設定値が随時に変更される。こうすることで、画像切り出し領域を急激に変更した際に生じ得る、解像度の急激な変化を、垂直方向のフィルタリング処理により抑制できる。
【００３５】
次に、図８を参照して、フィルタリング処理を含めたズーム制御について、具体的に説明する。図８では、図６に示した第１及び第２ズーム領域において、焦点距離に対し、単焦点レンズのズーム倍率、切り出しライン数、フィルタリング係数、解像度の変化を例示する。単焦点レンズのズーム倍率と切り出しライン数については、図６と同じである。
【００３６】
まず、フィルタリング係数について説明する。
ズーム倍率が２．０倍未満である場合、フィルタリング係数は常に１．０に設定される（フィルタリング無し）。ズーム倍率が２．０倍となったときに画像切り出しライン数が５４０ラインから１０８０ラインへと急激に変化する。このため、フィルタリング係数が１．０の状態から２．０の状態に変更される。フィルタリング係数が２．０ということは、解像度が１／２となるように、アンプのゲイン設定が行われることを意味する。さらにズーム倍率の増加につれて、フィルタリング係数を徐々に小さくして１．０倍へと漸近させる処理が行われる。
【００３７】
次に、解像度の変化について説明する。
ズーム倍率を１．０倍の状態から徐々に大きくしていく場合には、画像の切り出し領域が徐々に狭くなるため、焦点距離の増加につれて解像度が徐々に下がる。このとき、フィルタリング係数が常に１．０の状態であるので、切り出しライン数の減少量に比例して、解像度が低下する。ズーム倍率が２．０倍となったときに単焦点レンズのズーム倍率が２．０になり、同時に切り出しライン数が５４０ラインから１０８０ラインになる。しかし、前述のようにフィルタリング係数は、解像度が１／２になる値に設定されるため、１０８０ラインの切り出し画像の解像度は、５４０ライン相当まで低下する。この状態から、さらにズーム倍率を大きくしていくと、フィルタリング係数が徐々に小さくなるため、解像度が徐々に上がる。さらにズーム倍率を高くしていくと、やがてフィルタリング係数が１．０となる。この時点で、切り出した画像に対してフィルタリング処理を行うことなく、そのままの画像データを出力される。ズーム倍率をさらに上げた場合には、再び切り出しライン数に比例して解像度が徐々に低下する。
【００３８】
以下に、解像度の変化に対する考え方について説明する。
本発明の目的は、解像度の急激な変化を抑えることである。すなわち、焦点距離の変化に対して解像度が急激に変化しないようにすることである。そのために、解像度の目標設定の仕方を説明する。基本的には、図９に示すように、焦点距離の変化に対する解像度の変化、すなわちライン数の変化量が一定値以下となるように設定が行われる。ライン数の変化量とは、実際に切り出されたライン数の変化に加えて、フィルタリング処理を行うことにより、ライン数が擬似的に変化した量をも考慮した量である。
【００３９】
図９において、横軸はズーム倍率を表し、縦軸はライン数の変化量を表している。画像切り出しによるライン数の変化量は、ズーム倍率が１．０倍から２．０倍となるまでの間に５４０ラインである。この場合のグラフ線Ｇ１は、図９における通常の電子ズーム時のグラフ線である。本実施形態では、グラフ線Ｇ１に対して２倍の傾斜をもつグラフ線Ｇ２を許容ラインとして設定する。つまり、通常の電子ズーム時に比べて、２倍のライン数の変化量である、１０８０ラインの変化が許容される。実際には、ライン数を変化させたときの撮影画像に関して実際の見た目から許容ラインを決定する必要がある。解像度の急激な変化を抑えるために許容ラインの傾斜を過度に小さく設定すると、単焦点レンズを切り替えたことによる解像度の改善効果が小さくなる。このため、単焦点レンズの切り替えに起因する画像への影響が撮影者に分からない範囲内で、許容ラインの傾斜はできるだけ大きめに設定される。
【００４０】
本実施形態によれば、撮像ユニットのズーム倍率を切り替えた直後にフィルタリング係数を大きくして擬似的に解像度を下げることで、単焦点レンズの切り替えに伴う解像度の急激な変化を抑えることができる。本実施形態では、単焦点レンズを切り替える際、切り替え前後で解像度が同等となるように画像信号に対してフィルタリング処理が行われる。よって単焦点レンズの切り替え前後において、画像切り出しライン数が急激に変化することによる解像度の急激な変化を抑制できる。また、単焦点レンズの切り替え後に、徐々にフィルタリング係数を変更前の値に戻す制御を行うことで、解像度の変化を画像上で見え難くすることができる。
【００４１】
［第２実施形態］
次に、本発明の第２実施形態に係る撮像装置について説明する。本実施形態と第１実施形態との相違点は、複数のズーム速度でズーム制御が可能であることである。例えば、３種類のズーム速度として、速度値が大きい順に速度Ａ、速度Ｂ、速度Ｃとする。なお、本実施形態にて第１実施形態と同様の構成要素については既に使用した符号を用いることにより、それらの詳細な説明を省略する。
【００４２】
本実施形態のシステム構成においては、図２に示すズーム変更部５の指示に従ってズーム速度を段階的に変更可能である。また、システム制御部６は、ズーム変更部５からの指示情報に基づいてズーム速度を判定する。つまり、速度Ａ、速度Ｂ、速度Ｃのうち、いずれかがズーム速度として判定される。記憶部７は、各焦点距離におけるフィルタリング係数を、ズーム速度（Ａ，Ｂ，Ｃ）ごとに３種類のデータ群として記憶している。
【００４３】
図１０を参照して、本実施形態におけるズーム制御を説明する。なお、単焦点レンズのズーム倍率や切り出しライン数の制御については第１実施形態の場合と同じであるため、それらの説明を省略し、相違点を説明する。
【００４４】
本実施形態では、撮像ユニットを切り替えた後において、ズーム速度に応じてフィルタリング係数を変更する処理が行われる。フィルタリング係数を２．０の状態から１．０（フィルタリング無し）の状態へ戻すまでの焦点距離は、ズーム速度が大きいほど長くなるように設定される。その理由は、ズーム速度が大きい場合に焦点距離の変化が速いため、単位時間当たりのライン数の変化量が大きくなるので、解像度の変化が顕著に現れやすいからである。そのため、図１１に示すように、単位時間当たりのライン数の変化量が、所定の許容ライン以下となるように、焦点距離ごとのフィルタリング係数が設定される。図１１の横軸は時間軸であり、経過時間を示す。縦軸はライン数の変化量を表しており、この例では１秒間当たり１０８０ライン以下の範囲（点線で示す斜線部）が許容範囲として設定されている。
【００４５】
本実施形態では、ズーム速度を可変制御するシステムにおいて、単位時間当たりのライン数の変化量を一定値以下に制限する。ズーム速度に応じて異なるフィルタリング係数を適用することにより、各ズーム速度において解像度の急激な変化を抑えることができる。したがって、単焦点レンズの切り替え後における解像度の変化が、いずれのズーム速度でも適正化される。
【符号の説明】
【００４６】
１‥‥撮像部
３‥‥画像処理部
５‥‥ズーム変更部
６‥‥システム制御部
７‥‥ズーム制御方法記憶部
８‥‥ズーム制御部
９‥‥撮像ユニット選択部
１０‥‥切り出し領域変更部
【図１】
2016034076.tif 000003
【図２】
2016034076.tif 000004
【図３】
2016034076.tif 000005
【図４】
2016034076.tif 000006
【図５】
2016034076.tif 000007
【図６】
2016034076.tif 000008
【図７】
2016034076.tif 000009
【図８】
2016034076.tif 000010
【図９】
2016034076.tif 000011
【図１０】
2016034076.tif 000012
【図１１】
2016034076.tif 000013