(57)【要約】【課題】ズーム操作およびパース操作が可能な撮像装置であって、該撮像装置の小型化やコストダウンに有利な撮像装置を提供すること。【解決手段】視点の異なる複数の撮像部（１０１，１０２）と、合焦動作の開始を指示するための指示手段（１０６ｂ）と、画面内の特定被写体の倍率を変更する第１の操作、または、前記特定被写体の倍率を一定に保ちつつ該特定被写体までの距離を変更する第２の操作、を行うための操作部材（１０６ａ）と、前記指示手段からの指示前は、前記操作部材が操作されることにより前記第１の操作および前記第２の操作のうち一方の操作が実行されるように制御し、前記指示手段からの指示後は、前記操作部材が操作されることにより前記第１の操作および前記第２の操作のうち他方の操作が実行されるように制御する制御手段（１０７）と、を有することを特徴とする。【選択図】  図３
2015156595.tif 000002
【特許請求の範囲】
【請求項１】
視点の異なる複数の撮像部と、
合焦動作の開始を指示するための指示手段と、
画面内の特定被写体の倍率を変更する第１の操作、または、前記特定被写体の倍率を一定に保ちつつ該特定被写体までの距離を変更する第２の操作、を行うための操作部材と、
前記指示手段からの指示前は、前記操作部材が操作されることにより前記第１の操作および前記第２の操作のうち一方の操作が実行されるように制御し、
前記指示手段からの指示後は、前記操作部材が操作されることにより前記第１の操作および前記第２の操作のうち他方の操作が実行されるように制御する制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記複数の撮像部は、焦点距離が可変な光学系を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記複数の撮像部は、焦点距離の異なる複数の光学系を有し、
前記複数の撮像部から得られる複数の視差画像の拡大縮小処理を行う画像処理手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記複数の撮像部から得られる複数の視差画像を合成する画像合成手段を有し、
前記画像合成手段は、前記視差画像に対し視点ごとにシフト量を与えた画像合成を行い、前記特定被写体までの距離を変更した画像を生成することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
【請求項５】
前記画像合成手段が合成した合成画像を記録する記録手段を有することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記指示手段からの指示により、被写体距離の測距を行う測距手段を有することを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
【請求項７】
前記操作部材は、ボタンスイッチであることを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
【請求項８】
前記操作部材は、タッチセンサーであることを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
【請求項９】
視点の異なる複数の撮像部と、合焦動作の開始を指示するための指示手段と、画面内の特定被写体の倍率を変更する第１の操作、または、前記特定被写体の倍率を一定に保ちつつ該特定被写体までの距離を変更する第２の操作、を行うための操作部材と、を有する撮像装置の制御方法であって、
前記指示手段からの指示前は、前記操作部材が操作されることにより前記第１の操作および前記第２の操作のうち一方の操作が実行されるように制御する第１の制御ステップと、
前記指示手段からの指示後は、前記操作部材が操作されることにより前記第１の操作および前記第２の操作のうち他方の操作が実行されるように制御する第２の制御ステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項１０】
請求項９に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１１】
コンピュータに、請求項９に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ズーム操作およびパース操作が可能な撮像装置に関する。
【背景技術】
【０００２】
従来、カメラ撮影において、被写体距離および焦点距離を変更することで、主被写体と背景の映り込む画角の関係を変更する、いわゆるパース変更という操作が知られている。例えば、映画撮影などでは、パース変更撮影技法という技法が知られている。これは、カメラをレール上に乗せて移動することで主被写体までの距離（被写体距離）を変化させ、同時にレンズ焦点距離を変更し、主被写体の撮影画像内での大きさをそのままに背景の映り込みを連続的に変更させる技法である。
【０００３】
近年、被写体空間の光の２次元強度分布と光線の角度情報、つまり視点の異なる画像を同時に取得した視差画像を撮影する撮像装置が開示されている。視差画像を取得することで被写体空間の３次元的な情報を得ることができる。この視差画像に対し、画像処理を施すことで撮影後に被写体距離を変更した仮想視点での画像合成が可能である（特許文献１）。この特許文献１の技術により、従来、カメラの位置を変えながら行ってきたパース変更が、撮影後の画像合成処理により可能となっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２００８／０１３０１９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の様に撮影後に被写体距離変更を行う技術では、撮影時にパース変更後の画像を把握しながら撮影することは難しい。パース操作を行うための操作部を別途設けてインタラクティブにパースを変更した画像を合成し、表示部へと表示しながらエイミングするとしても、操作部が追加されることで撮像装置の大型化やコストアップに繋がる。多視点の視差像から被写体空間の情報を取得可能な撮像装置でも、ズーム操作やフォーカス操作は従来通りに行うため、操作部が増えて操作が煩雑となることは好ましくない。
【０００６】
そのため、本発明では、ズーム操作およびパース操作が可能な撮像装置であって、該撮像装置の小型化やコストダウンに有利な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての撮像装置は、視点の異なる複数の撮像部と、合焦動作の開始を指示するための指示手段と、画面内の特定被写体の倍率を変更する第１の操作、または、前記特定被写体の倍率を一定に保ちつつ該特定被写体までの距離を変更する第２の操作、を行うための操作部材と、前記指示手段からの指示前は、前記操作部材が操作されることにより前記第１の操作および前記第２の操作のうち一方の操作が実行されるように制御し、前記指示手段からの指示後は、前記操作部材が操作されることにより前記第１の操作および前記第２の操作のうち他方の操作が実行されるように制御する制御手段と、を有することを特徴とする。
【０００８】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【０００９】
本発明によれば、ズーム操作およびパース操作が可能な撮像装置であって、該撮像装置の小型化やコストダウンに有利な撮像装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の撮像装置のシステム構成を説明するブロック図である。
【図２】実施例１の撮像装置の外観図である。
【図３】本発明の静止画撮影の流れを示すフローチャートである。
【図４】本発明の動画撮影の流れを説明するフローチャートである。
【図５】本発明の記録画像のイメージを説明する図である。
【図６】視差画像取得概念および画像合成を説明する図である。
【図７】パース操作時の仮想視点位置、焦点距離、画角の関係を説明する図である。
【図８】操作に応じた表示画像の変化を説明する図である。
【図９】実施例２の撮像装置のシステム構成を説明するブロック図である。
【図１０】実施例２の撮像装置の外観図である。
【図１１】ズームおよびパース変更時の撮影画像イメージを説明する図である。
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１２】
図１から図１１を参照して、本発明の実施例１における撮像装置、および該撮像装置に含まれる画像処理装置および再生装置について説明する。
【００１３】
まず、図１１を用いて本発明の要部であるズーム変更およびパース変更をした時の、撮影画像イメージについて説明する。
【００１４】
図１１（ａ）はズーム変更による画像の変化を示している。１４５は主被写体を、１４８は主被写体の後方に位置する背景被写体を、１４７はエイミング画像の枠を示している。一般的な投影方式のレンズにおいて、ズーム操作を行うと画像中の被写体は光軸を中心として画像全面で略一律の倍率で拡大縮小する。拡大縮小の倍率は被写体距離によらない。望遠から広角へとズーム操作を行うことで、エイミング枠は１４７Ａ、１４７Ｂ、１４７Ｃへと変化する。画像１４７Ａから広角側の画像１４７Ｂへのズーム操作では、主被写体は１４５Ａから１４５Ｂへ、背景被写体は１４８Ａから１４８Ｂへと一律に縮小する。よって、エイミング枠１４７Ｃで取得した画像の中央部分をクリッピングして、エイミング枠１４７Ａで取得した画像の同様画角を得ることができる。
【００１５】
図１１（ｂ）はパース変更による画像の変化を示している。パース変更を行うと主被写体１４５と背景被写体１４８は異なる比率で拡大縮小する。従来のパース操作は被写体距離の変更と焦点距離の変更で行われる。もともとの被写体距離が異なる主被写体１４５と背景被写体１４８とでは、被写体距離の変化による見込み角度の変化量が異なる。そのため、例えば図１１（ｂ）の様に主被写体１４５の倍率が変化しないように、被写体距離とレンズの焦点距離の調節を行うと、背景被写体１４８のみ倍率が変化することになる。主被写体距離が遠くレンズが望遠の状態から、主被写体距離が近くレンズが広角の状態へとパース操作を行うことで、エイミング枠は１４７Ｄ、１４７Ｅ、１４７Ｆへと変化する。この時、主被写体１４５の倍率には変化がないが、背景被写体は１４８Ｄから１４８Ｆへと縮小する。図１１（ｂ）においては、エイミング枠が１４７Ｄから１４７Ｆへと変化するようにパース操作することで、背景被写体１４８のエイミング枠１４７への映り込みを変化させることができる。エイミング枠１４７Ｄでは、背景被写体１４８Ｄは一部しかエイミング枠に含まれていないが、エイミング枠１４７Ｆでは、背景被写体１４８Ｆのほぼ全体がエイミング枠に含まれる状態になっている。以上から、エイミング枠１４７Ｆで取得した画像の中央部分をクリッピングして、エイミング枠１４７Ａで取得した画像の同様画角を得ることはできない。
【００１６】
視差画像を取得可能な撮像装置においては、撮影者が被写体方向に移動することなく、撮影時もしくは撮影後の画像処理により、被写体距離を変更することができる。そのため、焦点距離の変更と被写体距離を変更する画像合成とを連動させて行うことで、撮影者が移動することなく、撮影時もしくは撮影後にパース操作を行うことが可能である。本発明では、この視差画像が取得可能な撮像装置において、撮影時のズーム変更およびパース変更を簡便な操作で両立することを目的としている。換言すれば、ズーム操作およびパース操作が可能な撮像装置であって、該撮像装置の小型化やコストダウンに有利な撮像装置を提供する。
【００１７】
図１に示すのは、本発明の実施例１における撮像装置のシステム構成を示すブロック図である。
【００１８】
１００は本発明の撮像装置であるカメラを示す。１０１ａ、１０１ｂ、１０１ｃはそれぞれ焦点距離の変更が可能な（いわゆる光学ズームの可能な）結像光学系であり、結像光学系群１０１を構成する。１０２ａ、１０２ｂ、１０２ｃは複数の結像光学系１０１ａ，１０１ｂ、１０１ｃのそれぞれから導かれる光線を光電変換する撮像素子であり、複数の撮像素子１０２を構成する。ただし、本発明の撮像素子は複数でなくてもよく、各結像光学系１０１ａ〜１０１ｃによって形成される像を取得できるならば単数でもよい。各撮像素子１０２ａ，１０２ｂ，１０２ｃはそれぞれ複数の画素を有している。複数の結像光学系１０１および複数の撮像素子１０２により、視点の異なる複数の撮像部が構成される。１０３は結像光学系群１０１ａ〜ｃに含まれるズームレンズを駆動し、焦点距離を変化させるレンズ駆動部を示している。レンズ駆動部１０３はズーム駆動以外にも、フォーカスレンズを駆動し被写体へとフォーカスを合わせるフォーカス駆動などのレンズ駆動も行う。本実施例では、複数の結像光学系は一律に焦点距離変更の駆動が行われることとする。これら結像光学系群１０１、複数の撮像素子１０２、レンズ駆動部１０３、により視差画像を生成する視差画像生成手段が構成される。１０４は画像合成手段である画像処理部であり、取得した視差画像に対し視点ごとにシフト量を与えて合成した画像合成を行い、被写体距離を変更した仮想視点での画像を生成することができる。１０５は画像表示手段である画像表示部を示し、画像処理部１０４で生成された生成画像（合成画像）を表示する。１０６は操作部を示す。操作部は後述するズーム操作とパース操作の切り替えタイミングを決めるタイミング決定手段およびズーム操作とパース操作を切り替えて操作可能な操作部材を含む。１０７は、カメラシステム全体の制御を行うカメラシステム制御部（制御手段）であり、レンズ駆動部へと指示を送り、制御を行う焦点距離制御手段も兼ねる。また、カメラシステム制御部１０７は、結像光学系群１０１、複数の撮像素子１０２、画像処理部１０４と併せて、画像処理部１０４より送られてきた視差画像を用いて被写体の測距を行う測距手段を構成する。測距の方法は本発明の要部ではないため、詳細は割愛するが、２つ以上の異なる視点の画像について像ずれ量を評価するいわゆる位相差方式や、視点ごとにシフト量をあたえた合成画像のコントラストを評価するいわゆるコントラスト方式などで行う。これら測距方式により、画像の定めた領域内の被写体について測距が行われる。１０８は取得した画像を記憶するメモリ部である。
【００１９】
図２は本発明の実施例１における撮像装置であるカメラ１００の外観図である。
【００２０】
図２（ａ）はカメラ１００の前面を示す。カメラ１００の前面には光学ズームの可能な複数の光学系（結像光学系群）１０１が配置されている。１０６ａは操作部の１つであり、操作部材であるところの回転リング入力部であり、矢印１２０の方向に回転操作入力が可能である。この回転リング入力部１０６ａを回転させることで、ズーム操作が行え、後述するスイッチＳ１のタイミングで、パース操作へと切り替えて操作が可能である。１０６ｂは操作部の１つで自動復帰型の押しボタンスイッチであり、ズーム操作とパース操作の切り替えタイミングを決めるタイミング決定手段（指示手段）である。押しボタンスイッチ１０６ｂは指などで操作され、軽く押し込むことでスイッチＳ１がＯＮとなり、完全に押し込むことでスイッチＳ２がＯＮとなる。押し込む指を離すと押し込む前の状態へと復帰し、スイッチＳ１、スイッチＳ２のそれぞれはＯＦＦとなる。スイッチＳ１のＯＮにより、合焦動作の開始を指示したり、ズーム操作とパース操作の切り替えタイミングを決定する。スイッチＳ２のＯＮにより、静止画の撮像や動画撮影の開始と終了を行う。
【００２１】
図２（ｂ）はカメラ１００の背面を示す。１０５は操作部の１つであるタッチセンター１０６ｃを表面に配した画像表示手段であるところの表示部であり、本実施例ではフラットパネルディスプレイで構成される。フラットパネルディスプレイ１０５は、後述するズーム操作およびパース操作による変化する画像を随時表示画像として更新することで、操作に対してインタラクティブな表示を可能にする。タッチセンサー１０６ｃは１本の指で触れて離す１本タッチ入力や、図２（ｃ）で示すように、２本の指で触れて表面を矢印１２１のように滑らせるピンチ入力などを受けつける。
【００２２】
ここまで述べたのは好適な操作方法の例であるが、他の例も考えられる。例えば、前述した押しボタンスイッチ１０６ｂによるパース操作とズーム操作の切り替えは、タッチセンサー１０６ｃ（指示手段）への入力で行ってもよい。また、前述した回転リング入力部１０６ａによるパース操作やズーム操作の入力を、タッチセンサー１０６ｃ（操作部材）上で図２（ｃ）に示すピンチ操作により行ってもよい。これらの方法においても、撮像装置の大型化とコストアップを抑えながら、簡便な操作が実現できる。
【００２３】
図３は、本発明の静止画撮影の流れを示すフローチャートである。
【００２４】
電源ＯＮとともにフローチャートの処理がスタートする。まず、ステップＳ１０１において初期設定の読み出しを行う。ここでは、現在の結像光学系群１０１の焦点距離を読み込み、例えば視差画像のそれぞれの視点に対してシフト量を与えない場合の仮想視点位置を初期値として読み込む。
【００２５】
次に、ステップＳ１０２でスイッチＳ１がＯＮかどうかの条件分岐を行う。ここで、スイッチＳ１がＯＮとなるタイミングは、前述したようにタイミング決定手段であるところの操作部１０６ｂへの入力で決定される。
【００２６】
スイッチＳ１がＯＮの場合、ステップＳ１０３へと進み、オートフォーカス処理が行われる。オートフォーカス処理では、前述した測距手段の検出結果をフォーカスレンズの駆動量へと変換し、フォーカスレンズを駆動することにより、画像の定めた領域内の被写体へとピントを合わせる。
【００２７】
ステップＳ１０４では、パース変更禁止モードであるかどうかの条件分岐を行う。パース変更禁止モードの設定は、不図示の入力操作により行う。詳細は後述する。
【００２８】
パース変更禁止モードである場合には、続くステップＳ１０５およびステップＳ１０６が飛ばされる。
【００２９】
パース変更禁止モードでない場合には、ステップＳ１０５へと進み、基準被写体の決定が行われる。基準被写体（特定被写体）はパース変更時に像倍率を変化させない被写体であり、パース操作の際に決めておく必要がある。ステップＳ１０５の時点では、撮影者の操作により、画像の定めた領域内の被写体（特定被写体）へとピントが合っている。そのため、このピントがあった被写体を基準被写体（特定被写体）に定めると都合がよい。また、パース操作への切り替えを行うタイミングとして、基準被写体に適した被写体が決められるオートフォーカスのタイミングは好適である。
【００３０】
次に、ステップＳ１０６にてパース処理フラグをＯＮにする。このパース処理フラグにより、後に続くステップでの条件分岐において、操作部材への入力がズーム操作とパース操作へと振り分けられる。
【００３１】
ステップＳ１０２の条件分岐まで戻り、スイッチＳ１がＯＮではない場合を説明する。スイッチＳ１がＯＮではない場合、ステップＳ１０７へと進む。ステップＳ１０７では、パース処理フラグがＯＮになったままの場合のためにパース処理フラグがＯＦＦに戻される。
【００３２】
次にステップＳ１０８へと進む。ステップＳ１０８では、操作部材であるところの回転リング入力部１０６ａへと入力があるかどうかの条件分岐が行われる。操作部材への入力がある場合にはステップＳ１０９へと進む。
【００３３】
ステップＳ１０９では、前述のパース処理フラグがＯＮかどうかの条件分岐が行われる。パース処理フラグに基づいて操作部材への入力を、ズーム変更の指示操作とするステップＳ１１０、もしくはパース変更の指示操作とするステップＳ１１１、へと切り替える。ステップＳ１０６にてパース処理フラグがＯＮになったタイミングにおいて、ステップＳ１０９の条件が切り替わる。そのため、タイミング決定手段にて決定したタイミングにおいて、操作部材への入力がズーム変更処理とパース変更処理とに切り替えられることになる。
【００３４】
パース処理フラグがＯＦＦの場合のステップＳ１１０では、ズーム変更処理が行われる。ズーム変更処理は焦点距離の変更であり、操作部材への入力は焦点距離制御手段への指示操作に振り分けられる。本実施例において焦点距離の変更は、前述したようにズームレンズが駆動されることで行われる。
【００３５】
パース変更フラグがＯＮの場合のステップＳ１１１では、パース変更処理が行われる。詳しくは後述するが、パース変更処理は焦点距離の変更と被写体距離を変更する画像合成を連動させて行われる。そのため、操作部材への入力は、焦点距離制御手段と画像合成手段とを連動させた指示操作に振り分けられる。連動操作に従った焦点距離の変更が行われ、後述する被写体距離の変更を行うための視差画像の視差ごとのシフト量情報が生成される。続くステップにおいて、この情報に基づいて画像合成が行われる。この画像合成によりパース変更が完了する。
【００３６】
次に、ステップＳ１１２にて、ステップＳ１１０およびステップＳ１１１での変更処理に基づいた、画像合成が行われる。ステップＳ１１１に基づいたパース変更処理は前述の通りである。本実施例においてはズームレンズを駆動させることでズーム変更を行うために、ステップＳ１１０に基づいた画像合成の必要はない。しかし、結像光学系群を構成するレンズが焦点距離の変更のできない単焦点レンズである場合には、画像の拡大縮小処理によりズーム変更を行うことが考えらえる。この場合には、ステップＳ１１０により画像の拡大縮小量を決定し、ステップＳ１１２にて画像合成を行えばよい。
【００３７】
次にステップＳ１１３において画像表示手段に表示する画像の更新を行う。ここで更新される画像は、ステップＳ１１２で合成した画像である。表示画像が更新されることで、図２におけるフラットパネルディスプレイで構成される表示部１０５へと表示される画像が、操作部材への入力にしたがいインタラクティブに変更されることになる。また、操作部材への入力がなくステップＳ１０８の条件分岐がＮＯの場合にも、撮影者や被写体が動くことなどによる画像の変化が反映されるよう、ステップＳ１１３にて表示画像が更新される。
【００３８】
次に、ステップＳ１１４でスイッチＳ２がＯＮかどうかの条件分岐を行う。スイッチＳ２のＯＮは前述したように操作部１０６ｂを完全に押し込むことで行われる。
【００３９】
ステップＳ１１４がＯＮの場合にはステップＳ１１５へと進む。
【００４０】
ステップＳ１１５では、撮影を行う。
【００４１】
次にステップＳ１１６において、撮影した画像の記録を行う。画像記録の詳細は、図５を用いて後述する。
【００４２】
ステップＳ１１４においてスイッチＳ２がＯＮでない場合には、ステップＳ１１５およびステップＳ１１６が飛ばされる。
【００４３】
次にステップＳ１１７おいて、電源がＯＦＦかどうかの条件分岐を行う。
【００４４】
電源がＯＦＦにされていなければ、ステップＳ１０２の直前までステップが戻り、フローチャートのメイン部分が繰り返される。これにより、電源がＯＮの間は、回転リング入力部１０６ａや押しボタンスイッチ１０６ｂへの入力に従い、フローチャートに沿った画像合成と画像表示がインタラクティブに実行されることになる。
【００４５】
電源がＯＦＦにされていれば、フローチャートは終了される。
【００４６】
以上の制御フローチャートにより、撮影時にズーム操作およびパース操作を切り替えながらエイミング操作を行うことが可能になる。
【００４７】
また、本実施例では好適な例として、ズーム操作からパース操作の切り替えを示したが、使用者の設定によりパース操作からズーム操作への切り替えへと変更できるようにしてもよい。その場合、基準被写体を決定するステップを別に設定する必要があるが、例えばステップＳ１０１の初期設定の読み込みでピントを合わせる画像内の特定位置も同時に読み込み、特定位置に位置する被写体を基準被写体とするなどしてもよい。
【００４８】
また撮影者によっては、ズーム操作を行い被写体へとピントを合わせ、その後更にズーム操作を行いたい場合も考えられる。そのため、使用者の設定でズーム操作からパース操作へと切り替わらないパース変更禁止モードが選べるようにしてもよい。例えば、フラットパネルディスプレイ１０５上のタッチセンサー１０６ｃへの入力などに操作部を割り振ることが考えられる。パース変更禁止モードでは、前述したようにパース処理フラグをＯＮにするステップＳ１０６が飛ばされるため、パース処理のステップへと進むことはない。
【００４９】
図４は本件の動画撮影の流れを示すフローチャートである。多くのステップは図３にて示した静止画撮影のフローチャートと共通しているため、共通のフローに関しては同じ符号を付し、相違点のみを説明する。
【００５０】
動画の撮影ではスイッチＳ２に基づく撮影開始動画が静止画の撮影フローチャートと異なる。
【００５１】
ステップＳ２１４においてスイッチＳ２がＯＮかどうかの条件分岐を行う。スイッチＳ２がＯＮの場合には、ステップＳ２１５へと進む。
【００５２】
スイッチＳ２１５では、既に動画撮影中であるかどうかの条件分岐を行う。動画撮影中であれば（ステップＳ２１５のＹｅｓ）動画撮影を終了するステップＳ２１７へと進み、動画撮影中でなければ（ステップＳ２１５のＮｏ）動画撮影を開始するステップＳ２１６へと進む。
【００５３】
ステップＳ２１４において、スイッチＳ２がＯＮでない場合には、ステップＳ２１５、Ｓ２１６、Ｓ２１７が飛ばされる。
【００５４】
次に、ステップＳ２１８において、再度、動画撮影中かどうかの条件分岐が行われる。動画撮影中であれば、ステップＳ２１９において画像の記録が行われ、動画撮影中でなければ画像の記録は行われない。
【００５５】
以上、図４の制御フローチャートにより、ズーム操作およびパース操作を切り替えながらの動画撮影が可能になる。
【００５６】
図５を用いて、本発明の記録画像のイメージを説明する。図５（ａ）は静止画の場合、図５（ｂ）は動画の場合を示す。
【００５７】
静止画の場合から説明する。３０１は複数の撮像素子１０２に取得される全画像を示している。それに対して、３０２は仮想視点において合成された合成画像を示している。後述するが、合成画像３０２は複数の撮像素子１０２で取得された画像の画角や焦点距離などの撮影条件と、仮想視点位置などの画像合成条件によって決定される。これら撮像条件と画像合成条件の組み合わせにより様々な合成画像３０２を得ることが可能であるが、従来においてはどの様な合成画像３０２が最終的に得られるかが撮影後の合成を行うまでわからなかった。本発明では、操作に応じてインタラクティブに画像を合成し、表示部へと表示することで、撮影時に合成画像３０２を撮影者が把握することができる。
【００５８】
得られる合成画像３０２が撮影時に把握できていない場合には、画像３０１全てを記録する必要がある。しかし、配置される結像光学系群１０１および複数の撮像素子１０２の数が多い場合、全画像３０１の記録容量が大きくなってしまう。一方で、本発明では撮影時に画像が所望のものであるかを確認しながら撮影することができる。そのため、撮影者の所望の画像である合成画像３０２のみをメモリ部１０８へ記録することで、記録画像の容量を小さく抑えることができる。
【００５９】
さらには、合成画像３０２のみを取得すべく、撮像素子１０２から取得する信号を限定することもできる。その際には、信号処理や画像処理にかかる電力を削減できる。
【００６０】
次に動画の場合を説明する。３０１ａ〜３０１ｃは時系列に取得される全画像を示している。３０２ａ〜３０２ｃは合成画像を時系列に示している。動画撮影の場合には、記録容量の大きい全画像３０１ａを、時系列に３０１ｂ、３０１ｃ、と全て記録すると、静止画に比してさらに大きな記録容量となる。そのため、動画においては撮影時に表示部１０５にて確認した合成画像３０２のみを記録するのがより好ましい。
【００６１】
図６を用いて、本発明の光学系群を用いた視差画像の取得の概念について説明する。また、画像合成手段によるシフト量を与えた画像合成と、被写体距離の関係についても説明する。
【００６２】
図６（ａ）では、上面または側面からみた光線を模式的に示している。ここでの説明は上面と側面のどちらから見ても成り立つ。１０１は複数の結合光学系であり、１０２は複数の撮像素子である。１４０は各撮像素子が備える画素を示している。ここでは、説明をわかり易くするために、分割数を粗く５分割にしている。１４３は結像光学系にそれぞれの角度で入射する主光線を示している。実線にて示した主光線１４３は、複数の結像光学系１０１の中心に位置する撮像光学系へと入射し、複数の撮像素子１０２のうち対応する撮像素子の５つの画素１４０のそれぞれに入射している。この光線１４３と、画素１４０の関係がそれぞれの結像光学系、撮像素子について成り立っている。
【００６３】
次に、複数の撮像素子１０２の間での、光線と画素１４０の関係を、図６（ｂ）を用いて説明する。
【００６４】
図６（ｂ）では、それぞれの撮像素子において着目する画素をシフトさせる。中心に位置する撮像素子については中心に位置する画素１４０ｉ−３に、中心から１つ上の撮像素子については中心から１つ上にシフトした画素１４０ｈ−２に、さらに１つ上の撮像素子についてはさらに１つ上のシフトした画素１４０ｇ−１にそれぞれ着目する。中心から下に位置する撮像素子についても同様のルールでシフトした画素に、それぞれ着目する。これら着目する画素へと入射している主光線を実線にて示した。この時、これら複数の主光線は一点で交わっている。今、この主光線の交わる点に仮想的な結像光学系１０１ｘを置くことを考える。すると、これら異なる撮像素子へと入射する主光線は、１０１ｘの位置に結像光学系があるときに結像光学系に入射する主光線と一致していることがわかる。つまり、これらの主光線が入射する着目画素で取得される信号を用いて、１０１ｘに位置する結像光学系が撮像素子１０２ｘを有する時に取得される画像を仮想的に生成することができる。図６（ｂ）では、像高ごとに異なる撮像素子の画素に異なるシフト量を与え、１４０ｇ−１、１４０ｈ−２、１４０ｉ−３、１４０ｊ−４、１４０ｋ−５、と上から順に並べ合成する。そうすることで、撮像素子１０２ｘの有する素子１４０ｘにて取得される信号を生成することができる。
【００６５】
異なる結像光学系は、異なる視点である。複数の結像光学系１０１全体で取得した視差画像について、像高ごとに、異なる視点へと異なるシフト量を与え合成することで、仮想視点での画像合成が可能なことがわかる。また、図６（ｂ）に示した例において、仮想の結像光学系１０１ｘは、実際の結像光学系１０１に対し光軸方向にずれており、これは被写体距離を変更することに相当している。
【００６６】
前述の例では、視点（撮像素子）が中心から１つずれるたびに、着目画素を１つ上へとシフトした。ここで、視点（撮像素子）を１つ上へとずらした時に、着目画素を２つ上へとシフトすることを考える。この時、着目画素は１４０ｈ−１となる。１４０ｈ−１へと入射する主光線１４３ｙは、１４０ｈ−２へと入射する主光線より急な角度で結像光学系へと入射しており、前述の例と同様に仮想視点を考えると１０１ｙになり、変更される被写体距離が異なっている。この例からわかるように、視点ごとの合成時のシフト量を変えることで、仮想視点の位置を変更し、仮想視点における被写体距離を変更することができる。
【００６７】
図６では、説明の簡単のために画素数を５つと粗い分割にしている。そのため、設定できる仮想視点の位置が飛び飛びであるが、一般的な撮像素子が有する画素数においてはより細かいピッチで仮想視点位置の設定ができ、焦点距離の変更も細かく行うことができる。
【００６８】
本発明では、この関係に基づいて取得した視差画像の視差ごとにシフト量を与え、被写距離を変更した仮想視点での画像合成を行う。そして、焦点距離の変更と連動させることでパース変更を行う。
【００６９】
図７を用いて、パース操作を行った際の、被写体距離と焦点距離、画角の関係について説明する。
【００７０】
図７において、１０１が視差画像を取得する光学系群であり、１４５が主被写体、１４８が主被写体後方に位置する背景被写体である。１４９は主被写体１４５と背景被写体１４８との間隔（距離）である。図６を用いての説明の通り、取得した視差画像から仮想的に被写体距離を変更した合成が可能である。図７（ａ）における１４０ａの位置や、図７（ｂ）における１４０ｂの位置は設定される被写体距離における仮想視点の位置を示す。１４６ａ、１４６ｂはそれぞれの被写体距離であり、１４６ａが１４６ｂより短い。１４１ａ、１４１ｂはそれぞれの被写体距離にて取得する光線の角度を示した。ここで示した光線の角度は、結像光学系のズームレンズ駆動にともなう焦点距離の変化よって変化する。１４７はそれぞれの被写体距離にて入射する光線の、主被写体１４５の位置における幅を示している。図７（ａ）から図７（ｂ）への操作はパース操作であり、１４０ａ、１４０ｂのそれぞれの被写体距離で取得される画像において、主被写体１４５の倍率が変わらないように調整する必要がある。そのため、被写体距離を変更する場合には焦点距離の変更も連動して行い、図７（ａ）から図７（ｂ）への操作で光線の幅１４７が等しく保たれる様にする。この様に、主被写体１４５の倍率を変更せずに被写体距離を変更した時に、背景被写体１４８は図７（ａ）の様に全体が角度１４１ａに含まれた状態から、図７（ｂ）の様に一部しか角度１４１ｂに含まれない状態に変化する。この時、図７（ａ）の被写体距離１４６ａの位置にて取得される画像イメージは図７（ｃ）の様になる。また、図７（ｂ）の被写体距離１４６ｂの位置にて取得される画像イメージは図７（ｄ）の様になる。この様にして、被写体距離の変更と焦点距離の変更を、被写体倍率が等しく保たれるように連動して行うことで、パース変更が実現される。
【００７１】
また、図７の説明で光線の角度は焦点距離の変化によって変化すると述べたが、画像を拡大縮小することで画角を変更しても、光線の角度を変化することになる。そのため、焦点距離が可変でない結像光学系で構成されるシステムにおいては、焦点距離を変更するかわりに画像の拡大縮小を行ってもよい。
【００７２】
次に図８を用いて、操作に応じた表示画像の変化について説明する。
【００７３】
図８において、１４５および１４８はこれまでと同様に、主被写体と背景被写体を示している。１４７はズーム操作、パース操作を行った際のそれぞれの状態における取得画像を示している。なお、１６０はピントが合わせられる画像の定めた領域を示す。
【００７４】
まず、スイッチＳ１をＯＮにする前（指示手段の指示前）の操作について、画像１４７Ａ、１４７Ｂ、１４７Ｃを用いて説明する。スイッチＳ１をＯＮする前は、ズーム操作（上述した画面内の特定被写体の倍率を変更する第１の操作）が行われる。ズーム操作を行うことで、画像は１４７Ａ、１４７Ｂ、１４７Ｃを操作に従って行ったり来たりと連続的に変化する。この時、主被写体（特定被写体）１４５および背景被写体１４８は一律に拡大、縮小している。
【００７５】
次にスイッチＳ１をＯＮにした後（指示手段の指示後）の操作について、画像１４７Ｄ、１４７Ｅ、１４７Ｆを用いて説明する。スイッチＳ１をＯＮにした後は、パース操作（上述した画面内の特定被写体の倍率を一定に保ちつつ該特定被写体までの被写体距離を変更する第２の操作）が行われる。ズーム操作時の表示画像が１４７Ａの状態であるときにスイッチＳ１がＯＮされると、操作前の初期の状態の画像は１４７Ｄとなる。パース操作を行うことで画像を１４７Ｄ、１４７Ｅ、１４７Ｆの間で連続的に変更できる。図に示すように主被写体（特定被写体）１４５の像倍率は変化せず、背景被写体１４８の画像中への映り込みが変化している。
【００７６】
なお、上述したように、本発明は、指示手段によりズーム操作からパース操作への切り替えを実行するのみに限定されず、これとは逆に、指示手段によりパース操作からズーム操作への切り替えを実行することもできる。つまり、本発明の制御手段は、指示手段からの指示前は、操作部材が操作されることにより上記第１の操作および上記第２の操作のうち一方の操作が実行されるように制御できるように構成されていてよい。また、指示手段からの指示後は、操作部材が操作されることにより上記第１の操作および上記第２の操作のうち他方の操作が実行されるように制御できるように構成されていてよい。
【００７７】
以上、構成を示した撮像装置により、多視点の視差像を取得可能な撮像装置の撮影時のパース操作の実現において、撮像装置の大型化とコストアップを抑えながら、簡便な操作が実現される。
【実施例２】
【００７８】
図９および図１０を参照して、本発明の実施例２における撮像装置、および該撮像装置に含まれる画像処理装置および再生装置について説明する。なお、実施例１と同様の構成要素については同様の番号を付与している。また、図を示していない部分については、共通する内容であるため説明を省いた。
【００７９】
図９に示すのは、本実施例の撮像装置のシステム構成を示すブロック図である。
【００８０】
図９のシステム構成が、図１のシステム構成と異なる点は、複数の光学系（結像光学系群）である。図１の結像光学系群１０１が複数の焦点距離の可変な結像光学系により構成されていたのに対し、図９の結像光学系群２０１は焦点距離の異なる複数の結像光学系により構成される。例えば、２０１ａ、２０１ｂ、２０１ｃに示す結像光学系群では、結像光学系２０１ａ、結像光学系２０１ｂ、結像光学系２０１ｃの順に焦点距離が長くなっている。結像光学系群２０１のそれぞれの焦点距離は異なっているが、異なる視点であり、視差画像生成手段を構成することができる。そのため、適宜、画像の拡大縮小などの焦点距離の違いを補正する処理を合わせることで、実施例１と同様に仮想視点での画像を合成することが可能である。
【００８１】
本実施例におけるズーム操作は、実施例１と同様の操作によりなされる。実施例１ではズーム操作が成された後に、レンズ駆動部１０３により結像光学系群１０１のズーム駆動が行われた。本実施例においては、異なる焦点距離の複数の結像光学系を有しているため、実際にレンズを動かさなくともズーム駆動に相当した画像の取得が可能である。本発明の要部ではないため詳細は割愛するが、例えばズーム操作に応じて、表示部１０５へと出力する画像を取得する撮像素子を１０２ａから１０２ｂへと変更するなどして行う。また、現実的なシステム構成においては、結像光学系群２０１の備える焦点距離は連続ではなく断続的になる。そのため、システムが備える焦点距離の間の焦点距離は、その焦点距離より短く、最も近い焦点距離の結像光学系を有する撮像素子の画像から、クリッピングすることで得るなどする。
【００８２】
図１０は実施例２における撮像装置であるカメラ１００の外観図である。
【００８３】
実施例１と異なる点は、結像光学系群２０１である。結像光学系群２０１に示した、Ａ〜Ｄは結像光学系の焦点距離を示している。図１０に示す本実施例の結像光学系２０１において、Ａ〜Ｄで示した結像光学系はそれぞれ複数（４つづつ）有する構成となっている。
【００８４】
以上、構成を示した撮像装置により、視差画像を取得可能な撮像装置の撮影時のパース操作の実現において、撮像装置の大型化とコストアップを抑えながら、簡便な操作が実現される。
【００８５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されたものではなく、その要旨の範囲内で様々な変形、及び変更が可能である。
【００８６】
また、上述の実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給する場合も本発明に含む。また、そのプログラムを該コンピュータに実行させる場合も本発明に含む。
【００８７】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００８８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００８９】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【００９０】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【産業上の利用可能性】
【００９１】
本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。
【符号の説明】
【００９２】
１００    カメラ
１０１    結像光学系
１０２    撮像素子
１０６    操作部
１０７    カメラシステム制御部
【図１】
2015156595.tif 000003
【図２】
2015156595.tif 000004
【図３】
2015156595.tif 000005
【図４】
2015156595.tif 000006
【図５】
2015156595.tif 000007
【図６】
2015156595.tif 000008
【図７】
2015156595.tif 000009
【図８】
2015156595.tif 000010
【図９】
2015156595.tif 000011
【図１０】
2015156595.tif 000012
【図１１】
2015156595.tif 000013