(57)【要約】  立体画像の撮像と共に測距を行えるようにする。そのために、撮像装置（１１０）は、開閉可能に構成された表示部（３３０）と、第１撮像部（３００）と、第１画像以上の画角と解像度を有する第２画像信号を出力する第２撮像部（３１０）と、第１画像信号に基づき第２画像信号から切り出し画像信号を生成する画角合わせ部（３２１）と、第１画像信号と切り出し画像信号とに基づき視差情報を生成する視差情報生成部（３２３）と、視差情報と第１画像信号とに基づき、第１画像信号に含まれる所定の被写体までの距離を算出する測距部（３２４）と、を備える。この撮像装置において、第２撮像部は、表示部の画像表示面の裏側に配置される。
2014141654.tif 000002
【特許請求の範囲】
【請求項１】
第１画像信号と、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号と、が入力され、前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成された画角合わせ部と、
前記第１画像信号と前記切り出し画像信号とに基づき視差情報を生成するように構成された視差情報生成部と、
前記視差情報と前記第１画像信号とに基づき、前記第１画像信号に含まれる所定の被写体までの距離を算出するように構成された測距部と、
を備える測距装置。
【請求項２】
前記第１画像信号の画素数と前記切り出し画像信号の画素数とをそれぞれ所定の画素数に縮小するように構成された縮小処理部をさらに備え、
前記視差情報生成部は、前記縮小の処理が施された前記第１画像信号と前記縮小の処理が施された前記切り出し画像信号とに基づいて前記視差情報を生成するように構成された、
請求項１に記載の測距装置。
【請求項３】
前記第１画像信号の画素数と前記切り出し画像信号の画素数とを比較し、画素数が小さい方の画像信号の画素数に基づき、画素数が大きい方の画像信号の画素数を縮小するように構成された画素数合わせ部、をさらに備え、
前記視差情報生成部は、前記画素数が小さい方の画像信号と、前記画素数合わせ部で画素数が縮小された画像信号と、に基づき前記視差情報を算出するように構成された、
請求項１に記載の測距装置。
【請求項４】
撮像画像を画像表示面に表示するように構成され、開閉可能に構成された表示部と、
第１画像を撮像して第１画像信号を出力するように構成された第１撮像部と、
前記第１画像以上の画角を有する第２画像を、前記第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部と、
前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成された画角合わせ部と、
前記第１画像信号と前記切り出し画像信号とに基づき視差情報を生成するように構成された視差情報生成部と、
前記視差情報と前記第１画像信号とに基づき、前記第１画像信号に含まれる所定の被写体までの距離を算出するように構成された測距部と、を備え、
前記第２撮像部を、前記表示部の前記画像表示面の裏側に配置した
撮像装置。
【請求項５】
前記視差情報に基づき前記第１画像信号から新第２画像信号を生成し、前記第１画像信号と前記新第２画像信号との少なくとも一方に基づく画像を前記画像表示面に表示するように構成された画像生成部、をさらに備え、
前記表示部は、使用者に触れられた位置を検出するように構成されたタッチパネルを前記画像表示面に有し、
前記測距部は、前記画像表示面に表示された前記画像において、前記タッチパネルが検出した前記位置に表示された被写体を前記所定の被写体として前記距離を算出するように構成され、
前記画像生成部は、前記画像に前記距離を表す数字を重畳して前記画像表示面に表示するように構成された
請求項４に記載の撮像装置。
【請求項６】
前記第１撮像部は、光学的なズーム機能を備えた第１光学部と、前記第１光学部を透過した光を電気信号に変換して前記第１画像信号を出力するように構成された第１撮像素子と、を備え、
前記第２撮像部は、前記第１光学部以上の画角を有する第２光学部と、前記第２光学部を透過した光を前記第１撮像素子よりも高い解像度で電気信号に変換して前記第２画像信号を出力するように構成された第２撮像素子と、を備え、
前記第２撮像部は、前記表示部を開いたときに、前記第１撮像部の撮像方向と実質的に同一方向を撮像できるように構成された
請求項４に記載の撮像装置。
【請求項７】
前記第１画像信号の画素数と前記切り出し画像信号の画素数とをそれぞれ所定の画素数に縮小するように構成された縮小処理部をさらに備え、
前記視差情報生成部は、前記縮小の処理が施された前記第１画像信号と前記縮小の処理が施された前記切り出し画像信号とに基づいて前記視差情報を生成するように構成された、
請求項４に記載の撮像装置。
【請求項８】
前記第１画像信号の画素数と前記切り出し画像信号の画素数とを比較し、画素数が小さい方の画像信号の画素数に基づき、画素数が大きい方の画像信号の画素数を縮小するように構成された画素数合わせ部、をさらに備え、
前記視差情報生成部は、前記画素数が小さい方の画像信号と、前記画素数合わせ部で画素数が縮小された画像信号と、に基づき前記視差情報を算出するように構成された、
請求項４に記載の撮像装置。
【請求項９】
第１画像信号に基づき、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号から、少なくとも一部を切り出して切り出し画像信号を生成し、
前記第１画像信号と前記切り出し画像信号とに基づき視差情報を生成し、
前記視差情報と前記第１画像信号とに基づき、前記第１画像信号に含まれる所定の被写体までの距離を算出する、
測距方法。
【請求項１０】
前記第１画像信号の画素数と前記切り出し画像信号の画素数とをそれぞれ所定の画素数に縮小し、
前記縮小の処理が施された前記第１画像信号と前記縮小の処理が施された前記切り出し画像信号とに基づいて前記視差情報を生成する、
請求項９に記載の測距方法。
【請求項１１】
前記第１画像信号の画素数と前記切り出し画像信号の画素数とを比較し、画素数が小さい方の画像信号の画素数に基づき、画素数が大きい方の画像信号の画素数を縮小し、
前記画素数が小さい方の画像信号と、前記画素数合わせ部で画素数が縮小された画像信号と、に基づき前記視差情報を算出する、
請求項９に記載の測距方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、主撮像部と従撮像部とを備え、３Ｄ画像を生成するデジタルカメラを開示する。このデジタルカメラは、主撮像部から得られる主画像信号と従撮像部から得られる従画像信号との間に生じる視差を抽出する。そして、抽出した視差に基づき、主画像信号から新たな従画像信号を生成し、主画像信号と新たな従画像信号とで３Ｄ画像を生成する。【０００３】
特許文献２は、左右の撮影倍率が異なった状態でステレオ撮影を行うことができるステレオカメラを開示する。このステレオカメラは、第１の画像データを生成する第１の撮像手段と、第１の画像データよりも画角が広い第２の画像データを生成する第２の撮像手段とを有する。そして、第２の画像データから、第１の画像データに対応する範囲を第３の画像データとして切り出し、第１の画像データと第３の画像データとでステレオ画像データを生成する。【０００４】
また、特許文献１、２は、主撮像部（第１の撮像手段）は光学ズーム機能を備え、従撮像部（第２の撮像手段）は光学ズーム機能を備えず電子ズーム機能を備えた構成を開示している。【０００５】
特許文献３は、２眼の撮像系を有する電子カメラを開示する。この電子カメラは、ズームレンズと単焦点で固定焦点のサブレンズを有し、ズームレンズを介して得られた画像と、サブレンズを介して得られた画像とに基づいて、測距を行う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２０６０６号公報
【特許文献２】特開２００５−２１０２１７号公報
【特許文献３】特開２００６−９３８５９号公報
【発明の概要】
【０００７】
本開示は、光学的特性および撮像素子の仕様が異なる一対の撮像部で撮影される一対の画像または動画に基づき測距を行うことが可能な測距装置および撮像装置を提供する。
【０００８】
本開示の撮像装置は、表示部と、第１撮像部と、第２撮像部と、画角合わせ部と、視差情報生成部と、測距部と、を備え、第２撮像部を、表示部の画像表示面の裏側に配置する。表示部は、撮像画像を画像表示面に表示するように構成され、開閉可能に構成されている。第１撮像部は、第１画像を撮像して第１画像信号を出力するように構成されている。第２撮像部は、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成されている。画角合わせ部は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。視差情報生成部は、第１画像信号と切り出し画像信号とに基づき視差情報を生成するように構成されている。測距部は、視差情報と第１画像信号とに基づき、第１画像信号に含まれる所定の被写体までの距離を算出するように構成されている。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１における撮像装置のモニターを開いたときの外観図である。
【図２】図２は、実施の形態１における撮像装置のモニターを閉じたときの外観図である。
【図３】図３は、実施の形態１における撮像装置の回路構成を概略的に示す図である。
【図４】図４は、実施の形態１における撮像装置の構成を機能毎にブロック分けして示す図である。
【図５】図５は、実施の形態１における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。
【図６】図６は、実施の形態１における撮像装置の立体画像撮像時の動作を説明するフローチャートである。
【図７】図７は、実施の形態１における撮像装置の測距動作を説明するフローチャートである。
【図８】図８は、実施の形態１における撮像装置の測距動作の詳細を説明するフローチャートである。
【図９】図９は、実施の形態１における撮像装置での撮像の様子を概略的に示す図である。
【図１０】図１０は、実施の形態１における撮像装置での基準面の設定例を概略的に示す図である。
【図１１】図１１は、実施の形態１における撮像装置の表示部に表示される算出距離が重畳された画像の一例を示す図である。
【図１２】図１２は、実施の形態２における撮像装置の構成を機能毎にブロック分けして示す図である。
【図１３】図１３は、実施の形態２における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１２】
（実施の形態１）
以下、図１〜図１１を用いて、実施の形態１を説明する。
【００１３】
［１−１．構成］
図１は、実施の形態１における撮像装置１１０のモニター１１３を開いたときの外観図である。
【００１４】
図２は、実施の形態１における撮像装置１１０のモニター１１３を閉じたときの外観図である。
【００１５】
撮像装置１１０は、モニター１１３と、第１レンズ部１１１を有する撮像部（以下、「第１撮像部」と記す）と、第２レンズ部１１２を有する撮像部（以下、「第２撮像部」と記す）と、を備えている。撮像装置１１０は、このように複数の撮像部を有し、それぞれの撮像部で静止画撮像および動画撮影が可能である。
【００１６】
第１レンズ部１１１は、第１撮像部の撮像方向が前方を向くように、撮像装置１１０の本体前方に設けられている。
【００１７】
モニター１１３は、図１、図２に示すように、開閉可能に撮像装置１１０本体に設けられており、撮像画像を表示するためのディスプレイ（図１、図２には示さず）を有する。ディスプレイは、モニター１１３を開いたとき、第１撮像部の撮像方向とは反対側の面、すなわち撮像装置１１０の後方にいる使用者（図示せず）が観測できる側に、備えられている。
【００１８】
第２レンズ部１１２は、モニター１１３の、ディスプレイの設置側と反対側に配置され、モニター１１３を開いたときに第１撮像部と同じ方向を撮像できるように構成されている。
【００１９】
撮像装置１１０では、第１撮像部を主たる撮像部とし、第２撮像部を従たる撮像部とする。そして、図１に示すように、モニター１１３を開いた状態にすることで、これら２つの撮像部を用いて、立体視用の静止画（以下、「立体画像」と記す）の撮像および立体視用の動画（以下、「立体動画」と記す）の撮影が可能である。主たる第１撮像部は光学ズーム機能を有し、使用者は、このズーム機能を任意のズーム倍率に設定して静止画撮像または動画撮影が可能である。
【００２０】
本実施の形態では、右眼視点の画像を第１撮像部で撮像し、左眼視点の画像を第２撮像部で撮像する例を説明する。したがって、図１に示すように、撮像装置１１０では、撮像方向に向かって右側に第１レンズ部１１１が配置され、撮像方向に向かって左側に第２レンズ部１１２が配置されている。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１撮像部で左眼視点の画像を撮像し、第２撮像部で右眼視点の画像を撮像するように構成してもよい。以下、第１撮像部で撮像した画像を「第１画像」とし、第２撮像部で撮像した画像を「第２画像」とする。
【００２１】
なお、従たる第２撮像部が有する第２レンズ部１１２は、第１レンズ部１１１と比較して口径が小さく、光学ズーム機能も備えていない。そのため、第２撮像部は、設置に必要な容積が第１撮像部と比較して小さく、モニター１１３に搭載することができる。
【００２２】
本実施の形態では、詳細は後述するが、第１撮像部で撮像される右眼視点の画像と、第２撮像部で撮像される左眼視点の画像とを比較することで視差量（ずれ量）を算出し、算出した視差量（ずれ量）にもとづき撮像装置１１０から被写体までの距離を算出する。
【００２３】
この視差量（ずれ量）とは、第１画像と第２画像とを同一画角にして重ね合わせたときに生じる被写体の位置のずれの大きさのことである。このずれは、第１撮像部と第２撮像部との配置位置の違い（視差）により生じる。自然な立体感を有する立体画像を生成するためには、第１撮像部の光軸と第２撮像部の光軸とが、人の視差方向と同様に地面に対して水平になるように、かつ左右の眼の離間幅と同程度離間するように、設定されていることが望ましい。
【００２４】
そのために、撮像装置１１０では、第１レンズ部１１１と第２レンズ部１１２とを、使用者が撮像装置１１０を正常に保持（立体画像を撮像する状態で保持）したときに、それぞれの光学中心が実質的に同一の水平面（地面に水平な面）上に位置するように、配置する。また、第１レンズ部１１１の光学中心と第２レンズ部１１２の光学中心との距離が、３０ｍｍ以上６５ｍｍ以下となるようにそれぞれの配置位置を設定する。
【００２５】
また、自然な立体感を有する立体画像を生成するためには、第１レンズ部１１１および第２レンズ部１１２は、それぞれの配置位置から被写体までの距離が互いに実質的に等しいことが望ましい。そのために、撮像装置１１０では、第１レンズ部１１１および第２レンズ部１１２を、エピポーラ拘束（Ｅｐｉｐｏｌａｒ  Ｃｏｎｓｔｒａｉｎｔ）を実質的に満足するように配置する。すなわち、第１レンズ部１１１および第２レンズ部１１２を、それぞれの光学中心が、第１撮像部が有する撮像素子または第２撮像部が有する撮像素子の撮像面に実質的に平行な１つの平面上に位置するように、配置する。
【００２６】
なお、これらの条件は、厳密に満たされなければならない、というわけではなく、実用上問題が生じない範囲での誤差は許容される。また、仮にこれらの条件が満足されなくとも、画像の拡大縮小、回転、平行移動等を計算で行うアフィン変換を実行することにより、これらの条件を満足する画像に変換することも可能である。そして、アフィン変換を施した画像を用いて視差量（ずれ量）を算出すればよい。
【００２７】
また、撮像装置１１０では、第１撮像部の光軸と第２撮像部の光軸とが互いに平行になるように第１レンズ部１１１および第２レンズ部１１２を配置する（以下、「平行法」と記す）。しかし、第１撮像部の光軸と第２撮像部の光軸とが所定の一点で交差するように第１レンズ部１１１および第２レンズ部１１２を配置（以下、「交差法」と記す）してもよい。また、平行法で撮像された画像を、アフィン変換により、交差法で撮像されたかのような画像に変換することも可能である。
【００２８】
なお、これらの条件が満たされた状態で撮像される第１画像および第２画像では、被写体の位置はエピポーラ拘束条件を実質的に満たす。この場合、後述する立体画像の生成過程において、一方の画像（例えば、第１画像）で被写体の位置が確定すると、他方の画像（例えば、第２画像）での被写体の位置は比較的容易に算出できるので、立体画像の生成過程における演算量を軽減できる。逆に、これらの条件で満たされない項目が増えるほど、アフィン変換等の演算量が増えるので、立体画像の生成過程における演算量は増大する。
【００２９】
図３は、実施の形態１における撮像装置１１０の回路構成を概略的に示す図である。
【００３０】
撮像装置１１０は、第１撮像部である第１撮像ユニット２００、第２撮像部である第２撮像ユニット２１０、ＣＰＵ２２０、ＲＡＭ２２１、ＲＯＭ２２２、加速度センサ２２３、ディスプレイ２２５、エンコーダー２２６、記憶装置２２７、入力装置２２４を有する。
【００３１】
第１撮像ユニット２００は、第１レンズ群２０１、第１撮像素子である第１ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）２０２、第１Ａ／Ｄ変換ＩＣ２０３、および第１アクチュエーター２０４を備える。
【００３２】
第１レンズ群２０１は、図１に示した第１レンズ部１１１に相当し、光学ズームが可能なズームレンズおよびフォーカス調節が可能なフォーカスレンズ、を含む複数のレンズで構成される光学系である。さらに、第１レンズ群２０１には、第１ＣＣＤ２０２で受光する光の量（光量）を調節する光学式の絞り（図示せず）が備えられている。第１レンズ群２０１を通して取り込まれた光は、第１レンズ群２０１で光学ズーム、フォーカスおよび光量の各調節がなされた後、第１ＣＣＤ２０２の撮像面に被写体像として結像する。この画像が第１画像である。
【００３３】
第１ＣＣＤ２０２は、撮像面で受光した光を電気信号に変換して出力するように構成されている。この電気信号は、光の強さ（光量）に応じて電圧値が変化するアナログ信号である。
【００３４】
第１Ａ／Ｄ変換ＩＣ２０３は、第１ＣＣＤ２０２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第１画像信号である。
【００３５】
第１アクチュエーター２０４は、第１レンズ群２０１に含まれるズームレンズおよびフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＣＰＵ２２０から出力される制御信号により制御される。
【００３６】
本実施の形態では、第１撮像ユニット２００は、第１画像を「水平方向の画素数１，９２０、垂直方向の画素数１，０８０」の画像信号にして出力するものとして、以下の説明を行う。また、第１撮像ユニット２００は、静止画の撮像だけでなく、動画撮影も可能に構成されており、一般的な動画と同様のフレームレート（例えば、６０Ｈｚ）での動画撮影を行うことができる。したがって、第１撮像ユニット２００では、高品質で滑らかな動画を撮影することが可能である。なお、フレームレートとは、単位時間（例えば、１秒間）に撮像する画像の枚数のことであり、フレームレートを６０Ｈｚにして動画撮影すると、１秒間に６０枚の画像が連続して撮像される。
【００３７】
なお、第１画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。
【００３８】
第２撮像ユニット２１０は、第２レンズ群２１１、第２撮像素子である第２ＣＣＤ２１２、第２Ａ／Ｄ変換ＩＣ２１３、および第２アクチュエーター２１４を備える。
【００３９】
第２レンズ群２１１は、図１に示した第２レンズ部１１２に相当し、フォーカス調節が可能なフォーカスレンズを含む複数のレンズで構成される光学系である。第２レンズ群２１１を通して取り込まれた光は、第２レンズ群２１１でフォーカスの調節がなされた後、第２ＣＣＤ２１２の撮像面に被写体像として結像する。この画像が第２画像である。
【００４０】
なお、第２レンズ群２１１は、上述したように光学ズーム機能を備えていない。そのため、光学ズームレンズではなく単焦点レンズを有する。また、第２レンズ群２１１は、第１レンズ群２０１よりも小型のレンズ群から構成され、第２レンズ群２１１の対物レンズには、第１レンズ群２０１の対物レンズよりも口径が小さいものが用いられている。これにより、第２撮像ユニット２１０を第１撮像ユニット２００よりも小型化し、撮像装置１１０全体を小型化して使い勝手（携帯性、操作性）を向上するとともに、第２撮像ユニット２１０の配置位置に関する自由度を高めている。これにより、図１に示したように、第２撮像ユニット２１０をモニター１１３に搭載することができる。
【００４１】
第２ＣＣＤ２１２は、第１ＣＣＤ２０２と同様に、撮像面で受光した光をアナログの電気信号に変換して出力するように構成されている。ただし、本実施の形態における第２ＣＣＤ２１２は、第１ＣＣＤ２０２よりも高い解像度を有する。したがって、第２画像の画像信号は、第１画像の画像信号よりも解像度が高く、画素数が多い。これは、第２画像の画像信号の一部を取り出して使用したり、電子ズームにより画像拡大をするためである。これらの詳細は後述する。
【００４２】
第２Ａ／Ｄ変換ＩＣ２１３は、第２ＣＣＤ２１２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第２画像信号である。
【００４３】
第２アクチュエーター２１４は、第２レンズ群２１１に含まれるフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＣＰＵ２２０から出力される制御信号により制御される。
【００４４】
本実施の形態では、第２撮像ユニット２１０は、第２画像を「水平方向の画素数７，６８０、垂直方向の画素数４，３２０」の画像信号にして出力するものとして、以下の説明を行う。また、第２撮像ユニット２１０は、第１撮像ユニット２００と同様に、静止画の撮像だけでなく、動画撮影も可能に構成されている。ただし、第２画像信号は第１画像信号よりも解像度が高く、画素数が多いため、第２撮像ユニット２１０における動画撮影の際のフレームレートは、第１撮像ユニット２００での動画撮影の際のフレームレートよりも低い（例えば、３０Ｈｚ）。
【００４５】
なお、第２画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。
【００４６】
なお、本実施の形態では、撮像素子の撮像面に結像した被写体像を電気信号に変換し、Ａ／Ｄ変換ＩＣから画像信号として出力する一連の動作を「撮像」とする。第１撮像部では第１画像を撮像して第１画像信号を出力し、第２撮像部では第２画像を撮像して第２画像信号を出力する。
【００４７】
なお、本実施の形態では、第１撮像素子および第２撮像素子にＣＣＤを用いる例を説明したが、第１撮像素子および第２撮像素子は、受光した光を電気信号に変換する撮像素子であればよく、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等であってもよい。
【００４８】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２２は、ＣＰＵ２２０を動作させるプログラムやパラメータ等の各種データが記憶されており、それらのデータをＣＰＵ２２０が任意に読み出すことができるように構成されている。ＲＯＭ２２２は、不揮発性型の半導体記憶素子で構成され、撮像装置１１０の電源がオフになっても、記憶されたデータは保持される。
【００４９】
入力装置２２４は、使用者の指示を受け付けることができるように構成された入力装置の総称である。入力装置２２４には、例えば、使用者が操作する電源ボタンや設定ボタン等の各種ボタン、タッチパネル、レバー等が含まれる。本実施の形態では、タッチパネルがディスプレイ２２５に設けられている例を説明する。しかし、入力装置２２４は、何らこれらの構成に限定されるものではなく、例えば音声入力装置を備えていてもよく、あるいは、全ての入力操作をタッチパネルで行う構成や、逆にタッチパネルを備えず全ての入力操作をボタンやレバー等で行う構成であってもよい。
【００５０】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２２０は、ＲＯＭ２２２から読み出したプログラムやパラメータ、入力装置２２４で受け付けられた使用者の指示、等にもとづき動作し、撮像装置１１０全体の制御、および各種演算処理を行うように構成されている。この各種演算処理には、第１画像信号および第２画像信号に関する画像信号処理が含まれる。この画像信号処理の詳細は後述する。
【００５１】
本実施の形態では、ＣＰＵ２２０にマイクロコンピューターを用いているが、例えば、マイクロコンピューターに代えてＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を用い、同様の動作を行うように構成してもよい。
【００５２】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２２１は、揮発性型の半導体記憶素子で構成され、ＣＰＵ２２０からの指示にもとづき、ＣＰＵ２２０を動作させるプログラムの一部、プログラム実行時のパラメータ、使用者の指示、等を一時的に記憶するように構成されている。ＲＡＭ２２１に記憶されたデータは、ＣＰＵ２２０が任意に読み出すことができ、ＣＰＵ２２０の指示によって任意に書き換えが可能である。
【００５３】
加速度センサ２２３は、一般的に用いられている加速度検出センサであり、撮像装置１１０の動きや姿勢の変化を検出するように構成されている。加速度センサ２２３では、例えば、撮像装置１１０が地面に対して平行に保たれているかどうか、が検出され、この検出結果はディスプレイ２２５に表示される。したがって、使用者はその表示を見ることで、撮像装置１１０が地面に対して水平に保たれているかどうか、すなわち、撮像装置１１０が立体画像の撮像に適した状態（姿勢）にあるかどうか、を判断することができる。これにより、使用者は、撮像装置１１０を適切な姿勢に保って立体画像の撮像や立体動画の撮影を行うことができる。
【００５４】
なお、撮像装置１１０は、加速度センサ２２３での検出結果にもとづき手振れ補正等の光学系制御を行う構成であってもよい。また、加速度センサ２２３は、３軸方向のジャイロスコープ（３軸ジャイロセンサ）であってもよく、複数のセンサを組み合わせて用いる構成であってもよい。
【００５５】
ディスプレイ２２５は、一般に用いられている液晶ディスプレイパネルで構成され、図１に示したモニター１１３に搭載されている。ディスプレイ２２５は、上述したタッチパネルが表面に取り付けられており、画像表示と使用者の指示受け付けを同時に行うことができるように構成されている。ディスプレイ２２５に表示される画像には、（１）撮像装置１１０で撮像中の画像（第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号にもとづく画像）、（２）記憶装置２２７に記憶されている画像信号にもとづく画像、（３）ＣＰＵ２２０で信号処理された画像信号にもとづく画像、（４）撮像装置１１０の各種設定項目を表示するメニュー表示画面、等がある。ディスプレイ２２５には、これらの画像が選択的に、または複数の画像を互いに重畳した画像が、表示される。なお、ディスプレイ２２５は、何ら上述の構成に限定されるものではなく、薄型で低消費電力の画像表示装置であればよく、例えばＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等で構成されていてもよい。
【００５６】
エンコーダー２２６は、撮像装置１１０で撮像した画像にもとづく画像信号や撮像した画像に関連する情報を、所定の方式で符号化（エンコード）するように構成されている。これは、データ量を低減して記憶装置２２７に記憶するためである。この符号化の方式は、一般的に用いられている画像圧縮方式であり、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ、等である。
【００５７】
記憶装置２２７は、任意に書き換えが可能な比較的大容量の記憶装置であるハードディスクドライブ（ＨＤＤ）で構成され、エンコーダー２２６で符号化されたデータ等を読み出し可能に記憶するように構成されている。また、記憶装置２２７に記憶するデータには、ＣＰＵ２２０で生成された立体画像の画像信号、立体画像の表示に必要な情報、画像信号に付随する画像情報が含まれる。なお、記憶装置２２７は、第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号を、符号化処理を施さずにそのまま記憶するように構成されていてもよい。また、記憶装置２２７は、何らＨＤＤに限定されるものではなく、例えば、半導体記憶素子を内蔵したメモリーカードや光ディスク等の着脱可能な記憶媒体に記憶する構成であってもよい。
【００５８】
なお、上述の画像情報とは、画像信号に関する情報のことであり、例えば、画像の符号化方式、ビットレート、画像のサイズ、解像度、フレームレート、符号化される画像種類（一例として、Ｉ−Ｆｒａｍｅ、Ｂ−Ｆｒａｍｅ、Ｐ−Ｆｒａｍｅ、等）、撮像時の合焦距離（フォーカスが合っている被写体までの距離）、ズーム倍率、立体画像であるか否か、立体画像である場合には、左眼用画像と右眼用画像との識別子、視差情報、画像に写された被写体までの距離情報、等が挙げられる。これらのうちの単数または複数の情報が、画像情報として画像信号に関連付けられて記憶装置２２７に記憶される。
【００５９】
［１−２．動作］
以上のように構成された撮像装置１１０について、その動作を説明する。
【００６０】
以下では、撮像装置１１０で立体画像を撮像しているときに行われる主な動作を、機能毎にブロック分けして説明する。
【００６１】
図４は、実施の形態１における撮像装置１１０の構成を機能毎にブロック分けして示す図である。
【００６２】
撮像装置１１０の構成を、立体画像の撮像をしているときに動作する主な機能で分けて示すと、撮像装置１１０は、図４に示すように、第１撮像部３００、第２撮像部３１０、画像信号処理部３２０、表示部３３０、記憶部３４０、入力部３５０、カメラ情報部３６０、の７つのブロックに大別することができる。
【００６３】
なお、画像信号処理部３２０では、画像信号を処理する際に、フレームメモリ等の記憶素子に一時的に画像信号を記憶するが、図４では、そのような記憶素子は省略している。
【００６４】
第１撮像部３００は、第１光学部３０１、第１撮像素子３０２、第１光学制御部３０３、を備える。第１撮像部３００は、図３に示した第１撮像ユニット２００に相当する。また、第１光学部３０１は第１レンズ群２０１に、第１撮像素子３０２は第１ＣＣＤ２０２および第１Ａ／Ｄ変換ＩＣ２０３に、第１光学制御部３０３は第１アクチュエーター２０４に、それぞれ相当する。重複するのでこれらの説明は省略する。
【００６５】
第２撮像部３１０は、第２光学部３１１、第２撮像素子３１２、第２光学制御部３１３、を備える。第２撮像部３１０は、図３に示した第２撮像ユニット２１０に相当する。また、第２光学部３１１は第２レンズ群２１１に、第２撮像素子３１２は第２ＣＣＤ２１２および第２Ａ／Ｄ変換ＩＣ２１３に、第２光学制御部３１３は第２アクチュエーター２１４に、それぞれ相当する。重複するのでこれらの説明は省略する。
【００６６】
表示部３３０は、図３に示したディスプレイ２２５に相当する。入力部３５０は、図３に示した入力装置２２４に相当する。入力部３５０に含まれるタッチパネルは、表示部３３０の表面に取り付けられており、表示部３３０では、画像の表示と使用者の指示受け付けを同時に行うことができる。カメラ情報部３６０は、図３に示した加速度センサ２２３に相当する。記憶部３４０は、図３に示した記憶装置２２７に相当する。重複するのでこれらの説明は省略する。
【００６７】
画像信号処理部３２０は、図３に示したＣＰＵ２２０およびエンコーダー２２６に相当する。
【００６８】
なお、ＣＰＵ２２０では、撮像装置１１０全体の制御や各種演算処理が行われるが、図４には、撮像装置１１０で立体画像の撮像を行うときにＣＰＵ２２０で行われる演算処理（画像信号処理）および制御動作に関連する主な機能のみをブロック分けして示しており、他の動作に関する機能は省略している。これは、撮像装置１１０で立体画像を撮像するときの動作を分かりやすく示すためである。
【００６９】
なお、画像信号処理部３２０として図４に示す各機能ブロックは、ＣＰＵ２２０で行われる演算処理および制御動作の主なものを機能別に分けて示しているに過ぎず、ＣＰＵ２２０の内部が図４に示す各機能ブロックに物理的に分けられているわけではない。しかし、以下では便宜的に画像信号処理部３２０が図４に示す各部を有するものとして説明を行う。
【００７０】
なお、ＣＰＵ２２０は、図４に示す各機能ブロックに相当する電子回路を備えたＩＣまたはＦＰＧＡで構成してもよい。
【００７１】
画像信号処理部３２０は、図４に示すように、画角合わせ部３２１、縮小処理部３２２、視差情報生成部３２３、測距部３２４、画像生成部３２５、撮像制御部３２６、を有する。
【００７２】
画角合わせ部３２１は、第１撮像部３００から出力される第１画像信号および第２撮像部３１０から出力される第２画像信号が入力される。そして、撮像範囲が互いに等しいと判断される画像信号を各入力画像信号から取り出す。
【００７３】
第１撮像部３００では光学ズームによる撮像が可能であり、第２撮像部３１０では単焦点レンズによる撮像が行われる。第１光学部３０１が広角端のときの第１画像の画角が第２画像の画角以下になるように各撮像部が設定されていれば、第２画像に撮像される範囲には、常に第１画像に撮像される範囲が含まれることになる。例えば、ズーム倍率を上げて撮像された第１画像よりも、撮像の際に光学ズームができない第２画像の方が、画角が広く、この第２画像には第１画像よりも広い範囲が撮像されている。
【００７４】
なお、「画角（Ａｎｇｌｅ  ｏｆ  ｖｉｅｗ）」とは、画像として撮像される範囲のことであり、一般的には角度で表現される。
【００７５】
そこで、画角合わせ部３２１では、パターンマッチング等の一般に用いられている比較・照合手法を用いて、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出す。以下、第２画像信号から取り出された画像信号を「切り出し画像信号」と呼称し、切り出し画像信号による画像を「切り出し画像」と呼称する。したがって、切り出し画像は、画角合わせ部３２１において第１画像の撮像範囲に等しいと判断された範囲の画像になる。
【００７６】
なお、第１光学部３０１と第２光学部３１１との配置位置の違い（視差）により、第１画像と第２画像とでは画像内における被写体の位置に差が生じる。そのため、第２画像における第１画像に対応する領域が、第１画像に完全に合致する可能性は低い。したがって、画角合わせ部３２１でパターンマッチングを行う際は、第１画像信号と類似度が最も大きくなる領域を第２画像信号において探索し、その領域を第２画像信号から取り出して切り出し画像信号とすることが望ましい。
【００７７】
そして、画角合わせ部３２１は、切り出し画像信号と第１画像信号を後段の縮小処理部３２２に出力する。なお、第１画像と第２画像の画角が互いに等しいときには、第２画像信号をそのまま切り出し画像信号として用いることもある。
【００７８】
なお、画角合わせ部３２１における動作は、何ら上述した動作に限定されるものではない。例えば、第１画像の画角が第２画像の画角より広ければ、第１画像信号から第２画像の撮像範囲に相当する領域を取り出して切り出し画像信号を生成するように動作してもよい。また、第１画像と第２画像とで撮像範囲に差があるときには、撮像範囲が互いに等しい領域を第１画像信号と第２画像信号とのそれぞれから取り出して後段に出力するように動作してもよい。
【００７９】
なお、本実施の形態は、画角合わせ部３２１において第１画像信号と第２画像信号との比較に用いる手法を、何らパターンマッチングに限定するものではなく、その他の比較・照合手法を用いて切り出し画像信号を生成してもよい。
【００８０】
縮小処理部３２２は、画角合わせ部３２１から出力される第１画像信号と切り出し画像信号の両画像信号を、画素を間引いて画素数（信号量）を削減する縮小処理を行う。これは、後段の視差情報生成部３２３における視差情報の算出に必要な演算量を低減するためである。
【００８１】
また、縮小処理部３２２は、両画像信号の縮小処理後の画素数が互いに等しくなるように、それぞれの縮小処理を行う。これは、後段の視差情報生成部３２３において行う２つの画像信号の比較処理を、演算量を低減するとともに精度を高めて行うためである。例えば、切り出し画像信号の画素数（例えば、３８４０×２１６０）が第１画像信号の画素数（例えば、１９２０×１０８０）の４倍であり、第１画像信号を画素数が１／４（例えば、９６０×５４０）になるように縮小処理する場合は、切り出し画像信号に関しては画素数が１／１６（例えば、９６０×５４０）になるように縮小処理を行う。なお、縮小処理を行う際は、フィルタリング処理等を行い、できるだけ情報が損なわれないようにすることが望ましい。
【００８２】
視差情報生成部３２３は、縮小処理部３２２で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報を生成する。視差情報生成部３２３は、縮小処理された第１画像信号と縮小処理された切り出し画像信号とを互いに比較し、互いに対応する被写体が２つの画像信号間でどの程度ずれているかを、画素単位、または複数の画素からなるブロック単位で、算出する。この「ずれの量（ずれ量）」は、視差方向、例えば、撮像が行われたとき地面に対して水平となる方向、で算出する。この「ずれ量」を１枚の画像（縮小処理された第１画像信号にもとづく画像、または、縮小処理された切り出し画像信号にもとづく画像）の全域において算出し、算出対象となる画像の画素またはブロックに対応付けたものが、視差情報（デプスマップ）となる。
【００８３】
本実施の形態では、縮小処理された第１画像信号に関連付けて視差情報（デプスマップ）を生成するものとするが、縮小処理された切り出し画像信号に関連付けて視差情報（デプスマップ）を生成する構成であってもよい。
【００８４】
測距部３２４は、視差情報生成部３２３で生成された視差情報（デプスマップ）と、その画像の撮像時に得られる情報（ズーム倍率や合焦距離に関する情報）とにもとづいて、画像に写された所定の被写体までの距離を算出する。所定の被写体までの距離算出方法については後述する。なお、本実施の形態では、所定の被写体は、表示部３３０に表示されている画像において、使用者がタッチパネルを介して指定した被写体（使用者が触れた位置に表示されている被写体）とする。なお、本実施の形態は何らこの構成に限定されるものではなく、例えば合焦している被写体を所定の被写体とする等、他の方法で所定の被写体を設定してもよい。
【００８５】
画像生成部３２５は、視差情報生成部３２３から出力される視差情報にもとづいて、第１画像信号から新たな第２画像信号を生成する。以下、第１画像信号から生成される新たな第２画像信号を「新第２画像信号」と記す。また、新第２画像信号による画像を「新第２画像」と記す。
【００８６】
本実施の形態では、第１画像信号を右眼用画像信号とし、画像生成部３２５で視差情報にもとづき生成される新第２画像信号を左眼用画像信号とする立体画像信号を、画像生成部３２５から出力する。
【００８７】
この立体画像信号は、例えば記憶部３４０に記憶され、また、この立体画像信号にもとづく立体画像は表示部３３０に表示される。
【００８８】
撮像装置１１０では、第１画像信号（例えば、右眼用画像信号）から、視差情報にもとづき、対となる新第２画像信号（例えば、左眼用画像信号）を生成する。したがって、視差情報に補正を加えることで、生成される立体画像の立体感を調整することが可能である。そこで、立体画像の立体感を増す、あるいは抑制する、等の立体感の調整ができるように、画像生成部３２５において、視差情報（デプスマップ）に補正を加えられるように構成してもよい。
【００８９】
なお、視差を有する２枚の画像から視差情報（ずれ量）を算出する手法、および視差情報にもとづき新たな画像信号を生成する手法は公知であり、例えば上述の特許文献１等に記載されているので、詳細な説明は省略する。
【００９０】
次に、撮像装置１１０における立体画像の撮像動作および所定の被写体までの距離を算出する測距動作について、図面を用いて説明する。また、各機能ブロックで画像信号がどのように処理されるのかを、一例を挙げて図面に示す。
【００９１】
以下、まず立体画像の撮像動作について説明し、次に測距動作について説明する。
【００９２】
図５は、実施の形態１における撮像装置１１０の画像信号の処理の流れの一例を概略的に示す図である。
【００９３】
図６は、実施の形態１における撮像装置１１０の立体画像撮像時の動作を説明するフローチャートである。
【００９４】
ここでは、一例として図５に示すように、第１撮像部３００は、画素数が１９２０×１０８０の第１画像信号を出力し、第２撮像部３１０は、画素数が７６８０×４３２０の第２画像信号を出力するものとして、以下の説明を行う。
【００９５】
なお、図５に示す数値は、単に一例を挙げたものに過ぎず、本実施の形態は何らこれらの数値に限定されるものではない。
【００９６】
立体画像の撮像を行うとき、撮像装置１１０では主に以下の動作を行う。
【００９７】
まず、画角合わせ部３２１において、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出して、切り出し画像信号を生成する（ステップＳ５０１）。
【００９８】
画像信号処理部３２０の撮像制御部３２６は、第１光学制御部３０３を介して第１光学部３０１の光学ズームを制御する。したがって、画像信号処理部３２０は、第１画像が撮像されたときの第１光学部３０１のズーム倍率を、第１画像の付帯情報として取得することができる。一方、第２光学部３１１では光学ズームができないので、第２画像を撮像するときのズーム倍率は固定されている。画角合わせ部３２１は、これらの情報に基づいて第１画像と第２画像との画角の差を算出し、その算出結果にもとづき第２画像信号から第１画像の撮像範囲（画角）に相当する領域を特定して切り出す。
【００９９】
このとき、画角合わせ部３２１は、第１画像の画角に相当する領域よりもやや広い範囲（例えば、１０％程度広い範囲）をまず切り出す。これは、第１画像の中心と第２画像の中心との間に若干のずれが生じる可能性があるためである。
【０１００】
次に、画角合わせ部３２１は、この切り出した範囲に対して、一般に用いられているパターンマッチングを行い、第１画像の撮像範囲に相当する領域を特定して再度切り出す。これにより、比較的負荷の軽い演算処理で高速に切り出し画像信号を生成することができる。なお、画角や解像度が互いに異なる２枚の画像を比較して撮像範囲が互いに共通する領域を特定するパターンマッチング等の手法は、一般に知られた手法であるので、説明を省略する。
【０１０１】
このようにして、画角合わせ部３２１は、第１画像信号の撮像範囲に実質的に等しい領域を第２画像信号から取り出し、切り出し画像信号を生成する。
【０１０２】
なお、本実施の形態は何らこの構成に限定されるものではなく、例えばパターンマッチングだけで切り出し画像信号を生成する等してもかまわない。
【０１０３】
図５には、切り出し画像信号が画素数３８４０×２１６０の画像信号として生成される例を示す。切り出し画像信号の画素数は、第１撮像部３００の光学ズーム倍率の大きさによって異なり、第１画像を撮像する際のズーム倍率が大きいほど、切り出し画像信号の画素数は小さくなる。
【０１０４】
次に、縮小処理部３２２において、第１画像信号と切り出し画像信号を、それぞれが所定の画素数になるように、縮小処理する（ステップＳ５０２）。
【０１０５】
図５には、所定の画素数を９６０×５４０とする例を示す。第１画像信号の画素数が１９２０×１０８０であれば、第１画像信号を水平方向・垂直方向それぞれに１／２に縮小処理することで、縮小処理後の第１画像信号の画素数を９６０×５４０にすることができる。また、切り出し画像信号の画素数が３８４０×２１６０であれば、切り出し画像信号を水平方向・垂直方向それぞれに１／４に縮小処理することで、縮小処理後の切り出し画像信号の画素数を９６０×５４０にすることができる。
【０１０６】
次に、視差情報生成部３２３において、縮小処理部３２２で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報（デプスマップ）を生成する（ステップＳ５０３）。
【０１０７】
次に、画像生成部３２５において、立体画像信号において第１画像信号の対となる新第２画像信号を、視差情報生成部３２３で生成された視差情報（デプスマップ）にもとづき、第１画像信号から生成する（ステップＳ５０４）。
【０１０８】
画像生成部３２５では、まず、視差情報（デプスマップ）を、第１画像信号の画素数に合わせて拡張する。以下、この拡張された視差情報（デプスマップ）を「拡張デプスマップ」と呼称する。例えば、視差情報（デプスマップ）が画素数９６０×５４０の画像信号にもとづき生成され、第１画像信号の画素数が１９２０×１０８０であれば、視差情報（デプスマップ）を、水平方向・垂直方向それぞれに２倍に拡張して、拡張デプスマップを生成する。
【０１０９】
そして、画像生成部３２５は、拡張デプスマップにもとづき、例えば画素数１９２０×１０８０の第１画像信号から、画素数１９２０×１０８０の新第２画像信号を生成する。
【０１１０】
このとき、上述した補正（立体画像の立体感を調整するための補正）を加えた視差情報（デプスマップ）にもとづく拡張デプスマップにより新第２画像信号を生成すると、立体感が調整された立体画像信号が生成される。なお、視差情報（デプスマップ）に補正を加える処理と、拡張デプスマップを生成する処理は、どちらが先に行われてもかまわない。
【０１１１】
そして、画像生成部３２５は、第１画像信号と新第２画像信号の対を立体画像信号として出力する（ステップＳ５０５）。
【０１１２】
なお、本実施の形態では、第１画像信号を右眼用画像信号とし、新第２画像信号を左眼用画像信号としているが、第１画像信号を左眼用画像信号とし、新第２画像信号を右眼用画像信号とするように撮像装置１１０を構成してもかまわない。また、各画像信号の画素数および縮小処理後の画像信号の画素数は、何ら上述した数値に限定されるものではない。
【０１１３】
次に、撮像装置１１０における測距動作について説明する。
【０１１４】
図７は、実施の形態１における撮像装置１１０の測距動作を説明するフローチャートである。
【０１１５】
所定の被写体までの距離を算出する測距動作を行うとき、撮像装置１１０では主に以下の動作を行う。
【０１１６】
なお、図７に示すステップＳ５０１からステップＳ５０３までの各動作は、図６に示したステップＳ５０１からステップＳ５０３までの各動作と実質的に等しいので、説明を省略する。
【０１１７】
測距部３２４は、視差情報生成部３２３が生成した視差情報（デプスマップ）と第１画像信号とにもとづき、撮像装置１１０から所定の被写体までの距離を算出する（ステップＳ６０４）。算出された距離は、距離情報信号として、測距部３２４から後段の画像生成部３２５に出力される。なお、測距部３２４における距離の算出動作の詳細は、後述する。
【０１１８】
画像生成部３２５は、測距部３２４から出力される距離情報信号を、表示部３３０に表示する画像信号（例えば、第１画像信号等）に重畳して出力する（ステップＳ６０５）。図５には、この画像信号を「生成画像信号」と記す。表示部３３０には、距離情報信号が重畳された後の画像信号にもとづく画像が表示される。
【０１１９】
次に、ステップＳ６０４における動作の詳細を説明する。
【０１２０】
図８は、実施の形態１における撮像装置１１０の測距動作の詳細を説明するフローチャートである。
【０１２１】
撮像装置１１０では、所定の被写体までの距離を算出するステップＳ６０４において、主に以下の動作を行う。
【０１２２】
測距部３２４は、まず、第１画像において基準面を設定する（ステップＳ９０１）。
【０１２３】
測距部３２４は、視差情報生成部３２３が生成した視差情報（デプスマップ）において、「ずれ量」が「０」となる領域を基準面に設定する。
【０１２４】
図９は、実施の形態１における撮像装置１１０での撮像の様子を概略的に示す図である。図９には、第１撮像部３００の光軸を実線で示し、第２撮像部３１０の光軸を破線で示す。
【０１２５】
例えば、平行法にもとづく撮像が行われるように第１撮像部３００および第２撮像部３１０の光軸がそれぞれ設定されていれば、実質的に無限遠となる位置にある被写体において「ずれ量」は「０」となる。したがって、実質的な無限遠が基準面となる。この場合は、被写体の位置が近景になるほど（撮像装置１１０に近づくほど）「ずれ量」は大きくなる。
【０１２６】
撮像装置１１０では、合焦した被写体にもとづき基準面を設定することも可能である。アフィン変換を行えば、平行法で撮像された画像を、交差法で撮像されたかのような画像に変換することができ、そのときの交差点（クロスポイント、第１撮像部３００の光軸と第２撮像部３１０の光軸とが交差する点のこと）を、任意の位置、例えば合焦した被写体がある位置、に設定することも可能である。なお、以下、撮像装置１１０から合焦した被写体までの距離を「合焦距離」と記す。
【０１２７】
撮像装置１１０では、合焦距離を、フォーカス調節の際に取得することができる。第１光学部３０１に含まれるフォーカスレンズは、撮像制御部３２６が第１光学制御部３０３を介して制御する。このフォーカスレンズが第１光学部３０１の光軸方向に移動すると、第１撮像素子３０２の撮像面に結像する被写体像のフォーカス状態が変化する。すなわち、撮像装置１１０から、第１撮像素子３０２の撮像面においてフォーカスが合う（合焦する）被写体までの距離（合焦距離）は、フォーカスレンズの位置に応じて変化する。このように、フォーカスレンズの位置と合焦距離は、互いに対応付けすることができる。例えば、撮像制御部３２６（または、第１光学制御部３０３）に、フォーカスレンズの位置と合焦距離とを対応付けた情報をあらかじめ備えておくことで、現在のフォーカスレンズの位置から現在の合焦距離を取得することができる。すなわち、撮像制御部３２６は、第１光学制御部３０３を介してフォーカスレンズを制御する際に、合焦距離を取得することができる。合焦距離が得られれば、これにもとづきアフィン変換を行うことができる。
【０１２８】
合焦した被写体の位置が光軸の仮想的な交差点（クロスポイント）となるようにアフィン変換を行うと、実質的に合焦距離だけ撮像装置１１０から離れている被写体において「ずれ量」は「０」となる。したがって、合焦した被写体の位置が基準面となる。この場合、基準面より手前にある被写体と、基準面より奥にある被写体とでは、算出される「ずれ量」の符号が逆になる。
【０１２９】
図１０は、実施の形態１における撮像装置１１０での基準面の設定例を概略的に示す図である。図１０には、風船を持った人物にフォーカスが合わせられ、この合焦距離にもとづき基準面が設定された例を示す。したがって、図１０に示す例では、風船を持った人物がいる位置が基準面となる。
【０１３０】
例えば、基準面より奥にある被写体に関する「ずれ量」の符号を「正」、基準面より手前にある被写体に関する「ずれ量」の符号を「負」とすると、図１０に示すように、被写体の位置が基準面から遠景になるほど（基準面から遠ざかるほど）「ずれ量」は正方向に大きくなり、被写体の位置が基準面から近景になるほど（基準面から撮像装置１１０に近づくほど）「ずれ量」は負方向に大きくなる。
【０１３１】
本実施の形態では、第１撮像部３００および第２撮像部３１０は、平行法による撮像が行われるように構成され、画像信号処理部３２０は、第１撮像部３００で撮像される第１画像において合焦した被写体のある位置を基準面に設定して測距動作を行うように構成されているものとする。
【０１３２】
しかし、本実施の形態は何らこの構成に限定されるものではない。例えば、撮像装置１１０の位置を基準面に設定するように構成してもよく、または、所定の固定された位置を基準面に設定するように構成してもよく、あるいは、上述したように無限遠を基準面に設定するように構成してもよい。また、交差法による撮像が行われるように第１撮像部３００および第２撮像部３１０を構成してもよく、さらには、合焦距離に応じて機構的に光軸の交差点（クロスポイント）が変化するように構成してもよい。
【０１３３】
次に、測距部３２４では、測距の対象となる被写体が設定される（ステップＳ９０２）。
【０１３４】
上述したように、入力部３５０に含まれるタッチパネルは、表示部３３０の表面に取り付けられており、表示部３３０では、画像の表示と使用者の指示受け付けを同時に行うことができる。本実施の形態では、表示部３３０に表示されている画像（例えば、第１画像）において、使用者がタッチパネルを介して指定した被写体（使用者が触れた位置に表示されている被写体）を、測距の対象とする。使用者は、これにより測距対象となる被写体を容易に指定することができる。
【０１３５】
なお、本実施の形態は、何らこの構成に限定されるものではなく、他の手法により測距の対象となる被写体を選択（設定）する構成であってもよい。例えば、合焦した被写体を測距の対象とするように構成してもよい。
【０１３６】
次に、測距部３２４は、選択された被写体に対応する「ずれ量」を視差情報（デプスマップ）から選定する（ステップＳ９０３）。
【０１３７】
具体的には、測距部３２４は、視差情報（デプスマップ）から、選択された被写体に対応する領域にある「ずれ量」を読み取り、選択された被写体における「ずれ量」とする。
【０１３８】
なお、視差情報（デプスマップ）の、選択された被写体に対応する領域からは、その被写体の大きさに応じて複数の「ずれ量」を読み取ることができる。したがって、測距部３２４では、それら複数の「ずれ量」の平均値を、選択された被写体における「ずれ量」として用いるものとする。しかし、本実施の形態は、何らこの構成に限定されるものではなく、例えば、選択された被写体の所定の一点（例えば、中心点、等）に対応する「ずれ量」を選択された被写体における「ずれ量」として用いる構成としてもよい。あるいは、視差情報（デプスマップ）の、使用者が触れたタッチパネルの位置に相当する位置にある「ずれ量」をそのまま用いる構成であってもよい。
【０１３９】
そして、測距部３２４は、ステップＳ９０３で設定された「ずれ量」にもとづき、距離を算出する（ステップＳ９０４）。
【０１４０】
測距部３２４では、視差情報生成部３２３が生成した視差情報（デプスマップ）において、「ずれ量」が「０」となる領域を基準面に設定する。したがって、「ずれ量」が大きいほど、基準面からの距離は大きくなる。この関係を利用して、測距部３２４は距離の算出を行う。
【０１４１】
具体的には、測距部３２４は、「ずれ量」の大きさと基準面からの距離との関係があらかじめ設定された情報（ルックアップテーブル）を備えており、このルックアップテーブルから「ずれ量」の大きさにもとづいて距離情報を読み出す。そして、読み出した距離情報を、撮像装置１１０から基準面までの距離に加算（または減算）して、所定の被写体までの距離を算出する。
【０１４２】
撮像装置１１０から基準面までの距離は、上述したように合焦距離として得ることができるので、説明を省略する。
【０１４３】
なお、「ずれ量」の大きさと基準面からの距離との関係は、第１光学部３０１における光学ズームの倍率に応じて異なるので、測距部３２４は、ズーム倍率に応じた複数のルックアップテーブルを備えておくことが望ましい。ただし、光学ズームの倍率は連続的に変化するので、例えば、光学ズームの倍率が整数倍のときのルックアップテーブルだけを備え、光学ズームの倍率が整数倍でないときの距離は、それらのルックアップテーブルから「ずれ量」にもとづき読み出した複数の距離情報を、光学ズームの倍率に応じて設定される計算式に代入して算出する構成としてもよい。
【０１４４】
本実施の形態は、何らこの構成に限定されるものではなく、例えば、あらかじめ設定されたズーム倍率と「ずれ量」の大きさと基準面からの距離との関係を表す計算式を測距部３２４に備え、この計算式にズーム倍率や「ずれ量」の大きさ等を代入して、距離を算出する構成であってもよい。
【０１４５】
なお、測距部３２４は、光学ズームの倍率や合焦距離等の、測距に必要な各種情報は、上述したように、画像信号に付随する画像情報として取得することが可能である。
【０１４６】
なお、「ずれ量」の大きさと基準面からの距離との関係は必ずしも線形ではなく、第１光学部３０１における光学特性に応じて非線形となる場合もある。しかし、上述したルックアップテーブルから距離情報を読み取る方式では、たとえ「ずれ量」の大きさと基準面からの距離との関係に非常に複雑な非線形性があったとしても、適切に対応することができる。
【０１４７】
ステップＳ６０４では、このようにして、所定の被写体までの距離を算出する。算出された距離を示す数字は表示画像に重畳され、例えば図１１に示すような形態で表示部３３０に表示される。
【０１４８】
図１１は、実施の形態１における撮像装置１１０の表示部３３０に表示される算出距離が重畳された画像の一例を示す図である。
【０１４９】
例えば、測距部３２４において所定の被写体（風船を持った人物）までの距離が「５ｍ」と算出されれば、表示部３３０には、風船を持った人物の近傍に、測距の結果を示す「５ｍ」という数字が表示される。
【０１５０】
このように、表示部３３０に表示される画像には、測距の対象として選択された被写体の近傍に測距の結果を示す数字が表示されるので、使用者は、指定した被写体までの距離を一目で把握することができる。
【０１５１】
表示部３３０に所定の被写体までの距離を表示する際、例えば図１１に示すように、測距の対象となっている被写体を矢印等の記号で指し示してもよい。
【０１５２】
なお、本実施の形態は、何らこれらの構成に限定されるものではなく、測距の結果を示す数値は、表示部３３０のどこに表示されてもかまわない。また、測距の対象となっている被写体を色や輪郭線を変えて表示する等してもよい。
【０１５３】
なお、第１光学部３０１のズーム倍率および第２撮像素子３１２の解像度は、第１光学部３０１を望遠端（テレ端）にしたときの切り出し画像信号の解像度が第１画像信号の解像度以上となるように、設定することが望ましい。これは、第１光学部３０１を望遠端にしたときに、切り出し画像信号が第１画像信号よりも低解像度になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではない。
【０１５４】
なお、第２光学部３１１は、第１光学部３０１を広角端（ワイド端）にしたときの画角に実質的に等しいか、さらに広い画角を有するように構成することが望ましい。これは、第１光学部３０１を広角端にしたときに、第１画像が第２画像よりも広い画角になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１光学部３０１を広角端にしたときの第１画像の画角が第２画像よりも広い画角であってもよい。
【０１５５】
なお、本実施の形態における測距動作は、使用者の指示により行われ、使用者の指示が無ければ行われないものとする。また、撮像装置１１０は、立体画像撮像時だけに測距動作が行われる構成に限定されるものではない。立体画像を撮像しないときであっても、モニター１１３が開かれた状態であれば、使用者の指示により、図７、図８に示したステップを実行することで、測距動作が行われる構成としてもよい。
【０１５６】
［１−３．効果等］
以上のように、本実施の形態において、撮像装置１１０は、開閉可能に構成された表示部３３０と、第１撮像部３００と、第２撮像部３１０と、画角合わせ部３２１と、視差情報生成部３２３と、測距部３２４と、を備える。表示部３３０は、撮像画像を画像表示面に表示するように構成されている。第１撮像部３００は、第１画像を撮像して第１画像信号を出力するように構成されている。第２撮像部３１０は、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成されている。画角合わせ部３２１は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。視差情報生成部３２３は、第１画像信号と切り出し画像信号とに基づき視差情報を生成するように構成されている。測距部３２４は、視差情報と第１画像信号とに基づき、第１画像信号に含まれる所定の被写体までの距離を算出するように構成されている。そして、第２撮像部３１０は、表示部３３０の画像表示面の裏側に配置されている。
【０１５７】
これにより、撮像装置１１０では、立体画像の撮像とともに、撮像された画像に写された所定の被写体までの距離を算出することができる。
【０１５８】
所定の被写体までの距離を精度を高めて算出するためには、精度の高い視差情報を生成する必要があり、そのためには、視差を有する２枚の画像を良好な品質で取得する必要がある。
【０１５９】
このような画像を取得するためには、対となる右眼視点の画像と左眼視点の画像とを撮像する際に、画角（撮像範囲）、解像度（画素数）、ズーム倍率等の撮像条件を互いに揃え、できるだけ等しい状態にすることが望ましい。
【０１６０】
しかしながら、そのような条件を整えようとすると、例えば第１撮像部が光学ズーム機能を備えていれば、第２撮像部にも同様の光学ズーム機能を備えなければならなくなる。しかし、そのような構成では、撮像装置本体の大きさが増大し、撮像装置としての使い勝手が悪くなる。
【０１６１】
本実施の形態の撮像装置１１０は、第１撮像部３００に光学ズーム機能を備えており、第１画像を良好な品質で撮像することができる。
【０１６２】
一方、第２撮像部３１０は、光学ズーム機能を備えておらず、単焦点レンズを有する構成であるので、第２撮像部３１０を第１撮像部３００よりも小型化し、撮像装置１１０全体を小型化して良好な使い勝手（携帯性、操作性）を実現している。さらに、第２撮像部３１０を小型化して配置位置に関する自由度を高めているので、第２撮像部３１０をモニター１１３に搭載することができる。
【０１６３】
しかし、第１撮像部３００と第２撮像部３１０とで、光学系の仕様が互いに異なるので、精度の高い視差情報を得ることは困難である。
【０１６４】
そこで、本実施の形態では、撮像装置１１０を上述した構成とし、第１撮像部３００で撮像した第１画像にもとづき、第２画像信号から切り出し画像信号を生成し、さらに、第１画像信号と切り出し画像信号の画素数を互いに合わせる処理を施して、精度の高い視差情報を生成している。
【０１６５】
これにより、本実施の形態の撮像装置１１０では、精度の高い測距を行うことができる。このとき、測距部３２４では、基準面を設定し、基準面からの距離を算出するので、例えば合焦していない被写体であっても、精度良く測距を行うことが可能である。また、精度の高い視差情報にもとづき第１画像信号から新第２画像信号を生成しているので、良好な品質の立体画像信号を生成することができる。
【０１６６】
さらに、撮像装置１１０では、第２撮像部３１０を使用する必要がないとき使用者はモニター１１３を閉じておくこともできるので、携帯時等の利便性が向上する。
【０１６７】
（実施の形態２）
以下、図１２、図１３を用いて、実施の形態２を説明する。
【０１６８】
［２−１．構成］
実施の形態２における撮像装置１２０は、実施の形態１に示した撮像装置１１０と実質的に同じ外観、構成、機能であり、実質的に同じ動作をするので、詳細な説明を省略する。また、使用者が立体画像の撮像および測距を行うときの動作も、実施の形態１と実質的に同様である。ただし、画像信号処理部における処理動作に差異があるので、以下、この差異について説明する。
【０１６９】
図１２は、実施の形態２における撮像装置１２０の構成を機能毎にブロック分けして示す図である。
【０１７０】
図１３は、実施の形態２における撮像装置１２０の画像信号の処理の流れの一例を概略的に示す図である。なお、図１３に示す数値は、単に一例を挙げたものに過ぎず、本実施の形態は何らこれらの数値に限定されるものではない。
【０１７１】
なお、以下では、実施の形態１に示した構成要素と実質的に同じ動作、機能、構成を有する構成要素については実施の形態１で示した符号と同一の符号を付与し、説明を省略する。
【０１７２】
図１２に示すように、本実施の形態における撮像装置１２０の画像信号処理部４２０は、図４に示した画像信号処理部３２０とほぼ同様の構成であるが、縮小処理部３２２に代えて画素数合わせ部４２２を有する点が異なる。
【０１７３】
画素数合わせ部４２２は、画角合わせ部３２１から出力される第１画像信号と切り出し画像信号の両画像信号の画素数を比較し、いずれか画素数が多い方の画像信号の画素数を、画素数が少ない方の画像信号の画素数に合わせて、縮小する。こうして、両画像信号の画素数を互いに等しくする。
【０１７４】
例えば、図１３に示すように、第１画像信号の画素数が１９２０×１０８０、切り出し画像信号の画素数が３８４０×２１６０であれば、切り出し画像信号を水平方向・垂直方向それぞれに１／２に縮小処理して、画素数１９２０×１０８０の画像信号にする。
【０１７５】
第１画像信号の画素数の方が切り出し画像信号の画素数よりも多いときには、画素数合わせ部４２２は、第１画像信号の画素数を、切り出し画像信号の画素数に合わせて縮小する。
【０１７６】
なお、画素数合わせ部４２２においては、例えば、切り出し画像信号の画素数が第１画像信号の画素数の１／４以上のときに上述の処理を行う、といった制限を設けてもよい。
【０１７７】
［２−２．動作］
以上のように構成された撮像装置１２０の動作は、縮小処理部３２２で行った縮小処理に代えて画素数合わせ部４２２で上述の画素数を合わせる処理が行われる点が異なる以外は実施の形態１に示した撮像装置１１０と実質的に同じ動作であるので、詳細な説明を省略する。
【０１７８】
［２−３．効果等］
以上のように構成された撮像装置１２０では、縮小処理部３２２で行った画像信号の縮小処理を行わないので、後段の視差情報生成部３２３における視差情報の算出精度を、実施の形態１に示した構成と比較して、高めることができる。
【０１７９】
例えば、図１３に示す例では、視差情報生成部３２３は、画素数１９２０×１０８０の画像信号にもとづく視差情報（デプスマップ）を生成する。これは、実施の形態１に示した例と比較して、４倍の情報量になる。
【０１８０】
したがって、本実施の形態における撮像装置１２０では、実施の形態１に示した撮像装置１１０と比較して、より精度の高い測距を行うことができる。
【０１８１】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１、２を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１、２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０１８２】
そこで、以下、他の実施の形態を例示する。
【０１８３】
例えば、撮像装置に、実施の形態１に示した縮小処理部３２２と実施の形態２に示した画素数合わせ部４２２の両方を備える構成としてもよい。この構成では、例えば、立体画像の撮像（新第２画像信号の生成）を行うときは、縮小処理部３２２を通した画像信号にもとづき視差情報（デプスマップ）を生成し、測距を行うときは画素数合わせ部４２２を通した画像信号にもとづき視差情報（デプスマップ）を生成する、といったように、用途に応じて２種類の視差情報（デプスマップ）を生成することができる。
【０１８４】
本実施の形態では、撮像装置を、第１撮像部３００で第１画像を撮像し、第２撮像部３１０で第２画像を撮像するように構成する例を説明したが、例えば、第１撮像部３００に代えて第１画像入力部を備え、第２撮像部３１０に代えて第２画像入力部を備え、第１画像入力部を通して第１画像を取得し、第２画像入力部を通して第２画像を取得するように構成してもよい。
【０１８５】
実施の形態１、２では、撮像装置において測距を行う構成を説明したが、本実施の形態に示した測距のための構成および動作は、立体画像の撮像を目的としていない機器（例えば、測距装置、等）にも適応可能である。
【０１８６】
実施の形態１、２に示した構成および動作は、動画撮影時にも適応可能である。ただし、第１画像信号および第２画像信号が動画であって、フレームレートが互いに異なるときは、画角合わせ部３２１において、いずれかフレームレートが低い方の画像信号をフレームレートが高い方の画像信号に合わせて高フレームレート化し、高いに等しいフレームレートにするものとする。例えば、第１画像信号のフレームレートが６０Ｈｚ、第２画像信号のフレームレートが３０Ｈｚであれば、第２画像信号または切り出し画像信号を６０Ｈｚに高フレームレート化する。なお、この際に用いるフレームレート変換手法は、公知のものでかまわない。このように、動画信号に対しては、比較を行いやすい状態にして、視差情報生成を行うものとする。これにより動画撮像時においても高い精度で測距を行うことができる。
【０１８７】
なお、第１光学部３０１（第１レンズ群２０１）および第２光学部３１１（第２レンズ群２１１）は、何ら実施の形態１に示した構成に限定されるものではない。例えば、フォーカス調節が可能なフォーカスレンズに代えて、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズを用いる構成でもよい。また、第２光学部３１１に、第２撮像素子３１２（第２ＣＣＤ２１２）で受光する光量を調節する光学式の絞りを備える構成としてもよい。
【０１８８】
また、第２光学部３１１に、単焦点レンズに代えて光学ズームレンズを備える構成としてもよい。その場合、例えば、撮像装置で立体画像の撮像や測距を行うときには、自動的に第２光学部３１１が広角端になるように構成してもよい。
【０１８９】
また、第１光学部３０１を望遠端（テレ端）にしたときに、切り出し画像信号が第１画像信号よりも低解像度になるように、撮像装置を構成してもよい。その場合、例えば、第１光学部３０１のズーム倍率を上げていく過程で切り出し画像信号の解像度が第１画像信号の解像度以下となったときに、立体画像から通常画像に撮像モードが自動で変わるように撮像装置を構成してもよい。
【０１９０】
なお、モニター１１３が立体画像の撮像および測距に適した位置まで開いたときにオン状態になり、それ以外ではオフになるスイッチを撮像装置に設け、そのスイッチがオンになったときのみ立体画像の撮像または測距ができるように撮像装置を構成してもよい。
【０１９１】
なお、実施の形態に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は画像表示装置の仕様等にあわせて最適な値に設定することが望ましい。
【産業上の利用可能性】
【０１９２】
本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に適用可能である。具体的には、立体視用の画像を撮像可能な、デジタルビデオカメラ、デジタルスチルカメラ、カメラ機能付き携帯電話、スマートフォン等に本開示は適用可能である。
【符号の説明】
【０１９３】
１１０，１２０    撮像装置
１１１    第１レンズ部
１１２    第２レンズ部
１１３    モニター
２００    第１撮像ユニット
２０１    第１レンズ群
２０２    第１ＣＣＤ
２０３    第１Ａ／Ｄ変換ＩＣ
２０４    第１アクチュエーター
２１０    第２撮像ユニット
２１１    第２レンズ群
２１２    第２ＣＣＤ
２１３    第２Ａ／Ｄ変換ＩＣ
２１４    第２アクチュエーター
２２０    ＣＰＵ
２２１    ＲＡＭ
２２２    ＲＯＭ
２２３    加速度センサ
２２４    入力装置
２２５    ディスプレイ
２２６    エンコーダー
２２７    記憶装置
３００    第１撮像部
３０１    第１光学部
３０２    第１撮像素子
３０３    第１光学制御部
３１０    第２撮像部
３１１    第２光学部
３１２    第２撮像素子
３１３    第２光学制御部
３２０，４２０    画像信号処理部
３２１    画角合わせ部
３２２    縮小処理部
３２３    視差情報生成部
３２４    測距部
３２５    画像生成部
３２６    撮像制御部
３３０    表示部
３４０    記憶部
３５０    入力部
３６０    カメラ情報部
４２２    画素数合わせ部
【図１】
2014141654.tif 000003
【図２】
2014141654.tif 000004
【図３】
2014141654.tif 000005
【図４】
2014141654.tif 000006
【図５】
2014141654.tif 000007
【図６】
2014141654.tif 000008
【図７】
2014141654.tif 000009
【図８】
2014141654.tif 000010
【図９】
2014141654.tif 000011
【図１０】
2014141654.tif 000012
【図１１】
2014141654.tif 000013
【図１２】
2014141654.tif 000014
【図１３】
2014141654.tif 000015
【手続補正書】
【提出日】平成27年6月11日(2015.6.11)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、主撮像部と従撮像部とを備え、３Ｄ画像を生成するデジタルカメラを開示する。このデジタルカメラは、主撮像部から得られる主画像信号と従撮像部から得られる従画像信号との間に生じる視差を抽出する。そして、抽出した視差に基づき、主画像信号から新たな従画像信号を生成し、主画像信号と新たな従画像信号とで３Ｄ画像を生成する。
【０００３】
特許文献２は、左右の撮影倍率が異なった状態でステレオ撮影を行うことができるステレオカメラを開示する。このステレオカメラは、第１の画像データを生成する第１の撮像手段と、第１の画像データよりも画角が広い第２の画像データを生成する第２の撮像手段とを有する。そして、第２の画像データから、第１の画像データに対応する範囲を第３の画像データとして切り出し、第１の画像データと第３の画像データとでステレオ画像データを生成する。
【０００４】
また、特許文献１、２は、主撮像部（第１の撮像手段）は光学ズーム機能を備え、従撮像部（第２の撮像手段）は光学ズーム機能を備えず電子ズーム機能を備えた構成を開示している。
【０００５】
特許文献３は、２眼の撮像系を有する電子カメラを開示する。この電子カメラは、ズームレンズと単焦点で固定焦点のサブレンズを有し、ズームレンズを介して得られた画像と、サブレンズを介して得られた画像とに基づいて、測距を行う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２０６０６号公報
【特許文献２】特開２００５−２１０２１７号公報
【特許文献３】特開２００６−９３８５９号公報
【発明の概要】
【０００７】
本開示は、光学的特性および撮像素子の仕様が異なる一対の撮像部で撮影される一対の画像または動画に基づき測距を行うことが可能な測距装置および撮像装置を提供する。
【０００８】
本開示の測距装置は、画角合わせ部と、視差情報生成部と、複数のルックアップテーブルと、測距部と、を備える。画角合わせ部は、第１画像信号と、第１画像信号よりも高解像度であって第１画像信号以上の画角を有する第２画像信号と、が入力され、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。視差情報生成部は、第１画像信号と切り出し画像信号とに基づき視差情報を生成するように構成されている。ルックアップテーブルには、第１画像を撮像して第１画像信号を出力する撮像部の光学ズームの倍率に応じて、視差情報と被写体までの距離との関係があらかじめ設定されている。測距部は、視差情報と第１画像信号とに基づき、ルックアップテーブルを用いて、第１画像信号に含まれる所定の被写体までの距離を算出するように構成されている。
【０００９】
本開示の撮像装置は、表示部と、第１撮像部と、第２撮像部と、画角合わせ部と、視差情報生成部と、複数のルックアップテーブルと、測距部と、を備え、第２撮像部を、表示部の画像表示面の裏側に配置する。表示部は、撮像画像を画像表示面に表示するように構成され、開閉可能に構成されている。第１撮像部は、第１画像を撮像して第１画像信号を出力するように構成されている。第２撮像部は、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成されている。画角合わせ部は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。視差情報生成部は、第１画像信号と切り出し画像信号とに基づき視差情報を生成するように構成されている。ルックアップテーブルには、第１撮像部の光学ズームの倍率に応じて、視差情報と被写体までの距離との関係があらかじめ設定されている。測距部は、視差情報と第１画像信号とに基づき、ルックアップテーブルを用いて、第１画像信号に含まれる所定の被写体までの距離を算出するように構成されている。
【００１０】
本開示の測距方法は、第１画像信号に基づき、第１画像信号よりも高解像度であって第１画像信号以上の画角を有する第２画像信号から、少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号と前記切り出し画像信号とに基づき視差情報を生成し、第１画像を撮像して第１画像信号を出力する撮像部の光学ズームの倍率に応じて、視差情報と被写体までの距離との関係があらかじめ設定された複数のルックアップテーブルを、視差情報と第１画像信号とに基づき用いて、第１画像信号に含まれる所定の被写体までの距離を算出する。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態１における撮像装置のモニターを開いたときの外観図である。
【図２】図２は、実施の形態１における撮像装置のモニターを閉じたときの外観図である。
【図３】図３は、実施の形態１における撮像装置の回路構成を概略的に示す図である。
【図４】図４は、実施の形態１における撮像装置の構成を機能毎にブロック分けして示す図である。
【図５】図５は、実施の形態１における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。
【図６】図６は、実施の形態１における撮像装置の立体画像撮像時の動作を説明するフローチャートである。
【図７】図７は、実施の形態１における撮像装置の測距動作を説明するフローチャートである。
【図８】図８は、実施の形態１における撮像装置の測距動作の詳細を説明するフローチャートである。
【図９】図９は、実施の形態１における撮像装置での撮像の様子を概略的に示す図である。
【図１０】図１０は、実施の形態１における撮像装置での基準面の設定例を概略的に示す図である。
【図１１】図１１は、実施の形態１における撮像装置の表示部に表示される算出距離が重畳された画像の一例を示す図である。
【図１２】図１２は、実施の形態２における撮像装置の構成を機能毎にブロック分けして示す図である。
【図１３】図１３は、実施の形態２における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。
【発明を実施するための形態】
【００１２】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１３】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１４】
（実施の形態１）
以下、図１〜図１１を用いて、実施の形態１を説明する。
【００１５】
［１−１．構成］
図１は、実施の形態１における撮像装置１１０のモニター１１３を開いたときの外観図である。
【００１６】
図２は、実施の形態１における撮像装置１１０のモニター１１３を閉じたときの外観図である。
【００１７】
撮像装置１１０は、モニター１１３と、第１レンズ部１１１を有する撮像部（以下、「第１撮像部」と記す）と、第２レンズ部１１２を有する撮像部（以下、「第２撮像部」と記す）と、を備えている。撮像装置１１０は、このように複数の撮像部を有し、それぞれの撮像部で静止画撮像および動画撮影が可能である。
【００１８】
第１レンズ部１１１は、第１撮像部の撮像方向が前方を向くように、撮像装置１１０の本体前方に設けられている。
【００１９】
モニター１１３は、図１、図２に示すように、開閉可能に撮像装置１１０本体に設けられており、撮像画像を表示するためのディスプレイ（図１、図２には示さず）を有する。ディスプレイは、モニター１１３を開いたとき、第１撮像部の撮像方向とは反対側の面、すなわち撮像装置１１０の後方にいる使用者（図示せず）が観測できる側に、備えられている。
【００２０】
第２レンズ部１１２は、モニター１１３の、ディスプレイの設置側と反対側に配置され、モニター１１３を開いたときに第１撮像部と同じ方向を撮像できるように構成されている。
【００２１】
撮像装置１１０では、第１撮像部を主たる撮像部とし、第２撮像部を従たる撮像部とする。そして、図１に示すように、モニター１１３を開いた状態にすることで、これら２つの撮像部を用いて、立体視用の静止画（以下、「立体画像」と記す）の撮像および立体視用の動画（以下、「立体動画」と記す）の撮影が可能である。主たる第１撮像部は光学ズーム機能を有し、使用者は、このズーム機能を任意のズーム倍率に設定して静止画撮像または動画撮影が可能である。
【００２２】
本実施の形態では、右眼視点の画像を第１撮像部で撮像し、左眼視点の画像を第２撮像部で撮像する例を説明する。したがって、図１に示すように、撮像装置１１０では、撮像方向に向かって右側に第１レンズ部１１１が配置され、撮像方向に向かって左側に第２レンズ部１１２が配置されている。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１撮像部で左眼視点の画像を撮像し、第２撮像部で右眼視点の画像を撮像するように構成してもよい。以下、第１撮像部で撮像した画像を「第１画像」とし、第２撮像部で撮像した画像を「第２画像」とする。
【００２３】
なお、従たる第２撮像部が有する第２レンズ部１１２は、第１レンズ部１１１と比較して口径が小さく、光学ズーム機能も備えていない。そのため、第２撮像部は、設置に必要な容積が第１撮像部と比較して小さく、モニター１１３に搭載することができる。
【００２４】
本実施の形態では、詳細は後述するが、第１撮像部で撮像される右眼視点の画像と、第２撮像部で撮像される左眼視点の画像とを比較することで視差量（ずれ量）を算出し、算出した視差量（ずれ量）にもとづき撮像装置１１０から被写体までの距離を算出する。
【００２５】
この視差量（ずれ量）とは、第１画像と第２画像とを同一画角にして重ね合わせたときに生じる被写体の位置のずれの大きさのことである。このずれは、第１撮像部と第２撮像部との配置位置の違い（視差）により生じる。自然な立体感を有する立体画像を生成するためには、第１撮像部の光軸と第２撮像部の光軸とが、人の視差方向と同様に地面に対して水平になるように、かつ左右の眼の離間幅と同程度離間するように、設定されていることが望ましい。
【００２６】
そのために、撮像装置１１０では、第１レンズ部１１１と第２レンズ部１１２とを、使用者が撮像装置１１０を正常に保持（立体画像を撮像する状態で保持）したときに、それぞれの光学中心が実質的に同一の水平面（地面に水平な面）上に位置するように、配置する。また、第１レンズ部１１１の光学中心と第２レンズ部１１２の光学中心との距離が、３０ｍｍ以上６５ｍｍ以下となるようにそれぞれの配置位置を設定する。
【００２７】
また、自然な立体感を有する立体画像を生成するためには、第１レンズ部１１１および第２レンズ部１１２は、それぞれの配置位置から被写体までの距離が互いに実質的に等しいことが望ましい。そのために、撮像装置１１０では、第１レンズ部１１１および第２レンズ部１１２を、エピポーラ拘束（Ｅｐｉｐｏｌａｒ  Ｃｏｎｓｔｒａｉｎｔ）を実質的に満足するように配置する。すなわち、第１レンズ部１１１および第２レンズ部１１２を、それぞれの光学中心が、第１撮像部が有する撮像素子または第２撮像部が有する撮像素子の撮像面に実質的に平行な１つの平面上に位置するように、配置する。
【００２８】
なお、これらの条件は、厳密に満たされなければならない、というわけではなく、実用上問題が生じない範囲での誤差は許容される。また、仮にこれらの条件が満足されなくとも、画像の拡大縮小、回転、平行移動等を計算で行うアフィン変換を実行することにより、これらの条件を満足する画像に変換することも可能である。そして、アフィン変換を施した画像を用いて視差量（ずれ量）を算出すればよい。
【００２９】
また、撮像装置１１０では、第１撮像部の光軸と第２撮像部の光軸とが互いに平行になるように第１レンズ部１１１および第２レンズ部１１２を配置する（以下、「平行法」と記す）。しかし、第１撮像部の光軸と第２撮像部の光軸とが所定の一点で交差するように第１レンズ部１１１および第２レンズ部１１２を配置（以下、「交差法」と記す）してもよい。また、平行法で撮像された画像を、アフィン変換により、交差法で撮像されたかのような画像に変換することも可能である。
【００３０】
なお、これらの条件が満たされた状態で撮像される第１画像および第２画像では、被写体の位置はエピポーラ拘束条件を実質的に満たす。この場合、後述する立体画像の生成過程において、一方の画像（例えば、第１画像）で被写体の位置が確定すると、他方の画像（例えば、第２画像）での被写体の位置は比較的容易に算出できるので、立体画像の生成過程における演算量を軽減できる。逆に、これらの条件で満たされない項目が増えるほど、アフィン変換等の演算量が増えるので、立体画像の生成過程における演算量は増大する。
【００３１】
図３は、実施の形態１における撮像装置１１０の回路構成を概略的に示す図である。
【００３２】
撮像装置１１０は、第１撮像部である第１撮像ユニット２００、第２撮像部である第２撮像ユニット２１０、ＣＰＵ２２０、ＲＡＭ２２１、ＲＯＭ２２２、加速度センサ２２３、ディスプレイ２２５、エンコーダー２２６、記憶装置２２７、入力装置２２４を有する。
【００３３】
第１撮像ユニット２００は、第１レンズ群２０１、第１撮像素子である第１ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）２０２、第１Ａ／Ｄ変換ＩＣ２０３、および第１アクチュエーター２０４を備える。
【００３４】
第１レンズ群２０１は、図１に示した第１レンズ部１１１に相当し、光学ズームが可能なズームレンズおよびフォーカス調節が可能なフォーカスレンズ、を含む複数のレンズで構成される光学系である。さらに、第１レンズ群２０１には、第１ＣＣＤ２０２で受光する光の量（光量）を調節する光学式の絞り（図示せず）が備えられている。第１レンズ群２０１を通して取り込まれた光は、第１レンズ群２０１で光学ズーム、フォーカスおよび光量の各調節がなされた後、第１ＣＣＤ２０２の撮像面に被写体像として結像する。この画像が第１画像である。
【００３５】
第１ＣＣＤ２０２は、撮像面で受光した光を電気信号に変換して出力するように構成されている。この電気信号は、光の強さ（光量）に応じて電圧値が変化するアナログ信号である。
【００３６】
第１Ａ／Ｄ変換ＩＣ２０３は、第１ＣＣＤ２０２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第１画像信号である。
【００３７】
第１アクチュエーター２０４は、第１レンズ群２０１に含まれるズームレンズおよびフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＣＰＵ２２０から出力される制御信号により制御される。
【００３８】
本実施の形態では、第１撮像ユニット２００は、第１画像を「水平方向の画素数１，９２０、垂直方向の画素数１，０８０」の画像信号にして出力するものとして、以下の説明を行う。また、第１撮像ユニット２００は、静止画の撮像だけでなく、動画撮影も可能に構成されており、一般的な動画と同様のフレームレート（例えば、６０Ｈｚ）での動画撮影を行うことができる。したがって、第１撮像ユニット２００では、高品質で滑らかな動画を撮影することが可能である。なお、フレームレートとは、単位時間（例えば、１秒間）に撮像する画像の枚数のことであり、フレームレートを６０Ｈｚにして動画撮影すると、１秒間に６０枚の画像が連続して撮像される。
【００３９】
なお、第１画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。
【００４０】
第２撮像ユニット２１０は、第２レンズ群２１１、第２撮像素子である第２ＣＣＤ２１２、第２Ａ／Ｄ変換ＩＣ２１３、および第２アクチュエーター２１４を備える。
【００４１】
第２レンズ群２１１は、図１に示した第２レンズ部１１２に相当し、フォーカス調節が可能なフォーカスレンズを含む複数のレンズで構成される光学系である。第２レンズ群２１１を通して取り込まれた光は、第２レンズ群２１１でフォーカスの調節がなされた後、第２ＣＣＤ２１２の撮像面に被写体像として結像する。この画像が第２画像である。
【００４２】
なお、第２レンズ群２１１は、上述したように光学ズーム機能を備えていない。そのため、光学ズームレンズではなく単焦点レンズを有する。また、第２レンズ群２１１は、第１レンズ群２０１よりも小型のレンズ群から構成され、第２レンズ群２１１の対物レンズには、第１レンズ群２０１の対物レンズよりも口径が小さいものが用いられている。これにより、第２撮像ユニット２１０を第１撮像ユニット２００よりも小型化し、撮像装置１１０全体を小型化して使い勝手（携帯性、操作性）を向上するとともに、第２撮像ユニット２１０の配置位置に関する自由度を高めている。これにより、図１に示したように、第２撮像ユニット２１０をモニター１１３に搭載することができる。
【００４３】
第２ＣＣＤ２１２は、第１ＣＣＤ２０２と同様に、撮像面で受光した光をアナログの電気信号に変換して出力するように構成されている。ただし、本実施の形態における第２ＣＣＤ２１２は、第１ＣＣＤ２０２よりも高い解像度を有する。したがって、第２画像の画像信号は、第１画像の画像信号よりも解像度が高く、画素数が多い。これは、第２画像の画像信号の一部を取り出して使用したり、電子ズームにより画像拡大をするためである。これらの詳細は後述する。
【００４４】
第２Ａ／Ｄ変換ＩＣ２１３は、第２ＣＣＤ２１２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第２画像信号である。
【００４５】
第２アクチュエーター２１４は、第２レンズ群２１１に含まれるフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＣＰＵ２２０から出力される制御信号により制御される。
【００４６】
本実施の形態では、第２撮像ユニット２１０は、第２画像を「水平方向の画素数７，６８０、垂直方向の画素数４，３２０」の画像信号にして出力するものとして、以下の説明を行う。また、第２撮像ユニット２１０は、第１撮像ユニット２００と同様に、静止画の撮像だけでなく、動画撮影も可能に構成されている。ただし、第２画像信号は第１画像信号よりも解像度が高く、画素数が多いため、第２撮像ユニット２１０における動画撮影の際のフレームレートは、第１撮像ユニット２００での動画撮影の際のフレームレートよりも低い（例えば、３０Ｈｚ）。
【００４７】
なお、第２画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。
【００４８】
なお、本実施の形態では、撮像素子の撮像面に結像した被写体像を電気信号に変換し、Ａ／Ｄ変換ＩＣから画像信号として出力する一連の動作を「撮像」とする。第１撮像部では第１画像を撮像して第１画像信号を出力し、第２撮像部では第２画像を撮像して第２画像信号を出力する。
【００４９】
なお、本実施の形態では、第１撮像素子および第２撮像素子にＣＣＤを用いる例を説明したが、第１撮像素子および第２撮像素子は、受光した光を電気信号に変換する撮像素子であればよく、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等であってもよい。
【００５０】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２２は、ＣＰＵ２２０を動作させるプログラムやパラメータ等の各種データが記憶されており、それらのデータをＣＰＵ２２０が任意に読み出すことができるように構成されている。ＲＯＭ２２２は、不揮発性型の半導体記憶素子で構成され、撮像装置１１０の電源がオフになっても、記憶されたデータは保持される。
【００５１】
入力装置２２４は、使用者の指示を受け付けることができるように構成された入力装置の総称である。入力装置２２４には、例えば、使用者が操作する電源ボタンや設定ボタン等の各種ボタン、タッチパネル、レバー等が含まれる。本実施の形態では、タッチパネルがディスプレイ２２５に設けられている例を説明する。しかし、入力装置２２４は、何らこれらの構成に限定されるものではなく、例えば音声入力装置を備えていてもよく、あるいは、全ての入力操作をタッチパネルで行う構成や、逆にタッチパネルを備えず全ての入力操作をボタンやレバー等で行う構成であってもよい。
【００５２】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２２０は、ＲＯＭ２２２から読み出したプログラムやパラメータ、入力装置２２４で受け付けられた使用者の指示、等にもとづき動作し、撮像装置１１０全体の制御、および各種演算処理を行うように構成されている。この各種演算処理には、第１画像信号および第２画像信号に関する画像信号処理が含まれる。この画像信号処理の詳細は後述する。
【００５３】
本実施の形態では、ＣＰＵ２２０にマイクロコンピューターを用いているが、例えば、マイクロコンピューターに代えてＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を用い、同様の動作を行うように構成してもよい。
【００５４】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２２１は、揮発性型の半導体記憶素子で構成され、ＣＰＵ２２０からの指示にもとづき、ＣＰＵ２２０を動作させるプログラムの一部、プログラム実行時のパラメータ、使用者の指示、等を一時的に記憶するように構成されている。ＲＡＭ２２１に記憶されたデータは、ＣＰＵ２２０が任意に読み出すことができ、ＣＰＵ２２０の指示によって任意に書き換えが可能である。
【００５５】
加速度センサ２２３は、一般的に用いられている加速度検出センサであり、撮像装置１１０の動きや姿勢の変化を検出するように構成されている。加速度センサ２２３では、例えば、撮像装置１１０が地面に対して平行に保たれているかどうか、が検出され、この検出結果はディスプレイ２２５に表示される。したがって、使用者はその表示を見ることで、撮像装置１１０が地面に対して水平に保たれているかどうか、すなわち、撮像装置１１０が立体画像の撮像に適した状態（姿勢）にあるかどうか、を判断することができる。これにより、使用者は、撮像装置１１０を適切な姿勢に保って立体画像の撮像や立体動画の撮影を行うことができる。
【００５６】
なお、撮像装置１１０は、加速度センサ２２３での検出結果にもとづき手振れ補正等の光学系制御を行う構成であってもよい。また、加速度センサ２２３は、３軸方向のジャイロスコープ（３軸ジャイロセンサ）であってもよく、複数のセンサを組み合わせて用いる構成であってもよい。
【００５７】
ディスプレイ２２５は、一般に用いられている液晶ディスプレイパネルで構成され、図１に示したモニター１１３に搭載されている。ディスプレイ２２５は、上述したタッチパネルが表面に取り付けられており、画像表示と使用者の指示受け付けを同時に行うことができるように構成されている。ディスプレイ２２５に表示される画像には、（１）撮像装置１１０で撮像中の画像（第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号にもとづく画像）、（２）記憶装置２２７に記憶されている画像信号にもとづく画像、（３）ＣＰＵ２２０で信号処理された画像信号にもとづく画像、（４）撮像装置１１０の各種設定項目を表示するメニュー表示画面、等がある。ディスプレイ２２５には、これらの画像が選択的に、または複数の画像を互いに重畳した画像が、表示される。なお、ディスプレイ２２５は、何ら上述の構成に限定されるものではなく、薄型で低消費電力の画像表示装置であればよく、例えばＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等で構成されていてもよい。
【００５８】
エンコーダー２２６は、撮像装置１１０で撮像した画像にもとづく画像信号や撮像した画像に関連する情報を、所定の方式で符号化（エンコード）するように構成されている。これは、データ量を低減して記憶装置２２７に記憶するためである。この符号化の方式は、一般的に用いられている画像圧縮方式であり、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ、等である。
【００５９】
記憶装置２２７は、任意に書き換えが可能な比較的大容量の記憶装置であるハードディスクドライブ（ＨＤＤ）で構成され、エンコーダー２２６で符号化されたデータ等を読み出し可能に記憶するように構成されている。また、記憶装置２２７に記憶するデータには、ＣＰＵ２２０で生成された立体画像の画像信号、立体画像の表示に必要な情報、画像信号に付随する画像情報が含まれる。なお、記憶装置２２７は、第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号を、符号化処理を施さずにそのまま記憶するように構成されていてもよい。また、記憶装置２２７は、何らＨＤＤに限定されるものではなく、例えば、半導体記憶素子を内蔵したメモリーカードや光ディスク等の着脱可能な記憶媒体に記憶する構成であってもよい。
【００６０】
なお、上述の画像情報とは、画像信号に関する情報のことであり、例えば、画像の符号化方式、ビットレート、画像のサイズ、解像度、フレームレート、符号化される画像種類（一例として、Ｉ−Ｆｒａｍｅ、Ｂ−Ｆｒａｍｅ、Ｐ−Ｆｒａｍｅ、等）、撮像時の合焦距離（フォーカスが合っている被写体までの距離）、ズーム倍率、立体画像であるか否か、立体画像である場合には、左眼用画像と右眼用画像との識別子、視差情報、画像に写された被写体までの距離情報、等が挙げられる。これらのうちの単数または複数の情報が、画像情報として画像信号に関連付けられて記憶装置２２７に記憶される。
【００６１】
［１−２．動作］
以上のように構成された撮像装置１１０について、その動作を説明する。
【００６２】
以下では、撮像装置１１０で立体画像を撮像しているときに行われる主な動作を、機能毎にブロック分けして説明する。
【００６３】
図４は、実施の形態１における撮像装置１１０の構成を機能毎にブロック分けして示す図である。
【００６４】
撮像装置１１０の構成を、立体画像の撮像をしているときに動作する主な機能で分けて示すと、撮像装置１１０は、図４に示すように、第１撮像部３００、第２撮像部３１０、画像信号処理部３２０、表示部３３０、記憶部３４０、入力部３５０、カメラ情報部３６０、の７つのブロックに大別することができる。
【００６５】
なお、画像信号処理部３２０では、画像信号を処理する際に、フレームメモリ等の記憶素子に一時的に画像信号を記憶するが、図４では、そのような記憶素子は省略している。
【００６６】
第１撮像部３００は、第１光学部３０１、第１撮像素子３０２、第１光学制御部３０３、を備える。第１撮像部３００は、図３に示した第１撮像ユニット２００に相当する。また、第１光学部３０１は第１レンズ群２０１に、第１撮像素子３０２は第１ＣＣＤ２０２および第１Ａ／Ｄ変換ＩＣ２０３に、第１光学制御部３０３は第１アクチュエーター２０４に、それぞれ相当する。重複するのでこれらの説明は省略する。
【００６７】
第２撮像部３１０は、第２光学部３１１、第２撮像素子３１２、第２光学制御部３１３、を備える。第２撮像部３１０は、図３に示した第２撮像ユニット２１０に相当する。また、第２光学部３１１は第２レンズ群２１１に、第２撮像素子３１２は第２ＣＣＤ２１２および第２Ａ／Ｄ変換ＩＣ２１３に、第２光学制御部３１３は第２アクチュエーター２１４に、それぞれ相当する。重複するのでこれらの説明は省略する。
【００６８】
表示部３３０は、図３に示したディスプレイ２２５に相当する。入力部３５０は、図３に示した入力装置２２４に相当する。入力部３５０に含まれるタッチパネルは、表示部３３０の表面に取り付けられており、表示部３３０では、画像の表示と使用者の指示受け付けを同時に行うことができる。カメラ情報部３６０は、図３に示した加速度センサ２２３に相当する。記憶部３４０は、図３に示した記憶装置２２７に相当する。重複するのでこれらの説明は省略する。
【００６９】
画像信号処理部３２０は、図３に示したＣＰＵ２２０およびエンコーダー２２６に相当する。
【００７０】
なお、ＣＰＵ２２０では、撮像装置１１０全体の制御や各種演算処理が行われるが、図４には、撮像装置１１０で立体画像の撮像を行うときにＣＰＵ２２０で行われる演算処理（画像信号処理）および制御動作に関連する主な機能のみをブロック分けして示しており、他の動作に関する機能は省略している。これは、撮像装置１１０で立体画像を撮像するときの動作を分かりやすく示すためである。
【００７１】
なお、画像信号処理部３２０として図４に示す各機能ブロックは、ＣＰＵ２２０で行われる演算処理および制御動作の主なものを機能別に分けて示しているに過ぎず、ＣＰＵ２２０の内部が図４に示す各機能ブロックに物理的に分けられているわけではない。しかし、以下では便宜的に画像信号処理部３２０が図４に示す各部を有するものとして説明を行う。
【００７２】
なお、ＣＰＵ２２０は、図４に示す各機能ブロックに相当する電子回路を備えたＩＣまたはＦＰＧＡで構成してもよい。
【００７３】
画像信号処理部３２０は、図４に示すように、画角合わせ部３２１、縮小処理部３２２、視差情報生成部３２３、測距部３２４、画像生成部３２５、撮像制御部３２６、を有する。
【００７４】
画角合わせ部３２１は、第１撮像部３００から出力される第１画像信号および第２撮像部３１０から出力される第２画像信号が入力される。そして、撮像範囲が互いに等しいと判断される画像信号を各入力画像信号から取り出す。
【００７５】
第１撮像部３００では光学ズームによる撮像が可能であり、第２撮像部３１０では単焦点レンズによる撮像が行われる。第１光学部３０１が広角端のときの第１画像の画角が第２画像の画角以下になるように各撮像部が設定されていれば、第２画像に撮像される範囲には、常に第１画像に撮像される範囲が含まれることになる。例えば、ズーム倍率を上げて撮像された第１画像よりも、撮像の際に光学ズームができない第２画像の方が、画角が広く、この第２画像には第１画像よりも広い範囲が撮像されている。
【００７６】
なお、「画角（Ａｎｇｌｅ  ｏｆ  ｖｉｅｗ）」とは、画像として撮像される範囲のことであり、一般的には角度で表現される。
【００７７】
そこで、画角合わせ部３２１では、パターンマッチング等の一般に用いられている比較・照合手法を用いて、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出す。以下、第２画像信号から取り出された画像信号を「切り出し画像信号」と呼称し、切り出し画像信号による画像を「切り出し画像」と呼称する。したがって、切り出し画像は、画角合わせ部３２１において第１画像の撮像範囲に等しいと判断された範囲の画像になる。
【００７８】
なお、第１光学部３０１と第２光学部３１１との配置位置の違い（視差）により、第１画像と第２画像とでは画像内における被写体の位置に差が生じる。そのため、第２画像における第１画像に対応する領域が、第１画像に完全に合致する可能性は低い。したがって、画角合わせ部３２１でパターンマッチングを行う際は、第１画像信号と類似度が最も大きくなる領域を第２画像信号において探索し、その領域を第２画像信号から取り出して切り出し画像信号とすることが望ましい。
【００７９】
そして、画角合わせ部３２１は、切り出し画像信号と第１画像信号を後段の縮小処理部３２２に出力する。なお、第１画像と第２画像の画角が互いに等しいときには、第２画像信号をそのまま切り出し画像信号として用いることもある。
【００８０】
なお、画角合わせ部３２１における動作は、何ら上述した動作に限定されるものではない。例えば、第１画像の画角が第２画像の画角より広ければ、第１画像信号から第２画像の撮像範囲に相当する領域を取り出して切り出し画像信号を生成するように動作してもよい。また、第１画像と第２画像とで撮像範囲に差があるときには、撮像範囲が互いに等しい領域を第１画像信号と第２画像信号とのそれぞれから取り出して後段に出力するように動作してもよい。
【００８１】
なお、本実施の形態は、画角合わせ部３２１において第１画像信号と第２画像信号との比較に用いる手法を、何らパターンマッチングに限定するものではなく、その他の比較・照合手法を用いて切り出し画像信号を生成してもよい。
【００８２】
縮小処理部３２２は、画角合わせ部３２１から出力される第１画像信号と切り出し画像信号の両画像信号を、画素を間引いて画素数（信号量）を削減する縮小処理を行う。これは、後段の視差情報生成部３２３における視差情報の算出に必要な演算量を低減するためである。
【００８３】
また、縮小処理部３２２は、両画像信号の縮小処理後の画素数が互いに等しくなるように、それぞれの縮小処理を行う。これは、後段の視差情報生成部３２３において行う２つの画像信号の比較処理を、演算量を低減するとともに精度を高めて行うためである。例えば、切り出し画像信号の画素数（例えば、３８４０×２１６０）が第１画像信号の画素数（例えば、１９２０×１０８０）の４倍であり、第１画像信号を画素数が１／４（例えば、９６０×５４０）になるように縮小処理する場合は、切り出し画像信号に関しては画素数が１／１６（例えば、９６０×５４０）になるように縮小処理を行う。なお、縮小処理を行う際は、フィルタリング処理等を行い、できるだけ情報が損なわれないようにすることが望ましい。
【００８４】
視差情報生成部３２３は、縮小処理部３２２で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報を生成する。視差情報生成部３２３は、縮小処理された第１画像信号と縮小処理された切り出し画像信号とを互いに比較し、互いに対応する被写体が２つの画像信号間でどの程度ずれているかを、画素単位、または複数の画素からなるブロック単位で、算出する。この「ずれの量（ずれ量）」は、視差方向、例えば、撮像が行われたとき地面に対して水平となる方向、で算出する。この「ずれ量」を１枚の画像（縮小処理された第１画像信号にもとづく画像、または、縮小処理された切り出し画像信号にもとづく画像）の全域において算出し、算出対象となる画像の画素またはブロックに対応付けたものが、視差情報（デプスマップ）となる。
【００８５】
本実施の形態では、縮小処理された第１画像信号に関連付けて視差情報（デプスマップ）を生成するものとするが、縮小処理された切り出し画像信号に関連付けて視差情報（デプスマップ）を生成する構成であってもよい。
【００８６】
測距部３２４は、視差情報生成部３２３で生成された視差情報（デプスマップ）と、その画像の撮像時に得られる情報（ズーム倍率や合焦距離に関する情報）とにもとづいて、画像に写された所定の被写体までの距離を算出する。所定の被写体までの距離算出方法については後述する。なお、本実施の形態では、所定の被写体は、表示部３３０に表示されている画像において、使用者がタッチパネルを介して指定した被写体（使用者が触れた位置に表示されている被写体）とする。なお、本実施の形態は何らこの構成に限定されるものではなく、例えば合焦している被写体を所定の被写体とする等、他の方法で所定の被写体を設定してもよい。
【００８７】
画像生成部３２５は、視差情報生成部３２３から出力される視差情報にもとづいて、第１画像信号から新たな第２画像信号を生成する。以下、第１画像信号から生成される新たな第２画像信号を「新第２画像信号」と記す。また、新第２画像信号による画像を「新第２画像」と記す。
【００８８】
本実施の形態では、第１画像信号を右眼用画像信号とし、画像生成部３２５で視差情報にもとづき生成される新第２画像信号を左眼用画像信号とする立体画像信号を、画像生成部３２５から出力する。
【００８９】
この立体画像信号は、例えば記憶部３４０に記憶され、また、この立体画像信号にもとづく立体画像は表示部３３０に表示される。
【００９０】
撮像装置１１０では、第１画像信号（例えば、右眼用画像信号）から、視差情報にもとづき、対となる新第２画像信号（例えば、左眼用画像信号）を生成する。したがって、視差情報に補正を加えることで、生成される立体画像の立体感を調整することが可能である。そこで、立体画像の立体感を増す、あるいは抑制する、等の立体感の調整ができるように、画像生成部３２５において、視差情報（デプスマップ）に補正を加えられるように構成してもよい。
【００９１】
なお、視差を有する２枚の画像から視差情報（ずれ量）を算出する手法、および視差情報にもとづき新たな画像信号を生成する手法は公知であり、例えば上述の特許文献１等に記載されているので、詳細な説明は省略する。
【００９２】
次に、撮像装置１１０における立体画像の撮像動作および所定の被写体までの距離を算出する測距動作について、図面を用いて説明する。また、各機能ブロックで画像信号がどのように処理されるのかを、一例を挙げて図面に示す。
【００９３】
以下、まず立体画像の撮像動作について説明し、次に測距動作について説明する。
【００９４】
図５は、実施の形態１における撮像装置１１０の画像信号の処理の流れの一例を概略的に示す図である。
【００９５】
図６は、実施の形態１における撮像装置１１０の立体画像撮像時の動作を説明するフローチャートである。
【００９６】
ここでは、一例として図５に示すように、第１撮像部３００は、画素数が１９２０×１０８０の第１画像信号を出力し、第２撮像部３１０は、画素数が７６８０×４３２０の第２画像信号を出力するものとして、以下の説明を行う。
【００９７】
なお、図５に示す数値は、単に一例を挙げたものに過ぎず、本実施の形態は何らこれらの数値に限定されるものではない。
【００９８】
立体画像の撮像を行うとき、撮像装置１１０では主に以下の動作を行う。
【００９９】
まず、画角合わせ部３２１において、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出して、切り出し画像信号を生成する（ステップＳ５０１）。
【０１００】
画像信号処理部３２０の撮像制御部３２６は、第１光学制御部３０３を介して第１光学部３０１の光学ズームを制御する。したがって、画像信号処理部３２０は、第１画像が撮像されたときの第１光学部３０１のズーム倍率を、第１画像の付帯情報として取得することができる。一方、第２光学部３１１では光学ズームができないので、第２画像を撮像するときのズーム倍率は固定されている。画角合わせ部３２１は、これらの情報に基づいて第１画像と第２画像との画角の差を算出し、その算出結果にもとづき第２画像信号から第１画像の撮像範囲（画角）に相当する領域を特定して切り出す。
【０１０１】
このとき、画角合わせ部３２１は、第１画像の画角に相当する領域よりもやや広い範囲（例えば、１０％程度広い範囲）をまず切り出す。これは、第１画像の中心と第２画像の中心との間に若干のずれが生じる可能性があるためである。
【０１０２】
次に、画角合わせ部３２１は、この切り出した範囲に対して、一般に用いられているパターンマッチングを行い、第１画像の撮像範囲に相当する領域を特定して再度切り出す。これにより、比較的負荷の軽い演算処理で高速に切り出し画像信号を生成することができる。なお、画角や解像度が互いに異なる２枚の画像を比較して撮像範囲が互いに共通する領域を特定するパターンマッチング等の手法は、一般に知られた手法であるので、説明を省略する。
【０１０３】
このようにして、画角合わせ部３２１は、第１画像信号の撮像範囲に実質的に等しい領域を第２画像信号から取り出し、切り出し画像信号を生成する。
【０１０４】
なお、本実施の形態は何らこの構成に限定されるものではなく、例えばパターンマッチングだけで切り出し画像信号を生成する等してもかまわない。
【０１０５】
図５には、切り出し画像信号が画素数３８４０×２１６０の画像信号として生成される例を示す。切り出し画像信号の画素数は、第１撮像部３００の光学ズーム倍率の大きさによって異なり、第１画像を撮像する際のズーム倍率が大きいほど、切り出し画像信号の画素数は小さくなる。
【０１０６】
次に、縮小処理部３２２において、第１画像信号と切り出し画像信号を、それぞれが所定の画素数になるように、縮小処理する（ステップＳ５０２）。
【０１０７】
図５には、所定の画素数を９６０×５４０とする例を示す。第１画像信号の画素数が１９２０×１０８０であれば、第１画像信号を水平方向・垂直方向それぞれに１／２に縮小処理することで、縮小処理後の第１画像信号の画素数を９６０×５４０にすることができる。また、切り出し画像信号の画素数が３８４０×２１６０であれば、切り出し画像信号を水平方向・垂直方向それぞれに１／４に縮小処理することで、縮小処理後の切り出し画像信号の画素数を９６０×５４０にすることができる。
【０１０８】
次に、視差情報生成部３２３において、縮小処理部３２２で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報（デプスマップ）を生成する（ステップＳ５０３）。
【０１０９】
次に、画像生成部３２５において、立体画像信号において第１画像信号の対となる新第２画像信号を、視差情報生成部３２３で生成された視差情報（デプスマップ）にもとづき、第１画像信号から生成する（ステップＳ５０４）。
【０１１０】
画像生成部３２５では、まず、視差情報（デプスマップ）を、第１画像信号の画素数に合わせて拡張する。以下、この拡張された視差情報（デプスマップ）を「拡張デプスマップ」と呼称する。例えば、視差情報（デプスマップ）が画素数９６０×５４０の画像信号にもとづき生成され、第１画像信号の画素数が１９２０×１０８０であれば、視差情報（デプスマップ）を、水平方向・垂直方向それぞれに２倍に拡張して、拡張デプスマップを生成する。
【０１１１】
そして、画像生成部３２５は、拡張デプスマップにもとづき、例えば画素数１９２０×１０８０の第１画像信号から、画素数１９２０×１０８０の新第２画像信号を生成する。
【０１１２】
このとき、上述した補正（立体画像の立体感を調整するための補正）を加えた視差情報（デプスマップ）にもとづく拡張デプスマップにより新第２画像信号を生成すると、立体感が調整された立体画像信号が生成される。なお、視差情報（デプスマップ）に補正を加える処理と、拡張デプスマップを生成する処理は、どちらが先に行われてもかまわない。
【０１１３】
そして、画像生成部３２５は、第１画像信号と新第２画像信号の対を立体画像信号として出力する（ステップＳ５０５）。
【０１１４】
なお、本実施の形態では、第１画像信号を右眼用画像信号とし、新第２画像信号を左眼用画像信号としているが、第１画像信号を左眼用画像信号とし、新第２画像信号を右眼用画像信号とするように撮像装置１１０を構成してもかまわない。また、各画像信号の画素数および縮小処理後の画像信号の画素数は、何ら上述した数値に限定されるものではない。
【０１１５】
次に、撮像装置１１０における測距動作について説明する。
【０１１６】
図７は、実施の形態１における撮像装置１１０の測距動作を説明するフローチャートである。
【０１１７】
所定の被写体までの距離を算出する測距動作を行うとき、撮像装置１１０では主に以下の動作を行う。
【０１１８】
なお、図７に示すステップＳ５０１からステップＳ５０３までの各動作は、図６に示したステップＳ５０１からステップＳ５０３までの各動作と実質的に等しいので、説明を省略する。
【０１１９】
測距部３２４は、視差情報生成部３２３が生成した視差情報（デプスマップ）と第１画像信号とにもとづき、撮像装置１１０から所定の被写体までの距離を算出する（ステップＳ６０４）。算出された距離は、距離情報信号として、測距部３２４から後段の画像生成部３２５に出力される。なお、測距部３２４における距離の算出動作の詳細は、後述する。
【０１２０】
画像生成部３２５は、測距部３２４から出力される距離情報信号を、表示部３３０に表示する画像信号（例えば、第１画像信号等）に重畳して出力する（ステップＳ６０５）。図５には、この画像信号を「生成画像信号」と記す。表示部３３０には、距離情報信号が重畳された後の画像信号にもとづく画像が表示される。
【０１２１】
次に、ステップＳ６０４における動作の詳細を説明する。
【０１２２】
図８は、実施の形態１における撮像装置１１０の測距動作の詳細を説明するフローチャートである。
【０１２３】
撮像装置１１０では、所定の被写体までの距離を算出するステップＳ６０４において、主に以下の動作を行う。
【０１２４】
測距部３２４は、まず、第１画像において基準面を設定する（ステップＳ９０１）。
【０１２５】
測距部３２４は、視差情報生成部３２３が生成した視差情報（デプスマップ）において、「ずれ量」が「０」となる領域を基準面に設定する。
【０１２６】
図９は、実施の形態１における撮像装置１１０での撮像の様子を概略的に示す図である。図９には、第１撮像部３００の光軸を実線で示し、第２撮像部３１０の光軸を破線で示す。
【０１２７】
例えば、平行法にもとづく撮像が行われるように第１撮像部３００および第２撮像部３１０の光軸がそれぞれ設定されていれば、実質的に無限遠となる位置にある被写体において「ずれ量」は「０」となる。したがって、実質的な無限遠が基準面となる。この場合は、被写体の位置が近景になるほど（撮像装置１１０に近づくほど）「ずれ量」は大きくなる。
【０１２８】
撮像装置１１０では、合焦した被写体にもとづき基準面を設定することも可能である。アフィン変換を行えば、平行法で撮像された画像を、交差法で撮像されたかのような画像に変換することができ、そのときの交差点（クロスポイント、第１撮像部３００の光軸と第２撮像部３１０の光軸とが交差する点のこと）を、任意の位置、例えば合焦した被写体がある位置、に設定することも可能である。なお、以下、撮像装置１１０から合焦した被写体までの距離を「合焦距離」と記す。
【０１２９】
撮像装置１１０では、合焦距離を、フォーカス調節の際に取得することができる。第１光学部３０１に含まれるフォーカスレンズは、撮像制御部３２６が第１光学制御部３０３を介して制御する。このフォーカスレンズが第１光学部３０１の光軸方向に移動すると、第１撮像素子３０２の撮像面に結像する被写体像のフォーカス状態が変化する。すなわち、撮像装置１１０から、第１撮像素子３０２の撮像面においてフォーカスが合う（合焦する）被写体までの距離（合焦距離）は、フォーカスレンズの位置に応じて変化する。このように、フォーカスレンズの位置と合焦距離は、互いに対応付けすることができる。例えば、撮像制御部３２６（または、第１光学制御部３０３）に、フォーカスレンズの位置と合焦距離とを対応付けた情報をあらかじめ備えておくことで、現在のフォーカスレンズの位置から現在の合焦距離を取得することができる。すなわち、撮像制御部３２６は、第１光学制御部３０３を介してフォーカスレンズを制御する際に、合焦距離を取得することができる。合焦距離が得られれば、これにもとづきアフィン変換を行うことができる。
【０１３０】
合焦した被写体の位置が光軸の仮想的な交差点（クロスポイント）となるようにアフィン変換を行うと、実質的に合焦距離だけ撮像装置１１０から離れている被写体において「ずれ量」は「０」となる。したがって、合焦した被写体の位置が基準面となる。この場合、基準面より手前にある被写体と、基準面より奥にある被写体とでは、算出される「ずれ量」の符号が逆になる。
【０１３１】
図１０は、実施の形態１における撮像装置１１０での基準面の設定例を概略的に示す図である。図１０には、風船を持った人物にフォーカスが合わせられ、この合焦距離にもとづき基準面が設定された例を示す。したがって、図１０に示す例では、風船を持った人物がいる位置が基準面となる。
【０１３２】
例えば、基準面より奥にある被写体に関する「ずれ量」の符号を「正」、基準面より手前にある被写体に関する「ずれ量」の符号を「負」とすると、図１０に示すように、被写体の位置が基準面から遠景になるほど（基準面から遠ざかるほど）「ずれ量」は正方向に大きくなり、被写体の位置が基準面から近景になるほど（基準面から撮像装置１１０に近づくほど）「ずれ量」は負方向に大きくなる。
【０１３３】
本実施の形態では、第１撮像部３００および第２撮像部３１０は、平行法による撮像が行われるように構成され、画像信号処理部３２０は、第１撮像部３００で撮像される第１画像において合焦した被写体のある位置を基準面に設定して測距動作を行うように構成されているものとする。
【０１３４】
しかし、本実施の形態は何らこの構成に限定されるものではない。例えば、撮像装置１１０の位置を基準面に設定するように構成してもよく、または、所定の固定された位置を基準面に設定するように構成してもよく、あるいは、上述したように無限遠を基準面に設定するように構成してもよい。また、交差法による撮像が行われるように第１撮像部３００および第２撮像部３１０を構成してもよく、さらには、合焦距離に応じて機構的に光軸の交差点（クロスポイント）が変化するように構成してもよい。
【０１３５】
次に、測距部３２４では、測距の対象となる被写体が設定される（ステップＳ９０２）。
【０１３６】
上述したように、入力部３５０に含まれるタッチパネルは、表示部３３０の表面に取り付けられており、表示部３３０では、画像の表示と使用者の指示受け付けを同時に行うことができる。本実施の形態では、表示部３３０に表示されている画像（例えば、第１画像）において、使用者がタッチパネルを介して指定した被写体（使用者が触れた位置に表示されている被写体）を、測距の対象とする。使用者は、これにより測距対象となる被写体を容易に指定することができる。
【０１３７】
なお、本実施の形態は、何らこの構成に限定されるものではなく、他の手法により測距の対象となる被写体を選択（設定）する構成であってもよい。例えば、合焦した被写体を測距の対象とするように構成してもよい。
【０１３８】
次に、測距部３２４は、選択された被写体に対応する「ずれ量」を視差情報（デプスマップ）から選定する（ステップＳ９０３）。
【０１３９】
具体的には、測距部３２４は、視差情報（デプスマップ）から、選択された被写体に対応する領域にある「ずれ量」を読み取り、選択された被写体における「ずれ量」とする。
【０１４０】
なお、視差情報（デプスマップ）の、選択された被写体に対応する領域からは、その被写体の大きさに応じて複数の「ずれ量」を読み取ることができる。したがって、測距部３２４では、それら複数の「ずれ量」の平均値を、選択された被写体における「ずれ量」として用いるものとする。しかし、本実施の形態は、何らこの構成に限定されるものではなく、例えば、選択された被写体の所定の一点（例えば、中心点、等）に対応する「ずれ量」を選択された被写体における「ずれ量」として用いる構成としてもよい。あるいは、視差情報（デプスマップ）の、使用者が触れたタッチパネルの位置に相当する位置にある「ずれ量」をそのまま用いる構成であってもよい。
【０１４１】
そして、測距部３２４は、ステップＳ９０３で設定された「ずれ量」にもとづき、距離を算出する（ステップＳ９０４）。
【０１４２】
測距部３２４では、視差情報生成部３２３が生成した視差情報（デプスマップ）において、「ずれ量」が「０」となる領域を基準面に設定する。したがって、「ずれ量」が大きいほど、基準面からの距離は大きくなる。この関係を利用して、測距部３２４は距離の算出を行う。
【０１４３】
具体的には、測距部３２４は、「ずれ量」の大きさと基準面からの距離との関係があらかじめ設定された情報（ルックアップテーブル）を備えており、このルックアップテーブルから「ずれ量」の大きさにもとづいて距離情報を読み出す。そして、読み出した距離情報を、撮像装置１１０から基準面までの距離に加算（または減算）して、所定の被写体までの距離を算出する。
【０１４４】
撮像装置１１０から基準面までの距離は、上述したように合焦距離として得ることができるので、説明を省略する。
【０１４５】
なお、「ずれ量」の大きさと基準面からの距離との関係は、第１光学部３０１における光学ズームの倍率に応じて異なるので、測距部３２４は、ズーム倍率に応じた複数のルックアップテーブルを備えておくことが望ましい。ただし、光学ズームの倍率は連続的に変化するので、例えば、光学ズームの倍率が整数倍のときのルックアップテーブルだけを備え、光学ズームの倍率が整数倍でないときの距離は、それらのルックアップテーブルから「ずれ量」にもとづき読み出した複数の距離情報を、光学ズームの倍率に応じて設定される計算式に代入して算出する構成としてもよい。
【０１４６】
本実施の形態は、何らこの構成に限定されるものではなく、例えば、あらかじめ設定されたズーム倍率と「ずれ量」の大きさと基準面からの距離との関係を表す計算式を測距部３２４に備え、この計算式にズーム倍率や「ずれ量」の大きさ等を代入して、距離を算出する構成であってもよい。
【０１４７】
なお、測距部３２４は、光学ズームの倍率や合焦距離等の、測距に必要な各種情報は、上述したように、画像信号に付随する画像情報として取得することが可能である。
【０１４８】
なお、「ずれ量」の大きさと基準面からの距離との関係は必ずしも線形ではなく、第１光学部３０１における光学特性に応じて非線形となる場合もある。しかし、上述したルックアップテーブルから距離情報を読み取る方式では、たとえ「ずれ量」の大きさと基準面からの距離との関係に非常に複雑な非線形性があったとしても、適切に対応することができる。
【０１４９】
ステップＳ６０４では、このようにして、所定の被写体までの距離を算出する。算出された距離を示す数字は表示画像に重畳され、例えば図１１に示すような形態で表示部３３０に表示される。
【０１５０】
図１１は、実施の形態１における撮像装置１１０の表示部３３０に表示される算出距離が重畳された画像の一例を示す図である。
【０１５１】
例えば、測距部３２４において所定の被写体（風船を持った人物）までの距離が「５ｍ」と算出されれば、表示部３３０には、風船を持った人物の近傍に、測距の結果を示す「５ｍ」という数字が表示される。
【０１５２】
このように、表示部３３０に表示される画像には、測距の対象として選択された被写体の近傍に測距の結果を示す数字が表示されるので、使用者は、指定した被写体までの距離を一目で把握することができる。
【０１５３】
表示部３３０に所定の被写体までの距離を表示する際、例えば図１１に示すように、測距の対象となっている被写体を矢印等の記号で指し示してもよい。
【０１５４】
なお、本実施の形態は、何らこれらの構成に限定されるものではなく、測距の結果を示す数値は、表示部３３０のどこに表示されてもかまわない。また、測距の対象となっている被写体を色や輪郭線を変えて表示する等してもよい。
【０１５５】
なお、第１光学部３０１のズーム倍率および第２撮像素子３１２の解像度は、第１光学部３０１を望遠端（テレ端）にしたときの切り出し画像信号の解像度が第１画像信号の解像度以上となるように、設定することが望ましい。これは、第１光学部３０１を望遠端にしたときに、切り出し画像信号が第１画像信号よりも低解像度になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではない。
【０１５６】
なお、第２光学部３１１は、第１光学部３０１を広角端（ワイド端）にしたときの画角に実質的に等しいか、さらに広い画角を有するように構成することが望ましい。これは、第１光学部３０１を広角端にしたときに、第１画像が第２画像よりも広い画角になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１光学部３０１を広角端にしたときの第１画像の画角が第２画像よりも広い画角であってもよい。
【０１５７】
なお、本実施の形態における測距動作は、使用者の指示により行われ、使用者の指示が無ければ行われないものとする。また、撮像装置１１０は、立体画像撮像時だけに測距動作が行われる構成に限定されるものではない。立体画像を撮像しないときであっても、モニター１１３が開かれた状態であれば、使用者の指示により、図７、図８に示したステップを実行することで、測距動作が行われる構成としてもよい。
【０１５８】
［１−３．効果等］
以上のように、本実施の形態において、撮像装置１１０は、開閉可能に構成された表示部３３０と、第１撮像部３００と、第２撮像部３１０と、画角合わせ部３２１と、視差情報生成部３２３と、複数のルックアップテーブルと、測距部３２４と、を備える。表示部３３０は、撮像画像を画像表示面に表示するように構成されている。第１撮像部３００は、第１画像を撮像して第１画像信号を出力するように構成されている。第２撮像部３１０は、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成されている。画角合わせ部３２１は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。視差情報生成部３２３は、第１画像信号と切り出し画像信号とに基づき視差情報を生成するように構成されている。ルックアップテーブルには、第１撮像部３００の光学ズームの倍率に応じて、視差情報と被写体までの距離との関係があらかじめ設定されている。測距部３２４は、視差情報と第１画像信号とに基づき、ルックアップテーブルを用いて、第１画像信号に含まれる所定の被写体までの距離を算出するように構成されている。そして、第２撮像部３１０は、表示部３３０の画像表示面の裏側に配置されている。
【０１５９】
これにより、撮像装置１１０では、立体画像の撮像とともに、撮像された画像に写された所定の被写体までの距離を算出することができる。
【０１６０】
所定の被写体までの距離を精度を高めて算出するためには、精度の高い視差情報を生成する必要があり、そのためには、視差を有する２枚の画像を良好な品質で取得する必要がある。
【０１６１】
このような画像を取得するためには、対となる右眼視点の画像と左眼視点の画像とを撮像する際に、画角（撮像範囲）、解像度（画素数）、ズーム倍率等の撮像条件を互いに揃え、できるだけ等しい状態にすることが望ましい。
【０１６２】
しかしながら、そのような条件を整えようとすると、例えば第１撮像部が光学ズーム機能を備えていれば、第２撮像部にも同様の光学ズーム機能を備えなければならなくなる。しかし、そのような構成では、撮像装置本体の大きさが増大し、撮像装置としての使い勝手が悪くなる。
【０１６３】
本実施の形態の撮像装置１１０は、第１撮像部３００に光学ズーム機能を備えており、第１画像を良好な品質で撮像することができる。
【０１６４】
一方、第２撮像部３１０は、光学ズーム機能を備えておらず、単焦点レンズを有する構成であるので、第２撮像部３１０を第１撮像部３００よりも小型化し、撮像装置１１０全体を小型化して良好な使い勝手（携帯性、操作性）を実現している。さらに、第２撮像部３１０を小型化して配置位置に関する自由度を高めているので、第２撮像部３１０をモニター１１３に搭載することができる。
【０１６５】
しかし、第１撮像部３００と第２撮像部３１０とで、光学系の仕様が互いに異なるので、精度の高い視差情報を得ることは困難である。
【０１６６】
そこで、本実施の形態では、撮像装置１１０を上述した構成とし、第１撮像部３００で撮像した第１画像にもとづき、第２画像信号から切り出し画像信号を生成し、さらに、第１画像信号と切り出し画像信号の画素数を互いに合わせる処理を施して、精度の高い視差情報を生成している。
【０１６７】
これにより、本実施の形態の撮像装置１１０では、精度の高い測距を行うことができる。このとき、測距部３２４では、基準面を設定し、基準面からの距離を算出するので、例えば合焦していない被写体であっても、精度良く測距を行うことが可能である。また、精度の高い視差情報にもとづき第１画像信号から新第２画像信号を生成しているので、良好な品質の立体画像信号を生成することができる。
【０１６８】
さらに、撮像装置１１０では、第２撮像部３１０を使用する必要がないとき使用者はモニター１１３を閉じておくこともできるので、携帯時等の利便性が向上する。
【０１６９】
（実施の形態２）
以下、図１２、図１３を用いて、実施の形態２を説明する。
【０１７０】
［２−１．構成］
実施の形態２における撮像装置１２０は、実施の形態１に示した撮像装置１１０と実質的に同じ外観、構成、機能であり、実質的に同じ動作をするので、詳細な説明を省略する。また、使用者が立体画像の撮像および測距を行うときの動作も、実施の形態１と実質的に同様である。ただし、画像信号処理部における処理動作に差異があるので、以下、この差異について説明する。
【０１７１】
図１２は、実施の形態２における撮像装置１２０の構成を機能毎にブロック分けして示す図である。
【０１７２】
図１３は、実施の形態２における撮像装置１２０の画像信号の処理の流れの一例を概略的に示す図である。なお、図１３に示す数値は、単に一例を挙げたものに過ぎず、本実施の形態は何らこれらの数値に限定されるものではない。
【０１７３】
なお、以下では、実施の形態１に示した構成要素と実質的に同じ動作、機能、構成を有する構成要素については実施の形態１で示した符号と同一の符号を付与し、説明を省略する。
【０１７４】
図１２に示すように、本実施の形態における撮像装置１２０の画像信号処理部４２０は、図４に示した画像信号処理部３２０とほぼ同様の構成であるが、縮小処理部３２２に代えて画素数合わせ部４２２を有する点が異なる。
【０１７５】
画素数合わせ部４２２は、画角合わせ部３２１から出力される第１画像信号と切り出し画像信号の両画像信号の画素数を比較し、いずれか画素数が多い方の画像信号の画素数を、画素数が少ない方の画像信号の画素数に合わせて、縮小する。こうして、両画像信号の画素数を互いに等しくする。
【０１７６】
例えば、図１３に示すように、第１画像信号の画素数が１９２０×１０８０、切り出し画像信号の画素数が３８４０×２１６０であれば、切り出し画像信号を水平方向・垂直方向それぞれに１／２に縮小処理して、画素数１９２０×１０８０の画像信号にする。
【０１７７】
第１画像信号の画素数の方が切り出し画像信号の画素数よりも多いときには、画素数合わせ部４２２は、第１画像信号の画素数を、切り出し画像信号の画素数に合わせて縮小する。
【０１７８】
なお、画素数合わせ部４２２においては、例えば、切り出し画像信号の画素数が第１画像信号の画素数の１／４以上のときに上述の処理を行う、といった制限を設けてもよい。
【０１７９】
［２−２．動作］
以上のように構成された撮像装置１２０の動作は、縮小処理部３２２で行った縮小処理に代えて画素数合わせ部４２２で上述の画素数を合わせる処理が行われる点が異なる以外は実施の形態１に示した撮像装置１１０と実質的に同じ動作であるので、詳細な説明を省略する。
【０１８０】
［２−３．効果等］
以上のように構成された撮像装置１２０では、縮小処理部３２２で行った画像信号の縮小処理を行わないので、後段の視差情報生成部３２３における視差情報の算出精度を、実施の形態１に示した構成と比較して、高めることができる。
【０１８１】
例えば、図１３に示す例では、視差情報生成部３２３は、画素数１９２０×１０８０の画像信号にもとづく視差情報（デプスマップ）を生成する。これは、実施の形態１に示した例と比較して、４倍の情報量になる。
【０１８２】
したがって、本実施の形態における撮像装置１２０では、実施の形態１に示した撮像装置１１０と比較して、より精度の高い測距を行うことができる。
【０１８３】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１、２を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１、２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０１８４】
そこで、以下、他の実施の形態を例示する。
【０１８５】
例えば、撮像装置に、実施の形態１に示した縮小処理部３２２と実施の形態２に示した画素数合わせ部４２２の両方を備える構成としてもよい。この構成では、例えば、立体画像の撮像（新第２画像信号の生成）を行うときは、縮小処理部３２２を通した画像信号にもとづき視差情報（デプスマップ）を生成し、測距を行うときは画素数合わせ部４２２を通した画像信号にもとづき視差情報（デプスマップ）を生成する、といったように、用途に応じて２種類の視差情報（デプスマップ）を生成することができる。
【０１８６】
本実施の形態では、撮像装置を、第１撮像部３００で第１画像を撮像し、第２撮像部３１０で第２画像を撮像するように構成する例を説明したが、例えば、第１撮像部３００に代えて第１画像入力部を備え、第２撮像部３１０に代えて第２画像入力部を備え、第１画像入力部を通して第１画像を取得し、第２画像入力部を通して第２画像を取得するように構成してもよい。
【０１８７】
実施の形態１、２では、撮像装置において測距を行う構成を説明したが、本実施の形態に示した測距のための構成および動作は、立体画像の撮像を目的としていない機器（例えば、測距装置、等）にも適応可能である。
【０１８８】
実施の形態１、２に示した構成および動作は、動画撮影時にも適応可能である。ただし、第１画像信号および第２画像信号が動画であって、フレームレートが互いに異なるときは、画角合わせ部３２１において、いずれかフレームレートが低い方の画像信号をフレームレートが高い方の画像信号に合わせて高フレームレート化し、高い方に等しいフレームレートにするものとする。例えば、第１画像信号のフレームレートが６０Ｈｚ、第２画像信号のフレームレートが３０Ｈｚであれば、第２画像信号または切り出し画像信号を６０Ｈｚに高フレームレート化する。なお、この際に用いるフレームレート変換手法は、公知のものでかまわない。このように、動画信号に対しては、比較を行いやすい状態にして、視差情報生成を行うものとする。これにより動画撮像時においても高い精度で測距を行うことができる。
【０１８９】
なお、第１光学部３０１（第１レンズ群２０１）および第２光学部３１１（第２レンズ群２１１）は、何ら実施の形態１に示した構成に限定されるものではない。例えば、フォーカス調節が可能なフォーカスレンズに代えて、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズを用いる構成でもよい。また、第２光学部３１１に、第２撮像素子３１２（第２ＣＣＤ２１２）で受光する光量を調節する光学式の絞りを備える構成としてもよい。
【０１９０】
また、第２光学部３１１に、単焦点レンズに代えて光学ズームレンズを備える構成としてもよい。その場合、例えば、撮像装置で立体画像の撮像や測距を行うときには、自動的に第２光学部３１１が広角端になるように構成してもよい。
【０１９１】
また、第１光学部３０１を望遠端（テレ端）にしたときに、切り出し画像信号が第１画像信号よりも低解像度になるように、撮像装置を構成してもよい。その場合、例えば、第１光学部３０１のズーム倍率を上げていく過程で切り出し画像信号の解像度が第１画像信号の解像度以下となったときに、立体画像から通常画像に撮像モードが自動で変わるように撮像装置を構成してもよい。
【０１９２】
なお、モニター１１３が立体画像の撮像および測距に適した位置まで開いたときにオン状態になり、それ以外ではオフになるスイッチを撮像装置に設け、そのスイッチがオンになったときのみ立体画像の撮像または測距ができるように撮像装置を構成してもよい。
【０１９３】
なお、実施の形態に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は画像表示装置の仕様等にあわせて最適な値に設定することが望ましい。
【産業上の利用可能性】
【０１９４】
本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に適用可能である。具体的には、立体視用の画像を撮像可能な、デジタルビデオカメラ、デジタルスチルカメラ、カメラ機能付き携帯電話、スマートフォン等に本開示は適用可能である。
【符号の説明】
【０１９５】
１１０，１２０    撮像装置
１１１    第１レンズ部
１１２    第２レンズ部
１１３    モニター
２００    第１撮像ユニット
２０１    第１レンズ群
２０２    第１ＣＣＤ
２０３    第１Ａ／Ｄ変換ＩＣ
２０４    第１アクチュエーター
２１０    第２撮像ユニット
２１１    第２レンズ群
２１２    第２ＣＣＤ
２１３    第２Ａ／Ｄ変換ＩＣ
２１４    第２アクチュエーター
２２０    ＣＰＵ
２２１    ＲＡＭ
２２２    ＲＯＭ
２２３    加速度センサ
２２４    入力装置
２２５    ディスプレイ
２２６    エンコーダー
２２７    記憶装置
３００    第１撮像部
３０１    第１光学部
３０２    第１撮像素子
３０３    第１光学制御部
３１０    第２撮像部
３１１    第２光学部
３１２    第２撮像素子
３１３    第２光学制御部
３２０，４２０    画像信号処理部
３２１    画角合わせ部
３２２    縮小処理部
３２３    視差情報生成部
３２４    測距部
３２５    画像生成部
３２６    撮像制御部
３３０    表示部
３４０    記憶部
３５０    入力部
３６０    カメラ情報部
４２２    画素数合わせ部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１画像信号と、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号と、が入力され、前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成された画角合わせ部と、
前記第１画像信号と前記切り出し画像信号とに基づき視差情報を生成するように構成された視差情報生成部と、
第１画像を撮像して前記第１画像信号を出力する撮像部の光学ズームの倍率に応じて、前記視差情報と被写体までの距離との関係があらかじめ設定された複数のルックアップテーブルと、
前記視差情報と前記第１画像信号とに基づき、前記ルックアップテーブルを用いて、前記第１画像信号に含まれる所定の被写体までの距離を算出するように構成された測距部と、
を備える測距装置。
【請求項２】
前記第１画像信号の画素数と前記切り出し画像信号の画素数とをそれぞれ所定の画素数に縮小するように構成された縮小処理部をさらに備え、
前記視差情報生成部は、前記縮小の処理が施された前記第１画像信号と前記縮小の処理が施された前記切り出し画像信号とに基づいて前記視差情報を生成するように構成された、
請求項１に記載の測距装置。
【請求項３】
前記第１画像信号の画素数と前記切り出し画像信号の画素数とを比較し、画素数が小さい方の画像信号の画素数に基づき、画素数が大きい方の画像信号の画素数を縮小するように構成された画素数合わせ部、をさらに備え、
前記視差情報生成部は、前記画素数が小さい方の画像信号と、前記画素数合わせ部で画素数が縮小された画像信号と、に基づき前記視差情報を算出するように構成された、
請求項１に記載の測距装置。
【請求項４】
撮像画像を画像表示面に表示するように構成され、開閉可能に構成された表示部と、
第１画像を撮像して第１画像信号を出力するように構成された第１撮像部と、
前記第１画像以上の画角を有する第２画像を、前記第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部と、
前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成された画角合わせ部と、
前記第１画像信号と前記切り出し画像信号とに基づき視差情報を生成するように構成された視差情報生成部と、
前記第１撮像部の光学ズームの倍率に応じて、前記視差情報と被写体までの距離との関係があらかじめ設定された複数のルックアップテーブルと、
前記視差情報と前記第１画像信号とに基づき、前記ルックアップテーブルを用いて、前記第１画像信号に含まれる所定の被写体までの距離を算出するように構成された測距部と、を備え、
前記第２撮像部を、前記表示部の前記画像表示面の裏側に配置した
撮像装置。
【請求項５】
前記視差情報に基づき前記第１画像信号から新第２画像信号を生成し、前記第１画像信号と前記新第２画像信号との少なくとも一方に基づく画像を前記画像表示面に表示するように構成された画像生成部、をさらに備え、
前記表示部は、使用者に触れられた位置を検出するように構成されたタッチパネルを前記画像表示面に有し、
前記測距部は、前記画像表示面に表示された前記画像において、前記タッチパネルが検出した前記位置に表示された被写体を前記所定の被写体として前記距離を算出するように構成され、
前記画像生成部は、前記画像に前記距離を表す数字を重畳して前記画像表示面に表示するように構成された
請求項４に記載の撮像装置。
【請求項６】
前記第１撮像部は、光学的なズーム機能を備えた第１光学部と、前記第１光学部を透過した光を電気信号に変換して前記第１画像信号を出力するように構成された第１撮像素子と、を備え、
前記第２撮像部は、前記第１光学部以上の画角を有する第２光学部と、前記第２光学部を透過した光を前記第１撮像素子よりも高い解像度で電気信号に変換して前記第２画像信号を出力するように構成された第２撮像素子と、を備え、
前記第２撮像部は、前記表示部を開いたときに、前記第１撮像部の撮像方向と実質的に同一方向を撮像できるように構成された
請求項４に記載の撮像装置。
【請求項７】
前記第１画像信号の画素数と前記切り出し画像信号の画素数とをそれぞれ所定の画素数に縮小するように構成された縮小処理部をさらに備え、
前記視差情報生成部は、前記縮小の処理が施された前記第１画像信号と前記縮小の処理が施された前記切り出し画像信号とに基づいて前記視差情報を生成するように構成された、
請求項４に記載の撮像装置。
【請求項８】
前記第１画像信号の画素数と前記切り出し画像信号の画素数とを比較し、画素数が小さい方の画像信号の画素数に基づき、画素数が大きい方の画像信号の画素数を縮小するように構成された画素数合わせ部、をさらに備え、
前記視差情報生成部は、前記画素数が小さい方の画像信号と、前記画素数合わせ部で画素数が縮小された画像信号と、に基づき前記視差情報を算出するように構成された、
請求項４に記載の撮像装置。
【請求項９】
第１画像信号に基づき、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号から、少なくとも一部を切り出して切り出し画像信号を生成し、
前記第１画像信号と前記切り出し画像信号とに基づき視差情報を生成し、
第１画像を撮像して前記第１画像信号を出力する撮像部の光学ズームの倍率に応じて、前記視差情報と被写体までの距離との関係があらかじめ設定された複数のルックアップテーブルを、前記視差情報と前記第１画像信号とに基づき用いて、前記第１画像信号に含まれる所定の被写体までの距離を算出する、
測距方法。
【請求項１０】
前記第１画像信号の画素数と前記切り出し画像信号の画素数とをそれぞれ所定の画素数に縮小し、
前記縮小の処理が施された前記第１画像信号と前記縮小の処理が施された前記切り出し画像信号とに基づいて前記視差情報を生成する、
請求項９に記載の測距方法。
【請求項１１】
前記第１画像信号の画素数と前記切り出し画像信号の画素数とを比較し、画素数が小さい方の画像信号の画素数に基づき、画素数が大きい方の画像信号の画素数を縮小し、
前記画素数が小さい方の画像信号と、前記画素数が縮小された画像信号と、に基づき前記視差情報を算出する、
請求項９に記載の測距方法。
【請求項１２】
前記ルックアップテーブルは、前記光学ズームの倍率が整数倍の場合のものを備え、
前記測距部は、前記光学ズームの倍率が整数倍でない場合は、前記ルックアップテーブルから、前記視差情報に基づき読み出した複数の距離情報より前記所定の被写体までの距離を算出する、
請求項１に記載の測距装置。
【請求項１３】
前記ルックアップテーブルは、前記光学ズームの倍率が整数倍の場合のものを備え、
前記測距部は、前記光学ズームの倍率が整数倍でない場合は、前記ルックアップテーブルから、前記視差情報に基づき読み出した複数の距離情報より前記所定の被写体までの距離を算出する、
請求項４に記載の撮像装置。
【請求項１４】
前記ルックアップテーブルは、前記光学ズームの倍率が整数倍の場合のものを備え、
前記光学ズームの倍率が整数倍でない場合は、前記ルックアップテーブルから、前記視差情報に基づき読み出した複数の距離情報より前記所定の被写体までの距離を算出する、
請求項９に記載の測距方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2014141654.tif 000016
【図２】
2014141654.tif 000017
【図３】
2014141654.tif 000018
【図４】
2014141654.tif 000019
【図５】
2014141654.tif 000020
【図６】
2014141654.tif 000021
【図７】
2014141654.tif 000022
【図８】
2014141654.tif 000023
【図１２】
2014141654.tif 000024
【図１３】
2014141654.tif 000025
【図９】
2014141654.tif 000026
【図１０】
2014141654.tif 000027
【図１１】
2014141654.tif 000028
【国際調査報告】
2014141654.tif 000029
2014141654.tif 000030
2014141654.tif 000031
2014141654.tif 000032