(57)【要約】  品質の高い立体視用画像を生成する。そのために、撮像装置（１１０）は、第１撮像部（３００）と、第２撮像部（３１０）と、画像信号処理部（３２０）とを備える。画像信号処理部は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号と第２画像信号との少なくとも一方の画像信号が特定パターンを有するか否かを判断し、第１画像信号と切り出し画像信号とに基づき視差情報を算出するとともに、少なくとも一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正し、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成するように構成されている。
2014148031.tif 000002
【特許請求の範囲】
【請求項１】
第１画像信号と、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号と、が入力され、前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、
前記第１画像信号と前記第２画像信号との少なくとも一方の画像信号が特定パターンを有するか否かを判断し、
前記第１画像信号と前記切り出し画像信号とに基づき視差情報を算出するとともに、前記少なくとも一方の画像信号は前記特定パターンを有すると判断されたときには前記視差情報を補正し、
前記視差情報又は前記補正後の視差情報と前記第１画像信号とに基づいて新第２画像信号を生成する、ように構成された画像信号処理部
を備える画像生成装置。
【請求項２】
前記画像信号処理部は、
前記第１画像信号と前記第２画像信号とで互いに共通する特徴点を前記第１画像信号および前記第２画像信号から抽出するように構成された特徴点抽出部と、
前記特徴点および前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して前記切り出し画像信号を生成するように構成された画角合わせ部と、
前記第１画像信号と前記第２画像信号との少なくとも一方の画像信号が前記特定パターンを有するか否かを判断するように構成された画像パターン判定部と、
前記第１画像信号と前記切り出し画像信号とに基づき前記視差情報を算出してデプスマップを生成するとともに、前記画像パターン判定部において前記少なくとも一方の画像信号は前記特定パターンを有すると判断されたときには前記視差情報を補正するように構成されたデプスマップ生成部と、
前記視差情報又は前記補正後の視差情報と前記第１画像信号とに基づいて前記新第２画像信号を生成するように構成された画像生成部と、を備える
請求項１に記載の画像生成装置。
【請求項３】
第１画像を撮像して第１画像信号を出力するように構成された第１撮像部と、
前記第１画像以上の画角を有する第２画像を、前記第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部と、
前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、前記第１画像信号と前記第２画像信号との少なくとも一方の画像信号が特定パターンを有するか否かを判断し、前記第１画像信号と前記切り出し画像信号とに基づき視差情報を算出するとともに、前記少なくとも一方の画像信号は前記特定パターンを有すると判断されたときには前記視差情報を補正し、前記視差情報又は前記補正後の視差情報と前記第１画像信号とに基づいて新第２画像信号を生成する、ように構成された画像信号処理部と、
を備える撮像装置。
【請求項４】
前記画像信号処理部は、
前記第１画像信号と前記第２画像信号とで互いに共通する特徴点を前記第１画像信号および前記第２画像信号から抽出するように構成された特徴点抽出部と、
前記特徴点および前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して前記切り出し画像信号を生成するように構成された画角合わせ部と、
前記第１画像信号と前記第２画像信号との少なくとも一方の画像信号が前記特定パターンを有するか否かを判断するように構成された画像パターン判定部と、
前記第１画像信号と前記切り出し画像信号とに基づき前記視差情報を算出してデプスマップを生成するとともに、前記画像パターン判定部において前記少なくとも一方の画像信号は前記特定パターンを有すると判断されたときには前記視差情報を補正するように構成されたデプスマップ生成部と、
前記視差情報又は前記補正後の視差情報と前記第１画像信号とに基づいて前記新第２画像信号を生成するように構成された画像生成部と、を備える
請求項３に記載の撮像装置。
【請求項５】
前記第１撮像部は、光学的なズーム機能を備えた第１光学部と、前記第１光学部を透過した光を電気信号に変換して前記第１画像信号を出力するように構成された第１撮像素子と、を備え、
前記第２撮像部は、前記第１光学部以上の画角を有する第２光学部と、前記第２光学部を透過した光を前記第１撮像素子よりも高い解像度で電気信号に変換して前記第２画像信号を出力するように構成された第２撮像素子と、を備える
請求項３に記載の撮像装置。
【請求項６】
第１画像信号に基づき、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号から、少なくとも一部を切り出して切り出し画像信号を生成し、
前記第１画像信号と前記第２画像信号との少なくとも一方の画像信号が特定パターンを有するか否かを判断し、
前記第１画像信号と前記切り出し画像信号とに基づき視差情報を算出するとともに、前記少なくとも一方の画像信号は前記特定パターンを有すると判断されたときには前記視差情報を補正し、
前記視差情報又は前記補正後の視差情報と前記第１画像信号とに基づいて新第２画像信号を生成する、
画像生成方法。
【請求項７】
前記第１画像信号と前記第２画像信号とで互いに共通する特徴点を前記第１画像信号および前記第２画像信号から抽出し、
前記特徴点および前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して前記切り出し画像信号を生成する
請求項６に記載の画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、主撮像部と従撮像部とを備え、３Ｄ画像を生成するデジタルカメラを開示する。このデジタルカメラは、主撮像部から得られる主画像信号と従撮像部から得られる従画像信号との間に生じる視差を抽出する。そして、抽出した視差に基づき、主画像信号から新たな従画像信号を生成し、主画像信号と新たな従画像信号とで３Ｄ画像を生成する。【０００３】
特許文献２は、左右の撮影倍率が異なった状態でステレオ撮影を行うことができるステレオカメラを開示する。このステレオカメラは、第１の画像データを生成する第１の撮像手段と、第１の画像データよりも画角が広い第２の画像データを生成する第２の撮像手段とを有する。そして、第２の画像データから、第１の画像データに対応する範囲を第３の画像データとして切り出し、第１の画像データと第３の画像データとでステレオ画像データを生成する。【０００４】
また、特許文献１、２は、主撮像部（第１の撮像手段）は光学ズーム機能を備え、従撮像部（第２の撮像手段）は光学ズーム機能を備えず電子ズーム機能を備えた構成を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２０６０６号公報
【特許文献２】特開２００５−２１０２１７号公報
【発明の概要】
【０００６】
本開示は、光学的特性および撮像素子の仕様が異なる一対の撮像部で撮像される一対の画像または動画から、品質の良い立体視用の画像または動画を得るのに有効な画像生成装置および撮像装置を提供する。
【０００７】
本開示の撮像装置は、第１撮像部と、第２撮像部と、画像信号処理部と、を備える。第１撮像部は、第１画像を撮像して第１画像信号を出力するように構成されている。第２撮像部は、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成されている。画像信号処理部は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号と第２画像信号との少なくとも一方の画像信号が特定パターンを有するか否かを判断し、第１画像信号と切り出し画像信号とに基づき視差情報を算出するとともに、少なくとも一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正し、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成する、ように構成されている。
【０００８】
また、画像信号処理部は、特徴点抽出部と、画角合わせ部と、画像パターン判定部と、デプスマップ生成部と、画像生成部と、を備えていてもよい。特徴点抽出部は、第１画像信号と第２画像信号とで互いに共通する特徴点を第１画像信号および第２画像信号から抽出するように構成されている。画角合わせ部は、特徴点および第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。画像パターン判定部は、第１画像信号と第２画像信号との少なくとも一方の画像信号が特定パターンを有するか否かを判断するように構成されている。デプスマップ生成部は、第１画像信号と切り出し画像信号とに基づき視差情報を算出してデプスマップを生成するとともに、画像パターン判定部において少なくとも一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正するように構成されている。画像生成部は、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成するように構成されている。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１における撮像装置の外観図である。
【図２】図２は、実施の形態１における撮像装置の回路構成を概略的に示す図である。
【図３】図３は、実施の形態１における撮像装置の構成を機能毎にブロック分けして示す図である。
【図４】図４は、実施の形態１における撮像装置の立体画像撮像時の動作を説明するフローチャートである。
【図５】図５は、実施の形態１における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。
【図６】図６は、他の実施の形態における撮像装置の外観図である。
【図７】図７は、他の実施の形態における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１２】
（実施の形態１）
以下、図１〜図５を用いて、実施の形態１を説明する。
【００１３】
［１−１．構成］
図１は、実施の形態１における撮像装置１１０の外観図である。
【００１４】
撮像装置１１０は、モニター１１３と、第１レンズ部１１１を有する撮像部（以下、「第１撮像部」と記す）と、第２レンズ部１１２を有する撮像部（以下、「第２撮像部」と記す）と、を備えている。撮像装置１１０は、このように複数の撮像部を有し、それぞれの撮像部で静止画撮像および動画撮影が可能である。
【００１５】
第１レンズ部１１１は、第１撮像部の撮像方向が前方を向くように、撮像装置１１０の本体前方に設けられている。
【００１６】
モニター１１３は、開閉可能に撮像装置１１０本体に設けられ、撮像画像を表示するためのディスプレイ（図１には示さず）を有する。ディスプレイは、モニター１１３を開いたとき、第１撮像部の撮像方向とは反対側の面、すなわち撮像装置１１０の後方にいる使用者（図示せず）が観測できる側に、備えられている。
【００１７】
第２レンズ部１１２は、モニター１１３の、ディスプレイの設置側と反対側に配置され、モニター１１３を開いたときに第１撮像部と同じ方向を撮像できるように構成されている。
【００１８】
撮像装置１１０では、第１撮像部を主たる撮像部とし、第２撮像部を従たる撮像部とする。そして、図１に示すように、モニター１１３を開いた状態にすることで、これら２つの撮像部を用いて、立体視用の静止画（以下、「立体画像」と記す）の撮像および立体視用の動画（以下、「立体動画」と記す）の撮影が可能である。主たる第１撮像部は光学ズーム機能を有し、使用者は、このズーム機能を任意のズーム倍率に設定して静止画撮像または動画撮影が可能である。
【００１９】
本実施の形態では、右眼視点の画像を第１撮像部で撮像し、左眼視点の画像を第２撮像部で撮像する例を説明する。したがって、図１に示すように、撮像装置１１０では、撮像方向に向かって右側に第１レンズ部１１１が配置され、撮像方向に向かって左側に第２レンズ部１１２が配置されている。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１撮像部で左眼視点の画像を撮像し、第２撮像部で右眼視点の画像を撮像するように構成してもよい。以下、第１撮像部で撮像した画像を「第１画像」とし、第２撮像部で撮像した画像を「第２画像」とする。
【００２０】
なお、従たる第２撮像部が有する第２レンズ部１１２は、第１レンズ部１１１と比較して口径が小さく、光学ズーム機能も備えていない。そのため、第２撮像部は、設置に必要な容積が第１撮像部と比較して小さく、モニター１１３に搭載することができる。
【００２１】
本実施の形態では、第１撮像部で撮像される右眼視点の画像は、立体画像を構成する右眼用画像として用いるが、第２撮像部で撮像される左眼視点の画像に関しては、立体画像を構成する左眼用画像として用いることをしない。詳細は後述するが、本実施の形態では、第１撮像部で撮像される右眼視点の画像と、第２撮像部で撮像される左眼視点の画像とを比較することで視差量（ずれ量）を算出し、算出した視差量にもとづき第１画像から左眼用画像を生成して立体画像とする。
【００２２】
この視差量（ずれ量）とは、第１画像と第２画像とを同一画角にして重ね合わせたときに生じる被写体の位置のずれの大きさのことである。このずれは、第１撮像部と第２撮像部との配置位置の違い（視差）により生じる。自然な立体感を有する立体画像を生成するためには、第１撮像部の光軸と第２撮像部の光軸とが、人の視差方向と同様に地面に対して水平になるように、かつ左右の眼の離間幅と同程度離間するように、設定されていることが望ましい。
【００２３】
そのために、撮像装置１１０では、第１レンズ部１１１と第２レンズ部１１２とを、使用者が撮像装置１１０を正常に保持（立体画像を撮像する状態で保持）したときに、それぞれの光学中心が実質的に同一の水平面（地面に水平な面）上に位置するように、配置する。また、第１レンズ部１１１の光学中心と第２レンズ部１１２の光学中心との距離が、３０ｍｍ以上６５ｍｍ以下となるようにそれぞれの配置位置を設定する。
【００２４】
また、自然な立体感を有する立体画像を生成するためには、第１レンズ部１１１および第２レンズ部１１２は、それぞれの配置位置から被写体までの距離が互いに実質的に等しいことが望ましい。そのために、撮像装置１１０では、第１レンズ部１１１および第２レンズ部１１２を、エピポーラ拘束（Ｅｐｉｐｏｌａｒ  Ｃｏｎｓｔｒａｉｎｔ）を実質的に満足するように配置する。すなわち、第１レンズ部１１１および第２レンズ部１１２を、それぞれの光学中心が、第１撮像部が有する撮像素子または第２撮像部が有する撮像素子の撮像面に実質的に平行な１つの平面上に位置するように、配置する。
【００２５】
なお、これらの条件は、厳密に満たされなければならない、というわけではなく、実用上問題が生じない範囲での誤差は許容される。また、仮にこれらの条件が満足されなくとも、画像の拡大縮小、回転、平行移動等を計算で行うアフィン変換を実行することにより、これらの条件を満足する画像に変換することも可能である。そして、アフィン変換を施した画像を用いて視差量（ずれ量）を算出すればよい。
【００２６】
また、撮像装置１１０では、第１撮像部の光軸と第２撮像部の光軸とが互いに平行になるように第１レンズ部１１１および第２レンズ部１１２を配置する（以下、「平行法」と記す）。しかし、第１撮像部の光軸と第２撮像部の光軸とが所定の一点で交差するように第１レンズ部１１１および第２レンズ部１１２を配置（以下、「交差法」と記す）してもよい。また、平行法で撮像された画像を、アフィン変換により、交差法で撮像されたかのような画像に変換することも可能である。
【００２７】
なお、これらの条件が満たされた状態で撮像される第１画像および第２画像では、被写体の位置はエピポーラ拘束条件を実質的に満たす。この場合、後述する立体画像の生成過程において、一方の画像（例えば、第１画像）で被写体の位置が確定すると、他方の画像（例えば、第２画像）での被写体の位置は比較的容易に算出できるので、立体画像の生成過程における演算量を軽減できる。逆に、これらの条件で満たされない項目が増えるほど、アフィン変換等の演算量が増えるので、立体画像の生成過程における演算量は増大する。
【００２８】
図２は、実施の形態１における撮像装置１１０の回路構成を概略的に示す図である。
【００２９】
撮像装置１１０は、第１撮像部である第１撮像ユニット２００、第２撮像部である第２撮像ユニット２１０、ＬＳＩ２３０、ＲＡＭ２２１、ＲＯＭ２２２、加速度センサ２２３、ディスプレイ２２５、記憶装置２２７、入力装置２２４、ネットワークインターフェース２４３、バッテリー２４５、を有する。
【００３０】
第１撮像ユニット２００は、第１レンズ群２０１、第１撮像素子である第１ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）２０２、第１Ａ／Ｄ変換ＩＣ２０３、および第１アクチュエーター２０４を備える。
【００３１】
第１レンズ群２０１は、図１に示した第１レンズ部１１１に相当し、光学ズームが可能なズームレンズおよびフォーカス調節が可能なフォーカスレンズ、を含む複数のレンズで構成される光学系である。さらに、第１レンズ群２０１には、第１ＣＣＤ２０２で受光する光の量（光量）を調節する光学式の絞り（図示せず）が備えられている。第１レンズ群２０１を通して取り込まれた光は、第１レンズ群２０１で光学ズーム、フォーカスおよび光量の各調節がなされた後、第１ＣＣＤ２０２の撮像面に被写体像として結像する。この画像が第１画像である。
【００３２】
第１ＣＣＤ２０２は、撮像面で受光した光を電気信号に変換して出力するように構成されている。この電気信号は、光の強さ（光量）に応じて電圧値が変化するアナログ信号である。
【００３３】
第１Ａ／Ｄ変換ＩＣ２０３は、第１ＣＣＤ２０２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第１画像信号である。
【００３４】
第１アクチュエーター２０４は、第１レンズ群２０１に含まれるズームレンズおよびフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＬＳＩ２３０のＣＰＵ２２０から出力される制御信号により制御される。
【００３５】
本実施の形態では、第１撮像ユニット２００は、第１画像を「水平方向の画素数１，９２０、垂直方向の画素数１，０８０」の画像信号にして出力するものとして、以下の説明を行う。また、第１撮像ユニット２００は、静止画の撮像だけでなく、動画撮影も可能に構成されており、一般的な動画と同様のフレームレート（例えば、６０Ｈｚ）での動画撮影を行うことができる。したがって、第１撮像ユニット２００では、高品質で滑らかな動画を撮影することが可能である。なお、フレームレートとは、単位時間（例えば、１秒間）に撮像する画像の枚数のことであり、フレームレートを６０Ｈｚにして動画撮影すると、１秒間に６０枚の画像が連続して撮像される。
【００３６】
なお、第１画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。
【００３７】
第２撮像ユニット２１０は、第２レンズ群２１１、第２撮像素子である第２ＣＣＤ２１２、および第２Ａ／Ｄ変換ＩＣ２１３を備える。
【００３８】
第２レンズ群２１１は、図１に示した第２レンズ部１１２に相当し、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズを含む１枚または複数のレンズで構成される光学系である。第２レンズ群２１１を通して取り込まれた光は、第２ＣＣＤ２１２の撮像面に被写体像として結像する。この画像が第２画像である。
【００３９】
なお、第２レンズ群２１１は、上述したように光学ズーム機能を備えていない。そのため、光学ズームレンズではなく単焦点レンズを有する。また、第２レンズ群２１１は、第１レンズ群２０１よりも小型のレンズ群から構成され、第２レンズ群２１１の対物レンズには、第１レンズ群２０１の対物レンズよりも口径が小さいものが用いられている。これにより、第２撮像ユニット２１０を第１撮像ユニット２００よりも小型化し、撮像装置１１０全体を小型化して使い勝手（携帯性、操作性）を向上するとともに、第２撮像ユニット２１０の配置位置に関する自由度を高めている。これにより、図１に示したように、第２撮像ユニット２１０をモニター１１３に搭載することができる。
【００４０】
第２ＣＣＤ２１２は、第１ＣＣＤ２０２と同様に、撮像面で受光した光をアナログの電気信号に変換して出力するように構成されている。ただし、本実施の形態における第２ＣＣＤ２１２は、第１ＣＣＤ２０２よりも高い解像度を有する。したがって、第２画像の画像信号は、第１画像の画像信号よりも解像度が高く、画素数が多い。これは、第２画像の画像信号の一部を取り出して使用したり、電子ズームにより画像拡大をするためである。これらの詳細は後述する。
【００４１】
第２Ａ／Ｄ変換ＩＣ２１３は、第２ＣＣＤ２１２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第２画像信号である。
【００４２】
本実施の形態では、第２撮像ユニット２１０は、第２画像を「水平方向の画素数７，６８０、垂直方向の画素数４，３２０」の画像信号にして出力するものとして、以下の説明を行う。また、第２撮像ユニット２１０は、第１撮像ユニット２００と同様に、静止画の撮像だけでなく、動画撮影も可能に構成されている。ただし、第２画像信号は第１画像信号よりも解像度が高く、画素数が多いため、第２撮像ユニット２１０における動画撮影の際のフレームレートは、第１撮像ユニット２００での動画撮影の際のフレームレートよりも低い（例えば、３０Ｈｚ）。
【００４３】
なお、第２画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。
【００４４】
なお、本実施の形態では、撮像素子の撮像面に結像した被写体像を電気信号に変換し、Ａ／Ｄ変換ＩＣから画像信号として出力する一連の動作を「撮像」とする。第１撮像部では第１画像を撮像して第１画像信号を出力し、第２撮像部では第２画像を撮像して第２画像信号を出力する。
【００４５】
なお、本実施の形態では、第１撮像素子および第２撮像素子にＣＣＤを用いる例を説明したが、第１撮像素子および第２撮像素子は、受光した光を電気信号に変換する撮像素子であればよく、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等であってもよい。
【００４６】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２２は、ＣＰＵ２２０を動作させるプログラムやパラメータ等の各種データが記憶されており、それらのデータをＣＰＵ２２０が任意に読み出すことができるように構成されている。ＲＯＭ２２２は、不揮発性型の半導体記憶素子で構成され、撮像装置１１０の電源がオフになっても、記憶されたデータは保持される。
【００４７】
入力装置２２４は、使用者の指示を受け付けることができるように構成された入力装置の総称である。入力装置２２４には、例えば、使用者が操作する電源ボタンや設定ボタン等の各種ボタン、タッチパネル、レバー等が含まれる。本実施の形態では、タッチパネルがディスプレイ２２５に設けられている例を説明する。しかし、入力装置２２４は、何らこれらの構成に限定されるものではなく、例えば音声入力装置を備えていてもよく、あるいは、全ての入力操作をタッチパネルで行う構成や、逆にタッチパネルを備えず全ての入力操作をボタンやレバー等で行う構成であってもよい。
【００４８】
ＬＳＩ２３０は、ＣＰＵ２２０、エンコーダー２２６、ＩＯコントローラ２３３、およびクロック発生器２３４、を有する。
【００４９】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２２０は、ＲＯＭ２２２から読み出したプログラムやパラメータ、入力装置２２４で受け付けられた使用者の指示、等にもとづき動作し、撮像装置１１０全体の制御、および各種演算処理を行うように構成されている。この各種演算処理には、第１画像信号および第２画像信号に関する画像信号処理が含まれる。この画像信号処理の詳細は後述する。
【００５０】
本実施の形態では、ＣＰＵ２２０にマイクロコンピューターを用いているが、例えば、マイクロコンピューターに代えてＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、またはＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等を用いて、同様の動作を行うように構成してもよい。あるいは、撮像装置１１０外部の装置において、ＣＰＵ２２０で行う処理の一部または全てを行うように構成しても良い。
【００５１】
エンコーダー２２６は、撮像装置１１０で撮像した画像にもとづく画像信号や撮像した画像に関連する情報を、所定の方式で符号化（エンコード）するように構成されている。これは、データ量を低減して記憶装置２２７に記憶するためである。この符号化の方式は、一般的に用いられている画像圧縮方式であり、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ、等である。
【００５２】
ＩＯコントローラ（Ｉｎｐｕｔ  Ｏｕｔｐｕｔ  Ｃｏｎｔｒｏｌｅｒ）２３３は、ＬＳＩ２３０（ＣＰＵ２２０）の入力信号や出力信号の入出力制御を行う。
【００５３】
クロック発生器２３４は、クロック信号を発生し、ＬＳＩ２３０（ＣＰＵ２２０）やＬＳＩ２３０に接続された回路ブロックに供給する。このクロック信号は、ＬＳＩ２３０（ＣＰＵ２２０）で各種動作や各種演算処理の同期を取るための同期信号として使用される。
【００５４】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２２１は、揮発性型の半導体記憶素子で構成され、ＣＰＵ２２０からの指示にもとづき、ＣＰＵ２２０を動作させるプログラムの一部、プログラム実行時のパラメータ、使用者の指示、等を一時的に記憶するように構成されている。ＲＡＭ２２１に記憶されたデータは、ＣＰＵ２２０が任意に読み出すことができ、ＣＰＵ２２０の指示によって任意に書き換えが可能である。
【００５５】
加速度センサ２２３は、一般的に用いられている加速度検出センサであり、撮像装置１１０の動きや姿勢の変化を検出するように構成されている。加速度センサ２２３では、例えば、撮像装置１１０が地面に対して平行に保たれているかどうか、が検出され、この検出結果はディスプレイ２２５に表示される。したがって、使用者はその表示を見ることで、撮像装置１１０が地面に対して水平に保たれているかどうか、すなわち、撮像装置１１０が立体画像の撮像に適した状態（姿勢）にあるかどうか、を判断することができる。これにより、使用者は、撮像装置１１０を適切な姿勢に保って立体画像の撮像や立体動画の撮影を行うことができる。
【００５６】
なお、撮像装置１１０は、加速度センサ２２３での検出結果にもとづき手振れ補正等の光学系制御を行う構成であってもよい。また、加速度センサ２２３は、３軸方向のジャイロスコープ（３軸ジャイロセンサ）であってもよく、複数のセンサを組み合わせて用いる構成であってもよい。
【００５７】
ディスプレイ２２５は、一般に用いられている液晶ディスプレイパネルで構成され、図１に示したモニター１１３に搭載されている。ディスプレイ２２５は、上述したタッチパネルが表面に取り付けられており、画像表示と使用者の指示受け付けを同時に行うことができるように構成されている。ディスプレイ２２５に表示される画像には、（１）撮像装置１１０で撮像中の画像（第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号にもとづく画像）、（２）記憶装置２２７に記憶されている画像信号にもとづく画像、（３）ＣＰＵ２２０で信号処理された画像信号にもとづく画像、（４）撮像装置１１０の各種設定項目を表示するメニュー表示画面、等がある。ディスプレイ２２５には、これらの画像が選択的に、または複数の画像を互いに重畳した画像が、表示される。なお、ディスプレイ２２５は、何ら上述の構成に限定されるものではなく、薄型で低消費電力の画像表示装置であればよく、例えばＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等で構成されていてもよい。また、立体画像を表示するように構成されていてもよい。
【００５８】
記憶装置２２７は、任意に書き換えが可能な比較的大容量の記憶装置であるハードディスクドライブ（ＨＤＤ）で構成され、エンコーダー２２６で符号化されたデータ等を読み出し可能に記憶するように構成されている。また、記憶装置２２７に記憶するデータには、ＣＰＵ２２０で生成された立体画像の画像信号、立体画像の表示に必要な情報、画像信号に付随する画像情報が含まれる。なお、記憶装置２２７は、第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号を、符号化処理を施さずにそのまま記憶するように構成されていてもよい。また、記憶装置２２７は、何らＨＤＤに限定されるものではなく、例えば、半導体記憶素子を内蔵したメモリーカードや光ディスク等の着脱可能な記憶媒体に記憶する構成であってもよい。
【００５９】
なお、上述の画像情報とは、画像信号に関する情報のことであり、例えば、画像の符号化方式、ビットレート、画像のサイズ、解像度、フレームレート、撮像時の合焦距離（フォーカスが合っている被写体までの距離）、ズーム倍率、立体画像であるか否か、立体画像である場合には、左眼用画像と右眼用画像との識別子、視差情報、等が挙げられる。これらのうちの単数または複数の情報が、画像情報として画像信号に関連付けられて記憶装置２２７に記憶される。
【００６０】
また、記憶装置２２７には、後述する画像信号処理の際に参照する情報（データベース）があらかじめ記憶されている。このデータベースには、後述する視差情報（デプスマップ）を補正する際に用いる情報や、後述するシーン判定部が参照する情報等が含まれており、後述する特徴点や撮像画像の図柄（撮像画像に写された光景）に関連付けられている。このデータベースについては後述する。
【００６１】
なお、このデータベースは、上述の画像信号や画像情報を記憶するための記憶装置２２７とは別に設けた記憶装置に記憶する構成であってもよい。
【００６２】
ネットワークインターフェース２４３は、一般的な通信装置であり、撮像装置１１０と撮像装置１１０外部の機器との間でのデータの受け渡しを行う。このデータには、記憶装置２２７に記憶されたデータやＣＰＵ２２０で処理されたデータ、外部機器から撮像装置１１０に入力されるデータ、等がある。
【００６３】
バッテリー２４５は、一般的に用いられている２次電池で構成された電力供給装置であり、撮像装置１１０の動作に必要な電力を供給する。
【００６４】
［１−２．動作］
以上のように構成された撮像装置１１０について、その動作を説明する。
【００６５】
以下では、撮像装置１１０で立体画像を撮像しているときに行われる主な動作を、機能毎にブロック分けして説明する。
【００６６】
図３は、実施の形態１における撮像装置１１０の構成を機能毎にブロック分けして示す図である。
【００６７】
撮像装置１１０の構成を、立体画像の撮像をしているときに動作する主な機能で分けて示すと、撮像装置１１０は、図３に示すように、第１撮像部３００、第２撮像部３１０、画像信号処理部３２０、表示部３３０、記憶部３４０、入力部３５０、カメラ情報部３６０、の７つのブロックに大別することができる。
【００６８】
なお、画像信号処理部３２０では、画像信号を処理する際に、フレームメモリ等の記憶素子に一時的に画像信号を記憶するが、図３では、そのような記憶素子は省略している。また、立体画像の撮像に直接的な関係が薄い構成要素（バッテリー２４５等）は省略している。
【００６９】
第１撮像部３００は、第１光学部３０１、第１撮像素子３０２、第１光学制御部３０３、を備える。第１撮像部３００は、図２に示した第１撮像ユニット２００に相当する。また、第１光学部３０１は第１レンズ群２０１に、第１撮像素子３０２は第１ＣＣＤ２０２および第１Ａ／Ｄ変換ＩＣ２０３に、第１光学制御部３０３は第１アクチュエーター２０４に、それぞれ相当する。重複するのでこれらの説明は省略する。
【００７０】
第２撮像部３１０は、第２光学部３１１、第２撮像素子３１２、を備える。第２撮像部３１０は、図２に示した第２撮像ユニット２１０に相当する。また、第２光学部３１１は第２レンズ群２１１に、第２撮像素子３１２は第２ＣＣＤ２１２および第２Ａ／Ｄ変換ＩＣ２１３に、それぞれ相当する。重複するのでこれらの説明は省略する。
【００７１】
表示部３３０は、図２に示したディスプレイ２２５に相当する。入力部３５０は、図２に示した入力装置２２４に相当する。入力部３５０に含まれるタッチパネルは、表示部３３０の表面に取り付けられており、表示部３３０では、画像の表示と使用者の指示受け付けを同時に行うことができる。カメラ情報部３６０は、図２に示した加速度センサ２２３に相当する。記憶部３４０は、図２に示した記憶装置２２７に相当する。重複するのでこれらの説明は省略する。
【００７２】
画像信号処理部３２０は、図２に示したＬＳＩ２３０に相当する。図３に示す画像信号処理部３２０で行われる動作は、主にＣＰＵ２２０で行われるので、以下、ＣＰＵ２２０での動作を主に説明し、エンコーダー２２６、ＩＯコントローラ２３３、クロック発生器２３４の動作については説明を省略する。
【００７３】
なお、ＣＰＵ２２０では、撮像装置１１０全体の制御や各種演算処理が行われるが、図３には、撮像装置１１０で立体画像の撮像を行うときにＣＰＵ２２０で行われる演算処理（画像信号処理）および制御動作に関連する主な機能のみをブロック分けして示しており、他の動作に関する機能は省略している。これは、撮像装置１１０で立体画像を撮像するときの動作を分かりやすく示すためである。
【００７４】
なお、画像信号処理部３２０として図３に示す各機能ブロックは、ＣＰＵ２２０で行われる演算処理および制御動作の主なものを機能別に分けて示しているに過ぎず、ＣＰＵ２２０の内部が図３に示す各機能ブロックに物理的に分けられているわけではない。しかし、以下では便宜的に画像信号処理部３２０が図３に示す各部を有するものとして説明を行う。
【００７５】
なお、ＣＰＵ２２０は、図３に示す各機能ブロックに相当する電子回路を備えたＩＣまたはＦＰＧＡで構成してもよい。
【００７６】
画像信号処理部３２０は、図３に示すように、マッチング部３７０、顔認識部３２７、シーン判定部３２８、動き検出部３２９、画像生成部３２５、撮像制御部３２６、を有する。
【００７７】
マッチング部３７０は、特徴点抽出部３２２、画角合わせ部３２１、画像パターン判定部３２４、デプスマップ生成部３２３、を有する。
【００７８】
顔認識部３２７は、第１画像として撮像されている被写体の中に人の顔が含まれているかどうかを、第１画像信号から検出する。人の顔の検出は、例えば、テンプレートマッチングによる眼、鼻、口、眉、輪郭、髪型等の検出や肌の色の検出等、一般に用いられている手法を用いて行うことができるので、詳細な説明は省略する。顔認識部３２７では、人の顔を検出した場合、人の顔の位置、数、大きさ等を検出し、あわせて信頼性（人の顔である確率）も算出する。顔認識部３２７での検出結果はシーン判定部３２８およびマッチング部３７０に出力される。なお、顔認識部３２７の検出結果は、自動焦点調節機能（オートフォーカス）等に用いてもよい。
【００７９】
動き検出部３２９は、第１画像信号に関する動き検出を行う。動き検出部３２９は、時間的に連続して撮像される２枚以上の第１画像にもとづき、１画素マッチング、または複数の画素の集まりで行うブロックマッチング等により、画素毎、またはブロック毎に、静止しているか、動いているかの判定を行う。動いていると判定された画素またはブロックに関しては、動きベクトルの検出を行う。動き検出自体は一般に知られた手法であるので、詳細な説明は省略する。動き検出部３２９での検出結果はシーン判定部３２８およびマッチング部３７０に出力される。動き検出部３２９の検出結果は、自動焦点調節機能等に用いてもよい。
【００８０】
なお、撮像装置１１０は、これら複数の第１画像信号を得るために、第１画像撮像時に、時間的に連続する２枚目以降の第１画像を自動的に撮像するように構成されていてもよい。
【００８１】
シーン判定部３２８は、第１画像がどのような光景を写した画像であるのかを、第１画像信号、顔認識部３２７における検出結果、動き検出部３２９における検出結果、にもとづき判定する。
【００８２】
シーン判定部３２８は、第１画像を以下の４つに分類する。
１）風景を写した画像
２）人物を写した画像
３）動きが多い光景を写した画像
４）これらに該当しない画像
シーン判定部３２８での判定結果は、マッチング部３７０に出力される。
【００８３】
シーン判定部３２８では、顔認識部３２７における検出結果および動き検出部３２９における検出結果に加え、第１画像信号の輝度信号に関するヒストグラム、第１画像信号の色信号（色差信号）に関するヒストグラム、第１画像信号の輪郭部を抽出した信号、判定対象となる第１画像が撮像されたときの第１光学部３０１の光学ズーム倍率および焦点が合っている被写体までの距離（合焦距離）、等から上述の判定を行う。これらの判定に必要な情報は上述したデータベースに含まれており、シーン判定部３２８はデータベースを参照してこれらの判定を行う。
【００８４】
なお、シーン判定部３２８における画像分類は何ら上述した内容に限定されるものではない。例えば、赤色が多い画像、暗い画像、緑色と青色が多い画像、等、撮像画像の色や明るさにもとづいて画像分類を行ってもよい。または、上記４分類を、子供を写した画像、置物等の静物を写した画像、夜景、等を加えてさらに細かく分類してもよい。あるいは、それら以外の分類を行ってもよい。また、分類の判定に用いる情報も何ら上述した情報に限定されるものではなく、上述以外の情報を用いてもよく、あるいは上述の情報の中から１つまたは複数を選択して用いてもよい。また、第２画像にもとづき、または第１画像と第２画像の両方にもとづき、上述の判定を行うようにシーン判定部３２８を構成してもよい。
【００８５】
なお、撮像装置１１０では、撮像装置１１０から合焦した被写体までの距離である合焦距離をフォーカス調節の際に取得することができる。撮像装置１１０から、第１撮像素子３０２の撮像面においてフォーカスが合う（合焦する）被写体までの距離（合焦距離）は、フォーカスレンズの位置に応じて変化する。したがって、フォーカスレンズの位置と合焦距離とを対応付けた情報をあらかじめ撮像制御部３２６（または、第１光学制御部３０３）に備えておけば、撮像制御部３２６が第１光学制御部３０３を介して第１光学部３０１の光学ズームレンズおよびフォーカスレンズを制御する際に、画像信号処理部３２０は、現在のフォーカスレンズの位置から現在の合焦距離を取得することができる。
【００８６】
このように、画像信号処理部３２０は、第１画像が撮像されたときの第１光学部３０１の光学ズーム倍率および合焦距離を、第１画像の付帯情報として取得することができる。
【００８７】
画像生成部３２５は、マッチング部３７０のデプスマップ生成部３２３から出力される視差情報（デプスマップ）にもとづいて、第１画像信号から新たな第２画像信号を生成する。以下、第１画像信号から生成される新たな第２画像信号を「新第２画像信号」と記す。また、新第２画像信号による画像を「新第２画像」と記す。したがって、第１画像信号と新第２画像信号とは、仕様（解像度や画角等、動画の場合はフレームレートも含む）が互いに等しい画像信号となる。
【００８８】
本実施の形態では、第１画像信号を右眼用画像信号とし、画像生成部３２５で視差情報（デプスマップ）にもとづき生成される新第２画像信号を左眼用画像信号とする立体画像信号を、画像生成部３２５から出力する。
【００８９】
この立体画像信号は、例えば記憶部３４０に記憶され、また、この立体画像信号にもとづく立体画像は表示部３３０に表示される。
【００９０】
撮像装置１１０では、第１画像信号（例えば、右眼用画像信号）から、視差情報（デプスマップ）にもとづき、対となる新第２画像信号（例えば、左眼用画像信号）を生成する。したがって、視差情報（デプスマップ）に補正を加えることで、生成される立体画像の立体感（奥行き感）を調整することが可能である。そこで、本実施の形態では、視差情報（デプスマップ）に補正を加え、立体画像の立体感（奥行き感）を増す、あるいは抑制する、等の調整ができるように、マッチング部３７０（デプスマップ生成部３２３）を構成する。この詳細は後述する。
【００９１】
マッチング部３７０の特徴点抽出部３２２は、第１画像信号と第２画像信号とのそれぞれから複数の特徴点候補を抽出し、それら特徴点候補の中から複数を選択して特徴点とする。こうして第１画像信号と第２画像信号とのそれぞれに複数の特徴点を設定する。
【００９２】
特徴点とは、第１画像信号と第２画像信号とを互いに比較するときに目印として用いる領域のことである。また、特徴点は、視差情報（デプスマップ）を生成する際にも用いられる。したがって、特徴点として設定する領域は、次の要件を満たしていることが望ましい。
【００９３】
１）比較に用いる領域として明確な特徴があり、比較に使用しやすく、かつ抽出が容易である。
【００９４】
２）第１画像および第２画像の各画像に共通して存在する。
【００９５】
３）第１画像および第２画像の各画像において、できるだけ一様に分布している。
【００９６】
４）撮像画像における近景の被写体から遠景の被写体までのそれぞれに、できるだけ一様に分布している。
【００９７】
上述の要件１は、次の理由による。信号の変化がなだらかな領域は、抽出しにくいため、基準として設定しにくく、互いに比較すべき領域を両画像のそれぞれで特定することも困難である。特徴点として設定する領域は、基準として設定しやすく比較の際に特定しやすい領域であることが好ましい。そのような領域としては、例えば被写体の輪郭部を挙げることができる。また、そのような領域は、例えば、輝度信号の微分値、または色信号（色差信号）の微分値を算出し、その算出結果を所定のしきい値と比較することで、容易に抽出することができる。
【００９８】
上述の要件２は、次の理由による。上述したように、第１画像は光学ズーム機能を備えた第１撮像部３００で撮像され、第２画像は単焦点レンズを有する第２撮像部３１０で撮像される。したがって、第２画像には、第１画像に撮像された範囲以上の範囲が撮像されていることが多くあると考えられ、そのような第２画像だけに撮像された領域に特徴点を設定しても、比較に使用することはできない。したがって、第１画像および第２画像の各画像に共通して存在する領域を特徴点として設定することが望ましい。
【００９９】
上述の要件３は、次の理由による。特徴点が画像内の特定の領域に集中していると、その領域に関しては相対的に高い精度の比較が行えるが、他の領域に関しては比較の精度が相対的に低下する。したがって、そのような偏りが生じないように、特徴点は、各画像において、できるだけ一様に分布していることが望ましい。本実施の形態では、第１画像および第２画像の各画像を、水平方向および垂直方向にそれぞれ３分割して９の領域に分割し、各領域で２個以上５個以下の特徴点を設定することで、偏りが生じることを防止している。しかし、本実施の形態は何らこの構成に限定されるものではなく、特徴点の偏りを防止できるのであればどのような設定であってもよい。
【０１００】
上述の要件４は、次の理由による。特徴点が近景の被写体に集中して設定されていたり、あるいは、遠景の被写体に集中して設定されていたりすると、デプスマップ生成部３２３で生成される視差情報（デプスマップ）にも偏りが生じ、品質の良い新第２画像信号（立体画像信号）を画像生成部３２５で生成することが困難となる。精度の高い視差情報（デプスマップ）を生成するためには、近景の被写体から遠景の被写体までのそれぞれに、できるだけ一様に特徴点が分布していることが望ましい。なお、要件３が満たされていれば、要件４も実質的に満たされている、と見なすことができる。
【０１０１】
なお、特徴点として設定する領域は、大きすぎると比較に使用しにくく、小さすぎると抽出しにくいため、それらを考慮して適切な大きさで設定することが望ましい。
【０１０２】
特徴点抽出部３２２では、これらの要件を考慮して特徴点候補を各画像信号から抽出し、特徴点を設定する。そして、設定した特徴点に関する情報（特徴点情報）を、画角合わせ部３２１および画像パターン判定部３２４に出力する。
【０１０３】
なお、これらの要件は、全てが満たされることが望ましいが、必ずしも全てが満たされなければならないというわけではなく、実用上問題が生じない範囲で取捨選択が可能である。例えば、特徴点抽出部３２２は、上述の４つの要件に優先度を設定し、優先度の高い要件から順に満足していくように特徴点候補を抽出する構成であってもよい。あるいは、顔認識部３２７、シーン判定部３２８、および動き検出部３２９、のいずれか１つまたは複数の出力にもとづき、その優先度を変更する、または上述以外の要件を追加する、または特徴点候補の抽出方法を変更する、等してもかまわない。
【０１０４】
また、特徴点抽出部３２２は、各画像信号において、特徴点候補に該当する領域を全て特徴点候補として抽出し、それら全てを特徴点に設定する構成であってもよい。あるいは、抽出された複数の特徴点候補から、上記の要件に照らし合わせ、より多くの要件を満たす領域から順に、または、より優先度の高い要件を満たす領域から順に、あらかじめ定められた数だけを特徴点として設定する構成であってもよい。
【０１０５】
画角合わせ部３２１は、第１撮像部３００から出力される第１画像信号および第２撮像部３１０から出力される第２画像信号が入力される。そして、撮像範囲が互いに等しいと判断される画像信号を各入力画像信号から取り出す。
【０１０６】
上述したように、第１撮像部３００では光学ズームによる撮像が可能であり、第２撮像部３１０では単焦点レンズによる撮像が行われる。したがって、第１光学部３０１が広角端のときの第１画像の画角が第２画像の画角以下になるように各撮像部が設定されていれば、第２画像に撮像される範囲には、常に第１画像に撮像される範囲が含まれることになる。例えば、ズーム倍率を上げて撮像された第１画像よりも、撮像の際に光学ズームができない第２画像の方が、画角が広く、この第２画像には第１画像よりも広い範囲が撮像されている。
【０１０７】
なお、「画角（Ａｎｇｌｅ  ｏｆ  ｖｉｅｗ）」とは、画像として撮像される範囲のことであり、一般的には角度で表現される。
【０１０８】
そこで、画角合わせ部３２１では、パターンマッチング等の一般に用いられている比較・照合手法を用いて、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出す。このとき、特徴点抽出部３２２で設定された特徴点を用いることで、第１画像信号と第２画像信号との比較の精度を上げることができる。以下、第２画像信号から取り出された画像信号を「切り出し画像信号」と呼称し、切り出し画像信号による画像を「切り出し画像」と呼称する。したがって、切り出し画像は、画角合わせ部３２１において第１画像の撮像範囲に等しいと判断された範囲の画像になる。
【０１０９】
なお、第１光学部３０１と第２光学部３１１との配置位置の違い（視差）により、第１画像と第２画像とでは画像内における被写体の位置に差が生じる。そのため、第２画像における第１画像に対応する領域が、第１画像に完全に合致する可能性は低い。したがって、画角合わせ部３２１でパターンマッチングを行う際は、第１画像信号と類似度が最も大きくなる領域を第２画像信号において探索し、その領域を第２画像信号から取り出して切り出し画像信号とすることが望ましい。
【０１１０】
また、画角合わせ部３２１は、第１画像信号と切り出し画像信号の両画像信号を、画素を間引いて画素数（信号量）を削減する縮小処理を行う。これは、後段のデプスマップ生成部３２３における視差情報の算出に必要な演算量を低減するためである。
【０１１１】
また、画角合わせ部３２１は、両画像信号の縮小処理後の画素数が互いに等しくなるように、それぞれの縮小処理を行う。これは、後段のデプスマップ生成部３２３において行う２つの画像信号の比較処理を、演算量を低減するとともに精度を高めて行うためである。例えば、切り出し画像信号の画素数（例えば、３８４０×２１６０）が第１画像信号の画素数（例えば、１９２０×１０８０）の４倍であり、第１画像信号を画素数が１／４（例えば、９６０×５４０）になるように縮小処理する場合は、切り出し画像信号に関しては画素数が１／１６（例えば、９６０×５４０）になるように縮小処理を行う。なお、縮小処理を行う際は、フィルタリング処理等を行い、できるだけ情報が損なわれないようにすることが望ましい。
【０１１２】
そして、画角合わせ部３２１は、縮小処理された切り出し画像信号と第１画像信号を後段のデプスマップ生成部３２３に出力する。なお、第１画像と第２画像の画角が互いに等しいときには、第２画像信号をそのまま切り出し画像信号として用いることもある。
【０１１３】
なお、画角合わせ部３２１における動作は、何ら上述した動作に限定されるものではない。例えば、第１画像の画角が第２画像の画角より広ければ、第１画像信号から第２画像の撮像範囲に相当する領域を取り出して切り出し画像信号を生成するように動作してもよい。また、第１画像と第２画像とで撮像範囲に差があるときには、撮像範囲が互いに等しい領域を第１画像信号と第２画像信号とのそれぞれから取り出して後段に出力するように動作してもよい。
【０１１４】
なお、本実施の形態は、画角合わせ部３２１において第１画像信号と第２画像信号との比較に用いる手法を、何らパターンマッチングに限定するものではなく、その他の比較・照合手法を用いて切り出し画像信号を生成してもよい。
【０１１５】
なお、画角合わせ部３２１では、第１画像信号と第２画像信号とに対して、明るさ（ガンマ特性、黒の輝度、白の輝度、コントラスト等）、ホワイトバランス、色相（色あい、色の濃さ）等を両画像で互いに揃えるような画像信号処理を行ってもよい。
【０１１６】
画像パターン判定部３２４は、第１画像が特定パターンに該当するかどうか、または、特定パターンに該当する領域が第１画像に含まれているかどうか、を、第１画像信号にもとづき判定する。
【０１１７】
この特定パターンに該当する画像または領域とは、特徴点が誤設定されやすく、その結果として視差情報（デプスマップ）に誤差が含まれやすい、と考えられる画像または領域のことである。
【０１１８】
この特定パターンに該当する画像または領域とは、以下のようなものである。
【０１１９】
１）特徴点として設定された領域と似た領域が他に多数ある画像。このような画像（または領域）の例として、以下を挙げることができる。
１−１：同じ形状や模様が規則正しく配列した画像。例えば、タイルを並べた画像、格子模様の壁を写した画像、等。
１−２：特徴点として設定された領域と似た領域が多くあり、特徴点を探索するのが難しい画像。例えば、細い枝の画像、木の葉が生い茂った画像、等。
【０１２０】
２）輝度信号または色信号（色差信号）の変化が小さく、特徴点そのものを設定しにくい画像。このような画像（または領域）の例として、以下を挙げることができる。
２−１：輝度信号の変化が少ない画像。例えば、白い壁を写した画像、等。
２−２：輝度信号および色信号（色差信号）の変化が共に少ない画像。例えば、雲のない青空を写した画像、等。
【０１２１】
３）被写体が素早く大きく動いている、または、輝度信号および色信号（色差信号）の変化がなだらか、等の理由で被写体の輪郭が明瞭でなく、特徴点が設定しにくい画像。このような画像（または領域）の例として、以下を挙げることができる。
３−１：被写体が素早く大きく動いている画像。例えば、動き回る犬の画像、スポーツする人物を写した画像、等。
３−２：輝度信号および色信号（色差信号）の変化がなだらかな画像。例えば、夕焼け空を写した画像、等。
【０１２２】
画像パターン判定部３２４は、第１画像がこのような特定パターンに該当するかどうか、または、特定パターンに該当する領域が第１画像に含まれているかどうか、含まれている場合はその領域の位置および範囲を、第１画像信号にもとづき判定する。画像パターン判定部３２４は、これらの判定結果とともに、これらに該当する場合は、特徴点抽出部３２２で設定された特徴点の信頼性が低いことを示す情報、あるいは、信頼性の低い特徴点を特定する情報、等をデプスマップ生成部３２３へ出力する。これらの情報を「特定パターン判定情報」とする。
【０１２３】
画像パターン判定部３２４では、顔認識部３２７における検出結果、動き検出部３２９における検出結果、シーン判定部３２８における判定結果、第１画像信号の輝度信号に関するヒストグラム、第１画像信号の色信号（色差信号）に関するヒストグラム、第１画像信号の輪郭部を抽出した信号、判定対象となる第１画像が撮像されたときの第１光学部３０１の光学ズーム倍率および焦点が合っている被写体までの距離（合焦距離）、の１つまたは複数を選択して、上述の判定を行う。これらの判定に必要な情報は上述したデータベースに含まれており、画像パターン判定部はデータベースを参照してこれらの判定を行う。
【０１２４】
なお、画像パターン判定部３２４は、第１画像信号に代えて第２画像信号または切り出し画像信号にもとづき、上述の判定を行う構成であってもよい。あるいは、第１画像信号と、第２画像信号または切り出し画像信号の両方に関して、上述の判定を行う構成であってもよい。また、画像パターン判定部３２４における判定は何ら上述した内容に限定されるものではなく、特徴点の信頼性が判断できるものであればよい。
【０１２５】
デプスマップ生成部３２３は、画角合わせ部３２１で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報を生成する。デプスマップ生成部３２３は、縮小処理された第１画像信号と縮小処理された切り出し画像信号とを互いに比較し、互いに対応する被写体が２つの画像信号間でどの程度ずれているかを、画素単位、または複数の画素からなるブロック単位で、算出する。この「ずれの量（ずれ量）」は、視差方向、例えば、撮像が行われたとき地面に対して水平となる方向、で算出する。この「ずれ量」を１枚の画像（縮小処理された第１画像信号にもとづく画像、または、縮小処理された切り出し画像信号にもとづく画像）の全域において算出し、算出対象となる画像の画素またはブロックに対応付けたものが、視差情報（デプスマップ）となる。
【０１２６】
なお、デプスマップ生成部３２３では、第１画像信号と切り出し画像信号とを比較するときに、特徴点抽出部３２２で設定された特徴点を用いることで、視差情報（デプスマップ）を生成する際の精度を高めている。
【０１２７】
そして、デプスマップ生成部３２３では、一旦生成した視差情報（デプスマップ）を、画像パターン判定部３２４およびシーン判定部３２８における判定結果にもとづいて、補正する。
【０１２８】
この補正例として、以下を挙げることができる。
【０１２９】
１）シーン判定部３２８で風景を写した画像と判定された画像に関しては、近景にある被写体は立体感（奥行き感）を低減するように視差情報を小さくし、遠景にある被写体は立体感（奥行き感）を増加するように視差情報を大きくする。これにより、生成する立体画像において、遠景がより遠く感じられるように立体感（奥行き感）を強調することができる。
【０１３０】
２）シーン判定部３２８で人物を写した画像と判定された画像に関しては、合焦した被写体（人物像）の視差情報を、立体画像の鑑賞者がその被写体に焦点を合わせやすい距離になるように補正する。この距離は、例えば、２〜５ｍ程度である。合焦した被写体（人物像）の背景に相当する被写体は、合焦した被写体との距離感が低減するように視差情報を補正する。人物像は過度に立体感（奥行き感）が強調されると不自然な立体画像になりやすいが、これにより、立体画像の立体感（奥行き感）が適正に抑えられ、鑑賞者が自然な立体感（奥行き感）で人物像を鑑賞することができる立体画像を生成することができる。
【０１３１】
３）シーン判定部３２８で動きが多い光景を写した画像と判定された画像、または、画像パターン判定部３２４で特定パターンに該当すると判定された画像に関しては、視差情報（デプスマップ）に誤差が含まれている可能性が高いため、立体感（奥行き感）を低減するように視差情報を補正する。また、画像パターン判定部３２４で特定パターンに該当する領域が含まれていると判定された画像、もしくは、画像パターン判定部３２４からの出力に信頼性が低い特徴点を特定する情報が含まれているときは、その領域またはその特徴点と、それらの周囲の領域とに関して、視差情報に誤差が含まれている可能性が高い。そのため、それらの領域の立体感（奥行き感）を低減するように視差情報を補正するとともに、立体画像に不自然さが生じないように、それらの領域の周辺の領域の視差情報を補正する。
【０１３２】
４）これらに該当しない画像に関しては、視差情報（デプスマップ）を補正しない。ただし、あらかじめ定められた補正または使用者が指示した補正を加え、立体感（奥行き感）を強調または低減するようにデプスマップ生成部３２３を構成してもよい。
【０１３３】
なお、視差情報を補正するための補正データは、データベースにあらかじめ含まれており、デプスマップ生成部３２３は、シーン判定部３２８の判定結果および画像パターン判定部３２４の判定結果にもとづき、その補正データをデータベースから取得して、視差情報を補正する。
【０１３４】
なお、本実施の形態では、縮小処理された第１画像信号に関連付けて視差情報（デプスマップ）を生成するものとするが、縮小処理された切り出し画像信号に関連付けて視差情報（デプスマップ）を生成する構成であってもよい。
【０１３５】
なお、２つの画像信号を比較する際に、互いに対応する部分がない領域については「ずれ量」を算出できないので、そのような領域には、不定を表す記号を設定するか、あるいはあらかじめ定められた数値を設定すればよい。
【０１３６】
なお、視差を有する２枚の画像から視差情報（ずれ量）を算出する手法、および視差情報にもとづき新たな画像信号を生成する手法は公知であり、例えば上述の特許文献１等に記載されているので、詳細な説明は省略する。
【０１３７】
次に、撮像装置１１０における立体画像の撮像動作について、図面を用いて説明する。また、各機能ブロックで画像信号がどのように処理されるのかを、一例を挙げて図面に示す。
【０１３８】
図４は、実施の形態１における撮像装置１１０の立体画像撮像時の動作を説明するフローチャートである。
【０１３９】
図５は、実施の形態１における撮像装置１１０の画像信号の処理の流れの一例を概略的に示す図である。
【０１４０】
ここでは、一例として図５に示すように、第１撮像部３００は、画素数が１９２０×１０８０の第１画像信号を出力し、第２撮像部３１０は、画素数が７６８０×４３２０の第２画像信号を出力するものとして、以下の説明を行う。なお、重複する説明は省略する。
【０１４１】
なお、図５に示す数値は、単に一例を挙げたものに過ぎず、本実施の形態は何らこれらの数値に限定されるものではない。
【０１４２】
立体画像の撮像を行うとき、撮像装置１１０では主に以下の動作を行う。
【０１４３】
特徴点抽出部３２２は、第１画像信号と第２画像信号とのそれぞれに特徴点を設定し、設定した特徴点に関する情報（特徴点情報）を、画角合わせ部３２１および画像パターン判定部３２４に出力する（ステップＳ４００）。
【０１４４】
画像パターン判定部３２４は、第１画像が特定パターンに該当するかどうか、特定パターンに該当する領域が第１画像に含まれているかどうか、ステップＳ４００で設定された特徴点に対する信頼性、を第１画像信号にもとづき判定し、その判定結果（特定パターン判定情報）をデプスマップ生成部３２３に出力する（ステップＳ４０１）。
【０１４５】
図４、図５には示していないが、あわせて、シーン判定部３２８は、第１画像がどのような光景を写した画像であるのかを判定し、判定結果をマッチング部３７０に出力する。
【０１４６】
画角合わせ部３２１は、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出して、切り出し画像信号を生成する（ステップＳ４０２）。
【０１４７】
画像信号処理部３２０の撮像制御部３２６は、第１光学制御部３０３を介して第１光学部３０１の光学ズームを制御する。したがって、画像信号処理部３２０は、第１画像が撮像されたときの第１光学部３０１のズーム倍率を、第１画像の付帯情報として取得することができる。一方、第２光学部３１１では光学ズームができないので、第２画像を撮像するときのズーム倍率は固定されている。画角合わせ部３２１は、これらの情報に基づいて第１画像と第２画像との画角の差を算出し、その算出結果にもとづき第２画像信号から第１画像の撮像範囲（画角）に相当する領域を特定して切り出す。
【０１４８】
このとき、画角合わせ部３２１は、第１画像の画角に相当する領域よりもやや広い範囲（例えば、１０％程度広い範囲）をまず切り出す。これは、第１画像の中心と第２画像の中心との間に若干のずれが生じる可能性があるためである。
【０１４９】
次に、画角合わせ部３２１は、この切り出した範囲に対して、一般に用いられているパターンマッチングを行い、第１画像の撮像範囲に相当する領域を特定して再度切り出す。このとき、ステップＳ４００で設定された特徴点を用いることで、精度の高い比較を行うことができる。
【０１５０】
画角合わせ部３２１は、まず、垂直方向に両画像信号の比較を行い、次に水平方向に両画像信号の比較を行う。この順番は逆でもよい。このようにして、画角合わせ部３２１は、第１画像信号の撮像範囲に実質的に等しい領域を第２画像信号から取り出し、切り出し画像信号を生成する。
【０１５１】
これにより、比較的負荷の軽い演算処理で高速に切り出し画像信号を生成することができる。なお、画角や解像度が互いに異なる２枚の画像を比較して撮像範囲が互いに共通する領域を特定するパターンマッチング等の手法は、一般に知られた手法であるので、説明を省略する。
【０１５２】
なお、本実施の形態は何らこの構成に限定されるものではなく、例えばパターンマッチングだけで切り出し画像信号を生成する等してもかまわない。
【０１５３】
次に、画角合わせ部３２１は、第１画像信号と切り出し画像信号を、それぞれが所定の画素数になるように、縮小処理する。図５には、所定の画素数を９６０×５４０とする例を示す。
【０１５４】
第１画像信号の画素数が１９２０×１０８０であれば、第１画像信号を水平方向・垂直方向それぞれに１／２に縮小処理することで、縮小処理後の第１画像信号の画素数を９６０×５４０にすることができる。
【０１５５】
切り出し画像信号の画素数は、第１撮像部３００の光学ズーム倍率の大きさによって異なり、第１画像を撮像する際のズーム倍率が大きいほど、切り出し画像信号の画素数は小さくなる。例えば、切り出し画像信号の画素数が３８４０×２１６０であれば、切り出し画像信号を水平方向・垂直方向それぞれに１／４に縮小処理することで、縮小処理後の切り出し画像信号の画素数を９６０×５４０にすることができる。
【０１５６】
なお、これらの処理は順番が入れ替わってもかまわない。例えば、先に縮小処理をし、縮小された両画像信号を互いに比較して切り出し画像信号を生成してもよい。あるいは、垂直方向の比較を行った後で縮小処理を行い、その後水平方向の比較を行ってもよい。
【０１５７】
次に、デプスマップ生成部３２３において、画角合わせ部３２１で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報（デプスマップ）を生成する（ステップＳ４０５）。
【０１５８】
次に、デプスマップ生成部３２３は、ステップＳ４０１における判定結果にもとづき、記憶部３４０に記憶されたデータベースから補正値を読み出し、ステップＳ４０５で生成した視差情報（デプスマップ）を補正する（ステップＳ４０６）。
【０１５９】
また、ステップＳ４０１で信頼性が低いと判定された特徴点を有する画像に対しては、立体感（奥行き感）を抑制するように、視差情報（デプスマップ）を補正する。
【０１６０】
なお、ステップＳ４０１の判定結果によっては、デプスマップ生成部３２３は、ステップＳ４０５で生成した視差情報（デプスマップ）に補正を加えないこともある。
【０１６１】
デプスマップ生成部３２３は、後段の処理に備え、視差情報（デプスマップ）を、第１画像信号の画素数に合わせて拡張する。以下、この拡張された視差情報（デプスマップ）を「拡張デプスマップ」と呼称する。例えば、視差情報（デプスマップ）が画素数９６０×５４０の画像信号にもとづき生成され、第１画像信号の画素数が１９２０×１０８０であれば、視差情報（デプスマップ）を、水平方向・垂直方向それぞれに２倍に拡張して、拡張デプスマップを生成する。
【０１６２】
なお、この補正処理と拡張処理は順番が入れ替わってもかまわない。
【０１６３】
次に、立体画像信号において第１画像信号の対となる新第２画像信号を、ステップＳ４０６でデプスマップ生成部３２３において生成された視差情報（拡張デプスマップ）にもとづき、画像生成部３２５において第１画像信号から生成する（ステップＳ４０７）。画像生成部３２５は、例えば画素数１９２０×１０８０の第１画像信号から、拡張デプスマップにもとづき画素数１９２０×１０８０の新第２画像信号を生成する。
【０１６４】
そして、画像生成部３２５は、第１画像信号と新第２画像信号の対を立体画像信号として出力する。なお、各画像信号の画素数および縮小処理後の画像信号の画素数は、何ら上述した数値に限定されるものではない。
【０１６５】
なお、ステップＳ４００からステップＳ４０６の処理は、画像信号の輝度信号だけを用いて行なってもよい。これは、ＲＧＢの３つの原色信号のそれぞれについて処理を行うよりも、演算処理の負荷を軽減でき、かつ高い精度で各処理を行うことができるからである。しかし、画像信号の輝度信号および色信号（色差信号）を用いて各処理を行ってもよく、あるいは、ＲＧＢの３つの原色信号のそれぞれについて各処理を行ってもよい。
【０１６６】
なお、デプスマップ生成部３２３が生成した視差情報（デプスマップ）を表示部３３０に表示し、使用者が手動で視差情報（デプスマップ）を補正できるように撮像装置１１０を構成してもよい。あるいは、補正を加えない視差情報（デプスマップ）にもとづいて新第２画像信号を一旦生成し、それにもとづく立体画像を表示部３３０に表示して、立体感（奥行き感）が不自然な箇所を使用者が手動で補正できるように撮像装置１１０を構成してもよい。さらには、その手動の補正が反映された視差情報（デプスマップ）にもとづく新第２画像信号が最終的な新第２画像信号として画像生成部３２５から出力される構成であってもよい。
【０１６７】
また、上述した視差情報（デプスマップ）に対する補正は、使用者が許可した場合のみ行われるように撮像装置１１０を構成してもよい。
【０１６８】
なお、第１光学部３０１のズーム倍率および第２撮像素子３１２の解像度は、第１光学部３０１を望遠端（テレ端）にしたときの切り出し画像信号の解像度が第１画像信号の解像度以上となるように、設定することが望ましい。これは、第１光学部３０１を望遠端にしたときに、切り出し画像信号が第１画像信号よりも低解像度になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではない。
【０１６９】
なお、第２光学部３１１は、第１光学部３０１を広角端（ワイド端）にしたときの画角に実質的に等しいか、さらに広い画角を有するように構成することが望ましい。これは、第１光学部３０１を広角端にしたときに、第１画像が第２画像よりも広い画角になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１光学部３０１を広角端にしたときの第１画像の画角が第２画像よりも広い画角であってもよい。
【０１７０】
［１−３．効果等］
以上のように、本実施の形態において、撮像装置１１０は、第１画像を撮像して第１画像信号を出力するように構成された第１撮像部３００と、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部３１０と、画像信号処理部３２０と、を備える。画像信号処理部３２０は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号と第２画像信号との少なくとも一方の画像信号が特定パターンを有するか否かを判断し、第１画像信号と切り出し画像信号とに基づき視差情報を算出するとともに、少なくとも一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正し、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成する、ように構成されている。
【０１７１】
これにより、撮像装置１１０では、良好な品質の立体画像を生成することができる。
【０１７２】
良好な品質の立体画像を取得（生成）するためには、対となる右眼用画像と左眼用画像とを撮像する際に、画角（撮像範囲）、解像度（画素数）、ズーム倍率等の撮像条件を互いに揃え、できるだけ等しい状態にすることが望ましい。
【０１７３】
しかしながら、本実施の形態の撮像装置１１０は、第１撮像部３００に光学ズーム機能を備えており、一方、第２撮像部３１０は光学ズーム機能を備えておらず、単焦点レンズを有する構成である。このように、第１撮像部３００と第２撮像部３１０とで、光学系の仕様が互いに異なる。
【０１７４】
さらには、第１撮像部３００と第２撮像部３１０とでは、撮像素子の仕様も互いに異なる。
【０１７５】
したがって、撮像装置１１０では、第１撮像部３００で撮像した第１画像をそのまま右眼用画像とし、第２撮像部３１０で撮像した第２画像をそのまま左眼用画像としても、良好な品質の立体画像（立体動画）を得ることは困難である。
【０１７６】
そこで、本実施の形態では、撮像装置１１０を上述した構成とし、第１撮像部３００で撮像した第１画像信号を右眼用画像信号とし、第１画像信号から視差情報（デプスマップ）を用いて生成した新第２画像信号を左眼用画像信号として、立体画像（立体動画）を生成する。
【０１７７】
これにより、光学的な特性や撮像素子の特性等の撮像条件が互いに等しい理想的な一対の撮像部で撮像（または動画撮影）された右眼用画像と左眼用画像に実質的に等しい右眼用画像と左眼用画像を生成することが可能になる。
【０１７８】
このとき、品質の良い新第２画像信号を生成するためには、精度の高い視差情報を生成する必要がある。しかしながら、撮像画像に写される光景によっては、精度の高い視差情報を生成することが困難なことがある。
【０１７９】
そこで、本実施の形態では、撮像装置１１０を上述した構成とし、視差情報が誤生成される可能性が高いと判定された画像信号に関しては、視差情報を補正する。また、写された光景に応じた補正を視差情報に加えることも可能である。これにより、生成される視差情報の品質を高めることができるので、良好な品質の立体画像を生成することができる。
【０１８０】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０１８１】
そこで、以下、他の実施の形態を例示する。
【０１８２】
実施の形態１では、図１に示したように、撮像方向に向かって右側に第１レンズ部１１１を配置して第１画像を右眼視点の画像とし、撮像方向に向かって左側に第２レンズ部１１２を配置して第２画像を左眼視点の画像とするように撮像装置１１０を構成する例を説明したが、本開示は何らこの構成に限定されない。例えば、第１画像信号を左眼用画像信号とし、新第２画像信号を右眼用画像信号とするように撮像装置１１０を構成してもかまわない。
【０１８３】
図６は、他の実施の形態における撮像装置１２０の外観図である。例えば、撮像方向に向かって左側に第１レンズ部１１１を配置して第１画像を左眼視点の画像とし、撮像方向に向かって右側に第２レンズ部１１４を配置して第２画像を右眼視点の画像とするように撮像装置１２０を構成してもよい。この構成では、実施の形態で説明した右を左に、左を右にそれぞれ読み替えればよい。
【０１８４】
実施の形態１では、画角合わせ部３２１で画像信号を縮小処理する例を説明したが、本開示は何らこの構成に限定されない。図７は、他の実施の形態における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。例えば、画角合わせ部３２１で、縮小処理を行わず、第１画像信号の画素数（例えば、１９２０×１０８０）と同じ画素数になるように切り出し画像信号を生成してもよい。この構成では、デプスマップ生成部３２３で、この画素数にもとづく視差情報（デプスマップ）を生成するので、拡張デプスマップを生成する必要が無く、より精度の高い新第２画像信号を生成することができる。
【０１８５】
本実施の形態では、撮像装置を、第１撮像部３００で第１画像を撮像し、第２撮像部３１０で第２画像を撮像するように構成する例を説明したが、例えば、第１撮像部３００に代えて第１画像入力部を備え、第２撮像部３１０に代えて第２画像入力部を備え、第１画像入力部を通して第１画像を取得し、第２画像入力部を通して第２画像を取得するように構成してもよい。
【０１８６】
実施の形態１に示した構成および動作は、動画撮影時にも適応可能である。ただし、第１画像信号および第２画像信号が動画であって、フレームレートが互いに異なるときは、画角合わせ部３２１において、いずれかフレームレートが低い方の画像信号をフレームレートが高い方の画像信号に合わせて高フレームレート化し、互いに等しいフレームレートにすることが望ましい。例えば、第１画像信号のフレームレートが６０Ｈｚ、第２画像信号のフレームレートが３０Ｈｚであれば、第２画像信号または切り出し画像信号を６０Ｈｚに高フレームレート化する。なお、この際に用いるフレームレート変換手法は、公知のものでかまわない。このように、動画信号に対しては、比較を行いやすい状態にして、デプスマップ生成を行うものとする。これにより動画撮像時においても高い精度で視差情報（デプスマップ）を生成することができる。
【０１８７】
なお、第１光学部３０１（第１レンズ群２０１）および第２光学部３１１（第２レンズ群２１１）は、何ら実施の形態１に示した構成に限定されるものではない。例えば、第１光学部３０１（第１レンズ群２０１）に、フォーカス調節が可能なフォーカスレンズに代えて、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズを用いる構成でもよい。あるいは、第２光学部３１１（第２レンズ群２１１）に、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズに代えて、フォーカス調節が可能なフォーカスレンズを用いる構成でもよい。その場合には、そのフォーカスレンズを駆動するように構成されたモータを有する第２アクチュエーターを第２撮像ユニット２１０に設けることが望ましい。なお、そのモータは、ＣＰＵ２２０から制御信号を出力して制御すればよい。また、第２光学部３１１に、第２撮像素子３１２（第２ＣＣＤ２１２）で受光する光量を調節する光学式の絞りを備える構成としてもよい。
【０１８８】
また、第２光学部３１１に、単焦点レンズに代えて光学ズームレンズを備える構成としてもよい。その場合、例えば、撮像装置で立体画像の撮像を行うときには、自動的に第２光学部３１１が広角端になるように構成してもよい。
【０１８９】
また、第１光学部３０１を望遠端（テレ端）にしたときに、切り出し画像信号が第１画像信号よりも低解像度になるように、撮像装置を構成してもよい。その場合、例えば、第１光学部３０１のズーム倍率を上げていく過程で切り出し画像信号の解像度が第１画像信号の解像度以下となったときに、立体画像から通常画像に撮像モードが自動で変わるように撮像装置を構成してもよい。
【０１９０】
なお、モニター１１３が立体画像の撮像に適した位置まで開いたときにオン状態になり、それ以外ではオフになるスイッチを撮像装置に設け、そのスイッチがオンになったときのみ立体画像の撮像ができるように撮像装置を構成してもよい。
【０１９１】
なお、実施の形態に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は画像表示装置の仕様等にあわせて最適な値に設定することが望ましい。
【産業上の利用可能性】
【０１９２】
本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に適用可能である。具体的には、立体視用の画像を撮像可能な、デジタルビデオカメラ、デジタルスチルカメラ、カメラ機能付き携帯電話、スマートフォン等に本開示は適用可能である。
【符号の説明】
【０１９３】
１１０，１２０    撮像装置
１１１    第１レンズ部
１１２，１１４    第２レンズ部
１１３    モニター
２００    第１撮像ユニット
２０１    第１レンズ群
２０２    第１ＣＣＤ
２０３    第１Ａ／Ｄ変換ＩＣ
２０４    第１アクチュエーター
２１０    第２撮像ユニット
２１１    第２レンズ群
２１２    第２ＣＣＤ
２１３    第２Ａ／Ｄ変換ＩＣ
２２０    ＣＰＵ
２２１    ＲＡＭ
２２２    ＲＯＭ
２２３    加速度センサ
２２４    入力装置
２２５    ディスプレイ
２２６    エンコーダー
２２７    記憶装置
２３０    ＬＳＩ
２３３    ＩＯコントローラ
２３４    クロック発生器
２４３    ネットワークインターフェース
２４５    バッテリー
３００    第１撮像部
３０１    第１光学部
３０２    第１撮像素子
３０３    第１光学制御部
３１０    第２撮像部
３１１    第２光学部
３１２    第２撮像素子
３２０    画像信号処理部
３２１    画角合わせ部
３２２    特徴点抽出部
３２３    デプスマップ生成部
３２４    画像パターン判定部
３２５    画像生成部
３２６    撮像制御部
３２７    顔認識部
３２８    シーン判定部
３２９    動き検出部
３３０    表示部
３４０    記憶部
３５０    入力部
３６０    カメラ情報部
３７０    マッチング部
【図１】
2014148031.tif 000003
【図２】
2014148031.tif 000004
【図３】
2014148031.tif 000005
【図４】
2014148031.tif 000006
【図５】
2014148031.tif 000007
【図６】
2014148031.tif 000008
【図７】
2014148031.tif 000009
【手続補正書】
【提出日】平成27年7月23日(2015.7.23)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、主撮像部と従撮像部とを備え、３Ｄ画像を生成するデジタルカメラを開示する。このデジタルカメラは、主撮像部から得られる主画像信号と従撮像部から得られる従画像信号との間に生じる視差を抽出する。そして、抽出した視差に基づき、主画像信号から新たな従画像信号を生成し、主画像信号と新たな従画像信号とで３Ｄ画像を生成する。
【０００３】
特許文献２は、左右の撮影倍率が異なった状態でステレオ撮影を行うことができるステレオカメラを開示する。このステレオカメラは、第１の画像データを生成する第１の撮像手段と、第１の画像データよりも画角が広い第２の画像データを生成する第２の撮像手段とを有する。そして、第２の画像データから、第１の画像データに対応する範囲を第３の画像データとして切り出し、第１の画像データと第３の画像データとでステレオ画像データを生成する。
【０００４】
また、特許文献１、２は、主撮像部（第１の撮像手段）は光学ズーム機能を備え、従撮像部（第２の撮像手段）は光学ズーム機能を備えず電子ズーム機能を備えた構成を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２０６０６号公報
【特許文献２】特開２００５−２１０２１７号公報
【発明の概要】
【０００６】
本開示は、光学的特性および撮像素子の仕様が異なる一対の撮像部で撮像される一対の画像または動画から、品質の良い立体視用の画像または動画を得るのに有効な画像生成装置および撮像装置を提供する。
【０００７】
本開示の画像生成装置は、画像信号処理部を備える。画像信号処理部は、第１画像信号と、第１画像信号よりも高解像度であって第１画像信号以上の画角を有する第２画像信号と、が入力され、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号と第２画像信号とのいずれか一方の画像信号が特定パターンを有するか否かを判断し、第１画像信号と切り出し画像信号とに基づき視差情報を算出するとともに、いずれか一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正し、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成する、ように構成されている。
【０００８】
本開示の撮像装置は、第１撮像部と、第２撮像部と、画像信号処理部と、を備える。第１撮像部は、第１画像を撮像して第１画像信号を出力するように構成されている。第２撮像部は、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成されている。画像信号処理部は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号と第２画像信号とのいずれか一方の画像信号が特定パターンを有するか否かを判断し、第１画像信号と切り出し画像信号とに基づき視差情報を算出するとともに、いずれか一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正し、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成する、ように構成されている。
【０００９】
また、画像信号処理部は、特徴点抽出部と、画角合わせ部と、画像パターン判定部と、デプスマップ生成部と、画像生成部と、を備えていてもよい。特徴点抽出部は、第１画像信号と第２画像信号とで互いに共通する特徴点を第１画像信号および第２画像信号から抽出するように構成されている。画角合わせ部は、特徴点および第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。画像パターン判定部は、第１画像信号と第２画像信号とのいずれか一方の画像信号が特定パターンを有するか否かを、判定に必要な情報が含まれたデータベースを参照して判断するように構成されている。デプスマップ生成部は、第１画像信号と切り出し画像信号とに基づき視差情報を算出してデプスマップを生成するとともに、画像パターン判定部においていずれか一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正するように構成されている。画像生成部は、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成するように構成されている。
【００１０】
本開示の画像生成方法は、第１画像信号に基づき、第１画像信号よりも高解像度であって第１画像信号以上の画角を有する第２画像信号から、少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号と第２画像信号とのいずれか一方の画像信号が特定パターンを有するか否かを判断し、第１画像信号と切り出し画像信号とに基づき視差情報を算出するとともに、いずれか一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正し、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成する。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態１における撮像装置の外観図である。
【図２】図２は、実施の形態１における撮像装置の回路構成を概略的に示す図である。
【図３】図３は、実施の形態１における撮像装置の構成を機能毎にブロック分けして示す図である。
【図４】図４は、実施の形態１における撮像装置の立体画像撮像時の動作を説明するフローチャートである。
【図５】図５は、実施の形態１における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。
【図６】図６は、他の実施の形態における撮像装置の外観図である。
【図７】図７は、他の実施の形態における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。
【発明を実施するための形態】
【００１２】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１３】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１４】
（実施の形態１）
以下、図１〜図５を用いて、実施の形態１を説明する。
【００１５】
［１−１．構成］
図１は、実施の形態１における撮像装置１１０の外観図である。
【００１６】
撮像装置１１０は、モニター１１３と、第１レンズ部１１１を有する撮像部（以下、「第１撮像部」と記す）と、第２レンズ部１１２を有する撮像部（以下、「第２撮像部」と記す）と、を備えている。撮像装置１１０は、このように複数の撮像部を有し、それぞれの撮像部で静止画撮像および動画撮影が可能である。
【００１７】
第１レンズ部１１１は、第１撮像部の撮像方向が前方を向くように、撮像装置１１０の本体前方に設けられている。
【００１８】
モニター１１３は、開閉可能に撮像装置１１０本体に設けられ、撮像画像を表示するためのディスプレイ（図１には示さず）を有する。ディスプレイは、モニター１１３を開いたとき、第１撮像部の撮像方向とは反対側の面、すなわち撮像装置１１０の後方にいる使用者（図示せず）が観測できる側に、備えられている。
【００１９】
第２レンズ部１１２は、モニター１１３の、ディスプレイの設置側と反対側に配置され、モニター１１３を開いたときに第１撮像部と同じ方向を撮像できるように構成されている。
【００２０】
撮像装置１１０では、第１撮像部を主たる撮像部とし、第２撮像部を従たる撮像部とする。そして、図１に示すように、モニター１１３を開いた状態にすることで、これら２つの撮像部を用いて、立体視用の静止画（以下、「立体画像」と記す）の撮像および立体視用の動画（以下、「立体動画」と記す）の撮影が可能である。主たる第１撮像部は光学ズーム機能を有し、使用者は、このズーム機能を任意のズーム倍率に設定して静止画撮像または動画撮影が可能である。
【００２１】
本実施の形態では、右眼視点の画像を第１撮像部で撮像し、左眼視点の画像を第２撮像部で撮像する例を説明する。したがって、図１に示すように、撮像装置１１０では、撮像方向に向かって右側に第１レンズ部１１１が配置され、撮像方向に向かって左側に第２レンズ部１１２が配置されている。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１撮像部で左眼視点の画像を撮像し、第２撮像部で右眼視点の画像を撮像するように構成してもよい。以下、第１撮像部で撮像した画像を「第１画像」とし、第２撮像部で撮像した画像を「第２画像」とする。
【００２２】
なお、従たる第２撮像部が有する第２レンズ部１１２は、第１レンズ部１１１と比較して口径が小さく、光学ズーム機能も備えていない。そのため、第２撮像部は、設置に必要な容積が第１撮像部と比較して小さく、モニター１１３に搭載することができる。
【００２３】
本実施の形態では、第１撮像部で撮像される右眼視点の画像は、立体画像を構成する右眼用画像として用いるが、第２撮像部で撮像される左眼視点の画像に関しては、立体画像を構成する左眼用画像として用いることをしない。詳細は後述するが、本実施の形態では、第１撮像部で撮像される右眼視点の画像と、第２撮像部で撮像される左眼視点の画像とを比較することで視差量（ずれ量）を算出し、算出した視差量にもとづき第１画像から左眼用画像を生成して立体画像とする。
【００２４】
この視差量（ずれ量）とは、第１画像と第２画像とを同一画角にして重ね合わせたときに生じる被写体の位置のずれの大きさのことである。このずれは、第１撮像部と第２撮像部との配置位置の違い（視差）により生じる。自然な立体感を有する立体画像を生成するためには、第１撮像部の光軸と第２撮像部の光軸とが、人の視差方向と同様に地面に対して水平になるように、かつ左右の眼の離間幅と同程度離間するように、設定されていることが望ましい。
【００２５】
そのために、撮像装置１１０では、第１レンズ部１１１と第２レンズ部１１２とを、使用者が撮像装置１１０を正常に保持（立体画像を撮像する状態で保持）したときに、それぞれの光学中心が実質的に同一の水平面（地面に水平な面）上に位置するように、配置する。また、第１レンズ部１１１の光学中心と第２レンズ部１１２の光学中心との距離が、３０ｍｍ以上６５ｍｍ以下となるようにそれぞれの配置位置を設定する。
【００２６】
また、自然な立体感を有する立体画像を生成するためには、第１レンズ部１１１および第２レンズ部１１２は、それぞれの配置位置から被写体までの距離が互いに実質的に等しいことが望ましい。そのために、撮像装置１１０では、第１レンズ部１１１および第２レンズ部１１２を、エピポーラ拘束（Ｅｐｉｐｏｌａｒ  Ｃｏｎｓｔｒａｉｎｔ）を実質的に満足するように配置する。すなわち、第１レンズ部１１１および第２レンズ部１１２を、それぞれの光学中心が、第１撮像部が有する撮像素子または第２撮像部が有する撮像素子の撮像面に実質的に平行な１つの平面上に位置するように、配置する。
【００２７】
なお、これらの条件は、厳密に満たされなければならない、というわけではなく、実用上問題が生じない範囲での誤差は許容される。また、仮にこれらの条件が満足されなくとも、画像の拡大縮小、回転、平行移動等を計算で行うアフィン変換を実行することにより、これらの条件を満足する画像に変換することも可能である。そして、アフィン変換を施した画像を用いて視差量（ずれ量）を算出すればよい。
【００２８】
また、撮像装置１１０では、第１撮像部の光軸と第２撮像部の光軸とが互いに平行になるように第１レンズ部１１１および第２レンズ部１１２を配置する（以下、「平行法」と記す）。しかし、第１撮像部の光軸と第２撮像部の光軸とが所定の一点で交差するように第１レンズ部１１１および第２レンズ部１１２を配置（以下、「交差法」と記す）してもよい。また、平行法で撮像された画像を、アフィン変換により、交差法で撮像されたかのような画像に変換することも可能である。
【００２９】
なお、これらの条件が満たされた状態で撮像される第１画像および第２画像では、被写体の位置はエピポーラ拘束条件を実質的に満たす。この場合、後述する立体画像の生成過程において、一方の画像（例えば、第１画像）で被写体の位置が確定すると、他方の画像（例えば、第２画像）での被写体の位置は比較的容易に算出できるので、立体画像の生成過程における演算量を軽減できる。逆に、これらの条件で満たされない項目が増えるほど、アフィン変換等の演算量が増えるので、立体画像の生成過程における演算量は増大する。
【００３０】
図２は、実施の形態１における撮像装置１１０の回路構成を概略的に示す図である。
【００３１】
撮像装置１１０は、第１撮像部である第１撮像ユニット２００、第２撮像部である第２撮像ユニット２１０、ＬＳＩ２３０、ＲＡＭ２２１、ＲＯＭ２２２、加速度センサ２２３、ディスプレイ２２５、記憶装置２２７、入力装置２２４、ネットワークインターフェース２４３、バッテリー２４５、を有する。
【００３２】
第１撮像ユニット２００は、第１レンズ群２０１、第１撮像素子である第１ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）２０２、第１Ａ／Ｄ変換ＩＣ２０３、および第１アクチュエーター２０４を備える。
【００３３】
第１レンズ群２０１は、図１に示した第１レンズ部１１１に相当し、光学ズームが可能なズームレンズおよびフォーカス調節が可能なフォーカスレンズ、を含む複数のレンズで構成される光学系である。さらに、第１レンズ群２０１には、第１ＣＣＤ２０２で受光する光の量（光量）を調節する光学式の絞り（図示せず）が備えられている。第１レンズ群２０１を通して取り込まれた光は、第１レンズ群２０１で光学ズーム、フォーカスおよび光量の各調節がなされた後、第１ＣＣＤ２０２の撮像面に被写体像として結像する。この画像が第１画像である。
【００３４】
第１ＣＣＤ２０２は、撮像面で受光した光を電気信号に変換して出力するように構成されている。この電気信号は、光の強さ（光量）に応じて電圧値が変化するアナログ信号である。
【００３５】
第１Ａ／Ｄ変換ＩＣ２０３は、第１ＣＣＤ２０２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第１画像信号である。
【００３６】
第１アクチュエーター２０４は、第１レンズ群２０１に含まれるズームレンズおよびフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＬＳＩ２３０のＣＰＵ２２０から出力される制御信号により制御される。
【００３７】
本実施の形態では、第１撮像ユニット２００は、第１画像を「水平方向の画素数１，９２０、垂直方向の画素数１，０８０」の画像信号にして出力するものとして、以下の説明を行う。また、第１撮像ユニット２００は、静止画の撮像だけでなく、動画撮影も可能に構成されており、一般的な動画と同様のフレームレート（例えば、６０Ｈｚ）での動画撮影を行うことができる。したがって、第１撮像ユニット２００では、高品質で滑らかな動画を撮影することが可能である。なお、フレームレートとは、単位時間（例えば、１秒間）に撮像する画像の枚数のことであり、フレームレートを６０Ｈｚにして動画撮影すると、１秒間に６０枚の画像が連続して撮像される。
【００３８】
なお、第１画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。
【００３９】
第２撮像ユニット２１０は、第２レンズ群２１１、第２撮像素子である第２ＣＣＤ２１２、および第２Ａ／Ｄ変換ＩＣ２１３を備える。
【００４０】
第２レンズ群２１１は、図１に示した第２レンズ部１１２に相当し、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズを含む１枚または複数のレンズで構成される光学系である。第２レンズ群２１１を通して取り込まれた光は、第２ＣＣＤ２１２の撮像面に被写体像として結像する。この画像が第２画像である。
【００４１】
なお、第２レンズ群２１１は、上述したように光学ズーム機能を備えていない。そのため、光学ズームレンズではなく単焦点レンズを有する。また、第２レンズ群２１１は、第１レンズ群２０１よりも小型のレンズ群から構成され、第２レンズ群２１１の対物レンズには、第１レンズ群２０１の対物レンズよりも口径が小さいものが用いられている。これにより、第２撮像ユニット２１０を第１撮像ユニット２００よりも小型化し、撮像装置１１０全体を小型化して使い勝手（携帯性、操作性）を向上するとともに、第２撮像ユニット２１０の配置位置に関する自由度を高めている。これにより、図１に示したように、第２撮像ユニット２１０をモニター１１３に搭載することができる。
【００４２】
第２ＣＣＤ２１２は、第１ＣＣＤ２０２と同様に、撮像面で受光した光をアナログの電気信号に変換して出力するように構成されている。ただし、本実施の形態における第２ＣＣＤ２１２は、第１ＣＣＤ２０２よりも高い解像度を有する。したがって、第２画像の画像信号は、第１画像の画像信号よりも解像度が高く、画素数が多い。これは、第２画像の画像信号の一部を取り出して使用したり、電子ズームにより画像拡大をするためである。これらの詳細は後述する。
【００４３】
第２Ａ／Ｄ変換ＩＣ２１３は、第２ＣＣＤ２１２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第２画像信号である。
【００４４】
本実施の形態では、第２撮像ユニット２１０は、第２画像を「水平方向の画素数７，６８０、垂直方向の画素数４，３２０」の画像信号にして出力するものとして、以下の説明を行う。また、第２撮像ユニット２１０は、第１撮像ユニット２００と同様に、静止画の撮像だけでなく、動画撮影も可能に構成されている。ただし、第２画像信号は第１画像信号よりも解像度が高く、画素数が多いため、第２撮像ユニット２１０における動画撮影の際のフレームレートは、第１撮像ユニット２００での動画撮影の際のフレームレートよりも低い（例えば、３０Ｈｚ）。
【００４５】
なお、第２画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。
【００４６】
なお、本実施の形態では、撮像素子の撮像面に結像した被写体像を電気信号に変換し、Ａ／Ｄ変換ＩＣから画像信号として出力する一連の動作を「撮像」とする。第１撮像部では第１画像を撮像して第１画像信号を出力し、第２撮像部では第２画像を撮像して第２画像信号を出力する。
【００４７】
なお、本実施の形態では、第１撮像素子および第２撮像素子にＣＣＤを用いる例を説明したが、第１撮像素子および第２撮像素子は、受光した光を電気信号に変換する撮像素子であればよく、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等であってもよい。
【００４８】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２２は、ＣＰＵ２２０を動作させるプログラムやパラメータ等の各種データが記憶されており、それらのデータをＣＰＵ２２０が任意に読み出すことができるように構成されている。ＲＯＭ２２２は、不揮発性型の半導体記憶素子で構成され、撮像装置１１０の電源がオフになっても、記憶されたデータは保持される。
【００４９】
入力装置２２４は、使用者の指示を受け付けることができるように構成された入力装置の総称である。入力装置２２４には、例えば、使用者が操作する電源ボタンや設定ボタン等の各種ボタン、タッチパネル、レバー等が含まれる。本実施の形態では、タッチパネルがディスプレイ２２５に設けられている例を説明する。しかし、入力装置２２４は、何らこれらの構成に限定されるものではなく、例えば音声入力装置を備えていてもよく、あるいは、全ての入力操作をタッチパネルで行う構成や、逆にタッチパネルを備えず全ての入力操作をボタンやレバー等で行う構成であってもよい。
【００５０】
ＬＳＩ２３０は、ＣＰＵ２２０、エンコーダー２２６、ＩＯコントローラ２３３、およびクロック発生器２３４、を有する。
【００５１】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２２０は、ＲＯＭ２２２から読み出したプログラムやパラメータ、入力装置２２４で受け付けられた使用者の指示、等にもとづき動作し、撮像装置１１０全体の制御、および各種演算処理を行うように構成されている。この各種演算処理には、第１画像信号および第２画像信号に関する画像信号処理が含まれる。この画像信号処理の詳細は後述する。
【００５２】
本実施の形態では、ＣＰＵ２２０にマイクロコンピューターを用いているが、例えば、マイクロコンピューターに代えてＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、またはＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等を用いて、同様の動作を行うように構成してもよい。あるいは、撮像装置１１０外部の装置において、ＣＰＵ２２０で行う処理の一部または全てを行うように構成しても良い。
【００５３】
エンコーダー２２６は、撮像装置１１０で撮像した画像にもとづく画像信号や撮像した画像に関連する情報を、所定の方式で符号化（エンコード）するように構成されている。これは、データ量を低減して記憶装置２２７に記憶するためである。この符号化の方式は、一般的に用いられている画像圧縮方式であり、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ、等である。
【００５４】
ＩＯコントローラ（Ｉｎｐｕｔ  Ｏｕｔｐｕｔ  Ｃｏｎｔｒｏｌｅｒ）２３３は、ＬＳＩ２３０（ＣＰＵ２２０）の入力信号や出力信号の入出力制御を行う。
【００５５】
クロック発生器２３４は、クロック信号を発生し、ＬＳＩ２３０（ＣＰＵ２２０）やＬＳＩ２３０に接続された回路ブロックに供給する。このクロック信号は、ＬＳＩ２３０（ＣＰＵ２２０）で各種動作や各種演算処理の同期を取るための同期信号として使用される。
【００５６】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２２１は、揮発性型の半導体記憶素子で構成され、ＣＰＵ２２０からの指示にもとづき、ＣＰＵ２２０を動作させるプログラムの一部、プログラム実行時のパラメータ、使用者の指示、等を一時的に記憶するように構成されている。ＲＡＭ２２１に記憶されたデータは、ＣＰＵ２２０が任意に読み出すことができ、ＣＰＵ２２０の指示によって任意に書き換えが可能である。
【００５７】
加速度センサ２２３は、一般的に用いられている加速度検出センサであり、撮像装置１１０の動きや姿勢の変化を検出するように構成されている。加速度センサ２２３では、例えば、撮像装置１１０が地面に対して平行に保たれているかどうか、が検出され、この検出結果はディスプレイ２２５に表示される。したがって、使用者はその表示を見ることで、撮像装置１１０が地面に対して水平に保たれているかどうか、すなわち、撮像装置１１０が立体画像の撮像に適した状態（姿勢）にあるかどうか、を判断することができる。これにより、使用者は、撮像装置１１０を適切な姿勢に保って立体画像の撮像や立体動画の撮影を行うことができる。
【００５８】
なお、撮像装置１１０は、加速度センサ２２３での検出結果にもとづき手振れ補正等の光学系制御を行う構成であってもよい。また、加速度センサ２２３は、３軸方向のジャイロスコープ（３軸ジャイロセンサ）であってもよく、複数のセンサを組み合わせて用いる構成であってもよい。
【００５９】
ディスプレイ２２５は、一般に用いられている液晶ディスプレイパネルで構成され、図１に示したモニター１１３に搭載されている。ディスプレイ２２５は、上述したタッチパネルが表面に取り付けられており、画像表示と使用者の指示受け付けを同時に行うことができるように構成されている。ディスプレイ２２５に表示される画像には、（１）撮像装置１１０で撮像中の画像（第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号にもとづく画像）、（２）記憶装置２２７に記憶されている画像信号にもとづく画像、（３）ＣＰＵ２２０で信号処理された画像信号にもとづく画像、（４）撮像装置１１０の各種設定項目を表示するメニュー表示画面、等がある。ディスプレイ２２５には、これらの画像が選択的に、または複数の画像を互いに重畳した画像が、表示される。なお、ディスプレイ２２５は、何ら上述の構成に限定されるものではなく、薄型で低消費電力の画像表示装置であればよく、例えばＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等で構成されていてもよい。また、立体画像を表示するように構成されていてもよい。
【００６０】
記憶装置２２７は、任意に書き換えが可能な比較的大容量の記憶装置であるハードディスクドライブ（ＨＤＤ）で構成され、エンコーダー２２６で符号化されたデータ等を読み出し可能に記憶するように構成されている。また、記憶装置２２７に記憶するデータには、ＣＰＵ２２０で生成された立体画像の画像信号、立体画像の表示に必要な情報、画像信号に付随する画像情報が含まれる。なお、記憶装置２２７は、第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号を、符号化処理を施さずにそのまま記憶するように構成されていてもよい。また、記憶装置２２７は、何らＨＤＤに限定されるものではなく、例えば、半導体記憶素子を内蔵したメモリーカードや光ディスク等の着脱可能な記憶媒体に記憶する構成であってもよい。
【００６１】
なお、上述の画像情報とは、画像信号に関する情報のことであり、例えば、画像の符号化方式、ビットレート、画像のサイズ、解像度、フレームレート、撮像時の合焦距離（フォーカスが合っている被写体までの距離）、ズーム倍率、立体画像であるか否か、立体画像である場合には、左眼用画像と右眼用画像との識別子、視差情報、等が挙げられる。これらのうちの単数または複数の情報が、画像情報として画像信号に関連付けられて記憶装置２２７に記憶される。
【００６２】
また、記憶装置２２７には、後述する画像信号処理の際に参照する情報（データベース）があらかじめ記憶されている。このデータベースには、後述する視差情報（デプスマップ）を補正する際に用いる情報や、後述するシーン判定部が参照する情報等が含まれており、後述する特徴点や撮像画像の図柄（撮像画像に写された光景）に関連付けられている。このデータベースについては後述する。
【００６３】
なお、このデータベースは、上述の画像信号や画像情報を記憶するための記憶装置２２７とは別に設けた記憶装置に記憶する構成であってもよい。
【００６４】
ネットワークインターフェース２４３は、一般的な通信装置であり、撮像装置１１０と撮像装置１１０外部の機器との間でのデータの受け渡しを行う。このデータには、記憶装置２２７に記憶されたデータやＣＰＵ２２０で処理されたデータ、外部機器から撮像装置１１０に入力されるデータ、等がある。
【００６５】
バッテリー２４５は、一般的に用いられている２次電池で構成された電力供給装置であり、撮像装置１１０の動作に必要な電力を供給する。
【００６６】
［１−２．動作］
以上のように構成された撮像装置１１０について、その動作を説明する。
【００６７】
以下では、撮像装置１１０で立体画像を撮像しているときに行われる主な動作を、機能毎にブロック分けして説明する。
【００６８】
図３は、実施の形態１における撮像装置１１０の構成を機能毎にブロック分けして示す図である。
【００６９】
撮像装置１１０の構成を、立体画像の撮像をしているときに動作する主な機能で分けて示すと、撮像装置１１０は、図３に示すように、第１撮像部３００、第２撮像部３１０、画像信号処理部３２０、表示部３３０、記憶部３４０、入力部３５０、カメラ情報部３６０、の７つのブロックに大別することができる。
【００７０】
なお、画像信号処理部３２０では、画像信号を処理する際に、フレームメモリ等の記憶素子に一時的に画像信号を記憶するが、図３では、そのような記憶素子は省略している。また、立体画像の撮像に直接的な関係が薄い構成要素（バッテリー２４５等）は省略している。
【００７１】
第１撮像部３００は、第１光学部３０１、第１撮像素子３０２、第１光学制御部３０３、を備える。第１撮像部３００は、図２に示した第１撮像ユニット２００に相当する。また、第１光学部３０１は第１レンズ群２０１に、第１撮像素子３０２は第１ＣＣＤ２０２および第１Ａ／Ｄ変換ＩＣ２０３に、第１光学制御部３０３は第１アクチュエーター２０４に、それぞれ相当する。重複するのでこれらの説明は省略する。
【００７２】
第２撮像部３１０は、第２光学部３１１、第２撮像素子３１２、を備える。第２撮像部３１０は、図２に示した第２撮像ユニット２１０に相当する。また、第２光学部３１１は第２レンズ群２１１に、第２撮像素子３１２は第２ＣＣＤ２１２および第２Ａ／Ｄ変換ＩＣ２１３に、それぞれ相当する。重複するのでこれらの説明は省略する。
【００７３】
表示部３３０は、図２に示したディスプレイ２２５に相当する。入力部３５０は、図２に示した入力装置２２４に相当する。入力部３５０に含まれるタッチパネルは、表示部３３０の表面に取り付けられており、表示部３３０では、画像の表示と使用者の指示受け付けを同時に行うことができる。カメラ情報部３６０は、図２に示した加速度センサ２２３に相当する。記憶部３４０は、図２に示した記憶装置２２７に相当する。重複するのでこれらの説明は省略する。
【００７４】
画像信号処理部３２０は、図２に示したＬＳＩ２３０に相当する。図３に示す画像信号処理部３２０で行われる動作は、主にＣＰＵ２２０で行われるので、以下、ＣＰＵ２２０での動作を主に説明し、エンコーダー２２６、ＩＯコントローラ２３３、クロック発生器２３４の動作については説明を省略する。
【００７５】
なお、ＣＰＵ２２０では、撮像装置１１０全体の制御や各種演算処理が行われるが、図３には、撮像装置１１０で立体画像の撮像を行うときにＣＰＵ２２０で行われる演算処理（画像信号処理）および制御動作に関連する主な機能のみをブロック分けして示しており、他の動作に関する機能は省略している。これは、撮像装置１１０で立体画像を撮像するときの動作を分かりやすく示すためである。
【００７６】
なお、画像信号処理部３２０として図３に示す各機能ブロックは、ＣＰＵ２２０で行われる演算処理および制御動作の主なものを機能別に分けて示しているに過ぎず、ＣＰＵ２２０の内部が図３に示す各機能ブロックに物理的に分けられているわけではない。しかし、以下では便宜的に画像信号処理部３２０が図３に示す各部を有するものとして説明を行う。
【００７７】
なお、ＣＰＵ２２０は、図３に示す各機能ブロックに相当する電子回路を備えたＩＣまたはＦＰＧＡで構成してもよい。
【００７８】
画像信号処理部３２０は、図３に示すように、マッチング部３７０、顔認識部３２７、シーン判定部３２８、動き検出部３２９、画像生成部３２５、撮像制御部３２６、を有する。
【００７９】
マッチング部３７０は、特徴点抽出部３２２、画角合わせ部３２１、画像パターン判定部３２４、デプスマップ生成部３２３、を有する。
【００８０】
顔認識部３２７は、第１画像として撮像されている被写体の中に人の顔が含まれているかどうかを、第１画像信号から検出する。人の顔の検出は、例えば、テンプレートマッチングによる眼、鼻、口、眉、輪郭、髪型等の検出や肌の色の検出等、一般に用いられている手法を用いて行うことができるので、詳細な説明は省略する。顔認識部３２７では、人の顔を検出した場合、人の顔の位置、数、大きさ等を検出し、あわせて信頼性（人の顔である確率）も算出する。顔認識部３２７での検出結果はシーン判定部３２８およびマッチング部３７０に出力される。なお、顔認識部３２７の検出結果は、自動焦点調節機能（オートフォーカス）等に用いてもよい。
【００８１】
動き検出部３２９は、第１画像信号に関する動き検出を行う。動き検出部３２９は、時間的に連続して撮像される２枚以上の第１画像にもとづき、１画素マッチング、または複数の画素の集まりで行うブロックマッチング等により、画素毎、またはブロック毎に、静止しているか、動いているかの判定を行う。動いていると判定された画素またはブロックに関しては、動きベクトルの検出を行う。動き検出自体は一般に知られた手法であるので、詳細な説明は省略する。動き検出部３２９での検出結果はシーン判定部３２８およびマッチング部３７０に出力される。動き検出部３２９の検出結果は、自動焦点調節機能等に用いてもよい。
【００８２】
なお、撮像装置１１０は、これら複数の第１画像信号を得るために、第１画像撮像時に、時間的に連続する２枚目以降の第１画像を自動的に撮像するように構成されていてもよい。
【００８３】
シーン判定部３２８は、第１画像がどのような光景を写した画像であるのかを、第１画像信号、顔認識部３２７における検出結果、動き検出部３２９における検出結果、にもとづき判定する。
【００８４】
シーン判定部３２８は、第１画像を以下の４つに分類する。
１）風景を写した画像
２）人物を写した画像
３）動きが多い光景を写した画像
４）これらに該当しない画像
シーン判定部３２８での判定結果は、マッチング部３７０に出力される。
【００８５】
シーン判定部３２８では、顔認識部３２７における検出結果および動き検出部３２９における検出結果に加え、第１画像信号の輝度信号に関するヒストグラム、第１画像信号の色信号（色差信号）に関するヒストグラム、第１画像信号の輪郭部を抽出した信号、判定対象となる第１画像が撮像されたときの第１光学部３０１の光学ズーム倍率および焦点が合っている被写体までの距離（合焦距離）、等から上述の判定を行う。これらの判定に必要な情報は上述したデータベースに含まれており、シーン判定部３２８はデータベースを参照してこれらの判定を行う。
【００８６】
なお、シーン判定部３２８における画像分類は何ら上述した内容に限定されるものではない。例えば、赤色が多い画像、暗い画像、緑色と青色が多い画像、等、撮像画像の色や明るさにもとづいて画像分類を行ってもよい。または、上記４分類を、子供を写した画像、置物等の静物を写した画像、夜景、等を加えてさらに細かく分類してもよい。あるいは、それら以外の分類を行ってもよい。また、分類の判定に用いる情報も何ら上述した情報に限定されるものではなく、上述以外の情報を用いてもよく、あるいは上述の情報の中から１つまたは複数を選択して用いてもよい。また、第２画像にもとづき、または第１画像と第２画像の両方にもとづき、上述の判定を行うようにシーン判定部３２８を構成してもよい。
【００８７】
なお、撮像装置１１０では、撮像装置１１０から合焦した被写体までの距離である合焦距離をフォーカス調節の際に取得することができる。撮像装置１１０から、第１撮像素子３０２の撮像面においてフォーカスが合う（合焦する）被写体までの距離（合焦距離）は、フォーカスレンズの位置に応じて変化する。したがって、フォーカスレンズの位置と合焦距離とを対応付けた情報をあらかじめ撮像制御部３２６（または、第１光学制御部３０３）に備えておけば、撮像制御部３２６が第１光学制御部３０３を介して第１光学部３０１の光学ズームレンズおよびフォーカスレンズを制御する際に、画像信号処理部３２０は、現在のフォーカスレンズの位置から現在の合焦距離を取得することができる。
【００８８】
このように、画像信号処理部３２０は、第１画像が撮像されたときの第１光学部３０１の光学ズーム倍率および合焦距離を、第１画像の付帯情報として取得することができる。
【００８９】
画像生成部３２５は、マッチング部３７０のデプスマップ生成部３２３から出力される視差情報（デプスマップ）にもとづいて、第１画像信号から新たな第２画像信号を生成する。以下、第１画像信号から生成される新たな第２画像信号を「新第２画像信号」と記す。また、新第２画像信号による画像を「新第２画像」と記す。したがって、第１画像信号と新第２画像信号とは、仕様（解像度や画角等、動画の場合はフレームレートも含む）が互いに等しい画像信号となる。
【００９０】
本実施の形態では、第１画像信号を右眼用画像信号とし、画像生成部３２５で視差情報（デプスマップ）にもとづき生成される新第２画像信号を左眼用画像信号とする立体画像信号を、画像生成部３２５から出力する。
【００９１】
この立体画像信号は、例えば記憶部３４０に記憶され、また、この立体画像信号にもとづく立体画像は表示部３３０に表示される。
【００９２】
撮像装置１１０では、第１画像信号（例えば、右眼用画像信号）から、視差情報（デプスマップ）にもとづき、対となる新第２画像信号（例えば、左眼用画像信号）を生成する。したがって、視差情報（デプスマップ）に補正を加えることで、生成される立体画像の立体感（奥行き感）を調整することが可能である。そこで、本実施の形態では、視差情報（デプスマップ）に補正を加え、立体画像の立体感（奥行き感）を増す、あるいは抑制する、等の調整ができるように、マッチング部３７０（デプスマップ生成部３２３）を構成する。この詳細は後述する。
【００９３】
マッチング部３７０の特徴点抽出部３２２は、第１画像信号と第２画像信号とのそれぞれから複数の特徴点候補を抽出し、それら特徴点候補の中から複数を選択して特徴点とする。こうして第１画像信号と第２画像信号とのそれぞれに複数の特徴点を設定する。
【００９４】
特徴点とは、第１画像信号と第２画像信号とを互いに比較するときに目印として用いる領域のことである。また、特徴点は、視差情報（デプスマップ）を生成する際にも用いられる。したがって、特徴点として設定する領域は、次の要件を満たしていることが望ましい。
【００９５】
１）比較に用いる領域として明確な特徴があり、比較に使用しやすく、かつ抽出が容易である。
【００９６】
２）第１画像および第２画像の各画像に共通して存在する。
【００９７】
３）第１画像および第２画像の各画像において、できるだけ一様に分布している。
【００９８】
４）撮像画像における近景の被写体から遠景の被写体までのそれぞれに、できるだけ一様に分布している。
【００９９】
上述の要件１は、次の理由による。信号の変化がなだらかな領域は、抽出しにくいため、基準として設定しにくく、互いに比較すべき領域を両画像のそれぞれで特定することも困難である。特徴点として設定する領域は、基準として設定しやすく比較の際に特定しやすい領域であることが好ましい。そのような領域としては、例えば被写体の輪郭部を挙げることができる。また、そのような領域は、例えば、輝度信号の微分値、または色信号（色差信号）の微分値を算出し、その算出結果を所定のしきい値と比較することで、容易に抽出することができる。
【０１００】
上述の要件２は、次の理由による。上述したように、第１画像は光学ズーム機能を備えた第１撮像部３００で撮像され、第２画像は単焦点レンズを有する第２撮像部３１０で撮像される。したがって、第２画像には、第１画像に撮像された範囲以上の範囲が撮像されていることが多くあると考えられ、そのような第２画像だけに撮像された領域に特徴点を設定しても、比較に使用することはできない。したがって、第１画像および第２画像の各画像に共通して存在する領域を特徴点として設定することが望ましい。
【０１０１】
上述の要件３は、次の理由による。特徴点が画像内の特定の領域に集中していると、その領域に関しては相対的に高い精度の比較が行えるが、他の領域に関しては比較の精度が相対的に低下する。したがって、そのような偏りが生じないように、特徴点は、各画像において、できるだけ一様に分布していることが望ましい。本実施の形態では、第１画像および第２画像の各画像を、水平方向および垂直方向にそれぞれ３分割して９の領域に分割し、各領域で２個以上５個以下の特徴点を設定することで、偏りが生じることを防止している。しかし、本実施の形態は何らこの構成に限定されるものではなく、特徴点の偏りを防止できるのであればどのような設定であってもよい。
【０１０２】
上述の要件４は、次の理由による。特徴点が近景の被写体に集中して設定されていたり、あるいは、遠景の被写体に集中して設定されていたりすると、デプスマップ生成部３２３で生成される視差情報（デプスマップ）にも偏りが生じ、品質の良い新第２画像信号（立体画像信号）を画像生成部３２５で生成することが困難となる。精度の高い視差情報（デプスマップ）を生成するためには、近景の被写体から遠景の被写体までのそれぞれに、できるだけ一様に特徴点が分布していることが望ましい。なお、要件３が満たされていれば、要件４も実質的に満たされている、と見なすことができる。
【０１０３】
なお、特徴点として設定する領域は、大きすぎると比較に使用しにくく、小さすぎると抽出しにくいため、それらを考慮して適切な大きさで設定することが望ましい。
【０１０４】
特徴点抽出部３２２では、これらの要件を考慮して特徴点候補を各画像信号から抽出し、特徴点を設定する。そして、設定した特徴点に関する情報（特徴点情報）を、画角合わせ部３２１および画像パターン判定部３２４に出力する。
【０１０５】
なお、これらの要件は、全てが満たされることが望ましいが、必ずしも全てが満たされなければならないというわけではなく、実用上問題が生じない範囲で取捨選択が可能である。例えば、特徴点抽出部３２２は、上述の４つの要件に優先度を設定し、優先度の高い要件から順に満足していくように特徴点候補を抽出する構成であってもよい。あるいは、顔認識部３２７、シーン判定部３２８、および動き検出部３２９、のいずれか１つまたは複数の出力にもとづき、その優先度を変更する、または上述以外の要件を追加する、または特徴点候補の抽出方法を変更する、等してもかまわない。
【０１０６】
また、特徴点抽出部３２２は、各画像信号において、特徴点候補に該当する領域を全て特徴点候補として抽出し、それら全てを特徴点に設定する構成であってもよい。あるいは、抽出された複数の特徴点候補から、上記の要件に照らし合わせ、より多くの要件を満たす領域から順に、または、より優先度の高い要件を満たす領域から順に、あらかじめ定められた数だけを特徴点として設定する構成であってもよい。
【０１０７】
画角合わせ部３２１は、第１撮像部３００から出力される第１画像信号および第２撮像部３１０から出力される第２画像信号が入力される。そして、撮像範囲が互いに等しいと判断される画像信号を各入力画像信号から取り出す。
【０１０８】
上述したように、第１撮像部３００では光学ズームによる撮像が可能であり、第２撮像部３１０では単焦点レンズによる撮像が行われる。したがって、第１光学部３０１が広角端のときの第１画像の画角が第２画像の画角以下になるように各撮像部が設定されていれば、第２画像に撮像される範囲には、常に第１画像に撮像される範囲が含まれることになる。例えば、ズーム倍率を上げて撮像された第１画像よりも、撮像の際に光学ズームができない第２画像の方が、画角が広く、この第２画像には第１画像よりも広い範囲が撮像されている。
【０１０９】
なお、「画角（Ａｎｇｌｅ  ｏｆ  ｖｉｅｗ）」とは、画像として撮像される範囲のことであり、一般的には角度で表現される。
【０１１０】
そこで、画角合わせ部３２１では、パターンマッチング等の一般に用いられている比較・照合手法を用いて、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出す。このとき、特徴点抽出部３２２で設定された特徴点を用いることで、第１画像信号と第２画像信号との比較の精度を上げることができる。以下、第２画像信号から取り出された画像信号を「切り出し画像信号」と呼称し、切り出し画像信号による画像を「切り出し画像」と呼称する。したがって、切り出し画像は、画角合わせ部３２１において第１画像の撮像範囲に等しいと判断された範囲の画像になる。
【０１１１】
なお、第１光学部３０１と第２光学部３１１との配置位置の違い（視差）により、第１画像と第２画像とでは画像内における被写体の位置に差が生じる。そのため、第２画像における第１画像に対応する領域が、第１画像に完全に合致する可能性は低い。したがって、画角合わせ部３２１でパターンマッチングを行う際は、第１画像信号と類似度が最も大きくなる領域を第２画像信号において探索し、その領域を第２画像信号から取り出して切り出し画像信号とすることが望ましい。
【０１１２】
また、画角合わせ部３２１は、第１画像信号と切り出し画像信号の両画像信号を、画素を間引いて画素数（信号量）を削減する縮小処理を行う。これは、後段のデプスマップ生成部３２３における視差情報の算出に必要な演算量を低減するためである。
【０１１３】
また、画角合わせ部３２１は、両画像信号の縮小処理後の画素数が互いに等しくなるように、それぞれの縮小処理を行う。これは、後段のデプスマップ生成部３２３において行う２つの画像信号の比較処理を、演算量を低減するとともに精度を高めて行うためである。例えば、切り出し画像信号の画素数（例えば、３８４０×２１６０）が第１画像信号の画素数（例えば、１９２０×１０８０）の４倍であり、第１画像信号を画素数が１／４（例えば、９６０×５４０）になるように縮小処理する場合は、切り出し画像信号に関しては画素数が１／１６（例えば、９６０×５４０）になるように縮小処理を行う。なお、縮小処理を行う際は、フィルタリング処理等を行い、できるだけ情報が損なわれないようにすることが望ましい。
【０１１４】
そして、画角合わせ部３２１は、縮小処理された切り出し画像信号と第１画像信号を後段のデプスマップ生成部３２３に出力する。なお、第１画像と第２画像の画角が互いに等しいときには、第２画像信号をそのまま切り出し画像信号として用いることもある。
【０１１５】
なお、画角合わせ部３２１における動作は、何ら上述した動作に限定されるものではない。例えば、第１画像の画角が第２画像の画角より広ければ、第１画像信号から第２画像の撮像範囲に相当する領域を取り出して切り出し画像信号を生成するように動作してもよい。また、第１画像と第２画像とで撮像範囲に差があるときには、撮像範囲が互いに等しい領域を第１画像信号と第２画像信号とのそれぞれから取り出して後段に出力するように動作してもよい。
【０１１６】
なお、本実施の形態は、画角合わせ部３２１において第１画像信号と第２画像信号との比較に用いる手法を、何らパターンマッチングに限定するものではなく、その他の比較・照合手法を用いて切り出し画像信号を生成してもよい。
【０１１７】
なお、画角合わせ部３２１では、第１画像信号と第２画像信号とに対して、明るさ（ガンマ特性、黒の輝度、白の輝度、コントラスト等）、ホワイトバランス、色相（色あい、色の濃さ）等を両画像で互いに揃えるような画像信号処理を行ってもよい。
【０１１８】
画像パターン判定部３２４は、第１画像が特定パターンに該当するかどうか、または、特定パターンに該当する領域が第１画像に含まれているかどうか、を、第１画像信号にもとづき判定する。
【０１１９】
この特定パターンに該当する画像または領域とは、特徴点が誤設定されやすく、その結果として視差情報（デプスマップ）に誤差が含まれやすい、と考えられる画像または領域のことである。
【０１２０】
この特定パターンに該当する画像または領域とは、以下のようなものである。
【０１２１】
１）特徴点として設定された領域と似た領域が他に多数ある画像。このような画像（または領域）の例として、以下を挙げることができる。
１−１：同じ形状や模様が規則正しく配列した画像。例えば、タイルを並べた画像、格子模様の壁を写した画像、等。
１−２：特徴点として設定された領域と似た領域が多くあり、特徴点を探索するのが難しい画像。例えば、細い枝の画像、木の葉が生い茂った画像、等。
【０１２２】
２）輝度信号または色信号（色差信号）の変化が小さく、特徴点そのものを設定しにくい画像。このような画像（または領域）の例として、以下を挙げることができる。
２−１：輝度信号の変化が少ない画像。例えば、白い壁を写した画像、等。
２−２：輝度信号および色信号（色差信号）の変化が共に少ない画像。例えば、雲のない青空を写した画像、等。
【０１２３】
３）被写体が素早く大きく動いている、または、輝度信号および色信号（色差信号）の変化がなだらか、等の理由で被写体の輪郭が明瞭でなく、特徴点が設定しにくい画像。このような画像（または領域）の例として、以下を挙げることができる。
３−１：被写体が素早く大きく動いている画像。例えば、動き回る犬の画像、スポーツする人物を写した画像、等。
３−２：輝度信号および色信号（色差信号）の変化がなだらかな画像。例えば、夕焼け空を写した画像、等。
【０１２４】
画像パターン判定部３２４は、第１画像がこのような特定パターンに該当するかどうか、または、特定パターンに該当する領域が第１画像に含まれているかどうか、含まれている場合はその領域の位置および範囲を、第１画像信号にもとづき判定する。画像パターン判定部３２４は、これらの判定結果とともに、これらに該当する場合は、特徴点抽出部３２２で設定された特徴点の信頼性が低いことを示す情報、あるいは、信頼性の低い特徴点を特定する情報、等をデプスマップ生成部３２３へ出力する。これらの情報を「特定パターン判定情報」とする。
【０１２５】
画像パターン判定部３２４では、顔認識部３２７における検出結果、動き検出部３２９における検出結果、シーン判定部３２８における判定結果、第１画像信号の輝度信号に関するヒストグラム、第１画像信号の色信号（色差信号）に関するヒストグラム、第１画像信号の輪郭部を抽出した信号、判定対象となる第１画像が撮像されたときの第１光学部３０１の光学ズーム倍率および焦点が合っている被写体までの距離（合焦距離）、の１つまたは複数を選択して、上述の判定を行う。これらの判定に必要な情報は上述したデータベースに含まれており、画像パターン判定部はデータベースを参照してこれらの判定を行う。
【０１２６】
なお、画像パターン判定部３２４は、第１画像信号に代えて第２画像信号または切り出し画像信号にもとづき、上述の判定を行う構成であってもよい。あるいは、第１画像信号と、第２画像信号または切り出し画像信号の両方に関して、上述の判定を行う構成であってもよい。また、画像パターン判定部３２４における判定は何ら上述した内容に限定されるものではなく、特徴点の信頼性が判断できるものであればよい。
【０１２７】
デプスマップ生成部３２３は、画角合わせ部３２１で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報を生成する。デプスマップ生成部３２３は、縮小処理された第１画像信号と縮小処理された切り出し画像信号とを互いに比較し、互いに対応する被写体が２つの画像信号間でどの程度ずれているかを、画素単位、または複数の画素からなるブロック単位で、算出する。この「ずれの量（ずれ量）」は、視差方向、例えば、撮像が行われたとき地面に対して水平となる方向、で算出する。この「ずれ量」を１枚の画像（縮小処理された第１画像信号にもとづく画像、または、縮小処理された切り出し画像信号にもとづく画像）の全域において算出し、算出対象となる画像の画素またはブロックに対応付けたものが、視差情報（デプスマップ）となる。
【０１２８】
なお、デプスマップ生成部３２３では、第１画像信号と切り出し画像信号とを比較するときに、特徴点抽出部３２２で設定された特徴点を用いることで、視差情報（デプスマップ）を生成する際の精度を高めている。
【０１２９】
そして、デプスマップ生成部３２３では、一旦生成した視差情報（デプスマップ）を、画像パターン判定部３２４およびシーン判定部３２８における判定結果にもとづいて、補正する。
【０１３０】
この補正例として、以下を挙げることができる。
【０１３１】
１）シーン判定部３２８で風景を写した画像と判定された画像に関しては、近景にある被写体は立体感（奥行き感）を低減するように視差情報を小さくし、遠景にある被写体は立体感（奥行き感）を増加するように視差情報を大きくする。これにより、生成する立体画像において、遠景がより遠く感じられるように立体感（奥行き感）を強調することができる。
【０１３２】
２）シーン判定部３２８で人物を写した画像と判定された画像に関しては、合焦した被写体（人物像）の視差情報を、立体画像の鑑賞者がその被写体に焦点を合わせやすい距離になるように補正する。この距離は、例えば、２〜５ｍ程度である。合焦した被写体（人物像）の背景に相当する被写体は、合焦した被写体との距離感が低減するように視差情報を補正する。人物像は過度に立体感（奥行き感）が強調されると不自然な立体画像になりやすいが、これにより、立体画像の立体感（奥行き感）が適正に抑えられ、鑑賞者が自然な立体感（奥行き感）で人物像を鑑賞することができる立体画像を生成することができる。
【０１３３】
３）シーン判定部３２８で動きが多い光景を写した画像と判定された画像、または、画像パターン判定部３２４で特定パターンに該当すると判定された画像に関しては、視差情報（デプスマップ）に誤差が含まれている可能性が高いため、立体感（奥行き感）を低減するように視差情報を補正する。また、画像パターン判定部３２４で特定パターンに該当する領域が含まれていると判定された画像、もしくは、画像パターン判定部３２４からの出力に信頼性が低い特徴点を特定する情報が含まれているときは、その領域またはその特徴点と、それらの周囲の領域とに関して、視差情報に誤差が含まれている可能性が高い。そのため、それらの領域の立体感（奥行き感）を低減するように視差情報を補正するとともに、立体画像に不自然さが生じないように、それらの領域の周辺の領域の視差情報を補正する。
【０１３４】
４）これらに該当しない画像に関しては、視差情報（デプスマップ）を補正しない。ただし、あらかじめ定められた補正または使用者が指示した補正を加え、立体感（奥行き感）を強調または低減するようにデプスマップ生成部３２３を構成してもよい。
【０１３５】
なお、視差情報を補正するための補正データは、データベースにあらかじめ含まれており、デプスマップ生成部３２３は、シーン判定部３２８の判定結果および画像パターン判定部３２４の判定結果にもとづき、その補正データをデータベースから取得して、視差情報を補正する。
【０１３６】
なお、本実施の形態では、縮小処理された第１画像信号に関連付けて視差情報（デプスマップ）を生成するものとするが、縮小処理された切り出し画像信号に関連付けて視差情報（デプスマップ）を生成する構成であってもよい。
【０１３７】
なお、２つの画像信号を比較する際に、互いに対応する部分がない領域については「ずれ量」を算出できないので、そのような領域には、不定を表す記号を設定するか、あるいはあらかじめ定められた数値を設定すればよい。
【０１３８】
なお、視差を有する２枚の画像から視差情報（ずれ量）を算出する手法、および視差情報にもとづき新たな画像信号を生成する手法は公知であり、例えば上述の特許文献１等に記載されているので、詳細な説明は省略する。
【０１３９】
次に、撮像装置１１０における立体画像の撮像動作について、図面を用いて説明する。また、各機能ブロックで画像信号がどのように処理されるのかを、一例を挙げて図面に示す。
【０１４０】
図４は、実施の形態１における撮像装置１１０の立体画像撮像時の動作を説明するフローチャートである。
【０１４１】
図５は、実施の形態１における撮像装置１１０の画像信号の処理の流れの一例を概略的に示す図である。
【０１４２】
ここでは、一例として図５に示すように、第１撮像部３００は、画素数が１９２０×１０８０の第１画像信号を出力し、第２撮像部３１０は、画素数が７６８０×４３２０の第２画像信号を出力するものとして、以下の説明を行う。なお、重複する説明は省略する。
【０１４３】
なお、図５に示す数値は、単に一例を挙げたものに過ぎず、本実施の形態は何らこれらの数値に限定されるものではない。
【０１４４】
立体画像の撮像を行うとき、撮像装置１１０では主に以下の動作を行う。
【０１４５】
特徴点抽出部３２２は、第１画像信号と第２画像信号とのそれぞれに特徴点を設定し、設定した特徴点に関する情報（特徴点情報）を、画角合わせ部３２１および画像パターン判定部３２４に出力する（ステップＳ４００）。
【０１４６】
画像パターン判定部３２４は、第１画像が特定パターンに該当するかどうか、特定パターンに該当する領域が第１画像に含まれているかどうか、ステップＳ４００で設定された特徴点に対する信頼性、を第１画像信号にもとづき判定し、その判定結果（特定パターン判定情報）をデプスマップ生成部３２３に出力する（ステップＳ４０１）。
【０１４７】
図４、図５には示していないが、あわせて、シーン判定部３２８は、第１画像がどのような光景を写した画像であるのかを判定し、判定結果をマッチング部３７０に出力する。
【０１４８】
画角合わせ部３２１は、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出して、切り出し画像信号を生成する（ステップＳ４０２）。
【０１４９】
画像信号処理部３２０の撮像制御部３２６は、第１光学制御部３０３を介して第１光学部３０１の光学ズームを制御する。したがって、画像信号処理部３２０は、第１画像が撮像されたときの第１光学部３０１のズーム倍率を、第１画像の付帯情報として取得することができる。一方、第２光学部３１１では光学ズームができないので、第２画像を撮像するときのズーム倍率は固定されている。画角合わせ部３２１は、これらの情報に基づいて第１画像と第２画像との画角の差を算出し、その算出結果にもとづき第２画像信号から第１画像の撮像範囲（画角）に相当する領域を特定して切り出す。
【０１５０】
このとき、画角合わせ部３２１は、第１画像の画角に相当する領域よりもやや広い範囲（例えば、１０％程度広い範囲）をまず切り出す。これは、第１画像の中心と第２画像の中心との間に若干のずれが生じる可能性があるためである。
【０１５１】
次に、画角合わせ部３２１は、この切り出した範囲に対して、一般に用いられているパターンマッチングを行い、第１画像の撮像範囲に相当する領域を特定して再度切り出す。このとき、ステップＳ４００で設定された特徴点を用いることで、精度の高い比較を行うことができる。
【０１５２】
画角合わせ部３２１は、まず、垂直方向に両画像信号の比較を行い、次に水平方向に両画像信号の比較を行う。この順番は逆でもよい。このようにして、画角合わせ部３２１は、第１画像信号の撮像範囲に実質的に等しい領域を第２画像信号から取り出し、切り出し画像信号を生成する。
【０１５３】
これにより、比較的負荷の軽い演算処理で高速に切り出し画像信号を生成することができる。なお、画角や解像度が互いに異なる２枚の画像を比較して撮像範囲が互いに共通する領域を特定するパターンマッチング等の手法は、一般に知られた手法であるので、説明を省略する。
【０１５４】
なお、本実施の形態は何らこの構成に限定されるものではなく、例えばパターンマッチングだけで切り出し画像信号を生成する等してもかまわない。
【０１５５】
次に、画角合わせ部３２１は、第１画像信号と切り出し画像信号を、それぞれが所定の画素数になるように、縮小処理する。図５には、所定の画素数を９６０×５４０とする例を示す。
【０１５６】
第１画像信号の画素数が１９２０×１０８０であれば、第１画像信号を水平方向・垂直方向それぞれに１／２に縮小処理することで、縮小処理後の第１画像信号の画素数を９６０×５４０にすることができる。
【０１５７】
切り出し画像信号の画素数は、第１撮像部３００の光学ズーム倍率の大きさによって異なり、第１画像を撮像する際のズーム倍率が大きいほど、切り出し画像信号の画素数は小さくなる。例えば、切り出し画像信号の画素数が３８４０×２１６０であれば、切り出し画像信号を水平方向・垂直方向それぞれに１／４に縮小処理することで、縮小処理後の切り出し画像信号の画素数を９６０×５４０にすることができる。
【０１５８】
なお、これらの処理は順番が入れ替わってもかまわない。例えば、先に縮小処理をし、縮小された両画像信号を互いに比較して切り出し画像信号を生成してもよい。あるいは、垂直方向の比較を行った後で縮小処理を行い、その後水平方向の比較を行ってもよい。
【０１５９】
次に、デプスマップ生成部３２３において、画角合わせ部３２１で縮小処理された第１画像信号および切り出し画像信号にもとづいて、視差情報（デプスマップ）を生成する（ステップＳ４０５）。
【０１６０】
次に、デプスマップ生成部３２３は、ステップＳ４０１における判定結果にもとづき、記憶部３４０に記憶されたデータベースから補正値を読み出し、ステップＳ４０５で生成した視差情報（デプスマップ）を補正する（ステップＳ４０６）。
【０１６１】
また、ステップＳ４０１で信頼性が低いと判定された特徴点を有する画像に対しては、立体感（奥行き感）を抑制するように、視差情報（デプスマップ）を補正する。
【０１６２】
なお、ステップＳ４０１の判定結果によっては、デプスマップ生成部３２３は、ステップＳ４０５で生成した視差情報（デプスマップ）に補正を加えないこともある。
【０１６３】
デプスマップ生成部３２３は、後段の処理に備え、視差情報（デプスマップ）を、第１画像信号の画素数に合わせて拡張する。以下、この拡張された視差情報（デプスマップ）を「拡張デプスマップ」と呼称する。例えば、視差情報（デプスマップ）が画素数９６０×５４０の画像信号にもとづき生成され、第１画像信号の画素数が１９２０×１０８０であれば、視差情報（デプスマップ）を、水平方向・垂直方向それぞれに２倍に拡張して、拡張デプスマップを生成する。
【０１６４】
なお、この補正処理と拡張処理は順番が入れ替わってもかまわない。
【０１６５】
次に、立体画像信号において第１画像信号の対となる新第２画像信号を、ステップＳ４０６でデプスマップ生成部３２３において生成された視差情報（拡張デプスマップ）にもとづき、画像生成部３２５において第１画像信号から生成する（ステップＳ４０７）。画像生成部３２５は、例えば画素数１９２０×１０８０の第１画像信号から、拡張デプスマップにもとづき画素数１９２０×１０８０の新第２画像信号を生成する。
【０１６６】
そして、画像生成部３２５は、第１画像信号と新第２画像信号の対を立体画像信号として出力する。なお、各画像信号の画素数および縮小処理後の画像信号の画素数は、何ら上述した数値に限定されるものではない。
【０１６７】
なお、ステップＳ４００からステップＳ４０６の処理は、画像信号の輝度信号だけを用いて行なってもよい。これは、ＲＧＢの３つの原色信号のそれぞれについて処理を行うよりも、演算処理の負荷を軽減でき、かつ高い精度で各処理を行うことができるからである。しかし、画像信号の輝度信号および色信号（色差信号）を用いて各処理を行ってもよく、あるいは、ＲＧＢの３つの原色信号のそれぞれについて各処理を行ってもよい。
【０１６８】
なお、デプスマップ生成部３２３が生成した視差情報（デプスマップ）を表示部３３０に表示し、使用者が手動で視差情報（デプスマップ）を補正できるように撮像装置１１０を構成してもよい。あるいは、補正を加えない視差情報（デプスマップ）にもとづいて新第２画像信号を一旦生成し、それにもとづく立体画像を表示部３３０に表示して、立体感（奥行き感）が不自然な箇所を使用者が手動で補正できるように撮像装置１１０を構成してもよい。さらには、その手動の補正が反映された視差情報（デプスマップ）にもとづく新第２画像信号が最終的な新第２画像信号として画像生成部３２５から出力される構成であってもよい。
【０１６９】
また、上述した視差情報（デプスマップ）に対する補正は、使用者が許可した場合のみ行われるように撮像装置１１０を構成してもよい。
【０１７０】
なお、第１光学部３０１のズーム倍率および第２撮像素子３１２の解像度は、第１光学部３０１を望遠端（テレ端）にしたときの切り出し画像信号の解像度が第１画像信号の解像度以上となるように、設定することが望ましい。これは、第１光学部３０１を望遠端にしたときに、切り出し画像信号が第１画像信号よりも低解像度になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではない。
【０１７１】
なお、第２光学部３１１は、第１光学部３０１を広角端（ワイド端）にしたときの画角に実質的に等しいか、さらに広い画角を有するように構成することが望ましい。これは、第１光学部３０１を広角端にしたときに、第１画像が第２画像よりも広い画角になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１光学部３０１を広角端にしたときの第１画像の画角が第２画像よりも広い画角であってもよい。
【０１７２】
［１−３．効果等］
以上のように、本実施の形態において、撮像装置１１０は、第１画像を撮像して第１画像信号を出力するように構成された第１撮像部３００と、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部３１０と、画像信号処理部３２０と、を備える。画像信号処理部３２０は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号と第２画像信号とのいずれか一方の画像信号が特定パターンを有するか否かを判断し、第１画像信号と切り出し画像信号とに基づき視差情報を算出するとともに、いずれか一方の画像信号は特定パターンを有すると判断されたときには視差情報を補正し、視差情報又は補正後の視差情報と第１画像信号とに基づいて新第２画像信号を生成する、ように構成されている。
【０１７３】
これにより、撮像装置１１０では、良好な品質の立体画像を生成することができる。
【０１７４】
良好な品質の立体画像を取得（生成）するためには、対となる右眼用画像と左眼用画像とを撮像する際に、画角（撮像範囲）、解像度（画素数）、ズーム倍率等の撮像条件を互いに揃え、できるだけ等しい状態にすることが望ましい。
【０１７５】
しかしながら、本実施の形態の撮像装置１１０は、第１撮像部３００に光学ズーム機能を備えており、一方、第２撮像部３１０は光学ズーム機能を備えておらず、単焦点レンズを有する構成である。このように、第１撮像部３００と第２撮像部３１０とで、光学系の仕様が互いに異なる。
【０１７６】
さらには、第１撮像部３００と第２撮像部３１０とでは、撮像素子の仕様も互いに異なる。
【０１７７】
したがって、撮像装置１１０では、第１撮像部３００で撮像した第１画像をそのまま右眼用画像とし、第２撮像部３１０で撮像した第２画像をそのまま左眼用画像としても、良好な品質の立体画像（立体動画）を得ることは困難である。
【０１７８】
そこで、本実施の形態では、撮像装置１１０を上述した構成とし、第１撮像部３００で撮像した第１画像信号を右眼用画像信号とし、第１画像信号から視差情報（デプスマップ）を用いて生成した新第２画像信号を左眼用画像信号として、立体画像（立体動画）を生成する。
【０１７９】
これにより、光学的な特性や撮像素子の特性等の撮像条件が互いに等しい理想的な一対の撮像部で撮像（または動画撮影）された右眼用画像と左眼用画像に実質的に等しい右眼用画像と左眼用画像を生成することが可能になる。
【０１８０】
このとき、品質の良い新第２画像信号を生成するためには、精度の高い視差情報を生成する必要がある。しかしながら、撮像画像に写される光景によっては、精度の高い視差情報を生成することが困難なことがある。
【０１８１】
そこで、本実施の形態では、撮像装置１１０を上述した構成とし、視差情報が誤生成される可能性が高いと判定された画像信号に関しては、視差情報を補正する。また、写された光景に応じた補正を視差情報に加えることも可能である。これにより、生成される視差情報の品質を高めることができるので、良好な品質の立体画像を生成することができる。
【０１８２】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０１８３】
そこで、以下、他の実施の形態を例示する。
【０１８４】
実施の形態１では、図１に示したように、撮像方向に向かって右側に第１レンズ部１１１を配置して第１画像を右眼視点の画像とし、撮像方向に向かって左側に第２レンズ部１１２を配置して第２画像を左眼視点の画像とするように撮像装置１１０を構成する例を説明したが、本開示は何らこの構成に限定されない。例えば、第１画像信号を左眼用画像信号とし、新第２画像信号を右眼用画像信号とするように撮像装置１１０を構成してもかまわない。
【０１８５】
図６は、他の実施の形態における撮像装置１２０の外観図である。例えば、撮像方向に向かって左側に第１レンズ部１１１を配置して第１画像を左眼視点の画像とし、撮像方向に向かって右側に第２レンズ部１１４を配置して第２画像を右眼視点の画像とするように撮像装置１２０を構成してもよい。この構成では、実施の形態で説明した右を左に、左を右にそれぞれ読み替えればよい。
【０１８６】
実施の形態１では、画角合わせ部３２１で画像信号を縮小処理する例を説明したが、本開示は何らこの構成に限定されない。図７は、他の実施の形態における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。例えば、画角合わせ部３２１で、縮小処理を行わず、第１画像信号の画素数（例えば、１９２０×１０８０）と同じ画素数になるように切り出し画像信号を生成してもよい。この構成では、デプスマップ生成部３２３で、この画素数にもとづく視差情報（デプスマップ）を生成するので、拡張デプスマップを生成する必要が無く、より精度の高い新第２画像信号を生成することができる。
【０１８７】
本実施の形態では、撮像装置を、第１撮像部３００で第１画像を撮像し、第２撮像部３１０で第２画像を撮像するように構成する例を説明したが、例えば、第１撮像部３００に代えて第１画像入力部を備え、第２撮像部３１０に代えて第２画像入力部を備え、第１画像入力部を通して第１画像を取得し、第２画像入力部を通して第２画像を取得するように構成してもよい。
【０１８８】
実施の形態１に示した構成および動作は、動画撮影時にも適応可能である。ただし、第１画像信号および第２画像信号が動画であって、フレームレートが互いに異なるときは、画角合わせ部３２１において、いずれかフレームレートが低い方の画像信号をフレームレートが高い方の画像信号に合わせて高フレームレート化し、互いに等しいフレームレートにすることが望ましい。例えば、第１画像信号のフレームレートが６０Ｈｚ、第２画像信号のフレームレートが３０Ｈｚであれば、第２画像信号または切り出し画像信号を６０Ｈｚに高フレームレート化する。なお、この際に用いるフレームレート変換手法は、公知のものでかまわない。このように、動画信号に対しては、比較を行いやすい状態にして、デプスマップ生成を行うものとする。これにより動画撮像時においても高い精度で視差情報（デプスマップ）を生成することができる。
【０１８９】
なお、第１光学部３０１（第１レンズ群２０１）および第２光学部３１１（第２レンズ群２１１）は、何ら実施の形態１に示した構成に限定されるものではない。例えば、第１光学部３０１（第１レンズ群２０１）に、フォーカス調節が可能なフォーカスレンズに代えて、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズを用いる構成でもよい。あるいは、第２光学部３１１（第２レンズ群２１１）に、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズに代えて、フォーカス調節が可能なフォーカスレンズを用いる構成でもよい。その場合には、そのフォーカスレンズを駆動するように構成されたモータを有する第２アクチュエーターを第２撮像ユニット２１０に設けることが望ましい。なお、そのモータは、ＣＰＵ２２０から制御信号を出力して制御すればよい。また、第２光学部３１１に、第２撮像素子３１２（第２ＣＣＤ２１２）で受光する光量を調節する光学式の絞りを備える構成としてもよい。
【０１９０】
また、第２光学部３１１に、単焦点レンズに代えて光学ズームレンズを備える構成としてもよい。その場合、例えば、撮像装置で立体画像の撮像を行うときには、自動的に第２光学部３１１が広角端になるように構成してもよい。
【０１９１】
また、第１光学部３０１を望遠端（テレ端）にしたときに、切り出し画像信号が第１画像信号よりも低解像度になるように、撮像装置を構成してもよい。その場合、例えば、第１光学部３０１のズーム倍率を上げていく過程で切り出し画像信号の解像度が第１画像信号の解像度以下となったときに、立体画像から通常画像に撮像モードが自動で変わるように撮像装置を構成してもよい。
【０１９２】
なお、モニター１１３が立体画像の撮像に適した位置まで開いたときにオン状態になり、それ以外ではオフになるスイッチを撮像装置に設け、そのスイッチがオンになったときのみ立体画像の撮像ができるように撮像装置を構成してもよい。
【０１９３】
なお、実施の形態に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は画像表示装置の仕様等にあわせて最適な値に設定することが望ましい。
【産業上の利用可能性】
【０１９４】
本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に適用可能である。具体的には、立体視用の画像を撮像可能な、デジタルビデオカメラ、デジタルスチルカメラ、カメラ機能付き携帯電話、スマートフォン等に本開示は適用可能である。
【符号の説明】
【０１９５】
１１０，１２０    撮像装置
１１１    第１レンズ部
１１２，１１４    第２レンズ部
１１３    モニター
２００    第１撮像ユニット
２０１    第１レンズ群
２０２    第１ＣＣＤ
２０３    第１Ａ／Ｄ変換ＩＣ
２０４    第１アクチュエーター
２１０    第２撮像ユニット
２１１    第２レンズ群
２１２    第２ＣＣＤ
２１３    第２Ａ／Ｄ変換ＩＣ
２２０    ＣＰＵ
２２１    ＲＡＭ
２２２    ＲＯＭ
２２３    加速度センサ
２２４    入力装置
２２５    ディスプレイ
２２６    エンコーダー
２２７    記憶装置
２３０    ＬＳＩ
２３３    ＩＯコントローラ
２３４    クロック発生器
２４３    ネットワークインターフェース
２４５    バッテリー
３００    第１撮像部
３０１    第１光学部
３０２    第１撮像素子
３０３    第１光学制御部
３１０    第２撮像部
３１１    第２光学部
３１２    第２撮像素子
３２０    画像信号処理部
３２１    画角合わせ部
３２２    特徴点抽出部
３２３    デプスマップ生成部
３２４    画像パターン判定部
３２５    画像生成部
３２６    撮像制御部
３２７    顔認識部
３２８    シーン判定部
３２９    動き検出部
３３０    表示部
３４０    記憶部
３５０    入力部
３６０    カメラ情報部
３７０    マッチング部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１画像信号と、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号と、が入力され、前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、
前記第１画像信号と前記第２画像信号とのいずれか一方の画像信号が特定パターンを有するか否かを判断し、
前記第１画像信号と前記切り出し画像信号とに基づき視差情報を算出するとともに、前記いずれか一方の画像信号は前記特定パターンを有すると判断されたときには前記視差情報を補正し、
前記視差情報又は前記補正後の視差情報と前記第１画像信号とに基づいて新第２画像信号を生成する、ように構成された画像信号処理部
を備える画像生成装置。
【請求項２】
前記画像信号処理部は、
前記第１画像信号と前記第２画像信号とで互いに共通する特徴点を前記第１画像信号および前記第２画像信号から抽出するように構成された特徴点抽出部と、
前記特徴点および前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して前記切り出し画像信号を生成するように構成された画角合わせ部と、
前記第１画像信号と前記第２画像信号とのいずれか一方の画像信号が前記特定パターンを有するか否かを、判定に必要な情報が含まれたデータベースを参照して判断するように構成された画像パターン判定部と、
前記第１画像信号と前記切り出し画像信号とに基づき前記視差情報を算出してデプスマップを生成するとともに、前記画像パターン判定部において前記いずれか一方の画像信号は前記特定パターンを有すると判断されたときには前記視差情報を補正するように構成されたデプスマップ生成部と、
前記視差情報又は前記補正後の視差情報と前記第１画像信号とに基づいて前記新第２画像信号を生成するように構成された画像生成部と、を備える
請求項１に記載の画像生成装置。
【請求項３】
第１画像を撮像して第１画像信号を出力するように構成された第１撮像部と、
前記第１画像以上の画角を有する第２画像を、前記第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部と、
前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成し、前記第１画像信号と前記第２画像信号とのいずれか一方の画像信号が特定パターンを有するか否かを判断し、前記第１画像信号と前記切り出し画像信号とに基づき視差情報を算出するとともに、前記いずれか一方の画像信号は前記特定パターンを有すると判断されたときには前記視差情報を補正し、前記視差情報又は前記補正後の視差情報と前記第１画像信号とに基づいて新第２画像信号を生成する、ように構成された画像信号処理部と、
を備える撮像装置。
【請求項４】
前記画像信号処理部は、
前記第１画像信号と前記第２画像信号とで互いに共通する特徴点を前記第１画像信号および前記第２画像信号から抽出するように構成された特徴点抽出部と、
前記特徴点および前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して前記切り出し画像信号を生成するように構成された画角合わせ部と、
前記第１画像信号と前記第２画像信号とのいずれか一方の画像信号が前記特定パターンを有するか否かを、判定に必要な情報が含まれたデータベースを参照して判断するように構成された画像パターン判定部と、
前記第１画像信号と前記切り出し画像信号とに基づき前記視差情報を算出してデプスマップを生成するとともに、前記画像パターン判定部において前記いずれか一方の画像信号は前記特定パターンを有すると判断されたときには前記視差情報を補正するように構成されたデプスマップ生成部と、
前記視差情報又は前記補正後の視差情報と前記第１画像信号とに基づいて前記新第２画像信号を生成するように構成された画像生成部と、を備える
請求項３に記載の撮像装置。
【請求項５】
前記第１撮像部は、光学的なズーム機能を備えた第１光学部と、前記第１光学部を透過した光を電気信号に変換して前記第１画像信号を出力するように構成された第１撮像素子と、を備え、
前記第２撮像部は、前記第１光学部以上の画角を有する第２光学部と、前記第２光学部を透過した光を前記第１撮像素子よりも高い解像度で電気信号に変換して前記第２画像信号を出力するように構成された第２撮像素子と、を備える
請求項３に記載の撮像装置。
【請求項６】
第１画像信号に基づき、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号から、少なくとも一部を切り出して切り出し画像信号を生成し、
前記第１画像信号と前記第２画像信号とのいずれか一方の画像信号が特定パターンを有するか否かを判断し、
前記第１画像信号と前記切り出し画像信号とに基づき視差情報を算出するとともに、前記いずれか一方の画像信号は前記特定パターンを有すると判断されたときには前記視差情報を補正し、
前記視差情報又は前記補正後の視差情報と前記第１画像信号とに基づいて新第２画像信号を生成する、
画像生成方法。
【請求項７】
前記第１画像信号と前記第２画像信号とで互いに共通する特徴点を前記第１画像信号および前記第２画像信号から抽出し、
前記特徴点および前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して前記切り出し画像信号を生成する
請求項６に記載の画像生成方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2014148031.tif 000010
【図２】
2014148031.tif 000011
【図３】
2014148031.tif 000012
【図４】
2014148031.tif 000013
【図５】
2014148031.tif 000014
【図６】
2014148031.tif 000015
【図７】
2014148031.tif 000016
【国際調査報告】
2014148031.tif 000017
2014148031.tif 000018
2014148031.tif 000019
2014148031.tif 000020