各々が被写体を撮影することができる第1の撮影部および第2の撮影部と、前記第1および第2の撮影部によってそれぞれ取得された第1および第2の画像に基づいて、差分画像を生成する差異計算部と、前記差分画像および前記第1の画像に基づいて、前記第1の画像と同じ解像度をもつ第3の画像であって立体画像の一部を構成する第3の画像を生成する画像生成部と、を備える撮影装置。前記差異計算部は、前記第1および第2の画像に基づいて、前記第1の画像の解像度よりも低い解像度のデプスマップを生成する、請求項1に記載の撮影装置。前記第1の撮影部は、光学ズーム機能を有し、前記第2の撮影部は、光学ズーム機能を有していない、請求項1または2に記載の撮影装置。前記第2の撮影部の画素数は、前記第1の撮影部の画素数よりも多い、請求項1から3のいずれかに記載の撮影装置。前記第2の撮影部の口径は、前記第1の撮影部の口径よりも小さい、請求項1から4のいずれかに記載の撮影装置。前記第1および第2の画像の画角を合わせる画角合わせ部と、前記第1および第2の画像の画素数を合わせる画素数合わせ部と、をさらに備え、前記差異計算部は、前記画角合わせおよび前記画素数合わせ部によって、画角および画素数が合わせられた前記第1および第2の画像に基づいて、前記デプスマップを生成する、請求項1から5のいずれかに記載の撮影装置。前記差異計算部は、前記差分画像および前記第1の画像に基づいてデプスマップを生成し、前記画像生成部は、前記デプスマップと前記第1の画像とから、前記第3の画像を生成する、請求項1から6のいずれかに記載の撮影装置。前記差異計算部は、前記デプスマップが示す奥行き量が予め定められた値より大きい場合には、前記デプスマップが示す奥行き量を前記予め定められた値よりも小さくなるように補正する、請求項7に記載の撮影装置。前記第1および第2の撮影部は、動画像を取得する、請求項1から8のいずれかに記載の撮影装置。被写体を撮影することができる第3の撮影部をさらに備え、前記差異計算部は、前記第3の撮影部によって取得された画像と前記第1の画像とに基づいて、第2の差分画像を生成し、前記画像生成部は、前記第2の差分画像および前記第1の画像に基づいて、前記第1の画像と同じ解像度を持つ第4の画像であって、前記第3の画像と立体画像を構成する第4の画像を生成する、請求項1から9のいずれかに記載の撮影装置。前記差異計算部は、前記第2の差分画像および前記第1の画像に基づいて第2のデプスマップを生成し、前記画像生成部は、前記第2のデプスマップと前記第1の画像とから、前記第4の画像を生成する、請求項5に記載の撮影装置。前記差異計算部は、前記第2のデプスマップが示す奥行き量が予め定められた値より大きい場合には、前記デプスマップが示す奥行き量を前記予め定められた値よりも小さくなるように補正する、請求項11に記載の撮影装置。前記第1の撮影部は光学ズーム機能を有し、前記第2および第3の撮影部は光学ズーム機能を有しない、請求項10から12のいずれかに記載の撮影装置。各々が被写体を撮影することができる第1の撮影部および第2の撮影部と、前記第1および第2の撮影部によってそれぞれ取得された第1および第2の画像に基づいて、差分画像を生成する差異計算部と、前記第1の画像および前記差分画像を記録媒体に記録する記録部と、を備える撮影装置。被写体を撮影することができる第3の撮影部をさらに備え、前記差分画像を第1の差分画像と呼ぶとき、前記差異計算部は、前記第3の撮影部によって取得された画像と、前記第1の画像とに基づいて、第2の差分画像を生成し、前記記録部は、前記第1の画像、前記第1の差分画像、および前記第2の差分画像を前記記録媒体に記録する、請求項14に記載の撮影装置。第1の画像、および差分画像を取得し、前記第1の画像および前記差分画像に基づいて、前記第1の画像と同じ解像度をもつ第2の画像であって立体画像の一部を構成する第2の画像を生成する画像生成部と、前記第2の画像に基づく前記立体画像を表示する表示部と、を備える再生装置。前記画像生成部は、第2の差分画像をさらに取得し、前記第1の画像および前記第2の差分画像に基づいて、前記第1の画像と同じ解像度をもつ第3の画像であって前記第2の画像と立体画像を構成する第3の画像を生成し、前記表示部は、前記第2の画像および前記第3の画像に基づく立体画像を表示する、請求項16に記載の再生装置。第1の画像および第2の画像を取得し、前記第1および第2の画像に基づいて差分画像を生成する差異計算部と、前記差分画像および前記第1の画像に基づいて、前記第1の画像と同じ解像度をもつ第3の画像であって立体画像の一部を構成する第3の画像を生成する画像生成部と、前記第3の画像に基づく前記立体画像を表示する表示部と、を備える再生装置。前記差異計算部は、第3の画像をさらに取得し、前記第1および第3の画像に基づいて第2の差分画像を生成し、前記画像生成部は、前記第2の差分画像および前記第1の画像に基づいて、前記第3の画像と立体画像を構成する第4の画像を生成し、前記表示部は、前記第3の画像および前記第4の画像に基づく立体画像を表示する、請求項18に記載の再生装置。第1の画像および第2の画像を取得するステップと、前記第1および第2の画像に基づいて、差分画像を生成するステップと、前記差分画像および前記第1の画像に基づいて、前記第1の画像と同じ解像度をもつ第3の画像であって立体画像の一部を構成する第3の画像を生成するステップと、を含む画像処理方法。第1の画像および第2の画像を取得するステップと、前記第1および第2の画像に基づいて、差分画像を生成するステップと、前記第1の画像および前記差分画像を記録媒体に記録するステップと、を含む画像処理方法。第1の画像および差分画像を取得するステップと、前記第1の画像および前記差分画像に基づいて、前記第1の画像と同じ解像度をもつ第2の画像であって立体画像の一部を構成する第2の画像を生成するステップと、を含む画像処理方法。特許文献1や特許文献2に記載のカメラでは、主撮影部で撮影された映像を立体画像の一方主画像とし、他方の画像はこの主画像から生成した画像従画像であった。そのため、主画像は、実際に撮影された映像であるため信頼性の高い映像であるが、従画像は、視差情報に基づいて主画像から生成しているため、主画像と比較すると信頼性の低い画像となる。このような立体画像を表示すると、左右で大きく異なり、違和感のある画像となる恐れがあった。本発明は、複数の撮影系で撮影された画像から立体画像を生成する際に、左右の画像間で違和感が少ない立体映像を生成することを可能とする。本発明の撮影装置は、各々が被写体を撮影することができる第1の撮影部および第2の撮影部と、前記第1および第2の撮影部によってそれぞれ取得された第1および第2の画像に基づいて、差分画像を生成する差異計算部と、前記差分画像および前記第1の画像に基づいて、前記第1の画像と同じ解像度をもつ第3の画像であって立体画像の一部を構成する第3の画像を生成する画像生成部とを備えている。ある実施形態において、前記差異計算部は、前記第1および第2の画像に基づいて、前記第1の画像の解像度よりも低い解像度のデプスマップを生成する。ある実施形態において、前記第1の撮影部は、光学ズーム機能を有し、前記第2の撮影部は、光学ズーム機能を有していない。ある実施形態において、前記第2の撮影部の画素数は、前記第1の撮影部の画素数よりも多い。ある実施形態において、前記第2の撮影部の口径は、前記第1の撮影部の口径よりも小さい。ある実施形態において、前記撮影装置は、前記第1および第2の画像の画角を合わせる画角合わせ部と、前記第1および第2の画像の画素数を合わせる画素数合わせ部とをさらに備えている。前記差異計算部は、前記画角合わせおよび前記画素数合わせ部によって、画角および画素数が合わせられた前記第1および第2の画像に基づいて、前記デプスマップを生成する。ある実施形態において、前記差異計算部は、前記差分画像および前記第1の画像に基づいてデプスマップを生成し、前記画像生成部は、前記デプスマップと前記第1の画像とから、前記第3の画像を生成する。ある実施形態において、前記差異計算部は、前記デプスマップが示す奥行き量が予め定められた値より大きい場合には、前記デプスマップが示す奥行き量を前記予め定められた値よりも小さくなるように補正する。ある実施形態において、前記第1および第2の撮影部は、動画像を取得する。ある実施形態において、前記撮影装置は、被写体を撮影することができる第3の撮影部をさらに備えている。前記差異計算部は、前記第3の撮影部によって取得された画像と前記第1の画像とに基づいて、第2の差分画像を生成し、前記画像生成部は、前記第2の差分画像および前記第1の画像に基づいて、前記第1の画像と同じ解像度を持つ第4の画像であって、前記第3の画像と立体画像を構成する第4の画像を生成する。ある実施形態において、前記差異計算部は、前記第2の差分画像および前記第1の画像に基づいて第2のデプスマップを生成し、前記画像生成部は、前記第2のデプスマップと前記第1の画像とから、前記第4の画像を生成する。ある実施形態において、前記差異計算部は、前記第2のデプスマップが示す奥行き量が予め定められた値より大きい場合には、前記デプスマップが示す奥行き量を前記予め定められた値よりも小さくなるように補正する。ある実施形態において、前記第1の撮影部は光学ズーム機能を有し、前記第2および第3の撮影部は光学ズーム機能を有しない。本発明の他の撮影装置は、各々が被写体を撮影することができる第1の撮影部および第2の撮影部と、前記第1および第2の撮影部によってそれぞれ取得された第1および第2の画像に基づいて、差分画像を生成する差異計算部と、前記第1の画像および前記差分画像を記録媒体に記録する記録部とを備えている。ある実施形態において、前記撮影装置は、被写体を撮影することができる第3の撮影部をさらに備えている。前記差分画像を第1の差分画像と呼ぶとき、前記差異計算部は、前記第3の撮影部によって取得された画像と、前記第1の画像とに基づいて、第2の差分画像を生成し、前記記録部は、前記第1の画像、前記第1の差分画像、および前記第2の差分画像を前記記録媒体に記録する。本発明の再生装置は、第1の画像、および差分画像を取得して、前記第1の画像および前記差分画像に基づいて、前記第1の画像と同じ解像度をもつ第2の画像であって立体画像の一部を構成する第2の画像を生成する画像生成部と、前記第2の画像に基づく前記立体画像を表示する表示部とを備えている。ある実施形態において、前記画像生成部は、第2の差分画像をさらに取得し、前記第1の画像および前記第2の差分画像に基づいて、前記第1の画像と同じ解像度をもつ第3の画像であって前記第2の画像と立体画像を構成する第3の画像を生成し、前記表示部は、前記第2の画像および前記第3の画像に基づく立体画像を表示する。本発明の他の再生装置は、第1の画像および第2の画像を取得し、前記第1および第2の画像に基づいて差分画像を生成する差異計算部と、前記差分画像および前記第1の画像に基づいて、前記第1の画像と同じ解像度をもつ第3の画像であって立体画像の一部を構成する第3の画像を生成する画像生成部と、前記第3の画像に基づく前記立体画像を表示する表示部とを備えている。ある実施形態において、前記差異計算部は、第3の画像をさらに取得し、前記第1および第3の画像に基づいて第2の差分画像を生成し、前記画像生成部は、前記第2の差分画像および前記第1の画像に基づいて、前記第3の画像と立体画像を構成する第4の画像を生成し、前記表示部は、前記第3の画像および前記第4の画像に基づく立体画像を表示する。本発明の画像処理方法は、第1の画像および第2の画像を取得するステップと、前記第1および第2の画像に基づいて、差分画像を生成するステップと、前記差分画像および前記第1の画像に基づいて、前記第1の画像と同じ解像度をもつ第3の画像であって立体画像の一部を構成する第3の画像を生成するステップとを含む。本発明の他の画像処理方法は、第1の画像および第2の画像を取得するステップと、前記第1および第2の画像に基づいて、差分画像を生成するステップと、前記第1の画像および前記差分画像を記録媒体に記録するステップとを含む。本発明のさらに他の画像処理方法は、第1の画像および差分画像を取得するステップと、前記第1の画像および前記差分画像に基づいて、前記第1の画像と同じ解像度をもつ第2の画像であって立体画像の一部を構成する第2の画像を生成するステップとを含む。本発明により、撮影、生成した立体映像の左右の映像の内容を、信頼性の面でバランスのとれた映像にすることができる。以下、添付の図面を参照しながら、本発明の実施の形態を説明する。なお、本明細書において、画像とは、動画像映像および静止画像を含む概念を指す。以下の説明において、画像または映像を示す信号または情報を、単に画像または映像と呼ぶことがある。実施の形態1<映像撮影装置の構成について>図1は、従来の映像撮影装置および本実施形態による映像撮影装置の外観を示す斜視図である。図1aは、映像、又は静止画像を撮影する従来の映像撮影装置100を示している。図1bは、本実施の形態による映像撮影装置101を示している。映像撮影装置100と映像撮影装置101とは、映像撮影装置101が第1レンズ部102のみならず第2レンズ部103を備えている点で外観上異なっている。従来の映像撮影装置100では、映像を撮影するには、第1レンズ部102でのみ集光して映像を撮影する。これに対して、本実施形態による映像撮影装置101は、第1レンズ部102と第2レンズ部103の2種類の光学系でそれぞれ集光し、視差をもつ2つの映像立体映像を撮影する点で従来の映像撮影装置100とは異なる。第2レンズ部103は、第1レンズ部102と比較して体積的な大きさが小型のレンズである。ここで、体積的な大きさとは、各レンズ部の口径および厚さによって定まる体積で表される大きさを意味する。このような構成により、映像撮影装置101は、2種類の光学系を用いて立体映像を撮影する。第1レンズ部102と第2レンズ部103との距離は、撮影する立体映像の視差の大きさに影響する。そのため、第1レンズ部102と第2レンズ部103との距離は、人の左右両眼の距離と同程度の距離にしておくと、映像撮影装置101で撮影された立体映像もより自然な映像になると考えられる。さらに、第1レンズ部102と第2レンズ部103とは、映像撮影装置101を地面等に置いたときに、略同一水平面上にあることが好ましい。これは、人の左右両目は略水平な位置で対象物を見ることが一般的であるため、水平方向の視差には慣れているが、垂直方向の視差には慣れていないためである。よって、立体映像を撮影する際には、垂直方向ではなく水平方向に視差が生じるように撮影することが好ましい。第1レンズ部102と第2レンズ部103との位置関係が垂直方向にずれるほど、映像撮影装置101が生成する立体映像は違和感のある映像となり得る。また、第1レンズ部102の光学中心と第2レンズ部103の光学中心とは、映像撮影装置101の撮像面に平行な1つの平面上に位置していることが好ましい。つまり、第1レンズ部102の光学中心が被写体側前方に飛び出し、第2レンズ部103の光学中心が被写体の反対側後方に位置していたり、その逆の関係になっていないことが好ましい。第1レンズ部102および第2レンズ部103がそのような位置関係にあると、被写体までの距離が第1レンズ部102と第2レンズ部103とで異なることになる。そのような場合、正確な視差情報を得ることが困難になる場合がある。このように、第1レンズ部102および第2レンズ部103は、被写体から略同一距離となる位置関係にあることが好ましい。なお、この点について、より厳密には、それぞれのレンズ部と、レンズ部の後段に配置される撮像素子の撮像面との位置関係を含めて考慮する必要がある。これらの第1レンズ部102と第2レンズ部103との相対的な位置が好ましい位置関係に近いほど、それぞれのレンズ部により撮影された映像から立体映像等を生成する際の信号処理における計算処理量を軽減することができる。より具体的には、第1レンズ部102と第2レンズ部103との位置関係が上記のような関係にある場合には、立体映像の左右の映像面における同一被写体の位置が、エピポーラ拘束EpipolarConstraint条件を満たす。このため、後述する立体映像等を生成するための信号処理において、一方の映像面上での被写体の位置が確定すると、他方の映像面上での被写体の位置も比較的容易に算出することが可能となる。図1bに例示される映像撮影装置101では、第1レンズ部102は従来通り映像撮影装置101の本体前部に設けられ、第2レンズ部103は撮影映像を確認するためのモニター部104の背面に設けられている。モニター部104は、第1レンズ部102および第2レンズ部103に入射する光の入射側とは逆側映像撮影装置101の後部側に撮影した映像を表示する。図1bに示す例では、映像撮影装置101は、第1レンズ部102を用いて撮影された映像は右眼視点の映像として、第2レンズ部103を用いて撮影された映像は左眼視点の映像として処理する。さらに、上記の第1レンズ部102と第2レンズ部103との理想的な位置関係を考慮する場合、第2レンズ部103については、モニター部104の背面において、第1レンズ部102との距離が人の左右両目の距離と同程度4cm~6cmとなり、第2レンズ部103と第1レンズ部102とが略撮像面に平行な同一平面上に位置するように設けるとよい。図2は、図1bで示した映像撮影装置101内部のハードウェア構成の概略を示した図である。映像撮影装置101のハードウェア構成は、第1撮影ユニットメイン撮影ユニット250、第2撮影ユニットサブ撮影ユニット251、CPU208、RAM209、ROM210、加速度センサ211、ディスプレイ212、エンコーダー213、記憶装置214、入力装置215を有する。メイン撮影ユニット250は、第1レンズ群200、CCD201、A/D変換IC202、アクチュエーター203を含む。サブ撮影ユニット251は、第2レンズ群204、CCD205、A/D変換IC206、アクチュエーター207を含む。第1レンズ群200は、図1における第1レンズ部102に含まれる複数のレンズから構成される光学系である。第2レンズ群204は、図1bにおける第2レンズ部103に含まれる複数のレンズから構成される光学系である。第1レンズ群200は、被写体から入射する光を複数のレンズにより光学的に調整する。具体的には、第1レンズ群200は、撮影する被写体を大きく撮影又は小さく撮影するためのズーム機能や、撮像面上での被写体の輪郭等の鮮明度を調整する焦点フォーカス機能を有する。CCD201は、第1レンズ群200により被写体から入射した光を電気信号に変換する撮像素子イメージセンサである。本実施の形態では、CCDChargeCoupledDeviceを用いた例を説明するがこれに限定するものではない。他のセンサ、例えばCMOSComplementaryMetalOxideSemiconductor等の他の方式で入射光を電気信号に変換するものを用いても良い。A/D変換IC202は、CCD201で生成されたアナログ電気信号をデジタル電気信号に変換する。アクチュエーター203は、モータを有し、後述するCPU208からの制御により、第1レンズ群200に含まれる複数のレンズ間の距離の調整や、ズームレンズの位置の調整等を行う。サブ撮影ユニット251の第2レンズ群204、CCD205、A/D変換IC206、アクチュエーター207は、それぞれメイン撮影ユニット250の第1レンズ群200、CCD201、A/D変換IC202、アクチュエーター203に対応している。以下、メイン撮影ユニット250と同一の部分については説明を省略し、異なる部分のみを説明する。第2レンズ群204は、第1レンズ群200よりも体積的な大きさが小型のレンズ群から構成される。具体的には、第2レンズ群の対物レンズの口径は、第1レンズ群の対物レンズの口径よりも小さい。これは、サブ撮影ユニット251をメイン撮影ユニット250よりも小型化することで、映像撮影装置101全体も小型化するためである。本実施形態では、第2レンズ群204を小型化するため、第2レンズ群204にはズーム機能を持たせない。つまり第2レンズ群204は、単焦点レンズである。CCD205は、CCD201と同等、又はより大きい解像度水平方向、垂直方向の画素数がより大きいをもつ。サブ撮影ユニット251のCCD205が、メイン撮影ユニット250のCCD201と同等、又はより大きい解像度を持つ理由は、サブ撮影ユニット251で撮影した映像を後述する信号処理によって電子ズーム画角合わせ等を行う際に画質の低下を抑制するためである。アクチュエーター207は、モータを有し、後述するCPU208からの制御により、第2レンズ群200に含まれる複数のレンズ間の距離の調整を行う。第2レンズ群204はズーム機能を持たないため、アクチュエーター207は、焦点調整のためのレンズ調整を行う。CPUCentralProcessingUnit208は、映像撮影装置101全体を制御する。CPU208は、メイン撮影ユニット250およびサブ撮影ユニット251で撮影された映像に基づいて、両映像から立体映像を生成する処理を行う。なお、CPU208の代わりに、FPGAFieldProgrammableGateArrayを用いて同様の処理を実現してもよい。RAMRandomAccessMemory209は、CPU208を動作させるプログラム実行時の各種変数等をCPU208の指示により一時的に記憶する。ROMReadOnlyMemory210は、CPU208を動作させるプログラムデータ、制御パラメータ等のデータを記録する。加速度センサ211は、映像撮影装置101の撮影状態姿勢や向き等を検出する。本実施の形態では、加速度センサ211を用いるものとして説明しているがこれに限定するものではない。その他のセンサとして、3軸方向のジャイロスコープを用いても良い。つまり、映像撮影装置101の撮影状態を検出するセンサであればいずれを採用してもよい。ディスプレイ212は、映像撮影装置101が撮影し、CPU208等で処理された立体映像を表示する。なお、ディスプレイ212は、入力機能としてのタッチパネルを備えていても良い。エンコーダー213は、CPU208が生成した立体映像の情報、又は、立体映像等を表示するために必要な情報等のデータを、所定の方式に従って符号化エンコードする。記憶装置214は、エンコーダー213で符号化されたデータを記録、保持する。記憶装置214は、磁気記録ディスクや、光記録ディスク、半導体メモリ等、データを記録できる記録媒体であればいずれの方式で実現されていても良い。入力装置215は、ユーザ等の、映像撮影装置101外部からの指示を受け付ける入力装置である。次に、映像撮影装置101の機能構成を説明する。以下の説明では、映像撮影装置101における上記の各構成要素をそれに対応する機能部で表す。図3は、映像撮影装置101の機能構成図である。映像撮影装置101は、第1撮影部メイン撮影部350と、第2撮影部サブ撮影部351と、画像信号処理部308、水平方向検出部318、表示部314、映像圧縮部315、蓄積部316、入力部317を有する。メイン撮影部350は、第1光学部300、撮像部301、A/D変換部302、光学制御部303を有する。サブ撮影部351は、第2光学部304、撮像部305、A/D変換部306、光学制御部307を有する。メイン撮影部350は、図2におけるメイン撮影ユニット250に対応する。第1光学部300は、図2における第1レンズ群200に対応し、被写体から入射する光を調整する。第1光学部300は、第1光学部300から撮像部301への入射光量を制御する光学式絞り手段を有している。撮像部301は、図2におけるCCD201に対応し、第1光学部300から入射した光を電気信号に変換する。A/D変換部302は、図2におけるA/D変換IC202に対応し、撮像部301が出力したアナログ電気信号をデジタル信号に変換する。光学制御部303は、図2におけるアクチュエーター203に対応し、後述する画像信号処理部308からの制御により第1光学部300を制御する。サブ撮影部351は、図2におけるサブ撮影ユニット251に対応する。サブ撮影部351における第2光学部304、撮像部305、A/D変換部306、光学制御部307は、それぞれ第1光学部300、撮像部301、A/D変換部302、光学制御部303に対応する。それらの機能は、メイン撮影部350における対応する機能部と同様であるため、ここでは説明を省略する。なお、第2光学部304、撮像部305、A/D変換部306、光学制御部307は、それぞれ、図2における第2レンズ群204、CCD205、A/D変換IC206、アクチュエーター207に対応する。画像信号処理部308は、図2におけるCPU208に対応し、メイン撮影部350、サブ撮影部351からの映像信号を入力として受け取り、立体映像信号を生成し、出力する。画像信号処理部308が立体映像信号を生成する具体的方法については、後述する。水平方向検出部318は、図2における加速度センサ211に対応し、映像撮影時の水平方向を検出する。表示部314は、図2におけるディスプレイ212の映像表示機能に対応し、画像信号処理部308により生成された立体映像信号を表示する。表示部314は、入力された立体映像に含まれる左右の映像を、時間軸上で交互に表示する。視聴者は、表示部314の表示と同期して、視聴者の左眼に入射する光と右眼に入射する光とを交互に遮光する映像視聴用眼鏡アクティブシャッター眼鏡等を利用することで、左眼用映像を左眼のみで視聴し、右眼用映像を右眼のみで視聴する。映像圧縮部315は、図2におけるエンコーダー213に対応し、画像信号処理部308で生成された立体像信号を所定の方式に従って符号化する。蓄積部316は、図2における記憶装置214に対応し、映像圧縮部315で符号化された立体映像信号を記録保持する。なお、蓄積部316は、上記の立体映像信号に限らず、他の形式で構成される立体映像信号を記録するものであってもよい。入力部317は、図2における入力装置215やディスプレイ212のタッチパネル機能に対応し、映像撮影装置外部からの入力を受け付ける。<立体映像信号の生成処理について>次に、画像信号処理部308が行う立体映像信号の生成処理を説明する。なお、以下の説明では、画像信号処理部308での処理は、CPU208を用いたソフトウェアによって実現されるものとするが、本実施の形態はこれに限定するものではない。例えばFPGAやその他の集積回路等によるハードウェア構成によって同様の処理内容を実現するものであってもよい。画像信号処理部308は、図3に示すように、画角合わせ部309、画素数合わせ部310、差異計算部311、画像生成部312、撮影制御部313を有する。画角合わせ部309は、メイン撮影部350およびサブ撮影部351の両方から入力された映像信号の画角を合わせる。画角Angleofviewとは、メイン撮影部350およびサブ撮影部351によってそれぞれ撮影された映像の撮影範囲通常、角度で表現されるを意味する。図4は、メイン撮影部350およびサブ撮影部351から入力されたある時点での映像信号に基づいて生成された2つの画像を並べたものである。メイン撮影部350からの映像右側映像Rとサブ撮影部351からの映像左側映像Lとでは映像の倍率が異なっている。これは、第1光学部300第1レンズ群200は光学ズーム機能を搭載しているが、第2光学部304第2レンズ群204は光学ズーム機能を搭載していないためである。メイン撮影部350とサブ撮影部351とで、同じ被写体を撮影したとしても、第1光学部300のズーム倍率と第2光学部304のズーム倍率との差異や、相互の位置関係により、実際に撮影される画角映像の撮影範囲は異なる。画角合わせ部309は、これらそれぞれによって撮影された異なる画角の映像を合わせる処理を行う。なお、本実施の形態では、サブ撮影部351の第2光学部304が光学ズーム機能を搭載しないため、第2光学部304第2レンズ群204を小型化することが可能となる。画角合わせ部309は、サブ撮影部351によって撮影された左側映像から、メイン撮影部350によって撮影された右側映像に該当する部分を抽出する。画像信号処理部308は、撮影された映像を処理するとともに、光学制御部303を介して撮影中の第1光学部300の状態を取得することができる。例えば、画像信号処理部308は、ズーム制御を行う場合は、撮影制御部313によって光学制御部303を介して第1光学部300のズーム機能を制御する。そのため、画像信号処理部308は、メイン撮影部350で撮影された映像のズーム倍率を付帯情報として取得することができる。反対に、第2光学部304はズーム機能を有しないため、その倍率が予めわかっている。画角合わせ部309は、これらの情報に基づいて、メイン撮影部350およびサブ撮影部351間の倍率の違いを算出し、その倍率の違いにより、左側映像の中で右側映像に該当する部分を特定することが可能となる。なお、この処理の際、該当する部分に比べ、例えば10程度大きい範囲をまず切り出し、切り出した範囲内で公知のパターンマッチング等を行えば、簡単な処理で実現できる。左側映像の中で右側映像に該当する部分を特定する方法としては、公知のどのような方法を用いてもよい。図4では、左側映像の点線部分が右側映像に相当する部分であることを示している。左側映像は、ズーム機能のない単焦点レンズを有する第2光学部304によって取得された映像であるため、ズームレンズがズーミングした状態で撮影された右側映像よりも広範な範囲広角に及んでいる。画角合わせ部309は、右側映像と、左側映像の点線部分とにより、両者の画角を合わせた映像を生成する。画素数合わせ部310は、画角合わせ部309によって画角が合わせられた左右両映像の画素数を合わせる。メイン撮影部350とサブ撮影部351とでそれぞれ用いられている撮像部301と撮像部305とでは、その画素数が異なっている。また、メイン撮影部350がズーム撮影した場合、画角合わせ部309により画角合わせされた、サブ撮影部351による映像サブ映像から抽出された部分が持つ画素数は、ズーム倍率により増減する。そのため、画角合わせ部309によって画角が合わせられた左右の映像は、この時点ではまだ画素数が異なり、両者を比較するには扱いにくい状態である。そこで、画素数合わせ部310は、画角合わせ部309により抽出された映像の画素数を合わせる作業を行う。なお、画素数合わせ部310は、画角が合わせられた左右の両映像の輝度信号レベルや色信号レベルの違いが大きい場合には、これら左右両映像の輝度信号レベルや色信号レベルを合わせる処理を同時に行ってもよい。また、画素数合わせ部310は、撮像部301CCD201、および撮像部305CCD205の画素数が多い場合には、画素数を縮小する処理を行う。例えば、メイン撮影部350で撮影された映像が、高精細度テレビ方式対応に対応した1920×1080の情報量を持つ場合、取り扱う情報量が大きくなる。情報量が多いと、要求される映像撮影装置101全体の処理能力が高くなり、撮影した映像の処理に要する時間が長くなる等、データ処理が困難となりやすくなる。そこで、画素数合わせ部310は、画素数を合わせると同時に、必要に応じて、画素数を減数させる処理を行う。画素数合わせ部310は、例えば、1920×1080の、メイン撮影部350が撮影した映像を、288×162のサイズに縮小する。これは、縦、横方向にそれぞれ3/20倍にしたものである。なお、画素数合わせ部310による映像の縮小、又は拡大方法は、ここに示した方法に限定されない。これらの方法は、既知のいずれの方法であってもよい。サブ撮影部351の撮像部305が、メイン撮影部350の撮像部301よりも多くの画素数をもつ場合、例えば、図4に示すように3840×2160の解像度を有していて、画角合わせ部309により、左側映像から抽出された映像の大きさが1280×720である場合を考える。この場合、画素数合わせ部310は、抽出された1280×720の映像を縦、横にそれぞれ9/40倍にする。これにより、左側映像についても、288×162の映像となる。図5は、画角合わせ部309と画素数合わせ部310とによる映像データの処理結果の変化を示す図である。なお、図5には、後述する差異計算部311および画像生成部312による処理結果も併せて示されている。上記のように、画角合わせ部309は、右側映像Rおよび左側映像Lの画角を合わせると、左側映像から右側映像に該当する部分を抽出する1280×720の映像。画素数合わせ部310は、画角が合わせられた左右の映像の画素数を合わせるとともに、以降の処理に適した大きさに両映像を縮小する288×162の映像Rs、Ls。差異計算部311は、画角合わせ部309および画素数合わせ部310によって、画角合わせおよび画素数合わせ処理が行われた左右両映像の視差を検出および算出する。メイン撮影部350によって撮影された映像とサブ撮影部351によって撮影された映像とは、同じ被写体を撮影したとしても、視差の分だけ異なる映像となる。例えば、図6に示す2つの映像が撮影された場合、被写体として写っている建物600の位置が、左眼用映像Lと右眼用映像Rとで異なっている。メイン撮影部350により撮影された右眼用映像Rは、サブ撮影部351によって撮影された左眼用映像Lよりも、右側から撮影された映像である。そのため、右眼用映像Rでは、建物600が、左眼用映像Lにおける位置よりも左側に配置されている。反対に、左眼用映像Lでは、建物600が、右眼用映像Rにおける位置よりも右側に配置されている。差異計算部311は、これらの異なる映像に基づいて、映し出されている被写体の視差を算出する。図7は、差異計算部311によって実行される処理の流れを示すフローチャートである。差異計算部311は、図7のフローチャートにしたがって左右両映像間の視差を算出する。以下、図7に示す各ステップを説明する。ステップS701:差異計算部311は、入力された左右映像から輝度信号Y信号のみを抽出した映像を作成する。これは、視差を検出する場合、RGB等の3色すべてについて処理を行うよりも、YCbCr輝度色差のうちのY信号輝度信号のみで行ったほうが効率的に行うことができ、さらに処理負荷も軽くできるからである。なお、本実施形態では映像を輝度信号Yおよび色差信号CbCrで表すが、RGB等の3色で映像を表現し、処理してもよい。ステップS702:差異計算部311は、ステップS701で生成した左右両映像の輝度信号により左右の映像間での差分ΔLs/Rsを算出する。この際、差異計算部311は、それぞれの映像内における同じ位置の画素を比較して差分を求める。例えば、左側映像におけるある画素の輝度信号の値画素値Lsが103、右側映像における対応画素の輝度信号の値Rsが101である場合、その画素における差分値ΔLs/Rsは2となる。ステップS703:ステップS702で算出した画素間の差分値に基づいて、差異計算部311は、画素単位で以下の処理の内容を変える。差分値が0の場合左右の映像間で画素値がまったく同じ場合は、ステップS704の処理を行う。反対に差分値が0以外の場合左右の映像間で画素値が異なる場合には、ステップS705の処理を行う。ステップS704:ステップS703の処理で左右の画素値がまったく同じ場合、差異計算部311は、当該画素における視差量を0に設定する。なお、ここでは説明のために左右の画素がまったく同じ場合を視差量0として判断しているが、実際の製品における算出ではこの例に限定されない。左右の画素値がまったく同じでなくとも、当該画素の周囲に位置する画素の値が左右の映像間でまったく同じであり、当該画素の値の差異が小さい場合は、当該画素も左右の映像間で同じであると判断してもよい。つまり、視差量を決定する際に、注目している画素の左右の映像間での差異のみならず、周囲の画素の左右の映像間での差異も考慮して、視差量を決定してもよい。これにより、その画素の近傍にあるエッジやテクスチャなどにより生じる計算誤差の影響を取り除くことができる。また、着目している画素または周囲の画素の画素値がまったく同じでなくとも、着目している画素間の差分が予め設定された閾値に満たない場合は視差量を0と判断してもよい。ステップS705:差異計算部311は、2つの画像間で差異を検出すると、メイン撮影部350による映像この実施の形態の場合は、右眼用映像を基準映像として、基準映像の画素が、サブ撮影部351による映像この実施の形態の場合は、左眼用映像のどの画素と対応するかを検出探索する。対応画素の探索は、例えば、左眼用映像における着目する画素を起点として、横方向および縦方向に1画素ずつずらしながら差分を求め、差分が最小になる画素を特定することによって行われ得る。また、あるラインとその近傍ラインとでは、輝度信号のパターンが類似することから、それらのパターンの情報を利用して最も確からしい対応画素を探索してもよい。映像内に無限遠点が存在する場合、そこでは視差が生じないため、無限遠点を基準に対応画素の探索を行うことができる。更に、輝度信号だけでなく、色信号のパターンの類似性を考慮してもよい。映像上のどの部分が無限遠点かは、例えば自動焦点の動作を考慮して判断することが可能である。なお、撮影が、映像撮影装置101が完全に水平な状態で行なわれていれば、視差は水平方向にしか発生しないため、右眼用映像と左眼用映像との画素単位の検出は、当該映像の横方向のみで探索すればよいといえる。平行法による撮影の場合、無限遠の物体の視差がゼロとなり、無限遠より近い物体の視差は、水平方向の一方向にしか発生しないため、横方向の探索は一方向のみでもよい。ステップS706:差異計算部311は、左眼用映像において探索された対応画素と基準映像の画素との映像面上での画素間距離を算出する。画素間距離は、それぞれの画素位置に基づいて算出され、例えば画素数で表される。この算出結果に基づいて、視差量が決定される。画素間距離が大きければ大きいほど視差量が大きいと考えることができる。反対に画素間距離が小さければ小さいほど視差量が小さいと考えることができる。なお、メイン撮影部350による映像とサブ撮影部351による映像とで、撮影された被写体は、映像撮影装置101から被写体までの距離撮影距離が短いほど、映像面上では視差量が大きくなる傾向がある。反対に、映像撮影装置101と被写体までの距離が長いほど、映像面上での視差量が小さくなる傾向がある。この傾向についてより詳細に説明する。メイン撮影部350とサブ撮影部351とが交差法による撮影方法で撮影するように構成されている場合、両者の光軸は一点で交わる。両者の光軸が交わる位置をクロスポイントと呼ぶ。クロスポイントを基準として、被写体がクロスポイントよりも手前映像撮影装置101側にある場合、被写体が映像撮影装置101に近いほど視差量が大きくなる。逆に、被写体がクロスポイントよりも奥映像撮影装置101とは反対側にある場合、被写体が奥遠方にあるほど視差量が大きくなる傾向もある。ステップS707:差異計算部311は、すべての画素について視差量を決定した場合は、以降のステップS708へ処理を移す。まだ視差量が決定されていない画素がある場合は、まだ視差量が決定されていない画素についてステップS703に戻り上記の処理を繰り返す。ステップS708:すべての画素について視差量を決定すると、映像面全体について視差量が決定されたことになるので、差異計算部311は、この映像面全体での視差量の情報をデプスマップDepthMapとして作成する。このデプスマップは、映像面に映っている被写体、又は、映像面の部分毎の奥行き情報を示す情報である。デプスマップにおいては、視差量が小さい部分は0に近い値を持ち、視差量が大きい部分ほど大きい値を持つ。視差量とデプスマップで示される奥行き情報との間には、1対1の関係があり、輻輳角やステレオベース距離などの幾何学的な撮影条件を与えると相互変換ができる。よって、メイン撮影部350による画像主画像と左右の視差量、または、主画像とデプスマップによって、立体映像を表現することができる。図9は、図6に示す映像が取得された場合に生成されるデプスマップの例を示す図である。図9bに示すように、視差のある部分が視差量に応じて値を持ち、視差のない部分は0の値となる。なお、図9bに示す例では、わかり易さのため、実際よりも粗い精度で視差量を表現しているが、実際には画素ごとに視差量が計算され得る。なお、視差量からデプスマップを生成する際は、第1光学部300と第2光学部304とのレンズ間距離や相互の位置関係を考慮することが好ましい。第1光学部300と第2光学部304とは、人の左右両眼の位置関係と同様の位置関係をもつことが好ましいが、必ずしもそれを実現できない場合がある。その場合は、差異計算部311はデプスマップを生成する際に、第1光学部300と第2光学部304との位置関係を考慮してデプスマップを生成するとよい。例えば、第1光学部300と第2光学部304とが近接して配されている場合、デプスマップを生成する際に、算出された個々の視差量の値を大きくするように変換してもよい。第1光学部300と第2光学部304とが近接して設けられていると、撮影される映像間の視差の変化が小さくなるため、そのまま立体映像にしても自然な映像とならない場合がある。そこで、差異計算部311は、デプスマップを生成する際に第1光学部300と第2光学部304との位置関係を考慮してデプスマップを生成してもよい。画像生成部312は、差異計算部311によって算出されたデプスマップ画素ごとの視差量に基づいて、メイン撮影部350で撮影された映像から、立体映像の対となる映像を生成する。本実施の形態では、図10に示すように、画像生成部312は、右眼用映像Rとデプスマップとに基づいて、左眼用映像L ́を生成する。この場合、画像生成部312は、まずメイン撮影部350が出力した1920×1080の右眼用映像Rにおいて、デプスマップを参照して映像面上で視差が発生している部分を特定する。次に、当該部分の位置を補正する等の処理を行うことにより、左眼用映像として適当な視差を持つ映像を生成する。つまり、左眼用映像として適切な映像になるように、右眼用映像Rにおける当該部分をデプスマップによって示される視差量に応じて右側に移動させる等の処理を施し、その結果生成された映像を左眼用映像L ́として出力する。視差を有する部分を右側に移動させるのは、左眼用映像における視差を有する部分は、右眼用映像における対応する部分よりも右側に位置するためである。画像生成部312は、図5に示すように、生成した左眼用映像L ́と、画像信号処理部308に入力された右眼用映像Rとを立体映像信号として出力する。これにより、画像信号処理部308は、メイン撮影部350、およびサブ撮影部351により撮影された映像信号に基づいて立体映像信号を出力することが可能となる。以上の処理により、映像撮影装置101は、メイン撮影部350とサブ撮影部351とが異なる構成であっても、信号処理により、一方の撮影映像から立体映像の対となる他方の映像を生成することが可能となる。次に、画角合わせ部309、画素数合わせ部310、差異計算部311、画像生成部312を含む映像撮影装置101全体の処理の流れを図8に示すフローチャートを参照しながら説明する。ステップS801:画像信号処理部308は、入力部317から撮影モードの入力を受けつける。撮影モードは、例えば立体映像3D撮影モードおよび非立体映像2D撮影モードの中からユーザによって選択される。ステップS802:画像信号処理部308は、入力された撮影モードが、立体映像撮影モードか、非立体映像撮影モードかを判別する。ステップS803:画像信号処理部308は、入力された撮影モードが非立体映像撮影モードの場合は、メイン撮影部350で撮影される映像を従来どおりの方式で撮影、記録する。ステップS804:画像信号処理部308は、入力された撮影モードが立体映像撮影モードの場合は、メイン撮影部350およびサブ撮影部351によってそれぞれメイン映像およびサブ映像を撮影する。ステップS805:画角合わせ部309は、上述した方法により、入力されたメイン映像およびサブ映像の画角合わせ処理を行う。ステップS806:画素数合わせ部310は、上述した方法により、画角合わせされたメイン映像およびサブ映像について画素数合わせ処理を行う。ステップS807:差異計算部311は、画素数合わせ処理が行われたメイン映像およびサブ映像について、視差量の検出を行う。視差量の検出は、図7を参照しながら説明した上記の処理によって行われる。ステップS808:画像生成部312は、上述した方法により、メイン映像と、算出された視差量とから、メイン映像に対して立体映像の対となるサブ映像を生成する。ステップS809:映像撮影装置101は、生成された立体映像を表示部314に表示する。なお、ここでは生成された映像を表示する場合の例を示したが、表示ではなく記録する処理を行ってもよい。ステップS810:映像撮影装置101は、引き続き映像の撮影が続けられるか否かを判断する。撮影が続けられる場合は、ステップS804に戻って処理を繰り返す。撮影が続けられない場合は、映像撮影装置101は撮影を終了する。なお、撮影した映像から立体映像用の映像を生成する方法は、上記の方法に限定されるものではない。別の方法としては、輪郭マッチングを用いた方法がある。この方法は、左右どちらかの粗い画像チャンネルの輪郭に、他方の高精細画像の輪郭をマッチングさせることにより、テクスチャーを埋め、高精細な画像を生成する方法である。CGの分野で導入されているように、頂点、稜線、面の接続情報位相情報を持ったポリゴンなどによって表現された3Dモデル3Dオブジェクトの表面にテクスチャーをマッピングする壁紙のように貼り付けることにより、高精細な画像を生成することができる。この際、オクルージョン部隠れ部のテクスチャーは、その周囲の既知のテクスチャーから推定して埋めることができる。なお、オクル―ジョン部とは、一方の映像には映っているが、他方の映像には映っていない部分情報欠落領域を指す。オクルージョン部で無い部分を引き伸ばすことにより、オクルージョン部をオクルージョン部で無い部分で隠すこともできる。オクル―ジョン部でない部分を引き延ばす方法として、例えば、公知のガウシアンフィルタ等の平滑化フィルタを用いる方法がある。比較的低い解像度のデプスマップに、予め定められた減衰特性をもつ平滑化フィルタを通して得られる新たなデプスマップを用いてオクル―ジョン部をもつ映像を補正することができる。このような方法により、オクル―ジョン部においても自然な立体映像を生成することが可能となる。さらに別の方法として、2D-3D変換を用いる方法がある。例えば、高精細な左側画像L-ch画像に対して2D-3D変換を施して生成される高精細な右側画像R-ch画像、推定画像と、実際に撮影された右側画像R-ch画像とを比較して、輪郭エラーのない高精細な画像を生成することができる。また、別の方法として、以下の方法を用いてもよい。まず、差異計算部311は、高精細なL-ch画像例えば、水平1920画素、垂直1080画素の構図、輪郭、色、テクスチャ、シャープネス、空間周波数分布などの画像特徴より、奥行き情報デプス情報1を推定、生成する。ここで、デプス情報1の解像度は、L-ch画像の解像度と同等もしくはそれ以下に設定することができる。デプス情報1は、例えば水平288画素、垂直162画素に設定され得る。次に、差異計算部311は、2つのレンズ系より実際に取得されたL-ch画像およびR-ch画像例えば、水平288画素、垂直162画素より奥行き情報デプス情報2を生成する。ここで、デプス情報2の解像度はR-chの解像度と同等もしくはそれ以下に設定することができる。デプス情報2は、例えば水平288画素、垂直162画素に設定され得る。なお、デプス情報2は実際に撮影した画像から計算しているので、画像特徴より推定して生成したデプス情報1よりも正確である。よって、デプス情報2の奥行き情報を参照して、デプス情報1に推定されるエラーの補正をすることができる。つまり、この場合、画像解析による2D-3D変換によって生成された奥行き情報デプス情報1の精度を上げるための拘束条件として、デプス情報2を利用することと等価である。以上の動作は、L-chで光学ズームを用いている場合も有効動作する。L-chで光学ズームが用いられる時には、高精細なL-chの画像情報を規準画像として、サブ画像としてのR-chの画像情報を参照する方が、画像歪の発生に対して耐性がある。その理由は、第1に、微妙なズーム倍率の変化によるL-ch画像とR-ch画像とのステレオマッチング処理が簡単となるからである。第2に、L-chの光学ズーム倍率が連続的に変化する場合に、デプス情報計算のために、R-chの電子ズーム倍率を追随させると、計算時間がかかるため、ステレオマッチング処理で画像歪エラーが発生する傾向にあるからである。なお、人の場合、両目から入力したステレオ映像から細やかな立体形状、立体表現を作り上げるのは脳であると言われている。このため、2D-3D変換として、例えば、映像全体に眼球の持つ球面的な視差を付けて奥行き感を表現したり、撮影時のズーム量や焦点距離を示す情報を参照することにより、被写体のボケ量から被写体の奥行き情報を推定することもできる。さらに別の方法として、L-ch画像に対して、2つのレンズ系より実測した奥行き情報デプス情報を用いた幾何学的な計算を施すことにより、視差情報に変換してもよい。この視差情報を用いて、幾何学的な計算により、L-ch画像からR-ch画像を計算することができる。また、別の方法として、超解像法がある。この方法では、粗いR-chから超解像により、高精細なR-chを生成する際に、高精細なL-chが参照される。例えば、ガウシアンフィルタ等によって平滑化されたデプスマップを、撮像系の幾何学的な位置関係に基づいて視差情報に変換し、その視差情報を用いて高精細なL-ch画像から高精細なR-ch画像を計算することができる。<視差情報を利用した映像撮影について>次に、画像信号処理部308における撮影制御部313図3の動作を説明する。撮影制御部313は、差異計算部311によって算出された視差情報に基づいて、メイン撮影部350やサブ撮影部351の撮影条件を制御する。本実施の形態の映像撮影装置101によって生成される立体映像を構成する左右の映像は、メイン撮影部350によって撮影された映像に基づいて生成され、利用される。サブ撮影部351によって撮影された映像は、メイン撮影部350によって撮影された映像に対する視差情報を検出するために利用される。そのため、サブ撮影部351は、メイン撮影部350と連携して、視差情報を取得しやすい映像を撮影することが好ましい。そこで、撮影制御部313は、差異計算部311によって算出された視差情報に基づいてメイン撮影部350およびサブ撮影部351の制御を行う。例えば、露出、ホワイトバランス、オートフォーカス等の制御が行われる。差異計算部311がメイン撮影部350による映像とサブ撮影部351による映像とから視差を適切に検出できない場合、それは、メイン撮影部350とサブ撮影部351との間で撮影条件が異なっていることが原因の一つと考えられる。そこで、撮影制御部313は、差異計算部311の視差検出結果に基づいて、光学制御部303および/または光学制御部307を制御することで、メイン撮影部350および/またはサブ撮影部351の撮影条件を変化させる。例えば、メイン撮影部350が適正露出で撮影する一方、サブ撮影部351が露出を過度に大きくして撮影すると、サブ撮影部351による映像は全体的に白色に近い映像撮影された撮像データの画素の値が上限値に近い値となり、被写体の輪郭を識別できない場合がある。このような映像に基づいて差異計算部311が処理を行うと、サブ撮影部351の映像からは被写体の輪郭を抽出できない可能性がある。そこで、撮影制御部313は、光学制御部307を介してサブ撮影部351の露出を修正する制御を行う。露出の修正は、例えば不図示の絞りを調整することによって行われる。これにより、差異計算部311は、修正された、サブ撮影部351からの映像を利用して視差を検出することが可能となる。また、別の制御例として、以下の方法を採用してもよい。メイン撮影部350の映像とサブ撮影部351の映像との間で、写っている被写体の焦点が異なっている場合がある。このような場合、差異計算部311は、両者の映像を比較することにより、被写体の輪郭の鮮明度が両者の画像間で異なっていることがわかる。撮影制御部313は、両者の画像における同一被写体の輪郭の鮮明度の違いを検出すると、光学制御部303および光学制御部307を介してメイン撮影部350およびサブ撮影部351の焦点を同一にするように制御する。具体的には、撮影制御部313は、サブ撮影部351の焦点をメイン撮影部350の焦点に合わせる制御を行う。以上のように、撮影制御部313は、差異計算部311で算出した視差情報に基づいてメイン撮影部350およびサブ撮影部351の撮影条件を制御する。これにより、差異計算部311は、メイン撮影部350およびサブ撮影部351によってそれぞれ撮影された映像から、視差情報をより抽出し易くなる。<水平方向情報を利用した立体映像の生成について>次に、映像撮影装置101が水平面に対して傾いた状態で撮影が行われた場合における画角合わせ部309の処理を説明する。画角合わせ部309は、水平方向検出部318から映像撮影装置101の水平方向に関する情報を取得する。一般に立体映像に含まれる左右の映像は、水平方向については視差を持つが、垂直方向については視差を持たない。これは、人間の左右の眼が水平方向に所定の距離をおいて位置している一方で、垂直方向については略同一水平面上に位置しているためである。そのため、一般的に人は、網膜等の知覚細胞においても水平網膜像差による検知度が比較的高い。例えば、視角にして数秒、または、視距離1mにおいて約0.5mmの奥行き量を検出できる。水平方向の視差については感度が高いが、垂直方向の視差については、垂直網膜像差による特定の空間知覚パターンに依存するため、概して相対的に感度が低いと考えられる。その点を考慮すると、撮影および生成される立体映像についても、視差は横方向のみに発生させ、縦方向には発生させないことが好ましいと考えられる。しかし、映像撮影装置101が三脚等に固定されて撮影される場合はともかく、ユーザが映像撮影装置101を携帯して撮影する場合には、必ずしも撮影される映像が水平方向を保持しているとは限らない。そこで、水平方向検出部318は、映像撮影時の映像撮影装置101の状態、特に、水平方向に対する傾きに関する情報を取得する。画角合わせ部309は、左右の両画像の画角を合わせる際に、この水平方向検出部318からの傾きに関する情報を用いて、映像の水平方向を補正する。例えば、撮影時の映像撮影装置101が傾いているために、撮影された映像も、図11aに示すように傾いているとする。このような場合、画角合わせ部309は、メイン撮影部350およびサブ撮影部351によって撮影された映像の画角合わせを行うとともに、両映像の水平方向の補正を行う。画角合わせ部309は、水平方向検出部318から入力される傾き情報に基づいて、画角合わせを行う際の水平方向を変更して、図11aの点線枠で示す範囲を、画角合わせの結果として出力する。図11bは、画角合わせ部309で水平方向が補正されて出力された結果を示すものである。画角合わせ部309による上記水平方向の補正により、映像撮影装置101が傾いた状態で映像を撮影したとしても、立体映像を生成する段階で適正に水平方向が補正される。そのため、生成された立体映像についても、視差は主に横方向水平方向に生じ、縦方向垂直方向にはほとんど生じない。これにより、視聴者は、自然な立体映像を視聴することが可能となる。上記の説明では、画角合わせ部309は、水平方向検出部318からの傾き情報に基づいて、映像撮影装置101の撮影状態を検知するものとしたが、本発明はこれに限定するものではない。水平方向検出部318を用いなくとも、画像信号処理部308は、他の方法によって映像の水平方向の成分や垂直方向の成分を検知してもよい。例えば、差異計算部311は、メイン撮影部350とサブ撮影部351とが入力した2つの映像に基づいて、視差情報を生成する。この視差情報を用いて差異計算部311は水平方向を判断することも可能である。メイン撮影部350とサブ撮影部351とにより、図12aに示す映像R、Lがそれぞれ撮影された場合、差異計算部311によって生成される視差情報は、例えば図12bに示すような映像で表される。図12に示す映像は、視差情報に基づいて、視差がない部分を実線で記載し、視差のある部分を点線で記載している。これによれば、視差のある部分は撮影した映像内において合焦している部分であり、視差のない部分は、合焦している被写体よりも遠くに位置している被写体である。遠くに位置している被写体は、映像の背景等となる部分であり、これらの部分について映像を解析することで水平方向を検出することが可能である。例えば、図12に示す例では、背景の山の部分を論理的に解析することにより、水平方向を判断することができる。例えば、山の形や、山を構成する木々の生育状況より垂直方向や水平方向を判定することができる。以上の処理により、画角合わせ部309や差異計算部311は、立体映像を生成する段階で、撮影された映像の傾きを検出し、水平方向を補正した立体映像を生成することが可能となる。映像撮影装置101が傾いた状態で撮影した場合であっても、視聴者は水平方向が所定の範囲内で保持された立体映像を視聴することが可能となる。<立体映像生成要否の判断等について>映像撮影装置101は、上記の説明の通り、メイン撮影部350およびサブ撮影部351によって撮影した映像から立体映像を生成する。しかし、映像撮影装置101は、常に立体映像を生成する必要はない。立体映像は、左右映像の視差により被写体の前後関係を視聴者に知覚させることで、視聴される映像が立体的であると視聴者に感じさせる。そのため、表示される映像に含まれる被写体間に前後関係視差量の大小等が存在することが必要である。また、複数の被写体が、映像撮影装置101の近傍から遠方まで一様に配置されていると、よりわかりやすい立体映像が得られる。特許文献1や特許文献2に記載のカメラは、常に立体映像を撮影するように構成されている。そのため、撮影しても立体感を得られないようなシーンについても、立体映像が生成されてしまう。そこで、本実施の形態の映像撮影装置101は、立体映像の撮影と従来の平面映像の撮影とを撮影条件に応じて好適に切り換えることを可能とする。図13は、撮影装置から被写体までの距離被写体距離と当該距離に配された被写体の立体として見える程度立体特性との関係を示したグラフである。一般に被写体距離が大きくなればなるほど、立体特性は小さくなる傾向がある。逆に、被写体距離が小さくなればなるほど、立体特性は大きくなる傾向にある。ここで、被写体の定義として、一般によく用いられる以下の定義を用いる。ケース1撮影装置がマニュアルフォーカスモードの場合は、撮影者が合焦させた撮影対象が被写体であるのが通例である。ケース2また、撮影装置がオートフォーカスモードの場合は、撮影装置が自動的に合焦させた撮影対象が被写体となる。この場合、撮影対象の中心付近の人物、動植物、物体や、撮影範囲において自動検出された人物の顔や目立つ物体一般に、Salientな物体とも呼ばれるが被写体となるのが通例である。撮影した映像が風景画のように遠景の被写体ばかりで構成される場合、被写体は遠方にのみ集中して存在する。被写体の位置が撮影装置から遠方になればなるほど立体映像における被写体の視差量は小さくなる。そのため、視聴者には当該映像が立体映像であるとわかりにくくなる場合がある。これは、ズーム倍率が大きくなって画角が小さくなった場合と同様である。映像撮影装置101は、上記の特性を用いて、撮影された条件や、撮影された映像の特性等に応じて立体映像を生成する機能の有効/無効を切り換えてもよい。その具体的な実現方法について以下に記載する。図14は、撮影装置から被写体までの距離と、当該被写体を撮影した場合における被写体の有効画素数との関係を示す図である。メイン撮影部350の第1光学部300は、ズーム機能を搭載している。図14によれば、被写体距離がズーム範囲上限までの範囲ズーム機能を利用して被写体までの距離に変化があっても被写体像を構成する画素数を一定にできる範囲内にあれば、第1光学部300は当該被写体に対してズーム機能を用いることで一定の有効画素数を維持することができる。しかし、被写体距離がズーム範囲上限以上の被写体を撮影する場合は、距離に応じて当該被写体の有効画素数が減少する。一方、サブ撮影部351の第2光学部304は単焦点機能を有している。そのため、被写体距離に応じて、当該被写体の有効画素数は減少する。上記のような場合に、画像信号処理部308は、映像撮影装置101から被写体までの距離である被写体距離が所定の値閾値未満の場合図14のA領域にのみ、画角合わせ部309、画素数合わせ部310、差異計算部311、画像生成部312の機能を有効にし、立体映像を生成する。反対に、被写体距離が所定の値閾値以上図14のB領域である場合、画像信号処理部308は、画角合わせ部309、画素数合わせ部310、差異計算部311、画像生成部312を動作させず、メイン撮影部350によって撮影された映像を後段に出力する。この被写体距離は、第1光学部300や第2光学部304の合焦の際の焦点距離を利用して測定することが可能である。上記のように、映像撮影装置101は、撮影した被写体の条件、特に被写体までの距離に応じて立体映像を出力する処理と、立体映像を出力しない非立体映像信号を出力する処理とを切り換える。この結果、視聴者には、視聴しても立体映像と知覚しにくい映像については、従来の撮影映像非立体映像を視聴させることが可能となる。このような制御により、必要な場合だけ立体映像が生成されるため、処理量およびデータ量を低減させることができる。また、別の切り換え方法として、映像撮影装置101は、差異計算部311によって検出された視差量の大きさに基づいて、立体映像の生成要否を判定することも可能である。画像生成部312は、差異計算部311により生成されたデプスマップから当該映像に含まれる最大の視差量を抽出する。この最大の視差量が所定の値閾値以上である場合、画像生成部312は、当該映像を、所定以上の立体感を得ることができる映像であると判定することができる。反対に、画像生成部312がデプスマップから抽出した最大の視差量の値が所定の値閾値未満の場合、画像生成部312は、当該立体映像を生成しても視聴者には立体感を知覚しがたい映像であると判断することができる。なお、ここでは映像面に含まれる最大の視差量を例として説明したがこれに限定するものではない。例えば、所定の値より大きい視差量を持つ画素が映像面に占める割合に基づいて判断するものであってもよい。上記の判断方法にしたがって画像生成部312が立体映像を生成する場合、映像撮影装置101は、すでに説明した方法により、映像撮影装置101は立体映像を生成し、出力する。画像生成部312が立体映像を知覚しにくい映像であると判断した場合は、画像生成部312は、立体映像を生成せず、メイン撮影部350から入力された映像を出力する。その結果、映像撮影装置101は、撮影した映像のデプスマップに基づいて立体映像の生成、出力を判断することができる。さらに、すでに述べた水平方向の条件に応じて立体映像の出力要否を判断するものであってもよい。視聴者には水平方向に視差がある映像は比較的自然に見えるが、垂直方向に視差のある映像は不自然に見える可能性がある。そこで、水平方向検出部318による検出結果、又は差異計算部311により検出された視差量を利用して、撮影される映像の水平方向を、画角合わせ部309、又は差異計算部311が判断し、立体映像の生成要否を決定してもよい。例えば、図15Aに示すように、水平方向の傾きが所定の範囲内の角度図15Aの例ではθの範囲内の角度であれば、画像信号処理部308は立体映像を生成して出力する。反対に、水平方向の傾きが図15Aに示す所定の範囲に含まれなければ、画像信号処理部308は、メイン撮影部350で撮影した映像を出力する。このような制御により、映像撮影装置101は、水平方向の傾きに応じて、立体映像の生成、出力要否を判断することが可能となる。以上のように、映像撮影装置101は、幾つかの方法により、立体映像の生成、出力を、その効果立体特性を考慮して自動的に切り換えることが可能となる。ここで、立体特性とは、上記のズーム倍率、最大視差量、カメラの傾き等を指す。立体特性の程度が基準レベル以上であれば立体映像が出力され、基準レベルに満たなければ非立体映像が出力される。図15Bは、上記の立体映像の生成要否の判断に関する画像信号処理部308の処理の流れを示すフローチャートである。以下、各ステップを説明する。ステップS1601:まず、メイン撮影部350およびサブ撮影部351の両方で映像画像フレームが撮影される。ステップS1602:撮影中の映像の立体特性が大きいか否かが判定される。判定は、例えば上記のいずれかの方法で行われる。立体特性が基準レベルに満たないと判定された場合はステップS1603に進み、基準レベル以上と判定された場合はステップS1604に進む。ステップS1603:画像信号処理部308は、メイン撮影部350によって取得された2D映像を出力する。ステップS1604からステップS1609までの処理は、図8におけるステップS805からステップS810までの処理とそれぞれ同じであるため、説明を省略する。なお、本実施の形態は、光学ズーム機能を備えるメイン撮影部350と、電子ズーム機能を備え相対的に高解像度のサブ撮影部351とを備える映像撮影装置を例として説明したが、これに限定するものではない。メイン撮影部350と、サブ撮影部351とが略等価な構成を有する映像撮影装置であってもよい。また、撮影部が単一の方式による撮影を行う映像撮影装置であってもよい。つまり、撮影した映像から立体映像を生成する映像撮影装置であり、被写体までの距離や、水平方向の傾き等といった撮影条件、撮影した被写体の条件等に応じて、立体映像生成の有効/無効、又は立体映像撮影と非立体映像撮影との切り換えを行うものであればよい。そのような構成により、撮影又は生成された立体映像の立体特性の大きさに応じて自動的に映像装置はその切り換えを行うことが可能となる。以上より、本実施の形態の映像撮影装置101は、撮影時の撮影条件や、撮影した映像の条件に応じて、立体映像の撮影と従来の平面映像非立体映像の撮影とを好適に切り換えることが可能となる。<立体映像の記録方式について>次に、図16を参照しながら、生成した立体映像等の記録方式について記載する。画角合わせ部309、画素数合わせ部310、差異計算部311、画像生成部312で生成された立体映像の記録方式については幾つかの方式がある。図16aは、画像信号処理部308が生成した立体映像、つまりメイン撮影部350で撮影された映像MainVideoStreamと、当該映像と対になる、画像信号処理部308が生成した映像SubVideoStreamとを記録する方式である。この方式では、右側映像と左側映像とが、それぞれ独立のデータとして画像信号処理部308から出力される。映像圧縮部315は、これらの左右の映像データをそれぞれ独立に符号化する。映像圧縮部315は、符号化した左右の映像データを多重化する。符号化、多重化されたデータは、蓄積部316に記録される。蓄積部316が可搬型の記録装置である場合は、蓄積部316を別の再生装置に接続すれば、当該再生装置において再生が可能である。そのような再生装置は、蓄積部316に記録されたデータを読み出し、多重化されたデータを分割し、符号化データを復号する処理を行うことにより、立体映像の左右の映像データを再生することが可能となる。この方式では、再生装置側は、立体映像を再生する機能を備えていれば蓄積部316に記録された立体映像を再生できるため、比較的単純な構成で実現できる。また、別の記録方式として、メイン撮影部350で撮影された映像MainVideoStreamと差異計算部311で生成されたデプスマップとを記録する方式がある図16b。この方式では、映像圧縮部315は、メイン撮影部350で撮影された映像を符号化し、符号化された映像データとデプスマップとを多重化する。符号化、多重化されたデータは蓄積部316に記録される。この方式では、再生装置側でデプスマップとメイン側映像とに基づいて、立体映像の対となる映像を生成する必要がある。そのため、再生装置が比較的複雑な構成となる。しかし、デプスマップのデータは、圧縮符号化により、立体映像の対となる映像データよりもデータ量を小さくできるため、本方式によれば、蓄積部316に記録するデータ量を低減することができる。また別の方式として、メイン撮影部350で撮影された映像と、差異計算部311で算出されたメイン側映像とサブ側映像との差分ΔLs/Rsとを記録する方式がある図16c。この場合、映像圧縮部315は、メイン撮影部350で撮影された映像と、差分ΔLs/Rsを示す情報とを符号化する。さらに、映像圧縮部315は、符号化された映像と差分データとを多重化する。多重化されたデータは蓄積部316に記録される。なお、本明細書では、画素ごとに算出された差分ΔLs/Rsの集合を差分画像と呼ぶことがある。この方式では、再生装置側は、差分ΔLs/Rsとメイン側映像とに基づいて、視差量デプスマップと同義。なぜならば、視差量は幾何学的な計算によりデプスマップに変換できるため。を算出し、さらに立体映像の対となる映像を生成する必要がある。そのため、再生装置は映像撮影装置に比較的近い構成を持つ必要がある。しかし、差分ΔLs/Rsのデータを有するため、再生装置側に好適な視差量デプスマップの算出が可能となる。再生装置側で好適な視差量が算出できれば、例えば、再生装置は、当該装置の表示ディスプレイ等の大きさに応じて、視差量を調整した立体映像を生成、表示することができる。立体映像は左眼用映像と右眼用映像との視差の大きさに応じて、立体感表示面に対する前後方向の奥行き感が異なる。そのため、同じ立体映像を大型の表示ディスプレイで視聴する場合と、小型の表示ディスプレイで視聴する場合とでは立体感が異なる。本記録方式の場合、再生装置は自身の表示ディスプレイの大きさにしたがって、生成する立体映像の視差量を調整することができる。また、左右両眼が合焦する面とディスプレイ面との角度と、表示される立体映像が持つ視差が有する角度とが、より快適に視聴できると考えられる関係を保つように、再生装置は、表示する立体映像の臨場感等を制御することが可能となる。これにより、視聴される3D映像の品質を、より高めることが可能となる。さらに、他の方式として、図16には表されていないが、メイン撮影部350で撮影された映像と、サブ撮影部351で撮影された映像とを記録する方式も可能である。この場合、映像圧縮部315は、メイン撮影部350で撮影された映像と、サブ撮影部351で撮影された映像とを符号化する。さらに、映像圧縮部315は、符号化された映像と差分データとを多重化する。多重化されたデータは蓄積部316に記録される。この方式では、撮影装置101は、画角合わせ部2013、画素数合わせ部2014、差異計算部2015、および画像生成部2016を備えている必要はない。一方、再生装置は、画角合わせ部2013、画素数合わせ部2014、差異計算部2015、および画像生成部2016を備える。再生装置は、上記の画像信号処理部308が行う処理と同様の処理画角合わせ、画素数合わせ、差分画像の生成、デプスマップの生成、デプスマップによるメイン画像の補正により、立体画像を生成することが可能である。この方式は、図3に示す画像信号処理部308を撮影装置とは独立した画像処理装置として構成し、当該画像処理装置を再生装置に設ける方式であると言える。そのような方式であっても、上記の実施形態と同様の機能を実現することができる。さらに、再生装置は、立体映像を視聴する視聴者によって、例えば、視聴する人が大人であるか子供であるかによって、表示する映像の視差量を調整してもよい。このような調整により、立体映像の奥行き感を視聴者に応じて変えることができる。視聴者が子供の場合には、奥行き感を小さくするほうが好ましいと考えられる。また、別の例として、部屋の明るさに応じて立体感を変えるものであってもよい。これらの調整は、図16bに示す方式においても同様に再生装置側で行うことが可能である。これにより、再生装置は、視聴者が大人であるか子供であるかなどの視聴条件を示す情報をテレビTVやリモコンなどから受け取り、立体映像の奥行き感を好適に変更することが可能となる。なお、視聴条件としては、上記以外に部屋の明るさ、視聴者が認証登録者であるか否か等、上記以外の各種の視聴者又は視聴環境に関する条件であればいずれの情報であってもよい。図17aは、映像撮影装置101によって撮影された左右の映像からなる立体映像を示している。図17bは、再生装置側で生成された、立体感を弱めた立体映像を示す図である。図17bに示す映像は、図17aに示す映像に比べ、被写体として写っている建築物の位置が左右の映像間で近づいている。つまり、サブ側の映像に写っている建築物の位置が、図17aの場合と比較して左側に位置している。図17cは、再生装置側で立体感をより強めた立体映像を生成した場合の例を示す図である。図17cに示す映像は、図17aに示す映像と比較して、被写体として写っている建築物の位置が左右の映像間で離れている。つまり、サブ側の映像に写っている建築物の位置が、図17aの場合と比較して右側に位置している。再生装置は、このように、立体感の大きさを、各種の条件により独自に設定することができる。なお、本実施の形態の映像撮影装置が、上で説明したように、立体映像の生成要否を各種条件により切り換える場合は、上記の記録方式のいずれかに、さらに以下の情報を追加することができる。映像撮影装置101は、映像を撮影した際の撮影条件や、撮影された映像の条件等によって、立体映像を生成する立体映像を出力する処理と、立体映像を生成しない立体映像を出力しない処理とを切り換える。そのため、映像撮影装置101は、立体映像を生成した部分と、立体映像を生成していない部分とを再生装置側で区別することができるようにするため、記録される映像とともに補助データとして、この区別するための識別情報を記録してもよい。なお、立体映像を生成した部分とは、映像を構成する複数のフレームのうち、立体画像として生成されたフレームの範囲、すなわち時間的な部分を意味する。補助データには、例えば、立体映像が生成されている部分の開始時刻と終了時刻とを示す時間情報、又は開始時刻と立体映像が生成されている期間とを示す時間情報等により構成され得る。時間情報以外でも、例えばフレーム番号や、映像データの先頭からのオフセット等で示されるものであってもよい。つまり、補助データには、記録される映像データ内での立体映像が生成されている部分と、生成されていない部分とが識別される情報を含んでいるものであればいずれの方式であってもよい。映像撮影装置101は、例えば立体映像を生成した部分3D映像と、立体映像を生成していない部分2D映像とを識別するための上記の時間情報やその他の情報、例えば2D/3D識別フラグ等の情報を生成する。そして、当該情報を例えばAVデータストリームやプレイリストに補助情報として記録する。再生装置は、補助情報に含まれる時間情報や2D/3D識別フラグ等により、2D/3D撮影区間を区別することができる。再生装置は、これを利用して自動的に2D/3Dを切り換えて再生することや、3D撮影された区間部分だけを抽出して再生するなどの様々な再生制御を行うことが可能となる。そのような識別情報制御情報は、例えば0:不要、1:要、2:撮影システムに任せるのように、3D出力の要否を示す3値の情報であってもよいし、0:低、1:中、2:高、3:高すぎて危険のように、立体特性の程度を示す4値の値をとる情報であってもよい。上記の例に限らず、2値または4値よりも多くの情報によって3D表示の要否を表してもよい。また、上記の識別情報によって立体映像の出力要否を指示するのではなく、2つの映像の状態および撮影条件の少なくとも一方の情報から立体特性が低いと判断した場合に、当該映像フレームについては視差情報の記録を行わないようにしてもよい。この場合、再生装置は、視差情報を受け取った場合のみ立体映像を表示し、視差情報を受け取らなかった場合には非立体映像を表示するように構成されていればよい。なお、視差量を示す情報は、後述するように、例えば撮影された被写体の視差量を検出して算出したデプスマップである。このデプスマップを構成する各画素のデプス値は、例えば6ビットのビット列で表される。この実施例では、制御情報としての識別情報はデプスマップと組み合わせた統合データとして記録してもよい。また、統合データを、映像ストリームの特定の位置例えば、付加情報エリアやユーザーエリアに埋め込むこともできる。また、制御情報としての識別情報とデプスマップとを組み合わせた統合データに映像ストリームのタイムコードを関連付けて、この統合データをファイル化して、専用のファイル格納領域いわゆる、ファイルシステムにおけるディレクトリ、または、フォルダに記録することもできる。なお、タイムコードは、例えば、1秒に30フレームや60フレームの映像フレーム毎に付加される。ある特定のシーンは、そのシーンの先頭フレームのタイムコードから、そのシーンの最終フレームのタイムコードまでの一連のタイムコードにより識別される。また、制御情報としての識別情報とデプスマップとに、それぞれ映像ストリームのタイムコードを関連付けて、それぞれのデータを専用のファイル格納領域に記録することもできる。このように、制御情報と視差量を示す情報デプスマップとを一緒に記録することによって、左右画像の視差量が適切で迫力のあるシーンや、左右画像の視差量が大きくなりすぎて安全性に課題のあるシーンをマーキングすることができる。よって、このマーキングを利用して、例えば、立体感3D感があって迫力のあるシーンの高速探索呼び出しや、ハイライト再生用のシーンへの適用が容易に実現できる。また、このマーキングを利用して、3D出力が不要なシーンや安全性に課題のあるシーンをスキップ再生したり、安全な画像に再加工信号処理により安全な画像に変換したりすることも可能となる。以上、本実施の形態によれば、全ての撮影部撮影ユニットを略等価な構成とする必要がないため、立体映像の一方を構成する映像を撮影する撮影部と、視差量を検出するための映像を撮影する撮影部とで、異なる構成とすることができる。特に、視差量を検出するための映像を撮影する撮影部は、立体映像の一方を構成する映像を撮影する撮影部と比較して簡略な構成で実現できる可能性があるため、より簡単な構成で立体映像撮影装置を構成することができる。なお、上記の実施の形態では、メイン撮影部350による映像が立体映像の右眼用映像として、画像生成部312により生成される映像が左眼用映像として扱われるが、本発明はこれに限定されるものではない。メイン撮影部350とサブ撮影部351との位置関係が逆、すなわち、メイン撮影部350による映像を左眼用映像として、画像生成部312により生成される映像を右眼用映像としてもよい。また、上記の説明において、画素数合わせ部310が出力する映像のサイズ288×162は、一例であり、本発明はこのようなサイズに限定されるものではない。上記以外のサイズの映像を扱ってもよい。また、本実施の形態では、メイン撮影部350のレンズとサブ撮影部351のレンズとが異なる構成を有しているが、これらが同じ構成であってもよい。例えば、メイン撮影部350、サブ撮影部351ともに同じ焦点距離を持った単焦点レンズであってもよいし、異なる焦点距離を持った単焦点レンズであってもよい。いずれの場合も、撮影される映像のズーム倍率は固定されているため、画角合わせ部310は、両撮影部で撮影された映像から画角合わせ処理を行う際の抽出部分を予め決めておくことができる。さらに、両者のレンズ特性に応じて、撮像部の解像度を設計段階から最適な解像度に決めておくことができる。実施の形態2次に、本発明の実施の形態2を説明する。本実施の形態は、サブ撮像部が2個設けられている点で、実施の形態1とは異なっている。以下、実施の形態1と異なる点を中心に説明し、重複する事項についての説明は省略する。特許文献1や特許文献2に記載のカメラでは、主撮影部で撮影された映像を立体画像の一方主画像とし、この主画像から生成した画像を立体画像の他方従画像とする。主画像は、実際に撮影された映像であるため信頼性の高い映像であるが、従画像は、視差情報に基づいて主画像から生成されるため、主画像と比較すると信頼性の低い画像となる。このような立体画像を表示すると、左右で内容の異なる画像となる恐れがあった。本実施の形態では、複数の撮影系で撮影された映像から立体映像が左右の映像間でも内容の相違が少ない立体映像を生成することを可能とする。<映像撮影装置の構成>図18は、本実施の形態による映像撮影装置1800を示す外観図である。図18の映像撮影装置1800は、センターレンズ部1801と、そのまわりに設けられた、第1サブレンズ部1802および第2サブレンズ部1803とを備えている。実施の形態1で示した第2レンズ部103はない。図18に示す例では、センターレンズ群1801の近傍に、第1サブレンズ部1802と第2サブレンズ部1803とが設けられている。本実施の形態ではこのような構成を例として説明するが、レンズの配置はこれに限定するものではない。例えば、第1サブレンズ部1802と第2サブレンズ部1803との距離が人の左右両眼間の距離と略等価になるような位置に、これらのレンズを配置するものであってもよい。この場合は、以下に説明するように、センターレンズ部1801で撮影された映像から生成される立体映像の左右それぞれの映像間の視差量を人の目で対象物を見た場合の視差量に近づけることが可能となる。この場合、より好ましくは、第1サブレンズ部1802と第2サブレンズ部1803とは、それぞれのレンズの中心が略同一水平面上に位置する位置関係にあることが好ましい。また、センターレンズ部1801との位置関係については、センターレンズ部1801は、第1サブレンズ部1802と第2サブレンズ部1803との相互から略等価な距離の位置にあることが好ましい。これは、センターレンズ部1801を用いて撮影した映像から立体映像を構成する左右映像を生成する際に、左右対称な映像を生成しやすいようにするためである。図18に示す例では、センターレンズ部1801の鏡筒部1804に隣接する位置に第1サブレンズ部1802と第2サブレンズ部1803とが配置されている。この場合、センターレンズ部1801が、略真円の形状であれば、第1サブレンズ部1802と第2サブレンズ部1803とはセンターレンズ部1801に対して略左右対称の位置関係にあるといえる。図19は、映像撮影装置1800のハードウェア構成の概略を示す図である。映像撮影装置1800は、実施の形態1におけるメイン撮影ユニット250に代えて、センターレンズ部1801のレンズ群センターレンズ群1900を備えるセンター撮影ユニット1950を有している。また、サブ撮影ユニット251に代えて、第1サブレンズ部1802のレンズ群第1サブレンズ群1904を備えるサブ1撮影ユニット1951と、第2サブレンズ部1803のレンズ群第2サブレンズ群1908を備えるサブ2撮影ユニット1952とを有している。センター撮影ユニット1950は、センターレンズ群1900の他、CCD1901、A/D変換IC1902、およびアクチュエーター1903も有している。サブ1撮影ユニット1951は、第1サブレンズ群1904の他、CCD1905、A/D変換IC1906、およびアクチュエーター1907も有している。サブ2撮影ユニット1952は、第2サブレンズ群1908の他、CCD1909、A/D変換IC1910、およびアクチュエーター1911も有している。センター撮影ユニット1950のセンターレンズ群1900は、サブ1撮影ユニット1951の第1サブレンズ群1904や、サブ2撮影ユニット1952の第2サブレンズ群1908より、比較的大きいレンズ群から構成されていることが好ましい。また、センター撮影ユニット1950は、ズーム機能を搭載していることが好ましい。これは、センターレンズ群1900で撮影された映像は立体映像を生成する際の基本となるため、集光能力が高く、撮影倍率を任意に変更できるほうが好ましいからである。サブ1撮影ユニット1951の第1サブレンズ群1904、およびサブ2撮影ユニットの第2サブレンズ群1908は、センター撮影ユニット1950のセンターレンズ群1900よりも小型のレンズであってもよい。また、サブ1撮影ユニット1951およびサブ2撮影ユニット1952は、ズーム機能を有していなくてもよい。また、サブ1撮影ユニット1951のCCD1905およびサブ2撮影ユニット1952のCCD1909は、センター撮影ユニットのCCD1901よりも高解像度であることが好ましい。サブ1撮影ユニット1951や、サブ2撮影ユニット1952で撮影された映像は、後述する画角合わせ部2013の処理により、電子ズームによって一部が抽出される可能性がある。そのため、その際にも画像の精度を保てるようにこれらのCCDは高精度であることが好ましい。その他のハードウェア構成については、図2を参照して説明した実施の形態1における構成と同じであるため、説明を省略する。図20は、映像撮影装置1800の機能構成図である。映像撮影装置1800は、実施の形態1と比較して、メイン撮影部350に代えてセンター撮影部主撮影部2050を、サブ撮影部351に代えてサブ1撮影部第1従撮影部2051と、サブ2撮影部第2従撮影部2052とを備えている点が異なる。しかし、センター撮影部2050とメイン撮影部350とは機能的にほぼ等価であり、サブ1撮影部2051およびサブ2撮影部2052は、サブ撮影部351と機能的にほぼ等価である。なお、本実施の形態では図18に示す映像撮影装置1800の構成を例として説明するが、本発明はこの構成に限定されるものではない。例えば、他の構成として、3つ以上のサブ撮影部従撮影部が設けられた構成であってもよい。また、従撮影部はセンター撮影部主撮影部と必ずしも、略同一水平面上に配置されなくてもよい。意図的に、主撮影部や他の従撮影部と垂直方向に異なる位置に配置したものであってもよい。そのような構成では、垂直方向に立体感のある映像を撮影することができる。このように、複数の従撮影部を備えることで、映像撮影装置1800は、さまざまな角度からの撮影多視点撮影を実現することが可能となる。画像信号処理部2012は、実施の形態1における画像信号処理部308と同様に、画角合わせ部2013、画素数合わせ部2014、差異計算部2015、画像生成部2016、撮影制御部2017を有する。画角合わせ部2013は、センター撮影部2050、サブ1撮影部2051、サブ2撮影部2052から入力される映像の画角を合わせる。画角合わせ部2013は、実施の形態1と異なり、3つの異なる角度から撮影された映像の画角を合わせる処理を行う。画素数合わせ部2014は、画角合わせ部2013により画角が合わせられた3つの映像間の画素数を合わせる処理を行う。差異計算部2015は、画角合わせ部2013および画素数合わせ部2014により、画角および画素数が合わせられた3つの映像から、撮影された被写体の視差量を検出し、デプスマップを生成する。画像生成部2016は、差異計算部2015によって生成された映像に撮影されている被写体の視差量デプスマップに基づいて、センター撮影部2050で撮影された映像から立体映像用の左右の映像を生成する。撮影制御部2017は、差異計算部2015が算出した視差量に基づいてセンター撮影部2050、サブ1撮影部2051、サブ2撮影部2052の撮影条件を制御する。水平方向検出部2022、表示部2018、映像圧縮部2019、蓄積部2020、入力部2021は、それぞれ実施の形態1の水平方向検出部318、表示部314、映像圧縮部315、蓄積部316、入力部317と同じであるので説明を省略する。<立体映像信号の生成処理について>以下、本実施の形態における立体映像信号の生成処理を説明する。本実施の形態における立体映像信号の生成処理において、実施の形態1と大きく異なる点は、以下の点にある。すなわち、画像信号処理部2012にセンター撮影部2050、サブ1撮影部2051、サブ2撮影部2052の3系統からの映像信号が入力され、その入力された3系統の映像信号に基づいて視差量が算出される。その後、算出された視差量に基づいてセンター撮影部2050で撮影された映像から、新たに立体映像を構成する左右の映像が生成される。なお、いわゆる両眼間隔に相当するステレオベース距離と視差情報とを用いて、立体映像を演算して生成する過程において、これらの演算係数を変更することにより、立体の臨場感を制御することが可能となる。これにより、視聴される3D映像の品質をより高めることができる。図21は、画角合わせ部2013に入力された3つの映像と、画角合わせ部2013が行う画角合わせの処理との関係を示したものである。画角合わせ部2013は、センター撮影部2050で撮影された映像Centerを基準として、サブ1撮影部2051およびサブ2撮影部2052でそれぞれ撮影された映像Sub1、Sub2中から、センター撮影部2050で撮影された部分画角と同じ領域を抽出する作業を行う。この場合、実施の形態1と同様に、画角合わせ部2013は、入力された映像に基づいて画角を合わせる作業を行ってもよいし、撮影時の撮影制御部2017による制御内容、特に、センター撮影部2050のズーム倍率とサブ1撮影部2051およびサブ2撮影部2052の単焦点距離との関係から画角を決定してもよい。図21に示す例では、センター撮影部2050が撮影した1920×1080の大きさの映像に基づいて、サブ1撮影部2051、サブ2撮影部2052がそれぞれ撮影した3840×2160の映像から、画角が等しい範囲の領域1280×720の部分が抽出される。図22は、画角合わせ部2013、画素数合わせ部2014、差異計算部2015、および画像生成部2016による処理結果を示す図である。画素数合わせ部2014は、上記の例に示すように、画角合わせが行われた3つの映像について、画素数を合わせる処理を行う。上記の例では、センター撮影部2050による映像が1920×1080のサイズを有し、サブ1撮影部2051、およびサブ2撮影部2052で撮影され抽出された映像は、ともに1280×720の画素数を有する。画素数合わせ部2014は、図22に示すように、実施の形態1と同様にこれらの画素数を、例えば288×162のサイズに合わせる。これは、画像信号処理部2012による画像信号処理を全体として処理しやすくするために、3つの映像を所定の目標サイズに合わせることが好ましいからである。そのため、単に3つの映像間で最も画素数の小さい映像に合わせるのではなく、3つの映像間の画素を合わせると同時に、システム全体として処理し易い画像サイズに変更することが好ましい。なお、本実施の形態では上記のような処理が行われるが、本発明は上記のような処理を行うものに限定されるものではない。3つの映像のうち、最小の画素数を持つ映像に他の映像の画素数を合わせる処理が行われてもよい。差異計算部2015は、3つの映像間の視差量を検出する。具体的には、差異計算部2015は、画素数合わせ部2014により画素数合わせがされた、センター撮影部2050によるセンター映像Csと、サブ1撮影部2051によるサブ1映像S1sとの間の差分ΔCs/S1sを示す情報の算出を行う。また、画素数合わせ部2014により画素数合わせがされた、センター撮影部2050によるセンター映像Csと、サブ2撮影部2052によるサブ2映像S2sとの間の差分ΔCs/S2sを示す情報の算出を行う。差異計算部2015は、これらの差分情報に基づいて左右それぞれの視差量を示す情報デプスマップを決定する図22。差異計算部2015は、差分ΔCs/S1sおよびΔCs/S2sから左右それぞれの視差量を決定する際に、左右の対称性を考慮することが好ましい。例えば、左側のみに著しく大きい視差量が発生し、右側にはまったく視差量が発生しない極端な画素がある場合には、そのような画素における視差量の決定に際して、より信頼できる方の値が採用される。このように、左右相互の視差量の値も考慮して最終的に視差量を決定することが好ましい。これにより、サブ1撮影部2051およびサブ2撮影部2052の一方からの映像に部分的に障害映像乱れ等が発生した場合でも、差異計算部2015は、左右相互間の対称性に基づいて、視差量の算出への影響度を小さくすることができる。画像生成部2016は、差異計算部2015が生成したデプスマップと、センター撮影部2050が撮影した映像とから、立体映像を構成する左右映像を生成する。具体的には、図23に示すように、センター撮影部2050で撮影した映像Centerから、デプスマップを参照して、被写体又は映像部分ごとに、視差量に応じて左又は右に移動させることにより、右眼用映像Leftおよび左眼用映像Rightを生成する。図23に示す例では、センター撮影部2050から生成された左眼用映像は、被写体である建築物がセンター映像における位置より、視差量の分だけ右側にずれている。一方、背景部分は、視差量が少ないため、センター撮影部2050による映像と同じである。同様に、右眼用映像は、被写体である建築物がセンター映像における位置より、視差量の分だけ左側にずれている。一方、背景部分は、同様の理由でセンター撮影部2050による映像と同じである。<視差情報を利用した映像撮影について>撮影制御部2017は、実施の形態1と同様の制御を行う。つまり、センター撮影部2050は、立体映像の基本となる映像を主に撮影し、サブ1撮影部2051、サブ2撮影部2052は、センター撮影部2050が撮影した映像に対する視差の情報を取得するための映像を撮影する。そのため、撮影制御部2017は、それぞれの用途に応じた好適な撮影制御を、光学制御部2003、光学制御部2007、光学制御部2011を通じて、第1光学部2000、サブ1光学部2004、サブ2光学部2008に対して行う。例えば、実施の形態1と同様に露出の制御、オートフォーカス等がある。さらに、本実施の形態では、撮影部が、センター撮影部2050、サブ1撮影部2051、サブ2撮影部2052の3つとなったことから、撮影制御部2017はこれら3つの撮影部間の連携等についての制御も行う。特に、サブ1撮影部2051とサブ2撮影部2052は、立体映像生成時の左右それぞれの視差情報を取得するための映像を撮影する。そのため、サブ1撮影部2051とサブ2撮影部2052は、連携して対称となる制御を行うことが好ましい。撮影制御部2017は、サブ1撮影部2051とサブ2撮影部2052とを制御する際は、これらの制約を考慮した制御を行う。水平方向情報を利用した立体映像の生成や、立体映像生成要否の判断等については、実施の形態1と同様のため説明を省略する。<立体映像の記録方式について>本実施の形態でも、実施の形態1と同様に複数の立体映像記録方式がある。以下、図24を参照しながら、それぞれの記録方式について説明する。図24aは、画像生成部2016で生成された立体映像を構成する左右それぞれの映像LeftVideoStream、RightVideoStreamを映像圧縮部2019で符号化し、符号化されたデータを多重化して蓄積部2020に記録する方式である。この方式では、再生装置は、記録されたデータを左右それぞれのデータに分割し、その後それぞれを復号して再生することができれば、記録した立体映像を再生することが可能である。すなわち、本方式の利点としては、再生装置の構成を比較的簡単にすることができる点にある。図24bは、立体映像の基本となるセンター撮影部2050によるセンター映像MainVideoStreamと、センター映像に対する左右其々の映像のデプスマップ視差量とを記録する方式である。この方式では、映像圧縮部2019は、データとしてセンター撮影部2050による映像と、当該映像に対する左右それぞれのデプスマップを符号化する。その後、映像圧縮部2019は、それぞれの符号化されたデータを多重化して、蓄積部2020へ記録する。この場合、再生装置は、蓄積部2020からデータを読み出し、それをデータ種別ごとに分割し、分割したそれぞれのデータを復号する。再生装置はさらに、復号したセンター映像から、左右それぞれのデプスマップに基づいて立体映像を構成する左右それぞれの映像を生成し、表示する。本方式の利点としては、データ量が多い映像データを一つのみとし、左右其々の映像を生成するために必要なデプスマップを合わせて記録することで、記録データ量を抑制することができる点にある。図24cは、立体映像の基本となるセンター撮影部2050による映像を記録する点は図24bと同様である。しかし、デプスマップ情報に代えて、センター撮影部2050による映像とサブ1撮影部2051、およびサブ2撮影部2052による映像との差分情報差分画像を記録する点が図24bに示す方式と異なる。この方式では、映像圧縮部2019は、センター撮影部2050による映像と、センター撮影部2050に対する左右それぞれの差分情報ΔCs/RsおよびΔCs/Lsをそれぞれ符号化した後、これらを多重化して蓄積部2020に記録する。再生装置は、蓄積部2020に記録されたデータをデータ種別ごとに分割し、それぞれを複合化する。その後、再生装置は、差分情報ΔCs/RsおよびΔCs/Lsからデプスマップを算出し、センター撮影部2050による映像から立体映像を構成する左右其々の映像を生成、表示する。本方式の利点は、再生装置が自身の表示ディスプレイの性能に応じて、デプスマップを生成し、立体映像を生成することができる。そのため、個々の再生条件に応じた立体映像の再生を実現することができる。以上の構成により、本実施の形態による映像撮影装置は、センター撮影部2050で撮影した映像から、立体映像を構成する左右の映像を生成することができる。従来技術のように、一方の映像は実際に撮影された映像であるが、他方の映像は実際に撮影された映像に基づいて生成した映像である場合は、左右の映像の信頼性に大きな偏りが生じる。これに対して、本実施の形態では、左右映像の両者とも、撮影された基本映像により生成されている。そのため、立体映像としての左右対称性も考慮して映像を作ることができるため、左右のバランスがとれた、より自然な映像を生成することができる。また、実施の形態1と同様に、全ての撮影部撮影ユニットを略等価な構成とする必要がないため、立体映像の基礎となる映像を撮影するセンター撮影部2050と、視差量を検出するための映像を撮影するサブ撮影部2051、2052とで、異なる構成とすることができる。特に、視差量を検出するためのサブ撮影部2051、2052は、センター撮影部2050と比較して簡略な構成で実現できる可能性があるため、より簡単な構成で立体映像撮影装置1800を構成することができる。なお、本実施の形態においても、上記の画素数合わせ部2014が出力する映像のサイズは一例であり、本発明はこれに限定されるものではない。上記以外のサイズの映像を扱うものであってもよい。実施の形態の変形例上記実施の形態1、および実施の形態2では、図1bや図18に示す映像撮影装置を例として説明したが、本発明の映像撮影装置はこれらの構成に限定されるものではない。映像撮影装置は、他の構成として、例えば図25に示す構成を有していてもよい。図25aは、映像撮影装置前面から見た場合に、サブ撮影ユニット2503がメイン撮影ユニット2502よりも左側に配置された構成例を示している。この構成例では、サブ撮影ユニット2503は、サブレンズ支持部2501に支持され、本体から離れた位置に配置されている。この例における映像撮影装置は、実施の形態1とは逆に、メイン撮影部による映像を左側の映像とすることができる。図25bは、図25aに示す構成とは逆に、映像撮影装置前面から見た場合に、サブ撮影ユニット2504がメイン撮影ユニット2502よりも右側に配置された構成例を示している。この構成例では、サブ撮影ユニット2504は、サブレンズ支持部2502に支持され、本体から離れた位置に配置されている。この構成例によれば、実施の形態1における構成よりもメイン撮影ユニット2502とサブ撮影ユニット2504との間の距離が大きいため、映像撮影装置は、より視差の大きい映像を撮影することができる。また、上記実施の形態1、および実施の形態2における、メイン撮影部又はセンター撮影部がズームレンズを有し、サブ撮影部が単焦点レンズを有する構成において、ズーム光学系の焦点距離を単焦点レンズの焦点距離に一致させて立体映像の撮影を行うように構成されていてもよい。この場合、立体映像の撮影は、メイン撮影部の光学倍率とサブ撮影部の光学倍率とが同じ状態で撮影されることとなる。立体映像の撮影を行わず、従来のように非立体映像の撮影を行う場合は、メイン撮影部がズームレンズを可動にした状態で撮影してもよい。このような構成により、立体映像の撮影はメイン撮影部の倍率とサブ撮影部の倍率とが等しい状態で行われることとなり、画像信号処理部は、画角合わせ等の処理を比較的簡単に実行することが可能となる。また、立体映像撮影時にメイン撮影部がズームレンズを可動にして撮影する場合であっても、画像処理部の画角合わせ部が、サブ撮影部が撮影した映像から該当部分を抽出する際の拡大率電子ズームが所定の範囲の場合例えば、拡大率が4倍以下等の場合にのみ立体映像を生成するものであってもよい。この拡大率が所定の範囲を超える場合は、立体映像の生成を停止し、メイン撮影部が撮影した従来の非立体映像を画像信号処理部が出力するように構成されていてもよい。これにより、拡大率が大きいために、算出された奥行き情報デプスマップの信頼性が低い撮影部分では立体映像の生成が停止されることで、生成される立体映像の品質を比較的高品質に保つことが可能となる。さらに、メイン撮影部がズームレンズを有し、サブ撮影部が単焦点レンズを有する構成において、奥行き情報デプスマップを取得した場合、ズーム光学系または単焦点レンズ光学系の光学式絞りを除去した構成であってもよい。例えば、撮影された立体映像が、撮影装置より1m以遠の被写体に対して、全画面で焦点が合っているとする。この場合、全画面で焦点が合っているので、画像処理により焦点ボケを持った映像を生成することができる。光学式絞り方式では、光学系の特性のため、ボケる深度領域は絞り量により一意的に決まるが、画像処理では鮮明にする深度領域とボケさせる深度領域を自由に制御することができる。例えば、鮮明にする深度領域の深度幅を光学式の場合よりも広くしたり、複数の深度領域で被写体を鮮明にすることができる。また、メイン撮影部350又はサブ撮影部351の光軸方向を可動にするものであってもよい。つまり立体撮影における平行法と交差法の撮影を映像撮影装置が変更できるようにしてもよい。具体的には、サブ撮影部351を構成するレンズを含んだレンズ鏡筒および撮像部を制御されたモータ等によって駆動することによって光軸を変化させることができる。このような構成により、映像撮影装置は被写体や撮影条件に応じて平行法と交差法とを切り変えることができる。あるいは、交差法におけるクロスポイントの位置を動かすなどの制御を行うことができる。なお、モータ等による機械制御に代えて、電子制御によりこれを実現するものであってもよい。例えば、サブ撮影部351のレンズとしては、メイン撮影部350のレンズに比して、非常に広角の魚眼レンズ等が利用される。この場合、サブ撮影部351により撮影された映像は、通常のレンズで撮影された映像よりも広範囲広角であるため、メイン撮影部350が撮影した範囲の映像を含む。画角合わせ部は、メイン撮影部350で撮影された映像に基づいて、サブ撮影部351で撮影された映像から、交差法で撮影された場合に含まれる範囲を抽出する。魚眼レンズで撮影された映像は、周辺部が歪み易い特性がある。そのため、画角合わせ部はこの点も考慮して抽出時に同時に画像の歪み補正も行う。つまり、これにより、映像撮影装置は、メイン撮影部350とサブ撮影部351の光軸を機械的に変化させなくても、電子処理により平行法と交差法とを実現することが可能となる。なお、この場合は、サブ撮影部351の解像度を、メイン撮影部350の解像度よりも十分大きく例えば、2倍以上にしておくことが好ましい。これは、サブ撮影部351で撮影された映像は画角合わせ処理等により抽出されることが前提となるため、抽出される部分の解像度を少しでも高くするためである。ここでは、実施の形態1の構成について、魚眼レンズ等の広角レンズを用いる方法について説明したが、実施の形態2の構成センターレンズ、第1サブレンズ、第2サブレンズを採用した場合についても、少なくとも3つのレンズのうちの2つのレンズの関係において、上記の方法を適用することが可能である。さらに、差異計算部311、2015は、撮影画角内の被写体の位置と分布と被写体の輪郭とにより、奥行き情報デプスマップの計算の精度、奥行き情報の算出刻みを変えてもよい。例えば、差異計算部311、2015は、ある被写体に対して奥行き情報の刻みを粗く設定し、その被写体内部の奥行き情報の刻みを細かく設定してもよい。すなわち、差異計算部311、2015は、奥行き情報を、撮影している画角、構図の内容に応じて被写体の内外で階層構造にしてもよい。ステレオ画像の視差に関して、図13を参照して説明したように、遠くの被写体の視差量は小さくなる。このため、例えば水平解像度が288ピクセルの画像に対して、視差量が3ピクセルの場合の被写体の距離の範囲被写体距離領域と、視差量が2ピクセルの場合の被写体距離領域と、視差量が1ピクセルの場合の被写体距離領域とを比較すると、視差量が小さいほど被写体距離領域が広がっていく。すなわち、遠くになるほど被写体距離の変化に対する視差量の変化の感度が小さくなる。これにより、遠くになるほど同じ視差量の被写体距離領域内の被写体は同じ奥行きとして認識され、いわゆるカキワリ効果を生じる。カキワリ効果とは、舞台道具の書き割りのように、映像のある部分が扁平に見える現象である。そこで、映像の輪郭およびテクスチャーの特徴抽出を行い、輪郭線や面の傾きより奥行き変化が推定できる場合、この奥行き変化量を用いることにより、1ピクセルの視差量を例えば2等分あるいは4等分することができる。このように、視差量を2等分あるいは4等分することにより、視差の感度が2倍または4倍に拡大できるため、カキワリ効果を低減できる。差異計算部311、2015は、これにより、奥行き情報の演算を高精度化でき、オブジェクト内の微妙な奥行き表現が可能になる。また、映像撮影装置は、生成される立体映像を特徴のある部分の奥行きを意図的に大きくしたり、小さくしたりといった変化を有する映像とすることも可能になる。さらに、別の活用方法として、映像撮影装置が、奥行き情報と主画像とにより、三角法の原理を用いて、任意視点での画像を計算して生成することもできる。ところで、映像が立体情報を含む場合、映像撮影装置自体が記憶手段と学習手段をさらに備え、映像に関する学習と記憶とを積み重ねることにより、被写体と背景とにより構成される映像の構図を、人間のように理解することが可能となる。例えば、ある被写体の距離が分かれば、その大きさや輪郭、テクスチャー、色、動き加速度や角速度情報を含むより、その被写体が何であるかを同定することが可能となる。よって、クロマキー処理のように特定の色の被写体だけを抽出したりするだけでなく、特定の距離にある人や物オブジェクトの抽出、さらに、認識結果より特定の人や物の抽出が可能となる。映像が立体情報を持っていると、CGComputerGraphics処理に展開でき、VRVirtualReality、ARAugumentedReality、MRMixedRealityなど、撮影映像とコンピュータで生成した映像データとの合成処理などができる。また上記以外にも、例えば、映像の上方で無限遠に広がりがあるブルーの領域は青空である、映像の青空領域の中で白い領域は雲である、などと映像撮影装置に認識せることも可能である。同様に、映像の中央から下方にかけて広がりがある灰色領域は道路である、また道路上で透明部ガラスウインドウ部と、黒い丸いドーナツ状の黒い部分タイヤを持った物体は自動車であるなどと映像撮影装置に認識させることができる。さらに、自動車の形をしていても、距離が分かれば、本物の自動車であるか、おもちゃの自動車であるかを映像撮影装置に判定することができる。このように、被写体である人や物の距離が分かると、その人や物の認識をより正確に映像撮影装置に判定させることができる。なお、映像撮影装置自体が持つ記憶手段と学習手段には容量や処理能力の限界があるので、これらの記憶手段と学習手段をWEBなどのネットワーク上に待たせて、より認識用のデータベースを持った高機能なクラウドサービス機能として実装してもよい。この場合は、映像撮影装置からネットワーク上のクラウドサーバーなどに撮影映像を送るとともに、認識したいことや知りたいことを問い合わせる構成とすればよい。単体に、ネットワーク上のクラウドサーバーから映像撮影装置には、撮影映像が含む被写体や背景の意味データや、場所や人に関する過去から現在までの説明データを送信する。これにより、映像撮影装置をよりインテリジェントな端末として活用することができる。なお、実施の形態1乃至実施の形態2では、映像撮影装置を用いて説明したが、本出願で説明する発明はこの態様に限定されるものではない。他の実現方法として、上記の映像装置で用いるプログラム等をソフトウェアにより実現することも可能である。また、以上の各実施の形態では、立体映像を生成、記録する映像撮影装置を前提としたが、静止画像のみを生成する撮影装置においても、全く同様に上記の撮影方法および画像処理方法を適用することが可能である。