(57)【要約】  品質の高い立体視用画像を生成する。そのために、撮像装置（１１０）は、第１撮像部（３００）と、第１画像以上の画角と解像度を有する第２画像信号を出力するように構成された第２撮像部（３１０）と、第１画像信号に基づき第２画像信号から切り出し画像信号を生成するように構成された画角合わせ部（３２１）と、補間画素を生成するように構成された補間画素生成部（３２７）と、補間画素を用いて高解像度化された第１画像信号と切り出し画像信号とに基づき視差情報を生成するように構成された視差情報生成部（３３０）と、視差情報に基づき、高解像度化された第１画像信号から新たな画像信号を生成するように構成された画像生成部（３３１）と、を備える。
2014141653.tif 000002
【特許請求の範囲】
【請求項１】
第１画像信号と、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号と、が入力され、前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成された画角合わせ部と、
前記第１画像信号を高解像度化するための補間画素を生成するように構成された補間画素生成部と、
前記補間画素を用いて高解像度化された前記第１画像信号と、前記切り出し画像信号と、に基づき視差情報を生成するように構成された視差情報生成部と、
前記視差情報に基づき、前記高解像度化された第１画像信号から新たな画像信号を生成するように構成された画像生成部と、
を備える画像生成装置。
【請求項２】
補間フレーム生成部をさらに備え、
前記画角合わせ部は、動画信号である前記第１画像信号と、前記第１画像信号よりも高解像度かつ低フレームレートの動画信号である前記第２画像信号を受け付けるように構成され、
前記補間フレーム生成部は、前記切り出し画像信号を高フレームレート化するための補間フレームを生成するように構成され、
前記視差情報生成部は、前記高解像度化された第１画像信号と、前記補間フレームを用いて高フレームレート化された前記切り出し画像信号と、に基づき前記視差情報を生成するように構成された、
請求項１に記載の画像生成装置。
【請求項３】
前記補間画素生成部は、前記第１画像信号を前記切り出し画像信号の解像度と実質的に等しい解像度に高解像度化する前記補間画素、を生成するように構成され、
前記補間フレーム生成部は、前記切り出し画像信号を前記第１画像信号のフレームレートと実質的に等しいフレームレートに高フレームレート化する前記補間フレーム、を生成するように構成された
請求項２に記載の画像生成装置。
【請求項４】
第１画像を撮像して第１画像信号を出力するように構成された第１撮像部と、
前記第１画像以上の画角を有する第２画像を、前記第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部と、
前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成された画角合わせ部と、
前記第１画像信号を高解像度化するための補間画素を生成するように構成された補間画素生成部と、
前記補間画素を用いて高解像度化された前記第１画像信号と、前記切り出し画像信号と、に基づき視差情報を生成するように構成された視差情報生成部と、
前記視差情報に基づき、前記高解像度化された第１画像信号から新たな画像信号を生成するように構成された画像生成部と、
を備える撮像装置。
【請求項５】
補間フレーム生成部をさらに備え、
前記第１撮像部は、前記第１画像信号を動画信号として出力することができるように構成され、
前記第２撮像部は、前記第２画像信号を前記第１画像信号よりも高解像度かつ低フレームレートの動画信号として出力することができるように構成され、
前記補間フレーム生成部は、前記切り出し画像信号を高フレームレート化するための補間フレームを生成するように構成され、
前記視差情報生成部は、前記高解像度化された第１画像信号と、前記補間フレームを用いて高フレームレート化された前記切り出し画像信号と、に基づき前記視差情報を生成するように構成された、
請求項４に記載の撮像装置。
【請求項６】
前記補間画素生成部は、前記第１画像信号を前記切り出し画像信号の解像度と実質的に等しい解像度に高解像度化する前記補間画素、を生成するように構成され、
前記補間フレーム生成部は、前記切り出し画像信号を前記第１画像信号のフレームレートと実質的に等しいフレームレートに高フレームレート化する前記補間フレーム、を生成するように構成された
請求項５に記載の撮像装置。
【請求項７】
前記第１撮像部は、光学的なズーム機能を有する第１光学部と、前記第１光学部を透過した光を電気信号に変換して前記第１画像信号を出力するように構成された第１撮像素子と、を備え、
前記第２撮像部は、前記第１光学部以上の画角を有する第２光学部と、前記第２光学部を透過した光を前記第１撮像素子よりも高い解像度で電気信号に変換して前記第２画像信号を出力するように構成された第２撮像素子と、を備え、
前記第１撮像部および前記第２撮像部は、前記ズーム機能を望遠端の状態にしたときに撮像される前記第１画像信号に基づき生成される前記切り出し画像信号の解像度が、前記第１画像信号の解像度以上になるように構成され、
前記補間画素生成部は、前記第１画像信号を前記切り出し画像信号の解像度と実質的に等しい解像度に高解像度化するための前記補間画素、を生成するように構成された、
請求項５に記載の撮像装置。
【請求項８】
前記第２光学部は、前記第１光学部を広角端にしたときの画角に実質的に等しい画角を有するように構成された、
請求項７に記載の撮像装置。
【請求項９】
第１画像信号に基づき、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号から、少なくとも一部を切り出して切り出し画像信号を生成し、
前記第１画像信号を高解像度化するための補間画素を生成し、
前記補間画素を用いて高解像度化された前記第１画像信号と、前記切り出し画像信号と、に基づき視差情報を生成し、
前記視差情報に基づき、前記高解像度化された第１画像信号から新たな画像信号を生成する、
画像生成方法。
【請求項１０】
動画信号である前記第１画像信号と、前記第１画像信号よりも高解像度かつ低フレームレートの動画信号である前記第２画像信号を受け付け、
前記切り出し画像信号を高フレームレート化するための補間フレームを生成し、
前記高解像度化された第１画像信号と、前記補間フレームを用いて高フレームレート化された前記切り出し画像信号と、に基づき前記視差情報を生成する、
請求項９に記載の画像生成方法。
【請求項１１】
前記第１画像信号を、前記切り出し画像信号の解像度と実質的に等しい解像度に高解像度化するように、前記補間画素を生成し、
前記切り出し画像信号を、前記第１画像信号のフレームレートと実質的に等しいフレームレートに高フレームレート化するように、前記補間フレームを生成する、
請求項１０に記載の画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、主撮像部と従撮像部とを備え、３Ｄ画像を生成するデジタルカメラを開示する。このデジタルカメラは、主撮像部から得られる主画像信号と従撮像部から得られる従画像信号との間に生じる視差を抽出する。そして、抽出した視差に基づき、主画像信号から新たな従画像信号を生成し、主画像信号と新たな従画像信号とで３Ｄ画像を生成する。【０００３】
特許文献２は、左右の撮影倍率が異なった状態でステレオ撮影を行うことができるステレオカメラを開示する。このステレオカメラは、第１の画像データを生成する第１の撮像手段と、第１の画像データよりも画角が広い第２の画像データを生成する第２の撮像手段とを有する。そして、第２の画像データから、第１の画像データに対応する範囲を第３の画像データとして切り出し、第１の画像データと第３の画像データとでステレオ画像データを生成する。【０００４】
また、特許文献１、２は、主撮像部（第１の撮像手段）は光学ズーム機能を備え、従撮像部（第２の撮像手段）は光学ズーム機能を備えず電子ズーム機能を備えた構成を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２０６０６号公報
【特許文献２】特開２００５−２１０２１７号公報
【発明の概要】
【０００６】
本開示は、光学的特性および撮像素子の仕様が異なる一対の撮像部で撮像される一対の画像または動画から、品質の良い立体視用の画像または動画を得るのに有効な画像生成装置および撮像装置を提供する。
【０００７】
本開示の撮像装置は、第１撮像部と、第２撮像部と、画角合わせ部と、補間画素生成部と、視差情報生成部と、画像生成部と、を備える。第１撮像部は、第１画像を撮像して第１画像信号を出力するように構成されている。第２撮像部は、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成されている。画角合わせ部は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。補間画素生成部は、第１画像信号を高解像度化するための補間画素を生成するように構成されている。視差情報生成部は、補間画素を用いて高解像度化された第１画像信号と、切り出し画像信号と、に基づき視差情報を生成するように構成されている。画像生成部は、視差情報に基づき、高解像度化された第１画像信号から新たな画像信号を生成するように構成されている。
【０００８】
また、本開示の撮像装置は、補間フレーム生成部をさらに備える。そして、第１撮像部は、第１画像信号を動画信号として出力することができるように構成されている。第２撮像部は、第２画像信号を第１画像信号よりも高解像度かつ低フレームレートの動画信号として出力することができるように構成されている。補間フレーム生成部は、切り出し画像信号を高フレームレート化するための補間フレームを生成するように構成されている。視差情報生成部は、高解像度化された第１画像信号と、補間フレームを用いて高フレームレート化された切り出し画像信号と、に基づき視差情報を生成するように構成されている。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１における撮像装置の外観図である。
【図２】図２は、実施の形態１における撮像装置の回路構成を概略的に示す図である。
【図３】図３は、実施の形態１における撮像装置の立体動画撮影時の動作を説明するフローチャートである。
【図４】図４は、実施の形態１における撮像装置の構成を機能毎にブロック分けして示す図である。
【図５】図５は、実施の形態１における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。
【図６Ａ】図６Ａは、実施の形態１における撮像装置で撮像された第１画像の一例を示す図である。
【図６Ｂ】図６Ｂは、実施の形態１における撮像装置で撮像された第２画像の一例を示す図である。
【図７】図７は、実施の形態１における撮像装置で撮影された第１画像と第２画像の各画素の発生時刻の差を概略的に示す図である。
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１２】
（実施の形態１）
以下、図１〜図７を用いて、実施の形態１を説明する。
【００１３】
［１−１．構成］
図１は、実施の形態１における撮像装置１１０の外観図である。撮像装置１１０は、モニター１１３と、第１レンズ部１１１を有する撮像部（以下、「第１撮像部」と記す）と、第２レンズ部１１２を有する撮像部（以下、「第２撮像部」と記す）と、を備えている。撮像装置１１０は、このように複数の撮像部を有し、それぞれの撮像部で静止画撮像および動画撮影が可能である。
【００１４】
第１レンズ部１１１は、第１撮像部の撮像方向が前方を向くように、撮像装置１１０の本体前方に設けられている。
【００１５】
モニター１１３は、開閉可能に撮像装置１１０本体に設けられ、撮像画像を表示するためのディスプレイ（図１には示さず）を有する。ディスプレイは、モニター１１３を開いたとき、第１撮像部の撮像方向とは反対側の面、すなわち撮像装置１１０の後方にいる使用者（図示せず）が観測できる側に、備えられている。
【００１６】
第２レンズ部１１２は、モニター１１３の、ディスプレイの設置側と反対側に配置され、モニター１１３を開いたときに第１撮像部と同じ方向を撮像できるように構成されている。
【００１７】
撮像装置１１０では、第１撮像部を主たる撮像部とし、第２撮像部を従たる撮像部とする。そして、図１に示すように、モニター１１３を開いた状態にすることで、これら２つの撮像部を用いて、立体視用の静止画（以下、「立体画像」と記す）の撮像および立体視用の動画（以下、「立体動画」と記す）の撮影が可能である。主たる第１撮像部は光学ズーム機能を有し、使用者は、このズーム機能を任意のズーム倍率に設定して静止画撮像または動画撮影が可能である。
【００１８】
本実施の形態では、右眼視点の画像を第１撮像部で撮像し、左眼視点の画像を第２撮像部で撮像する例を説明する。したがって、図１に示すように、撮像装置１１０では、撮像方向に向かって右側に第１レンズ部１１１が配置され、撮像方向に向かって左側に第２レンズ部１１２が配置されている。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１撮像部で左眼視点の画像を撮像し、第２撮像部で右眼視点の画像を撮像するように構成してもよい。以下、第１撮像部で撮像した画像を「第１画像」とし、第２撮像部で撮像した画像を「第２画像」とする。
【００１９】
なお、従たる第２撮像部が有する第２レンズ部１１２は、第１レンズ部１１１と比較して口径が小さく、光学ズーム機能も備えていない。そのため、第２撮像部は、設置に必要な容積が第１撮像部と比較して小さく、モニター１１３に搭載することができる。
【００２０】
本実施の形態では、第１撮像部で撮像される右眼視点の画像を、立体画像を構成する右眼用画像としてそのまま用いることはせず、また、第２撮像部で撮像される左眼視点の画像を、立体画像を構成する左眼用画像として用いることをしない。詳細は後述するが、本実施の形態では、第１撮像部で撮像された第１画像と第２撮像部で撮像された第２画像とをそれぞれ高画質化し、高画質化した後の画像を比較することにより視差量を算出し、算出した視差量にもとづき立体画像を生成する。
【００２１】
この視差量とは、第１画像と第２画像とを同一画角にして重ね合わせたときに生じる被写体の位置のずれの大きさのことである。このずれは、第１撮像部と第２撮像部との配置位置の違い（視差）により生じる。自然な立体感を有する立体画像を生成するためには、第１撮像部の光軸と第２撮像部の光軸とが、人の視差方向と同様に地面に対して水平になるように、かつ左右の眼の離間幅と同程度離間するように、設定されていることが望ましい。
【００２２】
そのために、撮像装置１１０では、第１レンズ部１１１と第２レンズ部１１２とを、使用者が撮像装置１１０を正常に保持（立体画像を撮像する状態で保持）したときに、それぞれの光学中心が実質的に同一の水平面（地面に水平な面）上に位置するように、配置する。また、第１レンズ部１１１の光学中心と第２レンズ部１１２の光学中心との距離が、３０ｍｍ以上６５ｍｍ以下となるようにそれぞれの配置位置を設定する。
【００２３】
また、自然な立体感を有する立体画像を生成するためには、第１レンズ部１１１および第２レンズ部１１２は、それぞれの配置位置から被写体までの距離が互いに実質的に等しいことが望ましい。そのために、撮像装置１１０では、第１レンズ部１１１および第２レンズ部１１２を、エピポーラ拘束（Ｅｐｉｐｏｌａｒ  Ｃｏｎｓｔｒａｉｎｔ）を実質的に満足するように配置する。すなわち、第１レンズ部１１１および第２レンズ部１１２を、それぞれの光学中心が、第１撮像部が有する撮像素子または第２撮像部が有する撮像素子の撮像面に実質的に平行な１つの平面上に位置するように、配置する。
【００２４】
なお、これらの条件は、厳密に満たされなければならない、というわけではなく、実用上問題が生じない範囲での誤差は許容される。また、仮にこれらの条件が満足されなくとも、画像の拡大縮小、回転、平行移動等を計算で行うアフィン変換を実行することにより、これらの条件を満足する画像に変換することも可能である。そして、アフィン変換を施した画像を用いて視差量を算出すればよい。
【００２５】
また、撮像装置１１０では、第１撮像部の光軸と第２撮像部の光軸とが互いに平行になるように第１レンズ部１１１および第２レンズ部１１２を配置する（以下、「平行法」と記す）。しかし、第１撮像部の光軸と第２撮像部の光軸とが所定の一点で交差するように第１レンズ部１１１および第２レンズ部１１２を配置（以下、「交差法」と記す）してもよい。また、平行法で撮像された画像を、アフィン変換により、交差法で撮像されたかのような画像に変換することも可能である。
【００２６】
なお、これらの条件が満たされた状態で撮像される第１画像および第２画像では、被写体の位置はエピポーラ拘束条件を実質的に満たす。この場合、後述する立体画像の生成過程において、一方の画像（例えば、第１画像）で被写体の位置が確定すると、他方の画像（例えば、第２画像）での被写体の位置は比較的容易に算出できるので、立体画像の生成過程における演算量を軽減できる。逆に、これらの条件で満たされない項目が増えるほど、アフィン変換等の演算量が増えるので、立体画像の生成過程における演算量は増大する。
【００２７】
図２は、実施の形態１における撮像装置１１０の回路構成を概略的に示す図である。
【００２８】
撮像装置１１０は、第１撮像部である第１撮像ユニット２００、第２撮像部である第２撮像ユニット２１０、ＣＰＵ２２０、ＲＡＭ２２１、ＲＯＭ２２２、加速度センサ２２３、ディスプレイ２２５、エンコーダー２２６、記憶装置２２７、入力装置２２４を有する。
【００２９】
第１撮像ユニット２００は、第１レンズ群２０１、第１撮像素子である第１ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）２０２、第１Ａ／Ｄ変換ＩＣ２０３、および第１アクチュエーター２０４を備える。
【００３０】
第１レンズ群２０１は、図１に示した第１レンズ部１１１に相当し、光学ズームが可能なズームレンズおよびフォーカス調節が可能なフォーカスレンズ、を含む複数のレンズで構成される光学系である。さらに、第１レンズ群２０１には、第１ＣＣＤ２０２で受光する光の量（光量）を調節する光学式の絞り（図示せず）が備えられている。第１レンズ群２０１を通して取り込まれた光は、第１レンズ群２０１で光学ズーム、フォーカスおよび光量の各調節がなされた後、第１ＣＣＤ２０２の撮像面に被写体像として結像する。この画像が第１画像である。
【００３１】
第１ＣＣＤ２０２は、撮像面で受光した光を電気信号に変換して出力するように構成されている。この電気信号は、光の強さ（光量）に応じて電圧値が変化するアナログ信号である。
【００３２】
第１Ａ／Ｄ変換ＩＣ２０３は、第１ＣＣＤ２０２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第１画像信号である。
【００３３】
第１アクチュエーター２０４は、第１レンズ群２０１に含まれるズームレンズおよびフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＣＰＵ２２０から出力される制御信号により制御される。
【００３４】
本実施の形態では、第１撮像ユニット２００は、第１画像を「水平方向の画素数１，９２０、垂直方向の画素数１，０８０」の画像信号にして出力するものとして、以下の説明を行う。また、第１撮像ユニット２００は、静止画の撮像だけでなく、動画撮影も可能に構成されており、一般的な動画と同様のフレームレート（例えば、６０Ｈｚ）での動画撮影を行うことができる。したがって、第１撮像ユニット２００では、高品質で滑らかな動画を撮影することが可能である。なお、フレームレートとは、単位時間（例えば、１秒間）に撮像する画像の枚数のことであり、フレームレートを６０Ｈｚにして動画撮影すると、１秒間に６０枚の画像が連続して撮像される。
【００３５】
なお、第１画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。
【００３６】
第２撮像ユニット２１０は、第２レンズ群２１１、第２撮像素子である第２ＣＣＤ２１２、第２Ａ／Ｄ変換ＩＣ２１３、および第２アクチュエーター２１４を備える。
【００３７】
第２レンズ群２１１は、図１に示した第２レンズ部１１２に相当し、フォーカス調節が可能なフォーカスレンズを含む複数のレンズで構成される光学系である。第２レンズ群２１１を通して取り込まれた光は、第２レンズ群２１１でフォーカスの調節がなされた後、第２ＣＣＤ２１２の撮像面に被写体像として結像する。この画像が第２画像である。
【００３８】
なお、第２レンズ群２１１は、上述したように光学ズーム機能を備えていない。そのため、光学ズームレンズではなく単焦点レンズを有する。また、第２レンズ群２１１は、第１レンズ群２０１よりも小型のレンズ群から構成され、第２レンズ群２１１の対物レンズには、第１レンズ群２０１の対物レンズよりも口径が小さいものが用いられている。これにより、第２撮像ユニット２１０を第１撮像ユニット２００よりも小型化し、撮像装置１１０全体を小型化して使い勝手（携帯性、操作性）を向上するとともに、第２撮像ユニット２１０の配置位置に関する自由度を高めている。これにより、図１に示したように、第２撮像ユニット２１０をモニター１１３に搭載することができる。
【００３９】
第２ＣＣＤ２１２は、第１ＣＣＤ２０２と同様に、撮像面で受光した光をアナログの電気信号に変換して出力するように構成されている。ただし、本実施の形態における第２ＣＣＤ２１２は、第１ＣＣＤ２０２よりも高い解像度を有する。したがって、第２画像の画像信号は、第１画像の画像信号よりも解像度が高く、画素数が多い。これは、第２画像の画像信号の一部を取り出して使用するためである。これらの詳細は後述する。
【００４０】
第２Ａ／Ｄ変換ＩＣ２１３は、第２ＣＣＤ２１２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第２画像信号である。
【００４１】
第２アクチュエーター２１４は、第２レンズ群２１１に含まれるフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＣＰＵ２２０から出力される制御信号により制御される。
【００４２】
本実施の形態では、第２撮像ユニット２１０は、第２画像を「水平方向の画素数７，６８０、垂直方向の画素数４，３２０」の画像信号にして出力するものとして、以下の説明を行う。また、第２撮像ユニット２１０は、第１撮像ユニット２００と同様に、静止画の撮像だけでなく、動画撮影も可能に構成されている。ただし、第２画像信号は第１画像信号よりも解像度が高く、画素数が多いため、第２撮像ユニット２１０における動画撮影の際のフレームレートは、第１撮像ユニット２００での動画撮影の際のフレームレートよりも低い（例えば、３０Ｈｚ）。
【００４３】
なお、第２画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。
【００４４】
なお、本実施の形態では、撮像素子の撮像面に結像した被写体像を電気信号に変換し、Ａ／Ｄ変換ＩＣから画像信号として出力する一連の動作を「撮像」とする。第１撮像部では第１画像を撮像して第１画像信号を出力し、第２撮像部では第２画像を撮像して第２画像信号を出力する。
【００４５】
なお、本実施の形態では、第１撮像素子および第２撮像素子にＣＣＤを用いる例を説明したが、第１撮像素子および第２撮像素子は、受光した光を電気信号に変換する撮像素子であればよく、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等であってもよい。
【００４６】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２２は、ＣＰＵ２２０を動作させるプログラムやパラメータ等の各種データが記憶されており、それらのデータをＣＰＵ２２０が任意に読み出すことができるように構成されている。ＲＯＭ２２２は、不揮発性型の半導体記憶素子で構成され、撮像装置１１０の電源がオフになっても、記憶されたデータは保持される。
【００４７】
入力装置２２４は、使用者の指示を受け付けることができるように構成された入力装置の総称である。入力装置２２４には、例えば、使用者が操作する電源ボタンや設定ボタン等の各種ボタン、タッチパネル、レバー等が含まれる。本実施の形態では、タッチパネルがディスプレイ２２５に設けられている例を説明する。しかし、入力装置２２４は、何らこれらの構成に限定されるものではなく、例えば音声入力装置を備えていてもよく、あるいは、全ての入力操作をタッチパネルで行う構成や、逆にタッチパネルを備えず全ての入力操作をボタンやレバー等で行う構成であってもよい。
【００４８】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２２０は、ＲＯＭ２２２から読み出したプログラムやパラメータ、入力装置２２４で受け付けられた使用者の指示、等にもとづき動作し、撮像装置１１０全体の制御、および各種演算処理を行うように構成されている。この各種演算処理には、第１画像信号および第２画像信号に関する画像信号処理が含まれる。この画像信号処理の詳細は後述する。
【００４９】
本実施の形態では、ＣＰＵ２２０にマイクロコンピューターを用いているが、例えば、マイクロコンピューターに代えてＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を用い、同様の動作を行うように構成してもよい。
【００５０】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２２１は、揮発性型の半導体記憶素子で構成され、ＣＰＵ２２０からの指示にもとづき、ＣＰＵ２２０を動作させるプログラムの一部、プログラム実行時のパラメータ、使用者の指示、等を一時的に記憶するように構成されている。ＲＡＭ２２１に記憶されたデータは、ＣＰＵ２２０が任意に読み出すことができ、ＣＰＵ２２０の指示によって任意に書き換えが可能である。
【００５１】
加速度センサ２２３は、一般的に用いられている加速度検出センサであり、撮像装置１１０の動きや姿勢の変化を検出するように構成されている。加速度センサ２２３では、例えば、撮像装置１１０が地面に対して平行に保たれているかどうか、が検出され、この検出結果はディスプレイ２２５に表示される。したがって、使用者はその表示を見ることで、撮像装置１１０が地面に対して水平に保たれているかどうか、すなわち、撮像装置１１０が立体画像の撮像に適した状態（姿勢）にあるかどうか、を判断することができる。これにより、使用者は、撮像装置１１０を適切な姿勢に保って立体画像の撮像や立体動画の撮影を行うことができる。
【００５２】
なお、撮像装置１１０は、加速度センサ２２３での検出結果にもとづき手振れ補正等の光学系制御を行う構成であってもよい。また、加速度センサ２２３は、３軸方向のジャイロスコープ（３軸ジャイロセンサ）であってもよく、複数のセンサを組み合わせて用いる構成であってもよい。
【００５３】
ディスプレイ２２５は、一般に用いられている液晶ディスプレイパネルで構成され、図１に示したモニター１１３に搭載されている。ディスプレイ２２５は、上述したタッチパネルが表面に取り付けられており、画像表示と使用者の指示受け付けを同時に行うことができるように構成されている。ディスプレイ２２５に表示される画像には、（１）撮像装置１１０で撮像中の画像（第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号にもとづく画像）、（２）記憶装置２２７に記憶されている画像信号にもとづく画像、（３）ＣＰＵ２２０で信号処理された画像信号にもとづく画像、（４）撮像装置１１０の各種設定項目を表示するメニュー表示画面、等がある。ディスプレイ２２５には、これらの画像が選択的に、または複数の画像を互いに重畳した画像が、表示される。なお、ディスプレイ２２５は、何ら上述の構成に限定されるものではなく、薄型で低消費電力の画像表示装置であればよく、例えばＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等で構成されていてもよい。
【００５４】
エンコーダー２２６は、撮像装置１１０で撮像した画像にもとづく画像信号や撮像した画像に関連する情報を、所定の方式で符号化（エンコード）するように構成されている。これは、データ量を低減して記憶装置２２７に記憶するためである。この符号化の方式は、一般的に用いられている画像圧縮方式であり、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ、等である。
【００５５】
記憶装置２２７は、任意に書き換えが可能な比較的大容量の記憶装置であるハードディスクドライブ（ＨＤＤ）で構成され、エンコーダー２２６で符号化されたデータ等を読み出し可能に記憶するように構成されている。また、記憶装置２２７に記憶するデータには、ＣＰＵ２２０で生成された立体画像の画像信号、立体画像の表示に必要な情報、が含まれる。なお、記憶装置２２７は、第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号を、符号化処理を施さずにそのまま記憶するように構成されていてもよい。また、記憶装置２２７は、何らＨＤＤに限定されるものではなく、例えば、半導体記憶素子を内蔵したメモリーカードや光ディスク等の着脱可能な記憶媒体に記憶する構成であってもよい。
【００５６】
［１−２．動作］
以上のように構成された撮像装置１１０について、その動作を以下に説明する。
【００５７】
以下、本実施の形態では、撮像装置１１０の第１撮像ユニット２００および第２撮像ユニット２１０において、立体動画の撮影を行うときの動作を説明する。したがって、特に断りが無い限り、第１画像、第２画像は、ともに動画であるものとする。なお、撮像装置１１０で立体画像（静止画）の撮像を行うときは、第１画像、第２画像は共に静止画であるので、その場合は、後述するフレームレートの変換に関する動作は行われない。
【００５８】
図３は、実施の形態１における撮像装置１１０の立体動画撮影時の動作を説明するフローチャートである。
【００５９】
立体動画の撮影を行うとき、撮像装置１１０では主に以下の動作を行う。
【００６０】
第１撮像ユニット２００から第１画像信号が、第２撮像ユニット２１０から第２画像が、それぞれ出力される（ステップＳ１０１）。
【００６１】
第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から切り出して（ステップＳ１０３）、切り出し画像信号を生成する（ステップＳ１０５）。
【００６２】
第１画像信号および切り出し画像信号のそれぞれに関して動き検出を行う（ステップＳ１０７）。
【００６３】
切り出し画像信号にもとづき第１画像信号を高解像度化する（ステップＳ１０９）。
【００６４】
切り出し画像信号を、第１画像信号のフレームレートに合わせて高フレームレート化する（ステップＳ１１１）。
【００６５】
高解像度化された第１画像信号と、高フレームレート化された切り出し画像信号とから、視差情報を生成する（ステップＳ１１３）。
【００６６】
視差情報にもとづき、高解像度化された第１画像信号から新たな第２画像信号を生成する。高解像度化された第１画像信号を右眼用画像信号とし、新たな第２画像信号を左眼用画像信号とする立体画像信号を出力（または、記憶装置２２７に記憶）する（ステップＳ１１５）。
【００６７】
使用者に動画撮影の終了が指示されるまで、一連の動作を繰り返す（ステップＳ１１７）。
【００６８】
なお、「画角（Ａｎｇｌｅ  ｏｆ  ｖｉｅｗ）」とは、画像として撮像される範囲のことであり、一般的には角度で表現される。
【００６９】
次に、撮像装置１１０で立体動画撮影をしているときに行われる主な動作を、機能毎にブロック分けして説明する。また、各機能ブロックで画像信号がどのように処理されるのかを、一例を挙げて図面に示す。
【００７０】
図４は、実施の形態１における撮像装置１１０の構成を機能毎にブロック分けして示す図である。
【００７１】
図５は、実施の形態１における撮像装置１１０の画像信号の処理の流れの一例を概略的に示す図である。
【００７２】
撮像装置１１０の構成を、立体動画の撮影をしているときに動作する主な機能で分けて示すと、撮像装置１１０は、図４に示すように、第１撮像部３００、第２撮像部３１０、画像信号処理部３２０、表示部３４０、入力部３５０、の５つのブロックに大別することができる。
【００７３】
第１撮像部３００は、第１光学部３０１、第１撮像素子３０２、第１Ａ／Ｄ変換部３０３、第１光学制御部３０４、を備える。第１撮像部３００は、図２に示した第１撮像ユニット２００に相当する。また、第１光学部３０１は第１レンズ群２０１に、第１撮像素子３０２は第１ＣＣＤ２０２に、第１Ａ／Ｄ変換部３０３は第１Ａ／Ｄ変換ＩＣ２０３に、第１光学制御部３０４は第１アクチュエーター２０４に、それぞれ相当する。重複するのでこれらの説明は省略する。
【００７４】
第２撮像部３１０は、第２光学部３１１、第２撮像素子３１２、第２Ａ／Ｄ変換部３１３、第２光学制御部３１４、を備える。第２撮像部３１０は、図２に示した第２撮像ユニット２１０に相当する。また、第２光学部３１１は第２レンズ群２１１に、第２撮像素子３１２は第２ＣＣＤ２１２に、第２Ａ／Ｄ変換部３１３は第２Ａ／Ｄ変換ＩＣ２１３に、第２光学制御部３１４は第２アクチュエーター２１４に、それぞれ相当する。重複するのでこれらの説明は省略する。
【００７５】
ここでは、一例として図５に示すように、第１撮像部３００は、画素数が１９２０×１０８０、フレームレートが６０Ｈｚの第１画像信号を出力し、第２撮像部３１０は、画素数が７６８０×４３２０、フレームレートが３０Ｈｚの第２画像信号を出力するものとして、以下の説明を行う。
【００７６】
なお、図５に示す数値は、単に一例を挙げたものに過ぎず、本実施の形態は何らこれらの数値に限定されるものではない。
【００７７】
表示部３４０は、図２に示したディスプレイ２２５に相当する。入力部３５０は、図２に示した入力装置２２４に相当する。入力部３５０に含まれるタッチパネルは、表示部３４０の表面に取り付けられており、表示部３４０では、画像の表示と使用者の指示受け付けを同時に行うことができる。重複するのでこれらの説明は省略する。
【００７８】
画像信号処理部３２０は、図２に示したＣＰＵ２２０に相当する。
【００７９】
なお、ＣＰＵ２２０では、撮像装置１１０全体の制御や各種演算処理が行われるが、図４には、撮像装置１１０で立体動画撮影を行うときにＣＰＵ２２０で行われる演算処理（画像信号処理）および制御動作に関連する主な機能のみをブロック分けして示しており、他の動作に関する機能は省略している。これは、撮像装置１１０で立体動画を撮影するときの動作を分かりやすく示すためである。
【００８０】
なお、画像信号処理部３２０として図４に示す各機能ブロックは、ＣＰＵ２２０で行われる演算処理および制御動作の主なものを機能別に分けて示しているに過ぎず、ＣＰＵ２２０の内部が図４に示す各機能ブロックに物理的に分けられているわけではない。しかし、以下では便宜的に画像信号処理部３２０が図４に示す各部を有するものとして説明を行う。
【００８１】
なお、ＣＰＵ２２０は、図４に示す各機能ブロックに相当する電子回路を備えたＩＣまたはＦＰＧＡで構成してもよい。
【００８２】
画像信号処理部３２０は、図４に示すように、画角合わせ部３２１、フレームメモリ３２２、３２３、動き検出部３２４、３２５、動き補正部３２６、補間画素生成部３２７、補間フレーム生成部３２８、信頼性情報生成部３２９、視差情報生成部３３０、画像生成部３３１、撮像制御部３３２、を有する。
【００８３】
画角合わせ部３２１は、第１撮像部３００から出力される第１画像信号および第２撮像部３１０から出力される第２画像信号が入力される。そして、撮像範囲が互いに等しいと判断される画像信号を各入力画像信号から取り出す。
【００８４】
第１撮像部３００では光学ズームによる撮像が可能であり、第２撮像部３１０では単焦点レンズによる撮像が行われる。第１光学部３０１が広角端のときの第１画像の画角が第２画像の画角以下になるように各撮像部が設定されていれば、第２画像に撮像される範囲には、常に第１画像に撮像される範囲が含まれることになる。
【００８５】
そこで、画角合わせ部３２１では、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出す。以下、第２画像信号から取り出された画像信号を「切り出し画像信号」と呼称し、切り出し画像信号による画像を「切り出し画像」と呼称する。したがって、切り出し画像は、画角合わせ部３２１において第１画像の撮像範囲に等しいと判断された範囲の画像になる。
【００８６】
切り出し画像信号として第２画像信号から取り出す範囲を特定する際の手順について、図面を用いて説明する。
【００８７】
図６Ａは、実施の形態１における撮像装置１１０で撮像された第１画像の一例を示す図である。図６Ｂは、実施の形態１における撮像装置１１０で撮像された第２画像の一例を示す図である。
【００８８】
なお、図６Ａには、第１光学部３０１の光学ズーム機能のズーム倍率を上げて撮像された第１画像を示す。図６Ａ、図６Ｂに示す通り、ズーム倍率を上げて撮像された第１画像よりも、撮像の際に光学ズームができない第２画像の方が、画角が広く、この第２画像には第１画像よりも広い範囲が撮像されている。
【００８９】
画像信号処理部３２０の撮像制御部３３２は、第１光学制御部３０４を介して第１光学部３０１の光学ズームを制御する。したがって、画像信号処理部３２０は、第１画像が撮像されたときの第１光学部３０１のズーム倍率を、第１画像の付帯情報として取得することができる。一方、第２光学部３１１では光学ズームができないので、第２画像を撮像するときのズーム倍率は固定されている。画角合わせ部３２１は、これらの情報に基づいて第１画像と第２画像との画角の差を算出し、その算出結果にもとづき第２画像信号から第１画像の撮像範囲（画角）に相当する領域を特定して切り出す。
【００９０】
このとき、画角合わせ部３２１は、第１画像の画角に相当する領域よりもやや広い範囲（例えば、１０％程度広い範囲）をまず切り出す。これは、第１画像の中心と第２画像の中心との間に若干のずれが生じる可能性があるためである。
【００９１】
次に、画角合わせ部３２１は、この切り出した範囲に対して、一般に用いられているパターンマッチングを行い、第１画像の撮像範囲に相当する領域を特定して再度切り出す。これにより、比較的負荷の軽い演算処理で高速に切り出し画像信号を生成することができる。なお、画角や解像度が互いに異なる２枚の画像を比較して撮像範囲が互いに共通する領域を特定するパターンマッチング等の手法は、一般に知られた手法であるので、説明を省略する。
【００９２】
このようにして、画角合わせ部３２１は、第１画像信号の撮像範囲に実質的に等しい領域を第２画像信号から取り出し、切り出し画像信号を生成する。図６Ａ、図６Ｂに示す例では、図６Ｂに破線で示す画素数３８４０×２１６０の領域が、こうして切り出された領域である。なお、この切り出し画像信号のフレームレートは、図５に示すように、第２画像信号と同じフレームレート（例えば、３０Ｈｚ）である。
【００９３】
なお、第１光学部３０１と第２光学部３１１との配置位置の違い（視差）により、第１画像と第２画像とでは画像内における被写体の位置に差が生じる。そのため、第２画像における第１画像に対応する領域が、第１画像に完全に合致する可能性は低い。したがって、画角合わせ部３２１でパターンマッチングを行う際は、第１画像信号と類似度が最も大きくなる領域を第２画像信号において探索し、その領域を第２画像信号から取り出して切り出し画像信号とすることが望ましい。
【００９４】
そして、画角合わせ部３２１は、切り出し画像信号と第１画像信号を後段に出力する。なお、第１画像と第２画像の画角が互いに等しいときには、第２画像信号をそのまま切り出し画像信号として用いることもある。
【００９５】
なお、画角合わせ部３２１における動作は、何ら上述した動作に限定されるものではない。例えば、第１画像の画角が第２画像の画角より広ければ、第１画像信号から第２画像の撮像範囲に相当する領域を取り出して切り出し画像信号を生成するように動作してもよい。また、第１画像と第２画像とで撮像範囲に差があるときには、撮像範囲が互いに等しい領域を第１画像信号と第２画像信号とのそれぞれから取り出して後段に出力するように動作してもよい。
【００９６】
なお、本実施の形態は、画角合わせ部３２１において第１画像信号と第２画像信号との比較に用いる手法を、何らパターンマッチングに限定するものではなく、その他の比較・照合手法を用いて切り出し画像信号を生成してもよい。
【００９７】
画角合わせ部３２１から出力される切り出し画像信号（例えば、図６Ｂに示す画素数３８４０×２１６０の画像信号）はフレームメモリ３２３に記憶され、第１画像信号（例えば、図６Ａに示す画素数１９２０×１０８０の画像信号）はフレームメモリ３２２に記憶される。
【００９８】
このとき、各画像信号は、付帯情報として、各画素の発生時刻（撮像時刻）を有する。グローバルシャッター方式（１枚の画像撮像時において、撮像部が備える全ての受光素子が同時刻に受光する方式）では、各画素の発生時刻（撮像時刻）は実質的に互いに等しい。しかし、ローリングシャッター方式（１枚の画像撮像時において、撮像部が備える行列状に配置された受光素子の一方の辺から他方の辺に向かって順次受光が行われる方式）では、画素の配置位置に応じて発生時刻（撮像時刻）に差が生じる。したがって、第１画像と第２画像の一方もしくは双方がローリングシャッター方式で撮像された場合、第１画像と第２画像とでは、同じ被写体であっても撮像時刻に差が生じる可能性がある。
【００９９】
この撮像時刻の差について図面を用いて説明する。
【０１００】
図７は、実施の形態１における撮像装置１１０で撮影された第１画像と第２画像の各画素の発生時刻の差を概略的に示す図である。
【０１０１】
なお、第１画像はフレームレート６０Ｈｚで撮影された動画であり、第２画像はフレームレート３０Ｈｚで撮影された動画であり、第１画像、第２画像共にローリングシャッター方式で撮像されているものとして説明する。また、図７に「Ａ１」で示す画素は図６Ａに「Ａ１」で示す画素を表し、図７に「Ａ２」で示す画素は図６Ｂに「Ａ２」で示す画素を表す。また、「Ａ１」で示す画素と「Ａ２」で示す画素は実質的に同じ被写体（領域）を表しており、互いに対応しているものとする。また、図６Ａ、６Ｂでは画素「Ａ１」、「Ａ２」を四角い枠で囲っているが、この枠は便宜的に示しているものであり、この枠の中央にある画素が画素「Ａ１」、「Ａ２」であるものとする。
【０１０２】
なお、第１画像は第２画像よりも画素数が少ないため、第１画像の１つの画素に対応する領域は第２画像では複数の画素となるが、ここでは便宜的に画素「Ａ１」と画素「Ａ２」とは互いに対応しているものとする。
【０１０３】
第１画像を撮像するときに１枚目の第１画像（時刻０／６０秒に撮像が開始される第１画像）において画素「Ａ１」が発生するまでの時間ｔ１は、第２画像を撮像するときの１枚目の第２画像（時刻０／６０秒に撮像が開始される第２画像）における画素「Ａ２」が発生するまでの時間ｔ２よりも短い。第１画像のフレームレートが６０Ｈｚ、第２画像のフレームレートが３０Ｈｚであれば、１枚の第２画像を撮像する間に２枚の第１画像が撮像されるので、実質的にｔ２＝２×ｔ１となる。
【０１０４】
したがって、画素「Ａ２」の位置によっては、１枚目の第１画像における画素「Ａ１」の発生時刻よりも、２枚目の第１画像（時刻１／６０秒に撮像が開始される第１画像）における画素「Ａ１」の発生時刻の方が、画素「Ａ２」の発生時刻に時間的に近くなる。
【０１０５】
このように、フレームレートが異なる２つの画像を比較するときは、各画素の発生時刻が重要になる。そのため、本実施の形態では、付帯情報として、各画素の発生時刻（撮像時刻）を画像信号とともにフレームメモリに記憶する。
【０１０６】
なお、フレームメモリ３２２、３２３は、複数フレーム分の画像信号を読み出し可能に記憶するように構成された画像信号用の記憶装置であり、例えばＤＲＡＭ等の高速動作が可能な半導体記憶素子で構成される。また、フレームメモリ３２２、３２３は、ＣＰＵ２２０の内部に設ける構成であってもよいが、ＲＡＭ２２１の一部をフレームメモリ３２２、３２３として用いる構成であってもよい。
【０１０７】
なお、各画素の発生時刻（撮像時刻）は、各画素が付帯情報として有する構成でもよいが、先頭の画素だけに発生時刻（撮像時刻）を付帯させ、残りの画素に関しては、先頭の画素からの発生順番にもとづき算出する構成としてもよい。
【０１０８】
動き検出部３２４は、フレームメモリ３２２に記憶された第１画像信号にもとづき、動き検出を行う。動き検出部３２５は、フレームメモリ３２３に記憶された第２画像信号にもとづき、動き検出を行う。
【０１０９】
動き検出部３２４、３２５は、１画素マッチング、または複数の画素の集まりで行うブロックマッチングにより、画素毎、またはブロック毎に、静止しているか、動いているかの判定を行う。動いていると判定された画素またはブロックに関しては、その画素またはブロックの近傍の領域を探索して、オプティカルフローや動きベクトル（ＭＥ：Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｅ）の検出を行う。動き検出自体は一般に知られた手法であるので、詳細な説明は省略する。
【０１１０】
動き補正部３２６は、動き検出部３２４から出力される第１画像信号に関する動き検出の結果、および、動き検出部３２５から出力される切り出し画像信号に関する動き検出の結果を取得し、これらの動き検出の結果にもとづき動き補正の補正値を算出する。この補正値は、例えば、２つの動き検出の結果の加算平均から求める構成であってもよく、または２つの動き検出の結果の最大値または最小値から求める構成であってもよく、あるいはその他の手法で求める構成であってもよい。そして、本実施の形態では、この補正値にもとづき、第１画像信号および切り出し画像信号の動き補正が行われる。
【０１１１】
補間画素生成部３２７は、第１画像信号と切り出し画像信号とを比較し、第１画像を高解像度化するための補間画素を生成する。補間画素生成部３２７は、第１画像信号と切り出し画像信号とを、互いに対応する画素毎またはブロック毎に比較し、切り出し画像信号にもとづき、第１画像信号を高解像度化するための補間画素信号を生成する。生成された補間画素信号は第１画像信号の対応する場所に挿入され、また、この補間により不自然な領域が生じないように第１画像信号にも修正を加えて、第１画像信号を高解像度化する。
【０１１２】
これにより、第１画像信号は、切り出し画像信号と実質的に同じ解像度になるように高解像度化される。例えば、図５に示す例では、画素数１９２０×１０８０の第１画像信号は、この高解像度化処理により、切り出し画像信号と同解像度の、画素数３８４０×２１６０の画像信号に補正される。
【０１１３】
なお、補間画素生成部３２７は、第１画像信号と切り出し画像信号とを互いに比較する際、上述の画像信号に付帯された各画素の発生時刻（撮像時刻）を参照し、時刻的に最も近い画素またはブロック同士を比較するように構成されることが望ましい。また、第１画像信号との比較に、動き補正部３２６で算出された補正値にもとづく動き補正がなされた切り出し画像信号を用い、より精度の高い補間画素信号を生成するように構成してもよい。
【０１１４】
補間フレーム生成部３２８は、フレームメモリ３２３に記憶された切り出し画像信号を、フレームメモリ３２３に書き込むときの倍の速度で読み出す。これにより、読み出された切り出し画像信号の１フレーム期間は１／３０秒から１／６０秒に短縮される。あわせて、補間フレーム生成部３２８は、動き補正部３２６から出力される動き補正の補正値および切り出し画像信号にもとづき、２つの時間的に連続する切り出し画像信号の間に挿入する補間画像信号（補間フレーム）を生成する。
【０１１５】
これにより、切り出し画像信号は、第１画像信号と実質的に同じフレームレートに高フレームレート化される。例えば、図５に示す例では、フレームレート３０Ｈｚの切り出し画像信号は、この高フレームレート化処理により、フレームレート６０Ｈｚの画像信号に補正される。
【０１１６】
補間画素生成部３２７で高解像度化された第１画像信号は、フレームメモリ３２２に再度記憶され、補間フレーム生成部３２８で高フレームレート化された切り出し画像信号は、フレームメモリ３２３に再度記憶される。
【０１１７】
動き補正、補間画素を生成して画像信号を高解像度化する手法、および補間フレームを生成して画像信号を高フレームレート化する手法は、それぞれ一般に知られた手法であるので、詳細な説明は省略する。
【０１１８】
信頼性情報生成部３２９は、上述の画像信号に付帯された各画素の発生時刻（撮像時刻）および、動き補正部３２６から出力される動き補正の補正値を用いて、画素毎に信頼性情報を生成する。例えば、図７に示した例ではｔ２がｔ１の２倍に近い程、画素毎の信頼度を高くする。また、画素毎の動き補正の補正値が小さい程、画素毎の信頼度を高くする。こうして得られる信頼度が信頼性情報である。
【０１１９】
なお、信頼性情報生成部３２９では、各画素に信頼性情報を付帯してもよいが、例えば、隣接する複数の画素で構成されるブロック毎に信頼性情報を付帯してもよい。
【０１２０】
視差情報生成部３３０は、高解像度化された第１画像信号、および高フレームレート化された切り出し画像信号にもとづいて、視差情報を生成する。視差情報生成部３３０は、高解像度化された第１画像信号と高フレームレート化された切り出し画像信号とを互いに比較し、互いに対応する被写体が２つの画像信号間でどの程度ずれているかを、画素単位、または複数の画素からなるブロック単位で、算出する。この「ずれの量（ずれ量）」は、視差方向、例えば撮像が行われたとき地面に対して水平となる方向、で算出する。この「ずれ量」を１枚の画像（高解像度化された第１画像信号にもとづく画像、または、高フレームレート化された切り出し画像信号にもとづく画像）の全域において算出し、算出対象となる画像の画素またはブロックに対応付けたものが、視差情報（デプスマップ）となる。
【０１２１】
撮像装置１１０では、高解像度化された第１画像信号（例えば、右眼用画像信号）から、視差情報にもとづき、対となる画像信号（例えば、左眼用画像信号）を生成する。したがって、視差情報に補正を加えることで、生成される立体画像の立体感を調整することが可能である。そこで、立体画像の立体感を増す、あるいは抑制する、等の立体感の調整ができるように、視差情報生成部３３０において、視差情報に補正を加えられるように構成してもよい。
【０１２２】
また、例えば、上述の信頼性情報にもとづき視差情報を補正してもよい。例えば、信頼性が低い画像に関しては立体感を少なくするように視差情報を補正することで、生成される立体画像の品質をより高めることも可能である。
【０１２３】
また、視差情報生成部３３０は、比較に用いる画像信号の画素を間引いて画素数（信号量）を削減し、視差情報の算出に必要な演算量を低減する構成であってもよい。
【０１２４】
視差情報生成部３３０では、動き補正後の画像信号にもとづきステレオマッチング等の処理を行うことで、動きのある被写体に関しても精度を高めて視差情報を生成することができる。
【０１２５】
画像生成部３３１は、視差情報生成部３３０から出力される視差情報にもとづいて、高解像度化された第１画像信号から新たな第２画像信号（図４、図５には、「生成画像信号」と記す）を生成する。この新たな第２画像信号は、高解像度化された第１画像信号と同仕様の画像信号、例えば、図５に示す例では画素数３８４０×２１６０、フレームレート６０Ｈｚの画像信号、として生成される。
【０１２６】
本実施の形態では、この高解像度化された第１画像信号を右眼用画像信号とし、画像生成部３３１で視差情報にもとづき生成される新たな第２画像信号を左眼用画像信号とする立体画像信号を、画像信号処理部３２０から出力する。
【０１２７】
この立体画像信号は、例えば記憶装置２２７に記憶され、また、この立体画像信号にもとづく立体画像は表示部３４０に表示される。
【０１２８】
なお、視差を有する２枚の画像から視差情報（ずれ量）を算出する手法、および視差情報にもとづき新たな画像信号を生成する手法は公知であり、例えば上述の特許文献１等に記載されているので、詳細な説明は省略する。
【０１２９】
なお、第１光学部３０１のズーム倍率および第２撮像素子３１２の解像度は、第１光学部３０１を望遠端（テレ端）にしたときの切り出し画像信号の解像度が第１画像信号の解像度以上となるように、設定することが望ましい。これは、第１光学部３０１を望遠端にしたときに、切り出し画像信号が第１画像信号よりも低解像度になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではない。
【０１３０】
なお、第２光学部３１１は、第１光学部３０１を広角端（ワイド端）にしたときの画角に実質的に等しいか、さらに広い画角を有するように構成することが望ましい。これは、第１光学部３０１を広角端にしたときに、第１画像が第２画像よりも広い画角になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１光学部３０１を広角端にしたときの第１画像の画角が第２画像よりも広い画角であってもよい。
【０１３１】
［１−３．効果等］
以上のように、本実施の形態において、撮像装置１１０は、第２画像信号よりも高いフレームレートで第１画像を撮像して第１画像信号を出力するように構成された第１撮像部３００と、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部３１０と、画像信号処理部３２０とを備える。画像信号処理部３２０は、画角合わせ部３２１と、補間画素生成部３２７と、補間フレーム生成部３２８と、視差情報生成部３３０と、画像生成部３３１と、を備える。画角合わせ部３２１は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成される。補間画素生成部３２７は、第１画像信号を高解像度化するための補間画素を、第１画像信号と切り出し画像信号とに基づいて生成するように構成される。補間フレーム生成部３２８は、切り出し画像信号を高フレームレート化するための補間フレームを生成するように構成される。視差情報生成部３３０は、補間画素を用いて高解像度化された第１画像信号と、補間フレームを用いて高フレームレート化された切り出し画像信号と、に基づき視差情報を生成するように構成される。画像生成部３３１は、視差情報に基づき、高解像度化された第１画像信号から新たな画像信号を生成するように構成される。
【０１３２】
良好な品質の立体画像を取得（生成）するためには、対となる右眼用画像と左眼用画像とを撮像する際に、画角（撮像範囲）、解像度（画素数）、ズーム倍率等の撮像条件を互いに揃え、できるだけ等しい状態にすることが望ましい。
【０１３３】
しかしながら、撮像素子には、光を電気信号に変える際の特性にばらつきが生じやすく、そのため、互いに同じ仕様の撮像素子同士を比較しても、明るさと出力信号との関係を示すガンマ特性等にばらつきが生じることがある。したがって、たとえ互いに等しい機能（性能）の光学系と撮像素子を用いて一対の撮像部を構成したとしても、対となる右眼用画像と左眼用画像には、明るさ、コントラスト、ホワイトバランス等に差が生じることがある。
【０１３４】
このように、互いに等しい仕様で一対の撮像部を構成したとしても、視差を除いて完全に同じ状態となる右眼用画像と左眼用画像とを取得することは困難である。
【０１３５】
加えて、良好な品質の立体動画を取得（生成）するためには、対となる右眼用画像と左眼用画像とを、互いに等しいフレームレートで動画撮影することが望ましい。
【０１３６】
しかしながら、本実施の形態の撮像装置１１０では、上述したように、第１撮像部３００と第２撮像部３１０とで、光学系の仕様が互いに異なる。また、第１撮像部３００と第２撮像部３１０とでは、撮像素子の仕様も互いに異なる。さらには、第１撮像部３００と第２撮像部３１０とで、動画撮影の際のフレームレートも互いに異なる。
【０１３７】
したがって、撮像装置１１０では、第１撮像部３００で撮像した第１画像をそのまま右眼用画像とし、第２撮像部３１０で撮像した第２画像をそのまま左眼用画像としても、良好な品質の立体画像（立体動画）を得ることは困難である。
【０１３８】
そこで、本実施の形態では、撮像装置１１０を上述した構成とし、第１撮像部３００で撮像した第１画像を高解像度化して右眼用画像とし、高解像度化した第１画像から視差情報を用いて生成した画像を左眼用画像として、立体画像（立体動画）を生成する。
【０１３９】
これにより、光学的な特性、ガンマ特性、フレームレート等の撮像条件が互いに等しい理想的な一対の撮像部で撮像（または動画撮影）された右眼用画像と左眼用画像に実質的に等しい右眼用画像と左眼用画像を生成することが可能になる。したがって、本実施の形態の撮像装置１１０では、良好な品質の立体動画を生成することができる。
【０１４０】
なお、視差情報は、第１画像と第２画像とを互いに比較することで生成されるが、このとき生成される視差情報の精度が高くなければ、視差情報にもとづき生成される画像の品質を高くすることは困難である。
【０１４１】
視差情報を精度良く生成するためには、第１画像と第２画像との比較を精度良く行うことが重要であり、そのためには、比較する画像同士で、画角（撮像範囲）、解像度（画素数）、フレームレート等が互いにできるだけ等しいことが望ましい。
【０１４２】
そこで、本実施の形態では、撮像装置１１０を上述した構成とし、第１画像信号にもとづき第２画像信号から切り出し画像信号を生成し、切り出し画像信号を第１画像信号のフレームレートにあわせて高フレームレート化する。また、第１画像信号を、切り出し画像信号の解像度にあわせて高解像度化する。
【０１４３】
そして、高解像度化された第１画像信号と、高フレームレート化された切り出し画像信号とを用いて、視差情報を生成する。
【０１４４】
これにより、撮像装置１１０では、精度の高い視差情報を生成することができ、質の高い視差情報にもとづき、質の高い立体画像（または立体動画）を生成することができる。
【０１４５】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０１４６】
そこで、以下、他の実施の形態を例示する。
【０１４７】
本実施の形態では、撮像装置１１０を、第１撮像部３００で第１画像を撮像し、第２撮像部３１０で第２画像を撮像するように構成する例を説明したが、例えば、第１撮像部３００に代えて第１画像入力部を備え、第２撮像部３１０に代えて第２画像入力部を備え、第１画像入力部を通して第１画像を取得し、第２画像入力部を通して第２画像を取得するように構成してもよい。
【０１４８】
本実施の形態では、第１撮像部３００で撮像した第１画像を高解像度化して右眼用画像とし、高解像度化した第１画像から視差情報を用いて生成した画像を左眼用画像として、立体画像（立体動画）を生成する構成を説明したが、例えば、第１撮像部３００で撮像した第１画像を高解像度化して左眼用画像とし、高解像度化した第１画像から視差情報を用いて生成した画像を右眼用画像として、立体画像（立体動画）を生成する構成としてもよい。あるいは、高フレームレート化された切り出し画像信号から新たな第１画像信号を生成する構成であってもよい。
【０１４９】
なお、第１光学部３０１（第１レンズ群２０１）および第２光学部３１１（第２レンズ群２１１）は、何ら実施の形態１に示した構成に限定されるものではない。例えば、フォーカス調節が可能なフォーカスレンズに代えて、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズを用いる構成でもよい。また、第２光学部３１１に、第２撮像素子３１２（第２ＣＣＤ２１２）で受光する光量を調節する光学式の絞りを備える構成としてもよい。
【０１５０】
また、第２光学部３１１に、単焦点レンズに代えて光学ズームレンズを備える構成としてもよい。その場合、例えば、撮像装置１１０で立体画像（立体動画）の撮像を行うときには、自動的に第２光学部３１１が広角端になるように構成してもよい。
【０１５１】
また、第１光学部３０１を望遠端（テレ端）にしたときに、切り出し画像信号が第１画像信号よりも低解像度になるように、撮像装置１１０を構成してもよい。その場合、例えば、動き補正部３２６から出力される動き補正の補正値等にもとづき、切り出し画像信号よりも高い解像度に第１画像信号を高解像度化するように補間画素生成部３２７を構成してもよい。あるいは、第１光学部３０１のズーム倍率を上げていく過程で切り出し画像信号の解像度が第１画像信号の解像度以下となったときに、立体画像から通常画像に撮像モードが自動で変わるように撮像装置１１０を構成してもよい。
【０１５２】
また、補間画素生成部３２７は、切り出し画像信号の解像度が所定の解像度以下になったときに、切り出し画像信号の解像度にかかわらず、第１画像信号の解像度を所定の解像度まで高解像度化する構成であってもよい。さらには、切り出し画像の解像度が所定の解像度以上であっても、第１画像信号の高解像度化を所定の解像度にとどめ、常に同じ解像度（所定の解像度）で右眼用画像信号（または左眼用画像信号）を生成する構成であってもよい。その場合、高解像度化された第１画像信号と切り出し画像信号とで解像度（画素数）が異なる状況が発生するので、高解像度化された第１画像信号と切り出し画像信号のいずれか一方の画素数を他方に合わせて削減する、あるいは、双方の画素数を共に同じにする、等の画素数補正をして視差情報の生成を行うように視差情報生成部３３０を構成してもよい。
【０１５３】
なお、第２レンズ部１１２の配置位置は何ら図１に示した位置に限定されるものではなく、立体画像の撮像が行える範囲であればどこに配置してもよい。例えば、第２レンズ部１１２を第１レンズ部１１１の近傍に配置してもよい。
【０１５４】
なお、モニター１１３が立体画像の撮像に適した位置まで開いたときにオン状態になり、それ以外ではオフになるスイッチを撮像装置１１０に設け、そのスイッチがオンになったときのみ立体画像の撮像または立体動画の撮影ができるように撮像装置１１０を構成してもよい。
【０１５５】
なお、撮像装置１１０では、高解像度化された第１画像を単独の画像信号として用いてもよく、高フレームレート化された切り出し画像信号（または、第２画像信号）を単独の画像信号として用いてもよい。あるいは、第１撮像部３００から出力される第１画像信号をそのまま用いてもよく、第２撮像部３１０から出力される第２画像信号をそのまま用いてもよい。
【０１５６】
なお、実施の形態に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は画像表示装置の仕様等にあわせて最適な値に設定することが望ましい。
【産業上の利用可能性】
【０１５７】
本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に適用可能である。具体的には、立体視用の画像を撮像可能な、デジタルビデオカメラ、デジタルスチルカメラ、カメラ機能付き携帯電話、スマートフォン等に本開示は適用可能である。
【符号の説明】
【０１５８】
１１０    撮像装置
１１１    第１レンズ部
１１２    第２レンズ部
１１３    モニター
２００    第１撮像ユニット
２０１    第１レンズ群
２０２    第１ＣＣＤ
２０３    第１Ａ／Ｄ変換ＩＣ
２０４    第１アクチュエーター
２１０    第２撮像ユニット
２１１    第２レンズ群
２１２    第２ＣＣＤ
２１３    第２Ａ／Ｄ変換ＩＣ
２１４    第２アクチュエーター
２２０    ＣＰＵ
２２１    ＲＡＭ
２２２    ＲＯＭ
２２３    加速度センサ
２２４    入力装置
２２５    ディスプレイ
２２６    エンコーダー
２２７    記憶装置
３００    第１撮像部
３０１    第１光学部
３０２    第１撮像素子
３０３    第１Ａ／Ｄ変換部
３０４    第１光学制御部
３１０    第２撮像部
３１１    第２光学部
３１２    第２撮像素子
３１３    第２Ａ／Ｄ変換部
３１４    第２光学制御部
３２０    画像信号処理部
３２１    画角合わせ部
３２２，３２３    フレームメモリ
３２４，３２５    動き検出部
３２６    動き補正部
３２７    補間画素生成部
３２８    補間フレーム生成部
３２９    信頼性情報生成部
３３０    視差情報生成部
３３１    画像生成部
３３２    撮像制御部
３４０    表示部
３５０    入力部
【図１】
2014141653.tif 000003
【図２】
2014141653.tif 000004
【図３】
2014141653.tif 000005
【図４】
2014141653.tif 000006
【図５】
2014141653.tif 000007
【図６Ａ】
2014141653.tif 000008
【図６Ｂ】
2014141653.tif 000009
【図７】
2014141653.tif 000010
【手続補正書】
【提出日】平成27年5月19日(2015.5.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、主撮像部と従撮像部とを備え、３Ｄ画像を生成するデジタルカメラを開示する。このデジタルカメラは、主撮像部から得られる主画像信号と従撮像部から得られる従画像信号との間に生じる視差を抽出する。そして、抽出した視差に基づき、主画像信号から新たな従画像信号を生成し、主画像信号と新たな従画像信号とで３Ｄ画像を生成する。
【０００３】
特許文献２は、左右の撮影倍率が異なった状態でステレオ撮影を行うことができるステレオカメラを開示する。このステレオカメラは、第１の画像データを生成する第１の撮像手段と、第１の画像データよりも画角が広い第２の画像データを生成する第２の撮像手段とを有する。そして、第２の画像データから、第１の画像データに対応する範囲を第３の画像データとして切り出し、第１の画像データと第３の画像データとでステレオ画像データを生成する。
【０００４】
また、特許文献１、２は、主撮像部（第１の撮像手段）は光学ズーム機能を備え、従撮像部（第２の撮像手段）は光学ズーム機能を備えず電子ズーム機能を備えた構成を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２０６０６号公報
【特許文献２】特開２００５−２１０２１７号公報
【発明の概要】
【０００６】
本開示は、光学的特性および撮像素子の仕様が異なる一対の撮像部で撮像される一対の画像または動画から、品質の良い立体視用の画像または動画を得るのに有効な画像生成装置および撮像装置を提供する。
【０００７】
本開示の画像生成装置は、画角合わせ部と、補間画素生成部と、視差情報生成部と、画像生成部と、を備える。画角合わせ部は、第１画像信号と、第１画像信号よりも高解像度であって第１画像信号以上の画角を有する第２画像信号と、が入力され、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。補間画素生成部は、第１画像信号を高解像度化するための補間画素を生成するように構成されている。視差情報生成部は、補間画素を用いて高解像度化された第１画像信号と、切り出し画像信号と、に基づき視差情報を生成するように構成されている。画像生成部は、視差情報に基づき、高解像度化された第１画像信号から新たな画像信号を生成するように構成されている。
【０００８】
本開示の撮像装置は、第１撮像部と、第２撮像部と、画角合わせ部と、補間画素生成部と、視差情報生成部と、画像生成部と、を備える。第１撮像部は、第１画像を撮像して第１画像信号を出力するように構成されている。第２撮像部は、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成されている。画角合わせ部は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。補間画素生成部は、第１画像信号を高解像度化するための補間画素を生成するように構成されている。視差情報生成部は、補間画素を用いて高解像度化された第１画像信号と、切り出し画像信号と、に基づき視差情報を生成するように構成されている。画像生成部は、視差情報に基づき、高解像度化された第１画像信号から新たな画像信号を生成するように構成されている。
【０００９】
また、本開示の撮像装置は、補間フレーム生成部をさらに備える。そして、第１撮像部は、第１画像信号を動画信号として出力することができるように構成されている。第２撮像部は、第２画像信号を第１画像信号よりも高解像度かつ低フレームレートの動画信号として出力することができるように構成されている。補間フレーム生成部は、切り出し画像信号を高フレームレート化するための補間フレームを生成するように構成されている。視差情報生成部は、高解像度化された第１画像信号と、補間フレームを用いて高フレームレート化された切り出し画像信号と、に基づき視差情報を生成するように構成されている。
【００１０】
本開示の画像生成方法は、第１画像信号に基づき、第１画像信号よりも高解像度であって第１画像信号以上の画角を有する第２画像信号から、少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号を高解像度化するための補間画素を生成し、補間画素を用いて高解像度化された第１画像信号と、切り出し画像信号と、に基づき視差情報を生成し、視差情報に基づき、高解像度化された第１画像信号から新たな画像信号を生成する。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態１における撮像装置の外観図である。
【図２】図２は、実施の形態１における撮像装置の回路構成を概略的に示す図である。
【図３】図３は、実施の形態１における撮像装置の立体動画撮影時の動作を説明するフローチャートである。
【図４】図４は、実施の形態１における撮像装置の構成を機能毎にブロック分けして示す図である。
【図５】図５は、実施の形態１における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。
【図６Ａ】図６Ａは、実施の形態１における撮像装置で撮像された第１画像の一例を示す図である。
【図６Ｂ】図６Ｂは、実施の形態１における撮像装置で撮像された第２画像の一例を示す図である。
【図７】図７は、実施の形態１における撮像装置で撮影された第１画像と第２画像の各画素の発生時刻の差を概略的に示す図である。
【発明を実施するための形態】
【００１２】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１３】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１４】
（実施の形態１）
以下、図１〜図７を用いて、実施の形態１を説明する。
【００１５】
［１−１．構成］
図１は、実施の形態１における撮像装置１１０の外観図である。撮像装置１１０は、モニター１１３と、第１レンズ部１１１を有する撮像部（以下、「第１撮像部」と記す）と、第２レンズ部１１２を有する撮像部（以下、「第２撮像部」と記す）と、を備えている。撮像装置１１０は、このように複数の撮像部を有し、それぞれの撮像部で静止画撮像および動画撮影が可能である。
【００１６】
第１レンズ部１１１は、第１撮像部の撮像方向が前方を向くように、撮像装置１１０の本体前方に設けられている。
【００１７】
モニター１１３は、開閉可能に撮像装置１１０本体に設けられ、撮像画像を表示するためのディスプレイ（図１には示さず）を有する。ディスプレイは、モニター１１３を開いたとき、第１撮像部の撮像方向とは反対側の面、すなわち撮像装置１１０の後方にいる使用者（図示せず）が観測できる側に、備えられている。
【００１８】
第２レンズ部１１２は、モニター１１３の、ディスプレイの設置側と反対側に配置され、モニター１１３を開いたときに第１撮像部と同じ方向を撮像できるように構成されている。
【００１９】
撮像装置１１０では、第１撮像部を主たる撮像部とし、第２撮像部を従たる撮像部とする。そして、図１に示すように、モニター１１３を開いた状態にすることで、これら２つの撮像部を用いて、立体視用の静止画（以下、「立体画像」と記す）の撮像および立体視用の動画（以下、「立体動画」と記す）の撮影が可能である。主たる第１撮像部は光学ズーム機能を有し、使用者は、このズーム機能を任意のズーム倍率に設定して静止画撮像または動画撮影が可能である。
【００２０】
本実施の形態では、右眼視点の画像を第１撮像部で撮像し、左眼視点の画像を第２撮像部で撮像する例を説明する。したがって、図１に示すように、撮像装置１１０では、撮像方向に向かって右側に第１レンズ部１１１が配置され、撮像方向に向かって左側に第２レンズ部１１２が配置されている。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１撮像部で左眼視点の画像を撮像し、第２撮像部で右眼視点の画像を撮像するように構成してもよい。以下、第１撮像部で撮像した画像を「第１画像」とし、第２撮像部で撮像した画像を「第２画像」とする。
【００２１】
なお、従たる第２撮像部が有する第２レンズ部１１２は、第１レンズ部１１１と比較して口径が小さく、光学ズーム機能も備えていない。そのため、第２撮像部は、設置に必要な容積が第１撮像部と比較して小さく、モニター１１３に搭載することができる。
【００２２】
本実施の形態では、第１撮像部で撮像される右眼視点の画像を、立体画像を構成する右眼用画像としてそのまま用いることはせず、また、第２撮像部で撮像される左眼視点の画像を、立体画像を構成する左眼用画像として用いることをしない。詳細は後述するが、本実施の形態では、第１撮像部で撮像された第１画像と第２撮像部で撮像された第２画像とをそれぞれ高画質化し、高画質化した後の画像を比較することにより視差量を算出し、算出した視差量にもとづき立体画像を生成する。
【００２３】
この視差量とは、第１画像と第２画像とを同一画角にして重ね合わせたときに生じる被写体の位置のずれの大きさのことである。このずれは、第１撮像部と第２撮像部との配置位置の違い（視差）により生じる。自然な立体感を有する立体画像を生成するためには、第１撮像部の光軸と第２撮像部の光軸とが、人の視差方向と同様に地面に対して水平になるように、かつ左右の眼の離間幅と同程度離間するように、設定されていることが望ましい。
【００２４】
そのために、撮像装置１１０では、第１レンズ部１１１と第２レンズ部１１２とを、使用者が撮像装置１１０を正常に保持（立体画像を撮像する状態で保持）したときに、それぞれの光学中心が実質的に同一の水平面（地面に水平な面）上に位置するように、配置する。また、第１レンズ部１１１の光学中心と第２レンズ部１１２の光学中心との距離が、３０ｍｍ以上６５ｍｍ以下となるようにそれぞれの配置位置を設定する。
【００２５】
また、自然な立体感を有する立体画像を生成するためには、第１レンズ部１１１および第２レンズ部１１２は、それぞれの配置位置から被写体までの距離が互いに実質的に等しいことが望ましい。そのために、撮像装置１１０では、第１レンズ部１１１および第２レンズ部１１２を、エピポーラ拘束（Ｅｐｉｐｏｌａｒ  Ｃｏｎｓｔｒａｉｎｔ）を実質的に満足するように配置する。すなわち、第１レンズ部１１１および第２レンズ部１１２を、それぞれの光学中心が、第１撮像部が有する撮像素子または第２撮像部が有する撮像素子の撮像面に実質的に平行な１つの平面上に位置するように、配置する。
【００２６】
なお、これらの条件は、厳密に満たされなければならない、というわけではなく、実用上問題が生じない範囲での誤差は許容される。また、仮にこれらの条件が満足されなくとも、画像の拡大縮小、回転、平行移動等を計算で行うアフィン変換を実行することにより、これらの条件を満足する画像に変換することも可能である。そして、アフィン変換を施した画像を用いて視差量を算出すればよい。
【００２７】
また、撮像装置１１０では、第１撮像部の光軸と第２撮像部の光軸とが互いに平行になるように第１レンズ部１１１および第２レンズ部１１２を配置する（以下、「平行法」と記す）。しかし、第１撮像部の光軸と第２撮像部の光軸とが所定の一点で交差するように第１レンズ部１１１および第２レンズ部１１２を配置（以下、「交差法」と記す）してもよい。また、平行法で撮像された画像を、アフィン変換により、交差法で撮像されたかのような画像に変換することも可能である。
【００２８】
なお、これらの条件が満たされた状態で撮像される第１画像および第２画像では、被写体の位置はエピポーラ拘束条件を実質的に満たす。この場合、後述する立体画像の生成過程において、一方の画像（例えば、第１画像）で被写体の位置が確定すると、他方の画像（例えば、第２画像）での被写体の位置は比較的容易に算出できるので、立体画像の生成過程における演算量を軽減できる。逆に、これらの条件で満たされない項目が増えるほど、アフィン変換等の演算量が増えるので、立体画像の生成過程における演算量は増大する。
【００２９】
図２は、実施の形態１における撮像装置１１０の回路構成を概略的に示す図である。
【００３０】
撮像装置１１０は、第１撮像部である第１撮像ユニット２００、第２撮像部である第２撮像ユニット２１０、ＣＰＵ２２０、ＲＡＭ２２１、ＲＯＭ２２２、加速度センサ２２３、ディスプレイ２２５、エンコーダー２２６、記憶装置２２７、入力装置２２４を有する。
【００３１】
第１撮像ユニット２００は、第１レンズ群２０１、第１撮像素子である第１ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）２０２、第１Ａ／Ｄ変換ＩＣ２０３、および第１アクチュエーター２０４を備える。
【００３２】
第１レンズ群２０１は、図１に示した第１レンズ部１１１に相当し、光学ズームが可能なズームレンズおよびフォーカス調節が可能なフォーカスレンズ、を含む複数のレンズで構成される光学系である。さらに、第１レンズ群２０１には、第１ＣＣＤ２０２で受光する光の量（光量）を調節する光学式の絞り（図示せず）が備えられている。第１レンズ群２０１を通して取り込まれた光は、第１レンズ群２０１で光学ズーム、フォーカスおよび光量の各調節がなされた後、第１ＣＣＤ２０２の撮像面に被写体像として結像する。この画像が第１画像である。
【００３３】
第１ＣＣＤ２０２は、撮像面で受光した光を電気信号に変換して出力するように構成されている。この電気信号は、光の強さ（光量）に応じて電圧値が変化するアナログ信号である。
【００３４】
第１Ａ／Ｄ変換ＩＣ２０３は、第１ＣＣＤ２０２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第１画像信号である。
【００３５】
第１アクチュエーター２０４は、第１レンズ群２０１に含まれるズームレンズおよびフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＣＰＵ２２０から出力される制御信号により制御される。
【００３６】
本実施の形態では、第１撮像ユニット２００は、第１画像を「水平方向の画素数１，９２０、垂直方向の画素数１，０８０」の画像信号にして出力するものとして、以下の説明を行う。また、第１撮像ユニット２００は、静止画の撮像だけでなく、動画撮影も可能に構成されており、一般的な動画と同様のフレームレート（例えば、６０Ｈｚ）での動画撮影を行うことができる。したがって、第１撮像ユニット２００では、高品質で滑らかな動画を撮影することが可能である。なお、フレームレートとは、単位時間（例えば、１秒間）に撮像する画像の枚数のことであり、フレームレートを６０Ｈｚにして動画撮影すると、１秒間に６０枚の画像が連続して撮像される。
【００３７】
なお、第１画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。
【００３８】
第２撮像ユニット２１０は、第２レンズ群２１１、第２撮像素子である第２ＣＣＤ２１２、第２Ａ／Ｄ変換ＩＣ２１３、および第２アクチュエーター２１４を備える。
【００３９】
第２レンズ群２１１は、図１に示した第２レンズ部１１２に相当し、フォーカス調節が可能なフォーカスレンズを含む複数のレンズで構成される光学系である。第２レンズ群２１１を通して取り込まれた光は、第２レンズ群２１１でフォーカスの調節がなされた後、第２ＣＣＤ２１２の撮像面に被写体像として結像する。この画像が第２画像である。
【００４０】
なお、第２レンズ群２１１は、上述したように光学ズーム機能を備えていない。そのため、光学ズームレンズではなく単焦点レンズを有する。また、第２レンズ群２１１は、第１レンズ群２０１よりも小型のレンズ群から構成され、第２レンズ群２１１の対物レンズには、第１レンズ群２０１の対物レンズよりも口径が小さいものが用いられている。これにより、第２撮像ユニット２１０を第１撮像ユニット２００よりも小型化し、撮像装置１１０全体を小型化して使い勝手（携帯性、操作性）を向上するとともに、第２撮像ユニット２１０の配置位置に関する自由度を高めている。これにより、図１に示したように、第２撮像ユニット２１０をモニター１１３に搭載することができる。
【００４１】
第２ＣＣＤ２１２は、第１ＣＣＤ２０２と同様に、撮像面で受光した光をアナログの電気信号に変換して出力するように構成されている。ただし、本実施の形態における第２ＣＣＤ２１２は、第１ＣＣＤ２０２よりも高い解像度を有する。したがって、第２画像の画像信号は、第１画像の画像信号よりも解像度が高く、画素数が多い。これは、第２画像の画像信号の一部を取り出して使用するためである。これらの詳細は後述する。
【００４２】
第２Ａ／Ｄ変換ＩＣ２１３は、第２ＣＣＤ２１２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第２画像信号である。
【００４３】
第２アクチュエーター２１４は、第２レンズ群２１１に含まれるフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＣＰＵ２２０から出力される制御信号により制御される。
【００４４】
本実施の形態では、第２撮像ユニット２１０は、第２画像を「水平方向の画素数７，６８０、垂直方向の画素数４，３２０」の画像信号にして出力するものとして、以下の説明を行う。また、第２撮像ユニット２１０は、第１撮像ユニット２００と同様に、静止画の撮像だけでなく、動画撮影も可能に構成されている。ただし、第２画像信号は第１画像信号よりも解像度が高く、画素数が多いため、第２撮像ユニット２１０における動画撮影の際のフレームレートは、第１撮像ユニット２００での動画撮影の際のフレームレートよりも低い（例えば、３０Ｈｚ）。
【００４５】
なお、第２画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。
【００４６】
なお、本実施の形態では、撮像素子の撮像面に結像した被写体像を電気信号に変換し、Ａ／Ｄ変換ＩＣから画像信号として出力する一連の動作を「撮像」とする。第１撮像部では第１画像を撮像して第１画像信号を出力し、第２撮像部では第２画像を撮像して第２画像信号を出力する。
【００４７】
なお、本実施の形態では、第１撮像素子および第２撮像素子にＣＣＤを用いる例を説明したが、第１撮像素子および第２撮像素子は、受光した光を電気信号に変換する撮像素子であればよく、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等であってもよい。
【００４８】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２２は、ＣＰＵ２２０を動作させるプログラムやパラメータ等の各種データが記憶されており、それらのデータをＣＰＵ２２０が任意に読み出すことができるように構成されている。ＲＯＭ２２２は、不揮発性型の半導体記憶素子で構成され、撮像装置１１０の電源がオフになっても、記憶されたデータは保持される。
【００４９】
入力装置２２４は、使用者の指示を受け付けることができるように構成された入力装置の総称である。入力装置２２４には、例えば、使用者が操作する電源ボタンや設定ボタン等の各種ボタン、タッチパネル、レバー等が含まれる。本実施の形態では、タッチパネルがディスプレイ２２５に設けられている例を説明する。しかし、入力装置２２４は、何らこれらの構成に限定されるものではなく、例えば音声入力装置を備えていてもよく、あるいは、全ての入力操作をタッチパネルで行う構成や、逆にタッチパネルを備えず全ての入力操作をボタンやレバー等で行う構成であってもよい。
【００５０】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２２０は、ＲＯＭ２２２から読み出したプログラムやパラメータ、入力装置２２４で受け付けられた使用者の指示、等にもとづき動作し、撮像装置１１０全体の制御、および各種演算処理を行うように構成されている。この各種演算処理には、第１画像信号および第２画像信号に関する画像信号処理が含まれる。この画像信号処理の詳細は後述する。
【００５１】
本実施の形態では、ＣＰＵ２２０にマイクロコンピューターを用いているが、例えば、マイクロコンピューターに代えてＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を用い、同様の動作を行うように構成してもよい。
【００５２】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２２１は、揮発性型の半導体記憶素子で構成され、ＣＰＵ２２０からの指示にもとづき、ＣＰＵ２２０を動作させるプログラムの一部、プログラム実行時のパラメータ、使用者の指示、等を一時的に記憶するように構成されている。ＲＡＭ２２１に記憶されたデータは、ＣＰＵ２２０が任意に読み出すことができ、ＣＰＵ２２０の指示によって任意に書き換えが可能である。
【００５３】
加速度センサ２２３は、一般的に用いられている加速度検出センサであり、撮像装置１１０の動きや姿勢の変化を検出するように構成されている。加速度センサ２２３では、例えば、撮像装置１１０が地面に対して平行に保たれているかどうか、が検出され、この検出結果はディスプレイ２２５に表示される。したがって、使用者はその表示を見ることで、撮像装置１１０が地面に対して水平に保たれているかどうか、すなわち、撮像装置１１０が立体画像の撮像に適した状態（姿勢）にあるかどうか、を判断することができる。これにより、使用者は、撮像装置１１０を適切な姿勢に保って立体画像の撮像や立体動画の撮影を行うことができる。
【００５４】
なお、撮像装置１１０は、加速度センサ２２３での検出結果にもとづき手振れ補正等の光学系制御を行う構成であってもよい。また、加速度センサ２２３は、３軸方向のジャイロスコープ（３軸ジャイロセンサ）であってもよく、複数のセンサを組み合わせて用いる構成であってもよい。
【００５５】
ディスプレイ２２５は、一般に用いられている液晶ディスプレイパネルで構成され、図１に示したモニター１１３に搭載されている。ディスプレイ２２５は、上述したタッチパネルが表面に取り付けられており、画像表示と使用者の指示受け付けを同時に行うことができるように構成されている。ディスプレイ２２５に表示される画像には、（１）撮像装置１１０で撮像中の画像（第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号にもとづく画像）、（２）記憶装置２２７に記憶されている画像信号にもとづく画像、（３）ＣＰＵ２２０で信号処理された画像信号にもとづく画像、（４）撮像装置１１０の各種設定項目を表示するメニュー表示画面、等がある。ディスプレイ２２５には、これらの画像が選択的に、または複数の画像を互いに重畳した画像が、表示される。なお、ディスプレイ２２５は、何ら上述の構成に限定されるものではなく、薄型で低消費電力の画像表示装置であればよく、例えばＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等で構成されていてもよい。
【００５６】
エンコーダー２２６は、撮像装置１１０で撮像した画像にもとづく画像信号や撮像した画像に関連する情報を、所定の方式で符号化（エンコード）するように構成されている。これは、データ量を低減して記憶装置２２７に記憶するためである。この符号化の方式は、一般的に用いられている画像圧縮方式であり、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ、等である。
【００５７】
記憶装置２２７は、任意に書き換えが可能な比較的大容量の記憶装置であるハードディスクドライブ（ＨＤＤ）で構成され、エンコーダー２２６で符号化されたデータ等を読み出し可能に記憶するように構成されている。また、記憶装置２２７に記憶するデータには、ＣＰＵ２２０で生成された立体画像の画像信号、立体画像の表示に必要な情報、が含まれる。なお、記憶装置２２７は、第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号を、符号化処理を施さずにそのまま記憶するように構成されていてもよい。また、記憶装置２２７は、何らＨＤＤに限定されるものではなく、例えば、半導体記憶素子を内蔵したメモリーカードや光ディスク等の着脱可能な記憶媒体に記憶する構成であってもよい。
【００５８】
［１−２．動作］
以上のように構成された撮像装置１１０について、その動作を以下に説明する。
【００５９】
以下、本実施の形態では、撮像装置１１０の第１撮像ユニット２００および第２撮像ユニット２１０において、立体動画の撮影を行うときの動作を説明する。したがって、特に断りが無い限り、第１画像、第２画像は、ともに動画であるものとする。なお、撮像装置１１０で立体画像（静止画）の撮像を行うときは、第１画像、第２画像は共に静止画であるので、その場合は、後述するフレームレートの変換に関する動作は行われない。
【００６０】
図３は、実施の形態１における撮像装置１１０の立体動画撮影時の動作を説明するフローチャートである。
【００６１】
立体動画の撮影を行うとき、撮像装置１１０では主に以下の動作を行う。
【００６２】
第１撮像ユニット２００から第１画像信号が、第２撮像ユニット２１０から第２画像が、それぞれ出力される（ステップＳ１０１）。
【００６３】
第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から切り出して（ステップＳ１０３）、切り出し画像信号を生成する（ステップＳ１０５）。
【００６４】
第１画像信号および切り出し画像信号のそれぞれに関して動き検出を行う（ステップＳ１０７）。
【００６５】
切り出し画像信号にもとづき第１画像信号を高解像度化する（ステップＳ１０９）。
【００６６】
切り出し画像信号を、第１画像信号のフレームレートに合わせて高フレームレート化する（ステップＳ１１１）。
【００６７】
高解像度化された第１画像信号と、高フレームレート化された切り出し画像信号とから、視差情報を生成する（ステップＳ１１３）。
【００６８】
視差情報にもとづき、高解像度化された第１画像信号から新たな第２画像信号を生成する。高解像度化された第１画像信号を右眼用画像信号とし、新たな第２画像信号を左眼用画像信号とする立体画像信号を出力（または、記憶装置２２７に記憶）する（ステップＳ１１５）。
【００６９】
使用者に動画撮影の終了が指示されるまで、一連の動作を繰り返す（ステップＳ１１７）。
【００７０】
なお、「画角（Ａｎｇｌｅ  ｏｆ  ｖｉｅｗ）」とは、画像として撮像される範囲のことであり、一般的には角度で表現される。
【００７１】
次に、撮像装置１１０で立体動画撮影をしているときに行われる主な動作を、機能毎にブロック分けして説明する。また、各機能ブロックで画像信号がどのように処理されるのかを、一例を挙げて図面に示す。
【００７２】
図４は、実施の形態１における撮像装置１１０の構成を機能毎にブロック分けして示す図である。
【００７３】
図５は、実施の形態１における撮像装置１１０の画像信号の処理の流れの一例を概略的に示す図である。
【００７４】
撮像装置１１０の構成を、立体動画の撮影をしているときに動作する主な機能で分けて示すと、撮像装置１１０は、図４に示すように、第１撮像部３００、第２撮像部３１０、画像信号処理部３２０、表示部３４０、入力部３５０、の５つのブロックに大別することができる。
【００７５】
第１撮像部３００は、第１光学部３０１、第１撮像素子３０２、第１Ａ／Ｄ変換部３０３、第１光学制御部３０４、を備える。第１撮像部３００は、図２に示した第１撮像ユニット２００に相当する。また、第１光学部３０１は第１レンズ群２０１に、第１撮像素子３０２は第１ＣＣＤ２０２に、第１Ａ／Ｄ変換部３０３は第１Ａ／Ｄ変換ＩＣ２０３に、第１光学制御部３０４は第１アクチュエーター２０４に、それぞれ相当する。重複するのでこれらの説明は省略する。
【００７６】
第２撮像部３１０は、第２光学部３１１、第２撮像素子３１２、第２Ａ／Ｄ変換部３１３、第２光学制御部３１４、を備える。第２撮像部３１０は、図２に示した第２撮像ユニット２１０に相当する。また、第２光学部３１１は第２レンズ群２１１に、第２撮像素子３１２は第２ＣＣＤ２１２に、第２Ａ／Ｄ変換部３１３は第２Ａ／Ｄ変換ＩＣ２１３に、第２光学制御部３１４は第２アクチュエーター２１４に、それぞれ相当する。重複するのでこれらの説明は省略する。
【００７７】
ここでは、一例として図５に示すように、第１撮像部３００は、画素数が１９２０×１０８０、フレームレートが６０Ｈｚの第１画像信号を出力し、第２撮像部３１０は、画素数が７６８０×４３２０、フレームレートが３０Ｈｚの第２画像信号を出力するものとして、以下の説明を行う。
【００７８】
なお、図５に示す数値は、単に一例を挙げたものに過ぎず、本実施の形態は何らこれらの数値に限定されるものではない。
【００７９】
表示部３４０は、図２に示したディスプレイ２２５に相当する。入力部３５０は、図２に示した入力装置２２４に相当する。入力部３５０に含まれるタッチパネルは、表示部３４０の表面に取り付けられており、表示部３４０では、画像の表示と使用者の指示受け付けを同時に行うことができる。重複するのでこれらの説明は省略する。
【００８０】
画像信号処理部３２０は、図２に示したＣＰＵ２２０に相当する。
【００８１】
なお、ＣＰＵ２２０では、撮像装置１１０全体の制御や各種演算処理が行われるが、図４には、撮像装置１１０で立体動画撮影を行うときにＣＰＵ２２０で行われる演算処理（画像信号処理）および制御動作に関連する主な機能のみをブロック分けして示しており、他の動作に関する機能は省略している。これは、撮像装置１１０で立体動画を撮影するときの動作を分かりやすく示すためである。
【００８２】
なお、画像信号処理部３２０として図４に示す各機能ブロックは、ＣＰＵ２２０で行われる演算処理および制御動作の主なものを機能別に分けて示しているに過ぎず、ＣＰＵ２２０の内部が図４に示す各機能ブロックに物理的に分けられているわけではない。しかし、以下では便宜的に画像信号処理部３２０が図４に示す各部を有するものとして説明を行う。
【００８３】
なお、ＣＰＵ２２０は、図４に示す各機能ブロックに相当する電子回路を備えたＩＣまたはＦＰＧＡで構成してもよい。
【００８４】
画像信号処理部３２０は、図４に示すように、画角合わせ部３２１、フレームメモリ３２２、３２３、動き検出部３２４、３２５、動き補正部３２６、補間画素生成部３２７、補間フレーム生成部３２８、信頼性情報生成部３２９、視差情報生成部３３０、画像生成部３３１、撮像制御部３３２、を有する。
【００８５】
画角合わせ部３２１は、第１撮像部３００から出力される第１画像信号および第２撮像部３１０から出力される第２画像信号が入力される。そして、撮像範囲が互いに等しいと判断される画像信号を各入力画像信号から取り出す。
【００８６】
第１撮像部３００では光学ズームによる撮像が可能であり、第２撮像部３１０では単焦点レンズによる撮像が行われる。第１光学部３０１が広角端のときの第１画像の画角が第２画像の画角以下になるように各撮像部が設定されていれば、第２画像に撮像される範囲には、常に第１画像に撮像される範囲が含まれることになる。
【００８７】
そこで、画角合わせ部３２１では、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出す。以下、第２画像信号から取り出された画像信号を「切り出し画像信号」と呼称し、切り出し画像信号による画像を「切り出し画像」と呼称する。したがって、切り出し画像は、画角合わせ部３２１において第１画像の撮像範囲に等しいと判断された範囲の画像になる。
【００８８】
切り出し画像信号として第２画像信号から取り出す範囲を特定する際の手順について、図面を用いて説明する。
【００８９】
図６Ａは、実施の形態１における撮像装置１１０で撮像された第１画像の一例を示す図である。図６Ｂは、実施の形態１における撮像装置１１０で撮像された第２画像の一例を示す図である。
【００９０】
なお、図６Ａには、第１光学部３０１の光学ズーム機能のズーム倍率を上げて撮像された第１画像を示す。図６Ａ、図６Ｂに示す通り、ズーム倍率を上げて撮像された第１画像よりも、撮像の際に光学ズームができない第２画像の方が、画角が広く、この第２画像には第１画像よりも広い範囲が撮像されている。
【００９１】
画像信号処理部３２０の撮像制御部３３２は、第１光学制御部３０４を介して第１光学部３０１の光学ズームを制御する。したがって、画像信号処理部３２０は、第１画像が撮像されたときの第１光学部３０１のズーム倍率を、第１画像の付帯情報として取得することができる。一方、第２光学部３１１では光学ズームができないので、第２画像を撮像するときのズーム倍率は固定されている。画角合わせ部３２１は、これらの情報に基づいて第１画像と第２画像との画角の差を算出し、その算出結果にもとづき第２画像信号から第１画像の撮像範囲（画角）に相当する領域を特定して切り出す。
【００９２】
このとき、画角合わせ部３２１は、第１画像の画角に相当する領域よりもやや広い範囲（例えば、１０％程度広い範囲）をまず切り出す。これは、第１画像の中心と第２画像の中心との間に若干のずれが生じる可能性があるためである。
【００９３】
次に、画角合わせ部３２１は、この切り出した範囲に対して、一般に用いられているパターンマッチングを行い、第１画像の撮像範囲に相当する領域を特定して再度切り出す。これにより、比較的負荷の軽い演算処理で高速に切り出し画像信号を生成することができる。なお、画角や解像度が互いに異なる２枚の画像を比較して撮像範囲が互いに共通する領域を特定するパターンマッチング等の手法は、一般に知られた手法であるので、説明を省略する。
【００９４】
このようにして、画角合わせ部３２１は、第１画像信号の撮像範囲に実質的に等しい領域を第２画像信号から取り出し、切り出し画像信号を生成する。図６Ａ、図６Ｂに示す例では、図６Ｂに破線で示す画素数３８４０×２１６０の領域が、こうして切り出された領域である。なお、この切り出し画像信号のフレームレートは、図５に示すように、第２画像信号と同じフレームレート（例えば、３０Ｈｚ）である。
【００９５】
なお、第１光学部３０１と第２光学部３１１との配置位置の違い（視差）により、第１画像と第２画像とでは画像内における被写体の位置に差が生じる。そのため、第２画像における第１画像に対応する領域が、第１画像に完全に合致する可能性は低い。したがって、画角合わせ部３２１でパターンマッチングを行う際は、第１画像信号と類似度が最も大きくなる領域を第２画像信号において探索し、その領域を第２画像信号から取り出して切り出し画像信号とすることが望ましい。
【００９６】
そして、画角合わせ部３２１は、切り出し画像信号と第１画像信号を後段に出力する。なお、第１画像と第２画像の画角が互いに等しいときには、第２画像信号をそのまま切り出し画像信号として用いることもある。
【００９７】
なお、画角合わせ部３２１における動作は、何ら上述した動作に限定されるものではない。例えば、第１画像の画角が第２画像の画角より広ければ、第１画像信号から第２画像の撮像範囲に相当する領域を取り出して切り出し画像信号を生成するように動作してもよい。また、第１画像と第２画像とで撮像範囲に差があるときには、撮像範囲が互いに等しい領域を第１画像信号と第２画像信号とのそれぞれから取り出して後段に出力するように動作してもよい。
【００９８】
なお、本実施の形態は、画角合わせ部３２１において第１画像信号と第２画像信号との比較に用いる手法を、何らパターンマッチングに限定するものではなく、その他の比較・照合手法を用いて切り出し画像信号を生成してもよい。
【００９９】
画角合わせ部３２１から出力される切り出し画像信号（例えば、図６Ｂに示す画素数３８４０×２１６０の画像信号）はフレームメモリ３２３に記憶され、第１画像信号（例えば、図６Ａに示す画素数１９２０×１０８０の画像信号）はフレームメモリ３２２に記憶される。
【０１００】
このとき、各画像信号は、付帯情報として、各画素の発生時刻（撮像時刻）を有する。グローバルシャッター方式（１枚の画像撮像時において、撮像部が備える全ての受光素子が同時刻に受光する方式）では、各画素の発生時刻（撮像時刻）は実質的に互いに等しい。しかし、ローリングシャッター方式（１枚の画像撮像時において、撮像部が備える行列状に配置された受光素子の一方の辺から他方の辺に向かって順次受光が行われる方式）では、画素の配置位置に応じて発生時刻（撮像時刻）に差が生じる。したがって、第１画像と第２画像の一方もしくは双方がローリングシャッター方式で撮像された場合、第１画像と第２画像とでは、同じ被写体であっても撮像時刻に差が生じる可能性がある。
【０１０１】
この撮像時刻の差について図面を用いて説明する。
【０１０２】
図７は、実施の形態１における撮像装置１１０で撮影された第１画像と第２画像の各画素の発生時刻の差を概略的に示す図である。
【０１０３】
なお、第１画像はフレームレート６０Ｈｚで撮影された動画であり、第２画像はフレームレート３０Ｈｚで撮影された動画であり、第１画像、第２画像共にローリングシャッター方式で撮像されているものとして説明する。また、図７に「Ａ１」で示す画素は図６Ａに「Ａ１」で示す画素を表し、図７に「Ａ２」で示す画素は図６Ｂに「Ａ２」で示す画素を表す。また、「Ａ１」で示す画素と「Ａ２」で示す画素は実質的に同じ被写体（領域）を表しており、互いに対応しているものとする。また、図６Ａ、６Ｂでは画素「Ａ１」、「Ａ２」を四角い枠で囲っているが、この枠は便宜的に示しているものであり、この枠の中央にある画素が画素「Ａ１」、「Ａ２」であるものとする。
【０１０４】
なお、第１画像は第２画像よりも画素数が少ないため、第１画像の１つの画素に対応する領域は第２画像では複数の画素となるが、ここでは便宜的に画素「Ａ１」と画素「Ａ２」とは互いに対応しているものとする。
【０１０５】
第１画像を撮像するときに１枚目の第１画像（時刻０／６０秒に撮像が開始される第１画像）において画素「Ａ１」が発生するまでの時間ｔ１は、第２画像を撮像するときの１枚目の第２画像（時刻０／６０秒に撮像が開始される第２画像）における画素「Ａ２」が発生するまでの時間ｔ２よりも短い。第１画像のフレームレートが６０Ｈｚ、第２画像のフレームレートが３０Ｈｚであれば、１枚の第２画像を撮像する間に２枚の第１画像が撮像されるので、実質的にｔ２＝２×ｔ１となる。
【０１０６】
したがって、画素「Ａ２」の位置によっては、１枚目の第１画像における画素「Ａ１」の発生時刻よりも、２枚目の第１画像（時刻１／６０秒に撮像が開始される第１画像）における画素「Ａ１」の発生時刻の方が、画素「Ａ２」の発生時刻に時間的に近くなる。
【０１０７】
このように、フレームレートが異なる２つの画像を比較するときは、各画素の発生時刻が重要になる。そのため、本実施の形態では、付帯情報として、各画素の発生時刻（撮像時刻）を画像信号とともにフレームメモリに記憶する。
【０１０８】
なお、フレームメモリ３２２、３２３は、複数フレーム分の画像信号を読み出し可能に記憶するように構成された画像信号用の記憶装置であり、例えばＤＲＡＭ等の高速動作が可能な半導体記憶素子で構成される。また、フレームメモリ３２２、３２３は、ＣＰＵ２２０の内部に設ける構成であってもよいが、ＲＡＭ２２１の一部をフレームメモリ３２２、３２３として用いる構成であってもよい。
【０１０９】
なお、各画素の発生時刻（撮像時刻）は、各画素が付帯情報として有する構成でもよいが、先頭の画素だけに発生時刻（撮像時刻）を付帯させ、残りの画素に関しては、先頭の画素からの発生順番にもとづき算出する構成としてもよい。
【０１１０】
動き検出部３２４は、フレームメモリ３２２に記憶された第１画像信号にもとづき、動き検出を行う。動き検出部３２５は、フレームメモリ３２３に記憶された第２画像信号にもとづき、動き検出を行う。
【０１１１】
動き検出部３２４、３２５は、１画素マッチング、または複数の画素の集まりで行うブロックマッチングにより、画素毎、またはブロック毎に、静止しているか、動いているかの判定を行う。動いていると判定された画素またはブロックに関しては、その画素またはブロックの近傍の領域を探索して、オプティカルフローや動きベクトル（ＭＥ：Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｅ）の検出を行う。動き検出自体は一般に知られた手法であるので、詳細な説明は省略する。
【０１１２】
動き補正部３２６は、動き検出部３２４から出力される第１画像信号に関する動き検出の結果、および、動き検出部３２５から出力される切り出し画像信号に関する動き検出の結果を取得し、これらの動き検出の結果にもとづき動き補正の補正値を算出する。この補正値は、例えば、２つの動き検出の結果の加算平均から求める構成であってもよく、または２つの動き検出の結果の最大値または最小値から求める構成であってもよく、あるいはその他の手法で求める構成であってもよい。そして、本実施の形態では、この補正値にもとづき、第１画像信号および切り出し画像信号の動き補正が行われる。
【０１１３】
補間画素生成部３２７は、第１画像信号と切り出し画像信号とを比較し、第１画像を高解像度化するための補間画素を生成する。補間画素生成部３２７は、第１画像信号と切り出し画像信号とを、互いに対応する画素毎またはブロック毎に比較し、切り出し画像信号にもとづき、第１画像信号を高解像度化するための補間画素信号を生成する。生成された補間画素信号は第１画像信号の対応する場所に挿入され、また、この補間により不自然な領域が生じないように第１画像信号にも修正を加えて、第１画像信号を高解像度化する。
【０１１４】
これにより、第１画像信号は、切り出し画像信号と実質的に同じ解像度になるように高解像度化される。例えば、図５に示す例では、画素数１９２０×１０８０の第１画像信号は、この高解像度化処理により、切り出し画像信号と同解像度の、画素数３８４０×２１６０の画像信号に補正される。
【０１１５】
なお、補間画素生成部３２７は、第１画像信号と切り出し画像信号とを互いに比較する際、上述の画像信号に付帯された各画素の発生時刻（撮像時刻）を参照し、時刻的に最も近い画素またはブロック同士を比較するように構成されることが望ましい。また、第１画像信号との比較に、動き補正部３２６で算出された補正値にもとづく動き補正がなされた切り出し画像信号を用い、より精度の高い補間画素信号を生成するように構成してもよい。
【０１１６】
補間フレーム生成部３２８は、フレームメモリ３２３に記憶された切り出し画像信号を、フレームメモリ３２３に書き込むときの倍の速度で読み出す。これにより、読み出された切り出し画像信号の１フレーム期間は１／３０秒から１／６０秒に短縮される。あわせて、補間フレーム生成部３２８は、動き補正部３２６から出力される動き補正の補正値および切り出し画像信号にもとづき、２つの時間的に連続する切り出し画像信号の間に挿入する補間画像信号（補間フレーム）を生成する。
【０１１７】
これにより、切り出し画像信号は、第１画像信号と実質的に同じフレームレートに高フレームレート化される。例えば、図５に示す例では、フレームレート３０Ｈｚの切り出し画像信号は、この高フレームレート化処理により、フレームレート６０Ｈｚの画像信号に補正される。
【０１１８】
補間画素生成部３２７で高解像度化された第１画像信号は、フレームメモリ３２２に再度記憶され、補間フレーム生成部３２８で高フレームレート化された切り出し画像信号は、フレームメモリ３２３に再度記憶される。
【０１１９】
動き補正、補間画素を生成して画像信号を高解像度化する手法、および補間フレームを生成して画像信号を高フレームレート化する手法は、それぞれ一般に知られた手法であるので、詳細な説明は省略する。
【０１２０】
信頼性情報生成部３２９は、上述の画像信号に付帯された各画素の発生時刻（撮像時刻）および、動き補正部３２６から出力される動き補正の補正値を用いて、画素毎に信頼性情報を生成する。例えば、図７に示した例ではｔ２がｔ１の２倍に近い程、画素毎の信頼度を高くする。また、画素毎の動き補正の補正値が小さい程、画素毎の信頼度を高くする。こうして得られる信頼度が信頼性情報である。
【０１２１】
なお、信頼性情報生成部３２９では、各画素に信頼性情報を付帯してもよいが、例えば、隣接する複数の画素で構成されるブロック毎に信頼性情報を付帯してもよい。
【０１２２】
視差情報生成部３３０は、高解像度化された第１画像信号、および高フレームレート化された切り出し画像信号にもとづいて、視差情報を生成する。視差情報生成部３３０は、高解像度化された第１画像信号と高フレームレート化された切り出し画像信号とを互いに比較し、互いに対応する被写体が２つの画像信号間でどの程度ずれているかを、画素単位、または複数の画素からなるブロック単位で、算出する。この「ずれの量（ずれ量）」は、視差方向、例えば撮像が行われたとき地面に対して水平となる方向、で算出する。この「ずれ量」を１枚の画像（高解像度化された第１画像信号にもとづく画像、または、高フレームレート化された切り出し画像信号にもとづく画像）の全域において算出し、算出対象となる画像の画素またはブロックに対応付けたものが、視差情報（デプスマップ）となる。
【０１２３】
撮像装置１１０では、高解像度化された第１画像信号（例えば、右眼用画像信号）から、視差情報にもとづき、対となる画像信号（例えば、左眼用画像信号）を生成する。したがって、視差情報に補正を加えることで、生成される立体画像の立体感を調整することが可能である。そこで、立体画像の立体感を増す、あるいは抑制する、等の立体感の調整ができるように、視差情報生成部３３０において、視差情報に補正を加えられるように構成してもよい。
【０１２４】
また、例えば、上述の信頼性情報にもとづき視差情報を補正してもよい。例えば、信頼性が低い画像に関しては立体感を少なくするように視差情報を補正することで、生成される立体画像の品質をより高めることも可能である。
【０１２５】
また、視差情報生成部３３０は、比較に用いる画像信号の画素を間引いて画素数（信号量）を削減し、視差情報の算出に必要な演算量を低減する構成であってもよい。
【０１２６】
視差情報生成部３３０では、動き補正後の画像信号にもとづきステレオマッチング等の処理を行うことで、動きのある被写体に関しても精度を高めて視差情報を生成することができる。
【０１２７】
画像生成部３３１は、視差情報生成部３３０から出力される視差情報にもとづいて、高解像度化された第１画像信号から新たな第２画像信号（図４、図５には、「生成画像信号」と記す）を生成する。この新たな第２画像信号は、高解像度化された第１画像信号と同仕様の画像信号、例えば、図５に示す例では画素数３８４０×２１６０、フレームレート６０Ｈｚの画像信号、として生成される。
【０１２８】
本実施の形態では、この高解像度化された第１画像信号を右眼用画像信号とし、画像生成部３３１で視差情報にもとづき生成される新たな第２画像信号を左眼用画像信号とする立体画像信号を、画像信号処理部３２０から出力する。
【０１２９】
この立体画像信号は、例えば記憶装置２２７に記憶され、また、この立体画像信号にもとづく立体画像は表示部３４０に表示される。
【０１３０】
なお、視差を有する２枚の画像から視差情報（ずれ量）を算出する手法、および視差情報にもとづき新たな画像信号を生成する手法は公知であり、例えば上述の特許文献１等に記載されているので、詳細な説明は省略する。
【０１３１】
なお、第１光学部３０１のズーム倍率および第２撮像素子３１２の解像度は、第１光学部３０１を望遠端（テレ端）にしたときの切り出し画像信号の解像度が第１画像信号の解像度以上となるように、設定することが望ましい。これは、第１光学部３０１を望遠端にしたときに、切り出し画像信号が第１画像信号よりも低解像度になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではない。
【０１３２】
なお、第２光学部３１１は、第１光学部３０１を広角端（ワイド端）にしたときの画角に実質的に等しいか、さらに広い画角を有するように構成することが望ましい。これは、第１光学部３０１を広角端にしたときに、第１画像が第２画像よりも広い画角になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１光学部３０１を広角端にしたときの第１画像の画角が第２画像よりも広い画角であってもよい。
【０１３３】
［１−３．効果等］
以上のように、本実施の形態において、撮像装置１１０は、第２画像信号よりも高いフレームレートで第１画像を撮像して第１画像信号を出力するように構成された第１撮像部３００と、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部３１０と、画像信号処理部３２０とを備える。画像信号処理部３２０は、画角合わせ部３２１と、補間画素生成部３２７と、補間フレーム生成部３２８と、視差情報生成部３３０と、画像生成部３３１と、を備える。画角合わせ部３２１は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成される。補間画素生成部３２７は、第１画像信号を高解像度化するための補間画素を、第１画像信号と切り出し画像信号とに基づいて生成するように構成される。補間フレーム生成部３２８は、切り出し画像信号を高フレームレート化するための補間フレームを生成するように構成される。視差情報生成部３３０は、補間画素を用いて高解像度化された第１画像信号と、補間フレームを用いて高フレームレート化された切り出し画像信号と、に基づき視差情報を生成するように構成される。画像生成部３３１は、視差情報に基づき、高解像度化された第１画像信号から新たな画像信号を生成するように構成される。
【０１３４】
良好な品質の立体画像を取得（生成）するためには、対となる右眼用画像と左眼用画像とを撮像する際に、画角（撮像範囲）、解像度（画素数）、ズーム倍率等の撮像条件を互いに揃え、できるだけ等しい状態にすることが望ましい。
【０１３５】
しかしながら、撮像素子には、光を電気信号に変える際の特性にばらつきが生じやすく、そのため、互いに同じ仕様の撮像素子同士を比較しても、明るさと出力信号との関係を示すガンマ特性等にばらつきが生じることがある。したがって、たとえ互いに等しい機能（性能）の光学系と撮像素子を用いて一対の撮像部を構成したとしても、対となる右眼用画像と左眼用画像には、明るさ、コントラスト、ホワイトバランス等に差が生じることがある。
【０１３６】
このように、互いに等しい仕様で一対の撮像部を構成したとしても、視差を除いて完全に同じ状態となる右眼用画像と左眼用画像とを取得することは困難である。
【０１３７】
加えて、良好な品質の立体動画を取得（生成）するためには、対となる右眼用画像と左眼用画像とを、互いに等しいフレームレートで動画撮影することが望ましい。
【０１３８】
しかしながら、本実施の形態の撮像装置１１０では、上述したように、第１撮像部３００と第２撮像部３１０とで、光学系の仕様が互いに異なる。また、第１撮像部３００と第２撮像部３１０とでは、撮像素子の仕様も互いに異なる。さらには、第１撮像部３００と第２撮像部３１０とで、動画撮影の際のフレームレートも互いに異なる。
【０１３９】
したがって、撮像装置１１０では、第１撮像部３００で撮像した第１画像をそのまま右眼用画像とし、第２撮像部３１０で撮像した第２画像をそのまま左眼用画像としても、良好な品質の立体画像（立体動画）を得ることは困難である。
【０１４０】
そこで、本実施の形態では、撮像装置１１０を上述した構成とし、第１撮像部３００で撮像した第１画像を高解像度化して右眼用画像とし、高解像度化した第１画像から視差情報を用いて生成した画像を左眼用画像として、立体画像（立体動画）を生成する。
【０１４１】
これにより、光学的な特性、ガンマ特性、フレームレート等の撮像条件が互いに等しい理想的な一対の撮像部で撮像（または動画撮影）された右眼用画像と左眼用画像に実質的に等しい右眼用画像と左眼用画像を生成することが可能になる。したがって、本実施の形態の撮像装置１１０では、良好な品質の立体動画を生成することができる。
【０１４２】
なお、視差情報は、第１画像と第２画像とを互いに比較することで生成されるが、このとき生成される視差情報の精度が高くなければ、視差情報にもとづき生成される画像の品質を高くすることは困難である。
【０１４３】
視差情報を精度良く生成するためには、第１画像と第２画像との比較を精度良く行うことが重要であり、そのためには、比較する画像同士で、画角（撮像範囲）、解像度（画素数）、フレームレート等が互いにできるだけ等しいことが望ましい。
【０１４４】
そこで、本実施の形態では、撮像装置１１０を上述した構成とし、第１画像信号にもとづき第２画像信号から切り出し画像信号を生成し、切り出し画像信号を第１画像信号のフレームレートにあわせて高フレームレート化する。また、第１画像信号を、切り出し画像信号の解像度にあわせて高解像度化する。
【０１４５】
そして、高解像度化された第１画像信号と、高フレームレート化された切り出し画像信号とを用いて、視差情報を生成する。
【０１４６】
これにより、撮像装置１１０では、精度の高い視差情報を生成することができ、質の高い視差情報にもとづき、質の高い立体画像（または立体動画）を生成することができる。
【０１４７】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０１４８】
そこで、以下、他の実施の形態を例示する。
【０１４９】
本実施の形態では、撮像装置１１０を、第１撮像部３００で第１画像を撮像し、第２撮像部３１０で第２画像を撮像するように構成する例を説明したが、例えば、第１撮像部３００に代えて第１画像入力部を備え、第２撮像部３１０に代えて第２画像入力部を備え、第１画像入力部を通して第１画像を取得し、第２画像入力部を通して第２画像を取得するように構成してもよい。
【０１５０】
本実施の形態では、第１撮像部３００で撮像した第１画像を高解像度化して右眼用画像とし、高解像度化した第１画像から視差情報を用いて生成した画像を左眼用画像として、立体画像（立体動画）を生成する構成を説明したが、例えば、第１撮像部３００で撮像した第１画像を高解像度化して左眼用画像とし、高解像度化した第１画像から視差情報を用いて生成した画像を右眼用画像として、立体画像（立体動画）を生成する構成としてもよい。あるいは、高フレームレート化された切り出し画像信号から新たな第１画像信号を生成する構成であってもよい。
【０１５１】
なお、第１光学部３０１（第１レンズ群２０１）および第２光学部３１１（第２レンズ群２１１）は、何ら実施の形態１に示した構成に限定されるものではない。例えば、フォーカス調節が可能なフォーカスレンズに代えて、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズを用いる構成でもよい。また、第２光学部３１１に、第２撮像素子３１２（第２ＣＣＤ２１２）で受光する光量を調節する光学式の絞りを備える構成としてもよい。
【０１５２】
また、第２光学部３１１に、単焦点レンズに代えて光学ズームレンズを備える構成としてもよい。その場合、例えば、撮像装置１１０で立体画像（立体動画）の撮像を行うときには、自動的に第２光学部３１１が広角端になるように構成してもよい。
【０１５３】
また、第１光学部３０１を望遠端（テレ端）にしたときに、切り出し画像信号が第１画像信号よりも低解像度になるように、撮像装置１１０を構成してもよい。その場合、例えば、動き補正部３２６から出力される動き補正の補正値等にもとづき、切り出し画像信号よりも高い解像度に第１画像信号を高解像度化するように補間画素生成部３２７を構成してもよい。あるいは、第１光学部３０１のズーム倍率を上げていく過程で切り出し画像信号の解像度が第１画像信号の解像度以下となったときに、立体画像から通常画像に撮像モードが自動で変わるように撮像装置１１０を構成してもよい。
【０１５４】
また、補間画素生成部３２７は、切り出し画像信号の解像度が所定の解像度以下になったときに、切り出し画像信号の解像度にかかわらず、第１画像信号の解像度を所定の解像度まで高解像度化する構成であってもよい。さらには、切り出し画像の解像度が所定の解像度以上であっても、第１画像信号の高解像度化を所定の解像度にとどめ、常に同じ解像度（所定の解像度）で右眼用画像信号（または左眼用画像信号）を生成する構成であってもよい。その場合、高解像度化された第１画像信号と切り出し画像信号とで解像度（画素数）が異なる状況が発生するので、高解像度化された第１画像信号と切り出し画像信号のいずれか一方の画素数を他方に合わせて削減する、あるいは、双方の画素数を共に同じにする、等の画素数補正をして視差情報の生成を行うように視差情報生成部３３０を構成してもよい。
【０１５５】
なお、第２レンズ部１１２の配置位置は何ら図１に示した位置に限定されるものではなく、立体画像の撮像が行える範囲であればどこに配置してもよい。例えば、第２レンズ部１１２を第１レンズ部１１１の近傍に配置してもよい。
【０１５６】
なお、モニター１１３が立体画像の撮像に適した位置まで開いたときにオン状態になり、それ以外ではオフになるスイッチを撮像装置１１０に設け、そのスイッチがオンになったときのみ立体画像の撮像または立体動画の撮影ができるように撮像装置１１０を構成してもよい。
【０１５７】
なお、撮像装置１１０では、高解像度化された第１画像を単独の画像信号として用いてもよく、高フレームレート化された切り出し画像信号（または、第２画像信号）を単独の画像信号として用いてもよい。あるいは、第１撮像部３００から出力される第１画像信号をそのまま用いてもよく、第２撮像部３１０から出力される第２画像信号をそのまま用いてもよい。
【０１５８】
なお、実施の形態に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は画像表示装置の仕様等にあわせて最適な値に設定することが望ましい。
【産業上の利用可能性】
【０１５９】
本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に適用可能である。具体的には、立体視用の画像を撮像可能な、デジタルビデオカメラ、デジタルスチルカメラ、カメラ機能付き携帯電話、スマートフォン等に本開示は適用可能である。
【符号の説明】
【０１６０】
１１０    撮像装置
１１１    第１レンズ部
１１２    第２レンズ部
１１３    モニター
２００    第１撮像ユニット
２０１    第１レンズ群
２０２    第１ＣＣＤ
２０３    第１Ａ／Ｄ変換ＩＣ
２０４    第１アクチュエーター
２１０    第２撮像ユニット
２１１    第２レンズ群
２１２    第２ＣＣＤ
２１３    第２Ａ／Ｄ変換ＩＣ
２１４    第２アクチュエーター
２２０    ＣＰＵ
２２１    ＲＡＭ
２２２    ＲＯＭ
２２３    加速度センサ
２２４    入力装置
２２５    ディスプレイ
２２６    エンコーダー
２２７    記憶装置
３００    第１撮像部
３０１    第１光学部
３０２    第１撮像素子
３０３    第１Ａ／Ｄ変換部
３０４    第１光学制御部
３１０    第２撮像部
３１１    第２光学部
３１２    第２撮像素子
３１３    第２Ａ／Ｄ変換部
３１４    第２光学制御部
３２０    画像信号処理部
３２１    画角合わせ部
３２２，３２３    フレームメモリ
３２４，３２５    動き検出部
３２６    動き補正部
３２７    補間画素生成部
３２８    補間フレーム生成部
３２９    信頼性情報生成部
３３０    視差情報生成部
３３１    画像生成部
３３２    撮像制御部
３４０    表示部
３５０    入力部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１画像信号と、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号と、が入力され、前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成された画角合わせ部と、
前記第１画像信号を高解像度化するための補間画素を生成するように構成された補間画素生成部と、
前記補間画素を用いて高解像度化された前記第１画像信号と、前記切り出し画像信号と、に基づき視差情報を生成するように構成された視差情報生成部と、
前記視差情報に基づき、前記高解像度化された第１画像信号から新たな画像信号を生成するように構成された画像生成部と、
を備える画像生成装置。
【請求項２】
補間フレーム生成部をさらに備え、
前記画角合わせ部は、動画信号である前記第１画像信号と、前記第１画像信号よりも高解像度かつ低フレームレートの動画信号である前記第２画像信号を受け付けるように構成され、
前記補間フレーム生成部は、前記切り出し画像信号を高フレームレート化するための補間フレームを生成するように構成され、
前記視差情報生成部は、前記高解像度化された第１画像信号と、前記補間フレームを用いて高フレームレート化された前記切り出し画像信号と、に基づき前記視差情報を生成するように構成された、
請求項１に記載の画像生成装置。
【請求項３】
前記補間画素生成部は、前記第１画像信号を前記切り出し画像信号の解像度と実質的に等しい解像度に高解像度化する前記補間画素、を生成するように構成され、
前記補間フレーム生成部は、前記切り出し画像信号を前記第１画像信号のフレームレートと実質的に等しいフレームレートに高フレームレート化する前記補間フレーム、を生成するように構成された
請求項２に記載の画像生成装置。
【請求項４】
第１画像を撮像して第１画像信号を出力するように構成された第１撮像部と、
前記第１画像以上の画角を有する第２画像を、前記第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部と、
前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成された画角合わせ部と、
前記第１画像信号を高解像度化するための補間画素を生成するように構成された補間画素生成部と、
前記補間画素を用いて高解像度化された前記第１画像信号と、前記切り出し画像信号と、に基づき視差情報を生成するように構成された視差情報生成部と、
前記視差情報に基づき、前記高解像度化された第１画像信号から新たな画像信号を生成するように構成された画像生成部と、
を備える撮像装置。
【請求項５】
補間フレーム生成部をさらに備え、
前記第１撮像部は、前記第１画像信号を動画信号として出力することができるように構成され、
前記第２撮像部は、前記第２画像信号を前記第１画像信号よりも高解像度かつ低フレームレートの動画信号として出力することができるように構成され、
前記補間フレーム生成部は、前記切り出し画像信号を高フレームレート化するための補間フレームを生成するように構成され、
前記視差情報生成部は、前記高解像度化された第１画像信号と、前記補間フレームを用いて高フレームレート化された前記切り出し画像信号と、に基づき前記視差情報を生成するように構成された、
請求項４に記載の撮像装置。
【請求項６】
前記補間画素生成部は、前記第１画像信号を前記切り出し画像信号の解像度と実質的に等しい解像度に高解像度化する前記補間画素、を生成するように構成され、
前記補間フレーム生成部は、前記切り出し画像信号を前記第１画像信号のフレームレートと実質的に等しいフレームレートに高フレームレート化する前記補間フレーム、を生成するように構成された
請求項５に記載の撮像装置。
【請求項７】
前記第１撮像部は、光学的なズーム機能を有する第１光学部と、前記第１光学部を透過した光を電気信号に変換して前記第１画像信号を出力するように構成された第１撮像素子と、を備え、
前記第２撮像部は、前記第１光学部以上の画角を有する第２光学部と、前記第２光学部を透過した光を前記第１撮像素子よりも高い解像度で電気信号に変換して前記第２画像信号を出力するように構成された第２撮像素子と、を備え、
前記第１撮像部および前記第２撮像部は、前記ズーム機能を望遠端の状態にしたときに撮像される前記第１画像信号に基づき生成される前記切り出し画像信号の解像度が、前記第１画像信号の解像度以上になるように構成され、
前記補間画素生成部は、前記第１画像信号を前記切り出し画像信号の解像度と実質的に等しい解像度に高解像度化するための前記補間画素、を生成するように構成された、
請求項５に記載の撮像装置。
【請求項８】
前記第２光学部は、前記第１光学部を広角端にしたときの画角に実質的に等しい画角を有するように構成された、
請求項７に記載の撮像装置。
【請求項９】
第１画像信号に基づき、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号から、少なくとも一部を切り出して切り出し画像信号を生成し、
前記第１画像信号を高解像度化するための補間画素を生成し、
前記補間画素を用いて高解像度化された前記第１画像信号と、前記切り出し画像信号と、に基づき視差情報を生成し、
前記視差情報に基づき、前記高解像度化された第１画像信号から新たな画像信号を生成する、
画像生成方法。
【請求項１０】
動画信号である前記第１画像信号と、前記第１画像信号よりも高解像度かつ低フレームレートの動画信号である前記第２画像信号を受け付け、
前記切り出し画像信号を高フレームレート化するための補間フレームを生成し、
前記高解像度化された第１画像信号と、前記補間フレームを用いて高フレームレート化された前記切り出し画像信号と、に基づき前記視差情報を生成する、
請求項９に記載の画像生成方法。
【請求項１１】
前記第１画像信号を、前記切り出し画像信号の解像度と実質的に等しい解像度に高解像度化するように、前記補間画素を生成し、
前記切り出し画像信号を、前記第１画像信号のフレームレートと実質的に等しいフレームレートに高フレームレート化するように、前記補間フレームを生成する、
請求項１０に記載の画像生成方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2014141653.tif 000011
【図２】
2014141653.tif 000012
【図３】
2014141653.tif 000013
【図４】
2014141653.tif 000014
【図５】
2014141653.tif 000015
【図６Ａ】
2014141653.tif 000016
【図６Ｂ】
2014141653.tif 000017
【図７】
2014141653.tif 000018
【国際調査報告】
2014141653.tif 000019
2014141653.tif 000020