(57)【要約】【課題】  立体視可能な画像を高画質かつ広画角に取得すること。【解決手段】  画像処理装置としてのカメラ側制御部１０１は、第１光学系２０３を介して撮像された第１画像データと、第２光学系２０４を介して撮像された第２画像データを取得する取得部１０１ａと、第１光学系２０３のイメージサークルの内、第１画像データの撮像領域外となる部分に対応する第１部分画像データを第２画像データから抽出する抽出部１０１ｂと、第１画像データと第１部分画像データに基づいて第１画像データより画角の広い第１補正画像データを生成する生成部１０１ｃと、を有する【選択図】  図１
2020077939.tif 000002
【特許請求の範囲】
【請求項１】
第１光学系を介して撮像された第１画像データと、第２光学系を介して撮像された第２画像データを取得する取得部と、
前記第１光学系のイメージサークルの内、前記第１画像データの撮像領域外となる部分に対応する第１部分画像データを前記第２画像データから抽出する抽出部と、
前記第１画像データと前記第１部分画像データに基づいて前記第１画像データより画角の広い第１補正画像データを生成する生成部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記抽出部は、前記第２光学系のイメージサークルの内、前記第２画像データの撮像領域外となる部分に対応する第２部分画像データを前記第１画像データから抽出し、
前記生成部は、前記第２画像データと前記第２部分画像データに基づいて前記第２画像データより画角の広い第２補正画像データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１補正画像の画角は前記第１の光学系のイメージサークル内に形成される像の画角以下であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記抽出部は、前記第１光学系の光学情報に基づいて前記第１部分画像データを抽出することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記第１光学系のイメージサークルの内、前記第１画像データの撮像領域外となる部分に関する欠落情報を記憶する記憶部を有し、
前記抽出部は、前記欠落情報に基づいて前記第１部分画像データを抽出することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項６】
前記取得部は、前記第１画像データと前記第２画像データを１枚の画像として取得することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記生成部は、前記第１画像データに前記第１部分画像データを合成することで前記第１補正画像データを生成することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記生成部は、前記第１画像データと前記部分画像データの境界における視差量の変化を低減する処理を行うことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記第１補正画像データにおいて前記第１画像データに写っていない領域に対する前記二つの光学系の基線長の最大値は、４０ｍｍ以下であることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
請求項１乃至９のいずれか一項に記載された画像処理装置と、前記第１光学系および前記第２光学系によって形成された光学像を撮像する撮像素子と、を有することを特徴とする撮像装置。
【請求項１１】
レンズ装置と撮像装置から成る撮像システムであって、
前記レンズ装置は第１光学系と第２光学系を備え、
前記撮像装置は、
前記第１光学系および前記第２光学系によって形成された光学像を撮像する撮像部と、
第１光学系を介して撮像された第１画像データと、第２光学系を介して撮像された第２画像データを取得する取得部と、
前記第１光学系のイメージサークルの内、前記第１画像データの撮像領域外となる部分に対応する第１部分画像データを前記第２画像データから抽出する抽出部と、
前記第１画像データと前記第１部分画像データに基づいて前記第１画像データより画角の広い第１補正画像データを生成する生成部と、
を有することを特徴とする撮像システム。
【請求項１２】
前記第１光学系および前記第２光学系は、それぞれ光路を折り曲げる反射面を２面有することを特徴とする請求項１１に記載の撮像システム。
【請求項１３】
前記第１光学系および前記第２光学系の画角は１５０°以上１９０°以下であることを特徴とする請求項１１または１２に記載の撮像システム。
【請求項１４】
第１光学系を介して撮像された第１画像データと、第２光学系を介して撮像された第２画像データを取得する工程と、
前記第１光学系のイメージサークルの内、前記第１画像データの撮像領域外となる部分に対応する第１部分画像データを前記第２画像データから抽出する工程と、
前記第１画像データと前記第１部分画像データに基づいて前記第１画像データより画角の広い第１補正画像データを生成する工程と、
を有することを特徴とする画像処理方法。
【請求項１５】
第１光学系を介して撮像された第１画像データと、第２光学系を介して撮像された第２画像データを取得する工程と、
前記第１光学系のイメージサークルの内、前記第１画像データの撮像領域外となる部分に対応する第１部分画像データを前記第２画像データから抽出する工程と、
前記第１画像データと前記第１部分画像データに基づいて前記第１画像データより画角の広い第１補正画像データを生成する工程と、
を有する画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二つの光学系によって取得された画像を処理するための画像処理装置に関する。
【背景技術】
【０００２】
バーチャルリアリティー等の臨場感の得られるコンテンツに用いられる画像（映像）を撮影するために、広角かつ立体撮影可能な撮像装置が求められている。
【０００３】
特許文献１には一つの撮像素子上に二つの光学系による光学像を形成させることで立体撮影を可能とした構成の撮像装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−３０２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された撮像装置では、二つの光学系によるイメージサークルの内の一部のみを切り出して使用することで撮像面を効率的に利用して高画質な画像を得るという構成となっている。このため、特許文献１の撮像装置では、広画角な画像（映像）を取得ことは困難であった。
【０００６】
本発明は、立体視可能な画像を高画質かつ広画角に取得することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、第１光学系を介して撮像された第１画像データと、第２光学系を介して撮像された第２画像データを取得する取得部と、前記第１光学系のイメージサークルの内、前記第１画像データの撮像領域外となる部分に対応する第１部分画像データを前記第２画像データから抽出する抽出部と、前記第１画像データと前記第１部分画像データに基づいて前記第１画像データより画角の広い第１補正画像データを生成する生成部と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、立体視可能な画像を高画質かつ広画角に取得することができる。
【図面の簡単な説明】
【０００９】
【図１】撮像システムのブロック図である。
【図２】レンズ装置の要部断面図である。
【図３】撮像有効領域と二つの光学系のイメージサークルの関係を模式的に示した図である。
【図４】イメージサークルの欠落領域を補完する画像処理を模式的に説明する図である。
【図５】イメージサークルの欠落領域と画角の関係を説明する図である。
【図６】イメージサークルの欠落領域を補完する画像処理のフローチャートである。
【図７】光学系の断面図である。
【図８】光学系の収差図である。
【図９】変形例１における撮像有効領域と二つの光学系のイメージサークルの関係を模式的に示した図である。
【図１０】変形例２における画像処理装置のブロック図である。
【図１１】変形例２における撮像有効領域と二つの光学系のイメージサークルの関係を模式的に示した図である。
【図１２】変形例３における撮像有効領域と二つの光学系のイメージサークルの関係を模式的に示した図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の画像処理装置の実施例について、添付の図面に基づいて説明する。
【００１１】
［実施例１］
図１は、実施例１の画像処理装置を有する撮像装置と、レンズ装置（交換レンズ）から成るレンズ交換型撮像システムのブロック図である。
【００１２】
撮像装置１００は、カメラ側制御部１０１と、カメラ側記憶部１０２と、撮像部１０３を有する。撮像装置１００は、例えばデジタルスチルカメラ、デジタルビデオカメラ、放送用カメラ、監視用カメラである。
【００１３】
カメラ側制御部１０１は撮像装置１００全体の機能を制御するプロセッサ（ＣＰＵ）である。撮像装置１００の機能とは、撮像動作、画像処理、表示部（不図示）への画像や情報の表示等を含む。すなわち、カメラ側制御部１０１は撮像装置１００内部に設けられた画像処理装置として機能する。
【００１４】
カメラ側記憶部１０２は、カメラ側制御部１０１による撮像装置１００の制御に必要な各種データを記憶している。カメラ側記憶部１０２は、レンズ装置２００との通信によって取得されたレンズ側記憶部２０２に記憶されたデータを記憶していても良い。また、カメラ側記憶部１０２は、撮像装置１００を用いて撮影された画像を記憶しても良い。
【００１５】
撮像部１０３はＣＭＯＳセンサーやＣＣＤセンサー等の固体撮像素子から成る。レンズ装置２００に設けられた二つの光学系２０３、２０４を通して結像された光学像を光電変換し、画像として出力する。本実施例において、撮像部１０３は一つの撮像素子から成るが、本発明はこれに限定されない。撮像部１０３は二つの光学系２０３、２０４のそれぞれに対応する二つの撮像素子を有していても良い。また、赤外線カットフィルタ、光学ローパスフィルタ等の各種光学素子を撮像素子の物体側に設けても良い。
【００１６】
レンズ装置２００は不図示のマウント部を介して撮像装置１００に取り外し可能に装着される。レンズ装置２００は、二つの光学系２０３，２０４を有している。すなわち、撮像装置１００はレンズ装置２００を用いて撮影を行うことで、一度の撮影により視差のついた二つの画像を得ることができる。すなわち、本実施例の撮像システムは、立体画像（映像）を取得可能に構成されている。図１において二つの光学系２０３，２０４は模式的に１枚のレンズのみで示しているが、本実施例の光学系は後述の通り複数の光学要素で構成されるものである。
【００１７】
レンズ側制御部２０１はレンズ装置２００の機能の制御を行う。レンズ側制御部２０１による制御は、二つの光学系２０３，２０４の制御（例えばフォーカス制御、絞り制御などのアクチュエータ制御）を含む。
【００１８】
レンズ装置２００は撮像装置１００と電気的にも接続されており、相互にデータの送受信が可能となっている。すなわち、レンズ側制御部２０１とカメラ側制御部１０１は通信可能に構成されている。
【００１９】
レンズ側記憶部２０２はレンズ装置２００の制御や撮像装置１００の制御に必要な各種データを記憶している。レンズ側記憶部２０２に記憶されたデータは、二つの光学系２０３，２０４の光学情報（例えば焦点距離、開放Ｆ値、画角、イメージサークル径等）を含んでも良い。
【００２０】
次に、本実施例のレンズ装置２００の構成について述べる。
【００２１】
図２はレンズ装置２００の要部断面図である。
【００２２】
図２に示すように、本実施例のレンズ装置２００は二つの光学系２０３、２０４を有する。光学系２０３、２０４は不図示の筐体によって保持されている。本実施例において光学系２０３、２０４は反射面の反射方向を除いて同一であるため、以降の説明では代表として光学系２０３について述べる。
【００２３】
光学系２０３は、二つの反射部材２３１、２３２を有する。第１反射部材２３１は光路を折り曲げる反射面Ｒ１を有する。第２反射部材２３２は光路を折り曲げる反射面Ｒ２を有する。また、光学系２０３の撮影半画角は９０°であり、広角な撮影光学系である。
【００２４】
図２において、ＳＰは開口絞りである。また、ＩＰは像面（近軸結像位置）である。像面ＩＰには、撮像装置１００の撮像部１０３の受光面が配置される。
【００２５】
像面ＩＰには、光学系２０３、２０４によって像（光学像）が形成される。すなわち、本実施例のレンズ装置２００において、二つの光学系２０３，２０４による二つの光学像は一つの撮像素子上に形成される。
【００２６】
次に、図３を用いて本実施例の像面ＩＰと二つの光学系２０３，２０４によるイメージサークルの関係について述べる。
【００２７】
二つの光学系による二つの像を一つの撮像素子で取得する場合を考える。撮像素子の縦横比率が１：２であれば、撮像素子を二つの正方領域に分け、各正方領域にそれぞれのイメージサークルを内接させることで画素を無駄なく画素を利用することができる。しかしながら、一般的な撮像素子の縦横比率は２：３や３：４である。この場合、図３（ａ）のように二つの光学系のイメージサークル径をそれぞれ撮像素子の長辺の半分の長さとすると、撮像素子上に撮影に使用しない領域（図３（ａ）の斜線で示した領域）が生じる。図３（ａ）において、矩形領域は撮像素子の撮像有効領域、円形領域は二つの光学系によって形成された二つのイメージサークルである。撮像有効領域とは、撮像素子の出力信号が画像（映像）として扱われる領域である。このように、図３（ａ）のようなイメージサークルの配置の場合には撮像素子上の画素の一部が無駄になってしまうため、十分な画質の画像を取得するできなくなるおそれがある。
【００２８】
そこで、本実施例では図３（ｂ）のようにイメージサークルを配置するように構成している。図３（ｂ）において、矩形領域は撮像素子の撮像有効領域を表している。また、ＩＣ１は光学系２０３により像面ＩＰ上に形成されたイメージサークル、ＩＣ２は光学系２０４により像面ＩＰ上に形成されたイメージサークルである。
【００２９】
本実施例では、二つの光学系２０３，２０４によるイメージサークルの撮像有効領域に対する大きさを、図３（ａ）に示す場合よりも大きくしている。具体的には、本実施例では、イメージサークルＩＣ１，２は端部が撮像有効領域の長辺に接する程の大きさとしている。これにより、図３（ａ）の場合と比較して撮像有効領域の画素を有効に活用することが可能となり、高画質な画像を取得することができる。
【００３０】
ただし、図３（ｂ）のように、図３（ａ）に示す状態よりもイメージサークルの径を大きくすると、イメージサークルの一部（図３（ｂ）に灰色で示した領域）が撮像有効領域外となってしまう。
【００３１】
そこで、本実施例では、一方の光学系のイメージサークル内で撮像有効領域外となってしまった結果画像化されなかった部分を、他方の光学系を介して得た画像から補完するような画像処理を行う。
【００３２】
図４は、本実施例の画像処理の概要を説明する図である。
【００３３】
本実施例では、二つの光学系２０３，２０４を並列に配置し、二つの光学系２０３，２０４により得られた画像データを同時に取得可能に構成されている。このため、光学系２０３のイメージサークルＩＣ１の内で撮像有効領域外となってしまった領域に写るはずの被写体像は、光学系２０４のイメージサークルＩＣ２の撮像有効領域内（イメージサークルＩＣ２について点線で囲った領域）に写り込む。ゆえに、光学系２０３のイメージサークル内の光学系２０３を介して得られた画像データから欠落した情報は、光学系２０４を介して得られた画像データから抽出することができる。そして、光学系２０４から抽出された画像データを、光学系２０３を介して得られた画像データにつなぎ合わせるように合成することで、画像の解像度を損なうことなく広画角な画像データを取得することができる。光学系２０４を介して得られる画像データについても同様に光学系２０３を介して得られる画像データを用いて補完すれば良い。
【００３４】
なお、図４を用いて説明した画像処理を行う場合、画像データを補完した部分は二つの光学系２０３，２０４に対応する画像データ間での視差は減じられる。
【００３５】
図５は、イメージサークルと画角の関係を示す図である。図５に示すように、本実施例において撮像有効領域の端部に結像する光の最低半画角は４６°である。ゆえに、イメージサークルＩＣ１のうち撮像有効領域から欠落する画角範囲は、最大で４６°から９０°の間である。
【００３６】
しかしながら、図５に示すように、画角が大きくなるほど二つの光学系２０３，２０４の基線長（二つの光学系２０３，２０４に入射する入射光線間の距離）は小さくなる。例えば、本実施例のレンズ装置２００の場合、入射角０°の光についての基線長は５９．３ｍｍであるが、入射角４６°の光についての基線長は４１．３ｍｍとなり、入射角９０°の光に対する基線長は０ｍｍとなる。
【００３７】
このように、イメージサークルの中心部に比べてイメージサークルの周辺部は視差が小さくなるため、立体画像（映像）としては問題となりにくい。すなわち、本実施例の画像処理に依れば、立体感や臨場感を損なうことなく広画角な立体画像（映像）を提供することが可能となる。
【００３８】
次に、本実施例の撮像装置１００におけるカメラ側制御部１０１における具体的動作を、図６に示すフローチャートを用いて説明する。以下の説明においてフローチャートの各ステップ（工程）は、単に「Ｓ」と称する。なお、図６に示した画像処理方法は、コンピュータ（プロセッサ）に各ステップの機能を実現させるための画像処理プログラムとして具現化が可能である。すなわち、画像処理プログラム（ソフトウェア）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行することで画像処理方法を実現できる。
【００３９】
Ｓ１０１において、カメラ側制御部１０１の取得部１０１ａは、二つの光学系２０３，２０４を介して得た二つの画像データを取得する。以下では、光学系２０３を介して得られた画像データを第１画像データ、光学系２０４を介して得られた画像データを第２画像データと称する。なお、Ｓ１０１で取得される二つの画像データは、２枚の画像として取得されても良いし、実質的に１枚の画像として取得されても良い。実質的に１枚の画像として取得する場合、第１画像データと第２画像データは一つの撮像素子から出力される１枚の画像として取得されても良い。この場合、第１画像データは、図３（ｂ）に示されるように、１枚の画像のうちの第１光学系２０３のイメージサークルＩＣ１に対応する領域の画像データに相当する。同様に、第２画像データは、１枚の画像のうちの第２光学系２０４のイメージサークルＩＣ２に対応する領域の画像データに相当する。第１画像データと第２画像データは、それぞれ撮像素子内の異なる領域に形成された二つの光学系２０３，２０４による光学像に対応するものであるため、実質的に１枚の画像として取得されたとしても明確に切り分けることが可能である。
【００４０】
Ｓ１０２において、カメラ側制御部１０１の抽出部１０１ｂは第１画像データと第２画像データのうちの一方を対象画像データ、他方を参照画像データとして設定する。対象画像データとは、本実施例の画像処理によって画像データの欠落領域が補完される画像であり、参照画像データは対象画像データの補完を行うための補完元となる画像データである。
【００４１】
Ｓ１０３において、カメラ側制御部１０１の抽出部１０１ｂは対象画像データの欠落領域を決定（特定）する。欠落領域とは、対象画像データを撮像するために用いた光学系のイメージサークル内であって、対象画像データの撮像領域外である領域を指す。対象画像データの撮像領域とは、対象画像データを撮像するために用いた光学系のイメージサークル内であって撮像有効領域内である領域を言う。対象画像データを撮像するために用いた光学系のイメージサークル内であって、対象画像データの撮像領域外である領域に対応する参照画像データ内における位置（領域）を欠落領域として決定しても良い。欠落領域の決定には、レンズ装置２００の光学データを用いることができる。すなわち、抽出部１０１ｂはレンズ装置２００の焦点距離、画角に関するデータからイメージサークル径を算出し、算出されたイメージサークル径と、撮像有効領域のサイズと、撮像有効領域における対象画像データの中心位置から、欠落領域の範囲を決定する。また、カメラ側記憶部１０２に欠落領域に関する欠落情報を記憶しておき、それを参照することにより欠落領域を決定しても良い。
【００４２】
Ｓ１０４において、カメラ側制御部１０１の抽出部１０１ｂはＳ１０３で決定した欠落領域に基づいて参照画像データから部分画像データ（第１部分画像データ）を抽出する。
【００４３】
そして、Ｓ１０５において、カメラ側制御部１０１の抽出部１０１ｃは対象画像データと部分画像データに基づいて、対象画像データにおける欠落領域が補完された補正画像データ（第１補正画像データ）を生成する。具体的には、対象画像データに部分画像データを合成することにより補正画像データを生成する。補正画像データは対象画像データよりも水平方向に広画角な画像データである。ただし、補正画像データの画角は第１光学系のイメージサークル内に形成される像の画角以下である。
【００４４】
Ｓ１０６において、カメラ側制御部１０１はＳ１０１で取得した全ての画像データに対して画像処理を完了したか判定する。全ての画像データに対して処理が完了していた場合には処理を終了する。未処理の画像データがある場合には、Ｓ１０７に進み、対象画像データと参照画像データを入れ替えてからＳ１０２に戻る。
【００４５】
本実施例では、以上の処理により、立体視可能な画像を高画質かつ広画角に取得している。このように取得された立体画像（映像）は、ヘッドマウントディスプレイ等の端末に表示するために用いられる。
【００４６】
本実施例では前述の画像処理を行う画像処理装置が撮像装置１００に内蔵されている例について述べたが、本発明はこれに限定されない。前述の画像処理は撮像装置１００と別体の画像処理装置（例えばパーソナルコンピュータやスマートフォン）で行われても良い。
【００４７】
また、本実施例では、二つのイメージサークルＩＣ１，ＩＣ２が共に撮像有効領域の長辺にほとんど接するような関係としたが、本発明はこれに限定されない。本実施例の効果は撮像有効領域からイメージサークルの一部が欠落しているような場合に効果があり、その範囲において撮像有効領域に対するイメージサークル径を大きくしたり小さくしたりしても良い。イメージサークル径を本実施例よりも小さくする場合には、欠落領域が縮小するため、上述した画像処理によって生じ得る視差量の不連続的な変化をより低減することができる。イメージサークル径を本実施例よりも大きくする場合、イメージサークルの上下の端部にも欠落領域が生じ得るが、撮像有効領域の利用効率が高まるため、より高画質な画像を得ることができる。この際、垂直方向の欠落領域については補正をせず、水平方向の欠落領域のみを上述の画像処理によって補完しても良い。
【００４８】
次に、本実施例における好ましい構成について述べる。
【００４９】
カメラ側制御部１０１の生成部１０１ｃは、第１補正画像データの生成に際して、第１画像データと第１部分画像データとの境界を目立たなくする画像処理を施すことが好ましい。すなわち、第１補正画像データの生成に際して、第１画像データと第１部分画像データとの境界における視差量の変化を低減する処理を行うことが好ましい。
【００５０】
例えば、二つの光学系２０３，２０４の視差情報に基づいて第１部分画像データを整形して合成することで、第１画像データと第１部分画像データの境界における視差量の不連続的な変化を目立ちにくくすることができる。第１部分画像データの整形はニューラルネットワークを用いた推定により行っても良い。
【００５１】
また、第１画像データと第１部分画像データの境界に対してぼかし処理を行うことで視差量の不連続的な変化を目立ちにくくすることができる。
【００５２】
また、第１画像データと第１部分画像データの境界が滑らかになるように、第１画像データにおける欠落領域よりもイメージサークルの中心に近い位置から、第１画像データと第２画像データとの加重平均をとっても良い。このとき、加重平均率は第１画像データの中心から欠落領域に向かう方向に対して第２画像データの割合が増すようにする。そして、欠落領域に関しては第２画像データの割合が１００％となるようにする。これにより、第１画像データと第１部分画像データの境界における視差量の不連続的な変化を目立ちにくくすることができる。
【００５３】
また、取得部１０１ａは、１枚の画像として第１画像データ、第２画像データを取得することが好ましい。すなわち、第１画像データ、第２画像データは二つの光学系２０３，２０４と、一つの撮像素子から成る撮像部１０３を用いた撮像によって取得されることが好ましい。これにより、画像のデータ量や処理負荷を軽減することができる。また、第１画像データ、第２画像データを二枚の画像として取得する場合（二つの光学系２０３，２０４に対してそれぞれ撮像素子が設けられている場合）に比べて撮像システム自体を簡略な構成にすることができる。
【００５４】
また、第１画像データと欠落領域の境界部に対応する画角に対する二つの光学系２０３，２０４の基線長の最大値は、４０ｍｍ以下であることが好ましい。すなわち、第１補正画像データにおいて第１画像データに写っていない領域に対する二つの光学系２０３，２０４の基線長の最大値は、４０ｍｍ以下であることが好ましい。図５を用いて説明したように、光線の入射角度が大きくなるほど二つの光学系２０３，２０４の視差は小さくなる。ゆえに、第１画像データと欠落領域の境界において、二つの光学系２０３，２０４の基線長が最大となる位置は、第１画像データの中心からの距離が最短である位置である。本願の発明者の検討によると、人間が十分な立体感を感じることのできる画像（映像）を取得するためには、４０ｍｍよりも大きい基線長でステレオ撮影することが良いことを見出した。すなわち、基線長が４０ｍｍ以下となる場合には、ユーザは十分な立体感を感じることができない。それゆえ、第１画像データと欠落領域の境界部に対応する二つの光学系２０３，２０４の基線長の最大値を４０ｍｍ以下とすることで、立体感の損失をより低減しつつ広画角な立体画像（映像）を得ることが可能となる。
【００５５】
また、本実施例では、二つの光学系２０３，２０４は共に反射面を２面有する。２面の反射面で光路を折り曲げることで、二つの光学系２０３，２０４の間隔を入射側で広く出射側で狭くしている。このように構成することで、撮像部１０３の受光面が小さくとも大きな基線長で撮影できる。なお、入射角０°の光に対する基線長としては人間の眼の間隔と同定度とするのが良い。一般的に、人間の眼の間隔は６０ｍｍから６５ｍｍ程度である。
【００５６】
また、二つの光学系２０３，２０４の画角は共に１５０°以上１９０°以下であることが好ましい。画角が１９０°を上回る場合、十分な画角の画像（映像）を取得することはできるがレンズ装置２００が大型化してしまう。画角が１５０°未満場合、画角が小さくなりすぎ、例えば本実施例の撮像システムを用いて得られた立体画像（映像）をヘッドマウントディスプレイで観察する際に周辺部に画像の無い領域が増加してしまう。この場合、高い臨場感が得られなくなる。
【００５７】
次に、本実施例のレンズ装置２００に設けられる光学系について述べる。
【００５８】
図７は、本実施例の光学系２０３の断面図である。反射部材によって折り曲げられた光路は展開して（一直線にして）示してある。
【００５９】
光学系２０３は等角射影で最大画角が１８０°の魚眼レンズである。等角射影は半像高をｙ、半画角をθ、焦点距離をｆとするとき、ｙ＝ｆθの関係が成立する射影方式である。
【００６０】
光学系２０３は、第１反射部材２３１より物体側を、物体側凸面の負メニスカスレンズ、物体側凸面の負メニスカスレンズ、両凹レンズ、両凸レンズ、両凸レンズで構成している。物体側から数えて２番目の負レンズの物体側のレンズ面は非球面としており、広角レンズで問題となる非点収差、歪曲を補正している。
【００６１】
また、第１反射部材２３１から第２反射部材２３２の間には、物体側から像側へ順に、開口絞りＳＰ、物体側凸面の負メニスカスレンズと両凸レンズの接合レンズが配置されている。
【００６２】
また、第２反射部材２３２の像側には、物体側から像側へ順に、物体側が非球面である正メニスカスレンズ、両凸レンズ、両凹レンズ、両凸レンズを配置している。非球面にて球面収差、コマ収差を良好に補正している。
【００６３】
また、フォーカシングは第２反射部材２３２より像側に配置された全てのレンズを光軸に沿う方向に移動させて行う。
【００６４】
本実施例では反射部材としてプリズムを用いているが、反射部材としてミラーを用いても良い。
【００６５】
図８は、本実施例の光学系２０３の無限遠合焦時の収差図である。各収差図においてＦｎｏはＦナンバー、ωは半画角（°）である。球面収差図において、実線はｄ線（波長５８７．６ｎｍ）、破線はｇ線（波長４３５．８ｎｍ）の球面収差を表している。非点収差図において実線（Ｓ）はｄ線におけるサジタル像面、破線（Ｍ）はｄ線におけるメリディオナル像面の非点収差を表している。歪曲収差図はｄ線の歪曲を示している。色収差図はｇ線の色収差を示している。
【００６６】
次に、本実施例の光学系２０３に対応する数値実施例を示す。数値実施例は、無限遠合焦状態を表している。数値実施例において、面番号は物体側から数えた際の光学面の順序である。ｒは物体側から数えて第ｉ番目（ｉは自然数）の光学面（第ｉ面）の曲率半径、ｄは第ｉ面と第ｉ＋１面との間の間隔である。ｎｄ、νｄは、レンズまたはプリズムのｄ線に対する屈折率、アッベ数である。
【００６７】
また、数値実施例において、非球面形状のレンズ面については、面番号の後に＊（アスタリスク）の符号を付加している。また、各非球面係数における「ｅ±Ｐ」は「×１０±Ｐ」を意味している。
【００６８】
以下に、非球面形状の表現方法について述べる。
【００６９】
光軸方向における面頂点からの変位量をｘ、光軸方向に垂直な方向における光軸からの高さをｈ、近軸曲率半径をＲ、円錐定数をＫ、非球面係数をＡ４、Ａ６、Ａ８とする。このとき、非球面形状は以下の式により表される。
ｘ＝（ｈ２／Ｒ）／［１＋｛１−（１＋Ｋ）（ｈ／Ｒ）２｝１／２］＋Ａ４×ｈ４＋Ａ６×ｈ６＋Ａ８×ｈ８
【００７０】
［数値実施例］
単位 mm
面データ
面番号       r        d      nd        νd       有効径
1         31.503    1.75   2.00100    29.1       34.30
2         10.306    6.00                         20.00
3*        19.261    0.95   1.85400    40.4       18.94
4         10.858    7.54                         16.17
5        -12.428    1.00   2.00069    25.5       15.11
6         52.997    0.38                         16.95
7         87.333    4.33   1.85478    24.8       17.12
8        -16.200    0.25                         17.84
9        573.995    3.80   1.69895    30.1       17.82
10        -26.572    2.00                         17.79
11          ∞      16.00   1.87070    40.7       15.77
12          ∞       1.50                         11.02
13(絞り)    ∞       0.52                         10.95
14         21.187    1.00   1.72916    54.7       11.11
15         10.858    3.70   1.48749    70.2       10.84
16        -19.928    0.57                         10.84
17          ∞      13.40   1.87070    40.7       10.46
18          ∞       0.50                          9.87
19*        21.571    1.13   1.58313    59.4       10.57
20         21.573    0.10                         10.85
21         11.819    4.33   1.43875    94.7       11.50
22        -14.814    0.20                         11.65
23        -27.958    0.75   2.00100    29.1       11.45
24         13.438    1.06                         11.68
25         18.259    4.54   1.43875    94.7       13.90
26        -20.395   13.50                         15.00
像面        ∞
非球面データ
第3面
K = 0.00000e+000  A 4= 6.36991e-006  A 6=-2.77051e-007  A 8= 3.99603e-009  A10=-1.72779e-011
第19面
K = 0.00000e+000  A 4=-6.64352e-005  A 6=-3.54863e-007  A 8= 6.56895e-009  A10=-3.22448e-010
各種データ
焦点距離       7.48
Fナンバー      2.80
半画角（°）  90.00
像高          11.75
レンズ全長    90.80
BF            13.50
入射瞳位置     9.90
射出瞳位置   -23.42
前側主点位置  15.86
後側主点位置   6.02
単レンズデータ
レンズ  始面  焦点距離
1       1    -15.96
2       3    -30.75
3       5     -9.98
4       7     16.30
5       9     36.43
6      11      0.00
7      14    -31.84
8      15     15.01
9      17      0.00
10      19    1908.80
11      21     15.77
12      23     -8.99
13      25     22.77
【００７１】
上述した実施例では、撮像部１０３が一つの撮像素子で構成されており、二つの光学系２０３，２０４のイメージサークルの一部が撮像部１０３外となる場合について説明した。しかし、本発明はこのような構成に限定されるものではない。
【００７２】
［変形例１］
本変形例では、前述の実施例と異なり、二つの光学系２０３，２０４のイメージサークルは撮像素子の撮像有効領域内に収まっている。ただし本変形例では、撮像素子の撮像有効領域をクロップして撮影が行われる場合に上述した実施例の画像処理を行うことで、広画角かつ高画質な立体映像を取得する。クロップとは、撮像素子が出力可能な画像のうちの一部のみを撮影画像として出力することで、データ量を減らし書き込み速度を向上させるための機能である。これにより、連写速度や、動画撮影時のフレームレートを向上できる。
【００７３】
図９は、変形例１における撮像部１０３と二つの光学系２０３，２０４のイメージサークルの関係を説明する図である。本変形例では、前述の実施例と同様に撮像部１０３が一つの撮像素子で構成されている。
【００７４】
図９に実線で示した矩形の領域は本変形例でのクロップしない場合の撮像素子の撮像有効領域である。ＩＣ１は光学系２０３により像面ＩＰ上に形成されたイメージサークル、ＩＣ２は光学系２０４により像面ＩＰ上に形成されたイメージサークルである。
【００７５】
図９に破線で示した矩形の領域は本変形例でのクロップした場合の撮像素子の撮像有効領域である。図９に示すようにクロップ後の撮像有効領域では、イメージサークルＩＣ１，ＩＣ２の一部は共に欠落してしまう。
【００７６】
このような場合に、上述した実施例の画像処理を行うことで、欠落した画像データを補完することが可能となる。すなわち、撮像素子の撮像有効領域をクロップして撮影することにより、高いフレームレートまたは早いコマ速でも広画角かつ高画質な立体画像（映像）を取得できる。
【００７７】
［変形例２］
本変形例では、前述した実施例の画像処理を、撮像装置とは異なる外部の画像処理装置（例えばパーソナルコンピュータやスマートフォン）で行う。図１０は、本変形例における画像処理装置３００のブロック図である。画像処理装置３００は不図示の通信部を備え、外部の記憶媒体に記憶された画像を取得して記憶部３０２に記憶することが可能に構成されている。
【００７８】
本変形例では、前述した実施例と同様に、二つの光学系を有するレンズ装置２００と一つの撮像素子からなる撮像部を有する撮像装置で構成される撮像システムで取得された画像に対して画像処理を行う。ユーザは、レンズ装置２００に対してセンサーサイズの異なる種々の撮像装置を選択して用いることが可能である。本変形例では、撮像部のセンサーサイズに応じて前述した実施例で述べた画像処理を行うか否か判定する。
【００７９】
図１１は、変形例における撮像部と二つの光学系２０３，２０４のイメージサークルの関係を説明する図である。図１１の上部は、センサーサイズが大きい（例えばフルサイズセンサー）撮像装置を用いた場合、下部は、センサーサイズが小さい（例えばＡＰＳ−Ｃサイズのセンサー）撮像装置を用いた場合についてそれぞれ示している。
【００８０】
センサーサイズが大きい場合には二つの光学系２０３，２０４のイメージサークルは撮像素子の撮像有効領域内に収まっている。しかしながら、センサーサイズの小さい撮像装置を用いる場合には、撮像有効領域からイメージサークルＩＣ１，ＩＣ２の一部が共に欠落してしまう。
【００８１】
そこで、本変形例では、制御部３０１が画像データに埋め込まれたメタ情報などから撮影に用いられた撮像装置のセンサーサイズに関する情報を取得し、イメージサークルの一部が撮像有効領域から欠落しているか否かを判定する。欠落していると判断された場合には、制御部３０１の取得部３０１ａ、抽出部３０１ｂ、生成部３０１ｃが前述の実施例の画像処理を実行する。
【００８２】
本変形例によれば、センサーサイズが変化し得るレンズ交換型撮像システムにおいても、広画角かつ高画質な立体画像（映像）を取得することができる。
【００８３】
［変形例３］
本変形例では、前述した実施例と異なり、撮像装置１００の撮像部１０３は二つの撮像素子を備えている。
【００８４】
図１２は、本変形例における撮像部と二つの光学系２０３，２０４のイメージサークルＩＣ１，ＩＣ２の関係を説明する図である。図１２における二つの矩形領域は、撮像部１０３に設けられた二つの撮像素子の撮像有効領域である。二つの光学系２０３，２０４のイメージサークルＩＣ１，ＩＣ２はそれぞれ異なる撮像素子の撮像有効領域内に形成される。ただし、いずれのイメージサークルも一部の領域が撮像有効領域から欠落している。
【００８５】
このような場合に、上述した実施例の画像処理を行うことで、欠落した画像データを補完することが可能となる。本変形例によれば、二つの撮像素子を用いるためより高画質かつ広画角な立体画像（映像）を取得することが可能となる。
【００８６】
以上、本発明の好ましい実施形態及び実施例について説明したが、本発明はこれらの実施形態及び実施例に限定されず、その要旨の範囲内で種々の組合せ、変形及び変更が可能である。
【符号の説明】
【００８７】
１０１  カメラ側制御部（画像処理装置）
１０１ａ  取得部
１０１ｂ  抽出部
１０１ｃ  生成部
【図１】
2020077939.tif 000003
【図２】
2020077939.tif 000004
【図３】
2020077939.tif 000005
【図４】
2020077939.tif 000006
【図５】
2020077939.tif 000007
【図６】
2020077939.tif 000008
【図７】
2020077939.tif 000009
【図８】
2020077939.tif 000010
【図９】
2020077939.tif 000011
【図１０】
2020077939.tif 000012
【図１１】
2020077939.tif 000013
【図１２】
2020077939.tif 000014