(57)【要約】【課題】  ２つの撮像部で撮像された画像から生成される表示画像の光量分布のずれを軽減すること。【解決手段】  本発明は、それぞれ異なる光軸を有し、現実空間を撮像する第１の撮像部および第２の撮像部によって撮像された第１の撮像画像と第２の撮像画像に対してシェーディング補正を行う。また、前記第１の撮像画像および第２の撮像画像から、それぞれの前記光軸に対する相対位置が異なる領域を第１の表示画像および第２の表示画像として切り出す。。その際、前記第１の表示画像および第２の表示画像それぞれにユーザが被写体を立体視する立体視領域を含むように前記第１の表示画像および第２の表示画像を切り出され、前記第１の表示画像および第２の表示画像それぞれの前記立体視領域の中心の位置を中心として前記シェーディング補正が行われる。【選択図】  図５
2018133746.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ異なる光軸を有し、ユーザの左眼と右眼とに対応する第１の撮像部および第２の撮像部によって撮像された第１の撮像画像と第２の撮像画像に対してシェーディング補正を行う補正手段と、
前記第１の撮像画像および第２の撮像画像から、それぞれの前記光軸に対する相対位置が異なる領域を第１の表示画像および第２の表示画像として切り出す切り出し手段と、
前記切り出された第１の表示画像および第２の表示画像と仮想物体とを合成して第１の合成画像および第２の合成画像を生成する生成手段と、を有し、
前記切り出し手段は、前記第１の表示画像および第２の表示画像それぞれにユーザが被写体を立体視する立体視領域を含むように前記第１の表示画像および第２の表示画像を切り出し、
前記補正手段は、前記第１の表示画像および第２の表示画像それぞれの前記立体視領域の中心の位置を中心として前記シェーディング補正を行うことを特徴とする画像処理装置。
【請求項２】
前記第１の撮像部および第２の撮像部の光軸は平行であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、前記立体視領域の中心とから外側に向けて徐々に暗くなるように前記シェーディング補正を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記補正手段は、１倍以上のゲインをかけて前記シェーディング補正を行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記切り出し手段は、前記第１の表示画像および第２の表示画像それぞれにユーザが被写体を平面視する平面視領域をさらに含むように前記第１の表示画像および第２の表示画像を切り出すことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記補正手段は、前記平面視領域が最も暗くなるように前記シェーディング補正を行うことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第１の合成画像および第２の合成画像を表示する第１の表示部および第２の表示部を有する画像表示装置に、前記第１の合成画像および第２の合成画像を出力することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像表示装置は、前記第１の撮像部および第２の撮像部を有することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記画像表示装置は、頭部装着型の画像表示装置であることを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
それぞれ異なる光軸を有し、ユーザの左眼と右眼とに対応する第１の撮像部および第２の撮像部と、
前記第１の撮像部および第２の撮像部によって撮像された第１の撮像画像と第２の撮像画像に対してシェーディング補正を行う補正手段と、
前記第１の撮像画像および第２の撮像画像から、それぞれの前記光軸に対する相対位置が異なる領域を第１の表示画像および第２の表示画像として切り出す切り出し手段と、
前記切り出された第１の表示画像および第２の表示画像と仮想物体とを合成して第１の合成画像および第２の合成画像を生成する生成手段と、を有し、
前記切り出し手段は、前記第１の表示画像および第２の表示画像それぞれにユーザが被写体を立体視する立体視領域を含むように前記第１の表示画像および第２の表示画像を切り出し、
前記補正手段は、前記第１の表示画像および第２の表示画像それぞれの前記立体視領域の中心の位置を中心として前記シェーディング補正を行うことを特徴とする画像処理システム。
【請求項１１】
それぞれ異なる光軸を有し、ユーザの左眼と右眼とに対応する第１の撮像部および第２の撮像部によって撮像された第１の撮像画像と第２の撮像画像に対してシェーディング補正を行うステップと、
前記第１の撮像画像および第２の撮像画像から、それぞれの前記光軸に対する相対位置が異なる領域を第１の表示画像および第２の表示画像として切り出すステップと、
前記切り出された第１の表示画像および第２の表示画像と仮想物体とを合成して第１の合成画像および第２の合成画像を生成するステップと、を有し、
前記切り出すステップでは、前記第１の表示画像および第２の表示画像それぞれにユーザが被写体を立体視する立体視領域を含むように前記第１の表示画像および第２の表示画像を切り出し、
前記補正するステップでは、前記第１の表示画像および第２の表示画像それぞれの前記立体視領域の中心の位置を中心として前記シェーディング補正を行うことを特徴とする画像処理方法。
【請求項１２】
コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像部により撮像された画像を補正する技術に関する。
【背景技術】
【０００２】
近年、現実空間に仮想空間の情報をリアルタイムに重ね合せて利用者に提示する複合現実感に関する研究が行われている。複合現実感では、両眼に対応した２つの撮像部（ビデオカメラなど）によって撮像された現実の映像の全域または一部に、撮像部の位置姿勢に応じた仮想空間の画像であるコンピュータグラフィックス（ＣＧ）を重畳した合成画像を表示する。
【０００３】
このとき、使用される２つの撮像部は左右に視差をもって配置されるが、それら２つの撮像部の撮像光学系から得られる撮像画像が同様の特性となっていることが視覚的な融像を助け、より自然な立体視を実現する。通常、２つの撮像光学系は、周辺減光など同じ光学特性を有するものが用いられるが、それでも各撮像光学系には個体差がある。そこで、特許文献１には、撮像光学系の個体差を補正するための方法が提案されている。この方法では、周辺減光を補正するためのシェーディング補正において、画角位置に応じて撮像画像の明るさを均一に補正することで、左右の撮像画像の何れの位置を切り出しても左右の明るさが均一となるように補正される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第１１／１２１８４１号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法では、各撮像部の撮像光学系の光軸を中心としたシェーディング補正を行っている。しかし、光軸が異なる２つの撮像部によって撮像された撮像画像から画角の異なる表示画像を切り出し、観察する構成では、観察する表示画像の中心が撮像光学系の中心と一致しない。そのため、このような構成では、２つの撮像部で撮像された画像の明るさの分布が一致せずに、ずれが発生してしまう。そこで、本発明は、２つの撮像部で撮像された画像から生成される表示画像の光量分布のずれを軽減することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、それぞれ異なる光軸を有し、ユーザの左眼と右眼とに対応する第１の撮像部および第２の撮像部によって撮像された第１の撮像画像と第２の撮像画像に対してシェーディング補正を行う補正手段と、前記第１の撮像画像および第２の撮像画像から、それぞれの前記光軸に対する相対位置が異なる領域を第１の表示画像および第２の表示画像として切り出す切り出し手段と、前記切り出された第１の表示画像および第２の表示画像と仮想物体とを合成して第１の合成画像および第２の合成画像を生成する生成手段と、を有し、前記切り出し手段は、前記第１の表示画像および第２の表示画像それぞれにユーザが被写体を立体視する立体視領域を含むように前記第１の表示画像および第２の表示画像を切り出し、前記補正手段は、前記第１の表示画像および第２の表示画像それぞれの前記立体視領域の中心の位置を中心として前記シェーディング補正を行うことを特徴とする。
【発明の効果】
【０００７】
以上の構成によれば、本発明では、２つの撮像部で撮像された画像から生成される表示画像の光量分布のずれを軽減することが可能になる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像処理システムの構成を説明する図。
【図２】第１の実施形態において撮像部の幾何学的配置を模式的に示す図。
【図３】第１の実施形態において被写体と撮像画像、表示画像の関係を示す図。
【図４】第１の実施形態において撮像光学系および撮像画像の光量分布を示す図。
【図５】第１の実施形態に係るシェーディング補正を説明する図。
【図６】第１の実施形態におけるシェーディング補正後の表示画像を示す図。
【図７】第２の実施形態において撮像部の幾何学的配置を模式的に示す図。
【図８】第２の実施形態における撮像画像、表示画像の関係を示す図。
【図９】第２の実施形態における撮像光学系および撮像画像の光量分布を示す図。
【図１０】第２の実施形態におけるシェーディング補正を説明する図。
【図１１】第２の実施形態におけるシェーディング補正後の表示画像を示す図。
【図１２】第１の実施形態に係る画像処理方法のフローチャート。
【発明を実施するための形態】
【０００９】
［第１の実施形態］
以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。図１は、本実施形態に係る画像処理システムの構成を説明する図である。本実施形態の画像処理システムは、頭部装着型の画像表示装置、いわゆるヘッドマウントディスプレイ（以下、ＨＭＤ）と、ＨＭＤと有線または無線により接続された画像処理装置とから構成されている。
【００１０】
ＨＭＤは、カメラを含み撮像画像を生成する撮像部１０と、表示画像をディスプレイに表示する表示部１３とから構成される。また、画像処理装置は、撮像画像に対して画像処理を行って表示画像を生成する画像処理部１１と、表示画像の内容に応じて重畳する仮想物体のＣＧデータの位置を演算し、表示画像にＣＧデータを合成する画像合成部１２とから構成される。
【００１１】
ここでは、画像処理部１１および画像合成部１２は、ＨＭＤとは別体の画像処理装置に備えられる構成として説明しているが、全ての機能をＨＭＤに持たせることにより、ＨＭＤ単体で動作できるようにしてもよい。ＨＭＤを頭部に装着した体験者（ユーザ）は、外界を映した画像にＣＧを重畳した画像をＨＭＤ内部のディスプレイを通じて観察することができ、現実と仮想世界がリアルタイムに融合した複合現実感を体感することができる。
【００１２】
画像処理装置は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のハードウェア構成を備え、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、各機能構成やフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。ＨＤＤは、ＣＰＵが処理を実行する際に要する各種のプログラム、閾値に関するデータ等を含む各種のデータを格納する記憶領域を有する。
【００１３】
撮像部１０は、ＣＣＤやＣＭＯＳ等の撮像素子と撮像光学系で構成されるカメラ１０１、１０２を含み、一定の周期でフレームごとに現実空間における被写体を撮影する。カメラ１０１は体験者の左眼に対応して現実空間の画像を撮影し、カメラ１０２は体験者の左眼に対応して現実空間の画像を撮影する。本実施形態のＨＭＤは、視差のある画像を撮像する方法として平行法を用いる。詳細は後述するが、平行法を用いる場合、カメラ１０１および１０２は、互いの光軸間を所定距離（基線長）だけ離した状態で、光軸が互いに平行になるように配置される。
【００１４】
画像処理部１１は、シェーディング補正部１１１、１１２と、ベイヤー補間部１１３、１１４と、切り出し部１１５、１１６により構成される。シェーディング補正部１１１、１１２は、後述する光量分布となるように、カメラ１０１、１０２により撮像された撮像画像に対して画角位置に応じたゲインをかけて、撮像光学系の周辺減光を補正するシェーディング補正処理を行う。ベイヤー補間部１１３、１１４は、撮像素子から出力されるベイヤー配列のベイヤーデータからＲＧＢ信号を生成するベイヤー補間処理を行う。切り出し部１１５、１１６は、撮像画像から後述する輻輳距離に応じた位置とサイズで切り出して立体視可能な表示画像を生成する切り出し処理を行う。
【００１５】
なお、本実施形態において、切り出し処理は、ベイヤー補間処理より後に行うと説明しているが、これに限るものではない。例えば、シェーディング補正処理より前に行ってもよいし、後述するＣＧ合成処理より後に行ってもよい。また、切り出し処理は複数回に分けて行ってもよく、例えば、シェーディング補正処理の前に第１の切り出しサイズに切り出し、ベイヤー補間処理の後に第２の切り出しサイズに切り出し処理を行ってもよい。このとき、第１の切り出しサイズは第２の切り出しサイズよりも大きくなる。
【００１６】
画像合成部１２は、ＣＧ描画位置演算部１２２と、ＣＧ合成部１２３により構成され、ＣＧ描画位置演算部１２２は、入力される複数の撮像映像内を画像解析し、ＨＭＤ（すなわち撮像部）の位置姿勢を推定するとともに、ＣＧの描画位置を算出する演算を行う。また、ＣＧ合成部１２３は、ＣＧ描画位置演算部１２２で求められた描画位置情報に基づき撮像画像に対してＣＧ描画を行う。
【００１７】
表示部１３は、画像合成部１２によってＣＧが合成された合成画像を、液晶ディスプレイや有機ＥＬディスプレイなどの表示パネルを用いたディスプレイ１３１と１３２に表示する。このようして、ＨＭＤは、２つのカメラ１０１、１０２で撮像された視差のある２つの撮像画像にＣＧを合成し、それら合成画像をユーザの左眼および右眼に対応するディスプレイ１３１、１３２に表示する。これにより、ユーザは立体視および複合現実感の体験が可能となる。
【００１８】
図２と図３を用いて、本実施形態における撮像部１０のカメラ１０１、１０２の配置と、立体視のための視差をもった表示画像の切り出し位置およびサイズについて詳細に説明する。図２は、本実施形態における撮像部１０の幾何学的配置を模式的に表した図である。図３は、本実施形態における被写体と撮像画像、表示画像の関係を表す図である。
【００１９】
本実施形態のカメラ１０１、１０２は、撮像素子２０３、２０４と撮像光学系２０１、２０２で構成される。なお、ここではＨＭＤを上面から見た場合の配置についてのみ説明し、高さ方向について説明は簡略化のために省略する。本実施形態では、視差のある画像を撮像する方法として平行法を用いるため、図２の通り、撮像光学系２０１、２０２の光軸２０７、２０８は平行となるように配置される。各撮像光学系の主点２０５、２０６を結んだ線の中間位置から被写体２１０側に伸ばした中間線２２２が被写体２１０と交わる点を輻輳点２０９といい、中間位置と輻輳点２０９までの距離を輻輳距離２１１という。
【００２０】
本実施形態のＨＭＤにおいては、基線長を６３ｍｍ、輻輳距離を１．４ｍと設定する。輻輳点２０９を決定し、輻輳点２０９の位置に被写体があるとき、もっとも立体視が自然にできるようＨＭＤが設計される。本実施形態では、カメラ１０１、１０２と被写体２１０との距離が前記輻輳距離であるとき、撮像素子２０３、２０４で撮像可能な範囲２１３、２１４が重なる領域内に、輻輳点２０９を中心とした立体視可能な立体視領域２１５を設定する。
【００２１】
本実施形態において、撮像光学系２０１、２０２は、それぞれ撮像素子２０３、２０４の有効画像領域の中心が光軸と一致し、かつ有効画像領域２２０、２２１いっぱいに被写体の像を結像し、撮像画像を出力する。切り出し部１１５、１１６では、撮像素子２０３、２０４に結像される撮像画像において、輻輳点２０９と主点２０５、２０６とをそれぞれ結ぶ線と撮像素子が交わる点２１６、２１７を立体視領域の中心として切り出し処理を行う。また、立体視領域は、撮像素子２０３、２０４上において結像される範囲２１８、２１９となり、切り出し部１１５、１１６は、撮像画像から範囲２１８、２１９を表示画像として切り出す。すなわち、本実施形態では、撮像光学系の中心とは異なる位置を中心とした範囲を切り出し範囲として切り出すようにしている。
【００２２】
図３（ａ）は、範囲２１３において、カメラ１０１から輻輳距離２１１離れた被写体２１０と、カメラ１０１の光軸２０７、および輻輳点２０９との関係を示す。また、図３（ｂ）は、図３（ａ）の被写体２１０が撮像素子２０３に結像される像３０１、光軸２０７、立体視領域２１８、およびその中心２１６の関係を示す。撮像素子２０３に結像される像は倒立の像となるため、被写体２１０は光軸２０７を中心として点対象に見える。また、撮像光学系２０１の光学特性により周辺減光が発生している。図３（ｂ）に示すように、本実施形態における周辺減光は、光軸２０７を中心として、光軸２０７から離れるにつれて減光量が連続的に増加する。
【００２３】
図３（ｃ）は、撮像素子２０３から出力される撮像画像２２０と立体視領域２１８およびその中心２１６との関係を示す。撮像素子２０３から出力される撮像画像２２０は、正立の像となるよう回転して出力される。図３（ｃ）に示すように、表示画像として切り出す立体視領域２１８は、撮像画像２２０に対して光軸２０７より輻輳距離に応じた分だけ中間線２２２に寄った領域となることがわかる。なお、もう一方のカメラ１０２の場合も同様で、表示画像として切り出す立体視領域２１９は、光軸２０７より輻輳距離に応じた分だけ中間線２２２に寄った領域となる。このように、本実施形態では、左右の撮像画像それぞれで、撮像光学系の光軸中心とは異なる位置を中心とした範囲を切り出し範囲として切り出すようにしており、光軸に対する切り出し範囲の相対位置は左右の撮像画像において異なっている。
【００２４】
図４は、本実施形態において撮像光学系および撮像画像の光量分布を説明する図であり、図５は、本実施形態に係るシェーディング補正を説明する図である。図４において、４０１は撮像光学系２０１の周辺光量を示しており、４０２は本実施形態のシェーディング補正処理によって補正された光量分布を示している。図に示す周辺光量４０１の通り、本実施形態の撮像光学系２０１は、光軸２０７の位置で光量が１００％となり、周辺に向かって徐々に減光し、端部では２０％程度まで光量が落ちているのがわかる。
【００２５】
図５において、５０１は周辺光量４０１を全画角位置で均一となるようにシェーディング補正する場合の画角位置に応じた画素毎のゲインを示している。また、５０２は本実施形態のシェーディング補正処理で用いる画角位置に応じた画素毎のゲインを示している。図に示すゲイン５０１の通り、従来手法のシェーディング補正では、光軸２０７の画角位置では１００％のゲインとなるが、周辺に向かって徐々にゲインが大きくなり、最大で５００％ものゲインが必要になる。この場合、撮像画像に含まれるノイズ成分も同じだけ増幅されるため、光軸２０７付近に比べて撮像画像周辺は非常にノイズの多い画像となってしまう。
【００２６】
一方、本実施形態のシェーディング補正では、光量分布４０２のように、立体視領域の中心２１６を中心とし、光軸２０７までを半径とした範囲を１００％の光量となるように補正している。そのため、本実施形態のシェーディング補正は、従来手法に比べてノイズの発生を抑制することができる。
【００２７】
また、立体視領域の中心２１６を中心として、その範囲を超える画角に対しては、周辺に向かって徐々に減光させ、光量が１００％未満となるように補正する。ゲイン５０２のように、立体視領域の中心２１６に対して光軸２０７までを半径とした範囲では、全画角位置で１００％に補正するゲイン５０１と同様のゲインとなる。また、前記範囲を超える画角に対しては、ゲイン５０１と比較して、周辺に向かって徐々にゲインが低下しているのがわかる。
【００２８】
なお、本実施形態では、ゲイン５０２は、撮像画像の明るさを損なわないために、全画角位置において、１００％のゲインを下回らないよう設計されている（すなわち、１倍以上のゲインをかけるようにしている）。また、ここまでカメラ１０１の場合を説明してきたが、もう一方のカメラ１０２の場合も同様で、立体視領域の中心２１７を中心とし、光軸２０８までを半径とした範囲で光量が１００％となるようシェーディング補正処理が行われる。このように、本実施形態では、左右の表示画像（切り出し範囲）それぞれで、立体視領域の中心位置を中心としたシェーディング補正処理が実行される。
【００２９】
図６は、本実施形態におけるシェーディング補正処理を行った後の被写体と撮像画像、表示画像の関係を表す図である。撮像画像６０１は、撮像画像２２０に対して、ゲイン５０２を用いてシェーディング補正処理を行ったものである。図６に示すように、立体視領域の中心２１６が中心となるように周辺減光がシェーディング補正処理によって補正され、また、立体視領域の中心２１６から撮像画像６０１の外側の周辺に向かって徐々に周辺光量が抑えられていることがわかる。
【００３０】
本実施形態の画像処理装置では、撮像画像６０１から切り出し処理によって立体視領域２１８が右眼用の表示画像として切り出され、ＣＧが描画される。その処理の後、ＣＧが描画された合成画像がＨＭＤに送られ、ディスプレイ１３１に表示される。
【００３１】
なお、本実施形態のシェーディング補正処理に用いるゲインは、画角位置に応じて画素毎にゲイン値を持つと説明したが、これに限るものではない。例えば、所定数の画素おきに離散的なゲイン値を持ち、ゲイン値を持たない画素位置においては、その周囲のゲイン値から補間処理を行うことによってゲイン値を求めるなどしてもよい。
【００３２】
図１２には、本実施形態に係る画像処理装置による画像処理の詳細を示すフローチャートである。ステップＳ１２０１において、画像処理部１１は、画像処理装置のＩ／Ｆを介してＨＭＤの撮像部１０（カメラ１０１、１０２）により撮像された撮像画像を取得する。次に、ステップＳ１２０１において、シェーディング補正部１１１、１１２は撮像された撮像画像に対して画角位置に応じたゲインをかけて、撮像光学系の周辺減光を補正するシェーディング補正処理を行う。本実施形態においては、前述のとおり、立体視領域の中心２１６を中心としたシェーディング補正を実行する。
【００３３】
ステップＳ１２０３において、ベイヤー補間部１１３、１１４はベイヤー補間処理を行う。次に、ステップＳ１２０４において、切り出し部１１５、１１６は、撮像画像から立体視可能な表示画像を生成する切り出し処理を行う。本実施形態の切り出し処理は、前述のとおり、撮像光学系の中心とは異なる位置を中心とした範囲を切り出し範囲（表示画像）として切り出す。
【００３４】
ステップＳ１２０５において、ＨＭＤ（すなわち撮像部）の位置姿勢を推定し、ＣＧの描画位置を算出する。次に、ステップＳ１２０６において、ＣＧ合成部１２３は、算出した描画位置に基づいて撮像画像に対してＣＧ描画を行い、合成画像を生成する。ステップＳ１２０７において、画像合成部１２は、画像処理装置のＩ／Ｆを介して、ＨＭＤに生成した合成を出力する。
【００３５】
以上説明したように、本実施形態によれば、シェーディング補正処理によって、左右２つの撮像部により撮像された撮像画像から生成された（切り出された）表示画像の光量分布がほぼ一致するため、自然な立体視を実現することができる。
【００３６】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態では、輻輳距離に応じて設定される立体視領域を切り出して、視差のある左右の表示画像とし、ディスプレイ１３１、１３２に表示することにより、立体視および複合現実感の体験が可能となる構成を説明した。本実施形態においては、表示視野角を大きくするために、撮像画像から立体視不可能な平面視領域も含む領域を表示画像として切り出して表示する。なお、第１の実施形態において既に説明をした構成については同一の符号を付し、その説明は省略する。
【００３７】
図７は、本実施形態における撮像部１０の幾何学的配置を模式的に表した図である。本実施形態では、第１の実施形態で説明したように、輻輳距離２１１であるとき、撮像素子２０３、２０４で撮像可能な範囲２１３、２１４が重なる領域内に、輻輳点２０９を中心とした立体視領域２１５を設定する。さらに、立体視領域２１５と連続し、中間線２２２から離れる方向に、立体視不可能な平面視領域７０１、７０２を設定する。本実施形態における平面視領域とは、輻輳距離だけ離れた被写体において、一方のカメラにのみ映る領域である。撮像素子２０３、２０４に結像される撮像画像において、立体視領域は２１８、２１９、平面視領域は７０３、７０４となる。本実施形態の切り出し部１１５、１１６は、撮像画像から立体視領域と平面視領域を含む範囲７０５、７０６を表示画像として切り出す。
【００３８】
図８は、本実施形態における撮像画像、表示画像の関係を表す図である。図８には、撮像素子２０３から出力される撮像画像２２０と立体視領域２１８とその中心２１６、平面視領域７０３、表示画像７０５の関係を示す。撮像素子２０３から出力される撮像画像２２０は、正立の像となる。図８に示すように、表示画像として切り出す領域７０５は、立体視領域２１８と、平面視領域７０３とから成る。立体視領域２１８は、撮像画像２２０に対して、光軸２０７より輻輳距離に応じた分だけ中間線２２２に寄った領域である。また、平面視領域７０３は、中間線２２２から離れる方向に、立体視領域２１８と連続した領域となることがわかる。なお、もう一方のカメラ１０２の場合も同様で、表示画像として切り出す立体視領域２１９は、光軸２０７より輻輳距離に応じた分だけ中間線２２２に寄った領域となる。また、平面視領域７０６は中間線２２２から離れる方向に、立体視領域２１９と連続した領域となる。
【００３９】
次に、図９、図１０、図１１を用いて、本実施形態におけるシェーディング補正部１１１、１１２で行われるシェーディング補正処理について詳細に説明する。図９は、本実施形態における撮像光学系の周辺光量と、本実施形態のシェーディング補正処理によって補正された撮像画像の光量分布を示す図である。図１０は、本実施形態のシェーディング補正処理によって用いられるゲインを示す図である。なお、ここでは説明を簡単にするために、撮像画像の光軸および立体視領域の中心を通る水平位置でスライスした場合を例に説明する。
【００４０】
本実施形態においても、第１の実施形態と同様に、光量分布４０２となるように、すなわち、立体視領域の中心２１６を中心とし、光軸２０７までを半径とした範囲を１００％の光量となるように補正を行う。また、立体視領域の中心２１６を中心として、上述の範囲を超える画角に対しては、平面視領域７０３も含み、周辺に向かって徐々に減光させ、光量が１００％未満となるように補正する。図に示すように、ゲイン５０２は、立体視領域の中心２１６を中心とし、光軸２０７までを半径とした範囲では、全画角位置で１００％に補正するゲイン５０１と同様のゲインとなる。また、上述の範囲を超える画角に対しては、平面視領域７０３も含み、周辺に向かって徐々にゲインが低下していることがわかる。また、表示画像として切り出す領域７０５において、シェーディング補正処理後の光量分布をある位置でスライスした場合に、平面視領域の光量は立体視領域よりも低くなるように補正される。
【００４１】
なお、本実施形態において、ゲイン５０２は、撮像画像の明るさを損なわないために、全画角位置において、１００％のゲインを下回らないよう設計される。なお、ここまでカメラ１０１について説明してきたが、もう一方のカメラ１０２も同様で、立体視領域の中心２１７を中心として、光軸２０８までを半径とした範囲で光量が１００％となるようシェーディング補正処理が行われる。
【００４２】
図１１は、本実施形態におけるシェーディング補正処理を行った後の被写体と撮像画像、表示画像の関係を表す図である。撮像画像１１０１は、撮像画像２２０に対して、ゲイン５０２を用いてシェーディング補正処理を行ったものである。図１１に示すように、立体視領域の中心２１６が中心となるように周辺減光がシェーディング補正処理によって補正され、また、立体視領域の中心２１６から撮像画像１１０１の周辺に向かって徐々に周辺光量が抑えられていることがわかる。本実施形態の画像処理装置では、撮像画像１１０１から切り出し処理によって立体視領域２１８と平面視領域７０３を含む領域７０５が右眼用の表示画像として切り出され、その表示画像にＣＧが描画された合成画像を生成する。そして、生成された合成画像はＨＭＤに送られ、ＨＭＤのディスプレイ１３１に表示される。
【００４３】
なお、本実施形態のシェーディング補正処理に用いるゲインは、画角位置に応じて画素毎にゲイン値を持つと説明したが、これに限るものではない。第１の実施形態で説明したように、例えば、数画素おきに離散的なゲイン値を持ち、ゲイン値を持たない画素位置においては、その周囲のゲイン値から補間処理を行うことによってゲイン値を求めるなどしてもよい。
【００４４】
以上説明したように、本実施形態によれば、シェーディング補正処理によって、過度にノイズを増幅することなく、左右の立体視可能な立体視領域の光量分布がほぼ一致するため、自然な立体視を実現することができる。
【００４５】
［その他の実施形態］
また、本発明は、実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施形態及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００４６】
１０  撮像部
１１  画像処理部
１２  画像合成部
１３  表示部
【図１】
2018133746.tif 000003
【図２】
2018133746.tif 000004
【図３】
2018133746.tif 000005
【図４】
2018133746.tif 000006
【図５】
2018133746.tif 000007
【図６】
2018133746.tif 000008
【図７】
2018133746.tif 000009
【図８】
2018133746.tif 000010
【図９】
2018133746.tif 000011
【図１０】
2018133746.tif 000012
【図１１】
2018133746.tif 000013
【図１２】
2018133746.tif 000014