(57)【要約】  比較的小規模な回路で、処理時間の短縮化を図りながら視認性が高い出力画像を得ることが可能な、画像処理方法、画像処理装置及び撮像装置を提供する。仮想投影面ＶＰと一定の位置関係となる基準平面ＤＰを基準とする基準平面系座標ｘdｙdｚdが設定され、基準平面ＤＰ上のｘd座標、ｙd座標に対する、基準平面に垂直な方向のｚd座標を格納した仮想投影面ＶＰの形状に基づく２次元ＬＵＴを有し、２次元ＬＵＴに基づいて仮想投影面ＶＰの各画素のワールド座標系における座標を算出し、算出した仮想投影面の各画素のワールド座標系における座標を光学系の歪み補正係数を用いてカメラ座標系に変換して、画像データを算出する。
2012060269.tif 000002
【特許請求の範囲】
【請求項１】
レンズを備えた光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理方法において、
仮想投影面と常に一定の位置関係となる基準平面のワールド座標系における位置及びサイズを、ユーザーの指示に基づいて設定する第１ステップと、
前記第１ステップで設定された基準平面に基づいて前記仮想投影面の各画素のワールド座標系における座標を算出し、前記算出した座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換する第２ステップと、
前記複数の画素データと前記第２ステップで変換したカメラ座標系における座標とに基づいて、前記仮想投影面の画像データを算出する第３ステップと、
を有し、
前記基準平面を基準とする基準平面系座標ｘdｙdｚdが設定され、前記基準平面上のｘd座標、ｙd座標に対する、前記基準平面に垂直な方向のｚd座標を格納した前記仮想投影面の形状に基づく２次元ＬＵＴを有し、
前記第２ステップでは、前記２次元ＬＵＴに基づいて前記仮想投影面の各画素のワールド座標系における座標を算出することを特徴とする画像処理方法。
【請求項２】
前記２次元ＬＵＴは前記基準平面に所定の周期で配置された格子点に対応するデータであり、前記格子点間のデータの算出は線形補間により行うことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記仮想投影面は自由曲面で形成されていることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
複数の異なる形状の仮想投影面に対応した複数の２次元ＬＵＴから使用する２次元ＬＵＴを選択可能であり、
前記選択した２次元ＬＵＴを前記第２ステップで使用することを特徴とする請求項１乃至３の何れか一項に記載の画像処理方法。
【請求項５】
光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置であって、
位置及びサイズが設定された基準平面であって仮想投影面と常に一定の位置関係となる基準平面に基づいて前記仮想投影面の各画素のワールド座標系における座標を算出し、前記算出した座標を歪み補正係数を用いてカメラ座標系に変換し、前記カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
前記基準平面を基準とする基準平面系座標ｘdｙdｚdが設定され、前記基準平面上のｘd座標、ｙd座標に対する、前記基準平面に垂直な方向のｚd座標を格納した前記仮想投影面の形状に基づく２次元ＬＵＴを記憶する記憶部と、を有し、
前記画像処理部では、前記２次元ＬＵＴに基づいて前記仮想投影面の各画素のワールド座標系における座標を算出することを特徴とする画像処理装置。
【請求項６】
前記２次元ＬＵＴは前記基準平面に所定の周期で配置された格子点に対応するデータであり、前記格子点間のデータの算出は線形補間により行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記仮想投影面は自由曲面で形成されていることを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記記憶部には、複数の異なる形状の仮想投影面に対応した複数の２次元ＬＵＴが記憶されており、
前記画像処理部では、前記複数の２次元ＬＵＴのうちから選択された２次元ＬＵＴに基づいて前記仮想投影面の各画素のワールド座標系における座標を算出することを特徴とする請求項５乃至７の何れか一項に記載の画像処理装置。
【請求項９】
光学系と、
複数の画素を有する撮像素子と、
仮想投影面と常に一定の位置関係となる基準平面のワールド座標系における位置及びサイズを設定する設定部と、
前記設定部で設定された基準平面に基づいて前記仮想投影面の各画素のワールド座標系における座標を算出し、前記算出した座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、前記カメラ座標系に変換した座標と前記複数の画素から得られた画素データに基づいて、前記仮想投影面での画像データを算出する画像処理部と
前記基準平面を基準とする基準平面系座標ｘdｙdｚdが設定され、前記基準平面上のｘd座標、ｙd座標に対する、前記基準平面に垂直な方向のｚd座標を格納した前記仮想投影面の形状に基づく２次元ＬＵＴを記憶する記憶部と、を有し、
前記画像処理部では、前記２次元ＬＵＴに基づいて前記仮想投影面の各画素のワールド座標系における座標を算出することを特徴とする撮像装置。
【請求項１０】
前記２次元ＬＵＴは前記基準平面に所定の周期で配置された格子点に対応するデータであり、前記格子点間のデータの算出は線形補間により行うことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記仮想投影面は自由曲面で形成されていることを特徴とする請求項９又は１０に記載の撮像装置。
【請求項１２】
前記記憶部には、複数の異なる形状の仮想投影面に対応した複数の２次元ＬＵＴが記憶されており、
前記画像処理部では、前記複数の２次元ＬＵＴのうちから前記設定部により選択された２次元ＬＵＴに基づいて前記仮想投影面の各画素のワールド座標系における座標を算出することを特徴とする請求項９乃至１１の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、集光レンズを含む光学系を介して撮像素子により撮像された画像の歪み補正処理を行う、画像処理方法、画像処理装置及び撮像装置に関するものである。
【背景技術】
【０００２】
一般に、広角レンズあるいは魚眼レンズのような焦点距離の短いレンズや画角の大きなレンズを備えた光学系により撮影した画像は歪曲を伴うので、歪曲を補正する画像処理を行う。特許文献１には従来技術の補正方法として、焦点距離の短いレンズを使用して撮像された撮像画像に生じる歪曲を、レンズの補正用のパラメータを用いて補正する方法が開示されている。【０００３】
特許文献２では、光学ズーム機構のワイド端からテレ端までレンズ位置毎の光学歪み補正パラメータの算出を補間演算により行うことは、外部情報処理機器を必要とし、撮像装置単体では処理能力的に難しいという問題に対して、光学ズームを行う範囲内で離散的なレンズ位置に対する光学歪み補正パラメータを備え、そしてズームを行う際のレンズ位置を光学歪み補正パラメータを備えるレンズ位置に制限し、制限された位置間の光学ズームを電子ズームでつないでいる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１４００６６号公報
【特許文献２】特開２００９−１０５５４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されたように、レンズで得た撮像画像をリニアに補正すると、中央部にくらべて周辺部では像が拡大されるために形が崩れ見にくい画像となる。これを防ぐための補正として円筒歪補正や球形歪補正があるが、これらの補正を行うために画像処理装置としてハード化した場合には処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまう問題があった。【０００６】
また、円筒歪補正や球形歪補正よりも更に視認性を向上させるために、円筒や球形のようなモデリングがし易い形状ではなく自由曲面に基づく歪み補正を行ったような場合には、処理時間の増大や回路規模の増大が生じてしまう。【０００７】
更に、特許文献１では、入力画像に対して補正用のパラメータを用いて補正しているために、入力画像の中央から外れた端部側の画像を切り出した場合には分解能が低下する虞があり、パン、チルトのような視点変換の対応が不十分である。【０００８】
また、特許文献２は、光学ズームや絞りの光学パラメータの変更に対応するように歪補正パラメータを設定したものであり、視点変換を目的としておらず、リアルタイムでの表示には対応していない。【０００９】
特に、監視カメラや車載カメラの様に撮像画像をモニターにリアルタイムで表示させるような場合においては、ユーザーにより撮影領域を変更する指示に基づいてズーム、パン、チルト等の処理を追加するたびに新たな画像処理が必要となり、画像処理装置としてハード化した場合に処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまう虞があった。【００１０】
本発明はこのような問題に鑑み、比較的小規模な回路で、処理時間の短縮化を図りながら視認性が高い出力画像を得ることが可能な、画像処理方法、画像処理装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的は、下記に記載する発明により達成される。【００１２】
１．レンズを備えた光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理方法において、
仮想投影面と常に一定の位置関係となる基準平面のワールド座標系における位置及びサイズを、ユーザーの指示に基づいて設定する第１ステップと、
前記第１ステップで設定された基準平面に基づいて前記仮想投影面の各画素のワールド座標系における座標を算出し、前記算出した座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換する第２ステップと、
前記複数の画素データと前記第２ステップで変換したカメラ座標系における座標とに基づいて、前記仮想投影面の画像データを算出する第３ステップと、
を有し、
前記基準平面を基準とする基準平面系座標ｘdｙdｚdが設定され、前記基準平面上のｘd座標、ｙd座標に対する、前記基準平面に垂直な方向のｚd座標を格納した前記仮想投影面の形状に基づく２次元ＬＵＴを有し、
前記第２ステップでは、前記２次元ＬＵＴに基づいて前記仮想投影面の各画素のワールド座標系における座標を算出することを特徴とする画像処理方法。【００１３】
２．前記２次元ＬＵＴは前記基準平面に所定の周期で配置された格子点に対応するデータであり、前記格子点間のデータの算出は線形補間により行うことを特徴とする前記１に記載の画像処理方法。【００１４】
３．前記仮想投影面は自由曲面で形成されていることを特徴とする前記１又は２に記載の画像処理方法。【００１５】
４．複数の異なる形状の仮想投影面に対応した複数の２次元ＬＵＴから使用する２次元ＬＵＴを選択可能であり、
前記選択した２次元ＬＵＴを前記第２ステップで使用することを特徴とする前記１乃至３の何れか一項に記載の画像処理方法。【００１６】
５．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置であって、
位置及びサイズが設定された基準平面であって仮想投影面と常に一定の位置関係となる基準平面に基づいて前記仮想投影面の各画素のワールド座標系における座標を算出し、前記算出した座標を歪み補正係数を用いてカメラ座標系に変換し、前記カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
前記基準平面を基準とする基準平面系座標ｘdｙdｚdが設定され、前記基準平面上のｘd座標、ｙd座標に対する、前記基準平面に垂直な方向のｚd座標を格納した前記仮想投影面の形状に基づく２次元ＬＵＴを記憶する記憶部と、を有し、
前記画像処理部では、前記２次元ＬＵＴに基づいて前記仮想投影面の各画素のワールド座標系における座標を算出することを特徴とする画像処理装置。【００１７】
６．前記２次元ＬＵＴは前記基準平面に所定の周期で配置された格子点に対応するデータであり、前記格子点間のデータの算出は線形補間により行うことを特徴とする前記５に記載の画像処理装置。【００１８】
７．前記仮想投影面は自由曲面で形成されていることを特徴とする前記５又は６に記載の画像処理装置。【００１９】
８．前記記憶部には、複数の異なる形状の仮想投影面に対応した複数の２次元ＬＵＴが記憶されており、
前記画像処理部では、前記複数の２次元ＬＵＴのうちから選択された２次元ＬＵＴに基づいて前記仮想投影面の各画素のワールド座標系における座標を算出することを特徴とする前記５乃至７の何れか一項に記載の画像処理装置。【００２０】
９．光学系と、
複数の画素を有する撮像素子と、
仮想投影面と常に一定の位置関係となる基準平面のワールド座標系における位置及びサイズを設定する設定部と、
前記設定部で設定された基準平面に基づいて前記仮想投影面の各画素のワールド座標系における座標を算出し、前記算出した座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、前記カメラ座標系に変換した座標と前記複数の画素から得られた画素データに基づいて、前記仮想投影面での画像データを算出する画像処理部と
前記基準平面を基準とする基準平面系座標ｘdｙdｚdが設定され、前記基準平面上のｘd座標、ｙd座標に対する、前記基準平面に垂直な方向のｚd座標を格納した前記仮想投影面の形状に基づく２次元ＬＵＴを記憶する記憶部と、を有し、
前記画像処理部では、前記２次元ＬＵＴに基づいて前記仮想投影面の各画素のワールド座標系における座標を算出することを特徴とする撮像装置。【００２１】
１０．前記２次元ＬＵＴは前記基準平面に所定の周期で配置された格子点に対応するデータであり、前記格子点間のデータの算出は線形補間により行うことを特徴とする前記９に記載の撮像装置。【００２２】
１１．前記仮想投影面は自由曲面で形成されていることを特徴とする前記９又は１０に記載の撮像装置。【００２３】
１２．前記記憶部には、複数の異なる形状の仮想投影面に対応した複数の２次元ＬＵＴが記憶されており、
前記画像処理部では、前記複数の２次元ＬＵＴのうちから前記設定部により選択された２次元ＬＵＴに基づいて前記仮想投影面の各画素のワールド座標系における座標を算出することを特徴とする前記９乃至１１の何れか一項に記載の撮像装置。
【発明の効果】
【００２４】
本発明によれば、自由な形状の仮想投影面に対応した２次元ＬＵＴを用いて、前記仮想投影面の各画素のワールド座標系における座標を算出することにより、設定した自由な形状の仮想投影面を用いることが可能となる。そしてこのような仮想投影面に基づいて画像データを作成することにより、比較的小規模な回路で、処理時間の短縮化を図りながら自由な形状に基づく歪み補正処理を行うことにより、視認性が高い出力画像を得ることが可能となる。
【図面の簡単な説明】
【００２５】
【図１】本実施形態に係る歪曲補正を説明する模式図である。
【図２】図１に示した仮想投影面ＶＰの形状を示す図であり、（ａ）は正面図、（ｂ）は上面図、（ｃ）は側面図である。
【図３】仮想投影面ＶＰの位置を移動させた例を示す図である。
【図４】撮像装置の概略構成を示すブロック図である。
【図５】本実施形態の制御フローを示す図である。
【図６】基準平面ＤＰを説明する模式図である。
【図７】仮想投影面ＶＰと基準平面ＤＰとの関係を示す模式図である。
【図８】仮想投影面ＶＰの座標を説明する図である。
【図９】入力画像及び歪み補正処理後の出力画像の例を示す図であり、（ａ）は入力画像の例、（ｂ）、（ｃ）、（ｄ）は出力画像の例である。
【図１０】他の実施形態における基準平面ＤＰと、２次元ＬＵＴの格子点データとの対応関係を説明する図である。
【図１１】仮想投影面ＶＰの形状を示す図であり、（ａ）は正面図、（ｂ）は上面図、（ｃ）は側面図である。
【図１２】仮想投影面ＶＰと基準平面ＤＰとの関係を示す模式図である。
【図１３】補正処理後の出力画像の例を示す図である。
【発明を実施するための形態】
【００２６】
本発明を実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。
【００２７】
図１は、本実施形態に係る歪曲補正を説明する模式図である。図１において、Ｘ、Ｙ、Ｚはワールド座標系であり、原点Ｏはレンズ中心である。Ｚは光軸、ＸＹ平面はレンズ中心Ｏを通るレンズ中心面ＬＣを含んでいる。点Ｐはワールド座標系ＸＹＺにおける対象物の物点である。θは光軸（Ｚ軸に一致）に対する入射角度である。
【００２８】
ｘi、ｙiはカメラ座標系であり、ｘiｙi平面は撮像素子面ＩＡに対応する。ｏは画像中心であり光軸Ｚと撮像素子面との交点である。点ｐはカメラ座標系における撮像素子面上の点（結像点に相当）であり、物点Ｐをレンズ特性に基づくパラメータ（以下、「レンズパラメータ」という）に基づく歪み補正係数を用いてカメラ座標系に変換したものである。
【００２９】
ＶＰは仮想投影面であり、自由な形状の面からなる。仮想投影面ＶＰは光学系のレンズ位置（レンズ中心面ＬＣ）に対して撮像素子（及び撮像素子面ＩＡ）とは反対側に設定される。基準平面ＤＰは、ユーザーによる操作部１３０（図３参照）への指示に基づいてその形状、サイズ、及びワールド座標系における位置の変更を行うことが可能である。
【００３０】
ＤＰは２次元の基準平面であり、常に仮想投影面ＶＰと一定の位置関係にありその位置関係は後述の２次元ＬＵＴに反映されている。基準平面ＤＰのサイズ変更に伴って仮想投影面ＶＰのサイズが変更され、基準平面ＤＰの位置変更に伴い仮想投影面ＶＰの位置が変更される。ｘd、ｙd、ｚdは、基準平面座標系であり、ｘdｙd平面は基準平面ＤＰに対応し、ｚd軸は基準平面に垂直な軸である。基準平面ＤＰ及び仮想投影面ＶＰは、初期状態（初期の位置設定のこと、以下同様）においてはその中心は、光軸Ｚと一致しており、基準平面ＤＰはワールド座標系のＸＹ平面と平行である。
【００３１】
本願において「位置変更」とは、基準平面ＤＰ及び仮想投影面ＶＰをＸＹ平面上で平行移動（並進ベクトルに対応）させる場合のみならず、ＸＹ平面に対する角度変更（姿勢変更ともいい、回転ベクトルに対応）をも含む概念である。
【００３２】
「円筒歪補正」とは円筒を軸方向に平行な平面で裁断した形状の仮想投影面ＶＰを用いて歪補正を行うものであり、仮想投影面ＶＰは、基準平面ＤＰのｘd座標（あるいはｙd座標）が特定できればｚd座標を特定することが可能である。
【００３３】
「三面鏡歪補正」とは、３つの平面が連続した形状であり、中央に配置した基準平面ＤＰに平行な主鏡部と、主鏡部の両側にこれに所定の角度で連結した２つの側鏡部とからなる形状の仮想投影面ＶＰを用いて歪補正を行うものである。仮想投影面ＶＰは、基準平面ＤＰのｘd座標（あるいはｙd座標）が特定できればｚd座標を特定することが可能である。
【００３４】
「球形歪補正」とは球の内面を矩形に切り欠いた形状である。仮想投影面ＶＰは、基準平面ＤＰの中心からの距離が特定できれば、ｚd座標を特定することが可能である。
【００３５】
「自由形状補正」とは、自由形状の仮想投影面ＶＰを用いて行う歪補正方法である。自由形状とは、初等関数で表せる曲面（円筒、球）、平面（三面鏡、単なる平面）以外の形状のことである。より具体的には、仮想投影面ＶＰは、ｘd座標とｙd座標の一方ではなく双方を特定することによってｚd座標を特定できる形状のことである。「自由曲面」とは、自由形状であって、初等関数で表せる曲面（円筒、球）以外の曲面で構成される形状のことである。
【００３６】
図２は、図１に示した仮想投影面ＶＰの形状を示す図である。図２（ａ）は正面図、図２（ｂ）は上面図、図２（ｃ）は側面図である。同図において基準平面ＤＰは図示していない。図２に示す自由形状は、仮想投影面ＶＰとして三角柱を底面に平行でない平面で裁断した様な形状である。同図に示す長さｌX、ｌY1、ｌY2、ｌZを設定することにより仮想投影面ＶＰの形状の変更が可能である。形状が変更されるに伴い、後述する自由形状を記述した２次元ＬＵＴは再計算されて更新される。また仮想投影面の形状としてはこれに限られず、球をこれと交わる平面で切り欠いた半球あるいは球冠の内周面の形状、あるいは球の内周面を矩形に切り取った形状であってもよい。また３枚の連続したパネルからなる三面鏡形状の様な複数の面を連結した形状であってもよく、あるいは後述のようなお椀を縦に裁断した様な形状であってもよい。
【００３７】
初期状態において仮想投影面ＶＰは、所定の形状及びサイズで仮想投影面ＶＰの中心ｏｖ、及び基準平面ＤＰの中心ｏｄはＺ軸上に位置している。Ｇｖは物点Ｐが仮想投影面ＶＰ上に投影された点であり、物点Ｐとレンズ中心Ｏを通る直線と仮想投影面ＶＰとの交点である。Ｇｄは、Ｇｖを基準平面ＤＰに投影した点である。
【００３８】
図３は、基準平面ＤＰ及び仮想投影面ＶＰの位置を後述する操作部１３０の入力に基づいて移動させた例を示している。仮想投影面ＶＰ０、基準平面ＤＰ０は移動前、仮想投影面ＶＰ１、基準平面ＤＰ１は移動後を示しており、同図においてはワールド座標系におけるＸＺ平面上で回転させている。
【００３９】
［ブロック図］
図４は、撮像装置の概略構成を示すブロック図である。撮影装置は、撮像ユニット１１０、制御装置１００、表示部１２０、操作部１３０を備えている。
【００４０】
撮像ユニット１１０は、短焦点のレンズ、撮像素子等から構成される。本実施形態においては、本実施形態においては、レンズとしては例えば広角レンズ、魚眼レンズがある。
【００４１】
制御装置１００は、画像処理部１０１、設定部１０２、記憶部１０３から構成される。
【００４２】
設定部１０２では、操作部１３０への入力指示に基づいて基準平面ＤＰの形状、位置、サイズの設定を行う。
【００４３】
画像処理部１０１では、基準平面ＤＰの形状、位置、サイズの設定及び仮想投影面ＶＰの形状に対応する２次元ＬＵＴに基づいて仮想投影面ＶＰの各画素のワールド座標系の座標を算出し、算出した各座標のカメラ座標系への変換テーブルを作成し、当該変換テーブルを用いて撮像ユニット１１０で撮影した画素データを処理して表示部１２０に表示させる画像データを作成する。
【００４４】
記憶部１０３には、レンズのレンズパラメータにより算出された歪み補正係数や、仮想投影面ＶＰの形状に基づく２次元ＬＵＴが記憶されている。また基準平面ＤＰの位置、サイズ及び作成した変換テーブルの記憶も行う。また更に、図２等に示した形状の仮想投影面の他に、後述する他の形状の仮想投影面（図１１等）のように複数の異なる形状の仮想投影面を用いる場合であれば、これに対応した複数の２次元ＬＵＴを記憶することも可能である。この場合は、設定部により複数の２次元ＬＵＴのうちから、用途の種類あるいは操作部１３０へのユーザーの入力指示により使用する２次元ＬＵＴを選択するようにしてもより。用途の種類としては、例えば、監視カメラ、車載バックモニター等がある。
【００４５】
表示部１２０は、液晶ディスプレイ等の表示画面を備え、撮像ユニット１１０で撮影した画素データに基づいて画像処理部１０１で作成した画像データを逐次、表示画面に表示させる。
【００４６】
操作部１３０は、キーボード、マウス、あるいは表示部の液晶ディスプレイに重畳して配置したタッチパネルを備え、ユーザーの入力操作を受け付ける。
【００４７】
［制御フロー］
図５は、本実施形態の制御フローを示す図である。ステップＳ１１では、設定された歪み補正条件が入力される。歪み補正条件（視点変換含む）の設定は、前述の様にユーザーによる操作部１３０への入力指示により、設定部１０２により基準平面ＤＰのワールド座標系における位置、サイズを設定することにより行われる。ステップＳ１２では、撮像ユニット１１０から画像信号が入力され、例えばフレームレート６０ｆｐｓで入力画像が得られる。
【００４８】
図６は、基準平面ＤＰを説明する模式図である。図７は、仮想投影面ＶＰと基準平面ＤＰとの位置関係を示す模式図である。前述のとおり、基準平面ＤＰは基準平面座標系（ｘdｙdｚd）のｘdｙd平面上に位置しており、ｘdｙd平面を投影面として仮想投影面ＶＰを垂直投影した投影図の領域を包含するように基準平面ＤＰの領域が設定されている。図６に示すように基準平面座標系における基準平面ＤＰの４隅の点Ａ（０，０，０）、点Ｂ（０，４９５，０）、点Ｃ（６５５，４９５，０）、点Ｄ（６５５，０，０）で囲まれる平面を等間隔で６５６×４９６ｐｉｘｅｌの画素Ｇｄ（総画素数３２．５万）に分割する。表１は、座標ｘd及び座標ｙdの入力に対してｚｄ座標を出力する２次元ＬＵＴの例である。全ての画素Ｇｄから表１に示すようなｘd，ｙdの座標を参照してｚdを導き出す２次元ＬＵＴを参照して仮想投影面ＶＰ上の対応する画素Ｇｖの座標（ｘd，ｙd，ｚd）を算出する。なお総画素数に関してはあくまでも例示でありこれ以外の値に設定しても良い。
【００４９】
【表１】
2012060269.tif 000003
【００５０】
図７に示すように基準平面ＤＰ上の画素Ｇｄは、仮想投影面ＶＰ上の画素Ｇｖを基準平面ＤＰに投影した関係となるので両者のｘdとｙdは一致する。２次元ＬＵＴには、仮想投影面ＶＰの形状に基づいて、座標ｘd、ｙdに対する座標ｚdが格納されており、画素Ｇｄの座標ｘd、ｙdに基づいて画素Ｇｖの座標ｚdが算出されことにより、画素Ｇｖの座標（ｘd，ｙd，ｚd）の位置が導き出せる。これを全ての画素Ｇｄについて行う。以上がステップＳ１３である。
【００５１】
ステップＳ１４では、ステップＳ１３で算出した画素Ｇｖの座標を、基準平面座標系（ｘd，ｙd，ｚd）からワールド座標系（Ｘ，Ｙ，Ｚ）に変換する。これは基準平面ＤＰの位置変更の設定情報に基づいて行う。
【００５２】
ステップＳ１５では、記憶部１０３に記憶されている撮像ユニット１１０のレンズパラメータに基づいて決定された歪み補正係数を読み出す。
【００５３】
ステップＳ１６では、ステップＳ１５で取得した歪み補正係数を用いて設定された仮想投影面ＶＰの座標をワールド座標系からカメラ座標系への変換（ｗ２ｃ変換）に用いるＬＵＴを生成する。
【００５４】
ＬＵＴの生成は、それぞれの画素Ｇｖのワールド座標系での座標と、ステップＳ１５で取得した歪み補正係数から、撮像素子面ＩＡでの対応するカメラ座標系での画素Ｇｉ（ｘ’，ｙ’）を算出することにより行う。図８は像高ｈと入射角度θとの関係を示す模式図である。被写体（物点Ｐ）の撮像素子面ＩＡ上の像高（光軸Ｚからの距離）は、入射角θと歪み補正係数で決定される。ｐｉは歪み補正が無いとした場合での撮像素子面ＩＡ上の物点Ｐの結像位置であり、歪み補正後の結像位置はＧｉとなる。以上により、仮想投影面の各画素の座標を、基準座標系からワールド座標系を経てカメラ座標系に変換されたことになる。つまりレンズデータに基づいて基準座標系の位置がカメラ座標のどの座標位置に対応するかを当てはめる座標変換を行った。この際に歪み補正及び、仮想投影面ＶＰの位置の計算にともなう回転、平行移動、拡大、縮小等の視点変換が併せて行われる。
【００５５】
ステップＳ２１では、ステップＳ１２で入力された入力画像に対して、ステップＳ２１で参照されたＬＵＴを用いて画像生成が行われる。画像生成の方法としては以下に説明するように４点補間がある。
【００５６】
図１、図８に示した画素Ｇｉのカメラ座標系の座標（ｘi’，ｙi’）から参照する撮像素子の画素を決定する。この際に撮像素子の各画素の座標（ｘi，ｙi）におけるｘi、ｙiは整数であるが、ステップＳ１６のＬＵＴ生成過程で用いられる画素Ｇｉ（ｘi’，ｙi’）のｘi’、ｙi’は整数とは限らず小数部分を持つ実数値を取り得る。ｘi’、ｙi’が整数で、画素Ｇｉ（ｘi’，ｙi’）と撮像素子の画素の位置とが一致する場合には、対応する撮像素子の画素の画素データを仮想投影面ＶＰ上の画素Ｇｖ（Ｘ，Ｙ，Ｚ）に対応する出力画像の画素データとして用いることが可能である。一方で、ｘi’、ｙi’が整数でなくｘi’、ｙi’とｘi、ｙiとが一致しない場合には４点補間として、画素Ｇｖに対応する出力画像の画素データとして、算出された画素Ｇｉ（ｘi’，ｙi’）周辺の、画素Ｇｉ（ｘi’，ｙi’）の位置に近接する上位４箇所の画素の画素データを用いて、これらの単純平均値あるいは、画素Ｇｉ（ｘi’，ｙi’）に対する距離により近接する４箇所の画素に対して重み付けをして算出した画素データを用いる。なお４点補間に限られず、周辺の箇所としては１箇所の単純補間や、１６箇所若しくはそれ以上を用いる多点補間であってもよい。
【００５７】
ステップＳ２２では生成された画像に基づいて出力処理を行う。出力処理としてはデモザイク処理において、周辺画素の信号から各画素のＢＧＲデータの演算を行って出力画像を得ることができる。デモザイク処理とは、例えば撮像素子がベイヤー配列で並んだ画素で構成されることにより各画素が１色分の色情報しか持たない場合に、周辺画素の情報から補間処理することにより３色分の色情報を算出することである。
【００５８】
ステップＳ２３では、生成された出力画像を表示部１２０に、例えばフレームレート３０ｆｐｓ、あるいは６０ｆｐｓで出力して終了する。
【００５９】
なお、本制御フローは、仮想投影面ＶＰを固定の形状としこれに対応した１種類の２次元ＬＵＴを用いた例であるが、これに限られず変形例として用途の種類に対応した複数の異なる形状の仮想投影面ＶＰを用いても良い。この場合、複数の仮想投影面それぞれに対応した複数の２次元ＬＵＴのうちから使用する２次元ＬＵＴをステップＳ１１において選択するようにし、選択した２次元ＬＵＴを用いてステップＳ１３の制御を行う。
【００６０】
図９に入力画像及び歪み補正処理後の出力画像の例を示す。なお同図においては、仮想投影面ＶＰの位置が初期状態の位置に設定されている場合の例を示している。図９（ａ）は入力画像である。図９（ｂ）は平面形状の仮想投影面ＶＰ（図１の基準平面ＤＰと同等）の設定において得られた出力画像の例である。図９（ｃ）は、円筒形状の仮想投影面ＶＰの設定において得られた出力画像の例である。図９（ｄ）は、図１、２に示したような自由形状の仮想投影面ＶＰの設定において得られた出力画像の例である。図１、２に示すような自由形状においては下方近傍（手前側）の表示範囲が広く、平面形状や円筒形状の仮想投影面ＶＰでは表示範囲外となっていた領域の認識を行うことが可能となる。
【００６１】
［他の実施形態］
次に、他の実施形態として２次元ＬＵＴが格子点データであり、格子点の間のデータは線形補間により算出する例について説明する。図１０は、他の実施形態における基準平面ＤＰと、２次元ＬＵＴの格子点データとの対応関係を説明する図である。他の実施形態においては、２次元ＬＵＴには各格子点ｇｐに関する仮想投影面ＶＰのｚd座標のデータが格納されている。格子点ｇｐは画素Ｇｄに対して所定の周期で飛び飛びに配置されるものであり、同図に示す例では、基準平面ＤＰの点Ａ（０，０，０）にある格子点ｇｐを基準としてｘd、ｙd方向それぞれに対して３２ｐｉｘｅｌの周期で配置されている。
【００６２】
４隅を格子点ｇｐで囲まれた領域をｂｌｏｃｋといい、同図に示す例では、ｘd方向で２１ｂｌｏｃｋ、ｙd方向で１６ｂｌｏｃｋが配置されている。なお、ｂｌｏｃｋで覆う領域は基準平面ＤＰと同等かこれよりも大きいサイズとしている。図１０に示す例では基準平面ＤＰのサイズは、格子点ｇｐの周期３２ｐｉｘｅｌの整数倍になっていないので、ｂｌｏｃｋで覆う領域（６７２×５１２ｐｉｘｅｌ）は、基準平面ＤＰのサイズ（６５６×４９６ｐｉｘｅｌ）よりも大きくしている。
【００６３】
画素Ｇｄは、格子点ｇｐと重なるときは当該格子点ｇｐの２次元ＬＵＴを参照することにより仮想投影面ＶＰ上の画素Ｇｖのｚd座標を求める。画素Ｇｄが格子点ｇｐと重ならないときは、ｂｌｏｃｋ４隅の格子点ｇｐのｚｄ座標を、２次元ＬＵＴを参照することにより求め、求めた格子点ｇｐのｚd座標を線形補間することにより、画素Ｇｄのｚd座標を求める。例えば、画素Ｇｄ１は格子点ｇｐと重なっていないので、４隅の格子点ｇｐ１、ｇｐ２、ｇｐ３、ｇｐ４に対応する仮想投影面ＶＰのｚd座標を、２次元ＬＵＴを参照して求め、当該ｚd座標の値を線形補間することにより画素Ｇｄ１に対応する仮想投影面ＶＰ上の画素Ｇｖのｚd座標を得ることができる。
【００６４】
このように２次元ＬＵＴを基準平面ＤＰの全画素に対して設けずに、格子点状の離間した間引きのデータとすることにより２次元ＬＵＴのデータサイズを小さくすることができる。
【００６５】
［仮想投影面ＶＰの他の形状の例］
図１１、図１２は、お椀形状の仮想投影面ＶＰの例である。図１１（ａ）は正面図、図１１（ｂ）は上面図、図１１（ｃ）は側面図である。図１２は、仮想投影面ＶＰと基準平面ＤＰとの関係を示す模式図である。同図に示す仮想投影面ＶＰは自由曲面によりなる形状である。自由曲面とは、初等関数で表せる曲面（円筒、球）以外の曲面のことである。同図に示す例においては、お椀を縦半分に裁断した様な形状をしている。このような自由曲面で形成された複雑な形状であっても２次元ＬＵＴによって仮想投影面ＶＰ上の座標を特定することが可能である。
【００６６】
図１３は、図１１、図１２に示したお椀形状の仮想投影面ＶＰの設定において得られた出力画像の例である。自由形状の一例としてこれらに示すお椀形状の仮想投影面ＶＰを用いることにより、下方近傍（手前側）の表示範囲が広く、平面形状や円筒形状の仮想投影面ＶＰでは表示範囲外となっていた領域の認識を行うことが可能となる。
【００６７】
本発明は、明細書に記載の実施形態に限定されるものではなく、他の実施形態、変形例を含むことは、本明細書に記載された実施形態や技術的思想から本分野の当業者にとって明らかである。明細書の記載及び実施形態は、あくまでも例証を目的としており、本発明の範囲は後述するクレームによって示されている。
【符号の説明】
【００６８】
１００  制御装置
１０１  画像処理部
１０２  設定部
１０３  記憶部
１１０  撮像ユニット
１２０  表示部
１３０  操作部
ＶＰ  仮想投影面
ＤＰ  基準平面
Ｇｄ  基準平面上の画素
ＧＶ  仮想投影面上の画素
ＬＣ  レンズ中心面
ＩＡ  撮像素子面
Ｏ  レンズ中心
ｏ  画像中心
Ｇｄ  基準平面上の画素
ＧＶ  仮想投影面上の画素
【図１】
2012060269.tif 000004
【図２】
2012060269.tif 000005
【図３】
2012060269.tif 000006
【図４】
2012060269.tif 000007
【図５】
2012060269.tif 000008
【図６】
2012060269.tif 000009
【図７】
2012060269.tif 000010
【図８】
2012060269.tif 000011
【図１０】
2012060269.tif 000012
【図１１】
2012060269.tif 000013
【図１２】
2012060269.tif 000014
【図９】
2012060269.tif 000015
【図１３】
2012060269.tif 000016
【国際調査報告】
2012060269.tif 000017
2012060269.tif 000018
2012060269.tif 000019
2012060269.tif 000020