(57)【要約】  低容量の画像メモリの比較的小規模な回路であっても、処理時間の短縮化を図ることが可能な、画像処理方法及び撮像装置を提供する。複数の画素を有し、所定の順序で読み出しを行う撮像素子と、歪補正係数及び、ワールド座標系の仮想投影面の位置若しくはサイズにより決定される歪補正パラメータを設定する歪補正パラメータ生成部と、前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を、前記歪補正パラメータに基づいてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記撮像素子から読み出した複数の画素データに基づいて、前記仮想投影面での画像データを算出する歪補正処理部と、を有し、前記歪補正処理部は、前記撮像素子の読み出し処理に係る所要時間を算出し、１フレーム毎に算出した所要時間から読み出し開始タイミングで前記撮像素子から画素データの読み出しを行う。
2012077544.tif 000002
【特許請求の範囲】
【請求項１】
光学系を介して複数の画素を有し、所定の順序で読み出しを行う撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した動画像データを得る画像処理方法において、
歪補正係数及び、ワールド座標系の仮想投影面の位置若しくはサイズにより決定される歪補正パラメータを設定する第１ステップと、
設定された歪補正パラメータにより前記撮像素子の読み出し領域を算出する第２ステップと、
算出した前記読み出し領域から前記撮像素子の読み出し処理に係る所要時間を算出し、１フレーム毎に算出した所要時間から設定した読み出し開始タイミングで前記撮像素子から画素データの読み出しを行う第３ステップと、
前記第３ステップで読み出した画素データと、前記第１ステップで設定された歪補正パラメータを用いて前記仮想投影面の各画素をカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第４ステップと、
を有することを特徴とする画像処理方法。
【請求項２】
前記第１ステップで設定される歪補正パラメータは、フレーム毎に変化させるパラメータであることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第１ステップで設定される歪補正パラメータは、仮想投影面の位置をフレーム毎に移動させるパラメータ及びレンズパラメータをフレーム毎に変化させるパラメータの少なくとも何れか一方であることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
光学系と、
複数の画素を有し、所定の順序で読み出しを行う撮像素子と、
ワールド座標系における仮想投影面の位置及びサイズを設定する設定部と、
歪補正係数及び、ワールド座標系の仮想投影面の位置若しくはサイズにより決定される歪補正パラメータを設定する歪補正パラメータ生成部と、
前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を、前記歪補正パラメータに基づいてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記撮像素子から読み出した複数の画素データに基づいて、前記仮想投影面での画像データを算出する歪補正処理部と、
算出した画像データを動画像として出力する画像出力部と、
を有し、
前記歪補正処理部は、設定された歪補正パラメータにより前記撮像素子の読み出し領域を算出し、算出した読み出し領域から前記撮像素子の読み出し処理に係る所要時間を算出し、１フレーム毎に算出した所要時間から読み出し開始タイミングで前記撮像素子から画素データの読み出しを行うことを特徴とする撮像装置。
【請求項５】
前記歪補正パラメータ生成部で設定される歪補正パラメータは、フレーム毎に変化させるパラメータであることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記歪補正パラメータは、仮想投影面の位置をフレーム毎に移動させるパラメータ及びレンズパラメータをフレーム毎に変化させるパラメータの少なくとも何れか一方であることを特徴とする請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、集光レンズを含む光学系を介して撮像素子により撮像された動画像の歪み補正処理を行う、画像処理方法及び撮像装置に関する。
【背景技術】
【０００２】
一般に、広角レンズあるいは魚眼レンズのような焦点距離の短いレンズや画角の大きなレンズを備えた光学系により撮影した画像は歪曲を伴うので、歪曲を補正する画像処理を行う。特許文献１には従来技術の補正方法として、焦点距離の短いレンズを使用して撮像された撮像画像に生じる歪曲を、レンズの補正用のパラメータを用いて補正する方法が開示されている。【０００３】
特許文献２では、画像メモリの低容量化を目的として、撮像素子側の解像度に対応した画像データのデータ量に依存せずに、出力画像データの解像度に応じた画像メモリで画像処理する画像データ処理装置が開示されている。この画像データ処理装置では、手ぶれ補正処理やこれとともに歪補正処理を行う際に水平手ぶれ補正と垂直手ぶれ補正の２つの処理に分けて、それぞれ第１メモリ、第２メモリに書き込みを行っている。第１メモリには、出力画像の解像度に合わせて解像度変換した後の水平手ぶれ補正処理後の画像をライン毎に順次記憶させ、垂直手ぶれ補正が可能となる複数の水平ラインの画像が蓄積された段階で第１メモリから読みだしを行って垂直手ぶれ補正を行い、処理後の画像を第２メモリに記憶させている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１４００６６号公報
【特許文献２】特開２００６−２２９３８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されたように、レンズで得た撮像画像を画像処理装置としてハード化した場合に処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまうという問題があった。【０００６】
また、歪み補正処理をした後の画像は、視野角が狭くなるので広い領域を一度に認識することは難しくなる。歪み補正処理をおこなわない画像では、視野角は広くなるがその反面、被写体が歪むことにより距離感や大きさの認識が難しくなる。【０００７】
特許文献２では、水平方向と垂直方向の補正処理を分離して２回に渡って行っており、垂直手ぶれ補正を行うためには、複数の水平ラインの画像データを処理している。焦点距離の短いレンズを用いた光学系を用いたカメラから得られた画像データにおいては、歪曲による垂直方向のずれ量も撮像素子の位置（主に光学中心からの距離）に応じて変化するために、その分のマージンを見込んだ水平ライン数の画像データをまとめて処理する必要があり、処理も複雑となる。【０００８】
本願発明はこのような問題に鑑み、低容量の画像メモリの比較的小規模な回路であっても、処理時間の短縮化を図ること、及び、被写体の正確な認識を図ることが可能な、画像処理方法及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的は、下記に記載する発明により達成される。【００１０】
１．光学系を介して複数の画素を有し、所定の順序で読み出しを行う撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した動画像データを得る画像処理方法において、
歪補正係数及び、ワールド座標系の仮想投影面の位置若しくはサイズにより決定される歪補正パラメータを設定する第１ステップと、
設定された歪補正パラメータにより前記撮像素子の読み出し領域を算出する第２ステップと、
算出した前記読み出し領域から前記撮像素子の読み出し処理に係る所要時間を算出し、１フレーム毎に算出した所要時間から設定した読み出し開始タイミングで前記撮像素子から画素データの読み出しを行う第３ステップと、
前記第３ステップで読み出した画素データと、前記第１ステップで設定された歪補正パラメータを用いて前記仮想投影面の各画素をカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第４ステップと、
を有することを特徴とする画像処理方法。【００１１】
２．前記第１ステップで設定される歪補正パラメータは、フレーム毎に変化させるパラメータであることを特徴とする前記１に記載の画像処理方法。【００１２】
３．前記第１ステップで設定される歪補正パラメータは、仮想投影面の位置をフレーム毎に移動させるパラメータ及びレンズパラメータをフレーム毎に変化させるパラメータの少なくとも何れか一方であることを特徴とする前記２に記載の画像処理方法。【００１３】
４．光学系と、
複数の画素を有し、所定の順序で読み出しを行う撮像素子と、
ワールド座標系における仮想投影面の位置及びサイズを設定する設定部と、
歪補正係数及び、ワールド座標系の仮想投影面の位置若しくはサイズにより決定される歪補正パラメータを設定する歪補正パラメータ生成部と、
前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を、前記歪補正パラメータに基づいてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記撮像素子から読み出した複数の画素データに基づいて、前記仮想投影面での画像データを算出する歪補正処理部と、
算出した画像データを動画像として出力する画像出力部と、
を有し、
前記歪補正処理部は、設定された歪補正パラメータにより前記撮像素子の読み出し領域を算出し、算出した読み出し領域から前記撮像素子の読み出し処理に係る所要時間を算出し、１フレーム毎に算出した所要時間から読み出し開始タイミングで前記撮像素子から画素データの読み出しを行うことを特徴とする撮像装置。【００１４】
５．前記歪補正パラメータ生成部で設定される歪補正パラメータは、フレーム毎に変化させるパラメータであることを特徴とする前記４に記載の撮像装置。【００１５】
６．前記歪補正パラメータは、仮想投影面の位置をフレーム毎に移動させるパラメータ及びレンズパラメータをフレーム毎に変化させるパラメータの少なくとも何れか一方であることを特徴とする前記５に記載の撮像装置。
【発明の効果】
【００１６】
本願発明によれば、仮想投影面の各画素をカメラ座標系に変換し、変換したカメラ座標系における座標及び撮像素子の複数の画素データに基づいて、仮想投影面の画像データを算出するとともに、撮像素子の読み出し領域を算出し、算出した読み出し領域から撮像素子の読み出し処理に係る所要時間を算出し、１フレーム毎に算出した所要時間から設定した読み出し開始タイミングで撮像素子から画素データの読み出しを行うようにすることにより、低容量の画像メモリの比較的小規模な回路であっても、処理時間の短縮化を図ることが可能な、画像処理方法及び撮像装置を提供することが可能となる。【００１７】
また、更に歪補正パラメータをフレーム毎に変化させることにより、被写体の正確な認識を図ることが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態に係る歪補正を説明する模式図である。
【図２】カメラ座標系の画像中心ｏを回転中心として仮想投影面ＶＰの位置を変更する例である。
【図３】仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。
【図４】カメラ座標系の画像中心ｏを移動中心として仮想投影面ＶＰの位置を変更する例である。
【図５】仮想投影面ＶＰの位置を実ｙａｗ移動させた例である。
【図６】撮像装置の概略構成を示すブロック図である。
【図７】座標系を説明する模式図である。
【図８】カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。
【図９】像高ｈと入射角θとの関係を示す模式図である。
【図１０】本実施形態の制御フローを示す図であり、（ａ）は全体制御フロー、（ｂ）は（ａ）のステップＳ１０のサブルーチンを説明する図である。
【図１１】（ａ）、（ｂ）は所要時間の算出手順を説明する模式図である。
【図１２】読取開始信号ｒｄｔのタイミングを示すタイムチャートである。
【発明を実施するための形態】
【００１９】
本発明を実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。
【００２０】
図１は、本実施形態に係る歪補正を説明する模式図である。図１において、Ｘ、Ｙ、Ｚはワールド座標系であり、原点Ｏはレンズ中心である。Ｚは光軸、ＸＹ平面はレンズ中心Ｏを通るレンズ中心面ＬＣを含んでいる。点Ｐはワールド座標系ＸＹＺにおける被写体の物点である。θはレンズ中心（原点Ｏ）における光軸（Ｚ軸に一致）に対する入射角である。
【００２１】
ｘ、ｙはカメラ座標系であり、ｘｙ平面は撮像素子面ＩＡに対応する。ｏは光学中心であり光学系の光軸Ｚと撮像素子面との交点である。点ｐはカメラ座標系における撮像素子面上の点であり、物点Ｐをレンズの物理的特性に基づくパラメータ（以下、「レンズパラメータ」という。例えば焦点距離、非球面係数、有効径等の情報）を用いて生成した仮想投影面ＶＰの各画素の光軸Ｚからの位置と像高とを対応づけた歪補正係数を用いてカメラ座標系に変換したものである。
【００２２】
ＶＰは仮想投影面である。仮想投影面ＶＰは光学系のレンズ位置（レンズ中心面ＬＣ）に対して撮像素子（及び撮像素子面ＩＡ）とは反対側に設定される。仮想投影面ＶＰは、ユーザによるユーザ操作部１３０（図３参照）への指示に基づいて、位置変更及びサイズの変更を行うことが可能である。位置変更についての詳細は後述する。
【００２３】
初期状態（初期の位置設定のこと、以下同様）において仮想投影面ＶＰは、所定サイズでレンズ中心面ＬＣと平行（ＸＹ方向）の所定位置（Ｚ方向）に配置され、仮想投影面ＶＰの中心ｏｖはＺ軸上に位置している。Ｇｖは物点Ｐが仮想投影面ＶＰ上に投影された点であり、物点Ｐとレンズ中心Ｏを通る直線と仮想投影面ＶＰとの交点である。
【００２４】
［仮想投影面ＶＰの位置変更による視点変換の例］
仮想投影面ＶＰは位置変更させることが可能である。ここで「位置変更」とは、次に示す様に仮想投影面ＶＰをＸＹ平面上で平行移動させる場合のみならず、ＸＹ平面に対する角度変更（姿勢変更ともいう）をも含む概念である。位置変更に伴い視点変換がなされる。
【００２５】
図２は、カメラ座標系の画像中心ｏを回転中心（若しくは移動中心）として仮想投影面ＶＰ０の位置を変更する例である。図２に示すように画像中心ｏを回転中心としてｘ軸回りの回転が実ｐｉｔｃｈ（ｔｉｌｔ：チルトともいう）であり、ｙ軸回りの回転が実ｙａｗ（ｐａｎ：パンともいう）、Ｚ軸回りの回転が実ｒｏｌｌである。
【００２６】
図３は、入力された回転量の設定値に基づいて仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。仮想投影面ＶＰ０上の直交する関係となる２軸の一方をＹａｗ−ａｘｉｓ、他方をＰ−ａｘｉｓとして設定する。両者は中心ｏｖを通る軸であり、中心ｏｖを回転中心としてＹａｗ−ａｘｉｓ回りの回転を仮想ｙａｗ回転、Ｐ−ａｘｉｓ回りの回転を仮想ｐｉｔｃｈ回転という。以下においては仮想カメラＣａ０を回転あるいは位置変更させたことに相当する視点変換が行われる。
【００２７】
図４は、カメラ座標系の画像中心ｏを移動中心として仮想投影面ＶＰの位置を変更する例である。これらの例においては仮想カメラＣａ０を仮想投影面ＶＰとともに平行移動させたことに相当する視点変換が行われる。
【００２８】
図５は、実ｙａｗ移動により、仮想投影面ＶＰを初期位置（ＶＰ０）から移動させた状態（ＶＰ１）の仮想投影面を示す例である。
【００２９】
［ブロック図］
図６は、撮像装置の概略構成を示すブロック図である。撮影装置は、撮像ユニット１１０、制御部１００、表示部１２０、ユーザ操作部１３０を備えている。
【００３０】
撮像ユニット１１０は、短焦点のレンズ、撮像素子等から構成される。本実施形態においては、レンズとしては例えば広角レンズ、魚眼レンズがある。撮像素子としては、例えば複数の画素（受光素子）が格子状に配置され、それぞれにスイッチング素子が配置されたＸ−Ｙアドレス型のＣ−ＭＯＳ撮像素子がある。各画素に配置されたスイッチング素子には走査線（ｘ方向）と信号線（ｙ方向）がそれぞれ接続されており、走査線に接続している画素を一群として所定の順序で信号線から画素データの読み出しを行って画像データの出力を行う。
【００３１】
制御部１００では、ユーザ操作部１３０への入力指示に基づいて仮想投影面ＶＰの位置、サイズの設定、及び歪み補正強度、歪み補正の変化速度及び変化の上下限の設定を行うことができる。
【００３２】
同期信号生成回路１５０では、水平同期信号（Ｈｓｙｎｃ）、垂直同期信号（Ｖｓｙｎｃ）、基準クロック（ｃｌｋ）が生成され、これらの信号は、制御部１００の歪補正処理部１０１、歪補正パラメータ生成部１０２、ビデオメモリ１０４の各部に送られる。
【００３３】
仮想投影面ＶＰの位置、サイズの設定をすることにより、パンチ、チルトや、ズームイン、ズームアウト等のカメラの視点変更が行われることになり、これらの設定は本願において「設定部」として機能する歪補正パラメータ生成部１０２により変換されて歪補正パラメータとして歪補正処理部１０１に送られる。
【００３４】
ＲＯＭ１０８には、撮像ユニット１１０の実レンズの物理特性に基づくレンズパラメータと、歪み補正を行わない場合（ピンホールレンズに相当する）のレンズパラメータが記憶されている。
【００３５】
ＲＯＭ１０８に記憶されているレンズパラメータの情報により歪補正係数が生成され、当該歪補正係数の変化速度、変化幅の設定情報、及び仮想投影面ＶＰの位置の変化速度、変化幅の設定情報はＬＵＴ生成部１０３に送られる。
【００３６】
歪補正処理部１０１では、歪処理部１０１ａと、撮像同期信号タイミング演算部１０１ｂとを備えている。撮像同期信号タイミング演算部１０１ｂでは後述の処理により撮像素子の読み取りに必要な所要時間を演算する。所要時間はフレーム毎に演算され各フレームで異なる値を取り得る。歪補正処理部１０１では、算出した所要時間に基づいて、同期信号生成回路１５０から入力した（所定間隔で発信される）垂直同期信号Ｖｓｙｎｃに対して所要時間に対応する時間だけ遡上させたタイミングの読取開始信号ｒｄｔを撮像ユニット１１０に出力する。
【００３７】
歪補正処理部１０１では、撮像ユニット１１０からの入力画像から、ＬＵＴ生成部１０３から取得したＬＵＴを用いて歪み補正処理後の出力画像を生成する。ここで用いるＬＵＴは、ＬＵＴ生成部１０３により生成されたものであり、歪補正パラメータ生成部１０２から送られた歪補正パラメータを用いて計算した、座標変換により対応付けられた仮想投影面ＶＰの各画素と撮影素子の画素との対応関係を記述したものである。出力画像は、ビデオメモリ１０４に書き込まれ、同期信号生成回路１５０からの同期信号に合わせて１フレーム毎に表示部１２０に送られる。
【００３８】
表示部１２０は、液晶ディスプレイ等の表示画面を備え、送られた出力画像を逐次、表示画面に表示させる。
【００３９】
ユーザ操作部１３０は、キーボード、マウス、あるいは表示用の液晶ディスプレイに重畳して配置したタッチパネルを備え、ユーザの入力操作を受け付ける。
【００４０】
［仮想投影面ＶＰの画素と、撮像素子の画素との対応関係］
次に、ワールド座標系の仮想投影面ＶＰの各画素をカメラ座標系に変換する手順について説明する。すなわち、これはレンズパラメータに基づいてワールド座標の位置がカメラ座標のどの座標位置に対応するかを当てはめる座標変換を行うものであり、この際に歪み補正及び、仮想投影面ＶＰの位置の計算にともなう回転、平行移動、拡大、縮小等の視点変換が併せて行われる。
【００４１】
図７は、座標系を説明する模式図である。図７に示すようにワールド座標系における仮想投影面ＶＰの４隅の点Ａ（０，０，Ｚａ）、点Ｂ（０，４７９，Ｚｂ）、点Ｃ（６３９，４７９，Ｚｃ）、点Ｄ（６３９，０，Ｚｄ）で囲まれる平面を等間隔で６４０×４８０
ｐｉｘｅｌの画素Ｇｖ（総画素数３０．７万）に分割し、全ての画素Ｇｖそれぞれのワールド座標系における座標を取得する。なお同図におけるＸ、Ｙ座標の値は例示であり、理解を容易にするために、Ａ点のＸ、Ｙ座標をゼロとして表示している。
【００４２】
画素Ｇｖのワールド座標系での座標と、後述する歪補正パラメータ生成部で設定されたレンズパラメータに基づく歪補正係数から、撮像素子面ＩＡでの対応するカメラ座標系での座標Ｇｉ（ｘ’，ｙ’）を算出する。具体的には、当該歪補正係数と各画素Ｇｖの座標から得られる光軸Ｚに対する入射角度θにより算出している（参考文献：国際公開第２０１０／０３２７２０号）。
【００４３】
図８は、カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。図８において点ａ〜ｄは、図７の点Ａ〜Ｄを、レンズパラメータに対応した歪補正係数に基づいてカメラ座標系に変換したものである。なお図７では点Ａ〜Ｄで囲まれる仮想投影面ＶＰは矩形の平面であるが、図８においてカメラ座標系に座標変換した後の点ａ〜ｄで囲まれる読み出し領域ｒａは（仮想投影面ＶＰの位置に対応して）歪んだ形状となる。なお同図においては樽型形状に歪んだ例を示しているが、光学系の特性により糸巻型、陣笠型（中央では樽型で端部では直線あるいは糸巻型に変化する形状）の歪みとなる場合もある。
【００４４】
図９は、像高ｈと入射角θとの関係を示す模式図である。被写体（物点Ｐ）の撮像素子面ＩＡ上の像高（光軸Ｚからの距離）は、入射角θと歪補正係数で決定される。ｐｉは歪み補正を行わないレンズパラメータにより決定される撮像素子面ＩＡ上の物点Ｐの結像位置であり、光軸からの距離（像高）はピンホールカメラのように、入射角θの正接関数に比例する。Ｇｉは実レンズの物理特性に基づくレンズパラメータにより決定された歪補正係数を用いて算出される歪み補正後の結像位置であり、その際の像高はｈである。
【００４５】
このようにして撮影素子面ＩＡ上におけるカメラ座標系の座標は、レンズパラメータに基づく歪補正係数、及びワールド座標系における仮想投影面ＶＰの位置により決定される。
【００４６】
［制御フロー］
図１０は、本実施形態の制御フローを示す図である。図１０（ａ）は全体制御フロー、図１０（ｂ）は図１０（ａ）のステップＳ１０のサブルーチンを説明する図である。
【００４７】
図１０（ａ）のステップＳ１０では、歪補正パラメータの設定を行う。歪補正パラメータは、（１）歪補正係数と、（２）視野角、実ｙａｗ、仮想ｙａｗ、実ｐｉｔｃｈ、仮想ｐｉｔｃｈ等の仮想投影面の位置設定とからなる。当該歪補正パラメータの設定を行うステップＳ１０のフローは図１０（ｂ）に示すようにステップＳ１０１に示す仮想投影面ＶＰの位置設定と、ステップＳ１０２に示すレンズパラメータの設定とからなる。設定は、ユーザ操作部１３０の入力により歪補正パラメータ生成部により行われる。これらの設定により設定されたパラメータとしては以下の４つの態様がある。
（Ｐ１）仮想投影面の位置設定が１つで、レンズパラメータが１つ
（Ｐ２）仮想投影面の位置設定が２つで、レンズパラメータが１つ
（Ｐ３）仮想投影面の位置設定が１つで、レンズパラメータが２つ
（Ｐ４）仮想投影面の位置設定が２つで、レンズパラメータが２つ。
【００４８】
レンズパラメータとしては、ＲＯＭ１０８に記憶されている２つのレンズパラメータの何れかを選択する。２つのレンズパラメータを設定した場合には、レンズパラメータに基づく歪補正係数の変化速度、変化幅の設定を行う。仮想投影面ＶＰの位置設定も同様に、２つ又はこれ以上の複数箇所の位置を設定した場合には、位置の変化速度、変化幅の設定を行う。
【００４９】
例えば、上記（Ｐ４）の態様において、始点として仮想投影面ＶＰの第１位置Ｖ１、レンズパラメータＬ１、終点として仮想投影面ＶＰの第２位置Ｖ１、レンズパラメータＬ２を設定し、これらを補間する位置Ｖ３、レンズパラメータＬ３を以下の式（１）、（２）により算出するようにし、変化速度のパラメータVCRatio、DistRatioをそれぞれ数秒周期
で０〜１００％の間を繰り返すように設定する。
【００５０】
Ｖ３＝VCRatio／１００×Ｖ１＋（１−VCRatio／１００）×Ｖ２        式（１）
（但し、０≦VCRatio／１００≦１）
Ｌ３＝DistRatio／１００×Ｌ１＋（１−DistRatio／１００）×Ｌ２    式（２）
（但し、０≦DistRatio／１００≦１）
第１位置Ｖ１の例としては図１等に示す初期位置であり、第２位置Ｖ２の例としては実ｐｉｔｃｈ−４５度（図２参照）と仮想ｐｉｔｃｈ−４５度（図３参照）を組み合わせた位置（レンズ中心からは俯角方向）が挙げられる。レンズパラメータＬ１としては実レンズの物理特性に基づくレンズパラメータが、レンズパラメータＬ２としては歪み補正を行わない（ピンホールレンズに相当する）レンズパラメータが挙げられる。例えば魚眼レンズを用いた例であればレンズパラメータＬ１はｔａｎ関数となり、これが１次関数のレンパラメータＬ２まで連続的に変化してゆくことになる。なお仮想投影面ＶＰの位置変更に伴い、サイズの設定も行うようにしてもよい。
【００５１】
ステップＳ１１では撮像素子の読みだし領域を算出する。読みだし領域は、ステップＳ１０で設定された仮想投影面ＶＰの位置、サイズやレンズパラメータにより定義される歪補正パラメータにより決定されるものであり、前述の図７〜図９で説明したワールド座標系からカメラ座標系へ座標変換（以下「ｗ２ｃ変換」ともいう）を行うことにより行う。歪補正パラメータが固定（前述の（Ｐ１）の態様）であれば撮像素子の読みだし領域は固定であり、歪補正パラメータがフレーム毎に変化するのであれば（前述の（Ｐ２）〜（Ｐ４）の態様）でフレーム毎に撮像素子の読みだし領域は変化する。具体的には、仮想投影面ＶＰの位置が光軸から外れるほどワールド座標系からカメラ座標系に変換した後の撮像素子面ＩＡ上の位置も画像中心ｏから遠ざかることになる。
【００５２】
なお、ステップＳ１１では仮想投影面ＶＰの全画素についてｗ２ｃ変換しても良いが、処理を簡略化するために、後述の所要時間の算出に必要な領域（撮像素子面ＩＡで図示下方の領域）に限定したり、仮想投影面ＶＰの外周部分に限定したりしても良い。
【００５３】
ステップＳ１２では、読みだし領域の端点から撮像素子の読みだしにかかる所要時間を算出する。図１１（ａ）、図１１（ｂ）は、所要時間の算出手順を説明する模式図である。同図に示すように撮像素子の撮像素子面ＩＡには、ｘ方向に沿って伸びる複数の走査線（不図示）に沿って画素が配置されており、走査線毎に画素データの読み出しを行うものである。走査線の読み出し順序は、同図に示す上端の走査線（読み出し開始位置）から下端の走査線（読み出し最終位置）まで順に所定間隔で行われる。なおＣＣＤ撮像素子の例であれば、読み出し順序は走査線の上端左端位置から下端右端位置まで順に行われることになる。また本実施形態では、画像の生成を上端側から下方に向けて順に行っておりこれは読み出し順に合わせている。読み出し順は、上記例に限られずｙ方向の一方の端から他方端に向けて順に行う方式でも良い。この場合は画像生成の順はこれに合わせてｙ方向の一方の端から順に行うことになる。
【００５４】
図１１（ａ）、図１１（ｂ）には読み出し領域ｒａを示している。図１１（ａ）、図１１（ｂ）では、歪補正パラメータが異なるために読み出し領域ｒａの範囲の位置、サイズも異なっている。ステップＳ１２では、ステップＳ１１で算出した読み出し領域ｒａから読み出し処理に係る所要時間を算出する。所要時間は、読み出し領域ｒａ内の最も下端の画素が位置する走査線（領域ｒａ最終ライン）の位置から算出する。具体的には上端の走査線（読み出し開始位置）の読み出しを開始してから、下端の画素が位置する走査線（領域ｒａ最終ライン）の読み出しが終了するまでの時間（図１１（ａ）の符号Ｔｒ）である。
【００５５】
所要時間Ｔｒは、読み出し領域ｒａの下端の位置により変化するものであり、図１１（ａ）に比べて図１１（ｂ）に示す読み出し領域ｒａは、撮像素子面ＩＡの下方にあるので所要時間Ｔｒは長くなることが分かる。
【００５６】
ステップＳ１３では、制御部１００はステップＳ１２で算出した所要時間Ｔｒに応じて、撮像ユニット１１０に読取開始信号ｒｄｔを出力する。
【００５７】
図１２は、読取開始信号ｒｄｔのタイミングを示すタイムチャートである。同図の上段は、撮像ユニット１１０の撮像素子の動作を、下段は制御部１００の動作を示している。同図において、垂直同期信号Ｖｓｙｎｃは同期信号生成回路１５０からの同期信号であり、１フレームの画像信号ＶＤにはそれぞれフレームの番号（ｆ１、ｆ２等）を示している。垂直同期信号Ｖｓｙｎｃの周期としては同図に示す例で３０Ｈｚ（３３．３ｍｓ周期）であり、これに同期してフレームレート３０ｆｐｓで画像データの出力を行っている。
【００５８】
同図においてＴｒｍは、ステップＳ１２で算出した所要時間Ｔｒに対応しており、当該所要時間Ｔｒに対して所定時間分のオフセットを行った時間である。同図に示すように制御部１００から撮像ユニット１１０の撮像素子（Ｓｅｎｓｅｒ）へ出力される読取開始信号ｒｄｔは、垂直同期信号Ｖｓｙｎｃの周期に対して所要時間Ｔｒに対応する時間Ｔｒｍ（同図においては、６ｍｓ、８ｍｓ、１０ｍｓ等）だけ遡上させたタイミングとなっている。
【００５９】
これにより、撮像ユニット１１０における撮像素子からの読み取りが終了する時間、及びステップＳ２１で撮像ユニット１１０から制御部１００に入力される画像信号ＶＤの入力が終了する時間（図１２の符号ｔ１〜ｔ７）は、垂直同期信号Ｖｓｙｎｃに対して常に一定のタイミングとなる。このため、垂直同期信号Ｖｓｙｎｃと同期をとるためのタイミング処理が不要となる。
【００６０】
ステップＳ２２では、仮想投影面ＶＰの各画素の座標をワールド座標系からカメラ座標系に変換する（ｗ２ｃ変換）。座標系の変換は、前述の図７〜図９で説明したとおりである。なおステップＳ１１でも同様のｗ２ｃ変換を行っており、ステップＳ１１で仮想投影面ＶＰの全画素について座標変換を行ったのであれば当該ステップでは、ステップＳ１１の変換結果をそのまま適用するようにしても良い。
【００６１】
ステップＳ２３では、ステップＳ２１で入力された画像信号に対して、ステップＳ２２での処理を行うことにより撮像素子の座標Ｇｉの画素データを用いて画像生成が行われる。画像生成の方法としては以下に説明するように４点補間がある。
【００６２】
図７に示したようにｗ２ｃ変換により決定される座標Ｇｉ（ｘ’，ｙ’）から参照する撮像素子の画素を決定するが、この際に撮像素子の各画素の座標（ｘ，ｙ）におけるｘ、ｙは整数であるが、ｗ２ｃ変換後の座標Ｇｉ（ｘ’，ｙ’）のｘ’、ｙ’は整数とは限らず小数部分を持つ実数値を取り得る。ｘ’、ｙ’が整数で、座標Ｇｉ（ｘ’，ｙ’）と撮像素子の画素の位置とが一致する場合には、対応する撮像素子の画素の画素データを仮想投影面ＶＰ上の画素Ｇｖ（Ｘ，Ｙ，Ｚ）に対応する出力画像の画素データとして用いることが可能である。一方で、ｘ’、ｙ’が整数でなくｘ’、ｙ’とｘ、ｙとが一致しない場合には４点補間として、画素Ｇｖに対応する出力画像の画素データとして、算出された座標Ｇｉ（ｘ’，ｙ’）周辺の画素、座標Ｇｉ（ｘ’，ｙ’）の位置に近接する上位４箇所の画素の画素データを用いて、これらの単純平均値あるいは、座標Ｇｉ（ｘ’，ｙ’）に対する距離により近接する４箇所の画素に対して重み付けをして算出した画素データを用いる。なお４点補間に限られず、周辺の箇所としては１箇所の単純補間や、１６箇所若しくはそれ以上を用いる多点補間であってもよい。
【００６３】
ステップＳ２４では生成された画像に基づいて出力処理を行う。出力処理としてはデモザイク処理において、周辺画素の信号から各画素のＢＧＲデータの演算を行って出力画像を得ることができる。デモザイク処理とは、例えば撮像素子がベイヤー配列で並んだ画素で構成されることにより各画素が１色分の色情報しか持たない場合に、周辺画素の情報から補間処理することにより３色分の色情報を算出することである。
【００６４】
ステップＳ２５では、「画像出力部」として機能する制御部１００は、ステップＳ２４で得られた出力画像をビデオメモリ１０４に送り、同期信号に同期させて表示部１２０に表示させる。これを連続して行うことにより表示部１２０には、３０ｆｐｓの動画像が表示される。
【００６５】
本実施形態においては、このように撮像素子の読み出し領域から、読み出し処理に係る所要時間を算出し、１フレーム毎に算出した所要時間から設定した読み出し開始タイミングで撮像素子から画素データの読み出しを行うようにすることにより、１フレーム毎の処理タイミングを一定にすることができ、引いては複雑なタイミング処理も不要となる。
【００６６】
また、常に処理タイミングを一定にすることにより、ライン毎の処理を連続して行うことができるので、撮像素子からの入力画像を１フレーム分蓄積する必要がなくこれにより必要なメモリ容量が削減できる。
【００６７】
なお、本発明は、本明細書に記載の実施の形態に限定されるものではなく、他の実施の形態や変形例を含むことは、本明細書に記載された実施の形態や技術的思想から本分野の当業者にとって明らかである。
【符号の説明】
【００６８】
１００  制御部
１０１  歪補正処理部
１０１ａ  歪処理部
１０１ｂ  撮像同期信号タイミング演算部
１０２  歪補正パラメータ生成部
１０３  ＬＵＴ生成部
１０４  ビデオメモリ
１１０  撮像ユニット
１２０  表示部
１３０  ユーザ操作部
１５０  同期信号生成回路
ＶＰ  仮想投影面
ＬＣ  レンズ中心面
ＩＡ  撮像素子面
Ｏ  レンズ中心
ｏ  光学中心
【図１】
2012077544.tif 000003
【図２】
2012077544.tif 000004
【図３】
2012077544.tif 000005
【図４】
2012077544.tif 000006
【図５】
2012077544.tif 000007
【図６】
2012077544.tif 000008
【図７】
2012077544.tif 000009
【図８】
2012077544.tif 000010
【図９】
2012077544.tif 000011
【図１０】
2012077544.tif 000012
【図１１】
2012077544.tif 000013
【図１２】
2012077544.tif 000014
【国際調査報告】
2012077544.tif 000015
2012077544.tif 000016