(57)【要約】【課題】広角画像の歪を高精度に補正することが可能な較正情報算出方法、較正情報算出装置、及び広角画像処理装置を提供する。【解決手段】広角画像処理装置１は、較正画像表示部１２０により表示された複数の較正パターンを有する較正画像を広角撮像部１１０により撮像する。そして、撮像された広角画像上の較正パターンが示す複数の格子点を検出し、検出された複数の格子点について、空間コード化法の原理を用いて、三次元空間上での位置を算出する。そして、複数の格子点の広角画像上での位置と、算出された三次元空間上での位置との幾何学的関係から広角画像の歪みを補正するための較正情報を算出する。また、算出された較正情報に基づいて、広角撮像部１１０が撮像した広角画像の歪補正を行う。【選択図】図１
2011101265.tif 000002
【特許請求の範囲】
【請求項１】
広角撮像部が撮像した広角画像の歪みを補正するための較正情報を算出する較正情報算出方法であって、
互いに所定の間隔で配列する複数の格子点を算出するための較正画像を前記広角撮像部を取り囲む表示部に表示させるとともに、前記広角撮像部によって前記較正画像を撮像させた広角画像を取得し、取得した前記広角画像と前記表示部に表示させた前記較正画像とに基づいて、前記複数の格子点の、三次元空間上での位置と前記広角画像上での位置とを対応付けて記憶手段に記憶する格子点検出ステップと、
前記格子点検出ステップにより検出された複数の格子点に基づいて複数の直線を抽出し、該複数の直線の交点に基づいて前記広角撮像部の光軸を検出する光軸検出ステップと、
前記光軸検出ステップにより検出された前記光軸と、前記記憶手段に記憶された前記複数の格子点の、三次元空間上での位置と、前記広角画像上での位置とに基づいて、前記較正情報を算出する較正情報算出ステップと、
を備えることを特徴とする較正情報算出方法。
【請求項２】
前記光軸検出ステップは、
前記格子点検出ステップにより検出された複数の格子点に基づいて複数の直線を抽出し、抽出された前記複数の直線と三次元空間において対応する複数の平面の交線に基づいて、前記広角撮像部の光軸を検出する、
ことを特徴とする請求項１に記載の較正情報算出方法。
【請求項３】
前記光軸検出ステップは、前記格子点検出ステップにより検出された複数の格子点に基づいて複数の直線を抽出し、該複数の直線の交点に基づいて前記広角画像の画像中心点を検出する画像中心検出ステップをさらに備え、
前記較正情報は、補正後の前記広角画像上での前記複数の格子点と前記画像中心検出ステップにより検出された画像中心点との距離を算出するための所定の情報を含む、
ことを特徴とする請求項１または２に記載の較正情報算出方法。
【請求項４】
互いに所定の間隔で配列する複数の格子点を算出するための較正画像を広角撮像部を取り囲む表示部に表示させるとともに、前記広角撮像部によって前記較正画像を撮像させた広角画像を取得し、取得した前記広角画像と前記表示部に表示させた前記較正画像とに基づいて、前記複数の格子点の、三次元空間上での位置と前記広角画像上での位置とを対応付けて記憶手段に記憶する格子点検出手段と、
前記格子点検出手段により検出された複数の格子点に基づいて複数の直線を抽出し、該複数の直線の交点に基づいて前記広角撮像部の光軸を検出する光軸検出手段と、
前記光軸検出手段により検出された前記光軸と、前記記憶手段に記憶された前記複数の格子点の、三次元空間上での位置と、前記広角画像上での位置とに基づいて、前記広角画像の歪みを補正するための較正情報を算出する較正情報算出手段と、
を備えることを特徴とする較正情報算出装置。
【請求項５】
互いに所定の間隔で配列する複数の格子点を算出するための較正画像を広角撮像部を取り囲む表示部に表示させるとともに、前記広角撮像部によって前記較正画像を撮像させた広角画像を取得し、取得した前記広角画像と前記表示部に表示させた前記較正画像とに基づいて、前記複数の格子点の、三次元空間上での位置と前記広角画像上での位置とを対応付けて記憶手段に記憶する格子点検出手段と、
前記格子点検出手段により検出された複数の格子点に基づいて複数の直線を抽出し、該複数の直線の交点に基づいて前記広角撮像部の光軸を検出する光軸検出手段と、
前記光軸検出手段により検出された前記光軸と、前記記憶手段に記憶された前記複数の格子点の、三次元空間上での位置と、前記広角画像上での位置とに基づいて、前記広角画像の歪みを補正するための較正情報を算出する較正情報算出手段と、
前記広角撮像部に撮像させた広角画像を、前記較正情報算出手段により算出された較正情報に基づいて補正する広角画像補正手段と、
を備えることを特徴とする広角画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広角撮像装置により撮像された広角画像の歪みを較正するための較正情報を算出する較正情報算出方法、較正情報算出装置、及びその方法により算出された較正情報に基づいて広角画像を補正する広角画像処理装置に関する。
【背景技術】
【０００２】
従来の広角画像表示装置として、広角画像を取得する広角撮像装置と、取得された広角画像の広角歪みを補正する画像処理装置と、補正された広角画像を表示する表示装置と、から構成されるものがある。この画像処理装置による広角歪みの補正方法として、広角撮像装置の仰角において等角度間隔となるように配置された複数のマーカーから構成されるパターンを撮像し、撮像された画像中のマーカーの位置に基づいて補正条件を取得し、その補正条件に基づいて、環状の広角画像をパノラマ画像へ展開するものがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３０８５２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載されているような広角撮像装置に用いられる広角レンズの実際の製品では、広角レンズに入射する光線が、従来の補正方法で仮定されているようにレンズ光軸と１点で交わらず、レンズ光軸との交点がレンズへの入射角に対して変化する。そのため、従来の広角画像表示装置では、広角撮像装置で取得された広角画像の広角歪みが正しく補正されないといった問題がある。
【０００５】
本発明はかかる問題点に鑑みてなされたものであって、広角画像の歪みを高精度に補正することが可能な較正情報算出方法、較正情報算出装置、及びその方法により算出された較正情報に基づいて広角画像を補正する広角画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点に係る較正情報算出方法は、
広角撮像部が撮像した広角画像の歪みを補正するための較正情報を算出する較正情報算出方法であって、
互いに所定の間隔で配列する複数の格子点を算出するための較正画像を前記広角撮像部を取り囲む表示部に表示させるとともに、前記広角撮像部によって前記較正画像を撮像させた広角画像を取得し、取得した前記広角画像と前記表示部に表示させた前記較正画像とに基づいて、前記複数の格子点の、三次元空間上での位置と前記広角画像上での位置とを対応付けて記憶手段に記憶する格子点検出ステップと、
前記格子点検出ステップにより検出された複数の格子点に基づいて複数の直線を抽出し、該複数の直線の交点に基づいて前記広角撮像部の光軸を検出する光軸検出ステップと、
前記光軸検出ステップにより検出された前記光軸と、前記記憶手段に記憶された前記複数の格子点の、三次元空間上での位置と、前記広角画像上での位置とに基づいて、前記較正情報を算出する較正情報算出ステップと、
を備えることを特徴とする。
【０００７】
上記目的を達成するため、本発明の第２の観点に係る較正情報算出装置は、
互いに所定の間隔で配列する複数の格子点を算出するための較正画像を広角撮像部を取り囲む表示部に表示させるとともに、前記広角撮像部によって前記較正画像を撮像させた広角画像を取得し、取得した前記広角画像と前記表示部に表示させた前記較正画像とに基づいて、前記複数の格子点の、三次元空間上での位置と前記広角画像上での位置とを対応付けて記憶手段に記憶する格子点検出手段と、
前記格子点検出手段により検出された複数の格子点に基づいて複数の直線を抽出し、該複数の直線の交点に基づいて前記広角撮像部の光軸を検出する光軸検出手段と、
前記光軸検出手段により検出された前記光軸と、前記記憶手段に記憶された前記複数の格子点の、三次元空間上での位置と、前記広角画像上での位置とに基づいて、前記広角画像の歪みを補正するための較正情報を算出する較正情報算出手段と、
を備えることを特徴とする。
【０００８】
上記目的を達成するため、本発明の第３の観点に係る広角画像処理装置は、
互いに所定の間隔で配列する複数の格子点を算出するための較正画像を広角撮像部を取り囲む表示部に表示させるとともに、前記広角撮像部によって前記較正画像を撮像させた広角画像を取得し、取得した前記広角画像と前記表示部に表示させた前記較正画像とに基づいて、前記複数の格子点の、三次元空間上での位置と前記広角画像上での位置とを対応付けて記憶手段に記憶する格子点検出手段と、
前記格子点検出手段により検出された複数の格子点に基づいて複数の直線を抽出し、該複数の直線の交点に基づいて前記広角撮像部の光軸を検出する光軸検出手段と、
前記光軸検出手段により検出された前記光軸と、前記記憶手段に記憶された前記複数の格子点の、三次元空間上での位置と、前記広角画像上での位置とに基づいて、前記広角画像の歪みを補正するための較正情報を算出する較正情報算出手段と、
前記広角撮像部に撮像させた広角画像を、前記較正情報算出手段により算出された較正情報に基づいて補正する広角画像補正手段と、
を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、広角画像の歪みを高精度に補正することが可能な較正情報算出方法、較正情報算出装置、及びその方法により算出された較正情報に基づいて広角画像を補正する広角画像処理装置を提供できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る広角画像表示装置の概略構成を示すブロック図である。
【図２】広角撮像部の一例を示す図である。
【図３】（ａ）は補正前、（ｂ）は補正後の広角画像の一例を示す図である。
【図４】較正画像表示部の一例を示す図である。
【図５】制御部の機能を示すブロック図である。
【図６】（ａ）〜（ｃ）は、較正画像の水平縞状パターンの例、（ｄ）〜（ｆ）は較正画像の垂直縞状パターンの例を示す図である。
【図７】座標変換を説明するための図である。
【図８】ｒとｒ’の関係式を導出するための図である。
【図９】本実施形態に係る広角画像処理装置が、広角画像を較正する動作を説明するためのフローチャートである。
【図１０】本実施形態に係る広角画像処理装置が、較正情報を取得する動作を説明するためのフローチャートである。
【図１１】（ａ）は水平縞状パターンを撮像した場合の入力画像の一例を示す図、（ｂ）は垂直縞状パターンを撮像した場合の入力画像の一例を示す図、（ｃ）は（ａ）及び（ｂ）から抽出される格子点を示す図、（ｄ）は三次元表示された格子点を示す図である。
【図１２】（ａ）及び（ｂ）は画像中心点の検出方法を説明するための図である。
【図１３】光軸の検出方法を説明するための図である。
【図１４】（ａ）及び（ｂ）は仰角と頂点の位置の算出方法を説明するための図である。
【図１５】較正情報ＤＢの一例を示す図である。
【図１６】本実施形態に係る広角画像処理装置が、広角画像を補正する動作を説明するためのフローチャートである。
【図１７】（ａ）及び（ｂ）は較正画像表示部の変形例を示す図である。
【発明を実施するための形態】
【００１１】
以下に本発明の実施形態を図を参照して説明する。図１は、本実施形態に係る広角画像処理装置１の概略構成を示すブロック図である。本実施形態に係る広角画像処理装置１は、図１に示すように、広角撮像部１１０と、較正画像表示部１２０と、広角画像表示部１３０と、操作部１４０と、制御部１５０と、から構成される。
【００１２】
広角撮像部１１０は、広角な視野の画像である広角画像を撮像するものである。広角撮像部１１０は、例えば図２に示すように、反射面１１３（曲面ミラー）を有する広角レンズ１１１と、ＣＣＤ（Charged Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の周知の撮像素子１１２とを含む。広角撮像部１１０は、広角レンズ１１１に入射する入射光を、曲面ミラー１１３による反射と入射面及び出射面における屈折とによって、撮像素子１１２の撮像面に投影する。撮像素子１１２は、撮像面に投影された画像を制御部１５０に出力する。また、後述する較正情報取得処理において、広角撮像部１１０は、例えば図４に示すように配置された較正画像表示部１２０の内側に配置され、較正画像表示部１２０に表示された較正画像を撮像する。
【００１３】
図３（ａ）に、広角撮像部１１０により撮像された広角画像の一例を示す。一般に、円錐形状等の曲面ミラーを有する広角レンズを利用して撮像された広角画像は、図３（ａ）に示す広角画像Ａ１のような環状である。また、像ａ１は、正方形の面を広角撮像装置１１０により撮像した像であり、正方形の各辺が広角レンズによる歪みにより曲線に変形している。また、図３（ｂ）に示す広角画像Ａ２は、後述する広角画像補正処理により補正された広角画像である。広角画像Ａ２中の像ａ２では、図３（ａ）に示す像ａ１の歪んだ正方形の各辺が、直線に補正されて表示される。以下、広角撮像部１１０により撮像された補正前の広角画像を「入力画像」、補正後の広角画像を「出力画像」と呼ぶ。
【００１４】
較正画像表示部１２０は、制御部１５０が出力する較正画像を表示するものである。較正画像表示部１２０は、図４に示すように、例えばＬＣＤ（Liquid Crystal Display）から構成される３つの平面ディスプレイ１２１（１２１ａ、１２１ｂ、１２１ｃ）が広角撮像部１１０を取り囲むように三角柱状に組み合わされて構成され、制御部１５０からの指示により、それぞれ個別に較正画像を表示する。較正画像については後述する。
【００１５】
広角画像表示部１３０は、制御部１５０が出力する出力画像を表示するものである。広角画像表示部１３０は、例えばＬＣＤ（Liquid Crystal Display）から構成され、制御部１５０からの指示により、出力画像を表示する。
【００１６】
操作部１４０は、ユーザの操作により、動作モード信号を制御部１５０に出力する。ここで、動作モード信号は、後述する広角画像較正処理において較正情報算出処理を実行するか、または広角画像補正処理を実行するかを判別するための信号であって、広角画像補正処理を実行する広角画像補正モード信号と、較正情報取得処理を実行する較正情報取得モード信号とを含む。
【００１７】
制御部１５０は、広角撮像部１１０が出力する入力画像に基づいて、広角歪みを補正するための較正情報を取得し、また取得された較正情報に基づいて入力画像を補正するものである。制御部１５０は、いわゆるマイクロコンピュータから構成され、図１に示すように、ＣＰＵ（Central Processing Unit）１５１と、ＲＯＭ（Read-Only Memory)１５２と、汎用メモリ１５３と、ビデオメモリ１５４と、外部デバイスインターフェイス（Ｉ／Ｆ）１５５と、較正情報ＤＢ（データベース）１５６とを備える。ＣＰＵ１５１は、ＲＯＭ１５２内に予め記憶された後述する広角画像較正処理のための所定プログラムを読み出し、実行する。そしてＣＰＵ１５１は、広角撮像部１１０から取得した入力画像、広角画像較正処理後の出力画像、及び演算結果等を汎用メモリ１５３に一時的に記憶する。また、ＣＰＵ１５１は、汎用メモリ１５３に記憶された出力画像をビデオメモリ１５４に転送し、広角画像表示部１３０に出力する。また、広角撮像部１１０、較正画像表示部１２０、広角画像表示部１３０、及び操作部１４０は、外部デバイスＩ／Ｆ１５５を介して、制御部１５０の各部と接続されている。
【００１８】
較正情報ＤＢ１５６は、ハードディスク等の書き換え可能な記憶装置から構成され、広角撮像部１１０が撮像した広角画像の歪みを補正するための較正情報を記憶する。較正情報については、後述する。
【００１９】
次に本実施形態の広角画像処理装置１の制御部１５０が機能する処理について説明する。制御部１５０は、図５に示すように、格子点検出部１５０ａと、画像中心検出部１５０ｂと、光軸検出部１５０ｃと、較正情報算出部１５０ｄと、広角画像補正部１５０ｅと、として機能する。
【００２０】
格子点検出部１５０ａは、較正画像表示部１２０の平面ディスプレイ１２１に表示させた較正画像を広角撮像部１１０によって撮像させた広角画像（入力画像）を取得し、入力画像と平面ディスプレイ１２１に表示させた較正画像とに基づいて、較正画像から算出される複数の格子点の、三次元空間上での位置と前記広角画像上での位置とを対応付けて、例えば汎用メモリ１５３といった記憶手段に記憶するものとして機能する。ここで、較正画像は、互いに所定の間隔で配列する複数の格子点を算出するための画像である。本実施形態では、格子点検出部１５０ａは、周知の三次元計測技術である空間コード化法の原理を用いて上記の処理を行う（参考文献１；井口正志，佐藤宏介，“３次元画像計測”，昭晃堂，（１９９０））。
【００２１】
具体的には、格子点検出部１５０ａは、複数のパターンを有する較正画像の各パターンについて広角撮像部１１０によって撮像させた広角画像を取得し、取得した複数のパターンの広角画像に基づいて複数の格子点を算出する。そして、算出された複数の格子点に対応する、平面ディスプレイ１２１に表示された較正画像の複数のパターンから算出される複数の格子点の３次元空間上における位置を算出する。図６（ａ）〜（ｆ）に較正画像の例を示す。図６に示すように、本実施形態における較正画像は、所定の明度よりも高い（例えば白い）明領域と所定の明度よりも低い（例えば黒い）暗領域とが垂直方向に交互に並べられる図６（ａ）〜（ｃ）に示すような水平縞状パターンと、明領域と暗領域とが水平方向に交互に並べられる図６（ｄ）〜（ｆ）に示すような垂直縞状パターンとから構成される。そして、図６（ａ）〜（ｃ）の水平縞状パターンと、図６（ｄ）〜（ｆ）の垂直縞状パターンにおいて、その明領域と暗領域は、そのピッチが倍々に変化するように配置される。格子点検出部１５０ａは、較正画像を平面ディスプレイ１２１に表示させる。そして、格子点検出部１５０ａは、周知の画像処理技術であるエッジ検出により、入力画像上の水平縞状パターンと垂直縞状パターンにおける明領域と暗領域の境界交点を格子点として検出する。そして、入力画像上での格子点の位置と、空間コード化法の原理を用いて求められた三次元空間上での格子点の位置とを対応付けて記憶する。
【００２２】
図５に戻って、画像中心検出部１５０ｂは、格子点検出部１５０ａにより検出された複数の格子点に基づいて複数の直線を抽出し、抽出された複数の直線の交点に基づいて、入力画像の画像中心点を検出するものとして機能する。本実施形態では、画像中心検出部１５０ｂは、周知のデジタル画像処理技術であるＨｏｕｇｈ変換により、３次元空間上において垂直方向に一直線上に並ぶ格子点の複数の集合から、各集合に対応する複数の直線を入力画像上から抽出する（参考文献２；“ディジタル画像処理”，ＣＧ−ＡＲＴＳ協会，（２００６））。そして、周知の交点検出方法である最小２乗法により、それらの直線の交点を入力画像の環状領域の中心点として検出する。
【００２３】
光軸検出部１５０ｃは、画像中心検出部１５０ｂにより抽出された複数の直線の交点に基づいて、広角撮像部１１０の光軸を検出するものとして機能する。具体的には、画像中心検出部１５０ｂにより抽出された複数の直線に対応するそれぞれの格子点の集合は、実際の３次元空間上において、平面ディスプレイ１２１に表示される較正画像と交差する平面上にある。これらの平面から、周知の最小二乗法により、１つの交線を光軸として算出する。このような手法を用いることにより、撮像素子面と光軸とが垂直に交わらない場合においても光軸を算出することができる。なお、撮像素子面と光軸とが垂直に交わることを前提とする場合には、画像中心検出部１５０ｂにおいて検出された画像中心点を通り、撮像素子面と垂直な直線を光軸として算出してもよい。
【００２４】
較正情報算出部１５０ｄは、光軸検出部１５０ｃにより検出された光軸と、格子点検出部１５０ａにより記憶された複数の格子点の、三次元空間上での位置と、入力画像上での位置と、に基づいて、較正情報を算出するものとして機能する。本実施形態では、較正情報算出部１５０ｄは、光軸検出部１５１ｃで検出された光軸と、入力画像上の画像中心点から所定の半径の円周上にある格子点の３次元空間上での座標とに基づいて、１つの円錐を抽出し、その円錐から較正情報として該所定の半径に対応する光線の入射角と円錐の頂点の位置を算出する。また、較正情報算出部１５０ｄは、算出された較正情報を該所定の半径と対応付けて較正情報ＤＢ１５６に記憶する。
【００２５】
広角画像補正部１５０ｅは、較正情報ＤＢ１５６に記憶された較正情報に基づいて、広角撮像部１１０から取得した入力画像を補正し、補正後の入力画像である出力画像を広角画像表示部１３０に出力するものとして機能する。
【００２６】
次に、制御部１５０のＣＰＵ１５１が実行する広角画像較正処理について説明する。
【００２７】
まず、本実施形態における制御部１５０のＣＰＵ１５１が実行する広角画像較正処理の概要について説明する。ＣＰＵ１５１が補正を行う対象は、広角撮像部１１０から取得した入力画像であり、この入力画像は、図７に示すようなＭ行Ｎ列の輝度値デジタルデータの配列である。なお、補正後の出力画像も、同様の形式であるとする。広角画像補正処理では、図７に示すように規定されたｘ−ｙ座標系における補正前の輝度値データＩ（ｘ、ｙ）を、後述する座標変換により算出された座標（ｘ’、ｙ’）に下記式で示すように置き換えて、補正後の輝度値データＩ’（ｘ、ｙ）を算出する。ここで、輝度値Ｉ及びＩ’は、０、１、…、Ｉｍａｘの値を取るものとする。
【数１】
2011101265.tif 000003
この置き換えを入力画像の全画素について実行する、すなわちｘ＝０，１，２，…，Ｎ−１、ｙ＝０，１，２，…，Ｍ−１について反復実行することで出力画像を取得することができる。
【００２８】
次に、具体的な座標変換方法について図７及び図８を用いて説明する。例えば、図７に示すように、入力画像上の画素ｂ１の輝度値が、座標変換後に画素ｂ２の輝度値に置き換えられる場合を考える。ここで、画素ｂ１及びｂ２の座標をそれぞれ（ｘ、ｙ）及び（ｘ’、ｙ’）とすると、それらの関係は下記式で与えられる。
【数２】
2011101265.tif 000004
ここで、ｒ、ｒ’、θは、それぞれ後述する広角画像較正処理において算出される画像中心ｃ（ｘ０、ｙ０）から画素ｂ１までの距離、画像中心ｃ（ｘ０、ｙ０）から画素ｂ２までの距離、画像中心ｃ（ｘ０、ｙ０）から画素ｂ１又はｂ２へ引いた線分とｘ軸との成す角度（反時計回りを正方向とする）である。また、変換関数ｆは、ｒとｒ’の関係を表す関数であり、以下に具体的な算出方法を説明する。
図８に示すように、広角撮像部１１０が、基準面ｄからｚｈの高さに設置されたとする。基準面ｄ上の点Ｂの像が広角画像上で画素ｂ１に対応し、点Ｂと広角撮像部１１０の光軸との距離がＲである場合、ｒとｒ’の関係は下記式で表される。
【数３】
2011101265.tif 000005
ここで、α（ｒ）とｚ０（ｒ）は、それぞれ、広角撮像部１１０に対して入射する光線の角度と、広角撮像部１１０の基準点からの高さのオフセット値であり、後述する較正情報取得処理によってｒと一対一に対応する値が算出され、較正情報ＤＢ１５６に記憶される。また、ｋは、長さの単位変換を行う定数である。従って、広角画像較正処理において、較正情報取得処理では、較正情報ＤＢ１５６の仰角α（ｒ）と高さのオフセット値ｚ０（ｒ）とを算出し、広角画像補正処理では、較正情報取得処理で算出されたα（ｒ）とｚ０（ｒ）に基づいて上記の式からＩ’（ｘ、ｙ）を算出し、歪補正を実行する。
【００２９】
次に、本実施形態における制御部１５１の広角画像較正処理のフローチャートの一例を図９を用いて説明する。広角画像較正処理は、例えばユーザが広角画像処理装置１の電源をオンする等の操作により、制御部１５０のＣＰＵ１５１に電源供給されることにより開始する。
【００３０】
制御部１５０は、操作部１４０から動作モード信号を受信したか否かを判別する（ステップＳ１１）。制御部１５０は、動作モード信号を受信していないと判別した場合（ステップＳ１１；Ｎｏ）、動作モード信号を受信するまで、待ち状態となる。
【００３１】
制御部１５０は、動作モード信号を受信したと判別した場合（ステップＳ１１；Ｙｅｓ）、受信した動作モード信号が、較正情報取得モード信号か否かを判別する（ステップＳ１２）。
【００３２】
制御部１５０は、受信した動作モード信号が較正情報取得モード信号であると判別した場合（ステップＳ１２；Ｙｅｓ）、較正情報取得処理を実行する（ステップＳ１３）。また、制御部１５０は、受信した動作モード信号が較正情報取得モードを示す信号ではない、すなわち広角画像補正モード信号であると判別した場合（ステップＳ１２；Ｎｏ）、広角画像補正処理を実行する（ステップＳ１４）。
【００３３】
次に、制御部１５０のＣＰＵ１５１が実行する較正情報取得処理について図１０を用いて説明する。
【００３４】
格子点検出部１５０ａは、較正画像表示部１２０の平面ディスプレイ１２１に、較正画像である複数の水平縞状パターンを表示させ、各パターンについて広角撮像部１１０により撮像する（ステップＳ２１）。具体的には、例えば、格子点検出部１５０ａは、図６（ａ）〜（ｃ）に示すような水平縞状パターンを順に各平面ディスプレイ１２１に表示する。そして、各パターンについて広角撮像部１１０により撮像し、汎用メモリ１５３に記憶する。図１１（ａ）に、広角撮像部１１０により撮像された水平縞状パターンの入力画像の一例を示す。図１１（ａ）に示す入力画像ｅ１は、図６（ｂ）のように１枚の平面ディスプレイ１２１に表示された水平縞状パターンを撮像した場合の入力画像である。図に示すように、入力画像ｅ１において、水平縞状パターンの明領域と暗領域は同心円上に交互に並んで位置する。
【００３５】
格子点検出部１５０ａは、較正画像表示部１２０の平面ディスプレイ１２１に、較正画像である複数の垂直縞状パターンを表示させ、各パターンについて広角撮像部１１０により撮像する（ステップＳ２２）。具体的には、例えば、格子点検出部１５０ａは、図６（ｄ）〜（ｆ）に示すような垂直縞状パターンを順に各平面ディスプレイ１２１に表示する。そして、各パターンについて広角撮像部１１０により撮像し、汎用メモリ１５３に記憶する。図１１（ｂ）に、広角撮像部１１０により撮像された垂直縞状パターンの入力画像の一例を示す。図１１（ｂ）に示す入力画像ｅ２は、図６（ｅ）のように１枚の平面ディスプレイ１２１に表示された垂直縞状パターンを撮像した場合の入力画像である。図に示すように、入力画像ｅ２において、垂直縞状パターンの明領域と暗領域は円周方向に交互に並んで位置する。
【００３６】
次に格子点検出部１５０ａは、周知の画像技術処理であるエッジ検出により、撮像された複数の入力画像の水平縞状パターン像と垂直縞状パターン像における明領域と暗領域の境界交点を格子点として、入力画像上の格子点の座標を算出する（ステップＳ２３）。例えば、図１１（ａ）に示す水平縞状パターンの入力画像ｅ１と、図１１（ｂ）に示す垂直縞状パターンの入力画像ｅ２を取得した場合、図１１（ｃ）に示す複数の格子点ｇの座標を算出する。
【００３７】
そして格子点検出部１５０ａは、周知の三次元計測技術である空間コード化法の原理を用いて、ステップＳ２３で算出された入力画像上の格子点の３次元空間上での座標を算出し、各格子点について入力画像上の座標と３次元空間上の座標とを対応付けて記憶する（ステップＳ２４）。図１１（ｄ）に、実験例として、格子点をステップＳ２４で算出された三次元空間上での座標に基づいて三次元表示した図を示す。図１１（ｄ）における十字は、抽出された格子点を示す。
【００３８】
次に画像中心検出部１５０ｂは、ステップＳ２３で算出された入力画像上の格子点に基づいて、入力画像中心点ｃの座標を算出する（ステップＳ２５）。例えば、図１２（ａ）に示すような格子点が算出された場合、Ｈｏｕｇｈ変換により、３次元空間において垂直方向に一直線上に並ぶ格子点の複数の集合から、入力画像上において一直線上に位置する２つの集合ｈ１、ｈ２を抽出する。そして、集合ｈ１、ｈ２の格子点を通る直線ｈを抽出する。同様にして、２つの集合ｌ１、ｌ２と、集合ｌ１、ｌ２の格子点を通る直線ｌを抽出する。そして、直線ｈと直線ｌから、例えば最小二乗法により直線ｈと直線ｌの交点を入力画像の中心点ｃとしてその座標（ｘ０、ｙ０）を求める。画像中心検出部１５０ｂは、算出された画像中心点ｃの座標を較正情報ＤＢ１５６に記憶する。なお、図１２（ｂ）に入力画像から画像中心点を検出する実験例を表す図を示す。図１２（ｂ）における十字は、入力画像上において抽出された格子点を示す。図１２（ｂ）では、３本の直線が抽出され、それらの交点から画像中心点が検出されることがわかる。
【００３９】
次に、光軸検出部１５０ｃは、ステップＳ２５で抽出された直線上にある格子点の集合から、光軸Ｏを算出する（ステップＳ２６）。具体的には、図１２（ａ）及び図１３に示すように、ステップＳ２５で抽出された直線ｈ、ｌに対応する格子点の集合は、実際の３次元空間上において、較正画像と交差する平面Ｈ及びＬ上にある。これらの平面から最小二乗法により１つの交線を光軸Ｏとして算出する。
【００４０】
次に、較正情報算出部１５０ｄは、較正情報を算出する。具体的には、例えば図１４（ａ）に示すような入力画像、及びその格子点の座標を算出した場合について説明する。較正情報算出部１５０ｄは、ｒ＝ｒｍｉｎ、…、ｒｍａｘにおいて、以下の処理を繰り返す。なお、ｒは画像中心点ｃから所定の画素までの距離を表し、ｒｍｉｎ及びｒｍａｘは、それぞれ入力画像の環状領域において、歪補正の対象となる最小半径と最大半径である。
【００４１】
まず、較正情報算出部１５０ｄは、入力画像上の半径ｒ（ｒｍｉｎ≦ｒ≦ｒｍａｘ）の円周上に位置する格子点を抽出する（ステップＳ２７）。具体的には、図１４（ａ）に示すように、入力画像上の半径ｒの円ｐについて、円ｐの円周上に位置する格子点を抽出する。
【００４２】
そして、較正情報算出部１５０ｄは、ステップＳ２７において抽出された格子点に対応する３次元空間上での格子点を周面上に含む円錐を抽出する（ステップＳ２８）。具体的には、入力画像上の半径ｒの円ｐの円周は、３次元空間において図１４（ｂ）に示す３つの放物線Ｐ１〜Ｐ３に対応する。そして、入力画像上の半径ｒの円ｐの円周上にある格子点は、３次元空間における放物線Ｐ１〜Ｐ３上にある格子点に対応する。従って、放物線Ｐ１〜Ｐ３が較正画像との交線に対応する１つの仮想的な円錐Ｑが抽出される。
【００４３】
そして、較正情報算出部１５０ｄは、ステップＳ２３で算出された入力画像上の半径ｒの円周上にある格子点の座標に基づいて、周知の幾何学解析により、ステップＳ２８で抽出された円錐Ｑの頂角、すなわち、図１４（ｂ）に示す頂点Ｑ０から見た仰角α（ｒ）と頂点の位置ｚ０（ｒ）を算出する（ステップＳ２９）。較正情報算出部１５０ｄは、算出したα（ｒ）とｚ０（ｒ）を半径ｒと対応付けて較正情報ＤＢ１５６に記憶する。図１５に較正情報ＤＢの一例を示す。そして、この処理をｒ＝ｒｍｉｎ、…、ｒｍａｘにおいて繰り返して、較正情報取得処理を終了し、図９のステップＳ１１に進む。
【００４４】
次に制御部１５０のＣＰＵ１５１が実行する広角画像補正処理について図１６を用いて説明する。
【００４５】
広角画像補正部１５０ｅは、広角撮像部１１０により広角画像を撮像する（ステップＳ３１）。
【００４６】
次に、広角画像補正部１５０ｅは、受信した広角画像（入力画像）の全ての画素について以下の処理を行う。一例として、入力画像は、図７に示すように、Ｍ行Ｎ列の輝度値デジタルデータの行列である場合について説明する。
【００４７】
広角画像補正部１５０ｅは、入力画像上の座標（ｘ、ｙ）＝（ｉ、ｊ）に位置する画素について、式（５）と較正情報ＤＢ１５６に記憶された入力画像の中心点座標（ｘ０、ｙ０）を用いて（ｒ、θ）を算出することにより、座標変換を行う（ステップＳ３２）。ここで、０≦ｉ≦Ｎ−１、０≦ｊ≦Ｍ−１である。
【００４８】
次に、広角画像補正部１５０ｅは、ステップＳ３２で算出されたｒに対応するα（ｒ）とｚ０（ｒ）を較正情報ＤＢ１５６から取得し、ｒと入力画像の中心点座標（ｘ０、ｙ０）と、取得されたα（ｒ）とｚ０（ｒ）を式（６）に代入することにより、ｒ’を算出する（ステップＳ３３）。
【００４９】
そして、広角画像補正部１５０ｅは、ステップＳ３３で算出されたｒ’から式（２）及び式（３）を用いて（ｘ’、ｙ’）を算出する（ステップＳ３４）。
【００５０】
そして制御部１５０は、（ｘ’、ｙ’）の輝度値Ｉに（ｘ、ｙ）の輝度値を置き換えて記憶する（ステップＳ３５）。
【００５１】
以上の処理をｉ＝０，１，２，…，Ｎ−１、ｊ＝０，１，２，…，Ｍ−１について反復実行することで、入力画像中の全ての画素について行う。そして、求められた出力画像をビデオメモリ１５４に出力し、ビデオメモリ１５４から広角画像表示部１３０に出力する。なおステップＳ３３〜Ｓ３５において、ｒｍｉｎ≦ｒ≦ｒｍａｘの範囲にない半径ｒのように、較正情報ＤＢ１５６に較正情報が記憶されていない半径ｒについては、広角撮像部１１０からの入力画像の画像情報が無いものとしてステップＳ３３〜Ｓ３５の処理を無視してもよい。具体的には、ステップＳ３３〜Ｓ３５において、ｒｍｉｎ≦ｒ≦ｒｍａｘの範囲にある半径ｒについてのみ処理を行い、処理が行われなかった画素については画素値を０として出力画像を求めてもよい。
【００５２】
制御部１５０のＣＰＵ１５１は、以上の広角画像較正処理を例えばユーザの操作により広角画像処理装置１の電源がオフになるまで繰り返す。
【００５３】
以上のように、本実施形態に係る広角画像処理装置１は、較正画像表示部１２０の平面ディスプレイ１２１に表示された較正画像を撮像した広角画像に基づいて、較正情報を取得する。このように、立体的に構成された複数の平面ディスプレイ１２１で、多くの較正画像を表示可能なので、高精度に、かつ、短時間で格子点の計測行うことができる。従って、高精度に、かつ、短時間で較正情報を取得することができる。
【００５４】
また、広角撮像部１１０の広角レンズに入射する光線がレンズ光軸と１点で交わらなくても、高精度に較正情報を取得することができる。
【００５５】
なお、本発明は、上記の実施形態に限定されず、種々の変形及び応用が可能である。例えば、上記の実施形態において、広角撮像部１１０の一例として、ミラー反射型の広角撮像装置を用いたが、魚眼レンズを利用した広角撮像装置でもよい。
【００５６】
また、上記の実施形態では３枚の平面ディスプレイ１２１ａ〜１２１ｃを三角柱状に構成したが、さらに多くの平面ディスプレイを用いてもよい。例えば、平面ディスプレイの配置として、図１７（ａ）に示すように多角柱状に構成してもよい。また、図１７（ｂ）に示すように多面体を構成するようにしてもよい。このように、多くの平面ディスプレイを用いることで、較正画像の格子点と広角撮像素子の間の距離におけるばらつきが小さくなり、さらにカメラの視野のより広い範囲に格子点を配置できるため、より高精度に較正を行うことができる。
【００５７】
また、本実施形態では、広角画像処理装置１は広角画像較正処理として、較正情報取得処理及び広角画像補正処理の両方を実行するが、各処理は異なる装置において行われてもよい。例えば、広角画像処理装置が較正情報取得処理を行い、広角撮像装置が広角画像補正処理を行ってもよい。この場合、広角画像処理装置は、その広角撮像装置について広角画像較正処理を行い、その結果取得された較正情報を、広角撮像装置が備える記憶部に記憶する。そして、広角撮像装置は、記憶部に記憶された較正情報に基づいて、広角画像補正処理により撮像した広角画像を補正する。以上のように構成することで、コンパクトな構成で高精度の画像補正が可能な広角撮像装置を提供することができる。
【符号の説明】
【００５８】
１        広角画像処理装置
１１０    広角撮像部
１２０    較正画像表示部
１２１（１２１ａ〜１２１ｃ）  平面ディスプレイ
１３０    広角画像表示部
１４０    操作部
１５０    制御部
１５０ａ  格子点検出部
１５０ｂ  画像中心検出部
１５０ｃ  光軸検出部
１５０ｄ  較正情報算出部
１５０ｅ  広角画像補正部
１５１    ＣＰＵ
１５２    ＲＯＭ
１５３    汎用メモリ
１５４    ビデオメモリ
１５５    外部デバイスＩ／Ｆ
１５６    較正情報ＤＢ
【図１】
2011101265.tif 000006
【図２】
2011101265.tif 000007
【図３】
2011101265.tif 000008
【図４】
2011101265.tif 000009
【図５】
2011101265.tif 000010
【図６】
2011101265.tif 000011
【図７】
2011101265.tif 000012
【図８】
2011101265.tif 000013
【図９】
2011101265.tif 000014
【図１０】
2011101265.tif 000015
【図１１】
2011101265.tif 000016
【図１２】
2011101265.tif 000017
【図１３】
2011101265.tif 000018
【図１４】
2011101265.tif 000019
【図１５】
2011101265.tif 000020
【図１６】
2011101265.tif 000021
【図１７】
2011101265.tif 000022