(57)【要約】【課題】  広角画像の画像中心を高精度に算出できる広角画像表示システムを提供する。【解決手段】  撮像ステップでは、広角レンズを有する撮像手段により校正用チャートを撮影し画像データを取得する。校正用チャート領域検出ステップでは、画像上における校正用チャートの領域を検出する。円形ドット検出ステップでは、撮像した校正用チャート上の円形ドット領域の中心点を求める。対応付けステップでは、画像上の画素と校正用チャート上の点を対応付ける。直線フィッティングステップでは、校正用チャート上で直線上に並ぶ点群に対しフィッティングした場合に誤差が閾値以下となる複数の直線を選択する。画像中心算出ステップでは、選択された複数の直線の交点を全方位画像の画像中心とする。撮像ステップでは、撮像手段により撮像することにより画像データを取得する。歪補正ステップでは、校正処理によって算出した画像中心を基に歪を補正する。表示ステップでは、歪補正した画像を表示する。【選択図】図１２
2010102423.tif 000002
【特許請求の範囲】
【請求項１】
広角レンズを有する撮像手段により校正用チャートを撮影し画像データを取得する撮像ステップと、画像上における校正用チャートの領域を検出する校正用チャート領域検出ステップと、撮像した校正用チャート上の円形ドット領域の中心点を求める円形ドット検出ステップと、画像上の画素と校正用チャート上の点を対応付ける対応付けステップと、校正用チャート上で直線上に並ぶ点群に対しフィッティングした場合に誤差が閾値以下となる複数の直線を選択する直線フィッティングステップと、選択された複数の直線の交点を全方位画像の画像中心とする画像中心算出ステップと、からなる校正処理と、
前記撮像手段により撮像することにより画像データを取得する撮像ステップと、前記校正処理によって算出した画像中心を基に歪を補正する歪補正ステップと、歪補正した画像を表示する表示ステップと、からなる表示処理と、を有することを特徴とする広角画像表示方法。
【請求項２】
前記撮像ステップにおいて、前記校正用チャートは、規則的に配置されたパタンが印刷された平面であることを特徴とする請求項１に記載の広角画像表示方法。
【請求項３】
前記撮像ステップにおいて、前記校正用チャートは、規則的に配置されたパタンが表示された平面ディスプレイであることを特徴とする請求項１に記載の広角画像表示方法。
【請求項４】
広角レンズを有する撮像手段により校正用チャートを撮影し画像データを取得する撮像ステップと、画像上における校正用チャートの領域を検出する校正用チャート領域検出ステップと、撮像した校正用チャート上の円形ドット領域の中心点を求める円形ドット検出ステップと、画像上の画素と校正用チャート上の点を対応付ける対応付けステップと、校正用チャート上で直線上に並ぶ点群に対しフィッティングした場合に誤差が閾値以下となる複数の直線を選択する直線フィッティングステップと、選択された複数の直線の交点を全方位画像の画像中心とする画像中心算出ステップと、を有する校正モードと、
前記撮像手段により撮像することにより画像データを取得する撮像ステップと、前記校正モードにて算出した画像中心を基に歪を補正する歪補正ステップと、歪補正した画像を表示する表示ステップと、を有する表示モードと、を備えたことを特徴とする広角画像表示システム。
【請求項５】
前記撮像ステップにおいて、前記校正用チャートは、規則的に配置されたパタンが印刷された平面であることを特徴とする請求項４に記載の広角画像表示システム。
【請求項６】
前記撮像ステップにおいて、前記校正用チャートは、規則的に配置されたパタンが表示された平面ディスプレイであることを特徴とする請求項４に記載の広角画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広角画像表示方法及び広角画像表示システムに関し、特に校正用チャートを利用した広角画像表示方法及び広角画像表示システムに関するものである。
【背景技術】
【０００２】
従来、広角画像表示システムは、広角撮像装置と、画像処理装置と、表示装置とからなり、広角撮像装置より画像を取得し、円形の広角画像における画像中心を画像処理装置によって算出し、更に、画像中心座標に基づいて歪み補正を行い、表示装置によって表示する。画像中心の算出方法としては、広角撮像装置に印刷されたマーカーに基づく方法がある（特許文献１，特許文献２）。
【０００３】
また、円形領域の画素値のヒストグラムを利用する方法がある（特許文献３，特許文献４）。また、円形領域の輪郭情報に基づく方法がある（特許文献５）。
更に、広角撮像装置として、ガラスや樹脂等の透明な材料を成型し、一部にアルミ等の金属を蒸着させた反射面を有する広角レンズを利用したものが知られている（特許文献６）。
【特許文献１】特開２００３−３０４５３２号公報
【特許文献２】特開２００３−３０３３３５号公報
【特許文献３】特開２００３−３０３３４８号公報
【特許文献４】特開２００３−３０３３４７号公報
【特許文献５】特開２００３−３０３３４２号公報
【特許文献６】特開２００５−１０９７８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、広角撮像装置の広角レンズに印刷されたマーカーに基づいて中心位置を算出する方法は、広角撮像装置の製造においてレンズ曲面にマーカーを高精度に印刷する工程が必要であり、製造上のコストが大きくなるという問題がある。
また、画素値のヒストグラムに基づいて画像中心位置を検出する方法と、円形領域の輪郭情報に基づく方法は、算出座標が画像のノイズの影響を受けやすいという問題がある。また、画像上の領域には、製造上で生ずる欠陥のため、完全な円形にはならず、これらの方法の前提条件は成立しない場合が多い。
本発明は、これらの問題に鑑みなされたものであり、広角画像の画像中心を高精度に算出できる広角画像表示方法を提供するものである。
【課題を解決するための手段】
【０００５】
本発明は、請求項１に記載したように、広角レンズを有する撮像手段により校正用チャートを撮影し画像データを取得する撮像ステップと、画像上における校正用チャートの領域を検出する校正用チャート領域検出ステップと、撮像した校正用チャート上の円形ドット領域の中心点を求める円形ドット検出ステップと、画像上の画素と校正用チャート上の点を対応付ける対応付けステップと、校正用チャート上で直線上に並ぶ点群に対しフィッティングした場合に誤差が閾値以下となる複数の直線を選択する直線フィッティングステップと、選択された複数の直線の交点を全方位画像の画像中心とする画像中心算出ステップと、からなる校正処理と、前記撮像手段により撮像することにより画像データを取得する撮像ステップと、前記校正処理によって算出した画像中心を基に歪を補正する歪補正ステップと、歪補正した画像を表示する表示ステップと、からなる表示処理と、を有するものである。
【０００６】
また、本発明は、請求項２に記載したように、前記撮像ステップにおいて、前記校正用チャートは、規則的に配置されたパタンが印刷された平面であるものである。
【０００７】
また、本発明は、請求項３に記載したように、前記撮像ステップにおいて、前記校正用チャートは、規則的に配置されたパタンが表示された平面ディスプレイであるものである。
【０００８】
また、本発明は、請求項４に記載したように、広角レンズを有する撮像手段により校正用チャートを撮影し画像データを取得する撮像ステップと、画像上における校正用チャートの領域を検出する校正用チャート領域検出ステップと、撮像した校正用チャート上の円形ドット領域の中心点を求める円形ドット検出ステップと、画像上の画素と校正用チャート上の点を対応付ける対応付けステップと、校正用チャート上で直線上に並ぶ点群に対しフィッティングした場合に誤差が閾値以下となる複数の直線を選択する直線フィッティングステップと、選択された複数の直線の交点を全方位画像の画像中心とする画像中心算出ステップと、を有する校正モードと、前記撮像手段により撮像することにより画像データを取得する撮像ステップと、前記校正モードにて算出した画像中心を基に歪を補正する歪補正ステップと、歪補正した画像を表示する表示ステップと、を有する表示モードと、を備えたものである。
【０００９】
また、本発明は、請求項５に記載したように、前記撮像ステップにおいて、前記校正用チャートは、規則的に配置されたパタンが印刷された平面であるものである。
【００１０】
また、本発明は、請求項６に記載したように、前記撮像ステップにおいて、前記校正用チャートは、規則的に配置されたパタンが表示された平面ディスプレイであるものである。
【発明の効果】
【００１１】
高精度で画像中心を算出することが可能になり、歪みの小さい画像を表示させることができる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面に基づいて、本発明の一実施形態を説明する。広角画像表示システムは、広角撮像装置１と、画像処理装置２と、表示装置３と、制御装置４と、から構成される（図１参照）。図２に示すように、広角画像表示システムは、動作モードの判定を行い（ステップＳ１）、表示モードまたは校正モードに対応して、表示処理（ステップＳ２）または校正処理（ステップＳ３）を行い、これらを反復するように動作する。
【００１３】
図３に示すように、表示処理Ｓ２では、広角撮像装置１によって撮像した画像データを取得し（ステップＳ４）、取得した画像に対し画像処理装置２によって歪補正を行い（ステップＳ５，Ｓ６）、表示装置３によって歪補正を行った画像を表示させる（ステップＳ７）。
【００１４】
広角撮像装置１は、曲面ミラーを有する広角レンズ１ａと、ＣＣＤやＣＭＯＳ等からなる撮像素子１ｂとを備えている（図４参照）。広角撮像装置１は、広角レンズ１ａに入射する光を曲面ミラーによる反射と入射面と出射面による屈折によって、撮像素子１ｂの撮像面に投影し、撮像素子１ｂは、撮像した画像データを出力する。
【００１５】
曲面ミラーを有する広角レンズ１ａを利用した広角撮像装置１では、撮像画像５は一般に符号５ａで示すような円形となる（図５参照）。符号５ｂは、広角撮像装置１で正方形の面を撮影した場合の像であり、正方形の像は各辺が広角レンズ１ａによる歪により曲線に変形した像となる。
撮像画像５の歪を補正した歪補正画像６における補正正方形像６ａは、画像処理した結果、歪の無い正方形に変換される（図６参照）。
【００１６】
図７は、画像処理装置２の構成を示すブロック図である。画像処理装置２は、広角撮像装置１から出力される広角画像を入力し、この広角画像に対して歪補正を行い、広角歪が補正された画像に変換する。画像処理装置２は、所謂マイクロコンピュータからなるものであり、ＣＰＵ２ａ，ＲＯＭ２ｂ，汎用メモリ２ｃ，ビデオメモリ２ｄ及び外部デバイスＩ／Ｆ２ｅを有している。
【００１７】
ＣＰＵ２ａは、ＲＯＭ２ｂ内に予め記憶された所定プログラムを読み出して実行し、広角撮像装置１からの入力画像，処理画像及び演算結果等を汎用メモリ２ｃに一時的に記憶させ、表示装置３で表示させるための処理画像をビデオメモリ２ｄに記憶させるものである。また、広角撮像装置１，表示装置３及び制御装置４は、外部デバイスＩ／Ｆ２ｅを介して画像処理装置２の各部に接続されている。
【００１８】
図８は、歪補正処理のフローチャートである。画像処理装置２は、入力画像における全ての画素について、以下の処理を行う。入力画像は、左上隅を原点とするＭ行Ｎ列の輝度値デジタルデータの並びであり、歪補正画像も同じ形式である。入力画像上の座標（ｘ，ｙ）を、後述する座標変換により、（ｘ’，ｙ’）を算出する（ステップＳ１０）。次に、式１で示すように、画素値を置き換える（ステップＳ１１）。
【数１】
2010102423.tif 000003
【００１９】
ここで、Ｉ（ｘ，ｙ）とＩ’（ｘ，ｙ）は、夫々、入力画像と歪補正画像の座標（ｘ、ｙ）における画素の画素値であり、０，１，２・・・Ｉｍａｘの値をとるものとする。これらをｘ＝０，１，２・・・Ｎ−１、ｙ＝０，１，２・・・Ｍ−１について反復実行する。
【００２０】
図９において、入力画像７の画素７ａは、座標変換により、画素７ｂに移される。注目画素７ａと７ｂの座標を、それぞれ、（ｘ，ｙ）と（ｘ’，ｙ’）とすると、それらの関係は式２〜式５のようになる。
【数２】
2010102423.tif 000004
【数３】
2010102423.tif 000005
【数４】
2010102423.tif 000006
【数５】
2010102423.tif 000007
【００２１】
ここで、ｒは、後述する校正処理によって算出される画像中心（ｘ０，ｙ０）から注目画素への距離であり、ｒ’は、ｒに後述の変換ｆを行った後の距離であり、θは、画像中心７ｃから注目点へ引いた線分がｘ軸となす角度（反時計回りを正方向とする）である。
【００２２】
図１０は、変換ｆの一例を示す説明図である。図１０において、表の左側と右側は、それそれ、変換前の値と、変換後の値である。例えば、ｒ＝２は、変換後、ｒ’＝１．９８という値となる。
【００２３】
図１１は、キャリブレーションチャート８の模式図である。キャリブレーションチャート８は、正方形の平板上に格子状に円形ドット８ａを配置した図を印刷したものである。中心円形ドットと８ｂと、基準頂点円形ドット８ｃは、他の円形ドットと識別できるように、異なる色で印刷する。
【００２４】
図１２は、校正処理Ｓ３を示すフローチャートであり、図１３及び図１４は、校正処理Ｓ３を説明する模式図である。
撮像ステップＳ１４において、広角撮像装置１によりキャリブレーションチャート８を撮影した画像を取得する。チャート領域検出ステップＳ１５において、画像上の校正用チャート領域を検出する。ステップＳ１６では、検出したチャート領域の面積と周囲長の比を算出し、その比が閾値ＴＲより小さい場合は処理を終了し、閾値ＴＲより大きい場合、円形ドット検出ステップＳ１７に進む。
【００２５】
円形ドット検出ステップＳ１７において、画像上の円形ドットの中心座標を算出する。ステップＳ１８において、点数が規定の個数か判断し、規定個数でない場合は処理を終了し、規定個数である場合は円形ドット対応付けステップＳ１９に進む。円形ドット対応付けステップＳ１９において、検出した中心座標とキャリブレーションチャート８中の各円形ドットとを対応付ける。
【００２６】
直線フィッティングステップＳ２０において、キャリブレーションチャート８上で中心座標が同一直線上にある円形ドットのグループについて、グループ中の各要素に対応する円形ドットの中心座標に対して、直線のフィッティングを行う。フィッティング方法としては、最小二乗法を始めとする周知のアルゴリズムを適用し、最もフィッティング誤差の小さい順に２つのドットのグループを選択する。最後に、各グループに対応する直線の交点を、周知の幾何学的解法により算出する（ステップＳ２１）。算出した交点が、求める画像中心となる。
【００２７】
次に、図１５に基づいて、チャート領域検出ステップＳ１５について詳述する。チャート領域検出ステップＳ１５は、最初に、入力画像を輝度値によって２値化する（ステップＳ２２）。２値化は、周知の技術である閾値処理によって行うことができ、与えられた閾値、例えばＩｍａｘ／２以下の画素値とＩｍａｘ／２より大きい画素値を、夫々、０とＩｍａｘの画素値を割り当てる。以降、画素値が０またはＩｍａｘの領域を、それぞれ、暗領域と明領域と称する。次に、２値化された画像における明領域の面積（画素数）を算出し、それが予め与えた閾値ＴＳ、例えば、Ｍ×Ｎ／４より大きな領域を検出する（ステップＳ２３）。画像上のチャート領域が画面の１／４以上の大きさになるように撮像されていれば、検出された領域がチャート領域である。
【００２８】
次に、図１６に基づいて、円形ドット検出ステップＳ１７について詳述する。円形ドット検出ステップＳ１７は、最初に、チャート領域内のドット領域を、周知の技術であるラベリング処理によって、個々のドット領域を識別する。また、図１１で示されているように、チャート中心８ｂと基準頂点８ｃは、他の円形ドットと色が異なるため、色によるそれらの検出も同時に行う（ステップＳ２４）。ここでは、検出された全ての円形ドットの数をＫ個とする。Ｋ個の円形ドット領域について、それぞれ、周知の技術である２値画像における重心座標の算出を行う（ステップＳ２５）。算出された夫々の重心を、検出された中心座標とする。
【００２９】
次に、図１７及び図１８に基づいて、円形ドット対応付けステップＳ１９について詳述する。
円形ドッド対応付けステップＳ１９は、最初に、未対応付け点リストを、円形ドット検出ステップＳ１７で検出した全ての中心点となるように初期化する（ステップＳ２７）。図１８に示すように、円形ドットはチャート中心を共通の中心とする複数の正方形の辺上に配置する。以下、これらを同心正方形と称する。図１８の場合、同心正方形の数は３である。また、同心正方形の数Ｌだけ、以下の処理を反復実行する。
【００３０】
先ず、最も外側の点列（図１８の場合、同心正方形８ｄ上の点）の対応付けを、後述する外側同心正方形対応付け処理によって行う（ステップＳ２８）。次に、未対応付け点リストから、外側同心正方形対応付け処理Ｓ２８によって対応付けされた点列を除くことによって、未対応付け点リストを更新する（ステップＳ２９）。これらの反復実行により、全ての中心点をチャート上の円形ドットに対応付ける。
【００３１】
図１９は、外側同心正方形対応付け処理Ｓ２８の処理内容を示すフローチャートである。外側同心正方形対応付け処理Ｓ２８において、最初に、同心正方形リストを空に初期化する（ステップＳ３１）。次に、チャート領域を示す２値画像を、一時作業領域にコピーして、チャート領域画像を周知の２値画像処理技術である輪郭線抽出を行う（ステップＳ３２）。ステップＳ３３では、ドット領域が検出されたか判断する。そして、輪郭線上に、円形ドット領域に属する画素が検出された場合、その円形ドットの中心を同心正方形リストに追加する（ステップＳ３４，Ｓ３５）。次に、チャート領域から前記輪郭線を消去する（ステップＳ３６）。これらのステップＳ３２〜Ｓ３６を外側のドット領域が全て見つかるまで反復実行する（ステップＳ３７）。最後に、前記処理で見つかった中心座標は、不規則に並んでいるため、チャート領域の中心に対して一定方向（例えば、時計方向）にソートする（ステップＳ３８）。
【００３２】
本実施形態によれば、画像処理装置２によって画像中心を高精度で算出することが可能となり、歪みの小さい広角画像を表示装置３に表示させることができる。
なお、本実施例の校正用チャートは平面に図を印刷したものとしたが、校正用チャートは、例えば液晶ディスプレイ装置に図を表示させたものであっても良い。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態を示すブロック図。
【図２】同上実施形態の動作を示すフロー図。
【図３】同上実施形態の表示処理を示すフロー図。
【図４】同上実施形態の広角撮像装置を示す断面図。
【図５】同上実施形態の広角撮像装置入力画像の画像説明図。
【図６】同上実施形態の歪補正画像の画像説明図。
【図７】同上実施形態の画像処理装置を示すブロック図。
【図８】同上実施形態の画像処理装置の動作を示すフロー図。
【図９】同上実施形態の歪み補正処理の説明図。
【図１０】同上実施形態の歪み補正処理の変換テーブル説明図。
【図１１】同上実施形態の校正用チャートの模式図。
【図１２】同上実施形態の校正処理のフロー図。
【図１３】同上実施形態の校正処理の模式図。
【図１４】同上実施形態の校正処理の模式図。
【図１５】同上実施形態のチャート領域検出ステップのフロー図。
【図１６】同上実施形態の中心検出ステップのフロー図。
【図１７】同上実施形態の対応付けステップのフロー図。
【図１８】同上実施形態の対応付けステップの説明図。
【図１９】同上実施形態の外側同心正方形対応付け処理のフロー図。
【符号の説明】
【００３４】
１    広角撮像装置
１ａ  広角レンズ
１ｂ  撮像素子
２    画像処理装置
２ａ  ＣＰＵ
２ｂ  ＲＯＭ
２ｃ  汎用画像メモリ
２ｄ  ビデオメモリ
２ｅ  外部デバイスＩ／Ｆ
３    表示装置
４    操作手段
５    入力画像
５ａ  環状画像
５ｂ  補正前正方形像
６    補正画像
６ａ  補正後正方形像
７    補正画像座標系
７ａ  未補正座標
７ｂ  補正済座標
７ｃ  画像中心座標
８    キャリブレーションチャート（校正用チャート）
８ａ  円形ドット
８ｂ  チャート中心円形ドット
８ｃ  基準頂点円形ドット
【図１】
2010102423.tif 000008
【図２】
2010102423.tif 000009
【図３】
2010102423.tif 000010
【図４】
2010102423.tif 000011
【図５】
2010102423.tif 000012
【図６】
2010102423.tif 000013
【図７】
2010102423.tif 000014
【図８】
2010102423.tif 000015
【図９】
2010102423.tif 000016
【図１０】
2010102423.tif 000017
【図１１】
2010102423.tif 000018
【図１２】
2010102423.tif 000019
【図１３】
2010102423.tif 000020
【図１４】
2010102423.tif 000021
【図１５】
2010102423.tif 000022
【図１６】
2010102423.tif 000023
【図１７】
2010102423.tif 000024
【図１８】
2010102423.tif 000025
【図１９】
2010102423.tif 000026