(57)【要約】      （修正有）【課題】パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法を提供する。【解決手段】パノラマ光学ターゲット空間を確立するステップと、パノラマ魚眼カメラを利用して、パノラマ光学ターゲット空間のパノラマ画像を撮影するステップと、パノラマ魚眼カメラに関する内部パラメータ較正モデルを確立するステップと、パノラマ画像およびパノラマ光学ターゲット空間の画像スティッチパラメータモデルおよび空間深さ変換パラメータモデルを確立するステップならびに内部パラメータ較正モデル、画像スティッチモデルおよび深さ変換パラメータモデル使用して、パノラマ画像を較正して、３Ｄパノラマ画像を生成するステップを含む。本発明は、すべてのカメラデータを蓄積し、計算効率を高めるための機械学習を実行することによって、較正パラメータを最適化する。【選択図】図１
2017108387.tif 000002
【特許請求の範囲】
【請求項１】
パノラマ魚眼カメラによって撮影されたパノラマ画像を較正して３Ｄパノラマ画像にするために利用される、パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法であって、前記パノラマ魚眼カメラが、４つの魚眼レンズおよび４つのＣＭＯＳセンサモジュールを備え、方法が、
パノラマ光学ターゲット空間を確立するステップ；
前記パノラマ魚眼カメラを利用して、前記パノラマ光学ターゲット空間の前記パノラマ画像を撮影するステップ；
前記パノラマ魚眼カメラの内部パラメータ較正モデルを確立するステップであって、前記内部パラメータ較正モデルが、前記パノラマ魚眼カメラの前記魚眼レンズと前記ＣＭＯＳセンサモジュールとの間の座標変換モデルであるステップ；
前記パノラマ画像および前記パノラマ光学ターゲット空間の画像スティッチパラメータモデルを確立するステップであって、前記画像スティッチパラメータモデルが、前記パノラマ魚眼カメラによって撮影された前記画像から物体と前記４つの魚眼レンズの前記空間座標との関係を計算することによって、パノラマ画像スティッチパラメータモデルに関して使用されるステップ；
前記パノラマ画像および前記パノラマ光学ターゲット空間の空間深さ変換パラメータモデルを確立するステップであって、前記空間深さ変換パラメータモデルが、２Ｄ平面画像と３Ｄ空間内の対象物深さとの間の変換モデルであるステップ；ならびに
前記画像スティッチパラメータモデル、前記空間深さ変換パラメータモデル、および前記内部パラメータ較正モデルを利用して、前記パノラマ画像を較正して、３Ｄパノラマ画像を生成するステップ
を含む方法。
【請求項２】
前記パラメータを最適化するステップをさらに含む、請求項１に記載のパノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法。
【請求項３】
前記パラメータを最適化する前記ステップが、前記内部パラメータ較正モデル、前記画像スティッチパラメータモデル、および前記空間深さ変換パラメータモデルを各前記パノラマ魚眼カメラから収集するステップを含む、請求項２に記載のパノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法。
【請求項４】
前記パラメータを最適化する前記ステップが、前記内部パラメータ較正モデル、前記画像スティッチパラメータモデル、および前記空間深さ変換パラメータモデルを機械学習によって最適化するステップを含み、前記機械学習によって利用されるアルゴリズムがサポートベクトルマシンを含む、請求項３に記載のパノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法。
【請求項５】
前記パラメータを最適化する前記ステップが、前記内部パラメータ較正モデル、前記画像スティッチパラメータモデル、および前記空間深さ変換パラメータモデルを更新するステップを含む、請求項４に記載のパノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法。
【請求項６】
パノラマ画像を較正して３Ｄパノラマ画像にするために利用される、パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成システムであって、
４つの魚眼レンズおよび４つのＣＭＯＳセンサモジュールを備えるパノラマ魚眼カメラであって、隣り合う魚眼レンズの撮影方向の交差角が９０度であるパノラマ魚眼カメラ；ならびに
前記パノラマ魚眼カメラと電気的に接続された、パノラマ画像およびパノラマ深さ情報を生成するためのモジュールを備え、前記モジュールが、
前記パノラマ魚眼カメラの前記魚眼レンズと前記ＣＭＯＳセンサモジュールとの間の座標変換モデルの所要のパラメータを提供するために利用される内部パラメータ較正モデルが記憶された内部パラメータ較正モジュール；
前記パノラマ魚眼カメラによって撮影された前記パノラマ画像をパノラマ写真にスティッチするために利用される画像スティッチパラメータモデルが記憶された画像スティッチモジュール；および
前記パノラマ画像内の各画素の前記パノラマ深さ情報を得るために、２Ｄ平面画像と３Ｄ空間内の前記対象物深さとの間の変換モデルを前記パノラマ魚眼カメラに提供するために利用される空間深さ変換パラメータモデルが記憶された空間深さ変換パラメータモジュールを備え、
システムがさらに、
前記パノラマ写真および前記パノラマ深さ情報を較正およびスティッチして前記３Ｄパノラマ画像を生成するために利用される、パノラマ画像およびパノラマ深さ情報を生成するためのモジュールと電気的に接続された計算モジュール
を備える、パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成システム。
【請求項７】
前記パノラマ画像および前記パノラマ深さ情報を生成するための前記モジュールと電気的に接続された最適化モジュールをさらに備え、前記最適化モジュールが、前記内部パラメータ較正モデル、前記画像スティッチパラメータモデル、および前記空間深さ変換パラメータモデルを各前記パノラマ魚眼カメラから収集することによってパラメータデータを蓄積することができ、次いで、機械学習法によって前記パラメータデータを最適化する、請求項６に記載のパノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成システム。
【請求項８】
前記機械学習によって利用されるアルゴリズムがサポートベクトルマシンを含む、請求項７に記載のパノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成システム。
【請求項９】
前記内部パラメータ較正モジュール、前記画像スティッチモジュール、および前記空間深さ変換パラメータモジュールが、単一のチップとして集積されるか、またはそれぞれ単一のチップでよい、請求項６に記載のパノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステムに関し、より詳細には、画像スティッチパラメータモデル（外部較正パラメータモデル）、パノラマ魚眼カメラによって撮影されたパノラマ光学ターゲット空間から獲得された空間深さ変換パラメータモデル、およびパノラマ魚眼カメラの内部較正パラメータによってパノラマ画像を較正するために利用される、パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステムに関する。
【背景技術】
【０００２】
世界中でカメラが製造されており、人々は、日常生活や歴史上の重要な出来事を画像として記録している。写真技術および機器に関して、低精細の白黒写真が、高精細のカラー写真および高速カメラへと発展しており、そのような高速カメラは、最先端のものは、毎秒２億フレームを撮影することができる。さらに、写真の視覚効果に関して、平面画像だけでなく、３Ｄ画像も撮影することができる。
【０００３】
従来技術では、３Ｄ画像は、３Ｄカメラのツインレンズカメラを利用することによって撮影される。しかし、３Ｄ画像は、機器の写真視野によって制限されるいくつかの視野角内でしか撮影することができず、または、写真撮影者がカメラを持って一回転することによって、３６０度にわたるパノラマ画像が撮影される。しかし、写真撮影者は、この方法を利用してパノラマ画像を撮影するのにかなりの時間を費やさなければならない。したがって、同時に複数の３Ｄカメラを利用することによって３Ｄパノラマ画像を撮影するための方法が提供される。
【０００４】
３台から数十台のカメラの構成が現在既存のものであるが、それらはすべて単眼視システムに属する。さらに、カメラの写真視野の重畳がより少ないので、視差を利用することによって深さ情報を計算または獲得することができない。深さ情報は、仮想現実および拡張現実の３Ｄ情報に必要とされる。したがって、カメラを使用することによって３Ｄ深さ情報をどのように得るかが非常に重要である。
【発明の概要】
【課題を解決するための手段】
【０００５】
したがって、本発明は、パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法を提供する。この方法は、パノラマ魚眼カメラによって撮影されたパノラマ画像を較正して、対象物深さ情報を含む３Ｄパノラマ画像を生成するために利用される。パノラマ魚眼カメラは、４つの魚眼レンズおよび４つのＣＭＯＳセンサモジュールを備え、魚眼レンズの各１つをＣＭＯＳセンサモジュールに取り付けることができる。本発明によって提供される方法は、以下のステップを含む：  
パノラマ光学ターゲット空間を確立するステップ；パノラマ魚眼カメラを利用して、パノラマ光学ターゲット空間のパノラマ画像を撮影するステップ；パノラマ魚眼カメラの内部パラメータ較正モデルを確立するステップ；パノラマ画像およびパノラマ光学ターゲット空間の画像スティッチパラメータモデル（外部パラメータ較正モデル）を確立するステップ；パノラマ画像およびパノラマ光学ターゲット空間の空間深さ変換パラメータモデルを確立するステップ；ならびに画像スティッチパラメータモデル、空間深さ変換パラメータモデル、および内部パラメータ較正モデルを利用して、パノラマ画像を較正して、３Ｄパノラマ画像を生成するステップ。
【０００６】
さらに、空間深さ変換パラメータモデルは、２Ｄ平面画像と３Ｄ空間内の対象物深さとの間の変換モデルであり；内部パラメータ較正モデルは、パノラマ魚眼カメラの魚眼レンズとＣＭＯＳセンサモジュールとの間の座標変換モデルであり；画像スティッチパラメータモデル（外部パラメータ較正モデル）は、パノラマ魚眼カメラによって撮影された画像から物体と４つの魚眼レンズの空間座標との関係を計算することによって、パノラマ画像スティッチパラメータモデルに関して使用される。
【０００７】
本発明によって提供される方法は、内部パラメータ較正モデル、画像スティッチパラメータモデル（外部パラメータ較正モデル）、および空間深さ変換パラメータモデルを各パノラマ魚眼カメラから収集することによってパラメータを最適化するステップをさらに含む。さらに、最適化モデルが、パラメータを最適化するために機械学習法によって獲得される。
【０００８】
本発明は、パノラマ画像およびパノラマ深さ情報を生成するためのパノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成システムを提供し、パノラマ画像およびパノラマ深さ情報が、３Ｄパノラマ画像を生成するために較正される。本発明によって提供されるシステムは、パノラマ魚眼カメラ、パノラマ画像およびパノラマ深さ情報を生成するためのモジュール、ならびに計算モジュールを含む。計算モジュールは、クラウドコンピューティングモジュールでよく、またはカメラに含まれてよい。
【０００９】
パノラマ魚眼カメラは、４つの魚眼レンズおよび４つのＣＭＯＳセンサモジュールを備え、魚眼レンズの各１つをＣＭＯＳセンサモジュールに取り付けることができる。隣り合う魚眼レンズの撮影方向の交差角は９０度である。パノラマ画像およびパノラマ深さ情報を生成するためのモジュールは、パノラマ魚眼カメラと電気的に接続され、内部パラメータ較正モジュール、画像スティッチモジュール、および空間深さ変換パラメータモジュールを備える。
【００１０】
内部パラメータ較正モデルが、内部パラメータ較正モジュールに記憶され、魚眼レンズとＣＭＯＳセンサモジュールとの間の座標変換モデルの所要のパラメータを提供するために利用される。画像スティッチパラメータモデルが、画像スティッチモジュールに記憶され、パノラマ魚眼カメラによって撮影されたパノラマ画像をスティッチしてパノラマ写真にするために利用される。空間深さ変換パラメータモデルが、空間深さ変換パラメータモジュールに記憶され、パノラマ画像内の各画素のパノラマ深さ情報を得るために、２Ｄ平面画像と３Ｄ空間内の対象物深さとの間の変換モデルをパノラマ魚眼カメラに提供するために利用される。計算モジュールは、パノラマ画像およびパノラマ深さ情報を生成するためのモジュールと電気的に接続され、パノラマ写真およびパノラマ深さ情報を較正およびスティッチして３Ｄパノラマ画像を生成するために利用される。
【００１１】
本発明によって提供されるシステムは、最適化モジュールをさらに備える。最適化モジュールは、パノラマ画像およびパノラマ深さ情報を生成するためのモジュールと電気的に接続される。最適化モジュールは、内部パラメータ較正モデル、画像スティッチパラメータモデル、および空間深さ変換パラメータモデルを各パノラマ魚眼カメラから収集することによってパラメータデータを蓄積し、次いで機械学習法によってパラメータデータを最適化することができる。
【００１２】
従来技術と比較して、本発明によって、パノラマ画像および深さ情報を迅速に獲得することができ、データを蓄積するために機械学習法によって較正パラメータを最適化することができる。したがって、パノラマスティッチ写真の品質およびパノラマ深さ情報の精度が向上されて、３Ｄ深さのアルゴリズムを単純化し、計算効率を高める。さらに、単純化された３Ｄ深さのアルゴリズムを、単一チップ上で実行されるように移植することができ、それにより、魚眼カメラの画像較正システムは、すぐに較正することができ、かつ便利に携帯可能であり得る。さらに、製造の所要の較正プロセスが単純化され、時間が節約される。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態による方法流れ図である。
【図２】本発明の一実施形態による方法流れ図である。
【図３】本発明の別の実施形態によるパノラマ魚眼カメラの正面図である。
【図４】本発明の別の実施形態によるパノラマ魚眼カメラの上面図である。
【図５】本発明の別の実施形態によるシステム機能ブロック図である。
【発明を実施するための形態】
【００１４】
本発明の利点、精神、および特徴がより容易にかつ明確に理解されるように、本発明の実施形態および添付図面を以下に論じる。しかし、本発明は、それらの実施形態および添付図面に限定されない。
【００１５】
図１〜図４を参照されたい。図１および図２は、本発明の一実施形態による方法流れ図である。図３は、本発明の別の実施形態によるパノラマ魚眼カメラの正面図である。図４は、本発明の別の実施形態によるパノラマ魚眼カメラの上面図である。
【００１６】
一実施形態では、本発明は、パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法１を提供する。この方法１は、パノラマ魚眼カメラ２１によって撮影されたパノラマ画像を較正して、３Ｄパノラマ画像を生成するために利用される。パノラマ魚眼カメラ２１は、４つの魚眼レンズ２１２および４つのＣＭＯＳセンサモジュール２１４を備え、魚眼レンズ２１２の各１つをＣＭＯＳセンサモジュール２１４に取り付けることができる。この方法１は、以下のステップを含む。
（ステップＳ１）パノラマ光学ターゲット空間を確立するステップ；
（ステップＳ２）パノラマ魚眼カメラを利用して、パノラマ光学ターゲット空間のパノラマ画像を撮影するステップ；
（ステップＳ３）パノラマ魚眼カメラの内部パラメータ較正モデルを確立するステップ；
（ステップＳ４）パノラマ画像およびパノラマ光学ターゲット空間の画像スティッチパラメータモデル（外部パラメータ較正モデル）を確立するステップ；
（ステップＳ５）パノラマ画像およびパノラマ光学ターゲット空間の空間深さ変換パラメータモデルを確立するステップ；ならびに
（ステップＳ６）画像スティッチパラメータモデル、空間深さ変換パラメータモデル、および内部パラメータ較正モデルを利用して、パノラマ深さ情報を含む３Ｄパノラマ画像を生成するステップ。
【００１７】
さらに、ステップＳ４とステップＳ５の実行順序は本明細書に限定されず、ステップＳ４とステップＳ５が同時に実行されてもよく、またはステップＳ５がステップＳ４よりも先に実行されてもよい。
【００１８】
前述のステップの詳細は、以下のように示される。まず、単眼視カメラによって撮影された画像から対象物の深さを容易に直接判断することはできない。さらに、魚眼レンズ２１２によって撮影された画像は変形されているので、実際の深さを容易に判断することはできない。したがって、３Ｄ空間内の対象物深さと２Ｄ平面画像との関係を確立するために、まずステップＳ１が実行され、パノラマ光学ターゲット空間、および空間内に設定されたパノラマ魚眼カメラ２１の距離を印付けられた複数のターゲットを確立する。次いで、ステップＳ２が実行されて、パノラマ魚眼カメラ２１を利用して、パノラマ光学ターゲット空間のパノラマ画像を撮影し、空間内のターゲットとパノラマ画像内のターゲットとの対応関係を見付ける。
【００１９】
空間内のターゲットとパノラマ画像内のターゲットとの対応関係を見付ける前に、魚眼レンズ２１２によって撮影された画像は、魚眼レンズ２１２の球形状により変形されている。したがって、魚眼カメラ２１での魚眼レンズ２１２とＣＭＯＳセンサモジュール２１４との対応関係が見付けられ、すなわち内部較正パラメータが見付けられる。したがって、本発明においてステップＳ３が実行されて、パノラマ魚眼カメラの内部パラメータ較正モデルを確立する。魚眼カメラ２１内でのＣＭＯＳセンサモジュール２１４の設定位置は、説明の便宜上、本発明の上面図に印付けられている。
【００２０】
魚眼レンズ２１２は実質的に半球形状を有し、ＣＭＯＳセンサモジュール２１４は平面形状を有するので、まず球面座標系と直交座標系の変換が行われて、第１の魚眼レンズ２１２での任意の点座標Ｘｓ（球面座標系）とＣＭＯＳセンサモジュール２１４の画像平面座標Ｘｄ（直交座標系のＸＹ平面）との対応する投影関係を見付ける。それらの座標の対応投影関係を見付けた後、ＣＭＯＳセンサモジュール２１４の画像平面座標ＸｄとＣＭＯＳセンサモジュール２１４に割り振られた各画素との対応関係が、以下の式を使用することによって確立される。
【００２１】
【数１】
2017108387.tif 000003
【００２２】
ここで、Ｘｐは、ＣＭＯＳセンサモジュール２１４での画素の座標であり；ｍｕおよびｍｖは、平面上で生成された各画素の変位量であり；ｕｏおよびｖｏは、ＣＭＯＳセンサモジュールの画像平面座標の原点であり、すなわち座標変換の始点である。本発明のステップＳ３は、上述したプロセスによって、魚眼レンズ２１２の任意の座標点ＸｓをＣＭＯＳセンサモジュール２１４での画素の座標Ｘｐに変換するためのパノラマ魚眼カメラの内部パラメータ較正モデルを確立することによって達成され、次いで内部較正が実行される。
【００２３】
個々の魚眼レンズによって撮影された画像と実際のパノラマ画像との対応関係を確立してパノラマ写真をスティッチするために、ステップＳ４が実行されて、パノラマ画像およびパノラマ光学ターゲット空間の画像スティッチパラメータモデル（外部パラメータ較正モデル）を確立する。白黒交互の市松模様を有する４つのチェックなどのターゲットを利用して、ターゲットの特徴点を検出することによって、４つの魚眼レンズの物理的位置と画像平面との関係を確立する。次いで、４つの魚眼レンズ２１２によって撮影された画像からの物体と４つの魚眼レンズ２１２の空間座標との関係が、画像スティッチパラメータモデルとして利用される。
【００２４】
図３に示されるように、本発明の一実施形態では、パノラマ魚眼カメラ２１は、４つの魚眼レンズ２１２を備える。４つの魚眼レンズ２１２によって撮影された画像をスティッチするために、４つの魚眼レンズ２１２の相対位置が補正される。したがって、４つの魚眼レンズ２１２の位置関係が、本発明では以下の式として表される。
ｘｃ＝ＲＸ＋ｔ
【００２５】
ここで、Ｘは、３Ｄ空間のある位置での１つのレンズの画像平面（ｘｙ平面）であり；ｘｃは、３Ｄ空間内での他のレンズと前述のレンズとの視野角の間での、画像平面の交差位置であり；行列として示されるＲは、レンズ光軸の（すなわち撮影方向、すなわちｚ軸周りでの）回転速度であり；ｔは、交差面の特徴点に対応するように回転される画像平面の所要変位距離である。簡潔には、１つの魚眼レンズの画像平面位置が原点として使用され、レンズ光軸がｚ軸として使用され、画像平面がｘｙ平面として使用される。さらに、４つの魚眼レンズからの画像をより使いやすくするために、他の魚眼レンズの光軸方向、および画像平面位置を位置決めするために所定の座標系が確立される。
【００２６】
４つの魚眼レンズ２１２の相対位置を補正した後、画像スティッチパラメータモデル（外部パラメータ較正モデル）が確立される。以下に示される図３を参照すると、パノラマ魚眼カメラ２１での隣り合う魚眼レンズ２１２の撮影方向の交差角（点線で示される）は９０度であり、魚眼レンズ２１２の視野角は１８０度であり、したがって、それぞれ隣り合う魚眼レンズ２１２によって撮影された画像の少なくとも１つの重なり合うシーンが存在する。ステップＳ４で、それぞれ隣り合う魚眼レンズ２１２によって撮影された画像から重なり合うシーンが見付けられる。まず、魚眼レンズ２１２の１つによって撮影された画像の１つの画素が指定される。さらに、その画素の周りでの色変化に従って、特性ベクトルが定義される。次いで、隣り合う魚眼レンズ２１２によって撮影された画像内で、対応する画素が見付けられる。少なくとも１つの特性ベクトルと画素との対応関係が確立された後、すなわち、画像スティッチパラメータモデル（外部パラメータ較正モデル）が確立された後、ステップＳ４が達成される。
【００２７】
次いで、ステップＳ５が実行されて、パノラマ画像およびパノラマ光学ターゲット空間の空間深さ変換パラメータモデルを確立する。パノラマ魚眼カメラ２１によって撮影されたパノラマ光学ターゲット空間のパノラマ画像を利用した後、パノラマ光学ターゲット空間のパノラマ画像が獲得され、パノラマ光学ターゲット空間のターゲット位置とパノラマ魚眼カメラ２１との距離が既知となり、ステップＳ５は、パノラマ深さ情報を獲得するために、パノラマ画像のターゲット（すなわち２Ｄ平面画像）とパノラマ光学ターゲット空間のターゲット（すなわち３Ｄ空間）対象物深さとの対応関係の、ソフトウェアシステムによって判断される変換モデルを確立することを狙いとされる。したがって、パノラマ３Ｄ画像を較正するために、パノラマ魚眼カメラ２１とそれによって撮影されたパノラマ画像からの画像の対象物との距離（すなわち深さ）を、本発明によって、すなわちパノラマ魚眼カメラ２１の画像較正、スティッチ、および深さ再構成方法１によって計算することができる。
【００２８】
ステップＳ１〜Ｓ５を実行することによって、パノラマ魚眼カメラ２１によって撮影されたパノラマ画像、パノラマ魚眼カメラの内部パラメータ較正モデル、画像スティッチパラメータモデル（すなわち外部パラメータ較正モデル）、ならびにパノラマ画像およびパノラマ光学ターゲット空間の空間深さ変換パラメータモデルが獲得される。次いで、ステップＳ６が実行されて、画像スティッチパラメータモデル、空間深さ変換パラメータモデル、および内部パラメータ較正モデルを利用して、パノラマ深さ情報を含む３Ｄパノラマ画像を生成する。
【００２９】
さらに、前述のステップＳ１〜Ｓ５は、魚眼カメラ２１の製造公差があるため、魚眼カメラ２１それぞれで実行され、したがって、魚眼カメラ２１を製造後にすぐに配送することはできない。魚眼カメラ２１が大量生産される場合、測定および較正のために相当な時間および労力が費やされる。したがって、パノラマ魚眼カメラ２１の画像較正、スティッチ、および深さ再構成方法１の本発明は、パラメータを最適化するためのステップＳ７をさらに含む。ステップＳ７は、内部パラメータ較正モデル、画像スティッチパラメータモデル、および空間深さ変換パラメータモデルを各パノラマ魚眼カメラから収集するためのステップＳ７１；機械学習によって、内部パラメータ較正モデル、画像スティッチパラメータモデル、および空間深さ変換パラメータモデルを最適化するためのステップＳ７２；ならびに、内部パラメータ較正モデル、画像スティッチパラメータモデル、および空間深さ変換パラメータモデルを更新するためのステップＳ７３を含む。
【００３０】
魚眼レンズ２１２とＣＭＯＳセンサモジュール２１４との関係を調節するための内部パラメータ較正モデル、画像スティッチパラメータモデル、および空間深さ変換パラメータモデルを連続的に収集して、外部環境画像を解釈し、パラメータデータを蓄積し、パノラマ魚眼カメラ２１で機械学習法によって各パラメータを自動的に最適化し、最適化されたパラメータを各パノラマ魚眼カメラ２１に送信することによってパラメータモデルを更新することによって、測定および較正のために相当な時間および労力を減少させることができる。ここで、機械学習によって利用されるアルゴリズムは、サポートベクトルマシン（ＳＶＭ）を含む。
【００３１】
図３〜５を参照すると、図３は、本発明の別の実施形態によるパノラマ魚眼カメラの正面図である。図４は、本発明の別の実施形態によるパノラマ魚眼カメラの上面図である。図５は、本発明の別の実施形態によるシステム機能ブロック図である。本発明の別のカテゴリは、パノラマ画像を較正して、パノラマ深さ情報を含む３Ｄパノラマ画像を生成するために使用される、パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成システム２を提供する。システム２は、パノラマ魚眼カメラ２１、パノラマ画像およびパノラマ深さ情報を生成するためのモジュール２２、および計算モジュールを備え、モジュール２２は、内部パラメータ較正モジュール２２１、画像スティッチモジュール２２２、および空間深さ変換パラメータモジュール２２３を備える。
【００３２】
パノラマ魚眼カメラ２１は、４つの魚眼レンズ２１２および４つのＣＭＯＳセンサモジュール２１４を備え、魚眼レンズ２１２の各１つをＣＭＯＳセンサモジュール２１４に取り付けることができ、隣り合う魚眼レンズ２１２の撮影方向の交差角は９０度である。パノラマ画像およびパノラマ深さ情報を生成するためのモジュール２２は、パノラマ魚眼カメラ２１と電気的に接続される。モジュール２２は、内部パラメータ較正モジュール２２１、画像スティッチモジュール２２２、および空間深さ変換パラメータモジュール２２３を備え、このモジュール２２を利用して、パノラマ画像を較正するのに必要なすべてのパラメータをパノラマ魚眼カメラ２１に提供して、３Ｄパノラマ画像を生成する。計算モジュール２３は、パノラマ画像およびパノラマ深さ情報を生成するためのモジュール２２と電気的に接続され、この計算モジュール２３を利用して、パノラマ深さ情報を生成するためのモジュール２２によって含まれるパラメータに従って、パノラマ画像を較正して３Ｄパノラマ画像を生成する。
【００３３】
内部パラメータ較正モジュール２２１を利用して、前述の内部パラメータ較正モデルを記憶し、魚眼レンズ２１２の形状による変形された画像に対して、前述のパラメータモデルによる魚眼レンズ２１２とＣＭＯＳセンサモジュール２１４との間の座標変換を実行する。画像スティッチモジュール２２２を利用して、前述の画像スティッチパラメータモデル、すなわち外部パラメータ較正モデルを記憶し、調節されたパノラマ画像を内部パラメータ較正モジュール２２１によってスティッチして、パノラマ写真Ｐ１を生成する。空間深さ変換パラメータモジュール２２３を利用して、前述の空間深さ変換パラメータモデルを記憶して、２Ｄ平面画像とパノラマ魚眼カメラ２１によって撮影された３Ｄ空間内の実際の対象物深さとの対応関係を見付け、パノラマ画像内の各画素のパノラマ深さ情報Ｉ１を得る。
【００３４】
上述のモデルが構築された後、計算モジュール２３を利用して、パノラマ写真Ｐ１およびパノラマ深さ情報Ｉ１を較正およびスティッチして３Ｄパノラマ画像を生成する。
【００３５】
本発明のパノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成システム２は、最適化モジュール２４をさらに備え、ここで、最適化モジュール２４は、パノラマ画像およびパノラマ深さ情報を生成するためのモジュール２２と電気的に接続される。最適化モジュール２４は、パノラマ画像およびパノラマ深さ情報を生成するためのモジュール２２にそれぞれ記憶された内部パラメータ較正モデル、画像スティッチパラメータモデル、および空間深さ変換パラメータモデルを各パノラマ魚眼カメラ２１から連続的に収集することによってパラメータデータを蓄積することができる。次いで、内部パラメータ較正モデル、画像スティッチパラメータモデル、および空間深さ変換パラメータモデルのパラメータが、機械学習法によって最適化される。パラメータを最適化した後、最適化されたパラメータを利用して、内部パラメータ較正モデル、画像スティッチパラメータモデル、および空間深さ変換パラメータモデルを交換して、計算モジュール２３によってスティッチされる３Ｄパノラマ画像をより良いものにする。
【００３６】
計算モジュール２３は、クラウドコンピューティングモジュールでよく、またはパノラマ魚眼カメラに記憶されていてよく、したがって、計算モジュールを利用することによって、パノラマ画像を較正して、３Ｄパノラマ画像を生成することができる。内部パラメータ較正モジュール２２１、画像スティッチモジュール２２２、および空間深さ変換パラメータモジュール２２３は、単一のチップとして集積されるか、またはそれぞれ単一のチップでよい。機械学習によって利用されるアルゴリズムは、サポートベクトルマシン（ＳＶＭ）を含む。
【００３７】
要約すると、パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステムが、本発明によって提供される。パノラマ魚眼カメラの半球形状の魚眼レンズと平面ＣＭＯＳセンサモジュールとの間の内部パラメータ較正モデル、およびパノラマ魚眼カメラによって撮影されたパノラマ光学ターゲット空間を見付けることによって、ならびに同時に２Ｄ平面画像と３Ｄ空間内の対象物深さとの間の空間深さ変換パラメータモジュールを構築することによって、パノラマ画像スティッチパラメータモデル（外部パラメータ較正モデル）が計算される。最後に、内部パラメータ較正モデル、パノラマ画像スティッチパラメータモデル（外部パラメータ較正モデル）、および空間深さ変換パラメータモデルを使用して、パノラマ魚眼カメラによって撮影されたパノラマ画像を較正して、３Ｄパノラマ画像を生成する。
【００３８】
従来技術と比較して、本発明によって、パノラマ画像および深さ情報を迅速に獲得することができ、データを蓄積するために機械学習法によって較正パラメータを最適化することができる。したがって、３Ｄ深さのアルゴリズムを単純化して計算効率を高めるために、精度を向上させることができる。さらに、単純化された３Ｄ深さのアルゴリズムを、単一チップ上で実行されるように移植することができ、それにより、魚眼カメラの画像較正システムは、すぐに較正することができ、かつ便利に携帯可能であり得る。
【００３９】
上述した例および説明により、本発明の特徴および精神が十分に述べられているであろう。より重要なことには、本発明は、本明細書で述べる実施形態に限定されない。本発明の教示を保ちながら、デバイスのいくつかの修正および変形を行うことができることを、当業者は容易に観察されよう。したがって、上の開示は、添付の特許請求の範囲の定義範囲によってのみ限定されるものと解釈すべきである。
【図１】
2017108387.tif 000004
【図２】
2017108387.tif 000005
【図３】
2017108387.tif 000006
【図４】
2017108387.tif 000007
【図５】
2017108387.tif 000008
【外国語明細書】
2017108387000001.pdf