(57)【要約】  平行化工程で第１、第２の画像のエピポーララインを一致させることで、背景技術の項目で説明した通りに上記利点１、２を奏することができ、更には、補正工程で第１、第２の画像の歪みを補正することで、特性の変換がなされても、第１、第２の画像において中心部が過大に縮小されたり側縁部が過大に拡大されたりするのを防止することができるので、上記利点１、２を維持しながら立体的に空間把握可能な広角画像取得方法及び広角ステレオカメラ装置を提供することができる。
2008053649.tif 000002
【特許請求の範囲】
【請求項１】
第１及び第２のカメラで対象物を撮像して、第１及び第２の画像を取得し、前記第１及び第２の画像から対象物の広角画像を取得する広角画像取得方法であって、
前記第１及び第２の画像のエピポーララインを一致させる平行化工程と、
前記第１及び第２の画像を円筒面状の撮像面に投影して前記第１及び第２の画像の歪みを補正する補正工程と、
前記第１の画像の観測点に対応する点を前記第２の画像のエピポーラライン上で探索する探索工程と、
前記探索工程の探索結果に基づき、前記第１及び第２のカメラから前記対象物までの奥行き方向の距離を求め、前記対象物の３次元形状を復元する復元工程と、
を備えることを特徴とする広角画像取得方法。
【請求項２】
前記復元工程では、円筒座標系での前記第１のカメラから見た前記対象物までの距離をＲ１とした場合に、当該距離Ｒ１を下記式に従って算出することを特徴とする請求の範囲第１項に記載の広角画像取得方法。
Ｒ１＝ｂ×ｆ／ｄ’
（上記式中、「ｂ」は第１のカメラと第２のカメラとの間隔、「ｆ」は第１及び第２のカメラのレンズの焦点距離、「ｄ’」は第１の画像と第２の画像との位置ずれ量である。）
【請求項３】
前記復元工程では、直交座標系での前記第１のカメラから見た前記対象物までの距離をＺ２とした場合に、当該距離Ｚ２を下記式に従って算出することを特徴とする請求の範囲第１項に記載の広角画像取得方法。
Ｚ２＝Ｒ１×ｓｉｎθ１
（上記式中、「θ１」は円筒座標系での第１のカメラから見た対象物の角度である。）
【請求項４】
第１及び第２のカメラで対象物を撮像して、第１及び第２の画像を取得し、前記第１及び第２の画像から対象物の広角画像を取得する広角ステレオカメラ装置であって、
前記第１及び第２の画像のエピポーララインを一致させる平行化手段と、
前記第１及び第２の画像を円筒面状の撮像面に投影して前記第１及び第２の画像の歪みを補正する補正手段と、
前記第１の画像の観測点に対応する点を前記第２の画像のエピポーラライン上で探索する探索手段と、
前記探索手段の探索結果に基づき、前記第１及び第２のカメラから前記対象物までの奥行き方向の距離を求め、前記対象物の３次元形状を復元する復元手段と、
を備えることを特徴とする広角ステレオカメラ装置。
【請求項５】
前記復元手段は、円筒座標系での前記第１のカメラから見た前記対象物までの距離をＲ１とした場合に、当該距離Ｒ１を下記式に従って算出することを特徴とする請求の範囲第４項に記載の広角ステレオカメラ装置。
Ｒ１＝ｂ×ｆ／ｄ’
（上記式中、「ｂ」は第１のカメラと第２のカメラとの間隔、「ｆ」は第１及び第２のカメラの焦点距離、「ｄ’」は第１の画像と第２の画像との位置ずれ量である。）
【請求項６】
前記復元手段は、直交座標系での前記第１のカメラから見た前記対象物までの距離をＺ２とした場合に、当該距離Ｚ２を下記式に従って算出することを特徴とする請求の範囲第４項に記載の広角ステレオカメラ装置。
Ｚ２＝Ｒ１×ｓｉｎθ１
（上記式中、「θ１」は円筒座標系での第１のカメラから見た対象物の角度である。）
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２台のカメラで対象物を撮像して第１、第２の画像を取得し、当該第１、第２の画像から対象物の広角画像を取得する広角画像取得方法及び広角ステレオカメラ装置に関する。
【背景技術】
【０００２】
従来から、３次元空間の計測や対象物の探索・識別が可能という理由で、「ステレオカメラ（ｓｔｅｒｅｏ  ｃａｍｅｒａ）」がロボット産業等の広い分野で利用されている。ステレオカメラとは、一般的には２台のカメラ（レンズ）を有し、２点の異なる位置から同じ対象物を同時に撮影することで、その奥行き方向の情報までも取得可能なカメラであり、当該対象物を直接視認するのと同じように立体的に空間把握可能な画像を得ることができるものである。【０００３】
当該ステレオカメラでは、水平線に対し２台のカメラを互いに平行に配置することで２つの利点を得ることができる。【０００４】
第１の利点として、奥行き方向の距離を測定する場合において基本的には３角測量の原則を使用しているが、その距離をＺとすれば、当該距離Ｚを下記式（１０）により簡単に求めることができる。ただし、下記式（１０）の関係を満たすためには、各カメラが互いに平行に配置されている必要があり、平行に配置されていなければ複雑な演算処理を実行する必要がある。【０００５】
Ｚ＝ｂ／ｄ×ｆ  …  （１０）
上記式（１０）中、「ｂ」は各カメラの間隔であり、「ｄ」は各カメラで捉えた同一対象物の撮像面での位置ずれ量であり、「ｆ」は焦点距離である。【０００６】
第２の利点として、２台のカメラで得られる２つの画像同士において一方の画像上の任意点に対応する点を他方の画像上で特定し易い。すなわち、ステレオカメラでは、一方の画像上の観測点に対し他方の画像上で当該観測点に対応する点を探索する必要があり、その探索ラインを「エピポーラライン」という。各カメラが互いに平行に配置されていれば、エピポーララインが一方の画像と他方の画像とで平行な関係で一致し、一方の画像上の観測点に対応する点を他方の画像上で容易に探索することができる。【０００７】
しかし、２台のカメラを完全に平行に配置するのは物理的に困難であり、近年では、２台のカメラで得られた画像を画像処理することで平行化している（例えば特許文献１、２参照）。
【特許文献１】特開平７−２９４２１５号公報
【特許文献２】特開平１１−２０３４７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、上記ステレオカメラでは、内蔵する各カメラを平面に撮像するピンホールカメラとして捉えているため、魚眼レンズ等の広角レンズを有するカメラでステレオカメラを構築しようとすると、立体的に空間把握可能な広角画像を得られるものの、上記第１、第２の利点を十分に発揮させることができない。【０００９】
すなわち、魚眼レンズ等の広角レンズは、対物面の曲率が非常に大きく１８０°程度の画角（θ）を有するから、図５に示す通り、通常のレンズがｆｔａｎ（θ）特性を有するのに対し、その特性の一例としてｆθ特性を有している。広角レンズで得た原画像は平面に投影されてその特性がｆθ特性からｆｔａｎ（θ）特性に変換されるが（図５中太実線部参照）、画角が１８０°程度に近づくにつれてｆｔａｎ（θ）≒∞となる（図５中点線部参照）。分かり易くいうと、広角レンズで得た図６の原画像はその特性の変換で図７の画像の通りとなり、特性変換後の図７の画像は中心部が過大に縮小されかつ側縁部が過大に拡大される。そのため、魚眼レンズ等の広角レンズを有するカメラでステレオカメラを構築しようとしても、上記第１、第２の利点を維持しながら立体的に空間把握可能な広角画像を取得することは精度の悪化等を招くため困難である。【００１０】
本発明の目的は、上記第１、第２の利点を維持しながら立体的に空間把握可能な広角画像取得方法及び広角ステレオカメラ装置を提供することである。
【課題を解決するための手段】
【００１１】
上記課題は、以下の構成により解決される。【００１２】
１．第１及び第２のカメラで対象物を撮像して、第１及び第２の画像を取得し、前記第１及び第２の画像から対象物の広角画像を取得する広角画像取得方法であって、
前記第１及び第２の画像のエピポーララインを一致させる平行化工程と、
前記第１及び第２の画像を円筒面状の撮像面に投影して前記第１及び第２の画像の歪みを補正する補正工程と、
前記第１の画像の観測点に対応する点を前記第２の画像のエピポーラライン上で探索する探索工程と、
前記探索工程の探索結果に基づき、前記第１及び第２のカメラから前記対象物までの奥行き方向の距離を求め、前記対象物の３次元形状を復元する復元工程と、
を備えることを特徴とする広角画像取得方法。【００１３】
２．前記復元工程では、円筒座標系での前記第１のカメラから見た前記対象物までの距離をＲ１とした場合に、当該距離Ｒ１を下記式に従って算出することを特徴とする１に記載の広角画像取得方法。【００１４】
Ｒ１＝ｂ×ｆ／ｄ’
（上記式中、「ｂ」は第１のカメラと第２のカメラとの間隔、「ｆ」は第１及び第２のカメラのレンズの焦点距離、「ｄ’」は第１の画像と第２の画像との位置ずれ量である。）
３．前記復元工程では、直交座標系での前記第１のカメラから見た前記対象物までの距離をＺ２とした場合に、当該距離Ｚ２を下記式に従って算出することを特徴とする１に記載の広角画像取得方法。【００１５】
Ｚ２＝Ｒ１×ｓｉｎθ１
（上記式中、「θ１」は円筒座標系での第１のカメラから見た対象物の角度である。）
４．第１及び第２のカメラで対象物を撮像して、第１及び第２の画像を取得し、前記第１及び第２の画像から対象物の広角画像を取得する広角ステレオカメラ装置であって、
前記第１及び第２の画像のエピポーララインを一致させる平行化手段と、
前記第１及び第２の画像を円筒面状の撮像面に投影して前記第１及び第２の画像の歪みを補正する補正手段と、
前記第１の画像の観測点に対応する点を前記第２の画像のエピポーラライン上で探索する探索手段と、
前記探索手段の探索結果に基づき、前記第１及び第２のカメラから前記対象物までの奥行き方向の距離を求め、前記対象物の３次元形状を復元する復元手段と、
を備えることを特徴とする広角ステレオカメラ装置。【００１６】
５．前記復元手段は、円筒座標系での前記第１のカメラから見た前記対象物までの距離をＲ１とした場合に、当該距離Ｒ１を下記式に従って算出することを特徴とする４に記載の広角ステレオカメラ装置。【００１７】
Ｒ１＝ｂ×ｆ／ｄ’
（上記式中、「ｂ」は第１のカメラと第２のカメラとの間隔、「ｆ」は第１及び第２のカメラのレンズの焦点距離、「ｄ’」は第１の画像と第２の画像との位置ずれ量である。）
６．前記復元手段は、直交座標系での前記第１のカメラから見た前記対象物までの距離をＺ２とした場合に、当該距離Ｚ２を下記式に従って算出することを特徴とする４に記載の広角ステレオカメラ装置。【００１８】
Ｚ２＝Ｒ１×ｓｉｎθ１
（上記式中、「θ１」は円筒座標系での第１のカメラから見た対象物の角度である。）
【発明の効果】
【００１９】
本発明によれば、平行化工程で第１、第２の画像のエピポーララインを一致させることで、背景技術の項目で説明した通りに上記利点１、２を奏することができ、更には、補正工程で第１、第２の画像の歪みを補正することで、特性の変換がなされても、第１、第２の画像において中心部が過大に縮小されたり側縁部が過大に拡大されたりする（図７参照）のを防止することができるので、上記利点１、２を維持しながら立体的に空間把握可能な広角画像取得方法及び広角ステレオカメラ装置を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】広角ステレオカメラ装置の概略構成を示すブロック図である。
【図２】第１の実施形態に係る広角画像取得方法を説明するための図面である。
【図３】円筒座標系と直交座標系とにおける各座標を示す図面である。
【図４】第２の実施形態に係る広角画像取得方法を説明するための図面である。
【図５】レンズ特性を説明するための図面である。
【図６】魚眼レンズで得た画像（実写）の一例である。
【図７】図６の特性変換後の画像である。
【符号の説明】
【００２１】
１  広角ステレオカメラ装置
１０  第１のカメラ
１１  第１のレンズ
２０  第２のカメラ
２１  第２のレンズ
１２、２２  （半球面状の）撮像面
１３、２３  （円筒面状の）補正後の撮像面
１４、２４  （平面状の）撮像面
３０  画像処理装置（平行化手段、補正手段、探索手段、復元手段）
４０  対象物
４１、４３  第１の画像
４２、４４  第２の画像
ＥＰ  エピポーラライン
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照しながら本発明を実施するための最良の形態について説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、発明の範囲は以下の実施形態及び図示例に限定されるものではない。【００２３】
まず最初に、本発明における広角ステレオカメラ装置について説明する。図１に示す通り、本発明における広角ステレオカメラ装置１は、２台のカメラ（第１のカメラ１０、第２のカメラ２０）と画像処理装置３０とを備えており、画像処理装置３０が第１、第２のカメラ１０、２０で得た各撮像結果を画像処理するような構成を有している。【００２４】
第１、第２のカメラ１０、２０は互いに同様の構成を有しており、水平方向に対し互いに平行又は平行に近い状態に配置されている。第１のカメラ１０は第１のレンズ１１を有しており、第２のカメラ２０は第２のレンズ２１を有している。第１、第２のレンズ１１、２１は魚眼レンズ等の公知の広角レンズであり、第１、第２のカメラ１０、２０はこれら第１、第２のレンズ１１、２１により広角画像を撮像することができるようになっている。【００２５】
画像処理装置３０は汎用のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等で構成された装置である。画像処理装置３０は、ＣＰＵがＲＡＭをワークエリアとしてＲＯＭの処理プログラムに従いながら演算処理を実行するようになっており、詳しくは第１、第２のカメラ１０、２０の各撮像結果を受けて、それらを画像処理し、補正後の画像又は奥行き方向の情報を示した距離画像を生成するようになっている（後述参照）。
［第１の実施形態］
続いて、本発明における「広角画像取得方法」の第１の実施形態について説明する。【００２６】
図２に示す通り、始めに、第１、第２のカメラ１０、２０で対象物４０をそれぞれ撮像し、第１のカメラ１０の撮像結果から第１の画像４１を、第２のカメラ２０の撮像結果から第２の画像４２を得る（撮像工程）。その後、平行化手段としての画像処理装置３０で、第１、第２の画像４１、４２を公知の行列演算に従って座標変換し、第１の画像４１と第２の画像４２とのエピポーララインＥＰを一致させる（図２中一点鎖線参照、平行化工程）。【００２７】
当該第１、第２の各画像４１、４２は、ｆθ特性を有する広角レンズで構成された第１、第２のレンズ１１、２１で撮像されたものであるため、半球面状の撮像面１２、２２に投影された画像となっている（図２中点線部参照）。【００２８】
平行化工程の処理終了後、補正手段としての画像処理装置３０で、第１、第２の画像４１、４２の座標を円筒面状の撮像面１３、２３の座標へと変換し、第１、第２の画像４１、４２の歪みを補正する（図２中実線部参照、補正工程）。【００２９】
具体的には、補正工程前の第１、第２の画像４１、４２の座標を［ｘ，ｙ］、補正工程後の第１、第２の画像４１、４２の座標を［ｘ’，ｙ’］とした場合に、座標［ｘ，ｙ］を下記式（１）に従って座標［ｘ’，ｙ’］に変換する。その結果、半球面状の撮像面１２、２２に投影された第１、第２の画像４１、４２を円筒面状の撮像面１３、２３に投影し直すことができる。【００３０】
【数１】
2008053649.tif 000003
【００３１】
補正工程の処理を終えたら、補正後の第１の画像４１と第２の画像４２との対応関係を求めるため、探索手段としての画像処理装置３０で、補正後の第１の画像４１を基準としてそのエピポーララインＥＰ上の観測点に対応する点を補正後の第２の画像４２のエピポーララインＥＰ上で探索する（探索工程）。その結果、補正後の第１の画像４１と第２の画像４２との位置ずれ量、すなわち上記式（１０）中の「ｄ」に相当する値を求めることができる。【００３２】
探索工程の処理を終えたら、復元手段としての画像処理装置３０において、探索工程の処理結果（探索結果）から補正後の第１の画像４１の各観測点に対し奥行き方向の距離を求め、撮像工程で得られた第１のカメラ１０の撮像結果（第１の画像４１の２次元形状）と当該奥行き方向の距離とから対象物４０の３次元形状を復元する（復元工程）。その結果、最終的な一の広角画像を生成することができる。【００３３】
具体的には、対象物４０の３次元座標（円筒座標）を第１のカメラ１０から見て［Ｘ１，θ１，Ｒ１］とした場合に（図３参照）、各座標値を下記式（２ａ）〜（２ｃ）に従って算出する。下記式（２ｃ）中の「Ｒ１」は円筒座標系での第１のカメラ１０から見た対象物４０の距離である。【００３４】
Ｘ１＝ｘ’／ｆ×Ｒ１・・・（２ａ）
θ１＝ｙ’／ｆ・・・（２ｂ）
Ｒ１＝ｂ×ｆ／ｄ’・・・（２ｃ）
上記式（２ａ）〜（２ｃ）中、「ｘ’」と「ｙ’」は補正後の座標値であり、「ｆ」は第１、第２のカメラ１０、２０の第１、第２のレンズ１１、１２の焦点距離であり、「ｂ」は第１のカメラ１０と第２のカメラ２０との間隔であり、「ｄ’」は補正後の第１の画像４１と第２の画像４２との位置ずれ量である。【００３５】
当該円筒座標［Ｘ１，θ１，Ｒ１］を通常の直交座標［Ｘ２，Ｙ２，Ｚ２］で表現する場合には（図３参照）、各座標値を下記式（３ａ）〜（３ｃ）に従って算出する。下記式（３ｃ）中の「Ｚ２」は直交座標系での第１のカメラ１０から見た対象物４０の距離である。【００３６】
Ｘ２＝Ｘ１・・・（３ａ）
Ｙ２＝Ｒ１×ｃｏｓθ１・・・（３ｂ）
Ｚ２＝Ｒ１×ｓｉｎθ１・・・（３ｃ）
なお、上記式（３ｂ）、（３ｃ）中の「θ１」は上記式（２ｂ）から誘導される値であるが、これは円筒座標系での第１のカメラ１０から見た対象物４０の角度である。【００３７】
以上の第１の実施形態では、平行化工程で第１、第２の画像４１、４２のエピポーララインＥＰを一致させるから、背景技術の項目で説明した通りに上記利点１、２を奏することができる。更に、補正工程で第１、第２の画像４１、４２の歪みを補正するから、特性の変換がなされても、第１、第２の画像４１、４２において中心部が過大に縮小されたり側縁部が過大に拡大されたりする（図７参照）のを防止することができる。以上から、上記利点１、２を維持しながら立体的に空間把握可能な広角画像を取得することができる。
［第２の実施形態］
次に、本発明における「広角画像取得方法」の第２の実施形態について説明する。第２の実施形態は下記の点で第１の実施形態と異なっており、それ以外は第１の実施形態と同様となっている。【００３８】
第２の実施形態に係る広角ステレオカメラ装置１では、第１、第２のレンズ１１、２１として、広角レンズに代えて、公知の標準レンズを適用している。【００３９】
第２の実施形態に係る広角画像取得方法では、第１の実施形態と同様に、撮像工程、平行化工程、補正工程、探索工程、復元工程の各処理を実行するが、図４に示す通り、撮像工程、平行化工程を経て得られる第１、第２の各画像４３、４４は、標準レンズで構成された第１、第２のレンズ１１、２１で撮像されたものであるため、平面状の撮像面１４、２４に投影された画像となっている（図４中点線部参照）。【００４０】
補正工程では、当該補正工程前の第１、第２の画像４３、４４の座標［ｘ，ｙ］を下記式（４）に従って座標［ｘ’’，ｙ’’］に変換する。その結果、平面状の撮像面１４、２４に投影された第１、第２の画像４３、４４を円筒面状の撮像面１３、２３に投影し直すことができる（図４中実線部参照）。【００４１】
【数２】
2008053649.tif 000004
【００４２】
復元工程では、対象物４０の３次元座標（円筒座標）を第１のカメラ１０から見て［Ｘ３，θ３，Ｒ３］とした場合に（図３参照）、各座標値を下記式（５ａ）〜（５ｃ）に従って算出する。下記式（５ｃ）中の「Ｒ３」は円筒座標系での第１のカメラ１０から見た対象物４０の距離である。【００４３】
Ｘ３＝ｘ’’／ｆ×Ｒ３・・・（５ａ）
θ３＝ｙ’’／ｆ×Ｒ３・・・（５ｂ）
Ｒ３＝ｂ×ｆ／ｄ’’・・・（５ｃ）
上記式（５ａ）〜（５ｃ）中、「ｘ’’」と「ｙ’’」は補正工程後の座標値であり、「ｄ’’」は第１の画像４３と第２の画像４４との位置ずれ量である。【００４４】
当該円筒座標［Ｘ３，θ３，Ｒ３］を通常の直交座標［Ｘ４，Ｙ４，Ｚ４］で表現する場合には（図３参照）、各座標値を下記式（６ａ）〜（６ｃ）に従って算出する。下記式（６ｃ）中の「Ｚ４」は直交座標系での第１のカメラ１０から見た対象物４０の距離である。【００４５】
Ｘ４＝Ｘ３・・・（６ａ）
Ｙ４＝Ｒ３×ｃｏｓθ３・・・（６ｂ）
Ｚ４＝Ｒ３×ｓｉｎθ３・・・（６ｃ）
なお、上記式（６ｂ）、（６ｃ）中の「θ３」は上記式（５ｂ）から誘導される値であるが、これは円筒座標系での第１のカメラ１０から見た対象物４０の角度である。【００４６】
以上の第２の実施形態でも、平行化工程で第１、第２の画像４３、４４のエピポーララインＥＰを一致させるから、背景技術の項目で説明した通りに上記利点１、２を奏することができる。更に、補正工程で第１、第２の画像４３、４４の歪みを補正するから、特性の変換がなされても、第１、第２の画像４３、４４において中心部が縮小されたり側縁部が拡大されたりするのを防止することができる。以上から、上記利点１、２を維持しながら立体的に空間把握可能な広角画像を取得することができる。【００４７】
なお、本発明は第１、第２の実施形態に限定されることなく、本発明の主旨を逸脱しない範囲において種々の改良及び設計変更をおこなってもよい。【００４８】
当該改良・設計変更事項として、第１、第２のカメラ１０、２０において、第１、第２のレンズ１１、２１といった光学系を用いる以上は歪みが必ず発生し、完全なｆθ特性やｆｔａｎθ特性を有しないため、補正工程では円筒面状の撮像面に投影するのに加えて公知の歪み補正を行ってもよく、これに加えて公知の手法により第１、第２の画像４１〜４４を拡大・縮小してもよい。
【図２】
2008053649.tif 000005
【図４】
2008053649.tif 000006
【図１】
2008053649.tif 000007
【図３】
2008053649.tif 000008
【図５】
2008053649.tif 000009
【図６】
2008053649.tif 000010
【図７】
2008053649.tif 000011
【国際調査報告】
2008053649.tif 000012
2008053649.tif 000013