(57)【要約】【課題】複数の２次元画像から、鮮明な３次元画像を生成する。【解決手段】本発明の画像処理装置１０は、２次元の画像を撮影する撮像手段１１と、複数の２次元画像１５から３次元画像１６を生成する画像生成手段１２を具備している。画像生成手段１２は、マトリックス状に配置された複数のレンズ等から成るユニットＵを具備しているので、このユニットＵの数に対応した２次元画像を取得することができる。また、各ユニットＵ同士の相対的な位置は極めて正確に事前に把握することができるので、３次元位置を算出するための計算を正確に且つ容易に行うことができる。【選択図】図１
2006305332.tif 000002
【特許請求の範囲】
【請求項１】
同一平面上の異なる位置にマトリックス状に配置された複数のユニットを具備し、複数の２次元画像を取得する撮像手段と、
前記複数の２次元画像を統合して３次元画像を生成する画像生成手段とを具備することを特徴とする画像処理装置。
【請求項２】
前記画像生成手段では、照度差ステレオ法により前記３次元画像を生成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像生成手段では、相互相関係数を算出することにより前記２次元画像どうしの対応点を検出することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記ユニットは、１つのレンズと、前記レンズの下方に配置された撮像素子から成ることを特徴とする請求項１記載の画像処理装置。
【請求項５】
体腔内に挿入される細長い挿入部を有する内視鏡に於いて、
前記挿入部に設けられて、同一平面上の異なる位置にマトリックス状に配置された複数のユニットを具備し、複数の２次元画像を取得する撮像手段と、
前記複数の２次元画像を統合して３次元画像を生成する画像生成手段とを具備することを特徴とする内視鏡。
【請求項６】
前記画像生成手段では、照度差ステレオ法により前記３次元画像を生成することを特徴とする請求項５記載の内視鏡。
【請求項７】
前記画像生成手段では、相互相関係数を算出することにより前記２次元画像どうしの対応点を検出することを特徴とする請求項５記載の内視鏡。
【請求項８】
前記ユニットは、１つのレンズと、前記レンズの下方に配置された撮像素子から成ることを特徴とする請求項５記載の内視鏡。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置およびそれを用いた内視鏡に関し、特に、複数の２次元画像から３次元画像を高精度に生成する画像処理装置およびそれを用いた内視鏡に関する。
【背景技術】
【０００２】
３次元の画像を得る方法として、２つ以上の視点に配置されたカメラから２次元画像を撮影し、これらの画像の視差を用いて３次元の画像を生成する方法がある（下記非特許文献１を参照。）。この方法では、３次元の画像を生成するために、２次元画像の複数の対応点を対応づけする必要がある。
【０００３】
上記対応付けの具体的な方法としては、相関法による方法と、評価関数による方法とがある。
【０００４】
相関法による対応付けの方法では、２次元画像の局所的なパターンを比較することにより、対応付けを行う。具体的には、先ず、一方の２次元画像の一点に付き所定の画素数から成るウィンドウを設定する。そして、他方の２次元画像の中のウィンドウの類似度を計測して、最も類似度が高いウィンドウに対応する一点を対応とする。
【０００５】
評価関数による対応づけの方法は、相関法により対応が見つからない画素について適用させることができる。この方法では、評価関数を定義して、この関数を最小化することにより視差を得ることができる。評価関数を用いることにより、明るさのパターンだけでは対応が決まらない画素についても、視差を与えることができる。
【０００６】
一方、医療の分野では内視鏡が多用されており、特に近年では、患者に負担の少ない内視鏡外科手術が行われるようになってきた。内視鏡の先端部にはＣＣＤカメラ等の撮像手段が設けられており、ＣＣＤカメラにより取得された画像データは、モニタに映し出される。使用者である医師は、モニタに映し出される画像を確認しつつ、内視鏡を操作していた。
【非特許文献１】徐  剛、３次元ビジョン、共立出版、ｐ９５−ｐ１０３
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した３次元画像の生成方法では、基となる２次元画像の画素数が十分でなく粗い画像である場合、画素の対応が発見困難になることがあった。従って、生成される３次元画像の位置精度が低下し、鮮明な３次元画像を得るのが困難である問題があった。また、異なる位置に配置されたカメラを用いて撮影していたので、カメラの位置を正確に把握することが困難であり、再現性の高い３次元画像を得るのが困難である問題もあった。
【０００８】
また、従来の内視鏡により取得される画像は２次元の画像であり、更に画像が粗く視野が狭い。従って、内視鏡により得られる画像から、人体内部の状況を詳細に知ることは困難であった。このことにより、内視鏡を使用する医師が過度に疲労したり、医療事故を発生させる原因となっていた。ここで、内視鏡の先端部に複数のカメラを設けると、３次元の画像を取得することが可能である。しかしながら、直径が１ｃｍ程度の細い内視鏡の先端部に、多数個の高性能なカメラを設けることは非常に困難であった。
【０００９】
本発明は、上記問題を鑑みて成されたものである。本発明の主たる目的は、複数の２次元の画像から鮮明な３次元画像を取得可能な画像処理装置およびそれを用いた内視鏡を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、同一平面上の異なる位置にマトリックス状に配置された複数のユニットを具備し、複数の２次元画像を取得する撮像手段と、前記複数の２次元画像を統合して３次元画像を生成する画像生成手段とを具備することを特徴とする。
【００１１】
更に、本発明の画像処理装置では、前記画像生成手段では、照度差ステレオ法により前記３次元画像を生成することを特徴とする。
【００１２】
更に、本発明の画像処理装置では、前記画像生成手段では、相互相関係数を算出することにより前記２次元画像どうしの対応点を検出することを特徴とする。
【００１３】
更に、本発明の画像処理装置では、前記ユニットは、１つのレンズと、前記レンズの下方に配置された撮像素子から成ることを特徴とする。
【００１４】
本発明の内視鏡は、体腔内に挿入される細長い挿入部を有する内視鏡に於いて、前記挿入部に設けられて、同一平面上の異なる位置にマトリックス状に配置された複数のユニットを具備し、複数の２次元画像を取得する撮像手段と、前記複数の２次元画像を統合して３次元画像を生成する画像生成手段とを具備することを特徴とする。
【００１５】
更に、本発明の内視鏡では、前記画像生成手段では、照度差ステレオ法により前記３次元画像を生成することを特徴とする。
【００１６】
更に、本発明の内視鏡では、前記画像生成手段では、相互相関係数を算出することにより前記２次元画像どうしの対応点を検出することを特徴とする。
【００１７】
更に、本発明の内視鏡では、前記ユニットは、１つのレンズと、前記レンズの下方に配置された撮像素子から成ることを特徴とする。
【発明の効果】
【００１８】
本発明の画像処理装置に依れば、平面的に多数のユニットが配置された撮像手段により得られた２次元画像を基に、３次元画像を生成している。従って、各ユニットの相対的な位置関係を極めて正確に把握できることから、生成される３次元画像を精密化させることができる。
【００１９】
また、本発明の内視鏡に依れば、より鮮明な３次元の画像を得られるので、内視鏡を使用する医師へ与える負担を軽減させ、更に、医療事故の発生を防ぐことができる。
【発明を実施するための最良の形態】
【００２０】
以下、図を参照して本発明の実施の形態を説明する。
【００２１】
＜第１の実施の形態＞
ここでは、画像処理装置およびそれを用いた内視鏡の構成および動作を説明する。
【００２２】
図１を参照して、本発明の画像処理装置１０は、複数の２次元画像を取得する撮像手段１１と、複数の２次元画像から３次元画像を生成する画像生成手段１２を具備する。
【００２３】
撮像手段１１は、ＣＣＤ（Ｃｈａｒｇｅｄ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等の個体撮像素子を採用することができる。ここでは、複数のユニットを具備する撮像手段１１が用意され、複数（例えば数百個）の２次元画像１５Ａ、１５Ｂ、１５Ｃが取得される。撮像手段１１は、平面的にマトリックス状にユニットが配置されている。従って、同一の被写体を同時に撮像手段１１にて撮影すると、個々のユニットにより得られる２次元画像は図柄が若干異なっている（ずれている）。ユニットの詳細は後述する。
【００２４】
画像生成手段１２は、撮像手段１１により撮影された複数の２次元画像から３次元画像１６を生成する。上記したように、平面的に異なる位置に配置された複数のユニットを有する撮像手段１１にて撮影された個々の２次元画像は、各々の図柄が若干異なっている。本実施の形態では、この性質を利用して複数の２次元画像から３次元画像１６を生成している。撮像手段１１により得られる２次元画像の画素数が十分でない場合、３次元画像の３次元位置精度が十分で無い場合もある。本実施の形態では、１つの基板上に規則性を持って配設されたユニットを用いることで、３次元画像の位置の算出を容易にし、更に、計算精度を高くしている。ここでは、３次元モデルとして３角形のメッシュ格子を用いる。
【００２５】
本形態では、画像生成手段１２等の画像を処理する手段は、例えばＬＳＩ等の半導体素子またはソフトウェアにより実現される。
【００２６】
ここで、複数の２次元画像から３次元画像を生成する方法としては、例えば照度差ステレオ法やマルチベースラインステレオ法が挙げられる。本形態では、照度差ステレオ法を採用し、この方法を用いたシミュレーション結果は後述する。また、２次元の画像同士の相対的な位置を検出する方法として、本形態では相互相関係数を算出する手法を採用しているが、この手法の詳細に関しても詳述する。
【００２７】
図２（Ａ）を参照して、本実施の形態にて撮像手段として利用可能な画像入力装置２０の構成を説明する。画像入力装置２０は、受光素子アレイ２３と、この受光素子アレイ２３の上部に配置された隔壁層２６およびレンズアレイ２１とから成る。
【００２８】
受光素子アレイ２３の表面は、ＣＣＤまたはＣＭＯＳから成る受光素子２７がマトリックス状に配置されている。
【００２９】
隔壁層２６は、格子状に組み合わされた隔壁２５からなり、受光素子にノイズが侵入することを防止する機能を有する。隔壁２５は、受光素子アレイ２３からレンズアレイ２１に至るまで形成されている。
【００３０】
レンズアレイ２１は、マトリックス状に配置された複数個のレンズ２４からなり、各レンズ２４は、隔壁層２６の上部に固着されている。
【００３１】
レンズアレイ２１の微小なレンズ２４に対して、受光素子アレイ２３の複数の受光素子２７が対応している。更に、隔壁層２６の１格子部分は１つのレンズ２４に対応している。そして、鎖線による角柱で示すように、１つのレンズ２４、１格子部分の隔壁２５およびその下方に位置する受光素子２７により、１つの信号処理単位であるユニットＵが構成されている。１つのユニットＵにより１つの２次元画像が取得可能である。画像入力装置２０では、例えば６００個程度のユニットＵが形成される。従って、画像入力装置２０は、同時に例えば６００個の２次元画像が取得可能である。また、１つのユニットＵ当たり、４００個程度のＣＣＤ素子を有する。
【００３２】
画像入力装置２０の具体的な平面的大きさは、例えば８ｍｍ×７ｍｍ程度である。そして、ユニットＵは、約２００μｍピッチにて６００個程度が配置される。
【００３３】
本実施の形態では、非常に高いレンズ２４（ユニットＵ）同士の相対的な位置精度を用いている。従って、位置精度に優れた３次元画像を得ることができる。
【００３４】
従来に於いては、例えば、スタジオ内に配置された２〜３台程度のカメラを用いて３次元の画像が生成されていた。しかしながら、この方法であると、３次元画像を算出するために、カメラ同士の位置やカメラの角度等を計測する必要があり、更に、３次元画像の位置の算出も煩雑であった。本形態では、上述したように各ユニットＵの撮像素子は、半導体製造工程により、極めて高い位置精度で作り込まれている。従って、各ユニットの相対的な位置関係は基本的に不変であり、個別に計測する必要がない。各要素の設計値をそのまま、３次元位置の算出に用いることができる。このことが、得られる３次元画像を鮮明なものとし、計算にかかるコストを低減させている。
【００３５】
図２（Ｂ）を参照して、上記した画像入力装置２０が組み込まれた内視鏡の構成を説明する。ここでは、人体の体膣内に挿入される細長い挿入部２８の先端部側面に画像入力装置２０が設けられている。具体的には、挿入部２８の先端部の側面に、多数個のユニットが平面的に設けられた画像入力装置２０が固着されている。また、挿入部２８の先端部の他の部分には、画像入力装置２０に接近して、ＬＥＤ等の発光素子から成る発光部２９が設けられている。
【００３６】
上記構成の内視鏡の使用方法は例えば次の通りである。先ず、使用者である医者が、内視鏡の細長い挿入部２８を、患者の食道等の体膣内に挿入する。次に、発光部２９から体膣内に光を照射し、体膣の内壁により反射した光を画像入力装置２０で撮影する。画像入力装置２０に備えられた多数個のユニットＵにより、数百個の２次元画像が取得され、これらの２次元画像を組み合わせて精密な３次元画像が生成される。この３次元の画像は、外部に配置されたテレビ等のモニタにほぼリアルタイム（同時）に映し出される。使用者である医者は、映し出される３次元画像により、患者の体膣の状態を正確に知ることができる。更に、この３次元画像を確認しつつ、手術を行うこともできる。
【００３７】
次に、図３および図４を参照して、上述した構成の画像処理装置１０を用いて生成された３次元画像を紹介する。
【００３８】
図３には、異なる視点から撮影された２次元画像１５Ａ、１５Ｂ、１５Ｃが示されている。ここでは、地表を上空から撮影した２次元画像が一例として表示されている。各々の２次元画像１５は、異なる視点から撮影されているので、それらの図柄は若干異なっている。本実施の形態では、図２（Ａ）に構造を示した数百個のユニットＵの各々から、２次元画像１５を得ることができる。
【００３９】
図４を参照して、上記した多数個の２次元画像１５を元に、３次元画像１６を生成する。ここでは、２次元画像の特徴点を抽出して対応づけを行い、照度差ステレオ法等により被写体の３次元的な位置を算出する方法により、３次元画像１６を生成することができる。上述したように、本形態では、一平面上にユニットを密集して配置させた撮像手段を用いるので、比較的高精度な３次元の画像を生成することができる。３次元画像の生成方法は、上述したように、照度差ステレオ法やマルチベースラインステレオ法が考えられるが、本形態では照度差ステレオ法を用いている。この方法の詳細およびシミュレーション結果は、後述する。
【００４０】
本実施の形態では、図４に示すように、３次元画像の表面形状モデルとして、３角形のメッシュ格子を用いる。３角形のメッシュ格子では、メッシュの頂点の値が高さ方向の情報となり、３次元座標位置を表現している。
【００４１】
＜第２の実施の形態＞
本形態では、照度差ステレオ法を用いて複数の２次元画像から３次元画像を生成する方法を、シミュレーション結果と共に説明する。
【００４２】
先ず、図５を参照して、本実施の形態では、物体の表面特性モデルとしてランベルトモデルを採用している。ランベルトモデルとは、凹凸のない滑らかな表面を持つ物体に於ける拡散反射を表面するために記述されたものである。
【００４３】
ここで、被写体である物体表面の高さをｚ＝ｈ（ｘ、ｙ）とすると、被写体である物体表面の法線ベクトルｎｖ＝（ａｖ、ｂｖ、ｃｖ）は下記式（１）で与えられる。
【００４４】
【数１】
2006305332.tif 000003
また、光源から被写体３２の表面に向かう入射光量をΘ０、入射光ベクトルをｎ１＝（ａ１、ｂ１、ｃ１）とすると、被写体３２の表面が完全拡散特性を持つ場合のレンズ２４Ａへの入射光量Θ１は、下記式（２）で与えられる。
【００４５】
【数２】
2006305332.tif 000004
同様に、レンズ２４Ａに隣接するレンズ２４Ｂへの入射光量Θ２は、入射ベクトルをｎ２＝（ａ２、ｂ２、ｃ２）とすると、下記式（３）で与えられる。
【００４６】
【数３】
2006305332.tif 000005
上記式（２）および式（３）により、被写体の法線ベクトルａｖおよびｂｖを求めることができ、高さ方向のデータを得ることができる。
【００４７】
即ち、本形態では、隣接する２つのレンズ２４Ａおよび２４Ｂに入射する入射光から、被写体３２の表面の法線ベクトル（高さ方向のデータ）が得られる。従って、２次元画像の個数に応じて、高さ方向のデータを得ることができる。このことから、ユニットの個数に応じた数百個の３次元画像を取得して、これらを用いて精度を高めることが可能である。
【００４８】
ここで、被写体３２の３次元的な位置を算出するためには、隣接するレンズ同士の相対的な位置が正確に把握されることが好ましい。本形態では、図２を参照して、１枚の半導体基板上に、隔壁層２６およびレンズ２４を作り込むことにより画像入力装置を構成している。従って、隣接するレンズ同士の相対的な位置は、極めて高精度に算出可能であり、不変であるので、被写体の３次元位置を極めて正確に算出することができる。
【００４９】
次に、図６を参照して、２枚の２次元画像の位置合わせを行う方法（相関解析法）を説明する。２枚の２次元画像から３次元画像を生成するためには、画像同士の対応している箇所を特定する必要がある。この方法としては数々の方法が提案されているが、本形態では精度が高い相関解析法を用いている。
【００５０】
図６に示すように、相関解析法（ステレオ画像法）では、２枚の２次元画像の中のある限定した範囲（ｎｘ×ｎｙ）を設定し、この範囲に於いて下記式（４）に示す相互相関係数ρを求める。
【００５１】
【数４】
2006305332.tif 000006
次に、片方の画像を１画素移動させて、再度、相互相関係数ρを求める。これを縦横方向に行い、得られた相関係数が最大となる点を求めれば、これが２枚の画像で同一場所を示す対応点となる。上記式４を全ての画素について計算することにより、２枚の画像の各画素の対応点を求めることができる。
【００５２】
＜第３の実施の形態＞
図７および図８を参照して、次に、上記した照度差ステレオ法を用いて生成された３次元画像の精度を確認するために行った実験結果を説明する。図７は実験の概要を示す図であり、図８（Ａ）は実験結果を示す表であり、図８（Ｂ）は実験結果を示すグラフである。本実験では、球状のボールを被写体３２として、この被写体３２の形状が本発明の画像装置によりどの程度再現されるかを確認した。
【００５３】
図７を参照して、先ず、実験の条件を説明する。ボールである被写体３２は、原点（０、０、０）に載置した。そして、撮像モジュール３０（上記した画像撮像装置２０）は、不図示のレンズを被写体３２に向けた状態で（０、０、２０）に載置した。更に、光源であるライト３１は、（１０、２．５、２０）に配置される。
【００５４】
上記のように各装置を配置した後は、ライト３１により照射された被写体３２を撮像モジュール３０により撮影する。このことにより、撮像モジュール３０により例えば数百個の２次元の画像が得られる。本実験では、先ず、多数個の２次元の画像から、隣接するユニットにより得られた２つの２次元の画像を取りだす。次に、取り出した２つの画像をモノクロ化した後に、形状抽出点の輝度を測定する。更に、照度差ステレオ法を用いて３次元形状を抽出する。
【００５５】
図８（Ａ）に形状抽出結果の一部を示す。この結果から、傾斜の急な部分（例えば、Ｘ座標が０であり、Ｙ座標が１．８７５である地点）で、誤差率が大きくなっている。この原因は、急な斜面では画像が粗く、輝度が高精度で得られないのが原因であると思われる。
【００５６】
図８（Ｂ）は形状抽出データをグラフ化したものである。線の交わっている点が、今回の形状抽出を行った点である。形状抽出により算出された点同士は、直線により補われている。点同士の間の距離が長いため、粗い形状となっているが、ボールの立体感が見える。このグラフが略半球形状と成っているのは、被写体であるボールの半球のみが撮影されるからである。
【００５７】
以上の実験から、本形態の撮像モジュール３０を用いることにより、被写体の３次元形状が忠実に再現された３次元画像を生成可能なことが明らかになった。
【００５８】
＜その他の実施の形態＞
３次元画像を生成する本形態の画像処理装置には、例えば以下の手段を付加しても良い。
【００５９】
例えば、画像生成手段１２により得られた３次元画像を補正する画像補正手段を付加しても良い。この画像補正手段では、先ず、画像生成手段１２により得られた３次元画像１６を、個々の２次元画像１５Ａ、１５Ｂ、１５Ｃに投影する。次に、ランベルトモデル等を用いて、２次元画像１５Ａ、１５Ｂ、１５Ｃの画素情報（輝度）を基に法線ベクトルを算出し、３次元画像１６の３次元位置を補正して、補正された複数の３次元画像を生成する。ここでは、２次元画像の数（例えば数百個）と同じ数の補正された３次元画像が生成される。
【００６０】
更に、上記のように補正された３次元画像を統合する手段を設けても良い。具体的には、補正された複数の３次元画像を統合して、１つの３次元画像を生成する。更に、この統合を行う際に、最適化手段（ベイズ推定）により３次元位置情報の最適化を行うと、得られる３次元画像の位置精度を更に向上させることができる。
【産業上の利用可能性】
【００６１】
本発明の画像処理装置は、例えば、立体映像装置、画像入力装置、立体内視鏡等の医療装置、小型ロボットの目等のロボット等に適用することが可能である。
【図面の簡単な説明】
【００６２】
【図１】本発明の画像処理装置の構成を示す図である。
【図２】（Ａ）は本発明の画像処理装置に適用可能な画像入力装置を示す斜視図であり、（Ｂ）は本発明の内視鏡を示す斜視図である。
【図３】本発明の画像処理装置にて処理される２次元画像を示す図である。
【図４】本発明の画像処理装置にて、複数の２次元画像を用いて生成された３次元画像を示す図である。
【図５】本発明の画像処理装置にて画像を処理する方法を示す図であり、被写体の３次元位置を求める原理を示す図である。
【図６】本発明の２次元画像の対応点検索方法を示す図である。
【図７】本発明の画像処理装置を用いて行った実験の概要を示す図である。
【図８】本発明の画像処理装置を用いて行った実験の結果を示す図であり、（Ａ）は結果を示す表であり、（Ｂ）はそれをグラフ化したものである。
【符号の説明】
【００６３】
１０            画像処理装置
１１            撮像手段
１２            画像生成手段
１５Ａ〜１５Ｃ  ２次元画像
１６            ３次元画像
２０            画像入力装置
２１            レンズアレイ
２３            受光素子アレイ
２４            レンズ
２４Ａ、２４Ｂ  レンズ
２５            隔壁
２６            隔壁層
２７            受光素子
２８            挿入部
２９            発光部
３０            撮像モジュール
３１            ライト
３２            被写体
Ｕ              ユニット
【図１】
2006305332.tif 000007
【図２】
2006305332.tif 000008
【図４】
2006305332.tif 000009
【図５】
2006305332.tif 000010
【図６】
2006305332.tif 000011
【図７】
2006305332.tif 000012
【図８】
2006305332.tif 000013
【図３】
2006305332.tif 000014