(57)【要約】【目的】斜視内視鏡に対応した拡張現実感手術支援システムを実現化できるようにする。【解決手段】斜視内視鏡装置１は、斜視内視鏡１０と画像処理装置２０と画像表示装置３０を備えてなる。斜視内視鏡１０は、撮像面を備えたカメラ部１１と、硬性の挿入部１２とを備えている。挿入部１２は軸線ＬＷを回転軸として、カメラ部１１に対して回転可能に構成されており、その先端面１２ａには、その光軸ＬＣが軸線ＬＷに対して傾斜する観察窓１３が設けられている。斜視内視鏡装置１は、斜視内視鏡用画像処理システムを備えており、この斜視内視鏡用画像処理システムは、世界座標系から画像座標系への変換を決定する投影モデルを有している。【選択図】      図１
2004173972.tif 000002
【特許請求の範囲】
【請求項１】
体腔内に挿入される直線状に延びた挿入部と、該挿入部の先端面に設けられた観察窓と、観察対象の画像が撮像される撮像面とを備え、前記観察窓の光軸が前記挿入部の軸線に対して傾斜し、かつ前記挿入部が前記撮像面に対して、前記軸線を回転軸として相対的に回転可能に構成された斜視内視鏡において、該斜視内視鏡により得られた画像を処理する斜視内視鏡用画像処理システムであって、
前記斜視内視鏡の外部空間に設定された世界座標系から前記観察窓に設定されたカメラ座標系への変換を決定する外部パラメータＴを、下式（１）によって規定したことを特徴とする斜視内視鏡用画像処理システム。
Ｔ＝Ｔ０ＴＲｏｔＣ（−θ，ｎＣ，ｃＣ）ＴＲｏｔＷ（θ，ｎｗ，ｃｗ）……（１）
ここで、ｎｗは、前記世界座標系において前記軸線の方向を規定するベクトル、ｃｗは、前記世界座標系において前記軸線の通過位置を規定するベクトル、ｎＣは、前記カメラ座標系において前記光軸の方向を規定するベクトル、ｃＣは、前記カメラ座標系において前記光軸の通過位置を規定するベクトル、θは、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転するときの回転角、Ｔ０は、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転していないときの、前記世界座標系から前記カメラ座標系への対応を表す変換、ＴＲｏｔＷは、前記世界座標系において、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転するときの該回転を表す変換、ＴＲｏｔＣは、前記カメラ座標系内の回転補正を表す変換、をそれぞれ示している。
【請求項２】
前記世界座標系から前記撮像面に設定された画像座標系への変換を決定する投影モデルを備え、該投影モデルは、前記斜視内視鏡に固有の内部パラメータＭと前記外部パラメータＴとを用いて、下式（２）で規定されていることを特徴とする請求項１記載の斜視内視鏡用画像処理システム。
ｓｉＣ＝ＭＴｐＷ……（２）
ここで、ｐＷは、前記世界座標系上の点の位置を表すベクトル、ｉＣは、前記画像座標系上の点の位置を表すベクトル、ｓは所定のスカラー、をそれぞれ示している。
【請求項３】
体腔内に挿入される直線状に延びた挿入部と、該挿入部の先端面に設けられた観察窓と、観察対象の画像が撮像される撮像面とを備え、前記観察窓の光軸が前記挿入部の軸線に対して傾斜し、かつ前記挿入部が前記撮像面に対して、前記軸線を回転軸として相対的に回転可能に構成された斜視内視鏡と、請求項１または２記載の斜視内視鏡用画像処理システムとを備えてなることを特徴とする斜視内視鏡装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、斜視内視鏡によって得られた画像を処理するための斜視内視鏡用画像処理システムおよびこれを備えた斜視内視鏡装置に関するものである。
【０００２】
【従来の技術】
低浸襲性に優れた内視鏡手術に関しては、これまで種々の拡張現実感手術支援システムが開発され開示されている（下記非特許文献１〜６参照）。
本願発明者らも、３次元超音波画像を用いた拡張現実感腹腔鏡手術支援システムを開発し、これを開示している（下記非特許文献１３参照）。
【０００３】
これらの手術支援システムは、直視内視鏡（観察窓の光軸が挿入部の軸線と一致している、正面を見る内視鏡）を対象としたシステムであるが、内視鏡手術では、広い視野を確保するために、斜視内視鏡（観察窓の光軸が挿入部の軸線に対して傾斜している、斜め方向を見る内視鏡）が用いられることが多い。
【０００４】
斜視内視鏡では、広い視野を確保できるように、広角レンズやスィングプリズムを組み合わせて用いるなどの光学的な工夫が行なわれている。このような光学的工夫がなされた斜視鏡に対応して、拡張現実感手術支援システムを実現するためには、世界座標系（３次元空間に設定された基準となる座標系）から画像座標系（斜視内視鏡に備えられたＣＣＤ等の撮像面等に設定された座標系）への変換を決定する投影モデルや、その投影モデルにおいて必要となる、世界座標系からカメラ座標系への変換を決定する外部パラメータや、斜視内視鏡に固有の内部パラメータのモデル、およびそれらを推定する手法が必要となる。内部パラメータに関しては、直視内視鏡用のモデルを適用することが可能であり、またその推定に関しても、従来提案されている手法（例えば、下記非特許文献１１，１２参照）を用いることが可能である。しかし、外部パラメータに関しては、これまで斜視内視鏡に対応し得るモデルが提案されておらず、このためその推定方法も提案されていなかった。このような事情により、従来、斜視内視鏡に対応した投影モデルは知られていなかった。
【０００５】
なお、広角レンズの歪パラメータの推定に関しては、すでに多くの高精度な手法が提案されている（下記非特許文献８〜１０参照）。また、斜視内視鏡の研究においても、斜視内視鏡の運動速度を一定にするという条件に、各々の運動位置の視野を合成して擬似広角化するという手法が提案されている（下記非特許文献７参照）。しかし、斜視内視鏡に対応した拡張現実感手術支援システムに適用し得るものではなかった。
【０００６】
【非特許文献１】
Ｄ．Ｄｅｙ，Ｄ．Ｇｏｂｂｉ，Ｐ．Ｓｌｏｍｋａ，Ｋ．Ｊ．Ｍ．Ｓｕｒｒｙ，ａｎｄ  Ｔ．Ｍ．Ｐｅｔｅｒｓ，“Ａｕｔｏｍａｔｉｃ  ｆｕｓｉｏｎ  ｏｆ  ｆｒｅｅｈａｎｄ  ｅｎｄｏｓｃｏｐｉｃ  ｂｒａｉｎ  ｉｍａｇｅｓ  ｔｏ  ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  ｓｕｒｆａｃｅｓ：ｃｒｅａｔｉｎｇ  ｓｔｅｒｅｏｓｃｏｐｉｃ  ｐａｎｏｒａｍａｓ．”，ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，Ｖｏｌ．  ２１，ｐｐ．２３−３０，２００２．
【０００７】
【非特許文献２】
Ｊ．Ｈｅｌｆｅｒｔｙ，Ｃ．Ｚｈａｎｇ，Ｇ．ＭｃＬｅｎｎａｎ，ａｎｄ  Ｗ．Ｈｉｇｇｉｎｓ，“Ｖｉｄｅｏｅｎｄｏｓｃｏｐｉｃ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ａｎｄ  ｉｔｓ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｖｉｒｔｕａｌ  ｇｕｉｄａｎｃｅ  ｏｆ  ｅｎｄｏｓｃｏｐｙ”，ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，Ｖｏｌ．２０，ｐｐ．６０５−６１６，２００２．
【０００８】
【非特許文献３】
Ｓ．Ｄ．Ｂｕｃｋ  ｅｔ  ａｌ．，“Ａ  ｓｙｓｔｅｍ  ｔｏ  Ｓｕｐｐｏｒｔ  ｌａｐａｒｏｓｃｏｐｉｃ  Ｓｕｒｇｅｒｙｂｙ  ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ  ｖｉｓｕａｌｉｚａｔｉｏｎ．”Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，２００１，Ｐｒｏｃｅｅｄｉｎｇｓ，  ＭＩＣＣＡＩ，ｐｐ．６９１−６９８
【０００９】
【非特許文献４】
Ｒ．Ｋｈａｄｅｍ  ｅｔ  ａｌ．，“Ｅｎｄｏｓｃｏｐｅ  ｃａｌｉｂｒａｔｉｏｎ  ａｎｄ  ａｃｃｕｒａｃｙ  ｔｅｓｔｉｎｇｆｏｒ  ３Ｄ／２Ｄ  ｉｍａｇｅ  ｒｇｉｓｔｒａｔｉｏｎ．”Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，２００１，Ｐｒｏｃｅｅｄｉｎｇｓ，  ＭＩＣＣＡＩ，ｐｐ．１３６１−１３６５
【００１０】
【非特許文献５】
Ｐ．Ｊ．Ｅｄｗａｒｄｓ，Ａ．Ｐ．Ｋｉｎｇ，Ｃ．Ｒ．Ｍａｕｒｅｒ，Ｄ．Ａ．ｄｅ  Ｃｕｎｈａ，Ｄ．Ｊ．Ｈａｗｋｅｒｓ，Ｄ．Ｌ．Ｇ．  Ｈｉｌｌ，Ｒ．Ｐ．Ｇａｓｔｉｏｎ，Ｍ．Ｒ．Ｆｅｎｌｏｎ，Ａ．Ｊ．ｕｓｃｚｙｚｃｋ，Ａ．Ｊ．Ｓｔｒｏｎｇ，Ｃ．Ｌ．Ｃｈａｎｄｌｅｒ，ａｎｄ  Ｍ．Ｊ．Ｇｌｅｅｓｏｎ，“Ｄｅｓｉｇｎ  ａｎｄ  Ｅｖａｌｕａｔｉｏｎ  ｏｆ  ａ  ｓｙｓｔｅｍ  ｆｏｒ  ｍｉｃｒｏｓｃｏｐｅ−ａｓｓｉｓｔｅｄ  ｇｕｉｄｅｄ  ｉｎｔｅｒｖｅｎｔｉｏｎｓ（ＭＡＧＩ）”
【００１１】
【非特許文献６】
Ｊ．Ｄ．Ｓｔｅｆａｎｓｉｃ，Ａ．Ｊ．Ｈｅｒｌｉｎｅ，Ｙ．Ｓｈｙｒ，Ｗ．Ｃ．Ｃｈａｍａｎ，Ｊ．Ｍ．Ｆｉｔｚｐａｔｒｉｃｋ，Ｂ．Ｍ．  Ｄａｗａｎｔ，ａｎｄ  Ｒ．Ｌ．Ｇａｌｌｏｗａｙ，“Ｒｅｇｉｓｔｒａｔｉｏｎ  ｏｆ  ｐｈｙｓｉｃａｌ  ｓｐａｃｅ  ｔｏ  ｌａｐａｒｏｓｃｏｐｉｃ  ｉｍａｇｅ  ｓｐａｃｅ  ｆｏｒ  ｕｓｅ  ｉｎ  ｍｉｎｉｍａｌｌｙ  ｉｎｖａｓｉｖｅ  ｈｅｐａｔｉｃ  ｓｕｒｇｅｒｙ”，ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．２０，ｐｐ．１０１２−１０２３，２０００．
【００１２】
【非特許文献７】
Ｈ．Ｙａｍａｕｃｈｉ  ｅｔ  ａｌ．，“「記憶する内視鏡」による内視鏡視野の擬似広角化”，Ｊ．ＪＳＣＡＳ，ｖｏｌ．２，ｎｏ．２，ｐｐ．６２−６８，２０００．
【００１３】
【非特許文献８】
Ｈ．Ｈａｎｅｉｓｈｉ，Ｙ．Ｙａｇｉｈａｓｈｉ，ａｎｄ  Ｙ．Ｍｉｙａｋｅ“Ａ  Ｎｅｗ  ｍｅｔｈｏｄ  ｆｏｒ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｏｆ  ｅｌｅｃｔｒｏｎｉｃ  ｅｎｄｏｓｃｏｐｉｃ  ｉｍａｇｅｓ”．ＩＥＥＥ  Ｔｒａｎｓ．  Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．１４，Ｎｏ．３，ｐｐ．５４８−５５５，１９９５．
【００１４】
【非特許文献９】
Ｋ．Ｖｉｊａｙａｎ  ｅｔ  ａｌ．，“Ａ  ｎｅｗ  ａｐｐｒｏａｃｈ  ｆｏｒ  ｎｏｎｌｉｎｅａｒ  ｄｉｓｔｏｒｔｉｏｎｃｏｒｒｅｃｔｉｏｎ  ｉｎ  ｅｎｄｏｓｃｏｐｉｃ  ｉｍａｇｅｓ  ｂａｓｅｄ  ｏｎ  ｌｅａｓｔ  ｓｑｕａｒｅｓ  ｅｓｔｉｍａｔｉｏｎ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．１８，ｐｐ．３４５−３５４，１９９５．
【００１５】
【非特許文献１０】
Ｗ．Ｅ．Ｓｍｉｔｈ  ｅｔ  ａｌ．，“Ｃｏｒｒｅｃｔｉｏｎ  ｏｆ  ｄｉｓｔｏｒｔｉｏｎ  ｉｎ  ｅｎｄｏｓｃｏｐｉｃ  ｉｍａｇｅｓ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．１１，ｐｐ．１１７−１２２，１９９２．
【００１６】
【非特許文献１１】
Ｗａｎｇ  ａｎｄ  Ｗ．Ｈ．Ｔｓａｉ，“Ｃａｍｅｒａ  ｃａｌｉｂｒａｔｉｏｎ  ｂｙ  ｖａｎｉｓｈｉｎｇ  ｌｉｎｅｓ  ｆｏｒ  ３−Ｄ  ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ”，ＩＥＥＥ  Ｔｒａｎｓ．ＰＡＭＩ，ｖｏｌ．１３，ｎｏ．４，ｐｐ．３７０−３７６，  １９９１．
【００１７】
【非特許文献１２】
Ｒ．Ｙ．Ｔｓａｉ，“Ａ  ｖｅｒｓａｔｉｌｅ  ｃａｍｅｒａ  ｃａｌｉｂｒａｔｉｏｎ  ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  ｈｉｇｈ−ａｃｃｕｒａｃｙ  ３−Ｄ  ｍａｃｈｉｎｅ  ｖｉｓｉｏｎ  ｍｅｔｒｏｌｏｇｙ  ｕｓｉｎｇ  ｏｆ−ｔｈｅ−ｓｈｅｌｆ  ｔｖ  ｃａｍｅｒａｓ  ａｎｄ  ｌｅｎｓｅｓ”．ＩＥＥＥ  Ｊ．Ｒｏｂｏｔ．Ａｕｔｏｍａｔ．，ｖｏｌ．３，ｐｐ．３２３−３４４，１９８７．
【００１８】
【非特許文献１３】
Ｍ．Ｎａｋａｍｏｔｏ  ｅｔ  ａｌ．，“３Ｄ  Ｕｌｔｒａｓｏｕｎｄ  Ｓｙｓｔｅｍ  Ｕｓｉｎｇ  ａ  Ｍａｇｎｅｔｏ−Ｏｐｔｉｃ  Ｈｙｂｒｉｄ  Ｔｒａｃｋｅｒ  ｆｏｒ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ  Ｖｉｓｕａｌｉｚａｔｉｏｎ  ｉｎ  Ｌａｐａｒｏｓｃｏｐｉｃ  Ｌｉｖｅｒ  Ｓｕｒｇｅｒｙ”．Ｉｎ  ＭＩＣＣＡＩ  ２００２，ＬＮＣＳ  ２４８９，ｐｐ．  １４８−１５５，Ｓｅｐｔｅｍｂｅｒ  ２００２．
【００１９】
【発明が解決しようとする課題】
上述したように、これまで、斜視内視鏡に対応した拡張現実感手術支援システムは実現されていなかった。しかし、近年、特に腹腔内、関節整形、耳鼻科手術では、斜視内視鏡が用いられることが多いため、斜視内視鏡に対応した拡張現実感手術支援システムを実現することが強く望まれていた。
本発明はこのような事情に鑑みなされたもので、斜視内視鏡に対応した拡張現実感手術支援システムを実現化し得る斜視内視鏡用画像処理システム、およびこれを備えた斜視内視鏡診断装置を提供することを目的とする。
【００２０】
【課題を解決するための手段】
上記課題を解決するため本発明の斜視内視鏡用画像処理システムは、体腔内に挿入される直線状に延びた挿入部と、該挿入部の先端面に設けられた観察窓と、観察対象の画像が撮像される撮像面とを備え、前記観察窓の光軸が前記挿入部の軸線に対して傾斜し、かつ前記挿入部が前記撮像面に対して、前記軸線を回転軸として相対的に回転可能に構成された斜視内視鏡において、該斜視内視鏡により得られた画像を処理する斜視内視鏡用画像処理システムであって、
前記斜視内視鏡の外部空間に設定された世界座標系から前記観察窓に設定されたカメラ座標系への変換を決定する外部パラメータＴを、下式（３）によって規定したことを特徴とするものである。
【００２１】
Ｔ＝Ｔ０ＴＲｏｔＣ（−θ，ｎＣ，ｃＣ）ＴＲｏｔＷ（θ，ｎｗ，ｃｗ）……（３）
【００２２】
ここで、ｎｗは、前記世界座標系において前記軸線の方向を規定するベクトル、ｃｗは、前記世界座標系において前記軸線の通過位置を規定するベクトル、ｎＣは、前記カメラ座標系において前記光軸の方向を規定するベクトル、ｃＣは、前記カメラ座標系において前記光軸の通過位置を規定するベクトル、θは、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転するときの回転角、Ｔ０は、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転していないときの、前記世界座標系から前記カメラ座標系への対応を表す変換、ＴＲｏｔＷは、前記世界座標系において、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転するときの該回転を表す変換、ＴＲｏｔＣは、前記カメラ座標系内の回転補正を表す変換、をそれぞれ示している。
【００２３】
前記斜視内視鏡用画像処理システムにおいて、前記世界座標系から前記撮像面に設定された画像座標系への変換を決定する投影モデルを備え、該投影モデルは、前記斜視内視鏡に固有の内部パラメータＭと前記外部パラメータＴとを用いて、下式（４）で規定されているものとすることが可能である。
【００２４】
ｓｉＣ＝ＭＴｐＷ……（４）
【００２５】
ここで、ｐＷは、前記世界座標系上の点の位置を表すベクトル、ｉＣは、前記画像座標系上の点の位置を表すベクトル、ｓは所定のスカラー、をそれぞれ示している。
【００２６】
また、本発明の斜視内視鏡装置は、体腔内に挿入される直線状に延びた挿入部と、該挿入部の先端面に設けられた観察窓と、観察対象の画像が撮像される撮像面とを備え、前記観察窓の光軸が前記挿入部の軸線に対して傾斜し、かつ前記挿入部が前記撮像面に対して、前記軸線を回転軸として相対的に回転可能に構成された斜視内視鏡と、前記特徴を備えた本発明の斜視内視鏡用画像処理システムとを備えてなることを特徴とするものである。
【００２７】
【発明の実施の形態】
以下、本発明の実施形態について、図面を用いて説明する。
【００２８】
〈斜視内視鏡装置概要〉
図１は本発明の一実施形態に係る斜視内視鏡装置の構成を模式的に示す図である。図示した斜視内視鏡装置１は、斜視内視鏡（斜視型硬性内視鏡）１０、画像処理装置２０、および画像表示装置３０を備えてなる。
【００２９】
斜視内視鏡１０は、ＣＣＤ等の撮像素子などにより構成される撮像面（図示略）を備えたカメラ部１１と、該カメラ部１１から軸線ＬＷ方向に延びた硬性の挿入部１２とを備えている。この挿入部１２は体腔内等に挿入される部分であり、その先端面１２ａは前記軸線ＬＷと斜交するように形成されている。また、挿入部１２は前記軸線ＬＷを回転軸として、前記カメラ部に対して回転可能に構成されており、その先端面１２ａには観察窓１３が設けられている。この観察窓１３の光軸ＬＣは前記軸線ＬＷに対して傾斜するように構成されており、該軸線ＬＷを回転軸として前記挿入部１２を回転させると、該光軸ＬＣは前記撮像面に対して相対的に回転移動するようになっている。なお、前記軸線ＬＷは世界座標系（斜視内視鏡１０の外部空間に設定された座標系）ＳＷにおいて定義され、前記光軸ＬＣは、カメラ座標系（観察窓１３に設定された座標系）ＳＣにおいて定義されている。
【００３０】
前記斜視内視鏡装置１においては、観察対象からの反射光が、観察窓１３より挿入部１２内に取り込まれ、カメラ部１１内の撮像素子において撮像される。そして、撮像素子により得られた画像信号は、画像処理装置２０において信号処理され、さらに信号処理された画像信号が、画像表示装置３０において画像に変換されて表示されるようになっている。
【００３１】
〈斜視内視鏡用画像処理システム〉
前記斜視内視鏡装置１は、本発明の一実施形態に係る斜視内視鏡用画像処理システムを備えている。この斜視内視鏡用画像処理システムは、斜視内視鏡１０により得られた画像信号を処理して、拡張現実感手術支援に利用し得る画像を形成するものであり、例えば、画像表示装置３０内に設けられた演算回路や演算プログラム等により構成される。
【００３２】
そして、この斜視内視鏡用画像処理システムは、前記世界座標系ＳＷから前記撮像面に設定された画像座標系への変換を決定する投影モデルを備えている。この投影モデルは、前記斜視内視鏡１０に固有の内部パラメータＭと、前記世界座標系ＳＷから前記カメラ座標系ＳＣへの変換を決定する外部パラメータＴとを用いて、下式（５）で規定されている。
【００３３】
ｓｉＣ＝ＭＴｐＷ……（５）
【００３４】
ここで、ｐＷは、前記世界座標系上の点の位置を表すベクトル、ｉＣは、前記画像座標系上の点の位置を表すベクトル、ｓは所定のスカラー、をそれぞれ示している。
【００３５】
また、この斜視内視鏡用画像処理システムは、前記外部パラメータＴを、下式（６）によって規定している。
【００３６】
Ｔ＝Ｔ０ＴＲｏｔＣ（−θ，ｎＣ，ｃＣ）ＴＲｏｔＷ（θ，ｎｗ，ｃｗ）……（６）
【００３７】
ここで、ｎｗは、前記世界座標系において前記軸線の方向を規定するベクトル、ｃｗは、前記世界座標系において前記軸線の通過位置を規定するベクトル、ｎＣは、前記カメラ座標系において前記光軸の方向を規定するベクトル、ｃＣは、前記カメラ座標系において前記光軸の通過位置を規定するベクトル、θは、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転するときの回転角、Ｔ０は、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転していないときの、前記世界座標系から前記カメラ座標系への対応を表す変換、ＴＲｏｔＷは、前記世界座標系において、前記挿入部が前記軸線を回転軸として、前記撮像面に対して相対的に回転するときの該回転を表す変換、ＴＲｏｔＣは、前記カメラ座標系内の回転補正を表す変換、をそれぞれ示している。
【００３８】
〈斜視内視鏡の投影モデル〉
以下、前記投影モデルについて、図２、図３を用いて詳細に説明する。図２および図３は、本発明の一実施形態に係る投影モデルの概念を模式的に示す図で、図２は前記世界座標系ＳＷから前記カメラ座標系ＳＣへの変換を示し、図３は前記カメラ座標系ＳＣ内の回転補正を示している。
【００３９】
前記世界座標系ＳＷの点の位置ベクトルをＰＷ＝ｔ（ｘＷ，ｙＷ，ｚＷ，１）、前記カメラ座標系ＳＣの点の位置ベクトルをＰＣとし、世界座標系ＳＷからカメラ座標系ＳＣに変換する剛体アフィン変換（前記外部パラメータＴに相当する）をＴとすると、ＰＷからＰＣへの変換は、下式（７）で表される。
【００４０】
ｐＣ＝ＴｐＷ……（７）
【００４１】
また、上式（７）における外部パラメータＴは、下式（８）で表される。
【００４２】
【数１】
2004173972.tif 000003
【００４３】
ここで、Ｒは、回転を意味する３行３列の直交行列を表し、ｔは、平行移動を意味する３次元ベクトルを表し、Ｉは単位行列を表している。
【００４４】
一方、前記ＰＣの２次元投影点の位置ベクトルを、ｉＰ＝ｔ（ｕＰ＝ｘＣ／ｚＣ，ｖＰ＝ｙＣ／ｚＣ，１）とすると、この投影点ｉＰから、前記画像座標系上においてこの投影点ｉＰと対応する画像点ｉＣへの対応関係は、前記内部パラメータＭを用いて、下式（９）で表される。
【００４５】
ｓｉＣ＝ＭｉＰ……（９）
【００４６】
ここで、ｓは所定のスカラーを示している。
【００４７】
また、上式（９）における内部パラメータＭは、下式（１０）で表される。
【００４８】
【数２】
2004173972.tif 000004
【００４９】
ここで、ｆは、焦点距離を表し、ｋｕ，ｋｖは、それぞれｕ軸，ｖ軸の単位長を表し、ｔ（ｕ０，ｖ０）は、画像中心の座標を表している。
【００５０】
前記斜視内視鏡１０において、前記外部パラメータＴは、以下のように記述できる。まず、図２（ａ）に示すように、前記斜視内視鏡１０において、前記世界座標系ＳＷに対して前記カメラ座標系ＳＣが回転移動していないときの、該世界座標系からＳＷ該カメラ座標系ＳＣへの変換をＴ０とする。なお、図２（ａ）では、この回転の伴わないカメラ座標系をＳＣ０と表記している。
【００５１】
次いで、図２（ｂ）に示すように、世界座標系ＳＷにおいて、前記軸線ＬＷを回転軸として、前記撮像面に対して前記挿入部１２を角度θだけ回転移動させる場合を想定する。このときの回転を表す変換をＴＲｏｔＷ（θ，ｎｗ，ｃｗ）とする。なお、このとき前記軸線ＬＷは、前記２つのベクトルｎｗ，ｃｗによって規定される。また、図２（ｂ）では、この回転変換ＴＲｏｔＷの後、前記Ｔ０の変換を施したカメラ座標系をＳ’Ｃ０と表記している。
【００５２】
前記回転後のカメラ座標系Ｓ’Ｃ０は、回転前のカメラ座標系をＳＣ０に対して相対的に回転移動している。一方、前記斜視内視鏡１０の撮像面（および前記画像座標系）の前記世界座標系ＳＷに対する位置は変化していない。このため、カメラ座標系における回転補正が必要となる。本発明では、図３に示すように、前記カメラ座標系をＳ’Ｃ０を、前記光軸ＬＣを回転軸として、前記回転方向とは反対方向に角度−θだけ回転転補正する変換ＴＲｏｔＣ（−θ，ｎＣ，ｃＣ）を施すことにより、この回転補正を行う。
【００５３】
このような一連の変換を行うことにより、すなわち、上式（６）により規定された外部パラメータＴを含む、上式（５）により規定された投影モデルを適用することによって、前記世界座標系ＳＷから前記撮像面に設定された画像座標系への変換を決定することが可能となる。
【００５４】
〈パラメータ推定方法〉
次に、前述した投影モデルで用いる各パラメータを推定する方法について説明する。まず、前述の、回転が伴わないときの変換Ｔ０と、内部パラメータＭの推定を行う。これらの推定方法としては、従来提案されている様々な手法を適用することが可能である。本実施形態においても従来の手法、例えば、前記非特許文献１１に記載された手法を用いて、前記変換Ｔ０と前記内部パラメータＭの推定を行う。
【００５５】
次いで、前述の、回転を伴うときの変換ＴＲｏｔＷ（θ，ｎｗ，ｃｗ）における、前記軸線ＬＷの方向と通過位置をそれぞれ規定する２つのベクトルｎｗ，ｃｗの推定を行う。このベクトルｎｗ，ｃｗは、前記軸線ＬＷを決定するパラメータなので、自由度は４となる。そこで、これらの推定にあたっては、まず、前記斜視内視鏡１０の挿入部１２に、該挿入部１２の回転に応じて前記軸線ＬＷを中心とする円軌道上を移動する３次元位置マーカを設ける。この３次元位置マーカの円軌道の中心に対応するのが前記ベクトルｃｗであり、この円軌道を含む平面の法線方向に一致し、この円軌道の中心を通るベクトルに対応するのが前記ベクトルｎｗとなる。また、前記斜視内視鏡１０の前記カメラ部１１にも、該カメラ部１１の前記世界座標系ＳＷでの位置を検出するための位置センサを設けカメラ部１１の位置を計測する。
【００５６】
次に、前記挿入部１２を回転させては、前記３次元位置マーカの位置を計測するという手順を複数回繰り返して行う。３次元位置マーカの位置計測値をｐｉＷ（ｉ＝１，２，・・・ｎ）とすると、下式（１１）を満たすようなｎｗを線形推定により求める。
【００５７】
【数３】
2004173972.tif 000005
【００５８】
ここで、（，）は内積を表し、││はユークリッドノルムを表す。
【００５９】
次いで、この求められたｎｗから、下式（１２）を満たすようなｃｗを非線形推定、例えば、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｄｔ法を用いて求める。
【００６０】
【数４】
2004173972.tif 000006
【００６１】
ここで、（，）は内積を表し、││はユークリッドノルムを表す。
【００６２】
続いて、求められたｐｉＷ−ｃｗがなす角度から、下式（１３）により前記回転角θを求める。
【００６３】
【数５】
2004173972.tif 000007
【００６４】
ここで、（，）は内積を表し、［，］は外積を表し、││はユークリッドノルムを表す。
【００６５】
最後に、前述の、回転補正の変換ＴＲｏｔＣ（−θ，ｎＣ，ｃＣ）における、カメラ座標系において前記光軸ＬＣの方向を表すベクトルｎＣと、カメラ座標系において前記光軸ＬＣの通過点の位置を表すベクトルｃＣを推定する。これらの推定にあたっては、まず、前記各ベクトルｃＣ，ｎＣ，回転角θに対応する、世界座標系上の点ｐｉＷｏｂｊの計算上の画像投影点ｉ’Ｃ（ｐｉＷｏｂｊ，θ；ｎＣ，ｃＣ）を、上式（５）、（６）を用いて求める。次に、ｐｉＷｏｂｊの実際の画像座標系上での位置ベクトルをｉＣｉとして、下式（１４）を満たす前記各ベクトルｃＣ，ｎＣを求める。
【００６６】
【数６】
2004173972.tif 000008
【００６７】
〈シミュレーション実験〉
次に、前述したベクトルｃＣ，ｎＣの推定に関して行ったシミュレーション実験について説明する。シミュレーションのための生成データは、次の通りである。すなわち、観察対象として、縦横の間隔４ｍｍ、３×３に点が配列された点列の図柄をキャリブレーションに用いた。また、各点に対して標準偏差０．１ｍｍのガウスノイズを加えた。そして、斜視内視鏡の挿入部を約４５度ずつ回転させ、回転毎に４枚（４フレーム）ずつ、観察窓から約３０〜４０ｃｍ離れた位置に配置した前記図柄を撮像するという想定で、前述した投影モデルによる前記図柄の各点の投影点の図を作成した（図４）。なお、画像面（撮像面）の範囲は２００〜４００画素（ｐｉｘｅｌ）の範囲と想定した。
【００６８】
画像面上で、標準偏差０．５，１．０，１．５画素のガウスノイズをそれぞれ加えたシミュレーション結果を表１に示す。投影点の残差およびベクトルｃＣ，ｎＣの誤差は、シミュレーションで与えた真値と推定値との差である。また、与えたガウスノイズの標準偏差と、投影点の残差およびベクトルｃＣ，ｎＣの誤差との関係を明らかにするため、これらの関係を図５に示した。図５に示すように、投影点の残差およびベクトルｃＣ，ｎＣの誤差は、与えたガウスノイズの標準偏差に対して略線形であることが確かめられた。
【００６９】
【表１】
2004173972.tif 000009
【００７０】
〈実画像における実験〉
次に、前述した投影モデルによる投影の精度を検証するために、実画像を用いて実施した複数の実験について説明する。
【００７１】
（実験１）
この実験１では、斜視角度３０度、撮像面の大きさ３４０×３４０画素の歪無し斜視内視鏡を用いた。また、観察対象は前記点列の図柄とした。斜視内視鏡の挿入部をその軸線を回転軸として約４５度ずつ回転させ、回転毎に観察対象点の画像を３枚（３フレーム）取り込み、その画像を用いてキャリブレーションを行った。そして、キャリブレーションを行った角度範囲で取得した画像の精度を調べた。観察対象点の世界座標系上での位置は、３次元センサ（Ｐｏｌａｒｉｓ；ＮｏｒｔｈｅｒｎＤｉｇｉｔａｌ  Ｉｎｃ．）を用いて計測した。この３次元センサの精度は、０．３５ｍｍである。
【００７２】
この実験１で得られた結果を図６に示す。この実験１により確認された誤差は、３．０２画素であった。また、パラメータを推定する際の残差は、２．８６画素であった。この誤差は、画像面サイズの約１パーセント、１ｍｍ程度に相当する。これは、実用上の許容範囲ではあるが、前述のシミュレーション結果に比べると精度が劣る。これは、キャリブレーションに用いた画像のフレーム数が少なかったためであると考えられる。
【００７３】
（実験２）
この実験２では、前記実験１において、画像のフレーム数と各フレームにおけるサンプル点の数との関係を検証するために行った。実験に用いた器具等は、前記実験１と同じである。この実験２で得られた結果を図７に示す。図７に示すように、キャリブレーションに用いる画像のフレーム数（Ｆ）が多いほど、またフレーム毎のサンプル点数が多いほど、高い精度が得られることが確かめられた。
【００７４】
（実験３）
この実験３では、撮像面の大きさ３４０×２４０画素（０．１１ｍｍ／ｐｉｘｅｌ）の斜視内視鏡を用いた。また、観察対象は格子模様の図柄とした。斜視内視鏡の挿入部をその軸線を回転軸としてΔθずつ回転させ、回転毎に観察対象の画像を取り込み、その画像を用いてキャリブレーションを行った。また、キャリブレーションに用いた画像とは異なる５枚に画像において、画像ごとに１６点、計８０点の計測点を用いて、投影誤差（前述の投影モデルで得られた画像投影点の座標値と、観察対象の点の実際の座標を３次元センサを用いて得られた座標値との差）の平均を求めた。なお、３次元センサは、前記実験１，２で用いたものを用いた。また、用いた斜視内視鏡には、樽型歪が存在するため、前記非特許文献８に記載された方法により、歪補正を行った。
【００７５】
また、前記回転角度Δθを変化させ、回転毎に得られた画像に基づき、前述した光軸ＬＣのキャリブレーションを行い、得られたパラメータで投影誤差を計測した。この結果を図８に示す。図８に示すように、Δθの減少と共に残差と投影誤差は減少し、Δθ＝１８度のとき誤差は４．１画素（画像面内では０．４５ｍｍ）となり、それより小さいΔθでは著しい誤差の減少は見られなかった。このとき、前記非特許文献５に記載された方法によるキャリブレーションにおける残差を求めたところ、４．２画素（画像面内では０．４６ｍｍ）であったため、投影誤差中に光軸ＬＣのキャリブレーション誤差が占める割合は、十分小さいといえる。また、このとき得られた画像の一例を図９に示す。画像中の＋が、投影モデルにより得られた、観察対象点の画像上での位置を示している。
【００７６】
（実験５）
この実験５では、前述の投影モデルにおける軸線ＬＷ＝（ｎＷ，ｃＷ）と、光軸ＬＣ＝（ｎＣ，ｃＣ）の必要性を検証した。光軸ＬＣを簡略化した投影モデル（比較例１）と、軸線ＬＷを簡略化した投影モデル（比較例２）と、本発明の投影モデル（実施例）との比較を行った。比較にあたっては、前記実験４の手法より、Δθ＝１８度のときの投影誤差を各投影モデルにおいて求めた。その結果を表２に示す。表２に示すように、投影誤差は本発明の実施例に係る投影モデルが最も小さい。この結果から、光軸ＬＣおよび軸線ＬＷは、斜視内視鏡の投影モデルにおいて必要なパラメータであることがいえる。
【００７７】
【表２】
2004173972.tif 000010
【００７８】
以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されるものではなく、種々の態様の変更が可能である。
例えば、上記実施形態では、斜視内視鏡の挿入部の回転角を検出するために３次元センサを用いているが、ロータリーエンコーダなど他の回転角検出手段を用いて回転角を検出するように構成してもよい。
【００７９】
また、上記実施形態においては、外部パラメータＴ０、内部パラメータＭを推定する際、前記非特許文献１１に記載された手法を用いているが、この手法に代えて種々の手法、例えば、前記非特許文献１２や非特許文献「Ｉ．Ｗ．  Ｆａｉｇ  ：“Ｃａｌｉｂｒａｔｉｏｎ  ｏｆ  ｃｌｏｓｅ−ｒａｎｇｅ  ｐｈｏｔｏｇｒａｍｍｅｔｒｉｃ  ｓｙｓｔｅｍｓ：Ｍａｔｈｅｍａｔｉｃａｌ  ｆｏｒｍｕｌａｔｉｏｎ，”Ｐｈｏｔｏｇｒａｍｍｅｔｒｉｃ  Ｅｎｇ．ａｎｄ  Ｒｅｍｏｔｅ  Ｓｅｎｓｉｎｇ，ｖｏｌ．４１，ｐｐ．１４７９−１４８６，１９７５．」等に記載された手法を用いることができる。
【００８０】
【発明の効果】
以上、詳細に説明したように、本発明の斜視内視鏡用画像処理システムによれば、斜視内視鏡の外部空間に設定された世界座標系から斜視内視鏡の観察窓に設定されたカメラ座標系への変換を決定する外部パラメータＴを、下式によって規定したことにより、以下のような効果を奏する。
【００８１】
Ｔ＝Ｔ０ＴＲｏｔＣ（−θ，ｎＣ，ｃＣ）ＴＲｏｔＷ（θ，ｎｗ，ｃｗ）
【００８２】
すなわち、この外部パラメータＴを用いることにより、挿入部の回転を伴う斜視内視鏡に対応して、世界座標系からカメラ座標系への変換を精度良く決定することが可能となる。また、この外部パラメータＴを用いることにより、斜視内視鏡に対応した投影モデルを高精度に構築することができるので、この投影モデルを用いることによって、斜視内視鏡に対応した拡張現実感手術支援システムを実現化することが可能となる。
【００８３】
また、本発明の斜視内視鏡装置によれば、本発明の斜視内視鏡用画像処理システムを備えたことにより、斜視内視鏡により得られた画像を拡張現実感手術に用いることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る斜視内視鏡装置の構成を模式的に示す図
【図２】世界座標系からカメラ座標系への変換を模式的に示す図
【図３】カメラ座標系における回転補正を模式的に示す図
【図４】投影モデルによって得られた投影点の図
【図５】シミュレーション実験で得られた関係を示す図
【図６】実験１で得られた結果を示す図
【図７】実験２で得られた結果を示す図
【図８】実験３で得られた結果を示す図
【図９】実験４で得られた画像の一例を示す図
【符号の説明】
１                  斜視内視鏡装置
１０                斜視内視鏡
１１                カメラ部
１２                挿入部
１２ａ              先端面
１３                観察窓
２０                画像処理装置
３０                画像表示装置
ＬＷ                挿入部の軸線
ＬＣ                観察窓の光軸
【図１】
2004173972.tif 000011
【図２】
2004173972.tif 000012
【図３】
2004173972.tif 000013
【図４】
2004173972.tif 000014
【図５】
2004173972.tif 000015
【図６】
2004173972.tif 000016
【図７】
2004173972.tif 000017
【図８】
2004173972.tif 000018
【図９】
2004173972.tif 000019