(57)【特許請求の範囲】
【請求項１】
画像変換装置を備える陰影からの形状復元法を使用する単眼内視鏡立体視覚化システムであって、
前記画像変換装置は、内視鏡入力ポートと、２Ｄ／３Ｄ画像変換ユニットと、画像出力ポートとを備え、前記内視鏡入力ポートは単眼内視鏡に連結して前記単眼内視鏡を介して平面画像を取得し、前記２Ｄ／３Ｄ画像変換ユニットは内蔵する陰影からの形状復元法を介して前記平面画像の距離画像を生成して立体画像に変換し、前記画像出力ポートは立体モニターに連結し、前記立体モニターは、前記２Ｄ／３Ｄ画像変換ユニットが変換した立体画像を表示し、
前記陰影からの形状復元法は、前記２Ｄ／３Ｄ画像変換ユニットが平面画像の光源およびその陰影の分布情報を計算し、前記分布情報は、ピクセル値をグラジエント反復計算を繰り返し、光源方向および位置情報とを結合して、光源方向推定を加えることにより前記距離画像を取得し、
前記平面画像を取得する前に、前記単眼内視鏡のカメラの校正を行い、校正モジュールの回転および平行移動を介してカメラの姿勢を推定してから、非線形解を介して前記カメラの内部パラメータおよび外部パラメータを取得し、
前記立体画像は、視差マッピングのピクセル値によって生成される左眼画像と右眼画像を含むことを特徴とする、陰影からの形状復元法を使用する単眼内視鏡立体視覚化システム。
【請求項２】
陰影からの形状復元法を使用する単眼内視鏡立体視覚化方法であって、
前記方法は、平面画像を捕捉するステップと、陰影からの形状復元法を介して距離画像を生成するステップと、距離画像を介して視差マッピングを生成するステップと、立体視覚の左右画像を生成するステップとを備え、
前記平面画像を捕捉するステップは、画像捕捉設備を介して単眼内視鏡カメラの平面画像を取得し、
前記陰影からの形状復元法を介して距離画像を生成するステップは、陰影からの形状復元法を介して平面画像の光源およびその陰影の分布情報を計算し、前記分布情報は、ピクセル値をグラジエント反復計算を繰り返し、光源方向および位置情報とを結合して、光源方向推定を加えることにより相対位置判断の精度を上げて、その計算後の結果は相対的な距離画像であり、前記距離画像のピクセル値は、ピクセル強度と、光源方向と、座標の自然対数とを備え、且つクイックソリューション方程式および並行計算を介してその反復計算を加速し、
前記距離画像を介して視差マッピングを生成するステップにおいて、前記距離画像はグレースケール画像から成り、三次元における物体の前後関係を表示し、前記距離画像が立体画像に変換する過程に視差マッピングが生成され、前記視差マッピングのピクセル値と距離画像とは反比例であるが、カメラの焦点距離および両眼の距離とは正比例であり、
前記立体視覚の左右画像を生成するステップは、立体画像から得た視差マッピングを使用して、立体画像の左右眼画像を生成し、且つ前記視差マッピングのピクセル値は両眼の間に各ピクセルの偏差も表すため、前記立体画像の左眼画像または右眼画像が生成され、
前記平面画像を捕捉するステップの前に、内視鏡カメラ校正ステップを実行し、
前記内視鏡カメラ校正ステップは、カメラ校正法を介して前記単眼内視鏡カメラの内部パラメータを計算し、前記カメラ校正法は、校正モジュールの回転および平行移動を介してカメラの姿勢を推定してから、非線形解を介して前記カメラの内部パラメータおよび外部パラメータを得ることを特徴とする、陰影からの形状復元法を使用する単眼内視鏡立体視覚化方法。
【請求項３】
前記陰影からの形状復元法は以下のように配光分布の計算を完成し：
【数２】
0006600442.tif 000003
反復計算方程式を計算することによって、配光分布の距離画像を生成し、内視鏡の光源と内視鏡のカメラベクトルはほぼ一致であるため、ここで同じベクトルとして単純化することを特徴とする、請求項２に記載の陰影からの形状復元法を使用する単眼内視鏡立体視覚化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一種の単眼内視鏡立体視システムに係わり、特に陰影からの形状復元法を使用して立体画像を生成する単眼内視鏡立体視システムに関する。
【背景技術】
【０００２】
現在の医療行為の中で、低侵襲手術は様々な病気の治療に対して不可欠な一部となっている。内視鏡の補助手術器具を介して前記低侵襲手術を実行することで、より小さい切り口および組織への損傷を減少し、患者が回復するまでの時間および全体的な治療コストを減少することができる。しかし、現在低侵襲手術に提供する内視鏡は全て単眼内視鏡であり、その単眼内視鏡は平面（２Ｄ）画像しか表示できない。平面画像には距離情報がないため、外科医がその平面画像を基づいて精確に手術器具を患者の体の正確の位置移動するには大きな困難が伴う。外科医は通常運動視差、単眼の情報および他の間接的な証拠を介して前記平面画像に距離を付けることにより、定位の精確度を上げる。しかし、立体視覚画像（２Ｄ画像および距離情報を含む）は距離感を提供し、且つ余分な経験（運動視差、単眼の情報および他の間接的な証拠）に頼る必要がないため、今でも前述の定位精確度が良くない課題に対する最適な解決方法である。現在、低侵襲手術に立体視覚画像を取得する需要がある場合は、双カメラを備える両眼内視鏡を使用し、外科医に必要な距離情報および立体画像を提供できるが、単眼内視鏡に比べてはるかに高価であるため、普及し難い欠点がある。
【発明の概要】
【０００３】
上述のように、現在の単眼内視鏡は平面画像しか表示できなく、その平面画像は距離情報を含まないため、定位しにくい問題が存在する。両眼内視鏡は立体画像を取得できる利点があるが、コストが高いため普及しにくい。よって、本発明の主な目的は、一種の陰影からの形状復元法を使用する内視鏡立体視システムおよびその方法を提供し、主に単眼内視鏡から取得した平面画像を陰影からの形状復元法を介して距離画像を生成してから平面画像と結合して立体画像を生成し、双カメラの設置、または既存の単眼内視鏡のハードウェア機構を調整する必要がないので、従来の単眼内視鏡が立体画像を提供できないことおよび両眼内視鏡設備が高いという問題を解決することができる。
【０００４】
前記目的を達成するために採用した主な技術手段として、前記陰影からの形状復元法の単眼内視鏡立体視システムは：
内視鏡入力ポートと、２Ｄ／３Ｄ画像変換ユニットと、画像出力ポートとを備える画像変換装置を含み、前記内視鏡入力ポートは単眼内視鏡に連結して前記単眼内視鏡を介して平面画像を取得し、前記２Ｄ／３Ｄ画像変換ユニットは内蔵する陰影からの形状復元法を介して前記平面画像の距離画像を生成して立体画像に変換し、前記画像出力ポートは立体モニターに連結し、前記立体モニターは、前記２Ｄ／３Ｄ画像変換ユニットが変換した立体画像を表示し、
そのうち、前記陰影からの形状復元法は、前記２Ｄ／３Ｄ画像変換ユニットが平面画像の光源およびその陰影の分布情報を計算し、前記分布情報は、ピクセル値をグラジエント反復計算を繰り返し、光源方向および位置情報とを結合して、光源方向推定を加えることにより前記距離画像を得る。
【０００５】
前記目的を達成するために採用した主な技術手段として、前記陰影からの形状復元法の単眼内視鏡立体視覚化方法は：
平面画像を捕捉する：画像捕捉設備を介して単眼内視鏡カメラの平面画像を取得し；
陰影からの形状復元法を介して距離画像を生成する：陰影からの形状復元法を介して平面画像の光源およびその陰影の分布情報を計算し、前記分布情報は、ピクセル値をグラジエント反復計算を繰り返し、光源方向および位置情報とを結合して、光源方向推定を加えることにより相対位置判断の精度を上げて、その計算後の結果は相対的な距離画像であり、前記距離画像のピクセル値は、ピクセル強度と、光源方向と、座標の自然対数とを備え、且つクイックソリューション方程式および並行計算を介してその反復計算を加速し；
距離画像を介して視差マッピングを生成する：前記距離画像はグレースケール画像から成り、三次元における物体の前後関係を表示し、前記距離画像が立体画像に変換する過程に視差マッピングが生成され、前記視差マッピングのピクセル値と距離画像とは反比例であるが、カメラの焦点距離および両眼の距離とは正比例であり；および
立体視覚の左右画像を生成する：立体画像から得た視差マッピングを使用して、立体画像の左右眼画像を生成し、且つ前記視差マッピングのピクセル値は両眼の間に各ピクセルの偏差も表すため、前記立体画像の左眼画像または右眼画像が生成される。
【０００６】
前記部品からなる陰影からの形状復元法を使用する単眼内視鏡立体視システムおよびその方法は、単眼内視鏡から取得した平面画像を陰影からの形状復元法を介して距離情報を計算してから距離画像を生成し、平面画像と距離画像を結合して所要の立体画像が生成されて、外部の立体モニタに出力することにより、使用者は変換後の立体画像を見ることができ、既存の単眼内視鏡を両眼内視鏡システムに変更、または既存の単眼内視鏡のハードウェア機構を調整する必要がないので、従来の単眼内視鏡が立体画像を提供できないことおよび両眼内視鏡設備が高いという問題を解決することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の好ましい実施例の回路ブロック図である。
【図２】本発明の好ましい実施例のフローチャートである。
【符号の説明】
【０００８】
１０：画像変換装置
１１：内視鏡入力ポート
１２：２Ｄ／３Ｄ画像変換ユニット
１３：画像出力ポート
２０：単眼内視鏡
３０：立体モニター。
【発明を実施するための形態】
【０００９】
本発明の好ましい実施例の回路ブロック図については、図１を参照し、主に画像変換装置１０に単眼内視鏡２０および立体モニター３０が連結され、前記画像変換装置１０は、内視鏡入力ポート１１と、２Ｄ／３Ｄ画像変換ユニット１２と、画像出力ポート１３とを備え、前記２Ｄ／３Ｄ画像変換ユニット１２は、別々に内視鏡入力ポート１１および画像出力ポート１３に電気接続され、前記内視鏡入力ポート１１は前記単眼内視鏡２０に連結され、前記画像出力ポート１３は前記立体モニターに連結され；前記２Ｄ／３Ｄ画像変換ユニット１２は単眼内視鏡２０を介して平面画像を取得し、それに内蔵する陰影からの形状復元法を介して平面画像を立体画像に変換してから、立体モニター３０を２Ｄ／３Ｄ画像変換ユニット１２によって変換後の立体画像を表示するように画像出力ポート１３を介して前記立体画像を立体モニター３０に出力する。
【００１０】
本発明の好ましい実施例のフローチャートについては、図２を参照し、前記２Ｄ／３Ｄ画像変換ユニット１２は以下のステップを実行することによって内視鏡の平面画像を立体画像に変換する。
【００１１】
内視鏡カメラ校正（Ｓ１）：カメラ校正法［１］を介して前記内視鏡カメラの内部パラメータを計算し、前記カメラ校正法は、校正モジュールの回転および平行移動を介してカメラの姿勢を推定してから、非線形解を介して前記カメラの内部パラメータおよび外部パラメータを得る。
【００１２】
平面画像を捕捉する（Ｓ２）：画像捕捉設備を介して内視鏡カメラの平面画像を取得し；前記画像捕捉設備はＳＤまたはＨＤの解像度を有し、前記内視鏡カメラのレンズは３０°または広角レンズである。
【００１３】
陰影からの形状復元法を介して距離画像を生成する（Ｓ３）：陰影からの形状復元法［２］を介して平面画像の光源およびその陰影の分布情報を計算し、前記分布情報は、ピクセル値をグラジエント反復計算を繰り返し、光源方向および位置情報とを結合して、光源方向推定［３］を加えることにより相対位置判断の精度を上げて、その計算後の結果は相対的な距離画像であり、前記距離画像のピクセル値は、ピクセル強度と、光源方向と、座標の自然対数とを備え、且つクイックソリューション方程式［４］および並行計算を介してその反復計算を加速する。
【００１４】
【数１】
0006600442.tif 000002
【００１５】
反復計算方程式を計算することによって、配光分布の距離画像を生成し、内視鏡の光源と内視鏡のカメラベクトルはほぼ一致であるため、ここで同じベクトルとして単純化する。
【００１６】
距離画像を介して視差マッピングを生成する（Ｓ４）：前記距離画像はグレースケール画像から成り、三次元における物体の前後関係を表示し、前記距離画像が立体画像に変換する過程に視差マッピング［５］が生成され、前記視差マッピングのピクセル値と距離画像とは反比例であるが、カメラの焦点距離および両眼の距離とは正比例である。
【００１７】
立体視覚の左右画像を生成する（Ｓ５）：立体画像から得た視差マッピングを使用して、立体画像の左右眼画像を生成し、且つ前記視差マッピングのピクセル値は両眼の間に各ピクセルの偏差も表すため、前記立体画像の左眼画像または右眼画像が生成される。前記生成された左右眼画像は、異なる３Ｄディスプレイフォマット、例えば、並列画像（ｓｉｄｅ−ｂｙ−ｓｉｄｅ）、インタレース（Ｉｎｔｅｒｌａｃｅｄ）画像または他の３Ｄディスプレイフォマットに変換することができ、そして立体モニターを介して表示する。
【００１８】
上述のように、前記平面画像は陰影からの形状復元法を介してその距離情報を計算してから距離画像を生成し、平面画像と距離画像を結合することによって所要の立体画像を生成し、既存の単眼内視鏡を両眼内視鏡システムに変更、または既存の単眼内視鏡のハードウェア機構を調整する必要がないので、従来の単眼内視鏡が立体画像を提供できないことおよび両眼内視鏡設備が高いという問題を解決することができる。
【００１９】
参考文献：
［１］  “画像処理、解析およびマシンビジョン（Ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ，  ａｎａｌｙｓｉｓ  ａｎｄ  ｍａｃｈｉｎｅ  ｖｉｓｉｏｎ），  ２ｎｄ  ｅｄ．，  ｖｏｌ．  ６８  ＰＷＳ，  １９９８，  ｐｐ．４４８−４５７”
［２］  Ｖｉｓｅｎｔｉｎｉ−Ｓｃａｒｚａｎｅｌｌａ  ｅｔ  ａｌ．  ２０１２年ＩＥＥＥ国際画像処理会議（ＩＥＥＥ  Ｉｎｔｅｒｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ）  “陰影からの形状復元法および鏡面反射を使用した単眼画像からのメトリック深度の復元”  （Ｍｅｔｒｉｃ  ｄｅｐｔｈ  ｒｅｃｏｖｅｒｙ  ｆｒｏｍ  ｍｏｎｏｃｕｌａｒ  ｉｍａｇｅｓ  ｕｓｉｎｇ  ｓｈａｐｅ−ｆｒｏｍ−ｓｈａｄｉｎｇ  ａｎｄ  ｓｐｅｃｕｌａｒｉｔｉｅｓ  ）
［３］  Ｄａｎａｉｌ  Ｓｔｏｙａｎｏｖ  ｅｔ  ａｌ．  ２００９年ＩＥＥＥ／  ＲＳＪ国際知能ロボットおよびシステム（ＩＲＯＳ）（ＩＥＥＥ／ＲＳＪ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｒｏｂｏｔｓ  ａｎｄ  Ｓｙｓｔｅｍ  （ＩＲＯＳ））  “ロボット低侵襲手術における３次元軟部組織再構成のための照明位置推定”  （Ｉｌｌｕｍｉｎａｔｉｏｎ  ｐｏｓｉｔｉｏｎ  ｅｓｔｉｍａｔｉｏｎ  ｆｏｒ  ３Ｄ  ｓｏｆｔ  ｔｉｓｓｕｅ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｉｎ  ｒｏｂｏｔｉｃ  ｍｉｎｉｍａｌｌｙ  ｉｎｖａｓｉｖｅ  ｓｕｒｇｅｒｙ）
［４］  Ｃｈｉｕ−Ｙｅｎ  Ｋａｏ  ｅｔ  ａｌ．  ＳＩＡＭ  Ｊ．  Ｎｕｍｅｒｉｃａｌ  Ａｎａｌｙｓｉｓ  ２００５  “静的ハミルトン  −  ヤコビ方程式の高速掃引法”  （Ｆａｓｔ  Ｓｗｅｅｐｉｎｇ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｓｔａｔｉｃ  Ｈａｍｉｔｏｎ−Ｊａｃｏｂｉ  Ｅｑｕａｔｉｏｎ）
［５］  Ｂｅｒｒｅｔｔｙ  ｅｔ  ａｌ．  ２００６年国際光学および光工学学会（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｏｃｉｅｔｙ  ｆｏｒ  Ｏｐｔｉｃｓ  ａｎｄ  Ｐｈｏｔｏｎｉｃｓ  ２００６）  “リアルタイム多視点自動立体視レンダリングモニター”  （Ｒｅａｌ−ｔｉｍｅ  ｒｅｎｄｅｒｉｎｇ  ｆｏｒ  ｍｕｌｔｉ−ｖｉｅｗ  ａｕｔｏ−ｓｔｅｒｅｏｓｃｏｐｉｃ  ｄｉｓｐｌａｙｓ）。
【図１】
0006600442.tif 000004
【図２】
0006600442.tif 000005