(57)【要約】  本開示は、三次元表面の画像を再構築するための方法、装置およびシステムを提供する。前記方法は、前記三次元表面をＸ線撮像して取得したＸ線撮像データによって、前記三次元表面の三次元モデルを構築し、特徴点の三次元の座標パラメータを抽出するステップと、前記三次元表面を可視光撮像して取得した可視光撮像データによって、前記三次元表面の一つまたは複数の二次元姿勢の画像を構築し、各二次元姿勢の画像から特徴点の二次元の座標パラメータを抽出するステップと、各二次元姿勢の画像における特徴点の三次元の座標パラメータと二次元の座標パラメータとを整合することによって、前記二次元姿勢の画像と前記三次元モデルとの間のマッピング関係を確立するステップと、各二次元姿勢の画像に対してそれぞれ確立されたマッピング関係を用いて、前記一つまたは複数の二次元姿勢の画像を前記三次元モデルに充填し、再構築された三次元表面画像を形成するステップと、を含み、前記三次元表面の同じ方位のＸ線撮像データおよび可視光撮像データは、同期に取得される。
2019526124.tif 000002
【特許請求の範囲】
【請求項１】
三次元表面の画像を再構築するための方法であって、
（ａ１）前記三次元表面をＸ線撮像して取得したＸ線撮像データによって、前記三次元表面の三次元モデルを構築し、特徴点の三次元の座標パラメータを抽出するステップと、
（ａ２）前記三次元表面を可視光撮像して取得した可視光撮像データによって、前記三次元表面の一つまたは複数の二次元姿勢の画像を構築し、各二次元姿勢の画像から特徴点の二次元の座標パラメータを抽出するステップと、
（ｂ）各二次元姿勢の画像における特徴点の三次元の座標パラメータと二次元の座標パラメータとを整合することによって、前記二次元姿勢の画像と前記三次元モデルとの間のマッピング関係を確立するステップと、
（ｃ）各二次元姿勢の画像に対してそれぞれ確立されたマッピング関係を用いて、前記一つまたは複数の二次元姿勢の画像を前記三次元モデルに充填し、再構築された三次元表面画像を形成するステップと、を含み、
前記三次元表面の同じ方位のＸ線撮像データおよび可視光撮像データは、同期に取得される方法。
【請求項２】
ステップ（ａ１）における前記三次元表面の三次元モデルを構築することは、
前記Ｘ線撮像データによって前記三次元表面のボクセルモデルを構築するステップと、
前記ボクセルモデルの輪郭を層ごとに抽出して三次元表面点群を取得するステップと、
前記三次元表面点群の接続関係を確立することによって、前記三次元表面の三次元メッシュモデルである三次元モデルを構築するステップと、を含む、
請求項１に記載の方法。
【請求項３】
前記可視光撮像データは、前記三次元表面の異なる方位で生成された一連の二次元予備画像を含み、
ステップ（ａ２）における前記三次元表面の一つまたは複数の二次元姿勢の画像を構築することは、
予備特徴点の相対位置を抽出することによって、各二次元予備画像に対応する姿勢を決定するステップと、
各二次元予備画像に対応する姿勢に応じて、前記一連の二次元予備画像から前記一つまたは複数の二次元姿勢の画像を選択するステップと、を含む、
請求項１に記載の方法。
【請求項４】
前記予備特徴点は、前記特徴点の集合から選択される、
請求項３に記載の方法。
【請求項５】
ステップ（ｂ）において、前記二次元姿勢の画像と前記三次元モデルとの間のマッピング行列Ｔは、数式１によって決定される請求項１に記載の方法。
【数１】
2019526124.tif 000016
ただし、（ｕｉ，ｖｉ）および（ｘｉ，ｙｉ，ｚｉ）は、それぞれ、前記二次元画像におけるｎ個の特徴点のうちｉ（ｉ＝１、２、．．．ｎ）番目の特徴点の前記二次元の座標パラメータおよび前記三次元の座標パラメータを示す。
【請求項６】
前記マッピング行列は、最小二乗法または特異値分解によって解かれる、
請求項５に記載の方法。
【請求項７】
ステップ（ｃ）において、前記一つまたは複数の二次元姿勢の画像を前記三次元モデルに充填することは、
前記一つまたは複数の二次元姿勢の画像に応じて、前記三次元モデルを、対応する一つまたは複数の区画に分割するステップと、
前記一つまたは複数の二次元姿勢の画像を、それぞれ前記対応する一つまたは複数の区画に充填して、再構築された三次元表面画像を形成するステップと、を含む、
請求項１に記載の方法。
【請求項８】
三次元表面の画像を再構築するための装置であって、
前記三次元表面をＸ線撮像して取得したＸ線撮像データによって、前記三次元表面の三次元モデルを構築し、特徴点の三次元の座標パラメータを抽出するように配置される三次元モデル構築手段と、
前記三次元表面を可視光撮像して取得した可視光撮像データによって、前記三次元表面の一つまたは複数の二次元姿勢の画像を構築し、各二次元姿勢の画像から特徴点の二次元の座標パラメータを抽出するように配置される二次元姿勢の画像構築手段と、
各二次元姿勢の画像における特徴点の三次元の座標パラメータと二次元の座標パラメータとを整合することによって、前記二次元姿勢の画像と前記三次元モデルとの間のマッピング関係を確立するように配置されるマッピング確立手段と、
各二次元姿勢の画像に対してそれぞれ確立されたマッピング関係を用いて、前記一つまたは複数の二次元姿勢の画像を前記三次元モデルに充填し、再構築された三次元表面画像を形成するように配置される再構築手段と、を備え、
前記三次元表面の同じ方位のＸ線撮像データおよび可視光撮像データは、同期に取得される装置。
【請求項９】
前記三次元モデル構築手段は、
前記Ｘ線撮像データによって前記三次元表面のボクセルモデルを構築し、
前記ボクセルモデルの輪郭を層ごとに抽出して三次元表面点群を取得し、
前記三次元表面点群の接続関係を確立することによって、前記三次元表面の三次元メッシュモデルである三次元モデルを構築するように、配置される、
請求項８に記載の装置。
【請求項１０】
前記可視光撮像データは、前記三次元表面の異なる方位で生成された一連の二次元予備画像を含み、
前記二次元姿勢の画像構築手段は、
予備特徴点の相対位置を抽出することによって、各二次元予備画像に対応する姿勢を決定し、
各二次元予備画像に対応する姿勢に応じて、前記一連の二次元予備画像から前記一つまたは複数の二次元姿勢の画像を選択するように、配置される
請求項８に記載の装置。
【請求項１１】
前記予備特徴点は、前記特徴点の集合から選択される、
請求項１０に記載の装置。
【請求項１２】
前記マッピング確立手段は、数式２によって、前記二次元姿勢の画像と前記三次元モデルとの間のマッピング行列Ｔを決定するように配置される請求項８に記載の装置。
【数２】
2019526124.tif 000017
ただし、（ｕｉ，ｖｉ）および（ｘｉ，ｙｉ，ｚｉ）は、それぞれ、前記二次元画像におけるｎ個の特徴点のうちｉ（ｉ＝１、２、．．．ｎ）番目の特徴点の前記二次元の座標パラメータおよび前記三次元の座標パラメータを示す。
【請求項１３】
前記マッピング確立手段は、最小二乗法または特異値分解によって前記マッピング行列を解くように配置される、
請求項１２に記載の装置。
【請求項１４】
前記再構築手段は、
前記一つまたは複数の二次元姿勢の画像に応じて、前記三次元モデルを、対応する一つまたは複数の区画に分割し、
前記一つまたは複数の二次元姿勢の画像を、それぞれ前記対応する一つまたは複数の区画に充填して、再構築された三次元表面画像を形成するように、配置される、
請求項８に記載の装置。
【請求項１５】
三次元表面の画像を再構築するためのシステムであって、
前記三次元表面の周りを移動し、前記三次元表面にＸ線を照射してＸ線画像データを生成するように配置されるＸ線撮像装置と、
前記三次元表面に対して前記Ｘ線撮像装置と同じ方位に位置され、前記Ｘ線撮像装置と同期に前記三次元表面の周りを移動して可視光撮像データを生成するように配置される可視光撮像装置と、
請求項８から１４のいずれか一項に記載の三次元表面の画像を再構築するための装置と、を備えるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本願は、２０１６年７月２５日に出願された、出願番号が第２０１６１０５９０１９２．５号である中国特許出願に基づく優先権を主張し、その全ての内容を参照により本願に援用する。
本開示は、画像再構築の分野に関し、具体的に、三次元表面の画像を再構築するための方法、装置およびシステムに関する。
【背景技術】
【０００２】
Ｘ線撮像によって三次元対象の画像を再生することは、医療や安全検査、探査などの分野において注目を集めているトピックである。特に、医療分野において、撮像の確度や精細度に対する要求が非常に高い。例えば、口腔病学の臨床診断に使用される口腔ＣＴ装置は、医師がより正確に手術を行い、患者の不要な痛みを軽減できるために、歯の形状、大きさ、および、深さの違いを正確に反映するように要求されている。また、歯の整形において、より精細で正確な歯列のモデルを再構築できれば、手術の前に、より適切な計画を立て、手術の前と後の比較により手術の効果を評価することができる。
【０００３】
多くの研究者は、この分野でたくさんの研究を行ってきた。例えば、Ｂ．Ｓ．Ｋｈａｍｂａｙなどは、非特許文献１において、三次元の顔走査画像をＣＴ骨格組織および軟組織に接合させる方法を提案した。Ｇｅｒａｒｄ  Ｍｅｄｉｏｎｉなどは、特許文献１において、一連の二次元画像を用いた三次元の顔再構築方法を提案した。Ｊｏｎｇｍｏｏ  Ｃｈｏｉなどは、非特許文献２において、顔の特徴点認識による三次元の顔再構築方法も提案した。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第８１２６２６１Ｂ２号明細書
【非特許文献】
【０００５】
【非特許文献１】「Ａ  ｐｉｌｏｔ  ｓｔｕｄｙ：  ３Ｄ  ｓｔｅｒｅｏ  ｐｈｏｔｏｇｒａｍｍｅｔｒｉｃ  ｉｍａｇｅ  ｓｕｐｅｒｉｍｐｏｓｉｔｉｏｎ  ｏｎ  ｔｏ  ３Ｄ  ＣＴ  ｓｃａｎ  ｉｍａｇｅｓ−ｔｈｅ  ｆｕｔｕｒｅ  ｏｆ  ｏｒｔｈｏｇｎａｔｈｉｃ  ｓｕｒｇｅｒｙ」
【非特許文献２】「３Ｄ  Ｆａｃｅ  ＲｅｃｏｎｓｔｒｕＣＴｉｏｎ  Ｕｓｉｎｇ  Ａ  Ｓｉｎｇｌｅ  ｏｒ  Ｍｕｌｔｉｐｌｅ  Ｖｉｅｗｓ」
【非特許文献３】「３Ｄ  Ｆａｃｅ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  Ｕｓｉｎｇ  Ａ  Ｓｉｎｇｌｅ  ｏｒ  Ｍｕｌｔｉｐｌｅ  Ｖｉｅｗｓ」
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、これらの研究には、まだ不満のところが残っている。特許文献１などの方法では、可視光表面走査装置によって三次元の顔画像を取得し、それをＣＴによって得られた軟組織の表面に接合させて最終結果を得ると想定されている。実際に、ＣＴ画像の軟組織の表面はそれ自身が三次元の顔表面であり、さらに可視光表面走査装置によって三次元の顔を取得することは繰り返し作業になってしまい、且つ、二つの三次元の表面の接合はマーカーの位置決めが難しいである。
【０００７】
非特許文献１と非特許文献２によって提案された二つの方法は、顔における一部の特徴点の三次元位置決めのみによって、統合された三次元の顔モデルを変形しているが、得られた結果は、個人の顔特徴に対して一定の代表性がある。しかし、一部の詳細な箇所、例えば、鼻などのように空間的曲率が比較的に大きくて構造が比較的に精細な箇所について、特徴点による変形は違和感のある結果を得る場合がある。非特許文献２の方法を例として、Ｊｏｎｇｍｏｏ  Ｃｈｏｉの論文である非特許文献３によって図られた三次元の顔再構築の結果を図１Ａ、図１Ｂに示す。本論文の再構築は、１枚または複数枚の二次元の写真と一つの一般的な顔モデルを必要とし、主として、採集された画像の特徴点によって一般的な顔モデルを微調整し、テクスチャマッピングを実現して三次元の顔を得る動作を行う。図１Ａに示す３つの図は、シングル画角で一般的な顔モデルに合わせて変形した三次元の顔であり、図１Ｂに示す３つの図は、マルチ画角で特徴点を推定して一般的な顔モデルを調整した三次元の顔である。図１Ａにおいて、鼻の近傍に大きな歪みがあることは明らかである。図１Ｂにおいて、鼻の再構築は改善されたが、まだ不満のところが残られており、且つ下顎領域が再構築されていない。
【課題を解決するための手段】
【０００８】
本開示は、従来技術における少なくとも上記した問題を解決するために、三次元表面の画像を再構築するための方法、装置およびシステムを提供する。
【０００９】
本開示の一形態によれば、三次元表面の画像を再構築するための方法において、（ａ１）前記三次元表面をＸ線撮像して取得したＸ線撮像データによって、前記三次元表面の三次元モデルを構築し、特徴点の三次元の座標パラメータを抽出するステップと、（ａ２）前記三次元表面を可視光撮像して取得した可視光撮像データによって、前記三次元表面の一つまたは複数の二次元姿勢の画像を構築し、各二次元姿勢の画像から特徴点の二次元の座標パラメータを抽出するステップと、（ｂ）各二次元姿勢の画像における特徴点の三次元の座標パラメータと二次元の座標パラメータとを整合することによって、前記二次元姿勢の画像と前記三次元モデルとの間のマッピング関係を確立するステップと、（ｃ）各二次元姿勢の画像に対してそれぞれ確立されたマッピング関係を用いて、前記一つまたは複数の二次元姿勢の画像を前記三次元モデルに充填し、再構築された三次元表面画像を形成するステップと、を含み、前記三次元表面の同じ方位のＸ線撮像データおよび可視光撮像データは、同期に取得される。
【００１０】
一つの実施例では、ステップ（ａ１）における前記三次元表面の三次元モデルを構築することは、前記Ｘ線撮像データによって前記三次元表面のボクセルモデルを構築するステップと、前記ボクセルモデルの輪郭を層ごとに抽出して三次元表面点群を取得するステップと、前記三次元表面点群の接続関係を確立することによって、前記三次元表面の三次元メッシュモデルである三次元モデルを構築するステップと、を含む。
【００１１】
一つの実施例では、前記可視光撮像データは、前記三次元表面の異なる方位で生成された一連の二次元予備画像を含み、ステップ（ａ２）における前記三次元表面の一つまたは複数の二次元姿勢の画像を構築することは、予備特徴点の相対位置を抽出することによって、各二次元予備画像に対応する姿勢を決定するステップと、各二次元予備画像に対応する姿勢に応じて、前記一連の二次元予備画像から前記一つまたは複数の二次元姿勢の画像を選択するステップと、を含む。
【００１２】
一つの実施例では、前記予備特徴点は、前記特徴点の集合から選択される。
【００１３】
一つの実施例では、ステップ（ｂ）において、前記二次元姿勢の画像と前記三次元モデルとの間のマッピング行列Ｔは、数式１によって決定され、ここで、（ｕｉ，ｖｉ）および（ｘｉ，ｙｉ，ｚｉ）は、それぞれ、前記二次元画像におけるｎ個の特徴点のうちｉ（ｉ＝１、２、．．．ｎ）番目の特徴点の前記二次元の座標パラメータおよび前記三次元の座標パラメータを示す。
【００１４】
【数１】
2019526124.tif 000003
【００１５】
一つの実施例では、前記マッピング行列は、最小二乗法または特異値分解によって解かれる。
【００１６】
一つの実施例では、ステップ（ｃ）において、前記一つまたは複数の二次元姿勢の画像を前記三次元モデルに充填することは、前記一つまたは複数の二次元姿勢の画像に応じて、前記三次元モデルを、対応する一つまたは複数の区画に分割するステップと、前記一つまたは複数の二次元姿勢の画像を、それぞれ前記対応する一つまたは複数の区画に充填して、再構築された三次元表面画像を形成するステップと、を含む。
【００１７】
本開示の別の形態によれば、三次元表面の画像を再構築するための装置において、前記三次元表面をＸ線撮像して取得したＸ線撮像データによって、前記三次元表面の三次元モデルを構築し、特徴点の三次元の座標パラメータを抽出するように配置される三次元モデル構築手段と、前記三次元表面を可視光撮像して取得した可視光撮像データによって、前記三次元表面の一つまたは複数の二次元姿勢の画像を構築し、各二次元姿勢の画像から特徴点の二次元の座標パラメータを抽出するように配置される二次元姿勢の画像構築手段と、各二次元姿勢の画像における特徴点の三次元の座標パラメータと二次元の座標パラメータとを整合することによって、前記二次元姿勢の画像と前記三次元モデルとの間のマッピング関係を確立するように配置されるマッピング確立手段と、各二次元姿勢の画像に対してそれぞれ確立されたマッピング関係を用いて、前記一つまたは複数の二次元姿勢の画像を前記三次元モデルに充填し、再構築された三次元表面画像を形成するように配置される再構築手段と、を備え、前記三次元表面の同じ方位のＸ線撮像データおよび可視光撮像データは、同期に取得される。
【００１８】
一つの実施例では、前記三次元モデル構築手段は、前記Ｘ線撮像データによって前記三次元表面のボクセルモデルを構築し、前記ボクセルモデルの輪郭を層ごとに抽出して三次元表面点群を取得し、前記三次元表面点群の接続関係を確立することによって、前記三次元表面の三次元メッシュモデルである三次元モデルを構築するように、配置される。
【００１９】
一つの実施例では、前記可視光撮像データは、前記三次元表面の異なる方位で生成された一連の二次元予備画像を含み、前記二次元姿勢の画像構築手段は、予備特徴点の相対位置を抽出することによって、各二次元予備画像に対応する姿勢を決定し、各二次元予備画像に対応する姿勢に応じて、前記一連の二次元予備画像から前記一つまたは複数の二次元姿勢の画像を選択するように、配置される。
【００２０】
一つの実施例では、前記予備特徴点は、前記特徴点の集合から選択される。
【００２１】
一つの実施例では、前記マッピング確立手段は、数式２によって、二次元姿勢の画像と前記三次元モデルとの間のマッピング行列Ｔを決定する。
【００２２】
【数２】
2019526124.tif 000004
【００２３】
ただし、（ｕｉ，ｖｉ）および（ｘｉ，ｙｉ，ｚｉ）は、それぞれ、前記二次元画像におけるｎ個の特徴点のうちｉ（ｉ＝１、２、．．．ｎ）番目の特徴点の前記二次元の座標パラメータおよび前記三次元の座標パラメータを示す。
【００２４】
一つの実施例では、前記マッピング確立手段は、最小二乗法または特異値分解によって前記マッピング行列を解くように配置される。
【００２５】
一つの実施例では、前記再構築手段は、前記一つまたは複数の二次元姿勢の画像に応じて、前記三次元モデルを、対応する一つまたは複数の区画に分割し、前記一つまたは複数の二次元姿勢の画像を、それぞれ前記対応する一つまたは複数の区画に充填して、再構築された三次元表面画像を形成するように、配置される。
【００２６】
本開示のさらに別の形態によれば、三次元表面の画像を再構築するためのシステムにおいて、前記三次元表面の周りを移動し、前記三次元表面にＸ線を照射してＸ線画像データを生成するように配置されるＸ線撮像装置と、前記三次元表面に対して前記Ｘ線撮像装置と同じ方位に位置され、前記Ｘ線撮像装置と同期に前記三次元表面の周りを移動して可視光撮像データを生成するように配置される可視光撮像装置と、上記形態のいずれかに記載の三次元表面の画像を再構築するための装置と、を備える。
【００２７】
本開示に提供される三次元表面の画像を再構築するための方法、装置およびシステムによれば、三次元表面をより精細かつ正確に再構築することができ、医療などのような様々な分野で幅広く且つ細かく適用されることができる。
【図面の簡単な説明】
【００２８】
【図１Ａ】従来技術に従って三次元表面の画像を再構築した結果を示す図である。
【図１Ｂ】従来技術に従って三次元表面の画像を再構築した結果を示す図である。
【図２】本開示に係る三次元表面の画像を再構築する方法の流れを示すフローチャートである。
【図３】一実施例に係るボクセルモデルの輪郭を層ごとに抽出することを示す概略図である。
【図４】一実施例に係る三次元表面点群を確立することを示す概略図である。
【図５】特徴点の抽出処理を示す模式図である。
【図６】姿勢マッピングが行なわれた三次元表面の二次元姿勢と対応する二次元姿勢の画像とを示す図である。
【図７】図２の方法によって三次元表面を再構築した結果の一例を示す図である。
【図８】Ｘ線撮像データを取得するＸ線撮像装置と可視光撮像データを取得する可視光撮像装置とを含むシステムの概略図である。
【図９】本開示に係る三次元表面の画像を再構築するための装置の構成を示すブロック図である。
【図１０】本開示に係る三次元表面の画像を再構築するためのシステムを示す概略図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照しながら、本開示について具体的に説明する。以下の説明において、説明の便宜上、または本開示の趣旨および効果を容易に理解・把握させるために、特定の実施例を説明する際に特定の三次元表面（例えば特定の顔）を用いて説明するが、本開示は、特定の形態および／または特徴を有するいかなる三次元表面に限定されない。以下の説明において、特定の実施例を説明する際に、特定の装置や特定のアルゴリズムまたは技術を用いて本開示の一部の特定の特徴を実現するが、これらも同様に説明および／または理解の便宜のためであり、本開示を限定するものではない。対応する能力を有するおよび／または対応する効果を達成可能な任意の装置、アルゴリズムおよび／または技術は、いずれも本開示の実施に用いられることができ、本開示の範囲は特許請求の範囲における各請求項によって決定される。
【００３０】
まず、図２は、本開示の一実施例に係る三次元表面の画像を再構築するための方法２００を示している。方法２００は、ステップＳ２１０から始まり、前記三次元表面をＸ線撮像して取得したＸ線撮像データによって、前記三次元表面の三次元モデルを構築し、特徴点の三次元の座標パラメータを抽出する。次に、ステップＳ２２０において、前記三次元表面を可視光撮像して取得した可視光撮像データによって、前記三次元表面の一つまたは複数の二次元姿勢の画像を構築し、各二次元姿勢の画像から特徴点の二次元の座標パラメータを抽出する。次に、ステップＳ２３０において、各二次元姿勢の画像における特徴点の三次元の座標パラメータと二次元の座標パラメータとを整合することによって、前記二次元姿勢の画像と前記三次元モデルとの間のマッピング関係を確立する。最後に、ステップＳ２４０において、各二次元姿勢の画像に対してそれぞれ確立されたマッピング関係を用いて、前記一つまたは複数の二次元姿勢の画像を前記三次元モデルに充填し、再構築された三次元表面画像を形成する。方法２００では、前記三次元表面の同じ方位のＸ線撮像データおよび可視光撮像データは、同期に取得されたものである。
【００３１】
ステップＳ２１０では、前記三次元表面をＸ線撮像して取得したＸ線撮像データによって、前記三次元表面の三次元モデルを構築し、特徴点の三次元の座標パラメータを抽出する。
【００３２】
基礎として、Ｘ線撮像データを取得する必要がある。Ｘ線撮像データは、Ｘ線撮像装置によって取得され、例えば各種のＣＴ装置（例えば、口腔ＣＴ装置）、一般的なＸ線装置とフラットパネル検出器の組み合わせ等が用いられ、対象となる三次元表面のＸ線画像データを取得可能なものであればよい。前記Ｘ線撮像装置は、Ｘ線撮像データを取得する際に、三次元表面のＸ線撮像データを完全に取得するように、前記三次元表面の周りに沿って移動する。図８に、Ｘ線撮像装置を含むシステムの概略図が示されている。図８に示すように、Ｃ１は支持柱であり、システムはＣ１によって地面や壁、または屋根に固定される。Ｃ２は、Ｃ１との接続軸を中心に回転可能なカンチレバーである。Ｃ３は、Ｘ線装置であり、Ｃ４は、フラットパネル検出器である。操作する時、三次元表面はＣ３とＣ４との間に位置し、符号Ｃ５で標記する。カンチレバーＣ２は、軸の周りに回転して三次元表面に対する走査および撮像を行なう。
【００３３】
ステップＳ２１０では、先ず、得られたＸ線撮像データ（例えばＸ線減衰情報であるが、これに限定されない）に応じて、三次元のボクセルモデルを（例えばＣＴ技術により）構築する。ここで、複数の周知の再構築アルゴリズム（例えばＦＤＫ、ＡＲＴなど）を利用することができる。
【００３４】
次に、ボクセルモデルの輪郭を層ごとに抽出して三次元表面点群を取得する。三次元のボクセルモデルは階層的であり、各ボクセルの階調値は該当位置の減衰係数の大きさに関連する。減衰係数の類似する領域は、階調値が類似し、変化が激しい領域はエッジを形成するが、顔面筋と空気との減衰係数の変化が大きいため、エッジを抽出することで顔輪郭の座標を得ることができる。図３は、一実施例に係るボクセルモデルの輪郭を層ごとに抽出することを示す概略図であり、元画像を基礎として、閾値による２値化、孤立点除去などの処理を行うことで、輪郭を取得した。なお、図３に示す各処理は、一例に過ぎず、ボクセルモデルの輪郭を抽出するための必須の過程を意味することではない。
【００３５】
最後に、三次元表面点群の接続関係を確立することによって、前記三次元表面の三次元モデルを構築する。一つの実施例で、前記三次元モデルは、三次元メッシュモデルである。かかる処理は、例えばｂａｌｌ−ｐｉｖｏｔｉｎｇアルゴリズムのようなコンピュータグラフィックスアルゴリズムによって実現することができる。図４は、一実施例に係る三次元表面点群を確立することを示す概略図であり、左側は三次元表面点群の模式図であり、中央は接続関係を確立する三角形モデルを示しており、右側は詳細化された三角形モデルである。なお、図４に示す三次元表面点群を確立する方法は一例に過ぎず、本発明を限定するものではない。
【００３６】
ステップＳ２１０において、特徴点の三次元の座標パラメータを抽出する必要もあるが、特徴点として、鼻先、口角、目角、顔の輪郭などを含むが、これらに限定されない。
【００３７】
次に、ステップＳ２２０において、前記三次元表面を可視光撮像して取得した可視光撮像データによって、前記三次元表面の一つまたは複数の二次元姿勢の画像を構築し、各二次元姿勢の画像から特徴点の二次元の座標パラメータを抽出する。
【００３８】
当該ステップの基礎として、可視光撮像データを取得する必要がある。前記可視光データは、例えばカメラ、ビデオ等の可視光撮像装置によって取得可能し、対象となる三次元表面の可視光画像データが得られるものであればよい。前記可視光撮像装置は、前記三次元表面に対して前記Ｘ線撮像装置と同じ方位に位置し、可視光撮像データを取得する際に、前記Ｘ線撮像装置と同期に前記三次元表面の周りを移動し、前記Ｘ線撮像装置と同期に三次元表面の異なる方位の撮像データを取得する。一つの実施例で、前記可視光撮像データは、前記三次元表面の異なる方位で生成された一連の二次元予備画像である。図８に戻ると、図８に示すシステムには、可視光撮像装置Ｃ６も含まれている。
【００３９】
ステップＳ２２０において、まず、予備特徴点の相対位置を抽出することによって、各二次元予備画像に対応する姿勢を決定してもよい。前記三次元表面（例えば、顔）の方位（例えば、顔の正面の向き）が未知であるため、得られた一連の二次元予備画像における各予備画像の順序のみに基づいて、該予備画像に対応する三次元表面の姿勢（例えば、顔の場合、正面姿勢、左側姿勢、右側姿勢、４５°斜め姿勢など）を自動的に決定できないことが多い。故に、かかる処理では、各二次元予備画像内のいわゆる予備特徴点の相対位置をラベリングすることによって、各画像の姿勢を決定する。この処理は、アクティブ形状モデル（ＡＳＭ）アルゴリズムによって実現してもよい。図５は、特徴点の抽出処理を示す模式図である。
【００４０】
前記予備特徴点は、ステップＳ２１０における特徴点と同じでもよいし、前記特徴点の集合から選択されたより好ましい特徴点でもよい。別の実施例では、前記予備特徴点は、前記特徴点の集合以外の特徴点を含んでもよい。
【００４１】
次に、各二次元予備画像に対応する姿勢に応じて、前記一連の二次元予備画像から前記一つまたは複数の二次元姿勢の画像を選択する。二次元画像は、以降のステップにおいて三次元モデルを充填することに用いられるが、各二次元予備画像の全てが充填に用いられることではない。一つの実施例では、三次元表面の異なる姿勢が選択され、前記一連の二次元予備画像から、対応する異なる姿勢を有する二次元予備画像が選択されて充填されるが、これらの画像も二次元姿勢の画像と呼ばれる。
【００４２】
ステップＳ２２０では、各二次元姿勢の画像から特徴点の二次元の座標パラメータを抽出する必要もある。ここでの特徴点は、ステップＳ２１０における特徴点の集合に属し、鼻先、口角、目角、顔の輪郭などを含んでもよいが、これらに限定されない。なお、一般的に、一つの二次元姿勢の画像には、ステップＳ２１０における特徴点の集合の全ての特徴点が含まれることではなく、例えば、顔の右側姿勢に対応する二次元姿勢の画像には、左目の目角の特徴点が含まれない。
【００４３】
次に、ステップＳ２３０において、各二次元姿勢の画像における特徴点の三次元の座標パラメータと二次元の座標パラメータとを整合することによって、前記二次元姿勢の画像と前記三次元モデルとの間のマッピング関係（Ｔ）を確立する。
【００４４】
以上のステップにおいて、Ｘ線撮像データによって空間的構造の情報を取得し、且つ可視光撮像データは平面テクスチャの情報を反映するため、これらの情報を組合せることにより可視化三次元表面を得ることができ。これは、特徴点の空間マッピング関係に基づいてデータマッピング（Ｔ）を行なう必要がある。
【００４５】
一般的に、一つの三次元表面特徴点の同次座標は数式３で示され、マッピングＴで処理された後、対応する二次元画像における座標点が数式４となり、即ち、数式５である。
【００４６】
【数３】
2019526124.tif 000005
【００４７】
【数４】
2019526124.tif 000006
【００４８】
【数５】
2019526124.tif 000007
【００４９】
理解を容易にするために、マッピングＴを二つのプロセスに分割して解釈することができるが、第１のプロセスは姿勢マッピングであり、第２のプロセスはアフィン変換である。マッピングＴは、この二つのマッピングの総合的な結果である。
【００５０】
姿勢マッピングとは、三次元表面と可視光撮像の二次元姿勢表面とが空間的姿勢での整合関係を意味するものである。即ち、姿勢マッピングにおいては、三次元表面モデルを空間内で回転させて、撮像平面での投影が二次元姿勢表面と一致するようにする。正面姿勢（撮像平面がｘｙ面である）を例にすると、図６は、姿勢マッピングが行なわれた三次元表面の二次元姿勢（左側の図）とそれに対応する二次元姿勢の画像（右側の図）とを示す図であり、マッピング行列は数式６の通りである。
【００５１】
【数６】
2019526124.tif 000008
図面から分かるように、両者の姿勢は完全に対応している。
【００５２】
次は、アフィン変換であるが、二つの二次元画像における各ピクセル間の関係は簡単なアフィン変換関係であり、該アフィン関係は、可視光撮像に使用されるデバイスのパラメータに関連する（数式７）。
【００５３】
【数７】
2019526124.tif 000009
【００５４】
ここで、数式８は、可視光画像におけるピクセル座標であり、数式９は、姿勢マッピングが行なわれた三次元表面モデルの点群の座標であり、数式１０は、フィッティングすべきパラメータであり、主に座標系間の並進および回転を示す。
【００５５】
【数８】
2019526124.tif 000010
【００５６】
【数９】
2019526124.tif 000011
【００５７】
【数１０】
2019526124.tif 000012
【００５８】
二つのプロセスを組合せると、数式１１は、以下の通りである。
【００５９】
【数１１】
2019526124.tif 000013
【００６０】
マッピングＴは、二つの部分によって表され、一方は、可視光撮像装置のパラメータに関連するものであり、他方は、表面姿勢に関連する数式１２である。
【００６１】
【数１２】
2019526124.tif 000014
【００６２】
以上は、マッピングＴのメカニズムである。実際の適用では、通常、数式１３のような形態で、二次元姿勢の画像と前記三次元モデルとの間のマッピング行列Ｔを決定する。
【００６３】
【数１３】
2019526124.tif 000015
【００６４】
ここで、（ｕｉ，ｖｉ）と（ｘｉ，ｙｉ，ｚｉ）は、それぞれ、前記二次元画像におけるｎ個特徴点のうちｉ（ｉ＝１、２、．．．ｎ）番目の特徴点の前記二次元の座標パラメータおよび前記三次元の座標パラメータを示す。一つの実施例において、最小二乗法または特異値分解によって上記式のマッピング行列Ｔを解くことができる。
【００６５】
最後に、ステップＳ２４０において、各二次元姿勢の画像に対してそれぞれ確立されたマッピング関係によって、前記一つまたは複数の二次元姿勢の画像を前記三次元モデルに充填して、再構築された三次元表面画像を形成する。
【００６６】
一つの実施例において、当該ステップで、選択された二次元姿勢の画像に応じて、前記三次元モデルを、対応する一つまたは複数の区画に分割した後、前記一つまたは複数の二次元姿勢の画像を、それぞれ前記対応する一つまたは複数の区画に充填して、再構築された三次元表面画像を形成することができる。もちろん、前記区画は予め分割され、分割された区画に応じて二次元姿勢の画像を選択してもよい。これが本開示の効果に影響を及ぼすことはない。
【００６７】
別の実施例において、区画することなく、選択された異なる二次元姿勢の画像の重なり部分に対して、そのデータをフィッティングし、フィッティングされたデータによって重なり部分を充填してもよい。
【００６８】
最後に、本開示の方法２００によって再構築した三次元表面の一例を図７に示す。上記したように、この方法で、可視光画像とＸ線撮像データとの組み合わせを利用し、視覚効果が図１に示された方法よりも優れている。そして、この方法によって、下顎領域の再構築が可能であり、カスタマイズされた三次元の顔モデルを直接的に生成することができ、信頼性が向上され、一般的な三次元モデル（例えば、図１の方法で選択された一般的な顔モデル）に制約されない。
【００６９】
次に、図９は、本開示に係る三次元表面の画像を再構築するための装置９００の構成を示すブロック図である。
【００７０】
前記装置９００は、三次元モデル構築手段９１０と、二次元姿勢の画像構築手段９２０と、マッピング確立手段９３０と、再構築手段９４０と、を備える。前記三次元モデル構築手段９１０は、前記三次元表面をＸ線撮像して取得したＸ線撮像データによって、前記三次元表面の三次元モデルを構築し、特徴点の三次元の座標パラメータを抽出するように配置される。前記二次元姿勢の画像構築手段９２０は、前記三次元表面を可視光撮像して取得した可視光撮像データによって、前記三次元表面の一つまたは複数の二次元姿勢の画像を構築し、各二次元姿勢の画像から特徴点の二次元の座標パラメータを抽出するように配置される。前記マッピング確立手段９３０は、各二次元姿勢の画像における特徴点の三次元の座標パラメータと二次元の座標パラメータとを整合することによって、前記二次元姿勢の画像と前記三次元モデルとの間のマッピング関係を確立するように配置される。前記再構築手段９４０は、各二次元姿勢の画像に対してそれぞれ確立されたマッピング関係を用いて、前記一つまたは複数の二次元姿勢の画像を前記三次元モデルに充填し、再構築された三次元表面画像を形成するように配置される。前記装置９００に用いられるＸ線撮像データおよび可視光撮像データについて、前記三次元表面の同じ方位のＸ線撮像データおよび可視光撮像データは同期に取得される。
【００７１】
三次元表面の画像を再構築するための上記装置９００は、三次元表面の画像を再構築するための上述した方法２００に対応する。方法２００に対する上記詳細な説明および解釈は、同様に装置９００にも適用可能であり、ここで詳細な説明を省略する。
【００７２】
図１０は、三次元表面の画像を再構築するためのシステム１０００を示す概略図である。システム１０００は、Ｘ線撮像装置１０１０と、可視光撮像装置１０２０と、図９に示された装置９００と、を備える。前記Ｘ線撮像装置１０１０は、前記三次元表面の周りを移動し、前記三次元表面にＸ線を照射してＸ線画像データを生成するように配置される。前記可視光撮像装置１０２０は、前記三次元表面に対して前記Ｘ線撮像装置１０１０と同じ方位に位置し、前記Ｘ線撮像装置１０１０と同期に前記三次元表面の周りを移動して、可視光撮像データを生成するように配置される。図１０に、前記Ｘ線撮像装置１０１０は、Ｘ線照射装置１０１０ａとＸ線受信装置１０１０ｂとを含むものとして示されている。
【００７３】
なお、以上で、Ｘ線撮像装置１０１０と可視光撮像装置１０２０とを三次元表面の周りを移動するものとして説明したが、同様に、三次元表面がＸ線撮像装置１０１０と可視光撮像装置１０２０との周りを移動するように、三次元表面自身が回転または三次元表面とＸ線撮像装置１０１０および可視光撮像装置１０２０とが他の対象を中心に回転するようにしても実現可能であり、Ｘ線撮像データと可視光撮像データとが同期に取得されたものであればよい。
【００７４】
一つの実施例では、前記システム１０００は、再構築された三次元画像を表示するためのディスプレイ（図１０における１０３０）をさらに備えてもよい。
【００７５】
以上で、本開示の好ましい実施例を参照しながら本開示を説明したが、当業者であれば、本開示の主旨および範囲から逸脱しない限り、本開示に対して様々な修正、置換および変更を行ってもよいことを理解できるだろう。したがって、本開示は、上記した実施例によって限定されるべきではなく、添付の特許請求の範囲およびその均等物によって限定されるべきである。
【符号の説明】
【００７６】
９００  装置
９１０  三次元モデル構築手段
９２０  画像構築手段
９３０  マッピング確立手段
１０００  システム
１０１０  Ｘ線撮像装置
１０１０ａ  Ｘ線照射装置
１０１０ｂ  Ｘ線受信装置
１０２０  可視光撮像装置
【図１Ａ】
2019526124.tif 000018
【図１Ｂ】
2019526124.tif 000019
【図２】
2019526124.tif 000020
【図３】
2019526124.tif 000021
【図４】
2019526124.tif 000022
【図５】
2019526124.tif 000023
【図６】
2019526124.tif 000024
【図７】
2019526124.tif 000025
【図８】
2019526124.tif 000026
【図９】
2019526124.tif 000027
【図１０】
2019526124.tif 000028
【国際調査報告】
2019526124.tif 000029
2019526124.tif 000030
2019526124.tif 000031
2019526124.tif 000032
2019526124.tif 000033