(57)【要約】【課題】３次元投影画像の位置合わせにおいて、対象物に前後の傾きや回転があっても、位置合わせを行うことである。【解決手段】３次元投影画像である過去と現在のＸ線画像から、過去と現在の回転角度の推定（Ｓ１１０）を行う。求めた角度を用いて、過去画像上の一点ｆ過去から変形後の点ｆ現在を求める関係式を導き、奥行きごとに変形を行う（Ｓ１２０）。変形された過去画像と現在画像とで差分を求める（Ｓ１４０）。【選択図】図８
2004056230.tif 000002
【特許請求の範囲】
【請求項１】
同様の３次元の対象物に関する、２枚の投影画像に対して位置合わせを行うシステムであって、
前記２枚の投影画像から、対象物の３次元上の回転角度をそれぞれ推定する角度推定手段と、
推定した該回転角度と、指定した３次元上の奥行きを用いて、前記２枚の投影画像の一方を変形する変形処理手段と
を備えることを特徴とする３次元物体の投影画像位置合わせシステム。
【請求項２】
請求項１に記載の３次元物体の投影画像位置合わせシステムにおいて、
さらに、変形した画像と他の投影画像との差分を取る差分処理手段
を備えることを特徴とする３次元物体の投影画像位置合わせシステム。
【請求項３】
請求項１又は２に記載の３次元物体の投影画像位置合わせシステムにおいて、
前記角度推定手段は、対象物の投影画面に対しての前傾，後傾の角度及び／又は垂直の軸に対する回転角度を推定することを特徴とする３次元物体の投影画像位置合わせシステム。
【請求項４】
請求項３に記載の３次元物体の投影画像位置合わせシステムにおいて、
前記角度推定手段は、前傾，後傾の角度を推定するとき、前記２枚の投影画像の一方の、奥行きが既知の画像部分を用いて、該画像部分を指定した範囲の角度で変形するとともに、他方の画像の変形後に対応する画像部分と、変形した画像部分との相関係数を計算し、最も相関係数が高いときの角度を求める角度とすることを特徴とする３次元物体の投影画像位置合わせシステム。
【請求項５】
請求項４に記載の３次元物体の投影画像位置合わせシステムにおいて、
前記画像部分を変形するとき、画像部分の各点に対応する対象物上の点を求め、該対象物を前記指定した範囲の角度で回転させるとともに、回転させた前記対象物上の点を投影面に投影して点の位置を求めることで、変形を行うことを特徴とする３次元物体の投影画像位置合わせシステム。
【請求項６】
請求項１〜５のいずれかに記載の３次元物体の投影画像位置合わせシステムの機能をコンピュータ・システムに構築させるプログラムを記録した記録媒体。
【請求項７】
請求項１〜５のいずれかに記載の３次元物体の投影画像位置合わせシステムの機能をコンピュータ・システムに構築させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、同様の対象に対する複数の３次元物体の投影画像の位置合わせシステムに関し、特に、人間のＸ線像に対して適用することができる位置合わせシステムに関する。
【０００２】
【技術的背景】
現在、肺がんは日本男性のがん死亡率の第一位を占め、深刻な問題となっている。これを防ぐためには早期の段階でのがんの発見・治療が有効であり、集団検診のように定期的に行われる検診が非常に重要である。また、胸部を対象とした集団検診では、安価、簡便などの理由から胸部Ｘ線像を撮影し、これを医師が一枚ずつ診断している。ここで通常、医師は診断を行う際に、必要があれば、過去に撮影された胸部Ｘ線像と現在の画像とを見比べて診断を行っている（比較読影と呼ぶ）。しかし、診断の際に、医師は多数の患者の大量の画像を比較読影しなければならず、負担となるばかりでなく、診断精度の低下の原因にもなりうる。そこで現在、この比較読影を支援するために、計算機による差分画像提示の研究が行われている。これは、図１に示すように、計算機上で、過去に撮影された画像（図１（ａ））と現在の画像（図１（ｂ））間の差分をとることで、経時変化のない正常構造を減弱し、異常陰影などのように変化のあったものだけを強調させた画像（図１（ｃ））を自動で作成する技術である。この差分画像（図１（ｃ））を参照しながら診断をすることにより、比較読影を支援することが可能となり、医師の診断精度が向上することが期待される。
しかし、過去に撮影した胸部Ｘ線像と現在撮影した胸部Ｘ線像では、一般に撮影時の呼吸量、撮影体位、Ｘ線入射角度等が異なるため、２枚の画像間では位置ずれが発生する。従って、差分処理を行う前にこれらの位置ずれを補正する処理が必要となる。
【０００３】
従来位置合わせ処理として、線形画像変換や非線形画像変換に基づく自動重ね合わせ処理が報告されている。この手法では、過去画像に対して、拡大・縮小・平行移動・回転などの線形変形（図２参照）と非線形ワーピング（図３参照）を組み合わせた処理を行い、現在画像に合うように変形を行う。
しかしながら、図４に示すような、被写体の前傾・後傾（図４（ａ）参照）や体軸周りの回転（図４（ｂ）参照）に起因する位置ずれには対処していなかった。
図５は、前傾が画像上の陰影の見え方に与える影響について示した図である。図５（ｂ）は図５（ａ）から４度前傾した場合のＸ線像である。拡大した領域に注目してみると、図５（ａ）では点線で囲った肋骨と実線で囲った血管が重なっていないが図５（ｂ）では重なっている。ここで、ある基準点（背面付近に設定）を含む鉛直面からの距離を奥行きと定義すると、上記の様に前傾によって位置関係が変化するのは、注目している血管と肋骨が互いに奥行きが異なるためである。
このことについて、図６を用いてさらに詳しく説明する。図６（ａ）（ｂ）に示すように、人体２０が過去においては前傾、現在は後傾した場合を考える。被写体を撮影した画像３０，３０’では、人体２０の体位が前傾から後傾に変化した場合、大きな奥行きにある物体、すなわち人体の前側にある物体は上へ、小さな奥行きにある物体は下へ移動する。この場合、撮影されたＸ線像３０，３０’上の２つの物体を同時に位置合わせすることは不可能となる。特に、従来の非線形ワーピング手法では、現在画像中の各画素に対応する過去画像上の一点を求めているため、Ｘ線像の拡大図３２，３２’に、右に△を用いて示した対応関係には対処できるが、左に●を用いて示した対応関係は、現在画像の１点が過去画像の２点に対応するために、原理的に対処不可能である。
【０００４】
【発明が解決しようとする課題】
本発明の目的は、例えばＸ線像のような３次元物体の投影画像の位置合わせにおいて、対象物に前後の傾きや回転があっても、位置合わせを行うことである。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明は、同様の３次元対象物に関する、２枚の投影画像に対して位置合わせを行うシステムであって、前記２枚の投影画像から、対象物の３次元上の回転角度をそれぞれ推定する角度推定手段と、推定した該回転角度と、指定した３次元上の奥行きを用いて、前記２枚の投影画像の一方を変形する変形処理手段とを備えることを特徴とする。
さらに、変形した画像と他の投影画像との差分を取る差分処理手段を備えることもできる。
前記角度推定手段は、対象物の投影画面に対しての前傾，後傾の角度及び／又は垂直の軸に対する回転角度を推定するとよい。
前記角度推定手段は、前傾，後傾の角度を推定するとき、前記２枚の投影画像の一方の、奥行きが既知の画像部分を用いて、該画像部分を指定した範囲の角度で変形するとともに、他方の画像の変形後に対応する画像部分と、変形した画像部分との相関係数を計算し、最も相関係数が高いときの角度を求める角度とすることもできる。
前記画像部分を変形するときは、画像部分の各点に対応する対象物上の点を求め、該対象物を前記指定した範囲の角度で回転させるとともに、回転させた前記対象物上の点を投影面に投影して点の位置を求めることで、変形を行うとよい。上述の３次元物体の投影画像位置合わせシステムの機能をコンピュータ・システムに構築させるプログラムやそれを記録した記録媒体も本発明である。
【０００６】
【発明の実施の形態】
本発明の実施形態を、図面を参照して詳細に説明する。以下で説明する本発明の実施形態は、コンピュータに入力された画像に対して処理を行うシステムである。このコンピュータ・システムは、通常のパソコンが有しているシステム構成でも処理を行うことができる。
さて、図６のＸ線像３０，３０’については、人体上の異なる奥行きに存在する２つの物体の位置を同時に合わせることはできないが、例えば、体の前側の奥行きに存在した物体同士の位置を合わせて、差分を求めることは可能である。この場合は、図７に示す差分画像４０となり、位置を合わせた奥行きにある物体（この図では丸で示す）は消える。このように、奥行きを固定すれば位置合わせが可能である。また、これにより異常部位の経時変化の精密な評価が可能になる。本発明では、この考え方に基づき、過去画像を変形する。過去画像の変形には、過去画像中の一点が現在画像中のどの点に対応するかを計算する対応点計算に基づいて行う。この処理を図８のフローチャートと図９のモデルで説明する。
【０００７】
図９は人体の回転をモデル化したものであり、このようなモデルを用いた対応点の計算手順について述べる。なお、図９では、前傾・後傾のモデルのみを示したが、体軸周りの回転についても同様にモデル化を行って対応点を計算する。
▲１▼過去画像１０２中の一点ｆ過去（人体はθ過去回転）より、人体上の一点Ｐ過去を求める。ここで、ｚ軸に平行な角度を０度とする。
▲２▼点Ｐ過去から現在における人体上の点Ｐ現在（人体はθ現在回転）を求める。▲３▼Ｐ現在の投影後の点ｆ現在が、ｆ過去の対応点となる。
以上のような変形モデルから、過去画像１０２上の一点ｆ過去から変形後の点ｆ現在を求める関係式を導く（Ｓ１２０）。これをまとめると以下の式（１）の様に書ける。ここでＤとは指定する奥行きのことである。この式から、変形後の点ｆ現在を求めるためには過去と現在の回転角度が必要となるが、この値の推定（Ｓ１１０）については後で述べる。
【数１】
ｆ現在＝Ｆ（ｆ過去，θ過去，θ現在，Ｄ）　　　（１）
【０００８】
＜回転角度の推定（Ｓ１１０）＞
（前傾後傾の場合）
図１０に示すように、過去画像２００中から例えば鎖骨と胸郭を含む領域２２０を切り出し、テンプレートを作成する。
次に、鎖骨と胸郭部分の奥行きを与え、−７度〜７度（０．５度刻み）でθ過去，θ現在をさまざまに変えながら過去画像を図９に示すモデルを用いて変形し、相関係数を用いて現在画像に最も一致する回転角度を探索する。
ここでは、鎖骨と胸郭を含む領域を切り出してテンプレートを作成しているが、他の奥行きが分かっている部位を用いてもよい。
（体軸周りの回転の場合）
体軸周りの回転が生じると、回転角度の大きさが大きくなるにつれ左右の胸郭間の距離が狭くなる。そこで、図１１に示すように、回転角０度の画像における鎖骨下の胸郭間の距離をあらかじめ求め（図１１（ａ）参照）、それと実際の画像における距離を比較して回転角θの推定を行う（図１１（ｂ）参照）。
【０００９】
＜差分処理（Ｓ１４０）＞
以上の方法で推定した回転角度を用いて、変形した過去画像と現在画像との差分画像を作成する。差分画像における各画素の濃度値をｓｕｂ（ｘ，ｙ）、変形後の過去画像の濃度値をｆ過去’（ｘ，ｙ）、現在画像の濃度値をｆ現在（ｘ，ｙ）とすると、差分後の濃度値は以下の式により求まる。
【数２】
ｓｕｂ（ｘ，ｙ）＝ｆ現在（ｘ，ｙ）−ｆ過去’（ｘ，ｙ）　　（２）
なお、以上で説明した本発明の回転角の位置合わせ処理を行う前に、上述で説明した従来のグローバル・マッチングを行い、線形処理や非線形ワーピング処理で画像を補正することが必要な場合は、その処理を行う。
【００１０】
＜対応点の計算＞
ここで、図１２に示した図を用いて、過去の画像と現在の画像との対応点の求め方について詳細に説明する。図１２（ａ）に示す人体上の任意の一点Ｐ（Ｐｘ，Ｐｙ，Ｐｚ）が、ｘ軸に平行な回転軸（Ｒｙ，Ｒｚ）の回りに対して人体を角度θ（前傾又は後傾）回転したときの点Ｐθ（Ｐｘθ，Ｐｙθ，Ｐｚθ）とき（図１２（ｂ）参照）の関係は次の様に表される。
【数３】
2004056230.tif 000003
このとき、回転軸（Ｒｙ，Ｒｚ）は、撮影系による人体の撮影体位により定まる。また、Ｐｙは注目点Ｐの奥行きである。
Ｐ点のフィルム上の点Ｆ（Ｆｘ，Ｆｙ，Ｆｚ）と回転後の点Ｐθが投影されたフィルム上の点Ｆθ（Ｆｘθ，Ｆｙθ，Ｆｚθ）とは、フィルム面のｙ座標Ｆｙ、Ｘ線源の座標（Ｃｘ，Ｃｙ，Ｃｚ）は撮影系により定まっているので、以下のように計算できる。
【数４】
2004056230.tif 000004
以下では、これらの式を用いて、過去２次元画像上の一点に対応する現在の一点を求める。
【００１１】
さて、過去の画像撮影時の人体の回転角度をθｐ、現在の画像撮影時の人体の回転角度をθｎとする。また、過去の画像上の点を（Ｆｘθｐ，Ｆｚθｐ）とし、対応する現在の画像上の点を（Ｆｘθｎ，Ｆｚθｎ）とする。（Ｆｘθｐ，Ｆｚθｐ）から（Ｆｘθｎ，Ｆｚθｎ）を求める計算は、次のような手順によって行うことができる。
１．過去の画像上の２次元の点（Ｆｘθｐ，Ｆｙθｐ，Ｆｚθｐ）（ただし、Ｆｙθｐ＝Ｆｙ）から、３次元の人体中の対応する点（Ｐｘθｐ，Ｐｙθｐ，Ｐｚθｐ）を求める。
２．求めた過去の人体内の点（Ｐｘθｐ，Ｐｙθｐ，Ｐｚθｐ）から、θ＝θｎ−θｐの角度回転させたフィルム上の対応する点（Ｆｘθｎ，Ｆｙθｎ，Ｆｚθｎ）（現在の画像上の点。ただし、Ｆｙθｎ＝Ｆｙ）を求める。
以下に、手順１，手順２を詳細に説明する。
【００１２】
（手順１）
過去の画像上の２次元の点（Ｆｘθｐ，Ｆｙθｐ，Ｆｚθｐ）（ただし、Ｆｙθｐ＝Ｆｙ）から、３次元の人体中の対応する点（Ｐｘθｐ，Ｐｙθｐ，Ｐｚθｐ）を求める。
まず、回転のないときの座標（Ｐｘ，Ｐｙ，Ｐｚ）を用いると、角度θｐ回転した点は、上述に述べたように、
【数５】
2004056230.tif 000005
と表される。ここで式▲２▼，▲３▼よりＰｚを消去すると、
【数６】
2004056230.tif 000006
である。
また、過去の画像上の点（Ｆｘθｐ，Ｆｙθｐ，Ｆｚθｐ）とＸ線源（Ｃｘ，Ｃｙ，Ｃｚ）とは直線上にあるので、以下の式が成立する。
【数７】
2004056230.tif 000007
このｔを用いて式▲５▼を変形すると
【数８】
2004056230.tif 000008
となる。式▲７▼，▲８▼を式▲４▼に代入して、ｔを求めると
【数９】
2004056230.tif 000009
となる。この式▲９▼を式▲６▼，▲７▼，▲８▼に代入すると、画像上の点（Ｆｘθｐ，Ｆｙθｐ，Ｆｚθｐ）から対応する過去の人体上の点（Ｐｘθｐ，Ｐｙθｐ，Ｐｚθｐ）を計算することができる。
【００１３】
（手順２）
求めた人体上の点（Ｐｘθｐ，Ｐｙθｐ，Ｐｚθｐ）をθ＝θｎ−θｐの角度回転させて、（Ｆｘθｎ，Ｆｙθｎ，Ｆｚθｎ）（ただし、Ｆｙθｎ＝Ｆｙ）を求める。
まず、過去の人体上の点（Ｐｘθｐ，Ｐｙθｐ，Ｐｚθｐ）をθ＝θｎ−θｐの角度回転させて、対応する現在の人体上の点（Ｐｘθｎ，Ｐｙθｎ，Ｐｚθｎ）を求める。
【数１０】
2004056230.tif 000010
これを用いて、フィルム面上の対応する点（Ｆｘθｎ，Ｆｚθｎ）を以下の様に求めることができる。
【数１１】
2004056230.tif 000011
上述で説明した対応点を求める計算は、前傾・後傾の角度であるが、体軸を中心とした回転についても同じ様に適用して、対応点を求めることができる。
また、与えられた画像を、与えられた角度だけ回転させて、変形させるときの計算にも同様に適用することができる。
【００１４】
（前傾・後傾の求め方の詳細）
上述した計算を用いて、図１０に示すような胸部鎖骨領域からテンプレートを切り出して前傾・後傾の角度を求める場合を、図１３のフローチャートで詳しく説明する。
前提として、過去・現在の撮影系は同じであり、回転軸（Ｒｙ，Ｒｚ），Ｘ線源の位置（Ｃｘ，Ｃｙ，Ｃｚ），フィルム面のｙ座標（Ｆｙ），鎖骨領域の奥行き（Ｐｙ）は既知とする。
過去の胸部の画像から、図１０のように鎖骨領域からテンプレートを切り出す（Ｓ３０２）。過去の角度θｐと現在の角度θｎを設定し（Ｓ３０４，Ｓ３１４）、＝θｎ−θｐとし、テンプレートの画像を上述の計算により、変形する（Ｓ３０６）。このときに、変形したテンプレートの形状・位置で、現在の胸部画像を切り抜く（Ｓ３０８）。変形後のテンプレートと現在の画像から切り抜いたテンプレート同士の相関係数を計算する（Ｓ３１０）。これを予め定めた範囲の過去の角度θｐと現在の角度θｎが終了するまで行う（Ｓ３１２）。そして、相関係数が最大のときの角度が求める角度である（Ｓ３１６）。
【００１５】
（体軸と平行な軸の回りの角度の計算の詳細）
図１４〜図１６を用いて、図１１（ａ）における０度の画像から、与えられた画像（図１１（ｂ）参照）の回転角度θを推定する処理を詳細に説明する。
前提として、０度と角度θの画像の撮影系は同じであり、図１４における回転軸（Ｒｘ，Ｒｙ），Ｘ線源の位置（Ｃｘ，Ｃｙ，Ｃｚ），フィルム面のｙ座標（Ｆｙ）は既知とする。また、回転角度０度のときの画像が与えられ、その画像上の肋骨間の２点（図１４ではｆ１，ｆ２：図１１（ａ）参照）の座標も既知とする。
まず、０度の画像の左右の鎖骨部分からテンプレートを取り出し、それぞれのテンプレートと実際の画像との相関係数最大のときから、実際の画像における同じ部分の鎖骨下の胸郭間の距離を求める（図１５のフローチャートでＳ４０２）。このときに、テンプレートとの相関を求める画像の範囲を限定することで、計算コストを軽減することができる。
次に、図１４のモデルを用いて、例えば回転角度０度でのモデルを左へ７度〜右へ７度の範囲の０．０１度刻みに回転変化させて、鎖骨下の胸郭間の距離を求める（Ｓ４０６〜Ｓ４１２）。この計算は、上述の対応点を求めた計算と同様に求めることができる。求めた結果は図１６のグラフに示すように左右対称の形をしている。この求めた距離から、実際の画像における胸郭間の距離と同じとなる角度を、求める回転角度とする（Ｓ４１６）。なお、左右対称のため距離の比較では左右の区別が付かないので、左右どちらに回転しているのかの区別があらかじめついているものとする。
【００１６】
＜適用例＞
上述のシステムの基本的な性能を評価するために、前傾・後傾や体軸周りの回転成分以外の位置ずれがない状態に対して適用した。具体的には、図１７に示す胸部ファントムを、前後に５度まで回転させ撮影した画像、体軸周りに左右に５度まで回転させ撮影した画像を用いて行った。撮影された画像サイズは３５２０×３５２０（ｐｉｘｅｌ）、空間分解能は０．１（ｍｍ／ｐｉｘｅｌ）、濃度値レベルは１０（ｂｉｔｓ）である。なお、ファントム撮影時のＸ線源の位置や回転軸の座標などは、以下の通りである（記号は図９，図１４等参照）。
2004056230.tif 000012
（奥行きを考慮した位置合わせの結果）
前傾・後傾が生じた場合について、図１８の血管の奥行きを指定して、差分処理を行った結果を示す。過去画像（後傾２．５度）、現在画像（後傾５度）の差分結果であるが、図１９（ａ）は位置合わせを行わずに過去と現在の画像の差分をとった結果である。これに対して、回転角度の推定を行って提案手法によって差分を行った結果が図１９（ｂ）である。これらから、図１９（ａ）では消えていなかった血管影が図１９（ｂ）では位置合わせが良好に行われたために消えていることが目視により確認された。
この例における回転角度の推定は、過去と現在画像共に真の値とのずれが０．５度以内であり、精度良く行われていたが、推定に失敗した場合、例えば角度が０度と−２．５度の組み合わせの場合のように４度近くずれた場合においても良好な差分画像が得られることを確認している。この理由としては、変形処理においてはθ現在やθ過去の絶対値よりもθ現在−θ過去の値が重要であるからである。
次に体軸周りの回転が生じた場合の結果を図２０に示す。これは過去画像が回転なし（０度）の画像、現在画像が体軸周りに左へ５度回転させた画像の差分処理結果である。図２０（ａ）は位置合わせを行わずに過去と現在の差分をとった結果、図２０（ｂ）は奥行きを図１８の血管影に指定し、推定した回転角度で位置合わせを行った結果である。この場合にも前傾・後傾の時と同様、うまく位置合わせが行われて血管影が消えていることが確認された。
【００１７】
【発明の効果】
本発明では、Ｘ線写真の画像から、３次元の人体モデルの傾きの角度を推定することにより、異なるときに撮影した２つのＸ線画像の奥行きを合わせて差分を取ることが可能となり、精密な比較が可能となった。
【図面の簡単な説明】
【図１】従来の画像の比較（差分法）を示す図である。
【図２】従来の画像の位置合わせ（線形処理）を説明する図である。
【図３】従来の画像の位置合わせ（非線形処理）を説明する図である。
【図４】人体の回転を説明する図である。
【図５】人体の回転のＸ線像への影響を示す図である。
【図６】人体の回転のＸ線像への影響を説明する図である。
【図７】人体の回転の位置合わせした差分画像を説明する図である。
【図８】人体の奥行きごとに位置合わせを行う処理を示すフローチャートである。
【図９】人体の前傾・後傾の回転を説明するモデルを示す図である。
【図１０】人体の前傾・後傾の回転角の推定を説明する図である。
【図１１】人体の体軸と平行な軸の回転角の推定を説明する図である。
【図１２】２つの画像の対応点を計算するためのモデルを示す図である。
【図１３】人体の前傾・後傾の回転角を推定する処理を示すフローチャートである。
【図１４】人体の体軸と平行な軸の回転を説明するモデルを示す図である。
【図１５】人体の体軸と平行な軸の回転角を推定する処理を示すフローチャートである。
【図１６】人体の体軸と平行な軸の回転角とＸ線像上の２点間の距離の関係を示すグラフである。
【図１７】人体のファントム胸像を示す図である。
【図１８】注目する奥行きにある血管を示す図である。
【図１９】差分の画像を示す図である。
【図２０】差分の画像を示す他の図である。
【図１】
2004056230.tif 000013
【図２】
2004056230.tif 000014
【図３】
2004056230.tif 000015
【図４】
2004056230.tif 000016
【図５】
2004056230.tif 000017
【図６】
2004056230.tif 000018
【図７】
2004056230.tif 000019
【図８】
2004056230.tif 000020
【図９】
2004056230.tif 000021
【図１０】
2004056230.tif 000022
【図１１】
2004056230.tif 000023
【図１２】
2004056230.tif 000024
【図１３】
2004056230.tif 000025
【図１４】
2004056230.tif 000026
【図１５】
2004056230.tif 000027
【図１６】
2004056230.tif 000028
【図１７】
2004056230.tif 000029
【図１８】
2004056230.tif 000030
【図１９】
2004056230.tif 000031
【図２０】
2004056230.tif 000032