(57)【要約】【課題】  透過像の三次元画像の再構成において、幅広い試料、傾斜角度条件に対して、高速かつ高精度に透過像の位置合わせを実行することができなかった。【解決手段】  試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、前記第１の画像に対応する第１の逆投影線像ボリュームと、前記試料を１ステップ分傾斜させたときの仮の第２の画像に対応する第２の逆投影像ボリュームと、の三次元相互相関の結果に基づいて、前記試料の位置合わせを行い、当該位置合わせ後の試料の第２の画像に対応する第２の逆投影線像ボリュームを求め、再構成用データとする。【選択図】図１
2015232958.tif 000002
【特許請求の範囲】
【請求項１】
観察試料の試料に荷電粒子線を照射する荷電粒子線照射部と、
当該試料に照射される荷電粒子線の焦点を合わせる焦点合わせ部と、
前記荷電粒子線の照射方向の垂直面に対して前記試料を傾斜させる試料傾斜部と、
前記試料の位置を移動させる試料移動部と、
当該荷電粒子線の照射により前記試料から生じる信号を検出し、当該信号に基づいて画像を取得するための検出部と、
前記試料傾斜部を制御することで、前記試料の傾斜角の異なる複数の画像を取得し、当該取得した複数の画像から前記試料の三次元画像を再構成する制御部と、を備える荷電粒子線装置であって、
前記制御部は、
前記試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、
前記第１の画像を取得し、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、
前記試料を１ステップ分傾斜させたときの仮の第２の画像を取得し、対応する仮の第２の逆投影線像ボリュームを求め、
前記第１の逆投影線像ボリュームと、前記仮の第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、
当該三次元相互相関に基づいて、前記試料の位置合わせを行い、
当該位置合わせ後の試料の第２の画像を取得し、対応する第２の逆投影線像ボリュームを求め、
当該求めた第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、
前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、
第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする荷電粒子線装置。
【請求項２】
請求項１に記載された荷電粒子線装置において、
前記試料の観察領域を移動させる偏向部を有し、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記偏向部に送信する信号量を変化させることで前記試料の位置合わせを行うことを特徴とする荷電粒子線装置。
【請求項３】
請求項２に記載された荷電粒子線装置において、
前記荷電粒子線が試料上に照射される領域を走査する走査部を有し、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記偏向部に送信する信号量を変化させることで、当該走査部による前記荷電粒子線の前記試料上での走査領域を移動し、前記試料の位置合わせを行うことを特徴とする荷電粒子線装置。
【請求項４】
請求項１に記載された荷電粒子線装置において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記試料移動部の動作を制御することで前記試料の位置合わせを行うことを特徴とする荷電粒子線装置。
【請求項５】
請求項１に記載された荷電粒子線装置において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得される画像の回転ずれを補正することを特徴とする荷電粒子線装置。
【請求項６】
請求項１に記載された荷電粒子線装置において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得される画像のフォーカス合わせを行うことを特徴とする荷電粒子線装置。
【請求項７】
観察試料の試料に荷電粒子線を照射する荷電粒子線照射部と、
当該試料に照射される荷電粒子線の焦点を合わせる焦点合わせ部と、
前記荷電粒子線の照射方向の垂直面に対して前記試料を傾斜させる試料傾斜部と、
前記試料の位置を移動させる試料移動部と、
当該荷電粒子線の照射により前記試料から生じる信号を検出し、当該信号に基づいて画像を取得するための検出部と、
前記試料傾斜部を制御することで、前記試料の傾斜角の異なる複数の画像を取得し、当該取得した複数の画像から前記試料の三次元画像を再構成する制御部と、を備える荷電粒子線装置を用いた画像処理方法において、
前記試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、
前記第１の画像を取得し、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、
前記試料を１ステップ分傾斜させたときの仮の第２の画像を取得し、対応する仮の第２の逆投影線像ボリュームを求め、
前記第１の逆投影線像ボリュームと、前記仮の第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、
当該三次元相互相関に基づいて、前記試料の位置合わせを行い、
当該位置合わせ後の試料の第２の画像を取得し、対応する第２の逆投影線像ボリュームを求め、
当該求めた第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、
前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、
第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする画像処理方法。
【請求項８】
請求項７に記載された画像処理方法において、
前記荷電粒子線装置は、前記試料の観察領域を移動させる偏向部を有し、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記偏向部に送信する信号量を変化させることで前記試料の位置合わせを行うことを特徴とする画像処理方法。
【請求項９】
請求項８に記載された画像処理方法において、
前記荷電粒子線装置は、前記荷電粒子線が試料上に照射される領域を走査する走査部を有し、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記偏向部に送信する信号量を変化させることで、当該走査部による前記荷電粒子線の前記試料上での走査領域を移動し、前記試料の位置合わせを行うことを特徴とする画像処理方法。
【請求項１０】
請求項７に記載された画像処理方法において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記試料移動部の動作を制御することで前記試料の位置合わせを行うことを特徴とする画像処理方法。
【請求項１１】
請求項７に記載された画像処理方法において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得される画像の回転ずれを補正することを特徴とする画像処理方法。
【請求項１２】
請求項７に記載された画像処理方法において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得される画像のフォーカス合わせを行うことを特徴とする画像処理方法。
【請求項１３】
観察試料の試料に荷電粒子線を照射する荷電粒子線照射部と、
当該試料に照射される荷電粒子線の焦点を合わせる焦点合わせ部と、
前記荷電粒子線の照射方向の垂直面に対して前記試料を傾斜させる試料傾斜部と、
前記試料の位置を移動させる試料移動部と、
当該荷電粒子線の照射により前記試料から生じる信号を検出し、当該信号に基づいて画像を取得するための検出部と、
前記試料傾斜部を制御することで、前記試料の傾斜角の異なる複数の画像を取得し、当該取得した複数の画像から前記試料の三次元画像を再構成する制御部と、を備える荷電粒子線装置用の画像処理システムであって、
前記制御部は、
前記試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、
前記第１の画像を取得し、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、
前記試料を１ステップ分傾斜させたときの仮の第２の画像を取得し、対応する仮の第２の逆投影線像ボリュームを求め、
前記第１の逆投影線像ボリュームと、前記仮の第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、
当該三次元相互相関に基づいて、前記試料の位置合わせを行い、
当該位置合わせ後の試料の第２の画像を取得し、対応する第２の逆投影線像ボリュームを求め、
当該求めた第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、
前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、
第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする画像処理システム。
【請求項１４】
請求項１３に記載された画像処理システムにおいて、
前記荷電粒子線装置は、前記試料の観察領域を移動させる偏向部を有し、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記偏向部に送信する信号量を変化させることで前記試料の位置合わせを行うことを特徴とする画像処理システム。
【請求項１５】
請求項１４に記載された画像処理システムにおいて、
前記荷電粒子線装置は、前記荷電粒子線が試料上に照射される領域を走査する走査部を有し、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記偏向部に送信する信号量を変化させることで、当該走査部による前記荷電粒子線の前記試料上での走査領域を移動し、前記試料の位置合わせを行うことを特徴とする画像処理システム。
【請求項１６】
請求項１３に記載された画像処理システムにおいて、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記試料移動部の動作を制御することで前記試料の位置合わせを行うことを特徴とする画像処理システム。
【請求項１７】
請求項１３に記載された画像処理システムにおいて、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得される画像の回転ずれを補正することを特徴とする画像処理システム。
【請求項１８】
請求項１３に記載された画像処理システムにおいて、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得される画像のフォーカス合わせを行うことを特徴とする画像処理システム。
【請求項１９】
観察試料の試料に荷電粒子線を照射する荷電粒子線照射部と、
当該試料に照射される荷電粒子線の焦点を合わせる焦点合わせ部と、
前記荷電粒子線の照射方向の垂直面に対して前記試料を傾斜させる試料傾斜部と、
前記試料の位置を移動させる試料移動部と、
前記試料の観察領域を移動させる偏向部と、
当該荷電粒子線の照射により前記試料から生じる信号を検出し、当該信号に基づいて画像を取得するための検出部と、
前記試料傾斜部を制御することで、前記試料の傾斜角の異なる複数の画像を取得し、当該取得した複数の画像から前記試料の三次元画像を再構成する制御部と、を備える荷電粒子線装置であって、
前記制御部は、
前記試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、
前記第１から第Ｎの画像を取得して記憶し、
当該記憶された前記第１の画像に基づいて、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、
当該記憶された前記試料を１ステップ分傾斜させたときの第２の画像に基づいて対応する第２の逆投影線像ボリュームを求め、
前記第１の逆投影線像ボリュームと、前記第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、
当該三次元相互相関に基づいて、前記試料の位置を合わせるように前記第２の逆投影線像ボリュームを修正し、
当該修正後の第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、
前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、
第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする荷電粒子線装置。
【請求項２０】
請求項１９に記載された荷電粒子線装置において、
前記荷電粒子線が試料上に照射される領域を走査する走査部をさらに有することを特徴とする荷電粒子線装置。
【請求項２１】
請求項１９に記載された荷電粒子線装置において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得された画像の回転ずれを補正することを特徴とする荷電粒子線装置。
【請求項２２】
観察試料の試料に荷電粒子線を照射する荷電粒子線照射部と、
当該試料に照射される荷電粒子線の焦点を合わせる焦点合わせ部と、
前記荷電粒子線の照射方向の垂直面に対して前記試料を傾斜させる試料傾斜部と、
前記試料の位置を移動させる試料移動部と、
観察視野を移動させる電磁偏向系と、
当該荷電粒子線の照射により前記試料から生じる信号を検出し、当該信号に基づいて画像を取得するための検出部と、
前記試料傾斜部を制御することで、前記試料の傾斜角の異なる複数の画像を取得し、当該取得した複数の画像から前記試料の三次元画像を再構成する制御部と、を備える荷電粒子線装置を用いた画像処理方法において、
前記制御部は、
前記試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、
前記第１から第Ｎの画像を取得して記憶し、
当該記憶された前記第１の画像に基づいて、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、
当該記憶された前記試料を１ステップ分傾斜させたときの第２の画像に基づいて対応する第２の逆投影線像ボリュームを求め、
前記第１の逆投影線像ボリュームと、前記第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、
当該三次元相互相関に基づいて、前記試料の位置を合わせるように前記第２の逆投影線像ボリュームを修正し、
当該修正後の第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、
前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、
第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする画像処理方法。
【請求項２３】
請求項２２に記載された画像処理方法において、
前記荷電粒子線装置は、試料上に照射される領域を走査する走査部をさらに有することを特徴とする画像処理方法。
【請求項２４】
請求項２２に記載された画像処理方法において、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得された画像の回転ずれを補正することを特徴とする画像処理方法。
【請求項２５】
観察試料の試料に荷電粒子線を照射する荷電粒子線照射部と、
当該試料に照射される荷電粒子線の焦点を合わせる焦点合わせ部と、
前記荷電粒子線の照射方向の垂直面に対して前記試料を傾斜させる試料傾斜部と、
前記試料の位置を移動させる試料移動部と、
観察視野を移動させる電磁偏向系と、
当該荷電粒子線の照射により前記試料から生じる信号を検出し、当該信号に基づいて画像を取得するための検出部と、
前記試料傾斜部を制御することで、前記試料の傾斜角の異なる複数の画像を取得し、当該取得した複数の画像から前記試料の三次元画像を再構成する制御部と、を備える荷電粒子線装置を用いた画像処理システム
前記制御部は、
前記試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、
前記第１から第Ｎの画像を取得して記憶し、
当該記憶された前記第１の画像に基づいて、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、
当該記憶された前記試料を１ステップ分傾斜させたときの第２の画像に基づいて対応する第２の逆投影線像ボリュームを求め、
前記第１の逆投影線像ボリュームと、前記第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、
当該三次元相互相関に基づいて、前記試料の位置を合わせるように前記第２の逆投影線像ボリュームを修正し、
当該修正後の第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、
前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、
第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする画像処理システム。
【請求項２６】
請求項２５に記載された画像処理システムにおいて、
前記荷電粒子線が試料上に照射される領域を走査する走査部を有し、
当該求めた三次元相互相関に基づいて、前記第２の逆投影線像ボリュームを修正して、画像の位置合わせを行うことを特徴とする画像処理システム。
【請求項２７】
請求項２５に記載された画像処理システムにおいて、
前記制御部は、
当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得された画像の回転ずれを補正することを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は荷電粒子線またはエックス線を用いた観察対象物の画像処理に関し、特に、取得した二次元画像から、逆投影線像を利用した観察対象物の位置ずれを追跡、補正し、三次元構造を再構成する技術に関するものである。
【背景技術】
【０００２】
透過型電子顕微鏡（Transmission Electron Microscopy:TEM）法においては、観察対象物を様々な角度から連続的に撮影して投影像を取得し、この投影像に基づいて三次元構造を再構成する電子線トモグラフィーと呼ばれる技術がある。電子線トモグラフィーでは、投影像の位置合わせは再構成画像の分解能を左右する非常に重要な処理である。
【０００３】
例えば非特許文献１では、金微粒子を位置合わせ用のマーカとして利用する手法について説明している。
【０００４】
また、非特許文献２には、試料の投影像の画像相関を行う手法について示されている。
【０００５】
さらに、非特許文献３には、試料のローカルな特徴点を追跡する技術について開示している。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Mastronarde D N (2006) Fiducial Marker and Hybrid Alignment Methods for Single- and Double-axis Tomography. In Electron Tomography, Second Edition, ed. Frank J, pp163-185, (Springer, New York)
【非特許文献２】Frank J, and McEwen B F  (1992) Alignment by cross-correlation. In Electron Tomography, ed. Frank J, pp205-213, (Plenum Press, New York)
【非特許文献３】Brandt S, Heikkonen J and Engelhardt P (2001) Automatic Alignment of Transmission Electron Microscope Tilt Series without Fiducial Markers. J. Struct. Biol. 136, pp201-213
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１に示された方法では、特に材料系の試料の場合、その性質上、マーカである金微粒子を付着させることができないものも存在し、このような試料への適用は困難である。
【０００８】
また、非特許文献２に係る試料の投影像の画像相関を行う方法では、位置合わせを自動的に行うことができる。しかし、ある程度の厚みのある試料の場合や、傾斜角度が大きくなる場合では、画像パターンの変化に対応できず、ぼけや強度の低下によって精度が悪化する。さらに、別途傾斜軸の位置を探索することを要する。
【０００９】
これに対し、非特許文献３に記載された手法によれば、位置合わせと同時に試料の傾斜軸の位置を計測することができるが、一方で、その精度は追跡する特徴点の形状や連続的な傾斜における特徴点の一致度等に依存するため、ばらつきがでる。
【００１０】
このように、上記のいずれの手法においても、幅広い試料、傾斜角度条件に対して、高速かつ高精度に透過像の位置合わせを実行することはできなかった。
【００１１】
本発明は上記課題に鑑み、試料の種類や傾斜条件にかかわらず、二次元画像の位置合わせを高速かつ高精度に実行し、効率良く三次元画像の再構成を行うことに関する。
【課題を解決するための手段】
【００１２】
発明者らの鋭意研究の結果、上記課題を解決するための一態様として、逆投影線ボリュームデータを利用した連続的な傾斜撮影中の二次元画像の位置合わせが有効であることが見出された。すなわち、本発明では、試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、第１の画像を取得し、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、前記試料を１ステップ分傾斜させたときの仮の第２の画像を取得し、対応する仮の第２の逆投影線像ボリュームを求め、前記第１の逆投影線像ボリュームと、前記仮の第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、当該三次元相互相関に基づいて、前記試料の位置合わせを行い、当該位置合わせ後の試料の第２の画像を取得し、対応する第２の逆投影線像ボリュームを求め、当該求めた第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする装置、および、当該装置を用いた画像処理方法、画像処理システムを提供する。また、本発明では、試料を所定の角度ステップで傾斜し、傾斜角度毎に第１から第Ｎの画像を取得する撮像シーケンスにおいて、前記第１から第Ｎの画像を取得して記憶し、当該記憶された前記第１の画像に基づいて、対応する第１の逆投影線像ボリュームを求め、第１の再構成用データとして記憶し、当該記憶された前記試料を１ステップ分傾斜させたときの第２の画像に基づいて対応する第２の逆投影線像ボリュームを求め、前記第１の逆投影線像ボリュームと、前記第２の逆投影線像ボリュームと、に基づいて、三次元相互相関を取得し、当該三次元相互相関に基づいて、前記試料の位置を合わせるように前記第２の逆投影線像ボリュームを修正し、当該修正後の第２の逆投影線像ボリュームを、前記第１の逆投影線像ボリュームに代えて、新たな第１の逆投影線像ボリュームとして記憶し、前記第１の再構成用データに、前記新たな第１の逆投影線像ボリュームを加算して、第２の再構成用データとする処理を、第Ｎの画像についての第Ｎの再構成用データを取得するまで繰り返すことを特徴とする装置、および、当該装置を用いた画像処理方法、画像処理システムを提供する。        
【発明の効果】
【００１３】
上記一態様によれば、試料の種類や傾斜の条件によらず、高速かつ高精度に二次元画像の位置合わせを行うことができ、効率良く三次元画像を再構成することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態に係る透過型電子顕微鏡の構成を示す図
【図２】実施例１に係る追跡処理の結果と、従来の手法（ＰＣＦ法）による追跡処理の結果との比較を示す図（ａ：試料を−５８°傾斜したときに取得される二次元画像、ｂ：試料を−６０°傾斜したときに取得される二次元画像、ｃ：ＰＣＦ法によるａ、ｂ像の相関マップ、ｄ：本実施の形態に係るａ、ｂ像の相関マップ）
【図３】実施例１に係る三次元画像の再構成の処理手順を示すフローチャート
【図４】本実施の形態に係る投影方向に垂直な画像シフト平面(xs,ys)と三次元逆投影線像との関係を示す図
【図５】実施例２に係る三次元画像の再構成の処理手順を示すフローチャート
【図６】本実施の形態に係る走査透過型電子顕微鏡の構成を示す図
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を用いて説明する。なお、全体を通して、各図における同一の各構成部分には同一の符号を付して説明を省略することがある。
【実施例１】
【００１６】
<装置構成>
図１は、本実施の形態に係る透過型電子顕微鏡の構成を示す図である。透過型電子顕微鏡は、電子線１０２を放出する電子銃１０１、電子銃１０１より放出された電子線１０２を試料１０４に照射する照射レンズ系１０３、試料１０４に焦点を合わせる対物レンズ系１０５、対物レンズ系１０５により形成された中間拡大像を平行移動するイメージシフトコイル１０６、試料１０４を透過した電子像を拡大する拡大レンズ系１０７、拡大された像を検出する画像信号検出部１０８と、種々の演算制御処理を行うコンピュータ１２１、コンピュータ内部の演算装置１１９、データを記憶する記憶装置１２０、バス１１８を介して制御信号を送るマイクロプロセッサ１１６、コンピュータ１２１とマイクロプロセッサ１１６との通信を行うコミュニケーションインターフェース１１７a、ｂ、マイクロプロセッサ１１６より出力された信号をデジタル−アナログ変換するＤＡＣ１１３、ＤＡＣ１１４、ＤＡＣ１１５と、ＤＡＣ１１３より出力された信号を増幅し、試料傾斜装置１０９へ出力する電源１１０と、ＤＡＣ１１４より出力された信号を増幅し、対物レンズ系１０５へ出力する電源１１１と、ＤＡＣ１１５より出力された信号を増幅し、イメージシフトコイル１０６へ出力する電源１１２と、パラメータの入力を行うためのキーボード１２２ａ、マウス１２２ｂからなる入力装置１２２と画像を出力するための出力装置１２３を備えている。
【００１７】
入力装置１２２にて設定した試料１０４の傾斜角度の範囲、ステップごとに傾斜する角度は、コミュニケーションインターフェース１１７ａ、ｂからバス１１８を介してマイクロプロセッサ１１６に送られる。その後、マイクロプロセッサ１１６からバス１１８を介してＤＡＣ１１３に入力され、電源１１０で増幅されたのちに、試料傾斜装置１０９へと出力される。
【００１８】
次に、図６は、本実施の形態に係る走査透過電子顕微鏡の構成を示す図である。図１において説明した透過電子顕微鏡の構成と比較して、照射レンズ系１０３と対物レンズ系１０５との間に、ラスタースキャンコイル６０１、走査像用イメージシフトコイル６０２を備えていることが主に異なる。ここで、ラスタースキャンコイル６０１は、電子線１０２をラスタースキャンし、走査像用イメージシフトコイル６０２は、ラスタースキャンコイル６０１がスキャンする範囲を偏向によって移動させる。
<三次元画像の自動傾斜・追跡・撮影・再構成処理>
図３は、本実施の形態（実施例１）に係る三次元画像の再構成処理の手順を示すフローチャートである。
【００１９】
試料１０４は、試料傾斜装置１０９にて予め設定された傾斜角度範囲内における初期値の角度で傾斜され、オートフォーカスによって適正なフォーカス値に設定される(ステップ３０１)。具体的には、複数のフォーカス条件において画像信号検出部１０８により試料１０４の像を取得し、コンピュータ１２１内の記憶装置１２０に記憶し、演算装置１１９によってフォーカスの変化による画像のずれ量を求めることで、適正なフォーカス値を取得する。当該フォーカス値は、コミュニケーションインターフェース１１７ａ、ｂからバス１１８を介してマイクロプロセッサ１１６に送られる。その後、このフォーカス値はマイクロプロセッサ１１６からバス１１８を介してＤＡＣ１１４に入力され、電源１１１で増幅されて、対応する電流が対物レンズ系１０５に入力される。上記の動作により、適正なフォーカス値が設定される。
【００２０】
ステップ３０１にて設定したフォーカス条件において、試料１０４の第１の画像を画像信号検出部１０８により取得し、コンピュータ１２１内の記憶装置１２０に記憶する(ステップ３０２)。
【００２１】
次に、記憶された第１の画像を用いて傾斜角に対応した方向に逆投影演算を行い、第１の画像の逆投影線像(以下、第１’の画像とする)のボリュームをコンピュータ１２１内部の演算装置１１９によって演算で求める(ステップ３０３)。ここで、逆投影線像のボリュームとは、三次元画像の再構成に必要な空間（Ｘ方向、Ｙ方向、Ｚ方向）のことをいう。
【００２２】
ステップ３０３にて求めた逆投影線像ボリュームを、基準とする逆投影線像ボリュームＢ１(Ｘ，Ｙ，Ｚ)として記憶装置１２０へ格納するとともに(ステップ３０４)、この逆投影線像ボリュームＢ１(Ｘ，Ｙ，Ｚ)を三次元再構成データＩ１(Ｘ，Ｙ，Ｚ)として記憶装置１２０に格納する(ステップ３０５)。
【００２３】
次に、試料１０４の傾斜角を１ステップ分増加させ(ステップ３０６)、上述の第１の画像の撮影と同様にオートフォーカスによって適切なフォーカス条件を設定し(ステップ３０７)、仮の第２の画像を取得してコンピュータ１２１内の記憶装置１２０に記憶する(ステップ３０８)。
【００２４】
そして、記憶された仮の第２の画像の逆投影線像（仮の第２’の画像）のボリュームを求め(ステップ３０９)、Ｂ２（Ｘ，Ｙ，Ｚ）としてコンピュータ１２１内の記憶装置１２０に記憶する(ステップ３１０)。
【００２５】
ステップ３１０において記憶した一時的な逆投影線像のボリュームＢ２（Ｘ，Ｙ，Ｚ）と、ステップ３０４において予め記憶した逆投影線像のボリュームＢ１(Ｘ，Ｙ，Ｚ)と、に基づいて、三次元相互相関ＲNCC(ＸS，ＹS)を演算により求め(ステップ３１１）、一致度がピークとなる値ＲNCCpeak(ＸS，ＹS)からの画像の位置ずれ量を求める(ステップ３１２)。
【００２６】
その後、求めた位置ずれ量分を補正するように、演算装置１１９によってイメージシフトコイル１０６の変位量を求め、適正位置となる値をコミュニケーションインターフェース１１７ａ、ｂからバス１１８を介してマイクロプロセッサ１１６に信号として送信する。送信された信号はマイクロプロセッサ１１６からバス１１８を介してＤＡＣ１１５に入力され、電源１１２で増幅されたのちに試料を適正位置に合わせるために要する電流がイメージシフトコイル１０６に入力され、位置合わせが行われる(ステップ３１３)。
【００２７】
位置合わせ後、試料１０４の第２の画像を画像信号検出部１０８により取得し、コンピュータ１２１内の記憶装置１２０に記憶する(ステップ３１４)。
【００２８】
次に、記憶された第２の画像を用いて傾斜角に対応した方向に逆投影演算を行い、第２の画像の逆投影線像(以下、第２’の画像とする)のボリュームをコンピュータ１２１内の演算装置１１９による演算で求める(ステップ３１５)。
【００２９】
ステップ３１０にて一時的に記憶した逆投影線像ボリュームＢ２（Ｘ,Ｙ，Ｚ）に替えて新たな逆投影線像ボリュームＢ１(Ｘ，Ｙ，Ｚ)として記憶装置１２０に格納する(ステップ３１６)。
【００３０】
ステップ３１６にて新たに記憶したＢ１(Ｘ，Ｙ，Ｚ)を、ステップ３０５にて記憶した三次元画像の再構成データＩ１(Ｘ，Ｙ，Ｚ)に加算し(ステップ３１７)、最終的な三次元画像の再構築データＩ(Ｘ，Ｙ，Ｚ)として記憶する(ステップ３１８)。
【００３１】
上記のステップ３０６〜ステップ３１８の手順を、設定した傾斜角度範囲の最終傾斜角において第Ｎの画像を取得し、第Ｎの画像の逆投影線像(第Ｎ’の画像)から逆投影線像ボリュームを求めて三次元画像の再構成データＩへ加算するまで繰り返す。第Ｎの画像の逆投影線像ボリュームが加算された三次元画像の再構成用データＩは、試料１０４の最終的な三次元画像の再構成データとなる。
【００３２】
図２は、本実施の形態に係る三次元画像の追跡処理過程の結果と、従来の手法（Ｐｈａｓｅ  Ｃｏｒｒｅｌａｔｉｏｎ  Ｆｕｎｃｔｉｏｎ：以下、ＰＣＦ法という）による追跡処理過程の結果結果との比較を示す図である。ａ、ｂは、それぞれ試料を−５８°、−６０°傾斜したときに取得される二次元画像である。ｃ、ｄは、それぞれＰＣＦ法、本実施の形態によって取得されるａ、ｂ像の相関マップを示す。ｃ、ｄの右上には、相互相関マップの拡大図を示している。ここで、試料は厚み約１５０ｎｍの酵母細胞の切片である。
【００３３】
ＰＣＦ法では、試料の傾斜角度が隣接する傾斜像（投影像）の相互相関関数（ＸＣＦ）を計算し、ＸＣＦのピーク位置から追跡している。本実施の形態で逆投影線像を利用した位置合わせを行うことにより、図２のｄに示されるように、試料を−５８°、−６０°傾斜させたときに得られる逆投影線像の相互相関の精度は、図２のｃに示される結果よりもＸｓ方向にシャープになっていることから、著しく向上することが見出された。
【００３４】
また、処理手法として３Ｄ  ＦＦＴやＩＦＦＴを用いることで、より高速処理が期待される。
【実施例２】
【００３５】
<三次元画像の再構成処理の例>
上記の実施例１では、透過電子顕微鏡を基本構成とした試料傾斜、位置追跡、記録、再構成を連続的に行うシステムについて説明した。本実施例では、第１の画像から第Ｎの画像までを連続的に取り込んだのち、三次元画像の再構成の演算プロセスにおける画像間の位置合わせに際し、隣り合う逆投影線像ボリューム同士の三次元相互相関ＲNCC(ＸS，ＹS)を求め、一致度がピークとなる値ＲNCCpeak(ＸS，ＹS)から位置ずれを補正する技術について説明する。
【００３６】
図５は、本実施の形態（実施例２）に係る三次元画像の再構成の処理手順を示すフローチャートである。
【００３７】
本再構成処理の前提として、試料１０４は、試料傾斜装置１０９にて予めｄ設定された角度範囲内において、所定のステップごとに連続傾斜撮影され、取得された第１〜Ｎ枚の画像は、その撮像時の傾斜角度と共にコンピュータ１２１内の記憶装置１２０に予め記憶される。
【００３８】
再構成計算処理が開始されると（ステップ５０１）、上述の通り予め記憶した第１の画像と、第１の画像の撮像時の試料の傾斜角度の情報（Ａ１とする）が読みだされる（ステップ５０２）。
【００３９】
読み出したＡ１の情報に基づいて、第１の画像の逆投影線像（第１’の画像）のボリュームＢ１（Ｘ，Ｙ，Ｚ）を取得する（ステップ５０３）。ここで、逆投影線像のボリュームとは、三次元画像の再構成に必要な空間（Ｘ方向、Ｙ方向、Ｚ方向）のことをいう。
【００４０】
ステップ５０３にて求めた逆投影線像ボリュームを、基準とする逆投影線像ボリュームＢ１（Ｘ，Ｙ，Ｚ）として記憶装置１２０へ格納するとともに（ステップ５０４）、この逆投影線像ボリュームＢ１（Ｘ，Ｙ，Ｚ）を三次元画像の再構成データＩ（Ｘ，Ｙ，Ｚ）として記憶装置１２０に格納する（ステップ５０５）。
【００４１】
次に、予め記憶した第２の画像と、第２の画像の撮像時の試料の傾斜角度の情報（Ａ２とする）が読みだされる（ステップ５０６）。
【００４２】
読みだしたＡ２の情報に基づいて、第２の画像の逆投影線像（第２’の画像）のボリュームＢ２（Ｘ，Ｙ，Ｚ）を取得する（ステップ５０７）。
【００４３】
ステップ５０７にて求めた逆投影線像ボリュームＢ２（Ｘ，Ｙ，Ｚ）を記憶装置１２０へ格納する（ステップ５０８）。
【００４４】
ステップ５０８にて記憶した逆投影線像のボリュームＢ２（Ｘ，Ｙ，Ｚ）と、ステップ５０４において予め記憶した逆投影線像のボリュームＢ１（Ｘ，Ｙ，Ｚ）と、に基づいて、三次元相互相関ＲNCC(ＸS，ＹS)を演算により求め(ステップ５０９）、一致度がピークとなる値ＲNCCpeak(ＸS，ＹS)からの画像の位置ずれ量を求める(ステップ５１０)。
【００４５】
求めた位置ずれ量に基づいて、Ｂ２（Ｘ，Ｙ，Ｚ）に対して位置合わせを行い、位置合わせ後の逆投影線像ボリュームをＢ２’（Ｘ，Ｙ，Ｚ）とする（ステップ５１１）。
【００４６】
ステップ５１１において計算した位置合わせ後の逆投影線像ボリュームＢ２’（Ｘ，Ｙ，Ｚ）を、新たなＢ１（Ｘ，Ｙ，Ｚ）として記憶する（ステップ５１２）。
【００４７】
新たに記憶したＢ１（Ｘ，Ｙ，Ｚ）を、ステップ５０５にて記憶した三次元画像の再構成用データＩ１（Ｘ，Ｙ，Ｚ）に加算し、Ｉ２（Ｘ，Ｙ，Ｚ）とし、（ステップ５１３）記憶装置１２０に格納する（ステップ５１４）。
【００４８】
記憶している次の傾斜角度の画像情報がある場合（ステップ５１５）、ステップ５０６に戻り、次の画像と、当該画像を撮像時の傾斜角度の情報から逆投影線像ボリュームを取得する。
【００４９】
一方、記憶している次の傾斜角度の画像情報がない場合（ステップ５１５）、ステップ５１４にて求めたＩ（Ｘ，Ｙ，Ｚ）が最終的な三次元画像の再構成データＩN（Ｘ，Ｙ，Ｚ）となる。
【００５０】
上記の本実施の形態（実施例１）では、試料位置合わせの手段としてイメージシフトコイル１０６を使用した場合を例として説明したが、低倍率において試料の画像を撮影する場合には、試料傾斜装置１０９に含まれる試料微動装置(不図示)を用いて試料の位置合わせを行うこともできる。また、走査透過型電子顕微鏡の場合には、走査像用イメージシフトコイル６０２に与える電流の強度を変化させることで位置合わせできる。
【００５１】
さらに、試料位置合わせに加えて、三次元相互相関ＲNCC(ＸS，ＹS)の演算結果から、各傾斜角度において取得される画像の回転ずれ量を求め、これを補正することもできる。逆投影線のシャープさを利用してオートフォーカスに適用することも可能である。すなわち、当該求めた三次元相互相関に基づいて、前記傾斜角度毎に取得される画像のフォーカスを合わせることができる。
【００５２】
また、上記の実施の形態では、透過電子顕微鏡を基本としてシステムを構築した場合を例として説明したが、イメージシフトコイル１０６を試料１０４よりも上部に配置することにより、走査透過型電子顕微鏡や、透過走査型イオン顕微鏡等の他の荷電粒子線装置に適用することもできる。実施例２では、特に、撮影された連続傾斜画像のスタックにおいて、再構成計算を行う際の画像間の位置合わせに、本発明を用いることで、既存の荷電粒子線トモグラフィーシステムにおける、再構成演算プロセスにも応用できることを示した。さらに、Ｘ線トモグラフィーによる再構成技術にも応用可能である。
【実施例３】
【００５３】
本実施例では、上述した本実施の形態に係る逆投影法(Ｆｉｌｔｅｒｅｄ  Ｂａｃｋ  Ｐｒｏｊｅｃｔｉｏｎ：  以下、ＦＢＰ法ということがある)による三次元画像の再構成処理に関し、特に三次元相互相関ＲNCCの求め方についてより詳細に説明する。
【００５４】
ＦＢＰ法は、個々の傾斜像を逆投影して得られる逆投影線像ボリュームの総和によって処理される。図４に示されるように、傾斜軸はy軸と一致することとすると、再構成される対象物体の断層ボリュームО（Ｘ,Ｙ，Ｚ）は、個々の傾斜像の逆投影線像のボリュームＢn（Ｘ，Ｙ，Ｚ；φn）の積算の形で以下定式化され、また、Ｂn（Ｘ，Ｙ，Ｚ；φn）は、逆投影理論に基づき高周波フィルタリングの施されたｇn（ｘ、ｙ；φn）を用いて次式で表される。
【００５５】
【数１】
2015232958.tif 000003
【００５６】
但し（Ｘ，Ｙ，Ｚ）はボリューム内の三次元座標、φnはｎを傾斜順序とした試料の傾斜角度、（ｘ，ｙ）は傾斜像の座標である。一般的に、傾斜角度はφn+1＝φn＋Δφのステップで増加する。
【００５７】
ここで、任意に選択した２枚の逆投影線像とその相互相関係数ＲNCCを考慮する。本実施の形態では、位置ずれの補正のためのｘ軸シフト量ｘsの関数として相関分布を高速に求めるために以下のような手法をとった。まず、以下のように相関係数ＲNCCが次式で計算される。
【００５８】
【数２】
2015232958.tif 000004
【００５９】
但し、Ｔは再構成の厚み（Ｚ軸）、Ｘ0とＸ1はＸ軸の積分範囲である。この計算式に基づき、ＲNCCの（Ｘ，Ｚ）２次元分布を演算する。演算にはＦＦＴのコンボリューションを用いるため、積分範囲のＴと（Ｘ1−Ｘ0）の長さ(画素値)は２の累乗である必要がある。ＸとＺに関するＲNCCの２次元マップを得た後、Ｘs軸のラインプロファイルを抽出する。ΔφとＴが適切な値に設定されていれば、逆投影線は同一の構造物から発せられるため、逆投影線相互相関は矛盾なく視野追跡できる。
【００６０】
単純なモデルを用いた理想的なプロファイルを計算した結果、Δφが大きくても（例：５°）、可能な限りＴを小さく選択することで、相互相関の精度を高く確保することができた。
【００６１】
次に三次元画像の再構成処理について説明する。上記の理論検討の結果、逆投影線相互相関は変数ＴとΔφが適切に選択されることで高い精度と信頼性を持つことが確認されたので、本再構成処理へ応用したものである。
【００６２】
処理の主要部は、一組の逆投影線像のボリューム[Ｂｎ（Ｘ，Ｙ，Ｚ；φn）、Ｂｎ＋１（Ｘ，Ｙ，Ｚ；φn+1）]から算出される三次元相互相関ＲNCCである。式(２)をボリュームデータに対応して拡張すると次式となる。
・
【００６３】
【数３】
2015232958.tif 000005
【００６４】
但し、(ｘs、ｙs)は傾斜像の移動ベクトルを表す変数である。拡張に伴い、計算速度向上のためにボリュームデータの３-Ｄ  ＦＦＴと３−Ｄ  ＩＦＦＴ を用いる。一度 三次元相互相関ＲNCC(ｘs、ｙs)を計算し、その中から(ｘs、ｙs)平面の分布を抽出することでＲNCC(ｘs、ｙs)を得る。図４は、本実施の形態に係る投影方向に垂直な画像シフト平面(ｘs、ｙs)と三次元逆投影線像のボリュームの関係を示す図である。
【００６５】
本実施の形態によれば、試料の厚みや傾斜角度等の条件に関わらず、高い精度で三次元画像の再構成を実施することができる。
【００６６】
なお、本実施の形態は上記の例に限定されるものではなく、様々な変形例が含まれるものとする。
【００６７】
例えば、上述の例以外にも、三次元画像の再構成手段としては走査透過電子顕微鏡、透過イオン顕微鏡等の荷電粒子線装置や、Ｘ線装置等に応用でき、前者では二次元画像記録時の自動追跡・撮影と再構成を並列的に実施できるシステム、後者への適用時は、再構成演算の画像位置合わせの高精度化による三次元画像の質の向上に寄与すると期待できる。
【符号の説明】
【００６８】
１０１・・・電子銃
１０２・・・電子線
１０３・・・照射レンズ系
１０４・・・試料
１０５・・・対物レンズ系
１０６・・・イメージシフトコイル
１０７・・・拡大レンズ系
１０８・・・画像信号検出部
１０９・・・試料傾斜装置
１１０、１１１、１１２、６０３、６０４・・・電源
１１３、１１４、１１５、６０５、６０６・・・ＤＡＣ
１１６・・・マイクロプロセッサ
１１７・・・コミュニケーションインターフェース
１１８・・・バス
１１９・・・演算装置
１２０・・・記憶装置
１２１・・・コンピュータ
１２２ａ・・・キーボード
１２２ｂ・・・マウス
１２３・・・出力装置
６０１・・・ラスタースキャンコイル
６０２・・・走査像用イメージシフトコイル
【図１】
2015232958.tif 000006
【図２】
2015232958.tif 000007
【図３】
2015232958.tif 000008
【図４】
2015232958.tif 000009
【図５】
2015232958.tif 000010
【図６】
2015232958.tif 000011