(57)【特許請求の範囲】
【請求項１】
物質の立体構造を表す３次元画像の妥当性を検証することで、前記立体構造を検証することを支援する立体構造検証支援装置であって、
透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して、３次元再構成画像を生成する３次元再構成画像生成部と、
前記３次元再構成画像に影付けを行うことで、前記３次元画像である３次元影付画像を生成する影付部と、
前記３次元影付画像の画質を、実験的に得られた前記物質の参照画像の画質に合わせることで３次元比較画像を生成する比較画像生成部と、
前記３次元比較画像と、前記３次元再構成画像との画像一致度を算出する画像一致度算出部と、
を備えることを特徴とする立体構造検証支援装置。
【請求項２】
前記比較画像生成部は、前記３次元画像を前記物質の参照画像の画質に合わせてぼかすことで、前記３次元比較画像を生成することを特徴とする請求項１に記載の立体構造検証支援装置。
【請求項３】
前記比較画像生成部は、構造が既知である基準物質の３次元画像と、前記実験的な構造解析により得られた前記基準物質との参照画像の画像一致度が最も高くなるように、画質変更を設定することで、実験的に得られた前記物質の参照画像の画質に合わせて前記３次元比較画像を生成することを特徴とする請求項１に記載の立体構造検証支援装置。
【請求項４】
前記３次元画像として、物質の立体構造を示すためにモデリングにより算出された３次元算出画像を用いることを特徴とする請求項１に記載の立体構造検証支援装置。
【請求項５】
前記物質がとり得る複数の構造をそれぞれ表した複数の前記３次元算出画像を、前記比較画像生成部に提供する算出画像提供部を更に備え、
前記比較画像生成部は、複数の前記３次元算出画像毎に前記３次元比較画像を生成し、
前記画像一致度算出部は、前記画像一致度を前記複数の３次元比較画像毎に算出することを特徴とする請求項４に記載の立体構造検証支援装置。
【請求項６】
前記物質がとり得る複数の構造をそれぞれ画像として表すためのデータを格納した構造データベースを更に備え、
前記算出画像提供部は、前記構造データベースに格納された前記データを用いて、前記３次元算出画像を取得して前記比較画像生成部に提供することを特徴とする請求項５に記載の立体構造検証支援装置。
【請求項７】
前記複数の構造の各々を特定する複数の情報から、前記画像一致度が最も高いと判断した前記３次元比較画像に対応する物質の構造を特定する情報を選択する選択部を更に備えることを特徴とする請求項５に記載の立体構造検証支援装置。
【請求項８】
前記比較画像生成部は、前記複数の構造のそれぞれに対して、複数の角度から見た、複数の前記３次元比較画像を生成し、
前記一致度算出部は、前記複数の構造のそれぞれに対して、複数の角度から見た前記複数の３次元比較画像のそれぞれと、当該３次元比較画像と同じ角度から見た前記物質の参照画像との画像一致度を算出し、
更に、
前記選択部は、複数の角度における複数の前記画像一致度の統計処理結果を用いて、前記画像一致度の良否を判断することを特徴とする請求項７に記載の立体構造検証支援装置。
【請求項９】
前記３次元再構成画像生成部は、前記３次元再構成画像を、前記複数の濃淡画像情報のうちの一の濃淡画像情報を得た角度に向け、
前記一致度算出部は、前記３次元比較画像と、前記一の濃淡画像情報との画像一致度を算出することを特徴とする請求項１に記載の立体構造検証支援装置。
【請求項１０】
前記比較画像生成部は、前記複数の前記濃淡画像情報に対応する複数の前記３次元比較画像を生成し、
前記一致度算出部は、前記複数の３次元比較画像を用いて複数の前記画像一致度を算出し、
さらに、
複数の前記画像一致度を統計的に処理し、その処理結果を用いて前記３次元再構成画像の再構成条件を調整するように前記３次元再構成画像生成部に指示する指示部を備えることを特徴とする請求項９に記載の立体構造検証支援装置。
【請求項１１】
複数の角度から見た前記濃淡画像情報を用いて、前記物質の外殻を示す形状情報を算出する形状算出部と、
前記複数の濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布部と、
複数の角度から得られた複数の前記濃淡画像情報による複数の前記濃淡分布情報を重ね合わせて、前記物質を３次元の画像情報で表す３次元濃淡情報を生成する第２の重畳部と、
前記第２の重畳部による前記３次元濃淡情報を前記形状情報に重畳する第１の重畳部と、
前記３次元濃淡情報から、前記形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して前記３次元再構成画像を生成する情報加工部と、
を有する３次元再構成画像生成部を更に備えることを特徴とする
請求項１に記載の立体構造検証支援装置。
【請求項１２】
複数の角度から見た前記濃淡画像情報を用いて、前記物質の外殻を示す形状情報を算出する形状算出部と、
前記濃淡画像情報の濃淡情報を、前記形状情報が示す前記外殻の周辺に分布させて前記３次元再構成画像を生成する画像情報生成部と、
を有する３次元再構成画像生成部を更に備えることを特徴とする請求項１に記載の立体構造検証支援装置。
【請求項１３】
前記３次元画像における、前記物質が有する複数の部位の各々の位置を示す、複数の比較位置情報を取得する比較位置情報取得部と、
前記参照画像における、前記複数の部位の各々の位置を示す、複数の参照位置情報を取得する参照位置情報取得部と、
を更に備え、
前記画像一致度算出部は、前記複数の比較位置情報及び前記複数の参照位置情報を用いて、前記画像一致度を算出することを特徴とする請求項１に記載の立体構造検証支援装置。
【請求項１４】
前記複数の比較位置情報及び前記複数の参照位置情報の一方を、前記３次元画像又は前記参照画像を拡大若しくは縮小した状態に変更する拡縮部を更に備え、
前記画像一致度算出部は、前記拡縮部が拡大又は縮小した後の前記一方、及び他方を用いて、前記画像一致度を算出することを特徴とする請求項１３に記載の立体構造検証支援装置。
【請求項１５】
前記複数の参照位置情報及び前記複数の比較位置情報の一方を、前記３次元画像又は前記参照画像を回転させた状態に変換する回転部を更に備え、
前記画像一致度算出部は、前記回転部が変換した後の前記一方、及び他方を用いて、前記画像一致度を算出することを特徴とする請求項１４に記載の立体構造検証支援装置。
【請求項１６】
物質の立体構造を表す３次元画像の妥当性を検証することで、前記立体構造を検証することを支援する立体構造検証支援方法であって、
透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して、３次元再構成画像を生成し、
前記３次元再構成画像に影付けを行うことで、前記３次元画像である３次元影付画像を生成し、
前記３次元影付画像の画質を、実験的に得られた前記物質の参照画像の画質に合わせることで３次元比較画像を生成し、
前記３次元比較画像と、前記３次元再構成画像との画像一致度を算出する
ことを特徴とする立体構造検証支援方法。
【請求項１７】
構造が既知である基準物質の３次元画像と、前記実験的な構造解析により得られた前記基準物質の参照画像の画像一致度が最も高くなるように、画質変更を設定することで、実験的に得られた前記物質の参照画像の画質に合わせて前記３次元比較画像を生成することを特徴とする請求項１６に記載の立体構造検証支援方法。
【請求項１８】
前記３次元画像は、物質の立体構造を示すために算出された３次元算出画像であることを特徴とする請求項１６に記載の立体構造検証支援方法。
【請求項１９】
前記３次元再構成画像を前記複数の濃淡画像情報のうちの一の濃淡画像情報を得た角度に向けて、前記３次元比較画像を生成し、
前記３次元比較画像と、前記一の濃淡画像情報との画像一致度を算出することを特徴とする請求項１６に記載の立体構造検証支援方法。
【請求項２０】
複数の前記濃淡画像情報に対応する複数の前記３次元比較画像を生成して複数の前記画像一致度を算出し、
複数の前記画像一致度を統計的に処理し、その処理結果を用いて前記３次元再構成画像の再構成条件を調整することを特徴とする請求項１６に記載の立体構造検証支援方法。
【請求項２１】
透過型電子顕微鏡により得られ、複数の角度から見た複数の濃淡画像情報を用いて、前記物質の外殻を示す形状情報を算出し、
複数の前記濃淡画像情報に示される濃度をそれぞれ前記濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成し、
複数の角度から得られた複数の前記濃淡画像情報による複数の前記濃淡分布情報を重ねて、前記物質を３次元の画像情報で表す３次元濃淡情報を生成し、
前記３次元濃淡情報を前記形状情報に重ね、前記３次元濃淡情報から、前記形状情報が示す外殻の周囲に存在する濃淡情報のみを抽出して前記３次元再構成画像を生成することを特徴とする請求項１６に記載の立体構造検証支援方法。
【請求項２２】
透過型電子顕微鏡により得られ、複数の角度から見た複数の濃淡画像情報を用いて、前記物質の外殻を示す形状情報を算出し、
複数の角度から見た前記物質の複数の濃淡画像情報を用いて、前記物質の外殻を示す形状情報を算出し、
透過型電子顕微鏡により得られた前記物質の濃淡画像情報の濃淡情報を、前記形状情報が示す前記外殻の周辺に分布させて前記３次元再構成画像を生成することを特徴とする請求項１６に記載の立体構造検証支援方法。
【請求項２３】
物質の立体構造を表す３次元画像の妥当性を検証することで、立体構造を検証することを支援するプログラムであって、コンピュータに
透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して、３次元再構成画像を生成する３次元再構成画像生成機能、
前記３次元再構成画像に影付けを行うことで、前記３次元画像である３次元影付画像を生成する影付機能、
前記３次元影付画像の画質を、実験的に得られた前記物質の参照画像の画質に合わせることで３次元比較画像を生成する比較画像生成機能、および、
前記３次元比較画像と、前記３次元再構成画像との画像一致度を算出する画像一致度算出機能
を実現させることを特徴とするプログラム。
【請求項２４】
前記比較画像生成部は、前記３次元画像の画質を実験的に得られた前記物質の参照画像の画質に合わせる場合、当該画質として前記３次元画像のコントラストを前記参照画像のコントラストに合わせることを特徴とする請求項１に記載の立体構造検証支援装置。
【請求項２５】
前記比較画像生成部は、前記３次元算出画像をフーリエ変換し、この変換結果に、前記３次元再構成画像を得る際に用いた前記透過型電子顕微鏡の伝達関数として定義できるフィルター関数をかけ算し、演算結果をフーリエ逆変換することで、前記３次元画像を生成することを特徴とする請求項１に記載の立体構造検証支援装置。
【発明の詳細な説明】
技術分野
本発明は、立体構造検証支援装置、立体構造検証方法、記録媒体及びプログラムに関する。また本出願は、下記の日本特許出願に関連する。文献の参照による組み込みが認められる指定国については、下記の出願に記載された内容を参照により本出願に組み込み、本出願の記載の一部とする。
特願２００１−０６８２３２     出願日 ２００１年３月１２日
背景技術
物質の構造解析を高い空間分解能で決定するには、Ｘ線回折や多次元ＮＭＲ法などの構造解析法を用いることが必須である。物質がＸ線回折の対象となるには、その物質が改良の結晶を作ること、そして同型置換などにより位相に決定できることが必須である。また、物質が多次元ＮＭＲ法の対象となるには、物質の分子量が大きくないこと、そして高濃度で溶解度の高い試料が大量に得られることが必須である。
上述した条件を満たさない物質は電子顕微鏡により構造解析せざるを得ない。しかし、汎用されるクライオ電子顕微鏡法ではコントラストが低い上に、電子線照射による物質の損傷が著しく、単一分子の立体構造を解析・決定することは困難である。
特に、複数の分子が複合体を形成する場合、或いは機能遂行に伴って構造変化をする場合、たとえ個々の分子の構造が既知であっても、それら複数の分子をどのように組み合わせるべきか、或いは機能遂行に伴って分子構造がどのように変化するかを適格に解析する手段はなかった。このような場合は、既存の状況証拠を組み合わせて最も確からしい構造を推定して仮想モデルを構築するのみであった。しかし、この仮想モデルの妥当性を検証することは困難であった。
そこで本発明は、このような問題を解決することを目的とする。
発明の開示
このような目的を達成するために、本発明の第１の形態によれば、物質の立体構造を表す３次元画像の妥当性を検証することで、前記立体構造を検証することを支援する立体構造検証支援装置であって、前記３次元画像の画質を、実験的に得られた前記物質の参照画像の画質に合わせることで３次元比較画像を生成する比較画像生成部と、前記３次元比較画像と前記物質の参照画像との画像一致度を算出する画像一致度算出部と、を備えることを特徴とする立体構造検証支援装置を提供する。
第１の形態において、比較画像生成部は、３次元画像を物質の参照画像の画質に合わせてぼかすことで、３次元比較画像を生成してもよい。比較画像生成部は、構造が既知である基準物質の３次元画像と、実験的な構造解析により得られた基準物質との参照画像の画像一致度が最も高くなるように、画質変更を設定することで、実験的に得られた物質の参照画像の画質に合わせて３次元比較画像を生成してもよい。
３次元画像として、物質の立体構造を示すために算出された３次元算出画像を用いてもよい。この場合、物質がとり得る複数の構造をそれぞれ表した複数の３次元算出画像を、比較画像生成部に提供する算出画像提供部を更に備え、比較画像生成部は、複数の３次元算出画像毎に３次元比較画像を生成し、画像一致度算出部は、画像一致度を複数の３次元比較画像毎に算出してもよい。更にこの場合、物質がとり得る複数の構造をそれぞれ画像として表すためのデータを格納した構造データベースを更に備え、算出画像提供部は、構造データベースに格納されたデータを用いて、３次元算出画像を取得して比較画像生成部に提供してもよく、また、複数の構造の各々を特定する複数の情報から、画像一致度が最も高いと判断した３次元比較画像に対応する物質の構造を特定する情報を選択する選択部を更に備えてもよい。後者の場合、さらに、比較画像生成部は、複数の構造のそれぞれに対して、複数の角度から見た、複数の３次元比較画像を生成し、一致度算出部は、複数の構造のそれぞれに対して、複数の角度から見た複数の３次元比較画像のそれぞれと、当該３次元比較画像と同じ角度から見た物質の参照画像との画像一致度を算出し、更に、選択部は、複数の角度における複数の画像一致度の統計処理結果を用いて、画像一致度の良否を判断してもよい。
３次元画像として、物質の立体構造を示すために算出された３次元算出画像を用いる場合、透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して、物質の参照画像である３次元再構成画像を生成する３次元再構成画像生成部を更に備えてもよい。
透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して、３次元再構成画像を生成する３次元再構成画像生成部と、３次元再構成画像に影付けを行うことで、３次元画像である３次元影付画像を生成する影付部を更に備え、比較画像生成部は、３次元影付画像を用いて３次元比較画像を生成し、一致度算出部は、物質の参照画像として透過型電子顕微鏡により得られた濃淡画像情報を用いてもよい。この場合、３次元再構成画像生成部は、３次元再構成画像を、複数の濃淡画像情報のうちの一の濃淡画像情報を得た角度に向け、一致度算出部は、３次元比較画像と、一の濃淡画像情報との画像一致度を算出してもよい。更にこの場合、比較画像生成部は、複数の濃淡画像情報に対応する複数の３次元比較画像を生成し、一致度算出部は、複数の３次元比較画像を用いて複数の画像一致度を算出し、さらに、複数の画像一致度を統計的に処理し、その処理結果を用いて３次元再構成画像の再構成条件を調整するように３次元再構成画像生成部に指示する指示部を備えてもよい。
３次元再構成画像を必要とする場合、複数の角度から見た濃淡画像情報を用いて、物質の外殻を示す形状情報を算出する形状算出部と、複数の濃淡画像情報に示される濃度をそれぞれ濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成する分布部と、複数の角度から得られた複数の濃淡画像情報による複数の濃淡分布情報を重ねて、物質を３次元の画像情報で表す３次元濃淡情報を生成する第２の重畳部と、第２の重畳部による３次元濃淡情報を形状情報に重ねる第１の重畳部と、３次元濃淡情報から、形状情報が示す形状の周囲に存在する濃淡情報のみを抽出して３次元再構成画像を生成する情報加工部と、を有する３次元再構成画像生成部を更に備えてもよい。また、複数の角度から見た濃淡画像情報を用いて、物質の外殻を示す形状情報を算出する形状算出部と、濃淡画像情報の濃淡情報を、外殻の周辺に分布させて３次元再構成画像を生成する画像情報生成部と、を有する３次元再構成画像生成部を更に備えてもよい。
３次元画像における、物質が有する複数の部位の各々の位置を示す、複数の比較位置情報を取得する比較位置情報取得部と、参照画像における、複数の部位の各々の位置を示す、複数の参照位置情報を取得する参照位置情報取得部と、を更に備え、画像一致度算出部は、複数の比較位置情報及び複数の参照位置情報を用いて、画像一致度を算出してもよい。この場合、複数の比較位置情報及び複数の参照位置情報の一方を、３次元画像又は参照画像を拡大若しくは縮小した状態に変更する拡縮部を更に備え、画像一致度算出部は、拡縮部が拡大又は縮小した後の一方、及び他方を用いて、画像一致度を算出してもよい。
また、複数の参照位置情報及び複数の比較位置情報の一方を、３次元画像又は参照画像を回転させた状態に変換する回転部を更に備え、画像一致度算出部は、回転部が変換した後の一方、及び他方を用いて、画像一致度を算出してもよい。
また、３次元画像として、物質の立体構造を示すためにモデリングにより算出された３次元算出画像を用い、物質の参照画像として、透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して得られる３次元再構成画像、又は一の濃淡画像情報を用いてもよい。更にこの場合、３次元再構成画像に影付けを行うことで３次元影付画像を生成する影付部を更に備え、比較画像生成部は、参照画像として、３次元影付画像を用いてもよい。また、３次元再構成画像を回転させながら表示させるか、若しくは複数の角度から撮影された複数の濃淡画像情報の各々を角度順に切換ながら連続表示させるとともに、３次元比較画像を、３次元比較画像若しくは濃淡画像情報に併せて回転表示させる同時表示部を備え、参照位置情報取得部は、並列表示部による表示画面上から、参照位置を取得してもよい。
本発明の第２の形態は、物質の立体構造を表す３次元画像の妥当性を検証することで、立体構造を検証することを支援する立体構造検証支援方法であって、３次元画像の画質を、実験的に得られた物質の参照画像の画質に合わせることで３次元比較画像を生成し、３次元比較画像と物質の参照画像との画像一致度を算出することを特徴とする立体構造検証支援方法を提供する。
上記立体構造検証支援方法において、構造が既知である基準物質の３次元画像と、実験的な構造解析により得られた基準物質の参照画像の画像一致度が最も高くなるように、画質変更を設定することで、実験的に得られた物質の参照画像の画質に合わせて３次元比較画像を生成してもよい。
３次元画像は、物質の立体構造を示すために算出された３次元算出画像であってもよい。この場合、物質がとり得る複数の構造をそれぞれ表した複数の３次元算出画像を用いて複数の３次元比較画像を生成し、画像一致度を複数の３次元比較画像毎に算出し、最も画像一致度が高い３次元比較画像の基となる構造を、物質の構造と推定してもよく。また、物質の参照画像は、透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して得られる３次元再構成画像であってもよい。
透過型電子顕微鏡により得られた複数の濃淡画像情報を処理して、３次元再構成画像を生成し、３次元再構成画像に影付けを行うことで、３次元画像である３次元影付画像を生成し、３次元影付画像を用いて３次元比較画像を生成し、３次元比較画像と、物質の参照画像である濃淡画像情報との画像一致度を算出してもよい。この場合、３次元再構成画像を複数の濃淡画像情報のうちの一の濃淡画像情報を得た角度に向けて、３次元比較画像を生成し、３次元比較画像と、一の濃淡画像情報との画像一致度を算出してもよく、また、複数の濃淡画像情報に対応する複数の３次元比較画像を生成して複数の画像一致度を算出し、複数の画像一致度を統計的に処理し、その処理結果を用いて３次元再構成画像の再構成条件を調整してもよい。
３次元再構成画像を必要とする場合、透過型電子顕微鏡により得られ、複数の角度から見た複数の濃淡画像情報を用いて、物質の外殻を示す形状情報を算出し、複数の濃淡画像情報に示される濃度をそれぞれ濃淡画像情報を撮像した角度に引き延ばして分布させることで濃淡分布情報を生成し、複数の角度から得られた複数の濃淡画像情報による複数の濃淡分布情報を重ねて、物質を３次元の画像情報で表す３次元濃淡情報を生成し、３次元濃淡情報を形状情報に重ね、３次元濃淡情報から、形状情報が示す外殻の周囲に存在する濃淡情報のみを抽出して３次元再構成画像を生成してもよく、また、透過型電子顕微鏡により得られ、複数の角度から見た複数の濃淡画像情報を用いて、物質の外殻を示す形状情報を算出し、複数の角度から見た物質の複数の濃淡画像情報を用いて、物質の外殻を示す形状情報を算出し、透過型電子顕微鏡により得られた物質の濃淡画像情報の濃淡情報を、外殻の周辺に分布させて３次元再構成画像を生成してもよい。
本発明の第３の形態は、物質の立体構造を表す３次元画像の妥当性を検証することで、立体構造を検証することを支援するプログラムであって、３次元画像の画質を、実験的に得られた物質の参照画像の画質に合わせることで３次元比較画像を生成する比較画像生成モジュールと、３次元比較画像と実験的な構造解析により得られた物質の参照画像との画像一致度を算出する画像一致度算出モジュールと、を備えることを特徴とするプログラムを提供する。
上記プログラムにおいて、物質がとり得る複数の構造をそれぞれ表した複数の３次元画像を、比較画像生成モジュールに提供する３次元画像提供モジュールを更に備え、画像一致度算出モジュールは、画像一致度を複数の３次元比較画像毎に算出し、更に、複数の構造の各々を特定する複数の情報から、画像一致度が最も高い３次元比較画像の基となる物質の構造を特定する情報を選択する選択モジュールを更に備えてもよい。
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【図面の簡単な説明】
図１は、本発明の実施形態の第１の例である立体構造検証支援装置１００の構成を示す。
図２は、３次元再構成画像生成部１４０の構成を示す。
図３は、形状算出部２６０の構成を示す。
図４は、３次元再構成画像生成部１４０のハードウエア構成図の一例を示す。
図５は、濃淡画像情報を得る方法を説明する図である。
図６は、濃淡画像情報を得る方法を説明する図である。
図７は、濃淡画像情報を得る方法を説明する図である。
図８は、３次元濃淡情報の一例の縦断面情報を示す。
図９は、３次元濃淡情報の縦断面情報のほかの例を示す。
図１０は、第１の重畳部２８０による重畳画像の一例の縦断面情報を示す。
図１１は、情報加工部３００による３次元画像情報の一例の縦断面図を示す。
図１２は、３次元再構成画像生成部１４０の第２の動作例を説明する図である。
図１３は、３次元再構成画像生成部１４０の第２の動作例を説明する他の図である
図１４は、立体構造検証支援装置１００の動作例を示す。
図１５は、図１４のＳ１００の動作の詳細を示す。
図１６は、本発明の実施形態の第２の例である立体構造検証支援装置１０１の構成を示す。
図１７は、立体構造検証支援装置１０１の動作の一例を示す。
図１８は、本実施形態の第３の例である立体構造検証支援装置１０２の構成を示す。
図１９は、位置情報取得部７００の一構成例を示す。
図２０は算出部８００の一構成例を示す。
図２１は、立体構造検証支援装置１０２の動作の一例を示す。
図２２は、図２１のＳ８２０の詳細の一例を示す。
発明を実施するための最良の形態
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
（第１の例）
図１は、本発明の一実施形態の第１の例である立体構造検証支援装置１００を示す。立体構造検証支援装置１００はデータベースとして構造データベース１１０を備え、機能部として算出画像提供部１２０、比較画像生成部１３０、３次元再構成画像生成部１４０、一致度算出部１５０、一致度記憶部１６０、及び選択部１７０を備える。
本例における立体構造検証支援装置１００は、透過型電子顕微鏡などの撮影型の撮像装置により得られた投影画像である濃淡画像情報から、物質の参照画像の一例である３次元再構成画像を３次元再構成画像生成部１４０を用いて算出する。
また、立体構造検証支援装置１００は、物質の仮説上の複数の立体構造をそれぞれ示す複数の３次元算出画像を生成する。ここで、算出された３次元画像にさらに影付けした３次元推定付影画像を３次元算出画像として用いてもよい。
また、立体構造検証支援装置１００は、複数の３次元算出画像の画質をそれぞれ３次元再構成画像の画質に合わせることで、複数の３次元比較画像を生成する。ここでいう画質とは、例えばコントラストのルックアップテーブルやぼかし（周波数領域の変調）を含む。
さらに、立体構造検証支援装置１００は、複数の３次元比較画像の、３次元再構成画像に対する画像一致度をそれぞれ算出し、最も画像一致度が高い３次元比較画像の基となる構造を選択することで、複数の立体構造の中から最も正しいと推定される物質の構造を選択する。
すなわち、立体構造検証支援装置１００は、実験的な構造解析により得られた物質の参照画像に合わせる形で３次元算出画像の画質を調整し、３次元算出画像と物質の参照画像との画像一致度を算出しやすくすることで、物質の立体構造の検証を支援する装置である。ここで、実験的な構造解析は、透過型電子顕微鏡には限定されず、その他のいかなるタイプの分析装置により画像を得ることを含む。
構造データベース１１０は、物質が取り得る複数の構造、例えば構造モデルをそれぞれ３次元画像として表すための情報を格納する。物質の種類は単一でもよいし、複数でもよい。構造データベース１１０に格納される情報は、各構造の画像情報そのものでもよいし、物質を構成する複数の部分の画像情報及びこれら複数の部分間の結合状態を特定する情報でもよい。
算出画像提供部１２０は、外部から物質の種類を特定する情報を受信すると、その物質に対応して構造データベース１１０に格納されている情報を用いて、物質が取り得る複数の構造の３次元算出画像を生成若しくは取得し、生成若しくは取得した複数の３次元算出画像を比較画像生成部１３０に出力する。ここで算出画像提供部１２０は、複数の３次元算出画像を連続して比較画像生成部１３０に出力するが、この他に、一致度算出部１５０からの入力をトリガーとして３次元算出画像を一つずつ比較画像生成部１３０に出力する構成にしてもよい。
比較画像生成部１３０は、実験的な構造解析により得られた物質の参照画像に合わせる形で３次元算出画像の画質を調整することで３次元比較画像を生成し、生成した３次元比較画像を一致度算出部１５０に出力する。ここで、比較画像生成部１３０は、画質を段階的に変更し、各々の画質で生成した３次元比較画像を一致度算出部１５０に出力することもできる。
具体的には、比較画像生成部１３０は、例えばフィルタリングと呼ばれる手法を用いて３次元比較画像を算出する。フィルタリング法を用いる場合、比較画像生成部１３０は、３次元再構成画像をフーリエ変換し、この変換結果に、３次元再構成画像を得る際に用いた透過型電子顕微鏡等の装置の伝達関数として定義できるフィルター関数をかけ算し、この演算結果をフーリエ逆変換することで、３次元比較画像を生成する。なお、比較画像生成部１３０が３次元比較画像を生成するために用いる画質調整方法は、本例に限定されず、さらに別の手段を用いてコントラストを調整してもよい。
３次元再構成画像生成部１４０は、透過型電子顕微鏡等により複数の角度から得られた複数の投影画像情報すなわち濃淡画像情報を用いて、被写体の立体構造を示す３次元再構成画像を生成し、生成した３次元再構成画像を一致度算出部１５０に出力する。
一致度算出部１５０は、比較画像生成部１３０から取得した３次元比較画像と、３次元再構成画像生成部１４０から取得した３次元再構成画像との画像一致度を算出し、算出した画像一致度を一致度記憶部１６０に出力する。また、一致度算出部１５０は、画像一致度を出力する度に、その旨を示す情報を算出画像提供部１２０に出力する。
一致度算出部１５０が行う一致度算出方法は、例えば相互相関法により相互相関係数を画像一致度として算出する。なお、一致度算出部１５０が行う一致度算出方法は本例に限定されない。
一致度記憶部１６０は、一致度算出部１５０から取得した画像一致度を、３次元再構成画像の種類に対応付けて格納する。ここで、一つの３次元算出画像に対応する画像一致度が、画像の角度すなわち向きが異なることにより複数存在する場合、一致度記憶部１６０は、当該複数の画像一致度を当該３次元算出画像に対応付けて格納する。
選択部１７０は、一の３次元算出画像に対応して一致度記憶部１６０に格納してある複数の画像一致度のうち、最も高い画像一致度を、当該３次元算出画像すなわち３次元算出画像の画像一致度として選択する。
また、選択部１７０は、すべての３次元算出画像についての画像一致度が算出されている場合、一致度記憶部１６０に格納されているこれら画像一致度を比較し、最も画像一致度の高いと判断した３次元算出画像を選択する。そして、選択部１７０は、３次元算出画像に対応する構造を特定する情報を構造データベース１１０から選択して取得し、取得した情報を立体構造検証支援装置１００外部に出力する。すなわち、選択部１７０は、物質が取りうる複数の構造から、画像一致度が最も高いと判断した３次元比較画像の基となる物質の構造を選択する。
ここで、選択部１７０は、一つの３次元算出画像に対応する画像一致度が、画像の角度すなわち向きが異なることにより複数存在する場合、画像一致度を統計的に処理し、その結果を用いて、画像一致度の高低を判断する。選択部１７０は、統計的な処理として、例えば単純平均、加重平均などを行う。
図２は３次元再構成画像生成部１４０の構成の一例を示す。本例において、３次元再構成画像生成部１４０は、分布部２２０、第２の重畳部２４０、形状算出部２６０、第１の重畳部２８０、情報加工部３００、画像情報生成部３２０、及び出力部３６０を備える。
分布部２２０は、外部から取得した複数の濃淡画像情報を各々撮像した角度すなわち投影した角度に引き延ばして分布させることで濃淡分布情報を生成し、第２の重畳部２４０に出力する。具体例として、分布部２２０は濃淡画像情報の濃淡を均等に引き延ばした方向に分布させる。
第２の重畳部２４０は分布部２２０による複数の濃淡分布情報を、角度を維持したまま重ねることで３次元濃淡情報を生成し、第１の重畳部２８０に出力する。生成した３次元濃淡情報は被写体を３次元の画像情報で表す情報となる。ここでの３次元濃淡情報中には偽情報が含まれる可能性がある。
形状算出部２６０は、３つ以上の角度から見た３つ以上の画像情報から被写体の特定の点すなわち処理対象点の高さ情報を算出し、複数の処理対象点の高さ情報を用いて被写体の外殻を示す形状情報を算出する。
図３は形状算出部２６０の構成の一例を示す。形状算出部２６０は、位置対応部２６２、高さ情報算出部２６４、及び形状情報算出部２６６を備える。
位置対応部２６２は、角度順において連続する２枚の画像情報中の複数の処理対象点の位置を認識して各々対応付け、高さ情報算出部２６４に出力する。
詳細には、例えば角度順において連続する第１の画像情報及び第２の画像情報中の処理対象点の位置を対応付け、さらに第２の画像情報とその直後の角度である第３の画像情報において処理対象点の位置を対応付ける。この対応付けを第３及び第４の画像情報、・・・といったほかの画像組合せに対しても順次行う。各処理対象点は、２組以上の画像組合せにおいてそれぞれ対応付けられる。
また、位置対応部２６２は、画像情報中に基準線を定めておき、この基準線と処理対象点との距離も測定する。画像組合せを構成する２枚の画像中における基準線と処理対象点との距離の差が一定以上である場合、位置対応部は当該処理基準線の位置認識・対応付けを再度行う。
ここで、各画像情報が同一の回転を回転中心として被写体を予め定められた角度ずつ回転して撮像することにより得られた画像であったり、或いは３つ以上の画像情報のうち、第１及び第２の画像は一の回転軸を回転中心として被写体を予め定められた角度回転として撮像して得られた画像であり、第３の画像は被写体を他の回転軸を回転中心として第１の画像を撮像した位置から予め定められた角度ほど回転して撮像して得られた画像である場合、位置対応部は、前記した予め定められた角度を用いて、処理対象点の位置を対応付ける。
高さ情報算出部２６４は、位置対応部２６２により２枚の画像情報内で対応付けられた処理対象点の高さ情報を各々算出し、形状情報算出部２６６に出力する。高さ情報算出部２６４で行う処理は、いわゆる立体視法の処理と同じである。ここで、各処理対象点は、少なくとも２組以上の画像組合せにおいてそれぞれ対応付けられているため、高さ情報算出部２６４は各処理対象点の高さ情報を複数算出する。高さ情報算出部２６４は、複数の高さ情報を基にした最小二乗誤差法により、出力すべき高さ情報を算出する。ここで最小二乗誤差法による誤差が一定以上である場合、位置対応部２６２は、処理対象点の位置を再検出する。
形状情報算出部２６６は、高さ情報算出部２６４が算出した処理対象点の高さ情報と、画像情報から求められる処理対象点の平面情報とを用いて被写体の形状情報を算出する。形状情報算出部２６６は算出した形状情報を画像情報生成部３２０及び第１の重畳部２８０に出力する。
図２に戻り、第１の重畳部２８０は、第２の重畳部２４０による３次元濃淡情報に、形状算出部２６０による形状情報を重ねて重畳画像を生成し、情報加工部３００に出力する。
情報加工部３００は、第１の重畳部２８０が出力した重畳画像を用いて、３次元濃淡分布情報から、形状情報の周辺に存在する或いは形状情報と重なる情報のみを抽出して３次元再構成画像を生成し、出力部３６０に出力する。３次元濃淡情報に偽情報が含まれる場合、偽情報と形状情報とは重なり得ない。従って、情報加工部３００が抽出する情報には偽情報は含まれない。その結果、３次元再構成画像は、より正確に被写体の３次元構造を示す画像となる。
画像情報生成部３２０は、形状算出部２６０が算出した形状情報が示す外殻の該当個所周辺に、外部から取得した濃淡画像情報を分布させることで、被写体の３次元再構成画像を生成し、生成した３次元再構成画像を出力部３６０に出力する。例として、画像情報生成部３２０は、外殻の当該箇所から一定の範囲にある領域にのみ濃淡画像情報の濃度を均等に分布させることで３次元濃淡画像情報を生成する。
ここで、画像情報生成部３２０は、濃淡画像情報を撮像した角度に引き延ばして重ねるという過程を経ずに被写体の３次元再構成画像を生成するため、偽情報が発生することはない。
出力部３６０は、形状算出部２６０による形状情報、画像情報生成部３２０による３次元再構成画像、及び情報加工部３００による３次元再構成画像を一致度算出部１５０に出力する。
図４は、３次元再構成画像生成部１４０のハードウエア構成図の一例を示す。本例において、３次元再構成画像生成部１４０は、ＣＰＵ（central processing unit)６０２、ＲＯＭ（read only memory）４０６、ＲＡＭ(random access memory)６０６、ディスプレイ６０８、プリンター６１０、入力装置６１２、ハードディスク装置６１４、ＦＤ（floppy disk）ドライブ６１６、及びＣＤ−ＲＯＭ（compact disk ROM）ドライブ６１８を有する。
ＣＰＵ６０２は、ＲＡＭ６０６及びＲＯＭ６０４に格納されたプログラムに基づいて処理を行う。ディスプレイ６０８は、各種情報を表示する。プリンター６１０は各種情報を印刷する。入力装置６１２は、３次元再構成画像生成部１４０に対する設定等を入力する。ＦＤドライブ６１６は、フロッピーディスク６２０からデータ又はプログラムを読み取ってＣＰＵ６０２に渡す。ＣＤ−ＲＯＭドライブ６１８は、ＣＤ−ＲＯＭ６２２からデータ又はプログラムを読み取ってＣＰＵ６０２に渡す。ハードディスク６１８は、ＦＤドライブ６１６又はＣＤ−ＲＯＭドライブ６１８によって読み出されたデータ又はプログラムや、ＣＰＵ６０２がプログラムを実行することにより作成されたデータを記憶するとともに、記憶したデータ又はプログラムを読み取ってＣＰＵ６０２に渡す。
本例では、上述した３次元再構成画像生成部１４０の各機能部を実現するプログラムを有するＣＤ−ＲＯＭ６２２から、当該プログラムを読み出してハードディスク６１８にインストールさせておき、ハードディスク６１８から当該プログラムを読出してＣＰＵ６０２が実行することにより、上記３次元再構成画像生成部１４０の機能部を実現する。
前記したプログラムは、より具体的には、算出画像提供部１２０を実現するための算出画像提供モジュール、比較画像生成部１３０を実現するための比較画像生成モジュール、一致度算出部１５０を実現するための一致度算出モジュール、一致度記憶部１６０を実現するための一致度記憶モジュール、選択部１７０を実現するための選択モジュール、分布部２２０を実現するための分布モジュール、第２の重畳部２４０を実現するための第２の重畳モジュール、形状算出部２６０を実現するための形状算出モジュール、第１の重畳部２８０を実現するための第１の重畳モジュール、情報加工部３００を実現するための情報加工モジュール、画像情報生成部３２０を実現するための画像情報生成モジュール、及び出力部３６０を実現するための出力モジュールを有する。各モジュールの動作は対応する機能部の動作と該略同じであるため説明を省略する。また、前記したプログラムは、ＣＤ−ＲＯＭ６２２ではなくフロッピーディスク６２０や、ＭＯやＭＤなど他の記録媒体に格納されてもよい。
次に、図５〜図１２を用いて３次元再構成画像生成部１４０の第１の動作例を説明する。本例では、並列かつ上向きに並んだ２つの半球状の被写体４００を投影型の撮像装置で撮像し、３次元再構成画像生成部１４０を用いて３次元再構成画像を生成する。
まず、濃淡画像情報を得る段階について説明する。図５、図６、図７に示すように、少なくとも異なる３つの角度（本例ではＡ方向、Ｂ方向、及びＣ方向）から被写体を撮像して投影画像情報すなわち濃淡画像情報４２０、４４０、及び４６０を得る。ここで、図５および図６に示すようにＡ方向とＢ方向の角度の間隔と、Ｂ方向とＣ方向の角度の間隔を各々等しい値θとするのが好ましい。
また、Ｂ方向およびＣ方向は同一の軸４０１を回転中心としてＡ方向から回転した角度でもよく、異なる軸４０１及び４０２を回転中心としてＡ方向からそれぞれ回転した角度でもよい。
そして、濃淡画像情報４２０、４４０、及び４６０を３次元再構成画像生成部１４０に入力する。ここで濃淡画像情報４２０、４４０、及び４６０は第１の画像情報も兼ねる。
本例において、３次元再構成画像生成部１４０の分布部２２０は、各濃淡画像情報４２０、４４０、及び４６０を撮像方向に引き延ばして濃淡分布情報４２５、４４５、及び４６５を生成し、第２の重畳部が、濃淡分布情報４２５、４４５、及び４６５を角度を維持したまま重ね合わせて３次元濃淡情報を生成する。
図８は、本例における３次元濃淡情報の縦断面情報の一例を示す。３次元濃淡情報は、全て濃淡分布情報が重なった部分に物体が存在することを示す。図７は、濃淡分布情報４２５、４４５、及び４６５の全てが重なった部分すなわち情報４７０、４７２、４７４、４７６、及び４７８に、被写体４００が存在することを示す。しかし、本来被写体４００は２つのみであり、上記した５つの情報のうち３つは偽情報である。
図９は、本例における３次元濃淡情報の縦断面情報の他の例を示す。本例において、濃淡画像情報４２０、４４０、及び４６０の濃度はそれぞれ異なっている。また、濃淡分布情報４２５、４４５、及び４６５は、濃淡画像情報４２０、４４０、及び４６０の濃淡を撮像した角度に引き延ばして均等に分布させたものである。この場合、情報４７０〜４７８以外の部分も情報４７０〜４７８の一つと同等以上の濃度を有する可能性があるため、偽情報がさらに増える場合もある。
また、３次元構成画像生成部１４０の形状算出部２６０は濃淡画像情報４２０、４４０、及び４６０から被写体４００の外殻を示す形状情報２６５を算出する。ここで形状算出部２６０は被写体４００の外殻全体は算出できず、図中Ａ方向、Ｂ方向およびＣ方向の視野に共通して含まれる部分となる。本例においては被写体４００の球状部のみ外殻が算出される。
そして、３次元再構成画像生成部１４０の第１の重畳部２８０は３次元濃淡画像情報に形状算出部２６０による形状情報を重畳する。
図１０は本例における第１の重畳部２８０による重畳画像の縦断面情報を示す。本例において、形状算出部２６０による２つの形状情報２６５は、それぞれ情報４７０及び４７２に重なる。従って、情報加工部３００は、情報４７０及び４７２が物体を表す真の情報であり、情報４７４，４７６及び４７８が偽情報であると判断し、情報４７０及び４７２のみを抽出して３次元再構成画像として出力部３６０に出力する。
この結果、偽情報が３次元再構成画像に含まれることはなくなる。
ここで、形状情報２６５の信頼性が高い場合、情報加工部３００は形状情報２６５を加味した３次元再構成画像を出力する。また、濃淡分布情報４２５，４４５及び４６５の焦点がはっきりしていない場合などは情報４７０の境界及び４７２の境界は明確にはならない。この場合、情報加工部３００は形状情報２６５から予め定められた距離内に存在する情報を、情報４７０及び４７２とする。
また、第１の重畳部２８０による重畳情報をディスプレイ等に表示させることで、情報加工部３００の動作を人が代理してもよく、また、情報加工部３００による３次元再構成画像に人の判断を加味することで偽情報を取り除いてもよい。この場合、より状況に即して偽情報を取り除くことができる。
図１１は本例における情報加味部３００による３次元再構成画像の縦断面図を示す。情報加工部３００による３次元再構成画像は被写体４００を精度よく再現していることがわかる。
そして、出力部３６０は、必要に応じて形状算出部２６０による形状情報２６５、及び情報加工部３００による３次元再構成画像すなわち情報４７０及び情報４７２を表示装置或いは印刷装置等に出力する。
すなわち、第１の動作例では、３次元再構成画像生成部１４０は、分布部２２０、第２の重畳部２４０、形状算出部２６０、第１の重畳部２８０、及び情報加工部３００を用いて、より正確な３次元再構成画像を得る。
次に、図１２及び図１３を用いて、３次元再構成画像生成部１４０の第２の動作例を説明する。本例において、３次元再構成画像生成部１４０は第１の動作例と同様に濃淡画像情報４２０、４４０、及び４６０を用いて被写体４００の３次元再構成画像を得る。
先ず、図１２に例示するように形状算出部２６０は形状情報２６５を算出する。
そして、図１３に例示するように画像情報生成部３２０が、形状情報２６５の周囲にのみ濃淡画像情報４２０、４４０、及び４６０を分布させ、３つの濃淡画像情報がすべて重なった部分すなわち情報４７０及び４７２を３次元再構成画像とする。この結果、３次元再構成画像に偽情報が含まれることはなくなる。
ここで、形状情報２６５の信頼性が高い場合、画像情報生成部３２０は形状情報２６５を加味した３次元再構成画像を出力する。また、情報４７０の境界及び４７２の境界がはっきりしない場合、画像情報生成部３２０は形状情報２６５から予め定められた距離内に存在する情報を、情報４７０及び４７２とする。ここで、形状情報２６５の信頼性が高い場合、画像情報生成部３２０は形状情報２６５を加味した３次元再構成画像を出力する。また、濃淡分布情報４２５、４４５及び４６５の焦点がはっきりしていない場合などは情報４７０の境界及び４７２の境界は明確にはならない。この場合、画像情報生成部３２０は形状情報２６５から予め定められた距離内に存在する情報を、情報４７０及び４７２とする。例えば、被写体４００の厚みＤが既知である場合は外殻から厚みＤの範囲内に濃淡画像情報４２０、４４０、及び４６０の濃度情報を均等に分布させる。このとき、前記した濃淡情報は、投影方向に厚みＤの範囲内で分布させるのが更に好ましい。
すなわち、第２の動作例では、３次元再構成画像生成部１４０は、形状算出部２６０、画像情報生成部３２０を用いてより正確な３次元再構成画像を得る。
３次元再構成画像生成部１４０は、撮像可能な角度に制限がある場合に、特に上述した効果を発揮する。
例えば、透過型電子顕微鏡より得た画像情報を投影画像情報とする場合、撮像可能な角度には制限があるが、３次元再構成画像生成部１４０を用いることで被写体の分子レベルの立体構造を明らかにすることが可能となる。
詳細な例としては、細胞内の蛋白質の立体構造やその変化を明らかにしたい場合がある。この場合、いわゆる急速凍結ディープエッチ・レプリカ法により得られる蛋白質の形状を透過型電子顕微鏡により撮像し、３次元再構成画像生成部１４０で処理することで、偽情報すなわちいわゆるゴーストを取り除いた状態で、被写体である蛋白質の立体構造を示す３次元情報を得ることができる。
図１４は、立体構造検証支援装置１００の動作の一例を示す。本例において、３次元再構成画像生成部１４０は、予め３次元再構成画像を生成しておくものとする。
まず、算出画像提供部１２０は、画質変更の設定を決定する(Ｓ１００)。そして、外部から物質を特定する情報を受信すると、構造データベース１１０より、その物質が取りうる複数の構造をそれぞれ３次元画像として表すための情報を取得する（Ｓ１２０)。
次に、算出画像提供部１２０は、一の構造を選択し、この構造に対応する３次元算出画像を生成する（Ｓ１４０)。
そして、比較画像生成部１３０は、３次元算出画像の角度すなわち向きを変更すると共に、一致度算出部１５０は、３次元再構成画像の角度を３次元算出画像に会わせて変更する（Ｓ１６０)。そして、比較画像生成部１３０は、Ｓ１００における設定に従って、生成した３次元算出画像の画質変更を行って３次元比較画像を生成する（Ｓ１８０)。そして、一致度算出部１５０は、３次元再構成画像と３次元比較画像の画像一致度を算出して一致度記憶部１６０に格納する（Ｓ２００)。
比較画像生成部１３０及び一致度算出部１５０は３次元算出画像の角度が規定の角度に達するまでＳ１６０〜Ｓ２００の動作を繰り返す（Ｓ２２０)。
そして、一致度算出１５０は、Ｓ１６０〜Ｓ２００の動作の繰り返しにより算出された、複数の角度における複数の画像一致度の平均値を算出する（Ｓ２４０)。
比較画像生成部１３０および一致度算出部１５０は、上述したＳ１４０〜Ｓ２４０の動作を、Ｓ１２０で情報を取得した全ての構造データに対して行う(Ｓ２６０)。
そして、選択部１７０は、画像一致度の平均値が最も高い３次元算出画像を選択し(Ｓ２８０)、選択した３次元算出画像に相当する物質の構造を、当該物質の構造と推定し、この構造を特定する情報を構造データベース１０から選択して出力する（Ｓ３００)。
従って、立体構造検証支援装置１００を用いることで、物質の構造を表すモデルの信憑性を定量的に検証し、最も妥当だと推定される構造モデルを決定できる。
図１５は、図１４のＳ１００の動作の詳細の一例を示す。本例において、算出画像提供部１２０は、構造データベース１１０に格納された構造データを用いて、構造が既知である基準物質の３次元算出画像を作成する（Ｓ１０２)。そして、比較画像生成部１３０は、画質の設定を変更し(Ｓ１０４)、生成した３次元算出画像を用いて設定した画質に相応した３次元比較画像を生成する(Ｓ１０６)。Ｓ１０４において、比較画像生成部１３０は、例えばフィルタリング法において伝達関数を変更することで画質の設定を変更する。
そして、一致度算出部１５０は、３次元再構成画像と３次元比較画像の画像一致度を算出して一致度記憶部１６０に格納する(Ｓ１０８)。規定された画質に達するまでＳ１４０〜Ｓ１８０の動作を行った後(Ｓ１１０)、複数の画質に対応して算出された複数の画像一致度のうち最も高い画像一致度を選択し、選択した画像一致度における画質変更の設定を選択する（Ｓ１１２)。
従って、立体構造検証支援装置１００によれば、同一の画質変更の設定をすべての構造に対して用いるので、すべての構造において条件は同一となる。また、基準物質を用いて画質変更の設定を決定するので、画質変更の設定はより妥当な設定となる。
（第２の例）
図１６は、本実施形態の第２の例である立体構造検証支援装置１０１の構成を示す。立体構造検証支援装置１０１は、３次元再構成画像生成部１４０、影付部１４１、比較画像生成部１３０、一致度算出部１５０、及び指示部１８０を備える。
立体構造検証支援装置１０１は、３次元再構成画像生成部１４０を用いて、透過型電子顕微鏡などの投影型の撮像装置により得られた投影画像である複数の濃淡画像情報から３次元再構成画像を算出する。また、立体構造検証支援装置１０１は、影付部１４１を用いて３次元再構成画像に影付けを行うことで３次元画像の一例である３次元影付画像を生成する。また、立体構造検証支援装置１０１は、３次元影付画像の画質を濃淡画像情報の画質に合わせることで、複数の３次元比較画像を生成する。ここでいう画質とは、例えばコントラストのルックアップテーブルやぼかし（周波数領域の変調）を含む。さらに、立体構造検証支援装置１０１は、３次元比較画像の、濃淡画像情報に対する画像一致度を算出する。
ここで、立体構造検証支援装置１０１は、３次元再構成画像を各濃淡画像情報を得た角度にそれぞれ向けることで、複数の３次元比較画像を生成する。そして、立体構造検証支援装置１０１は、各３次元比較画像と、当該３次元比較画像に対応する濃淡画像情報との画像一致度をそれぞれ算出する。
すなわち、立体構造検証支援装置１０１は、３次元再構成画像の画質を、その３次元再構成画像の基となる濃淡画像情報に合わせて調整し、３次元再構成画像と濃淡画像情報との画像一致度を算出しやすくすることで、画像の再構成を支援する装置、すなわち間接的に物質の立体構造の検証を支援する装置である。
３次元再構成画像生成部１４０、比較画像生成部１３０、及び一致度算出部１５０の動作の概略は、第１の実施形態である立体構造検証支援装置１００と同じであるため説明を省略する。
なお、３次元再構成画像生成部１４０は、第１の実施形態における動作に加え、一の濃淡画像情報を選択し、この濃淡画像情報を得た角度に３次元再構成画像を向けて付影部１４１に出力する。また、３次元再構成画像生成部１４０の情報加工部３００は、指示部１８０からの指示に従って情報の抽出条件、すなわち３次元再構成画像の再構成条件を変更・調整する。
また、一致度算出部１５０は、算出した画像一致度を指示部１８０に出力する点で、第１の実施形態とは異なる。
付影部１４１は、３次元再構成画像生成部１４０から入力された３次元再構成画像に影付けを行う。付影部１４１が行う影付け方法としては、仮想的な光源から画像中の物体に接線を引き、物体において、接線との接点を基準に前記した仮想的な光源とは反対側にある部分の濃度を濃くする方法がある。ここで、濃度を濃くする際にグラデーションを付けてもよい。
指示部１８０は、３次元再構成画像生成部１４０に、他の濃淡画像情報を得た角度に３次元再構成画像を向けるよう指示する。
また、指示部１８０は、同一の再構成条件の下に複数の濃淡画像情報に対応して算出された複数の画像一致度を統計的に処理し、その処理結果を用いて３次元再構成画像生成部１４０の情報加工部３００に、３次元再構成画像の再構成条件を変更・調整するように指示する。
ここでの統計的な処理の一例としては、平均値算出がある。画像一致度の平均値を算出する場合、指示部１８０は、例えば、画像一致度の平均値が予め定められた基準値以下の場合に、３次元再構成画像生成部１４０の情報加工部３００に、３次元再構成画像の再構成条件を変更・調整するように指示する。
図１７は、立体構造検証支援装置１０１の動作の一例を示す。
立体構造検証支援装置１０１は、複数の濃淡画像情報を取得する(Ｓ４００)と、３次元再構成画像生成部１４０を用いて３次元再構成画像を生成する（Ｓ４２０)。
そして、立体構造検証支援装置１０１は、３次元再構成画像生成部１４０を用いて一の濃淡画像情報を選択し(Ｓ４６０)、選択した濃淡画像情報を得た角度に３次元再構成画像を向ける（Ｓ４８０)。
そして、立体構造検証支援装置１０１は、影付部１４１を用いて３次元再構成画像に影付けを行って３次元影付画像を生成した（Ｓ５００）後、比較画像生成部１３０を用いて３次元影付画像を基に３次元比較画像を生成し(Ｓ５２０)、一致度算出部１５０を用いて画像一致を度算出する（Ｓ５４０)。
Ｓ４６０〜Ｓ５４０までの動作をすべての濃淡画像情報に対して行って画像一致度を算出した後（Ｓ５６０)、立体構造検証支援装置１０１は、指示部１８０を用いて画像一致度の平均値を算出する（Ｓ５８０)。
算出した画像一致度の平均値が基準値以下の場合（Ｓ６００）には、立体構造検証支援装置１０１は、指示部１８０を用いて再構成条件の変更・調整を情報加工部３００に指示した（Ｓ６０２）後、Ｓ４２０以下の動作を再び行う。
算出した画像一致度の平均値が基準値以上の場合（Ｓ６００）には、画像一致度の出力を行う（Ｓ６２０)。
従って、立体構造検証支援装置１０１を用いることで、３次元再構成画像の再構成条件の妥当性を定量的に検証できる。ここで、立体構造検証支援装置１０１は、複数の濃淡画像情報のそれぞれとの画像一致度を算出して統計処理するため、さらに定量的に再構成条件の妥当性を検証できる。
また、立体構造検証支援装置１０１のハードウェア構成は、記録媒体に格納されて提供されるソフトウエア、ハードディスク６１８にインストールされるソフトウェアを除き、図４に示された立体構造検証支援装置１００のハードウェア構成と同じであるため、説明を省略する。なお、記録媒体に格納されて提供されるソフトウエアは、機能構成として、比較画像生成部１３０を実現するための比較画像生成モジュール、一致度算出部１５０を実現するための一致度算出モジュール、指示部１８０を実現するための指示モジュール、分布部２２０を実現するための分布モジュール、第２の重畳部２４０を実現するための第２の重畳モジュール、形状算出部２６０を実現するための形状算出モジュール、第１の重畳部２８０を実現するための第１の重畳モジュール、情報加工部３００を実現するための情報加工モジュール、画像情報生成部３２０を実現するための画像情報生成モジュール、及び出力部３６０を実現するための出力モジュールを備える。これらの各モジュールがコンピュータに働きかけて図４のＣＰＵ６０２に行わせる処理は、それぞれ立体構造検証支援装置１０１における、対応する部材の機能及び動作と同一であるから説明を省略する。
（第３の例）
図１８は、本実施形態の第３の例である立体構造検証支援装置１０２の構成を示す。立体構造検証支援装置１０２は、構造データベース１１０、比較画像生成部１３２，３次元再構成画像生成部１４０、影付部１４１、位置情報取得部７００、及び算出部８００を備える、構造データベース１１０、３次元再構成画像生成部１４０、影付部１４１は、図１６に示す立体構造検証支援装置１０１と概略同じ構成であるため、説明を省略する。なお、影付部１４１が生成した３次元影付画像の出力先は、比較位置情報取得部７００である。立体構造検証支援装置１０２は、構造モジュールすなわちシミュレーションによる画像と、実験的に得られた物質の構造を示す画像の一致度を算出することで、構造モデルの妥当性を検証する装置である。
比較画像生成部１３２は、外部からの指示に従い構造データベース１１０に格納されている画像を示す情報を選択して取得する。そして、比較画像生成部１３２は、取得した情報が示す画像を例えばフィルタリング法により画質調整することで、３次元比較画像を生成する。そして３次元比較画像を位置情報取得部７００に出力する。
位置情報取得部７００は、物質が有する複数の部位の各々の、影付部１４１から受信した３次元影付画像における位置を示す複数の比較位置情報を取得する。また、比較画像生成部１３２から受信した３次元比較画像における、前記した複数の部位の位置を示す、複数の参照位置情報を取得する。そして、取得した情報を、算出部８００に出力する。
また、位置情報取得部７００は、３次元影付画像の代わりに、濃淡画像情報における、前記複数の各々の位置を示す情報を、複数の参照位置情報として取得してもよい。
算出部８００は、位置情報取得部７００から受信した比較位置情報及び参照位置情報を用いて、３次元比較画像と３次元影付画像の一致度、すなわち構造モデルと３次元再構成画像が示す物質構造との一致度を算出して、外部に出力する。
すなわち、立体構造検証支援装置１０２を用いることで、実験的に得られた３次元再構成画像が、どの構造モデルに近いかを、定量的かつ容易に検証できる。また、透過型電子顕微鏡による濃淡画像情報を３次元再構成にする時に、立体構造検証支援装置１０２の検証結果を反映することで、従来より正確な３次元再構成画像を得ることができる。
図１９は、位置情報取得部７００の一構成例を示す。本例において、一座表情報取得部７００は、選択部７２０、二重表示部７４０、同時表示部７６０、比較位置情報取得部７８０，及び参照位置情報取得部７９０を備える。
選択部７２０は、濃淡画像情報又は影付部１４１から受信した３次元影付画像、及び比較画像生成部１３２から受信した３次元比較画像を、二重表示部７４０及び同時表示部７６０のどちらに出力するかを、例えば外部からの指示に従って選択する。ここで、選択部７２０は、二重表示部７４０及び同時表示部７６０の双方に出力してもよい。
二重表示部７４０は、受信した３次元比較画像と、３次元影付画像又は濃淡画像情報を重ねて表示する。ここで、３次元比較画像と３次元影付画像又は濃淡画像情報の相対位置は、外部からマニュアルで調整できるようにするものが好ましい。さらに、３次元影付画像又は濃淡画像情報、及び３次元比較画像の少なくとも一方の表示角度やスケールすなわち拡大・縮小をマニュアルで調整できるようにするのが好ましい。そして、２重表示部７４０は、３次元比較画像の表示位置を比較位置情報出力部７８０に、３次元影付画像又は濃淡画像情報の表示位置を参照位置情報出力部７８０に、それぞれ出力する。この際、表示角度やスケールを示す情報を併せて出力する。
同時表示部７６０は、受信した３次元比較画像と、３次元影付画像又は濃淡画像情報を同時に表示する。ここで、好ましくは上下又は左右に並列表示する。また、３次元影付画像又は濃淡画像情報、及び３次元比較画像の少なくとも一方の表示角度やスケールすなわち拡大・縮小をマニュアルで調整できるようにするのが好ましい。また、３次元影付画像又は濃淡画像情報、及び３次元比較画像の表示角度を合わせた後は、一方の表示角度を変更すると他方の表示角度も併せて変更させる、すなわち他方に併せて回転表示するようにしてもよい。なお、濃淡画像の表示角度を切り換える際には、複数の角度から撮影された前記複数の濃淡画像情報の各々を角度順に切換ながら連続表示させてもよい。また、同時表示部７６０は、３次元比較画像と、３次元影付画像又は濃淡画像情報を、共に連続して回転表示してもよい。そして、同時表示部７６０は、３次元比較画像の表示位置を比較位置情報出力部７８０に、３次元影付画像又は濃淡画像情報の表示位置を参照位置情報出力部７８０に、それぞれ出力する。この際、表示角度やスケールを示す情報を併せて出力する。
比較位置情報取得部７８０は、３次元比較画像における、前記した複数の部位の各々の位置を示す、複数の比較位置情報を取得する。比較位置情報取得部７８０は、例えばポインタ等を介したユーザの入力により、比較位置情報を取得する。また、構造データベース１１０に予め単数又は複数の比較位置情報を格納しておき、比較位置情報取得部７８０が構造データベース１１０から比較位置情報を取得する構成としてもよい。また、部位としては、例えば物質の表面上の一点であるが、その他に物質を構成する原子の原子核が存在すると推定される位置でもよい。また、比較位置情報は、例えば一の部位を原点とした座標情報又はベクトル情報である。そして、比較位置情報取得部７８０は、取得した比較位置情報を算出部８００に出力する。
参照位置情報取得部７９０は、前記した複数の部位の各々の位置を示す、複数の参照位置情報を、３次元影付画像及び濃淡画像情報のそれぞれにおいて取得する。参照位置情報取得部７９０は、例えばポインタ等を介したユーザの入力により、比較位置情報を取得する。ここでの入力は、２重表示部７４０による表示画面上、または、同時表示部７６０による表示画面上で入力されるのが好ましい。これにより、ユーザは、より適切な参照位置を選択して参照位置情報として入力することができる。また、参照位置情報は、例えば一の部位を原点とした座標情報又はベクトル情報である。ここでの一の部位は、比較位置情報における一の部位と同一にするのが好ましい。そして、比較位置情報取得部７８０は、取得した比較位置情報を算出部８００に出力する。
透過型電子顕微鏡などの測定機器において、撮像方法や画像のスケールを意図通りに得ることは難しい。これに対し、位置情報取得部７００は、３次元影付画像又は濃淡画像情報、及び３次元比較画像の少なくとも一方のスケールや角度を変更する。従って、より確実に比較位置情報又は参照位置情報を設定することができる。
図２０は算出部８００の一構成例を示す。算出部８００は、設定部８２０、拡縮部８４０、回転部８６０、及び画像一致度算出部８８０を有する。
設定部８２０は、比較位置情報を取得すると共に、３次元影付画像及び濃淡画像情報のそれぞれにおける参照位置情報を取得する。そして、３次元影付画像における参照位置情報と比較位置情報の差分を各部位において算出すると共に、濃淡画像情報における参照位置情報と比較位置情報の差分を各部位において算出する。そして、これら２組の差分の各々において、画像の回転方向のずれ、画像の平行移動方向のずれ、及びスケールのずれを未知数とした方程式を作成する。そして、この２組の方程式を、例えば最小二乗法を用いて解くことで、回転方向の修正量、平行移動方向の修正量、及びスケールの修正量を算出する。そして、設定部８２０は、算出した平行移動方向の修正量、及びスケールの修正量を拡縮部８４０に出力し、算出した回転方向の修正量を回転部８６０に出力する。
ここで、設定部８２０は、３次元比較画像又は３次元影付画像の一方に対する拡大量又は縮小量を、外部から取得し、拡縮部８４０に出力してもよい。また、入力部８２０は、３次元比較画像又は３次元影付画像の一方に対する回転量を、外部から取得し、回転部８６０に出力してもよい。外部しては、他の計算装置の他、ポインタやキーボードも含まれる。
拡縮部８４０は、設定部８２０から受信した情報に従い、位置情報取得部７００から受信した３次元影付画像又は濃縮画像情報、及び３次元比較画像の一方を、他方に併せて拡大又は縮小するとともに、平行移動する。この際、拡縮部８４０は、３次元比較画像または３次元影付画像の拡大・縮小量および平行移動量に併せて、比較位置情報や参照位置情報を、相対位置が相似であるように変化させる。そして、拡縮部８４０は、拡大又は縮小した後の、３次元影付画像又は濃淡画像情報、３次元比較画像、比較位置情報及び参照位置情報を、回転量と共に回転部８６０に出力する。
回転部８６０は、設定部８２０から受信した情報に従い、拡縮部８４０から受信した３次元影付画像又は濃淡画像情報、及び３次元比較画像の一方を、回転する。この際、拡縮部８４０は、一方の回転量に併せて、当該一方に対応する比較位置情報又は参照位置情報も変化させる。そして、拡縮部８４０は、回転した後の、比較位置情報及び参照位置情報を、画像一致度算出部８８０に出力する。
画像一致度算出部８８０は、回転部８６０から受信した比較位置情報及び参照位置情報の一致度を、３次元影付画像又は濃淡画像情報、及び３次元比較画像の一致度として算出する。画像一致度算出部８８０は、例えば、最小二乗法により、比較位置情報及び参照位置情報の誤差を算出し、例えばこの誤差の逆数を画像一致度とする。なお、画像一致度は、誤差の逆数に限定されるものではなく、誤差が大きくなると逆に小さくなる値であればよい。そして、画像一致度算出部８８０は、算出した画像一致度を、外部に出力する。
ここで、画像一致度算出部８８０は、画像一致度が一定値以下の場合は、回転部８６０または拡縮部８４０に、回転量又は拡大量若しくは縮小量を変更するように指示してもよい。この場合、回転部８６０は、３次元影付画像若しくは濃淡画像情報、又は３次元比較画像の回転量を変更して再度画像一致度算出部８８０に出力する。また、拡縮部８４０は、３次元影付画像若しくは濃淡画像情報、又は３次元比較画像の拡大量又は縮小量を変更して再度回転部８６０を介して画像一致度算出部８８０に出力する。
また、上述したように、透過型電子顕微鏡などの測定機器において、撮像方向や画像のスケールを意図通りに得ることは難しい。これに対し、算出部８００は、３次元影付画像又は濃淡画像情報、及び３次元比較画像の少なくとも一方のスケールや角度を変更する。従って、より正確に画像一致度を算出して構造モデルの検証をおこなうことができる。
図２１は、立体構造検証支援装置１０２の動作の一例を示す。
まず、３次元再構成画像生成部１４０が３次元再構成画像を生成し、そして影付部１４１が３次元影付画像を生成する（Ｓ７００)。そして、比較画像生成部１３２は構造データベース１１０より複数の構造モデルを選択した（Ｓ７２０）後に、さらに一の構造モデルを選択する（Ｓ７４０)。そして、選択した構造モデルの画像に画像処理を施して３次元比較画像を生成する（Ｓ７６０)。そして、ユーザが入力部８２０を介して表示方法を選択した（Ｓ７８０）後に、二重表示部７４０又は同時表示部７６０は、選択した表示方法に従った表示を行う（Ｓ８００)。
そして、算出部８００は、画像一致度を算出する（Ｓ８２０)。
そして、Ｓ７２０で選択した構造モデルの全てに対して、Ｓ７４０〜Ｓ８２０の処理を行う（Ｓ８４０)。そして、算出部８００は、画像一致度が最も高い構造モデルを選択し(Ｓ８６０)、その画像一致度が基準値を超えるか否かを確認する（Ｓ８８０)。基準値以上の場合、処理を終了する。基準値以下の場合、Ｓ７２０に戻って構造モデルを選択し直す。
本例によれば、Ｓ７２０において予め一致度算出対象となる構造モデルを制限している。すなわち、構造データベース１１０内の構造のすべてを対象としないため、立体構造検証支援装置への負荷は少なくてすむ。
図２２は、図２１のＳ８２０の詳細の一例を示す。まず、比較位置情報取得部７８０は比較位置情報を取得すると共に、参照位置情報取得部７９０は、３次元影付画像における参照位置情報を取得するとともに、濃淡画像情報における参照位置情報を取得する（Ｓ８２２)。そして、設定部８２０が拡大量又は縮小量、及び平行移動量を算出すると共に、回転部８６０が回転量を算出する（Ｓ８２４)。３次元影付画像若しくは濃淡画像情報、又は３次元比較画像を、拡縮部８４０が拡大又は縮小すると共に、回転部が回転する（Ｓ８２６)。そして、画像一致度算出部８８０が一致度を算出する（Ｓ８２８)。そして、比較位置情報又は参照位置情報を変更するか判断する（Ｓ８３２)。変更する場合、Ｓ８２２まで戻る。
なお、立体構造検証支援装置１０２のハードウェア構成は、記録媒体に格納されて提供されるソフトウエア、ハードディスク６１８にインストールされるソフトウェアを除き、図４に示された立体構造検証支援装置１００のハードウェア構成と同じであるため、説明を省略する。なお、記録媒体に格納されて提供されるソフトウエアは、機能構成として、３次元再構成画像生成モジュール、影付モジュール、比較位置情報取得モジュール、選択モジュール、２重表示モジュール、同時モジュール、比較位置情報取得モジュール、参照位置情報取得モジュール、入力モジュール、拡縮モジュール、回転モジュール、及び画像一致度算出モジュールを備える。これらの各モジュールがコンピュータに働きかけて図４のＣＰＵ６０２に行わせる処理は、それぞれ立体構造検証支援装置１０２における、対応する部材の機能及び動作と同一であるから説明を省略する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。各構成部の機能の一部を人が代行してもよいことも明らかである。また、各例に指名した装置を互いに組み合わせてもよいことも明らかである。
産業上の利用可能性
以上の説明から明らかなように、本発明によれば、物質の構造の推定モデル或いは３次元再構成画像等の３次元算出画像の妥当性の検証を支援するのに好適な立体構造検証支援装置、立体構造検証方法、記録媒体、及びプログラムを提供することができる。
【図１】
0003603204.tif 000002
【図２】
0003603204.tif 000003
【図３】
0003603204.tif 000004
【図４】
0003603204.tif 000005
【図５】
0003603204.tif 000006
【図６】
0003603204.tif 000007
【図７】
0003603204.tif 000008
【図８】
0003603204.tif 000009
【図９】
0003603204.tif 000010
【図１０】
0003603204.tif 000011
【図１１】
0003603204.tif 000012
【図１２】
0003603204.tif 000013
【図１３】
0003603204.tif 000014
【図１４】
0003603204.tif 000015
【図１５】
0003603204.tif 000016
【図１６】
0003603204.tif 000017
【図１７】
0003603204.tif 000018
【図１８】
0003603204.tif 000019
【図１９】
0003603204.tif 000020
【図２０】
0003603204.tif 000021
【図２１】
0003603204.tif 000022
【図２２】
0003603204.tif 000023