(57)【要約】【課題】  タンパク質溶液の電子画像から結晶化状態判定の対象となる領域を自動で抽出する。【解決手段】  タンパク質溶液の電子画像を取得して原画像とする原画像取得ステップと、原画像における各ピクセルの彩度を算出する彩度算出ステップと、所定の範囲の半径を有する各円が原画面を走査し、当該各円領域内の彩度分散値が最小となる座標を計算する座標決定ステップと、円の半径を変化させ、各円領域内の最小彩度分散値の変化率が最大となる半径を計算する半径決定ステップとを含む、タンパク質溶液の電子画像から結晶化状態判定の対象となる領域を抽出する方法を提供する。【選択図】  図２
2008139101.tif 000002
【特許請求の範囲】
【請求項１】
タンパク質溶液の電子画像を取得して原画像とする原画像取得ステップと、
前記原画像における各ピクセルの彩度を算出する彩度算出ステップと、
所定の範囲の半径を有する各円が前記原画面を走査し、当該各円領域内の彩度分散値が最小となる座標を計算する座標決定ステップと、
円の半径を変化させ、前記各円領域内の最小彩度分散値の変化率が最大となる半径を計算する半径決定ステップと
を含む、タンパク質溶液の電子画像から結晶化状態判定の対象となる領域を抽出する方法。
【請求項２】
前記原画像を低解像度化する解像度変換ステップをさらに含む請求項１に記載の方法。
【請求項３】
前記半径決定ステップが、
【数１】
2008139101.tif 000009
を計算し、
【数２】
2008139101.tif 000010
を求める、ここで、ｄ（ｒ）は半径ｒに対応する最小分散値であり、αｘは変化率を決定する基準である請求項１に記載の方法。
【請求項４】
前記半径決定ステップが、ｍｉｎｄｉｆ＿ｒが所定値以上となった場合、計算を停止する請求項１に記載の方法。
【請求項５】
前記半径決定ステップが、ａｎｓ＿ｒが所定値以下であった場合、エラーを出力する請求項１に記載の方法。
【請求項６】
タンパク質溶液の電子画像を取得して原画像とする原画像取得部と、
前記原画像における各ピクセルの彩度を算出する彩度算出部と、
所定の半径を有する円領域内の彩度分散値を計算する彩度分散値計算部と、
所定の範囲の半径を有する各円が前記原画面を走査し、当該各円領域内の彩度分散値が最小となる座標を計算する座標決定部と、
円の半径を変化させ、前記各円領域内の最小彩度分散値の変化率が最大となる半径を計算する半径決定部と
を備える、タンパク質溶液の電子画像から結晶化状態判定の対象となる領域を抽出する装置。
【請求項７】
前記原画像を低解像度化する解像度変換部をさらに備える請求項６に記載の装置。
【請求項８】
前記半径決定部が、
【数１】
2008139101.tif 000011
を計算し、
【数２】
2008139101.tif 000012
を求める、ここで、ｄ（ｒ）は半径ｒに対応する最小分散値であり、αｘは変化率を決定する基準である請求項６に記載の装置。
【請求項９】
前記半径決定部が、ｍｉｎｄｉｆ＿ｒが所定値以上となった場合、計算を停止する請求項６に記載の装置。
【請求項１０】
前記半径決定部が、ａｎｓ＿ｒが所定値以下であった場合、エラーを出力する請求項６に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子画像から判定の対象となる領域を抽出する方法及び装置に関する。特に、タンパク質溶液の電子画像における各ピクセルの彩度を算出し、この算出された彩度に基づいて結晶化状態判定の対象となる領域を抽出する方法及び装置に関する。
【背景技術】
【０００２】
タンパク質結晶化画像を取得する装置が開発され始めたのは、結晶化の自動化への試みが活発となったごく最近のことである。そのため、標準的あるいは一般的と呼べるタンパク質の結晶解析に関する開発スタイルは存在せず、開発者がタンパク質結晶化画像の取得装置の構成要素すべてを選択あるいは開発しているのが現状である。
【０００３】
例えば、開発現場ごとに採用する結晶化手法が異なるため、各結晶化手法専門の結晶化プレートが用いられる。しかし、同じ結晶化手法用のプレートでも材質、形状の異なる多くの種類のプレートが市販されており、また画像処理のしやすさを求め独自でプレート開発を行っている場合もある。さらに、プレート上部から照明をあてるか下部からあてるか、上部から撮影するか下部から撮影するかなど、画像に影響を及ぼす要因は多岐にわたる。
【０００４】
領域抽出に関する研究は、これまでに数多く取り組まれており、非特許文献１〜３などがある。さらに、非特許文献４〜７には、ある目的を達成するための前処理として領域抽出を導入するものが記載されている。これらはいずれも抽出対象に固有な特徴を利用して編み出されたアルゴリズムであり、対象に関する知識を計算機内で表現することで実現している。
【非特許文献１】黒川 圭二, 三浦 信, 西田 眞, 景山 陽一, 苗村 育郎, "MRI脳画像における頭蓋内領域の自動抽出法," 電気学会論文誌C, Vol.124, No.9, pp.1780-1789, 2004.
【非特許文献２】齊藤 剛史, 金子 豊久, "正規化コストに基づく輪郭抽出法," 電子情報通信学会論文誌 D-II, Vol.J87-D-II, No.12, pp.2136-2144, 2004.
【非特許文献３】高橋 裕樹, 金 大祐, 中嶋 正之, "ハングルの構造特徴を用いた情景画像からのハングル文字列領域抽出," 電子情報通信学会論文誌 D-II, Vol.J88-D-II, No.9, pp.1808-1816, 2005.
【非特許文献４】莫 舸舸, 青木 由直, "カラー画像における道路標識の認識," 電子情報通信学会論文誌 D-II, Vol.J87-D-II, No.12, pp.2124-2135, 2004.
【非特許文献５】森 泰親, 李 響, "遺伝的アルゴリズムを用いた顔認識," 電気学会論文誌 C,Vol.125, No.4, pp.576-581, 2005.
【非特許文献６】目加田 慶人, 田中 友章, 村瀬 洋, 長谷川 純一, 鳥脇 純一郎, 尾辻 秀章,"血管と気管支の空間的配置特徴に基づく胸部X線CT像からの肺動脈・肺静脈自動分類," 電子情報通信学会論文誌 D-II, Vol.J88-D-II, No.8, pp.1412-1420, 2005.
【非特許文献７】森岡 一幸, 黒田 陽一, 李 周浩, 橋本 秀紀, "色情報処理手法の自動選択による複数物体追跡," 電気学会論文誌 C, Vol.125, No.2, pp.210-219, 2006.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、タンパク質結晶化画像の様相は撮像装置の開発環境に大きく依存する。したがって、あらゆるタンパク質結晶化画像に対応可能な判定対象領域の抽出方法は存在せず、環境ごとに手法を設定していく必要がある。そこで、本発明が解決しようとする課題は、タンパク質結晶化画像において固有な特徴を検出し、タンパク質溶液の電子画像から結晶化状態判定の対象となる領域を抽出する装置及び方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明では、タンパク質溶液の電子画像から結晶化状態判定の対象となる領域を抽出する方法を提供する。具体的には、本発明によれば、タンパク質溶液の電子画像を取得して原画像とする原画像取得ステップと、原画像における各ピクセルの彩度を算出する彩度算出ステップと、所定の範囲の半径を有する各円が前記原画面を走査し、当該各円領域内の彩度分散値が最小となる座標を計算する座標決定ステップと、円の半径を変化させ、各円領域内の最小彩度分散値の変化率が最大となる半径を計算する半径決定ステップとを含む、領域を抽出する方法が提供される。ここで、本発明の領域を抽出する方法は、原画像を低解像度化する解像度変換ステップをさらに含む。半径決定ステップは、各円領域内の最小彩度分散値の変化率が最小となる座標を計算するため、
【数１】
2008139101.tif 000003
を計算し、
【数２】
2008139101.tif 000004
を求める。ここで、ｄ（ｒ）は半径ｒに対応する最小分散値であり、αｘは変化率を決定する基準である。半径決定ステップは、ｍｉｎｄｉｆ＿ｒが所定値以上となった場合、計算を停止し、ａｎｓ＿ｒが所定値以下であった場合、エラーを出力する。
【０００７】
また、本発明では、タンパク質溶液の電子画像から結晶化状態判定の対象となる領域を抽出する装置を提供する。本発明によれば、タンパク質溶液の電子画像を取得して原画像とする原画像取得部と、原画像における各ピクセルの彩度を算出する彩度算出部と、所定の半径を有する円領域内の彩度分散値を計算する彩度分散値計算部と、所定の範囲の半径を有する各円が前記原画面を走査し、当該各円領域内の彩度分散値が最小となる座標を計算する座標決定部と、円の半径を変化させ、前記各円領域内の最小彩度分散値の変化率が最大となる半径を計算する半径決定部とを備える、領域を抽出する装置が提供される。ここで、本発明の領域を抽出する装置は、原画像を低解像度化する解像度変換部をさらに備える。半径決定部は、各円領域内の最小彩度分散値の変化率が最小となる座標を計算するため、
【数３】
2008139101.tif 000005
を計算し、
【数４】
2008139101.tif 000006
を求める。ここで、ｄ（ｒ）は半径ｒに対応する最小分散値であり、αｘは変化率を決定する基準である。半径決定部は、ｍｉｎｄｉｆ＿ｒが所定値以上となった場合、計算を停止し、ａｎｓ＿ｒが所定値以下であった場合、エラーを出力する。
【発明の効果】
【０００８】
本発明のタンパク質溶液の電子画像から結晶化状態判定の対象となる領域を抽出する方法及び装置は、様々な条件下において、目的の領域を自動で抽出することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して、本発明に係るタンパク質溶液の電子画像から結晶化状態判定の対象となる領域を抽出する装置及び方法の実施の形態について説明する。本発明は、コンピュータを用いて、画像処理及び画像の分類を用いて、タンパク質溶液の電子画像から結晶化状態判定の対象となる領域を抽出するようにしたものである。
【００１０】
図１は、本実施形態のタンパク質溶液の電子画像から結晶化状態判定の対象となる領域を抽出する対象領域抽出システム１００の構成図である。本実施形態の対象領域抽出システム１００は、原画像取得部１０２と、解像度変換部１０４と、彩度算出部１０６と、彩度分散値計算部１０８、座標決定部１１０と、半径決定部１１２とを備える。
【００１１】
本発明はコンピュータ装置を用いて実施され、このコンピュータには、適当な画像入力部が接続されている。その画像入力部は、例えば、顕微鏡に備えられたＣＣＤ（電荷結合デバイス）などの撮像装置、Ａ／Ｄコンバータ、適当なメモリなどによって電子的な画像を取得し、コンピュータに入力する。また、コンピュータには、演算装置、記憶装置、表示装置、通信装置などの通常の装置が備えられる。本実施の形態の上記原画像取得部１０２等の各部は、上記演算装置に実現された機能ブロックとして処理が行なわれ、機能が実現される。
【００１２】
本実施の形態の構成から、本発明によって提供されるタンパク質溶液の電子画像から結晶化状態判定の対象となる領域を抽出する方法をまとめると図２のようになる。即ち、タンパク質溶液の電子画像を取得して原画像とする（原画像取得ステップ，Ｓ２０２）。次に、原画像を低解像度化する（解像度変換ステップ、Ｓ２０４）。原画像における各ピクセルの彩度を算出する（彩度算出ステップ、Ｓ２０６）。所定の範囲の半径を有する各円が原画面を走査し、当該各円領域内の彩度分散値が最小となる座標を計算する（座標決定ステップ、Ｓ２０８）。さらに、円の半径を変化させ、各円領域内の最小彩度分散値の変化率が最大となる半径を計算する（半径決定ステップ、Ｓ２１０）。以下に、本実施の形態に係る対象領域抽出システム１００の各ステップを説明する。
【００１３】
（原画像取得ステップＳ２０２）
原画像取得ステップＳ２０２では、原画像取得部１０２が、撮像装置１０が撮影した電子画像のデータを取得し、その電子画像を調整して原画像のデータとする。調整とは、デジタル化されたデータの明度などを適切な範囲に調整したり、計算に十分な範囲で階調の削減を行ったり、必要な領域を切り出す処理などの一般的な処理である。
【００１４】
図３は、タンパク質結晶化ウェルとタンパク質結晶化画像の対応関係を示す図である。タンパク質結晶化プレート３４は、試料を注入する複数のウェル３６を有している。撮像装置１０は、各ウェル３６を撮影するため、タンパク質結晶化プレート３４の上部において自動的に位置制御されている。ここで、撮像装置１０は大変高い精度で位置を制御されているものの、０．３ｍｍ程度の位置誤差を生じることがある。この位置誤差は、本システムにおいて１５５ピクセル程度の誤差に対応する。
【００１５】
タンパク質結晶化画像３８は、領域３８２と領域３８４とを含む。領域３８２はウェル３６の側面部３６２に該当し、領域３８４はウェル３６の底面部３６４に該当する。タンパク質結晶化画像３８の領域３８２は、様々な像を含む。例えば、ウェル３６の表面パターン、オイルの液滴、沈殿物などである。さらに、領域３８２は、側面部３６２の傾斜やオイルによる照明の反射なども含む。また、側面部３６２と底面部３６４との境界付近にタンパク質結晶が析出することがある。しかし、側面部３６２のみにタンパク質結晶が析出することは極めて稀である。そこで、本発明の対象領域抽出システム１００は、結晶化状態判定の対象領域として、底面部３６４のみを抽出する。
【００１６】
（解像度変換ステップＳ２０４）
解像度変換ステップＳ２０４では、解像度変換部１０４が原画像を低解像度に変換する。解像度変換部１０４は、例えば、原画像を１／３の解像度を持つ画像に変換した場合、原画像における３×３ピクセルを１ピクセルに圧縮する。つまり、解像度変換部１０４が解像度を低くするほど、探索回数が減少し、領域抽出に要する時間が短縮される。
【００１７】
しかし、低解像度画像上の画像を原画像上の座標に変換する場合、誤差が生じる。そこで、低解像度画像の座標（ｌ＿ｘ、ｌ＿ｙ）から原画像（ｏ＿ｘ、ｏ＿ｙ）への座標変換を、ｏ＿ｘ＝ｌ＿ｘ  ×  ｎ−  ｎ／２、ｏ＿ｙ＝ｌ＿ｙ  ×  ｎ−  ｎ／２で行う。これによって、誤差の生起確率を極力おさえることができる。また、判定対象領域がウェルの底面以外を含むことは、好適ではない。したがって、半径を変換する場合、対応候補値の最小値に変換する。すなわち、低解像度画像において決定された半径ｌ＿ｒから原画像ｏ＿ｒへの変換は、ｏ＿ｒ＝ｌ＿ｒ  ×  ｎ−  （ｎ−１）で行う。
【００１８】
（彩度算出ステップＳ２０６）
彩度算出ステップＳ２０６では、彩度算出部１０６が原画像における各ピクセルの彩度を算出する。一般的に、対象領域の抽出方法は、画像のテクスチャ、明るさ、色などを固有な特徴として用いる。しかし、タンパク質結晶が多くの成長状態を呈し、さらに上述した様々な像が画像に含まれているため、テクスチャを用いて対象領域の抽出を行うことは困難である。したがって、本実施の形態では、色及び明るさを固有な特徴として用い、タンパク質溶液の電子画像から結晶化状態判定の対象となる領域を抽出する。
【００１９】
タンパク質結晶化画像３８では、側面部３８２は青みがかった有彩色であり、底面部３８４は無彩色である。これは、ウェル３６内部を明るく映し出すため、顕微鏡の透過光源に加えてリング上の白色蛍光灯を、反射光源として観察装置に装着したために起きた現象である。ここで、有彩色と無彩色は知覚色の表色系の１つである彩度という属性により表現される。知覚色の表色系は、色票を体系的に配置した色票集などの物体標準に基づいており、顕色系と呼ばれる表色系に分類されている。図４は、知覚色の３属性を円筒座用系で表した概念図である。知覚色は、明暗の程度を指す明度４２と、赤、緑、青などの色みの種類を指す色相４４、鮮やかさを指す彩度４６の３つの属性で表される。
【００２０】
本発明の対象領域抽出システム１００では、ＨＳ１６角錐カラーモデルを用いて、Ｒ、Ｇ、Ｂの値をもつタンパク質結晶化画像の色情報をＨ、Ｓ、Ｉの値に変換する。図５（ａ）〜（ｄ）は、ＨＳＩ１６角錐カラーモデルを用いたＲＧＢ空間からＨＳＩ空間への変換方法を説明する図である。
【００２１】
図５（ａ）は、ＲＧＢ直角座標系において、Ｒ、Ｇ、Ｂとその補色Ｃ、Ｍ、Ｙとの位置関係を示す図である。ＲＧＢ立方体の主対角軸は明度Ｉの軸を示す。ここで、明度Ｉは、Ｉ＝ｍａｘ｛Ｒ、Ｇ、Ｂ｝で定義される。図５（ｂ）は、明度Ｉ軸方向からみたＲＢＧ立方体を示す図である。図５（ｂ）に描かれている正六角形は、Ｉ軸に直交する平面にＲＧＢ立方体を平行投影して形成されたものである。
【００２２】
続いて、この正六角形にある点Ｐを与える。点Ｐを通り、Ｉ軸に直交する平面上で色相Ｈと彩度Ｓを定義する。図５（ｃ）は、色相Ｈと彩度Ｓの定義を説明する図である。上記定義によって、Ｒ、Ｇ、ＢとＨ、Ｓ、Ｉとの間に６角錐カラーモデルが形成される。図５（ｄ）は、形成されたＨＳＩ６角錐カラーモデルを示す。
【００２３】
次に、Ｒ、Ｇ、ＢとＨ、Ｓ、Ｉとの間の相互の変換方法を示す。
まず、Ｉは、Ｉ＝ｍａｘ｛Ｒ、Ｇ、Ｂ｝により定義される。
Ｉ＝０であった場合、Ｓ＝０、Ｈ＝不定となる。
Ｉ≠０であった場合、Ｓは次式によって定義される。
Ｓ＝（Ｉ−ｉ）／Ｉ
ただし、ｉ＝ｍｉｎ｛Ｒ、Ｇ、Ｂ｝
次に、ｒ、ｇ、ｂを以下のように求める。
ｒ＝（Ｉ−Ｒ）／（Ｉ−ｉ）
ｇ＝（Ｉ−Ｇ）／（Ｉ−ｉ）
ｂ＝（Ｉ−Ｂ）／（Ｉ−ｉ）
最後に、Ｈを以下のように定める。
Ｒ＝Ｉのとき、Ｈ＝π／３（ｂ−ｇ）
Ｇ＝Ｉのとき、Ｈ＝π／３（２＋ｒ−ｂ）
Ｂ＝Ｉのとき、Ｈ＝π／３（４＋ｇ−ｒ）
ただし、Ｒ、Ｇ、Ｂ、Ｓ、Ｉの値域は、［０、１］であり、Ｈの値域は、［０、２π］である。
【００２４】
（座標決定ステップＳ２０８）
座標決定ステップＳ２０８では、座標決定部１１０が、所定の範囲の半径を有する各円が原画像を走査し、当該各円領域内の彩度分散値が最小となる座標を計算する。図６は、座標決定部の走査方法を示す図である。所定の半径を有する円が原画像内を水平走査し、その円領域内の彩度分散値を求め、求められた彩度分散値が最小となる座標を決定する。これによって、各半径を有する円領域内の最小彩度分散値を求める。図７は、半径の変化に伴う最小彩度分散値の推移を示す図である。ここでは、半径３１０〜３７０ピクセルの範囲を有する各円が原画像内を水平走査し、その各円領域内の彩度分散値を求めた。例として半径ｒ＝３２０、３４０、３６０に該当する円領域を示す。
【００２５】
（半径決定ステップＳ２１０）
半径決定ステップＳ２１０では、半径決定部１１２が、各円領域内の最小彩度分散値の変化率が最大となる半径を決定する。まず、半径ｒに対応する最小分散値をｄ（ｒ）とする。ここで、ｆ（ｘ）＝αｘ（ただし、０＜α＜１、α＝μｃ（ｃ＝１、２、３、…））を変化の強さを測る基準とし、ｄ（ｒ）とｆ（ｘ）との差を最小とする半径
【数５】
2008139101.tif 000007
を算出する。ここで、μはどの程度の精度で変化度の確認を行うかを定めるパラメータである。ここでは、一例として、μ＝ｄ（３７０）／１０００とする。
【００２６】
図８（ａ）は、αとmindif＿rの関係を示す図である。ここで、αの増加途中にmindif＿rが予め決められていた計測最大半径を超えた場合、その時点で計算を中止する。各mindif＿rの連続数length(mindif＿r)がd(mindif＿r)における変化度を示す。すなわち、length(mindif＿r)が大きい値となるmindif＿rにおけるd(mindif＿r)では急激な変化が起きているということを表す。そこで求めたい半径ans＿rは、
【数６】
2008139101.tif 000008
となる。図８（ｂ）は、mindif＿rとlength(mindif＿r)の関係を示す図である。
【００２７】
図８（ｂ）から、適切な半径長として半径３４８ピクセルを取得する。したがって、本実施形態の対象領域抽出システム１００は、座標決定１１２において求められた座標と、半径決定部１１４において求められた半径とを用いて、タンパク質溶液の電子画像から結晶化状態判定の対象となる領域を抽出ことができる。
【００２８】
また、判定領域の抽出は、結晶化状態判定の最初のステップである。したがって、ここで誤った領域を抽出することは望ましくない。そこで、半径決定部１１４は、本手法により抽出できないもの、つまり、ａｎｓ＿ｒが所定値以下であった場合、エラーを出力する。
【００２９】
以上、本発明の実施の形態につき述べたが、本発明は既述の実施の形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形、変更および組合わせが可能である。
【実施例１】
【００３０】
本発明の実施の形態に係る対象領域抽出システム１００を用いて、タンパク質溶液の電子画像１３６９枚から結晶化状態判定の対象となる領域を抽出した。その結果、正しく抽出した画像が１２６９枚（９２．７％）、抽出不能のエラーを出力した画像が９４枚（６．９％）、誤った円領域を抽出した画像が６枚（０．４％）であった。また、本実施例では、解像度変換部１０４が、タンパク質溶液の電子画像（１３９２×１０４０［pixel］）を低解像度画像（１７４×１３０［pixel］）に変換した。これによって、対象領域抽出システム１００は、タンパク質溶液画像１枚を処理する時間を７．５時間から約１９秒に短縮することができた。
【図面の簡単な説明】
【００３１】
【図１】本実施形態のタンパク質溶液の電子画像から結晶化状態判定の対象となる領域を抽出する対象領域抽出システムの構成図である。
【図２】本発明によって提供されるタンパク質溶液の電子画像から結晶化状態判定の対象となる領域を抽出する方法を表すフローチャートである。
【図３】タンパク質結晶化ウェルとタンパク質結晶化画像の対応関係を示す図である。
【図４】知覚色の３属性を円筒座用系で表した概念図である。
【図５（ａ）】ＲＧＢ直角座標系において、Ｒ、Ｇ、Ｂとその補色Ｃ、Ｍ、Ｙとの位置関係を示す図である。
【図５（ｂ）】明度Ｉ軸方向からみたＲＢＧ立方体を示す図である。
【図５（ｃ）】色相Ｈと彩度Ｓの定義を説明する図である。
【図５（ｄ）】ＨＳＩ６角錐カラーモデルの形成図を示す。
【図６】座標決定部の走査方法を示す図である。
【図７】半径の変化に伴う最小彩度分散値の推移を示す図である。
【図８（ａ）】αとmindif＿rの関係を示す図である。
【図８（ｂ）】mindif＿rとlength(mindif＿r)の関係を示す図である。
【符号の説明】
【００３２】
１０        撮像装置
１００      対象領域抽出システム
１０２      原画像取得部
１０４      解像度変換部
１０６      彩度算出部
１０８      彩度分散値計算部
１１０      座標決定部
１１２      半径決定部
【図１】
2008139101.tif 000013
【図２】
2008139101.tif 000014
【図３】
2008139101.tif 000015
【図４】
2008139101.tif 000016
【図５】
2008139101.tif 000017
【図６】
2008139101.tif 000018
【図７】
2008139101.tif 000019
【図８】
2008139101.tif 000020