博士学位論文
氏 名 (本 籍 )前田

元（東京都）

学位の種類

博

士（工学）

学位記番号

博甲

第 183 号

学位授与年月日

令和５年

学位授与の要件

学位規則第４条第１項

４月

１７日

学位論文題目
ガボールウェーブレットを用いた
生物電子顕微鏡画像の輪郭抽出法

論文審査委員

主査

大和

淳司

副査

於保

英作

〃

N P チャンドラシリ

〃

馬場

則男

〃

木森

義隆（福井工業大学）〃〃

工学院大学大学院

ガボールウェーブレットを用いた
生物電子顕微鏡画像の輪郭抽出法
Contour Extraction Method for Biological Electron
Microscope Images Using Gabor Wavelets

2023 年
工学院大学大学院

工学研究科
前田

元

情報学専攻

目次
第1章

序論 .......................................................................................................................2

1.1

本研究の背景 ............................................................................................................2

1.2

電子顕微鏡画像に対する輪郭抽出法の従来手法......................................................5

1.3

新たに提案する手法 .................................................................................................8

1.4

本論文の構成 ..........................................................................................................13

第2章

ウェーブレット変換とガボールウェーブレット ................................................16

2.1

ウェーブレット変換 ...............................................................................................16

2.2

1 次元ガボールウェーブレット変換 .......................................................................17

2.3

2 次元ガボールウェーブレット ..............................................................................20

2.4

ガボール特徴量 .......................................................................................................23

第3章

ガボールウェーブレットを用いた輪郭抽出・追跡手法 .....................................283.1

直流成分ゼロのガボールウェーブレット...............................................................28

3.2

ガボールウェーブレットを用いた輪郭線抽出・追跡法.........................................35

3.3

パラメータ自動再探索処理 ....................................................................................46

3.4

輪郭抽出を支援する GUI ツール .............................................................................48

第4章

提案手法のシミュレーション .............................................................................52

4.1

理想的なモデル輪郭画像に対するシミュレーション ............................................52

4.2

雑音入りモデル輪郭画像に対するシミュレーション ............................................62

第5章

ガボールウェーブレットを用いた生物電子顕微鏡画像の輪郭抽出実験結果 ....73

5.1

実験の目的 ..............................................................................................................73

5.2

実験環境及び試料の作製と撮影 .............................................................................73

5.3

実験の手順 ..............................................................................................................74

5.4

細胞小器官の輪郭追跡時における GFM の観察 .......................................................75

5.5

酵母超薄切片電子顕微鏡像の細胞小器官の輪郭抽出 ............................................805.6

酵母超薄切片電子顕微鏡像の複雑な糸巻き状液胞膜の輪郭抽出 ..........................88

第6章

考察及び結論 .....................................................................................................102

謝辞 ......................................................................................................................................109
付録 ......................................................................................................................................110
参考文献 ..............................................................................................................................112

1

第1章 序論

1.1 本研究の背景

電子顕微鏡が発明されたことにより、人類はナノメートル(10−9 )メートル以下の決して肉眼で観察することができない程に小さな世界の物質や構造体の詳細な観察を行えるようになった。しかしながら、非常に小さな世界の観察を行うことができる電子顕微鏡は、その視野範囲もまた非常に狭い。それに対して、観察を行う必要のある試料空間は電子顕微鏡にとって広大な領域であることが多い。
その広大な試料空間の中から手動で観察を行いたい物体や構造体を探し出すことは容易ではない。また、試料空間中の観察対象の位置の特定ができたとして、その後にその物体並びに構造体の解析を行う上で、その観察対象の個数や面積、概形、さらには他の物体や構造体との接続関係などの正確な情報の収集と分析が必要となる事がある。
こうした場合は、画像中の観察対象の領域を厳密に特定し、他の領域と区分けするという作業が行われる。この作業は一般に”セグメンテーション”と呼ばれており、電子顕微鏡画像解析において基本的かつ重要な作業の 1 つである。
電子顕微鏡画像上に出現する物体並びに構造体の全て、或いは観察対象に絞ってセグメンテーションを行い、それぞれの領域を厳密に区分することができれば、広大な試料空間内での位置の特定も、さらには個数や面積、概形や他構造との接続関係などの正確なデータの収集も可能になる。現状では、AI が発展した
現在でも、多くの研究において、高度な専門知識を持った研究者が実際の電子顕微鏡画像を観察し、手動でセグメンテーションを行っていることが少なくない。
図 1.1 に、実際の生物電子顕微鏡画像に対する手動セグメンテーションの様子を2示す。
しかし、対象となる物体並びに構造体によっては、画像全体のサイズに対して対象が小さく視認しづらい、際立った特徴を持たず近隣の物体並びに構造体との境界の区別がつき難い、画像中の総数が多い等の理由により、習熟した研究者であってもそのセグメンテーション作業には多大な困難を伴う。こうした現状
から、電子顕微鏡画像上の種々の物体並びに構造体に対する機械的かつ正確なセグメンテーションを可能にする技術の確立が望まれており、後述するように
これまでにも多くの研究が行われている。
特に、生物超薄切片の透過型電子顕微鏡(TEM)画像においては、画像に写り込む種々の細胞小器官等の輪郭となる膜構造が必ずしも明瞭には現れないことが多い。例えば、試料を切削する際の切断面の方向が試料中の物体並びに構造体の輪郭面に対して直交していない場合や電子染色方法の特性などによっては、専門家の目をもってしても厳密に特定することが困難なほどにその厳密な輪郭や領域が不明瞭となってしまう事がある。また、物体によってはそもそも明確な膜構造を呈しておらず、異なる特徴を持ったテクスチャ同士の境界からその輪郭や領域を特定しなければならないという場合もある。図(1.2)に、生物電子顕微
鏡画像上に出現し得る不明瞭な物体輪郭線の実例を示す。図(1.2)の(a)は液胞と呼ばれる細胞小器官の一種の輪郭線の一部を抜粋したものである。黒い矢印で示した部分は他よりも明らかに不明慮になっており、厳密な輪郭線を特定する
ことが困難である。これは、前述した試料の切削断面の方向の問題によって引き起こされた現象であると考えられる。同図の(b)はミトコンドリアである。ミトコンドリアはこのようにやや歪んだ形の楕円状の領域として現れるが、酵母においては、黒い矢印で示した部分のように、液胞などの他の細胞小器官のような明確な輪郭線を持たないことが少なくない。この場合は、テクスチャの境界をミ
3

トコンドリアの輪郭線として扱わざるを得ない。
こうした不明瞭な輪郭や領域がしばしば出現する生物超薄切片の TEM 画像上の物体領域の自動的なセグメンテーションを可能とする技術の研究は多く行われているものの、安定した技術の確立には未だ至っていない。結果として、こちらもやはり多くの研究において、専門家が相当な時間と労力をかけ、観察対象物
体の輪郭や領域を特定し手動でセグメンテーション作業を行っているのが現状
である。

図 1.1

電子顕微鏡画像に対する手動セグメンテーションの一例

4

図 1.2

生物電子顕微鏡画像上の抽出の難しい物体輪郭線の例

1.2 電子顕微鏡画像に対する輪郭抽出法の従来手法

前節で述べた通り、画像上の各種物体並びに構造体の機械的かつ正確なセグ
メンテーションを目的とした輪郭抽出法は、電子顕微鏡画像解析の分野において、長きに亘り研究されてきたテーマの一つである。このテーマを達成する為に、これまでに数多くの試みが成されてきた。例えば、電子顕微鏡画像上の薄い膜状の構造物に対する手法として、Sandberg と Brega は独自に開発した線フィルタ(Line Filter Transform (LFT))と方向性フィルタ変換(Orientation Filter Transform(OFT))を用いた画像変換を行う手法を提案した[1]。この手法で用いられている
OFT は画像中の局所的な方向の相関の測定を行い、それによって得られる対象
物体の構造の幾何学的な情報を利用している。画像変換を行った後に画像強調、
閾値処理、モデルフィッティングといった各種処理を行い抽出した膜構造を分割することで目的の膜構造を抽出する手法を提案した。Bazán らはレベルセット法を改良した”Variational Level Set Method”を用いてミトコンドリアの輪郭となる内幕と外膜の抽出を行い、電子線トモグラフィのセグメンテーションに応用している[2]。ただし、この手法は事前の前処理が重要である。具体的には、バイ
5ラテラルフィルタ(Bilateral Filtering)と異方性の非線形拡散濃度変化を独自に捉える手法を駆使した処理を行い、その上で最終的な線の抽出には”Confidence
Connected Segmentation Algorithm”[3]を用いる必要がある。Martinez-Sanchez らは上述した異方性の局所構造像変化をテンソルを用いて捉える独自のアルゴリズ
ム”Tensor Voting Algorithm”を提案し、クライオ電子線トモグラフィにおいて局所
膜構造体のセグメンテーションを行った[4]。この手法は構造情報が一致するボ
クセル、つまり同じ膜に属するボクセルを強調することで目的の膜構造のセグ
メンテーションを行う。ただし、最終的なセグメンテーション処理には独自の閾値処理を用いる必要がある[5]。
また、画像上の膜構造を抽出するのではなく、エッジを抽出することにより目的の物体や構造体をセグメンテーションする手法も多く研究されてきた。例えば、動的輪郭法(Active Contour Method (Snake Method))はセグメンテーションの手法としては古くから知られている手法であり、電子顕微鏡画像以外にも光学
顕微鏡画像や医用画像など様々な分野の画像処理において広く利用されてきた手法である[6-8]。画像上の動的な物体輪郭の追跡手段として有用な手法ではあるが、その輪郭の分離や結合といった変化に対応する為にはパラメータの調整や目的となる輪郭へ誘導する為の濃度変化の補助機能を必要とするなど、厳密な輪郭線抽出を行うためには専門的な知見が要求される場合がしばしばある[78]。Candès らが提案したカーブレット変換(Curvelet Transform)はエッジの方向特徴を捉えるのに特に有効であり、かつ解像度に応じたエッジ強調にも利用できる便利な手法である。最近のものとしては、網膜血管画像のセグメンテーションなどに利用された例がある[9-11]。ただし、このような実用的なセグメンテーシ
ョンを行うためにはカーブレット変換のみではなくバイラテラルフィルタやその他のトップハット変換(Top Hat Transform)などと上手く組み合わせて利用する
6

必要がある。また、Pantelic らは先述したバイラテラルフィルタを S/N 比の低い
クライオ電子線トモグラフィに対して適用してセグメンテーションを行う手法を提案した[12]。この手法で用いられているフィルタは不要な周波数帯を減衰させることでノイズを抑制し、特定の特徴を選択的に抽出することによりエッジ検出能力を向上させるものである。Ali らはこの手法により高度なアルゴリズムと関連技術を組み込み、可能な限りの自動化と有用性の向上を行うことで、クライオ電子線トモグラフィのみならずその他の連続断層像（例えば、収束イオンビ
ーム連続切片走査電子顕微鏡像(FIB-SEM)[13]）におけるセグメンテーション手法として利用できるよう発展させた[14]。
さらに、近年になって急速に発展した人工知能(AI)を利用した手法も登場してきている。電子線トモグラフィや走査型電子顕微鏡(SEM)によるアレートモグラ
フィ、収束イオンビーム(FIB)連続断層法など、最近になって盛んにおこなわれているビッグデータ解析では AI を用いた手法が一般的となっている[15-19]。例
えば、Trainable Weka Segmentation (TWS)と呼ばれる機械学用のツールがオープ
ンソースのプラットフォーム上で一般公開されている[20]。TWS はユーザが独自に設計した画像特徴量や分類器を使用するようにカスタマイズすることが可
能な、利便性の高いツールである。しかしながら、こうした AI を利用した手法には、学習を行うためのデータの収集と訓練データセットの作成が必要になる。
AI の性能を十分に引き出せるだけの訓練データセットの作成には相応の時間と労力がかかる。上述してきたような既存のセグメンテーション手法を用いて訓練データとして利用できるようなセグメンテーション済みの画像と元画像とのセットを大量に用意できれば良いが、それが不可能であった場合は、専門家による手作業のセグメンテーション作業を行い、訓練データセットを時間をかけて少しずつ地道に拡充していく以外の方法がない。最近では、輪郭抽出に関して提7案されている様々な画像処理の手法を活用し、訓練データセットの作成を容易にする試み[19]もあり、こうした動向においては、できる限り人の手を排した正確な輪郭抽出手法が新たに開発されれば、それは十分な価値を有すると言える。
機械的で正確、かつ簡易的に利用できる輪郭抽出法の開発は、AI によるセグメ
ンテーション手法で用いる訓練データセットの拡充を支援するだけではなく、即席的な画像解析を行いたい人々への助けにもなるはずである。

1.3 新たに提案する手法

ここまで述べてきたように、煩雑な手作業による電子顕微鏡画像の輪郭抽出作業に代わる数多くの提案がされてきた。こうした研究に並ぶ新たな手法の 1 つとして、我々は、主に信号解析に利用されるウェーブレット(Wavelet)変換の 1 種であるガボールウェーブレット(Gabor Wavelet)を利用した電子顕微鏡画像上の物体輪郭の半自動抽出法を考案し、基礎研究を続けてきた[21]。
ガボールウェーブレットを直接用いて膜状構造やエッジの検出を行うような輪郭抽出手法に関しては、初期に数報[22-24]見られる程度で、我々の知る限りそれ以降の提案や報告は確認できていない。Ali はこれまでに述べた手法の多くを詳細にレビューしている[25]が、その総説の中にも記述が見当たらない。ガボー
ルフィルタバンク(Gabor Filter Bank)の特徴量群を用いたセグメンテーション手法に関しては、各分野で多くの報告がある[26-34]。しかし、これらはガボールウェーブレットを直接用いた輪郭抽出手法ではない。
ガボールウェーブレットを直接用いた輪郭抽出法が発展してこなかった理由
を初期の研究[22-24]の調査から調べたところ、その要因がガボールウェーブレットの定式にあることが分かった。ガボールウェーブレットは実部である cosine8

成分と虚部である sine 成分から成る複素関数である。ウェーブレット変換の理論では、この内、偶関数である cosine 波の直流成分はゼロでなければならない。
そうでなければ、ガボールウェーブレットを画像に適用する際に、例えばその対象画像が完全に一定濃度の何の輪郭特徴を持たない画像であっても、そのような特徴が誤って算出されてしまう可能性がある。ところが、実用上この直流成分をゼロにするためにはガボールウェーブレットの理論式に工夫を行う必要があることが分かった。これが要因となって、初期の研究[22-24]では、ガボールウェ
ーブレットは輪郭抽出には不適切であると評価された[22]のではないかと考えている。なお、理論式に基づく本来のガボールウェーブレットであってもある程
度広い領域で展開すれば直流成分をゼロにすることが可能ではあるが、後述する我々が提案する手法ではガボールウェーブレットを狭い領域内に封じ込める必要がある為、この手段を利用することができない。また、log-Gabor 関数[35-37]を用いれば直流成分をゼロにできることが知られているが、こちらも本手法では実用的ではない。なお、前述したガボールフィルタバンクを用いた研究においても、直流成分がゼロでない式が用いられている例が少なくない[27, 30, 32]。本
研究において我々は、この直流成分をゼロにすることができる実用的な定式を新たに考案した。この定式を用いることにより、ガボールウェーブレットを狭い領域内に展開する手法を用いても、実用的な輪郭抽出を行うことが可能である。
これについては、第 3 章にて詳しくのべる。
本来、ガボールウェーブレットは電子顕微鏡画像上の輪郭抽出においても強力な潜在力をもつと考えている。神経科学分野では、脳の視覚細胞受容体の仕組みを良く記述しているのが 2 次元ガボールウェーブレットである[38]ことが認知されており、この事実から我々は、ガボールウェーブレットが電子顕微鏡画像上に存在する種々の物体輪郭の検出手法として有用なのではないかと考えた。
9

また、ガボールウェーブレットは明瞭な線状構造のみならず異なる 2 つのテクスチャーから構成される境界を検知することも可能であり、このテクスチャー
境界検知能力が、電子顕微鏡画像の中でも特に生物超薄切片画像に多く出現する曖昧な膜構造体や細胞小器官の不明瞭な輪郭の抽出にも効果を発揮すると考えた。
本研究では、可能な限り人の手を排した機械的かつ簡易に行える電子顕微鏡
画像上の物体輪郭抽出法の新たな一手法として、ガボールウェーブレットを用いて画像上の観察対象物体の輪郭点の座標とその接線角度を特定することを繰
り返し、特定された輪郭点同士を線で繋ぐことにより物体輪郭線抽出を実現する手法を提案する。具体的には、初めに抽出を行いたい物体並びに構造体の輪郭
近辺の座標を指定し、その座標を基準点としてある角度方向に、ある一定の距離だけ移動した座標の周辺画像を抽出する。次に、その周辺画像に対して楕円状に変形させたガボールウェーブレットの畳み込み積分を行うことで、ガボール特徴量の計算を行う。この工程をある一定範囲内の距離内のあらゆる角度に対して繰り返し行うことで、基準点周辺の一定範囲内かつあらゆる角度方向のガボール特徴量の分布図（ガボール特徴量マップ）を生成し、このマップ内の最大値の座標から最も輪郭点としてふさわしい座標とその接線角度を求める。そして、求まった輪郭点から接線角度方向に一定距離移動した位置を新たな基準点として、上述した工程で次の輪郭点とその接線角度を求める。これを繰り返すことにより、対象の輪郭線を機械的に抽出・追跡を行う。
本手法では、画像上の物体輪郭線を抽出するにあたっては、抽出した元画像と畳み込み積分を行うガボールウェーブレットのパラメータ設定をどのように行うかが極めて重要な問題になる。画像上に存在している各輪郭の性質に合わせた適切なパラメータのガボールウェーブレットを用いなければ正確な輪郭線抽10出を行うことはできず、見当違いの場所を輪郭線と見なして抽出してしまった
り、途中まで正確に追跡できていても突然逸れて（いわゆる脱線）しまったり、あるいは抽出された線の概形自体は正しいのに位置がずれてしまう等々、様々なエラーが起こる。しかし、1.1 節で述べたような切削断面と物体輪郭面の関係
や電子染色方法などの要因により、同一種類の物体並びに構造体であっても個体によって輪郭線の画像上での現れ方が異なる場合がある。さらに、ある一つの物体並びに構造体の輪郭であってもその性質は常に同一であるとは限らず、場
所によって非常に鮮明な線状構造として現れることもあれば、専門家でも厳密に判定することが難しいような非常に曖昧な境界として現れることもある。この為、場所ごとにその場の輪郭の性質に合ったパラメータ設定を行う必要があるが、輪郭の性質とその抽出に適しているパラメータとの間の関係性は極めて複雑であり、抽出を行いたい対象となる輪郭を目視しただけで適切なパラメー
タを特定することは困難である。総当たりで探索を行えばいずれは適切なパラメータを見つけることが可能ではあるものの、膨大なパラメータの組み合わせの中から人手で適切な結果を探し出すとなると、相当な時間と労力がかかってしまい、我々が目指す”可能な限り人の手を排す”という目的を果たす手法には成り得ない。
そこで、我々は基準点上での最初の探索時、或いは輪郭線追跡が逸れたと判断された時に、その地点で最も適切なパラメータ設定の機械的な再探索を行う手法を考案した。具体的には、逸れたと判断された地点を基準点として、実効的に可能なあらゆるパラメータの組み合わせによるガボールウェーブレットを用いて輪郭点探索を計算上で行い、それらの組み合わせごとに算出される輪郭点の座標とその接線角度からどの組み合わせによる追跡が最も妥当であるかを評価し、最良の組み合わせを設定する。逸脱の判断を含め、追跡の妥当性は、直前の11

輪郭点の接線角度並びにそれから予測される次の輪郭点の座標と、実際に計算された輪郭点の座標並びにその接線角度との差分から計算される評価値が閾値を超えるか否かによって行う。これは、本研究にて主にターゲットとしている生物超薄切片の TEM 画像上に出現する物体並びに構造体の輪郭線の殆どが単純な
直線か緩やかな曲線、或いはその複合形であり、適切な追跡が行えている限り、追跡中に突然大きな位置の変化や角度変化が起こることは考えにくい為である。
この手法を用いることにより、人は抽出に利用するガボールウェーブレットのパラメータ設定のことを一切考慮する必要はなく、端的に言えば、画像上の目的の物体輪郭線付近の座標を指定するだけで、その輪郭線の高精度な抽出を行う
ことが可能になる。
また、我々は本手法による画像内の物体輪郭抽出を補佐し、より簡易に高精度な輪郭抽出が行える GUI ツールを開発した。本ツールは輪郭抽出の対象となる
画像を読み込み、任意の場所をマウスでクリックすることによりその座標を基準点として、本手法による輪郭線抽出を行いその結果を対象画像に描き込む。本
ツールを用いることにより、直感的な操作で簡易に画像上の輪郭抽出を行うことができる。さらに、探索を行いたい輪郭付近の座標群の情報があれば、それらの情報と設定を記述したデータファイル（CSV 形式など）を読み込ませること
で、一度に複数の輪郭線の抽出を行わせることも可能である。この機能を用いることで、画像内に抽出を行いたい輪郭が複数存在している場合であっても、ごく
簡易に全ての輪郭抽出を行うことができる。また、本手法を用いた輪郭抽出は十分な精度を誇るが、それでも、対象となる輪郭の性質によっては閾値などの設定
をいかに工夫しても一度で完全に抽出することは困難な場合があり、ほぼ完璧な抽出が行えている中である一部分のみがどうしても逸脱している、といった結果が得られることもある。その場合は、本ツールを用いて描画された輪郭線の12

内で逸脱している一部のみを消去し、その場所のみ設定を変えて改めて抽出を行わせる、或いはその部分のみ人為的に修正することで物体輪郭線の完全な抽出を実現する。このように、本手法は完全自動とは言えないが、人が手を加えなければならない工程を大幅に削減することはできる為、我々の目指す”可能な限り人の手を排す”という目的は十分達成されたものと考えている。
本研究では、まず初めに、実際に本手法を用いて画像上の輪郭の機械的な抽出と追跡をどれ程の精度で行うことができるのかを確認する為、線状輪郭線、ステップエッジ、また、異なるテクスチャ間の境界線を模した簡易なモデル画像を何種類か作成し、それらを用いたシミュレーションを行った。その結果、明確な線状輪郭線だけではなく複雑なテクスチャ同士の境界線であっても高い精度で抽出と追跡を行えることを確認した。さらに、モデル画像に対してぼかし処理や雑音像の合成を行い輪郭線の視認性を下げても、適切なパラメータの選択さえ行うことができれば、高い精度での抽出と追跡が行えることを確認した。その上で、本研究の主なターゲットである生物超薄切片の TEM 画像上の細胞小器官群に対して本手法による物体輪郭の抽出と追跡を行った。その結果、明瞭な線状輪郭線
や明確に異なる特徴を持つテクスチャ同士の境界輪郭線は簡易かつかなり高い
精度での抽出を行えることが実証できた。特に、差異の少ないテクスチャ同士の不明瞭な境界輪郭線についても、少しの人為的補助を行うものの高い精度での抽出を行うことが実証できたことは特筆できる。

1.4 本論文の構成

本論文は、第 1 章から第 6 章までの全 6 章で構成されている。
第 1 章では、初めに生物超薄切片電子顕微鏡画像上の物体観察において問題13

点となっている物体輪郭の不明瞭さと、それに起因するセグメンテーション作
業の煩雑さについて述べ、それを解消する為に行われてきたセグメンテーショ
ン及び輪郭抽出技術の先行研究について述べた。次に、本論文で提案するガボー
ルウェーブレットを用いた生物超薄切片電子顕微鏡画像上の物体輪郭の抽出法を提案し、その概要を述べた。続いて、本手法による物体輪郭抽出作業を支援す
る GUI ツールの概要を述べた。最後に、本研究の目的とそれを確かめるために行ったシミュレーションと実験、さらにそれらの結果の概要を述べた。
第 2 章では、本研究の主要な要素技術であるガボールウェーブレットの理論
並びにガボールウェーブレットの持つ特性について述べる。まず初めに、基本理論であるウェーブレット解析について概説し、次にそのウェーブレット解析の一種である 1 次元ガボールウェーブレット、さらにそれを拡張することにより生成される 2 次元ガボールウェーブレットについて述べる。さらには、ガボー
ルウェーブレットを画像に適用することで得られるガボール特徴量の特性についても詳細に述べる。
第 3 章では、本研究にて提案するガボールウェーブレットを用いた輪郭抽出
法のアルゴリズムについて詳細に述べる。初めに、実用上直流成分を完全にゼロにするために、ガボールウェーブレットの理論式に対して行った改良について述べる。次に、ガボールウェーブレットの特性を利用し、画像上の物体輪郭上の輪郭点を特定し、続く輪郭点を推定して物体輪郭の自動的な追跡を行う手法の詳細なアルゴリズムの説明をする。さらに、最初の輪郭点の探索を行う場合や追跡途中で目的の輪郭を逸脱してしまった場合に、最適なパラメータを自動的に探索し設定しなおして再度探索を行わせる、パラメータ自動再探索処理についても述べる。最後に、本手法において必要となる人為的な補正作業を支援する為に、今回新たに開発を行った GUI ツールの詳細を述べる。
14

第 4 章では、実際の画像上の輪郭抽出に対する本手法の性能を、リッジライ
ン、ステップエッジ、パターン境界の三種類の理想的なモデル輪郭画像及びそれらに対して雑音を付加した雑音入りモデル輪郭画像を用いたシミュレーション
を通じて検証する。さらに、モデル輪郭画像に対して抽出された輪郭線の誤差を精査し、本手法による輪郭抽出の精度の定量的な評価を行う。
第 5 章では、最初に実際に透過型電子顕微鏡を用いて撮影された生物超薄切
片電子顕微鏡画像上の細胞小器官の内、シミュレーションにおける三種のモデ
ル輪郭に対応する一部の輪郭の抽出実験を行うことで本手法による実際の画像上での輪郭抽出と追跡の特性や性能を確認する。その上で細胞膜、核、液胞等の基本的な細胞小器官、並びに複雑な形態を示す液胞膜等の輪郭の抽出実験を行い、本手法によって実際に輪郭を抽出できることを実証する。また、その抽出結果から本手法による自動輪郭追跡のロバスト性の評価も行う。
第 6 章では、第 4 章のシミュレーション並びに第 5 章の実験結果の考察を行
いつつ、それらを踏まえて本論文の結論を述べる。また、本手法に存在する課題
点や今後の展望についても述べる。

15

第2章 ウェーブレット変換とガボールウェーブレット

2.1 ウェーブレット変換

本章では、本手法において主要な要素技術となるガボールウェーブレットについて、その理論の基礎となるウェーブレット変換について概説する。。
ウェーブレット変換は、信号解析に用いられる手法の内の一つである。同様に
信号解析に用いられる一般的な手法としては時間軸上で無限に続く関数である
正弦波と余弦波を利用するフーリエ級数展開が存在するが、それに対し、ウェー
ブレット変換は理論上無限遠で 0 に収束する関数を利用するという点で異なる。
つまり、ウェーブレット変換とは、時間軸上で局所的にのみ値を持つ関数を基底として用いて、任意の信号を表現する手法である。
ここで、基底とする関数としては、アナライジングウェーブレットと呼ばれる平均値が 0 で、かつ原点𝑡 = 0の周辺に局在するような関数𝜓(𝑡)を用いる。この基底関数𝜓(𝑡)と信号𝑓(𝑡)との内積計算がウェーブレット変換である。ウェーブレット変換の基本式を式(2.1)に示す。
(𝑊𝜓 𝑓)(𝑎, 𝑏) =̅̅̅̅̅̅̅̅̅̅̅̅
𝑡−𝑏∫ 𝑓(𝑡)𝜓 (
) 𝑑𝑡
𝑎
√𝑎 ℝ
1

(2.1)

̅̅̅̅̅̅は𝜓(∙)の複素共役を示す。
ここで、𝑎 > 0は拡大縮小、𝑏は平行移動、𝜓(∙)
なお、アナライジングウェーブレットは逆変換が存在する為に、式(2.2)の条件を満たすことが知られている[39]。
220|𝜓̂(𝜔)||𝜓̂(𝜔)|1∫𝑑𝜔 = ∫𝑑𝜔 = 𝐶𝜓 < ∞
|𝜔|
𝜔
2
0
−∞
∞

(2.2)

ここで、𝜓̂(𝜔)は𝜓(𝑡)のフーリエ変換である。また、𝐶𝜓 は式(2.3)のように定義する[39]。
162|𝜓̂(𝜔)|𝐶𝜓 = ∫
𝑑𝜔
|𝜔|
−∞
∞

(2.3)

このとき、式(2.2)最右項の不等式𝐶𝜓 < ∞が成立する為には𝜓̂(0) = 0でなければならない。この為には𝜓(𝑡)の直流成分が 0 である必要があり、このことは即ち、𝜓(𝑡)の平均値が 0 でなければならないことを意味する。これらの条件を満たすとき逆変換が成立し、基底関数𝜓(𝑡)によって信号𝑓(𝑡)を表現することができる。
フーリエ級数展開もウェーブレット変換も、行っていることの本質は解析対象となる信号と解析のために用意した関数との間の類似度の計算である。この解析のための関数として、フーリエ級数展開が時間軸上に無限に続く正弦波と余弦波とを合成したe−𝑖𝜔𝑡 を用いているのに対して、ウェーブレット変換では時間軸上に局在する関数𝜓(𝑡)を用いている。この為、解析対象となる信号𝑓(𝑡)が時間軸上に局在しているのであれば、フーリエ級数展開よりもウェーブレット変換を用いた方が、より適切に対象の信号を解析できる可能性が高い。
本研究において抽出の対象としている生物電子顕微鏡画像上の物体輪郭も、画像を信号と捉えればその内部に存在する局所的なパターン信号であると見做すことができる。故に我々は、ウェーブレット変換を用いることで画像上の物体
輪郭の高精度な抽出が行えるのではないかと考えた。

2.2 1 次元ガボールウェーブレット変換

前節にて述べたウェーブレット変換において、正弦波並びに余弦波と釣り鐘型の関数であるガウス関数とを合成した複素関数であるガボール関数を一部変形させた上でアナライジングウェーブレットとして採用したものをガボールウェーブレットと呼び、これを用いたウェーブレット変換をガボールウェーブレット変換と呼ぶ。
17

式(2.4)は、ウェーブレットとして用いる為にガボール関数をシフト及び拡大縮小を行っても関数の形が相似となるように定義したものである[39]。ただし、式(2.4)中の𝑔𝜎 (𝑡)は積分値が 1 に規格化されたガウス関数であり、続く式(2.5)で表される。
𝜓(𝑡) = 𝑔𝜎 (𝑡)e𝑖𝜔0 𝑡

(2.4)

𝑡2
4𝜎2

(2.5)

𝑔𝜎 (𝑡) =

1
2√𝜋𝜎

e

−

式(2.4), (2.5)において、σはガウス窓の幅を決める標準偏差、𝜔0 は中心周波数𝑡−𝑏を表す。また、𝑡 = 𝑎 とする。
アナライジングウェーブレットは、その逆変換が存在する為に式(2.2)の条件を満たす。これは突き詰めれば、関数𝜓(𝑡)の直流成分が 0 でなければならないことと同義であることは前節で述べた通りである。これを実現するには、関数𝜓(𝑡)を式(2.6)のように再定義する[39]。
2𝜓(𝑡) = 𝑔𝜎 (𝑡)[e𝑖𝜔0 𝑡 − e−(𝜎𝜔0 ) ](2.6)

関数𝜓(𝑡)の直流成分が 0 であるためには、関数𝜓(𝑡)のフーリエ変換𝜓̂(𝜔)が
𝜓̂(0) = 0を満たせばよい。式(2.6)のフーリエ変換𝜓̂(𝜔)を式(2.7)に示す[39]。
∞2𝜓̂(𝜔) = ∫ 𝑔𝜎 (𝑡)[e𝑖𝜔0 𝑡 − e−(𝜎𝜔0 ) ]e−𝑖𝜔𝑡 𝑑𝑡

−∞
2

2

2

2

2

= √𝜎(e−𝜎 (𝜔−𝜔0) − e−𝜎 (𝜔 +𝜔0 ) )(2.7)

式(2.7)において、𝜔 = 0とすることで𝜓̂(0) = 0が成立する。このことはつまり、関数𝜓(𝑡)の直流成分がσ及び𝜔0 の値に関わらず 0 であることを示す。
よって、式(2.6)で表される関数𝜓(𝑡)をアナライジングウェーブレットとして利用することができる。この関数𝜓(𝑡)を基底関数として用いたウェーブレット変換こそが、ガボールウェーブレット変換である。
実例として、ガボールウェーブレット関数の実部𝑅𝑒(𝜓(𝑡))と虚部𝐼𝑚(𝜓(𝑡))を
18時間軸上のグラフとして描画したものをそれぞれ図 2.1, 図 2.2 に示す。パラメ
𝜋ータはどちらも共通して𝜎 = 5, 𝜔0 = 4 に設定し、平行移動及び拡大縮小は行っていない。
図 2.1, 図 2.2 を見ると分かるように、ガボールウェーブレットは正弦波及び余弦波の一定周期で振動を続ける性質と、ガウス関数の中心から離れるほど減衰していく性質の両方を併せ持つ関数である。したがって、時間軸上に局在する
周期的な信号を解析する場合に特に有効に働く。

0.15

0.1

0.05

0

-0.05

-0.1

-0.15
-30 -27 -24 -21 -18 -15 -12 -9

-6

-3

0

3

6

9

12

15

18

t

図 2.1

1 次元ガボールウェーブレットの実部𝑅𝑒(𝜓(𝑡))

19

21

24

27

30

0.15

0.1

0.05

0

-0.05

-0.1

-0.15
-30 -27 -24 -21 -18 -15 -12 -9

-6

-3

0

3

6

9

12

15

18

21

24

27

30

t

図 2.2

1 次元ガボールウェーブレットの虚部𝐼𝑚(𝜓(𝑡))2.3 2 次元ガボールウェーブレット

前節で述べた 1 次元ガボールウェーブレットは、そのままでは、2 次元画像の解析に用いることはできない。そこで、1 次元ガボールウェーブレットの 2 次元への拡張を行う。
具体的には、2 次元空間上である 1 方向にのみ振動する複素振動に対して 2 次
元ガウス窓を合成し、さらに原点を中心として𝜃だけ回転させることにより 2 次
元ガボールウェーブレットを生成する。ここでは説明の為、𝑥方向にのみ振動する複素振動e𝑖𝑢0 𝑥 を用いる。式(2.8)に、2 次元の複素振動とガウス窓を合成し、さらに直流成分を 0 にするための補正項を付け加えた関数𝜓(𝑥, 𝑦)の式を表す[39]。
ただし、式(2.8)中の𝑔𝜎 (𝑥, 𝑦)は式(2.9)で表される 2 次元ガウス窓である。
2

𝜓(𝑥, 𝑦) = 𝑔𝜎 (𝑥, 𝑦)[e𝑖𝜔𝑜 𝑥 − e−(𝜔0 𝜎) ]
20

(2.8)

𝑔𝜎 (𝑥, 𝑦) =1
1
(𝑥 2 +𝑦 2 )
e4𝜎2
4𝜋𝜎

(2.9)

式(2.8), 式(2.9)において、σは 2 次元ガウス窓の減衰係数(標準偏差)、𝜔0 は複素振動の周波数、𝑥, 𝑦は座標を表す。
式(2.8)で示される関数𝜓(𝑥, 𝑦)が、2 次元ガボールウェーブレットの原型となる
アナライジングウェーブレットとなる。さらに、このアナライジングウェーブレ
ットを、原点を中心に𝜃だけ回転させる。その為に、関数𝜓(𝑥, 𝑦)をさらに式(2.10)に表す関数𝜓𝜃 (𝑥, 𝑦)として再定義する[39]。ただし、式(2.10)中の𝑥̇ , 𝑦̇ は続く式
(2.11)に表されている通り、座標𝑥, 𝑦を𝜃だけ回転させた後の座標である。
2𝜓𝜃 (𝑥, 𝑦) = 𝜓(𝑥̇ , 𝑦̇ ) = 𝑔𝜎 (𝑥̇ , 𝑦̇ )[e𝑖𝜔0 𝑥̇ − e−(𝜔0 𝜎) ]
𝑥̇
cos 𝜃
[ ]=[
𝑦̇
− sin 𝜃sin 𝜃 𝑥][ ]cos 𝜃 𝑦(2.10)(2.11)

この式(2.10), 式(2.11)こそが、
2 次元ガボールウェーブレットの基本式となる。
実 例 と し て 、 2 次 元 ガ ボ ー ル ウ ェ ー ブ レ ッ ト の 実 部 𝑅𝑒(𝜓𝜃 (𝑥, 𝑦)) と 虚 部𝐼𝑚(𝜓𝜃 (𝑥, 𝑦))を 2 次元等高線グラフとして描画したものを図 2.3, 図 2.4 に示す。
𝜋

パラメータはどちらも共通してσ = 10, 𝜔0 = 5 , 𝜃 = 45°と設定し、平行移動及び拡大縮小は行っていない。
1 次元ガボールウェーブレットは時間軸上の局所的な信号を検出することができるが、2 次元ガボールウェーブレットは画像の局所領域上に存在する、事前に定めたパラメータに対応する特定の角度𝜃、特定の周波数𝜔0 の波形を検出できることが知られている。したがって、2 次元ガボールウェーブレットのパラメー
タを様々に変更し、それによって生成される様々な形の 2 次元ガボールウェー
ブレットを画像に対して適用することにより、その画像中の何処に、どのような角度で、どのような周波数の波形が含まれているのかを詳細に解析することができる。
21

また、この性質を利用することで、画像中の特定の角度𝜃、周波数𝜔0 の波形のみに絞った検出や強調を行うことも可能である。我々はこの性質に着目し、本研究において生物電子顕微鏡画像上の特定の物体輪郭のみを狙って抽出する為に利用できるのではないかと考え、この 2 次元ガボールウェーブレットを採用し
た。

0.008
0.006
0.004

84
63
42
21

0.002

0
-21
-42
-63
-84

0
-0.002

-84

-63

-42

-21

0

21

-0.00442

63

84-0.006-0.008

図 2.3

2 次元ガボールウェーブレットの実部𝑅𝑒(𝜓𝜃 (𝑥, 𝑦))22

0.008
0.006
0.004

84
63
42
21

0.002

0
-21
-42
-63
-84

0
-0.002

-84

-63

-42

-21

0

21

-0.00442

63

84-0.006-0.008

図 2.4

2 次元ガボールウェーブレットの虚部𝐼𝑚(𝜓𝜃 (𝑥, 𝑦))

2.4 ガボール特徴量式(2.10)で表される 2 次元ガボールウェーブレット𝜓𝜃 (𝑥, 𝑦)を入力画像𝑓(𝑥, 𝑦)に対して畳み込み積分を行うことにより、入力画像𝑓(𝑥, 𝑦)のガボール特徴量を算出することができる。ガボール特徴量の式を式(2.12)に示す。
𝐺(𝑋, 𝑌, 𝜃) = ∬ 𝑓(𝑋 − 𝑥, 𝑌 − 𝑦)𝜓𝜃 (𝑥, 𝑦) 𝑑𝑥𝑑𝑦

(2.12)

式(2.12)において、(𝑋, 𝑌)は入力画像𝑓上の座標、(𝑥, 𝑦)は入力画像𝑓上の注目画
素(𝑋, 𝑌)を中心とした相対座標、𝜃は 2 次元ガボールウェーブレットの回転角度を示す。
前節にて述べた通り、2 次元ガボールウェーブレットには予め定めたパラメー
タによって定まる特性に対応する特定の角度𝜃、特定の周波数𝜔0 の波形に特に強く反応する性質がある。ガボール特徴量も同様の性質を持っており、入力画像
𝑓(𝑥, 𝑦)上の座標(𝑋, 𝑌)を中心とした 2 次元ガボールウェーブレットの特性に対応
23

する特定の角度𝜃、特定の周波数𝜔0 の波形に対して高い値をとる。この性質から、
ガボール特徴量は入力画像𝑓(𝑥, 𝑦)上の各座標上に様々な角度、様々な周波数の波
形がそれぞれどのくらい含まれているのかを定量的に評価する値と見做すことができる。このことはつまり、ガボール特徴量は入力画像𝑓(𝑥, 𝑦)上の輪郭（エッジ）や、輪郭の集合体としての模様（テクスチャ）の性質を表現する特徴量として利用できることを意味する。
ただし、2 次元ガボールウェーブレット𝜓𝜃 (𝑥, 𝑦)は複素関数である為、これを入力画像𝑓(𝑥, 𝑦)に畳み込み積分して得られるガボール特徴量𝐺(𝑋, 𝑌, 𝜃)もまた複素数値である。このままでは画像の性質を表現するデータとして扱うことが難しい為、本研究においては複素数値の絶対値|𝑧| = √𝑎2 + 𝑏 2 を実質的なガボール
特徴量として扱う（ここで、𝑎, 𝑏はそれぞれ複素数の実部と虚部を表す）。
図 2.5, 図 2.6 はガボール特徴量の性質、特に角度𝜃と周波数𝜔0 の違いによる分布の変化を、実例を用いて説明した図である。どちらの図も実際の生物電子顕微鏡画像を入力画像として、一部パラメータのみが異なる 2 次元ガボールウェ
ーブレットを二種用意してそれぞれ入力画像との畳み込み積分を行い、各座標で得られたガボール特徴量を[0, 255]（通常の 8bit 画像濃度）の範囲へ正規化を行った上で画像として出力している。図 2.5 では角度𝜃、図 2.6 では周波数𝜔0 を変化させ、それに伴うガボール特徴量の分布の変化を比較している。

24

図 2.5

角度𝜃によるガボール特徴量の分布の変化。(a)入力画像（細胞壁）𝜋3(b)𝜃 = 4 の畳み込み結果 (c) 𝜃 = 4 𝜋の畳み込み結果

図 2.6

周波数𝜔0 によるガボール特徴量の分布の変化。(a)入力画像（核）
𝜋

𝜋

2

6

(b)𝜔0 = の畳み込み結果 (c) 𝜔0 = の畳み込み結果

図 2.5, 図 2.6 はどちらも、2 次元ガボールウェーブレット並びにガボール特徴
量の性質を良く表している。例えば、図 2.5 の入力画像(a)は、生物電子顕微鏡画
像上の”細胞壁”と呼ばれる細胞小器官の一部を抜粋した画像である。細胞壁は細胞小器官の中では比較的明瞭な物体輪郭線を持っており、この画像上でも右肩上がりの明瞭な円弧状の輪郭線が存在している。この画像に対して角度𝜃 =𝜋

3及び𝜃 = 4 𝜋の 2 次元ガボールウェーブレットをそれぞれ畳み込み積分して得ら
425

れたガボール特徴量の分布画像が(b), (c)である。(b)では細胞壁の輪郭線の角度
𝜋と畳み込み積分を行った 2 次元ガボールウェーブレットの角度𝜃 = 4 = 45°が近しい為に、細胞壁の輪郭線をはっきりと視認することができる。その一方で、(c)3では畳み込み積分を行った 2 次元ガボールウェーブレットの角度𝜃 = 4 𝜋 = 135°が細胞壁の輪郭線の角度とほぼ直交している為に、細胞壁の輪郭線を全く視認することができない。その代わりに、(b)では視認できなかった画像右下周辺領
域の黒い粒子（リボゾーム）が形成している右肩下がりの輪郭線が(c)では明瞭に視認できる。これらの事象から、2 次元ガボールウェーブレット並びにそれを用いて得られるガボール特徴量が、特定の角度𝜃の波形に強く反応する性質があることがよく分かる。
続く図 2.6 の入力画像(a)は、生物電子顕微鏡画像上の”核”と呼ばれる細胞小器官の全体を写した画像である。核は特徴的な二重の膜構造を有するほぼ球状の器官であり、故に切片画像上ではほぼ円形の物体として現れる。また、核の内部には”核小体”と呼ばれる、やや暗めの模様がしばしば現れることがあり、この画像上でも核内の左上の領域にやや暗めの核小体の領域が存在している。こ
𝜋

𝜋

2

6

の画像に対して周波数𝜔0 = 及び𝜔0 = の 2 次元ガボールウェーブレットをそれぞれ畳み込み積分して得られたガボール特徴量の分布画像が(b), (c)である。(b)𝜋では𝜔0 = 2 という高めの周波数に対応するかなり細かい輪郭並びに模様が抽出されており、それに対応するガボール特徴量の分布が細かすぎて、分布図上ではかえって核小体や核そのものの輪郭が判別しづらくなってしまっている。一方、
𝜋(c)では𝜔0 = 6 という低めの周波数に対応する輪郭並びに模様が抽出されている。
(b)と比較してみると、こちらは明らかにガボール特徴量の分布密度が粗くなっ26

ており、より大局的に輪郭並びに模様の抽出を行っていることが分かる。その結果として、(b)よりも画像上部に存在する二重膜構造や核内部左上に存在する核小体の輪郭が判別しやすくなっている。これらの事象から、2 次元ガボールウェ
ーブレット並びにそれを用いて抽出されるガボール特徴量が、特定の周波数𝜔0の波形に反応する性質があることがよく分かる。
ここまで述べてきた通り、2 次元ガボールウェーブレットを用いることで、そのパラメータ設定に対応した特性を持つ画像上の輪郭線、並びにそれによって構成される模様をガボール特徴量の分布図として抽出することができる。また、
1.1 節にて述べた通り、生物超薄切片の TEM 画像では様々な要因により画像上の物体輪郭線が不鮮明に写ってしまうことがあるが、適切なパラメータのガボ
ールウェーブレットを用いることで、そうした不明瞭な物体輪郭線も正確に抽出することができる。このことは、裏を返せば抽出したい物体輪郭線の性質に応じて、ガボールウェーブレットのパラメータを適切に設定しなければならない
ことを意味する。しかし、現状では生物超薄切片の TEM 画像上に現れる様々な細胞小器官の物体輪郭線について、それぞれに対応する適切なガボールウェー
ブレットのパラメータ設定を理論的に推定することができるような手法は確立されていない。
そこで、我々は本研究において、様々なパラメータの 2 次元ガボールウェー
ブレットを生成し、それらを用いて実際に輪郭線抽出を行わせ、その精度を評価することによって総当たり的に物体輪郭線の局所ごとの適切なパラメータ設定を推定する手法を新たに考案した。この手法については、後述する 3.3 節にてより詳細に述べる。

27

第3章 ガボールウェーブレットを用いた輪郭抽出・追跡手
法

3.1 直流成分ゼロのガボールウェーブレット

2.4 節にて述べたように、2 次元ガボールウェーブレットを画像に対して畳み込むことで得られるガボール特徴量は、画像中のある局所的な領域内に、特定の角度𝜃、特定の周波数𝜔0 の波形がどの程度含まれているのかを表現する特徴量と捉えることができる。本手法ではこのガボール特徴量の性質を利用することで、画像上に存在する輪郭線の抽出を行う。
具体的には、第 2 章にて述べたウェーブレット変換の理論に基づく式(2.8), 式(2.9)を基本とし、これに若干の改変を加えて利用する。
2

𝜓(x, y, σ, 𝜔0 ) = 𝑔𝜎 (𝑥, 𝑦)[e𝑖𝜔0 𝑥 − e−(𝜔0 𝜎) ]𝑔𝜎 (𝑥, 𝑦) =(3.1)

1 −12 [𝑥 2 +(𝑦2)2 ]
e4𝜎
4𝜋𝜎

(3.2)

式(3.1), 式(3.2)において、𝑥, 𝑦は 2 次元空間上の座標、σは減衰係数（標準偏差）、
𝜔0 は角周波数、𝑔𝜎 (𝑥, 𝑦)は楕円率1⁄2の楕円ガウス窓関数である。角周波数𝜔0 は
周波数𝑓0 を用いて𝜔0 = 2𝜋𝑓0 と定義される。本研究においては便宜上 1024 画素を
1 周期𝑇0 = 1として周波数𝑓0 = 1に対応する周期と定め、𝑓0 = 1⁄𝑇 から与えられ0るとした。また、本手法においては、式(3.1), 式(3.2)が示す 2 次元ガボールウェ
ーブレットの𝑦軸が輪郭線に対して平行で、波が𝑦軸を横切るように進むと仮定している。
本手法では、2 次元ガボールウェーブレットを楕円率1⁄2の楕円窓ガウス関数
28

𝑔𝜎 (𝑥, 𝑦)を用いて縦横比 2:1 の限定された矩形領域内に封じ込めて利用する。このような手法を採用したのは、本研究における抽出の対象である物体輪郭線が一定の長さを持った直線・曲線であり、それ故に真円状よりも楕円状のガボール
ウェーブレットの方がより強く物体輪郭線に反応するのではないかと予測した
ことと、無駄な演算を省き、効率よく輪郭抽出を行う為に、効果的に輪郭付近のみにガボールウェーブレットを狭く集中して封じ込める必要があったことが理由である。本研究において、この矩形領域のことを”窓領域”と呼ぶ。また、窓領域の短辺の長さ（画素数）を”窓サイズ”と呼び、この値を WS と規定する。
また、ガボールウェーブレットを効果的にこの窓領域の中に封じ込めるにあたっては、式(3.1), 式(3.2)の減衰係数σを適切な値に調節する必要がある。減衰係数σを小さな値に設定すれば封じ込めが進むが、小さくしすぎると肝要なガボー
ルウェーブレットの波形成分が削減されてしまいかねない。そこで、本研究では、
減衰係数σの値は一定値ではなく、窓領域の𝑥軸及び𝑦軸上の端で、式(3.2)で表される楕円ガウス窓関数𝑔𝜎 (𝑥, 𝑦)の値が、その中心となる最大値の値の 1%未満に減衰する値となるようにプログラムによって自動的に可変するようにした。減衰係数σの実質的な値を定めるこの減衰率のことを、本研究においては”減衰条件”と呼ぶ。
窓領域の端において楕円窓ガウス関数𝑔𝜎 (𝑥, 𝑦)の値はゼロとはならない為、前2述した式(3.1)の補正項e−(𝜔0𝜎) を用いたとしても 2 次元ガボールウェーブレット
2の直流成分をゼロにすることができない。補正項e−(𝜔0 𝜎) は実部(cosine 成分)に対して影響を与える項であり、楕円ガウス窓関数を別にすれば窓領域内では一定の値である。そこで、式(3.1)を新たな補正項𝐶を用いて改変した新しい 2 次元
ガボールウェーブレット𝜓𝑊𝑆 (𝑥, 𝑦, 𝜎, 𝜔0 )を次のように定義する。

29

𝜓𝑊𝑆 (𝑥, 𝑦, 𝜎, 𝜔0 ) = {𝑔𝜎 (𝑥, 𝑦)[e𝑖𝜔0 𝑥 − 𝐶]

WS で規定される窓領域内
窓領域外

0

(3.3)

ここで、直流成分に関わるのは実部(cosine 成分)のみであることに注目し、直流成分ゼロ条件となる式を cosine 成分に関して展開すると以下の通りとなる。
∑ ∑ 𝑔𝜎 (𝑥, 𝑦)[cos(𝜔0 𝑥) − 𝐶] = 0
𝑥

(3.4)

𝑦

ただし、式(3.4)における総和演算∑𝑥 ∑𝑦 は窓領域内のみでの演算となる。この条件式から、新たな補正項𝐶の値は次のように求まる。
𝐶=∑𝑥 ∑𝑦 𝑔𝜎 (𝑥, 𝑦) cos(𝜔0 𝑥)∑𝑥 ∑𝑦 𝑔𝜎 (𝑥, 𝑦)(3.5)

式 (3.2), 式 (3.3), 式 (3.5) で 示 さ れ る 2 次 元 ガ ボ ー ル ウ ェ ー ブ レ ッ ト𝜓𝑊𝑆 (𝑥, 𝑦, 𝜎, 𝜔0 )を用いることで、ディジタル画像処理においても直流成分がゼロとなり、画像に対して畳み込み積分を行っても一定濃度の画像に対してはその積分値がゼロとなり、正しいガボール特徴量の算出が行われる。1.3 節にて述べたようなガボールウェーブレットを用いて直接輪郭抽出を行う従来の研究では、
このような直流成分をゼロにする補正が行われていなかった為、誤った特徴量を算出していたと考えられる。詳細は後述するが、この場合は、図 3.6 や図 4.8、
図 5.12 に示されているように、抽出と追跡を行いたい輪郭とは無関係の多くの場所で高いガボール特徴量が算出されてしまい、本手法を用いた輪郭の抽出と追跡が困難になってしまう。
図 3.1 に、減衰条件を 1%として各減衰係数σを決定した、様々な周波数𝑓0 とWS の値に対応する、本手法における 2 次元ガボールウェーブレットの代表例を示す。基本的に実部(cosine 成分)のみを示しているが、最も典型的と思われる周
波数𝑓0 = 30の列に関しては参考として虚部(sine 成分)も示した。
続く図 3.2 は、本手法による 2 次元ガボールウェーブレットの各成分、並びに30

楕円窓ガウス関数𝑔𝜎 (𝑥, 𝑦)の関係を示した図である。比較の為、減衰条件 1%と0.1%のものを同時に掲載している。また、この図におけるガボールウェーブレッ
トの各成分は最大値で正規化を行っている。(a)は周波数𝑓0 = 30, WS = 70と設定
した、最も典型的なガボールウェーブレット及び楕円窓ガウス関数𝑔𝜎 (𝑥, 𝑦)の𝑥
軸上のラインプロファイルである。比較の為、1.3 節にて述べた初期の手法で用2いられていた補正項e−(𝜔0 𝜎) の無いガボールウェーブレットのラインプロファ
イルも同時に示している。なお、補正項の無いガボールウェーブレットについて
は、減衰条件 1%のもののみを示している。また、減衰条件の違いによる差が分かりやすくなるように、グラフの端部分の拡大図を掲載している。(b)は式(3.1)に2表されているウェーブレット変換の理論式に基づき補正項e−(𝜔0 𝜎) を用いた場
合と、式(3.5)に表されている本研究にて提案した新しい補正項𝐶を用いた場合との、ガボールウェーブレットの実部(cosine 成分)の差を示している。点は計算点、
破線は補間曲線を示す。(c)は減衰条件 1%及び 0.1%における、楕円ガウス窓関2数e−(𝜔0 𝜎) とガボールウェーブレットの各成分を画像化したものである。この内、ガボールウェーブレットの画像に関しては、上部が実部(cosine 成分)、下部が虚部(sine 成分)を表している。(d), (e), (f)は、周波数𝑓0 = 60, WS = 150と設定した、もう一つの典型例における(a), (b), (c)と同様の図である。
2

図 3.2 の(a)の本手法（実線）と補正項e−(𝜔0 𝜎) の無い初期の手法（破線）における 2 次元ガボールウェーブレットの実部(cosine 成分)ラインプロファイルを比較してみると、明らかな差があることがよく分かる。この差によって、実際に画像に対してガボールウェーブレットの畳み込み積分を行う際にかなりの誤差が生じてしまい、結果として輪郭抽出の精度が低下し、抽出に失敗することがしばしば起こる。
また、(b), (e)から、理論式に基づく 2 次元ガボールウェーブレットと本手法に31

よるガボールウェーブレットとの間の差は非常に小さいことが分かる。しかし、
実部(cosine 成分)が最大値で正規化されている時、理論式に基づくガボールウェ
ーブレットの窓領域内の直流成分は減衰条件 1%で、𝑓0 = 30, WS = 70の時は凡
そ-1.95、𝑓0 = 60, WS = 150の時は凡そ 4.39 となり、ゼロにはならない。一方、本手法によるガボールウェーブレットの窓領域内の直流成分はどちらの場合でも完全にゼロであった。
さらに、(c), (f)の減衰条件の異なる 2 次元ガボールウェーブレット像を比較してみると、減衰条件 1%では窓領域の端の方まで比較的波形成分が残っていることが認められるが、減衰条件 0.1%では、端の方の波形成分の大部分が減衰してしまっている。我々は減衰条件 0.1%では波形成分の減衰が強くなりすぎると判断し、本研究においては減衰条件を 1%と定めた。

32

図 3.1

本手法における 2 次元ガボールウェーブレット𝜓𝑊𝑆 (𝑥, 𝑦, 𝜎, 𝜔0 )の代表例

33

図 3.2異なる減衰条件におけるガウス窓関数𝑔𝜎 (𝑥, 𝑦)と 2 次元ガボール
ウェーブレットの各成分の関係

343.2 ガボールウェーブレットを用いた輪郭線抽出・追跡法

本手法におけるガボール特徴量”GFQ”(Gabor wavelet feature quantity)を、式(3.3)で表される 2 次元ガボールウェーブレットと輪郭線抽出の対象となる画像との畳み込み積分によって得られる特徴量として定義する。具体的には以下の式(3.6)により定義される。なお、この式は第 2 章にて述べた式(2.12)を、画像
𝑓(𝑥, 𝑦)と畳み込むガボールウェーブレット関数を前節にて述べた直流成分ゼロのガボールウェーブレットを回転させた関数𝜓𝑊𝑆,𝜃 (𝑥, 𝑦, 𝜎, 𝜔0 )に置き換え、そのガボールウェーブレットの中心を注目画素(𝑋, 𝑌)に合わせた上で窓領域内に限定して畳み込み演算を行うように改変したものである。
𝐺(𝑋, 𝑌, 𝜃) = |∑ ∑ 𝑓(𝑋 − 𝑥, 𝑌 − 𝑦)𝜓𝑊𝑆,𝜃 (𝑥, 𝑦, 𝜎, 𝜔0 )|
𝑥

(3.6)

𝑦

ここで、𝐺(𝑋, 𝑌, 𝜃)は画像上の座標(𝑋, 𝑌)における GFQ を表す。また、∑𝑥 ∑𝑦 は窓領域内での総和演算、𝑓(𝑋, 𝑌)は対象画像の濃度分布、𝜓𝑊𝑆,𝜃 (𝑥, 𝑦, 𝜎, 𝜔0 )は窓サ
イズ WS の、座標(𝑋, 𝑌)を中心に角度𝜃で回転した 2 次元ガボールウェーブレッ
ト、σは標準偏差、𝜔0 は角周波数を表す。
本手法では、上述する GFQ を利用して、生物電子顕微鏡画像上の物体輪郭の抽出・追跡を行う。具体的なアルゴリズムとしては、逐次追跡法[40]を採用した。
本研究において対象としている電子顕微鏡画像上の細胞内小器官の輪郭線は、
1.1 節でも述べた通り人間の目をもってしても正確な判別が困難な程に複雑かつ不明瞭なことがしばしばある。この為、人為的作業を伴いながら逐次追跡法による抽出・追跡を行う方が確実であると考えた。
抽出処理中は唯一の輪郭を想定し、輪郭はその終端まで必ず滑らかに接続されていると仮定してその輪郭点を次々に予測し続けることで追跡を行い、同時にそれら同士を順番に接続することによって抽出を行う。そして、輪郭線の追跡35処理中に逐一現在の追跡が輪郭から逸れたか否かを評価し、逸れた場合は適切なパラメータの再設定を行い、新しいパラメータを使用して追跡を再開する。逐次追跡法の利点は、本手法において仮定している”輪郭線が滑らかに接続している”といった拘束条件をアルゴリズムに組み込むことができる点にあり、この拘束条件の設定を適切に行うことができていれば、分岐や極端な屈曲があった場合を除き、自動的な輪郭線追跡を行うことが可能である。
図 3.3 に本手法における輪郭線抽出・追跡処理全体のアルゴリズム、図 3.4 に図 3.3 における手続 1 に該当する、初回時の人為的作業を伴うアルゴリズム、図
3.5 に図 3.3 における手続 2 に該当する、中核となる自動輪郭線抽出・追跡アルゴリズムをそれぞれフローチャートで示す。以降、本章ではこの 3 つのフローチャート図に基づいて、本手法によるガボールウェーブレットを用いた輪郭線
抽出・追跡アルゴリズムについての詳細な説明を行う。

36

図 3.3

輪郭線抽出・追跡処理全体のアルゴリズムのフローチャート37

図 3.4

輪郭線追跡開始時の人為的ツール作業と処理のフローチャート

図 3.5

中核となる自動輪郭線抽出・追跡処理のフローチャート
38

まず初めに、図 3.5 のフローチャートにて示されている本手法の中核を成す
自動輪郭線抽出・追跡処理アルゴリズムについて、図 3.6 に示す実際の生物電子顕微鏡画像上の物体輪郭線抽出・追跡の一例に基づいて説明する。

図 3.6

生物電子顕微鏡画像上の物体輪郭線抽出・追跡の一例

最初に、抽出を行いたい画像上の輪郭の近傍に開始点(𝑥0 , 𝑦0 )が与えられ、かつその輪郭の抽出・追跡を行う上で適切な周波数𝑓0 と窓サイズ WS の 2 次元ガ
ボールウェーブレットが与えられているとする。その上で、以下の手順に従って処理を行う。
手順 1：与えられた開始点を中心とした1°刻みの0°～180°方向のある一定の長さ SL を持つ探索線を定義し、この探索線上で、式(3.3)で表される 2 次元ガ
ボールウェーブレットを 1 画素刻みで移動させながら式(3.6)に従って対象画像との畳み込み積分を行い、算出された GFQ をマップに格納していく。このマ39

ップを”ガボール特徴マップ(Gabor Feature Map)”と呼び、本研究においては
以降 GFM と表記する。GFM は探索線座標とその回転角𝜃から成る列数 SL、行
数 181 の 2 次元マップであり、畳み込み積分が行われた座標と回転角𝜃に応じた格子点上に算出された GFQ が格納されていく。なお、畳み込み積分を行う
際は、窓サイズ WS で定義される窓領域の長辺が探索線に直交するようにする。開始点の周囲の状況や目的の輪郭の性質によっては、0°～180°全てではな
く、ある特定の角度範囲内に限定して GFQ の算出を行った方が良好な抽出と追跡が行えることがある。また、窓サイズ WS が大きくなるにつれ、GFQ の算
出に時間がかかるようになっていき、その結果として GFM 生成にかかる処理時間も指数関数的に増大してしまう。この場合も、目的の輪郭の角度変化の範囲がある程度推測できるのであれば、その角度範囲内に限定して GFM の生成処理を行わせたほうが処理時間を短く抑えることができる。具体的には”輪郭線が滑らかに接続している”という仮定から、直前の輪郭点の接線角度を中心とした任意の範囲内で GFM の生成処理を行わせる。ただし必要であれば、基本通り0°～180°全てで生成を行うよう指定することも可能である。本研究においては、実際の生物電子顕微鏡画像上での物体輪郭線抽出と追跡の実験においてこの機能を利用している。この角度制限範囲は基本的に凡そ20°前後に指定しているが、屈曲が大きく角度変化量が大きいことが予測される個所では凡そ60°前後に指定している。
手順 2：得られた GFM 内で、GFQ が最大を示す座標を求める。GFM の𝑥軸
は探索線上の座標、𝑦軸は探索線の回転角に対応している為、最大値の𝑥座標が開始点(𝑥0 , 𝑦0 )から探知された輪郭点までの距離を、最大値の𝑦座標が探知された輪郭線の接線角度をそれぞれ示している。具体的には、GFQ が最大となる座
標を(𝑥𝑚𝑎𝑥 , 𝑦𝑚𝑎𝑥 )、探索線の長さを SL とした時、探知された輪郭点の座標(𝑥, 𝑦)40

は次の式(3.7), 式(3.8)で与えられる。
𝑆𝐿
𝑦𝑚𝑎𝑥
𝜋
)) cos (𝜋 + ) + 𝑥0
2
180
2
𝑆𝐿
𝑦𝑚𝑎𝑥
𝜋
𝑦 = (𝑥𝑚𝑎𝑥 − ( )) sin (− (𝜋 + )) + 𝑦021802
𝑥 = (𝑥𝑚𝑎𝑥 − (

(3.7)
(3.8)

図 3.6 の例では、開始点で手順 1 により図右下中央の GFM が生成され、その最大値の座標より輪郭点の座標（開始点より探索線上にプラスの方向に 40 画
素移動した座標）並びにその接線角度（𝜃 = 24°）が求められ、緑丸で示されている輪郭点が特定された。なお、図 3.6 右下端の GFM は、パラメータ設定は同じであるが窓領域内で直流成分をゼロにする改良を施していない従来のガボー
ルウェーブレットを用いて生成されたものである。窓領域内で直流成分をゼロに抑えられていない場合、このように GFM 全体に亘って GFQ の高い領域が表れてしまい、輪郭点の位置及び角度に対応する座標付近に明瞭な最大ピークが表れず、目的の輪郭点の探索が正常に行えなくなってしまう。
手順 3：探知された輪郭点の座標(𝑥, 𝑦)から、求まった接線角度𝜃𝑟 方向に所定の輪郭点間隔を隔てて、次の輪郭点を予測する。輪郭点間隔は固定値にする
か、或いは前後の輪郭線の接線角度の変化に応じて可変とするか、抽出・追跡の目的や対象となる輪郭の性質に応じて選択することができる。可変とした場
合は、接線角度の変化が一定の値以下であれば輪郭点間隔は伸びていき、逆に一定の値より大きければ輪郭点間隔は半減していく。ただし、輪郭点間隔は𝑆𝐿⁄ 以上 SL 以下の範囲を逸脱しない。これにより、追跡を行っている輪郭が2
曲率の高い曲線であれば輪郭点間隔を小さくして細やかな追跡を行うことで追跡が逸脱するリスクを可能な限り低減し、逆に曲率が低い直線であれば輪郭点間隔を大きくして大雑把な追跡を行い、効率的な輪郭の抽出・追跡を行うことができる。しかし、抽出対象となる輪郭が複雑かつ急激な屈曲により構成され
41

ている場合等には、上述の可変輪郭点間隔による追跡が想定通りに機能せず、かえって輪郭の抽出・追跡が困難になることがある。こうした場合は輪郭点間隔をなるべく小さめの固定値に設定し、常に細やかな追跡を行わせた方が正確な抽出・追跡が行えることがある。本研究においては、図 3.6 に表されている
例では初期の輪郭点間隔の値を大きめに設定した上で可変とし、後述する応用実験では 10 画素間隔で固定とした。
手順 4：手順 3 で求められた次の輪郭の予測点を新たな開始点として、手順
1, 2 を繰り返し、次の輪郭の実測点を求める。その際に次の予測誤差を求め、この値を事前に設定した閾値に照らし合わせることで、追跡が逸脱したか否か
を輪郭点毎に判定する。この予測誤差には、手順 3 によって求められた次の輪郭点の予測点とその予測点を開始点として手順 1～2 によって求められた次の輪郭点の実測点との差の絶対値である予測輪郭点位置の誤差∆𝑝（画素）と、予測点を求めるのに用いた接線角度と実測点を求めるときに得られた接線角度の差の絶対値である予測輪郭接線角度の誤差∆𝜃（度）の二種類が存在する。もしも、追跡の結果として抽出される輪郭線が追跡対象である輪郭に沿った滑らかなものであれば∆𝑝と∆𝜃はどちらも小さな値となり、逆に輪郭から明らかに逸脱し、激しく屈曲する輪郭線が抽出された場合は、一般的にどちらの値も大きくなる。この性質を利用し、この二つの予測誤差の合計値(∆𝑝 + ∆𝜃)に対して閾値
条件を設け、この値が閾値を超えたか否かによって追跡の逸脱を判定する。この閾値をどのような値に設定するかは、本手法による輪郭追跡において肝要な点の一つである。これまでの経験から、一般的には 20～30 程度の値であれば適切な追跡を行える可能性が高いが、追跡を行う輪郭そのものの性質やその周辺の状況などを鑑みて、より大きく、或いはより小さく設定した方が適切な探索を行うことができる場合がある。例えば、曲率の高い輪郭の追跡を行う場合
42

は予測点と実測点の接線角度の差が大きくなる傾向にある為、大きめの閾値を設定しておくと適切な追跡が行えることが多い。また、追跡を行っている輪郭と別の輪郭が密接しているような箇所の追跡を行う場合は、小さめの閾値に設定し予測輪郭点位置の誤差を小さく抑えるように追跡を行わせることで、別の輪郭へ追跡が逸脱してしまう事を予防できる。
手順 5：手順 4 にて追跡が逸脱していると判断されなければ、手順 3 で求めた予測点を正式に採用し、これを新たな開始点として手順 1 に戻る。逸脱していると判断された場合は、後述の 3.3 節にて述べるパラメータ自動再探索手法
を用いて、逸脱の発生しない新たな周波数𝑓0 並びに窓サイズ WS を選択しなおした上で、手順 3 で求めた予測点を新たな開始点として手順 1 に戻る。この手
順によって、次に求められる輪郭点が逸脱と判定されないようなパラメータ設
定が確実に選択されるため、そのまま自動的な抽出と追跡が続いていく。ただし、後述する通り、手順 4 によって逸脱と判定されないことが必ずしも適切な輪郭の抽出と追跡が行えていることを意味しない点には注意が必要である。
次に、上述の自動追跡アルゴリズムをマクロ関数として、図 3.3 のフローチ
ャートにて示されている輪郭抽出・追跡処理全体のアルゴリズムについて詳細に述べる。
手続 1：生物電子顕微鏡画像上のある一つの細胞小器官など、輪郭線抽出・追跡の対象を選択し、輪郭追跡開始処理を行う。この手続についての詳細は後述する。
手続 2：図 3.5 のフローチャートに示されている、前述した自動追跡アルゴ
リズムを実施し、手続 1 で選択した輪郭の自動的な抽出と追跡を行う。理想的な抽出と追跡が行えた場合は、そのまま終了条件に至るまで輪郭の抽出と追跡が行われる。本研究における輪郭の抽出と追跡の終了条件とは、選択した輪郭
43

全ての抽出と追跡が完了し手続 1 にて設定した最初の開始点近傍まで追跡が到達した場合か、途中で対象画像領域の外に追跡が到達した場合、或いはあらか
じめ設定した回数の追跡処理が行われた場合かのいずれかである。
手続 3：手続 2 の自動追跡アルゴリズムによって抽出された輪郭線を確認
し、誤追跡が行われているか否かを判断する。特に誤追跡が行われている形跡が見られなければ、手続 2 に戻り終了条件に至るまで自動追跡アルゴリズムによる輪郭の抽出と追跡を続行する。逆に、誤追跡の形跡が見られる場合は、続く手続 4 に移行する。自動追跡アルゴリズムには前述した図 3.5 のフローチャ
ート図における手順 4 にて述べた自動逸脱検出機構が存在するが、この機構によって逸脱と判断されていないにもかかわらず、対象となる輪郭の局所的な像の変化等の理由により、途中から対象とは異なる輪郭を追跡し始めてしまうという事態がしばしば発生する。
手続 4：まず、試作したアプリケーションソフトの GUI ツールを用いて、正しい追跡が行えていた輪郭点まで追跡を戻す。この GUI ツールについては、後述の 3.4 節にて詳細を述べる。自動追跡アルゴリズムはある輪郭点の座標とその接線角度から次の輪郭点の予測を行う為、誤追跡が起こった箇所の輪郭点はその直前までの輪郭点列の延長線上から逸脱している場合が多い。そこで、逸脱直前までの連続した輪郭点列の座標から外挿して次の輪郭点を新たに予測し直す。具体的には、まず逸脱直前の輪郭点の接線角度をそれまでの輪郭点列の接線角度から外挿して求め、さらにその接線角度を基に求まる新たな予測点をGUI ツールを用いて外挿し、後述するパラメータ自動再探索を実行して逸脱の発生しない適切なパラメータ（周波数𝑓0 と窓サイズ WS）を設定し直した上で手続 2 の自動追跡アルゴリズムに戻る。またこの時、必要であれば逸脱検知等に用いられる閾値や前述した GFM 生成時の角度制限範囲の再設定を行う。
44

手続 5：手続 4 を実行した上でまだ誤追跡が改善されない場合は、逸脱直前までの輪郭点列を正式な抽出結果として採用して一旦輪郭線抽出・追跡処理を打ち切る。その上で、逸脱直前の輪郭点の近辺から手続 1 に従い新たな輪郭線
抽出・追跡処理を改めて開始する。
最後に、図 3.4 のフローチャートにて示されている”開始における人為作業と事前追跡”の詳細について述べる。この手続の初めの手順は二つの方式が用意されている。一方は後述する GUI ツールを用いて抽出と追跡の対象となる輪郭付近にマウスクリックで開始点を指定する方式である。本手法において、この方式が最も手軽に輪郭の抽出と追跡を行う方法である。ただし、此方の方式
では初回の抽出と追跡で、周波数𝑓0 と窓サイズ WS は GUI ツール上で指定されているデフォルト値（周波数𝑓0 = 30, 窓サイズWS = 70）が用いられる。無論、このデフォルトパラメータが目的の輪郭の抽出と追跡に適したものである
保証はない為、このまま抽出と追跡を行わせると誤追跡が発生し得る。この場
合は、詳しくは後述するが GUI ツール上でパラメータを任意の値に変更してから抽出と追跡を行わせることで改善を図る。初回の抽出と追跡さえうまくいけ
ば、その後の自動的な追跡と抽出もうまくいく可能性が高い。もう一つの方式
は、GUI ツールの機能を利用して目的の輪郭に沿う短線を人為的に指定する方式である。短線を渡されたら図 3.5 に示されている自動追跡アルゴリズム（手続 2）のフローチャートの(A)に進み、その短線の座標や角度といった情報を基に、なるべくその短線に沿うような抽出と追跡を行うことができるパラメータを後述するパラメータ自動再探索手法を用いることで決定し、以降は自動追跡
アルゴリズムに従って目的の輪郭の自動的な抽出と追跡を続ける。この短線を指定する方法についても、後述の 3.4 節にて詳細を述べる。

45

3.3 パラメータ自動再探索処理

本節では、図 3.5 に示されるフローチャートの手順 5 や図 3.3 に示されるフローチャートの手続 4 で行われている、目的の輪郭の抽出と追跡に適したパラメータを探索し選定までを自動的に行う、パラメータ自動再探索処理の詳細なアルゴリズムについて述べる。
2.4 節でも述べた通り、2 次元ガボールウェーブレットの性質を利用して画像上の輪郭の抽出を行う為には、その輪郭の性質に適したパラメータ（本手法においては周波数𝑓0 と窓サイズ WS）を用いなければならない。しかし、輪郭の単純な画像の性質から本手法による抽出に適するパラメータを推測する事は困難である。また、輪郭の画像における性質と 2 次元ガボールウェーブレットのパラメータ設定との間の関係性を明確に定める理論等も現状では存在していない。この為、我々の初期における研究[21]では様々なパラメータ設定によって実際に抽出と追跡の処理を行わせ、その内最も良い結果が得られるパラメータ設定を採用していた。しかし、この手法は多大な試行錯誤を行わなければならず、本研究における我々の目的である”可能な限り人の手を排す”ことに反してしまう。
そこで、極力人の手を介することなく、目的の輪郭の抽出と追跡を行う上で適したパラメータ設定の自動的な探索を行う手法を考案した。この手法ではまず、指定された座標を開始点として扱い、可能な全ての周波数𝑓0 と窓サイズ
WS の組み合わせに対して自動追跡アルゴリズムによってその近傍の輪郭の実測点を求める。続いてその開始点と実測点群との間で、図 3.5 に示されるフローチャートの手順 4 で輪郭追跡の逸脱を判定するのに用いた予測輪郭点位置の誤差∆𝑝と予測輪郭接線角度の誤差∆𝜃の合計値(∆𝑝 + ∆𝜃)を計算し、2 次元マッ46

プに格納していく。この 2 次元マップのことを予測誤差マップと呼ぶ。予測誤差マップを生成する際に探索を行う周波数𝑓0 の範囲は 1 刻みで 1 から 100 までとした。これに対応して、周期𝑇0 は 1024 画素から約 10 画素までの範囲で変化する。窓サイズ WS は 10 画素刻みで 10 から 200 までとした。少なくとも本研究においては、これらの範囲設定で十分な輪郭の抽出と追跡が行えた。
この予測誤差マップ内において、最小値を示す座標に対応する周波数𝑓0 と窓
サイズ WS の組み合わせこそが追跡上最も滑らかな実測点を与える。すなわ
ち、指定された座標近傍の輪郭の抽出と追跡において最も適切なパラメータ設定である。ただし、𝑇0 ≤ 𝑊𝑆とし、窓領域内に正弦波及び余弦波の波形が 1 周
期分収まらないようなパラメータの組み合わせは実際的ではないと判断し、最適なパラメータの候補からは事前に除外される。
以上の方法でも、実際には予測誤差マップ内にて最小値を示す周波数𝑓0 と窓
サイズ WS の組み合わせが複数存在する場合がある。このような場合、本手法
においてはどの組み合わせが適切であるかを判断する為の条件の優先順位を設定し、これ従い最も適切なパラメータの組み合わせを選択する。この条件の優先順位は、(1): (∆𝑝 + ∆𝜃)が最も低い, (2): ∆𝑝が最も低い, (3):WS が最も小さい, (4): 𝑓0 が最も低い となっており、(1)の条件から順番に絞り込みを行い最後まで残った組み合わせが、最も適切なパラメータ設定であると判断する。この
優先順位の根拠としては、(2)は単独の誤差としては予測輪郭接線角度の誤差∆𝜃
よりも予測輪郭点位置の誤差∆𝑝の方が追跡の精度に与える影響が大きくより重要であると考えた為、(3)は窓サイズが小さいほうが自動追跡アルゴリズムの処理が高速である為、(4)は経験上、周波数𝑓0 は低めの値を用いた方が GFM 中のGFQ ピークプロファイルが安定し、正しい輪郭の抽出と追跡が行えることが多かった為である。
47

3.4 輪郭抽出を支援する GUI ツール

本手法を利用した画像上の輪郭線の抽出作業を支援する目的で、GUI ツールの開発を行った。本ツールの開発には Microsoft Visual Studio Enterprise2019 を利用し、GUI 部分は C#と.NET Framework 4.8 を、輪郭抽出部分は C++を用いて開発を行った。さらに、輪郭抽出部分の演算処理の高速化のために OpenMP による並列計算処理を行っている。将来的には、より高速な処理を行うことができるよう GPGPU を採用することも計画している。
本節ではこのツールの有する機能の内、本研究に関連するもののみ述べる。
図 3.7 にこのツールの GUI 操作画面を示す。

図 3.7

輪郭抽出支援 GUI ツールの操作画面

まず初めに、上部メニューの”File”から輪郭線の抽出を行いたい任意の画
48

像を指定しこのツールに読み込ませる。読み込まれた画像は GUI ウィンドウに表示され、この GUI ウィンドウの画像をクリックすることで、そこを開始点として自動追跡アルゴリズムが作動し、その結果として抽出された輪郭線が GUI
ウィンドウの画像の上に描画される。この操作は図 3.4 のフローチャートにて示されている”開始における人為作業と事前追跡”の最初の手順の内、”輪郭近傍に開始点を指定する”の方に該当する。図 3.8 に画像上のある 1 点（白矢印）をクリックし、その座標を開始点として輪郭抽出を行わせた実例を示す。
緑点は開始点、赤点及び赤線は抽出された輪郭点及び輪郭線を示している。
なお、画像上の狙った場所をクリックし易くするために、ウィンドウの画像の表示倍率をある程度変更することが可能である。また、ウィンドウの左下部には現在マウスカーソルが指している座標が表示されている為、クリックする
座標を厳密に定めたい場合の参考になる。

図 3.8

GUI ツール上における輪郭抽出の実例”設定”からは、周波数𝑓0 、窓サイズ WS の他、追跡のループ回数の指定や自動追跡アルゴリズムにおける GFM 生成時の探索線の長さ𝑆𝐿等のパラメータ49

の設定を行うことができる。他にも、自動追跡アルゴリズムにおいて輪郭点が求められる度に、使用された 2 次元ガボールウェーブレット（実部・虚部それぞれを指定することが可能）やそれを構成する楕円窓ガウス関数と正弦波、生成された GFM といった途中経過処理の画像を逐一出力するように設定することが可能である。こうした画像群は、主に誤追跡が発生した場合にその原因の分析や改善策の考察に役立てることができる。また、”追跡セット”からは自動追跡アルゴリズムにおける追跡の方向性を指定することができる。具体的には、開始点から右方向と左方向のどちらへと追跡を行うかを指定できる。
“Read”をクリックすると、外部の CSV 形式ファイルに記入されている開始点の座標並びにパラメータ設定を読み込み、その情報を基に自動追跡アルゴ
リズムによる輪郭抽出を行う。この CSV ファイルには複数の開始点並びにそれに紐付くパラメータ設定を記述することが可能である。この機能を利用する
事によって、CSV ファイルさえあらかじめ用意しておけば後は“Read”を一回クリックするだけで、複数個所で逐次的に自動追跡アルゴリズムによる輪郭抽出を行うことができる。また、この CSV ファイルに記述できるパラメータ設
定の中には”接線角度”という項目があり、これを利用する事によって開始点に角度の情報を紐付け、疑似的に短線による指定が行える。こちらは”開始における人為作業と事前追跡”の最初の手順の内、”輪郭上に短線を描く”の方に該当する。さらに、3.2 節にて解説した輪郭抽出と追跡に関わる角度制限範
囲や閾値の詳細な設定も行うことができる。
“Save”は、現在ウィンドウに表示されている輪郭線抽出結果画像をそのま
ま TIFF 画像ファイルとして出力する。
”Undo”は直前の操作をキャンセルし、ウィンドウの画像をその前の状態に差し戻す。誤追跡が発生した際にその前の状態まで差し戻したい場合や、誤操
50

作による影響を帳消しにする際に利用する。
“Mode”からは、このウィンドウの画像をクリックした際の GUI ツールの動作モードを変更することができる。このモードには Auto Pen、Manual Pen,
Manual Eraser, Auto Eraser の四つが存在する。Auto Pen は標準的に指定されているモードで、クリック箇所を開始点とした自動追跡アルゴリズムを起動する。Manual Pen はペイントツールのようにウィンドウの画像に自由な線を描画することができるモードである。様々な工夫を凝らしても本手法による輪郭線の抽出が困難な箇所が存在する場合、最終的な手段としてこの機能を用いて人為的にその箇所の輪郭線を描画することができる。Manual Eraser は所謂消しゴムツールであり、クリックした箇所周辺の画像上に描画された輪郭線のみを消去することができるモードである。”Undo”では直前の操作を全てキャンセルしてしまう為、直前の操作で描画された輪郭線の内の一部のみを修正したい場
合に利用できる。Auto Eraser は画像上に描画された輪郭線をクリックすること
で、その輪郭線全てを一度に消去することができるモードである。描画された輪郭線の内、消去したい区間のみをあらかじめ Manual Eraser によって分離した
上でこの機能を用いることによって、その区画のみを簡易に消去することができる。この内 Auto Pen と Manual Pen にて描画できる輪郭線の色は”Pen”にて指定することができ、物体の種類ごとに異なる色の輪郭線を引いたり、本手法
により自動的に抽出された輪郭線と人為的に描画した輪郭線との区別をつける
為などに利用できる。

51

第4章 提案手法のシミュレーション

4.1 理想的なモデル輪郭画像に対するシミュレーション

実際の生物電子顕微鏡画像へ本手法を適用する前に、まずはこの手法の根幹となる自動追跡アルゴリズムが明瞭かつ単純な輪郭に対してどれ程の精度で機能するかを確認しておく必要がある。もしも明瞭単純な輪郭の抽出さえ覚束ないのであれば、実際の生物電子顕微鏡上にしばしば現れる複雑で不明瞭な輪郭線に対して機能するとは考え難い。また、この手法による輪郭の抽出と追跡の基本的な性能や傾向を分析し把握しておくことは、2 次元ガボールウェーブレ
ットと画像上の輪郭との間の関係を深く理解する上でも有用である。そこで、まずはごく単純なモデル輪郭画像に対して本手法による画像上の輪郭線の抽出と追跡を行わせるシミュレーションを行い、その結果を詳細に分析することとした。図 4.1, 図 4.2 にその結果を示す。また、本手法による輪郭抽出精度の精査を行う為に、画像上の輪郭のグラウンドトゥルースを設定し、本手法によって引かれた輪郭線とグラウンドトゥルースとの間の誤差の総和を計測することで輪郭抽出精度の評価、並びにパラメータの変化による輪郭抽出精度の変化を見ることで、輪郭抽出に用いる 2 次元ガボールウェーブレットのパラメータとその抽出精度との関係性の調査を行った。図 4.3, 図 4.4, 図 4.5 にその結果を示す。なお、シミュレーション用のモデル輪郭画像の作成と加工にはImageJ(version 1.53t)と MathWorks 社製の MATLAB を用いた。
このシミュレーションでは、ノイズやアーティファクトといった輪郭線の明瞭さを損なうような要素を極力排除し、形状も単純なモデル輪郭画像を複数用意し、それらに対して本手法による輪郭線抽出を行わせ、その結果を検証し52た。具体的には、膜状の薄い構造を模したリッジライン（図 4.1(a1)）、単純な画素の濃度差によって領域が分断されているような細胞小器官の輪郭を模した
ステップエッジ（図 4.1(a2)）、細胞質と核細胞小器官との間の様々な境界線を模したパターン境界（図 4.2）の三種類のモデル輪郭画像について検証を行った。また、リッジラインとステップエッジについてはガウシアンぼかし（カーネル半径は約 10 画素）を施したぼかし画像に対しても検証を行い（図 4.1(a1),(a2)下部）、パターン境界についてはパターンの類似度が低いものと高いものの二種類（図 4.2(a1), (a2)）を用意し、さらに、その両方について境界を中心としたある程度の幅の領域内で強度を線形変化させながら二つのパターンを重ね合わせた、より判別の難しいぼやけた境界画像を用意し、これらに対しても検証を行った（図 4.2(a1), (a2)下部）。ただし、このシミュレーションでは図 3.5 のフローチャートで示した自動追跡アルゴリズムの内、手順 1～3 の処理の後で手順 4 の逸脱判定は実行せずに、そのまま開始点を更新して処理を繰り返させ、輪郭の自動的な抽出と追跡を行わせた。
また、用意したモデル輪郭画像それぞれに対してグラウンドトゥルースとなる座標を設定した。リッジラインについては線の中央の𝑥座標、ステップエッ
ジ並びにパターン境界についてはパターンの切り替わる瞬間、または、その中央の𝑥座標を各モデル輪郭のグラウンドトゥルースとして、本手法によって各モデル輪郭画像上で抽出された輪郭線を構成する各輪郭点の𝑥座標との誤差の総和を計測し、その値が小さいほど輪郭抽出精度が良いとした。パラメータである周波数𝑓0 と窓サイズ WS については、まず理想的な輪郭抽出と追跡が行え
る組み合わせを基準として、その設定から周波数、もしくは窓サイズのみを変
更して、輪郭抽出結果にどのような変化が起こるかを調査した。パターン境界の内、曖昧なパターン境界に関しては境界の明瞭な上半分と境界のぼやけた下53

半分とで適切なパラメータ設定が大きく変わる為、今回の実験では別々に追跡
誤差総和の計測を行うこととした。本論文では特にリッジライン図 4.3 と曖昧なパターン境界図 4.4, 図 4.5 についての追跡誤差総和について主に取り上げる。これら以外の実験結果の詳細に関しては、付録を参照されたい。なお、この追跡誤差総和の計測においても、図 3.5 のフローチャートで示した自動追跡
アルゴリズムの内、手順 1～3 の処理のみによる輪郭抽出処理を行わせている。
まず、図 4.1, 図 4.2 の(a1), (a2)に示されているように、本手法はリッジライ
ン、ステップエッジ、そしてパターン境界について、ぼかし画像も含めすべての輪郭線に対して正確な抽出と追跡を行った。赤点、赤線は本手法によって抽出された輪郭点、輪郭線をそれぞれ示している。このことはつまり、本手法は一度も輪郭から逸脱することなく終了条件まで輪郭の抽出と追跡を続けたことを意味する。ただし、周波数𝑓0 と窓サイズ WS は適切に選択する必要があった。また、これらのシミュレーションでは図 4.2(a2)を除き、明瞭な画像とぼかし画像の両方で、単一の周波数𝑓0 と窓サイズ WS の組み合わせで正確な輪郭の抽出と追跡を行うことができた。
図 4.2(a2)下部のみ、本手法による輪郭の追跡が実際の境界線上からややずれてしまっている。しかし、このモデル輪郭画像は非常に似通ったパターン同士の境界であり、しかもその境界付近が意図的にぼかされていることを考慮すれば、十分許容範囲内の誤差であると見做せる。
続いて、図 4.3 はリッジラインに対する本手法の輪郭抽出精度を示している。図 4.3(a)の赤線は理想的なパラメータ設定に対する輪郭抽出結果の一例であり、この時の追跡誤差総和は上半分の通常のリッジラインと下半分のぼやけたリッジライン両方において完全にゼロであった。一方、同図の緑線は理想よ54

りも窓サイズを小さく設定した輪郭抽出結果の一例であり、通常のリッジラインの追跡でさえ若干のずれが見られる。この例が示すように、周波数もしくは窓サイズのどちらか一方の値が不適切であるとたちまち正常な輪郭抽出が行えなくなってしまう。 図 4.3(b),(c)は周波数、もしくは窓サイズのみを変更した
場合の追跡誤差総和の変化を示したグラフである。このグラフでは、通常のリッジラインに関しては周波数、窓サイズ共に一定以上の値であれば抽出と追跡に影響を与えないが、ぼやけたリッジラインに関してはある特定の範囲内の組
み合わせでなければ正常な追跡が行えないことが示唆されている。
図 4.4, 図 4.5 は曖昧なパターン境界に対する本手法の輪郭抽出精度を示している。図 4.4(a), 図 4.5(a)の赤線は通常もしくはぼやけた曖昧なパターン境界の理想的なパラメータ設定に対する輪郭抽出結果の一例であり、それぞれの追跡
誤差総和は通常の境界では 17 画素、ぼやけた境界では 71 画素であった。曖昧なパターン境界のぼやけた輪郭の追跡誤差総和は理想的なパラメータ設定であっても比較的大きめの値であり、適切な抽出が難しいことが窺える。図 4.4(a),図 4.5(a)の緑線は図 4.3(a)の緑線と同様に周波数もしくは窓サイズのみを変更した際の抽出結果の一例を示しており、やはり、適切なパラメータ設定でなければパターン境界の正常な抽出・追跡が行えないことを示している。これらの結果をよく観察してみると、パターン同士の境界ではなくパターンそのものが構成している輪郭を捉え、追跡を行っているように見える。図 4.4(b),(c), 図
4.5(b),(c)は図 4.3(b),(c)と同様に、追跡誤差総和の変化を示したグラフである。
これらのグラフは通常の境界、ぼやけた境界共にどちらも大まかには同様の傾向を示している。しかし、ぼやけた境界は基本的に周波数が低いほど精度が良くなる傾向にあるのに対して、通常の境界では周波数が低すぎると却って精度が悪化する為、程々の高さの周波数が適していることが示唆されている。
55

このシミュレーションを通じて得られた知見の一つとして、現在抽出と追跡に利用している 2 次元ガボールウェーブレットが目的の輪郭の抽出と追跡において適切なものであるか否かは、GFM のピークの形状と分布から評価することにより判断できるということが挙げられる。具体的には、GFM のピークが連続的かつできる限りある一点に集中しているほど、適切なガボールウェーブレッ
トである可能性が高いと判断できる。例えば図 4.1(a1)のリッジラインでは周波数𝑓0 が 45 付近（周期𝑇0 が凡そ 23 画素）となった時に GFM のピークの形状が鋭くなり、明瞭な画像とぼかし画像の両方で正確な抽出と追跡が行われた。また、図 4.2(a1)のパターン境界では、周波数𝑓0 を 30（周期𝑇0 が凡そ 34 画素）、窓
サイズを 90 画素に設定して抽出と追跡を行わせた場合、GFM には二つに分割されたような形状のピークが現れた図 4.2(d1)。しかし、周波数𝑓0 を 10、窓サイ
ズ WS を 110 画素に設定すると分割されていたピークが一つになり（図 4.2(b1),(c1)）、しかも明瞭な境界とぼやけた境界の両方で正確な抽出と追跡が行われた。これらのシミュレーションと第 5 章で述べる実験の結果から、輪郭の抽出と追跡を行う上で適切な周波数𝑓0 をある範囲内に絞り込めるということが示された。
さらに、抽出と追跡の対象がパターン境界でない場合は、窓サイズ WS が周期𝑇0 の数倍となるのであれば、周波数𝑓0 は窓サイズ WS によって特に制限されることは無い。逆に、対象がパターン境界である場合は抽出に適する周波数𝑓0が非常に低くなることがあり、この時は窓サイズ WS と周期𝑇0 は同程度の値になる事が分かった。
追跡誤差総和の計測からは、抽出に利用する 2 次元ガボールウェーブレットのパラメータ設定が適切な組み合わせであれば、理想的にはグラウンドトゥルースとの誤差が完全にゼロとなる完璧な精度での輪郭抽出が行えることが確認56

できた。一方で、パラメータの内、周波数もしくは窓サイズのどちらか一方だ
けでも適切でなければ、目的の輪郭の抽出を正常に行うことができなくなることも確認できた。これらの結果は、本手法による画像上の輪郭抽出と追跡において、2 次元ガボールウェーブレットのパラメータ設定、即ち周波数𝑓0 と窓サ
イズ WS の組み合わせが重要であることを如実に示しているといえる。

57

図 4.1 本手法をリッジラインのモデル輪郭画像に対して適用したシミュ
レーションの結果。(a1) リッジライン（黒線）とその抽出と追跡の結果。上部は明瞭で、下部はぼかし。(b1) (a1)上部に対する GFM。(c1) (a1)
下部に対する GFM。(d1, e1) 𝑓0 = 45, 𝑊𝑆 = 90のガボールウェーブレット
画像。(a2) ステップエッジとその抽出と追跡の結果。(a1)と同様に下部はぼかし。(b2, c2) (a2)の上部と下部に対する GFM。(d2, e2) 𝑓0 = 30, 𝑊𝑆 =70のガボールウェーブレット画像。

58

図 4.2 本手法をパターン境界のモデル輪郭画像に対して適用したシミュ
レーションの結果。(a1) 二種のパターンから成るパターン境界とその抽出と追跡の結果。上部は明瞭で、下部はぼかし。(b1, c1) (a1)の上部と下部の適切なパラメータに対する GFM。(d1) 不適切なパラメータに対する
GFM の例。(e1, f1) 𝑓0 = 10, 𝑊𝑆 = 110のガボールウェーブレット画像。
(a2) 二種の微妙に異なるパターンから成るパターン境界とその抽出と追跡の結果。上部は明瞭で下部はぼかし。(b2) (a2)上部の適切なパラメータに対する GFM。(c2, d2) 𝑓0 = 30, 𝑊𝑆 = 110のガボールウェーブレット画
像。(e2, f2, g2) (a2)下部の適切なパラメータに対する GFM とガボールウェーブレット画像。

59

図 4.3

リッジラインに対する追跡誤差総和の計測結果。(a) 赤線は理想的なパラメータ(𝑓0 : 45, 𝑊𝑆: 90)、緑線は不適切なパラメータ(𝑓0 : 45, 𝑊𝑆: 40)を用いた時の輪郭抽出結果の一例。理想的なパラメータを用いた時の追跡誤差総和は全体でゼロであった。(b) 窓サイズWS: 90とした時の周波数の変化に対する追跡誤差総和の変化を示すグラフ。周波数𝑓0 : 26~52では追跡誤差総和が全体でゼロになる。(c) 周波数𝑓0 : 45とした
時の窓サイズの変化に対する追跡誤差総和の変化を示すグラフ。窓サイ
ズWS: 70~140, 160~180では追跡誤差総和が全体でゼロになる。

60

図 4.4

通常の曖昧なパターン境界に対する追跡誤差総和の計測結果。(a)赤線は理想的なパラメータ(𝑓0 : 30, 𝑊𝑆: 110)、緑線は不適切なパラメータ(𝑓0 : 30, 𝑊𝑆: 30)を用いた時の輪郭抽出結果の一例。理想的なパラメータを用いた時の追跡誤差総和は 17 画素であった。(b) 窓サイズWS: 110とした時の周波数の変化に対する追跡誤差総和の変化を示すグラフ。周波数𝑓0 : 23~30の追跡誤差総和が比較的低めであった。(c) 周波数𝑓0 : 30とした
時の窓サイズの変化に対する追跡誤差総和の変化を示すグラフ。窓サイ
ズWS: 70以上であれば追跡誤差総和が比較的低めであった。

61

図 4.5

ぼかした曖昧なパターン境界に対する追跡誤差総和の計測結果。

(a) 赤線は理想的なパラメータ(𝑓0 : 5, 𝑊𝑆: 150)、緑線は不適切なパラメー
タ(𝑓0 : 80, 𝑊𝑆: 150)を用いた時の輪郭抽出結果の一例。理想的なパラメー
タを用いた時の追跡誤差総和は 71 画素であった。(b) 窓サイズWS: 150とした時の周波数の変化に対する追跡誤差総和の変化を示すグラフ。周波数𝑓0 : 1~12の追跡誤差総和が比較的低めであった。(c) 周波数𝑓0 : 5とした
時の窓サイズの変化に対する追跡誤差総和の変化を示すグラフ。窓サイ
ズWS: 160以上であれば追跡誤差総和が比較的低めであった。

4.2 雑音入りモデル輪郭画像に対するシミュレーション

4.1 節のシミュレーションにより、本手法が理想的なモデル輪郭画像に対しては非常に正確な輪郭の抽出と追跡を行えることが明らかになった。続いて、実際の生物電子顕微鏡画像によく現れる雑音のような微粒子像によって画像上の膜構造や細胞小器官の輪郭線が不明瞭になってしまっている場合に本手法がどこまで正しく機能するかを検討する為のシミュレーションを行った。また、
実際の電子顕微鏡画像により近いモデル輪郭画像に対して、本手法による直流62

成分ゼロのガボールウェーブレットがどれだけ正しく機能するかも検討する。
さらに、前節の理想的なモデル輪郭画像に対するシミュレーションと同様に、本手法によって引かれた輪郭線と予め設定したグラウンドトゥルースとの誤差の総和を計測することで、雑音が利用する 2 次元ガボールウェーブレットのパラメータ選択に与える影響と本手法による輪郭抽出の雑音への耐性を確認する。このシミュレーションで用いた雑音入りモデル輪郭画像の生成方法を図4.6 に、シミュレーションの結果を図 4.7, 図 4.8, 図 4.9, 図 4.10 にそれぞれ示
す。
このシミュレーションで用いる雑音入りモデル輪郭画像のベースとなる画像として、細胞内構造体のテクスチャ境界による輪郭を模したパターン境界(図4.6(a))と薄い膜構造を模したリッジライン（図 4.6(b)）の二種類の理想的なモデル輪郭画像を用意した。これに対して雑音のような微粒子像を付加する為に、良く知られている”ゴマ塩雑音”（図 4.6(c)）を作成し、これに対してガ
ウス型平滑化処理（半径 2 画素）を施すことで微粒子雑音像（図 4.6(d)）を生成した。そして、この雑音像をある割合で先述した二種類の理想的なモデル輪
郭画像それぞれにある割合で加算することで、このシミュレーション用の雑音入りモデル輪郭画像を作成した（図 4.6(e), (f)）。雑音像の強度は図を見て分かる通り人間の目視でも輪郭がなんとか分かる程度に高く設定した。具体的には、パターン境界の雑音像は SN 比が約 0.8、約 0.2 となるように作成した（このシミュレーションにおける SN 比の定義式は信号と雑音の分散比とした）。リッジラインの雑音像には、パターン境界に付加したものと同じ雑音像を付加した。また、このシミュレーションにおいても 4.1 節と同様に、図 3.5 のフローチャートで示した自動追跡アルゴリズムの内、手順 1～3 の処理のみを繰り返させ、輪郭の自動的な抽出と追跡を行わせた。
63

また、雑音入りモデル輪郭画像のグラウンドトゥルースを、雑音を加える前の元のモデル輪郭画像（図 4.6(a)）と同一と設定し、その上で前節と同様に本手法により抽出された各輪郭点の𝑥座標との誤差の総和を計測し、本手法による輪郭抽出の精度の評価を行った。本論文では、パターン境界の雑音入りモデ
ル輪郭画像に対する輪郭抽出精度について主に取り上げる。
図 4.7 はリッジラインの雑音入りモデル輪郭画像に対するシミュレーションの結果である。図 4.1, 図 4.2 と同様に、図 4.7(a), (d)の赤点、赤線は本手法によって抽出された輪郭点、輪郭線をそれぞれ示す。また、抽出された輪郭線との比較の為に、図 4.7(a)右部に雑音入りのリッジライン像を示している。この図では、2 次元ガボールウェーブレットの成分の内、実部である cosine 成分（図4.7(a)左部）のみを用いて輪郭の抽出と追跡を行わせた結果（図 4.7(a)）と、通常の実部と虚部（sine と cosine の両成分）を用いて輪郭の抽出と追跡を行わせた結果（図 4.7(d)）が示されている。リッジラインを横切るラインプロファイ
ルが cosine 関数の分布に似ることから、cosine 成分のみを用いた輪郭の抽出と追跡の結果は非常に良好であり、かなり不明瞭な輪郭であるにもかかわらず、その追跡は殆ど逸脱していない。図 4.7(b)に示されているこの結果に対応する
GFM を見てみると急峻なピーク分布が現れており、4.1 節のシミュレーションで得られた知見からも精度の良い抽出と追跡が行われたことが分かる。なお、
GFM の最大値近傍に複数の極値が現れているが、これはリッジラインと同程度のサイズの微粒子雑音による影響であると考えられる。また、これ以上雑音の強度を上げた場合、リッジラインが人間の目視でもほぼ視認できなくなってしまい、正常な抽出と追跡を行うこともできなかった。
一方、図 4.7(e)に示されている通常通り sine と cosine の両成分を用いて輪郭の抽出と追跡を行わせた結果に対応する GFM では、そのピークの分布が位置64𝑥′方向に関して広めであり、その影響か抽出された輪郭線にも少々の逸脱が見られる。
図 4.8 はパターン境界の雑音入りモデル輪郭画像に対するシミュレーションの結果である。こちらの図では、まだ十分境界線を視認できる程度の強さの雑音（SN 比約 0.8）を付加した画像で輪郭の抽出と追跡を行わせた結果（図4.8(a)）と、ごく僅かにしか境界線を視認できない程度の強さの雑音（SN 比約0.2）を付加した画像で輪郭の抽出と追跡を行わせた結果（図 4.8(d)）が示されている。こちらも同じく、図 4.8(a), (d)の赤点、赤線は本手法によって抽出された輪郭点、輪郭線をそれぞれ示す。また、どちらも右側に比較用の雑音入りパ
ターン境界像を示している。前者は殆ど逸脱することなく正確な輪郭の抽出と追跡が行えており、後者も若干の逸脱が見られるものの、概ね正確な輪郭の抽出と追跡が行えており、本手法の輪郭の抽出と追跡の能力が高いことを示している。ただし、後者では正確な輪郭抽出結果を得るために、探索線の長さ SL
を 50 に設定する必要があった。各結果に対応する GFM（図 4.8(b), (e)）を確認
してみても、どちらも十分明確なピーク分布を示している。ただし、後者に対する GFM は位置𝑥′方向に関して若干鈍化しており、これが、追跡が若干逸脱した原因であると考えられる。
また、図 4.8(c)は直流成分をゼロにする補正項を用いていない 2 次元ガボー
ルウェーブレットを利用して生成した GFM を示した図であるが、明らかにピーク分布が不明瞭になっており、実際に正常な輪郭の抽出と追跡を行うこともできなかった。
続いて、図 4.9, 図 4.10 はそれぞれ S/N≒0.8, 0.2 の雑音入りパターン境界に対する本手法の輪郭抽出精度を示している。図 4.9(a), 図 4.10(a)の赤線は理想的なパラメータ設定に対する輪郭抽出結果の一例であり、この時の追跡誤差総65

和は、S/N≒0.8 のときは 11 画素、S/N≒0.2 のときは 25 画素であった。この結果から、雑音が強くなると若干ずれ幅が大きくなるものの、パラメータ選択さえ適切であれば視認の難しいほどの雑音が画像に加えられていても誤差 30 画
素未満の精度での輪郭抽出が行えることが確認できた。図 4.11 は本シミュレー
ションにて調査を行った S/N 毎の雑音入りモデル輪郭画像に対して、それぞれ理想的なパラメータ設定での輪郭の抽出と追跡を行った際の追跡誤差総和を比較したグラフである。このグラフからも、画像に含まれる雑音の強度と追跡誤差総和との間に比例関係があることが示唆されている。一方で、パラメータ選択が適切でないと図 4.9(a), 図 4.10(a)の緑線に示されているように、正常な輪郭抽出を行うことができなくなる。これらの失敗例における輪郭抽出と追跡は、前節にて述べたリッジラインや曖昧なパターン境界に対する失敗例とは異なり、本来の画像上に存在する輪郭の抽出を行うことが全くできておらず、雑音によって生じている局所的な濃淡に反応して追跡が迷走しているように見える。
図 4.9(b),(c), 図 4.10(b),(c)は周波数及び窓サイズのみを変更した際の追跡誤差
総和の変化を示すグラフである。S/N≒0.8 のときは周波数が低め、或いは窓サ
イズが大きめであれば比較的少ない誤差での抽出と追跡が行えることがわかる
が、S/N≒0.2 のときは追跡誤差総和を低めに抑えることができるパラメータの組み合わせの範囲がかなり限定的であることが分かる。このことから、画像に含まれる雑音が強くなるほど、適切な輪郭抽出と追跡が行えるパラメータの組
み合わせの範囲が限定されていくことが分かった。
このシミュレーションを通じて、実際の生物電子顕微鏡画像なみの雑音が、それも人間の目による視認が難しいほどのかなりの強度のものが付加されていても、実用上の直流成分ゼロを実現した本手法であれば、パラメータである周66

波数𝑓0 と窓サイズ WS の設定さえ適切であれば十分少ない誤差範囲内での輪郭の抽出と追跡を行えることが示された。ただし、雑音が強くなるほど、追跡誤差を低く抑えることが難しくなることも示された。また、特に対象となる輪郭
がリッジラインである場合は、あえてガボールウェーブレットの cosine 成分のみを用いると良好な抽出と追跡が行えることが確認できた。さらに、追跡誤差
総和の計測から、画像に含まれる雑音が強くなるにつれて適切なパラメータ設
定の範囲が限定的になり、正確な輪郭抽出を行う為に厳密なパラメータ調整が求められることが分かった。

図 4.6 シミュレーション用の雑音入りモデル輪郭画像の作成方法。
(a,b) ベースとなるパターン境界画像とリッジライン画像。(c) 雑音像のベースとなるゴマ塩雑音（雑音領域の比率 20%）とその拡大図。(d) (c)に対してガウス型平滑化処理を行った微粒子雑音像。(e, f) (d)を SN 比約 0.8で加算調整した(a)と(b)の雑音入りモデル輪郭画像。

67

図 4.7 雑音入りリッジラインモデル輪郭画像に対するシミュレーション
結果。(a) cosine 成分のみによる輪郭の抽出と追跡の結果。右は雑音入り
リッジライン像。左はガボールウェーブレットの実部（cosine 成分）。(b)(a)に対する GFM。(c) (b)のピーク付近のラインプロファイル。(d) 通常通
り実部と虚部を共に利用した時の輪郭の抽出と追跡の結果。(e) (d)に対する GFM。

68

図 4.8
パターン境界雑音入りモデル輪郭画像に対するシミュレーショ
ン結果。(a) 雑音の SN 比約 0.8 の時の輪郭の抽出と追跡の結果。右は雑音入りパターン境界像。左はガボールウェーブレットの実部と虚部。
(b) (a)に対する GFM。(c) 直流成分ゼロ補正が無い場合の GFM。
(d) 雑音の SN 比約 0.2 の時の輪郭の抽出と追跡の結果。右は(a)と同様。
(e) (d)に対する GFM。この画像に対する抽出処理においては、探索線の長さ SL を 50 に設定した。

69

図 4.9

雑音入りパターン境界（S/N≒0.8）に対する追跡誤差総和の計測結果。(a) 赤線は理想的なパラメータ(𝑓0 : 10, 𝑊𝑆: 110)、緑線は不適切なパラメータ(𝑓0 : 10, 𝑊𝑆: 10)を用いた時の輪郭抽出結果の一例。理想的なパラメータを用いた時の追跡誤差総和は 11 画素であった。(b) 窓サイズ
WS: 110とした時の周波数の変化に対する追跡誤差総和の変化を示すグラフ。周波数𝑓0 : 1~32の追跡誤差総和が比較的低めであった。(c) 周波数
𝑓0 : 10とした時の窓サイズの変化に対する追跡誤差総和の変化を示すグラ
フ。窓サイズWS: 70以上であれば追跡誤差総和が比較的低めであった。

70

図 4.10

雑音入りパターン境界（S/N≒0.2）に対する追跡誤差総和の計測結果。(a) 赤線は理想的なパラメータ(𝑓0 : 10, 𝑊𝑆: 150)、緑線は不適切なパラメータ(𝑓0 : 10, 𝑊𝑆: 50)を用いた時の輪郭抽出結果の一例。理想的なパラメータを用いた時の追跡誤差総和は 25 画素であった。(b) 窓サイズ
WS: 150とした時の周波数の変化に対する追跡誤差総和の変化を示すグラフ。周波数𝑓0 : 1~10の追跡誤差総和が比較的低めであった。(c) 周波数
𝑓0 : 10とした時の窓サイズの変化に対する追跡誤差総和の変化を示すグラ
フ。窓サイズWS: 150, 160であれば追跡誤差総和が比較的低めであった。

71

雑音入りパターン境界の追跡誤差（S/N別）
30

追跡誤差総和[画素]

25
20
15
10
5
0
1

0.8

0.2

S/N

図 4.11

雑音入りパターン境界の S/N 毎の追跡誤差総和の比較グラフ。

パラメータ設定はそれぞれ理想的な追跡が行える組み合わせ(S/N≒1, 0.8のとき𝑓0 : 10, 𝑊𝑆: 110, S/N≒0.2 のとき𝑓0 : 10, 𝑊𝑆: 150)を用いた。

72

第5章 ガボールウェーブレットを用いた生物電子顕微鏡画
像の輪郭抽出実験結果

5.1 実験の目的

第 4 章の二つのシミュレーションによって、単純かつ明瞭である理想的なモデル輪郭画像だけではなく、より現実の生物電子顕微鏡画像に近い性質を持つ
かなり強度の強い雑音を含んだ雑音入りモデル輪郭画像に対しても、その輪郭の持つ性質に適した 2 次元ガボールウェーブレットを利用することさえできれば、本手法は理想的であれば誤差なく完璧に、そうでなくてもかなり正確に画像上の輪郭の抽出と追跡を行うことができることが示された。
本章では、実際の生物電子顕微鏡画像上の種々の細胞小器官に対して本手法を用いた輪郭の抽出と追跡を行い、その精度の検討を行った。

5.2 実験環境及び試料の作製と撮影

本実験において使用したコンピュータ（PC）の構成は次の通りである。

⚫

CPU:Intel Core i9 10980XE @ 3.00GHz 18 コア 36 スレッド⚫

メモリ:DDR4-2666(1333MHz) 16GB × 8 = 128GB⚫

OS:Windows10 Pro 64bit

実験にて用いた画像データは電子顕微鏡で撮影した後で上述の PC に取り込
み、ImageJ(version 1.53t)を用いて 8bit への階調変換、視野画像部分のみの切り73

出し、保存形式の変換等の加工を行った。
この実験の対象となる試料の材料としては、酵母とメタノール資化性酵母

Saccharomyces cerevisiae

Pichia pastoris の二種類を用意した。

Saccharomyces cerevisiae は栄養豊富な培地で培養し、その後窒素飢餓培地に移してから30℃で三～四時間培養した。細胞は液体プロパンの中に入れ、−85℃、アセトン中の 2%四酸化オスミウム中で二日間凍結置換を行い、その後
ゆっくりと室温まで温めた[41]。Quetol-812 を混合したものを試料に浸透させ、厚さ70 − 150nmの切片をシングルスロットの銅グリッドに集め、染色を行った[41]。最後にグリッドの両面をカーボン膜でコーティングした。
Pichia pastoris はメタノールを炭素源とした培地で生育させ、その後、グルコース培地に移して液胞形態の変化を誘導した[42]。細胞は遠沈して集め、急速凍結により固定し、その後凍結置換固定法によって試料を作成した[42-43]。
どちらの試料も、XR-41B 2-k CCD カメラ（AMT 社）を搭載した透過型電子顕微鏡 HT-7700（日立ハイテクノロジーズ社）を用いて加速電圧100kVおよび120kVで観察を行った。

5.3 実験の手順

5.2 節にて述べた生物超薄切片画像に対し、画像上に存在する各種細胞小器
官の輪郭の抽出と追跡を行った。第 4 章で行ったシミュレーションでは、図3.5 のフローチャートに示されている自動追跡アルゴリズムの内の手順 1～3 のみで輪郭の抽出と追跡を行ったが、本章では 3.2 節及び図 3.3, 図 3.4, 図 3.5 に示されるフローチャートに厳密に従って、輪郭の抽出と追跡を行った。このことはつまり、必要に応じて GUI ツールを用いた人的作業を行う場合があること74

を意味する。また、追跡の逸脱検知に用いる閾値や GFM 生成時の角度制限範
囲に関しては、自動追跡アルゴリズムによる輪郭の追跡を監視する中で、必要と判断した場合に適宜変更を行うこととした。

5.4 細胞小器官の輪郭追跡時における GFM の観察

酵母 Saccharomyces cerevisiae を用いた生物超薄切片画像上の各種細胞小器官に対して、本手法による輪郭の抽出と追跡を行った。図 5.1 に、その実験結果を示す。
本節では、具体的には画像上の脂質、核の外膜、ミトコンドリアの輪郭の抽出と追跡を行った。これらの各細胞小器官の輪郭は、第 4 章で抽出を行ったシ
ミュレーションモデル輪郭が混在したものであると見做すことができ、故に本節における抽出と追跡の実験対象として選択した。一部の輪郭線では GUI ツー
ルによる手作業を必要としたものの、図 5.1(a)の通り、ほぼ正確な輪郭の追跡を行うことができた。緑線が輪郭線、赤丸点が輪郭点を示す。この図中の数字の入った角括弧に紐付けられている矢頭は、GUI ツールによる人的作業が行われた、追跡の開始位置及び再開始位置（線分の先頭位置）を示している。短い矢印（2, 5 の角括弧が紐付いているもの）は、図 3.3 のフローチャート中の手
続 4 の処理”一時追跡停止し人的ツール作業”が行われた箇所を示し、また、V 印の矢印は自動追跡の逸脱が起こり、パラメータ自動再探索処理によってパ
ラメータ設定（周波数𝑓0 と窓サイズ WS）が変更された箇所を示す。表 5.1 は、各追跡区間で用いられた周波数𝑓0 と窓サイズ WS の一覧表である。また、図5.1(b)は、(a)に示されている輪郭の抽出と追跡の結果と比較する為の輪郭点、輪郭線を含まない原画像である。
75

図 5.2 は、図 5.1(a)に示されているアルファベットの入った丸括弧に紐付けられている各輪郭線に対応する GFM と、それらの生成に使われた 2 次元ガボー
ルウェーブレットを纏めた図である。図 5.2(A), (B)は、脂質の輪郭点に対応す
る GFM であり、この物体の追跡における典型例な GFM の例である。図 5.1(a)を見る限り、脂質の膜は人的作業が関わった二本の線分で膜全体のほぼ正確な抽出と追跡が行えているにもかかわらず、図 5.1(b)を観察すると分かる通り、膜そのもののコントラストは低めである。しかしながら、脂質とその周囲のリボゾームの多い細胞質との画素濃度差によって現れている境界線は明確に抽出と追跡を行うことができた。図 5.1(a)上の矢印(A), (B)が指す輪郭点に対応する
図 5.2(A), (B)の GFM は、どちらも明確な単一のピーク分布を示しており、本手法が脂質の膜の性質に合わせた適切なガボールウェーブレットを選択できており、それ故に良好な精度での抽出と追跡が行えたことを示唆している。
図 5.2(C), (D), (E)は、核の外膜の輪郭点に対応する GFM である。図から分かる通り、どれも明確なピーク分布を示している。これは、核の外膜を構成する
二重膜の外側と内側とでリボゾームのパターンが異なっていたことが有効に働いた結果であると考えられる。図 5.1(a)に示されている核の外膜の抽出と追跡
は時計回りに行われ、図左下での最初の手動設定箇所を除いた全ての輪郭の抽出と追跡が自動的に処理された。序盤に一度だけ追跡の逸脱が発生している（図左下の V 字矢印）ものの、パラメータ自動再探索処理により自動的に適切な周波数𝑓0 と窓サイズ WS が再設定され、人的作業を挟むことなく最後まで自動的に抽出と追跡が行われた。なお、この処理では、全体を通して二組のパラメータしか使われなかった。
図 5.2(F), (G)は、ミトコンドリアの輪郭点に対応する GFM である。図 5.1(b)を観察してみると、この画像のミトコンドリアには膜と呼べるものが現れてい76

ないことが分かる。その代わりに、最初から最後まで殆どの箇所で、ミトコン
ドリアに沿うリボゾーム配列が輪郭線と見做され、抽出と追跡が行われた。な
お、ここでの追跡は右から左へ向かって行われた。追跡の序盤に位置する輪郭点に対応する GFM（図 5.2(F)）を見てみると、そのピーク分布は比較的弱めだが、それでも正常な追跡が行われた。従ってこの時点では、本手法はミトコン
ドリアに沿うリボゾーム配列が形作る輪郭を忠実に追跡できていることが分かる。その後、追跡はリボゾーム領域側に若干逸れてしまうが、途中から再びリ
ボゾーム配列が成す輪郭を正確に追跡し始め、そのままこの輪郭抽出の終了条
件に達するまで抽出と追跡の処理を続けた。
このミトコンドリアの輪郭全体は大まかに三本の線分で構成されている。途
中で二度、一時追跡停止と人的作業が挟まっているものの、それ以外の箇所では自動的な抽出と追跡が行われた。図 5.2(F), (G)から、最初の一時追跡停止までは比較的低めの周波数𝑓0 が使われているが、その後の輪郭点では一転して高めの周波数が使われていることが分かる。図 5.2(G)に現れているように、高い周波数のガボールウェーブレットを用いて生成された GFM には、一般に複数のピークが存在する。このような場合でも、探索線の長さ SL を短くして GFMを狭めることで、疑似的に低周波のガボールウェーブレットを用いた場合と同じように、最適なピーク分布を選択することができる。図 5.2 の GFM 群に描画されている赤い四角形はこの手法を用いて疑似的に狭まった GFM の領域を示
している。

77

図 5.1 本手法を生物超薄切片の TEM 画像に適用した実験結果。
(a) 酵母細胞の画像の一部と本手法による輪郭線抽出の結果。N：核、
L：脂質、Cyt：細胞質、M：ミトコンドリア。矢頭：人的作業による開始もしくは再開、短い矢印：”一時追跡停止し人的ツール作業”を行った場所、V マーク矢印：自動追跡の逸脱によりパラメータ自動再探索処理が行われた地点。(b) (a)から輪郭線と輪郭点を除いた原画像。

78

図 5.2

図 5.1(a), (b)のアルファベットで示した輪郭点に対応する GFMと(A), (C), (F), (G)で使われたガボールウェーブレット画像。詳細は 5.4 節
で述べる。
79

表 5.1 5.4 節の実験における各追跡区間で用いられたパラメータの一覧
表。
脂質

記号

番号

f0

WS(画素長)

開始

1

15

70

追跡再開

2

11

140

番号

f0

WS(画素長)

—

11

140

—

21

170

番号

f0

WS(画素長)

1

21

90

核膜

記号

開始
自動追跡（ﾊﾟﾗﾒｰﾀ自動更新）

ミトコンドリア

記号

開始
外挿処理

2

66

190

—

61

200

自動追跡（ﾊﾟﾗ

—

65

170

ﾒｰﾀ自動更新）

—

70

110

—

73

100

追跡再開

3

48

110

追跡再開

4

93

60

外挿処理

5

10

110

5.5 酵母超薄切片電子顕微鏡像の細胞小器官の輪郭抽出

本手法の、凍結置換固定法によって作成した生物薄切片画像上に現れる細胞
膜、核、液胞等の細胞小器官の輪郭抽出への応用を行った。図 5.3 にその結果を示す。図 5.3 を見ると、どの細胞小器官の輪郭も抽出と追跡が正確に行えていることが分かる。図 5.4 は、図 5.3 に示されている輪郭抽出の結果と比較する為の輪郭点、輪郭線を含まない原画像である。
図 5.1(a)と同じく、図 5.3 上の数字の入った角括弧に紐付けられている矢頭は、GUI ツールを用いた人的操作による開始位置と再開位置を示す。短い矢印は、図 3.3 のフローチャート中の手続 4 の処理”一時追跡停止し人的ツール作
80

業”が行われた箇所を示す。核の輪郭上に存在する V マークの矢印は自動追跡の逸脱が起こり、パラメータ自動再探索処理によって自動的にパラメータ設定が更新された箇所を示す。表 5.2 は、各追跡区画で使われた周波数𝑓0 と窓サイ
ズ WS の一覧表である。
まず、細胞膜に関しては、コントラストを始めとした性質が第 4 章で抽出と追跡を行ったモデル輪郭の内の一つであるリッジラインに似通っていたため、
4.2 節のシミュレーション結果を参考に cosine 成分のガボールウェーブレットのみを用いてその輪郭の抽出と追跡を試みた。すると、細胞膜全体の半分近くを最初の人的処理以外の手動操作なしに自動的に追跡し続けた。途中で一度自動追跡が停止したものの、新たな開始点とパラメータ設定が自動的に与えられる形で追跡が再開された。途中、いくつかの箇所では細胞膜のリッジラインが少し広がっている箇所もいくらか存在していたが、ほぼ正確に最後まで自動的な輪郭の抽出と追跡を続けた。
次に、核に関しては、この画像上ではその輪郭に膜状の線を確認することができない。しかし、本手法によって細胞膜と核の境界を追跡することで、核の輪郭全体をうまく抽出することができた。ただし、GUI ツールによる簡易な手動作業が頻繁に要求されることになった。表 5.2 に示されているように、この画像の核の輪郭抽出においては低周波から高周波までかなり多様な周波数が使われた。これだけ広い範囲の周波数が用いられたのは、細胞質と核の境界が成すパターンが非常に多彩である為と考えられる。図 5.5 は、この画像の核の輪郭の一部を抜粋したものである。この輪郭は、一般的に追跡が困難であると思われる部分輪郭の典型的な例である。図 5.3 と同じく、V マークの矢印は自動追跡中に逸脱した後、パラメータ自動再探索処理によって自動的にパラメータ
設定の更新が行われた箇所を示す。この画像上の核は明瞭な膜状構造を持た81

ず、その輪郭の大部分はコントラストが低く、不規則で不明瞭なリボゾーム配列によって構成されている。しかし、そのような輪郭を対象としても、本手法ならば正確にその境界を追跡し、核の輪郭の抽出を行うことができた。
最後に、液胞に関しては、明確な膜状の線は小さいが幅が少し広がっており、輪郭全体に不明瞭な部分が見られた。こうした性質から想定される通り、
核と同じく GUI ツールによる手動作業が頻繁に求められたものの、全体的な輪郭の追跡そのものは良好に行われた。なお、今回の実験では、この液胞は反時
計回りに輪郭の抽出と追跡が行われた。一部存在した膜状の部分については、
リッジラインと見做せたため cosine 成分のガボールウェーブレットのみを用いたところ、正確な追跡を行うことができた。cosine 成分ガボールウェーブレッ
トのみで追跡を行った箇所がどの部分であるかは、表 5.2 の備考欄に示されている。線幅が僅かに広がっていた部分や輪郭が不明瞭な部分については細かく線分化されてしまっているものの、その中心はほぼ正確に追跡することができていた。
この画像の液胞には、比較的明瞭なリッジライン状の輪郭と不明瞭な輪郭との境界となる箇所が存在しているが、このような場所の近辺でも滑らかに追跡が行われている。具体的には、図 5.3, 図 5.4 の 7 番と 14 番の角括弧が紐付けられた短い矢印が示す箇所が該当する。この箇所では図 3.3 のフローチャート
中の手続 4 の処理により一時的に追跡が中断され、それまでの輪郭点列からその延長線上に新たな開始点を指定し、さらにパラメータ自動再探索処理が行われ、適切なパラメータが再設定されている。表 5.2 の内、液胞のパラメータリ
ストの 7 番と 14 番に対応する箇所（曲線矢印で強調されている箇所）では、追跡が再開されるその前後で周波数が大きく変化していることが分かる。これは、GFQ によって局所的な画像の性質の変化がうまく捉えられていることを顕82

著に示している。
また、本手法を用いることで輪郭抽出において具体的にどの程度人の手間を削減することができたのかを表す指標として、抽出された全輪郭点に対して、本手法によって自動的に抽出された輪郭点の占める割合を用いることで、各輪郭抽出の自動化率の評価を、さらに、各輪郭追跡における連続的に自動追跡が行えた輪郭点数の平均値を用いて、本手法による自動追跡のロバスト性の評価を行った。表 5.3 に本節の実験にて行った各種細胞小器官、すなわち細胞膜、核、液胞の輪郭抽出の自動化率と平均連続追跡点数を示す。
殆ど明瞭なリッジで構成されていた細胞膜については平均連続追跡点数が総輪郭点数の半分近い値となっており、前述した通り一度の追跡で全体の半分近くの輪郭を抽出できるほど安定した自動追跡が行われたことが示されている。
自動化率もほぼ 100%に近い値となっており、殆ど人の手間をかけることなく輪郭の抽出が行えたことが分かる。一方で、輪郭の一部に不明瞭なパターン境界が存在する核や液胞については自動化率が約 95%であり、全輪郭点を人手で抽出することに等しい手描きによる輪郭抽出と比較すれば手間の殆どを削減できていると言える。平均連続追跡点数は約 20 点前後であり、補正点数からも分かる通り全輪郭の抽出に凡そ 10 回ほどの人力補正が必要であったことを示している。
核の輪郭抽出は、リボゾーム配列により輪郭が明瞭である上部(図 5.3 核輪郭[7]～[8], [11]～[1])では連続で約 80～85 点と比較的安定した追跡が行えているのに対し、目視での確認も困難な不明瞭なパターン境界で構成されている下部(図 5.3 核輪郭[1]～[2], [3]～[7])では平均約 9 点とあまり安定した追跡が行えず
人的補正処理が頻繁に要求されており、場所によって自動追跡の安定性が大きく変わる結果となった。その一方で、液胞の輪郭抽出は核の輪郭のようにリボ
83

ゾーム配列により輪郭が視認しやすくなっているような箇所もなく、全体的に不明瞭な輪郭により構成されている為か図 5.3 液胞輪郭[6], [14]を除いて連続追跡点数は 30 点未満であり、全体を通してあまり安定した自動追跡が行えていなかったといえる。

図 5.3 本手法を超薄切片電子顕微鏡像上の酵母の細胞小器官のセグメン
テーションへ応用した例。細胞膜（CM）、核（N）、液胞（V）の輪郭線
抽出結果。

84

図 5.4 図 5.3 から輪郭線や輪郭点を除いた原画像。角括弧 7 番と 14 番が紐付く短い矢印の示す箇所では、明瞭な輪郭と不明瞭な輪郭が滑らかに接続されていることが分かる。

85

図 5.5 核の部分的な輪郭画像の典型例。追跡が困難と思われる。(a) その拡大図と追跡結果。(b) 輪郭線、輪郭点を除いた原画像。(A)：一旦停止した自動追跡の再開箇所。(B-F)：自動追跡中に逸脱が検知され、パラメータ自動再探索処理によってパラメータを変更して追跡が続行された箇所。

86

表 5.2 5.5 節の実験における各追跡区間で用いられたパラメータの一覧表。関数構成欄の”cosine 成分のみ”は cosine 成分のガボールウェーブ
レットのみを追跡に使用したことを示す。
細胞膜

記号

番号

f0

開始

1

80

50

cosine成分

開始

外挿処理

1

42

130

のみ

自動追跡

WS(画素長) 関数構成

液胞

記号

番号

f0

1

99

1点分

—

—

2

100

140

3点分

—

—

3

34

30

1点分

—

—

4

12

200

2点分

—

—

5

85

160

5点分

—

—

6

46

60

—

—

48

60

—

—

56

70

7

98

90

—

8点分

—

—

8

35

80

3点分

—

—

9

96

100

4点分

—

—

10

69

120

1点分

18

200

11

95

200

3点分

—

—

12

74

40

cosine成

2点分

—

—

分のみ

13

85

160

—

—

14

190

—

—

17

180

14

74

120

cosine成

—

1点分

17

60

分のみ

—

外挿処理
自動追跡

—

追跡再開
核

記号

番号/文字記号f0

WS(画素長)

自動追跡

開始

1

24

140

外挿処理

外挿処理

2/(A)

52

200

自動追跡

(B)

93

100

追跡再開

(C)

46

80

自動追跡

(D)

44

120

外挿処理

(E)

61

200

(F)

92

90

追跡再開

3

86

180

外挿処理

外挿処理

4

53

70

自動追跡

外挿処理

5

42

180

追跡再開

追跡再開

6

25

90

自動追跡

自動追跡

3点分

—

—

追跡再開

外挿処理

7

95

180

自動追跡

自動追跡

2点分

—

—

外挿処理

外挿処理

8

61

170

自動追跡

自動追跡

1点分

82

150

追跡再開

外挿処理

9

89

50

自動追跡

外挿処理

10

38

100

追跡再開

追跡再開

11

45

100

自動追跡

自動追跡

自動追跡

—
—
—

—
—
—
—
—

追跡再開
自動追跡
外挿処理
自動追跡

WS(画素長) 関数構成160

表 5.3 5.5 節の実験における各輪郭追跡の平均連続追跡点数と自動化率
の比較表。
総輪郭点数

補正点数 平均連続追跡点数 自動化率[%]

細胞膜

612

2

306

99.67

核

269

11

24.45

95.91

液胞

262

14

18.71

94.66

自動化率

=

総輪郭点数 − 補正点数
× 100
総輪郭点数

87

通常構成

通常構成

5.6 酵母超薄切片電子顕微鏡像の複雑な糸巻き状液胞膜の輪郭抽出

本手法の更なる応用として、複雑な形態を示すメタノール資化性酵母
Pichia pastoris の内部の液胞膜の輪郭抽出を試みた。メタノール源で生育させた酵母はメタノール代謝が盛んに行われる。一般的には、液胞は丸い形態を保つ
細胞小器官であるが、その細胞をグルコース培地に移した場合、メタノール代
謝が不要になり液胞膜が内部に陥入し、超薄切片で切断面を観察すると糸巻き状の複雑な形態を示す。図 5.6, 図 5.7 の超薄切片像には、そのような複雑に分裂した液胞の膜形態が示されている。太い黒矢印で強調している箇所がその典型例である。本節は、この複雑な膜形態の輪郭追跡に本手法を応用することを主目的としている。また、この細胞像内には随所に存在しているミトコンドリ
アのほか、細胞膜や液胞といった一般的な細胞小器官の姿も観察できる。今回は、これらの一般的な細胞小器官の輪郭の抽出と追跡も行うこととした。図5.6 には小器官の種類ごとに異なる色の線と赤丸点により、これらの輪郭抽出の結果が示されている。
輪郭抽出の結果を詳しく確認することができるよう、図 5.7 に抽出結果の比較を行う為に抽出された輪郭線と輪郭点を除いた原画像を、図 5.8 に自動的に追跡が行われた輪郭点間のみを色付き線で接続した結果をそれぞれ示す。図5.8 上で途切れている箇所は、図 3.3 に示されているフローチャートにおける手
続 1 にあたる開始もしくは再開の為の人為作業か、或いは手続 4 にあたる追跡を一時中断して行う手動作業により、そこで一旦自動追跡が途絶えたことを示している。
明瞭なリッジラインのコントラストを示す細胞膜の追跡においては、矢印で示されている一箇所の開始の為の手動操作（手続 1）と赤い点線丸で示されて88

いる六箇所の人為的ツール作業（手続 4）とで総計 7 回の人為的な作業を挟んだが、それらの間の輪郭はすべて自動的に追跡が行われたため、自動追跡処理に対する人為的作業の割合は少なく済んでいる。細胞膜はその殆どが cosine 成
分のガボールウェーブレットのみを用いる手法により、目視ではあるが精度良く抽出された。
ここで、細胞膜の輪郭抽出において人為的ツール作業（手続 4）が行われた
誤追跡の事例を図 5.6(a-1)に示す（矢頭が示す箇所）。この事例では、細胞膜を追跡している最中に近傍の別の輪郭に脱線してしまっている。これは、この箇所の僅かな局所画像やコントラストの変化が原因と考えられる。この事例で行われた人為的ツール作業（手続 4）の具体的内容を、図 5.9 に示した。まず、開始の為の手動操作（手続 1）として、最初の輪郭点探索の開始座標(x, y)と方向(𝜃)を示す開始短線(𝑥, 𝑦, 𝜃) = (584, 138, 33°)を指定した（図 5.9 の赤矢印及び赤短線）。続いて、パラメータ自動再探索処理により周波数𝑓0 = 46、窓サイズ
WS = 150が選択され、正常な追跡が 34 点分行われた後、続く 35 点目の輪郭点
が細胞膜の輪郭から逸脱した。逸脱直前の輪郭点は(864, 112)であった（図 5.9の緑矢印）。この誤追跡を修正する為に、手続 4 による人為的作業による軌道修正を行う。まず初めに GUI ツールを用いて逸脱直前の輪郭点(864, 112)まで追跡を戻し、その 1 点前の輪郭点(856, 112)までを正確な輪郭抽出結果として確定する。続いて、(856, 112)における接線角度が179°、この接線角度から求められた予測点が(865, 112)であったことから、新たな開始短線(𝑥, 𝑦, 𝜃) =(865, 112, 179°)を GUI ツールを用いて外挿を行う形で正しい輪郭追跡を行うよ
うに指示を与えた（図 5.9 の橙矢印及び橙短線）。この人為的作業により、図5.9 下部に示されている通り、誤追跡の修正を行うことができた。
像コントラストが明瞭な液胞（糸巻き状の形態を示す液胞膜を内包してい89

る、円形のもの）の輪郭の抽出は、図 5.8 上では一つも切れ目が存在していないことからも分かる通り、開始の人為的作業（手続 1）以外の全ての輪郭点が自動追跡され、開始点近傍まで戻り終了条件を満たして完了している。この追跡で用いられたパラメータは周波数𝑓0 = 15(𝑇0 ≅ 68)、窓サイズWS = 70の一組のみであった。つまり、開始から完了まですべての輪郭点をこのパラメータで抽出できている。
内部に陥入した複雑な液胞膜の追跡結果は興味深い。この輪郭は比較的明瞭な膜状の部分と不明瞭な部分とが混在しているが、多くの部分が cosine 成分のガボールウェーブレットのみで追跡でき、目視ではあるが全体としては良い精度で輪郭抽出が行えたと考えている。ただし、前述した細胞膜や液胞膜のようにはいかず、人為的ツール作業（手順 1 及び 4）が多くの場所で必要であった。このことは、図 5.8 上の糸巻状の陥入液胞膜の輪郭に多くの途切れがあることからも分かる。図中にいくつか事例として、再開作業を黒点線丸で、人為的ツール作業を赤点線丸で示した。また、誤追跡の事例を図 5.6(a-2)に示した（矢頭の位置）。手続 4 は外挿法で再開の開始点を少し飛ばす処理であるた
め、追跡が途切れた個所の両先端の方向がほぼ一致している箇所があれば、そこが手続 4 が実行された箇所である。抽出に際して人為的作業がしばしば必要ではあったが、しかし手書きと比較すればはるかに容易であり、また手書きでは不可能に近い輪郭でも正確に抽出できる点は、本手法の大きな利点であると考えている。
複雑な液胞膜の一部を抜粋し、図 5.10 で詳細に述べる。基本はリッジライン
である為 cosine 成分のガボールウェーブレットのみによる追跡を行った。比較用に、通常の GFM も掲載した。こちらではピークが現れず正常な追跡が不可能であった。やはり、cosine 成分のみを用いた GFM が鋭いピーク分布を示90

し、精度の高さが実証された。
ここで、自動追跡アルゴリズムの予測誤差マップにより、パラメータ𝑓0 とWS の自動更新の一例を解説する。図 5.10 の[1-6]の位置で、自動追跡の逸脱が検出された。この時の GFM が図 5.10(a)の中央に掲載されている GFM である。横軸に平行に三つのピークが出現しており、そのうち右側のものが最大ピークであった。図 5.10(b)の[1-6]周辺を観察すると、確かに局所的な像の変化が起こっており、逸脱が起きそうに思える。実際、GFM の端の方にピークが出現している為閾値条件から逸脱と判定され、予測誤差マップを用いた𝑓0 と WS の更新手続きへと進んだ。この時生成された予測誤差マップが、図 5.10(b)に示されているものである。このマップ上には(∆𝑝 + ∆𝜃)が最小となる箇所が複数存在していた（マップ内の黄色の箇所）が、3.3 節にて述べた優先順位により、𝑓0 =74, WS = 70が選択された。このパラメータに対応する GFM が図 5.10(a)の右側のものであり、此方は確かに中央に最大ピークが出現している。これにより、再び自動追跡が開始された。このような自動更新や人為的ツール作業による追跡履歴を表 5.4 に示す。図 5.10, 5.11 に登場する追跡記号の[・]は、この表と対応している。
ミトコンドリアの輪郭に関しては、一見明瞭なようで子細に観察すると不明
瞭な部分もそれなりに見受けられる。ミトコンドリアの内の一つを抜粋し、その輪郭追跡について解説する。図 5.11 のミトコンドリアの輪郭の追跡開始地点
は[1-1]である。この輪郭追跡において、特徴的な 2 か所を選んだ。一つは[3]で、ここは特に不明瞭な輪郭である。しかし、図 5.12(a)の上段に示されているように、本手法であれば GFM の中央付近にピーク分布が現れ（ただし、探索
線の長さ SL を狭めておく必要がある。ここでは±10画素内まで狭めた。）、これほど不明瞭な輪郭であっても正確に捉え追跡することができる。比較のため
91

に、直流成分ゼロでない従来のガボールウェーブレットによって生成されたGFM を図 5.12(b)に示したが、有力なピーク分布は現れなかった。もう一つの例として、図 5.11(a)において黒矢印で示した比較的明瞭なステップエッジのGFM も図 5.12(a), (b)の下段に示した。本手法であれば中央付近に明瞭なピーク分布が出現し特に問題なく追跡を行うことができたが、直流成分ゼロでない従
来のガボールウェーブレットではピーク分布が現れず、追跡に失敗した。
その他のミトコンドリアを含めた結果からは、細胞質内のリボゾーム微粒子
像が輪郭に重なり、その結果輪郭が曖昧になってしまっている箇所がしばしば見受けられる。この微粒子像により追跡が乱されたと思しき箇所がところどこ
ろ見受けられた。このような場合は、本手法では抽出された輪郭点のデータがすべて記録されている為、これを子細に確認し、必要に応じて修正を行う必要があるだろう。
さらに、前節と同様に本手法を用いることで具体的にどの程度人の手間を削減することができたかを評価する為に、本節の実験にて行った輪郭抽出全てについてその平均連続追跡点数と自動化率を求め、本実験における自動追跡のロ
バスト性及び手間の削減の割合の調査を行った。本実験における各輪郭抽出の
平均連続追跡点数と自動化率を表 5.5 に示す。
糸巻状の陥入液胞膜を内包している液胞の輪郭や細胞膜の輪郭抽出は、前節の実験にて用いた画像上の細胞膜と同様に大部分が明瞭なリッジラインで構成されている為か、連続追跡点数並びに自動化率のどちらも良好な結果であった。前述したように液胞の輪郭については 1 回の追跡で全輪郭の抽出が行えている為、自動化率はほぼ 100%であった（最初の開始点は必ず人為的に指定する必要があるため、完全に 100%にはならない）。細胞膜については、前節の実験よりも補正点数が増えているものの自動化率は約 99%であり、平均連続追跡92

点数も後述する陥入液胞膜やミトコンドリアと比較しても十分多く、安定的な自動追跡が行えていたといえる。
一方、糸巻状の陥入液胞膜やミトコンドリアの輪郭抽出は、陥入液胞膜を内包する液胞の輪郭や細胞膜と比較して自動化率並びに自動追跡の安定性どちらの面でもやや精度が落ちていることが分かる。ミトコンドリアについては個体差が大きく、かなり明瞭なステップエッジで構成された輪郭を含む個体である(M-3)～(M-5)の自動化率は約 95%前後で平均連続追跡点数も他の個体より比較的多い。一方で(M-6)～(M-8)は自動化率が 90%未満であり、平均連続追跡点数
も 7～8 点ほどしかない。これは、不明瞭なパターン境界を有していることに加え、これらの個体が他の個体と比較してお互いにかなり密接してるために、追跡の逸脱が発生しやすかったことが要因であると考えられる。他の物体輪郭と比較して複雑な形態を示している陥入液胞膜についてはすべて自動化率 95%未満であり、特に複雑な形態である(V-5), (V-6)については 85%以下であった。
また、どの個体も総輪郭点数が細胞膜より少ないにもかかわらず平均連続追跡
点数は細胞膜よりかなり少なく、安定した自動追跡が行えず数多くの人為的作業が要求されたことが分かる。陥入液胞膜は不明瞭なパターン境界を多く有し、ミトコンドリア(M-6)～(M-8)のように互いに密接しており逸脱が発生しやすかったことに加えて、特に(V-3), (V-5), (V-6)については滑らかではない急峻な箇所が存在していたことが要因であると考えられる。本手法は抽出の対象となる輪郭が滑らかな角度変化を伴っていると想定して輪郭抽出と追跡を行う為、こうした急峻な輪郭の追跡を安定して行うことが難しい。GFM 生成時の角度制
限範囲や自動逸脱検知の閾値の設定を工夫することによりある程度までは自動的な抽出と追跡が行えるものの、より安定した自動的な抽出と追跡を行う為には、自動輪郭抽出アルゴリズム自体の改良が必要になるものと考えている。
93

図 5.6 酵母の超薄切片電子顕微鏡像に対する本手法の応用結果
液胞の陥入によって生じた複雑な糸巻状の輪郭抽出を主として、それらを包み込む液胞（V）、細胞膜（CM）、ミトコンドリア（M）の追跡結果。(a-1, a-2) 追跡中に発生した誤追跡の事例（矢頭の位置）。(a-3) 僅かな像コントラストの差異から、輪郭の解釈が分かれた追跡の事例。(V-1)～(V-6) 陥入液胞膜。番号は表 5.5 に対応。(M-1)～(M-8) ミトコンドリ
ア。番号は表 5.5 に対応。

94

図 5.7 図 5.6 から輪郭線や輪郭点を除いた原画像。輪郭抽出の結果を比較する為に掲載した。結果の詳細な評価については本文を参照。

95

図 5.8 自動追跡された輪郭点のみを繋いだカラー線描画。途切れている
点は、開始及び途中の再開の人為作業（手続 1）か追跡途中の人的ツール
作業（手続 4）により自動追跡が中断された点である。赤点線丸と黒点線
丸で、手続 1 並びに手続 4 の事例をいくつか示す。

96

図 5.9 人為的ツール作業（手続 4）の具体的説明図。赤矢印で示した箇所から開始短線を指定して輪郭抽出処理を行わせたところ、緑矢印で示した箇所まで正常に追跡が行え、その次点で追跡が逸脱した。そこで、追跡が逸脱する直前の橙矢印で示した箇所から、それまでに抽出された正しい輪郭点群から得られた情報を基に新たな開始短線の外挿を行う事
で、逸脱の修正を行った。

97

図 5.10 複雑な糸巻き状の輪郭追跡の経緯を示す詳細説明図。
(a, b) 実際の追跡結果を説明する為一部の結果を拡大している。追跡記号の[・]は、表 5.4 と対応している。

図 5.11 ミトコンドリアの輪郭追跡の詳細を示す図。(a) 追跡記号の[・]は、表 5.4 と対応している。(b) 輪郭追跡結果との比較の為、輪郭点と輪郭線を除いた原画像を示した。

98

図 5.12 図 5.11 のミトコンドリアの輪郭の GFM と使われたガボールウェーブレットの波形。

99

表 5.4

陥入液胞膜、及びミトコンドリアの輪郭の追跡経緯事例
陥入液胞膜の事例（図 5.10 参照）
経過

番号

f0

追跡再開

１－１

53

100

１－２

53

80

１－３

67

40

自動追跡

１－４

49

20

(ﾊﾟﾗﾒｰﾀ

１－５

72

60

自動更新)

１－６

74

70

cosine成

１－７

54

130

分のみ

１－８

57

190

2

91

90

追跡再開
自動追跡
(ﾊﾟﾗﾒｰﾀ
自動更新)

９箇所(ﾊﾟﾗﾒｰﾀ
自動更新)省略(位置省略)

追跡再開
自動追跡

3

WS(画素長) 関数構成

45

３箇所

120
通常構成

省略

(位置省略)

ミトコンドリアの事例（図 5.11, 5.12 参照）
経過

番号

f0

WS(画素長)

開始

１－１

89

110

21

50

77

55

自動追跡
(ﾊﾟﾗﾒｰﾀ
自動更新)

１箇所
１－２

追跡再開

２－１

自動追跡

２箇所

(ﾊﾟﾗﾒｰﾀ

２－２

92

50

自動更新)

２－３

75

120

追跡再開

3

9

130

自動追跡
(ﾊﾟﾗﾒｰﾀ

ー

自動更新
追跡再開

自動更新

で追跡

4

自動追跡
(ﾊﾟﾗﾒｰﾀ

同じ周波数、窓サイズ

ー

13

100

同じ周波数、窓サイズ
で追跡

100

表 5.5 5.6 節の実験における各輪郭追跡の平均連続追跡点数と自動化率の比較表。
総輪郭点数 補正点数 平均連続追跡点数 自動化率[%]
陥入液胞膜(V-1)

312

20

15.6

93.59

陥入液胞膜(V-2)

328

24

13.67

92.68

陥入液胞膜(V-3)

335

33

10.15

90.15

陥入液胞膜(V-4)

136

14

9.71

89.71

陥入液胞膜(V-5)

100

15

6.67

85.00

陥入液胞膜(V-6)

45

9

5

80.00

液胞

365

1

365

99.73

細胞膜

595

7

85

98.82

ミトコンドリア(M-1)

53

4

13.25

92.45

ミトコンドリア(M-2)

36

5

7.2

86.11

ミトコンドリア(M-3)

54

3

18

94.44

ミトコンドリア(M-4)

49

2

24.5

95.92

ミトコンドリア(M-5)

91

4

22.75

95.60

ミトコンドリア(M-6)

69

8

8.63

88.41

ミトコンドリア(M-7)

59

8

7.38

86.44

ミトコンドリア(M-8)

58

8

7.25

86.21

自動化率

=

総輪郭点数 − 補正点数
× 100
総輪郭点数

101

第6章 考察及び結論

我々は画像上の物体輪郭を直接検出するガボールウェーブレットを用いた手法の初期の研究論文（2000 年前後）[22-24]を検討し、その結果、本研究を通じて、ガボールウェーブレットによる輪郭抽出能力を、直流成分を実効的に完全にゼロにすることでより高めることができた。ウェーブレット変換の理論上、本来は直流成分が発生しないガボールウェーブレットであっても、実践的なディジタル画像処理においては展開できる領域が制限されてしまう為、実用上では直流成分が残ってしまう事に気づき、ガボールウェーブレット関数を一部改変することで、実用上でも完全に直流成分を取り除くことができた。なお、
log-Gabor 関数を用いることでも直流成分をゼロにすることが可能だが、我々の手法ではガボールウェーブレットを輪郭付近の窓領域内に封じ込めてしまう為
ガウス窓関数による減衰が制限され、やはり、実用上は直流成分がゼロにはならない。また、ガボールウェーブレットのパラメータの簡略化を行い、周波数
𝑓0 と窓サイズ WS の 2 つのパラメータのみで定義した。これは非常に簡潔であり、我々の提案する自動追跡方式にも有利に働く。
この改変したガボールウェーブレットを用いて画像上の輪郭抽出に利用した
ところ、リッジラインやステップエッジ、微妙に異なるパターン同士の境界を正確に検出することができる（図 4.2(a2)）他、雑音によって視認が難しくなったリッジラインやパターン境界であっても高精度に抽出することができた図
4.7, 図 4.8 。また、実際の生物超薄切片電子顕微鏡画像に対する実験においても、このような境界を正確に抽出し追跡することができている図 5.1, 図 5.3。
これらの実験結果は、薄切片試料の作成時にその切削面が試料に含まれている
細胞小器官の輪郭面と垂直でない為に現れることがある、不明瞭な輪郭を適切102に抽出する上で本手法が有効に働くことを示している。
このように、特段フィルタリングなどの前処理も必要とせず、直接的に輪郭の抽出を行うことができるという点は、他の輪郭抽出の手法にはない利点であると我々は考えている。ガボールウェーブレットがこのような能力を持っているのは、ガボールウェーブレットと画像を畳み込むことが、フィルタリングと同様の働きをするためと考えられる。適切な周波数と窓サイズを指定することによって、似通ったパターン境界の僅かな差異であっても、正確に捉えることができるのであろう。僅かな差異しか持たないようなパターン境界を適切に抽出し、追跡を行えることは、画像上の輪郭抽出と追跡のタスクにおけるガボー
ルウェーブレットの威力をよく示している。本研究では 4.2 節にて S/N≒1, 0.8,
0.2 の 3 つのパターンにおける追跡誤差総和の比較による精度比較を行った
が、S/N の変化に対する本手法による輪郭抽出精度のより厳密な定量的議論は今後の研究課題と考えている。
特にリッジラインの追跡については、リッジラインのラインプロファイルとcosine 関数とが似通っている為に、通常通り sine 関数と cosine 関数を両方利用するよりも、cosine 関数のみ利用した方がかえって安定して追跡を行うことができる[22-24]。例えば図 5.3 の TEM 像では、細胞膜は明瞭なリッジライン状のコントラストとして現れている。しかし、注意深く観察すると、その周辺に時折ステップエッジのようなコントラストが見受けられる。また、膜が厚くなってステップエッジが 2 つあるように見える箇所も存在する。膜構造の追跡を行う際は、こうしたその周辺の他の要因が追跡に悪影響を与えることが多い。この為、あえて cosine 成分のみに限定してしまう事により、かえって膜構造の追跡が安定する。このような状況では、通常通り sine 成分と cosine 成分の両方を使う手法では、周波数𝑓0 と窓サイズ WS を頻繁に変更することで膜構造の追跡
103

を行おうとする為、抽出される輪郭は実際の輪郭から僅かにずれてしまう上に、頻繁にパラメータ再探索処理が行われることで追跡にも長い時間がかかってしまう。対して、cosine 成分だけに制限する手法であれば、パラメータを数回変更する程度で最後まで正確に追跡することができる。
我々は、本手法を生物試料超薄切片の電子顕微鏡像内に現れる様々な細胞小器官や、図 5.6 に現れているような、液胞膜が内部に陥入してできた糸巻状の複雑な形態など、多様な細胞内構造体の輪郭抽出に応用した。その結果、比較的単純な細胞小器官から糸巻状の陥入液胞膜まで、殆どの細胞内構造体に対して本手法は概ね正確に動作し、膜構造のリッジラインだけではなく、図 5.10 で子細に示したように、像コントラストが僅かな輪郭であっても的確に追跡が行えた。また、図 5.6(a-3)に示した輪郭抽出の結果は糸巻状の陥入液胞膜の一部であるが、この部分の追跡結果は二通り存在しており、どちらも正しいと判断できたため、このような形で二通り示すこととした。本手法では、このように解釈の分かれる輪郭に対して、上手く設定を変えることなどにより、個別に抽出を行うこともできる。生物超薄切片画像上に現れる物体輪郭が試料作製時の切断面の問題で不明瞭で曖昧なものになってしまう事は多々ある為、このように可能性のある複数の輪郭線に対して追跡を行うことができるというのは、十分に意味のあることと思われる。
図 5.12 で比較したように、ステップエッジに対する輪郭追跡では、従来の直流成分がゼロではないガボールウェーブレット関数では、直流成分を持つために畳み込み積分を行っても GFM 上に適切なピークが現れず、輪郭追跡の精度が悪かったり、そもそも追跡が行えなかったりしていた。対して、本手法であれば、僅かな像コントラストの差や似通ったテクスチャ境界であったとしても正確に追跡を行うことができる。しかしこのことは、こうした微妙な輪郭に対
104

しては追跡が逸脱しやすいことも意味する。実際の画像上の細胞小器官の輪郭抽出と追跡の実験の際には、途中で想定外の方向へと追跡を始めたり、近隣に存在する別の構造体の輪郭を抽出しそちらの追跡を始めてしまう等の誤抽出・
誤追跡が発生し、目的の細胞小器官の輪郭を最後まで適切に抽出することができないことが多々あった。こうした問題を回避する為に、GFM の生成時に探索を行う角度範囲や探索線範囲を狭めたり、自動追跡アルゴリズムで述べたような追跡の逸脱を自動検知し、パラメータを適切な値に更新する手法を編み出した。また、今回開発した輪郭抽出プログラムには事前に設定した条件に応じて輪郭の自動追跡を途中で終了することができる機能が搭載されており、例えば、輪郭追跡時の接線角度の急激な変化や近隣の別の構造体の輪郭の誤追跡を検知した場合に、追跡を終了させることができる。その上で輪郭抽出支援用のGUI ツールを利用する事で抽出結果のうち、適切な部分のみを採用し、その続きから再度輪郭抽出を再開するということも可能である。こうした回避策をうまく駆使することで、糸巻状の複雑な形態を示す液胞膜の輪郭であっても、人為的なツール作業がそれなりに必要ではあるものの、最終的にはかなり正確な抽出結果を得ることができた。
また、本手法による自動追跡のロバスト性を評価する指標の一つとして、表
5.3, 表 5.5 に本手法による実際の画像上の輪郭追跡の自動化率を示した。この
指標上においては、本手法による輪郭抽出は少なくとも 8 割程度の輪郭点を自動的に抽出することが可能であり、全ての輪郭点を人力で抽出しなければならない手描きによる輪郭抽出と比較すれば煩雑さも恣意性も十分減らすことができている為、我々の目標でもある”可能な限り人の手を削減する”という観点において、本手法は有用であると考えている。しかし、特に人間の目視でも判別の難しいような曖昧な輪郭である、他の輪郭と密接している、角度変化の激105

しく急峻である等の特徴を持つ輪郭については安定した自動抽出を行うことが難しく、対象によっては全輪郭の抽出を行う過程で 20～30 回ほどの人為的作業が要求される場合もある。今後は、こうした特徴を持つ輪郭に対しても求められる人為的作業を可能な限り削減できるように、自動輪郭抽出アルゴリズムの改善を行うことが課題であるといえる。例えば、今回開発した輪郭抽出プロ
グラムは抽出した輪郭点の座標情報を全て記録している為、この座標情報を基に輪郭の平滑化などの後処理を行う等の方法が考えられる。なお、本研究は生物超薄切片電子顕微鏡画像上の物体輪郭の抽出手法の開発に重点を置いており、ロバスト性についての調査は行っていない。しかし、本手法をより実用的な輪郭抽出法として確立する為に、本手法による自動輪郭抽出手法のロバスト
性のより厳密な調査を行う必要があると考えており、これも今後の研究課題の一つであるといえる。
また、別の課題として処理速度が挙げられる。本手法では、追跡のたびに大量の畳み込み演算を行う為、特に窓サイズ WS や探索線の長さ SL によっては、十点ほどの追跡であっても数十分かかることがある。最も時間がかかる処
理はパラメータ自動再探索処理であり、この処理は周波数𝑓0 と窓サイズ WS を変えながら輪郭抽出を行うことをひたすらに繰り返すアルゴリズムである為、一度パラメータ再探索が開始されるとしばらくの間そこで追跡が止まってしまう。しかし、アルゴリズム上、独立して演算が行える箇所自体は多い為、
GPGPU 等のより高速な並列演算技術を取り入れることができれば、処理時間の削減は十分可能であると考えている。
さらに別の課題として、物体輪郭の認識精度の問題がある。一部の細胞小器官の輪郭であれば人間と同等レベルの認識精度を誇っているが、それ以外の輪郭については更なる改善が必要と考えている。4.1 節, 4.2 節にて行ったシミュ
106

レーションでは、本手法はリッジライン、ステップエッジ、パターン境界の三種のモデル輪郭画像に対して、抽出に利用する 2 次元ガボールウェーブレットのパラメータが適切な組み合わせであれば、理想的には完全に誤差無く輪郭の抽出と追跡を行えることが示されている。しかし、人間の目視でも判別が難し
いような曖昧なパターン境界である場合や画像に強い雑音が含まれている場合
は、理想的な抽出が行えるパラメータの組み合わせが限定的になりその探索に困難が伴う上に、仮にその理想的な組み合わせのパラメータ設定を用いたとしても完全に誤差をゼロにすることはできない。理想的なパラメータの組み合わせの探索問題に関しては、本手法ではパラメータ自動再探索処理を採用することにより解決しているが、完全に誤差をゼロにするためには自動輪郭抽出アル
ゴリズム自体に大きな改良を加え、特に不明瞭なパターン境界の認識精度や雑音耐性の向上を行う必要があると考えている。また、現実の電子顕微鏡画像上の輪郭抽出においても、例えば、図 5.3 に示されている細胞膜や比較的明瞭な
液胞膜の抽出結果の一部はグラウンドトゥルースに近い。こうした薄い膜構造については安定して自動的な忠実な抽出と追跡ができている為、認識精度が高いといえる。ただし、こちらはあくまで目視での評価となる。一方で、今回の実験で抽出の対象となったいくつかの細胞小器官の輪郭やパターン境界はぼやけたものであり、こうした境界によって構成されている輪郭の抽出を安定して自動的に行うことはシミュレーションの結果でも示されているように困難であり、このような輪郭の認識精度については今後改良の余地がある。また、本手法は画像上に現れている輪郭の多くを適切に抽出し追跡できているが、図 5.1に示されているミトコンドリアの輪郭の中央部分や、図 5.3 に示されている液胞の輪郭の自動追跡で描かれた線分同士の接続部分などは、一部の追跡についてはやや不自然に感じられる結果になってしまっている。今後の研究によって107

特に不明瞭な輪郭の認識精度を向上させることで、こうした不自然な追跡結果が現れる可能性も大幅に減らすことができると考えている。
本手法は画素値の強度分布を利用するシンプルな手法である為、電子顕微鏡
画像に限らず、例えば生物系の光学顕微鏡画像にも適用可能であると考えている。また、TEM 画像に限らず SEM 画像や、生物系に限らず材料科学などの分野にも応用できる可能性がある。ただし、様々な種類の画像（例えば、位相差
顕微鏡画像、暗視野画像、蛍光顕微鏡画像、カラー画像等）の物体輪郭の抽出と追跡に実用化する際には、それぞれの画像の特性に応じた改良が必要になると考えられる。
また、今回開発した輪郭抽出プログラムでは輪郭追跡の際に、追跡した全輪
郭点の座標や接線角度、ガボールウェーブレットのパラメータの変化等のデータを集積している。これらのデータは、例えば機械学習によって輪郭線探索を行わせる際の訓練データとして利用価値があるのではないかと考えている。その意味では、本手法は AI による高精度な輪郭線抽出を行う際の、その訓練データを効率よく収集する手法として有力になり得る。本手法が AI を活用した
新たな画像処理技術の訓練データの収集法として利用されたり、あるいは、画像から輪郭線を手軽に抽出できる技術の一つとして受け入れられ、直接的にトモグラフィーや小規模解析のセグメンテーションなどに利用されるようになれ
ば、様々な分野での今後の貢献が期待できる。

108

謝辞

本研究を進めるにあたり、大学院課程を通じてご指導とご助力をいただきました副指導教官であられた大和淳司教授、並びに学部生時代から博士後期課程まで長きに亘り多大なご指導とご助力をいただきました本学総合研究所の馬場則男教授に深く感謝申し上げます。
また、本研究に関わる実験において用いた酵母細胞の薄切片試料のご提供、ご指導をいただきました本学総合研究所の馬場美鈴博士、本論文作成にあたってご指導とご助力をいただきました本学の於保英作教授、N. P. チャンドラシリ
教授、並びに福井工業大学の木森義隆教授に謹んで感謝の意を表します。

109

付録

付録 1 ステップエッジに対する追跡誤差総和の計測結果。(a) 赤線は理想的なパラメータ(𝑓0 : 30, 𝑊𝑆: 70)、緑線は不適切なパラメータ(𝑓0 : 80, 𝑊𝑆: 70)を用いた時の抽出と追跡の一例。理想的なパラメータを用いた時の追跡誤差総和は全体でゼロであった。(b) 窓サイズWS: 70とした時の周波数の変化に対する追跡誤差総和の変化を示すグラフ。周波数𝑓0 : 1~57では追跡誤差総和が全体でゼロになる。(c) 周波数𝑓0 : 30とした時の窓サイズの変化に対する追跡誤差総和の変化を示すグラフ。窓サイズ
WS: 60~180では追跡誤差総和が全体でゼロになる。

110

付録 2 明瞭なパターン境界に対する追跡誤差総和の計測結果。(a) 赤線
は理想的なパラメータ(𝑓0 : 10, 𝑊𝑆: 110)、緑線は不適切なパラメータ(𝑓0 : 10, 𝑊𝑆: 30)を用いた時の抽出と追跡の一例。理想的なパラメータを用いた時の追跡誤差総和は通常部分で 4 画素、ぼやけた部分で 25 画素であった。(b) 窓サイズWS: 110とした時の周波数の変化に対する追跡誤差総和の変化を示すグラフ。周波数𝑓0 : 1~17では通常部分、ぼやけた部分共に
追跡誤差総和が比較的低めであった。なお、𝑓0 : 57以降のぼやけた部分の追跡誤差総和が 0 となっている箇所は、ぼやけた部分まで追跡が行えなかったことによる。(c) 周波数𝑓0 : 10とした時の窓サイズの変化に対する追跡誤差総和の変化を示すグラフ。窓サイズWS: 60以上では追跡誤差総和が比較的低めであった。

111

参考文献
[1] Sandberg K and Brega M (2007) Segmentation of thin structures in electron
micrographs using orientation fields. J. Struct. Biol. 157: 403-415[2] Bazán C, Miller M and Blomgren P (2009) Structure enhancement diffusion andcontour extraction for electron tomography of mitochondria. J. Struct. Biol. 166:
144-155[3] Meier T, Ngan K N and Crebbin G (1997) A robust Markovian segmentation basedon highest confidence first (HCF). Proceedings of International Conference on
Image Processing, 1: 216-219[4] Martinez-Sanchez A, Garcia I, Asano S, Lucic V and Fernandez J-J (2014) Robust
membrane detection based on tensor voting for electron tomography. J. Struct. Biol.
186: 49-61[5] Guo Q, Lehmer C, Martínez-Sánchez A, Rudack T, Beck F, Hartmann H, PérezBerlanga M, Frottin F, Hipp M S, Hartl F U, Edbauer D, Baumeister W and
Fernández-Busnadiego R (2018) In Situ Structure of Neuronal C9orf72 Poly-GA
Aggregates Reveals Proteasome Recruitment. Cell 172: 696-705.e12[6] Hurovitz S, Chan D, Ramele R and Gambini J (2022) Object Detection andStatistical Analysis of Microscopy Image Sequences. Electron. Lett. Comput. Vis.
Image Anal. 21: 47-58[7] Tasel S F, Mumcuoglu E U, Hassanpour R Z and Perkins G (2016) A validated
active contour method driven by parabolic arc model for detection andsegmentation of mitochondria. J. Struct. Biol. 194: 253-271[8] Kass M, Witkin A and Terzopoulos D (1988) Snakes: Active contour models. Int.
J. Comput. Vision 1: 321–331[9] Candès E, Demanet L, Donoho D and Ying L (2006) Fast Discrete Curvelet
Transforms. Multiscale Model. Simul. 5: 861-899[10] Dash S, Verma S, Kavita, Jhanjhi N Z, Masud M and Baz M (2022) Curvelet
Transform Based on Edge Preserving Filter for Retinal Blood Vessel Segmentation.
Comput. Mater. Contin. 71: 2459-2476[11] Miri M S and Mahloojifar A (2011) Retinal Image Analysis Using Curvelet
Transform and Multistructure Elements Morphology by Reconstruction. IEEE
Trans. Biomed. Eng. 58: 1183-1192[12] Pantelic R S, Ericksson G, Hamilton N and Hankamer B (2007) Bilateral edge
filter: Photometrically weighted, discontinuity based edge detection. J. Struct. Biol.
112

160: 93-102[13] Ali R A, Mehdi A M, Rothnagel R, Hamilton N A, Gerle C, Landsberg M J and
Hankamer B (2017) RAZA: A Rapid 3D z-crossings algorithm to segment electron
tomograms and extract organelles and macromolecules. J. Struct. Biol. 200: 73-86[14] Ali R A, Landsberg M J, Knauth E, Morgan G P, Marsh B J and Hankamer B(2012) A 3D Image Filter for Parameter-Free Segmentation of Macromolecular
Structures from Electron Tomograms. PLoS One 7: e33697[15] Ronneberger O, Fischer P and Brox T (2015) U-Net: Convolutional Networks for
Biomedical Image Segmentation. Proceedings of Medical Image Computing andComputer-Assisted Intervention – MICCAI 2015, 9351: 234-241[16] Arganda-Carreras I, Turaga S C, Berger D R, Cireşan D, Giusti A, Gambardella L
M, Schmidhuber J, Laptev D, Dwivedi S, Buhmann J M, Liu T, Seyedhosseini M,
Tasdizen T, Kamentsky L, Burget R, Uher V, Tan X, Sun C, Pham T D, Bas E,
Uzunbas M G, Cardona A, Schindelin J and Seung H S (2015) Crowdsourcing thecreation of image segmentation algorithms for connectomics. Front. Neuroanat. 9:
142[17] Falk T, Mai D, Bensch R, Çiçek Ö, Abdulkadir A, Marrakchi Y, Böhm A, Deubner
J, Jäckel Z, Seiwald K, Dovzhenko A, Tietz O, Dal Bosco C, Walsh S, Saltukoglu
D, Tay T L, Prinz M, Palme K, Simons M, Diester I, Brox T and Ronneberger O(2019) U-Net: deep learning for cell counting, detection, and morphometry. Nat.
Methods 16: 67–70[18] Urakubo H, Bullmann T, Kubota Y, Oba S and Ishii S (2019) UNI-EM: An
Environment for Deep Neural Network-Based Automated Segmentation of
Neuronal Electron Microscopic Images. Sci. Rep. 9: 19413[19] Konishi K, Nonaka T, Takei S, Ohta K, Nishioka H and Suga M (2021) Reducing
manual operation time to obtain a segmentation learning model for volume
electron microscopy using stepwise deep learning with manual correction.
Microscopy 70: 526–535[20] Arganda-Carreras I, Kaynig V, Rueden C, Eliceiri K W, Schindelin J, Cardona A
and Seung H S (2017) Trainable Weka Segmentation: a machine learning tool for
microscopy pixel classification. Bioinformatics 33: 2424–2426[21] Maeda G, Tezuka S, Sakamoto S, Baba M and Baba N (2017) Segmentation andContour Extraction in Biological Transmission Electron Microscope Images with
‘Bag-of-Features’ Method in Machine Learning. Microsc. Microanal. 23(S1): 138139[22] Gebäck T and Koumoutsakos P (2009) Edge detection in microscopy images using113

curvelets. BMC Bioinf. 10: 75[23] Talukder A and Casasent D P (1998) Multiscale Gabor wavelet fusion for edge
detection in microscopy images. Proc. SPIE 3391: 336-347[24] Mehrotra R, Namuduri K R and Ranganathan N (1992) Gabor filter-based edge
detection. Pattern Recognit. 25: 1479-1494[25] Ali R A (2016) Developing 3D novel edge detection and particle picking tools
for electron tomography. PhD Thesis, Institute for Molecular Bioscience, The
University of Queensland[26] Mohamed M M, Abdel-galil T K, Salama M A, El-saadany E F, Kamel M, Fenster
A, Downey D B and Rizkalla K (2003) Prostate cancer diagnosis based on Gaborfilter texture segmentation of ultrasound image. Proceedings of CCECE 2003 Canadian Conference on Electrical and Computer Engineering, 3: 1485-1488[27] Zhan Y and Shen D (2006) Deformable segmentation of 3-D ultrasound prostate
images using statistical texture matching method. IEEE Trans. Med. Imaging 25:
256-272[28] Damerjian V, Tankyevych O, Souag N and Petit E (2014) Speckle characterization
methods in ultrasound images – A review. IRBM 35: 202-213[29] Samantaray A K and Rahulkar A D (2020) New design of adaptive Gabor wavelet
filter bank for medical image retrieval. IET Image Process. 14: 679-687[30] Marmol U. and Borowiec N. (2020) Detection of line objects by means of Gaborwavelets and Hough transform. Arch. Civ. Eng. 66: 339-363[31] Babu T, Gupta D, Singh T, Hameed S, Zakariah M and Alotaibi Y A (2021) Robust
Magnification Independent Colon Biopsy Grading System over Multiple Data
Sources. Comput. Mater. Contin. 69: 99-128[32] Santhosh Kumar H S and Karibasappa K (2022) An approach for brain tumour
detection based on dual-tree complex Gabor wavelet transform and neural network
using Hadoop big data analysis. Multimed. Tools. Appl. 81: 39251–39274[33] Sun J, Zhao S, Yu Y, Wang X and Zhou L (2022) Iris recognition based on local
circular Gabor filters and multi-scale convolution feature fusion network.
Multimed. Tools. Appl. 81: 33051–33065[34] Akbari D, Ashrafi A and Attarzadeh R (2022) A New Method for Object-Based
Hyperspectral Image Classification. J. Indian Soc. Remote Sens. 50: 1761–1771[35] Field D J (1987) Relations between the statistics of natural images and the response
properties of cortical cells. J. Opt. Soc. Am. A 4: 2379-2394[36] Fischer S, Šroubek F, Perrinet L, Redondo R and Cristóbal G (2007) SelfInvertible 2D Log-Gabor Wavelets. Int. J. Comput. Vision 75: 231-246
114

[37] Gao X, Sattar F and Venkateswarlu R (2007) Multiscale Corner Detection of Gray
Level Images Based on Log-Gabor Wavelet Transform. Proceedings of 2007 IEEE
International Conference on Acoustics, Speech and Signal Processing - ICASSP'07 1: 1253-1256[38] Lee T S (1996) Image representation using 2D Gabor wavelets. IEEE Trans.
Pattern Anal. Mach. Intell. 18: 959-971[39] 中野宏毅, 山本鎭男, 吉田靖夫, ウェーブレットによる信号処理と画像処
理, 共立出版, 東京, 1999[40] Chochia P A (2010) Image segmentation via contour tracking in application to theanalysis of the photographs of electronic microcircuits. J. Commun. Technol.
Electron. 55: 1466-1473[41] Baba M (2008) Electron microscopy in yeast. Methods in Enzymol. In: Klionsky
D J (ed.), Autophagy: Lower Eukaryotes and Non-Mammalian Systems, Part A,
vol. 451, pp. 133–149 (Elsevier, San Diego, CA, USA).
[42] Mukaiyama, H., Baba, M., Osumi, M., Aoyagi, S., Kato, N., Ohsumi, Y. andSakai, Y. (2004) Modification of a Ubiquitin-like Protein Paz2 Conducted
Micropexophagy through Formation of a Novel Membrane Structure. Mol. Biol.
Cell, 15: 58-70[43] Baba M and Osumi M (1987) Transmission and scanning electron microscopic
examination of intracellular organelles in freeze-substituted Kloeckera andSaccharomyces cerevisiae Yeast Cells. J. Electron Microsc. Tech. 5: 249-261

115