マルチモーダル画像のレジストレーション
千葉大学

1. はじめにCT 画像や MR 画像などの医用画像から得られる情報は，適切な診断や治療を行う上で非常に重要である．しかしながら，この信号値がどのような組織状態から得られたかまでは正確に把握されてはいない．画像中の情報から，より的確な診断や治療を行うためには，細胞レベルの情報と，CT 画像や MR画像から得られる情報の関連性を正しく理解する必要がある．この目的のために，細胞レベルで観察可能な病理画像と，CT 画像や MR 画像との位置合わせが必要となり，多様な手法が提案されている[1-3]．しかしながら，病理画像は空間分解能が非常に高く，CT 画像や MR 画像とはスケールが大きく異なる．これにより高精度な位置合わせは困難となる．
そこで，本研究ではこの空間分解能の違いを考慮した位置合わせ手法を構築した．具体的には以下の2 つの方法論を導入することにより解決を図る．まずは MR 画像と病理画像を直接評価せず，その仲介となる画像を用意することで，間接的な位置合わせを行う．ここでは，病理標本作製過程で得られるマクロ病理組織の切断面を光学撮影し，仲介画像として用いる．ここで，光学撮影により得られた画像をマクロ画像と呼ぶ．
もう一つは画像特徴解析に基づく，病理画像のダウンスケール手法である．最終的には MR 画像と病理画像とで位置合わせを行うが，画像間の空間分解能を同程度に合わせる必要がある．しかしながら，単純な平均処理によりダウンスケールを行うと，組織の違いがわかりにくい画像になってしまう．そこで，対応する領域内の特徴を解析した上で，ダウンスケールするための処理を構築した．本稿では全体の位置合わせ手法について示しつつ，上記 2 手法について報告する．
2. 手法
本研究では，対象臓器を脳とし，ヒトやブタサイズの大型標本を扱うことを想定している．位置合わせ手法は Fig. 1 に示す通り，大きく 3 ステップで構成される．はじめに，MR 画像とマクロ画像で位置合わせを行う．これにより，マクロ画像に対応するMR 断面像が抽出可能なパラメータを取得する．次に，病理画像とマクロ画像で位置合わせを行い，病理画像の姿勢をマクロ画像に対応するように補正する．最後に病理画像と MR 画像で位置合わせを行い，病理画像に対応する MR 画像の抽出を行う．

フロンティア医工学センター

大西峻Fig. 1 位置合わせ全体の流れ
2.1. MR-マクロ画像位置合わせ
アフィン変換モデルに基づいた位置合わせにより，マクロ画像に対応する MR 断面像を抽出する．
画像間の類似度評価には相互情報量[4]を用いる．
パラメータの最適化には Powell Brent 法[5]を使用
し，評価関数が最大になるよう回転・平行移動・拡大縮小量を決定する．Powell Brent 法は探索の方向集合を決定し，各探索方向に沿って 1 次元的に解を探索する手法である．
2.2. 病理-マクロ画像位置合わせ
本位置合わせはさらに 2 ステップに分けられる．
位置合わせの流れを Fig. 2 に示す．マクロ画像と病理画像の画像特徴が異なることから，従来の類似度評価尺度では適切に類似度が評価できない．この類似度評価を簡単化するため，マクロ病理組織を複数ブロックに分割した後，再度光学撮影する．取得した画像をブロックマクロ画像と呼び，同様に位置合わせの仲介に使用する．

-1-Fig. 3 特徴解析に基づく病理画像のFig. 2 病理-マクロ画像位置合わせの流れ

ダウンスケール処理の流れ

各病理画像と対応するブロックマクロ画像のアフィン変換を用いた位置合わせを実施し，病理画像の収縮補正を行う．画像の一致度評価には Jaccard
Index[6]を使用した．Jaccard Index は画像の前景領域の重なりを評価する関数であり，組織ブロックと病理画像の形状一致度を評価する．また，パラメータの最適化には Powell Brent 法を使用する．
組織分割前を撮影したマクロ画像と分割後を撮影したブロックマクロ画像で剛体変換に基づく位置合わせを実施する．これにより分割前後の組織位置情報を対応付ける．ブロックマクロ画像とマクロ画像では同一の標本を撮影しているため，一致度評価には正規化相互相関[4]を使用した．正規化相互創刊は画素値の相関を評価する関数であり，マクロ画像内の領域とブロック組織の画素値分布の一致度を評価する．また，パラメータの最適化には
Powell Brent 法を使用する．

Fig. 4 MR-病理画像位置合わせの流れスケールを行う．
特徴解析に基づくダウンスケール処理の流れをFig. 3 に示す．あらかじめ k-means により病理画像内の組織に対応した代表色を求める．ダウンスケールを行う際には，各解析領域において代表色によるラベリングを行う．その後，各領域数をカウントし，紫と白の領域の比率を算出し，ダウンスケール後の画素値とする．
ダウンスケール処理後に MR 画像との位置合わせを行う．位置合わせの流れを Fig. 4 に示す．ダウンスケール後の病理画像をリファレンス像とし，3D-MR 像にアフィン変換および非剛体変換を段階的に施すことで，病理画像に対応する MR 断面像を取得する．アフィン変換では各軸に対する平行移動量，回転移動量，拡大縮小量をパラメータとする．
非剛体変換時は thin-plate spline (TPS)モデル[7]に基づいた変形処理を行う．TPS に用いる制御点は格子状に配置するものとする．画像の一致度評価には条件付き相互情報量[8]を用い，パラメータの最適化には Powell Brent 法を使用する．条件付き

2.3. MR-病理画像位置合わせ
前述の位置合わせにより，MR 画像と病理画像の対応関係が取得されている．しかしながら，各種光学像を仲介して位置合わせを行っているため，誤差が蓄積している．そこで，最後に MR 画像と病理画像で直接位置合わせすることで，より詳細な対応関係を求める．ここで，病理画像の空間分解能はMR 画像と比較して極端に高い．したがって，適切な位置合わせを行うためには，病理画像の空間分解能を MR 画像と同程度に合わせる処理が必要となる．病理画像にダウンスケール処理を施した後，MR 画像と位置合わせを行い，病理画像と対応するMR 断面像を抽出する．
病理画像上には神経細胞や神経線維などが写っており，白質や大脳皮質においてはその存在比率が異なる．この比率に着目した特徴量を算出すること
で，組織間のコントラストを向上させつつ，ダウン-2-

相互情報量は画像を複数領域に分割し，領域ごとの相互情報量を算出することで一致度を評価する．各領域で相互情報量が算出されるため，画像全体に空間依存のムラが発生していても，それを抑制した評価が行われる．
3. データ3.1. 対象臓器
ミニブタから摘出した脳を対象にデータ収集を行った．撮影に際し，予めホルマリンにより 1 週間程度固定した後，脳を寒天で固定し，撮影を行った．
3.2. MR 画像収集
Bruker Biospin 社製 7T MR スキャナ(BioSpecAVANCE-Ⅲ)と直径 86mm ボリュームコイルを使用し，高速スピンエコー法による撮影を行った．パラメータは TR = 500 ms, Effective TE = 24 [ms],Rare factor = 4, Number of average = 2, Spatial
resolution = 0.2 x 0.2 x 0.2 [mm3/voxel], Matrix
size = 450 x 450 x 256 [voxel], Field of view = 90x 90 x 51.2 [mm3]とし，3 次元 T1 強調パラメータ設定による画像を取得した（注：TR と TE の設定は一般的な T1 強調画像法だが，7T 磁場下では T2短縮の影響が強く，白質が低信号として描出される）．
3.2. マクロ・ブロックマクロ画像収集
寒天で固定された脳を 5mm 厚で切り出した．今回，複数枚切り出した内の一枚を使用した．デジタ
ルカメラ(Nikon 製 D7200)とズームレンズ(Nikon 製
AF-S DX NIKKOR 18-140mm f/3.5-5.6G ED VR)により切断面を拡大撮影しマクロ画像を取得した．切断面の内部パターンを強調するために 405nm 光源で照明したものを撮影し，うち青色成分を使用画像とした．画像サイズとピクセルサイズは6000x4000pixel, 0.011mm/pixel である．また，同一環境下で組織の厚さ推定を実施した．
3.3. 病理画像収集
MR 撮影終了後，寒天で固定された状態から5mm 厚で切り出しを行った．今回は複数枚切り出した内からもっとも均一な厚さで切り出せた一枚を選択し，病理標本を作製した．選択された組織は寒天を除去後，さらに面内で 8 分割した．パラフィ
ン包埋の後，各ブロック片を 5μm 厚で薄切した．
ヘマトキシリン・エオジン染色を施した後，NanoZoomer 2.0-HT (浜松ホトニクス)を用いてスキャンした．対物レンズの倍率を 40 倍とし，ピクセルサイズ 228 x 228 [nm2/pixel]にてディジタ
ル病理画像を取得した．撮影された各画像のサイズは約 75000 x 60000[pixel]であった．
-3-

4. 実験と結果画像特徴解析に基づいた，病理画像のダウンスケール法の効果と，最終的な位置合わせ結果を検証する．解析時のウインドウサイズを 256 x 256 [pixel]に設定し，取得した全 8 例の病理画像に対して提案手法を適用した．ダウンスケール後の画像サイズ
は約 300 x 230 [pixel]，ピクセルサイズ 58.4 x 58.4
[μm2/pixel]となった．各種結果を Fig. 5 に示す．
特徴は全画像で共通しているため，ここでは 3 例のみを示す．
単純平均処理と特徴解析に基づくダウンスケー
ル結果を Fig. 5 の上段と中段に示す．いずれの画像も画素値が[0, 255]となるようにウインドウレベ
ル補正を行っている．単純平均を用いた場合には大脳皮質と白質の違いが不明瞭であり，位置合わせには不適切であることが分かる．一方，特徴解析を用いた場合は全体的に白質と灰白質の境界を明瞭に描出できている(黄矢印)．しかしながら，いずれの病理画像においても周期的な縦縞が確認される(赤矢印)．これは単純平均処理を行った際にも発生しているが，コントラストが低いため知覚は難しい．
この発生要因については考察にて論じる．
特徴解析によりダウンスケールを行った病理画像をリファレンス画像として，3D-MR 画像中から対応する断面の抽出を行った．条件付き相互情報量
における領域分割数は 3 x 3 x 1 とし，非剛体レジストレーション時の格子点は，病理標本の領域を包括するように，5 x 5 x 3 点配置した．マクロ画像を仲介とした位置合わせにて大まかな初期姿勢を求めた上で処理を実行した．病理画像と抽出した MR
画像を Fig. 5 中段と下段に示す．輪郭部の形状は補正しきれていないものの(緑矢印)，特徴解析で強調された白質のパターンと類似したパターンがMR 画像上でも確認できる(青矢印)．
5. 考察
ダウンスケール後の画像に縞状のアーチファクトが発生した点について考察する．Figure 6 にダウンスケール処理前の病理画像を任意のサイズで抽出した画像，そのエッジ強調像およびそれらの拡大図を示す．エッジ強調前は知覚できないが，エッジ強調後には縞状のアーチファクトが確認できる．
Figure 6(c)-(d)はこの縞周辺を拡大した画像である．
これら画像上でも判定が困難ではあるものの，画像が不連続に繋がっていることが確認できる．一般にバーチャルスライドスキャナでは小領域ごとにフォーカスを合わせて撮影し，これらを接合している．
この接合部は連続性が保たれている保証がなく，その他の領域と同様の値が算出されるとは限らない．
また，Fig. 6(c)から分かるように，フォーカスが合っておらず，一部ボケが発生していることが確認Fig. 5 ダウンスケール結果と位置合わせ結果．上段：単純平均後の病理画像，中段：特徴解析後の病理画像，下段：位置合わせにより抽出された MR 断面像．

Fig. 6 病理-マクロ画像位置合わせの流れできる． 今回用いた k-means は画像全体からランダムにサンプリングされた画素値群に対して適用されており，ボケが考慮されているとは言えない．
このボケ領域は周期的に存在することがわかっているため，位置依存性を考慮したクラスタリングを行うことで，改善が見込めると考える．
-4-

6. まとめ
解像度が大きく異なる病理画像と MR 画像の位置合わせを高精度に行うことを目的に，マクロ画像を仲介とする画像位置合わせ手法および，特性解析を用いた病理画像のダウンスケール手法について述べた．単純平均処理に比べて白質と灰白質の領域が明瞭に描出できた．位置合わせも良好に行えていることを確認し，提案手法の有効性が示唆された．
しかしながら，病理画像の接合部周辺にはアーチファクトが発生しており，改善が望まれる．
現在は k-means でクラスタリングされた領域数のみを指標としている．今後は線維の走行方向や神経細胞体の分布情報を導入することによって上記問題解決を図る．また，現在用いている画像レジストレーション手法も非常に簡易的である．特に非剛体変形アルゴリズムを中心に再設計を行う．
謝辞
本研究の一部は文部科学省科学研究費補助金新学術領域研究(公募型)(課題番号：15H01105)により行われた．

引用文献[1] G. Nir, R. S. Sahebjavaher, P. Kozlowski, et al.:Registration of Whole-Mount Histology and VolumetricImaging of the Prostate Using Particle Filtering, IEEETrans Med Imag, 30(8), 1601-13, 2014[2] S. Osechinskiy and F. Kruggel: Slice-to-VolumeNonrigid Registration of Histological Sections to MR
Images of the Human Brain, Anatomy ResearchInternational, 2011, 1-17, 2011[3] C. R. Meyer, B. A. Moffat, K. K. Kuszpit, et al.: A
Methodology for Registration of a Histological Slide andIn Vivo MRI Volume Based on Optimizing MutualInformation, Molecular Imag, 5(1), 16-23, 2006
[4] G. P. Penney, J. Weese, J. A. Little, et al.: A
comparison of similarity measures for use in 2-D 3-D
medical image registration ， IEEE Trans Med Imag,17(4), 58-95, 1998
[5] W. H. Press, B. P. Flannery, S. A. Teukosky:
Numerical Recipes in C 2nd Ed., 412-419, Cambridge
University Press, 2002
[6] L. Hamers, Y. Hemeryck, G. Herweyers, et al.:Similarity measures in scientometric research: Thejaccard index versus Salton’s cosine formula, Inform
Proc Manag, 25(3), 315-8, 1989
[7] F.D. Bookstein, Principle Warps: Thin-plate splinesand decomposition of deformations, IEEE Trans PatternAnal Mach Intell 11 567-85, 1989
[8] D. Loeckx, P. Slagmolen, F. Maes et al.: Nonrigid
Image Registration Using Conditional Mutual
Information: IEEE Trans Med Imag, 29(1), 19-29, 2010-5-