WISS 2015

ペイントインタフェースによるボリュームセグメンテーション
五十嵐 健夫*

庄野 直之*

斉藤 季*

金 太一*

概要．CT や MRI などで得られる３次元医用画像からセグメンテーション処理によってサーフェスモデルを効率よく作成するための新しいユーザインタフェースを提案する．これまでに自動でセグメンテーションを行う方法が数多く提案されているが，実際の現場では手作業で閾値を設定して単純な閾値処理でセグメンテーションおよびサーフェス作成を行う方法が一般的である．しかし，既存のユーザインタフェースでは，閾値処理した後に無駄な部分を取り除くために単純なバウンディングボックスや投げ縄などが使われており効率が悪い．本研究ではこのような問題を解決する手法として，無駄な部分を個別に選んで取り除くのでなく，目的とする部分をクリックやドラッグでペイントすることによって「色づけ」してく方法を提案する．また，このようなインタラクションを実現するための技術的な工夫として，個別の画素に対して異なる閾値を割り当て，それをペイント操作によって間接的に編集するという仕組みを導入する．本手法を用いることにより既存手法よりも大幅に作業時間を減らせることを，脳神経外科医によるユーザテストによって確認している．

1はじめに

本論文では，CT や MRI などで得られる３次元医用画像からセグメンテーション処理によってサーフェスモデルを作成する問題について取り扱う．このようなセグメンテーション処理は一般的な問題であり，数多くの自動的な計算手法や半自動的な方法などが提案されている．しかし，実際の現場では，このような自動的な手法でなく，手作業で閾値を指定することによる基本的なセグメンテーション手法が依然として多く利用されている．このようなセグメンテーション作業は，適切な閾値を選択し，さらに不要な部分を手作業で取り除くなど，本質的に対話的な作業である．このような作業は，非常に手間と時間のかかる面倒な作業であるが，同時に専門知識を必要とする作業であり，簡単に自動化することが難しい作業でもあるといえる．
図 1 に，既存ツールによる典型的なセグメンテーション作業の例を示す[8]．この例では，閾値を高く設定すると，太い血管が抽出されるが，細い血管が失われてしまう．逆に，閾値を低く設定すると，細い血管も抽出できるが，同時に多くの不要な領域(ゴミ)も抽出されてしまう．そこで，ユーザはまず様々な閾値でセグメンテーションしてみて全体的な構造を把握した後，バウンディングボックスによって細い血管を含む領域と太い血管を含む領域に分け
Copyright is held by the author(s).
* 東京大学て，それぞれ違う閾値によってセグメンテーションを行う．その後，投げ縄選択によって，細い血管の周囲のゴミを取り除いていく．ここで挙げたバウン
ディングボックス操作や投げ縄選択操作は，実際には 3 次元空間に対して行うものであり，カメラ視点を切り替えながら操作を行わなければならず，全体としての作業量は非常に多いものとなっている．

図 1. 既存ツールによるセグメンテーションの例

本論文では，このような作業を効率化する手法として，ペイントインタフェースに基づく新しいインタラクション手法を提案する．提案手法では，ユーザは，フラッドフィルやブラシといった，２次元のペイントシステムに見られるような操作を利用してセグメンテーションを行う．図 2 に例を示す．ユーザはまず様々な閾値でセグメンテーションしてみて全体的な構造を把握した後，閾値を高めに設定して太い血管のみが見える状態にする．その状態で，見えている血管に対してフラッドフィルを適用すると，太い血管全体が塗りつぶされる．次にブラシツールにきりかえて，細い血管をブラシツールで塗っていく．以上の操作は、同一の視点から単純なマ

WISS 2015

ウスクリックとドラッグと２，３回行うだけで完了するものであり，カメラ視点を切り替えながらバンディングボックスや投げ縄操作を行う既存手法に比べて圧倒的に効率がよいものであるといえる．

図 2. 提案手法によるセグメンテーションの例

内部的には，ユーザによるペイント操作の結果は，閾値フィールドとして表現されている．これは，ボリュームデータのデータ点１つに対して１つの閾値を対応させたものであり，従来の１スカラー値として表現された一様な閾値に対して，空間的に変化する多値の閾値であるといえる．図 3 に，空間的に変化する閾値フィールドによって適切に等値面が抽出されている様子を示す．
本提案では，脳神経外科における血管領域の抽出を主な対象として説明を行う．しかし，ボリュームセグメンテーション自体は一般的な問題であり，提案するペイント操作によるセグメンテーション手法は，適切な拡張によって広くさまざまなアプリケーションに利用可能なものと考えられる．
Small vessel

Noise

Large vessel

Noise

3

ThresholdIntensity
Isosurface

図 3. 提案手法の原理

2

手法が提案されている．よく見られる方法は，ユー
ザが簡単なヒントを与え，それに基づいてシステムが最適化によって領域分けを行う方法である．たとえば，ユーザが領域内と領域外の点を指定する手法[3,11]，境界上に置かれた曲線をもとに境界面を計算する手法[6]，画面上での境界のトレースから自動的に奥行を計算する方法 [12]，管状の領域を画面上でトレースする手法[1,2]，シート状の領域に特化した手法[7]，などが提案されている．まったく別の方法としては，レベルセット法（領域拡張）によるものがある[14,15]．これらの手法では，ユーザが領域内の一点をシード(種)として指定し，それを一定の規則に従って徐々に拡張していくことで領域を取り出すというものである．
提案手法は，上記のような自動的あるいは半自動的な手法と比べて，手作業で閾値を設定してセグメンテーションを基本としている点が大きく異なる．
自動的あるいは半自動的な手法の問題点として，ユーザの入力と計算結果の関係がユーザにとってブラックボックスとなってしまっていて，望ましくない結果が出たときに，どのように入力条件（指定点の位置やパラメータの値）を変更すればよいのか自明でない，という点が挙げられる[16]．一方，手作業による閾値処理では，入力と出力の関係が明白であり，ユーザが確信をもって作業を行うことができるという利点がある．ただ，単純な閾値処理では，頻繁なカメラ操作など，ユーザの機械的な作業が膨大になるという欠点があり，提案手法ではこのような作業を軽減することを目指している．

関連研究

ボリュームセグメンテーションは，非常に基本的な問題であり，数多くの自動化アルゴリズムが提案されている[13]．また，血管のような管状の組織の抽出のために特化したアルゴリズムも数多く提案されている[5,9]．しかし，完全に自動でユーザが意図する結果を得ることは困難であり，様々な半自動化

ユーザインタフェース

図 4 に提案システムのスクリーンショットを示す．
ユ ー ザ イ ン タ フ ェ ー ス は ， Windows Paint や
Adobe Photoshop といった典型的なペイントイン
タフェースを模したものとなっている．左側にツールパネルが，上端にカメラコントロールが，下端に閾値コントロールが配置されている．中央にあるのがメイン画面で，指定された閾値によって抽出されたボリュームの等値面がポリゴンモデルとして表示されている．等値面の色の明るさは対応する閾値に対応しており，高い閾値で抽出された等値面は明るい色で，低い閾値で抽出された等値面は暗い色で表現されている．また，ペイントされた部分はピンク色で，それ以外の部分は灰色で表現されている．

ペイントインタフェースによるボリュームセグメンテーション

図 4. 提案システムのスクリーンショット

図 5 に典型的なワークフローを示す．ユーザはまずボリュームデータを読み込み，閾値を上下させて全体的な構造を把握する．閾値を下げると詳細が確認できるが，多くのゴミも一緒に見えてしまう（図5a）．逆に閾値が大きいと，ゴミはなくなるが，大きい構造のみしか見えなくなる（図 5b）．全体的な構造が把握できたら，ユーザはまず，高めの閾値で大きい構造のみが見える状態にする．次に，フラッドフィルツールを選択し，画面に表示されている等値面をクリックする（図 5c）．すると，システムは，クリックされた点に繋がっている等値面全体とその内部がピンク色に塗りつぶされる．ピンク色に色づけされた部分は，その時点で「固定」状態になり，その後閾値の操作に影響されなくなる．ユーザはこのように全体的な閾値の変更とフラッドフィル操作を繰り返すことによって，セグメンテーション作業を進める（図 5d,e）．
多くの場合には，フラッドフィルのみで必要な結果を得ることができるが，込み入った構造を抽出したい場合には，フラッドフィルのみでは不十分なことがある．たとえば，細い血管がゴミに囲まれている場合には，細かい血管を表示させると周りのゴミも表示されて対象とする血管をクリックできない，ということが起こりうる．このような場合に便利なのがブラシツールである．ブラシツールを使う場合には，まず，閾値を上下させて対象とする血管の場所の検討をつける．次に，閾値を高めに設定して，ゴミをすべて隠す．次に対象とする血管が生えていると考えらえる場所を起点としてドラッグ操作を行う（図 5f）．ドラッグ操作を行うと，ブラシの先端の周囲（１定の半径内）の閾値が更新され，かつその範囲の等値面が色づけされる（図 5g）．ドラッグ操作の開始点でマウスボタンを押したままでキーボードの左右キーを押すことで，ブラシの閾値を変更することができる．典型的な操作としては，始点でマウスボタンを押したまま左キーを押して閾値を下げ，対象とする血管が見えてきたところで，その血管の伸びる方向にドラッグしていけばよい．ドラッグの途中で閾値の調整が必要になった場合には，再度左右キーで調整を行う．また，ブラシのサイズは，上下キーで調整することができる．
上記のフラッドフィルおよびブラシツールの他に，その逆の操作を行う消しゴムツールやアンフィルなどが用意されている(図 6b,c)．また，異なる閾値で色づけされた領域の境界部分は段差が見えてしまうことがあるので，それを緩和するためのツールとし

図 5. 提案手法によるセグメンテーションの例．なお、本図では説明のためにカメラを固定しているが、実際には対話的にカメラを動かして、それぞれ対象部位がよく見える方向から操作を行う。

WISS 2015てスムーズツールも用意されている．このツールで境界領域をなぞると，その周囲の閾値変化を滑らかにすることができる(図 6d,e)．このようにしてペイント操作を繰り返すことで，ユーザは対象とする領域を色づけしていく．色づけされた領域は固定されていくので，目的とする領域がすべて色づけされた（固定された）時点で，その色づけされた部分を出力することでセグメンテーションが完了する（図5h）．出力結果は通常の三角形メッシュであり，他のシステムに読み込んで利用することが可能である．

図 6. 消しゴム，アンフィル，およびスムーズツール．

4実装

システム内部では，３つの同じ大きさの３次元配列を保持している．１つめは入力として与えられる通常のボリュームデータであり，整数の配列として表現される．このデータのことを以下では輝度値と呼び，ユーザの操作の影響を受けず不変である．２
つめはユーザのペイント操作によって操作される閾
値フィールドであり，ボリュームデータ１つに対して１つの値が割り当てられている．３つ目は，それぞれのデータ点が色づけされているかいないかを示す真偽値である．初期状態では，すべて偽(色づけされていない状態)になっている．この状態で，グローバルな閾値をスライダで変更すると，閾値フィールドのすべての値が指定された閾値に更新される．ユーザがフラッドフィルやブラシ操作を行うと，対象となる領域に対応する真偽値が真となり，真となっているデータ点の閾値はグローバルな閾値の変化に影響をうけなくなる．等値面の計算には，マーチングキューブ法を利用している[10]．
各ツールの実装の詳細は以下のようである．フラッドフィルツールがアクティブな状態で等値面をクリックすると，クリックされた３角形メッシュの面に対応するデータ点を始点として，「真偽値が偽でありかつ輝度値が閾値より大きくなっている」という条件を満たすデータ点の連結集合を選択する．選択されたデータ点の真偽値は真に設定される．ブラシツールがアクティブな状態で等値面をクリックすると，クリックされた点から等値面へピック処理（スクリーン上の点からサーフェス上の点への投影)が行われ，ピックされた点へブラシの先端が移動する．
ブラシの先端は，球体となっていて，その内部の閾値が，ブラシの持つ現在の閾値に更新される．ユー

ザがドラッグ操作を行うときには，まずブラシ周囲の閾値が更新され，そこに新しい等値面が現れ，マウスカーソルが移動するとその新しい等値面上にブラシの先端が移動する，という一連の処理が行われる．このように等値面が次々に現れ，その上へピック処理を行うことで，２次元のマウス操作で３次元的な操作を実現している．
なお，提案手法の問題点として，輝度に変化がない場所で閾値フィールドを大きく変化させると，本来のデータには内在していない，偽の等値面が現れるという問題がある(図 7)．この問題は例えば，ブラシツールを用いているときに，何も表示されていない空間でブラシ内部だけ閾値を極端に小さくしたり，逆に太い血管のある場所でブラシの内部だけ極端に閾値を大きくした場合に生じる．この問題を解決する方法として，提案手法では，偽の等値面と考えられる場所を自動的に検出し，その部分を緑色で表示してユーザに注意を促すという機能を実装している(図 8)．検知の際には，輝度値の勾配(減少)方向と等値面の法線方向を比較して，その間の角度が９０度以上の場合に偽の等値面と判断する，というアルゴリズムを利用している．図 8 に例を示す．
200
Ghost
Isosurface

Threshold150

100
Intensity
Correct
Isosurface50

図 7. 偽の等値面.

図 8. 閾値の変化部分が偽の等値面として検出されている場
合(左)とそうでない場合(右).

5ユーザテスト

提案手法の有効性を確認するため，日常的にセグメンテーション作業を行っている脳神経外科医４名を対象として，提案システムと医療現場で日常的に利用されている既存製品(Avizo[5],図 9)を比較する実験を行った．タスクの内容は，脳のボリュームデータからの指定された血管の３次元形状の抽出であペイントインタフェースによるボリュームセグメンテーション

る．血管の指定については，その専門用語による名称で示した．既存製品では，バウンディングボック
スによる領域の切り出しと，投げ縄選択によるゴミの除去による作業となる．データとしては説明用のデータと評価用のデータの２つを用意し，それぞれのシステムの説明を前者のデータを用いて行い練習と本番を後者のデータを用いて行った．今回の実験
では，データがどのような構造になっているかを探索的に調べる時間を除外するため，同一の評価用のデータに対するセグメンテーション作業を，練習として５回，さらに本番として５回繰り返してもらった．このようにすることで，マウスを動かしたりキーボードを操作したりするといった物理的な作業時間を比較することを目的としている．理想的には探索的な操作の時間も比較できた方がよいが，ばらつきが大きいと予想されるため，今回の実験では除外している．

図 9. 既存システム(Avizo)のスクリーンショット．

図 10 に結果を示す．提案手法を用いることで，既存手法よりも短い時間で作業が完了していることが示されている．また，操作（マウス操作およびキーボード操作）の回数についても，提案手法の方が既存手法よりも少なくなっている．セグメンテーショ
ン結果の質の比較については，定量的に行うことが難しいため，被験者とは別の脳神経外科医に依頼して，結果の主観的なチェックを行ってもらった．その結果，細かい違いが見られるものの，すべてのセグメンテーション結果は，臨床で用いるに十分な質となっているとの判断を得た．

6

議論

提案手法については，医療画像処理においては計測された自然の状態を見ることが目的であり，ユーザが恣意的に（絵を描くように）加工することは好ましくないという批判が考えられる．理想論はその通りであるが，実際には，得られた計測データにはノイズや不明確な部分が多く含まれており，診断や治療計画の役にたつ３次元形状データを作成するた
めには，医師の専門的な知識をもとに加工することが不可欠であり，提案手法で利用されるような加工は既存手法による加工と同じく許容範囲であると考えらえる．この問題については，ユーザである脳神経外科医とも議論を行っているが，「その結果がどのようにして得られたものであるか」を結果を見る側が正確に認識していれば問題はないであろう，とのコメントを得ている．
今回示したユーザインタフェースは非常に基本的なもののみであるが，ペイントインタフェースというメタファーは非常に強力であり，様々な拡張が可能であると考えられる．たとえば，マジックワンドのような選択ツールは複雑な領域の抽出に有力であると考えられる．また，ペイントソフトに通常みられるようなレイヤー操作も多様な領域を含むデータのセグメンテーションに有用であると考えられる．
今回の実装では，ブラシの先端部分は球体であるとしている．これは，今回対象としている血管のトレースに適しているからであるが，他の形状の領域を対象とする場合には，他のブラシ形状が適していると考えられる．たとえば，シート状の領域や，塊上の領域の境界を抽出する場合には，面状に広がっ

図 10. ユーザスタディの結果．

WISS 2015

たブラシ形状などが有効であると考えられる．
今回の実験では，ペイント操作というメタファーの有効性を検証するために，自動手法や半自動手法はあえて利用しなかった．しかし，本論文で提案しているペイントインタフェースと自動化手法は組み合わせて利用可能なものであり，実際に実用化して利用する際には，各種の自動化・半自動化手法を組み込むことが有効であると考えられる．特に，閾値フィールドを自動的に計算する手法などがあると便利であると考えられる．

Transaction on Graphics 33, 4 (July), 48:1–48:10.
[8]Kin, T., Shin, M., Oyama, H., Kamada, K., Kunimatsu, A.,
Momose, T., and Saito, N. 2011. Impact of multiorgan
fusion imaging and interactive 3-dimensional visualizationforintraventricular

neuroendoscopic

surgery.

Neurosurgery 69, 1, ons40–ons48.
[9]Lesage, D., Angelini, E. D., Bloch, I., and Funka-Lea, G.
2009. A review of 3d vessel lumen segmentation
techniques: Models, features and extraction schemes.
Medical Image Analy sis 13, 6, 819–845.

[10] Lorensen, W. E., and Cline, H. E. 1987. Marching cubes: A

7

まとめ

本稿では，手作業によるボリュームセグメンテーションを効率化する手法として，ペイント操作に基づく方法を提案した．具体的には，フラッドフィルやブラシツールによるインタラクション手法を提案した他，そのようなインタラクションを実現する新しいデータ構造として閾値フィールドという表現を提案した．脳神経外科医を対象としたユーザテストの結果，操作時間及び操作数を半分以下に減らすことのできる可能性が示された．現在の臨床では，基本的なセグメンテーション処理に多大な時間がかっており（場合によっては１患者につき１０時間以上），
本手法によって大きな改善が期待できる．

high resolution 3d surface construction algorithm.
Computer Graphics 21, 4, 163–169.
[11] Nock, R., 595 and Nielsen, F. 2004. Statistical region
merging. IEEE Transactions on pattern analysis andmachine intelligence 26, 11, 1452–1458.
[12] Owada, S., Nielsen, F., and Igarashi, T. 2005. Volume
catcher. In Proceedings of the 2005 symposium on
Interactive 3D graphics and games (I3D ’05), vol. 13, 111–116.
[13] Pham, D. L., Xu, C., and Prince, J. L. 2000. A survey ofcurrent methods in medical image segmentation. Annual
review of biomedical engineering 2, 315–338.
[14] Sethian, J. A., 1999. Level set methods and fast marching
methods.
[15] Whitaker, R., Breen, D., Museth, K., and Soni, N. 2001. A

参考文献
[1]

Abeysinghe, s., and Ju, T. 2009. Interactive skeletonizationof intensity volumes. The Visual Computer 25, 5-7, 627–635.

[2]Akers, D. 2006. CINCH: a cooperatively designed marking
in terface for 3d pathway selection. In Proceedings of the19th annual ACMsymposium on User interface softwareand technology (UIST ’06), 33–42.

[3]Boykov, Y. Y., and Jolly, M. P. 2001. Interactive graphcutsfor optimal boundary & region segmentation of objects
in N-D images. Computer Vision (Proceedings on ICCV2001) 1, 105–112.

[4]

FEI. Avizo. www.fei.com/software/avizo3d/.

[5]Frangi, A. F., Niessen, W. J., Vincken, K. L., and Viergever,
M. A. 1998. Multiscale vessel enhancement filtering. In
Medical Image Computing and Computer-Assisted In
tervention - MICCAI’98, 130–137.

[6]

Ijiri, T., Yoshizawa, S., Sato, Y., Ito, M., and Yokota, H.
2013. Bilateral hermite radial basis functions for contour
based volume segmentation. Computer Graphics Forum 32,2, 123–132.

[7]Ijiri, T., Yoshizawa, S., Yokota, H., and Igarashi, T. 2014.
Flower modeling via x-ray computed tomography. ACM

framework for level set segmentation of volume datasets.
In Proceedings of International Workshop on VolumeGraphics.
[16] Yushkevich, P. A., Piven, J., Hazlett, H. C., Smith, R. G.,
Ho, S., Gee, J. C., and Gerig, G. 2006. User-guided 3d
active contour segmentation of anatomical structures:significantly

improved

efficiency

NeuroImage 31, 3, 1116–1128.

andreliability.