ToMMo スーパーコンピュータを利用するための遠隔セキュリティエリアの設置と運用
長瀬祥子 1),2), 中村 直毅 3),2),1), 伊藤

平野 幸子 1), 齊藤智 1), 木下和哉 2) , 葭葉賢吾 1),4) , 中山純子 2)

雅晴 2),3) , 冨永 悌二 3),2)

1) 東北大学 東北メディカル・メガバンク機構
2) 東北大学

医学系研究科 3) 東北大学病院 4) 東北大学

情報科学研究科

nagase@med.tohoku.ac.jp

Installation and operation of “Remote security areas” for the ToMMo
Supercomputer
Sachiko Nagase 1),2), Naoki Nakamura 3),2),1), Kazuya Ito 2), Junko Yoshiba 2)
Sachiko Hirano 1), Tomo Saito 1), Kengo Kinoshita 1),4)
Masaharu Nakayama 2),3), Teiji Tominaga 3),2)1) Tohoku Medical Megabank Organization, Tohoku Univ.
2) Graduate School of Medicine, Tohoku Univ.
3) Tohoku University Hospital4) Graduate School of Information Sciences, Tohoku Univ.
概要
東北メディカル・メガバンク機構（ToMMo）のスーパーコンピュータを利用するための遠隔セキュリティエリアの運用は、2016 年 12 月から開始した。遠隔セキュリティエリアを設置する際には、覚書を締結し、そこに定められたセキュリティ区画の要件を満たすことが必要で、生体認証や監視カメラの準備とともに、アクセスネットワークの準備を進めることとなる。覚書が締結され、セキュリティ区画・アクセスネットワークの準備が整うと、シンクライアント端末一式が遠隔セキュリティエリアに配送され、セキュリティ監査の実施、承認後にスーパーコンピュータを利用できるようになる。
遠隔セキュリティエリアからスーパーコンピュータへのアクセス拠点は、2019 年 9 月現在、東日本 14 拠点、西日本 7 拠点の合計 21 拠点と順調に増加している。遠隔セキュリテ
ィエリアからスーパーコンピュータを利用するためのアクセスネットワークの総通信量は、受信 1Mbps 以下、送信は最大でも 10Mbps 程度で、東日本・西日本どちらからでもストレスなく利用できるアクセス環境を提供できており、さらなる拠点数の増加にも十分に対応できる。今後は、コスト面に配慮しながらサポート体制を整え、遠隔セキュリティエリアからスーパーコンピュータの利用率の向上に繋がる取り組みを続けていく予定である。
配下のネットワークを割り当てることでセキュリ

1 はじめにティを担保したネットワークシステム内で解析が東北大学星陵キャンパス内に設置されている

行われている [1]。

東北メディカル・メガバンク機構（以下、ToMMo）

ToMMo では、全国各地にスーパーコンピューのスーパーコンピュータは、「個別化医療」「個別タを利用できる研究拠点を増やすため、スーパー化予防」を達成するための情報解析とデータバンコンピュータの分譲区画を、シンクライアント端クの両方の機能を併せ持つ、複合データバンクの末から安全に利用できる遠隔セキュリティエリア基盤としての役割を担っている。スーパーコンピの運用を 2016 年 12 月から開始した [2]。

ュータに蓄積されている複合バイオバンクを構成

本稿では、遠隔セキュリティエリアの設置からするデータは、セキュリティレベルごとに区画を利用までの仕組みとその運用について報告する。

分けて格納されており、それぞれ異なる Firewall

493494

2 遠隔セキュリティエリアの概要
2.1 スーパーコンピュータの利用
ToMMo スーパーコンピュータ（以下、スパコン）
は、東北メディカル・メガバンク計画の未来型医療の推進に必要な研究開発に利用できる。メガバンク計画に基づく共同研究がスタートした場合、倫理申請と共同研究の申請を行うことで、スパコンの利用資格を満たす。スパコンには、公開区画、分譲・共同利用区画、内部解析用区画の 3 区画があり、共同研究では、分譲・共同利用区画のアカウントを ToMMo のゲノムプラットフォーム連携センター（以下、ゲノプラセンター）に申請することになる。

図 1 共用端末室の入退室管理（左：虹彩認証装置、右：監視カメラ）
2.3 クライアント端末の要件
クライアント端末は、ゲノプラセンターでキッ共同研究では、機微性の高い情報を扱うため、シンクライアント端末から仮想デスクトップ経由でスパコンに接続し、分譲・共同利用区画を利用する[1]。

ティング済みのシンクライアント端末と周辺機器一式を貸し出すこととなるので、覗き見防止の対策がとられた設置場所が必要となる（図 2）。

また、シンクライアント端末の利用予定場所は、セキュリティ区画の条件を満たしている必要があり、学外の申請者は、星陵キャンパス内の共用端末室、または、遠隔セキュリティエリアを選択することができる。
2.2 遠隔セキュリティエリアの要件
遠隔セキュリティエリアにてスパコンの利用を希望する場合、遠隔セキュリティエリアを設置する組織の代表者が、情報エリア管理者（以下、エリア管理者）となり、「遠隔セキュリティエリアの利用手順書」等を参考にして、エリア設置の準備を進める。
エリア管理者が所属する組織（または、遠隔セキュリティエリアを設置する組織）は、ToMMoと「遠隔セキュリティエリアの利用についての覚書」を締結する必要がある。
覚書に定める利用環境では、遠隔セキュリティエリアの出入口を、クライアント端末で用いる生体認証（現状は、指紋認証）と異なる種類の生体認証による入室管理の制御下で常時施錠、及び、監視カメラ（図 1）で入退室を録画することが課せられている。
これは、星陵キャンパス内の共用端末室と同等のセキュリティ要件となっている。共用端末室は、エリア設置前から利用できるので、実際に仕様を確認して設置を検討することが可能である。

図 2 シンクライアント端末一式
2. 4 アクセスネットワークの要件
覚書が締結された場合、全国どこの大学や民間の研究機関でも一律のサービスを提供できることを考慮し、ToMMo では、NTT 東日本と NTT 西日本が提供するフレッツ光ネクストのアクセス回線とフレッツ・VPN ワイド（以下、VPN ワイド）によるバーチャルプライベートネットワークを介してスパコンにアクセスできるネットワークを構成した [3]。
2019 年 8 月現在のアクセスネットワークの概要
を図 3 に示す。ToMMo では、センタールータのアクセス回線として、フレッツ光ネクストファミリー・ハイスピードタイプを契約している。この回

494495

線は、データ受信最大 200Mbps、データ送信最大スパコンを利用するためのシンクライアント端末100Mbps のベストエフォート型となっている。

一式のキッティング作業を行う。基本設定を実施

ToMMo のセンタールータの WAN 側は、VPN ワ

し、ToMMo の検証拠点 E10 を用いて動作確認がイドプラン 10 の VPN 管理者（E1, E11）と VPN取れた後、配布先で利用する IP アドレスを端末に参加者（E2～E20, W1～W10）の間を PPPoE と IPsec設定してキッティングが完了する。キッティングで接続する（図 3）。センタールータの LAN 側は、された端末は、セキュリティ監査に間に合うよう学内のシンクライアント端末と同じ仮想デスクトに遠隔セキュリティエリアに配送される。

ップに接続して利用するように構成されている。

遠隔セキュリティエリアでは、受け取ったシンクライアント端末を設置し、この端末を NTT が設置したレンタルルータに接続することでスパコンへアクセスできるようになっている。
セキュリティ監査を受け、監査で承認されるとスパコンの利用申請により発行された ID パスワードを入力し、さらに指紋認証することで、スパコン接続用の仮想デスクトップにログインできる（図 3）。

図 3 アクセスネットワークの概要
遠隔セキュリティエリアの拠点ルータは、エリア管理者が、「ToMMo の遠隔セキュリティエリア設置希望」を最寄りの NTT 東日本もしくは NTT

図 4 東日本と西日本のアクセス拠点数

西日本の担当者に連絡して、手軽に申し込めるようになっている。最寄りの NTT 担当者が、ToMMo

3 運用の NTT 東日本営業担当者と連携し、レンタルルー

3.1 アクセス拠点

タの申請書に必要なパラメータを記載したものをToMMo のセンタールータ（E1, E11, E21）と検用意して、ゲノプラセンターを介して申し込みが証環境（E10）を除くと、2019 年 9 月現在、東日完了する。その後、回線工事が行われ、レンタル

本 14 拠点、西日本 7 拠点の合計 21 拠点において、ルータが拠点に設置されれば、アクセスに必要な遠隔セキュリティエリアのアクセスネットワークネットワークの準備は完了となる。の接続が完了となっている（図 4）。

また、予め設計した拠点数（10 拠点）を超えて、2017 年当初は、西日本と東日本の IP-VPN 網間遠隔セキュリティエリアの設置の見込みが出てきを接続するための東西接続の費用が 10 拠点を超た場合には、ToMMo で新たに VPN ワイドプラン

えると大幅に増えてしまうため、図 5A のような10 を申込み、VPN 管理者に払い出される PPPoE見込みを立てた [2]。結果として、西日本は、2017のユーザ ID とともに設計情報をセンタールータ

年 1 月に、最初の拠点が接続してから現在まで 10に反映させる工事が必要となる。

拠点以内で納まっているため、必要最低の費用で2.3 端末のキッティングとセキュリティ監査運用している（図 5B）。

遠隔セキュリティエリアのセキュリティ区画

一方、東日本の拠点は順調に増加しており、整備とネットワークの準備が完了すると、ToMMo2018 年 3 月に 20 拠点まで拡張し、2019 年 9 月にでは、セキュリティ監査を実施する。監査に合格30 拠点を見越した工事を行った。この拠点追加のすると、エリア管理者と同じ組織のエリア利用者工事は、他の拠点に全く運用影響を与えることなは、シンクライアント端末からスパコンに接続でく実施できた。

きる。

東日本の場合、VPN ワイドの 10 拠点のうち 1

そのため、ToMMo のゲノプラセンターでは、495496

拠点（図 3 の E11）を ToMMo に割り当て、セッションを増やして接続している。VPN ワイドのプラ度である。ToMMo では、センターとの通信にあまン 30 に移行する場合と比べて、月額費用は半額以り帯域を消費しない仮想デスクトップを利用して下で構成しており、当初の見込み（図 5A）の範囲いることから、現状では、拠点数が増加しても、内の必要最低限のコストで運用できている（図アクセスネットワークがボトルネックにならない5B）。

ことを確認している。

図 6A センタールータ（WAN 側）の 1 年間の通信量
図 5A 東日本 VPN 管理者の運用コスト（2017 年当初の見込み）

図 6B センタールータ（WAN 側）の 1 日の通信量
3.3 スパコンへの接続
アクセスネットワークを構築した当初、アクセ
図 5B 東日本 VPN 管理者の運用コスト（2019 年現ス拠点のシンクライアント端末から仮想デスクト在と今後の見込み）

ップにログインする際に、ログイン失敗や 40～50秒程度の遅延が生じる不具合が発生した。この遅延は、ネットワークが DNS サーバを参照できない

3.2 アクセスネットワークの通信
過去 1 年間分の ToMMo センタールータの WAN構成となっており、シンクライアント端末で名前側（拠点側）の通信は、1 日平均で受信 0.2Mbps解決のタイムアウトが生じていたことが原因であ程度、送信 1.2Mbps 以内で推移している（図 6A）。

った。この不具合は、シンクライアント端末のまた、2019 年 8 月以降は、送信量が増加しておりhosts ファイルに接続先サーバのホスト名を記載利用が増えている。仮想デスクトップの利用では、するとともにサーバ証明書関連の設定を見直し、センターから拠点のシンクライアント端末に画面名前解決しないようにすることで解消した。これ転送しているため、受信量に比べて送信量が多いまでの運用の中で、これ以外には特に大きな問題と考えられる。

は発生していない。

1 日分の通信（図 6B）では、5 分間平均で送信遠隔セキュリティエリアの利用状況は、エリア6Mbps を超える通信量があったことが判る。一方、管理者とエリア利用者のアカウントから仮想デス

受信は 0.5Mbps 程度で推移している。

クトップにログインした回数で集計しており、東

また、一週間を通しての通信は、月曜日から金日本のほうが西日本よりも利用頻度が高いことが曜日までの平日日中帯が多く、平日でも昼休みの分かる（図 7）。東日本の遠隔セキュリティエリア時間帯には通信量が減っていることが分かる（図からのログイン回数は、１ヶ月当たり最大 226 回6B）
。センタールータの WAN 側の通信量は、すべで、月平均は 152 回であった。平日の利用者は、てのアクセス拠点の合計量を示しているが、1 拠平均すると 7～8 名程度と予想される。

点あたりの通信を観測すると、5 分間平均で受信は数十 Kbps 程度、送信は数百 Kbps～1.2Mbps 程496497

日本医療情報学会学術大会)論文集, 2017, 医療情報学 37 (Suppl.), 538-540.
[3] 長瀬祥子，中村直毅，伊藤和哉, 葭葉純子，
高畑知香他．アウトソーシングによる VPN接続サービスの展開. 平成 28 年度大学病院情報マネジメント部門連絡会議 ポスター抄録
p49-52, 2017.

図 7 遠隔セキュリティエリアから仮想デスクトッ
プへのログイン回数

4 まとめ
本稿では、ToMMo の遠隔セキュリティエリアを円滑に運用するための様々な取り組みについて述べた。
2019 年 9 月現在、東日本 14 拠点、西日本 7 拠点の計 21 拠点の遠隔セキュリティエリアの設置が進んでいる。東日本では、30 拠点までの増加を見込んで工事を完了しており、西日本は、11 拠点目の開通に合わせて、VPN 管理者の運用コストが増える見込み（図 5B）となっている。
遠隔セキュリティエリアからスパコンへのアクセスは、センターとの通信にあまり帯域を要求しない仮想デスクトップを利用しているため、アクセスネットワークの総通信量は、センタールー
タの WAN 側で受信 1Mbps 以下、送信は最大でも10Mbps 程度に留まっており、東日本・西日本どちらからでもストレスなく利用できるアクセス環境を提供できている。従って、新たな遠隔セキュリティエリアの設置にも十分に対応できるようになっている。
今後は、トラフィックや利用者アクセスを監視しつつ、サポート体制を整え、既設および新設の遠隔セキュリティエリアからスパコンの利用率の向上に繋がる取り組みを進める予定である。

参考文献[1] Takai-Igarashi T, Kinoshita K, Nagasaki M, et al.
Security controls in an integrated Biobank toprotect privacy in data sharing: rationale andstudy design. BMC Med Inform Decis Mak.
2017;17(1):100. doi:10.1186/s12911-017-0494-5.
[2] 長瀬祥子, 中村直毅, 伊藤和哉, 葭葉純子, 齊藤智他. 遠隔セキュリティエリアからスーパーコンピュータへの接続サービス -全国展開の事例-. 第 37 回医療情報学連合大会(第 18 回497498