29 電子顕微鏡生データアーカイブ EMPIAR の紹介○常住 規代1、中根 崇智1、川端 猛1,2、栗栖 源嗣1
1. 大阪大学 蛋白質研究所
2. 東北大学 大学院 情報科学研究科

トーゴーの日シンポジウム2022

Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

EMPIARとは• EMPIAR (Electron Microscopy Public Image Archive) は、3Dバイオイ
メージング実験から得られた生の2次元画像データおよび特定の3Dバイオイメージングデータセットを無償で公開するデータベースです※1• 電子顕微鏡データバンク（EMDB※2）や、生体高分子の立体構造データベース（PDB※3）と相補する役割があります。
• 公開された生データを使って三次元構造を再構成することにより、解析ツールの開発や解析手法の研究に用いられ、分解能向上に役立っています。
• オープンソースの解析ツールを使えば、市販のGPU搭載PCさえあれば、非専門家でも電顕画像の単粒子構造解析手法の学習が可能です。
• 2022-09-05現在、991 entries＆ 2.06 PB のデータが公開されています。
※1: https://www.ebi.ac.uk/training/online/courses/empiar-quick-tour/what-is-empiar/※2: https://pdbj.org/emnavi/?lang=ja※3: https://pdbj.org/
Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

2

EMPIAR-PDBjとは• 欧州バイオインフォマティクス研究所（EMBL-EBI）による
EMPIAR@EBI の公式ミラーサイトです。
• 本家（EBI）データの効率的なデータの配布を目的に、2018 年に PDBj 内で運用開始しました。
• 2019 年 8 月から、HDD 郵送によるデータ登録支援 (2019/08) を開始しています。

https://www.ebi.ac.uk/empiar/

Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

https://empiar.pdbj.org/

3各国から多彩なデータが登録されている
country

EM vendor

4%

other 0%HITACHI 1%

China
Switzerland
2%

TFS
その他 11%6%detector
OTHER 3%

DIRECT ELECTRON 2%

JEOL
4%

FEI
17%

Japan
United8%

States45%

Germany
10%

UnitedFEIKingdom

89%

GATAN
78%

20%

※1: 筆頭 corresponding author の国籍で分類※2: https://pdbj.org/emnavi/
Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

4１エントリあたりサイズは頭打ち傾向
エントリサイズの分布

エントリサイズTOP10600
561500469

400374300200
10002322244001empiar_id

release_datesize(TB)

10781

2021-10-11

74.64

10517

2020-11-27

46.86

10809

2021-10-22

45.74

10375

2020-12-18

43.81

10591

2021-02-12

41.66

10735

2021-08-06

35.78

10437

2021-11-08

33.99

10473

2020-11-27

33.93

10999

2022-07-22

32.36

10638

2021-05-07

24.41

数十TBのエントリが頻出していた時期もありました。
自動撮影により画像ファイル数は増加していますが、TIFF圧縮の普及により１ファイルあたりのサイズは1GB未満のものが多くなり、１エントリのサイズの伸びは鈍化しています。
Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

5データサイズは指数関数的に増加中
リリース開始（2013-07-06）からのデータサイズの推移と予測
12000000

stacking_size(GB)10000000

3PB
4PB

サイズ（GB）

8000000

6000000

5PB

2023-12-13
5 PB 到達予定

近似関数からの値

2023-08-24
4 PB 到達予定(y=2608.2e0.002x)

4000000

2000000

2022-07-29
2 PB 到達2021-06-25
1 PB 到達2023-04-02
3 PB 到達予定
2022-08-19 現在
991 entries, 2.06 PB

00
500
1000
1500
2000
2500
3000 2023-02-04
3500 2024-06-18
4000 2025-10-31
4500
2013-07-06
2014-11-18
2016-04-01
2017-08-14
2018-12-27
2020-05-10
2021-09-22

Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

6

EMPIAR-PDBjにより登録代行されたエントリー
年
2019
2020
2021
2022
合計件数26615（公開済み）+ 8（公開待ち）
37（公開待ち含む）

10926

11072

11079

10733

11046

11057

11056

11059

11061

11099

11091

11101

11074

11024

11073

Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

7

EMPIARデータの登録
EMPIARデータの登録には大きく２つのステップがあります。

1. メタデータの作成
2. データの転送
EMPIARの登録手順※1は公開を希望するすべて人に開かれています。
しかし、数TBのデータ転送に必要な、“IBM Aspera Connect” や “Globus Connect
Personal” の導入や、ネットワーク環境の制約※2により登録を躊躇している方が多いのが現状です。
EMPIAR-PDBj ではそういった方々に対して、登録代行サービス（Deposition代行）を提供しています。
※1: マニュアル “EMPIAR deposition manual” を参照※2: PDBjの1Gbpsネットワークで1TBのデータセットを転送するのに約8時間以上必要
Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

8

EMPIARデータ登録代行サービス
EMPIAR-PDBj では、データ登録を希望する方に以下のようなサービスを行っています。

• メタデータ作成補助• データの入ったメディアを大阪大学 蛋白質研究所に送付、蛋白研ネット
ワークからEBIへデータ転送• 非圧縮 MRC 動画ファイルの TIFF 形式への圧縮代行作業の内容は人それぞれです。登録をお考えの方は一度ご相談ください。

Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

9

EMPIARにエントリを作成する
登録データを作成するには以下の２つの方法があります。

1. JSONファイル• 登録用JSONファイルを作成（sample）• メールに添付してPDBjへ送信（PDBjでEBIに送信）

2. Webインターフェース• EMPIAR-EBI Depositionサイト でエントリを作成• EMPIAR-PDBj担当者に権限（View,Edit＆Submit）を追加• ブラウザ上でエントリ項目を入力

初めての場合は “２.Webインターフェースによる方法” をおすすめします。
いずれの場合でも、登録をお考えの際には事前にご相談ください。

Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

10

JSONファイルによる登録情報の作成• EMPIAR-EBI Deposition のログインアカウントが不要• 入力データの管理が容易• 次回以降、登録用JSONファイルを使い回すことができます。
• テキスト形式なのでバージョン管理システムなどでの管理が可能です。
• オフラインでも編集可能• EBIへ送信するのはPDBjで行いますので、EBIのサーバーの状態に依存しません。
以下のようなデメリットがあります。

• JSONファイル（テキスト形式）を編集するのが面倒• VSCodeなどJSON形式に対応したエディタを使えば楽に編集することができます。
• 文法や入力規則（JSON schema）に従った修正はこちらで行います。
• Citation, Author 情報が手入力
Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

11

Webインターフェースによる登録情報の作成• EMPIAR-EBI Deposition のログインアカウントが必要• 氏名、メールアドレス、所属機関名があれば作成可能です。
• Google, ORCIDのログイン情報を使用することもできます。
• エントリを共有し複数人で編集が可能• Citation情報を自動で入力可能• DOI, PubMed, EMDB, ORCID などから citation, author の情報を入力補完可能です。
以下のようなデメリットがあります。

• Webサイトの状態（メンテナンスや不具合など）により作業ができない場合があります。
• 複数人が同時に編集作業を行うことはできません。
• データをローカルに保存することができない• テキストファイルへのエクスポート機能がなく、スクリーンショットやPDFへの印刷で保存する方法しかありません。
Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

12データ転送代行サービスのご紹介
EMPIAR-PDBj独自のサービスとして、データ転送代行サービスを行っています。
データメディアを大阪大学に送っていただくことにより、大阪大学のEMPIARスタッフが代わりにEBIにデータをアップロードします。データ転送のみのご依頼も可能です。
1.

Depositionサイトでエントリを作成してアップロード用のトークンを取得（代行可）

2.

データの入ったメディアを 大阪大学 宛に送付（着払い可）

3.

大阪大学からEMPIAR-EBIの所定の場所にデータをアップロード。前出のアップロー
ドトークンを使用します。

4.

アップロード完了後HDDを返送します※ データメディアの貸出も行っています。事前にご相談ください。
Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

13

EMPIARデータ公開までの流れ
1. メタデータを登録
2. データを転送
3. DepositionデータSubmit••

EBIに登録データを引き渡す。以後、編集はWebサイトからは行えなくなり、データを修正するにはEBIにリクエストを出して個別対応して貰う必要があるため、Submit前に登録データを再度確認してもらう必要がある。
この時点でEMPIAR-IDが付与される（Submitボタンを押してから数分程度）

4. 公開準備完了通知•••

EBI側で公開準備が完了した旨の連絡が来る（Submit完了後数日～数週間、EBIのキュレー
ターの稼働状況次第）。
公開データの場合はこの時点で即公開リクエストに応じる旨のアクションを送信可能。放置していた場合でも所定の期間で自動公開される。
論文公開待ちの場合は登録の際に指定したアクション ”Release instruction” に従って処理される

5. 公開• 数日～数週間

Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

14

新 EMPIAR-PDBj Web が新しくなります

2022年10月公開予定※1: Relational Database Management System

Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

15

新 EMPIAR-PDBj Webの特徴• データベースの独立• EBIで提供されているTEXT形式（json,xml）のデータをRDMS（MariaDB）にインポートすることにより、SQLクエリーを用いた詳細な検索が可能に。
• PDBj独自項目を追加することにより、独自仕様への柔軟な対応が可能に。

• 保守性向上• EMPIAR-PDBjへのローカライズでブラックボックス化していたソフトウェア内部を、フルスクラッチで書き直してプログラム全体構造が可視化• ライブラリを、可能な限りオープンソースで向こう数年の保守が確約されているものに置き換えてメンテナンス性を向上• デバッグ環境の整備（IDEによるデバッグ対応、ソースコードのバージョン管理）• 動作速度の向上• RDMSにより必要なデータのみを取得することによりトップページ表示の高速化• ファイルツリーのデータをテキストに書き出すことにより表示の高速化• DBのチューニングは随時実施予定
Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

16

新 EMPIAR-PDBj Web ソフトウェア概要• Web（主要なもののみ）• Python 3.9.x• Django 3.2.x• MariaDB 10.x（MySQL clone）• Bootstrap 4.x• jQuery 3.6.x• Storage（稼働中）• GlusterFS 7.2• Aspera High-Speed Transfer Server 4.3.1

Licensed under a Creative Commons 表示4.0国際ライセンス©2022 日本蛋白質構造データバンク

17