統合データベース講習会：AJACSオンライン7
2021年7月15日

次世代シーケンスデータベースを使って公開NGSデータの検索と自分のNGSデータを登録する
福田亜沙美

国立遺伝学研究所 生命情報・DDBJセンター
キュレータ

講義の内容1．次世代シーケンスデータベース
2．Sequence Read Archive
3．NGSデータの検索
4．NGSデータの DRA への登録

2021年7月15日

AJACS オンライン71

次世代シーケンスデータベース

2021年7月15日

AJACS オンライン7

2

DNA シーケンサー
第一世代：サンガー法• アプライドバイオシステム(ABI)

これ以降を次世代シーケンサーと呼ぶ

第二世代：超大量並列(short read)• Illumina

第三世代：リアルタイム一分子(long read)• PacBio• Oxford Nanopore
Shendure, J., Balasubramanian, S., Church, G. et al.
Nature 550, 345–353 (2017). https://doi.org/10.1038/nature24286/Figure1

2021年7月15日

AJACS オンライン73主な次世代シーケンサー
・Shor read はさらに大量出力

Illunima NovaSeq 6000
最大出力 6000 Gb

・Long read はさらに長く
Oxford Nanopore
MinION < PromethION
最長リードは1Mb以上
PacBioSequel < Sequel II
最長リードは175kb 以上

https://flxlexblog.wordpress.com/2016/07/08/developments-in-high-throughput-sequencing-july-2016-edition/
2021年7月15日

AJACS オンライン7

4

出力データと解析データ
fastq

生データ

@seq1
GGGTGATGGCCGCT…
+
IIIIIII9IG9IC7…

bam

アセンブル/アノテーション付き配列データ

fasta
アノテーション

2021年7月15日>seq1
GGGTGATGGCCGC//

機能ゲノミクスデータ

バリアントデータ・発現解析データ
FPKM/RPKM, TPM etc.
・ChIP-Seq ピークファイル etc.

vcf

s1s2

s3

ENSMUSG00000109643

111

ENSMUSG00000109644

001

ENSMUSG00000109645

011

AJACS オンライン7#CHROM POS ID REF ALT QUAL FILTER
20 14370 rs6054257 G A 29 PASS
20 17330 . T A 3 q10
20 1110696 rs6040355 A G,T 67 PASS5

NGSデータと対応するデータベース
NGS 生データ

Sequence Read Archive

DRA
ENA
SRA

アセンブル/アノテーション付き配列データ

DDBJ
ENA
GenBank

fastq

@seq1
GGGTGATGGCCGCT…
+IIIIIII9IG9IC7…

bam
DDBJ Center
EBI
NCBI
機能ゲノミクスデータ

GEA
ArrayExpress
GEO※ArrayExpress→BioStudiesに移行予定

ENA: European Nucleotide Archive

2021年7月15日

GEA:Genomic Expression Archive
GEO:Gene Expression Omnibus

AJACS オンライン7

バリアントデータ

EVA∙DGVa
dbSNP∙dbVar
EVA・DGVa 全生物種
dbSNP・dbVar ヒトデータ限定
EVA:European Variation Archive
DGVa:The Database of Genomic Variants archive6データを整理するデータベース
プロジェクト情報

サンプル情報BioProject

BioSample

関連データベースに共通のメタデータをまとめている

Sequence Read Archive
GEA
ArrayExpress
GEO

DRA
ENA
SRA
NGS 生データ機能ゲノミクスデータ

DDBJ
ENA
GenBank
アセンブル・アノテーション付き配列データ

EVA∙DGVa
dbSNP∙dbVar
バリアントデータ※メタデータ: シークエンスデータを説明するデータ
2021年7月15日

AJACS オンライン7

7

INSDCデータベース
国際塩基配列データベース
INSDC; International Nucleotide Sequence Database Collaboration

BioProject

BioSample

Sequence Read Archive

DRAENA
SRA

DDBJ
ENA
GenBank

http://www.insdc.org/
2021年7月15日

AJACS オンライン78

アクセス制限データベース
個人を特定可能な情報を含むヒトデータとそれ以外
アクセス制限オープンアクセス

Japanese Genotype-phenotype Archive (JGA) ※NBDCと共同運営
European Genome-Phenome Archive (EGA)
The database of Genotypes and Phenotypes (dbGAP)
生データ

変異データ

アセンブル/アノテーション付き配列データ
機能ゲノミクスデータ

アノテーション

2021年7月15日

AJACS オンライン7

9

一次データベースと二次データベース
一次データベース
Primary database

二次データベース
Secondary database

別の呼び方

Archival database

Curated database; Knowledgebase

データソース研究者（登録者）が実験で得たデータを直接登録

一次データベースのデータや文献を解析、解釈、キュレーションした結果

例•DRA/ERA/SRA (INSDC)•DDBJ/ENA/GenBank (INSDC)•GEA/ArrayExpress/GEO•EVA∙DGVa/dbSNP∙dbVar•PDB•RefSeq•Ensembl•Expression Atlas•ChIP-Atlas•UniProt

2021年7月15日

AJACS オンライン710

Sequence Read Archive

2021年7月15日

AJACS オンライン711データ量(NCBI SRA)SRA data は 2019 年時点で 36PB, 2023年には 43 PB になる見込み

この10年で急激に増加

https://ncbiinsights.ncbi.nlm.nih.gov/2020/06/30/sra-rfi/

2021年7月15日

AJACS オンライン712

公開データフォーマットfastq@seq1
GGGTGATGGCCGCT…
+IIIIIII9IG9IC7…

bam

シーケンサー出力(PacBio hdf5 etc.)

SRA Toolkit

ENA
データ交換

アーカイブ用 SRA ファイルNCBI
SRA Toolkit
fastq

公開データフォーマット
DDBJ

ENA

NCBI

sra, fastq

sra, fastqsra

SRA format には配列データしか含まれておらず、メタデータは含まれていない

2021年7月15日

AJACS オンライン713

SRAメタデータ• プロジェクト情報• 研究費情報• 文献情報• サンプル情報• Taxonomy ID• ライブラリー情報• シーケンサの機種

データファイル指定

SRA format, fastq

 SRA データは３つのデータベースにまたがる
2021年7月15日

AJACS オンライン714

SRAメタデータ
1つのプロジェクトに複数の Sample, Experiment, Run が関連付けられる

SRA format, fastq

2021年7月15日

AJACS オンライン715

BioProject
プロジェクト概要

生物情報
論文情報

アクセッション番号プレフィックス
PRJD (DDBJ)
PRJE (ENA)
PRJN (NCBI)

関連データ

 プロジェクトに関する情報

SRA データ 関連データをトップレベルで整理・ナビゲーションの入口

BioSample
Assembly

SRA
データサイズNCBI BioProject:https://www.ncbi.nlm.nih.gov/bioproject/PRJDB10567

2021年7月15日

AJACS オンライン716

BioSample
タイトル
生物情報
パッケージ

サンプル属性

アクセッション番号プレフィックス
SAMD (DDBJ)SAME (ENA)SAMN (NCBI)
 データを取得したサンプルが「属性名:値」のペアで記述されている

 サンプルの種類毎のパッケージ（必須・任意属性セット）
関連データ
NCBI BioSample: https://www.ncbi.nlm.nih.gov/biosample/SAMD00247165

2021年7月15日

AJACS オンライン7

17

SRA Experiment

BioProject

BioSample

ライブラリー
シークエンサーアクセッション番号プレフィックス
DRX (DDBJ)ERX (ENA)SRX (NCBI)
 ライブラリー + シークエンサー
 BioProject, BioSample と Run をつなぐ中心オブジェクト

Run

NCBI Experiment: https://www.ncbi.nlm.nih.gov/sra/DRX234771

2021年7月15日

AJACS オンライン7

18

SRA RunRun 情報アクセッション番号プレフィックス
DRR (DDBJ)
ERR (ENA)SRR (NCBI)

リード構成

 リードデータのコンテナー
 リードには連番をアサイン

リード

NCBI Run: https://trace.ncbi.nlm.nih.gov/Traces/sra/?run=DRR244978

2021年7月15日

AJACS オンライン71919

NGSデータを検索する
DRASearch
ENA Browser
NCBI SRA Entrez

2021年7月15日

AJACS オンライン720

検索方法
NGS データ検索は主にメタデータによる検索• アクセッション番号で検索• Keywordで検索– 論理演算子(AND, OR, NOT)の使用– ワイルドカード (*)• Advanced Searchhttps://www.ebi.ac.uk/ebisearch/documentation.ebi#query_syntax
2021年7月15日

AJACS オンライン721

DRASearchhttps://ddbj.nig.ac.jp/DRASearch/

対象データは DRA/ERA/SRA
アクセッション番号で検索

DRR000003で検索した結果

fastq, SRA file の
ftp サイトへのリンク

ダウンロードの方法は以下を参照
https://www.ddbj.nig.ac.jp/faq/ja/how-to-download-data.html
2021年7月15日

AJACS オンライン722

DRASearch – keyword 検索メタデータ XML 上を検索

Keyword で検索※ワイルドカードは使用不可
Filter で絞り込み

2021年7月15日

AJACS オンライン723

DBCLS SRA

https://sra.dbcls.jp/

アクセッション番号で検索

DRR000001を検索した結果

Runに関連するプロジェクト情報を一緒に表示する

fastq, SRA file のDDBJ ftp サイトへのリンク
2021年7月15日

AJACS オンライン724

ENA browser

https://www.ebi.ac.uk/ena/browser/search

アクセッション番号で検索対象データは Read のみではなく、ENA 全データを含む2020年8月から新ブラウザへ完全移行
https://www.ebi.ac.uk/about/news/service-news/retirement-old-ena-browser-5th-august-20202021年7月15日

AJACS オンライン725

ENA browser - 一覧表示
BioProjectでの検索結果

PRJDB5174を検索した結果プロジェク
ト情報

オブジェクトの一覧表示

https://www.ebi.ac.uk/ena/browser/view/PRJDB5174
2021年7月15日

AJACS オンライン726

ENA browser – keyword 検索

covid-19 OR sars-cov-2 OR (2019 AND ncov)

対象データは Read のみではなく、ENA 全データを含む

Datatype で絞り込み

https://www.ebi.ac.uk/ena/browser/text-search?query=covid-19%20OR%20sars-cov-2%20OR%20(2019%20AND%20ncov)
2021年7月15日

AJACS オンライン727

ENA browser - Advanced Search①-⑤の手順で段階的に絞り込む

NGS データ検索 = Raw reads

https://www.ebi.ac.uk/ena/browser/advanced-search
使い方のドキュメント
https://ena-docs.readthedocs.io/en/latest/retrieval/advanced-search.html

2021年7月15日

AJACS オンライン728

Advanced Search - Query
クエリを細かく指定

項目のカテゴリクエリの指定

2021年7月15日

項目がカテゴリごとに表示され、様々な項目で高度な絞り込みができる
例1）collection_date が 2011-01-01 以降
例2) 地図上から位置を絞り込む

AJACS オンライン729

Advanced Search – Fields
出力項目を選択

取得ファイルフォーマットを選択
Table の結果に含める
field を選択

2021年7月15日

AJACS オンライン730

Advanced Search – Results
結果を表形式で表示

結果を XML, JSON, TSV 形式でダウンロード可能2021年7月15日

AJACS オンライン731

NCBI SRA Entrez

https://www.ncbi.nlm.nih.gov/sra/

対象データベースを SRA に指定

Query は Keyword, accession どちらも可Experiment が公開情報の最小単位

2021年7月15日

AJACS オンライン732

SRA 検索結果の詳細参照Experimentの内容が表示される

BioProject
BioSample

関連情報へのリンク• 論文情報• 生物情報ライブラリー
シークエンサーRun

Run の詳細表示

2021年7月15日

https://www.ncbi.nlm.nih.gov/sra/?term=DRR148118

AJACS オンライン733

NCBI SRA Entrez
Keyword で検索
検索結果は Experiment 単位で表示
様々な項目で絞り込みアクセス制限or オープン

covid-19 OR sars-cov-2 OR (2019 AND ncov)
で検索した結果

対象生物で絞り込み関連DBで絞り込み
シークエンサーライブラリーの構築手法

2021年7月15日

https://www.ncbi.nlm.nih.gov/sra/?term=covid-19+OR+sars-cov-2+OR+(2019+AND+ncov)
AJACS オンライン734

NCBI Advanced - SRA
Filter
PubMed, PMC, Nucleotide, Assemblyなどと相互参照
されているSRAレコードを検索できる例）"sra pmc“Properties
規定項目によって検索結果を絞り込む例）"instrument illumina novaseq 6000"

2021年7月15日

AJACS オンライン735

NCBI Advanced – BioSample

BioSample の属性名、値で検索
例）strain BALB/c を含む

2021年7月15日

AJACS オンライン736

NCBI Advanced –BioSample

SRAで関連データを探す

Experiment 単位で結果が表示される
Run Selector

2021年7月15日

AJACS オンライン737

NCBI Run Selector
関連データ番号とBioSample, Experimentメタデータをまとめて表形式で表示

共通情報

メタデータをまとめてダウンロード

表形式

2021年7月15日

AJACS オンライン738NCBI SRA aligned data の viewer 表示

Run の詳細表示③ Alignment を表示④referenceを選択①aligned data で絞り込み②Experiment を選び、Run を表示させる⑤Sequence viewerで表示

2021年7月15日

AJACS オンライン739

NCBI - Sequence viewer

Run alignments
2021年7月15日

AJACS オンライン740

NCBI クラウドで SRAメタデータ検索
SRAデータは、パブリッククラウドにも移行されている• Amazon Web Services（AWS）• Google Cloud Platform（GCP）
クラウド上で SQL により SRA メタデータ検索を実行できる• Athena (AWS)
BigQuery• BigQuery (GCP)
クエリの実行や結果の保存は有料

https://www.ncbi.nlm.nih.gov/sra/docs/sra-bigquery-examples/

2021年7月15日

AJACS オンライン741COVID-19
新型コロナウィルス関連データポータルサイト
https://www.ncbi.nlm.nih.gov/sars-cov-2/

https://www.covid19dataportal.org/

https://covid19dataportal.jp/

2021年7月15日

AJACS オンライン742

NGS データを DRA へ登録する
データファイルの準備
必要なメタデータ情報
メタデータの構成
登録手順

2021年7月15日

AJACS オンライン743

データファイルの準備
BAM
 アライメントされなかったリード(unaligned read)を含めることを推奨 リファレンスがある場合、SQ 行のSN 値とリファレンス配列 (INSDC/refseq
アクセッション.バージョン番号) との対応表が必要
BAM ファイルヘッダー

対応表

fastq
 ペアリードはペアごとに分かれているファイルの登録を推奨
 gzip か bzip2 で圧縮可能

Run データファイル:https://www.ddbj.nig.ac.jp/dra/submission.html#run-data-files2021年7月15日

AJACS オンライン744

DRA登録に必要な主なメタデータ情報•

登録者情報– 登録内容に関して DDBJ からの問い合わせに対応できる方•

公開予定– 即日公開 or 一定期間非公開••

DRA: 公開予定日を 4 年以内で指定可能

プロジェクト情報 (BioProject)– プロジェクトのタイトル、概要– 研究費情報•

生物学的情報 (BioSample)– 生物名（NCBI Taxonomy database に登録されている種レベル以下の学名）– サンプルの採取環境、採取日時、特徴、処理条件など•

シークエンス用ライブラリーとシークエンスの手法 (Experiment)– ライブラリの情報– シーケンサーの機種名– リード長（spot length）
2021年7月15日

AJACS オンライン745

DRAメタデータの構成を決めておく
1. 最もシンプルな登録

2. 三つの菌株の比較ゲノム解析

https://www.ddbj.nig.ac.jp/dra/submission.html#organization-metadata-objects

 登録する前に必要な BioProject・BioSample・Experiment・Run の数を決めておく サンプル数 (≦ Experiment/Run 数) から考えると分かりやすい DRA submission では全てのオブジェクトが同時に公開される点に気を付ける
2021年7月15日

AJACS オンライン746

BioSample の粒度
いくつのサンプルが必要か？
個別の BioSample として扱う場合の例
 個体が異なる場合
 Biological/Technical replicate

 組織が異なる場合
 Time point が異なる場合
 処理が異なる場合•

登録例１:同じ薬物で処理された3匹の「同一」なトランスジェニックマウス–•

登録例２ : オスのマウス一個体から採取した脳，心臓，肺，精巣，肝臓–•

3 つの Biological replicate = 3 BioSamples

５つの異なる組織 = 5 BioSamples

登録例３ :ウイルスに感染させた細胞を 0，2，4，8 時間後にサンプリング–4 つの time point = 4 BioSamples
https://www.ddbj.nig.ac.jp/biosample/submission.html#granularity

2021年7月15日

AJACS オンライン747

DRAの登録手順
D-way アカウント取得
DRA 新規登録の作成

データファイルの転送

メタデータ登録• Submission• BioProject• BioSample• Experiment• Runa) ウェブツールで作成b) XML ファイルをアップロード

データファイルの検証処理
アクセッション番号発行
2021年7月15日

AJACS オンライン748

D-way アカウントを取得する
 D-way アカウントをウェブサイト (https://ddbj.nig.ac.jp/D-way/)で取得

 公開鍵と center name をアカウントに登録し、DRA 登録権限を取得

BioProject

BioSample

D-way アカウント＋公開鍵 と center name

BioProject

DRA

BioSample

GEA
D-way アカウント

https://www.ddbj.nig.ac.jp/account.html

公開鍵: 秘密鍵とペアでユーザの認証に使用される

center name : SRA が組織に運用上割り振っている略号

2021年7月15日

AJACS オンライン749

DRA Submission の作成

新規作成後、Submission に記載する情報
 登録者情報（氏名、メールアドレス、所属組織）
 即日公開 or 非公開を選択 (公開予定日を4年以内で指定)

2021年7月15日

AJACS オンライン750

データファイルの転送
DRA ファイル受付サーバ

登録者
シークエンスデータファイル
fastq, bam など

 鍵認証で DRA ファイル受付サーバにアクセスし、データファイルをsubmission ID に対応するディレクトリ(例: test07-0001) にアップロード
https://www.ddbj.nig.ac.jp/dra/submission.html#upload-sequence-data

2021年7月15日

AJACS オンライン751

メタデータ登録a) ウェブツールで作成
DRA メニューから BioProject, BioSample を一連の流れでウェブ上で登録できる少ない件数の登録向きb) XMLファイルをアップロード
エクセルファイルから生成した XML ファイルをアップロード
多数サンプルを一括で登録
Docker, Singularity コンテナを利用
BioProject, BioSample は D-way であらかじめ登録
XML生成方法 https://github.com/ddbj/submission-excel2xml
2021年7月15日

AJACS オンライン752

BioProject の登録 D-way 登録画面で各タブに内容を入力して投稿
SUBMITTER
 登録者情報（名前、メールアドレス、所属組織）
 即日公開 または 「関連する配列データが公開されるまで非公開」を選択
GENERAL INFO

 プロジェクトのタイトル、概要
 研究費に関する情報
PROJECT TYPE
 プロジェクトのタイプ
Genome Sequencing,Transcriptome or Gene Expression, etc.

TARGET 生物情報（対象生物種名）＃複数の生物種を対象としたプロジェクトの場合、共通する階層までの生物分類を記入

PUBLICATION (任意)
 文献情報（Pubmed ID, DOI）
# アクセッション番号を記載した論文情報を追加更新
2021年7月15日

AJACS オンライン753

BioSample の登録
D-way 登録画面で各タブに内容を入力して投稿
 SUBMITTER: 登録者情報（名前、メールアドレス、所属組織）
 GENERAL INFO: 即日公開 または 「関連する配列データが公開されるまで非公開」を選択

 SAMPLE TYPE: サンプルの種類を選択

サンプルの種類 (Sample type) に応じた属性セットが指定される
例: 腸内メタゲノムの場合 host が必須

2021年7月15日

AJACS オンライン754

BioSampleの登録: ATTRIBUTES「属性名:値」のペアでサンプルを記述 (例: collection_date:2015-01-01)

 Sample type に対応したタブ区切りのテキストファイルをダウンロード
 エクセルなどで１行に１サンプルの情報を入力し、テキストファイルをアップロード

 複数サンプルの登録が可能
2021年7月15日

AJACS オンライン755

サンプル属性一覧

サンプル属性一覧: https://www.ddbj.nig.ac.jp/biosample/attribute.html?all=all
2021年7月15日

AJACS オンライン756

BioSample 登録例

2021年7月15日

AJACS オンライン757

DRA Experiment, Run の作成
Experiment サンプルから構築したライブラリー、シークエンサーやリード長について記入
記入例
BioSample Used

SAMD00000001

Library Source

GENOMIC

Library Selection

RANDOM

Library Strategy

WGS

Instrument

SequelSpot Type

SingleSpot Length

30000(不定長の場合はリード長の平均)Run 対応する Experiment 番号
 データファイルの MD5, file type を記述
 不定長の fastq の場合、file type は generic_fastq を選択
2021年7月15日AJACS オンライン758

データファイルの検証処理

検証処理を開始

 データファイルの形式とメタデータとの整合性が検証され、アーカイブ用の SRA ファイルが作成される2021年7月15日

AJACS オンライン759

アクセッション番号の発行

 BioProject (PRJD)
 BioSample (SAMD)

 Submission (DRA), Experiment (DRX), Run (DRR)

論文には「データ登録」に対する DRA アクセッション番号の引用を推奨
2021年7月15日

AJACS オンライン760

データの公開 公開されたデータはミラーされ DDBJ/EBI/NCBI で利用できる
DRASearch

ENA

NCBI SRANCBI BioProject

2021年7月15日

AJACS オンライン761