zettavega_whitepaper.md

2024-06-25

ZettaVEGA: ZettaScaler Verifying Environment for
Genome Analysis
Accelerating genomic data analysis with PEZY-SC3© PEZY Computing K.K. May 2023.

1 / 14

zettavega_whitepaper.md

2024-06-25

概要

は、PEZY-SC3を四基搭載したZettaScaler-3.0システム上で動作する、PEZY Computing社製の⾼速なゲノム解析ソフトウェアです。ZettaScaler-3.0は、ストレージ、ネットワーク、演算性能といったゲノム解析に必要なITリソースを、コンパクトでスケーラブルなソリューションに統合しています。
ZettaVEGAは、四基のPEZY-SC3を使⽤することで、33xカバレッジのヒト全ゲノムシークエンスのデータを最⼤96検体/⽇処理することができます。ZettaVEGAは、デファクトスタンダードとなっているGATK Best Practiceパイプラインと⽐較して100倍以上⾼速に動作しますが結果の互換性は99.99%以上保証しています。ZettaVEGAが使⽤しているソフトウェアはGATK Bset Practiceパイプラインを構成するソフトウェアと互換になるように設計‧開発されています。ZettaVEGAのFastqを⼊⼒しVCFを得るためのパイプラインはシンプルなインターフェースを備えており、ユーザーはZettaVEGAの各ソフトウェアを従来のソフトウェアと同様の感覚で使⽤することが可能なため、従来のゲノム解析パイプラインからZettaVEGAへのスムーズな移⾏が可能です。またZettaVEGAでは、GATK4.2で導⼊されたFRDやBQDなどの⾼精度な確率モデルや、アライメントにおけるALT-contigからのLiftover機能や、チューニングされたパラメータのプリセットを利⽤することができ、⾼感度と低い偽陽性を両⽴した結果を得ることが可能になります。
本ドキュメントでは、ZettaVEGAのアーキテクチャとパフォーマンス‧精度について解説します。
ZettaVEGAMay 2023

2 / 14

zettavega_whitepaper.md

2024-06-25

⽬次
ZettaVEGA: ZettaScaler Verifying Environment for Genome Analysis

概要
⽬次
イントロダクション
ZettaVEGA

ZettaScaler-3.0
PEZY-SC3
ZettaVEGA

ソフトウェア概要

pzBWA-MEM
reshz

pzHaplotypeCaller

速度と精度評価

hg19 + decoy
GRCh38 + population-contig

まとめ

Appendixの作り⽅

hg19 + decoy

3 / 14

zettavega_whitepaper.md

2024-06-25

イントロダクション

年にヒトゲノムの解読が完了して以降、ヒトゲノムを解析しようとする試みは20年にわたり⾏われてきました。近年ではゲノムシーケンシングのコストがムーアの法則を凌ぐ勢いで下がり、個⼈の全ヒトゲノムシーケ
ンシングにかかるコストが$1000以下となってきています。それに伴い、プレシジョン‧メディシンという、遺伝情報、個々⼈の⽣活環境やライフスタイルの差異を考慮し、疾病予防や治療を⾏う、新しい医療の考え⽅も現実的なものとなってきました。また、次世代シーケンサによるゲノムシーケンシングの速度も⾼速化の⼀途を辿っており、⾼速なゲノム解析エンジンの重要性は⾮常に⾼まっています。
そこで、PEZY Computingでは、PEZY-SC3アクセラレータを使⽤し、⾼速なゲノム解析エンジンであるZettaVEGAを開発しました。
2003

4 / 14

zettavega_whitepaper.md

2024-06-25

ZettaVEGA

は、ZettaScaler-3.0システム上で動作する、⾼速なゲノム解析ソフトウェアです。

ZettaVEGA

ZettaScaler-3.0

は、PEZY Computingが開発したサーバーです。最⼤の特徴として、独⾃開発した汎⽤アクセラレータ、PEZY-SC3を四基搭載していることが挙げられます。PEZY-SC3の理論ピーク性能は倍精度で19.66TFlopsであり、システム全体としては78.64TFlopsとなります。また、ホストCPUにはEPYC-7713Pを採⽤しており、PEZYSC3で⾼速化されていない従来のツールを使⽤する場合にも⾼速に処理を⾏うことができます。外部ネットワー
クインタフェースは10G EthernetまたはInﬁniband EDRをサポートし、ネットワーク上のファイルサーバーなどとの⾼速なネットワーク通信も可能です。ZettaScaler-3.0では、ゲノム解析に必要な、リファレンスデータファイルやfastqファイル、またvcfデータなどの⼤容量ファイルを⾼速に読み書きするために、四基のPCI Express接続のNVMeストレージを搭載し、これらをRAID0またはRAID01で構成しています。これにより、ゲノム解析で必要になる⼤容量データを⾼速に読み書きすることが可能です。
ZettaScaler-3.0

5 / 14

zettavega_whitepaper.md

2024-06-25

以下にZettaScaler-3.0の諸元を⽰します。
Spec
CPU

EPYC-7713PRAM

1TB(or 2TB)

SSD

256GB(OS, SATA)
8TB(Data, NVMe)

Network

10G Ether
Inﬁniband EDR(100Gbps)

Accelerator

PEZY-SC3 * 4

6 / 14

zettavega_whitepaper.md

2024-06-25

PEZY-SC3はが開発した汎⽤アクセラレータカードです。PEZY-SCシリーズとしては第三世代の製品となります。⾼いピーク性能と⾯積効率‧電⼒効率を両⽴するようにデザインされており、⾮常に⾼い演算性能と⾮常に⾼い電⼒効率を誇ります。理論ピーク性能は倍精度で19.66TFlops, 単精度で39.32TFlops, 半精度で78.64TFlopsとなります。また、メモリとしてHBM2を採⽤しており、1.2TB/sと⾮常に⾼速なメモリ帯域を持ちます。ホストとのインタフェースはPCIExpress Gen4 x16を採⽤し、双⽅向32GB/sの帯域を持ちます。消費電⼒はモジュールで600Wとなっています。
PEZY-SC3 PEZY Computing

以下にPEZY-SC3の諸元を⽰します。
PEZY-SC3
Number of PEs

4096

Clock(PE / GHz)

1.2

Clock(BUS / GHz)

1

Peak FP64 Flops(TFlops)

19.66

Peak FP32 Flops(TFlops)

39.32

Peak FP16 Flops (TFlops)

78.64

Memory Type

HBM2Memory Size(GB)32

Peak Memory bandwidth(GB/s)

1200

Power Consumption

600W

7 / 14

zettavega_whitepaper.md

ZettaVEGA

2024-06-25

ソフトウェア概要

では、以下のヒトゲノム解析パイプラインを提供しています。

ZettaVEGA

また、ZettaVEGAを構成しているソフトウェアは以下の通りです。

8 / 14

zettavega_whitepaper.md

2024-06-25

以下に、主要なソフトウェアを解説します。
pzBWA-MEM

は、BWA-MEM version 0.7.17 (r1198) をベースに、PEZY Computingによる改良を加えた、⾼速なアライメントソフトウェアです。改良点は以下のとおりです。
PEZY-SC3 によるアライメント処理の⾼速化
パイプライン段数とパイプライン構造の最適化による処理の⾼速化
Fastq 読み込みの最適化による⾼速なクエリデータの読み込み
スコアを調整するためのオプション等の追加
Alternate contig へのアライメントのリフトオーバー機能
ヒト集団に対するロングリードでのバリアントコール結果とリフトオーバー機能を活⽤したアライメント
感度の向上
pzBWA-MEM

reshz

は、pzBWA-memの出⼒したアライメントデータに対して、Coordinate Sorting, Picard MarkDuplicates,
GATK BQSR, Applying BQSRを⾏うツールです。 ZettaScaler3.0の⼤容量メモリを活⽤することで⾼速なデータ処理を⾏います。
reshz

pzHaplotypeCaller

は、GATK4.2.0.0のHaplotypeCallerをベースに、PEZY Computingで⾼速化‧⾼精度化を⾏ったゲノム変異解析⽤ソフトウェアです。 改良点は以下の通りです。
GATK4.2.0.0 HaplotypeCallerをもとにC++でフルスクラッチ
PEZY-SC3を使⽤したSmith-WatermanアライメントとPairHMM処理の⾼速化
CPU処理の最適化による⾼速化
GATK4.2 で実装されたFRD, BQDなどの確率モデルがオプションで使⽤可能
pzHaplotypeCaller

9 / 14zettavega_whitepaper.md

2024-06-25

速度と精度評価

本セクションでは、ZettaVEGAの速度と精度を評価します。
使⽤したデータは以下の通りです。
Run Name
CNR0028192(HG001)
CNR0028194(HG001)

Coverage

Total
Gbp

x46.1

138.329x42.1

126.174x53.6

160.700

x41.8

125.356

PrecisionFDA
challenge V1
HG001
PrecisionFDA
challenge V2
HG002

TypeURL

PCR

https://db.cngb.org/search/run/CNR0028192/

PCRFreehttps://db.cngb.org/search/run/CNR0028194/

PCR-

https://console.cloud.google.com/storage/browser/genomics-Freepublic-data/precision-fda/input

PCRFreehttps://precision.fda.gov/challenges/10

これらのデータをseqkitのsampleコマンドを⽤いて100Gbpとなるようにsub-samplingを⾏い速度と精度の評価に⽤いました。
リファレンスは以下を⽤いました。
hg19 gatk bundle + decoy ( https://console.cloud.google.com/storage/browser/gcp-public-data--broadreferences/hg19/v0
https://console.cloud.google.com/storage/browser/gatk-legacy-bundles/b37 )hg38 gatk bundle ( https://console.cloud.google.com/storage/browser/genomics-publicdata/resources/broad/hg38/v0/ ) + population-contig

精度評価には、正解データとして v4.2.1 benchmarkを、精度評価ソフトウェアとしてrtg tools v3.12.1のvcfevalコマンドを使⽤しています。

10 / 14zettavega_whitepaper.md

2024-06-25

hg19 + decoy

リファレンスを使⽤した際の速度を以下の表に⽰します。(単位は秒)hg19 + decoy
Run Name

BWA time

SHZ time

HaplotypeCaller time

ALL time

CNR0028192

532.73123.28242.06781.65

CNR0028194

421.81114.92211.55748.30Precision FDA challenge V1 HG001

537.42

123.60213.73874.79Precision FDA challenge V2 HG002

530.95108.43217.44856.84

また、このときのそれぞれの精度は以下のようになります。
SummaryName

precision

recallf-measure

CNR00281920.9937

0.99230.9930

CNR0028194

0.9971

0.9924

0.9947

Precision FDA challenge V1 HG001

0.9897

0.9926

0.9911

Precision FDA challenge V2 HG002

0.9964

0.99100.9937Name

precision

recallf-measure

CNR0028192

0.99450.99390.9942

CNR0028194

0.9972

0.9924

0.9948Precision FDA challenge V1 HG001

0.99000.9934

0.9917

Precision FDA challenge V2 HG002

0.9971

0.99130.9942Name

precision

recallf-measure

CNR0028192

0.98780.9806

0.9842

CNR0028194

0.99650.99250.9945

Precision FDA challenge V1 HG001

0.98740.98680.9871

Precision FDA challenge V2 HG002

0.99200.98930.9906

SNP

non-SNP

11 / 14zettavega_whitepaper.md

2024-06-25

GRCh38 + population-contig

リファレンスをダウンロードし、アライメント困難な領域におけるヒト集団のロングリードでの解析結果をindexのビルド時に付与しています。 hg38 + population-contig リファレンスを使⽤した際の速度を以下の表に⽰します。
hg38Run Name

BWA time

SHZ time

HaplotypeCaller time

ALL time

CNR0028192

978.3431

131.419354.426

1464.2556

CNR0028194

1034.6179

120.1846

263.3924

1418.2293

Precision FDA challenge V1 HG001

1147.7322

114.6612

296.6762

1559.1012

Precision FDA challenge V2 HG002

1077.6147

117.178271.4726

1466.2897

また、このときのそれぞれの精度は以下のようになります。
SummaryName

precision

recallf-measure

CNR0028192

0.99520.99530.9952

CNR0028194

0.9977

0.99630.9970Precision FDA challenge V1 HG001

0.99120.99600.9936

Precision FDA challenge V2 HG002

0.99680.9946

0.9957Name

precision

recallf-measure

CNR0028192

0.99620.99720.9967

CNR0028194

0.99790.99650.9972

Precision FDA challenge V1 HG001

0.99150.99700.9943

Precision FDA challenge V2 HG002

0.99750.9951

0.9963

Nameprecision

recallf-measure

CNR0028192

0.9881

0.98250.9853

CNR0028194

0.99690.99430.9956

Precision FDA challenge V1 HG001

0.98840.98840.9884

Precision FDA challenge V2 HG002

0.99250.99080.9917

SNP

non-SNP

アライメント速度は低下してしまいますが、アライメントの精度と感度ともに向上します。
12 / 14zettavega_whitepaper.md

2024-06-25

まとめ本ドキュメントでは、⾼速なゲノム解析ソフトウェア ZettaVEGAを解説しました。PEZY-SC3を搭載したZettaScaler-3.0サーバーでは、33xのヒトゲノム解析を最⼤で96検体/⽇処理することが可能です。また、GATK
best practice guideに準拠したソフトウェア群を提供しているため、精度はGATKに準ずるかまたは向上しており、ユーザーのワークロードも、GATK best practice guideからZettaVEGAにシームレスに移⾏が可能です。

13 / 14zettavega_whitepaper.md

2024-06-25

Appendixの作り⽅

hg19 + decoy

リファレンスを以下のURLよりダウンロードします。

hg19

https://console.cloud.google.com/storage/browser/gcp-public-data--broad-references/hg19/v0

以下のコマンドで 1 - 22, X, Y, MT の配列とそれ以外を分離して、indexのビルド時にデコイとしてそれ以外の配列を付与しています。この機能はZettaVEGA独⾃の機能です。
seqkit grep -n -r -p '^(X|Y|MT|[1-9])' Homo_sapiens_assembly19.fasta -o
Homo_sapiens_assembly19_add_hs37d5_decoy.fasta
seqkit grep -n -r -v -p '^(X|Y|MT|[1-9])' Homo_sapiens_assembly19.fasta -o
hs37d5_decoy.fasta/opt/pezy/pzwgs/bin/bwa-index -i 8 -d hs37d5_decoy.fa
Homo_sapiens_assembly19_add_hs37d5_decoy.fasta

14 / 14