SANSTJYWa
[G7;).2/3]F ?=8X

3&.! 
9MU!-
A01- 稲葉班

稲葉真理
東京大学情報理工学系研究科

研究分担者

今井浩

平木敬須田礼仁3&.!
物質科学と計算機科学の融合• 物質科学シミュレーションは多様な計算手法・質的に異なる計算タスクの組み合わせで構成されている• 物質科学シミュレーションで、計算量が大きく、現在の計算機では実際に計算できないような大規模計算が望まれている3&.!
物質科学と計算機科学の融合• PI9M!-と それぞれに対応する高性能コンピューティング原理• 多様な解法を:H\b(0上で実装"'*• 超並列アーキテクチャ上のためのAN3&.!3<^科学技術計算のベンチマーク~v

-



5C

S[]Z^\Xihy}u:!q%kg

Mb\a[\^WU`ih)w|<"f

f

E^Yc^\cih.mrw|4#

f

f

PU_UMFih/g

IDMGSSBHMOih=

RSFHTih0-{|xx 

CFRJSMih=NBV^Xdih$?p1xx 

QEFih

=6

HFih

@xx 

NJEDMih,zp?xx 

H_^]aSTRAh

';9&

LJNPDEK3

IBHHT

8(HHT

7$3#Z +,1 5

g
g
g
g
g
g

f
9*

g
g

f

R4@`>CNO ELN • 密行列積：演算ボトルネック• 疎行列：メモリボトルネック• FFT： バンド幅ボトルネック

EXAFLOPS をめざして• DKQ7;>C_!–––?=

演算 --- 演算アクセラレータ
通信 --- ネットワークアクセラレータ
メモリ操作 --- メモリアクセラレータ• BV6'"'*
– 最適化コンパイラ– 最適化ハードウェアコンパイラ– 実行時最適化・回路選択ソフトウェア

?=8X

演算
Grape-DR アクセラレータ

GRAPE-DR@天文台
Little Green 500 世界１位
LINPACK で 815MFlops/W

通信ネットワークテストベッド

メモリアクセラレータ テストベッド
Convey HC-1


Grape-DR アクセラレータ

BV6'"'*

?=8X

BV63%0
目標• 細粒度で数千PEに• 通信コストを小さく• 作業領域を小さく• パイプラインを埋める

解法• データ依存を表現するグラフを提案• グラフから制約式を作り 0-1 整数計画法に落し、最適なデータ配置・実行を求める

階層型メモリアーキテクチャ• データ配置・転送の最適化が重要– スクラッチパッドメモリからなる階層型メモリアーキテクチャ• トレードオフ– 小さいバンド幅– 少ないメモリ容量• ソフトウェア制御                p>

Copy-candidate Grapht(t)

t*



Copy-candidate Graph
t((e)
(e)
(e)
).*).*).*t)

t*

Data Dependence Graph• Software Pipeliningではイテレーション
距離(Δ)を追加
,"#&"#,'' ,'-++!$,"#&"#+,"#+,
%

+,"#

+,

SDDG: Selective Data Dependence Graph[nakamura, inaba, hiraki (2009)]
Copy-candidate GraphとData Dependence Graphを融合

,&



MSCS
minimize(Initiation Interval)

subject to Data Dependency constraints
 Valid Copy-candidate constraints
 Precedence constraintsi
 Resource constraints<"lsnjomr2p+研究連携A02

A01

A03

稲葉班：アーキテクチャ

お伺いします主要アルゴリズム
計算量・問題サイズ
データ構造等第一原理物質デザインのための計算機
アーキテクチャへむけて要求要件の整理
アーキテクチャの提案
プロトタイプの構築
連携して研究・開発

連携して研究・開発

高橋班
高橋班：超並列張班：アルゴリズム
リズム

お伺いします主要アルゴリズム
計算量・問題サイズ
データ構造等䛣䜜䜎䛷䛾⤒⦋
991

92

93

994

995

96

997

㉸㟁ᑟㄽ⌮ᅇ㊰

01

02

03

04

00

05

㧗㏿⌫㠃ㄪ࿴
㛵ᩘኚ᥮ἲ

Doubleshift QR
06

07

08

09

10
≀㉁⛉Ꮫ

㧗㏿⌫㠃ㄪ࿴
㛵ᩘኚ᥮ἲ
FMM

99

ᆅ⌫つᶍὶయᅇ㊰䝅䝭䝳䝺䞊䝅䝵䞁䠄⥺ᙧ䝋䝹䝞䠅

㔞Ꮚ☢᮰䝟䝷䝯䝖䝻䞁

98⮬ື䝏䝳䞊䝙䞁䜾
䝦䝔䝻୪ิ䝍䝇䜽䝇䜿䝆䝳䞊䝸䞁䜾GPU㧗㏿⌫㠃ㄪ࿴㛵ᩘኚ᥮• ⌫㠃ㄪ࿴㛵ᩘ㏫ኚ᥮
⌫࿴ ᩘ㏫ኚ᥮
g m ( Pi )Nm mg
¦ n Pn (Pi )n mMⅬ ⌫㠃ㄪ࿴㛵ᩘ㏫ኚ᥮

O(N3)
O(N2 logN)㧗㏿⌫㠃ㄪ࿴㛵ᩘኚ᥮• ⌫㠃ㄪ࿴㛵ᩘ㏫ኚ᥮
⌫࿴ ᩘ㏫ኚ᥮
g m ( Pi )Nm mg
¦ n Pn (Pi )O(N3)O(N2 logN)n mMⅬ䛻䛂⿵㛫䛃
MⅬN– m+1Ⅼ䛷
g(Pi⌫㠃ㄪ࿴㛵ᩘ㏫ኚ᥮)䜢ィ⟬

FMM䜢౑䛳䛶
FMM
䜢౑䛳䛶
O(M)

㧗㏿⌫㠃ㄪ࿴㛵ᩘኚ᥮• ⌫㠃ㄪ࿴㛵ᩘ㏫ኚ᥮
⌫࿴ ᩘ㏫ኚ᥮
g m ( Pi )Nm mg
¦ n Pn (Pi )O(N3)O(N2 logN)n m⥲࿴䛾๓༙䜢ィ⟬࿴
MⅬ䛻䛂⿵㛫䛃⮬᫂䛻MⅬN– m+1Ⅼ䛷
g(Pi⌫㠃ㄪ࿴㛵ᩘ㏫ኚ᥮)䜢ィ⟬
O(N – m+O(Nm+1)⥲࿴䛾ᚋ༙䜢ィ⟬

FMM䜢౑䛳䛶FMM
䜢౑䛳䛶O(M)General Purpose GPU Computing
GeneralPurposeGPUComputing
Graphic Card

PCIExpressxx16

MPMPMP

SPSP

SPSP

SPSP

SP

SP

SP

SP

SP

SP

SP

SP

SP

SPSPSP

SP

SP

SPSP

SP

SP

sharedsharedsharedDeviceMemoryMPsruninSPMD
MPs
run in SPMD~Cores
SPsruninSIMD~SIMDelements
Register:perSP
Shared:perMP
Device:perGPU

Matrix Multiply on GPU
MatrixMultiplyonGPUl
C

Performaance(Gfloops)

mnl
A

m300
280260n240
220
base200l=2304n=40005#blk =8181180
160
140
144

288

432576m

BStreaming Matrix Multiply on GPU
StreamingMatrixMultiplyonGPUl
C

Performaance(Gfloops)

mn
A

m

300
280

r=1.2
k =11k11lr=2.3
k =4k4r=3.2
k =4k4r=4.1
k =3k
3260

n

240
220

base
opt

200

l=2304n=40005#blk =81
81

180
160
140
144

288

432576mB䜰䞊䜻䝔䜽䝏䝱䛾ຊᏛ୪ิ ᗘ䝥䝻䝉䝑䝃䛒䛯䜚䛾䝕䞊䝍㔞䜰䞊䜻䝔䜽䝏䝱䛾ຊᏛ୪ิ ᗘ

StrongScalingྠ䛨䝃䜲䝈ၥ㢟ฎ⌮᫬㛫▷䛟䝥䝻䝉䝑䝃䛒䛯䜚䛾䝕䞊䝍㔞䜰䞊䜻䝔䜽䝏䝱䛾ຊᏛ䜘䜚኱䛝䛺ၥ㢟₇⟬ຠ⋡㧗䛟୪ิ ᗘ

StrongScalingྠ䛨䝃䜲䝈ၥ㢟ฎ⌮᫬㛫▷䛟䝥䝻䝉䝑䝃䛒䛯䜚䛾䝕䞊䝍㔞䜰䞊䜻䝔䜽䝏䝱䛾ຊᏛ䜘䜚኱䛝䛺ၥ㢟₇⟬ຠ⋡㧗䛟୪ิ ᗘStrongScalingྠ䛨䝃䜲䝈ၥ㢟ฎ⌮᫬㛫▷䛟

WeakScaling䜘䜚኱䛝䛺ၥ㢟ฎ⌮᫬㛫㛗䛟䝥䝻䝉䝑䝃䛒䛯䜚䛾䝕䞊䝍㔞䜰䞊䜻䝔䜽䝏䝱䛾ຊᏛ୪ิ ᗘ䝥䝻䝉䝑䝃䛒䛯䜚䛾䝕䞊䝍㔞䜰䞊䜻䝔䜽䝏䝱䛾ຊᏛ୪ิ ᗘ䝥䝻䝉䝑䝃䛒䛯䜚䛾䝕䞊䝍㔞㘽䛿䠛• ₇⟬䝞䞁䝗ᖜ
₇⟬䝞 䝗ᖜ =>GPU,GRAPEͲDR• 䝯䝰䝸䝞䞁䝗ᖜ• 䝛䝑䝖䝽䞊䜽䝞䞁䝗ᖜ• 䝛䝑䝖䝽䞊䜽❧䛱ୖ䛜䜚㐜ᘏ• 䛣䜜䜙䛾せᅉ䜢᱁ẁ䛻ᨵⰋ䛛䛴᱁ẁ䛻┬㟁ຊ• 䝥䝻䜾䝷䝭䞁䜾䝰䝕䝹䠈䜰䝹䝂䝸䝈䝮㝵ᒙⓗ㉸୪ิ䜰 䜻䝔䜽䝏䝱㝵ᒙⓗ㉸୪ิ䜰䞊䜻䝔䜽䝏䝱㻙 㻭㻜㻝✄ⴥ⌜ 㻙ᮾி኱Ꮫᖹᮌ ᩗᮾி኱Ꮫ

GRAPE-DR project

CDC CDC6600

Development of Supercomputers

CDC7600

VectorTI

SIMD

Distributed Memory

Cray

Cray-1

Fujitsu

Burroghs

FPS

ILLIAC IV

AP-120B

Fastest system at one time

M180IAP

Cyber205

VP-200Cosmic CubeThi ki Machines
Thinking
M hi
CM-1

iPSC

Cray X2

Ncube
CMU

Ncube

EncoreAllient

CydromeMultimax

FX-8

Multiflow

Sequent

WARP

CM-2

FX800

IBMM
Maspar

VP-2600

NWT

RP3

MP-1

Cray

T3D
T3E

Intel

SUN

Paragon

SP1

VPP5000

S
Sony/IBM/IBM SSE
GRAPE-6

ES

SSE2

SX-6

SSE3

SX-8

CELL

SX-9

Roadrunner

GPGPU
G80

XT3

GTX280

XT5AP3000ASCI RED

SP2

Fermi

XT6

SP3

ASCIWhite

GRAPE-DR

AVX

CS6400
CS-2

Hitachi

SR-2201

Blue Water

Tera/Cray

Starfire

MTA

U of Tokyo

SX-5FX2800

SR8000PrimePowerQCDSPRegatta

BG/L

SR11000

BG/P

SR16000

BG/Q

1990

KSR-1

QCD-PAX AP1000

CM-5

S-3800

VPP700CS-1

Fujitsu

T.S.Delta

MP-2

PS2EE
Cray-X1

1980

Intel

MPP

S-820

ETA-10

SX-4

S-810

MMX
Cray-SV1yDenelcor
HEP

IA
A Clusters

NEC

Cray-C90

Cray-T90

ICL

Goodyear

SX-3

Cray 3Cray-3C.mmp

DAP

SX-2 VP-400

Cray-YMP

Research/Special system

CMU

230-75APU Hitachi

Cray-2

1970

Shared Memory

ASC

STAR-100

Cray-XMP
Cray
ComputerIBM 360/67

SGI
Challenge
Origin2000

2000
Origin3800

SUN Fire
HPC2500

Alti
AltixFX1jḟୡ௦
GRAPE-DRproject䝇䝟䝁䞁タィୖ䛾ㄢ㢟• ఱ䛜᭱኱䛾㞀ᐖ䛛䛿䚸᫬௦䛻䜘䜚⛣䜚ኚ䜟䜛– ኱䛝䛔䝅䝇䝔䝮䜢ື䛛䛩– ₇⟬ჾ䜢㐟䜀䛫䛺䛔– 䜽䝻䝑䜽䜢᪩䛟䛩䜛– ୪ิ䝅䝇䝔䝮䛷ຠ⋡䜘䛟ィ⟬– ౯᱁䜢ୗ䛢䜛– ᾘ㈝㟁ຊ䜢ୗ䛢䜛– ᑠᆺ໬– ィ⟬ཎ⌮

University of Tokyo⌧ᅾ

GRAPE-DR project㟁ຊຠ⋡໬䛾Ṕྐ㧗㏿໬䛾ᣢ⥆䛻ᚲせ䛺㟁ຊຠ⋡໬䛾ྥୖ⋡fl /Wflops/W
1P

GRAPE-DR(ணGrape-6

1T㏿ᗘྥୖ⋡䜘䜚ప䛔

BlueGene/L

1G
1M

್䠅

㟁ຊຠ⋡໬䛾ྥୖ⋡ASCI RED
Cray-2
Cray-1

SX-8, ASCI-Purple,
HPC2500ᆅ⌫䝅䝭䝳䝺䞊䝍

1K

VPP5000
170

ᮾி኱Ꮫ

80

90

2000 2010

2020

2030

2040

すᬺ

GRAPE-DR projectPhoto of GRAPE-DR

University of Tokyo

GRAPE-DR projectGRAPE-DR䛾㧗ຠ⋡ᛶ•䝯䝰䝸䝞䞁䝗ᖜ䛾᭷ຠ฼⏝––––•LSIୖ䛾㈨※᭷ຠ฼⏝––ᮾி኱Ꮫᨺ㏦ᆺ䝯䝰䝸䜰䜽䝉䝇ᑓ⏝Reduction₇⟬䝛䝑䝖䝽䞊䜽ᑓ⏝Reduction₇⟬䝛䝑䝖䝽䜽㝵ᒙ໬䛧䛯䝕䞊䝍ὶ䛸෌฼⏝ᛶ䛾☜ಖᐇ⾜䛩䜛䜰䝹䝂䝸䝈䝮䛻❧⬮䛧䛯䝯䝰䝸㔞䛾๐ῶ䝥䝻䝉䝑䝃㛫┦஫⤖ྜ䛾᤼㝖• 䝥䝻䝉䝑䝃䛿₇⟬ჾ䚸䝻䞊䜹䝹䝯䝰䝸䚸䝺䝆䝇䝍䛰䛡512ಶ䛾䝥䝻䝉䝑䝃䜢㞟✚• ప䜽䝻䝑䜽㏿ᗘ䛻䜘䜛ᾘ㈝㟁ຊపῶ

GRAPE-DR projectGreen 500 List

ᮾி኱Ꮫ

GRAPE-DR projectGRAPE-DR䛾ᛂ⏝ศ㔝ィ⟬㏿ᗘ(GRAPE-DR,, GPGPU,, ClearSpeedィ⟬㏿ᗘ(petc.))N యၥ㢟ศᏊືຊᏛ⥺ᙧ᪉⛬ᘧ᭷㝈せ⣲ἲ㔞ᏊศᏊ䝅䝭䝳䝺䞊䝅䝵䞁㑇ఏᏊ䝬䝑䝏䞁䜾䝍䞁䝟䜽㉁䝣䜷䞊䝹䝕䜱䞁䜾䝛䝑䝖䝽䞊䜽䝞䞁䝗ᖜỗ⏝CPU䝞䝷䞁䝇䛧䛯⬟ຊ

IBM BlueGene/L,PQCDFFT 䜢⏝䛔䛯ィ⟬ὶయຊᏛẼ㇟ணሗᆅ㟈䝅䝭䝳䝺 䝅䝵䞁ᆅ㟈䝅䝭䝳䝺䞊䝅䝵䞁䝯䝰䝸䝞䞁䝗ᖜ䝧䜽䝖䝹ィ⟬ᶵ

University of Tokyo

GRAPE-DR projectຠ⋡ⓗィ⟬䛾᭦䛺䜛㏣ཬ
• 䝯䝰䝸㔞䛾ᑡ䛺䛔䝅䝇䝔䝮– ᖖ䛻䝁䝇䝖䛾Ỵᐃせᅉ– 䝯䝰䝸䛿䚸䝅䝇䝔䝮㟁ຊ䛾1/3⛬ᗘ䜢ᾘ㈝䝸䛿䚸䝅 䝔 㟁ຊ䛾 ⛬ᗘ䜢ᾘ㈝– ₇⟬㏿ᗘ䞉䝯䝰䝸㔞䛾ᶆ‽ẚ⋡䛛䜙䛾⬺༷• 䝛䝑䝖䝽䞊䜽䛾పᾘ㈝㟁ຊ໬– ↓㥏䛾䛺䛔䝕䞊䝍㌿㏦䠄඲య㌿㏦㔞䛾పῶ䠅• ᭱㐺䝖䝫䝻䝆䛾㐺⏝• ↓㏦ಙ᫬䛾㟁ຊపῶᮾி኱Ꮫ

GRAPE-DR project䝰䝕䝹䞉䜰䞊䜻䝔䜽䝏䝱• ┠ᶆ– ➨୍ཎ⌮ィ⟬䜢ྵ䜐ᗈ⠊ᅖ䛾䝅䝭䝳䝺䞊䝅䝵䞁䛻㐺ᛂ– GRAPE-DR䛾100ಸ䝺䝧䝹䛾ᴟ㉸పᾘ㈝㟁ຊ䛾ಸ䝹䛾ᴟ㉸పᾘ㈝㟁ຊ– 㝵ᒙᛶ䜢䜒䛴␗䛺䜛୪ิᛶ䛾฼⏝• ᇶᮏ䜰䞊䜻䝔䜽䝏䝱– ↓㥏䛾䛺䛔䝕䞊䝍㌿㏦䠄඲య㌿㏦㔞䛾పῶ䠅– 䝕䞊䝍⛣ື㟁ຊ䛾๐ῶ• ᭱㐺䝖䝫䝻䝆䛾㐺⏝• 䠏✀䛾䜰䜽䝉䝷䝺䞊䝍௜ຍ䠏✀䛾䜰䜽䝉䝷䝺 䝍௜ຍ– ₇⟬䜰䜽䝉䝷䝺䞊䝍– 䝯䝰䝸䜰䜽䝉䝷䝺䞊䝍䝯 䝸䜰䜽䝉䝷䝺 䝍– 䝛䝑䝖䝽䞊䜽䜰䜽䝉䝷䝺䞊䝍ᮾி኱Ꮫ

GRAPE-DR project඲యᵓᡂ౛
• 䝛䝑䝖䝽䞊䜽䜰䜽䝉䝷䝺䞊䝍䛷䝛䝑䝖䝽䞊䜽せ⣲– 䝛䝑䝖䝽䞊䜽୰㛫䝜䞊䝗䛿䝛䝑䝖䝽䞊䜽䜰䜽䝉䝷䝺䞊䝍䛷ᵓᡂ– 䝅䝇䝔䝮䜰䞊䜻䝔䜽䝏䝱ⓗ䛻䛿10000䝜䞊䝗䝺䝧䝹䜢᝿ᐃ䝅 䝔 䜰 䜻䝔䜽䝏䝱ⓗ 䛿䝗䝹䜢᝿ᐃ䝜䞊䝗䝜䞊䝗䝜䝗䝛䝑䝖䝽䞊䜽䜰䜽䝉䝷䝺䞊䝍

GRAPE-DR project䝜䞊䝗䛾ᵓᡂ• ᵝ䚻䛺ᐇ⿦᪉ἲ䛜ྍ⬟• 䝬䝹䝏䝏䝑䝥䝰䝆䝳䞊䝹䚸✚ᒙ䚸WSI₇⟬
䜰䜽䝉䝷䝺䞊䝍䝩䝇䝖䝥䝻䝉䝑䝃䝛䝑䝖䝽䞊䜽䜰䜽䝉䝷䝺䞊䝍䝯䝰䝸䜰䜽䝉䝷䝺䞊䝍

3✀䛾䜰䜽䝉䝷䝺䞊䝍䜢䜒䛴䝜䞊䝗
GRAPE-DR project₇⟬䜰䜽䝉䝷䝺䞊䝍䝻䞊䜹䝹䝯䝰䝸₇⟬䝥䝻䝉䝑䝃⩌䝏䝑䝥ෆඹ᭷䝯䝰䝸 䝏䝑䝥ෆඹ᭷䝯䝰䝸 䝏䝑䝥ෆඹ᭷䝯䝰䝸䝏䝑䝥ෆ䝛䝑䝖䝽䞊䜽

ᩚᩘ₇⟬
ᾋືᑠᩘⅬ₇⟬䝬䝇䜽₇⟬䝁䝺䜽䝔䜱䝤₇⟬䝩䝇䝖䝥䝻䝉䝑䝃

䝛䝑䝖䝽䞊䜽䜰䜽䝉䝷䝺䞊䝍䜰䜽䝉䝷䝺䝍䝯䝰䝸䜰䜽䝉䝷䝺䞊䝍௚䝜䞊䝗䜈䛾᥋⥆

GRAPE-DR project䝛䝑䝖䝽䞊䜽䜰䜽䝉䝷䝺䞊䝍䝇䜲䝑䝏䞁䜾䝣䜯䝤䝸䝑䜽䝛䝑䝖䝽䞊䜽
I/FPCIe BUS䝯䝰䝸
I/F䜲䞁䝍䝣䜵䞊䝇
PCIexpressv3.0 16GB/s௚䝜 䝗䜈௚䝜䞊䝗䜈䝇䝖䝸䝸䞊䝮䝥䝻䝉䝉䝑䝃䝞䝑䝣䜯䝯䝰䝸䝇䝖䝸䝸䞊䝮䝞䝑䝑䝣䜯₇⟬䜰䜽䝉䝷䝺䞊䝍䜈䝩䝇䝖䜈

DDR4 DRAM
16GB/s䝯䝰䝸䜰䜽䝉䝷䝺 䝍䜈䝯䝰䝸䜰䜽䝉䝷䝺䞊䝍䜈

GRAPE-DR project䝯䝰䝸䞉䜰䜽䝉䝷䝺䞊䝍䝛䝑䝖䝽 䜽䜰䜽䝉䝷䝺 䝍䜈䝛䝑䝖䝽䞊䜽䜰䜽䝉䝷䝺䞊䝍䜈FPGA䝯䝰䝸䞉䝥䝻䝉䝑䝃

DDDR4䝯䝰䝰䝸
DDDR4䝯䝰䝰䝸
DDDR4䝯䝰䝰䝸
DDDR4䝯䝰䝰䝸䝯䝰䝸䜲䞁䝍䝣䜵䞊䝇

DDR4 DRAM

GRAPE-DR project◊✲䛾᪉ἲ䈄 ṧᛕ䛺䛜䜙䚸ᐇ䝅䝇䝔䝮ᵓ⠏䛿↓⌮ṧᛕ䛺䛜䜙 ᐇ䝅䝇䝔䝮ᵓ⠏䛿↓⌮䇵 ண⟬ⓗไ⣙䇵 㛤Ⓨᮇ㛫䛾ၥ㢟䈄 㻲㻼㻳㻭䜢⏝䛔䛯䝔䝇䝖䝧䝑䝗㻲㻼㻳㻭䜢⏝䛔䛯䝔䝇䝖 䝑䝗䇵 ప㏿䛰䛜ᐇ䜰䝥䝸䜿䞊䝅䝵䞁䛾ᐇ⾜䛜ྍ⬟䈄 㻯㼛㼚㼢㼑㼥㻌㻴㻯㻙㻝䛾฼⏝䈄 ෆ〇䛾㻲㻼㻳㻭䝔䝇䝖䝧䝑䝗䛾฼⏝䈄 㻲㻼㻳㻭䝝䞊䝗䜴䜵䜰䝁䞁䝟䜲䝷䛾㛤Ⓨᮾி኱ᏛGRAPE-DR project䜎䛸䜑䈄 㻳㻾㻭㻼㻱㻙㻰㻾㻳㻾㻭㻼㻱 㻰㻾䇵 䜰䜽䝉䝷䝺䞊䝍䛻䜘䜛㉸ప㟁ຊ໬䜢♧䛧䛯䇵 㻿㻵㻹㻰䜰䞊䜻䝔䜽䝏䝱䛻䜘䜛₇⟬㻛ᾘ㈝㟁ຊẚ䛾పୗ㻿㻵㻹㻰䜰 䜻䝔䜽䝏䝱䛻䜘䜛₇⟬㻛ᾘ㈝㟁ຊẚ䛾పୗ䇵 ⣙㻝㻳㼒㼘㼛㼟㼜㻛㼃䜢ᐇ⌧ 䠄⌧ᅾ䚸ୡ⏺᭱㧗ຠ⋡䠅䈄 ḟୡ௦䝅䝇䝔䝮䛾ᐇ⌧䇵 㻝㻜㻳㼒㼘㼛㼜㼟㻛㼃௨ୖ䛾₇⟬㻛ᾘ㈝㟁ຊẚ䛜ᚲせ䈄 ỗ⏝䝥䝻䝉䝑䝃䛾ᘏ㛗⥺ୖ䛷䛿↓⌮䝥ᘏ㛗⥺ୖ 䛿↓
䈄 ₇⟬䜰䜽䝉䝷䝺䞊䝍䛷ᐇ⌧䛿ྍ⬟䈄 ᭦䛺䜛㧗㏿໬䚸౛䛘䜀 㼆㼒㼘㼛㼜㼟䝅䝇䝔䝮䇵 ₇⟬䛰䛡䛷䛺䛟䚸඲䛶䛾㉸ᾘ㈝㟁ຊ໬䛜ᚲ㡲
₇⟬䛰䛡䛷䛺䛟 ඲䛶䛾㉸ᾘ㈝㟁ຊ໬䛜ᚲ㡲䇵 㻝㻌㼀㼒㼘㼛㼜㼟㻛㼃௨ୖ䛾₇⟬㻛ᾘ㈝㟁ຊẚ䛜ᚲせ䇵 䝯䝰䝸䜰䜽䝉䝷䝺䞊䝍䚸䝛䝑䝖䝽䞊䜽䜰䜽䝉䝷䝺䞊䝍◊✲䛻╔ᡭᮾி኱Ꮫ

GRAPE-DR project