A progress of Software correlator
andnew broad‐band observing system

Tomoaki Oyama
2011/09/28
VERAUM1目標（a few years）• 広帯域化による感度向上– DIR‐2000 replace（２０１２年3月メーカーメンテ終了）（年 月メ カ メ終了）
– 4 or >8 Gbps high speed recording> High sensitivity– 参照電波源増加– SNR増加、離角（target‐reference）小⇒位置精度向上（2.2倍＠８Gbps by本間）• Software correlator system
Normal mode
– VSOP‐FX
VSOP FX correlator replace(for VERA 1Gbps)– FFT points（16K⇒4M） , メタノールメーザー観測他
EExpandd moded– 相関処理局数の拡張（5⇒任意）– OCTADISK、光結合OCTAVE観測（512MH帯域） >2 Gbpsの相関処理– 偏波、混合相関（異なる帯域幅）2

Why >8 Gbps？
• 継続性、科学的発展
継続性 科学的発展– 128 Mbps(1990)⇒1024 Mbps(2000)⇒8192 Mbps(2010)（LAN： 10 Mbps⇒１ Gbps⇒10 Gbps）– 超広帯域、高感度観測（SiO V=1,2,3同時、AGN吸収線等）• 技術的発展– 10GB/s伝送の汎用化（低価格化）⇒10 GbEの使用– Gbps記録の汎用化（低価格化） ⇒HDD, SSDの使用• 現状観測システム、競争、効率的観点、現状観測システム 競争 効率的観点– 受信帯域RF：4GHz、IF：2GHz ⇒16, 8 Gbps
– KJJVC（8Gbps×16局）との親和性⇒RVDBの可搬型、OCTADISKの開発
KJJVC（8Gbps×16局）との親和性⇒RVDBの可搬型 OCTADISKの開発– VLBA >4 Gbps化3広帯域化
• 第一段階（デジタル系, 4Gbps）– DIR2Kリプレ
DIR2Kリプレース
ス、FXリプレ
FXリプレースス– １Gbps（VERA‐DFU）、2Gbps‐512MHz（光結合モード） X 2ch– 相関器：三鷹FX、ソフト相関（normal‐mode）
相関器：三鷹FX ソフト相関（normal mode） or KJJVC– デモ、検証試験（８Gbps）• 第二段階（>8Gbps)– IFスイッチ、サンプラー、BBC？
– ＞８Gbpsp– 相関器：KJJVC or ソフト相関器（拡張モード）
4

OCTAVIA OCTADISKOCTAVIA、OCTADISK• OCTAVIA(Octave
OCTAVIA(Octave‐VSI‐Adapter)
VSI Adapter)( VSI‐H⇔10GbE Converter）––––Four VSI I/O ports (1 or 2 Gbps)
One 10 GbE I/O port (VDIF Format)
VBR Function for the traffic jam
Compatible with RVDB‐DIO（for KJJVC)• OCTADISK（Octave‐disk‐drive）– One 10 GbE I/O port（VDIF Format）– Observing mode
 Recording and Playing at a rate of 2 Gbps
simultaneously Recording at a rate of 4.5 Gbps
 Playing at a rate of 4.5 Gbps
– 12 hard disk drive per 1 module– 24 hours recording@2Gbps (using 2 Tbyte HD*12)– Compatible with RVDB‐DDB（for KJJVC）

5

New terminal for ultra wide band at VERADIR1000
ODS(OC48)ODR(OC48)PCD
4 GbpsDFU

4 Gbps

1 Gbps

VSI I/F

0.032-1Gbps

VMAT4 Gbps

A beam(512MHz)ADS1000

IF 5-7GHz
5 7GHzADS1000

BBC
ADS3000+

DIR2000(Giga bit recorder)

VESPA(Software spectrometer)

1Gbps or 32Mbps X 2 (Maser)

VSI

OCTAVIA(1GspsX4ch A/D)

10GbE

B beam(512MHz)
2 GbpsX4chp

ADS3000+

OCTAVIA(1GspsX4ch A/D)

VSI⇔10GbE

4 Gbpsor10GbE 4 Gbps OCTADISK #1Hub
OCTADISK #2

New system
Original system

OCTAD(4 or 8 Gsps A/D)

4-8 Gbps

8 or 16 Gbps

Upper Cabin

Observing room

PC (for DSP, Recording)

新ターミナルで記録可能な観測モード（現在）新タ
ミナルで記録可能な観測モ ド（現在）１、現有VERA DFUを用いた1Gbpsの各モード
２、2 Gbps(512MHz)＋2 Gbps（512M+Hz）、光結合モード
6３、2 Gbps(512MHz)＋64‐512Mbps(16MHz‐128MHz)

立ち上げ状況 今後（観測局）
立ち上げ状況、今後（観測局）•••

2010/6,7/
2010/8
2010/9‐•2011/6,7

•
•
•
•
•
•
•

2011/10‐11 観測棟OCTAVIA設置、立ち上げ＠入来、石垣
2011/04～3 2 + 2 Gbps mode 試験観測（連続波ペア）
2011/11～3 1 Gbps試験観測（DR2Kとの併用運転）、観測データ取得（一部）
Gbps試験観測（DR2Kとの併用運転） 観測デ タ取得（ 部）
2011/04～ VFS対応設計、制作、2012年度導入予定
2012/04～ サイエンス試験運用（1‐ 4Gbps、相関器が鍵)2013/04～ OCTADISKのみで運用？（予算状況に依存）
201?/04～ 8Gbps？

4局配備完了（OCTADISK1台
局配備完了（台 4Gbps）b ）初期バグ（FPGA, ファーム）修正
ランニング試験（4 Gbps）（機能変更、拡張、バグ修正 Ver 2.0⇒Ver 2.08）
観測棟OCTAVIA設置、立ち上げ＠水沢、小笠原

7

観測棟ラック（小笠原）2011/7

OCTAVIA

VDV（VSI Divider）
Di id ）ADS3000+
簡易型BBC8

設置状況（石垣）開発制御用PC 10GbE
制御ソフト（RVDB用）OCTAVIA制御
時刻符号確認

開発制御用PCOCTAVIA‐ISG(10GbE)
・ビット分布計測（実働中）ビット分布計測（実働中）・準実時間FC（予定）CPU or GPU・ FFT・ DBBC・ DFU・ Digital Polarizar
・ RECORD9

IF系検討• IF Switch– ８：４（６）（入力 5‐7 or 4‐8 GHz）？
– 入力：A,Bbeam 両偏波、C‐band両偏波、予備２偏波偏波
備• BBC– 2ndLO variable or Stable+Filter？
– Output : 512MHz×4?
• Sampler– Octad（4‐6、4‐8 GHz Direct sampling）– ADS3000+(512MHz X 4ch, baseband sampling)– DBBC or DFU、FPGA、GPU（10 GbE)
10

基礎試験
礎試験
• Mini 2ndLO（鈴木）– Small– 試験中（簡易型BBC組み込み）• Direct samplingp g VLBI test
– OCTAD, ADX‐831, PANDA– 3bit＋DBBC、DFU、software、GPU or FPGA
– 試験実施（2011/6）

11簡易型BBC制作 評価
簡易型BBC制作、評価

2011/5 三鷹

2011/7 小笠原
12簡易型BBC 入出力波形#1 K band(5-7GHz）→簡易型BBC入力#1 K band 簡易型BBC出力（CH1)#1 Q band(5-7GHz）→簡易型BBC入力#1 Q band 簡易型BBC出力（CH3)13

VLBI experiment using simple wide band observing system(RF direct sampling) without DC and BBC at VERA Mizusawa station••

Date 2011/06/06
2011/06/06‐09
09
Instruments– Ant• Mizusawa 10m and 20m– RX• K‐band– A/D converter• OCTAD : Input 20‐24 GHz• ADX‐831: Input 4‐6 GHz– PC‐Recorder(OCTADISK)PC Recorder(OCTADISK) X 4• Normal PC–––––

CPU: Core I 7 3.0GHz
Memory: 24 Gbyte
Raid : Areca ARC‐1880‐ix‐16
Raid box : STARDOM ST8‐U5
10GbE card : Neterion X3110SR• 8 Gbps recording @1 pc＞total 32 Gbps recording– Under analyzing the data

RX output 20‐24GHz

OCTAD(A/D) input 20‐24GHz

Sampling clock 8192MHz
E8257DA/D output using 10GbE
Optical fiber, VDIF format
PC‐recorder
Input : 10GbE using Optical fiber
VDIF format
PC‐recorder
Raid box(removable)

1414

Software Recording System for VDIF using 10GbE•

Soft recorder– Software(Recording) + Commercial PC
customized by requirement– Customized PC(ex for OCTAD,(ex,OCTAD 8 Gbps recording )

••
•
•
•
•

CPU: Core i 7 3.2 GHz
Memory: 24 Gbyte
Raid : Areca ARC‐1880‐ix‐16
ARC 1880 ix 16
Raid box : STARDOM ST8‐U5X2
10 GbE card : Neterion X3110SRCent OS 5.656– Software(Recording)• Using Standard C• Input : VDIF format, UDP• Output : Linux standard format
ext4, xfs etc• Software correlator can access
raw data directly– >8 Gbps recording @1 pc

15

作業メンバ
作業メンバー

16相関局（2010年10月まで）
K5VSI（Soft corr)
DIR2000

VSI I/FVDVCOR I/F

1Gbps

VERA

三鷹FX

DFU
VMAT2Gbps
鹿島局
つくば局

VOA100OCTAVIA（DIO）OCTAVE+

10GbE
ハブブ

OCTADISK #1
DDB #1‐6

VSI汎用PC

10GbE

山口局
岐阜局

苫小牧局

１）OCTAVE＋（光結合＋ディスクバッファー）系とVERA系（ソフト相関）は独立
２）既存系相関処理とソフト相関器の同時その他

17VERA広帯域化＋OCTAVE+（ディスクバッファー併用光結合VLBI）用
相関局整備案（ハード ソフトウエア相関器併用）
相関局整備案（ハード、ソフトウエア相関器併用）

COR I/F/

Mark5Fantech

Hardd FX

K5 Soft corr（PC‐recorder))直結モード（折り返し）（VSI I/F→COR I/F）

DR2K

VSI I/F
光結合局

OCTAVIA(DIO)
VOA100DF #5

VERA観測局

OCTADISKOCTAVIA×３（VOA100）

VSI I/FOCTACOR(光結合相関器）
DF #5

DF #6DF #6

RVDB‐DDBRVDB
DDB（OCTADISK化）#1‐6DR2K

DR2K
OCTAVIA(DIO)
VOA100

DIR2K
VSI10GbE
18新提案、VERA（ソフト相関）＋光結合＋ディスクバッファー配線図19

新相関局整備

岐阜大学、2010/10/1320

VERA広帯域化＋OCTAVE+（ディスクバッファー併用光結合VLBI）用
相関局整備案（ハード ソフトウエア相関器併用）
相関局整備案（ハード、ソフトウエア相関器併用）

Mark5B+COR I/F/Fantech

K5 Soft corr

Hardd FX

直結モード（折り返し）（VSI I/F→COR I/F）

DR2K

VSI I/F
光結合局

OCTAVIA(DIO)
VOA100DF #5

VERA観測局

OCTADISKOCTAVIA×３（VOA100）

VSI I/FOCTACOR(光結合相関器）
DF #5DF #6DF #6

RVDB‐DDBRVDB
DDB（OCTADISK化）#1‐6DR2K

DR2K
OCTAVIA(DIO)
VOA100

DIR2K
VSI10GbE
21

Recorder＠相関局
numbberrate（Gbps）

TotallCorrelation
l i
Recordingtime（2 Gbps）

K5VSI

8

1 or 2200h

Software

OCTADDBOCTADISK
Mark5B
Mark5B+

61
11

1 or 2
1 or 212192h48h
32hSoftwareMitaka‐FX

Spare
HDDetc

VSI出力なし（三鷹FX処理不可）

500h

22

Backup Correlator （GICO3）system at Mitaka
VERACOS（solaris)
Pre correlation soft･ mode selection･ apriori cal
FXLOG

DR2K-PLAY
DR2K
PLAY再生･ Playing raw data

VSOP-FX
CODA(solaris)

K5VSI（PC)
Data buffer
Soft Correlator（GICO3-Linux)･ Recording･ Operationp･ Fringe search

現状のFX相関器をReplaceするのみ

FITSGEN
(IBM)

AIPS
VEDA

Original
New（NAOJ）
New（NICT)
23

Software Correlator system at Mitaka
SoftCos（Linux)
Pre correlation soft･ new-mode selection･ apriori cal
FXLOG
DIR2K(DISK)-PLAYPlaying･ Playingy g raw data

CODA(Linux)

K5VSI（PC)
Data buffer
S f Correlator
SoftCl（GICO3-Linux)･ Recording･ Operation
Oti･ Fringe Search

FITSGEN(IBM AIX)(IBM-AIX)

VEDA

AIPS

New-FITSGEN(Linux)VERA用相関前後処理ソフトをRemakeする事でハード相関器による制限24から開放され、ソフト相関器システムの柔軟な設計が可能、Linux上で動作

K5‐VSI (GICO3) system by NICTVERAシステム系
DIR‐20001Gbps

VSI
Interface

制御用PC

PC‐VLBI
Disk‐Array

５局相関処理システム
VSIInterface

PC‐VLBI
Disk‐Array

DIR‐20001Gbps

VSI
Interface

PC‐VLBI
Disk‐Array

DIR‐20001Gbps

VSI
Interface

PC‐VLBI
Disk‐Array

DIR‐20001Gbps

VSI
Interface

PC‐VLBI
Disk‐ArrayGALAXY

光伝送装置

VLBI局

汎用ネットワーク

GbE

ノンブロッキング型スイッチングハブ

DIR‐20001Gbps

254New‐mode（拡張）
（拡張）
Speed

IF numbers

Bandwidth (MHz)Sampler、DSP

1 Gbps1256

VLBI1（DF）

2 Gbps1, 2512, 256

4 Gbps

1, 2, 41024, 512, 256

VSOP2、ADS1000OCTAVEADS1000、ADS3000+

8 Gbps

1, 2, 42048, 1024, 512

ADS3000+、PANDA

16 Gbs

1 2,1,2 4,4 84096 2048,4096,2048 1024,1024 512

ADS3000+ PANDA
ADS3000+、PANDA

32 Gbps 1, 2, 4, 8, 16

8192,4096,2048,1024, 512 ADS3000+、PANDA

64 Gbps 1,2, 4, 8, 16,32 8192,4096,2048,1024, 512 ADS3000+、PANDA• Quantization： 1, 2 bit（旧システム）• FFT point ： 4M/1 IF ←（16k）• Stations：128 ←（5 stations）• Polarization : Full Stokes←（none）
Correlation（512MHz 256 , 128 MHz） for JVN, VSOP2• Hybrid Correlation（512MHz×25626

Softcos••

相関前処理ソフト（アプリ計算（アプリ計算、UVW））
基本モード– VERA 1Gbpsp•

拡張モード– 偏波（IF毎選択）– 混合相関– ディスクデータ••

開発完了(2011/3)
現在評価中– アプリ計算にバグ

27

New‐FITSGEN
開発状況• 光結合（OCTAVE)用FITSGEN－Remake• Dual Pol（VSOP2）：finished• Soft correlator（GICO3） ：finished• Multi‐IF：finished– 現在試験運用、デバッグ中
現在試験運用 デバッグ中• CODA対応: finished(2011/3）• 立ち上げ、評価未着手
立ち上げ 評価未着手
28

立ち上げ状況（相関局）•2010/8•

2010/9‐1•

2010/9‐/DR2K→OCTADISK（スルーモード）→既存FX処理試験⇒完了
DR2K→OCTADISK（DDB）→既存三鷹FX相関処理試験⇒完了（安定度試験中）
softcos、gico3g１）evalutaion：delay、rate概ね一致（<1nsec、<10fsec/sec）,SNR評価中（AIPS使用）
２）softcos：アプリオリ計算バグ修正中••••

2011/10～ New‐FITSGEN評価開始
2011/4～ 相関局運用Gと共同運用開始
2012/4～ 試験的サイエンス運用開始（1 ‐ 4Gbps）
2013/42013/4～
相関局にて運用開始（1Gb ） 2Gb ？
相関局にて運用開始（1Gbps）、>2Gbps？
29

三鷹相関局

OCTAVIA30

Comparison of DR2K and OCTADISK
Using Mitaka ‐FX

DR2000OCTADISK
Delay, rate, SNR 完全一致（2011/1）

31長時間データ比較（DIR2K andd OCTADISK）
・SNR劣化発生

10回＠8時間⇒Disk accessspeedd error＋＋Headdererror

8 hours

DIR2000 : SNR

OCTADISK : SNR

32

長時間データ比較：ヘッダーエラー改修後（DIR2K and OCTADISK）
・SNR劣化発生

4回＠8時間⇒Disk accessspeed error

8 hours

DIR2000 : SNR

OCTADISK : SNR

33

Comparison
psoft correlator and Mitaka‐FXSoft correlator

Mitaka-FX
Delay 一致(1nsec)
Rate 一致（1fsec/sec）
SNR 数％での一致

34Comparison
Mitaka soft cor and DiFX

35
35

New observingg mode
（実運用を想定）
Diskrecord

Soft‐Cor KJJVC

2beam（phase‐ref）◎◎◎◎

VERA 2（>0.064） + 2 Gbps(512MHz） ◎○◎◎VERA > 8Gbps○○△△

JVN‐OCTAVE（1 or 2 Gbps） 4回/月

◎

◎○

◎

JVN‐OCTAVE（1 or 2 Gbps） >4回/月△△◎

JVN ～>8 Gbps△△△

EAVN 1‐2 Gbps△◎

EAVN 8 Gbps△△

VERA 1 Gbps

• ◎予算、人的措置あり（Disk 除く）⇒After Intagration, evaluation, we can use•○○一部予算措置あり
部予算措置あり、個人、開発Gベ個人 開発Gベースでの開発（bestスでの開発（best effort）• △機能としては有効⇒実用化には追加予算、人的措置必要36

Summary•

広帯域化– １Gbps（VERA‐DFU）モード、2Gbps（512MHz）X 2ch
整備完了、性能評価中
2012/4～ サイエンス試験観測開始– 8Gbps ： テストデモ観測準備中•

ＩＦ系検討、– ＢＢＣ（2ndLO 可変？、固定＋Filter？）– OCTAOCTAD、超高速サンプラー（4‐6、4‐8GHz、超高速サンプラ （4 6、4 8GH 直接サンプリング直接サンプリング？））– DDBC or DFU、FPGA、GPU– 検討用試験開始•ソフト相関器– Softcos（前処理ソフト）、New‐FITSGEN開発完了、評価中– 2012/4～ サイエンス試験運用開始（１Gbps）
37