ソフトウエア相関器、広帯域システム

Tomoaki Oyama
2014/09/23
VERA-UM1

目的• 光伝送装置、DIR2K、VSOP-FXのリプレース• 新ターミナルに付随した高性能化– 高分散ソフトウエア相関器– 広帯域観測システム• 光結合、大学連携広帯域化
VLBI2010、EVN2015（国際互換）
KJJVC（8 Gbps X 16局、OCTAVEシステム）対応
１，OCTAVEシステムを用いた新観測システムの構築
２，将来の広帯域高感度化に向けた基礎開発試験（科研費）→ADS3K+、OCTADの導入、デモ試験観測

2

OCTAVE system•

A/D（Ultra broad band>８Gbs）– ADS3000+ ：入来、小笠原、石垣局
512M x 4 ch
– OCTAD（High speed RF direct A/D、VLBI2010対応DBBC内蔵） ： 水沢局
512MHz x 8 ch、 32MHz x 32 ch、 16MHz x 32ch 等•

Optical transmission– OCTAVIA ： VSI ⇔ 10GbE 変換装置、 8 Gbps、 VDIF形式•Recorder– OCTADISK(FPGA) ： VDIF形式記録（セクタ直接記録）
KJJVC対応（コピーなし）– VSREC（Soft）：VDIF形式（Linuxファイル）→Mark5C、6 互換（developed by NAOJ)– OCTADISK2（Soft）：VDIFK形式（Linux ファイル）、再生 to OCTAVIA対応 for KJJVC（manufactured by elecs）
Soft correlator（OCTACOR2）– GICO3＋天文用アプリケーション– 4M点、>10局3•

New observing mode
Recording rate

RecorderHDD

Correlator

KJJVC 2beam（phase-ref）

VERA（KaVA)

1 GbpsOCTADISKAll

Mitaka-FX
Soft corr◎○VERA

4 Gbps（A=B=2G）

OCTADISK

80hSoft corr〇

Under development

VERA（test）

12 Gbps（A=2G, B=10G）

VSREC

100h

Soft corr〇

Under development

NRO454 Gbps（1Gbps）

OCTADISK50h

Mitaka-FX
Soft corr〇

JVNOCTAVE

2 or 4 Gbps

OCTADISKK5VSISoft corr〇• プロジェクトで予算化： 4Gbps記録系、1Gbps用HDD、1Gbps用ソフト相関器サーバー
ソフトウエア群• 科研費等： 8Gbps記録系、広帯域 用ソフト相関器、記録用HDD

4

進捗、活動• ディスク記録（OCTADISK、VSREC-OCTADISK2）– 記録速度低下→HDDメーカ依存（解決）– 記録用追加HDD予算確保– 1Gbpsディスク記録定常運用開始（2014/9～）（すべての1Gbps観測はOCTADISK記録実施中）– アルゴリズム等改修（VSREC-OCTADISK2）→安定度改善（90→99％）• ソフト相関器––––

測地観測処理定常運用開始（1Gbps、2Gbps）、2mmの精度で一致 by 寺家
遅延追尾再計算：評価中VEDAへのパス整備、評価中 by 山内
バグ対応、比較評価実施中••••

位相補償解析比較中（100-200μのづれ） by 松本、（廣田）グローバルFS（AIPS）後のSNR劣化調査（5-10%）
細かなバグ、不具合（ UVW再計算データ抜け、acumulation periodによる相違等々
新旧アプリ使用によるSNRの差異が発生（2014/4～の観測）• 水沢相関局移設（WG設立）検討開始（2014/4～）•

新規システム構築、設計

5

運用定常化（安定化）の対策
ハードウエアの問題（リアルタイム処理）

頻度

現象

パーツ選択（性能、温度）、パーツ間、OSとの相性
サーバー、PCケース内の配置（Express）、FAN、水冷
PC or サーバーのハングアップ（メモリ、CPU、マザーの熱）

1/50

OS上での問題（リアルタイム処理）

頻度現象

OS依存のソフトウエアインターラプトの制御（CPU）

8h/24hパケット抜けOS固有のプロセスの制御

8h/24h

OS固有かつ使用CPU変更不可能なプロセスの対処

1/50obs

10秒程度のデータ抜け（HDD time out）

1/100obs

Kernel BUGによるハングアップ（HDD Time out発生時に散発）

1/100obs

HDDメーカー依存のトラブル、PCI カードとHDDの相性（OCTADISK）
201３/9～2014/6 安定運用可能(90→99%）

ソフト相関器処理実績
Mitaka-FX

Softcorr

20（Disk）

60

測地（KVN+VERA）含む

30%

4(2) Gbps（2013/4～）

54（12）

JVN 12 obs 含む

30%（100%）

8 Gbps（2012/12～）

22

20%

12 Gbps（2014/3～）

130%

1 Gbps（2013/4～）

FITS配布

１Gbps： Methanol、Orion-KL、GCR、Cont-pair
４（2）Gbps ： Methanol、 Orion-KL、GCR、Cont-pair、SiO Multi、JVN-OCTAVE
8 Gbps： Cont-Survey、SgrA
12 Gbps： Cont –Sruvey（NLSｙ1、TeV）、Sgr A＞２Gbpsの観測の90%は通常のプロジェクト観測に相乗り
開発G人員増加： 2014年度より支援員２名 （山内、磯野）増加（大学連携より1名）
ソフト相関処理運用： 1Gbps（相関器G、開発G）、＞2Gbps（開発G）7

JVN－OCTAVE広帯域観測結果（2013～）と今後結果（2013～）• Extreme TeV Blazar 検出観測（5/7）• 微弱電波源サーベイ• UHE-BL LAC天体イメージング• メタノールメーザー高分散観測
今後• γ線AGN探査• BLLAC天体無バイアスサーベイ• ULIRGに埋もれたAGN探査• NLSY1系統的サーベイ• Deep Field 電波源サーベイ（広視野、高感度）
他多数

8R12116A（メタノールメーザー）

１K FFT

Mitaka-FX(Hard correlator)

2012/12/19 by 松本さん

１6 K FFT

Software correlator(OCTACOR2)
9

JVN-OCTAVE(512MHz)イメージング試験観測
結果（Amp & Phase）

J1329+315（点源）

2012/12/16

J1327+321（構造あり）

10

Sgr A* :8 Gbps first Image

2014/3～
Sgr A*、2 beam、12Gbps
試験観測スタート

11

Verification using VEDA
imaging

Peak Intensity
0.539Jy/beam

Tape > Mitaka-FX

Peak Intensity
0.539Jy/beam

Tape > Soft corr
12Verification using VEDA
Amplitude

Tape > Mitaka-FX

Tape > Soft corr
13

Verification using VEDA
SNR（Global Fringe Search）

Tape > Mitaka-FX

Tape > Soft corr14

VLBI experiment using simple wide band observing system(RF direct sampling) without DC and BBC at VERA Mizusawa station•

Date 2012/9/6-9
2013/12/09-12•

Motivation––

Evaluation for observing system
RX output 20-24GHz
Measurement of line profiles of water
vapor with RF direct sampling technique•••

Comparing direct measurement and GPS
Evaluation of phase-referencing
capability to measure residual atm
zenith delay using this system

Instruments
–
–
–

–

Ant：Mizusawa 10m and 20m
RX ：K-band
A/D converter• OCTAD : Input 20-24 GHz(20m)• ADS3000+: Input 0.5-2.5 (10m)
OCTADISK2(PC-Recorder)• 32 Gbps recording using 4 server

OCTAD(A/D) input 20-24GHz

A/D output using 10GbE
Optical fiber, VDIF format

OCTADISK2(recorder)
Input : 10GbE using Optical fiber
VDIF format
CPU: Core I 7 3.0GHz
Memory: 24 Gbyte
Raid Card: Areca ARC-1882-ix-24
Raid box : STARDOM ST8-U5X215

20-24 GHz RF direct sampling with DBBC
（2013/12/9-12＠水沢）

図１：OCTAD RFダイレクトサンプルDBBC
自己相関、512MHz, W49N, 20m

図２：ADS1000出力（20m 既存系システム）
自己相関、512MHz、W49N、20m

図３： OCTAD RFダイレクトサンプルDBBC出力自己相関（2048MHz）
NS 5-7GHz入力、6-8GHz切り出し

図４：OCTAD RFダイレクトサンプルDBBC出力（20m、512MHz、W49N）
ADS3000+（10m、512MHz、W49N）
DBBC出力相互相関初フリンジ検出！

２０ ｍ ： OCTAD 、 20-24 GHz、 DBBC出力 ： 512 MHz X 8 ch , 16 Gbps 記録
１０ ｍ : ADS3000+ 、0.5-2.5 GHｚ： 512 MHz X 4 ch , ８ Gbps 記録 16

Summary• ディスク記録定常運用開始（2014/9～）• ソフト相関処理、1ビーム観測の定常運用開始（2014/5～）• OCTAVEシステムデータのVEDA処理、遅延追尾再計算（位相補償観測）、評価中

17

18

定常化試験（ディスク、ソフト相関器）
1Gbpsソフト相関2013/5/31改訂器移行• 光伝送装置
リプレース準備• ディスク化（1Gbps）
14/1より定常運用開始（スクリプト運用、HDD数を考慮）• ソフト相関器（１Gbps）
来年度新規天体から運用開始予定（メタノール、8月より開始）• ４Gbps化
運用開始時期要検討（マンパワー、ディスク量現状4/月程度）

処理
6月3週目
6月4週目

観測モード
K-band cont-pair
K-band cont-pair

DF-MODE
VERA1
VERA1

r13118ar13124a

ICRF
3c34

広帯域 PI
4Gbpsあり 小山
4Gbpsあり 小山

5月4週目
6月1週目

K-band Maser
K-band Maser

VERA7
VERA7

r13068ar13097aOrion-KL
Orion-KL

4Gbpsあり 廣田
4Gbpsあり 廣田

6月2週目
7月3週目

C-band Maser
C-band Maser

GEO1K
GEO1K

r13102br13151bW3（メタノール） 2Gbpsあり 松本
W3（メタノール） 2Gbpsあり 松本

7月1週目
7月2週目

Q-band Cont
Q-band Maser

VERA7SIO2
VERA7SIO2

r13102ar13093b

SgrA
R-AQR

2Gbpsあり 秋山
2Gbpsなし MIN

C-band Maser
K-band Maser
K-band Maser

1Gbpsなし

r13108ar13098ar13107aMon（広視野）
G359.138
G359.301

2Gbps
4Gbps
4Gbps

4Gbps試験観測
処理終了
処理終了

条件１

上記観測について位置精度100μas、SNR 5%、delay rate、phase5%以内で一致

条件２

VEDAで解析し比較を行い条件１を満たす事

本間
小山
小山

広帯域系の同時観測結果との比較を実施

19

SiO マルチライン観測（512MHzx2）
PI 今井

20

広帯域（2-12Gbps）、高分散試験観測• 2012年9月より開始– 工学試験観測（PI 小山）：3-5 epoch– 星連続波観測（PI 廣田）：3-5 epoch– 電波源サーベイ（PI 竹村）：5 epoch– 楕円銀河サーベイ（PI 竹村/須藤）：2 epoch– 広視野観測（PI 本間、廣田）：3 epoch– Sgr A*（＋野辺山、高萩、山口：PI秋山） JVN相乗り：7 epoch– Methanol Maser （VERA+山口、高萩、PI 松本） JVN相乗り ：2 epoch– 微弱天体サーベイ（山口、高萩 PI 新沼） JVN:１ epoch– W-Hya（＋野辺山：PI 今井）、VERA共同利用相乗り：6 epoch– EAVN、偏波、試験（広帯域記録→1Gbps）：2epoch– VERAプロジェクト観測相乗り（QSOペア、Ori-kl、銀中）：数10 epoch– 測地観測（PI 寺家）：1epoch

歩留まり：初期（50%）→現在（90%）

21広帯域（８Gbps）電波源サーベイ
Purpose：•広帯域観測システムの感度評価•実データによる参照電波源数の評価
Data：13/Jan.8 6:00~18:00
Band：KDFU mode：GEO1K
target：VCS X band（petrov et al.,2012）30°<DEC<55°（観測可能範囲の22%）
total 193 天体
freq:
DIR2K：21.459-21.971GHz
帯域幅256MHz
WIDE-BAND：21.459-23.507GHz 帯域幅2GHz

OCTAVIA

output using 10GbE

ADS3000+
input 0.5-2.5GHz
A/D output using VSI ×4ch

recorder:・DIR2K 1Gbps
・OCTADISK 2Gbps + VSRECORDER 6Gbps
total：8Gbps「観測」
DFUモード設定ミスにより開始1時間データなし
1Gbps、8Gbps記録成功（7：00~18:00）
天候：水沢、入来、小笠原 晴れ（Tsys約140K）
石垣 観測直前まで雨（Tsys約600K）

BBCInput IF 5-7GHz

性能評価 Amp & Phase
BLLAC

Wide band（512MHz X 4 st積分）

DIR2K（16MHz X 16 st 積分）

AMPの違いは同じTsysテーブルを使用している事による？

Result（Total 193天体観測）

DIR2K 256MHz

WIDE-BAND 2GHzDR2K検出率

8Gbps検出率

検出天体増加率 SNR増加率

MIZ-IRK（140K）

43%（83/193）

92%（176/193）

2.12

3.21

IRK-OGA

34%（66/193）

87%（167/193）

2.53

3.60

IRK-ISG（600K）

15%（28/193）

74%（142/193）

5.07

3.01

広帯域観測での参照電波源数見積もり
VCS天体総数
VERAの観測可能範囲（-30<DEC<90）
VERA可視範囲で平均離角2度を満たす必要天体数：５７７６：３２２８：２３８３（目標天体数）

X bandC、S bandTotal

充足率（2383との比）-30<DEC<902193

1035

3228

135% （3228/2383）

Tsys140K、DR2K =43%943(2193X0.43）

194

1137

48% （1137/2383）

Tsys600K、DR2K =15%

329

91

420

18% （420/2383）

Tsys140K、8Gbps = 92%

2018

665

2683

113% （2683/2383）

Tsys600K、8Gbps = 74%

1623

347

1969

83％ （1969/2383）

Tsys 400Kでも、広帯域（8 Gbps）観測ならば全天どこを観測しても2度以内に参照電波源が存在する！

Sgr A* :R13084B（Q-band）
detection using Fringe search

SNR

SNR

Time(hours)

DIR2KTime(hours)

8Gbps

26

SgrA*：amp＆phase

20 mJyAmp

50 mJyPhase27

Summary•••••

ソフト相関器定常化→来年度新規観測からOCTADISK記録定常化→1Gbps、13/1月より開始＞4Gbps観測定常化→要検討（マンパワー、ディスクリミット）
広帯域（＞2Gbps）観測システムの構築、試験運用開始
JVN/OCTAVE 広帯域化（高萩、臼田、筑波、鹿島、山口）、野辺山• ＞8Gbps広帯域観測システム本格導入に向けて、試験観測の実施サイエンスメリット、システムの検討要

28

進捗
•

•

ソフト相関器– 現状• SNR, Delay, rate（ 基線ベース）、Amp、Phase（局ベース）比較概ね完了• 定常運用化に向け運用試験中（週2）– 残る課題• 位相補償解析比較中（100-200μのづれ） by 松本、（廣田）• トータル遅延比較（測地解析）、rms＝2nsec（0.8sec）• グローバルFS（AIPS）後のSNR劣化調査（5-10%）• ＞2Gbps 相関処理サーバーの不足• 細かなバグ、不具合（アプリによるCODA、FITSサイズの違い、UVW再計算データ抜け、等々）
Disk化
– 現状
• OCTADISK改修、立ち上げ概ね完了(13/1）• 定常運用に向け記録試験を実施（4-8観測/月）、相関処理解析比較中– 残る課題29• HDDメーカー、個体に依存した相性、運用上のトラブル

Apendix30

DR2K→Mitaka-FX VS OCTADISK→Softcorr
Cross Power Spectrum（r12107a、VERA7、BLLAC）
180

180-180-180

５Jy

５Jy

Mitaka-FX

Soft corr

31

広帯域開発• 1st Step（デジタル系リプレースと付随する広帯域化）– 光伝送装置（ODS/ODR）→OCTAVIA– 記録装置（DR2K）→OCTADISK ：KJJVCコピーなし、2+2Gbps（A+B or L+R）、OCTAVE– 相関器（Mitaka-FX）→：ソフト相関器 ：局数10局程度、FFT点数256K

Project・予算措置はリプレース、機能upgradeのみ、広帯域記録用HDD、相関処理用サーバーの予算措置は無し（1Gbps用のものを用いる）• 2nd Step (>8Gbps)
超広帯域– Demonstration、feasibility chek (1 beam 4-8 Gbps recording)•VERA（Hirota kakenhi approved ）、NRO45m （imai submitted） 、KVN（under discussion）– IF Switch, A/D, New-BBC– > 8 Gbps (2beam、Dual pol、Multi-band, broad band feed)– Soft Correlator upgrade, integration (Dual pol, Hybrid processing)

科研費
個別対応

32

ソフト相関処理定常化試験
DR2K→Mitaka-FX

OCTADISK→Mitaka-FX

Delay: 4.3 nsec
Rate : 27.4 fsec/sec
SNR : 300.349Delay: 4.3 nsec
Rate : 27.7 fsec/sec
SNR : 303.321

OCTADISK→Soft-cor（old apr）

OCTADISK→Soft-cor（new apr）

Delay: 4.3 nsec
Rate : 27.8 fsec/sec
SNR : 303.414

Delay: 4.4 nsec
Rate : 20.1 fsec/sec
SNR : 302.707

33

Mitaka-FX VS Softcorr
Cross Power Spectrum(r11352b、G9.62、Methanol）

8MHz/512点分光→10ch(156.25KHz)表示

16MHz/16384点分光→160ch(156.25KHz)表示34位相比較（8hr）
DR2K→Mitaka-FX VS OCTADISK→Softcorr(r12107a、Calibrator）

DR2K
Trouble

+180度

-180度

8時間

Mitaka-FXSoft corr

35

nd2 Step• 広帯域＞8Gbpsのデモ観測システムの構築（廣田、本間、RISE科研費、所長経費、VERA予備品、借り物）• 特徴（試験項目）– ダイレクト超高速サンプラー導入によるシステムの簡素化と広帯域化（水沢のみ）– 完全COTSベースのソフトウエアレコーダー、ソフトウエア相関処理システムの開発と導入•

開発項目– 高速サンプラー（OCTAD)、簡易型BBCの開発、システム構築– 記録系： VSREC（VDIF Software Reorder)＋PC 記録系の開発– 相関系： PC相関処理システムの構築、増強
36

ソフトウエアレコーダー（VSREC＋PCサーバー）• ソフトウエアレコーダー
VSREC（10Gbパケット記録ソフト） by 鈴木+汎用PC（ワークステーション
記録レート：8Gbps＠1＊10GbEカード
2＊Raid box
・ ハードウエア構築（竹村）- 熱対策
FAN、パーツ選定、配置→オーバークロック、Raid 安定運用
・ ソフトウエア構築（鈴木、竹村）- Linux OS上でのタスク、コア制御
24時間パケットロス無く連続記録を実現*専用ハードウェアを使用しない（完全COTS）、
標準linuxOS上での記録（>8Gbit）は世界初（Mark 6とのコンパチ）

RAIDBOX

汎用PC

現状世界で最も安価で高速な記録システム→気球搭載などに応用→再生（KJJVC対応）にも対応しOCTADISK2へ

相関処理システム・ PCサーバー8台構成- 記録PCと同じ構成をなるべく用いる（メンテナンス）

soft相関器

・ 熱対策- FAN、パーツ配置、選定- 水冷採用→CPUオーバークロック（1.5倍速）

RAIDBOX×4局

・ 最新アーキテクチャの導入- Quad memoryの導入（1.5倍速）

RAIDBOX×4局

NFS

soft相関器

soft相関器
NFS

RAIDBOX×4局
soft相関器

10G HUB

soft相関器

NFS

soft相関器

soft相関器

NFS

RAIDBOX×4局
soft相関器・ ソフトウエア- Real FFTの導入（2倍）（長基線では使えない）
8Gbps×4局、相関処理：観測時間の1.5倍計算機クラスターを用いた研究への応用

J1745-２８、Sgr A* FS（43GHz)

R08100C
入来雨

J1745-28 SgrA*

NRAO530

R07073 全局晴れ、SgrA＊
所内シンポ2008/7

SgrA*の相関フラックス
Q bandK band

所内シンポ2008/7

Sgr A* 相関強度 from VLBA＋GB（2000 km 以上）
50mJy

30mJy

30mJy

Sgr A, B2、銀河系中心領域の課題
参照源、対象天体のFluxが低い･Sgr A*でも。。。（分解、0.7mas＠Q、 3mas＠K）･系外参照源も弱い 100 mJy以下･メーザーSgrB2、RCW142以外はほとんど１Jy程度以下、（SiOメーザーで参照源になるようなものはなし）
１）Maser（Sgr B2, RCW142)を参照源とした相対VLBI観測手法確立（AIPS）
バンド幅合成２）鹿島、野辺山、山口、筑波、KVN等の短基線追加
現状感基線 Image（＃５記録等）(mJy) (mJy)
度３）広帯域化、高感度観測（桁でなく、ファクター！）
感度2/4倍@K/Q =50 mJy：連続波
感度2倍@Q=300-600 mJy：メーザー（超高速サンプラー、光結合（＃５含む）、高密度記録、高感度受信機、両偏波化他）

K（maser)500

5 hour 0.1 MHz

Q(maser)

1000

5 hour 0.1 MHz

K（cont）

100

11180K 3 min 240MHz

Q （cont）

200

21350K 3 min 240MHz

所内シンポ2008/7

Observing plan（希望）• トータル50時間分（HDDの制限）/月• 試験観測（QSOペア、位相補償観測）：10時間• 電波源サーベイ ：20時間/月• Sgr A*アストロメトリ （12（8+2+2） Gbps観測）：32時間/（9,12,3,6月）（+KVN, アストロメトリWG）• 10時間（9,12,3,6）、20時間（他の月）– プロジェクトでの使用（2+2 Gbps）– 大学連携、OCTAVE+での使用– 貢献に応じて– その他（SiOマルチライン、星連続波、TeV、吸収線、他）
43

Result1

DIR2K 256MHz

WIDE-BAND 2GHz

現況
広帯域検出天体数 検出天体数

入来ー石垣8366
28176
167142

理論値――水沢ー入来
入来ー小笠原

検出天体
増加率

SNR増加率 SNR増加率
平均分散

5.07

3.21
3.60
3.01

±0.03
±0.05
±0.04

4.76

2.83

―

2.122.53

Increase rate of SNR and Detected source

広帯域試験観測（OCTAVE、JVN）• O型星、Tタウリ星、非熱的連続電波サーベイ– PI：廣田（2008年12月プロポーザル）– 参加局：臼田、筑波、日立、山口– 日時：2012/11– 観測天体：数１０天体– 記録（2Gbps）：K5VSI（臼田、日立）、VSREC（山口、筑波）– 相関処理： OCTACOR2（ソフト相関器）• イメージング試験観測– PI：竹村– 日時：2012/11– 観測天体：J1329+315（点源）、J1327+321（構造あり）– 参加局（筑波、日立、山口）– 記録（２Gbps）、日時（同様）– 相関処理： OCTACOR2（ソフト相関器）

45

Sgr A* :R13084B
detection using Fringe search

DIR2K

8Gbps

46

O型星、Tタウリ星、非熱的連続電波サーベイ
結果（SNR）

日立

日立

臼田

臼田

12nsec２０9nsec
筑波

筑波

SNR

2012/12/16

5天体検出！

delay

47

OCTAVE（512MHz)イメージング試験観測
結果（Amp & Phase）
AmpPhase

日立ー筑波

日立ー山口

筑波ー山口

2012/12/16

J1329+315（点源）

J1327+321（構造あり）

48

イメージング試験観測結果（バンドパス位相異状？）- 20- 50

50 250-50 150

2012/12/16 Cross power spectrum

delay49