筑波大学技術報告
27: 37-44, 2007

Maestro3 クラスタネットワーク用基板の設計
小野雅晃
筑波大学システム情報工学等支援室（装置開発班）〒305-8573 茨城県つくば市天王台 1-1-1

概要
クラスタ型コンピュータ向けネットワーク
Maestro3 用のプリント基板を設計し製作した。本報
告では Maestro3 用プリント基板を設計、作製するための手順について述べる。プリント基板の使用部品の選定、回路図の作成、プリント基板のパターン設計、多層プリント基板の作製方法について詳述し、今回作製した 2 種類のプリント基板の構成を紹介する。

１．はじめに筑波大学システム情報工学研究科コンピュータサイエンス専攻の和田研究室では、クラスタ型のコンピュータに使用するために、高速、高機能のアドイン・カード及びスイッチから構成される通信システムを開発している。
第 1 期には、200MbpsのIEEE1394 (i-LINK) を使用した第一世代の通信システムMaestro1 を開発した。
次に、第 2 期にはMaestro2[1, 2]として第 2 世代の通信システムを開発した。
今回開発した 2 種類の基板は第 3 世代の Maestroシステムとして開発されたものである。Maestro2 はFPGA (Field Programmable Gate Array) の回路をすべてスクラッチから作成したため、回路の設計およびシミュレーションの工程を経て動作のテストをするまでにかなり時間がかかってしまった。Maestro3 はMaestro2 のアッパーバージョンとして基本構成はほとんど同一ではあるが 2 倍の性能を得ることを目標にして設計された。現在は Maestro2 の回路を今回使用した部品に適合するように変更してハードウェアテストを実行している。
Maestro3 の構成の概要を説明する。Maestro3 は、ネットワークインターフェース (NI) とスイッチボックス (SB) の 2 つの基板で構成される。NI はパーソナルコンピュータ (PC) の PCI-X バスに挿入して使用する基板である。NI は、片方向 6.4Gbps の LVDS
(Low Voltage Differential Signalling) で SB の 1 つのポートに接続される。SB は最大 7 個の NI と LVDS で接続することができる。SB は NI から送られた通信パケットをルーティングする基板である。2 つの基板はクラスタコンピューティングに使用され、PC で計算したデータなどを他の PC に高速に伝送することが出来る。
今回の報告では Maestro3 用基板を作る際の使用に基づいた部品の選定、回路設計など基板の作製過程を説明し、Maestro3 の構成について報告する。

２．一般的な基板の作製手順(1) 要求仕様を決定する。例えば ”ホストのパーソ
ナルコンピュータとのインターフェースに PCI-X の133MHz を使用し、伝送線路には LVDS の伝送周波数 1GHz を使用する” などの仕様を決定する。
(2) 仕様に合致した使用部品を選定する。インターネットの検索や規格表などを使用して要求仕様にあった部品を選定する。
(3) 選定した部品の部品表を作成する。部品を選定後に、部品を購入可能かどうか調査し購入する。
(4) 部品表の作成と並列して、回路を検討し回路図を描き始める。
(5) 回路図が出来上がったら、プリント基板のパターンを設計する。
(6) パターンを設計しながら、高速信号については伝送線路シミュレーションを行い、波形品質を確認する。
(7) パターン設計終了後に、プリント基板を製造して部品を実装しハンダ付けする。
(8) 基板完成後の検査を行う。
今回はプリント基板のパターン設計、高速信号の伝送線路シミュレーション、プリント基板の製造、プリント基板への部品の実装、ハンダ付けは業者に依頼した。
研究室ではそれ以外の部分を担当した。筆者は部品の選定、部品のテスト、回路の検討を担当した。
回路図の作成は青木圭一氏 1 、部品表の作成は丸岡大記氏１が担当した。
第 3 章から第 6 章では一般的な基板の作製手順について説明する。

３．使用部品の選定
基板の使用部品を決定する際に、使えそうな部品のデータシート、ユーザーズマニュアルに一通り目を通して、Maestro3 の仕様に準拠できるかを検討した。今回、目を通したマニュアル、データシート及びアプリケーションノートは 1000 ページ以上であった。次に、仕様を満たした部品が購入可能かどうかを検討する。その結果、部品がどこからも購入できない場合は再度部品の選定をやり直す。その過程を以下に詳しく述べる。

3.1 大学の研究室で基板を作製する場合の部品の選定について
大手メーカーのように購入数が多い場合は部品の入手は比較的簡単と思われるが、大学の研究室では購入数が少ないため、部品の購入が難しい場合がある。部品を販売する代理店が対応してくれない場合も多々ある。特に高性能プロセッサや特定用途 IC、電源用部品などの購入が難しい。汎用の SDRAM

一般的な基板の作製手順を以下に示す。
137

筑波大学

システム情報工学研究科

(Synchronous Dynamic Random Access Memory) などもモジュールでは購入が容易であるが、チップとなるとなかなか購入が難しい。今回 SDRAM は電源電圧が 2.5V のものを選定したため、最も購入に苦労した部品である。

スタート時間設定用のコンデンサのみ必要となる。
EN5360 はソフトスタート時間設定用のコンデンサによって出力電圧の立ち上がり時間を変えることができる。現在は 15nFのコンデンサをつけているので、データシートによると出力電圧の立ち上がり時間は1msecである。EN5360 は東京エレクトロンデバイス
3.2 部品の選定例(株) から購入することができた。
PowerPCプロセッサのコア電圧用電源の仕様は部品の選定、購入の一例として、電源の選定につ1.42GHz動作時に最大消費電力が 30Wである。最大消いて説明する。電源は Maestro2 の時にはシリーズパ
費電流は約 23Aを消費する。かなり大電力を消費すスレギュレータを使用していた。シリーズパスレギるので当初は最適なモジュールが見つからなかった。
ュレータは回路が簡単で確実に動作するという利点
電子部品小売業者のRSコンポーネンツ（株）のWebがある。一方、電力の損失が大きく大電流での使用
サ イ ト で 検 索 し た と こ ろ 最 大 出 力 電 流 が 30A のには向かないという欠点がある。Maestro3 では電流ASTEC社のATH30T05-9J[4] が使用できるということ量の増加が予想されたためシリーズパスレギュレーがわかった。出力電圧の立ち上がり時間はグラフよタではなく、電力損失面で有利なスイッチングレギり 5msecだった。ATH30T05-9Jの外付け部品は、低ュレータを選択した。スイッチングレギュレータは、ESRの入出力用バイパスコンデンサと電源電圧決定
電力効率が良いという利点があるが、部品点数が多用の抵抗である。
く大電流の高周波スイッチングをするため、実装や部品選定が難しいという欠点がある。
3.3 使用部品のテスト
例えばシリーズパスレギュレータだと外付け部品
ATH30T05-9J は今まで使用したことのない大電流はバイパスコンデンサ程度であるが、スイッチングレギュレータではスイッチングレギュレータ IC、 の DC-DC スイッチングレギュレータ・モジュールでMOS FET (Metal Oxide Semiconductor Field Effect あるため、バラックでテスト回路を作成してテストTransistor)、コイル、バイパスコンデンサ、抵抗など を 行 っ た 。 図 1 に テ ス ト 風 景 全 景 、 図 2 にの付属部品が必要となる。部品点数が増えると言う ATH30T05-9J の拡大図を示す。
ことは購入を検討する個数が増えるということである。業者への問い合わせでそれらの部品の購入について探ってみると、スイッチングレギュレータ IC を購入できたとしても指定されたコイル、MOS FET を購入することは難しかった。検討の結果、Maestro3
では付属部品購入の困難を回避するためや電源の安定動作を図るために、大電流を必要とする電源は、なるべくスイッチングレギュレータ・モジュールを使用することにした。スイッチングレギュレータ・
モジュールであれば電源の完成部品として比較的容易に購入することが出来る。更に部品点数も 1 個となるので購入と管理が容易になる。小電流しか必要としない電源は従来通りシリーズパスレギュレータを使用することにした。
次に今回重視した電源の仕様として立ち上がり時間がある。PowerPC プロセッサはコア電圧に+1.3V、
図 1. DC-DC スイッチングレギュレータ・IO 電圧に+2.5V の 2 電源を使用している。PowerPCモジュール (ATH30T05-9J) のテストの全景
プロセッサのデータシートにはすべての電源を20msec 以内に立ち上げるという制限がある。この制限を満たすスイッチングレギュレータ・モジュールが必要である。NI の FPGA はコア電圧として+1.5V、IO 電圧として+2.5V、+3V、+3.3V の 4 電源を使用している。SB の FPGA は NI の FPGA から PCI-X または PCI バス用の+3V 電源を除いた 3 電源を使用している。FPGA の電源投入仕様はコア電圧のみ 200μsec
から 50msec の間に立ち上げ、IO 電圧の立ち上げ仕様は規定されていない。
各デバイス電源仕様を考えながら比較的簡単に手に入る電源の検討を行った。FPGAなどのIO電源の内、+1.5Vと+2.5Vはエンピリオン社のEN5360[3]を選定した。このDC-DCスイッチングレギュレータ・モジュールは小型コンパクトで 6Aの電流容量を持ち電源電圧を設定端子の設定により簡単に変更することが
図 2. DC-DC スイッチングレギュレータ・
で き る 。 外 付 け 部 品 は 低 ESR (Equivalent Series
モジュール (ATH30T05-9J) の拡大図Resistance) の入出力用バイパスコンデンサとソフト

38

図 2 で確認できる様に GND (GrouND) を電線で接続し、Track や Vo Sense などの信号線はテストのため IC クリップで接続した。
試験は主に入力電圧の立ち上がり後の出力電圧の立ち上がりをデジタルオシロスコープで測定した。

CH1
2V
5msec

どの理由で再選定になるとシンボルも作り直しとなる。
その後、回路図シンボル間でピン間を線で接続していく。接続するためにはデータシート、ユーザーズマニュアルを読み、IC を熟知しなければならない。
配線間違いをなくすために、回路図とは別に回路図チェック用に PowerPC プロセッサ周りなどの機能を書き出した配線表を作成した。さらに OrCAD の DRC(Design Rule Check) 機能を使用して配線間違いを検出した。何千本もの配線の中で 1 本間違っていても基板が動作せずに作り直しになる可能性がある。そのため緊張感を持って複数回の確認をしながら回路図を作成していった。

５．基板のプリントパターン設計

CH21V

CH1: 入力波形
CH2: 出力波形
図 3. ATH30T05-9J の入出力応答波形
図 3 に ATH30T05-9J の無負荷時の入出力応答波形のオシロスコープによる測定結果を示す。上の CH1が入力電圧 (+5V) 、下の CH2 が出力電圧 (+1.3V) である。図の横軸の 1 目盛は 5msec、縦軸の 1 目盛はCH1 が 2V、CH2 が１V である。図 3 に示したように、出力電圧の立ち上がり時間は約 5msec だった。
デジタルマルチメータによる出力電圧値は Vout 出力端子を測定して 1.303V だった。その後負荷を 10Ω、0.15Ω、0.1Ωと変化させてテストしたが、いずれの場合も入力電圧が安定してから出力電圧が立ち上がった。出力電圧の立ち上がり時間はいずれの負荷の場合も約 5msec で変化がなかった。

４．回路図の作成
使用する部品が決定したら、回路図 CAD で回路図を作成する。回路図 CAD には、サイバネットシステ
ム社の OrCAD Capture を使用した。回路図作成の過程は回路図シンボルを作成することから始まる。回路図シンボルの作成は単調で手間のかかる仕事である。FPGA は数百ピンから千数百ピン程度の入出力ピンを持ち、しかもピンの定義が変更されることがあるため、シンボルの作成および更新が大変である。
この手間を省くため、FPGA ツール Xilinx ISE の PAD
出力ファイルから OrCAD へインポートする機能を使用して、シンボルを作成することとした。これでFPGA のピンの定義を大きく変更しても、シンボルファイルを作り直すことができる。これで作成したシンボルは、必ずしも人間が見て見やすいものではないため、かなり修正を加えなければならない。しかし、初めから作り直すのに比べればよほどましである。
回路図シンボルの作成も部品購入の可否の影響を受ける。使用が決定していた部品が購入できないな

39

基板のプリントパターンは基板設計用 CAD で業者が設計した。大まかな手順を説明する。
研 究 室 で 使 用 し て い る 回 路 図 CAD の OrCAD
Capture からネットリストを出力する。そのネットリストを基板設計用 CAD にインポートすると配線が確定する。基板設計用に部品寸法、ピンの物理的配置の情報が反映されている基板設計用 CAD の部品シンボルを作成する。いろいろな部品の配置を考慮しながら部品シンボルを置いて行く。配置した状態
で伝送線路シミュレーションを行い、波形を確認して配置を変更する。配置が決定したら部品シンボルのピン間をプリントパターンで配線する。その過程で配線が難しい場合は部品シンボルの配置を変更する。それも難しければ回路図に戻って配線を入れ替える。配線がおおむね終了したら、高周波信号を伝送するパターンは伝送線路シミュレーションを行う。
その結果が悪ければダンピング抵抗の追加や配線の経路を変更するなどの対策をとる。最後にパターンのチェック、回路図 CAD のネットリストと基板設計用 CAD のネットリストが合っているかどうかチェックする。
次に特に設計の際に考慮した点について詳しく述べる。

5.1 配線の入れ替え
ダンピング抵抗として集合抵抗を使用する時は、配線を楽にまわせるようにピンを入れ替える場合がある。その場合はプリント基板の配線を担当する業者から配線変更の依頼が来るので、回路図を書き換えて変更したネットリストを送り、基板設計用 CADに反映させる。

図 4. SB の回路図の一部
図 4 は SB の回路図の一部である。図 4 の右側はFPGA の SDRAM アドレス（SDRAM_A）の出力ピンを表している。R10~R13 の MNR04 はダンピング抵

電圧（V)抗（集合抵抗）である。当初は SDRAM のアドレスピン(SDRAM_A<?>)は番号順に並んでいたが、基板のパターンを設計する上で、R10 などのダンピング抵抗を入れ替えるとパターン配線がしやすいとの指摘を業者から受けて変更した。具体的には FPGA の回路図シンボルを変更して、図 4 のようにSDRAM_A<5>, SDRAM_A<1>, SDRAM<4>...というように不規則な配置に変更した。
回路図を修正した場合、回路図 CAD で変更されたネットリストを出力して業者に送り、もう一度基板設計用 CAD にインポートした。

時間（nsec)

5.2 伝送線路シミュレーション

図 5. アドレス 29 ビットを FPGA がドライブしたときの伝送線路シミュレーション波形（ダンピング抵抗＝22Ω）

電圧（V)
時間（nsec)

青：出力波形、赤破線：入力波形

図 6. アドレス 29 ビットを FPGA がドライブしたときの伝送線路シミュレーション波形（ダンピング抵抗＝33Ω）

電圧（V)BGA (Ball Grid Array) は最近の高速伝送基板の ICのパッケージとして定着している。BGA は入出力ピンが外から見えないパッケージであるためオシロスコープのプローブを当てて波形を観測することができない。インピーダンス制御可能なマイクロストリップラインやストリップラインは、一般的な高速信号を伝送する基板にプリント基板の配線として使用されている。それらを使用すると伝送線路シミュレーションによって設計段階で波形を予測できるので、より良い波形に整形することができる。波形を整形する方法としては、ダンピング抵抗などによってインピーダンスを合わせる方法やプリント配線の取り回しの変更などの方法がある。Maestro3 では主にダンピング抵抗の値や FPGA の出力電流値などを変更してインピーダンスマッチングを図った。
図 5～図 7 はPowerPCプロセッサのアドレス 29 ビットをFPGAがドライブしたときの伝送線路シミュレーション波形である。FPGAのIOBの設定は入出力信号レベルがLVCMOS25、出力電流値が 8mAである。
青色の線がFPGAの出力ピンでの出力波形、赤色の線がPowerPCのアドレスピンでの入力波形を表す。図 5はFPGAの出力ピンに 22Ωのダンピング抵抗を入れたときの波形、図 6 はダンピング抵抗を 33Ωとした時の波形、図 7 はダンピング抵抗を 47Ωとしたときの波形である。波形の立ち下がり部分を比べてみると、ダンピング抵抗を 47Ωとした時の波形が入力電圧の低い方のスレッショルド (Vinl) 付近で乱れているのがわかる。次に、データシート[5]にPowerPCプロセッサの入力電圧のAbsolute Maximum Ratingは-0.3V to OVdd + 0.3V と記されている。ここでOVddは 2.5Vなので、入力電圧の絶対最大定格は-0.3V～2.8Vとなる。ダンピング抵抗を 22Ωとした時の最大電圧に注目すると約 2.8Vなので入力電圧の絶対最大定格とほぼ同一である。この伝送線路シミュレーシ
ョンの結果から、PowerPCプロセッサのアドレスバスのダンピング抵抗値は図 6 の 33Ωに決定した。

青：出力波形、赤破線：入力波形

時間（nsec)

青：出力波形、赤破線：入力波形

図 7. アドレス 29 ビットを FPGA がドライブしたときの伝送線路シミュレーション波形（ダンピング抵抗＝47Ω）

5.3 電源周りの設計の注意点
最近 FPGA やプロセッサなどの IC のコアは大電流を必要とすることが多くなってきた。大電流を流すためには抵抗値の少ない電源、GND 配線が必要とされる。更にバイパスコンデンサについての考慮も必要とされる。負荷から離れた位置にある電源では、パターンのインダクタンス成分や抵抗成分などの影響により、高周波信号をスイッチングするための高40速な電流を流すことが出来ない。そのため電源を使用する IC の近傍に高速なバイパスコンデンサを配置して、バイパスコンデンサから高速な電流を供給する。これは IC の内部ロジックを駆動するコア電源だ
けではなく、周辺 IC との信号のやり取りのための電源である IO 電源にも当てはまる。IO 電源に最適なバイパスコンデンサを最適な位置に実装しないと、周辺 IC との信号のやり取り時にデータ誤りが生じるようになる。これは以前にわれわれが Maetro2 の基板の作製で経験したことである。Maestro3 の基板では、FPGA や PowerPC プロセッサの BGA パッケージの裏面へ表面実装パッケージの小さな積層セラミッ
クコンデンサと、BGA パッケージの裏面の近傍にタンタルコンデンサを配置した。これらのコンデンサの配置を図 8 に示す。

タンタルコンデンサ

タン
タル
コン
デン
サ
積層セラミックコンデンサ

タン
タル
コン
デン
サの SSO 制限を考慮して IO バンクに対するピンをFPGA に割り振った。

６．多層プリント基板の作製方法
6.1

多層プリント基板の製造

Maestro3 用プリント基板の製造方法を示す。4 枚の両面基板（コア基板）にプリントパターンを形成し (2層目～9 層目) プリントパターン以外をエッチングで除去する。エッチングとは、銅箔が一面に張ってある基板においてプリントパターン以外の部分を薬品で溶かす作業を言う。基板の表裏の銅箔と先ほどエッチングした 4 枚のコア基板をプリプレグで接着し重ね合わせる。ドリルで穴を開け、スルーホール形成のためにめっき処理を施す。表に 1 層目、裏に10 層目のプリントパターンを形成してエッチングしプリントパターン以外を除去する。次にハンダ付けするパッドやアキシャル部品を挿入するスルーホール以外の部分を保護するために、ソルダレジストを塗布する。これは一般的には緑色の塗料であり、パーソナルコンピュータのマザーボードを見た時に緑色に見えるのがソルダレジストである。次にシルクを印刷する。シルクは通常白色で、IC や抵抗、コンデンサなどのリファレンス番号やピン番号、設定ピンの設定値などを表示する。
パターンの導通チェックを行う。基板の銅箔部分を保護するためにプリフラックスを塗布する。PCIバスの基板などはコネクタ端子を金メッキする。最後に予定寸法に基板を切り抜いて終了となる。
信号
ベタ (GND)

図 8. バイパスコンデンサの実装状況

信号
信号

図 8 において写真の中心部の黄色の四角で囲んだ場所に積層セラミックコンデンサが実装されている。
四角の中の黄色の矢印で示された小さい長方形がそのうちの１個である。タンタルコンデンサはピンクの四角で示されている。積層セラミックコンデンサの基板の裏側に FPGA が搭載されている。積層セラ
ミックコンデンサを FPGA の裏側に実装するのはFPGA の電源、GND からの距離を最短とするためである。

5.4 グラウンド・バウンズに関する考慮

ベタ (GND)
ベタ (複数電源)
ベタ(単一電源)信号
ベタ (GND)
信号
コア基板

プリプレグ(PP)銅箔

一般的に多数の IC の出力ピンが高速で同時に変化
すると、GND が変動するグラウンド・バウンズが起
こり出力ピンまたは内部ロジックで不正な過渡現象が発生することがある。これを同時スイッチ出力(SSO) ノイズと言う。Xilinx 社の FPGA が SSO ノイズを起こさない制限値は、パッケージや出力電流値、インターフェース標準、スルーレート値などによって異なる。例えば IO 電源と GND 1 ペアにおける同時 切 り 替 え 可 能 な 出 力 の 最 大 数 は
LVCMOS25_4_slow（LVCMOS レベル、 出力電流4mA 、 ス ル ー レ ー ト SLOW ） で は 41 だ が 、LVCMOS25_24_fast （ LVCMOS レ ベ ル 、 出 力 電 流24mA、スルーレート FAST）では 5 である。これら

41

図 9. Maestro3 用多層プリント基板の層構成
図 9 に Maestro3 基板の層構成を示す。Maestro3 基
板は 10 層から構成されていて、インピーダンスを整合させるために基本的には信号層の両隣に GND などの基準層を持っている。

6.2 プリント基板への部品の実装
プリント基板への部品の実装方法について述べる。
初めにクリームハンダを塗布するためにメタルマスクを作る。メタルマスクは部品を半田付けするパッドのところだけ穴が開いた金属の薄い板である。この板を基板上においてクリームハンダを塗布すると、必要な部分だけにクリームハンダを塗布できる。部
品をマウンタまたは手で基板に置いて、大きなオーブンのような炉（リフロー炉）に入れ加熱する。クリームハンダが溶けて部品がハンダ付けされる。この工程を裏面、表面と行う。ここでマウンタとは複数の部品を実装する機械を指す。次に DIP 部品のハンダ付けを行う。
最近大きな IC などは、BGA という IC の下にハンダボールがあるパッケージがよく使われている。
BGA は加熱されると BGA 裏のハンダボールと塗布されたクリームハンダが溶けて表面張力が発生し、その力で実装位置が自動補正される。

ディスクドライブコネクタ

PowerPCコア電圧用電源(+1.3V)
ATH30T05-9S＋2.5V電源
EN5360PowerPCプロセッサ
MPC7447AVU1420LB

PCI-X

6.3 高周波信号伝送プリント基板設計上の注意点

バス、

Data Bus(64bit) 133MHzPowerPC
プロセッサ

SDRAM

SDRAM
Address

HY 25L256160A

FPGA(Xilinx社
XC2VP30)

送信データ24bit DDR,133MHz
受信データ48bit SDR,133MHzLVDSインタ(LVTTLレベル)
ーフェース
用IC
Data Bus(8bit)
Configuration

LVDS
データ 8bit
クロック1bit

FLASH
ROM
TC58FVM6T2
ATG

MPC7447AControl
1.4GHz動作

8MByte128Mbyte, 133MHz動作
Control
Configuration終了時に切り離しPowerPC Address

Control
64bit, 133MHz

PCI-X BusCPLD
(Xilinx社
XC95288XV)

図 10. Maestro3 ネットワークインターフェース (NI) のブロック図

42バス
（）
64

図 10 に NI のブロック図、図 11 に NI の写真を示す。NI は PowerPC プロセッサを搭載したインテリジ
ェントな PCI-X カードである。

FLASH ROM
TC58FVM6T2ATG-65

66MHz

７．NI の構成FPGA
XC2VP30-6FF896C

PCI

通常の両面プリント基板ではインピーダンスは考慮されていないが、動作周波数が約 50MHz を超えるとプリントパターンも伝送線路としての考慮が必要となる。高速な信号を伝送するプリントパターンはパターンの隣の層に基準面（GND などのベタパターン）を配置し、インピーダンスを制御可能な伝送線路として設計される。それは多層プリント基板の表面ではマイクロストリップライン、内層ではストリップラインと呼ばれている。マイクロストリップラ
イン、ストリップラインともに基板の誘電率、パターンの厚さ、パターン幅によってインピーダンスが変化する。NI 基板、SB 基板は前述したパラメータを調整してインピーダンスが 50Ωになるように調整されている。良好な波形を送受信するためには、信号の送受信を行う各デバイスの入力、出力インピーダンスをなるべく 50Ωにあわせることが肝心である。

ビット
幅CPLD
XC95288XV-7TQ144CFPGA CORE用電源(+1.5V)
EN5360

LVDS受信用IC
DS90CR486

LVDS送信用IC
DS90CR485

PCI-Xバス用電源(+3.0V)
LT1963AEQ

LVDS送信用コネクタ

LVDS受信用コネクタ

図 11．Maestro3 NI 基板写真
NI には CPLD (Complex Programmable Logic Device)、
FPGA、PowerPC プロセッサ、8MByte の FLASH ROM(Flash Read Only Memory)、128MByte の SDRAM、最大 6.4Gbps の LVDS インターフェース用の送信 IC 及び受信 IC が搭載されている。
FPGA は電源が ON になった時に内部回路が空のままなのでコンフィギュレーションが必要である。
CPLD が電源 ON 時の FPGA のコンフィギュレーションを制御する。コンフィギュレーションの方式はス
レーブセレクトマップである。この方式はコンフィギュレーション･データを FLASH ROM から 8 ビットずつ FPGA に転送できるため、迅速に FPGA をコンフィギュレーションすることが出来る。FPGA のコンフィギュレーションはその他、JTAG 端子経由でパーソナルコンピュータ上のツールからも行うことができる。デバック時は JTAG 端子経由でコンフィギュレーションを行っている。
FPGAにはPCI-XまたはPCIバス[6]のコントローラ、PowerPCコントローラ、FLASH ROMコントローラ
LVDSインターフェース回路、DMA２チャネル、SDRAMコントローラなどの制御、データパスといった主要な回路が搭載されている。
PowerPC プロセッサは最大動作周波数 1.4GHz 動作の Freescale 社製 MPC7447A である。このプロセッサは以前アップル社製のマックミニに使用されていた。
PowerPC プロセッサから SDRAM や PCI バスへアクセスすることができる。PowerPC プロセッサの最大消費電力は 30W と大きいため PCI-X バスのカードエ

LVDS

LVDSッジから供給することができなかった。その電源は 128MByte の SDRAM、CPLD、FPGA、Xilinx PROM、
図 11 に示す NI 基板上部にあるディスクドライブコ Xport を主に搭載している。
ネクタから供給される。
SDRAM は 2.5V 動 作 可 能 な Infineon 社 製 の256MByte 品の HYB25L256160A を 4 個使用している。
PowerPC プロセッサのバス電圧は 2.5V なので電源電圧が同一の SDRAM を選定したが、入手が難しく最後まで入手に苦労した部品である。
LVDS インターフェース用送信 IC はナショナル・セミコンダクター社の DS90CR485 である。Maestro2
では LVDS 送信 IC と FPGA 間のインターフェース幅48 ビットの内 32 ビットのみを使用して 100MHz の動作 周 波 数 で 動 作 さ せ て い た (3.2Gbps) 。 今 回 のMaestro3 では 48 ビット幅をフルに使用して 133MHzで動作させる予定である。従って NI の最大スループ
ットは片方向 6.4Gbps になる。
Maestro3 ハードウェアの特徴は PowerPC プロセッ
サ、SDRAM と FPGA のデータがバス接続されていることである (図 10 参照)。SDRAM のデータ出力はFPGA を介さずに直接 PowerPC プロセッサに伝わるためレイテンシを短縮することができる。また 1 組
図 13．Maestro3 スイッチボックスのデ ータ用ピン を FPGA に 用意すれば 良いので(SB)ブロック図
FPGA のピンを節約することができる。欠点としては
2 つ ある。１つ は共通バス であるた め FPGA が
SB も NI と同様に PowerPC プロセッサ、SDRAM
SDRAM に転送している場合に PowerPC プロセッサと FPGA のデータがバス接続されていて同様の特徴がバスを使えないことである。もう１つは 133MHzがある。SB は図 12 に示すように LVDS インターフで高速動作する信号線が 1 対 1 ではなくバス接続であるため信号波形が乱れやすいことである。事実、 ェース用 IC が 7 個搭載されていて、それぞれの LVDS
データバスは伝送線路シミュレーション時に一番波 インターフェースが NI と接続される。つまり 1 つのSB に 7 つの NI を接続することができる。SB はイー形整形に苦労した。
サネットで言うとスイッチングハブに相当する。以下に NI と構成が違っている点を述べる。
８．SB の構成
Xilinx PROM はコンフィギュレーション専用 IC で、
図 12 に SB の写真、図 13 に SB のブロック図を示
電源 ON 時の FPGA のコンフィギュレーションを行す。
う。
Xport は TCP/IP プロトコルが実装されている便利なモジュールである。Xport を使うと TCP/IP プロト
コルを調歩同期のシリアルインターフェースに変換することができるので SB を手軽に LAN に接続することができる。
電源 ON 時に SB がブートする時は、PowerPC プロ
セッサが起動する。PowerPC プロセッサは FPGA の内部 RAM にあらかじめロードされているダウンロードソフトウェアを実行する。ダウンロードソフト
ウェアは Xport からファームウェアが転送されるのを待っている。ファームウェアの転送が終了したらPowerPC プロセッサはファームウェアを実行して様々な処理を開始する。

９．まとめ

図 12．Maestro3 SB 基板写真
SB は PowerPC プロセッサ、7 組の最大 6.4Gbps のLVDS インターフェース用の送信 IC 及び受信 IC、

43

本報告では Maestro3 の基板の設計と作成手順について述べた後、Maestro3 基板の構成について述べた。
Maestro3 は現在 Maestro2 を変更した回路を FPGAに搭載してデバック中である。現在、NI 基板の PCIバスは PCI-X バスでなく PCI66MHz,64bit でテストしている。NI、SB 共にバススピードは予定した 133MHzの半分のスピード 66MHz で動作させている。現在のデバックを早期に終了し設計仕様の性能を実現することを目指したい。

１０．謝辞参考文献

Maestro2 システムの開発に参加の機会を与えて頂いた、筑波大学システム情報工学研究科コンピュータサイエンス専攻の和田耕一教授に深く感謝いたします。また、共同制作者であるシステム情報工学研究科の青木圭一氏、及び Maestro3 に関する様々な作業をしていただいた丸岡大記氏に深謝いたします。
PowerPC プロセッサや JTAG ICE、C コンパイラなどを提供していただいたフリースケール・セミコンダ
クタ・ジャパン株式会社の関係者の方々に感謝いたします。プリント基板の設計と製作、部品実装をお願いした A&D プリントエンジニアリング株式会社の担当者の方々に感謝いたします。

[1] 小野雅晃, Maestro2 スイッチボックスの開発, 筑波大
学技術報告 26 (2006) 42-47.
[2] 小野雅晃, Maestro2 ネットワークインターフェースの開発, 筑波大学技術報告 25 (2005) 42-49.
[3] EN5360 データシート, Enpirion Inc., Rev 1.0, 2005.
[4] ATH30T05 Series データシート, ASTEC, REVISION00(30APR2004).
[5] MPC7447A RISC Microprocessor Hardware Specifications, Freescale Semiconductor, Rev. 4, 2005.
[6] 小野雅晃, Xilinx 社製 FPGA を搭載した PCI ボードのシミュレーション, 平成 15 年度高エネルギー加速器研究機構技術研究会報告集 (2004) P-23.

44