アックスの計算/分散クラスタ
たけおかラボLinux

2012/MAR/09

たけおか(株)アックス/たけおかラボ(株)アックス入ってる オリンパス デジカメ

(独)産業技術総合研究所
知能システム研究部門
実時間Linux
ヒューマノイド研究グループとの航空自衛隊で計測に使用
実時間Linux共同開発

 シャープ ザウルス

 パナソニックプロジェクタアックス入ってる バイオサーバ

http://homepage2.nifty.com/ccsnews2/2003/4q/2003_4Qfujitsubioserverptype.htm

アックスの「たけおかラボ」
 アックスの子会社(連結対象)として「たけおかラボ(株)」創立
 スパコン/並列計算技術/サーバ技術の提供を担当
 2012/FEB/14創立
現在、ひとりぼっち GUIは、Web技術
CGIは、Lispで記述

 大規模データ分析
Big data自然言語、記号処理
Hadoop+Lisp

たけおかの超並列計算機実績
超並列計算機 「SM-1」 の開発
 http://www.yuasa.kuis.kyoto-u.ac.jp/study/sm1/sm-1.html

 京都大学 湯浅研(当時:豊橋技術科学大学)＋住友金属工業
 1024PEのSIMDマシン開発
 演算LSI開発、マイクロコード開発、開発環境の開発
 並列計算Fortran「BeeFortran」の開発
 1990〜1993
 マイクロコード開発環境はLispで記述

5

たけおかラボの並列計算実績
ATOM 16CPU機の試作
 東京エレクトロンデバイス社と
 Intel ATOM 16CPUでクラスタ計算
 Linuxをディスクレスでクラスタリング管理
 簡単なノード管理– 数億CPUまでスケール
 Hadoop MPI

6たけおかの一人プロジェクト
ベクトル計算機のオープンなドキュメント和訳

 CRAY X-MPなどのマニュアルがフリーに
http://www.bitsavers.org/pdf/cray/
HR-0032_CRAY_X-MP_Series_Model_22_24_Mainframe_Ref_Man_Jul84.pdf

 CRAY X-MPについて詳しく述べてある
 非常に勉強になる ベクトル計算機の使用方法が分かる
 ベクトル計算機の作り方もわかる

 日本語翻訳 一人プロジェクト
 CRAY X-MPについて
http://www.takeoka.org/~take/supercom/cray-xmp.html

たけおかラボの目指すユーザビリティ
Webベースの利用
Webサーバの後ろにスパコンがある
Webブラウザを使って気軽に利用
Webサーバ(CGIはLisp)LAN

スマートフォン/端末
インターネット

Exaスパコン
クライアントPC/端末

たけおかラボが目指すユーザ・エクスペリエンス• Webブラウザ、Excel,Scilabでスパコンを利用• オフィス・スパコン– 部門レベルで買えるスパコン– デスクサイド～1ラック– 特殊な空調は不要– 低消費電力PCクラスタ

部内LAN部門スパコン/部門クラスタ計算機PCアックスのLinux技術
 国産CPUへのLinuxポーティング実績 No.1
 ルネサステクノロジ SH-Mobile, SH2
 富士通 FRV 東芝 MeP セイコーエプソン C33, C33ADV IPFlex DAP-DNA2
 シャープ, サンヨー,セイコーエプソン ARM core
 M32RへのART Linux移植

国産CPUメーカとの協業

 国産CPUへのLinuxポーティング実績 No.1

東芝 MeP

富士通 FR/V

ルネサス
SH-Mobile/SH-2A

セイコーエプソン C33

NECエレV850

シャープLH795xx

東芝CELLサンヨーLC690132

アックスのSCoreへの取り組み
 PCCCへコードを寄付
 2.6 kernel対応(PM通信含む)
 Opteron, EM64対応の作業を行い、コードをPCCCへ寄付
 PCCCメンバー他社とともに、SCore強化のグループを作り、IPAオープンソース基盤整備事業から資金を得てScore強化開発
 アックスはPCクラスタ・コンソーシアム理事ですアックスの計算用クラスタLinux Linuxカーネルを変更
 スパコン向けスケジューリング
 不公平スケジューリングを可能にした
 指定した特定のプロセスがCPUを長期間得られる
 計算を行うプロセスを圧倒的に有利にできる キャッシュのヒットミス
 ページ・フォールト発生
 TLBミスの軽減※組込みLinuxで開発したQoSなどと同じ技術をスパコンに適用

アックスのスパコン向けスケジューリング
 Linuxカーネルを変更
 特殊ファイル /proc/axesched/sched にpid チック数を書き込む。
 指定したプロセスのカンタムが、そのチック数となり、権利を得てから、その期間走行する。
 その他は通常のLinuxのスケジューラのまま優先度の高いプロセスが走行可能になると、CPUを取られる

 上の進化形として QoS がある
 CPUの計算時間を、プロセスごとに割合(パーセンテージ)で指定
 家電で非常に効果あり
一般にCPUは非力だが、マルチタスクで仕事を進めるアックスの QoSスケジューラ
 QoSスケジューリング設定
 /proc/axqos/sched デバイスに、プロセスID CPU使用割合%の組を書き込む# echo "100 30" > /proc/axqos/sched# echo "123 10" > /proc/axqos/sched 存在しないプロセスIDが指定された場合は、何も設定されない。
 CPU使用割合が0または負の数の場合は、QoS設定が解除される。
 また、CPU使用割合が省略された場合も、QoS設定が解除される。
 CPU使用割合の合計が100以上の場合は、合計に対する設定値の割合で、スケジューリングされる。

アックスのQoS制御機能の実装
 新機構はプロセスごとに、品質重み値(p)その集積した値(m)を管理する
 全プロセスのカンタムが0になった時に、走行可能な全プロセスごとの 各 m に 各 p を加算
m が100以上のプロセスの、カンタムを1にする
そのプロセスの m から100を減ずる
Linuxスケジューラへ制御を渡す
t->m += t->p;if(t->m >= 100){ t->カンタム ++; t->m -=100; }goto リスケジュールたけおかラボLinuxの特徴
 ScientificLinux6, CentOS6.2 ベース
 カーネルは axLinux Hadoopサポート
 Big data時代のプラットフォーム
 Java言語サポート GPGPU, IntelAVX 対応 x86 (80bit Floatマシン)での64bit計算ノウハウ
 x86は80bit floatなので、精度の制御が難しい ノード内では、GPGPU, AVXを使用
 ノード内はOpenMP ノード間通信は、MPI, GASNet XcableMP g95, gcc, Intel CC, Intel Fortran サポート

コンパイラ GNU コンパイラをサポート
 バグ情報など
 Intel CC, FORTRAN(オプション)
 PGI Fortran (オプション)

 UPC (Unified Parallel C)

URL www.takelab.com
 www.axe-inc.co.jp
 www.axlinux.com
 www.sikigami.com
 www.takeoka.org/~take/