موتور محاسباتی موازی برای کرومودینامیک کوانتومی - نسل دوم

"این مقاله در حال ترجمه از ویکی انگلیسی است لطفا حذف نشود."

QPACE2 (موتور محاسبات موازی QCD) یک ابررایانه https://en.wikipedia.org/wiki/QPACE2#cite_note-QPACE09-1 مقیاس پذیر و شدیدا موازی است. این سیستم برای کاربرد های کرومودینامیک کوانتومی شبکه‌ای طراحی شده است، اما برای طیف گسترده تری از کاربرد ها نیز مناسب می باشد.
### نمای کلی
QPACE2 دنباله ای از ابررایانه QPACE و پروژه خنک سازی با آب گرم است.https://en.wikipedia.org/wiki/QPACE2#cite_note-iDataCool13-2 این سامانه حاصل همکاری گروه فیزیک ذرات دانشگاه Regensburg و شرکت ایتالیایی Eurotech است. تیم دانشگاهی طراحی شامل حدود 10 فیزیک دان جوان و ارشد بود. جزئیات این پروژه اینجا است.https://en.wikipedia.org/wiki/QPACE2#cite_note-QPACE2PoS14-3

QPACE2 از پردازنده های Intel Xeon Phi (که با نام KNC هم شناخته می شوند) استفاده می کند، این پردازنده ها از طریق ترکیب PCI Express و FDR (اینفینی باند) به هم متصل شده اند.ویژگی های اصلی نمونه اولیه QPACE2 نصب شده در دانشگاه Regensburg عبارتند از:

* مقیاس پذیری
* چگالی بسته بندی بالا
* خنک کردن آب ولرم (بدون نیاز به چیلر)
* بهینه سازی انرژی بالا
* طراحی مقرون به صرفه

نمونهٔ اولیه یک نصب تک-رک است که شامل 64 گره با مجموع 15,872 هستهٔ فیزیکی بوده و حداکثر عملکرد آن به 310 ترافلاپس در ثانیه می‌رسد. این سامانه در تابستان 2015 راه اندازی شد https://en.wikipedia.org/wiki/QPACE2#cite_note-EurotechAnnounce15-4 و برای شبیه سازی های کرودینامیک کوانتومی شبکه ای استفاده می شود. در نوامبر 2015 QPACE2 در فهرست Top500 قدرتمندترین ابررایانه های جهان در رتبه 500 قرار گرفت؛https://en.wikipedia.org/wiki/QPACE2#cite_note-Top500Nov15-5 و در فهرست Green500 به عنوان پانزدهمین ابررایانهٔ دارای بالاترین بهره‌وری انرژی در جهان معرفی شد.https://en.wikipedia.org/wiki/QPACE2#cite_note-Green500Nov15-6

QPACE2 توسط بنیاد پژوهشی آلمان (DFG) در چارچوب پروژه SFB/TRR-55 و همچنین توسط شرکت Eurotech تامین مالی شد.

### معماری
بسیاری از ابررایانه های امروزی دارای معماری ترکیبی هستند که از کارت های شتاب دهنده با رابط PCIe استفاده می کنند تا عملکرد محاسباتی را افزایش دهند. به‌طور کلی، پردازنده‌های سرور تنها از تعداد محدودی شتاب‌دهنده پشتیبانی می‌کنند، زیرا تعداد خطوط PCIe محدود است (معمولا 40 تا برای معماری Intel Haswell).

روش رایج برای اتصال چندین کارت شتاب‌دهنده به سیستم میزبان، استفاده از چندین پردازنده سرور (معمولا دو یا چهار پردازنده) به صورت سیستم های حافظه اشتراکی توزیع شده است.

این روش به دلیل وجود تعداد بیشتری خط PCIe، امکان استفاده از شتاب دهنده های بیشتری در هر گره محاسباتی را فراهم می کند. اما این رویکرد معایب متعددی نیز به همراه دارد:

* پردازنده‌های سرور، اتصالات داخلی آنها ( QPI برای پردازنده‌های اینتل) و تراشه‌های حافظه، به طور قابل توجهی فضای اشغال شده توسط سیستم میزبان را افزایش می‌دهند.
* هزینه‌های طراحی چندپردازنده معمولا بالاست.
* پردازنده‌های سرور به طور قابل توجهی در مصرف انرژی کلی معماری‌های رایانه‌ای هیبریدی نقش دارند و به ظرفیت‌های خنک‌کننده مناسبی نیاز دارند.
* اتصال داخلی پردازنده سرور می‌تواند مانع ارتباط کارآمد درون گره‌ای شده و محدودیت‌هایی را بر عملکرد ارتباط بین گره‌ای از طریق شبکه خارجی اعمال کند.
* عملکرد محاسباتی پردازنده‌های سرور معمولا چند برابر کمتر از کارت‌های شتاب‌دهنده است، بنابراین سهم آنها در عملکرد کلی می‌تواند نسبتا کم باشد.
* معماری مجموعه دستورالعمل‌ها و منابع سخت‌افزاری پردازنده‌های سرور و شتاب‌دهنده‌ها تفاوت قابل توجهی دارند. بنابراین، همیشه امکان توسعه و اجرای کد برای هر دو معماری وجود ندارد.

معماری QPACE 2 این معایب را با طراحی گره‌ ای رفع می‌ کند که در آن یک پردازنده میزبان کم‌ مصرف Intel Haswell E3 به تنهایی چهار کارت شتاب دهنده Xeon Phi 7120X را برای تامین توان محاسباتی و یک کارت رابط شبکه FDR InfiniBand را برای ارتباط خارجی در خود جا می دهد. برای تحقق این پیکربندی، تمام اجزای داخل گره از طریق یک سوییچ PCIe با 96 خط به یکدیگر وصل می شوند.

رک QPACE2 شامل 64 گره محاسباتی (و در نتیجه در مجموع 256 شتاب دهنده Xeon Phi). 32 گره در جلوی رک و 32 گره دیگر در پشت رک قرار دارند. زیر سیستم تامین توان شامل 48 منبع تغذیه است که در مجموع توان پیک 96 کیلووات فراهم می کنند.

QPACE 2 برای دستیابی به این تراکم بسته‌بندی و توان، از راه‌حل خنک‌سازی با آب گرم استفاده می کند.

### گره محاسباتی
گره QPACE2 از قطعات تجاری استاندارد تشکیل شده که همگی از طریق PCIe به یکدیگر متصل هستند. صفحه میانی (midplane) میزبان یک سوییچ PCIe با 96 خط (PEX8796 ساخت شرکت Avago در گذشته PLX Technology) است، 6 اسلات PCIe Gen3 x16 را فراهم می کند و برق مورد نیاز همه اسلات ها را تامین می کند.

یک اسلات برای کارت CPU به کار می رود؛ این کارت به شکل کارت PCIe طراحی شده و شامل یک پردازنده سرور Intel Xeon E3-1230L v3 با 16 گیگ حافظه DDR3 و همچنین یک میکروکنترلر برای پایش و کنترل گره است.

چهار اسلات برای کارت های شتاب دهنده Xeon Phi 7120X (هر کدام مجهز به 16  گیگ حافظه GDDR5) استفاده می شود.

یک اسلات باقی‌مانده برای کارت شبکه دوپورت FDR InfiniBand (مدل Connect-IB شرکت Mellanox) اختصاص یافته است.

صفحه میانی و کارت CPU برای پروژه  QPACE2  طراحی شده شده بود، اما می تواند برای پروژه ها یا محصولات دیگر دوباره استفاده شود.

پردازنده سرور کم‌مصرف Intel Xeon E3-1230L v3 از نظر مصرف انرژی بسیار بهینه است، اما در مقایسه با دیگر پردازنده‌های سرور موجود در حدود سال ۲۰۱۵ (و به‌ویژه در مقایسه با اکثر کارت‌های شتاب‌دهنده) از قدرت محاسباتی ضعیف‌تری برخوردار است. CPU سهم قابل توجهی در توان محاسباتی گره ندارد و صرفا برای اجرای سیستم عامل و درایور های مرتبط با سیستم به کار می رود. این پرئازنده صرفا سیستم عامل و درایور های ضروری سیستم را اجرا می کند. از نظر فنی، CPU به عنوان root complex برای ساختار PCIe عمل می کند.

سوییچ PCIe تعداد محدود خطوط PCIe پردازنده میزبان را بع مجموع 80 خط گسترش می دهد و به این ترتیب امکان اتصال تعداد زیادی قطعه (4 کارت Xeon Phi و 1 کارت InfiniBand هر کدام با پهنای 16x) را به عنوان نقطه های پایانی PCIe به  CPU فراهم می کند. این معماری همچنین به کارت‌های Xeon Phi اجازه می‌دهد تا از طریق PCIe به‌صورت مستقیم با یکدیگر ارتباط برقرار کنند و بدون نیاز به عبور از پردازنده میزبان، مستقیماً به شبکه خارجی دسترسی داشته باشند.

هر گره QPACE2 شامل 248 هسته فیزیکی است (CPU میزبان: 4، Xeon Phi: هر کدام 61 تا). پردازنده میزبان و شتاب دهنده ها هر دو از multithreading حمایت می کنند. تعداد کل هسته های منطقی در هر گره برابر با 984 هسته است.

طراحی گره به اجزای به‌کاررفته در QPACE 2 محدود نیست. در اصل، هر کارتی که از PCIe پشتیبانی کند (مانند شتاب‌دهنده‌های دیگر از جمله GPUها یا فناوری‌های شبکه متفاوت از InfiniBand) می‌تواند مورد استفاده قرار گیرد، به شرطی که ابعاد فیزیکی و مشخصات توان مصرفی آن با طراحی گره سازگار باشد.

### شبکه ها
ارتباطات درون گره ای کاملا از طریق سوییچ PCIe انجام می شود و پردازنده میزبان هیچ دخالتی در آن ندارد. ارتباطات بین گره ای بر پایه شبکه FDR InfiniBand است. توپولوژی شبکه InfiniBand یک هایپر-کراس بار دور بعدی است. این یعنی یک مِش دو بعدی از سوییچ های InfiniBand ساخته می شود و دو پورت InfiniBand هر گره به یک سوییچ در هر یک از دو بعد متصل می شوند.

توپولوژی هایپر-کراس بار برای نخستین بار توسط همکاری ژاپنی CP-PACS از فیزیک دانان ذرات معرفی شد.https://en.wikipedia.org/wiki/QPACE2#cite_note-Iwasaki94-7

شبکه InfiniBand همچنین برای عملیات ورودی/خروجی (I/O) به یک  به‌کار گرفته می‌شود.

کارت CPU دو رابط Gigabit Ethernet ارائه می‌دهد که برای کنترل و مدیریت گره‌ها و همچنین بوت کردن سیستم‌عامل به‌کار می‌روند.

### خنک کردن
گره های ابررایانه QPACE2 با استفاده از آب و بر پایه مفهومی نوآورانه مبتنی بر فناوری رول باند خنک می شوند.https://en.wikipedia.org/wiki/QPACE2#cite_note-Beddoes99-8

آب از داخل یک صفحه رول‌باند آلومینیومی جریان می‌یابد که از طریق میانجی‌های آلومینیومی یا مسی و خمیر حرارتی یا ماده رابط حرارتی (TIM) به‌طور حرارتی به قطعات داغ متصل شده است. تمام اجزای گره به این روش خنک می‌شوند. کارایی این مفهوم خنک‌سازی امکان «خنک‌سازی آزاد» را در تمام طول سال فراهم می‌کند.

مصرف توان یک گره در بنچ مارک‌های مصنوعی تا ۱۴۰۰ وات اندازه‌گیری شده است. برای محاسبات معمول در کرومودینامیک کوانتومی شبکه‌ای (lattice QCD)، به‌طور متوسط حدود ۱۰۰۰ وات مصرف می‌شود.

### سیستم نرم افزار
گره‌های بدون دیسک  با استفاده از توزیع استاندارد لینوکس (CentOS 7) اجرا می‌شوند که از طریق شبکه اترنت بوت می‌شود.

کارت‌های Xeon Phi با استفاده از بسته نرم‌افزاری رایگان Intel Manycore Platform Software Stack (MPSS) اجرا می‌شوند.

ارتباطات InfiniBand نیز بر پایه پشته OFED (که آن هم به‌صورت رایگان در دسترس است) انجام می‌گیرد

### همچنین ببینید
ابررایانه

QPACE

iDataCool

Lattice QCD

## منابع

https://en.wikipedia.org/wiki/QPACE2#cite_note-QPACE09-1

https://en.wikipedia.org/wiki/QPACE2#cite_note-iDataCool13-2

https://en.wikipedia.org/wiki/QPACE2#cite_note-QPACE2PoS14-3

https://en.wikipedia.org/wiki/QPACE2#cite_note-EurotechAnnounce15-4

https://en.wikipedia.org/wiki/QPACE2#cite_note-Top500Nov15-5

https://en.wikipedia.org/wiki/QPACE2#cite_note-Green500Nov15-6

https://en.wikipedia.org/wiki/QPACE2#cite_note-Iwasaki94-7

https://en.wikipedia.org/wiki/QPACE2#cite_note-Beddoes99-8

رده:مقاله‌های ایجادشده توسط ایجادگر
رده:رایانش موازی