泰坦 (超級電腦)

泰坦是一臺由克雷公司承建的超級電腦，置放於美國能源部下屬的橡樹嶺國家實驗室中，供各項科學研究專案使用。泰坦是由原來也置放於橡樹嶺國家實驗室的美洲虎經過多次升級改裝而成。泰坦也是世界上第一臺以通用圖形處理器為主要資料處理單元的超級電腦，2012年11月至2013年6月是世界上最快的超級電腦。美洲虎在2011年10月被宣佈開始進行大幅升級，2012年10月，升級作業基本完工後這臺超級電腦被更名為泰坦，並開始進行穩定性和效能測試，2013年中期方可供科學研究者們使用。升級的預算開始時是6千萬美元，其中絕大部分由美國能源部提供。而後來根據克雷公司的公開資訊，整臺泰坦超級電腦的費用最終是9千7百萬美元，為填補資金空缺，美國國家海洋和大氣管理局也出了一小部分資金參與建造，以從主要出資方美國能源部的手上獲得一定的使用權。泰坦使用由超微半導體提供的皓龍，直到2013年6月在Top500位列第一的排名被中國的天河二號取代。儘管如此，無論從效能上抑或是能效比上來說，仍然要比同時期的其它超級電腦更勝一籌。泰坦可用於任何目的的資料處理。然而，資料處理任務的優先順序，需要基於三個方面的考量：任務計劃的重要度、任務計劃對異構運算的利用潛力以及任務計劃的運算程式原始碼與其它超級電腦的相容性。經過篩選排程後，選中六個運算計劃，這六個「前鋒」計劃在泰坦開放使用後由泰坦依排程執行處理，這些處理任務多為關於奈米科技或氣候模型。不過其它沒被選為首先處理的任務計劃，仍會進行優先順序排程，進入等候貯列，以待泰坦的執行處理。由於以圖形處理器來處理資料，基於圖形處理器擁有比中央處理器多得多的執行緒的理由，不少程式需要進行原始碼變動處理以適應新的混合架構，這些處理常常需要有更高階的運算平行度，而這些變更甚至也可以在以中央處理器為主的超級電腦上獲得效能的提升。泰坦於2019年6月30日截止受理運算任務，並於同年的8月2日正式退役，而日後泰坦的計算任務將會由高峰接手。泰坦拆除後留下的空間將進行擴充套件並安裝同樣採用AMD處理器的前沿超級電腦，而前沿預計於2021年完工，屆時將成為繼Summit之後的第二代AI系統。歷史介紹.泰坦是橡樹嶺實驗室美洲虎超級電腦的升級版。美洲虎初期純粹使用中央處理器，而後期也以圖形處理器輔助中央處理器運算。原美洲虎升級計劃.為了在保持效能功耗比的情況下提升資料處理效能，原來的美洲虎超級電腦在2005年落成後不久時已經制定了多種升級方案，當時美洲虎仍使用主機平臺，峰值運算效能為25teraFLOPS。2008年美洲虎的Cray XT3主機平臺升級主機平臺，峰值效能也提升至263teraFLOPS；2009年繼續升級至主機平臺，峰值效能為1.4petaFLOPS。在升級為泰坦前，未來的升級計劃原定的峰值效能為1.76petaFLOPS。泰坦建造計劃.2005年當美洲虎落成時，橡樹嶺國家實驗室已計劃打造一臺達到20petaFLOPS效能級別的超級電腦，而以傳統的中央處理器架構來實作在當時來說有不低的難度和成本，因此選擇以中央處理器+圖形處理器的混合架構方案，儘管這個方案直到2010年才得以實作，2011年以後計劃將升級後的美洲虎更名為泰坦。2010年11月16日在非正式私人會議上公佈了美洲虎的大升級計劃的新機房，來置放升級後的美洲虎，但最後限於預算而取消，改為沿用美洲虎現有的基礎設施。2011年10月9日，美洲虎的主機開始了為期一年的汰換升級，完全升級後的超級電腦會重新命名為“泰坦”。第一階段.第一階段的升級主要是更換新的中央處理器。2011年10月至12月期間，美洲虎200個機櫃中的96個機櫃中裝備的Cray XT5平臺主機為基礎的NVIDIA Tesla運算加速卡。這960個節點作為泰坦日後硬體配置的參考，並用來為日後泰坦的完全升級測試程式原始碼。美洲虎至泰坦的第一階段的升級使得這臺超級電腦的峰值效能從2.3petaFLOPS提升至3.3petaFLOPS，這個階段下這臺超級電腦仍稱為美洲虎。第二階段.第二階段的升級主要是更換安裝新的用作通用資料處理的圖形處理器。2012年中期，輝達推出NVIDIA Kepler架構的圖形處理器，也在不久推出基於這個架構的NVIDIA Tesla運算處理器。2012年9月13日開始，按照實驗室和克雷、輝達簽訂的合約，輝達提供超過一萬八千塊NVIDIA Tesla K20X運算加速卡裝進美洲虎超級電腦的Cray XK6平臺主機中，每節點一塊，更換圖形處理器後Cray XK6平臺更名為平臺。中央處理器維持不變，仍為16核心的Opteron 6274處理器。同年10月底基本完工並且將這臺超級電腦更名為泰坦。測試驗收.「泰坦」在2013年初接受驗收測試，但只完成了92%的測試專案，低於原來透過95%的測試專案的要求。後來檢查發現，導致測試出現問題的是主機板的PCI-E插槽內的金手指聯結器虛焊或焊接部位出現裂縫。對於這個問題，克雷公司按照合同要求承擔修復所需費用，並且以每星期12到16個機櫃的速度修復這個缺陷。修復過程中其它能正常運作的機櫃照常運算以供研究者們繼續進行他們的運算任務，而且到2013年3月11日，共8,972顆通用圖形處理器透過測試後，正式投入運作2013年4月8日，橡樹嶺國家實驗室宣佈修復工作已完成，預計2013年5月完成最後的驗收測試專案。6月12日，橡樹嶺實驗室宣佈泰坦已經完成了測試。資金和建造.泰坦的升級建造仍由美洲虎的承建商克雷公司來負責進行，其主要資金美國能源部下屬的橡樹嶺國家實驗室。當時實驗室的資金用來升級中央處理器的話是十分充足的，但剩下的資金就不足夠用來購置18,688塊通用圖形處理器表示「泰坦花了實驗室大約6千萬美元，後來國家海洋和大氣管理局的出資不足1千萬美元，但是具體數字則因為保密協議就不便公開了。」與克雷公司的全部合約共計約9千7百萬美元，不包括泰坦落成以後的可能的升級。商業化.在美洲虎超級電腦升級完成後，克雷將用於泰坦超級電腦的Cray XK7主機平臺作商業化推廣，還表示日後仍會有很大的硬體升級空間與效能提升空間。2013年3月份，輝達發布了消費級市場最強單晶片顯示卡——GeForce GTX Titan，使用和泰坦超級電腦上使用的Tesla K20X運算卡相同的「GK110」圖形處理器。與超級電腦共用一個型號的顯示核心、保留完整的通用運算能力，是這款顯示卡的最大賣點之一，主要針對民間對遊戲圖形和科學運算都有需要的發燒級玩家。，隨後還陸續發布了GeForce GTX TITAN Black Edition以及單卡雙GPU的GeForce GTX TITAN Z。還有玩家用其來進行位元幣挖礦操作。未來.原計劃泰坦將在2018年被新建造的超級電腦高峰取代，或由泰坦改造升級，不過最終高峰因需要另建基礎設施而於另外的機房中建造，使得泰坦得以保留繼續服役。這臺新的超級電腦由IBM承建，使用更少的運算節點，每個節點配備更強力的通用圖形處理器提供更強的運算能力；而且還配備固態非易失性儲存裝置，作為來自分散式檔案系統的檔案資料快取。硬體配置.機架、電源供應.泰坦超級電腦使用和美洲虎超級電腦相同的200個機櫃的設計，佔地404平方米，基本上只是更換了機櫃和佈線。沿用改進自美洲虎超級電腦的電力供應系統和冷卻系統，節省了能源部/實驗室約兩千萬美元的經費。泰坦的總耗電功率最大8.2兆瓦，比美洲虎高出了1.2兆瓦，但是泰坦提供比美洲虎快了幾乎10倍的運算效能，特別是浮點運算方面。電力供應系統的交流電輸入電壓高達480伏，供每個機櫃使用，由於使用更高的電壓，因此可以使用比美國標準的208伏是不會進行運算處理作業的，這個特性和筆記型電腦的「睡眠」功能類似。冷卻系統.泰坦的機櫃使用主動式風冷散熱器，但是外界空氣進入機櫃前則要事先經過冷卻處理，所用的空氣冷卻器，可製冷質量為6,600噸的低溫冷卻水作為空氣冷卻器的散熱介質，從機櫃中帶走熱量的熱空氣會流到至空氣冷卻器冷卻，再回流進入機櫃，如此往復迴圈。另外，「泰坦」的散熱系統設計時並沒有考慮噪音問題，因此這臺超級電腦運作時的噪音非常巨大，以至於機房需要更好的隔音措施，進入機房並且逗留超過15分鐘的人員必須採取像是佩戴隔音耳塞或耳機等的聽力保護措施。運算主機.完整的泰坦超級電腦上有18,688個運算節點，每部刀鋒伺服器擁有四個運算節點，24部刀鋒主機為一個機櫃。為了更大幅度地提升平行運算效能，建造方選擇用通用圖形處理器實作，因為圖形處理器平行運算效率相比傳統的中央處理器的有更為巨大的優勢所在。儘管圖形處理器/通用圖形處理器的時脈頻率要比中央處理器低不少，但每顆NVIDIA GK110顯示核心擁有2,688個時脈為732MHz的流處理器，全部流處理器聯合進行運算處理，從而使得整個系統效能更高。因此，在泰坦超級電腦上，中央處理器核心主要用以分配運算任務給通用圖形處理器，資料處理主要由通用圖形處理器來實作。而此前的超級電腦，則是由中央處理器直接處理資料，即使有通用圖形處理器的加入也就是輔助運算的角色。主機管理.在運算主機以外，為方便管理並監視泰坦的運作狀況，還另外設定了登入管理節點。每個登入節點的配置為一顆八核心的AMD Opteron 6140中央處理器和256GB的記憶體。在授權使用者透過網路連線至登入管理節點並登入後，預設是在登入管理節點上進行任務排程、監視運算節點運作狀況等作業。顯示設施.為了讓科研人員能夠更好地明白泰坦的資料處理結果，泰坦也設有顯示輸出，透過連結名為「EVEREST」的顯示裝置來實作。EVEREST，全名「Exploratory Visualisation Environment for Research and Technology」，意即「技術和研究的探索視覺化環境」，是一個裝有一塊10米×3米。效能、能效比表現.泰坦的理論峰值效能為每秒27×1015次浮點運算，或者是每秒2.7千萬億次運算作業。2012年11月12日，泰坦透過LINPACK基準效能測試，最終成績為每秒17.59×1015次浮點運算，TOP500最後宣佈了新的第一名由泰坦超級電腦奪得，取代前任第一IBM紅杉。儘管目前的實際峰值效能和理論峰值效能相比有較大落差，但能效比仍然要比眾多超級電腦優勝。泰坦超級電腦也是Green500中排名第三的超級電腦的運算效能。Green500也是全球500強超級電腦的排名，但不同於TOP500的是Green500是根據效能功耗比來進行排名。不過在2013年6月Top500和Green500在天河二號登入效能成績更新排名以後，泰坦的排名降至Top500的第二名，在Green500上的排名也降至29名，而泰坦並沒有進行第二次成績測試，直至現在，在Top500上的排名並沒有變化。軟體支援.作業系統、檔案系統.泰坦超級電腦使用克雷公司基於Linux核心開發的分散式作業系統。Cary Linux Environment作業系統由以下兩部分組成：登入管理節點為全功能Linux核心的作業系統，運算節點則是為提升效能和效率而特別最佳化精簡的基於輕量級Linux核心CNL的作業系統。檔案系統使用Lustre分散式檔案系統，代號「Spider」。程式編寫與編譯器.不同於以往以中央處理器作主要資料處理單元或以圖形處理器輔助處理資料的超級電腦，泰坦超級電腦以圖形處理器為主要的資料處理單元。在初期，不少專案的程式原始碼一般重新編寫或編譯以方便泰坦的通用圖形處理器執行，而且還要求這些原始碼能相容於以中央處理器為主的系統，以便專案可以不僅可以由泰坦進行處理，還能供其它仍使用傳統中央處理器架構的超級電腦執行。Oak Ridge Leadership Computing Facility來幫助科學研究者們重寫或重新編譯他們所寫的程式碼以供泰坦運作之，並且在輝達總部舉辦開發者研習會，讓研究人員和程式員學習並使用泰坦和其它類似的超級電腦的架構、編譯器和應用程式。CAAR目前已和輝達以及其它程式碼提供者合作開發新版編譯器，將指令整合到供通用圖形處理器使用的程式語言當中，以使研究者們可以和以前一樣，以Fortran、C或C++來編寫他們的程式碼而無須學習新的程式語言，並且編譯器可以將這些程式碼編譯為通用圖形處理器可以高效運作的程式。目前泰坦的程式開發工具中，「圖形處理器加速庫」包括MAGMA、CULA、cuBLAS/cuSPARSE；「加速編譯器指令」包括OpenACC、PGI Accelerator、CAPS HMPP Workbench；「低階圖形處理器程式語言」有NVIDIA C for CUDA、PGI CUDA Fortran、OpenCL。這些工具中有部分甚至允許開發者在不瞭解關於NVIDIA CUDA的知識的情況下使用。在泰坦上適用的編譯器有PGI以及英特爾提供的編譯器。目前來說，對現有科學研究專案中的程式碼重寫的部分主要是多執行緒化、增進並行性的部分，即所謂的多核多執行緒最佳化，只是更深入、更適合通用圖形處理器的架構特性。不過這樣的程式原始碼最佳化也適用於傳統以中央處理器為基礎的機器上，這些機器也可以從中獲得效能提升。天體物理學家兼程式員Bronson Messer，表示「一個應用程式要將泰坦的效能發揮至極限，必須尋求方法來使通用圖形處理器滿負載運作，需要明確的是通用圖形處理器儘管處理速度很快，但靈活度顯然不如中央處理器。」作業管理者也發現，一些計劃專案的程式碼在重寫後，在那些不是基於圖形處理器的機器上的效率也變得大有提升，「Denovo」專案的程式在基於中央處理器的機器上甚至還比原先獲得雙倍的效能提升表現。要求呼叫圖形處理器的進行運算作業的程式碼變更量因不同專案而變。根據負責NRDF專案的梅瑟博士給予圖形處理器使用的Fortran改進版本。研究計劃.由於泰坦超級電腦的研發依靠美國能源部和美國國家海洋和大氣管理局的資金資助，因此來自美國聯邦政府部門的科學研究不少，有能源、氣候變化、高效率引擎、新型燃料、新型材料等一系列科學研究專案。在泰坦正式啟用的當天，時任美國能源部長朱棣文發表宣告，表示「高效能計算領先之國家，在國防、科學、醫學、能源等一系列領域均將擁有比其它不具備超級電腦的國家更為巨大的優勢，泰坦將和能源部下屬的其它超級電腦一起，成為確保美利堅合眾國之創新優勢的有力工具。」使用計劃安排.儘管泰坦可以用於幾乎任何型別的科學研究專案，但使用請求往往超出了許可時間，因此制定出專案優先順序選擇標準，其標準是：根據專案計劃的重要度來決定執行時間的選擇，這裡面若有能力充分發揮混合架構運算能力，並且還能夠在其它超級電腦上運作的，則優先考慮。2009年，OLCF收到了50個首先使用它們的超級電腦的專案，經篩選後剩下六個成功進入候選，這六個專案中不僅是重要的科學研究專案，還賦予它們完全使用並發揮混合運算的運算能力。這六個首先使用泰坦的專案中，大部分是關於新型奈米材料、氣候變化模型的研究。不過，其它未入選的專案，仍然會進入泰坦的任務排程佇列，等待泰坦的執行處理。科學研究專案.在泰坦上首先處理的六個專案分別是「S3D」、「WL-LSMS」、「Denovo」、「LAMMPS」、「CAM-SE」和「NRDF」：負責「NRDF」專案的梅瑟博士的研究需要數以百計的偏微分方程來追蹤能量、角度、散射角以及在一顆恆星進入超新星階段時每種不同型別的中微子模擬，得出數百萬個單獨的方程。另外，一個名為「Chimera」。第三個「頭」首先由圖形處理器群執行處理，由於熱核反應的過程模擬最容易由圖形處理器的架構來處理，儘管其它方面的原始碼也將及時進行適應性修改及最佳化目前，專案模擬了14或15種核素，但如果圖形處理器提供良好的加速，梅瑟博士預計，與經驗觀察相比，將有多達200種核素可以在更高的精度上被模擬出來。「VERA」專案是一個輕水反應爐的模擬，在美洲虎超級電腦上的CASL發現，相比於以往在傳統中央處理器為主的超級電腦之間進行程式碼適應性修改以及最佳化作業，為泰坦的混合架構修改及最佳化VERA的程式碼難度十分大。儘管如此，他們的目標是要將模擬整個反應爐燃料迴圈的時間，從以往需要18～36個月，在泰坦上縮短至只需一個星期。2013年已經有三分之一的程式碼已計劃編譯並在泰坦上執行，典型情況下在一個時間段中會有多達四到五個專案間斷使用。! colspan="3" style="border-top: 5px solid #FFF179;" |紀錄2012年11月 – 2013年6月