泰坦 (超級電腦)

歷史介紹

泰坦是橡樹嶺實驗室美洲虎超級電腦的升級版。美洲虎初期純粹使用中央處理器，而後期也以圖形處理器輔助中央處理器運算。

原美洲虎升級計劃

為了在保持效能功耗比的情況下提升資料處理效能，原來的美洲虎超級電腦在2005年落成後不久時已經制定了多種升級方案，當時美洲虎仍使用Cray XT3主機平台，峰值運算效能為25teraFLOPS。2008年美洲虎的Cray XT3主機平台升級Cray XT4主機平台，峰值效能也提升至263teraFLOPS；2009年繼續升級至Cray XT5主機平台，峰值效能為1.4petaFLOPS。在升級為泰坦前，未來的升級計劃原定的峰值效能為1.76petaFLOPS。

泰坦建造計劃

2005年當美洲虎落成時，橡樹嶺國家實驗室已計劃打造一台達到20petaFLOPS效能級別的超級電腦，而以傳統的中央處理器架構來實作在當時來說有不低的難度和成本，因此選擇以中央處理器+圖形處理器的混合架構方案，儘管這個方案直到2010年才得以實作，2011年以後計劃將升級後的美洲虎更名為泰坦。2010年11月16日在ACM/IEEE超級運算研討會非正式私人會議上公布了美洲虎的大升級計劃（亦即泰坦的建造），在會議的前一年（2009年）還和NVIDIA簽署通用圖形處理器的供應協定。2011年10月11日對外宣布開始第一階段的升級。最初的計劃是將新建一個佔地15,000平方米（160,000平方英尺）的新機房，來置放升級後的美洲虎，但最後限於預算而取消，改為沿用美洲虎現有的基礎設施。
2011年10月9日，美洲虎的主機開始了為期一年的汰換升級，完全升級後的超級電腦會重新命名為「泰坦」。

第一階段

第一階段的升級主要是更換新的中央處理器。
2011年10月至12月期間，美洲虎200個機櫃中的96個機櫃中裝備的Cray XT5平台主機（刀鋒伺服器，組態為每節點兩顆6核心的AMD Opteron處理器）升級為Cray XK6平台主機（刀鋒伺服器，組態為每節點一顆16核心的Opteron 6274處理器），其它剩餘的機櫃仍照常運作。同年12月，所有運算任務轉移至96個已更換Cray XK6主機平台的機櫃中，剩餘的104個機櫃中的主機均升級Cray XK6。 系統內部連線（允許各節點的處理單元相互溝通的網路）也被升級，橡樹嶺國家實驗室的ESnet網路連線的頻寬也升級為100Gb/s，以便更快地從其它實驗室、大學和研究機構進行資料交換。系統記憶體容量也隨著Cray XK6主機平台的升級而翻倍擴增至600TB，其中有960台Cray XK6主機（佔用10個機櫃）還裝有以NVIDIA Fermi架構顯示核心（即用於NVIDIA GeForce 400/500系列顯示卡的圖形處理器）為基礎的NVIDIA Tesla運算加速卡。這960個節點作為泰坦日後硬體組態的參考，並用來為日後泰坦的完全升級測試程式原始碼。美洲虎至泰坦的第一階段的升級使得這台超級電腦的峰值效能從2.3petaFLOPS提升至3.3petaFLOPS，這個階段下這台超級電腦仍稱為美洲虎。

第二階段

第二階段的升級主要是更換安裝新的用作通用資料處理的圖形處理器。
2012年中期，輝達推出NVIDIA Kepler架構的圖形處理器，也在不久推出基於這個架構的NVIDIA Tesla運算處理器。2012年9月13日開始，按照實驗室和克雷、輝達簽訂的合約，輝達提供超過一萬八千塊NVIDIA Tesla K20X運算加速卡（基於克卜勒架構的GK110頂級顯示核心，用作通用圖形處理器）裝進美洲虎超級電腦的Cray XK6平台主機中，每節點一塊，更換圖形處理器後Cray XK6平台更名為Cray XK7平台。中央處理器維持不變，仍為16核心的Opteron 6274處理器。同年10月底基本完工並且將這台超級電腦更名為泰坦。

測試驗收

「泰坦」在2013年初接受驗收測試，但只完成了92%的測試項目，低於原來通過95%的測試項目的要求。後來檢查發現，導致測試出現問題的是主機板的PCI-E插槽內的金手指連接器虛焊或焊接部位出現裂縫。對於這個問題，克雷公司按照合同要求承擔修復所需費用，並且以每星期12到16個機櫃的速度修復這個缺陷。修復過程中其它能正常運作的機櫃照常運算以供研究者們繼續進行他們的運算任務，而且到2013年3月11日，共8,972顆通用圖形處理器通過測試後，正式投入運作2013年4月8日，橡樹嶺國家實驗室宣布修復工作已完成，預計2013年5月完成最後的驗收測試項目。6月12日，橡樹嶺實驗室宣布泰坦已經完成了測試。

資金和建造

泰坦的升級建造仍由美洲虎的承建商克雷公司來負責進行，其主要資金來源是美國能源部下屬的橡樹嶺國家實驗室。當時實驗室的資金用來升級中央處理器的話是十分充足的，但剩下的資金就不足夠用來購置18,688塊通用圖形處理器（運算加速卡），因此美國國家海洋和大氣管理局也同意出資填補資金缺口，但需要以一定的使用權和使用時限作為回報。橡樹嶺實驗室的科學計算負責人傑夫·尼科爾斯（Jeff Nichols）表示「泰坦花了實驗室大約6千萬美元，後來國家海洋和大氣管理局的出資不足1千萬美元，但是具體數字則因為保密協定就不便公開了。」與克雷公司的全部合約共計約9千7百萬美元，不包括泰坦落成以後的可能的升級。

商業化

在美洲虎超級電腦升級完成後，克雷將用於泰坦超級電腦的Cray XK7主機平台作商業化推廣，還表示日後仍會有很大的硬體升級空間與效能提升空間。
2013年3月份，輝達發布了消費級市場最強單晶片顯示卡——GeForce GTX Titan，使用和泰坦超級電腦上使用的Tesla K20X運算卡相同的「GK110」圖形處理器。與超級電腦共用一個型號的顯示核心、保留完整的通用運算能力，是這款顯示卡的最大賣點之一，主要針對民間對遊戲圖形和科學運算都有需要的發燒級玩家。，隨後還陸續發布了GeForce GTX TITAN Black Edition以及單卡雙GPU的GeForce GTX TITAN Z。還有玩家用其來進行位元幣挖礦操作。

未來

原計劃泰坦將在2018年被新建造的超級電腦高峰（Summit）取代，或由泰坦改造升級，不過最終高峰因需要另建基礎設施而於另外的機房中建造，使得泰坦得以保留繼續服役。這台新的超級電腦由IBM承建，使用更少的運算節點，每個節點配備更強力的通用圖形處理器提供更強的運算能力；而且還配備固態非揮發性儲存裝置，作為來自分散式檔案系統的檔案資料快取。

機架、電源供應

泰坦超級電腦使用和美洲虎超級電腦相同的200個機櫃的設計，佔地404平方米，基本上只是更換了機櫃和布線。沿用改進自美洲虎超級電腦的電力供應系統和冷卻系統，節省了能源部/實驗室約兩千萬美元的經費。泰坦的總耗電功率最大8.2兆瓦，比美洲虎高出了1.2兆瓦，但是泰坦提供比美洲虎快了幾乎10倍的運算效能，特別是浮點運算方面。電力供應系統的交流電輸入電壓高達480伏，供每個機櫃使用，由於使用更高的電壓，因此可以使用比美國標準的208伏（線電壓）電纜更細的輸入電纜，由更小直徑的電纜銅芯上節省出來的資金就有一百萬美元。為應付電力供應突然中斷的事件，碳纖維飛輪能量儲存器可以維持網路系統和儲存系統16秒的電力供應，如果兩秒內電力供應沒有恢復，柴油發電機就會在大約7秒的時間內啟動，並一直驅動飛輪，但是飛輪和發電機被設計成只為網路系統和儲存系統維持電力供應，以便能快速重新開啟整台機器，發電機也不會為運算處理單元基礎設施提供後備電力供應，因此外接電力供應中斷時（即使發電機已啟動）是不會進行運算處理作業的，這個特性和筆記型電腦的「睡眠」功能類似。

冷卻系統

泰坦的機櫃使用主動式風冷散熱器，但是外界空氣進入機櫃前則要事先經過冷卻處理，所用的空氣冷卻器，可製冷品質為6,600噸（相當於23.2兆瓦的熱功率），以5.5攝氏度（約42華氏度）的低溫冷卻水作為空氣冷卻器的散熱介質，從機櫃中帶走熱量的熱空氣會流到至空氣冷卻器冷卻，再回流進入機櫃，如此往復循環。另外，「泰坦」的散熱系統設計時並沒有考慮噪音問題，因此這台超級電腦運作時的噪音非常巨大，以至於機房需要更好的隔音措施，進入機房並且逗留超過15分鐘的人員必須採取像是佩戴隔音耳塞或耳機等的聽力保護措施。

主機管理

在運算主機以外，為方便管理並監視泰坦的運作狀況，還另外設定了登入管理節點。每個登入節點的組態為一顆八核心的AMD Opteron 6140中央處理器和256GB的記憶體。在授權使用者透過網路連線至登入管理節點並登入後，預設是在登入管理節點上進行任務排程、監視運算節點運作狀況等作業。

顯示設施

為了讓科研人員能夠更好地明白泰坦的資料處理結果，泰坦也設有顯示輸出，通過連結名為「EVEREST」的顯示裝置來實作。EVEREST，全名「Exploratory Visualisation Environment for Research and Technology」，意即「技術和研究的探索可視化環境」，是一個裝有一塊10米×3米（30英尺×10英尺）的主螢幕和一塊尺寸要小上一些的副螢幕的房間，螢幕的解析度均為3千7百萬畫素×3千3百萬畫素，還附帶3D顯示能力（需要配合3D眼鏡使用）。

效能、能效比表現

泰坦的理論峰值效能為每秒27×10¹⁵次浮點運算（27petaFLOPS），或者是每秒2.7千萬億次運算作業。2012年11月12日，泰坦通過LINPACK基準效能測試，最終成績為每秒17.59×10¹⁵次浮點運算，TOP500最後宣布了新的第一名由泰坦超級電腦奪得，取代前任第一IBM紅杉。儘管目前的實際峰值效能和理論峰值效能相比有較大落差，但能效比仍然要比眾多超級電腦優勝。
泰坦超級電腦也是Green500中排名第三的超級電腦（截至2012年11月），每消耗一瓦特的電功率獲得2142.77megaFLOPS（21.4277億次浮點運算每秒）的運算效能。Green500也是全球500強超級電腦的排名，但不同於TOP500的是Green500是根據效能功耗比來進行排名。不過在2013年6月Top500和Green500在天河二號登入效能成績更新排名以後，泰坦的排名降至Top500的第二名，在Green500上的排名也降至29名，而泰坦並沒有進行第二次成績測試，直至現在，在Top500上的排名並沒有變化。

作業系統、檔案系統

泰坦超級電腦使用克雷公司基於Linux核心開發的Cray Linux Environment分布式作業系統。Cary Linux Environment作業系統由以下兩部分組成：登入管理節點為全功能Linux核心的作業系統，運算節點則是為提升效能和效率而特別最佳化精簡的基於輕量級Linux核心CNL（Compute Node Linux）的作業系統。檔案系統使用Lustre分散式檔案系統，代號「Spider」。

程式編寫與編譯器

不同於以往以中央處理器作主要資料處理單元或以圖形處理器輔助處理資料的超級電腦，泰坦超級電腦以圖形處理器為主要的資料處理單元。在初期，不少專案的程式原始碼一般重新編寫或編譯以方便泰坦的通用圖形處理器執行，而且還要求這些原始碼能相容於以中央處理器為主的系統，以便專案可以不僅可以由泰坦進行處理，還能供其它仍使用傳統中央處理器架構的超級電腦執行。Oak Ridge Leadership Computing Facility（OLCF）還成立了Center for Accelerated Application Readiness（加速申請中心，CAAR）來幫助科學研究者們重寫或重新編譯他們所寫的程式碼以供泰坦運作之，並且在輝達總部舉辦開發者研習會，讓研究人員和程式員學習並使用泰坦和其它類似的超級電腦的架構、編譯器和應用程式。
CAAR目前已和輝達以及其它程式碼提供者合作開發新版編譯器，將指令整合到供通用圖形處理器使用的程式語言當中，以使研究者們可以和以前一樣，以Fortran、C或C++來編寫他們的程式碼而無須學習新的程式語言，並且編譯器可以將這些程式碼編譯為通用圖形處理器可以高效運作的程式。
目前泰坦的程式開發工具中，「圖形處理器加速庫」包括MAGMA、CULA、cuBLAS/cuSPARSE；「加速編譯器指令」包括OpenACC、PGI Accelerator、CAPS HMPP Workbench；「低階圖形處理器程式語言」有NVIDIA C for CUDA、PGI CUDA Fortran、OpenCL。這些工具中有部分甚至允許開發者在不了解關於NVIDIA CUDA的知識的情況下使用。在泰坦上適用的編譯器有PGI（Portland Group Compiler Suite，預設使用這個）、GCC、CCE（Cray Compiling Environment）以及英特爾提供的編譯器。
目前來說，對現有科學研究專案中的程式碼重寫的部分主要是多執行緒化、增進並行性的部分，即所謂的多核多執行緒最佳化，只是更深入、更適合通用圖形處理器的架構特性（通用圖形處理器擁有比中央處理器多得多的執行緒和更好的運算並行性）。不過這樣的程式原始碼最佳化也適用於傳統以中央處理器為基礎的機器上，這些機器也可以從中獲得效能提升。天體物理學家兼程式員Bronson Messer，表示「一個應用程式要將泰坦的效能發揮至極限，必須尋求方法來使通用圖形處理器滿負載運作，需要明確的是通用圖形處理器儘管處理速度很快，但靈活度顯然不如中央處理器。」作業管理者也發現，一些計劃專案的程式碼在重寫後，在那些不是基於圖形處理器的機器上的效率也變得大有提升，「Denovo」專案的程式在基於中央處理器的機器上甚至還比原先獲得雙倍的效能提升表現。
要求調用圖形處理器的進行運算作業的程式碼變更量因不同專案而變。根據負責NRDF專案的梅瑟博士（Dr. Messer）的意見，他們的程式碼中調用圖形處理器的演算法原始碼只佔整個程式碼中很小的百分比，因為這些程式演算法的運算都相對簡單，但處理進程重複而且具有平行性。NRDF的程式用CUDA Fortran寫成，CUDA Fortran是Fortran語言連結CUDA指令擴充庫（NVIDIA CUDA庫）給予圖形處理器使用的Fortran改進版本。

研究計劃

由於泰坦超級電腦的研發依靠美國能源部和美國國家海洋和大氣管理局的資金資助，因此來自美國聯邦政府部門的科學研究不少，有能源（包括可再生能源、核能）、氣候變化、高效率引擎、新型燃料、新型材料等一系列科學研究專案。
在泰坦正式啟用的當天，時任美國能源部長朱棣文發表聲明，表示「高效能計算領先之國家，在國防、科學、醫學、能源等一系列領域均將擁有比其它不具備超級電腦的國家更為巨大的優勢，泰坦將和能源部下屬的其它超級電腦一起，成為確保美利堅合眾國之創新優勢的有力工具。」

使用計劃安排

儘管泰坦可以用於幾乎任何類型的科學研究專案，但使用請求往往超出了許可時間，因此制定出專案優先級選擇標準，其標準是：根據專案計劃的重要度來決定執行時間的選擇，這裡面若有能力充分發揮混合架構運算能力，並且還能夠在其它超級電腦上運作的，則優先考慮（即不可只讓泰坦單獨處理）。2009年，OLCF收到了50個首先使用它們的超級電腦的專案，經篩選後剩下六個成功進入候選，這六個專案中不僅是重要的科學研究專案，還賦予它們完全使用並發揮混合運算的運算能力。這六個首先使用泰坦的專案中，大部分是關於新型奈米材料、氣候變化模型的研究。不過，其它未入選的專案，仍然會進入泰坦的任務排程隊列，等待泰坦的執行處理。