泰坦 (超級電腦)

泰坦（英語：Titan，實驗室代號「OCLF-3」）是一台由克雷公司承建的超級電腦，置放於美國能源部下屬的橡樹嶺國家實驗室中，供各項科學研究專案使用。泰坦是由原來也置放於橡樹嶺國家實驗室的美洲虎（英文：Jaguar）經過多次升級改裝而成。泰坦也是世界上第一台以通用圖形處理器（GPGPU）為主要資料處理單元的超級電腦，2012年11月至2013年6月是世界上最快的超級電腦。美洲虎在2011年10月被宣布開始進行大幅升級，2012年10月，升級作業基本完工後這台超級電腦被更名為泰坦，並開始進行穩定性和效能測試，2013年中期方可供科學研究者們使用。升級的預算開始時是6千萬美元，其中絕大部分由美國能源部提供。而後來根據克雷公司的公開資訊，整台泰坦超級電腦的費用最終是9千7百萬美元，為填補資金空缺，美國國家海洋和大氣管理局也出了一小部分資金參與建造，以從主要出資方美國能源部的手上獲得一定的使用權。 泰坦使用由超微半導體提供的皓龍（Opteron）處理器連結輝達提供的Tesla運算用圖形處理器以進行協同運算，來在提供比美洲虎更高的運算效能之同時保持能源利用效率。整台泰坦共計18,688顆中央處理器和相同數量的圖形處理器，理論峰值效能是27petaFLOPS（每秒27×1015次浮點運算），然而，在2012年11月的LINPACK基準效能測試中卻僅取得17.59petaFLOPS的成績（每秒17.59×1015次浮點運算），直到2013年6月在Top500位列第一的排名被中國的天河二號取代。儘管如此，無論從效能上抑或是能效比上來說，仍然要比同時期的其它超級電腦更勝一籌。 泰坦可用於任何目的的資料處理。然而，資料處理任務的優先級，需要基於三個方面的考量：任務計劃的重要度、任務計劃對異構運算的利用潛力以及任務計劃的運算程式源碼與其它超級電腦的相容性。經過篩選排程後，選中六個運算計劃，這六個「前鋒」計劃在泰坦開放使用後由泰坦依排程執行處理，這些處理任務多為關於奈米科技或氣候模型。不過其它沒被選為首先處理的任務計劃，仍會進行優先級排程，進入等候貯列，以待泰坦的運行處理。由於以圖形處理器來處理資料，基於圖形處理器擁有比中央處理器多得多的執行緒的理由，不少程式需要進行源碼變動處理以適應新的混合架構，這些處理常常需要有更高階的運算平行度，而這些變更甚至也可以在以中央處理器為主的超級電腦上獲得效能的提升。 泰坦於2019年6月30日截止受理運算任務，並於同年的8月2日正式退役，而日後泰坦的計算任務將會由高峰接手。泰坦拆除後留下的空間將進行擴展並安裝同樣採用AMD處理器的前沿（英文：Frontier）超級電腦，而前沿預計於2021年完工，屆時將成為繼Summit之後的第二代AI系統。 泰坦是橡樹嶺實驗室美洲虎超級電腦的升级版。美洲虎初期純粹使用中央處理器，而後期也以圖形處理器輔助中央處理器運算。 為了在保持效能功耗比的情況下提升資料處理效能，原來的美洲虎超級電腦在2005年落成後不久時已經制定了多种升級方案，當時美洲虎仍使用Cray XT3（英语：Cray XT3）主機平台，峰值運算效能為25teraFLOPS。2008年美洲虎的Cray XT3主機平台升級Cray XT4（英语：Cray XT4）主機平台，峰值效能也提升至263teraFLOPS；2009年繼續升級至Cray XT5（英语：Cray XT5）主機平台，峰值效能為1.4petaFLOPS。在升級為泰坦前，未來的升級計劃原定的峰值效能為1.76petaFLOPS。 2005年當美洲虎落成時，橡樹嶺國家實驗室已計劃打造一台達到20petaFLOPS效能級別的超級電腦，而以傳統的中央處理器架構來實作在當時來說有不低的難度和成本，因此選擇以中央處理器+圖形處理器的混合架構方案，儘管這個方案直到2010年才得以實作，2011年以後計劃將升級後的美洲虎更名為泰坦。2010年11月16日在ACM/IEEE超級運算研討會（英语：ACM/IEEE Supercomputing Conference）非正式私人會議上公布了美洲虎的大升級計劃（亦即泰坦的建造），在會議的前一年（2009年）還和NVIDIA簽署通用圖形處理器的供應協議。2011年10月11日對外宣布開始第一階段的升級。最初的計劃是將新建一個佔地15,000平方米（160,000平方英尺）的新機房，來置放升級後的美洲虎，但最後限於預算而取消，改為沿用美洲虎現有的基礎設施。 2011年10月9日，美洲虎的主機開始了為期一年的汰換升級，完全升級後的超級電腦會重命名為“泰坦”。 第一階段的升級主要是更換新的中央處理器。 2011年10月至12月期間，美洲虎200個機櫃中的96個機櫃中裝備的Cray XT5平台主機（刀鋒伺服器，配置為每節點兩顆6核心的AMD Opteron處理器）升級為Cray XK6（英语：Cray XK6）平台主機（刀鋒伺服器，配置為每節點一顆16核心的Opteron 6274處理器），其它剩餘的機櫃仍照常運作。同年12月，所有運算任務轉移至96個已更換Cray XK6主機平台的機櫃中，剩餘的104個機櫃中的主機均升級Cray XK6。 系統內部連線（允許各節點的處理單元相互溝通的網路）也被升級，橡樹嶺國家實驗室的ESnet網路連線的頻寬也升級為100Gb/s，以便更快地從其它實驗室、大學和研究機構進行資料交換。系統記憶體容量也隨著Cray XK6主機平台的升級而翻倍擴增至600TB，其中有960台Cray XK6主機（佔用10個機櫃）還裝有以NVIDIA Fermi架構顯示核心（即用於NVIDIA GeForce 400/500系列顯示卡的圖形處理器）為基礎的NVIDIA Tesla運算加速卡。這960個節點作為泰坦日後硬體配置的參考，並用來為日後泰坦的完全升級測試程式源碼。美洲虎至泰坦的第一階段的升級使得這台超級電腦的峰值效能從2.3petaFLOPS提升至3.3petaFLOPS，這個階段下這台超級電腦仍稱為美洲虎。 第二階段的升級主要是更換安裝新的用作通用資料處理的圖形處理器。 2012年中期，輝達推出NVIDIA Kepler架構的圖形處理器，也在不久推出基於這個架構的NVIDIA Tesla運算處理器。2012年9月13日開始，按照實驗室和克雷、輝達簽訂的合約，輝達提供超過一萬八千塊NVIDIA Tesla K20X運算加速卡（基於開普勒架構的GK110頂級顯示核心，用作通用圖形處理器）裝進美洲虎超級電腦的Cray XK6平台主機中，每節點一塊，更換圖形處理器後Cray XK6平台更名為Cray XK7（英语：Cray XK7）平台。中央處理器維持不變，仍為16核心的Opteron 6274處理器。同年10月底基本完工並且將這台超級電腦更名為泰坦。 「泰坦」在2013年初接受驗收測試，但只完成了92%的測試項目，低於原來通過95%的測試項目的要求。後來檢查發現，導致測試出現問題的是主機板的PCI-E插槽內的金手指連接器虛焊或焊接部位出現裂縫。對於這個問題，克雷公司按照合同要求承擔修復所需費用，並且以每星期12到16個機櫃的速度修復這個缺陷。修復過程中其它能正常運作的機櫃照常運算以供研究者們繼續進行他們的運算任務，而且到2013年3月11日，共8,972顆通用圖形處理器通過測試後，正式投入運作2013年4月8日，橡樹嶺國家實驗室宣布修復工作已完成，預計2013年5月完成最後的驗收測試項目。6月12日，橡树岭实验室宣布泰坦已经完成了测试。 泰坦的升級建造仍由美洲虎的承建商克雷公司來負責進行，其主要資金來源是美國能源部下屬的橡樹嶺國家實驗室。當時實驗室的資金用來升級中央處理器的話是十分充足的，但剩下的資金就不足夠用來購置18,688塊通用圖形處理器（運算加速卡），因此美國國家海洋和大氣管理局也同意出資填補資金缺口，但需要以一定的使用權和使用時限作為回報。橡樹嶺實驗室的科學計算負責人傑夫·尼科爾斯（Jeff Nichols）表示「泰坦花了實驗室大約6千萬美元，後來國家海洋和大氣管理局的出資不足1千萬美元，但是具體數字則因為保密協議就不便公開了。」與克雷公司的全部合約共計約9千7百萬美元，不包括泰坦落成以後的可能的升級。 在美洲虎超級電腦升級完成後，克雷將用於泰坦超級電腦的Cray XK7主機平台作商業化推廣，還表示日後仍會有很大的硬體升級空間與效能提升空間。 2013年3月份，輝達發布了消費級市場最強單晶片顯示卡——GeForce GTX Titan，使用和泰坦超級電腦上使用的Tesla K20X運算卡相同的「GK110」圖形處理器。與超級電腦共用一個型號的顯示核心、保留完整的通用運算能力，是這款顯示卡的最大賣點之一，主要針對民間對遊戲圖形和科學運算都有需要的發燒級玩家。，隨後還陸續發布了GeForce GTX TITAN Black Edition以及單卡雙GPU的GeForce GTX TITAN Z。還有玩家用其來進行位元幣挖礦操作。 原計劃泰坦將在2018年被新建造的超級電腦高峰（Summit）取代，或由泰坦改造升級，不過最終高峰因需要另建基礎設施而於另外的機房中建造，使得泰坦得以保留繼續服役。這台新的超級電腦由IBM承建，使用更少的運算節點，每個節點配備更強力的通用圖形處理器提供更強的運算能力；而且還配備固態非易失性存儲裝置，作為來自分散式檔案系統的檔案資料快取。 泰坦超級電腦使用和美洲虎超級電腦相同的200個機櫃的設計，佔地404平方米，基本上只是更換了機櫃和佈線。沿用改進自美洲虎超級電腦的電力供應系統和冷卻系統，節省了能源部/實驗室約兩千萬美元的經費。泰坦的總耗電功率最大8.2兆瓦，比美洲虎高出了1.2兆瓦，但是泰坦提供比美洲虎快了幾乎10倍的運算效能，特別是浮點運算方面。電力供應系統的交流電輸入電壓高達480伏，供每個機櫃使用，由於使用更高的電壓，因此可以使用比美國標準的208伏（線電壓）電纜更細的輸入電纜，由更小直徑的電纜銅芯上節省出來的資金就有一百萬美元。為應付電力供應突然中斷的事件，碳纖維飛輪能量存儲器可以維持網路系統和存儲系統16秒的電力供應，如果兩秒內電力供應沒有恢復，柴油發電機就會在大約7秒的時間內啟動，並一直驅動飛輪，但是飛輪和發電機被設計成只為網絡系統和存儲系統維持電力供應，以便能快速重新開啟整台機器，發電機也不會為運算處理單元基礎設施提供後備電力供應，因此外接電力供應中斷時（即使發電機已啟動）是不會進行運算處理作業的，這個特性和筆記型電腦的「睡眠」功能類似。 泰坦的機櫃使用主動式風冷散熱器，但是外界空氣進入機櫃前則要事先經過冷卻處理，所用的空氣冷卻器，可製冷質量為6,600噸（相當於23.2兆瓦的熱功率），以5.5攝氏度（約42華氏度）的低溫冷卻水作為空氣冷卻器的散熱介質，從機櫃中帶走熱量的熱空氣會流到至空氣冷卻器冷卻，再回流進入機櫃，如此往復循環。另外，「泰坦」的散熱系統設計時並沒有考慮噪音問題，因此這台超級電腦運作時的噪音非常巨大，以至於機房需要更好的隔音措施，進入機房並且逗留超過15分鐘的人員必須採取像是佩戴隔音耳塞或耳機等的聽力保護措施。 完整的泰坦超級電腦上有18,688個運算節點，每部刀鋒伺服器擁有四個運算節點，24部刀鋒主機為一個機櫃。 每個運算節點包含： 一顆AMD Opteron 6274中央處理器，基於AMD Bulldozer微架構，擁有8個Bulldozer模組共16個核心，核心時脈為2.2GHz 容量32GB，DDR3-1600帶ECC的記憶體 一塊NVIDIA Tesla K20X運算加速卡，包含：一顆基於NVIDIA Kepler架構、核心代號「GK110」的通用圖形處理器，擁有2,688個流處理器（CUDA核心）、核心時脈為732MHz，附帶容量為6GB、帶ECC的GDDR5顯示記憶體 每兩個節點共用一個克雷公司研發的Gemini高速互連路由器 整台超級電腦共299,008個處理器核心和超過710TB的記憶體容量（包括顯示記憶體，全部記憶體開啟ECC功能後共693.6TB可用）； 存儲器使用硬碟陣列存儲，原來容量是10PB（由13,400塊，每塊7,200轉每分1TB容量的硬碟組成），其有效傳送速率為240GB/s。在2013年4月，進行了一次存儲器的升級，升級後的存儲器容量增至40PB，其有效傳送速率達到1.4TB/s。 你根本不能從傳統的基於CPU的架構上獲得這個級別的效能、能源效率和成本效率。加速運算是未來十年使exascale效能級別得以達成的最好而且最現實的方式。 “ ” 英伟达首席架構設計師史蒂夫·斯科特（英语：Steve Scott (computer architect)） 為了更大幅度地提升平行運算效能，建造方選擇用通用圖形處理器實作，因為圖形處理器平行運算效率相比傳統的中央處理器的有更為巨大的優勢所在。儘管圖形處理器/通用圖形處理器的時鐘頻率要比中央處理器低不少，但每顆NVIDIA GK110顯示核心擁有2,688個時脈為732MHz的流處理器（CUDA核心），全部流處理器聯合進行運算處理，從而使得整個系統效能更高。因此，在泰坦超級電腦上，中央處理器核心主要用以分配運算任務給通用圖形處理器，資料處理主要由通用圖形處理器來實作。而此前的超級電腦，則是由中央處理器直接處理資料，即使有通用圖形處理器的加入也就是輔助運算的角色。 在運算主機以外，為方便管理並監視泰坦的運作狀況，還另外設定了登入管理節點。每個登入節點的配置為一顆八核心的AMD Opteron 6140中央處理器和256GB的記憶體。在授權使用者透過網路連線至登入管理節點並登入後，預設是在登入管理節點上進行任務排程、監視運算節點運作狀況等作業。 為了讓科研人員能夠更好地明白泰坦的資料處理結果，泰坦也設有顯示輸出，通過連結名為「EVEREST」的顯示裝置來實作。EVEREST，全名「Exploratory Visualisation Environment for Research and Technology」，意即「技術和研究的探索可視化環境」，是一個裝有一塊10米×3米（30英尺×10英尺）的主熒幕和一塊尺寸要小上一些的副熒幕的房間，熒幕的解析度均為3千7百萬畫素×3千3百萬畫素，還附帶3D顯示能力（需要配合3D眼鏡使用）。 泰坦的理論峰值效能為每秒27×1015次浮點運算（27petaFLOPS），或者是每秒2.7千萬億次運算作業。2012年11月12日，泰坦通過LINPACK基準效能測試，最終成績為每秒17.59×1015次浮點運算，TOP500最後宣布了新的第一名由泰坦超級電腦奪得，取代前任第一IBM紅杉。儘管目前的實際峰值效能和理論峰值效能相比有較大落差，但能效比仍然要比眾多超級電腦優勝。 泰坦超級電腦也是Green500中排名第三的超級電腦（截至2012年11月），每消耗一瓦特的電功率獲得2142.77megaFLOPS（21.4277億次浮點運算每秒）的運算效能。Green500也是全球500強超級電腦的排名，但不同於TOP500的是Green500是根據效能功耗比來進行排名。不過在2013年6月Top500和Green500在天河二號登入效能成績更新排名以後，泰坦的排名降至Top500的第二名，在Green500上的排名也降至29名，而泰坦並沒有進行第二次成績測試，直至現在，在Top500上的排名並沒有變化。 泰坦超級電腦使用克雷公司基於Linux核心開發的Cray Linux Environment（英语：Cray Linux Environment）分佈式作業系統。Cary Linux Environment作業系統由以下兩部分組成：登入管理節點為全功能Linux核心的作業系統，運算節點則是為提升效能和效率而特別優化精簡的基於輕量級Linux核心CNL（Compute Node Linux）的作業系統。檔案系統使用Lustre分散式檔案系統，代號「Spider」。 不同於以往以中央處理器作主要資料處理單元或以圖形處理器輔助處理資料的超級電腦，泰坦超級電腦以圖形處理器為主要的資料處理單元。在初期，不少專案的程式源碼一般重新編寫或編譯以方便泰坦的通用圖形處理器运行，而且還要求這些源碼能相容於以中央處理器為主的系統，以便專案可以不僅可以由泰坦進行處理，還能供其它仍使用傳統中央處理器架構的超級電腦运行。Oak Ridge Leadership Computing Facility（OLCF）還成立了Center for Accelerated Application Readiness（加速申请中心，CAAR）來幫助科學研究者們重寫或重新編譯他們所寫的程式碼以供泰坦運作之，並且在輝達總部舉辦開發者研習會，讓研究人員和程式員學習並使用泰坦和其它類似的超級電腦的架構、編譯器和應用程式。 CAAR目前已和輝達以及其它程式碼提供者合作開發新版編譯器，將指令整合到供通用圖形處理器使用的程式語言當中，以使研究者們可以和以前一樣，以Fortran、C或C++來編寫他們的程式碼而無須學習新的程式語言，並且編譯器可以將這些程式碼編譯為通用圖形處理器可以高效運作的程式。 目前泰坦的程式開發工具中，「圖形處理器加速庫」包括MAGMA、CULA、cuBLAS/cuSPARSE；「加速編譯器指令」包括OpenACC、PGI Accelerator、CAPS HMPP Workbench；「低階圖形處理器程式語言」有NVIDIA C for CUDA、PGI CUDA Fortran、OpenCL。這些工具中有部分甚至允許開發者在不了解關於NVIDIA CUDA的知識的情況下使用。在泰坦上適用的編譯器有PGI（Portland Group Compiler Suite，預設使用這個）、GCC、CCE（Cray Compiling Environment）以及英特爾提供的編譯器。 目前來說，對現有科學研究專案中的代碼重寫的部分主要是多線程化、增進並行性的部分，即所謂的多核多線程優化，只是更深入、更適合通用圖形處理器的架構特性（通用圖形處理器擁有比中央處理器多得多的執行緒和更好的運算並行性）。不過這樣的程式源碼優化也適用於傳統以中央處理器為基礎的機器上，這些機器也可以從中獲得效能提升。天體物理學家兼程式員Bronson Messer，表示「一個應用程式要將泰坦的效能發揮至極限，必須尋求方法來使通用圖形處理器滿負載運作，需要明確的是通用圖形處理器儘管處理速度很快，但靈活度顯然不如中央處理器。」作業管理者也發現，一些計劃專案的程式碼在重寫後，在那些不是基於圖形處理器的機器上的效率也變得大有提升，「Denovo」專案的程式在基於中央處理器的機器上甚至還比原先獲得雙倍的效能提升表現。 要求調用圖形處理器的進行運算作業的程式碼變更量因不同專案而變。根據負責NRDF專案的梅瑟博士（Dr. Messer）的意見，他們的程式碼中調用圖形處理器的算法源碼只佔整個程式碼中很小的百分比，因為這些程式算法的運算都相對簡單，但處理進程重複而且具有平行性。NRDF的程式用CUDA Fortran寫成，CUDA Fortran是Fortran語言連結CUDA指令擴充庫（NVIDIA CUDA庫）給予圖形處理器使用的Fortran改進版本。 由於泰坦超級電腦的研發依靠美國能源部和美國國家海洋和大氣管理局的資金資助，因此來自美國聯邦政府部門的科學研究不少，有能源（包括可再生能源、核能）、氣候變化、高效率引擎、新型燃料、新型材料等一系列科學研究專案。 在泰坦正式啟用的當天，時任美國能源部長朱棣文發表聲明，表示「高效能計算領先之國家，在國防、科學、醫學、能源等一系列領域均將擁有比其它不具備超級電腦的國家更為巨大的優勢，泰坦將和能源部下屬的其它超級電腦一起，成為確保美利堅合眾國之創新優勢的有力工具。」 儘管泰坦可以用於幾乎任何類型的科學研究專案，但使用請求往往超出了許可時間，因此制定出專案優先級選擇標準，其標準是：根據專案計劃的重要度來決定執行時間的選擇，這裡面若有能力充分發揮混合架構運算能力，並且還能夠在其它超級電腦上運作的，則優先考慮（即不可只讓泰坦單獨處理）。2009年，OLCF收到了50個首先使用它們的超級電腦的專案，經筛选後剩下六個成功進入候選，這六個專案中不僅是重要的科學研究專案，還賦予它們完全使用並發揮混合運算的運算能力。這六個首先使用泰坦的專案中，大部分是關於新型納米材料、氣候變化模型的研究。不過，其它未入選的專案，仍然會進入泰坦的任務排程隊列，等待泰坦的執行處理。 在泰坦上首先處理的六個專案分別是「S3D」、「WL-LSMS」、「Denovo」、「LAMMPS」、「CAM-SE」和「NRDF」： 「S3D」是一個研究燃燒模型的分子物理學專案，研究細顆粒周圍的燃燒的情形，以提升柴油和生物燃料的發動機的燃燒效率。2009年，泰坦的前身美洲虎，獲得了一個與烴類自燃火焰和直接燃油噴射柴油發動機燃燒效率提升相關的一個已完全解決的模擬過程； 「WL-LSMS」專案，模擬除絕對零度以外的各個溫度下，電子和原子在磁性物質中的相互作用，早前的一個處理程式源碼版本在美洲虎上首次獲得超過1petaFLOPS的運算效能； 「Denovo」專案，模擬核反應爐的運作情況，旨在提升核反應爐的能量轉換效率、降低能量損失。Denovo專案的運算程式在為泰坦進行源碼優化後，在傳統的以中央處理器為主的超級電腦上獲得比優化前快兩倍的效能，在泰坦上獲得比美洲虎快3.5倍的效能表現； 「LAMMPS」專案，全稱「Large-scale Atomic/Molecular Massively Parallel Simulator」（大尺寸原子/分子大規模平行模擬器），是一個關於分子動力學的研究計劃，模擬微粒從原子的尺度跨越至相對論的尺度的情形，以提高材料科學的水平以及其在半導體、原生質/生物材料、聚合物等方面的應用； 「CAM-SE」是兩個專案合併組成，分別是「Community Atmosphere Model」（群落大氣模型）和「High Order Method Modeling Environment」（高階方法建模環境），前者是一個全球大氣模型，後者則是求解流體和熱力學方程。這兩個專案共同協作可以以更高的精確度模擬氣候變化； 「NRDF」專案，全稱「Non-Equilibrium Radiation Diffusion」（非均勻放射性分佈）通過模擬並描繪超新星產生的非帶電粒子，來研究其在鐳射核融合、流體動力學、醫學成像、核子反應爐、能量存儲以及燃燒過程的研究等方面的潛在應用價值。 負責「NRDF」專案的梅瑟博士的研究需要數以百計的偏微分方程來追踪能量、角度、散射角以及在一顆恆星進入超新星階段時每種不同類型的中微子模擬，得出數百萬個單獨的方程。另外，一個名為「Chimera」（奇美拉/凱米拉）的程式碼，以神話中的生物奇美拉來命名之，乃它有三個「頭」：一個是仿真恆星物質（主要是其化學組成）的流體力學；第二個是模擬輻射轉移；第三個是模擬核燃燒（即熱核反應/核融合）。第三個「頭」首先由圖形處理器群運行處理，由於熱核反應的過程模擬最容易由圖形處理器的架構來處理，儘管其它方面的源碼也將及時進行適應性修改及優化目前，專案模擬了14或15種核素，但如果圖形處理器提供良好的加速，梅瑟博士預計，與經驗觀察相比，將有多達200種核素可以在更高的精度上被模擬出來。 「VERA」專案是一個輕水反應爐的仿真，在美洲虎超級電腦上的CASL（Consortium for Advanced Simulation of Light Water Reactors，聯合輕水反應爐進階仿真）編寫並運作。VERA允許工程師監視反應爐使用壽命裡反應爐核心任何部分的效能表現和狀態，以辨別找出有研究價值或改進反應爐設計等他們感興趣的研究點。儘管不是六個先鋒計劃中的一員，但VERA將會在CAAR的協助下進行充分優化並由泰坦的管理團隊進行測試後在泰坦上繼續運作。電腦科學家湯姆·埃文斯（Tom Evans）發現，相比於以往在傳統中央處理器為主的超級電腦之間进行程式碼適應性修改以及優化作業，為泰坦的混合架構修改及優化VERA的程式碼難度十分大。儘管如此，他們的目標是要將仿真整個反應爐燃料循環的时间，從以往需要18～36個月，在泰坦上縮短至只需一個星期。 2013年已經有三分之一的程式碼已計劃編譯並在泰坦上運行，典型情況下在一個時間段中會有多達四到五個專案間斷使用。 完整規格的「GK110」顯示核心/通用圖形處理器擁有2,880個流處理器（CUDA核心，以192個為一組SMX單元，共15組），因核心過於龐大（71億電晶體），台積電的28納米的「GK110」顯示核心的晶圓良品率不足而使NVIDIA決定先最少屏蔽192個流處理器（一組SMX單元）以減低複雜度，以提高晶圓良品率。詳見NVIDIA官方GK110的技術文件：[1] （页面存档备份，存于互联网档案馆），新聞報導[2] （页面存档备份，存于互联网档案馆）。而使用完整版本的顯示卡、運算卡則分別為GeForce GTX TITAN Black Edition、Quadro K6000以及Tesla K40X，詳見GeForce 700系列 Feldman, Michael. Titan Sets High Water Mark for GPU Supercomputing. HPC Wire. 2012-10-29 [2012-10-30]. （原始内容存档于2012-11-05）.  Lal Shimpi, Anand. Inside the Titan Supercomputer. Anandtech: 1. 2012-10-31 [2012-11-02]. （原始内容存档于2013-01-25）.  Oak Ridge Claims No. 1 Position on Latest TOP500 List with Titan. TOP500. 2012-11-12 [2012-11-15]. （原始内容存档于2013-01-21）.  Poeter, Damon. Cray's Titan Supercomputer for ORNL Could Be World's Fastest. PC Magazine. 2011-10-11 [2012-10-29]. （原始内容存档于2019-01-20）.  Tibken, Shara. Titan supercomputer debuts for open scientific research. CNET. 2012-10-29 [2012-10-29]. （原始内容存档于2012-12-15）.  Munger, Frank. Titan's ready to roll; ORNL supercomputer may become world's No. 1. Knox News. 2012-10-29 [2012-10-29]. （原始内容存档于2013-03-26）.  推土机＋开普勒超级计算机成功拿下世界第一 （页面存档备份，存于互联网档案馆） - 驅動之家，2012年11月13日 TITAN - Advancing the Era of Accelerated Computing. 橡树岭国家实验室. [2019-09-25]. （原始内容存档于2019-09-26）.  AMD技术的泰坦超算退役 推土机CPU最后的遗产再见了. 快科技. 2019-07-02 [2019-09-25]. （原始内容存档于2019-09-25）.  The Titan supercomputer is being decommissioned: a costly, time-consuming project. Network World. 2019-07-10 [2019-10-16]. （原始内容存档于2019-12-23）.  美國能源部斥資打造第二款Exascale等級的超級電腦. iThome. 2019-05-08 [2020-03-05]. （原始内容存档于2020-05-09）.  Feldman, Michael. GPUs Will Morph ORNL's Jaguar Into 20-Petaflop Titan. HPC Wire. 2011-10-11 [2012-10-29]. （原始内容存档于2012-07-27）.  Oak Ridge changes Jaguar's spots from CPUs to GPUs by Timothy Prickett Morgan, The Register Oct 11, 2011 [3] （页面存档备份，存于互联网档案馆） Jaguar: Oak ridge National Laboratory. TOP500. [2012-12-18]. （原始内容存档于2013-03-17）.  TOP500 List November 2011. TOP500. [2012-12-18]. （原始内容存档于2013-01-21）.  Discussing the ORNL Titan Supercomputer with ORNL’s Jack Wells.. The Exascale Report. November 2012 [2012-12-19]. （原始内容存档于2013-03-26）.  Bland, Buddy. Where do we go from here? (PDF). 2010-11-16 [2012-12-18]. （原始内容 (PDF)存档于2012-03-03）.  Morgan, Timothy Prickett. Oak Ridge goes gaga for Nvidia GPUs. 2009-10-01 [2012-12-19]. （原始内容存档于2012-11-09）.  Levy, Dawn. ORNL awards contract to Cray for Titan supercomputer. 橡樹嶺國家實驗室. 2011-10-11 [2012-12-19]. （原始内容存档于2013-02-26）.  Munger, Frank. Oak Ridge lab to add titanic supercomputer. Knox News. 2011-03-07 [2012-12-19]. （原始内容存档于2012-07-04）.  Brouner, Jennifer; McCorkle, Morgan; Pearce, Jim; Williams, Leo. ORNL Review Vol. 45 (PDF). 橡樹嶺國家實驗室. 2012 [2012-11-02]. （原始内容 (PDF)存档于2013-03-04）.  Titan: ORNL’s Next Step in Leadership Computing (PDF). Oak Ridge Computing Leadership Facility. [2013-06-21]. （原始内容存档 (PDF)于2013-02-24）.  Superfast Titan, Superfast Network. 橡樹嶺國家實驗室. 2012-12-17 [2012-12-18]. （原始内容存档于2013-03-26）.  搭載GK110 Kepler晶片NVIDIA TESLA K20平行運算卡發表 （页面存档备份，存于互联网档案馆） - Mobile01，2012年11月14日 NVIDIA Launches Tesla K20 & K20X: GK110 Arrives At Last （页面存档备份，存于互联网档案馆） - anandtech.com，2012年11月12日（美國東部時間） Jones, Gregory Scott. Final Upgrade Underway. Oak Ridge Leadership Computing Facility. 2012-09-17 [2012-11-16]. （原始内容存档于2013-03-26）.  Alexis Santos. Cray's Jaguar supercomputer upgraded with NVIDIA Tesla GPUs, renamed Titan. engadget. 2012-10-29 [2013-06-21]. （原始内容存档于2013-07-10）.  Munger, Frank. No. 1 Titan not yet living up to potential. Knox News. 2013-02-20 [2013-03-26]. （原始内容存档于2013-03-26）.  Huotari, John. Cray re-soldering Titan’s connectors, supercomputer testing could be done in April. Oak Ridge Today. 2013-03-13 [2013-03-26]. （原始内容存档于2013-03-26）.  Jones, Scott. Titan Users Now Have Access to GPUs. Oak Ridge Leadership Computing Facility. 2013-03-26 [2013-03-26]. （原始内容存档于2013-03-26）.  Huotari, John. Titan repairs complete, ORNL preparing for second round of supercomputer testing. Oak Ridge Today. 2013-04-08 [2013-04-08]. （原始内容存档于2013-04-08）.  Leo, Williams. Titan Completes Acceptance Testing. OLCF. 2013-06-12 [2013-06-26]. （原始内容存档于2013-06-26）.  Munger, Frank. The ORNL and NOAA relationship. Knox News. 2012-11-26 [2012-12-20]. （原始内容存档于2013-03-26）.  Munger, Frank. The cost of Titan. Knox News. 2012-11-18 [2012-12-20]. （原始内容存档于2013-03-26）.  推土机、开普勒联手打造最强超级计算机 （页面存档备份，存于互联网档案馆） - 驅動之家，2012年10月29日 Smith, Ryan. Nvidia's GeForce GTX Titan Review, Part 2: Titan's Performance Unveiled. Anandtech. 2013-02-21 [2013-03-26]. （原始内容存档于2013-02-23）.  GeForce GTX Titan. Nvidia. [2013-03-26]. （原始内容存档于2013-03-26）.  GeForce GTX TITAN Black. [2015-11-02]. （原始内容存档于2015-09-24）.  E-Zone. NVIDIA Titan Z首测：双芯卡皇 惨不忍睹. E-Zone. [2014-05-13]. （原始内容存档于2014-05-15）.  狂拽 新Titan矿机挖矿能力是290X的117倍. pcgames.com.cn. [2015-11-02]. （原始内容存档于2016-10-06）.  这就是吊丝的春天？看各款显卡挖矿测试. pconline.com.cn. [2015-11-02]. （原始内容存档于2016-03-04）.  6块GTX 750 Ti群殴GTX Titan：性能、价格完胜. expreview.com. [2015-11-02]. （原始内容存档于2016-03-04）.  Summit FAQs. ornl.gov. Oak Ridge National Laboratory. 2014-11-14 [2014-11-15]. （原始内容存档于2014-11-29）.  Introducing Titan. Oak Ridge Leadership Computing Facility. [2012-10-29]. （原始内容存档于2013-02-22）.  Heterogeneous Systems Re-Claim Green500 List Dominance. Green500. 2012-11-14 [2012-11-15]. （原始内容存档于2013-02-05）.  Bland, Buddy; Lal Shimpi, Anand. Oak Ridge National Laboratory Tour - Backup Power (Youtube). Anandtech. 2012-10-30 [2012-11-02]. （原始内容存档于2013-06-06）.  Bland, Buddy; Lal Shimpi, Anand. Oak Ridge National Laboratory Tour - Cooling Requirements (Youtube). Anandtech. 2012-10-30 [2012-11-02]. （原始内容存档于2013-06-06）.  Pavlus, John. Building Titan: The ‘world’s fastest’ supercomputer. BBC. 2012-10-29 [2013-01-08]. （原始内容存档于2013-01-30）.  Morgan, Timothy Prickett. Oak Ridge changes Jaguar's spots from CPUs to GPUs. The Register. 2011-10-11 [2013-06-20]. （原始内容存档于2012-10-15）.  ORNL Debuts Titan Supercomputer (PDF). Oak Ridge Leadership Computing Facility. [2012-10-29]. （原始内容存档 (PDF)于2013-02-26）.  Titan System Overview. Oak Ridge Leadership Computing Facility. [2012-12-21]. （原始内容存档于2013-03-26）.  GK110强势到来！Tesla K20X/K20正式发布 （页面存档备份，存于互联网档案馆） - 驅動之家 Lal Shimpi, Anand. Titan's storage array. Anandtech. 2012-10-31 [2012-12-18]. （原始内容存档于2013-06-01）.  TITAN OVERVIEW. Oak Ridge Leadership Computing Facility. [2012-12-18]. （原始内容存档于2013-02-18）.  Santos, Alexis. Titan supercomputer to be loaded with 'world's fastest' storage system. Engadget. 2013-04-16 [2013-04-16]. （原始内容存档于2013-04-16）.  Munger, Frank (January 1, 2013). "ORNL visualization lab gets $2.5M makeover, adds 3D" （页面存档备份，存于互联网档案馆）. Knox News. Retrieved January ,2013. Jones, Gregory Scott. ORNL Supercomputer Named World’s Most Powerful. 橡樹嶺國家實驗室. 2012-11-12 [2012-12-14]. （原始内容存档于2013-02-22）.  采用NVIDIA Tesla芯片的泰坦超级计算机运算能力全球称霸 （页面存档备份，存于互联网档案馆） - cnBeta.com，2012年11月12日 Williams, Leo. Titan is Also a Green Powerhouse. Oak Ridge Leadership Computing Facility. 2012-11-14 [2012-11-15]. （原始内容存档于2013-02-16）.  June 2013. TOP500. [2013-07-02]. （原始内容存档于2013-07-02）.  The Green500 List - June 2013. Green500. 2013-06-28 [2013-07-02]. （原始内容存档于2013-07-02）.  推土机＋开普勒的威力：海图尽览超级计算机“泰坦” （页面存档备份，存于互联网档案馆） - 驅動之家，2012年11月1日 TITAN: Built for Science (PDF). Oak Ridge Leadership Computing Facility. [2012-10-29]. （原始内容存档 (PDF)于2013-02-26）.  Williams, Leo. Preparing users for Titan. 橡樹嶺國家實驗室. [2012-11-19]. （原始内容存档于2013年3月1日）.  Rumsey, Jeremy. Titan Trainers Take Road Trip. Oak Ridge Computing Leadership Facility. 2012-12-17 [2012-12-18]. （原始内容存档于2013-03-26）.  10.Development Tools （页面存档备份，存于互联网档案馆） - Oak Ridge Leadership Computing Facility Compiling On Titan （页面存档备份，存于互联网档案馆） - Oak Ridge Leadership Computing Facility Lal Shimpi, Anand. Inside the Titan Supercomputer. Anandtech: 3. 2012-10-31 [2012-11-15]. （原始内容存档于2013-04-05）.  世界最快超级计算机泰坦每秒运算17千万亿次 （页面存档备份，存于互联网档案馆） - 新浪科技，2012年11月14日 NVIDIA 藉 CUDA 平行運算協助 Titan 奪下地表最快 HPC （页面存档备份，存于互联网档案馆） - cool3c.com，2012年11月14日 美国重夺超级计算机首位 中国“天河”降为第八 （页面存档备份，存于互联网档案馆） - 鳳凰軍事，2012年11月14日 Nuclear Energy – Supercomputer speeds path forward. Consortium for Advanced Simulation of LWRs. [2012-12-14]. （原始内容存档于2013-02-14）.  Zybin, Sergey. LAMMPS Molecular Dynamics Simulator. Sandia National Laboratories. [2012-10-29]. （原始内容存档于2006-09-22）.  Messer, Bronson. Using Titan to Model Supernovae (Youtube). Anandtech. 2012-10-30 [2012-11-15]. （原始内容存档于2013-07-26）.  Pearce, Jim. VERA analyzes nuclear reactor designs in unprecedented detail. 橡樹嶺國家實驗室. [2012-12-18]. （原始内容存档于2013年2月15日）.  2013 INCITE Awards (PDF). 美國能源部. [2013-01-17]. （原始内容 (PDF)存档于2013-03-26）.  维基共享资源中相关的多媒体资源：泰坦 (超級電腦) （英文）官方网站 （简体中文）推土机＋开普勒的威力：海图尽览超级计算机“泰坦” （页面存档备份，存于互联网档案馆）