标题：曙光5000
应用
曙光5000A已成功运行证券指数计算、电力安全评估、建筑工程抗震性评估、天气预报、石油地震资料处理、核能开发利用、汽车碰撞、电磁辐射、计算流体力学、基因匹配与拼接、蛋白质结构分析和材料科学等领域的20多项应用。面向国民经济建设和社会发展的重大需求的网格超级服务器，曙光5000A适用于各种大规模科学工程计算、商务计算。在大规模科学工程计算方面，可以担纲电力电网安全评估、汽车碰撞、电磁辐射、石油勘探开发、气象预报、核能与水电开发利用、各类航天器及飞机汽车舰船设计模拟、各类大型建筑工程安全性评估、生物信息处理等重任，在大规模商务计算方面，它可以为证券、税务、银行、邮政、社会保险等行业和电子政务、电子商务等提供服务。在大规模信息服务方面，它可以在各类游戏网站、门户网站、信息中心、数据中心、流媒体中心、电信交换中心和大型企业信息中心中发挥作用。对基于海量存储的数据大集中应用，完全兼容32位计算的具有64位地址空间的曙光5000A网格超级服务器更可大显身手。
同时曙光 5000A还可以广泛的应用于信息服务，电子政务，网络游戏等商业应用。在这些领域，曙光5000A可以广泛作为Web服务器，应用服务器，数据库服务器。
曙光5000A可以在1秒钟内是实时完成10000个5000万瓦以上的并网发电机组，和22万伏变电站构成的全国电网的电力安全评估，为避免类似美加大停电的电力故障提供决策支持，保证供电系统的稳定。
曙光5000A可以在30秒内完成上海证交所10年的1000多支股票交易信息的200种证券指数的计算，能够实时提供金融衍生产品。
曙光5000A可以在3分钟内，可以同时完成4次36小时的中国周边、北方大部、北京周边、北京市的2008年奥运会需要的气象预报计算，包括风向、风速、温度、湿度等，精度1公里，即精确到每个奥运会场馆。
曙光5000A可以在6分钟内，可以同时完成20次上海黄浦江过江隧道三维结构的地震数值分析的计算，能够精细评估隧道的抗震性能。
曙光5000A系统峰值运算速度达到每秒230万亿次浮点运算（230TFLOPS），LINPACK运算速度超过每秒160万亿次浮点运算，是目前国内速度最快的商用高性能计算机系统。曙光5000A使中国成为继美国之后第二个能制造和应用超百万亿次商用高性能计算机的国家，也表明我国生产、应用、维护高性能计算机的能力达到世界先进水平。该系统在大规模机群计算和网格使能技术方面有所突破，形成了鲜明的技术特色，将我国通用高性能计算机系统的研制水平提升到一个新高度。
技术突破
（1）突破230万亿次峰值运算能力
曙光5000A采用国际高性能计算机主流的机群结构，整个系统规模达到1650个节点，每个节点为4CPU的4核SMP系统，采用AMD Barcelona 2.0GHz处理器，峰值运算速度为230TFLOPS。整个系统通过两套网络互连，包括Infiniband、千兆以太网。系统的主要配置如下：
230T FLOPS峰值运算速度
6600个CPU
1650个结点
100TB内存
700TB存储
两套互联网络
曙光Gridview机群软件
（2）高密度
对于大规模高性能计算机系统而言，如何提高系统密度并降低功耗是研制人员面临的关键问题之一。为提高曙光5000A的系统密度，中科院计算所联合曙光公司，研制了具有自主知识产权的4CPU 4核高密度刀片主板和基于该主板的世界上第一款7U高度的10片4路4核64位CPU的工业标准刀片服务器。该刀片服务器可以实现单机箱40CPU，160核的超高计算密度，并实现了单节点内部的并行计算。
（3）全自主
中科院计算所联合曙光公司自主设计了包括主板，体系结构，刀片服务器，刀片机箱系统，网络交换系统，水冷散热系统在内的全部系统。曙光5000A的设计也完全符合中国刀片服务器标准。在自主创新的研制过程中，曙光在业界实现多个第一： 
首次实现了4路16和的高密度刀片系统，
首次实现了单刀片机箱40克CPU的高密度机箱设计，
首次实现了基于DDR的Infiniband的交换结构，实现了20GB高速互联和小于1.3us的低延迟。
首次采用了水冷散热系统，降低了高性能计算机对机房系统的要求，降低了系统功耗。
（4）高效能
由于采用高密度服务器，曙光5000A能大约75平方米的占地面积内聚集230万亿次的计算能力，而其满负载运行时不带水冷系统功耗只有700千瓦，代水冷系统的功耗仅为1000千瓦。这一方面提高了机群系统的可扩展性，另一方面降低了整个系统地运行成本。
（5）高速互联
曙光5000A采用基于DDR的 Infiniband高速网络实现计算网络和存储网络合一。实现了20GB的节点间传输速度，实现业界最快的小于1.3us延时。
（6）应用广泛
曙光5000A不仅可以应用于高性能计算，还可以应用于信息服务，电子政务，网络游戏等常见商业应用。
在高性能计算领域，曙光5000A可广泛运行证券指数计算、电力安全评估、建筑工程抗震性评估、天气预报、石油地震资料处理、核能开发利用、汽车碰撞、电磁辐射、计算流体力学、基因匹配与拼接、蛋白质结构分析和材料科学等20多个应用领域。
在商业应用方面，由于曙光5000A使用Suse Linux 和 WCCS ，可广泛运行目前Linux和Windows下的主流的行业软件。
（7）节能
曙光积极响应世界环保组织节能减排得号召，在曙光5000A中采用了多项节能措施，使曙光5000A在满负载运行时不带水冷系统功耗仅700千瓦，带水冷系统的功耗仅为1000千瓦。
采用了低功耗的CPU，每年节电55万度
采用了低功耗的内存，每年节电5万度
采用了刀片结构，电源效率优化，每年节电100万度
采用了水冷散热体系，每年节电200万度
采用了曙光自主研发的自适应功耗管理软件， 每年节电200万度
（8）高效冷却系统
曙光5000A首次采用了水冷系统，通过使用水冷系统，降低了高性能计算系统对客户机房的要求，同时提高了冷却效率。水冷系统的设计实现了水电分离，保证了系统的安全性。同时水冷系统还包括备份的被动散热系统，可以在水冷失效的情况下保证系统的正常运行，提高了系统的稳定性。
（9）高性价比
通过选择AMD Barcelona和自行研制的主板，曙光5000A的价格优势更是十分显著，是新型信息化思路的产物，能大幅降低高性能计算机的成本，使曙光5000A具有很好的性能价格比。
在曙光5000A的研制过程中，曙光公司延续了以往艰苦奋斗的精神，使得曙光5000A具有极高的性能价格比。实现230万亿次的计算速度的曙光5000A总造价约2亿元。
（10）自主创新的管理软件
在大型机研制过程中，曙光不仅追求最快，同时也在系统管理方面最求完美。曙光5000A中，曙光自主开发了Grid View集群管理管理系统。曙光新一代Gridview大型机综合管理系统提供统一的集中式监控平台，具备可扩展性、集成性、可靠性和易用性，提供对各种商用、自己研发的管理工具的集成接口，包括直接以Portal的方式集成和抽取各已有管理工具的监控数据以便上层平台能够分析利用，从而满足同时对分布式广域局域网高效能百万亿次可扩展计算机的环境、硬件、软件等各方面进行监控的需求。曙光Gridview大型机综合管理系统具有高可靠性，具有一定容错性和健壮性，使得当部署运行环境等发生异常时系统能够运行在可控的范围内，并进行准确的异常定位提示。系统具有易用性，提供简单灵活的系统部署，人性化的界面和功能设计，方便最终用户的使用，包括灵活方便的个性化设置、多样的内容展现形式。管理系统同时提供个性化、自定义报表输出功能。曙光新一代GridView可有效解决大型机管理的复杂性问题，保障了管理的扩展性、可靠性、自主性和贴近应用需求。
Grid View管理系统不仅适用于曙光5000大型群集系统，也是用于全系列的曙光服务器。
（11）与国际厂商AMD、微软战略合作意义重大
通过曙光5000A项目，计算所、曙光公司与AMD公司进一步加强了战略合作关系。采用AMD Barcelona处理器，使中国用户能更早地、更廉价地、更容易地得到64位计算能力；同时引入充分竞争，为中国用户带来更多的技术选择，更大的价格利益，并从国家利益的高度有利于改善中国计算机产业的格局。
通过曙光5000A项目，曙光公司与微软公司建立了战略合作关系。采用微软的WCCS服务器，提供了用户的管理友好性，同时也让曙光5000A可以运行Windows下的大量行业软件。
技术指标
1.高性能
1.1 上海超算的曙光5000的交付性能为200T,调试时230T
1.2 Linpack值150-160T,linpack效率70%以上
2.全自主
2.1 曙光自主设计了主板，体系结构，刀片服务器，刀片机箱系统，网络交换系统，水冷散热系统等，除了CPU及infiniband主芯片及操作系统外，曙光5000全部由曙光独立自主设计
2.2 首次采用了4路16核的高密度刀片系统
2.3 首次采用了单机箱40颗CPU的高密度机箱设计
2.4 首次采用了DDR Infiniband 的交换结构
2.5 首次采用了水冷散热系统
2.6 首次采用了基于DDR Infiniband的存储系统
3. 高效能
3.1 单机柜性能7.5万亿次
3.2 单机柜耗电20KW
3.3 百万亿次计算仅需要约14个机柜,占地约15M2,
4.高密度
4.1 计算节点 16核SMP
4.2 胖节点 32核SMP
4.3 单核心可用内存128G
4.4 实现了7U10片的高密度刀片系统
4.5 实现了7U40个CPU的高密度刀片系统
4.6 实现了7U160核的高密度刀片系统
4.7 实现了单节点内的多路并行
5. 高速互联
5.1 采用DDR Infiniband实现计算网络和存储网络合一
5.2 DDR Infiniband实现业界最快的1.3us延时
5.3 使用Infiniband快速以太网和千兆以太网
6. 应用广泛
6.1 应用广泛，可广泛运行证券指数计算、电力安全评估、建筑工程抗震性评估、天气预报、石油地震资料处理、核能开发利用、汽车碰撞、电磁辐射、计算流体力学、基因匹配与拼接、蛋白质结构分析和材料科学等领域的20多项应用。
6.2 使用Suse Linux 和 WCCS ，可运行目前主流的行业软件
7.节能
7.1 采用了低功耗的CPU，每年节电55万度
7.2 采用了低功耗的内存，每年节电5万度
7.3 采用了刀片结构，电源效率优化，每年节电100万度
7.4 采用了水冷散热体系，每年节电200万度
7.5 系统在230T的全功率运行时，总耗电，不含空调700W，含空调1MW
8. 高性价比
8. 1230万亿次，总造价约2亿元。
9. 高效冷却系统
9.1 水冷系统的采用，降低了客户的机房空调要求
9.2 水冷系统的使用，具有较好的冷却效率
9.3 水冷系统实现了水电分离，保证了系统的安全性
9.4 冷却系统包括备份的被动散热系统，可在水冷失效时保证系统正常运行
10. 自主创新的管理软件
10.1 自主创新的Grid View管理系统
10.2 Grid View管理系统不仅适用于曙光5000大型群集系统，也是用于全系列的曙光服务器
11. 符合标准的设计
11.1 服务器符合服务器刀片标准
高效能超级计算机
高效能计算机的主要用途有两种，一种是以最快的计算速度解决某个领域的科学问题，如IBM的BlueGene主要适用于解决蛋白质折叠计算；另一种是用于计算中心或数据中心的能力服务，即能有效地提供大量用户需要的计算、存储和I/O能力。迄今为止，全世界还没有一种高效能超级计算机能较好地满足这两方面的要求。这是因为不同的应用需要不同的体系结构。
超级计算机通常是指由数百数千甚至更多的处理器（机）组成的、能计算普通PC机和服务器不能完成的大型复杂课题的计算机。为了帮助大家更好的理解超级计算机的运算速度我们把普通计算机的运算速度比做成人的走路速度，那么超级计算机就达到了火箭的速度。在这样的运算速度前提下，人们可以通过数值模拟来预测和解释以前无法实验的自然现象。 
随着超级计算机运算速度的迅猛发展，它也被越来越多的应用在工业、科研和学术等领域。我国现阶段超级计算机拥有量为22台（中国内地19台，香港1台，台湾2台），居世界第5位，就拥有量和运算速度在世界上处于领先地位，但就超级计算机的应用领域来说我们和发达国家美国、德国等国家还有较大差距。如何利用超级计算机来为我们的工业、科研和学术等领域服务已经成为我们今后研究发展的一个重要课题。超级计算机是一个国家科研实力的体现，它对国家安全，经济和社会发展具有举足轻重的意义。我国超级计算机及其应用的发展为我国走科技强国之路提供了坚实的基础和保证。
创新
曙光5000方案中的创新点很多，现简要描述以下三点。
1、在世界上首次提出既能应对千万亿次科学计算又能十分有效地支持能力计算(utility computing)、应用面广的HPP体系结构(Hyper Parallel ProCESsing)。
高效能超级计算机的主要用途有两种，一种是以最快的计算速度解决某个领域的科学问题，如IBM的BlueGene主要适用于解决蛋白质折叠计算；另一种是用于计算中心或数据中心的能力服务，即能有效地提供大量用户需要的计算、存储和I/O能力。迄今为止，全世界还没有一种高效能超级计算机能较好地满足这两方面的要求。这是因为不同的应用需要不同的体系结构。
国外已有和正在研制的高效能超级计算机的体系结构的基本思路主要是大规模并行机(MPP)、机群(Cluster & Constellation)和分布式共享存储(NUMA)三种，不管采用哪一种都有局限性。曙光5000准备采用的HPP体系结构是计算所、曙光公司和多位国外著名学者反复研讨后提出的一种标新立异的结构。HPP是具有全局地址空间和三级并行的分布式系统，即片内是可扩展通用多处理器核并具有寄存器传输级通信机制；通过三层高速互联实现片内、节点内、系统三级并行；具有全局共享地址空间，通过节点内和节点间两级互连构成分布式系统；支持多通道并发的核到核通信；节点操作系统具有单一系统映像，并保持节点独立性；有效支持“多线程分割全局地址空间”编程模型。
通过实现以上独创技术，可以得到以下前所未有的好处：
(1)基于HPP体系结构，可通过虚拟化技术使曙光5000体现不同体系结构的优点，从应用的角度看，它既可以是MPP，也可以是Cluster或NUMA结构的计算机系统，显著地扩大了应用范围；
(2)曙光5000能有效地支持能力计算这一计算中心和大企业需要的新型计算模式，能根据用户的需求动态地调度和优化利用计算机资源；
(3)曙光5000缓解了大规模可扩展和编程困难的矛盾，既增强了高效能计算机的可扩展性，又实现了全局共享地址空间，一定程度上克服了目前的分布式机群系统编程难的瓶颈，而且使目前商用机群上的大量应用软件可以兼容运行；
(4)目前IBM BlueGene、Cray XT4、NEC ES等高端计算机技术下移至中低端系统时缺乏竞争力，而通过采用HPP体系结构，不但千万亿次计算机具有极高的性能价格比和性能功耗比，而且向下辐射做百万亿次甚至几万亿次计算机时都有很强的竞争力，十分有利于产业化。以上这些创新点国际上千万亿次计算机研制中还没有看到，如果这些设计都能得到有效实现，曙光5000很有可能在一些方面处于世界领先水平。
2、创新的设计主要体现在三款核心芯片上，曙光5000具有(百)千万亿次计算机的实实在在的自主知识产权。
从曙光一号到曙光4000，计算所和曙光公司在高效能超级计算机的研制过程中，曾设计、流片过Wormhole Routing等关键芯片，但基本上没有量产。目前大量销售的曙光高性能计算机的各种芯片几乎都是进口的，CPU等芯片占到高端计算机成本的80%以上。曙光5000与过去我们研制的高端计算机的重要区别是，(百)千万亿次计算机的三款核心芯片都将由计算所和曙光公司自己设计。
这三款核心芯片是：龙芯多核CPU，连接一块板上多个CPU的系统控制器(System Controller)，和连接各节点的交换芯片(Switch)。这三款核心芯片难度都很大。如果能按计划如期完成，我们可以十分自信地宣布，中国已完全掌握了高效能超级计算机设计的核心技术。
在我们的研制计划中，这些芯片不是仿制国外的芯片，必须要按照HPP体系结构的要求独立设计，包含许多原始创新：例如：我们争取在世界上首次实现CPU内多核之间的寄存器级(RTL)数据传输机制，使得CPU内通信速度有可能超过计算速度，从根本上消除通信瓶颈；系统控制器和交换芯片中内置可直接寻址的Test & Set硬件锁，可显著提高进程间同步的效率，硬件“同步”也会大大提高并行应用同步的效率；利用全局地址空间实现“赋值”式通信，降低CPU中核与核之间的通信延迟；利用多层网络提高了多核与多核之间并发数据交换的聚合带宽和吞吐率，打破通信壁垒等等。
必须指出，研制(百)千万亿次计算机在工程实现上难度很大，不同于一般的科研课题。曙光5000必须解决一系列世界性难题：如千万亿次计算机的全系统模拟器；高频数字模拟混合、光电混合信号；多核心(Kernel)操作系统容忍单个处理器故障，能够支持节点之间的隔离性；对消息传递机制和全局地址空间两种并行计算模式同时提供有效支持；上千个客户端在多用户并发访问模式下保持稳定的I/O性能；改造现有算法并利用并行编译技术使应用与千万亿次计算机的体系结构相适应，以达到数万个处理器的可扩展性等等。这些都是国际学术界和企业共同面对的难点。我国在工程技术上与国外还有较大的差距，掌握这些技术还需要我们付出艰苦的努力。
3、曙光5000创新技术还体现在低成本、低功耗和低占地面积方面，曙光5000在单位性能的成本、功耗和占地面积上的目标是瞄准世界领先水平。
龙芯多核CPU在可扩展多核结构、多指令集支持以及在低成本和低功耗的基础上获得高效能等方面有独特的优势。如果全部采用龙芯多核CPU，曙光5000在成本上将有极大的优势。即使只采用一半龙芯多核CPU，另一半用国外CPU芯片(曙光5000的体系结构具有很大的灵活性，也可以支持其他主流CPU，不限于龙芯CPU)，成本上也有较大优势，比国外正在研制的千万亿次计算机成本要低得多。
曙光5000计划分两期进行，在2008年通过一台百万亿次曙光5000A系统、一台数万亿次原型机、一个模拟器分别验证曙光5000在软件、硬件、体系结构上的创新，在2010年推出千万亿次曙光5000L系统。
曙光5000在满足国家千万亿次高效能计算机的战略需求的同时，还要将关键技术辐射到企业服务器、个人高效能计算机(万亿次)、箱式高效能计算机(十万亿次)、可扩展高效能计算机(百万亿次)等多种产品形态，到“十一五”末高效能计算机平均每万亿次的硬件成本要比曙光4000A时降低30倍，使得国产品牌高效能计算机的销售量增加8-10倍，达到每年4000台以上，大大提高国内品牌高效能计算机的市场竞争力，有力地促进高效能计算机在中国的普及。