标题：深腾7000
简介
2008年12月4日联想集团对外宣布，联想已经成功研制出每秒实际性能超过百万亿次的高性能计算机“深腾7000”，“深腾7000”也由此成为入选该排行榜的第五台联想“深腾”系列高端超级计算机，它将落户中国科学院用于搭建网格计算平台。深腾7000全球排名第19位，低于曙光公司的“魔方”(曙光5000A)的第十位。
据介绍，联想“深腾7000”是世界上规模最大的一个结点无盘启动的机群系统，成功实现了基于1428个无盘结点的机群系统。同时，它也是世界上第一个实现了对所有硬件部件统一管理和监控功能的机群系统，实现了对机群系统内数千个计算、互连、存储等硬件部件的统一管理和监控。
“深腾7000”是国内第一个实际性能突破每秒百万亿次的异构机群系统，成功实现了1240个2路薄结点和140个4路厚结点的协同计算，实际Linpack性能突破每秒106.5万亿次，并在国内第一个实现了PB级别的三级结构海量存储系统的机群系统，成功实现了三级结构海量存储系统，在线、近线、离线存储容量超过PB级。
4日中午，联想集团与中科院网络信息中心签署了战略合作协议。联想深腾7000将落户中科院，成为国家网格主结点的关键设备。联想与中科院网络信息中心将共同投资，搭建异构体系的公共商用计算平台，为科研、企业用户提供公共商用计算平台。[1]
系统组成
一、 主要指标深腾7000百万亿次高性能计算机是混合结构的高性能计算集群
主要指标如下：
系统全部采用64位高性能处理器。
整机共包括3208个Intel Xeon四核处理器，384个Intel Itanium2双核处理器，共13600个CPU核心。
用于计算的处理器核心共12320个，理论性能为142Tflops(所有节点的总性能为158Tflops)。
系统内存总量为66TB，其中计算部分内存总量约60TB。
系统内部采用4x DDR infiniband连接，点对点理论带宽2GB/s（实测MPI点对点带宽1.51GB），延迟<3μs(实测MPI点对点延迟<1.5μs)。
系统的外部存储容量约1410TB，包括354TB的全光纤磁盘阵列、1PB容量的磁带库、64TB容量的虚拟带库。配备了数据迁移系统与数据备份软件，保障了数据的高效管理、使用与安全。
采用Linux操作系统、LSF HPC7.0作业管理系统。
使用四种高性能文件系统：Lustre、SNFS、IBM GPFS(厚节点专用)、SGI CXFS(胖节点专用)。
以下是各部分的具体配置与性能指标。
二、 刀片节点深腾7000共配有1288台IBM HS21SM刀片服务器，其中计算刀片节点1140个（采用无盘方案），IO节点120个，网络启动服务器12个，管理、登录等服务节点共16个。刀片节点的单机配置如下：
配置2个Intel XeonE5450四核处理器（3.0GHz，L1：32KB+32KB, L2：2x6MB，4条浮点流水线，单核心性能为12Gflops,单CPU性能为48Gflops，TDP为80W)。
内存32GB。
配备4x DDR infiniband 网卡（HCA）。
配备千兆以太网卡。
IO节点、启动节点等配备4Gbps光纤卡（HBA）。
所有刀片节点总性能为123.6Tflops，总内存41.2TB；其中计算刀片的总性能为109Tflops，总内存36.5TB。
三、 厚节点深腾7000系统中的厚节点采用IBM X3950M2服务器，共38台，总性能28Tflops，总内存19TB。其单机配置为:
NUMA结构，节点内采用IBM专用网络连接。
配置16个Intel Xeon 四核处理器（2.93GHz，L1：32KB+32KB，L2 9MB，具体型号不详，TDP 120W？），共64个CPU核心。
内存512GB。
配备4x DDR infiniband 网卡（HCA）,每节点4块。
配备千兆以太网卡。
四、 胖节点深腾7000的胖节点采用SGI Altix4700，使用Intel Itanium2处理器，总性能5Tflops，内存总量5TB，具体配置如下：
包括2个计算节点、1个头节点、2个文件服务节点。
* 胖节点（计算节点），节点采用NUMA结构，配置94个双路刀片模块，共188颗处理器，376个CPU核心，共享内存约2.5TB，主要用于批处理作业计算。
* 头节点，由1台胖节点通过逻辑分区实现，用于用户登录、编译与调试程序、提交作业。头节点配置4个双路刀片，共16个CPU核心，64GB内存
* 文件服务节点，由1台SGI Altix450通过逻辑分区功能成为2台CXFS文件系统器使用，用户不可直接访问。
共384颗Intel Itanium2双核处理器。
* 型号9140M, 1.66GHz主频，666MHz总线。
* L1 Cache: 16KB（Data)+16KB(指令)，L2 Cache: 256KB(Data)+1MB(指令)，L3 Cache: 18MB。
* TDP 104W。
系统浮点峰值5Tflops。
内存总量5TB。
互连网络。
* 节点内采用NUMALink互连（双向带宽6.4GB/s，延迟1us)。
* 节点间采用千兆以太网互连，用于管理、NFS文件系统。
* 节点间采用2条20Gbps的Infiniband互连。
五、 可视化节点深腾7000共配有12台可视化节点，配有高性能图形显示卡与商业可视化软件，用于用户计算结果的可视化处理。其单机配置如下：
采用3U机架式服务器。
配置2个Intel XeonE5450四核处理器。
内存32GB。
配备4x DDR infiniband 网卡（HCA）。
配备千兆以太网卡。
配备Nvdia 9800GTS显卡。
六、 网络系统深腾7000的内部网络分为三种：
系统网络：采用4x DDR Infiniband高速网络系统实现节点间通讯，主要用于节点间通讯与高性能文件系统。
管理网络：使用全千兆高性能以太网交换机Foundry RX16，用于系统管理、部分文件系统数据传输。
存储网络：全光纤结构，2台256口(4Gbkps)光纤交换机Brocade Silkworm48000，实现IO节点与磁盘阵列等存储设备的连接。
七、 存储系统深腾7000的存储系统包括以下几部分：
磁盘阵列系统，采用光纤/SAS盘阵。
* 2台HDS USPv高性能磁盘阵列，总的裸容量354TB。
* 聚合I/O带宽≥50GB/s
* 使用光纤方式与主机连接，支持数据链路冗余功能
* 采用冗余电源供电，电源、风扇、控制器及硬盘等部件
可带电插拔更换，无需关机
虚拟磁带库系统Quantum DX100
* 利用SATA磁盘阵列模拟磁带库，提高数据备份的性能
* 裸容量64TB
磁带库系统
* 用于数据备份及数据的长期保存，提高盘阵空间使用效率
* 使用2套ADIC i2000智能带库，总不压缩容量1PB
* 使用LTO4磁带，不压缩容量800GB/盘
* 配有8台磁带驱动器，聚合I/O吞吐率≥800MB/s（不压缩方式）
* 磁带库采用光纤方式与主机连接，支持数据链路冗余功能
* 电源、磁带驱动器等部件可热插拔，更换这些部件不需关机。
磁带库内部关键部件采用冗余电源供电。[2]
联想与中科院合作意义
联想集团高级副总裁，大中华和俄罗斯区总裁陈绍鹏表示，联想与中科院网络中心的战略合作，将使全国数百个科研院所和机构可以用最低的成本共享高性能计算、服务和存储资源，这种高端计算模式的突破，将进一步提高我国商用计算的能力，在更高层面满足商用客户的“CEMS”需求。
“CEMS理念”是联想首次推出面向商用技术发展的理念，即在公共计算、企业计算和个人计算三大领域，不断提供品质卓越的产品和服务，满足用户对成本、效率、管理和安全的需求。据陈绍鹏介绍，在当前的全球经济形式下，联想力图让IT效能最大化，让客户的每一分投入都有产出。联想提出了商用技术的核心理念——CEMS，即Cost成本、Efficiency效率、Management管理、Security安全，它不仅代表了客户对商用技术的根本需求，也是联想商用技术持续发展的源动力。随着商用计算的不断发展，以“CEMS理念”为核心的商用技术将以更优化的运营、更卓越的产品为客户创造更大的价值。
联想集团副总裁魏江雷表示，“深腾7000”的研制成功是搭建联想新一代公共商用计算平台的重要一步。
据其介绍，公共商用计算平台采用了创新的高性能异构体系架构，通过负载均衡、集成管理、自动部署等自主研发的核心技术，突破了传统高性能计算平台的应用限制，通过包含多种不同架构服务器节点，从而满足用户多样化的应用需求，既能支持大规模科学计算，也能支持大规模商业运算，“深腾7000”的研制成功即是搭建该平台的重要一步。 
魏江雷同时表示，联想将通过与政府及中科院网络中心等大型科研机构的战略合作，引入专业运维服务团队，共同投资，搭建异构体系的公共商用计算平台，为科研、企业用户提供低成本，高效能、易管理、高安全的公共商用计算平台。
中科院网络中心主任黄向阳则表示，与联想集团的战略合作，是网络中心在信息化大潮中加速发展的一次重要契机，网络中心将通过科研信息化支撑平台的建设和发展，承载服务科研信息化和管理信息化的重任，为国家科技创新能力的提升和社会经济的创新发展做出积极的探索和有益的贡献。
此次联想集团与中科院网络中心的“强强联合”，是双方继百万亿次高效能计算机项目之后，在高性能计算领域合作的进一步深化和延展。业界人士认为，联想与中科院网络中心的“联姻”，是我国信息化基础设施服务领域优势资源整合、资源利用效率提高的充分体现，是高端计算模式的突破和创新。
深腾 7000 百万亿次机采用混合结构的高性能计算集群架构，由采用 Intel Xeon 处理器的集群部分与采用 Intel Itanium2 处理器的胖节点部分组成，适于不同的应用计算。但要注意的是，这两部分节点的程序二进制代码不兼容。集群部分包括认证 服务器、前端机 、管理节点、登 陆节点、启动节 点、I/O 节点、备份节点和计算节点。其中，计算节点包括刀片和厚节点，配置如下： 
 1140 个普通（刀片）节点，每个刀片配置两颗四核 Xeon 处理器 E5450， 
主频 3.00GHz，32GB 内存； 
 38 个厚节点，IBM X3950M2 服务器，每个厚节点配置 16 颗四核 Xeon 处 
理器 X7350，主频 2.93GHz，512GB 内存； 
 12 个可视化节点（采用机架式服务器），2 颗 Intel Xeon E5450，32GB 
内存，Nvidia 9800GTS 显卡； 
其它节点配置与计算刀片相同，包括 2 个认 证服务器、2 个前端机、2 
个管理节点、8 个登录节点、12 个启动节点、120 个 IO 节点、2 个备份 
节点； 
 操作系统：Red Hat Enterprise Linux Server release 5.1，Linux kernel 
2.6.18-53.el5。 
胖节点采用 2 套 SGI Altix4700，使用 Intel Itanium2 处理器，可向下兼 
容深腾 6800 目标代码（可直接运行深腾 6800 环境中的部分应用程序，MPI 程序）， 
其配置如下： 
 系统组成 
 包括 2 个计算节点、1 个头节点、2 个文件服务节点 
◆ 胖节点（计算节点），节点采用 NUMA 结构，配置 94 个双路刀片 
模块，共 188 颗处理器，376 个 CPU 核心，共享内存约 2.5TB， 
主要用于批处理作业计算； 
◆ 头节点，由 1 台胖节点通过逻辑分区实现，用于用户登录、编译 
与调试程序、提交作业。头节点配置 4 个双路刀片，共 16 个 CPU 
核心，64GB 内存。 
◆ 文件服务节点，由 1 台 SGI Altix450 通过逻辑分区功能成为 2 
台 CXFS 文件系统器使用，用户不可直接访问。 
 共 384 颗 Intel Itanium2 双核处理器 
◆ 型号 9140M, 1.66GHz 主频，666MHz 总线， 
◆ L1 Cache: 16KB（Data)+16KB(指令)，L2 Cache: 256KB(Data) 
+1MB(指令)，L3 Cache: 18MB 
◆ TDP 104W 
 系统浮点峰值 5Tflops 
 内存总量 5TB 
 互连网络 
 节点内采用 NUMALink 互连（双向带宽 6.4GB/s，延迟 1us)； 节点间采用千兆以太网互连，用于管理、NFS 文件系统； 
计算节点间采用 2 条 20Gbps 的 Infiniband 互连。 
操作系统 
 采用 SUSE Linux 10SP2，内核版本为 2.6.16.60-0.21.default； 
其它： 
 系统网络：节点间采用千兆以太网与 20Gbps 的 Infiniband 实现互连； 
 作业管理系统，LSF HPC 7.0。 
 全局共享文件系统 
 用户$HOME 目录：/home_soft/home 采用 SNFS 文件系统； 
 软件安装目录：/home_soft/soft 采用 SNFS 文件系统； 
/work：采用 SNFS 文件系统，是/datastore 目录的链接； 
 /luster：用户工作空间，使用 Lustre 文件系统； 
 /datastore/userdata 目录：用户重要数据存放空间，采用 SNFS 文 
件系统，数据定期向磁带库迁移。 
 /datastore/workspace 目录：用户临时工作目录，采用 SNFS 文件 
系统。 
 胖节点专用工作空间(仅胖节点可见)：/workspace 采用 SGI CXFS 共享 
文件系统。 
厚节点专用工作空间（仅厚节点可见）：/gpfs1、/gpfs2，采用 IBM GPFS 
文件系统。