原
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa版权协议,转载请附上原文出处链接和本声明。
热插拔是大家每天都有可能做的事情。比如,将一块U盘从PC中拔出,将一个鼠标从一台电脑换到另一台电脑。这些都是再平常不过的事情了。对于数据中心的运维人员来说,更换硬盘也是一件很频繁的事情。
NVMe SSD已经从实验阶段进入到大量业务部署时期,热插拔这个feature变得非常关键。最开始NVMe SSD只是以PCIe接口的形式出现,跟网卡一样放在背板的卡槽上固定,这种形态的NVMe还不适合热插拔。随着U.2接口(如下图)的推出,NVMe SSD可以直接如SATA/SAS硬盘一样放置在前面板,此时的NVMe SSD对热插拔的支持变得理所当然而且必须。
服务器厂商和SSD厂商也都非常支持U.2接口。如Dell的PowerEdge R730xd带有4个U.2盘位,超威甚至发布了24盘位的服务器。SSD方面,Memblaze等PCIe SSD厂商都已经开始推出对应的产品。
Memblaze的PBlaze4系列PCIe SSD,发布于2015年年中
当客户采用U.2的SSD前,会对其热插拔功能做评估。在实施过程中,由于测试人员对NVMe SSD不了解导致系统崩溃的事情时有发生;或者对如何测试NVMe SSD热插拔无从下手。那么这篇文章,就跟大家分享在NVMe SSD热插拔过程中需要注意的问题(Linux环境下)。
我们先来了解下SAS/SATA 和NVMe在硬件上的差别。对SAS和SATA比较熟悉的人知道,SAS和SATA设备通过控制器接入系统(如下图的SATA)。SAS和SATA设备的热插拔是由其控制器管理的。对于SAS来说,以常用的MegaRAID为例,其定义了一个热插拔event,当设备插入或者设备拔出时,MegaRAID会产生一个event并交由MegaRAID驱动处理。对于SATA而言,AHCI协议规定了控制器对热插拔的处理流程,并确定控制器必须在热插拔产生时触发一个中断,这样内核的AHCI驱动就可以在中断中处理热插拔事件。
NVMe SSD是不需要控制器的,NVMe直接连接到通用的PCIe Bus上(如下图),跟SAS/SATA控制器一个级别。NVMe SSD热插拔完全依赖于Host的PCIe处理机制。
因而,对于使用控制器的SAS和SATA硬盘来说,可以由控制器厂家进行测试并保证热插拔功能。但是NVMe SSD却依赖于Host端的PCIe的配合,PCIe由于其通用性,在支持NVMe SSD上没有SAS/SATA控制器那么完美。对于用户来说,需要认识到SAS/SATA和NVMe在这方面的不同之处。
省去了控制器的NVMe比SAS/SATA的热插拔要复杂的多。在进行热插拔测试之前,第一步就是要确认当前的系统是否支持热插拔。
1,确认SSD的支持
对于SSD,热插拔需要保证在插盘的过程中不会产生电流波峰而损坏器件;拔盘的时候,不会因为突然掉电而丢失数据。这个可以向SSD供应商确定或者查看产品规格书。
2,确认PCIe卡槽的支持
上面提到,NVMe是直接连接到PCIe Bus上的,U.2接口也是直接跟PCIe相连(当判断插入的设备为NVMe SSD时)。某些U.2接口内部连接的PCIe卡槽并不支持热插拔。PCIe Spec规定了热插拔寄存器。下图(通过lspci -vvv获取)显示了一个PCIe卡槽的Capabilities寄存器信息。其中LnkSta,SltCap,SltCtl和SltSta 4个部分在热插拔过程中比较有用(具体意义请参考PCIe Spec)。HotPlug和Surprise是最基础的判断热插拔的标志位。SltSta中有一个PresDet位指示当前是否有PCIe设备插入卡槽。