human: 如何处理七牛云的云主机Linux实例磁盘空间满和inode满的问题排查方法

gpt: [云主机](https://developer.qiniu.com/qvm) > 常见问题 > 磁盘/CPU/内存/带宽
>Linux实例磁盘空间满和inode满的问题排查方法

#  Linux实例磁盘空间满和inode满的问题排查方法

最近更新时间: 2020-08-13 19:24:27

> **免责声明：**
> 本文可能由社区贡献或涉及第三方产品信息，建议您访问社区或第三方产品的官方网站获取帮助与支持。第三方产品不在七牛云售后支持范围。本文仅供参考，七牛云不做任何暗示或其他形式的承诺。

# 问题描述

在Linux系统的云服务器QVM实例内创建文件时，出现类似如下空间不足的提示。

    
    
    No space left on device …

# 问题原因

导致该问题的可能原因如下所示：

  * 磁盘分区空间使用率达到百分之百。
  * 磁盘分区inode使用率达到百分之百。
  * 存在僵尸文件。

> **说明** ：已删除文件因句柄被占用未释放，导致相应空间未释放的文件。

  * 挂载点覆盖。

> **说明** ：在原有文件系统的相应目录下已经存在大量文件。挂载新磁盘后，导致使用`df`命令能统计到相关空间使用，而使用`su`命令统计不到。

# 解决方案

> 七牛云提醒您：
>
>   * 如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。
>   * 如果您对实例（包括但不限于QVM、RDS）等进行配置与数据修改，建议提前创建快照或开启RDS日志备份等功能。
>   * 如果您在七牛云平台授权或者提交过登录账号、密码等安全信息，建议您及时修改。
>

要解决该问题，请根据不同的问题原因，通过以下方式进行处理：

  * 分区容量满
  * inode容量满
  * 修改inode数量
  * 僵尸文件分析删除
  * 挂载点覆盖

## 分区容量满的处理

  1. 登录服务器，使用`df -h`命令查看磁盘使用率，其中的**Mounted on** 指挂载的目录。  
![](http://qey2kbifv.hn-bkt.clouddn.com/2020-08-13/bncGLDuIEAF6ogOdJv1Y.png)

  2. 进入根目录，执行以下指令，逐级查看哪个目录占用磁盘空间较大，进入相应的目录，直到找到最精确的的文件或目录。  

    
        du -sh __

系统显示类似如下。  
![](http://qey2kbifv.hn-bkt.clouddn.com/2020-08-13/uxJbs8e24d5WmKIC3ghH.png)

  3. 最后，结合业务情况等判断对相关文件或目录进行删除，或者购买更大的数据盘分担处理。

## inode容量满的处理

通过如下操作，解决inode容量满的问题。

### **查询inode使用情况**

Linux的inode节点中，记录了文件的类型、大小、权限、所有者、文件连接的数目、创建时间与更新时间等重要的信息，还有一个比较重要的内容就是指向数据块的指针。一般情况不需要特殊配置，如果存放文件很多，则需要配置。有时磁盘空间有剩余但是不能存放文件，可能是由于inode耗尽所致。

  1. 执行`df -i`命令，可以查询inode的使用情况。  
![](http://qey2kbifv.hn-bkt.clouddn.com/2020-08-13/JGalyStKnEzdkpQjAOrM.png)

  2. 如果inode使用率达到或者接近100%，可以通过以下两种方式进行处理：
     * 清除inode占用高的文件或者目录。
     * 修改inode数量。

### **清除inode占用高的文件或者目录**

如果不方便格式化磁盘以增加inode数量，可以参考以下步骤，清理inode占用量高的文件或者目录。

  1. 登录服务器，执行以下命令，分析根目录下的每个二级目录下有多少个文件。
    
        for i in /; do echo $i; find $i | wc -l; done

系统显示类似如下。  
![](http://qey2kbifv.hn-bkt.clouddn.com/2020-08-13/7WXuMvHgUmiLRDnFQN9K.png)

  2. 然后，逐层进入inode占用最高的目录，继续执行上述指令，逐步定位占用过高空间的文件或目录，最后进行相应清理。

### **修改inode数量**

如果不允许清理磁盘中的文件，或者清理后inode使用率仍然较高，则需要通过以下步骤，增加inode节点数量。

> **说明** ：inode的调整需要重新格式化磁盘，请确保数据已经得到有效备份后，再进行以下操作。

  1. 执行以下命令，卸载系统文件。
    
        umount /home

  2. 执行以下命令，重新建立文件系统，指定inode节点数。
    
        mkfs.ext3 /dev/xvdb -N 1638400

> **说明** ：本文指定inode节点数1638400，现场实际环境请以实际为准。

  3. 执行以下命令，修改fstab文件。
    
        vim /etc/fstab

  4. 执行以下命令，查看修改后的inode节点数。
    
        dumpe2fs -h /dev/xvdb | grep node

系统显示类似如下。  
![](http://qey2kbifv.hn-bkt.clouddn.com/2020-08-13/C09oQl4GSpKzjkyF5X8d.png)

## 僵尸文件分析与删除

如果磁盘和inode都没有问题，则需要查看是否存在未被清除句柄的僵尸文件。这些文件实际上已经被删除，但是有服务程序在使用这些文件，导致这些文件一直被占用，无法释放磁盘空间。如果这些文件过多，会占用很大的磁盘空间。参考以下步骤查看并删除僵尸文件。

  1. 远程登录服务器。
  2. 执行以下命令，安装lsof。
    
        yum install lsof -y

  3. 执行以下命令，查看僵尸文件占用情况。
    
        lsof |grep delete | more

系统显示类似如下。  
![](http://qey2kbifv.hn-bkt.clouddn.com/2020-08-13/TYZ61RIoVCAxKEwF98li.png)

  4. 如果僵尸文件过多，会占用很大的磁盘空间。可以通过以下方法释放句柄，以清除僵尸文件。
    1. 重启服务器，验证效果。重启服务器，系统会退出现有的进程，开机后重新加载。该过程会释放调用的deleted文件的句柄。
    2. 根据`lsof`命令列出的pid进程号，使用`kill`命令正常停止或结束占用这些文件的服务进程。

> **说明** ：如果服务器正在运行业务，可能会影响到业务，请慎重操作。

## 挂载点覆盖

先取消磁盘挂载，再检查原挂载目录下的空间占用情况。

# 适用于

  * 云服务器 QVM

如果您的问题仍未解决，您可以[提交工单](https://support.qiniu.com/tickets/new/?ref=developer.qiniu.com)联系七牛云技术支持。