human: 如何处理七牛云的对象存储设置数据迁移

gpt: [对象存储](https://developer.qiniu.com/kodo) > 使用指南 >
[控制台指南](https://developer.qiniu.com/kodo/development_guidelines/8452/kodo-
console-guide) > 设置数据迁移

#  设置数据迁移

最近更新时间: 2024-08-12 15:38:03

对象存储 Kodo 提供的数据迁移服务，支持您将第三方数据源轻松迁移至七牛云对象存储 Kodo。当前 Kodo
提供的数据迁移服务是全托管模式的在线迁移服务，用户只需提交迁移任务、服务会自动执行数据迁移，并提供迁移执行状态和进度的信息查询、支持限速控制。

您可通过控制台设置数据迁移任务，或查看[数据迁移最佳实践](https://developer.qiniu.com/kodo/best_practices/12660/data-
migration)了解其他数据迁移方案。

  

# **说明**

  * 当前已支持的数据源：URL 列表、S3 协议源站
  * 当前仅支持的迁移模式：全托管迁移
  * 费用： 
    * 全托管迁移模式中，从第三方源对象存储拉取数据会产生公网出流量费用，具体费用需要参考源存储云厂商的定价
    * 数据迁移在上传期间会产生 PUT/DELETE 请求次数，成功上传到 Kodo 后会产生存储费用
  * 数据校验：校验成功的文件才算迁移成功 
    * 默认校验源端和目标端的文件数据大小
    * 如果源文件头信息携带有 Content-Md5（大小写敏感），则会校验源端和目标端信息是否一致
  * 使用限制： 
    * 单个用户只允许同时执行 5 个迁移任务，即状态为迁移中的任务最多 5 个
    * 单个任务默认带宽限额 500Mbps，支持用户自定义设置带宽限额、允许设置的范围为 10Mbps~2Gbps

  

# **操作步骤**

  1. 登录 Kodo 控制台界面进入[数据迁移 __](https://portal.qiniu.com/kodo/data-migration)界面，如图1  
图1:  
![image.png](https://dn-odum9helk.qbox.me/Fsl_4ROIlgEgVj0Hzqsaf85vgQoY)

  2. 单击 **+新建任务** ，右侧将弹出如图2:  
图2:  
![image.png](https://dn-odum9helk.qbox.me/FgAnLpNRt1vQuW1bFi0NWw6vMSyS)

  3. 在新建任务界面，按如下说明配置各项参数：  
**任务基础信息** 操作名称 | 必填 | 说明 | 规则描述  
---|---|---|---  
任务名称 | 是 | 请自定义数据迁移任务的名称 | \- 任务名称由 1 ~ 64 个字符组成，可包含：字母、数字和下划线  
\- 任务名称不可重复  
**迁移源信息** 操作名称 | 必填 | 说明 | 规则描述  
---|---|---|---  
数据源类型 | 是 | 请按需选择迁移数据源的类型 | 可选类型：URL 列表、S3 协议源站  
URL 文件列表 | 是 | 指定需要迁移的文件 URL 列表 | \- 仅当数据源类型为 URL 列表时必须定义   
\- 提供一个文本文件列表 URL，其中包含需要迁移的文件访问链接（URL），每一行是一个要迁移的文件
URL。例如新建一个文本文件“urls.txt”，文件中包含两个要迁移的 URL 地址：  
http://xxx.xxx.xxx/xxx/l.jpg  
http://xxx.xxx.xxx/xxx/xxx/xxxxxx/test.mp4  
\- 待迁移文件 http 地址`带有特殊字符`的需要做 `url encode 编码处理`  
AccessKey | 是 | 请输入 S3 协议源站的 AccessKey | 仅当数据源类型为 S3 协议源站时必须定义  
SecretKey | 是 | 请输入 S3 协议源站的 SecretKey | 仅当数据源类型为 S3 协议源站时必须定义  
空间名称 | 是 | 请输入的迁移源空间名称 | \- 仅当数据源类型为 S3 协议源站时必须定义  
\- 如源端为七牛 S3 协议源站时，存在空间名不唯一、系统自动生成 S3 空间名的情况，可参考[获取七牛 S3 空间名
__](https://developer.qiniu.com/kodo/4088/s3-access-domainname#3)查询  
源端区域 | 是 | 请输入的迁移源空间所在区域 | \- 仅当数据源类型为 S3 协议源站时必须定义  
\- 仅以下述示例：

     * 如源端为 AWS S3，区域可为 us-east-2，参考更多 [AWS S3 区域 __](https://docs.aws.amazon.com/general/latest/gr/s3.html)  
     * 如源端为阿里云 OSS，区域可为 oss-cn-beijing，参考更多[阿里云 OSS 区域 __](https://help.aliyun.com/zh/oss/user-guide/regions-and-endpoints?spm=a2c4g.11186623.0.0.59a41668i9yalr)
区域 Endpoint | 是 | 请输入的迁移源空间所在区域的 Endpoint | \- 仅当数据源类型为 S3 协议源站时必须定义  
\- 需指定 http(s) 协议，不带协议时默认为 https  
\- `无需携带空间名称，否则会导致源端连接失败`  
\- 仅以下述示例：

     * 如源端为 AWS S3，区域 Endpoint 可为 https://s3.us-east-2.amazonaws.com，更多参考 [S3 Endpoint __](https://docs.aws.amazon.com/general/latest/gr/s3.html)
     * 如源端为阿里云 OSS，区域 Endpoint 可为 https://oss-cn-beijing.aliyuncs.com，更多参考[阿里云 OSS Endpoint __](https://help.aliyun.com/zh/oss/user-guide/regions-and-endpoints?spm=a2c4g.11186623.0.0.59a41668i9yalr)  
文件名过滤 | 否 | 请按需选择数据迁移范围 | \- 仅当数据源类型为 S3 协议源站时可定义  
\- 默认不过滤，迁移源空间内的全量文件  
\- 支持只迁移前缀匹配的文件  
时间范围 | 否 | 请按需选择仅迁移指定时间范围内新增或变更的文件 | \- 仅当数据源类型为 S3 协议源站时可定义  
\- 默认不勾选指定时间范围  
\- 支持勾选指定时间范围

     * 开始时间零点⾄结束时间零点
     * 所选时间段时区为东八区 UTC+8  
**迁移目标信息** 操作名称 | 必填 | 说明 | 规则描述  
---|---|---|---  
空间名称 | 是 | 请输入的迁移目标空间名称 | \- 为成功迁移需授予服务上传权限，默认勾选“我已知晓、并授予迁移服务在任务执行期间向该空间上传文件的权限。”  
\- 支持输入完整空间名，或搜索目标空间  
\- 只读空间不可写入，不支持选择只读空间  
保存路径 | 否 | 请指定所迁移的数据保存到的位置 | \- 默认保存到根路径，将数据以源文件名保存在根目录   
\- 保存到指定目录，支持指定文件前缀（例如: aaa）或以 / 结尾指定目录（例如: aaa/bbb/）  
同名文件 | 否 | 请指定迁移时对同名文件的处理方式 | \- 默认覆盖，将源空间中的文件替换目标空间中的同名文件   
\- 跳过，将保留目标空间中已有的同名文件  
\- 新文件覆盖，如源空间中文件的最后修改时间大于目标空间中的同名文件，则执行覆盖  
文件存储类型 | 否 | 请按需指定文件迁移到目标空间后的存储类型 | \- 与源文件一致，仅当数据源类型为 S3 协议源站时可定义
     * 查看 S3 存储类型与七牛存储类型对应关系
     * 源文件没有可识别的存储类型（如：无存储类型信息、无 Kodo 可对应的存储类型）时，将默认迁移至标准存储类型。
\- 默认为全部使用标准存储  
\- 支持指定为全部使用标准存储、全部使用低频存储、全部使用智能分层存储、全部使用归档直读存储、全部使用归档存储、全部使用深度归档存储  
**迁移执行参数** 操作名称 | 必填 | 说明 | 规则描述  
---|---|---|---  
迁移模式 | 是 | 请选择迁移模式 | \- 当前默认且仅支持新建迁移任务后立即启动全托管迁移  
迁移限速 | 否 | 请按需指定迁移限速方式 | \- 默认不设置限速  
\- 开启设置限速

     * 支持全时段统一限速，默认 500Mbps 
     * 支持分时段限速，当迁移周期时间跨度较大时，使用分时段限速可以利用波谷加速迁移在波峰降低速度或停止、以便保障业务和控制成本。
       * 支持在选择指定时间段内限速（限额范围 10Mbps~2000Mbps）或不限速
     * 所选时间段时区为东八区 UTC+8  
_注：当前默认只迁移源文件的 Content-Type 信息_

  4. 完成上述参数配置后，勾选“我已了解可能的迁移时间以及可能产生的相关成本”，单击**确定** 完成新建数据迁移任务。
  5. 如图1已创建的任务将以卡片的形式展示，此界面按任务状态、迁移源或任务名称进行筛选展示，您也可指定按任务的创建时间先后进行排序。仅支持查看距完成时间 180 天内的任务，超时后任务记录将被删除。
  6. 在单个任务卡片中，您可查看到下述信息： 
     * 任务 ID
     * 状态，包括：已创建、迁移中、迁移完成有失败文件、迁移完成无失败文件、已终止、迁移失败
     * 迁移目标位置，为数据指定迁移的空间及保存路径
     * 迁移源，包括：URL 列表、S3 协议源站
     * 迁移统计，展示已迁移文件数/文件大小、失败文件数、进度 
       * 已迁移文件数 = 迁移成功文件数 + 已跳过文件数
       * 进度 = (已迁移文件数 ＋ 失败文件数) / 迁移文件总数
       * 迁移文件总数末知（文件列表未列举完毕）时进度不显示
     * 创建时间，为任务创建时间
  7. 您可在如图1的任务列表中，找到指定任务，单击目标任务栏的**任务名称** ，即可查看该数据迁移任务的规则信息，如图3。  
图3:任务规则信息  
![image.png](https://dn-odum9helk.qbox.me/Fko4BcT3OjYQTOzGklO1k5hJhbRl)

  8. 对不同状态的任务，您可执行下述操作  状态 | 可执行的操作 | 操作说明  
---|---|---  
已创建/迁移中 | 终止、编辑 | \- 终止任务，无法再次重启   
\- 编辑任务，仅支持修改任务开启限速或变更限速值  
已终止/迁移完成且无失败文件/迁移失败 | 删除 | 删除该条任务记录  
迁移完成且有失败文件 | 重试、导出失败列表、删除 | \- 重试，重试迁移失败文件列表
     * 限定任务完成 30 天内可操作   
\- 导出失败列表，支持获取迁移失败文件列表链接（链接有效时长 60 分钟）或导出迁移失败文件列表

     * 限定任务完成 30 天内可操作
     * 失败文件列表支持最多含 10 万条数据，如超出需[提交工单 __](https://support.qiniu.com/tickets/category)请求后台导出
\- 删除该条任务记录 当迁移过程中出现失败文件时，您可单击**查看失败列表** 在弹窗中实时查看迁移失败的文件、失败时间及原因

     * 支持单击**加载更多** 获取完整失败文件列表
     * 支持单击**下载** 导出已加载的失败文件列表
     * 限定任务完成 30 天内可操作
  9. 对任意状态的任务，均支持您单击**详情** 查看当前任务进展状态，或单击**复制** 进行任务快速创建。其中详情展示下述信息： 
     * 任务执行节点及对应时间
     * 如迁移失败，展示失败信息
     * 迁移统计信息 
       * 失败/成功/跳过/待迁移文件数
       * 已迁移数据量
       * 进度

  

# S3 存储类型与七牛存储类型对应关系

AWS S3 | 七牛云存储  
---|---  
STANDARD  
REDUCED_REDUNDANCY  
OUTPOSTS | 标准存储  
STANDARD_IA  
ONEZONE_IA | 低频访问存储  
INTELLIGENT_TIERING | 智能分层存储  
GLACIER_IA | 归档直读存储  
GLACIER | 归档存储  
DEEP_ARCHIVE | 深度归档存储  
  
以上内容是否对您有帮助？