jancd/qiniu-developer_ShareGPT huggingface dataset:
human: 如何处理七牛云的对象存储保障安全上传、下载、管理数据

gpt: [对象存储](https://developer.qiniu.com/kodo) > 最佳实践 >
[数据安全最佳实践](https://developer.qiniu.com/kodo/best_practices/12018/data-
security-best-practices) > 保障安全上传、下载、管理数据

#  保障安全上传、下载、管理数据

最近更新时间: 2024-06-03 11:26:21

Kodo 七牛云存储，综合考虑了如下几种安全机制的场景、及相应的服务模型：

  * 上传资源
  * 访问资源
  * 管理和修改资源

![image.png](https://dn-odum9helk.qbox.me/FowXyvb_B5ZNdvgsXFtRrVscplxJ)

如上述服务模型，在使用 Kodo 对象存储服务时，客户端需要向业务服务器申请上传、下载的凭证，而后通过获得的凭证向云端进行上传、下载文件。期间，由 Kodo
云存储服务提供账号密钥对 AK/SK （AccessKey/SecretKey）给到业务服务器生成对应凭证，即上传、下载、管理凭证：

  * 上传凭证是七牛云存储用于验证上传请求合法性的机制。用户通过上传凭证授权客户端，使其具备访问指定资源的能力。
  * 下载凭证是用于对私有资源下载的授权，通过授权客户端，使其具备访问指定私有资源的能力。下载私有资源的请求需要带一个合法的下载凭证。
  * 管理凭证是用于在管理现有资源时，例如查看资源元数据、删除或移动资源等。  
不带凭证或带非法凭证的请求将返回 HTTP 错误码 401，代表认证失败。Kodo
支持使用这些凭证来确保请求中途未经篡改，进而保障用户数据被安全上传、下载和管理。

  

# **SSL 加密 保障数据传输安全**

Kodo 支持由 SSL 加密和 HTTP 协议构建网络协议，以提供更安全的 HTTPS
协议访问、操作资源。可防止数据在传输过程中不被窃取、改变，确保数据的完整性。

您只需要在绑定自定义源站域名之后配置
HTTPS，配置界面如下图，更多设置详情请参考[自定义源站域名](https://developer.qiniu.com/kodo/development_guidelines/8556/set-
the-custom-source-domain-name)。

![image.png](https://dn-odum9helk.qbox.me/FrXrCP_diDmdSccliil9dVwYJDcq)

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储降低因账号密码泄露带来的未授权访问风险

gpt: [对象存储](https://developer.qiniu.com/kodo) > 最佳实践 >
[数据安全最佳实践](https://developer.qiniu.com/kodo/best_practices/12018/data-
security-best-practices) > 降低因账号密码泄露带来的未授权访问风险

#  降低因账号密码泄露带来的未授权访问风险

最近更新时间: 2024-06-03 11:26:45

# **避免代码明文使用AccessKey**

Kodo 对象存储提供成对创建和使用的密钥对，并提供两份密钥对以备用。其中 AccessKey 会在传输中包含，需要避免明文使用AK，而用户必须保管好
SecretKey 不在网络上传输以防止被窃取。若 SecretKey 被恶意第三方窃取，可能导致非常严重的数据泄漏风险。因此，如发现 SecretKey
被非法使用，七牛支持管理员禁用该密钥对、更换新密钥对。

# **权限隔离**

空间的[访问控制](https://developer.qiniu.com/kodo/development_guidelines/8603/dev-
access-control)功能，能够统一的限制对空间中数据的访问。Kodo
支持设置空间访问权限为公开或私有，设置私有空间可有效减少非预期的访问、保障数据被安全访问。

  * 公开空间，可通过文件对象的 URL 直接访问。
  * 私有空间，文件对象的访问则必须获得拥有者的授权才能访问。

更多设置详情请参考[设置访问控制](https://developer.qiniu.com/kodo/development_guidelines/8502/set-
access-control)。

Kodo 支持开通 IAM 权限，基于对资源的功能策略，实现对指定子用户、子用户群组的访问、操作限制，来达到访问安全、可控的目的。如：

  * 限制指定子用户、子用户群组对资源的功能操作
  * 限制指定子用户、子用户群组对空间的创建、删除操作
  * 限制指定子用户、子用户群组对空间使用计量的查询

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储降低被恶意篡改数据的风险

gpt: [对象存储](https://developer.qiniu.com/kodo) > 最佳实践 >
[数据安全最佳实践](https://developer.qiniu.com/kodo/best_practices/12018/data-
security-best-practices) > 降低被恶意篡改数据的风险

#  降低被恶意篡改数据的风险

最近更新时间: 2022-07-14 18:22:04

对于一些核心敏感数据，诸如金融交易数据、医疗影响数据等，若您有数据上云后被恶意篡改的顾虑，如文件被恶意加密遭到勒索、文件被恶意删除等，Kodo
提供了[对象锁定](https://developer.qiniu.com/kodo/development_guidelines/8621/dev-
object-
locking)功能，帮助您在固定的时间段内或无限期地阻止删除或覆盖数据。您只需给指定存储空间配置该对象锁定功能，便可在配置后实现保护空间内的数据的目的。如下图为对象锁定设置界面，更多设置详情请参考[设置对象锁定](https://developer.qiniu.com/kodo/development_guidelines/8545/set-
the-object-lock)。

![image.png](https://dn-odum9helk.qbox.me/FuX365TV3-3GOKEStiJ9a-PUX_qq)

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储防止恶意文件上传

gpt: [对象存储](https://developer.qiniu.com/kodo) > 最佳实践 >
[数据安全最佳实践](https://developer.qiniu.com/kodo/best_practices/12018/data-
security-best-practices) > 防止恶意文件上传

#  防止恶意文件上传

最近更新时间: 2022-07-12 14:38:01

有用户反馈，存在非法用户盗用她们的 token 在空间上传 svg,xml,html
等垃圾文件，注入广告，或者散播涉黄视频等资源，严重影响了用户业务的正常运营，针对此类问题，这边总结了如下处理方案。

## **通过上传策略限制上传**

**a.上传策略中 scope 指定 key 值，只允许用户上传指定 key 的文件**

**参数说明：**

字段名 | 说明  
---|---  
scope | 指定上传的目标资源空间 Bucket 和资源键 Key（最大为 750 字节）。有三种格式：
* <bucket>，表示允许用户上传文件到指定的 bucket。在这种格式下文件只能**新增** （分片上传需要指定insertOnly为1才是新增，否则也为覆盖上传），若已存在同名资源（且文件内容/etag不一致），上传会失败；若已存在资源的内容/etag一致，则上传会返回成功。
* <bucket>:<key>，表示只允许用户上传指定 key 的文件。在这种格式下文件默认允许**修改** ，若已存在同名资源则会被**覆盖** 。如果只希望上传指定 key 的文件，并且不允许修改，那么可以将下面的 insertOnly 属性值设为 1。
* <bucket>:<keyPrefix>，表示只允许用户上传指定以 keyPrefix 为前缀的文件，当且仅当 isPrefixalScope 字段为 1 时生效，isPrefixalScope 为 1 时无法覆盖上传。  
  
**python 示例：**

    
    
    from qiniu import Auth, put_file
    access_key =""
    secret_key = ""
    # 构建鉴权对象
    q = Auth(access_key, secret_key)
    
    # 要上传的空间
    bucket_name = '2'
    key = 'key'
    #获取token的方法指定key
    token = q.upload_token(bucket_name, key, 3600)
    #put方法必须指定相同key才能上传
    ret, info = put_file(token, key, 'localfilepath'）
    print ret
    

  

**b.上传策略中 insertOnly 指定为 1 或者指定 forceInsertOnly 为 true，只允许用户上传指定 key
，并且不允许修改**

**参数说明：**

字段名 | 说明  
---|---  
insertOnly | 默认为0，指定为 1 时，上传指定 key 的文件，并且不允许修改，即上传相同 key ，不同 hash，返回 614 “file exists”，上传相同 key，相同 hash 仍旧返回 200  
forceInsertOnly | 默认为 False ，指定为 True 时，上传指定 key 的文件，并且不允许修改，只允许上传一次，即上传相同 key，相同 hash 仍旧返回 614 “file exists”，  
  
**python 示例：**

    
    
    from qiniu import Auth, put_file
    access_key =""
    secret_key = ""
    # 构建鉴权对象
    q = Auth(access_key, secret_key)
    
    # 要上传的空间
    bucket_name = 'bucket'
    key = 'key'
    #insertOnly  指定为 1 
    policy = {"insertOnly":1} 
    #获取token的方法指定key
    token = q.upload_token(bucket_name, key, 3600, policy)
    
    """
    #forceInsertOnly 为 true
    policy = {'forceInsertOnly':True} 
    # 注意 forceInsertOnly是新增字段，这时候生成token的方法中 strict_policy 这个参数设置成False才能生效
    token = q.upload_token(bucket_name, key, 3600, policy, strict_policy=False)
    
    """
    
    #put方法必须指定相同key才能上传
    ret, info = put_file(token, key, 'localfilepath'）
    print ret
    

  

**c.上传策略中指定 mimetype ，限制上传文件类型**

**参数说明：**

字段名 | 说明  
---|---  
mimeLimit | 限定用户上传的文件类型。指定本字段值，七牛服务器会侦测文件内容以判断 MimeType，再用判断值跟指定值进行匹配，匹配成功则允许上传，匹配失败则返回 403 状态码。示例：
* `image/*`表示只允许上传图片类型 
* `image/jpeg;image/png`表示只允许上传`jpg`和`png`类型的图片 
* `!application/json;text/plain`表示禁止上传`json`文本和纯文本。**注意最前面的感叹号！**  
  
**python 示例：**

    
    
    from qiniu import Auth, put_file
    access_key =""
    secret_key = ""
    # 构建鉴权对象
    q = Auth(access_key, secret_key)
    
    # 要上传的空间
    bucket_name = 'bucket'
    key = 'key'
    #限制mimeLimit
    policy = {
    	"insertOnly":1,
    	"mimeLimit":"image/*" #只允许上传图片文件
    } 
    #获取token的方法指定key
    token = q.upload_token(bucket_name, key, 3600, policy)
    
    #put方法必须指定相同key才能上传
    ret, info = put_file(token, key, 'localfilepath'）
    print ret
    

  

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储降低被恶意访问、盗量的风险

gpt: [对象存储](https://developer.qiniu.com/kodo) > 最佳实践 >
[数据安全最佳实践](https://developer.qiniu.com/kodo/best_practices/12018/data-
security-best-practices) > 降低被恶意访问、盗量的风险

#  降低被恶意访问、盗量的风险

最近更新时间: 2024-06-03 11:25:50

# **访问的限制**

当出现存储空间被恶意攻击、流量被恶意盗刷时，此时会出现高带宽或者大流量突发的情况。为尽量避免此类特殊情况发生、且尽可能杜绝由此带来的重大影响，Kodo
支持了多种访问相关的功能设置，如针对空间访问权限的控制、设置 Referer 防盗链、跨域资源共享。

其中，空间的[访问控制](https://developer.qiniu.com/kodo/development_guidelines/8603/dev-
access-control)功能，能够统一的限制对空间中数据的访问权限。Kodo
支持设置空间访问权限为公开或私有，设置私有空间可有效降低空间被恶意访问的风险。

  * 公开空间，可通过文件对象的 URL 直接访问。
  * 私有空间，文件对象的访问则必须获得拥有者的授权才能访问。

更多设置详情请参考[设置访问控制](https://developer.qiniu.com/kodo/development_guidelines/8502/set-
access-control)。

  

[Referer
防盗链](https://developer.qiniu.com/kodo/development_guidelines/8618/dev-
preventing-hotlinking)功能，支持用户对访问来源自定义黑、白名单，以避免数据被非预期来源访问、盗用。具体的，Kodo 支持在
Referer 防盗链中配置以下参数：

  * Referer 白名单，仅允许指定的域名访问资源；或 Referer 黑名单，指定域名禁止访问资源
  * 是否允许空 Referer。如果不允许空 Referer，则只有 HTTP 或 HTTPS header 中包含 Referer 字段的请求才能访问资源。

如下图为 Referer 防盗链设置界面，更多设置详情请参考[设置 Referer
防盗链](https://developer.qiniu.com/kodo/development_guidelines/8538/set-the-
referer-hotlinking-prevention)。

![image.png](https://dn-odum9helk.qbox.me/FqSYk1ixX5J7lm1OD2MnVc9DX3Id)

  

此外，[跨域资源共享](https://developer.qiniu.com/kodo/development_guidelines/8608/dev-
cross-domain-resource-sharing)功能，跨域访问 CORS（Cross-Origin Resource Sharing）是
HTML5 提供的标准跨域解决方案，也是浏览器出于安全考虑而设置的一个限制、用于隔离潜在的对文件的恶意访问。

在实际应用中，经常会有跨域访问的需求，比如用户的网站 a.website.com，后端使用了七牛云对象存储 Kodo 系统。在网页中提供了使用
JavaScript 实现的上传功能，但是在该页面中，只能向 a.website.com
发送请求，向其他网站发送的请求都会被浏览器拒绝。这样就导致用户上传的数据必须从 a.website.com
中转。如果设置了跨域访问的话，用户就可以直接上传到七牛云存储而无需从 a.website.com 中转。

Kodo
支持根据需求灵活配置跨域访问规则，实现允许或者拒绝相应的跨域请求，从而也能降低数据被恶意访问的风险。如下图为跨域资源共享设置界面，更多设置详情请参考[设置跨域资源共享](https://developer.qiniu.com/kodo/development_guidelines/8539/set-
the-cross-domain-resource-sharing)。

![image.png](https://dn-odum9helk.qbox.me/Flpy3Duy0CsIv6B_9lkkOclN73NK)

如果您通过 CDN 域名访问资源，七牛云也提供了在 CDN 域名上开启访问安全控制功能，详情请参考 [CDN 访问控制配置
__](https://developer.qiniu.com/fusion/4960/access-control-configuration)。

  

# **资源的审核**

为有效防止因不预期的资源导致的盗量，我们还建议您开启存储空间的存量和增量内容审核功能，以便于及时发现、处理敏感资源。

七牛云针对 Kodo 云存储用户，提供了一键式的图片、视频内容审核服务。您可以将保存在 Kodo
中的图片、视频进行鉴黄、鉴暴恐、政治敏感人物识别等内容审核服务，并对增量违规数据使用自动封禁的功能。七牛云还提供对审核结果的自助复核功能，用户可以自行对图片、视频进行删除、封禁和通过等操作。详情请参考[内容审核操作指南
__](https://developer.qiniu.com/censor/8066/censor-portal-stream)。  
更多运用内容审核功能的最佳实践请参考[防黑产图片盗刷 __](https://developer.qiniu.com/dora/12700/Anti-
blackmail-image-theft)。

![image.png](https://dn-odum9helk.qbox.me/FvU3guGPklxcNALGPrUEFd25HCAD)

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储降低或因误操作导致的数据丢失的风险

gpt: [对象存储](https://developer.qiniu.com/kodo) > 最佳实践 >
[数据安全最佳实践](https://developer.qiniu.com/kodo/best_practices/12018/data-
security-best-practices) > 降低或因误操作导致的数据丢失的风险

#  降低或因误操作导致的数据丢失的风险

最近更新时间: 2022-07-14 18:06:36

我们常收到反馈，用户因误操作导致数据被错误删除，导致业务无法正常运转。为尽量避免此类特殊情况发生、且尽可能杜绝因未及时解决数据丢失问题带来的重大影响，Kodo
支持提供[跨区域同步](https://developer.qiniu.com/kodo/development_guidelines/8613/dev-
cross-regional-synchronization)功能，您可提前为您空间的数据进行容灾备份。

跨区域同步是将不同区域的存储空间之间的数据同步，它将源存储空间对象的改动（除删除操作）自动、异步地同步到目标存储空间，同时也支持选择是否将源存储空间的历史数据复制至目标存储空间。跨区域同步功能通过跨区域容灾备份数据，解决了用户误操作源文件导致数据丢失的问题。如下图为跨区域同步设置界面，更多设置详情请参考[设置跨区域同步](https://developer.qiniu.com/kodo/development_guidelines/1700/cross-
regional-synchronization)。  
![image.png](https://dn-odum9helk.qbox.me/Fvkj_czJPLXmVeQgPQEQ8H5qQPA_)

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储跟踪、追溯对数据的关键操作

gpt: [对象存储](https://developer.qiniu.com/kodo) > 最佳实践 >
[数据安全最佳实践](https://developer.qiniu.com/kodo/best_practices/12018/data-
security-best-practices) > 跟踪、追溯对数据的关键操作

#  跟踪、追溯对数据的关键操作

最近更新时间: 2022-07-14 18:29:15

除了对风险情况的防范，Kodo
也支持了应对、追溯风险情况的能力，帮助用户及时有效地发现、关注到重要事件。[事件通知](https://developer.qiniu.com/kodo/development_guidelines/8610/dev-
event-notification)和空间日志就是 Kodo 提供的较为典型且实用的跟踪、追溯手段。

其中，事件通知功能，能够对用户所关心的存储资源操作及时进行消息通知。例如：

  * 有新数据从图片内容分享平台、音视频平台上传到七牛云存储
  * 资源发生了更新
  * 重要文件被删除
  * 数据同步已经完成

当您创建事件通知规则后，若请求者对您的 Kodo 资源进行操作并触发了事件通知规则，则请求者对 Kodo 进行的相关操作将会被发送到您配置的 HTTP(s)
服务端地址上。您可以针对事件通知返回的消息进行收集分析，如重点信息特别关注、数据统计分析等。如下图为事件通知设置界面，更多设置详情请参考[设置事件通知](https://developer.qiniu.com/kodo/development_guidelines/8541/set-
the-event-notification)。

![image.png](https://dn-odum9helk.qbox.me/Frs_CupOqCDvvocVafj5nJHjidMf)

此外，[空间日志](https://developer.qiniu.com/kodo/development_guidelines/8614/space-
access-log)功能，提供自动保存访问空间日志的功能，能够对用户所关心的存储空间的访问信息进行定时记录。例如：

  * 远端访问 IP 地址
  * 收到的访问请求时间、请求内容
  * 请求返回的状态码

当您设置空间日志功能后，您的空间被访问情况将被定时记录，您可以根据日志记录内容有效分析空间访问情况、及时发现异常访问源。如下图为空间日志设置界面，更多设置详情请参考[设置空间日志](https://developer.qiniu.com/kodo/development_guidelines/8546/set-
the-space-log)。  
![image.png](https://dn-odum9helk.qbox.me/FsS-O79CPLjZbvknH7WSphA46C1X)

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储敏感数据安全防护

gpt: [对象存储](https://developer.qiniu.com/kodo) > 最佳实践 >
[数据安全最佳实践](https://developer.qiniu.com/kodo/best_practices/12018/data-
security-best-practices) > 敏感数据安全防护

#  敏感数据安全防护

最近更新时间: 2022-07-05 17:45:42

七牛云支持服务端加密功能以提供静态数据保护。当 Kodo
对象存储在数据写入磁盘之前，支持在对象级别上应用数据加密的保护策略，并将得到的加密数据持久化保存下来。用户访问数据时，在拥有对象访问权限的前提下，自动对保存的加密数据进行解密并把原始数据返回。

Kodo 还提供针对特殊文件类型安全访问的功能，支持对指定文件类型可预览或下载、只下载无法预览以及禁止访问。用户可以按照文件类型区分敏感数据并进行对应设定。

上述功能服务，如有需要请[联系我们 __](https://support.qiniu.com/tickets/new/)咨询详情。

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储对象存储开源生态建设

gpt: [对象存储](https://developer.qiniu.com/kodo) > 最佳实践 > 对象存储开源生态建设

#  对象存储开源生态建设

最近更新时间: 2023-10-07 17:29:38

  * [使用 Hadoop S3A 客户端管理对象存储 Kodo](https://developer.qiniu.com/kodo/best_practices/12276/through-docking-hadoop-s3a-agreement)
  * [使用 Hadoop-Kodo 插件管理对象存储 Kodo](https://developer.qiniu.com/kodo/best_practices/12506/Use-Hadoop-kodo)
  * [使用 Terraform 管理对象存储 Kodo](https://developer.qiniu.com/kodo/best_practices/6226/kodo-terraform)
  * [使用 Rclone 命令行工具管理对象存储 Kodo](https://developer.qiniu.com/kodo/best_practices/12285/docking-rclone)
  * [使用 Kubernetes CSI 挂载对象存储 Kodo](https://developer.qiniu.com/kodo/best_practices/12348/use-kubernetes-csi-kodo-mount-object-storage)
  * [使用 Restic 备份工具对接对象存储 Kodo](https://developer.qiniu.com/kodo/best_practices/12503/restic-s3-kodo)

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储使用 Restic 备份工具对接对象存储 Kodo

gpt: [对象存储](https://developer.qiniu.com/kodo) > 最佳实践 >
[对象存储开源生态建设](https://developer.qiniu.com/kodo/best_practices/12275/the-third-
party-software-extension-support) > 使用 Restic 备份工具对接对象存储 Kodo

#  使用 Restic 备份工具对接对象存储 Kodo

最近更新时间: 2023-07-19 17:49:45

Restic 是一款 GO 语言开发的，快速、高效且安全的跨平台备份工具。Restic
支持备份增量数据，并且操作十分简单、可以随时备份和恢复备份。Restic 使用加密技术来保证数据安全性和完整性，可以将本地数据加密后传输到指定的存储。  
Restic 支持大多数主流操作系统，比如：Linux、macOS、Windows 以及一些小众的操作系统，比如：FreeBSD 和 OpenBSD 等。  
Restic 可以通过 S3 协议对接到七牛云对象存储 Kodo，常用功能如：数据备份、恢复备份等。

  

# **配置 Restic**

**关于 Restic**

  * 查看 [Restic 安装 __](https://restic.readthedocs.io/en/stable/020_installation.html#)
  * 查看 [Restic 常见问题 __](https://restic.readthedocs.io/en/stable/faq.html)
  * 其他详情请参考 [Restic 官方网站 __](https://restic.readthedocs.io/en/stable/010_introduction.html)  
  

## **初始化**

安装 Restic 后，执行下述初始化命令:  
1、提供七牛云对象存储 Kodo 的 AK/SK

    
    
    export AWS_ACCESS_KEY_ID=<QINIU_ACCESS_KEY> AWS_SECRET_ACCESS_KEY=<QINIU_SECRET_KEY>
    

2、通过 S3 协议对接 Restic  
提供指定的七牛云对象存储 Kodo 空间，并按需指定对应的访问 Endpoint （可参考[服务域名
__](https://developer.qiniu.com/kodo/4088/s3-access-domainname)）。

    
    
    restic -r s3:s3.<Region-ID>.qiniucs.com/<bucket_name> -o s3.region=<Region-ID> init
    

初始化完成后，即可使用 Restic 工具。  
  

# **通过 Restic 对接七牛云对象存储 Kodo 的常用命令**

## **备份**

创建备份

    
    
    restic -r s3:s3.<Region-ID>.qiniucs.com/<bucket_name> --verbose backup <path/to/backup>
    

## **列举备份**

列出所有快照

    
    
    restic -r s3:s3.<Region-ID>.qiniucs.com/<bucket_name> snapshots
    

按指定 ID 列出快照

    
    
    restic -r s3:s3.<Region-ID>.qiniucs.com/<bucket_name> ls <snapshotID>
    

## **恢复备份**

从指定版本恢复备份

    
    
    restic -r s3:s3.<Region-ID>.qiniucs.com/<bucket_name> restore <snapshotID> --target <path/to/restore>
    

将备份作为常规文件系统进行浏览

    
    
    restic -r s3:s3.<Region-ID>.qiniucs.com/<bucket_name> mount <path/to/mount>
    

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储数据迁移

gpt: [对象存储](https://developer.qiniu.com/kodo) > 最佳实践 > 数据迁移

#  数据迁移

最近更新时间: 2024-04-11 14:43:45

  * [热数据无缝迁移](https://developer.qiniu.com/kodo/best_practices/12664/hotdata_to_kodo)
  * [本地数据迁移至 Kodo](https://developer.qiniu.com/kodo/best_practices/12662/localfiles_to_kodo)
  * [第三方云存储数据迁移至 Kodo](https://developer.qiniu.com/kodo/best_practices/12661/cs_to_kodo)
  * [以 URL 作为源地址的数据迁移至 Kodo](https://developer.qiniu.com/kodo/best_practices/12663/urls_to_kodo)

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储热数据无缝迁移

gpt: [对象存储](https://developer.qiniu.com/kodo) > 最佳实践 >
[数据迁移](https://developer.qiniu.com/kodo/best_practices/12660/data-migration) >
热数据无缝迁移

#  热数据无缝迁移

最近更新时间: 2024-04-25 10:37:52

对象存储 Kodo 提供 [镜像回源](https://developer.qiniu.com/kodo/8611/dev-the-mirror-back-
to-the-source) 的功能，能够支持用户将业务热数据无缝迁移到七牛，并且在迁移过程中不影响原有业务系统的访问。  
同时空间开启镜像回源后，也只会把数据源站中有读写访问请求的数据自动迁移至
Kodo，可以帮助用户快速对数据进行冷热分层，按需只把热数据全部迁移至云端、而冷数据保留在源站。

迁移操作步骤如下：

  1. 登录**对象存储控制台** ，在待迁移数据的目标存储空间中开启镜像设置
  2. 配置镜像回源地址，然后保存
  3. 将业务系统的读写请求转到对象存储 Kodo 上

具体的配置方法请参见 [设置镜像回源](https://developer.qiniu.com/kodo/8542/set-up-the-mirror-
back-to-the-source) 文档。

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储本地数据迁移至 Kodo

gpt: [对象存储](https://developer.qiniu.com/kodo) > 最佳实践 >
[数据迁移](https://developer.qiniu.com/kodo/best_practices/12660/data-migration) >
本地数据迁移至 Kodo

#  本地数据迁移至 Kodo

最近更新时间: 2024-04-25 10:37:30

对于拥有本地数据存储的用户，对象存储 Kodo 提供了一体化迁移工具 Kodoimport，用户只需要通过简单的配置操作，便可将数据快速迁移至 Kodo
中。

迁移工具 Kodoimport

  * 支持单机模式和分布式模式。单机模式部署简单使用方便，但是单机模式迁移能力有限，如果有大规模数据迁移需求分布式模式更为合适。
  * 支持迁移特定前缀的文件。
  * 支持为迁移目标设置特定前缀。
  * 支持断点续传。
  * 支持并行数据下载和上传。
  * 支持数据校验。
  * 支持增量迁移。
  * 支持流量控制。

迁移操作步骤如下：

  1. 下载、安装工具
  2. 修改配置文件
  3. 启动工具

具体的操作方法，请参见 [Kodoimport 工具](https://developer.qiniu.com/kodo/6435/kodoimport)
文档。

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储第三方云存储数据迁移至 Kodo

gpt: [对象存储](https://developer.qiniu.com/kodo) > 最佳实践 >
[数据迁移](https://developer.qiniu.com/kodo/best_practices/12660/data-migration) >
第三方云存储数据迁移至 Kodo

#  第三方云存储数据迁移至 Kodo

最近更新时间: 2024-05-07 11:04:42

对于使用了第三方云存储的用户，在线数据迁移服务可以帮您将其他兼容 AWS S3 协议的云服务商对象存储服务的数据快速迁移至
Kodo（比如阿里云、腾讯云、华为云等厂商的对象存储）。

在线数据迁移服务

  * 提供直观的迁移统计信息，包括迁移存储量、迁移文件数量、迁移进度等
  * 支持迁移指定时间段内的文件
  * 支持全量覆盖或按修改时间的覆盖策略
  * 支持文件一致性校验、任务重试
  * 支持设置迁移的流控时段和最大速率

![image.png](https://dn-odum9helk.qbox.me/FkSBMPTboTli4z4ocDYrraXEa57u)

迁移操作步骤如下：

  1. 登录**对象存储控制台**
  2. 在左侧导航栏中单击数据迁移，进入数据迁移页面
  3. 单击新建任务，新建迁移任务并配置任务信息
  4. 根据源站情况配置分时段的迁移限速
  5. 保存后自动启动任务

详细操作可参见：[设置数据迁移](https://developer.qiniu.com/kodo/12666/set-data-migration)

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储以 URL 作为源地址的数据迁移至 Kodo

gpt: [对象存储](https://developer.qiniu.com/kodo) > 最佳实践 >
[数据迁移](https://developer.qiniu.com/kodo/best_practices/12660/data-migration) >
以 URL 作为源地址的数据迁移至 Kodo

#  以 URL 作为源地址的数据迁移至 Kodo

最近更新时间: 2024-05-06 11:21:06

对于用户想要使用 URL 列表作为数据源地址进行数据迁移，对象存储 Kodo 支持以下迁移方式

  * 在线数据迁移服务：全托管式在线迁移、提供可视化界面，能够帮助用户轻松管理大规模的数据迁移任务。
  * 一体化迁移工具 Kodoimport：用户只需要通过简单的配置操作，便可将数据快速迁移至 Kodo 中

### **在线数据迁移服务**

在线数据迁移服务

  * 提供直观的迁移统计信息，包括迁移存储量、迁移文件数量、迁移进度等
  * 支持全量覆盖或按修改时间的覆盖策略
  * 支持文件一致性校验、任务重试
  * 支持设置迁移的流控时段和最大速率

迁移操作步骤如下：

  1. 登录对象存储控制台
  2. 在左侧导航栏中单击数据迁移，进入数据迁移页面
  3. 单击新建任务，新建迁移任务并配置任务信息
  4. 根据源站情况配置分时段的迁移限速
  5. 保存后自动启动任务

详细操作可参见：[设置数据迁移](https://developer.qiniu.com/kodo/12666/set-data-migration)

### **迁移工具 Kodoimport**

迁移工具 Kodoimport

  * 支持单机模式和分布式模式。单机模式部署简单使用方便，但是单机模式迁移能力有限，如果有大规模数据迁移需求分布式模式更为合适。
  * 支持为迁移目标设置特定前缀。
  * 支持断点续传。
  * 支持并行数据下载和上传。
  * 支持数据校验。
  * 支持流量控制。

迁移操作步骤如下：

  1. 下载、安装工具
  2. 修改配置文件
  3. 启动工具

具体的操作方法，请参见 [Kodoimport 工具](https://developer.qiniu.com/kodo/6435/kodoimport)
文档。

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储Q

gpt: [对象存储](https://developer.qiniu.com/kodo) > 术语表 > Q

#  Q

最近更新时间: 2021-05-13 21:23:52

  
**签名密钥**

签名密钥 (Secret Key) 简称 SK
，是七牛云存储颁发给用户，用于对访问请求签名的字串。用户使用签名密钥对访问请求的核心要素进行签名，获得请求认证[令牌](https://developer.qiniu.com/kodo/glossary/1646/l#token)。用户将令牌随同访问请求一起发送至七牛云存储服务，七牛云存储将对令牌进行校验，以确认用户请求的合法性。

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储E

gpt: [对象存储](https://developer.qiniu.com/kodo) > 术语表 > E

#  E

最近更新时间: 2017-01-20 16:54:40

**ETag**

ETag为HTTP协议的一部分，它是 HTTP 提供web缓存验证机制之一。以这种方式使用etag类似于指纹,他们可以通过快速比较来确定两个资源是否相同。

**Exif**

Exif 意指可交换图像文件格式，专门为数码相机的照片所设计，可以记录数码照片的属性信息和拍摄数据。Exif
信息是由数码相机在拍摄过程中采集的一系列信息，然后这些信息放置在我们熟知的 JPEG/TIFF 文件的头部。

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储H

gpt: [对象存储](https://developer.qiniu.com/kodo) > 术语表 > H

#  H

最近更新时间: 2017-01-19 19:05:51

**HTTP Referer**

HTTP
Referer是header的一部分，当浏览器向web服务器发送请求的时候，一般会带上Referer，告诉服务器我是从哪个页面链接过来的，服务器藉此可以获得一些信息用于处理。

**HMAC-SHA1**

HMAC是哈希运算消息认证码 (Hash-based Message Authentication
Code)，HMAC运算利用哈希算法，以一个密钥和一个消息为输入，生成一个消息摘要作为输出。您可以使用它同时验证数据的完整性和消息的真实性。HMAC-
SHA1签名算法是一种常用的签名算法，用于对一段信息进行生成签名摘要。

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储J

gpt: [对象存储](https://developer.qiniu.com/kodo) > 术语表 > J

#  J

最近更新时间: 2021-05-14 18:40:49

  
**键 (key)**

空间中资源的唯一标识符。空间中的每个资源都有一个对应的键。因为空间和键一起唯一标识每一个资源，您可以认为七牛云存储是基于`空间＋键`和资源本身之间的基本数据映射。

例如：`http://78re52.com1.z0.glb.clouddn.com/resource/AllEast.jpg`

  * `78re52.com1.z0.glb.clouddn.com`是空间的绑定域名
  * `resource/AllEast.jpg`是键

  
**JSON**

JSON（JavaScript Object
Notation）一种轻量级的数据交换格式，具有良好的可读和便于快速编写的特性。可在不同平台之间进行数据交换。JSON采用兼容性很高的、完全独立于语言文本格式，同时也具备类似于C语言的习惯（包括C,
C++, C#, Java, JavaScript, Perl, Python等）体系的行为。这些特性使JSON成为理想的数据交换语言。

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储L

gpt: [对象存储](https://developer.qiniu.com/kodo) > 术语表 > L

#  L

最近更新时间: 2021-05-13 21:24:50

  
**令牌 (Token)**

令牌是用户访问七牛云存储时，进行身份验证的凭证。当用户将一个Bucket设置为私有后，在访问七牛云存储时，必须通过身份验证。用户将访问请求中的一些要素整合起来，用[签名密钥](https://developer.qiniu.com/kodo/glossary/3736/Q)对其加密，得到令牌。然后将令牌随同请求一起发送至七牛云存储。用户可以在令牌中指定请求的时效（七牛云存储统一使用UTC时间计算令牌有效期），防止请求被非法使用。

以上内容是否对您有帮助？
human: 如何处理七牛云的对象存储U

gpt: [对象存储](https://developer.qiniu.com/kodo) > 术语表 > U

#  U

最近更新时间: 2017-01-20 15:16:13

**Unix 时间戳**

Unix时间戳，是一种时间表示方式，定义为从1970年01月01日00时00分00秒起至现在的总秒数。

以上内容是否对您有帮助？
human: 如何处理七牛云的CDN产品概述

gpt: [CDN](https://developer.qiniu.com/fusion) > 产品简介 > 产品概述

#  产品概述

最近更新时间: 2020-01-09 11:55:43

# 产品简介

七牛 CDN 是在传统 CDN 基础上实现的对数据网络加速进一步优化的智能管理服务。通过全方位的 CDN
质量监控，以及智能易用的节点调度等功能，提供稳定快速的网络访问服务。保障客户的音视频点播、大文件下载、应用及 Web 加速服务的稳定及连续性。

# 产品架构

![](https://www.qiniu.com/assets/fusion/img-
chanpinjiagou-334f1ae22a21e74d595dd0c9a42d294b67c0d0983d390b7579a17cc23ee5ddf7.png)

以上内容是否对您有帮助？
human: 如何处理七牛云的CDN名词解释

gpt: [CDN](https://developer.qiniu.com/fusion) > 产品简介 > 名词解释

#  名词解释

最近更新时间: 2020-01-09 11:55:55

# CNAME域名

在七牛云Portal创建加速域名后，会给域名分配一个
“CNAME域名”（例：example.qiniudns.com）。用户需要在域名服务商处配置一条主机记录为 example 的 CNAME
记录类型，并将需要记录值指向 example.qiniudns.com 。  
生效后域名就会正式指向七牛云 CDN ，该域名所有的请求都开始享有CDN加速效果。

# DNS

即 Domain Name System ，域名解析服务。把域名转换成为网络可以识别的 IP 地址（人们习惯记忆域名，但机器互相只认 IP
），能够使人更方便地访问互联网，它们之间的转换工作称为域名解析。

# 边缘节点

距离最终用户最近的 CDN
节点，提高响应速度和连接速度，提高用户浏览网页视频的体验，边缘节点的主要工作是将访问量较大的网页内容和音视频等文件保存在服务器前端的专用缓存设备上。

# 源站

即客户的业务服务器。

以上内容是否对您有帮助？
human: 如何处理七牛云的CDN功能特性

gpt: [CDN](https://developer.qiniu.com/fusion) > 产品简介 > 功能特性

#  功能特性

最近更新时间: 2020-01-09 11:56:10

# 无盲区

沉淀多年的 CDN 管控经验，精选核心 CDN 高质量节点，实现覆盖全国的边缘节点架构体系，全面覆盖各地、各运营商的网络，实现全地域无盲区的覆盖。

# 智能调度

基于全网请求来源的智能调度系统，支持 DNS、HttpDNS、Http302 调度模式，有效提高访问响应速度，防止劫持，实现全网实时精准调度调度。

# 立体品控

基于权威 APM 的全网覆盖「性能监控」和七牛自研的监控数据为基础上自研的全网「实时可用性监控」，打造七牛 CDN 立体品控体系。

# 降低回源

自建 BGP 网络中间源，消除跨运营商网络回源慢甚至不可达等问题，保护源站带宽不受边缘节点请求波动影响，节省回源成本。

# 链路优化

七牛自研探测 AGENT，精确探测点到点之间的链路质量，凭借特有的链路决策算法，可以保证边缘节点到中间源再到源站直接的所有链路最优。

# 私有协议优化

使用私有传输协议作为 CDN 内部数据交换的基础，确保客户资源在 CDN 内部安全、快速的传输到各个节点，实现客户内容高效、可靠的进行分发。

以上内容是否对您有帮助？
human: 如何处理七牛云的CDN使用场景

gpt: [CDN](https://developer.qiniu.com/fusion) > 产品简介 > 使用场景

#  使用场景

最近更新时间: 2020-01-09 11:56:40

# 网页/小文件/图片加速

网页静态资源优化加速分发，例如：html、css、js、img 等；全站 HTTPS 保证网站访问安全；自动图片瘦身， TCP
压缩优化使网页大图，样式等完成秒级加载，缩短网页响应时间提高用户体验。

配合七牛云-图片处理服务一起使用，还可以针对图片进行缩略、打水印，转格式等数据处理服务。

# 大文件下载

大文件下载优化加速分发，例如：ipa、apk、mp3、exe、zip 等；七牛 CDN
在全球数千个节点，让用户在下载过程中获得更快的下载速度，并利用分段缓存技术提高了大文件下载传输的稳定性。

配合七牛云-存储服务一起使用，可有效降低回源和存储成本。

# 音视频点播服务

音视频点播优化加速服务，例如：mp4、flv、rmvb、wmv、hls 等；七牛 CDN 利用 BGP
网络中间源技术降低回源带宽压力节省了用户回源成本、分段预取技术使用户在浏览音视频时更加的流畅，高级防盗链技术有效防止用户文件被盗用。

配合七牛云-音视频处理服务，还可以进行音视频转码、转格式、压缩等数据处理服务。

# 动态加速

动态加速针对动态资源进行加速分发，基于七牛 CDN
在全球的数千个节点，借助特有的动态路由探测技术和私有传输协议优化，可以保证客户源站的内容通过安全稳定的最优链路分发到用户端，在电商、社交、社区论坛、金融支付和游戏娱乐等方面可以显著提升用户的访问性能。

使用动态加速时，域名下面的所有请求都将通过动态路由回到客户源站。如果您的业务同时有静态资源和动态资源，建议您将业务拆分成静态域名和动态域名，静态域名使用我们的普通CDN（点播/下载/网页），动态域名使用动态加速。

以上内容是否对您有帮助？
human: 如何处理七牛云的CDN域名归属校验

gpt: [CDN](https://developer.qiniu.com/fusion) > 使用指南 > 域名归属校验

#  域名归属校验

最近更新时间: 2022-06-13 12:42:47

每个域名仅需做一次归属权校验，子域名无需重复校验。校验方法有两种：

  * DNS解析验证
  * 文件验证

# DNS解析验证

通过配置待加速域名的txt记录的方式，通过域名校验，具体方式如下

  1. 通过 https://portal.qiniu.com/cdn/domain/create 创建域名，提交之后系统会判断该域名是否曾经校验过。若校验过则会进入域名创建结果页。若未校验过则会进入域名验证页，如下：

![企业微信截图_bba1a925-71d2-4171-b513-1606d66ef55f.png](https://dn-
odum9helk.qbox.me/FkCJ3rTc9lgHxJsvKhSmxseQxioc)

  2. 在您的域名解析服务商，添加TXT记录

  3. 等待TXT解析生效，返回CDN控制台，单击「点击验证」，完成验证  
若如果系统提示“验证失败”，请检查TXT记录是否正确填写，并等待DNS记录生效后重新验证

# 文件验证

通过在域名源站上传验证文件，并保证外网的可访问性，具体方式如下

  1. 在域名验证页面点击「文件验证」，进入获取验证的页面，如下图：

![image.png](https://dn-odum9helk.qbox.me/FhNRLs2gwN0TcjHkesglKhsBlB4z)

  2. 点击下载验证文件

  3. 将验证文件上传到源站服务器的根目录，并确保通过域名根目录可访问  
例如：配置加速域名verify.qiniu.com，需要将文件上传到qiniu.com所在的服务器源站，并确保
http://qiniu.com/verification.html 的外网访问性，我们将根据该文件的访问结果判断是否验证通过

  4. 单击「点击验证」，完成验证

以上所有功能均可通过接口完成，详见：https://developer.qiniu.com/dcdn/11857/domain-verify-
information

以上内容是否对您有帮助？
human: 如何处理七牛云的CDN标签管理

gpt: [CDN](https://developer.qiniu.com/fusion) > 使用指南 > 域名管理 >标签管理

#  标签管理

最近更新时间: 2024-03-22 16:49:12

考虑客户业务场景复杂，域名数量较多难以管理，七牛云引入标签的概念，支持对域名进行分类管理。七牛云不对CDN标签进行任何定义，仅严格按字符串对标签和域名进行匹配。标签管理支持绑定标签、解绑标签、使用标签管理域名等功能。

# 限制条件

  * CDN标签为单值标签；
  * 每个域名绑定的标签名称不可重复；
  * 每个域名最多绑定 10个标签；
  * 区分大小写。

# 相关功能

## 绑定标签

1、登录控制台。  
2、域名管理页面，选择您需要设置标签的域名，将光标移动到对应标签上并点击“编辑”。  
![image.png](https://dn-odum9helk.qbox.me/FlCM2SMWumUCtlFaObAa50lAvo_o)  
3、在编辑标签对话框，您可以选择已有标签或新建标签进行绑定。  
![image.png](https://dn-odum9helk.qbox.me/FvzDuneOTap-yb-zV1-GKYxJw3Xj)  
4、点击确认。  

## 解绑标签

1、登录控制台。  
2、域名管理页面，选择您需要解绑标签的域名，将光标移动到对应标签上并点击“编辑”。  
3、在编辑标签对话框，选择您需要解绑的标签并点击“X”号进行解绑；当某标签不在有域名绑定时，自动从列表中删除。  
![image.png](https://dn-odum9helk.qbox.me/Ft9Ut81MeS1b7fVGp5UjY0de8fom)  
4、点击确定；当某标签不在有域名绑定时，自动从列表中删除。  

## 筛选域名管理

1、登录控制台。  
2、域名管理页面，右上角“请选择标签”处选择对应标签，支持多选，且多选时支持“或”和“且”关系选择。  
![image.png](https://dn-odum9helk.qbox.me/FsRktlDiF2HJNacasSnP99hW69oE)  
3、点击任意空白处，根据标签筛选出相关域名。  
![image.png](https://dn-odum9helk.qbox.me/FqfA3ZHMrx797Fo0xb-SsWTCYv3c)

以上内容是否对您有帮助？