|
# 注释以 ’ |
|
# `key = value` 的 key 前面不能有空格，否则该行视为上一行配置项 value 的一部分 |
|
|
|
[DEFAULT] |
|
|
|
# 启用 Memcached, 默认 False |
|
# enable_mc = True |
|
|
|
# Memcached 相关配置，默认情况下无需设置 |
|
# mc_server_list_path = /mnt/lustre/share/memcached_client/server_list.conf |
|
# mc_client_config_path = /mnt/lustre/share/memcached_client/client.conf |
|
|
|
# console log 级别，默认 WARNING, 选项有 CRITICAL, ERROR, WARNING, INFO, DEBUG, NOTSET |
|
# 若需要在 console 输出 IO 统计信息，需要设置级别为 INFO |
|
# console_log_level = WARNING |
|
|
|
# file log 级别，默认 DEBUG, 选项有 CRITICAL, ERROR, WARNING, INFO, DEBUG, NOTSET |
|
# file_log_level = DEBUG |
|
|
|
# log 文件路径，默认 无 ，即不输出 log 文件 |
|
# 若已配置 log 文件路径，则训练运行之前需要确保 log_file_path 指定的目录已被创建 |
|
# log_file_path = /mnt/lustre/<username>/petrel_log_dir |
|
|
|
# log 文件最大长度，默认 1GB |
|
# file_log_max_bytes = 1073741824 |
|
|
|
# log 文件备份数目，默认 1 |
|
# file_log_backup_count = 1 |
|
|
|
# 每隔 count_disp 次 get 操作后，日志记录 IO 统计信息。默认值 5000 |
|
# 如果 IO 统计信息输出过于频繁，可将该数值增大 |
|
# 如果需要关闭 IO 统计信，可将该数值设置为 0 |
|
# count_disp = 5000 |
|
|
|
# 内存统计，默认关闭 |
|
# enable_mem_trace = False |
|
|
|
# get 操作失败后，允许重试的次数，默认 10 |
|
# get_retry_max = 10 |
|
|
|
# 默认 cluster，即当访问 Ceph 没有指定 cluster 时，从 default_cluster 获取数据 |
|
default_cluster = cluster1 |
|
|
|
[mc] |
|
# 若访问的路径过长（超过250个字节），mc 将出现 McKeySizeExceed 错误。 |
|
# 配置 mc_key_cb 可将传给 mc 的路径进行转换，可选的参数有: |
|
# blake2b, blake2s, md5, pbkdf2_hmac, sha1, sha224, |
|
# sha256, sha384, sha3_224, sha3_256, sha3_384, |
|
# sha3_512, sha512, shake_128, shake_256 |
|
|
|
# mc_key_cb = sha256 |
|
|
|
|
|
# 是否输出 mc debug log，默认 True |
|
# 注意最终是否输出到 console 和 file 分别还需要由 console_log_level 和 file_log_level 决定 |
|
# debug_mc = True |
|
|
|
|
|
[dfs] |
|
enable_mc = True |
|
|
|
# 至少需要配置一个 cluster ，否则将出现 ConfigSectionNotFoundError |
|
[cluster1] |
|
# 对于每个集群的具体配置，如果没有指定，则以[DEFAULT]作为取值 |
|
# 例如在此处设置 ‘enable_mc = False’ 将覆盖默认配置 |
|
enable_mc = True |
|
|
|
# 启用 S3 boto，默认 True |
|
# boto = c++ 将启用 c++ 版本实现的 S3 |
|
boto = True |
|
|
|
# 若不设置 access_key 和 secret_key，将以 anonymous 账户访问数据 |
|
access_key = lili1 |
|
secret_key = lili1 |
|
|
|
host_base = http://127.0.0.1:7480 |
|
|
|
# 若 boto = False ，则需要增加以下配置 |
|
# conf = conf/ceph.conf |
|
# keyring = conf/keyring |
|
# name = client.rgw.train |
|
# cluster = ceph |
|
|
|
[cluster2] |
|
|
|
access_key = lili1 |
|
secret_key = lili1 |
|
host_base = http://127.0.0.1:7480 |
|
|
