# 注释以 ’#‘ 或 ‘;’ 开头,单独占一行,不能和配置内容在同一行 # `key = value` 的 key 前面不能有空格,否则该行视为上一行配置项 value 的一部分 [DEFAULT] # 启用 Memcached, 默认 False # enable_mc = True # Memcached 相关配置,默认情况下无需设置 # mc_server_list_path = /mnt/lustre/share/memcached_client/server_list.conf # mc_client_config_path = /mnt/lustre/share/memcached_client/client.conf # console log 级别,默认 WARNING, 选项有 CRITICAL, ERROR, WARNING, INFO, DEBUG, NOTSET # 若需要在 console 输出 IO 统计信息,需要设置级别为 INFO # console_log_level = WARNING # file log 级别,默认 DEBUG, 选项有 CRITICAL, ERROR, WARNING, INFO, DEBUG, NOTSET # file_log_level = DEBUG # log 文件路径,默认 无 ,即不输出 log 文件 # 若已配置 log 文件路径,则训练运行之前需要确保 log_file_path 指定的目录已被创建 # log_file_path = /mnt/lustre//petrel_log_dir # log 文件最大长度,默认 1GB # file_log_max_bytes = 1073741824 # log 文件备份数目,默认 1 # file_log_backup_count = 1 # 每隔 count_disp 次 get 操作后,日志记录 IO 统计信息。默认值 5000 # 如果 IO 统计信息输出过于频繁,可将该数值增大 # 如果需要关闭 IO 统计信,可将该数值设置为 0 # count_disp = 5000 # 内存统计,默认关闭 # enable_mem_trace = False # get 操作失败后,允许重试的次数,默认 10 # get_retry_max = 10 # 默认 cluster,即当访问 Ceph 没有指定 cluster 时,从 default_cluster 获取数据 default_cluster = cluster1 [mc] # 若访问的路径过长(超过250个字节),mc 将出现 McKeySizeExceed 错误。 # 配置 mc_key_cb 可将传给 mc 的路径进行转换,可选的参数有: # blake2b, blake2s, md5, pbkdf2_hmac, sha1, sha224, # sha256, sha384, sha3_224, sha3_256, sha3_384, # sha3_512, sha512, shake_128, shake_256 # mc_key_cb = sha256 # 是否输出 mc debug log,默认 True # 注意最终是否输出到 console 和 file 分别还需要由 console_log_level 和 file_log_level 决定 # debug_mc = True [dfs] enable_mc = True # 至少需要配置一个 cluster ,否则将出现 ConfigSectionNotFoundError [cluster1] # 对于每个集群的具体配置,如果没有指定,则以[DEFAULT]作为取值 # 例如在此处设置 ‘enable_mc = False’ 将覆盖默认配置 enable_mc = True # 启用 S3 boto,默认 True # boto = c++ 将启用 c++ 版本实现的 S3 boto = True # 若不设置 access_key 和 secret_key,将以 anonymous 账户访问数据 access_key = lili1 secret_key = lili1 host_base = http://127.0.0.1:7480 # 若 boto = False ,则需要增加以下配置 # conf = conf/ceph.conf # keyring = conf/keyring # name = client.rgw.train # cluster = ceph [cluster2] access_key = lili1 secret_key = lili1 host_base = http://127.0.0.1:7480