许广平是显赫的近代广州第一家族许拜庭的后人,家族中人才辈出,如反英军入广州城斗争的功臣许祥光,有“许青天”之称的许应镕,廉洁清官许应锵,民国粤军总司令许崇智,辛亥革命元老许崇灏,有"铁血将军"之称的东征名将许济,红军名将许卓,著名教育家许崇清等。
许广平的祖父许应骙是慈禧太后的干儿子,曾经做过浙江巡抚,是官居二品的封疆大吏,获赐可在宫中骑马,因此许家称得起是当地数一数二的大族。表哥许崇智是黄埔军校创立人,粤军总司令;另一位表哥许崇清则为广州前教育局长;侄子许卓则是红军烈士;还是香港演员许绍雄的姑妈。
许广平的父亲许炳枟因系庶出,在这个大家族中处于受歧视被排挤的地位。他虽然是评定诗钟的好手,又自称为诗人,但却没有功名在身,终生未能做官。他是个半开化的绅士,从小就具有叛逆精神的许广平经过斗争,居然被允许像男孩子一样读书、学官话、上学堂,连缠足的罪也免了。