个汉学世家。她的祖父曾任北港朝天宫管理人以及北港区区长；她的父亲蔡幼廷是台湾总督府国语学校首届毕业生，毕业后在北港公学校担任教师，后又从事经商，并设立北港大正制酒会社（后改名庆昌商行）；她的母亲是出身斗南地区的张金莲。蔡素女有一姊蔡亦好及一弟蔡寿郎。童年时，蔡素女的母亲曾欲将她与姊姊一同裹小脚，但在父亲一再强调男女平等观念且表示反对缠足下作罢。毕业于北港公学校后，蔡素女考入台北州立台北第三高等女学校。毕业于台北州立台北第三高等女学校后，她曾想前往日本继续进修，但被父亲要求返回北港公学校担任教师。