帕特森具有日本和苏格兰血统，与兰斯洛特·莫里斯·彭纳法勒（Lancelot Maurice Pennefather）于1919年结婚，当时她16岁。他们育有两个儿子，阿什顿（Ashton）和珀西（Percy），后者在1956年夏季奥运会曲棍球比赛中担任新加坡队长。珀西的女儿安娜贝尔（Annabel）成为新加坡国家奥林匹克委员会的第一位女性委员，也是新加坡曲棍球联合会的第一位女主席。2004年，当安娜贝尔被授予《世界》杂志的“年度女性”时，她将祖母称为“她的生活榜样”和“坚强的运动型女人”。爱丽丝和兰斯洛