59年与严幼韵结婚。顾维钧于1985年去世，享寿97岁。严氏晚年喜欢参加社交活动。2006年9月22日，北京中央电视台「人物」栏目首播了严氏的专访。纽约时报报导，顾夫人长寿的秘诀是：保持一颗愉快的赤子之心，「不运动、不吃药、不为往事感伤」。根据张学良的回忆，早在1930年代，还作为杨夫人的严幼韵即已经同顾维钧有染，且并不避忌。
家庭.她与姐姐严彩韵、严莲韵被合称为“严氏三姐妹”。其长女杨蕾孟（Genevieve Young）为原Bantam Books出版公司副总裁、总编辑