早在1930年代，还作为杨夫人的严幼韵即已经同顾维钧有染，且并不避忌。
家庭.她与姐姐严彩韵、严莲韵被合称为“严氏三姐妹”。其长女杨蕾孟（Genevieve Young）为原Bantam Books出版公司副总裁、总编辑；次女杨雪兰为原通用汽车副总裁；幼女杨葸恩（Frances Young）则是金融家与慈善家唐骝千前妻。
着作.2015年，她的口述自传《一百零九个春天：我的故事》发行。