钧长期婚外通奸。因此丑闻，杨光泩被派往菲律宾，任国民政府驻菲律宾领事，严幼韵相随出洋。1942年初，日军攻佔马尼拉，杨光泩遭拘禁，4月17日被日军枪杀。太平洋战争结束，严幼韵携三女杨蕾孟、杨雪兰及杨葸恩前往纽约成为顾维钧的情妇。未几，通过顾维钧的关系到联合国做文员。直至1959年10月联合国大会结束后退休。1956年顾维钧与妻子离婚，1959年与严幼韵结婚。顾维钧于1985年去世，享寿97岁。严氏晚年喜欢参加社交活动。2006年9月22日，北京中央电视台「人物」栏目首播了严氏的专访。纽约时报报导，顾夫人