十一年)生于天津，出于费市严家，祖父严信厚乃清季大吏李鸿章幕僚，为上海鉅富。父亲为着名实业家严子均，生母是续弦杨氏。1925年，入读沪江大学，1927年转入复旦大学商科，成为复旦首届女毕业生。后嫁清华大学教授杨光泩。1930年代严幼韵开始与杨光泩的上司顾维钧长期婚外通奸。因此丑闻，杨光泩被派往菲律宾，任国民政府驻菲律宾领事，严幼韵相随出洋。1942年初，日军攻佔马尼拉，杨光泩遭拘禁，4月17日被日军枪杀。太平洋战争结束，严幼韵携三女杨蕾孟、杨雪兰及杨葸恩前往纽约成为顾维钧的情妇。未几，通过顾维钧的关系到联合