母欧阳氏。长女严氏（1547年—1602年）为衍圣公孔尚贤妻，诰命夫人。世蕃博学强记，深得其父严嵩重用，为帝拟奏对，又精通道教，善于写青词，深得皇帝心意，官工部左侍郎。严嵩妻子欧阳氏去世，世蕃回乡守丧，导致严嵩奏折与所拟道教青词都不符合皇帝心意，邹应龙弹劾严世蕃在丧期内纵淫。严世蕃获罪遣戍雷州，严嵩削职为民。据说严世蕃暗中逃回故里，勾结汪直和日本倭寇，肆意淫乐。嘉靖四十三年（1564年），嘉靖帝命林润巡察江南。林润得知严世蕃在家乡为非作歹，抢劫、伤人二十余起，上疏弹劾世蕃“乘轩衣蟒，有负险不臣之心