部左侍郎。严嵩妻子欧阳氏去世，世蕃回乡守丧，导致严嵩奏折与所拟道教青词都不符合皇帝心意，邹应龙弹劾严世蕃在丧期内纵淫。严世蕃获罪遣戍雷州，严嵩削职为民。据说严世蕃暗中逃回故里，勾结汪直和日本倭寇，肆意淫乐。嘉靖四十三年（1564年），嘉靖帝命林润巡察江南。林润得知严世蕃在家乡为非作歹，抢劫、伤人二十余起，上疏弹劾世蕃“乘轩衣蟒，有负险不臣之心，日夜与罗龙文诽谤朝政，蛊惑人心。”严世蕃因此下狱。刑部尚书黄光升及大理寺卿张守直等大臣们，本要弹劾严世蕃害死沈鍊与杨继盛。这正符合严世蕃心意，因为严世蕃曾对手下说