中逃回故里，勾结汪直和日本倭寇，肆意淫乐。嘉靖四十三年（1564年），嘉靖帝命林润巡察江南。林润得知严世蕃在家乡为非作歹，抢劫、伤人二十余起，上疏弹劾世蕃“乘轩衣蟒，有负险不臣之心，日夜与罗龙文诽谤朝政，蛊惑人心。”严世蕃因此下狱。刑部尚书黄光升及大理寺卿张守直等大臣们，本要弹劾严世蕃害死沈鍊与杨继盛。这正符合严世蕃心意，因为严世蕃曾对手下说：「各位在外多加宣扬沈、杨两案，只要他们状告我这两案，那时我便可以出狱了。沈、杨被杀，虽是我父拟旨，但还是皇上批准的，他们一提及，就是骂了皇上昏庸了，那时我不就可以