王琳败亡，陈文帝遣派左卫将军沈恪代替他担任太守，实际是伏兵袭击。留异到下淮抵抗，沈恪给他大败，退回钱塘，他又上表谢罪。当时南陈官军在湘州、郢州有战事，就下达诏书抚慰并笼络，留异也知道朝廷最后还是会讨伐自己，就派兵防守下淮及建德，准备航道。留异以为官军从钱塘江攻上，但侯安都却由会稽、诸暨的步道偷袭，他十分恐惧，逃离东阳郡到桃支岭，于岭口架设栅栏巩固自己安全。天嘉三年（562年），侯安都攻破栅栏，他和次子留忠臣出奔依附陈宝应，陈军俘虏他的余党数千人。两年后（564年），陈宝应被剿灭，同时擒拿留异到建康斩首，子姪