廷虚弱，他相信了，在表面依然奉行臣子礼节，但总是在观望，和王琳自鄱阳信安岭秘密通信；王琳又派人到东阳署任地方长官。到王琳败亡，陈文帝遣派左卫将军沈恪代替他担任太守，实际是伏兵袭击。留异到下淮抵抗，沈恪给他大败，退回钱塘，他又上表谢罪。当时南陈官军在湘州、郢州有战事，就下达诏书抚慰并笼络，留异也知道朝廷最后还是会讨伐自己，就派兵防守下淮及建德，准备航道。留异以为官军从钱塘江攻上，但侯安都却由会稽、诸暨的步道偷袭，他十分恐惧，逃离东阳郡到桃支岭，于岭口架设栅栏巩固自己安全。天嘉三年（562年），侯安都攻破栅栏，