帝，改授他为都督缙州诸军事、安南将军、缙州刺史，领东阳太守。留异经常遣派他的长史王澌作使节入朝，王澌经常表示朝廷虚弱，他相信了，在表面依然奉行臣子礼节，但总是在观望，和王琳自鄱阳信安岭秘密通信；王琳又派人到东阳署任地方长官。到王琳败亡，陈文帝遣派左卫将军沈恪代替他担任太守，实际是伏兵袭击。留异到下淮抵抗，沈恪给他大败，退回钱塘，他又上表谢罪。当时南陈官军在湘州、郢州有战事，就下达诏书抚慰并笼络，留异也知道朝廷最后还是会讨伐自己，就派兵防守下淮及建德，准备航道。留异以为官军从钱塘江攻上，但侯安都却由会稽、诸暨