仍然在当地聚众合乡闾，佔据险阻地方，势力大得让其他州郡忌惮。梁元帝任命他作信安县令；荆州沦陷，王僧辩指使他再担任东阳太守。陈蒨平定会稽，留异虽然协助运输粮食，但在郡内拥兵自重。绍泰二年（556年），朝廷以他支援的功劳除授持节、通直散骑常侍、信武将军、缙州刺史，领东阳太守，封永兴县侯，食邑五百户，同年迁任散骑常侍、信威将军，增食邑三百户，其余依旧，又以陈蒨的长女陈氏嫁给留异第三子留贞臣。南陈永定二年（558年），陈武帝征召留异担任使持节、散骑常侍、都督南徐州诸军事、平北将军、南徐州刺史，他借故拖延不赴任。