他为东阳太守，留下他的妻子作人质。侯景的行台刘神茂反正向侯景拒兵，留异表面和刘神茂合作，暗地却通知侯景；之后刘神茂事败被杀，只有他获免。侯景被平定后，王僧辩使命留异慰劳东阳，他仍然在当地聚众合乡闾，佔据险阻地方，势力大得让其他州郡忌惮。梁元帝任命他作信安县令；荆州沦陷，王僧辩指使他再担任东阳太守。陈蒨平定会稽，留异虽然协助运输粮食，但在郡内拥兵自重。绍泰二年（556年），朝廷以他支援的功劳除授持节、通直散骑常侍、信武将军、缙州刺史，领东阳太守，封永兴县侯，食邑五百户，同年迁任散骑常侍、信威将军，增食邑三