领部下向宋子仙投降。其时萧大连取下东阳的信安岭，打算进入鄱阳，留异就向导宋子仙擒获萧大连。侯景任命他为东阳太守，留下他的妻子作人质。侯景的行台刘神茂反正向侯景拒兵，留异表面和刘神茂合作，暗地却通知侯景；之后刘神茂事败被杀，只有他获免。侯景被平定后，王僧辩使命留异慰劳东阳，他仍然在当地聚众合乡闾，佔据险阻地方，势力大得让其他州郡忌惮。梁元帝任命他作信安县令；荆州沦陷，王僧辩指使他再担任东阳太守。陈蒨平定会稽，留异虽然协助运输粮食，但在郡内拥兵自重。绍泰二年（556年），朝廷以他支援的功劳除授持节、通直散骑