阳郡丞和他不和，就派兵剿灭，俘虏他的妻子。太守沈巡过来支援留异，并让出职务给他；留异吩咐姪子留超代理郡事，自己率兵去建康。。建康陷落，他跟随临城公萧大连，获委任为司马负责军事。留异个性残暴，没有远见，督察责罚萧大连的主将和部众作威作福，士兵都害怕他。侯景的将军宋子仙过浙江，留异逃回故乡，不久带领部下向宋子仙投降。其时萧大连取下东阳的信安岭，打算进入鄱阳，留异就向导宋子仙擒获萧大连。侯景任命他为东阳太守，留下他的妻子作人质。侯景的行台刘神茂反正向侯景拒兵，留异表面和刘神茂合作，暗地却通知侯景；之后刘神茂事