都任为他是个祸患。南梁期间他担任蟹浦戍主、晋安和安固二县的县令。侯景之乱爆发，他回到故乡，召集民众，东阳郡丞和他不和，就派兵剿灭，俘虏他的妻子。太守沈巡过来支援留异，并让出职务给他；留异吩咐姪子留超代理郡事，自己率兵去建康。。建康陷落，他跟随临城公萧大连，获委任为司马负责军事。留异个性残暴，没有远见，督察责罚萧大连的主将和部众作威作福，士兵都害怕他。侯景的将军宋子仙过浙江，留异逃回故乡，不久带领部下向宋子仙投降。其时萧大连取下东阳的信安岭，打算进入鄱阳，留异就向导宋子仙擒获萧大连。侯景任命他为东阳太守，