晋时期，收复卢容县。东晋永和三年（347年），林邑攻陷日南郡，杀害太守夏侯览，铲平西卷县城。南朝宋时期，区粟城多次被林邑占领。南朝梁时期，林邑占领卢容城，以朱吾县浦为界。梁以后，林邑国向北佔据了原日南郡治西卷县及比景县，与南朝分横山为界。隋大业元年（605年），隋炀帝发兵灭林邑，取得了日南郡旧地，置荡州、农州、沖州三州。大业三年（607年）改州为郡，以驩州（晋九德郡）为日南郡。