州、豫州置南兖州，谯郡改属南兖州。建元二十年（384年），谯郡入东晋，改属徐州，复称谯国。东晋后期，省併谯、城父、酇、山桑、龙亢、铚六县（豫州谯国、历阳郡境内则置有其同名侨县），梁国宁陵县、陈留国襄邑县改属谯国，新置蒙、魏二侨县，移治蒙县（今安徽省蒙城县西北）。晋安帝隆安三年（399年），陈留郡入后秦，后遂在谯国境内侨置陈留郡。义熙七年（411年），分徐州淮北为北徐州，谯国改属北徐州，称北谯国。义熙十一年（415年），国除为北谯郡。晋恭帝元熙元年（419年）至二年（420年），北谯郡属刘裕宋国二十郡之一