陵县、陈留国襄邑县改属谯国，新置蒙、魏二侨县，移治蒙县（今安徽省蒙城县西北）。晋安帝隆安三年（399年），陈留郡入后秦，后遂在谯国境内侨置陈留郡。义熙七年（411年），分徐州淮北为北徐州，谯国改属北徐州，称北谯国。义熙十一年（415年），国除为北谯郡。晋恭帝元熙元年（419年）至二年（420年），北谯郡属刘裕宋国二十郡之一。
南北朝.刘宋时，北谯郡复称谯郡，还属豫州，陈留郡长垣县改属谯郡。至此，谯郡领六县：蒙、蕲、宁陵、魏、襄邑、长垣。宋明帝泰始二年（466年），失豫州淮西地，谯郡