留郡入后秦，后遂在谯国境内侨置陈留郡。义熙七年（411年），分徐州淮北为北徐州，谯国改属北徐州，称北谯国。义熙十一年（415年），国除为北谯郡。晋恭帝元熙元年（419年）至二年（420年），北谯郡属刘裕宋国二十郡之一。
南北朝.刘宋时，北谯郡复称谯郡，还属豫州，陈留郡长垣县改属谯郡。至此，谯郡领六县：蒙、蕲、宁陵、魏、襄邑、长垣。宋明帝泰始二年（466年），失豫州淮西地，谯郡入北魏。北魏改宋之豫州为南豫州，孝文帝太和十九年（495年）复为豫州。宣武帝正始四年（507年），分豫州