义熙十一年（415年），国除为北谯郡。晋恭帝元熙元年（419年）至二年（420年），北谯郡属刘裕宋国二十郡之一。
南北朝.刘宋时，北谯郡复称谯郡，还属豫州，陈留郡长垣县改属谯郡。至此，谯郡领六县：蒙、蕲、宁陵、魏、襄邑、长垣。宋明帝泰始二年（466年），失豫州淮西地，谯郡入北魏。北魏改宋之豫州为南豫州，孝文帝太和十九年（495年）复为豫州。宣武帝正始四年（507年），分豫州复置南兖州，治谯城，谯郡改属南兖州。梁武帝中大通四年（532年），取北魏南兖州，改为谯州，谯郡仍属之。东魏