年（466年），失豫州淮西地，谯郡入北魏。北魏改宋之豫州为南豫州，孝文帝太和十九年（495年）复为豫州。宣武帝正始四年（507年），分豫州复置南兖州，治谯城，谯郡改属南兖州。梁武帝中大通四年（532年），取北魏南兖州，改为谯州，谯郡仍属之。东魏孝静帝武定六年（548年），因侯景之乱取南梁谯州，复为南兖州，谯郡仍属之。至此，谯郡领三县：蒙、蕲、宁陵。北齐文宣帝天保七年（556年），省併谯郡及其所领三县。
隋唐.北周改南兖州为亳州。隋炀帝大业三年（607年），改亳州为谯郡，治谯