正始四年（507年），分豫州复置南兖州，治谯城，谯郡改属南兖州。梁武帝中大通四年（532年），取北魏南兖州，改为谯州，谯郡仍属之。东魏孝静帝武定六年（548年），因侯景之乱取南梁谯州，复为南兖州，谯郡仍属之。至此，谯郡领三县：蒙、蕲、宁陵。北齐文宣帝天保七年（556年），省併谯郡及其所领三县。
隋唐.北周改南兖州为亳州。隋炀帝大业三年（607年），改亳州为谯郡，治谯县（今安徽省蒙城县西北），领六县：谯、酇、城父、谷阳、山桑、临涣。魏永平元年（617年），改谯郡为亳州。唐玄宗