先后为后赵（325年－350年）、冉魏（350年－351年）、东晋（351年－359年）、前燕（359年－370年）、前秦（370年－384年）所有。前秦建元六年（370年），分兖州、豫州置南兖州，谯郡改属南兖州。建元二十年（384年），谯郡入东晋，改属徐州，复称谯国。东晋后期，省併谯、城父、酇、山桑、龙亢、铚六县（豫州谯国、历阳郡境内则置有其同名侨县），梁国宁陵县、陈留国襄邑县改属谯国，新置蒙、魏二侨县，移治蒙县（今安徽省蒙城县西北）。晋安帝隆安三年（399年），陈留郡入后秦，后遂在谯国境内侨置陈留郡