南北朝时东魏在今山西省吉县设置南汾州。北齐改为汾州，北周再改称西汾州。隋朝南汾州下辖3郡5县。开皇16年（596年）改为耿州，开皇18年（598年）改称汾州。大业3年（607年），郡制施行，南汾州改称文城郡，下辖4县：吉昌县、文城县、伍城县、昌宁县。唐朝武德元年（618年）称南汾州，贞观八年（634年）改南汾州置慈州。