属荆州桂阳郡。东汉末全境属吴国。吴甘露元年（265年），中宿等5县属新设立的荆州始兴郡。
南北朝.南北朝时战事不断，汉族人民大量南迁，南朝统治者为安插部属，大量增设州、郡、县。梁大同元年（546年），在含洭设西衡州，领阳山郡、梁乐郡、齐乐郡。其中阳山郡辖含洭、阳山、桂阳、广德（南梁天监五年置县，后改称广泽）等县；梁乐郡辖梁乐（今阳山县地，后改称宣乐）、洊安（县地不详）县；齐乐郡辖希平县（今连南、连山县地，后改称熙平县）；清远郡，辖中宿、威正（ 县治在今肇庆四会市威整镇）廉平、恩洽、