时，省併始阳、常安二县。宋文帝元嘉二十九年（452年），复属广州。元嘉三十年（453年），改属湘州。宋明帝时，改始安郡为始建郡。宋末，苍梧郡之建陵县改属始建郡，析置乐化左县。齐高帝建元元年（479年），复为始安郡。梁武帝大同六年（540年），分湘州立桂州，始安郡改属桂州。
隋唐.隋文帝开皇九年（589年），灭陈，废始安郡，其地属桂州。隋炀帝大业三年（607年），改桂州为始安郡。始安郡领十五县：平乐、荔浦、建陵、阳朔、象、隋化、义熙、龙城、马平、桂林、阳寿、富川、龙平、豪静。