石器时代，在今大余县境内就有人类居住与活动。秦始皇分天下为三十六郡，今大余县境属九江郡，秦始皇三十三年（前214年）置南壄县，今大余县境属之。南朝梁大宝元年（550年）今大余县境由南康郡转属始兴郡。南朝陈太建十三年（581年）始兴郡分置安远郡。隋开皇十年（590年）改安远郡为大庾县，为大余建县之始，属始兴郡。开皇十六年（596年）废始兴郡，大庾县省入虔州南康县，改置大庾镇。唐神龙元年（705年）复名大庾县，隶虔州。北宋淳化元年（990年）置南安军，辖大庾、南康、上犹三县，治所在大庾县。元至元十四