隋灭陈后置，治所在临贺县（今广西壮族自治区贺州市东南贺街）。以贺水为名。大业二年（606年）废。唐朝武德四年（621年）复置，属岭南道。下辖临贺县、封阳县、富川县、冯乘县、桂岭县、荡山县（698年设，今广西昭平县富罗镇）。天宝、至德年间，一度改为临贺郡。宋朝属广南西路。辖境相当今广西壮族自治区贺州、富川、钟山县等市县地。元朝时扩大至今广东省怀集县地。属湖广等处行中书省。明洪武十年（1377年），降为贺县。