隋朝开皇三年（583年）废郡存州，省庐江郡入庐州。
隋朝以后.隋朝大业三年（607年）四月，改庐州为庐江郡。唐朝武德三年（620年），改庐江郡为庐州。天宝元年（742年），复名庐江郡。下辖合肥县、慎县、庐江县、巢县、舒城县（今安徽省舒城县）。至德二年（758年）十二月，复名庐州。