末年群雄割据，合肥几经战乱，最终由曹操控制，并在此设立扬州刺史部，管辖曹操实际控制的扬州江北部分。曹操、孙权以及后来的魏吴两国曾在合肥交战多次，史称“合肥之战”。西晋属淮南郡。东晋在此安置汝阴（今阜阳市）侨民，因而改名汝阴县。刘宋设立南汝阴郡，治汝阴县。南齐改南汝阴郡为汝阴郡。萧梁设南豫州，治于汝阴，遂改合州。隋初复改合肥县，改合州为庐州。唐代建制基本不变。五代十国时期，合肥主要归属杨吴及南唐管辖，两国先后在此设立德胜节度使和保信节度使。北宋庐州建制不变，新设淮南西路管辖包括寿春、合肥在内的淮西各地