汉末期至三国，曹魏、孙吴两势力曾于此交战，是为五次合肥之战，孙吴均败。西晋属淮南郡。东晋改汝阴县。南北朝期间曾在此设南豫州、合州、南汝阴郡等州郡。隋初复改合肥县，改合州为庐州。唐沿旧制，唐末至五代十国在此先后设德胜节度使与保信节度使。宋为庐州治所与淮南西路转运司、安抚司驻地，南宋时期，合肥是抗金前沿。元为庐州路治所与淮西道宣慰司、淮西江北道肃政廉访司驻地。明为南京六部直隶庐州府治。清为江南省及安徽省庐州府治。安徽省建于1667年，合肥在1853年至1862年间为安徽省临时省会。1912年废庐州府，合