地方志记载，“合肥县盖秦置，秦改封建为郡县，属九江郡”，但秦时旧县名已不可考。公元前122年（汉武帝元狩元年），改淮南国为九江郡，辖合肥等县，这是合肥县建制之始。“合肥”名称来自其独特的地理位置，说法有二。其一是北魏郦道元《水经注》：“夏水暴涨，施（今南淝河）合于肥（今东淝河），故曰合肥”。唐代有人提出另一种说法，淝水出鸡鸣山，北流二十里分而为二，其一东南流（南淝河），经过这里入巢湖；其一西北支（东淝河），二百里出寿春入淮河。《尔雅》上指出“归异出同曰肥”，因此“二水皆曰肥，合于一源，分而为二，故曰合肥。”