Byen var en kort tid provinshovedstad for Anhui mellom 1853 og 1862. Den skiftet navn til i 1912. Etter den kinesiske seier etter den annen sino-japanske krig ble Hefei i 1949 atter hovedstad for Anhui.