Charlestown ble etablert i 1770 av Charles Bruce, 5. jarl av Elgin. Byplanen er lagt ut i form av en bokstav E for Elgin. Den ble etablert som havneby for eksport av kull fra gruvene på Elgins eiendommer, og for produksjon av kalk. Det ytre havnebassenget ble bygget rundt 1840. I 1887, i anledning av dronning Victorias 50-årsjubileum som regent, ble Queen's Hall bygget i sentrum av landsbyen, etter tegninger av Robert Rowand Anderson.