Swartberg består offisielt av to mindre fjellkjeder; Lille Swartberg og Store Swartberg (). Ironisk nok er Lille Swartberg, den vestligste av de to fjellkjedene, den høyeste av de to. Seweweekspoortpiek i Lille Swartberg er den høyeste fjelltoppen i hele provinsen med en høyde på 2 325 moh. Det kjente Toverkop rager over byen Ladismith i Little Karoo med en høyde på 2 240 moh. Fjellet er oppkalt etter sin kløyvde topp som ifølge legenden ble delt av en fortryllelse og påfølgende lynnedslag.