Fjellene er oppkalt etter asbest som ble utvunnet på 1900-tallet og som finnes som en variant av amfibol kalt blå-asbest (krokidolitt). Sprekk forekommer i fjell som består av skifer, og er knyttet til jaspis og kvartsitt som er rike på magnetitt og brun jernmalm. Geologisk sett hører Asbestfjellene til Griquatown, med samme bergartsammensetning som i sistnevnte by.