Teen die middel van die 19de eeu het die gemeente Colesberg ook die wyk Rhenosterberg ingesluit. Vanweë swak vervoergeriewe destyds, asook die lang afstande na die kerk op Colesberg, het gemeentelede in hierdie verafgeleë wyk daarna gestreef om 'n afsonderlike gemeente te stig. Hierin is hulle gesteun deur lidmate in die aangrensende uithoeke van die gemeentes Graaff-Reinet, Cradock en Richmond.