Die dorp het 'n tipiese Karooklimaat met baie warm somers en gematigde winters. Prins Albert het 300 sonskyndae en 'n gemiddelde reënval van slegs 220 millimeter per jaar.
Die dorp het sodanig gegroei dat daar in 1881 'n dorpsbestuur in die lewe geroep is, en in 1901 munisipale status toegeken is. Waarskynlik is hierdie vinnige groei deur die volstruisveer-era gestimuleer. Met die voltooiing van die Swartbergpas in 1886 het Prins Albert 'n belangrike sentrum langs die roete tussen die kus en die binneland geword. Die dorp was in 1891 midde-in 'n goudstormloop toe 'n goudklont naby die dorp ontdek is.