I tiden som ladested hadde Hølen blitt temmelig velstående, og som by fikk stedet flere rettigheter. I 1850 hadde man de tidligere nevnte åtte sagbrukene, to møller, syv detaljhandlere, en brennevinshandel, to skreddere, fire skomakere, seks snekkere, tre smeder, en blikkenslager, tre garvere, en farver og en hattemaker. Det var totalt omkring 80 skattytere, hvilket var en høy andel for en så liten befolkning.