Kongsberg var med 8.086 innbyggere ved Folketellingen 1769 Norges nest største by etter Bergen, og arbeiderne utgjorde rundt 90 % av byens befolkning. I 1770 sysselsatte Sølvverket 4.200 mann. Kongsberg var i denne perioden et tydelig sosialt hierarki, der majoriteten bestod av arbeidere ved Sølvverket, organisert i et strengt rangsystem basert på ulike yrkestitler og ansvarsmengde tilknyttet gruvedriften. I tillegg omfattet bergverksamfunnet også den lokale bondestand, håndverkere og en mer eksklusiv krets med borgerskap og den dansk-norske statens embetsmenn. Formet etter Christian IVs ordre om kvartalform fikk bysentrumet sin konsentrasjon på vestsiden av Numedalslågen. Her lå arbeiderboliger, staselige patrisierhus, smelteverk og Den Kongelige Mynt. En latinskole ble opprettet i 1719, og i 1757 ble Bergseminaret etablert, Norges første høyere utdanningsinstitusjon.