Fram til 1875 var Holmsbu det største tettstedet i Hurum, fulgt av Filtvet og Verket. Folketellingen 1865 viser at stedet hadde nøyaktig 400 innbyggere, fordelt på 75 bosteder. Den viser videre at de vanligste yrkene var fisker og matros; over 2/3 av mennene var registrert i ett av disse to yrkene. Av de øvrige var mange registrert med andre yrker knyttet til sjøfart og fiske, som los, skipsfører, styrmann, fraktmann, fiskehandler og røyert/rorskarl. Noen var registrert med yrker man vil forvente å finne i en liten småby, som smed, snekker, skomaker, baker, kjøpmann, handelsbetjent, gjestegiver og lærer.