Smith bodde selv i Kongens gate 32, i tillegg leide han ut rom på storgården sin. Under folketellingen i 1865 bodde Smith familien med 2 handelsbetjenter, 1 bakergutt, 1 gårdsgutt og 2 tjenestepiker. Gårdsgutten, tjenestepikene og bakergutten arbeidet på gården til familien Smith. Det var vanlig for de mest velstående familiene å ha folk som arbeidet på gården sin i denne tidsperioden. Tjenestepikene og gårdsguttene var i tillegg så kalte sosialiseringsagenter for barna som bodde på gården de arbeidet på. Det var vanlig at barna ble sosialisert inn i så kalte komplementære kjønnsroller av tjenestepikene og gårdsguttene.