Han var sønn av Frederik Stalsberg (1798–1868) fra Kongsberg og Rebekka Dorothea Haaversdatter (1806) fra Kristiansand. Faren var kjøpmann i Kongsberg. Broren Theodor Christian (1837–1908) ble forstmester, forvalter av skogene i Nordmarka. Rik. F. giftet seg med Adelheid Jacobsen (1838–1888) som var datter til Christian Gotlieb Jacobsen, som var rustmester ved Kongsberg Våpenfabrikk, altså den som hadde tilsyn med våpenlagrene.