Stor-Johan var gift med Lena Ullrikke Karlsdotter Stålberg (1847–1912) «af tattarsläkte» fra Sverige. Hun var kjent som «Ulla», og var datter av omreisende Karl Magnus Erlandsson (født 1817 i Sverige) og Anna «Lisa» Elisabeth Larsdatter Lund (født i Sverige). Slektsnavnet Stålberg hadde Ulla fra sin mormor, mens hun andre ganger brukte etternavnet etter sin far, eller sin fars patronym .