Bortinus og Olivie mistet fire barn mens de var små. I 1878 døde Olivie av kreft. Året etter solgte han gården, da han selv lå for døden med lungetuberkulose (tæring). De hadde fire gjenlevende barn, hvorav tre utvandret til Amerika.