Han giftet seg første gang i 1893 med Alison Lyng, datter av kjøpmann Johan Daniel Lyng (den senere statsminister John Lyng var hennes nevø). De fikk to barn før ekteskapet ble oppløst i 1899. I 1901 giftet han seg på nytt med Kitty Lein, datter av kaptein i den trondhjemske brigade Johan Peter Lein. De fikk også to barn. Johan og Kitty bodde i samme bygård som Trondhjems Realkreditbank holdt til, i Søndre gate. Han døde av hjerteinfarkt etter noen tids sykdom i 1937, 72 år gammel, og ble bisatt fra Nidarosdomen til krematoriet og stedt til hvile på Domkirkegården.