Johan Andersen giftet seg 24. oktober 1891 med den to år eldre Pauline Johanne Gjetnæs fra Ålesund. Begge var utmeldt av statskirken og tilhørte frimenigheten Christi Menighed. De var dissentere og ble derfor viet borgerlig av sorenskriveren i Mellem Jarlsberg. Johan hadde fylt 20 år og var gullsmedsvend. Pauline var 22 og var datter av smedmester Martin Lassesen Gjetnæs i Ålesund. De fikk to barn: Abel Philip, født 28. august 1894 og Martin Eugen, født 21. september 1897.