Han var født utenfor ekteskap, og vokste opp hos moras foreldre på gården Haugen like øst for det nåværende tettstedet Bjugn. Morfaren var den første selveiende brukeren på gården. Johan kjøpte gården av morfaren allerede i 1863, og giftet seg i 1871 med nabojenta Ovedia Jakobsdatter Helland (1852–1907). De fikk ingen barn sammen, men tok til seg to fosterbarn. Etter hans død ble gården solgt på auksjon til brorsønnen Anton P. Haugen (1869-1932).