Han var sønn av brukseier Holm Jølsen på Ekeberg i Enebakk, og bror til forfatteren Ragnhild Jølsen. Han var gift med Anna Marie Heyerdahl, som døde i 1905. Han ble igjen gift med Hulda Constance Hjort, født Haneborg, fra 1906.