Han ble gift første gang 29. desember 1876 med Gunvor Sophie Rytterager (1843–1882), andre gang 9. januar 1883 med Anna Maria Augusta Bergløf (født i Stockholm 1855). Han var far til dikteren Olaf Bull.