Han var sønn av kirurgen Johan Fritzner Heiberg (1805–83) og storebror til finansmannen Axel Heiberg (1848–1932). Hans morfar var maleren Jacob Munch (1776–1839).