Jakob Vilhelm var sønn av Edvard Omsen Heiberg (1829–84) som var stiftsoverrettsassessor, og Vilhelmine Augusta Rode. Jakob hadde tre kjente brødre: Teatersjef og forfatter Gunnar Heiberg (1857–1929), lege Inge Heiberg (1861–1920) og teatersjef Anton Heiberg (1878–1947).