Moren til Welhaven Heiberg var Margrethe Backer (1851–1940). Hun og hennes tre eldre søstre var kulturelt interessert. Harriet Backer (1845–1932) var nest eldst, og regnes blant Norges største malere. I søskenflokken finner vi også pianisten og komponisten Agathe Backer (1847–1907, gift Agathe Grøndahl), som har et stort navn i norsk musikkhistorie. Inga Agathe (1842–1915) var eldst, og en dyktig sanger. Margrethe Backer var, som sin søster Harriet, interessert i malerkunst. Hun fikk utdannelse hos Vilhelm Kyhn i København samt Bergsliens malerskole i Kristiania.