Welhaven ble født inn i en familie med nære relasjoner til sentrale personer i norsk kulturliv. Faren, Hjalmar Welhaven (1850–1922) var nest eldste sønn av dikteren Johan Sebastian Cammermeyer Welhaven (1807–1873) og hans danske kone Josephine Angelica Bidoulac (1812–1866). Johan Sebastian Welhavens far, Johan Ernst Welhaven (1775–1828), var prest, blant annet ved St. Jørgen i Bergen, som var kirke og hospital for de spedalske i distriktet. Hjalmar Welhaven var utdannet arkitekt, og tegnet fortrinnsvis trebygninger og arbeiderboliger i Kristiania. Han er likevel mest kjent for huset til Fridtjof Nansen, Polhøgda (1900–02) på Fornebu, utført i stein. I 1883 ble han slottsforvalter for Oscar II. Moren til Welhaven var Margrethe Backer (1851–1940). Hun og hennes tre eldre søstre var kulturelt interessert. Harriet Backer (1845–1932) var nest eldst, og regnes blant Norges største malere. I søskenflokken finner vi også pianisten og komponisten Agathe Backer (1847-1907, gift Agathe Grøndahl), som har et stort navn i norsk musikkhistorie. Inga Agathe (1842–1915) var eldst, og en dyktig sanger. Margrethe Backer var, som sin søster Harriet, interessert i malerkunst. Hun fikk utdannelse hos Vilhelm Kyhn i København samt Bergsliens malerskole i Kristiania.