Faren, Hjalmar Welhaven (1850–1922), var nest eldste sønn av dikteren Johan Sebastian Cammermeyer Welhaven (1807–1873) og hans danske kone Josephine Angelica Bidoulac (1812–1866). Johan Sebastian Welhavens far, Johan Ernst Welhaven (1775–1828), var prest, blant annet ved St. Jørgen i Bergen, som var kirke og hospital for de spedalske i distriktet. Hjalmar Welhaven var utdannet arkitekt, og tegnet fortrinnsvis trebygninger og arbeiderboliger i Kristiania. Han er likevel mest kjent for huset til Fridtjof Nansen, Polhøgda (1900–02) på Fornebu, utført i stein. I 1883 ble han slottsforvalter for Oscar II.