Han ble født i Modum som sønn av veterinær Theodor Sundby og hans kone Gullaug, født Bjertnes. Sundby giftet seg og fikk ett barn, og familien hadde bosatt seg i Vestre Aker.