Han ble født på Brattreit i Malm som sønn av overstiger John Guldahl og hustru Ingeborg Sandstad. Farfaren var skogfogd Anders Guldahl på Røros, mens morfaren var stortingsmann Anders Sandstad på Ytterøy. Familien flyttet snart til Ytterøy, hvor faren arbeidet for Anton Sophus Bachke. En av Halvor Bachke Guldahls søstre ble gift med handelsmann og ordfører John Vigen, en annen med lærer, klokker og ordfører Anton Faanes, begge på Ytterøy.