Han var sønn av Ude Jacob Høst (1834–1918) og Lorentze Schulrud (1837–99). Faren var født i Danmark, men var distriktslege i Bergen i 1859 på den tiden Sigurd ble født. Senere var han distriktslege i Moss fra 1880 til 1903, der man i dag finner «Høstegården» i Kongens Gate 27.