Fürst var sønn av Anna Cathrine Thalette Backer (1834–1921) og kjøpmann og skipsreder Hans Siegwardt Fürst (1826–94). Han var bror til arkitekten Christian Fürst (1860–1910) og legen Valentin Fürst (1870–1961).