Fürst giftet seg i København 19. november 1812 med Fredrikke Martine Ramløse (1792–1869). Deres datter Maren Ottilie Fürst (1813–1898) giftet seg med den franske og hanseatiske konsulen Isaac Leth Kallevig (1805–1887), sønn av konsul og skipsreder Morten Michael Kallevig.