Han var utdannet ved Kristiania Tekniske Skole og tok eksamen ved Technische Universität Berlin i 1882. Han var assistent for Johannes Otzen frem til 1885. Etter et opphold i Kristiania returnerte Fürst til Berlin og studerte videre ved Königliche Akademie der Künste fra 1889 til 1891. Han var også assistent for Paul Wallot frem til 1892, da han vendte hjem til Norge. Han åpnet eget arkitektkontor i Kristiania i 1896, og hans bror ble partner i 1902.