Fürst begynte i 1969 på i Stuttgart, der han studerte gresk og hebraisk. Deretter studerte han teologi ved fakultetet for katolsk teologi ved universitetet i Tübingen (1970) og ved universitetet i Wien (1971 til 1973). I 1975 besto han de nødvendige teologiske eksamener. Deretter begynte han bispedømmet Rottenburg-Stuttgarts presteseminar i Rottenburg am Neckar.