Jerusalem ble født i Oberhausen, og studerte piano, fiolin og fagott ved Folkwangschule i Essen. Han begynte sin karriere som fagottist, engasjert i Hof i 1961 og de neste ti årene i Reutlingen: fra 1971–77 var han tilknyttet Radio-Sinfonieorchester Stuttgart des SWR. I 1971 begynte han også å ta sangtimer med Hertha Kalcher fra Stuttgart. I 1975, da han skulle opptre i orkesteret til en TV-produksjon av , steppet han inn for tenoren Franco Bonisolli i siste øyeblikk.