Laget ble til som en sammenslåing av flere klubber i byen, og dukket opp like etter andre verdenskrig. De hadde sin første store periode tidlig på 60-tallet, da de hadde kommet til den øverste divisjonen, og allerede i 1960 kom på andreplass i sluttspillet. I 1962 vant de sluttspillet, og ble tyske mestre, mens året etter tapte laget sluttspillet og kom på andreplass. Etter igjen å ha vunnet Bundesliga i 1964 og kommet på andreplass i 1965, kom laget lenger ned på listen igjen. I 1965 spilte de en UEFA-cupkamp mot Liverpool FC, som etter tre uavgjorte på rad ble avgjort gjennom myntkast, da straffesparkkonkurranse ikke fantes. Myntkastet ble først høykant, før Liverpool vant.