Allofs spilte for hjembyen i Fortuna Düsseldorf fra 1975. Han begynte som offensiv midtbane før han ble angrepsspiller. I denne perioden var Allofs svært målfarlg, og ble toppscorer i Bundesliga i 1978-79-sesongen. Han spilte ofte med broren Thomas Allofs på topp, og laget med de to vant blant annet cupen to ganger på rad. I Cupvinnercupen for 1978-79 hjalp Allofs til med å få Fortuna Düsseldorf til finalen, med må i første runde og to mål i semifinalen, og utlikning til 1-1 i finalen etter åtte minutter. Kampen endte imidlertid med tap for Fortuna Düsseldorf mot FC Barcelona etter 3-4 til slutt.