Die klub het op 1 Julie 1904 ontstaan as Turn- und Spielverein Bayer 04 Leverkusen, 'n sportklub vir die werknemers van die maatskappy Bayer AG (destyds nog bekend as Friedrich Bayer & Kie). Op 31 Mei 1907 is die sokkerafdeling gestig en op 8 Junie 1928 het die sokkerafdeling (saam met van die ander afdelings) onafhanklik geword as Sportvereinigung Bayer 04 Leverkusen. Die gimnastiekafdeling het egter voortgegaan as TuS Bayer 04 Leverkusen. Die twee afdelings het eers weer in 1984 saamgesmelt en die huidige klub gevorm.
Die klub het die eerste keer in 1951 op die hoogste vlak meegeding toe die Oberliga Wes gehaal is. Met die stigting van die Bundesliga het die klub egter op die tweede vlak meegeding en die Bundesliga is eers in 1979 die eerste keer gehaal.
Leverkusen se eerste groot sukses is in 1988 behaal met die verowering van die UEFA-beker deur Espanyol in die eindstryd met strafskoppe te verslaan. Nog 'n hoogtepunt was die verowering van die DFB-Pokal in 1993. In die Bundesliga was die klub veral in die laaste jare redelik suksesvol gewees met vier tweede plekke as hoogtepunt. Die klub kon egter nog nooit Duitse kampioen word nie.