Müller startet fotballkarrieren i klubben TSV 1861 Nördlingen. Han gikk til FC Bayern München i 1964, der han spilte på lag med kommende stjerner som Franz Beckenbauer og Sepp Maier. Den gang var klubben, som skulle bli Tysklands mest suksessrike klubb gjennom alle tider, fremdeles i , som den gang var ett nivå under Bundesliga. Etter en sesong rykket Bayern München opp i Bundesliga. I løpet av de neste årene var Müller med på å vinne flere tyske og europeiske troféer for klubben, og ble i tillegg både tysk og europeisk toppscorer flere ganger.