Après ses débuts professionnels dans le modeste club d'Offenbach, Müller rejoint en 1973 le FC Cologne, alors l'une des meilleures équipes ouest-allemandes, et s'y impose rapidement comme titulaire. Il entre dans la légende du football allemand en marquant trois buts lors de sa première sélection en équipe nationale face à la Yougoslavie en demi-finale de l'Euro 1976 à Belgrade.