Haller spilte for sin moderklubb Augsberg frem til han dro til Italia for å spille for Bologna så Juventus. Han reiste så tilbake til moderklubben i 1973 og la opp i 1979.