Mathy startede sin karriere hos Bayern München, hvor han spillede i syv sæsoner. Her var han med til at vinde fire Bundesliga-titler og tre udgaver af DFB-Pokalen. Han var også en del af holdet der nåede Mesterholdenes Europa Cup finale 1982, som Bayern dog tabte til Aston Villa fra England. Mathy startede kampen på banen, men blev udskiftet kort inde i anden halveg.