Thon kwam via STV Horst-Emscher in 1980 in de jeugd van Schalke 04 terecht. Na drie jaar debuteerde hij in het eerste elftal. Hiermee promoveerde de middenvelder in zijn eerste seizoen naar de Bundesliga. Vijf seizoenen speelde Thon met Schalke in de Bundesliga. In de zomer van 1988 vertrok hij naar Bayern München, waar hij de naar het Italiaanse Internazionale vertrokken Lothar Matthäus moest vervangen. Bij de Beierse club was hij zes jaar actief en in de helft van die jaren werd hij kampioen met Bayern. In 1994 keerde Thon terug naar Schalke 04, waar hij veelal als verdediger ging voetballen. In 1997 werd de finale van de UEFA Cup gewonnen van Internazionale.