W młodości uprawiał kolarstwo. Jako zawodnik AZS Gliwice został akademickim mistrzem Polski - indywidualnie oraz drużynowo w 1951 i 1954. Został również wicemistrzem Polski drużynowo w górskich akademickich mistrzostwach Polski w 1954. Już w latach 50. został trenerem tej dyscypliny. W 1958 założył sekcję kolarską w klubie Kolejarz Gliwice, której najwybitniejszym wychowankiem był Witold Plutecki. Równocześnie w latach 60. i 70. pomagał trenerom polskiej kadry szosowej – Robertowi Nowoczkowi i Henrykowi Łasakowi. Po zakończeniu sezonu 1974 został trenerem polskiej kadry szosowej (zastępując Wojciecha Walkiewicza). Poprowadził swoich zawodników, razem z pomagającym mu Andrzejem Trochanowskim do mistrzostwa świata wyścigu drużynowym na 100 km (1975) i srebrnego medalu w tej samej konkurencji na Igrzyskach Olimpijskich w Montrealu (1976). Ponadto w 1975 Ryszard Szurkowski zwyciężył w Wyścigu Pokoju, a na Igrzyskach Olimpijskich w 1976 Mieczysław Nowicki zdobył brązowy medal w wyścigu indywidualnym ze startu wspólnego. Karol Madaj ustąpił z funkcji trenera kadry po Wyścigu Pokoju w 1977. Następnie w latach 1978–1987 prowadził kadrę szosową Austrii, z którą zdobył m.in. brązowy medal w mistrzostwach świata w 1987 w wyścigu drużynowym na 100 km. Później do 1990 był trenerem w Kolejarzu Gliwice, gdzie jego zawodnikiem był m.in. Artur Krzeszowiec. Następnie przeszedł na emeryturę, wciąż prowadząc szkolenia z ramienia Polskiego Związku Kolarskiego.