Pierwszy sukces w karierze Jimmi Madsen odniósł w 1983 roku, kiedy zwyciężył w torowych zawodach København Vinder mini 6-dagesløb. Pięć lat później wystartował na igrzyskach olimpijskich w Seulu, gdzie wraz z kolegami zajął ósme miejsce w drużynowym wyścigu na dochodzenie. Pierwszy medal na międzynarodowej imprezie dobył w 1992 roku, kiedy wspólnie z Kenem Frostem, Janem Bo Petersenem, Klausem Nielsenem i Michaelem Sandstødem zdobył brązowy medal w drużynowym wyścigu na dochodzenie podczas igrzysk w Barcelonie. Na mistrzostwach świata w Hamar w 1993 roku razem z Petersenem, Nielsenem i Larsem Otto Olsenem zdobył brązowy medal w tej samej konkurencji, a na igrzyskach w Atlancie w 1996 roku Duńczycy zajęli trzynastą pozycję. Ostatni medal zdobył podczas mistrzostw świata w Berlinie w 1999 roku, gdzie razem z Jakobem Piilem był drugi w madisonie. Brał także udział w igrzyskach olimpijskich w Sydney w 2000 roku, gdzie w madisonie był dwunasty, a rywalizację w wyścigu punktowym ukończył na 22. pozycji.