Największy sukces w karierze Leo Nielsen osiągnął w 1928 roku, kiedy wspólnie z Henrym Hansenem i Orlą Jørgensenem zwyciężył w indywidualnej jeździe na czas podczas igrzysk olimpijskich w Amsterdamie. Na tych samych igrzyskach w rywalizacji indywidualnej został sklasyfikowany na siódmej pozycji. Podczas rozgrywanych cztery lata później igrzysk olimpijskich w Los Angeles razem z Frode Sørensenem i Henrym Hansenem zdobył drużynowo srebrny medal. W 1931 roku wystartował na mistrzostwach świata w Kopenhadze, gdzie zdobył brązowy medal w wyścigu ze startu wspólnego amatorów, ulegając jedynie Hansenowi i Giuseppe Olmo z Włoch. Tym razem wyścigu indywidualny Nielsen zakończył na dziewiątym miejscu. Kilkakrotnie zdobywał medale szosowych mistrzostw Danii, w tym złoty ze startu wspólnego w 1934 roku. W 1935 roku zdobył złoto na szosie, zarówno indywidualnie, jak i drużynowo na mistrzostwach krajów nordyckich.