Seine Qualitäten als starker Bergfahrer stellte er bereits als Amateur unter Beweis. Bei der Österreich-Rundfahrt 1951 und 1952 wurde er "Großglocknerkönig", d. h. er überquerte den Großglockner auf der Etappe als Erster. Im Jahr 1949 begann Gaul mit dem Radsport. Die Profikarriere des „Engel der Berge“ genannten Bergspezialisten dauerte von 1953 bis 1965. Neben seinem Sieg bei der Tour de France 1958 erreichte Gaul 1955 und 1961 zwei dritte Plätze bei dieser Grand Tour. 1955 und 1956 gewann er außerdem die Bergwertung. 1956 und 1959 siegte Gaul beim Giro d’Italia. Insgesamt erzielte er zehn Etappensiege bei der Tour de France und elf Etappensiege beim Giro d’Italia. Bei den UCI-Straßen-Weltmeisterschaften 1954 belegte er Rang drei. Viermal wurde er zum „Sportler des Jahres“ in Luxemburg gewählt. Im Jahr 1999 wählte ihn die luxemburgische Sportpresse zum "Sportler des Jahrhunderts".