Pierwszy sukces w karierze Jean Vuarnet osiągnął w 1958 roku, kiedy zdobył brązowy medal w zjeździe podczas mistrzostw świata w Bad Gastein. W zawodach tych wyprzedzili go jedynie Austriak Toni Sailer oraz Roger Staub ze Szwajcarii. Na rozgrywanych dwa lata później igrzyskach olimpijskich w Squaw Valley w tej samej konkurencji wywalczył złoty medal. Vuarnet wyprzedził wtedy bezpośrednio Niemca Hansa-Petera Laniga oraz swego rodaka, Guya Périllata. Został tym samym pierwszym w historii alpejczykiem, który zdobył złoto olimpijskie używając nart metalowych (Rossignol Allais 60), a nie drewnianych. Był to zarazem jedyny start olimpijski Francuza. Vuarnet był jednym z pierwszych zawodników stosujących współczesną, aerodynamiczną pozycję zjazdową na nartach.