Den größten Erfolg seiner Karriere als Sportler feierte Vuarnet bei den Olympischen Winterspielen 1960 in Squaw Valley, als er Olympiasieger in der Abfahrt wurde. Er verwendete bei diesem Sieg erstmals Metallskier und er gilt als Erfinder der „Ei-Hocke“ (auf Französisch: "dite de l'œuf"), die er bei diesem Sieg angewendet hat. Zuvor hatte er bei der Alpinen Skiweltmeisterschaft 1958 in Bad Gastein die Bronzemedaille in der Abfahrt gewonnen. Von 1957 bis 1959 wurde Vuarnet siebenmal Französischer Meister – je zweimal in Abfahrt, Slalom und Kombination und einmal im Riesenslalom.