Viollet kom fra Uniteds egen juniorstall, og debuterte i april 1953. I årene før München-ulykken dannet han et svært målfarlig spisspar sammen med Tommy Taylor. Taylor omkom i flyulykken, mens Viollet slapp unna med lettere skader, og var tilbake på fotballbanen mot slutten av 1957/58-sesongen.