Pierwszy sukces w karierze Jean-Claude Killy osiągnął w 1961 roku, kiedy zdobył złote medale w zjeździe, slalomie, gigancie i kombinacji alpejskiej podczas mistrzostw Francji juniorów. Rok później wygrał swoje pierwsze międzynarodowej zawody, zwyciężając w gigancie podczas zwodów Critérium de la première neige w Val d’Isère. Nie wystąpił jednak na mistrzostwach świata w Chamonix w 1962 roku, bowiem trzy tygodnie przed zawodami złamał nogę. Podczas zjazdu w Cortina d’Ampezzo Killy stracił równowagę i upadł. Od razu wstał i ukończył wyścig na jednej narcie, notując najlepszy czas zawodów. Wkrótce potem został powołany do obowiązkowej służby wojskowej. Stacjonował w Algierii, gdzie zaraził się dyzenterią i chorował na zapalenie wątroby. Mimo iż nie doszedł do pełni sił wystartował na igrzyskach olimpijskich w Innsbrucku w 1964 roku. W biegu zjazdowym upadł, ale ukończył wyścig. W slalomie stracił wiązanie i nie dotarł do mety, ukończył jedynie giganta, zajmując piątą pozycję. W 1964 roku zdołał jednak wygrać giganta podczas zawodów Arlberg-Kandahar w Garmisch-Partenkirchen.