Im März 2003 bestritt Félisaz mit minderem Erfolg zwei Junioren-Wettbewerbe in Planica. Am 21. Dezember 2003 bestritt er in Ruhpolding seinen ersten Wettbewerb B-Weltcup. Mit Rang 53 blieb er jedoch hinter den Erwartungen zurück und blieb daher auch weiter im Junioren-Bereich und startete bei unterklassigen FIS-Wettbewerben der Nordischen Kombination. Bei den Nordischen Junioren-Skiweltmeisterschaften 2004 in Stryn konnte Félisaz im Gundersen-Einzel Rang 12 und damit eine deutliche Steigerung zu 2003 erreichen. Mit der Mannschaft landete er im Teamwettbewerb auf dem sechsten Rang. Im Sprint reichte es für ihn nur zu Rang 30. In den Skisprung-Wettbewerben ging er nicht an den Start.