Es folgte eine in sportlicher Hinsicht weniger erfolgreiche Phase. Weltcupsiege blieben aus und bei den Olympischen Sommerspielen 2004 in Athen schied er gegen seinen Teamkollegen Éric Boisse bereits im Viertelfinale aus. Lediglich der Olympiasieg mit dem französischen Degenteam hübschte die Bilanz auf. Bei der WM 2005 in Leipzig konnte die Degenmannschaft mit der Goldmedaille ihren Olympiasieg bestätigen und auch im Einzel kam Jeannet mit Silber wieder zu einem Medaillenerfolg. 2006 und 2007 errang er bei den Weltmeisterschaften in Turin und St. Petersburg seinen dritten und vierten Titel als Mannschaftsweltmeister, im Einzelwettbewerb schied er 2006 bereits in der ersten Runde aus und meldete im Jahr darauf nicht. Im Mai 2008 kündigte Jeannet, noch bevor seine Teilnahme an den Olympischen Sommerspielen in Peking feststand, für September 2008 seinen Rücktritt aus der Nationalmannschaft an. Er wolle sich auf den Aufbau seiner beruflichen Karriere im IT-Bereich konzentrieren. Beim olympischen Wettkampf drang er dann im Einzelwettbewerb bis ins Finale vor und unterlag dort dem Italiener Matteo Tagliariol. Mit der Mannschaft gewann er wieder die Goldmedaille.