Lors du Championnat d'Europe 2004, le sélectionneur Claude Onesta se prive volontairement de certains joueurs, comme Guéric Kervadec et Jackson Richardson afin de les reposer dans l'optique des Jeux olympiques d'Athènes. La France entame la compétition avec deux victoires et un nul mais perd Fernandez en raison d'une fracture à la main droite. Avant cette blessure, Onesta a tenté une expérience en utilisant Jérôme Fernandez sur le poste de demi-centre, poste qu'il occupe également dans son club de Barcelone. La France termine finalement sa compétition à l'issue du tour principal, tour où elle concède deux défaites pour une victoire. À Athènes, il dispute son deuxième tournoi olympique. La France remporte tous ses matches lors du premier tour et affronte alors en quart de finale l'équipe classée de l'autre poule, donc un adversaire "a priori" abordable. Pourtant, la France s'incline face à la Russie sur le score de 26 à 24, en particulier en raison du gardien Andreï Lavrov. Fernandez, auteur de deux buts dans cette rencontre, inscrit 31 buts sur l'ensemble du tournoi, dont neuf lors du seul match remporté face à la Grèce, victoire qui permet à la France de terminer cinquième.