Durant l'année 1953, Jean Boiteux décide de prendre du recul avec le sport en prenant une année sabbatique. Avant son retour l'année suivante, il épouse une femme elle aussi nageuse mais se fâche avec son père. En 1955, il quitte la métropole pour rejoindre l'Algérie, à Oran, y effectuer son service militaire tout en représentant le club de la Grand Marine oranaise à partir des « France » 1955. Ces événements influencent grandement les performances du nageur et l'éloignent progressivement du niveau qu'était le sien en 1952. Ainsi, deux ans après son titre olympique, lors des Championnats d'Europe 1954 se tenant à Turin, il ne remporte qu'une seule médaille au titre du relais français nage libre, battu par le quatuor hongrois. En individuel, loin de la forme qui lui avait permis de triompher en Finlande, il termine cinquième de la finale du nage libre à plus de deux secondes du podium et quatre de la victoire. Il justifie alors son échec en arguant s'être disputé avec un juge avant la course. En , à Bellerive-sur-Allier, il est battu pour la première fois sur nage libre aux Championnats de France, par Guy Montserret, sociétaire de l'UNI Constantine. Il s'impose cependant sur la distance inférieure. Un mois plus tôt, il avait remporté trois médailles aux II Jeux méditerranéens disputés à Barcelone, gagnant le 400, le et le relais nage libre.