En 1954, Robic change d'équipe (Colomb cessant l'activité de son équipe cycliste) et intègre l'équipe Terrot. Après une neuvième place à la course de côte du mont Faron, il obtient une au général de Paris-Côte d’Azur. Il termine alors second de la Polymultipliée qu'il avait remportée en 1952. Sur le Critérium du Dauphiné libéré, il signe la troisième place de la sixième étape remportée par Charly Gaul à Besançon. Robic participe alors au Tour au sein de l'équipe de l'Ouest. À la suite de la première section de la quatrième étape courue en contre-la-montre par équipes sur le circuit des Essarts, Robic est sixième au général à de Bobet ; l'équipe de l'Ouest s'étant classée troisième du contre-la-montre derrière la Suisse et la France. L'après-midi, l'arrivée est donnée à Caen : alors que Robic s'apprête à disputer le sprint du peloton, il percute un opérateur de prise de vue (Jean Forgue) situé sur le bord de la chaussée. Fiévreux et sérieusement blessé à l'épaule, Robic est non-partant le lendemain. Après le Tour, Robic participe au Tour de l'Ouest, sur lequel il abandonne. Au championnat du monde sur route, il finit . Fin 1954, Robic lance sa propre marque de cycles nommée « Jean Robic », une sous-marque de l'équipe Gitane.