In den folgenden Jahren hatte Rosier als Rennfahrer allerdings weniger Glück. In der Saison 1951 konnte er mit dem nun noch deutlicher unterlegenen Wagen nur noch einmal mit dem vierten Platz beim Grand Prix von Belgien in die Punkte fahren, was im Endklassement den 13. Rang mit drei Punkten bedeutete. Allerdings gewann er in diesem Jahr erneut die Rallye in Monaco, diesmal in der Klasse bis 750 cm³. Bis 1954 versuchte er sich wie manch andere Fahrer, die mit den Werksteams nicht mehr mithalten konnten, auf einem Ferrari 500 in der Formel 2. Hier konnte er immerhin vier Rennen siegreich beenden. Dadurch ermutigt kehrte er mit seiner "Ecurie Rosier", seinem alten Ferrari 500 und dem für die neue 2,5-Liter-Formel entwickelten 625 in die Königsklasse zurück. Letzterer wurde in der Regel von Manzon oder Trintignant gefahren, er selber blieb mit dem technisch zunehmend unterlegenen 500 meist chancenlos. Zur Saisonmitte trat er mit einem Maserati 250F, den zuvor Luigi Villoresi gefahren hatte, für das Werksteam von Maserati beim Großen Preis vo Italien in Monza an und kaufte das Fahrzeug Ende Saison für seine Ecurie. Rosier erzielte aber nur noch 1956, im letzten Jahr seiner Karriere, auf dem Maserati beim Großen Preis von Deutschland auf dem Nürburgring den fünften Rang.