De 1954 à 1955, il est membre de l'écurie officielle Mercedes-Benz, comme pilote junior aux côtés de Juan Manuel Fangio, Karl Kling, Hermann Lang et Stirling Moss. avec le retour des "Flèches d'Argent" au Grand Prix de France 1954 avec les 2 premières places, Herrmann réussit le tour le plus rapide en course avant d'abandonner. Le podium du Grand Prix de Suisse 1954 a été le meilleur résultat de cette année car il utilisait des versions plus anciennes de Mercedes-Benz W196, ou des voitures moins fiables.