Peter Herrmann trainierte Judo im Polizei SV Berlin. 1963 erkämpfte er bei den Amateur-Europameisterschaften eine Bronzemedaille in der Gewichtsklasse unter 80 Kilogramm. Bei den Judo-Europameisterschaften 1966 gewann er hinter dem Niederländer Joop Gouweleeuw die Silbermedaille im Halbschwergewicht, der Gewichtsklasse bis 93 Kilogramm. 1967 gewann er in Rom seinen ersten Europameistertitel durch einen Sieg über den Franzosen Pierre Albertini. Bei den Weltmeisterschaften 1967 in Salt Lake City erkämpfte Herrmann zwei Bronzemedaillen, eine im Halbschwergewicht und eine in der offenen Klasse. 1968 gewann er in Lausanne seinen zweiten Europameistertitel, wobei er im Finale Helmut Howiller aus der DDR bezwang. Bei den Weltmeisterschaften 1969 in Mexiko-Stadt gewann er die Silbermedaille hinter dem Japaner Fumio Sasahara.