Pommer begann mit sieben Jahren Radsport zu betreiben und wurde später Mitglied des RMC 1950 e.V. in Schweinfurt. Höhepunkt seiner Karriere war die Teilnahme an den Olympischen Sommerspielen 1956 in Melbourne. Als Mitglied der gesamtdeutschen Mannschaft belegte er im Einzelstraßenrennen den 18. Platz und gewann zusammen mit den DDR-Fahrern Gustav-Adolf Schur, Erich Hagen und Horst Tüller die Bronzemedaille in der Mannschaftswertung. In der Bundesrepublik wurde er dafür mit dem Silbernen Lorbeerblatt ausgezeichnet. Im selben Jahr wurde Pommer deutscher Vizemeister der Amateure im Einzelstraßenrennen. Bei den UCI-Straßen-Weltmeisterschaften der Amateure war er 1956 (17.) am Start. Er gewann in jener Saison auch das international besetzte Rennen "Rund um Velbert".