Wilfried Peffgen probierte in seiner Jugend zunächst andere Sportarten wie Hand- und Fußball aus, bis er beim Radsport landete und als 16-jähriger deutscher Straßenmeister der Junioren wurde. 1962 belegte er den vierten und 1964 den zweiten Platz bei der deutschen Straßenmeisterschaft der Amateure. Bei den Olympischen Spielen 1964 in Tokio wurde er Sechster im Straßenrennen und ein Jahr später deutscher Straßenmeister. 1965 bestritt er zum zweiten Mal die Tour de l’Avenir und sicherte sich den Sieg auf der ersten Etappe in Köln und somit das Gelbe Trikot. Bei den UCI-Straßen-Weltmeisterschaften 1965 empfahl er sich mit dem siebenten Platz für eine Karriere im Profilager, die im Dezember 1965 beim Kölner Sechstagerennen begann.