Peter Hilse begann seine Radsportlaufbahn im Alter von 13 Jahren und wurde später Jugend-Nationalfahrer. Im Amateur-Männerbereich kam er 1983 mit einem ersten Platz beim Eintagesrennen Rund um Düren und mit Platz drei bei der Rheinland-Pfalz-Rundfahrt zu ersten Erfolgen. 1983 startete er erstmals bei den UCI-Straßen-Weltmeisterschaften und wurde als 54. im Straßenrennen der Amateure klassiert.