Etter at familien ble fordrevet fra hjemmet i Schlesien i 1945 tok Töpfer i 1959 Abitur (artium) ved König-Wilhelm-Gymnasium i Höxter. Han avtjente frem til 1960 verneplikten, og ble dimittert som løytnant av reserven.