Wellershoff var sønn av en gruveingeniør og vokste opp helt vest i Tyskland, nær grensene til Nederland og Belgia. Han utdannet seg fra 1953 til maskiningeniør ved RWTH Aachen og i 1957 ble han kadett i marinen. Han tok admiralstabsutdanning i 1960-årene. I 1985 ble han sjef for Sjøforsvaret og i 1986 ble han admiral og forsvarssjef i Vest-Tyskland. Den tyske gjenforeningen fant sted i hans embetstid. Wellershoff var visepresident i Clausewitz-selskapet fra 1981 til 1983. Etter at han gikk av som forsvarssjef var han president i Bundesakademie für Sicherheitspolitik fra 1992 til 1995. Han har utgitt en rekke bøker og artikler om sikkerhetspolitiske emner.