Wörner var barnebarn av Luftwaffe-generalen Hermann Aldinger, sjef for 1. tunge luftvernbatteri i Legion Condor under den spanske borgerkrigen. Han vokste opp i bestefarens hus i Stuttgart-Bad Cannstatt og gikk på Johannes-Kepler-gymnasiet der. Etter at han tok abitur i 1953, studerte han rettsvitenskap i Heidelberg, Paris og München. Han tok sin første juridiske statseksamen i 1957 og sin andre i 1961, og tok samme år den juridiske doktorgraden med et arbeide innen internasjonal rett.