Efter avslutad aktiv karriär övergick Völler inledningsvis till att besätta posten som sportchef i Bayer Leverkusen, men när landslaget efter ett svagt EM 2000 (laget gick inte vidare från gruppen) letade efter en ny förbundskapten och den tilltänkte förbundskaptenen Christoph Daum åkte fast för kokainmissbruk tog Völler över. Völler ledde Tyskland till VM-silver i VM i fotboll 2002 vilket dock även berodde på att Tyskland hade en rad matcher mot förhållandevis lätta motståndare (Paraguay i åttondelen, USA i kvartsfinalen samt Sydkorea i semifinalen) fram till finalen där tyskarna förlorade mot Brasilien med 2-0.