Á EM 2000 var þýska landsliðið slegið út í riðlakeppninni og var þjálfarinn, Erich Ribbeck, þá látinn fara. Þá tók Rudi Völler við landsliðinu og var þjálfari þess í 4 ár. Besta árangrinum með liðinu 2002 á HM í Suður-Kóreu og Japan, en þar komst Þýskaland í úrslitaleikinn. Þjóðverjar biðu lægri hlut fyrir Brasilíu 0-2. Rudi Völler var yfirhöfuð rólegur maður og afar kurteis. En eftir mikla gagnrýni fréttamanna á störf sín í undankeppni fyrir EM 2003 missti hann stjórn á skapi sínu þegar Þýskaland gerði 0-0 jafntefli við Ísland á Laugardalsvelli. Í beinni útsendingu að leik loknum skammaðist hann í fréttamenn og lét ýmis óvægin orð falla. Hann baðst seinna afsökunar á orðavali sínu, en hélt þó fast við gagnrýni sína. Í úrslitakeppninni sjálfri náði Þýskaland ekki að komast upp úr riðli sínum. Við svo búið sagði Völler af sér. Við þjálfarastöðunni tók Jürgen Klinsmann. Seinna á árinu gerðist Völler þjálfari AS Roma, en sagði af sér eftir aðeins mánuð þar, vegna lélegs gengis. Eins og er starfar Rudi Völler enn sem yfirmaður knattspyrnumála hjá Bayer Leverkusen.