Po rozczarowaniu, jakie przyniosły Niemcom Mistrzostwa Europy w Belgii i Holandii 2000, gdzie reprezentację trenował Erich Ribbeck, federacja DFB zatrudniła Völlera jako nowego selekcjonera, chociaż nie miał pełnej licencji trenerskiej. Początkowo planowano mu pracę tylko przez jeden rok, jednak kontrakt przedłużono po skandalu narkotykowym, jaki wybuchł wokół jego potencjalnego następcy Christopha Dauma. Reprezentacja zdobyła niespodziewanie srebrny medal na azjatyckim mundialu 2002. Jednak kolejna wielka impreza okazała się porażką. Po odpadnięciu w fazie grupowej Euro w Portugalii 2004 Völler zrezygnował z prowadzenia kadry. Po dymisji Cesarego Prandellego z funkcji trenera Romy, przejął ten klub w roku 2004, jednak szybko zrezygnował, po paśmie porażek i nieporozumień z zawodnikami, m.in. z Antonio Cassano.