Ha disputato gli Europei del 2000, giocando solo due delle tre partite disputate dai tedeschi: la sfida contro l'Inghilterra, nella quale è subentrato a Sebastian Deisler, e quella contro il Portogallo, nella quale è uscito dopo 46 minuti di gioco. Due anni dopo ha guidato come capitano la nazionale tedesca ai Mondiali del 2002 disputati in Giappone e Corea del Sud. Ha giocato tutte e tre le gare della fase a gironi realizzando tra l'altro un gol contro l'Arabia Saudita. Nei quarti di finale contro gli Stati Uniti è stato proprio il suo gol a qualificare la Germania al turno successivo. In semifinale ha segnato il gol dell'1-0 contro la Corea del Sud padrona di casa che ha permesso alla formazione tedesca di approdare in finale. Tuttavia, essendo diffidato, non ha potuto giocare la partita contro il Brasile che si è poi imposto sui tedeschi per 2-0 grazie ad una doppietta di Ronaldo. Ballack, in merito all'episodio e alla sconfitta in finale, dichiarò: «Un episodio che mi ha pesato per un po', anche se negli ultimi due anni non ci ho pensato poi molto. È successo, s'era creata quella situazione di pericolo contro la Corea e ho dovuto fare fallo. Non so se con me, nella finale, sarebbe andata diversamente. Gli altri erano migliori, dobbiamo accettarlo».