První reprezentační start si připsal 28. dubna 1999 v zápase proti Skotsku. Od roku 2004 navlékal kapitánskou pásku. S německou reprezentací se zúčastnil 3x Mistrovství Evropy (2000, 2004, 2008) a 2x Mistrovství světa (2002, 2006). Největším úspěchem bylo 2. místo z Mistrovství světa 2002, kde však nemohl nastoupit ve finále kvůli dvěma žlutým kartám. Ballack nestihl Mistrovství světa 2010, protože ho nešťastně zranil Kevin-Prince Boateng. Byla to poslední možnost ukázat se v reprezentačním v dresu. Po Mistrovství světa 2010 ukončil své účinkování v reprezentaci.