Per Mertesacker honore sa première sélection à l'âge de , le en entrant à la lors d'un match amical contre l'Iran (victoire 2-0) à l'âge de . Dès le match suivant contre le Cameroun, il est titularisé aux côtés d'un autre jeune Robert Huth, qui n'en est qu'à sa quatrième sélection. Il s'installera dès lors comme titulaire dans la sélection de Jürgen Klinsmann. En 2005, il participe à la Coupe des confédérations et profite d'un match contre l'Australie pour marquer son premier but international (victoire 4-3). Néanmoins, la défense qu'il forme avec Robert Huth est loin d'être convaincante aux yeux des médias.