Jürgen Klinsmann haría debutar a Mertesacker el 9 de octubre de 2004, contra tras sustituir en el segundo tiempo a Christian Wörns. Con sus tranquilas pero efectivas actuaciones, terminó convirtiéndose en titular indiscutible en la zona defensiva, compartiendo la parte central con Robert Huth, Christoph Metzelder y más adelante, Heiko Westermann y Arne Friedrich. En la Copa FIFA Confederaciones 2005 realizada en su país, estuvo los 90 minutos en los 5 partidos de su selección e incluso anotó un gol en la fase de grupos. Alemania quedó en tercer lugar.