Mertesacker pelasi ensimmäisen maaottelunsa Irania vastaan lokakuussa 2004. Lopullisen läpimurtonsa hän teki vuoden 2005 Maanosaliittojen Cupissa, jossa hän teki yhden maalinkin ottelussa Australiaa vastaan. Hänet valittiin myös Saksan maajoukkueeseen vuoden 2006 MM-kotikisoihin. Hän pelasi pronssia saaneessa Saksan joukkueessa kuusi ottelua. Hän pelasi täydet minuutit Saksan hopeajoukkueessa EM-kilpailuissa 2008 ja pronssijoukkueessa MM-kisoissa 2010. Vuoden 2012 EM-kilpailuissa hän kuului Saksan miehistöön, muttei saanut peliaikaa. Hän voitti kesällä 2014 jalkapallon maailmanmestaruuden Saksan paidassa. Hän pelasi kisoissa kuudessa ottelussa. Hän ilmoitti elokuussa 2014 lopettavansa maajoukkueuransa. Hän pelasi kaikkiaan 104 maaottelua, joissa teki neljä maalia.