Kempe pelasi alle 20-vuotiaiden MM-kilpailuissa vuonna 2008, jolloin hän voitti hopeaa. Kempe pelasi myös alle 18-vuotiaiden MM-kilpailuissa vuonna 2006. Ruotsin A-maajoukkueessa hän on pelannut seitsemän ottelua tehopistein 1+1=2. Kempe teki A-maajoukkuedebyyttinsä 3. huhtikuuta 2013 Oskarshamnissa Slovakiaa vastaan. Ensimmäisen A-maajoukkuemaalinsa hän teki seuraavassa ottelussa 5. huhtikuuta 2015 Växjössä Slovakiaa vastaan.