Sami Khedira werd vanaf 2007 opgeroepen voor de Duitse selectie onder 21. Daar speelde hij vijftien keer, waarbij hij vijf doelpunten maakte. Hij was aanvoerder van de Duitse ploeg onder 21 die Europees kampioen in 2009 werd. In 2009 werd hij ook voor het eerst opgeroepen voor de nationale hoofdmacht. Daarmee mocht hij een jaar later naar het WK 2010, waar hij alle wedstrijden in de basis stond en in de troostfinale tegen Uruguay de winnende 2–3 voor Duitsland maakte. Hij maakte zijn debuut op 5 september 2009 in de vriendschappelijke thuiswedstrijd tegen Zuid-Afrika (2–0). Hij viel in dat duel na 73 minuten in voor Simon Rolfes. Khedira behoorde tot de Duitse selectie voor het wereldkampioenschap 2014 in Brazilië. Hij speelde vijf wedstrijden op het toernooi en maakte een doelpunt in de halve finale tegen het gastland (1–7). Tijdens de opwarming voor de finale blesseerde hij zich, waardoor hij hieraan niet mee kon doen. Hij zag zijn teamgenoten vanaf de bank het toernooi winnen. Met het Duits elftal nam Khedira in 2016 deel aan het Europees kampioenschap in Frankrijk. Duitsland werd in de halve finale uitgeschakeld door Frankrijk (0–2), na in de eerdere twee knock-outwedstrijden Slowakije (3–0) en Italië (1–1, 6–5 na strafschoppen) te hebben verslagen. Khedira maakte tevens deel uit van de Duitse selectie die de titel verdedigde op het WK 2018 in Rusland. Daar trad hij in de eerste groepswedstrijd tegen Mexico (0-1) aan in de basiself. Bondscoach Joachim Löw voerde na die nederlaag echter vier wijzigingen door in zijn ploeg voor de tweede groepswedstrijd, tegen Zweden (2-1). Khedira was een van de slachtoffers; hij belandde op de bank, net als Mesut Özil. In de laatste groepswedstrijd tegen Zuid-Korea stond Khedira weer in de basis en werd hij na 58 minuten vervangen voor Mario Gomez. Duitsland verloor met 2-0 en sneuvelde voor het eerst in de geschiedenis in de groepsfase van het WK.