20 marca 2008 roku Rami otrzymał swoje pierwsze powołanie do reprezentacji Francji, jednak podczas towarzyskiego spotkania z Anglią nie zadebiutował w niej. 25 marca wystąpił za to w kadrze B, która w nieoficjalnym meczu podejmowała Mali. Ostatecznie pierwsze spotkanie w pierwszej reprezentacji rozegrał 11 sierpnia 2010 roku, gdy Francja przegrała 1:2 z Norwegią. Znalazł się w kadrze na Mistrzostwa Europy 2012.