Jérémy Toulalan végigjárta a válogatott ranglétráját. 2001-ben volt először válogatott. Megfordult az U17-es, az U18-as és az U21-es válogatottban is. Tagja volt az elődöntőig menetelő, de ott a hollandoktól vereséget szenvedő 2006-os U21-es francia labdarúgó-válogatottnak. A felnőttek között 2006-ban szerepelt először egy Feröer szigetek elleni mérkőzésen. Raymond Domenech benne látta a visszavonuló Patrick Vieira utódját. 2010-ben, miután botrányosan leszerepelt, a csoportkörben már kiesett a Francia labdarúgó-válogatottal a 2008-as Eb-n, majd az ezt követő 2010-es vb-n, nem kívánt többször a válogatottban játszani.