Кевин впервые был вызван в сборную Мартиники на квалификацию Карибского кубка 2008 года. В 2010 году он выиграл Кубок заморских территорий Франции, выиграв у сборной Реюньона в финале. На Карибском кубке 2012 Парсемен стал лучшим бомбардиром как в отборочном турнире, так и в финальном. Мартиника заняла четвёртое место на турнире и пробилась на Золотой кубок КОНКАКАФ 2013. На этом турнире Кевин был капитаном сборной, сыграл во всех трёх матчах группового этапа и забил один гол. В 2017 году сборная снова стала участницей Золотого кубка КОНКАКАФ. Парсемен в трёх матчах группового этапа забил три гола и стал лучшим бомбардиром турнира вместе с Алфонсо Дейвисом и Джорданом Моррисом.