Posteriormente, asistió a la Universidad Estatal de Florida donde jugó con los Florida State Seminoles entre 2013 y 2015. Comenzó los 14 juegos para los Seminoles como un estudiante de primer año en 2013, y ayudó al equipo a ganar el Campeonato Nacional sobre Auburn. Terminó el año con 49 tacleadas, una intercepción y una captura (sack). En 2014, Ramsey jugó 14 juegos donde registró 80 tacleadas, dos intercepciones, 12 pases defendidos, tres balones sueltos forzados y dos capturas. Como junior en 2015, jugó 13 partidos donde registró 52 tacleadas, una captura, nueve pases defendidos y un balón suelto recuperado. Fue nombrado Consensus All-American por su actuación en la temporada 2015. Después de su tercer año, anunció su intención de renunciar a su temporada senior e ingresar al Draft de la NFL de 2016.