En première année aux Cardinals de Louisville en 2013-2014, Rozier a fini avec une moyenne de 7,0 points et de 3,1 points en 37 matchs, et a fait partie de l’équipe des recrues d’AAC. En deuxième année en 2014-2015, Rozier a mené les Cardinals en marquant 17,1 points par match et a été nommé deuxième de l’équipe All-ACC. Le , Rozier et son coéquipier et de Louisville Montrezl Harrell, on proclamé le repêchage de la NBA pour 2015.