Lilly creció en Wilton, Connecticut, donde su primo Derek Lilly entrenaba al equipo de fútbol de la Wilton High School.