Worthy fue un jugador destacado de la Universidad de Carolina del Norte (llamados "Tar Heels"), y en Villarbasse ganando en 1981 el título de primera división, en 1982 el título campeonato de la NCAA (el novato Michael Jordan estaba también en este equipo y metió el último tiro para acabar ganando el partido) antes de ser elegido en el Draft de la NBA de 1982 en primera posición por Los Angeles Lakers.