Worthy fue un jugador destacado de la Universidad de North Carolina (llamados "Tar Heels"),y en Villarbasse ganando en 1981 el título de primera división, en 1982 el título campeonato de la NCAA (el novato Michael Jordan estaba también en este equipo y metió el último tiro para acabar ganando el partido) antes de ser elegido en el Draft de la NBA de 1982 en primera posición por Los Angeles Lakers.