Procedente del Instituto Rocky Mount Senior, Williams asistió a la Universidad de Maryland, teniendo un éxito inmediato al ser nombrado Rookie del Año de la Atlantic Coast Conference en 1979.