Williams ble draftet i åttende runde av MLBs amatørdraft i juni 1995 av Philadelphia Phillies. I løpet av college spilte han fire sesonger i Phillies' minor league-system, men nådde aldri et nivå høyere enn Class A. Williams var outfielder og spilte 170 kamper og avsluttet karrieren med en batting average på ,211, 4 home runs og 46 stjålne baser. I sitt tredje år var han lagkamerat med Jimmy Rollins, som senere ble startende shortstop for Phillies, som mente at Williams var den kjappeste mannen han noensinne hadde sett.