Swift wurde beim NBA-Draft 2000 von den Vancouver Grizzlies als 2. ausgewählt. Seine Rookiesaison verlief unauffällig, mit knapp 5 Punkten pro Spiel. Sein zweites Jahr verbesserte er sich und erzielte mit 11,8 Punkte, 6,3 Rebounds und 1,7 Blocks pro Spiel seine statistisch besten Karrierewerte. Er schaffte es allerdings danach nie richtig, die hohen Erwartungen der Grizzlies zu erfüllen, deshalb wurde er nach 5 Jahren Grizzlies zu den Houston Rockets abgegeben. Hier verbesserten sich seine Werte wieder und nach einem Jahr hatte er eine Reihe von Top-Angeboten aus der NBA. Er entschied sich letztendlich wieder zu den Memphis Grizzlies zurückzukehren und wurde gemeinsam mit den Draftrechten an Rudy Gay für Shane Battier eingetauscht. Nach zwei Jahren kam er zu den New Jersey Nets, doch auch hier hielt es ihn nur ein Jahr, so dass er nach der Saison zu den Phoenix Suns ging. Ein Engagement bei den Philadelphia 76ers für die Saison 2009/2010 scheiterte, nachdem Swift den finalen Sprung in den Saisonkader verpasste. Er beendete dann auch seine NBA-Karriere und hängte noch eine Saison bei den "Shandong Lions" in der Chinese Basketball Association dran. Dort wurde er 2010 CBA All-Star, bevor Swift dann endgültig seine Karriere beendete.