Au cours de l'été 2004, il est transféré en compagnie de Caron Butler, Lamar Odom et un futur premier tour de draft aux Lakers en échange de Shaquille O'Neal. Grant est libéré de son contrat la saison suivante et transféré aux Suns de Phoenix. Il est transféré lors de la draft 2006 aux Celtics de Boston avec les droits de Rajon Rondo en échange d'un futur premier tour de draft. Après avoir été évincé des Celtics le 27 octobre 2006, Grant annonce sa retraite après avoir subi des blessures qui avait réduit son niveau de jeu ces dernières saisons.