Drafté en 2003 en par les Grizzlies de Memphis, il est aussitôt envoyé aux Celtics de Boston avec Marcus Banks contre Troy Bell et Dahntay Jones dans le cadre d'un échange car son niveau était relativement faible. De saison en saison, il évolue dans la hiérarchie de l'équipe de Boston jusqu'à devenir le pivot titulaire, notamment après le départ de Mark Blount au Timberwolves du Minnesota durant la saison 2005-2006. Il participe notamment à la campagne victorieuse de la saison 2007-2008, qui voit les Celtics remporter leur . Il est alors membre du cinq de départ des Celtics avec Rajon Rondo (meneur de jeu), Ray Allen (arrière), Paul Pierce (ailier) et Kevin Garnett (ailier fort).