Джефферсон був обраний на драфті 2004 під 15 номером клубом «Бостон Селтікс». У дебютному сезоні виступав найчастіше на позиції важкого форварда. Взяв участь у 71 грі, один раз вийшов у стартовій п'ятірці.