Jefferson lisedeki son senesinde maç başına 42.6 sayı, 18 ribaund ve 7 blok ortalamlarıyla oynamış akabinde katıldığı 2004 NBA Seçmeleri'nde 1. tur 15. sıradan Boston Celtics tarafından seçilmiştir. Amerikalı oyuncu çaylak sezonunda Kendrick Perkins'in yanında genellikle Uzun forvet olarak kullanıldı ve maç başına 14.8 dakikada 6.7 sayı ve 4.4 ribaund ortalamalarıyla oynamıştır.