Smith wurde im NBA-Draft 2004 von den Atlanta Hawks an 17. Stelle, direkt aus der High School gedraftet. Er erzielte in seiner Debütsaison durchschnittlich 9,7 Punkte, 6,2 Rebounds, 1,7 Assists, 0,8 Steals und 1,95 Blocks pro Spiel, und wurde am Ende der Spielzeit für das NBA All-Rookie Second Team 2004/05 ausgewählt. In den darauffolgenden Jahren entwickelte sich Smith, neben Joe Johnson und später Al Horford, zum wichtigsten Spieler der Hawks. Sein bestes Jahr hatte er mit den Hawks in der verkürzten Lockout-Saison 2011–12, wo er mit 18,8 Punkten und 9,6 Rebounds pro Spiel jeweils Karrierebestwerte erzielte. Zudem verteilte er 3,9 Assists und blockte 1,7 Würfe. Weitere Erfolge waren die Ernennung ins NBA All-Defensive Second Team 2010. Smith ist zudem der jüngste Spieler der NBA-Geschichte, der die 500- und 1.000 Shotblock-Marke erreichte.