Swift fue seleccionado por Seattle SuperSonics en la 12ª posición del Draft de la NBA de 2004. En su primera temporada no jugó, apenas disputando solamente 16 partidos y promediando 0.9 puntos en 4.5 minutos por partido. Sin embargo, en su segunda campaña jugó 47 partidos, 20 de ellos de titular, en los que firmó 6.4 puntos, 5.6 rebotes y 1.19 tapones por noche, aumentando considerablemente sus prestaciones.