En febrero 15 de 2006, Arroyo fue intercambiado al equipo de Orlando Magic (junto con Darko Milicic) por Kelvin Cato y una primera ronda en un futuro draft.