El 29 de junio de 2004, los Rockets traspasaron a Cato a Orlando Magic junto con Steve Francis y Cuttino Mobley a cambio de Tracy McGrady, Juwan Howard, Tyronn Lue y Reece Gaines.