El 14 de marzo de 2012, Ellis fue traspasado a Milwaukee Bucks junto con sus compañeros Kwame Brown y Ekpe Udoh a cambio de Andrew Bogut y Stephen Jackson.