Caffey fue traspasado a los Milwaukee Bucks en 2000, con quienes jugó las siguientes tres temporadas, a partir de entonces comenzó a seguir problemas personales, incluyendo un ataque de ansiedad en 2002y un asalto en 2003.