I 2003 trakk Roy O. Disney, Walt Disneys nevø, seg fra sine stillinger i protest mot Eisners ledelse, som han mente gjorde Disney til et «grådig, sjelløst» selskap. Året etter fikk Roy Disney og Stanley Gold, begge tidligere styremedlemmer, med seg 43 % av Disneys aksjonærer i ikke å gjenvelge Eisner som styremedlem. Eisner fortsatte som styremedlem og konsernsjef, men ble skiftet ut som styreleder. I mars 2005 kunngjorde Eisner sin avgang, ett år før kontrakten hans gikk ut. Han ble etterfulgt av Robert Iger.