Etter torturavsløringene vedrørende Abu Ghraib-fengselet i Bagdad krevde flere i USA hans avgang, og han tilbød også sin avskjedssøknad til president Bush i 2004. Bush bad ham imidlertid om å forbli i regjeringen.