El escándalo de la Tortura y abuso de prisioneros en Abu Ghraib irrumpió en las noticias en los primeros meses de 2004, y en junio de 2004 el memorando Bybee se filtró a la prensa. Basado en su revisión de los memorandos sobre tortura, Goldsmith concluyó que eran jurídicamente defectuosos y debían ser retirados. En su libro del año 2007 titulado “The Terror Presidency” (La Presidencia del Terror), Goldsmith los llamó "argumentos jurídicos precipitados y unilaterales". Goldsmith dice que había decidido revocar lo que la CIA había llamado su "escudo de oro" contra procesamientos, seis meses antes de que se dieran a conocer los abusos en Abu Ghraib. Goldsmith estaba trabajando en el problema cuando el escándalo y la filtración del memorando precipitaron la decisión final.