Uno de los momentos más bajos de su etapa como presidente autonómico lo experimentó tras la concesión por parte de su Gobierno del título de Hija Predilecta de Andalucía a la duquesa de Alba en febrero de 2006, acto que provocó la indignación de gran parte de la ciudadanía progresista andaluza y manifestaciones del Sindicato de Obreros del Campo y de otras asociaciones de jornaleros, que fueron reprimidas con fuerte violencia.