También tuvo desavenencias con la duquesa de Osuna.