Sus títulos y propiedades pasaron a su hermano Francisco de Borja Álvarez de Toledo Osorio, pero se permitió a la duquesa de Alba continuar el viaje por las tierras andaluzas de su marido.