Su tío el Duque de Gor se hizo cargo de su tutoría hasta que en 1868 cumplió los 16 años y pasó a ser de forma oficial el Marqués de Rafal, Conde de Vía Manuel, Barón del Monte y Grande de España, aunque en teoría ya poseía los títulos desde 1854 con 2 años de edad.